摘要
程序性任务如家具组装和家庭维修对用户的认知要求很高，因为用户需要理解指令、跟踪任务进度、推理空间状态，并在执行物理动作时处理错误。以往的多模态助手在程序指导方面显示出潜力，但大多数依赖云推理和固定的持续感知，这使得它们在隐私敏感和延迟关键的家庭环境中表现不佳。我们提出了 ProcAgent，一款完全基于设备的、智能化的视觉程序助手，能够在单个 NVIDIA Jetson AGX Orin 上提供实时适应性指导。
ProcAgent 采用了提议与验证架构，结合了低延迟的持续感知、符号任务图、按需的视觉-语言验证和基于 LLM 的交互代理。该系统持续推测用户进度，仅在出现模糊或可能偏差时调用昂贵的视觉推理，并支持人机协作确认的反应式问答和主动干预。
我们从感知准确性、推理、任务级性能和用户体验四个维度评估了 ProcAgent。尽管完全在设备上运行，该系统仍保持响应互动，文本查询大约在 2 秒内解决，视觉基础查询大约在 8 秒内解决。在一项邀请 10 名参与者完成组装任务的用户研究中，ProcAgent 在可理解性、可操作性和隐私舒适度方面获得了积极评价。这些结果表明，适应性的程序辅助可以在不牺牲可用性的情况下完全在边缘硬件上实现。
博主点评： ProcAgent 展示了在边缘计算环境下实现高效程序性任务指导的可能性，尤其是在隐私和延迟至关重要的情境中。其创新的提议与验证架构有效提升了用户体验，使得人机协作更加流畅。未来，这种技术有望在更广泛的应用场景中发挥重要作用。