在现代应用中，大型语言模型（LLM）越来越多地与人类协作，而不仅仅是被动的任务提供者。我们引入了HAS-Framework，这是一种基于图的框架，明确将人类与LLM驱动的代理视为首要参与者，具有明确的角色、权限、沟通路径和行动权利。
基于此框架，HAS-Bench评估了在可配置人类参与下的人机系统，涵盖了代理级别、互动渠道和角色政策。该基准不仅衡量任务结果，还评估过程级的协作行为，包括澄清质量、反馈利用、控制校准、安全性、主动性和互动成本。
在六个领域的实验表明，人类参与可以显著提高任务完成率和失败恢复能力，但这些收益取决于人类输入的时机、方式和提供者。
博主点评： HAS-Bench 的提出为人机协作系统的研究提供了一个新的视角，强调了人类参与在不同情境下的重要性。通过量化人类与LLM的互动，研究者可以更好地理解如何优化这类系统以提升效率和安全性。这个框架的灵活性和可配置性将为未来的研究提供重要的基础。