在社交环境中，有效的代理行为依赖于代理何时寻求知识、何时采取行动，以及这些行动是否得到所获得信息的支持。现有的基准测试提供可执行的动作、持久状态和可验证的结果，而社交模拟环境则为语言代理之间的丰富互动提供了可能。
我们研究了一种结合这些要求的评估设置，定义了社交分布式任务环境，作为交互式环境，其中任务相关知识在角色隔离的参与者之间进行划分，且只有通过这些参与者才能访问后果性行动。通信作为对角色划分知识的探索，而基础行动则是对环境状态的利用。
我们引入Incognita，这是一个基于Concordia的框架，旨在将社交互动与基础执行分离。被评估的代理将消息路由到用户或专业实体；专业人士调解可接受的操作；一个确定性的子环境在规范状态下执行接受的操作；而离线评估者根据继承的奖励对结果进行评分。Incognita-Retail将tau-bench零售转化为一个多实体环境，同时保留最终状态奖励语义。
我们在18个按社交广度分层的任务上评估了三种生成代理模型，进行了540次实验。结果显示，奖励和行为都有所进展：成功率从0%上升至8.9%和17.2%，而过早最终化的比例从100%下降至87%和58%。更强的模型能够引出更多的隐性知识，联系更多实体，并尝试更多的基础写入，但可靠性仍然较低。
这些发现表明，社交分布式任务环境在可靠成功之前揭示了行为，包括知识引出、来源选择、基础行动尝试和过早完成的信念。
博主点评： Incognita框架在社交分布式任务环境中的应用展现了生成代理在知识获取和行动执行方面的潜力，尽管目前成功率仍低，但随着模型的改进，未来的发展值得期待。其对社交互动与执行的分离提供了新的视角，可能推动智能体在复杂环境中的表现提升。