Kolab 是一个新建的数据集，收录了 115 小时以上的屏幕录像，涉及 40 个职业的 50 位专业人士在真实长期任务中与 AI 代理的协作过程。
在人机协作的长期任务里，使用者更看重持续的交互（如计划修正），而不是代理一次性完成任务的能力。现有的代理基准大多聚焦自动化，因而无法反映真实工作流中的协作效果。
Kolab 不仅提供完整的协作录像，还记录了参与者对协作过程和输出质量的主观评估。分析表明，专业人士在不同阶段、不同方式上与代理配合呈现出多样化的模式，何时介入、如何使用代理的建议对整体效率影响显著。
要在此类基准上表现出色，协作代理必须具备两项能力：① 预测专家在离开聊天窗口后是采纳、修改还是拒绝其贡献，以此决定后续行动；② 在缺乏持续反馈的情况下，从工作流的演进中评估协作质量。
基准任务具体化为两部分：
- 预测专业人士在不同工作流节点上如何使用代理的输出；
- 验证他们对协作满意度和产出质量的判断。
实验结果显示，前沿模型（包括具备代理功能和不具备的）普遍高估与专家的协作成功率，且难以区分高质量与低质量的协作。延长工作流上下文并未显著提升预测准确性。
因此，当前模型仍未能真正理解长期的人机协作。Kolab 为研究基于真实职业工作流的人机协作提供了宝贵的数据资源。
点评