AI 代理正逐渐成为能够浏览网页、编写代码、运行实验并在长期任务中协助人的数字同事。然而，现有基准大多使用合成数据或孤立任务，无法覆盖真实知识工作的复杂性——尤其是多方协作项目中信息分散在对话、代码和不断演化的决策之间。即便是看似简单的工作场景，也可能需要定位相关的频道和私聊、从冗长讨论中恢复上下文、检查仓库状态、调和过时或冲突的证据，并在多源信息之间进行综合推理。\n\n为此我们推出 SlackBench，它提供基于真实学术研究项目的隐私保护复现环境，包含多方对话、演化决策以及对应的 GitHub 代码和 Google Docs 文档。数据集提供 140 条查询，覆盖异构源搜索、对不可回答或前提错误的问题进行回避、目标导向的摘要以及对长对话的情境推断。这些任务无法简化为静态语料库问答，代理必须判断哪些对话重要、遍历线程、检查仓库状态，并在沟通记录与代码之间综合证据。\n\n在对 33 种前沿模型和代理框架的评测中，最高得分约为 80%，多数模型得分低于 66%，显示出显著的提升空间。SlackBench 作为一个可扩展的评估框架，旨在推动代理在真实协作工作环境中的能力发展。数据集已在 https://huggingface.co/datasets/HuanzhiMao/SlackBench 发布。\n\n点评：SlackBench 填补了评测真实协作场景的空白，为研究者提供了系统化、可复现的测试平台，未来可进一步丰富任务类型和行业场景。