EvoCowork 是一个包含 240 项任务的基准,用于评估在四种办公模式下的递归自我改进能力,模型权重保持不变。基准覆盖演示文稿、文档、电子表格以及跨办公流程,评分标准包括内容、原生结构、公式、跨文件一致性和视觉质量(如适用)。
其协议将反馈、修订选择和最终测试分离:方法先在单模态任务上学习,然后在未见过的单模态任务和跨办公工作流上进行评估,使用统一的初始 harness 和明确的预算。静态评估中,两种模型和四种 harness 的最佳配置整体得分 42.25,跨办公任务得分 30.62。以相同的 MSA harness 和 GLM‑5.3 为起点,ACE 和 AHE 在域内得分分别提升 4.90 和 2.64 分,但跨办公得分仅变化 +0.03 和 -1.72。说明在提供反馈的文件类型上取得的提升未必能迁移到协同工作流。EvoCowork 明确记录了能力、迁移和 harness 演化的成本。
代码与任务包:https://github.com/DeepThinkingZhouLiu/cowork-evolution-benchmark
点评