NeFut Logo NeFut
EN 管理员登录

[AI学术] EvoCowork:真实办公任务基准

发布于:2026-10-15 22:00 最后更新:2026-10-18 08:05
#AI #Machine Learning #Open Source

EvoCowork 是一个包含 240 项任务的基准,用于评估在四种办公模式下的递归自我改进能力,模型权重保持不变。基准覆盖演示文稿、文档、电子表格以及跨办公流程,评分标准包括内容、原生结构、公式、跨文件一致性和视觉质量(如适用)。

其协议将反馈、修订选择和最终测试分离:方法先在单模态任务上学习,然后在未见过的单模态任务和跨办公工作流上进行评估,使用统一的初始 harness 和明确的预算。静态评估中,两种模型和四种 harness 的最佳配置整体得分 42.25,跨办公任务得分 30.62。以相同的 MSA harness 和 GLM‑5.3 为起点,ACE 和 AHE 在域内得分分别提升 4.90 和 2.64 分,但跨办公得分仅变化 +0.03 和 -1.72。说明在提供反馈的文件类型上取得的提升未必能迁移到协同工作流。EvoCowork 明确记录了能力、迁移和 harness 演化的成本。

代码与任务包:https://github.com/DeepThinkingZhouLiu/cowork-evolution-benchmark

点评

原文链接: https://arxiv.org/abs/2610.14828

[h] 返回首页