AlphaDiana 是一个用于评估在可验证推理任务中运行的智能体的测量框架。它提供了数据集、智能体、环境和评分器的模块化接口，能够在保持原生 harness 控制循环的同时，独立控制文件复用和记忆保留。\ \ 该系统支持两类分析：宏观层面的完整智能体比较，以及在相同条件下对工具、技能指令和记忆等组件的微观干预。实验使用了三种开源模型和三种开源 harness，覆盖五个答案型基准；其中两种模型还在两个交互式基准上进行测试。\ \ 结果显示，harness 并不能稳定提升推理准确率：在模型单独无法解答的问题上取得的增益，往往被在无需工具即可正确回答的问题上的损失抵消。类似的不一致性也出现在组件干预上：技能引导和记忆保留并未可靠提升正确率。\ \ 行为和输出 token 使用必须结合正确性来评估：低 token 熵可能伴随错误答案，而每次执行输出更少并不意味着整体 token 消耗更低——当准确率下降时，每个正确答案的 token 可能反而增多。AlphaDiana 将答案正确性、执行状态与追踪日志和资源记录关联，便于在统一的任务和资源策略下比较不同智能体并诊断失败原因。\ \ 点评