PersonaScienceBench 提出了一套包含 200 题的评估集合,来源于五个基准,覆盖四个科学领域。每道题的目标和评分保持不变,模拟研究者根据预设的 persona 配置提供上下文和反馈,代理只能通过对话感知研究者的偏好。
我们在十八种模型配置上测量任务完成度、事实恢复率和自我重复率,发现不同模型在这些维度上表现各异。进一步使用 GPT‑6 Astra 对交互进行细粒度分析,展示了同一模型在不同研究者画像下的回答差异,交互日志中出现了针对性澄清和工作流调整的过程,即使最终得分相同,行为路径也会不同。因而 PersonaScienceBench 能同时评估代理的任务完成能力和与多样化研究者协作的水平。
点评