NeFut Logo NeFut
EN 管理员登录

[AI学术] PersonaScienceBench:评估具备多样化模拟研究者的科学代理

发布于:2026-10-26 22:00 最后更新:2026-10-27 00:43
#AI #Machine Learning #LLM

PersonaScienceBench 提出了一套包含 200 题的评估集合,来源于五个基准,覆盖四个科学领域。每道题的目标和评分保持不变,模拟研究者根据预设的 persona 配置提供上下文和反馈,代理只能通过对话感知研究者的偏好。

我们在十八种模型配置上测量任务完成度、事实恢复率和自我重复率,发现不同模型在这些维度上表现各异。进一步使用 GPT‑6 Astra 对交互进行细粒度分析,展示了同一模型在不同研究者画像下的回答差异,交互日志中出现了针对性澄清和工作流调整的过程,即使最终得分相同,行为路径也会不同。因而 PersonaScienceBench 能同时评估代理的任务完成能力和与多样化研究者协作的水平。

点评

原文链接: https://arxiv.org/abs/2610.32106

[h] 返回首页