NeFut Logo NeFut
EN 管理员登录

[AI学术] 用于AI倾向测量的电池:评分标准、合成题库与标注

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #Open Source

我们发布了一个包含28项AI研究倾向的测评电池,配备专家撰写的评分标准、合成数据集以及标注的需求区间,构建方法参考Romero‑Alvarado等(2026)。

这些倾向覆盖了可能影响AI系统和人类行为的通用因素,灵感来源于心理测量、心理学和行为学研究,使实验结果能够在已有的人类行为构念框架下解释。

评分标准可用于为现有基准中的条目打标签,判断其是否涉及某一倾向。为便于快速画像,合成数据集被设计为对单一倾向高度敏感,使用时只需选择对应数据即可快速得到倾向概况。

我们还提供了需求区间的注释,帮助研究者在不同强度下评估模型表现,并提出了后续倾向研究的若干方向,包括扩展倾向集合、跨模态评估以及与实际任务的关联分析。

点评

原文链接: https://arxiv.org/abs/2610.34614

[h] 返回首页