NeFut Logo NeFut
EN 管理员登录

[AI学术] 阅读情境:LLM 规范能力的基础、设计与挑战

发布于:2026-10-09 22:00 最后更新:2026-10-12 00:49
#AI #Machine Learning #LLM

人类社会由规范系统支配——共享的标准会产生\textit{规范},规定可接受的行为,并通过社区制裁来执行。将日益自主的 AI 系统与这些规范对齐是核心的对齐难题,因为规范数量庞大、变化迅速且常常是任意的(例如着装或语言约定)。因此,对齐需要\textit{规范能力}:仅凭交互即可辨别社区所执行的规范,而不依赖静态的预训练知识。

我们构建了一个多智能体社区辩论环境,辩论的进入权受合成规范控制,以在不受预训练影响的前提下孤立研究规范能力。实验表明,基线 LLM 代理即使在遵守规范能够提升准确率的情况下,也未能学会这些规范。

随后我们尝试了多种\textit{规范模块}——用于推断规范的架构组件——发现规范遵循性对规范的呈现方式以及为规范模块提供动力的模型高度敏感,暗示缺乏通用性。当伴随真实规范出现特异性、非规范行为时,LLM 代理表现出不选择性的归因失误:它们会无差别地复制噪声与强制规则,即使对模仿不必要行为进行显式惩罚,这一模式仍然持续。

据我们所知,这是首次对 LLM 的规范能力进行操作化定义并进行评估的工作,展示了当前 AI 系统虽擅长行为模仿,却缺乏辨别社会强制秩序的能力。

点评:该研究揭示了 LLM 在理解并遵守社区规范方面的根本局限,为未来设计具备真正社会感知的模型指明了方向。

原文链接: https://arxiv.org/abs/2610.10906

[h] 返回首页