NeFut Logo NeFut
EN 管理员登录

[AI学术] 可审计的信念更新:LLM 多代理系统缺失的安全层

发布于:2026-11-01 22:00 最后更新:2026-11-02 00:48
#AI #Machine Learning #LLM

大型语言模型(LLM)正日益成为认知接口,影响用户对证据的解释、交流方式以及决策过程。随着系统向多模态、工具使用和多代理方向演进,安全失效不再仅来源于单一有害输出,而是涉及代理在检索、记忆、工具调用和同伴通信中如何更新、存储和传播认知承诺(belief)。

本文将 belief 定义为基于证据的工程抽象,用以指导后续行为。基于此视角,提出 显式信念多代理系统(EB‑MAS):

此外,文章讨论了 群体信念 的风险,包括制造共识、合谋以及信息级联失真,并概述了落地时的关键挑战:

因此,真正可扩展的代理安全不仅需要更强的输出过滤或更大的基础模型,还必须提供 可追踪、可校准、可约束的信念修正接口,在运行时对信念的演化进行审计与控制。

点评

原文链接: https://arxiv.org/abs/2610.38869

[h] 返回首页