在半开放文本游戏环境中,随着大规模语言模型(LLMs)作为自主裁决者的日益普及,规则遵循的重要性愈发凸显,尤其是在用户意图与系统规则发生冲突时。然而,这些模型被训练成既有帮助性又顺从,使其易受一种我们称之为\textit{修辞注入}的攻击。这类攻击中,对手用户利用叙事框架技术,如伪逻辑推理和权威性强迫,来绕过裁决逻辑。
为此,我们提出了 CoC-Seduce,一个基于桌面角色扮演游戏(TRPG)机制的多代理对抗基准,适合用于半开放环境。在这种环境中,规则明确用于裁决,但交互完全以自然语言进行。我们选择了三种前沿模型:GPT-5.4、Claude Sonnet 4.6 和 Gemini 3.5 Flash,作为对抗生成器,生成 5,376 个样本,涵盖 4 个世界设定和 16 种技能类别。随后,我们对 20 个目标裁决者进行了基准测试。
对 20 个模型的评估显示,模型规模或显式推理机制并不能可靠地赋予裁决的鲁棒性,\textsc{Pseudo-Logic} 成为主要攻击向量,而跨文化环境则揭示了所有评估模型的系统知识缺口。
项目页面:CoC-Seduce
博主点评: 本文揭示了在自然语言交互中大规模语言模型的潜在脆弱性,尤其是在面对复杂叙事框架时。通过引入对抗基准,研究者为模型的安全性提供了重要的思考方向,值得关注其在实际应用中的影响。