NeFut Logo NeFut
EN 管理员登录

[AI学术] 注入位置至关重要:LLM 代理的信任区效应

发布于:2026-11-01 22:00 最后更新:2026-11-02 00:48
#AI #Machine Learning #LLM

LLM 代理正被用于需要长时间规划的任务,并需要与各种外部环境交互。尽管能力提升,它们仍易受到间接提示注入攻击——攻击者在环境中嵌入恶意指令,诱导代理执行不安全操作。已有研究主要关注注入的内容,而忽视了注入出现的位置。为系统评估注入位置的影响,我们构建了三个测试平台,分别覆盖工具使用、代码编写和日常工作流,并在其中布置多种注入表面。保持注入内容不变,实验发现不同位置的注入导致代理的易感程度差异显著,这一现象我们称为“信任区效应”:代理对环境的不同区域隐式赋予不同的信任程度。例如,使用 GPT‑5.4 的代理在 README 或 TODO 文件中遇到不安全指令时,接受该指令的概率比在代码或数据文件中高出 2.6 倍。基于此,我们进一步设计了基于学习的攻击者,能够同时生成注入内容并选择更有利的注入位置。实验表明,注入的放置位置与内容共同决定了间接提示注入攻击的威力。本文首次对粗粒度环境表面和细粒度位置的注入有效性进行系统化刻画,揭示了代理在环境中不均衡的信任分配,为未来的攻击与防御提供了重要思路。

点评

原文链接: https://arxiv.org/abs/2610.38867

[h] 返回首页