在深度研究代理的工作流程中,系统将开放式查询分解为多个子任务,通过多轮检索网络证据,最终合成长篇报告。这一流程为计划层引入了毒化风险:对检索池中注入的对抗性文档可以引导后续问题,导致局部注入转变为报告级污染。我们提出了FORGE(Fabricated Orchestrated Reasoning chain for aGent Exploitation),这是一种结合文档内部推理制造与文档间链协调的双层攻击,以劫持子任务规划。
此外,我们引入了PRISM指标,通过认知类型对感染报告中的主张进行加权,提出了根查询锚定(Root Query Anchoring)作为一种轻量级防御机制,将递归的后续生成与根查询相结合。在25个查询中,Network FORGE在注入五个文档的情况下达到了26.4%的PRISM,并展示了深度迁移现象,其中递归合成将污染内容从明显框架转移至事实前提。在10个查询的防御子集中,根查询锚定将PRISM从38.5%降低至18.3%。
博主点评: 本文提出的FORGE攻击展示了深度学习系统面临的潜在威胁,尤其是在信息检索和生成的过程中。通过精确的攻击设计,FORGE不仅揭示了深度研究代理的脆弱性,也为今后的防御机制提供了重要的参考。