NeFut Logo NeFut
EN 管理员登录

[AI学术] FALCA:面向伪造感知的层次信用分配强化学习用于长时程深度搜索代理

发布于:2026-10-22 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #LLM

长时程深度搜索要求 LLM 代理能够循环地分解复杂的信息需求、从外部资源获取证据,并在多重约束下保持可靠的研究状态。早期的错误往往会在搜索轨迹中被放大:代理可能会固守错误的候选答案、收集仅部分支持的证据、忽视矛盾,从而导致错误累积并误导后续推理。\ \ 我们提出 FALCA,这是一种伪造感知框架,将深度搜索形式化为“提出‑伪造”过程。FALCA 采用协同的 Searcher‑Falsifier 架构,Searcher 负责生成候选答案或子答案,独立的 Falsifier 主动寻找反证、检查未满足的约束、识别冲突,并输出简洁的伪造报告以修正研究状态。\ \ 为强化该循环,我们引入伪造感知训练:先在伪造轨迹上进行 SFT 预热,然后基于并行 rollout 的代理式强化学习进行训练,并在研究阶段、状态转移和动作层面实现层次信用分配。\ \ 在五个搜索基准上的实验表明,FALCA 相比基线模型和消融实验均提升了长时程深度搜索性能,同时通过更有效的伪造检测和研究状态修正,显著降低了确认偏差和错误累积。\ \ 点评

原文链接: https://arxiv.org/abs/2610.28361

[h] 返回首页