摘要
深度研究代理扩展了基于大语言模型（LLM）的助手，使其能够处理涉及规划、检索、证据合成和报告生成的长期工作流程。然而，它们在开放信息环境中的可靠性仍然未被充分探讨。
一个关键问题是，在这些环境中遇到的看似可信但事实误导的知识是否会在工作流程中传播，并最终在报告中被采纳为错误结论。为研究这种失败模式，我们引入了MisKnow-Agent，一个用于构建和验证深度研究任务中误导性知识的框架。MisKnow-Agent生成具有可控权威级别和风格的误导实例，总共构建了5,933个基于DeepResearch基准任务的质量控制实例。
在开源和闭源深度研究代理的广泛实验中发现，即使是有限的误导知识暴露也会导致最终报告中错误结论的采纳，揭示了当前深度研究代理的广泛可靠性脆弱性。尽管搜索驱动的验证模型在集中语料库验证过程中始终能够识别出保留的实例为误导性，但这些实例在长期研究中仍然可能被采纳，显示出集中验证与工作流程级证据使用之间的脱节。
最后，我们评估了研究前后的防御措施，单独和组合使用，发现所有三种配置都能减轻但不能完全防止错误结论的采纳。我们的研究结果表明，可靠的深度研究需要在模型和框架层面具备证据验证和纠正能力，而不仅仅是规划、检索、证据集成或报告生成能力的提升。
博主点评： 深度研究的有效性不仅依赖于算法的精确性，更在于对信息源的严谨验证。MisKnow-Agent的引入为未来研究提供了重要的警示，强调了在信息丰富但复杂的环境中，确保知识可靠性的必要性。