本文探讨了当前大语言模型（LLM）代理应用中面临的主要技术挑战，包括长期规划、稀疏奖励归因和动态环境交互。我们设计并优化了一种智能代理工作流，该架构基于核心AI范式的综合：视觉、语言、生成、图形、多模态、强化学习和代理智能。
与传统模型依赖静态提示且缺乏健全的感知-行动循环不同，我们的方法引入了部分可观察马尔可夫决策过程（POMDP）路由机制。该机制增强了内部自我纠错奖励模型，在执行前评估决策轨迹。
通过整合多模态输入和先进的强化学习原则（如近端策略优化和价值函数近似），代理能够保持长期结构记忆，并动态调整推理路径，以减轻错误累积。实验结果显示，在ALFWorld具身仿真环境和WebShop在线导航基准上，任务成功率和轨迹效率相比主流基线（如标准ReAct框架）提高了24.5%。
全面的消融研究确认了奖励驱动的批评模块在抑制幻觉率方面的重要贡献。这项研究将强化学习的理论基础与基于图形的记忆结合起来，形成自主代理工作流。最终，所提出的架构为在复杂多步骤自主系统中开发人工智能技术提供了一个实用且可扩展的参考框架。代码可在 GitHub 上获取。
博主点评： 本文通过引入POMDP路由机制和自我纠错模型，有效解决了长期规划和动态环境交互的问题，展示了大语言模型在自主决策中的巨大潜力。实验结果的显著提升表明了新架构的实用性和创新性，为未来的AI研究提供了重要参考。