AI 智能体在完成任务时需要反复做出决策,通常以大语言模型(LLM)作为核心决策单元。近期出现的 Jev 能以更低成本、更快速度生成决策,理论上可以提升工作流效率。我们在 ALFWorld 的具身任务和 AndroidWorld 的移动应用使用场景中,选取了五种代表性智能体,累计执行 4,500 次任务,系统评估了任务有效性、决策层与任务层的资源消耗以及执行行为。实验表明,所有智能体在引入 Jev 后的决策成本和延迟均显著下降,但任务层面的收益因工作流不同而差异明显。ALFWorld 中的任务成功率基本保持在基线水平,而在两款移动智能体中成功率出现较大下降。额外的推理步骤和交互次数抵消了部分决策节省,恢复失败和过早结束导致交付成功率受限。尽管单次尝试的支出下降,某些智能体的每个成功结果的平均成本仍然上升。研究强调,在将高效决策模型嵌入智能体工作流时,需要关注进度保持、恢复支持以及完成验证等环节,以确保资源节省能够转化为实际交付价值。
点评:本研究提醒我们,单纯追求决策速度并不能保证整体任务表现,系统级的恢复与验证机制同样关键。