评估自主代理需要检查它们能否在长期交互中将目标转化为连贯行动。持久环境要求在观测不完整、效果延迟的情况下协调相互依赖的动作,并随之前的决策改变后续机会。我们推出 ASIWorld——一个生存沙盒,融合了持久的世界与角色状态、角色范围的观测以及可编程的异步接口,用于研究持续的目标执行。代理通过直接操作或编写在模型调用间持续运行的程序,完成相互依赖的生产和探索任务。评估指标包括任务成功率、发展成就达成情况以及生存成本,并辅以执行行为分析。我们在统一框架下对九种代理配置进行探索性实验,结果显示八种完成生产任务,六种同时完成生产和探索。轨迹与不同难度下的表现揭示了配置之间在准备、战斗和恢复策略上的差异,即使任务结果相近。准备不足会导致进度停滞,而成功完成任务的配置在生存成本和额外成就达成上存在差异。这表明,仅靠任务结果不足以评估持续目标执行,行为过程和成本同样重要。
点评