大型语言模型(LLM)智能体能够完成复杂的交互任务,但推理和工具调用需要时间。在环境持续变化的情况下,即使动作本身正确,也可能因为延迟而失效。为此我们推出 RealtimeBench,收录 180 个任务,覆盖六类游戏,并在推理期间让游戏保持运行,从而衡量智能体的实时表现。
配对实验显示,当游戏暂停时,GPT-6.1‑sol 能够超越更快的 Jev;但在游戏持续进行时,GPT-6.1‑sol 的表现落后于 Jev。为提升实时能力,我们提出 Two‑Timescale Offline Recursive Self‑Improvement (TORSI):慢速教师在每次尝试之间分析失败、在暂停的游戏中测试修正,并生成可复用的指令;快速学生在实际游戏中直接执行这些指令,整个过程不再调用教师。验证分数决定哪些指令被采纳。两轮 TORSI 使 Jev 的平均测试分数从 13.51 提升至 24.19(满分 100),六类游戏均有提升。相同指令还能在不重新调参的情况下提升另外三种模型的平均得分。
这些结果表明,组织推理、学习与行动在不同时间尺度上,是实现 实时智能 的关键,使强大的 LLM 智能体能够在不断变化的世界中保持有效。
点评