[AI学术] 经验记忆何时提升闭环 LLM 驾驶代理？受控评估与审计基线

本文在 HighwayEnv（1 Hz）测试平台上，使用 gpt-4o-mini 对闭环 LLM 驾驶代理进行受控评估，探讨经验记忆何时真正带来性能提升。核心做法包括：

1. 将热身经验池视为可重新抽样的随机因素，构造十个互不相交的池子；
2. 引入与注入 token 长度匹配的无关填充控制，以消除提示长度的干扰；
3. 对所有基线端口进行审计，提供种子、缓存和 oracle 级诊断；
4. 采用谨慎定价指标衡量安全性。

评估套件覆盖五类实现：平面文本检索（DiLu 移植）、单帧网格端口（受 RESPOND 启发）、基于时间图的情节记忆、无需检索的规则手册以及 K 步观测历史基线。实验得到四条关键结论：

1. 记忆收益主要来源于热身抽样的幸运池。两种检索记忆在十个池子中仅在最佳池子上超越无记忆，显著性检验 p=0.011；规则手册在新抽样的五个池子上失去所谓的池子免疫性。
2. 所有检索设计均未超过 token‑匹配填充的基准。单条 15 token 警示指令即可达到碰撞合并上限，且使用谨慎定价后规则手册的优势被抹平。
3. 表征层面的复杂度在本测试床上并未表现出稳健的优势。
4. 基线端口质量对结论有潜在逆转作用。若仅比较单一池子且不使用填充控制，原始实验会误报记忆收益；加入控制后结论被完全翻转。

我们已公开测试床、审计端口、随机种子及缓存，供后续复现与扩展使用。

点评