NeFut Logo NeFut
EN 管理员登录

[AI学术] 测试时记忆演化能否超越测试时训练用于科学发现?

发布于:2026-10-26 22:00 最后更新:2026-10-27 00:43
#Machine Learning #optimization #LLM

近期的测试时训练(TTT)框架让开放权重的大语言模型(LLM)在科学发现任务上超过了仅推理的前沿模型。然而,TTT 在发现过程中需要在线更新权重,导致计算成本显著提升,尤其在扩展到更大模型时尤为关键。

为此我们提出了一种高效的测试时适应方法——测试时记忆演化(TTME),它以即插即用的方式在测试阶段更新外部记忆,通过蒸馏经验来指导后续发现,而不修改模型权重。

在保持相同发现框架的前提下,仅替换测试时适应手段,对 TTME 与 TTT 进行对比实验。结果显示,TTME 在全部五个数学任务上均优于 TTT,同时将 FLOPs 降低了 82.8%‑84.6%,运行时间缩短了 47.7%‑58.4%。

这些实验表明,TTME 在所评估的发现场景中是一种既有效又计算友好的 TTT 替代方案。

点评

原文链接: https://arxiv.org/abs/2610.32046

[h] 返回首页