NeFut Logo NeFut
EN 管理员登录

[AI学术] 足够接近吗?对大语言模型乘法错误的调查

发布于:2026-10-31 22:00 最后更新:2026-11-02 00:48
#AI #Machine Learning #LLM

大型语言模型(LLM)在多位数算术上经常出错,但导致这些错误的内部机制尚不清楚。已有研究表明,加法错误符合围绕进位边界的“噪声量化”模型,乘法是否也遵循同样规律仍是未知问题。\ \ 本研究在 16,991 条覆盖不同操作数长度的问题上,评估了若干小型基础 LLM 的乘法能力。结果显示,乘法错误并不符合加法式的噪声量化模型。我们在小型 Qwen 系列模型中发现了一种新型错误模式:低位列的错误主要保持奇偶性,而高位列的错误则倾向于出现一次进位的偏差。\ \ 这些发现表明,LLM 的数值计算可能依赖于多周期的内部表征,其中奇偶性比精确的数字身份更为稳健,从而为理解 Transformer 的数值推理提供了新的机制视角。\ \ 点评

原文链接: https://arxiv.org/abs/2610.38634

[h] 返回首页