大型语言模型(LLM)在多位数算术上经常出错,但导致这些错误的内部机制尚不清楚。已有研究表明,加法错误符合围绕进位边界的“噪声量化”模型,乘法是否也遵循同样规律仍是未知问题。\ \ 本研究在 16,991 条覆盖不同操作数长度的问题上,评估了若干小型基础 LLM 的乘法能力。结果显示,乘法错误并不符合加法式的噪声量化模型。我们在小型 Qwen 系列模型中发现了一种新型错误模式:低位列的错误主要保持奇偶性,而高位列的错误则倾向于出现一次进位的偏差。\ \ 这些发现表明,LLM 的数值计算可能依赖于多周期的内部表征,其中奇偶性比精确的数字身份更为稳健,从而为理解 Transformer 的数值推理提供了新的机制视角。\ \ 点评