NeFut Logo NeFut
EN 管理员登录

[AI学术] 一致性并不等于理解:神经场权重读取器的轨道审计

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #Neural

本文审视了从神经网络权重中识别视觉内容时,需要将功能信息与任意参数坐标分离的难题。我们通过隐藏神经元的置换以及保持正向 ReLU 缩放的变换来检验这种分离,这些变换在不改变网络所表示函数的前提下保持等价。实验包括 480 个独立拟合的形状场和 1,000 个 MNIST 场,所有变换后的副本均按来源分组。\n\n在形状识别任务中,统计阅读器在联合变换下的准确率从 \ShapeRawStats\% 降至 \ShapeJointStats\%;而归一化集合阅读器保持 \ShapeNormSet\% 的准确率且预测不变。四个小型冻结语言模型在下一词评分下获得 \LMRange\% 的原始准确率。另一个包含四种配置、1,920 次评分会话的推理实验得到 \FrontRawRange\% 的原始准确率,然而在相同的原始提示下,新生成的答案在 \FrontRawRepeatRange\% 的来源上出现分歧。\n\n对等化(canonicalization)可以使等价提示变得相同,但这既不能证明模型已经实现了识别,也不能保证生成的响应一致。我们引入了联合正确性/一致性度量、语义线索控制、新鲜重复以及精确有理数四舍五入界限,以区分这些失败模式。最终,我们提供了一套可检查的评估协议,用于视觉权重读取器的性能评估,且所有结论仅限于本文测试的场、提示和执行配置。\n\n点评:本工作通过系统化的变换与度量,揭示了视觉权重读取器在一致性与真实理解之间的差距,为后续研究提供了可复现的基准。

原文链接: https://arxiv.org/abs/2611.05798

[h] 返回首页