NeFut Logo NeFut
EN 管理员登录

[AI学术] 线性表征假设需要群作用

发布于:2026-09-25 22:00 最后更新:2026-09-28 00:49
#AI #Machine Learning #Neural

在讨论模型表征时,如果想要得到超越单一模型的结论,必须先明确何时把两个表征视为等价。线性表征假设(Linear Representation Hypothesis)常被直接引用,却很少说明等价关系的具体形式。不同的等价定义会保留不同的结构特征,导致看似在研究同一表征的度量、探针和干预实际上对应不同的假设。

我们认为线性表征假设并非单一命题,而是一族由表征等价决定的声明。为此我们引入群作用的形式化框架:先确定表征对象(如隐藏层向量),再描述产生该对象的过程(模型前向传播),最后给出要断言的属性(如线性可分性),同时把模型结构强加的等价关系纳入考虑。

该框架能够清晰展示在不同度量、读取点以及分析阶段所隐含的假设如何变化。基于此,我们审视了常用的表征量(如中心化、归一化后的向量)以及近期的可解释性分析,指出其中隐含的等价假设往往被忽视,从而可能导致结论的误解。

点评

原文链接: https://arxiv.org/abs/2609.27158

[h] 返回首页