本体知识是大语言模型(LLM)在知识密集型任务中表现的基石。现有评估大多只关注行为层面的正确性,未揭示模型内部如何存储和使用本体信息。为填补这一空白,我们提出 MIOE(Mechanistic‑Abstraction Ontology Engineering)基准,使用交叉干预(interchange interventions)检验两类本体工程任务:实体类型判定和包含关系预测。MIOE 要求在保持类特定辅助信息不变的前提下,通过学习到的内部干预目标改变本体层面的答案。我们在 Qwen3‑8B 与 Qwen3‑4B 上测试了 SAE、DBM、DAS 三类方法,并实现了多任务与多层变体。结果显示,分布式子空间(distributed subspace)方法在所有提示设置下表现最强,但其引发的内部变化仍与辅助类信息部分交叉。引入多任务目标以及连续层窗口干预能够提升两者的分离度;进一步的类级别分析揭示不同本体类之间的显著差异。总体而言,本体预测在 LLM 中是可机制化访问的,但当前技术尚未实现对本体知识的完全解耦因果机制。
点评