NeFut Logo NeFut
EN 管理员登录

[AI学术] 范围化语义不变性:提升大语言模型可靠性的基础

发布于:2026-10-27 22:00 最后更新:2026-10-29 00:58
#Machine Learning #LLM #Artificial Intelligence

LLM 在面对语义等价的查询时常出现答案不一致的现象,即使底层事实已知。我们将一致性形式化为查询等价类上的语义不变性,并证明在任意保持意义的转换下实现不变性是不可判定的。基于此提出范围化语义不变性:模型行为在受限的语义域内进行评估。我们使用知识图谱(KG)作为显式的语义控制结构,定义局部语义约束并提供上下文 grounding。实验在 MITRE D3FEND 本体和八个 Wikidata 派生域上进行,发现不一致并非随机分布,而是集中在局部热点子图中,这些子图呈现 TREE、STAR、CYCLE 三类稳定模式,跨模型和跨域保持一致。进一步的实验表明,选择性图谱 grounding 能提升答案正确率和跨模型一致性,而盲目 grounding 则会导致回退。采用分层 grounding 策略可获得最强的单调性特征:在保留正确知识的同时显著降低不一致。最后,我们验证了从简单一致性探针中发现的热点结构能够迁移到更真实的组合推理任务中,仍然发挥指示作用。

点评

原文链接: https://arxiv.org/abs/2610.33267

[h] 返回首页