NeFut Logo NeFut
EN 管理员登录

[AI学术] 颠覆性的Heaviside连续性:消除大型语言模型中的认知熵

发布于:2026-07-08 22:00 最后更新:2026-07-09 03:23
#algorithm #AI #Machine Learning

在大型语言模型(LLMs)中,生成流畅的输出往往会出现错误。与人类不同的是,LLMs 在提供错误信息时缺乏明显的提示,因为自回归解码没有机制来验证中间推理的正确性。为此,我们提出了Heaviside连续性滚动系数(HCRC),这是一种以验证为先的执行框架,将推理重塑为由Heaviside门控制的谓词门控状态转移。

HCRC结合了模型置信度和来自并行工作者架构的独立验证信号,仅在预定义的正确性谓词满足时才允许执行推进。这一机制防止无效的中间状态传播,从而降低认知熵,而无需修改底层模型。我们在来自四个提供者的十三个提案上评估了HCRC在软件工程和推理任务中的表现。在能力较强的提案中,HCRC将错误完成率(FCR)从4-7%降低至0%,同时保持竞争力的延迟,并在某些情况下比未包装模型更快。在较弱的提案中,HCRC将错误完成转化为诚实的停止,而不是损坏下游状态。

除了基准测试,HCRC已在一个主动编码环境的生产控制平面中运行了数月,负责文件变更、基于验证的进度报告和内存压缩。这些结果确立了HCRC作为基于验证的LLM执行的一般框架,表明通过原则性的执行控制而非单纯的模型规模,可以实现可靠的推理。

原文链接: https://arxiv.org/abs/2607.04562

[h] 返回首页