NeFut Logo NeFut
EN 管理员登录

[AI学术] 解密强大的神经推理器:一次性摊销、首轮毒化与搜索惰性

发布于:2026-07-24 22:00 最后更新:2026-07-26 07:44
#algorithm #optimization #Neural

摘要

神经求解器旨在推导、分支和修正中间状态。格子推理变换器(LDT)似乎正是如此。然而,在充满线索的数独中,它的表现并不理想:一次前向传播几乎锁定了整个网格(标准6x6的每个空白单元94-96%,扩展的9x9也是如此),使得迭代求解器变成了一个包装在精确验证器中的一次性预测器。

所有硬切片失败在搜索开始之前就被决定,当第一次传播自信地删除了真实解决方案所需的值,我们称之为首轮毒化。添加学习分支、MRV、回溯、值排除以及共享无效(CoLT)并未改变可解决的数独实例;它将重复的无效推导减少了1497倍。

在固定训练预算下,仅凭约束图注意力就能达到全CoLT的准确性,而位置表只有在更长的训练时间下才能恢复,表明这是一个优化和样本效率的优势,而非绝对能力的差异。诊断结果预测了两个有效的干预措施。

数字置换增强将9x9的准确率从1%以下提升至96.5 +/- 0.3,基于三个训练种子,在对称不相交的分割上。测试时对称变换传播的联合提升了所有三个硬切片检查点的准确率,从72.8-78.9%提升至100%,无需重新训练。

在全新的图着色任务中,一次性行为消失,搜索的准确性发生变化。在充满线索的完成任务中,类似LDT的系统是一次性摊销的预测器,而非学习搜索过程:准确性由标定和对称决定,而搜索主要消除计算浪费。

博主点评: 本文深入探讨了LDT在数独推理中的表现,揭示了其在一次性预测和搜索过程中的局限性。通过优化和增强措施,作者提出了有效的改进策略,展现了神经网络在约束推理任务中的潜力与挑战。整体而言,文章为理解神经推理器的工作机制提供了重要的视角。

原文链接: https://arxiv.org/abs/2607.19635

[h] 返回首页