摘要
神经网络能够学习算法的输入输出映射,但信任一个学习到的执行者不仅需要正确的最终答案,因为产生该答案的状态转换通常是隐藏的。为使这些转换可见,我们引入了一种追踪监督的符号神经 CPU,这是一种分解的学习执行架构,结合了递归控制、固定可微算术逻辑单元库的显式操作路由、目标掩码寄存器回写、完整的轨迹监督和匹配的定点重放。
该模型在每一步都暴露所选操作、源寄存器和目标寄存器、寄存器轨迹、内存信号和回写语义。在主要的 16 宽基准测试中,未量化的执行者准确重现了参考执行,而八位量化模拟执行者在 1,000 条指令的程序中保留了符号操作路径。当同一执行与匹配的定点重放进行评估时,残余的数值漂移消失,显示出漂移源于连续和低精度参考语义之间的不匹配,而非执行失败。
我们比较了递归、Transformer、时间卷积、时间图灵启发和状态空间控制器,消融实验表明操作门监督对于可检查的执行路径是必要的。隐藏操作码内存压力任务暴露了延迟状态使用和时间绑定的剩余限制。
此外,我们还扩展了接口,加入了 ValueMemory、混合自适应泄漏积分-放电控制器、通过行为克隆和演员-评论家强化学习训练的候选约束符号控制,以及 RV32I 基础整数语义桥。这些结果共同建立了一个可追踪验证的框架,用于可解释、低精度和可控的神经执行。
博主点评: 这项研究通过引入符号神经 CPU,揭示了神经网络在执行过程中的隐含状态,提供了可解释性与低精度执行的有效结合。尤其是通过追踪监督与定点重放的结合,展示了量化对执行可视化的重要性,为未来的可控神经计算奠定了基础。