Spiking 神经网络因其类脑动力学受到关注，但在大规模语言模型的原生预训练方面仍未得到充分探索。我们发现传统脉冲神经元对所有 token 使用相同的发放灵敏度，导致整体呈现密集或沉默两种极端状态，单一全局参数难以兼顾信息量差异巨大的语言序列。为此我们提出 NeuronSpark，一种无需自注意力机制的语言模型，核心是输入依赖的脉冲膜动力学：每个神经元的衰减率、增益和阈值随当前 token 内容自适应调节。结合门控关联记忆和自适应时间聚合，模型在 1.1 B 参数、21 亿 token 的规模上即可从随机初始化完成预训练，无需迁移、转换或蒸馏。我们将该神经元映射到固定参数的脉冲模型，将记忆模块等价于线性注意力。实验表明，NeuronSpark 在八项零样本任务上取得 40.0 的平均分，超过同等预算的 Pythia 与 Mamba 检查点，并保留了 95.2%/93.2% 的完整训练得分，同时自然形成快—慢层次结构。在 2048 token 长度下，参数匹配的 VHDL 实现相较于 Transformer/Mamba 在运算能耗代理上降低 90.1%/67.0%，周期数降低 94.1%/80.3%。实际 FPGA 实验实现了 24.000 s 的首次翻译时间（TTFT）和 0.082440 TPS 的吞吐率。
点评