在科尔莫戈罗夫-阿诺德网络（KANs）中，固定节点激活被学习的一维边界函数所取代，提供了明确的解释接口，并可能作为变换器前馈网络的替代方案。我们分别测试了这些主张。
在一个六层、1000万参数的B样条KAN中，我们重构了所有884,736个前馈边：87.8%超出（NLS 0.1），而0.4%处于非活跃状态。修剪最低活跃度的20--25%几乎没有造成损失增加，尽管结构化多层感知器（MLP）神经元修剪允许类似的稀疏性。
审计在BabyLM上复制，但网格大小的扫描显示，近乎完全的fPCA压缩和高闭合形式拟合覆盖是低容量grid-2基底的特性，而非普遍KAN行为。作为替代方案，我们在BabyLM上评估了MLP、SwiGLU、分组切比雪夫和有理GR-KAN网络。
KAN家族及其门控变体在验证损失上优于GELU MLP，但这种排序并未转移到标准化基准测试：在十个种子和59,875对BLiMP中，准确率范围为62.4--63.1%，EWoK保持在偶然水平，而(+0.7)点的GR-KAN效应在补充材料中反转。
更大规模的测试也提醒我们：参数匹配的MLPEdge在Wikitext-103上表现不佳，286M参数的GR-KAN在稳定后仍低于SwiGLU ClimbMix的基线。因此，小基底KAN提供了一个实用的、可转移的接口，用于审核学习的标量变换，但测试的替代方案在强MLP基线下没有显示出一致的基准、质量或延迟优势。
博主点评： 科尔莫戈罗夫-阿诺德网络虽然在理论上提供了新的可能性，但在实际应用中并未能超越现有的强基线。这表明，尽管新架构的探索是必要的，但实际性能仍需大量验证和优化。未来的研究应关注如何提高这些新模型的竞争力。