摘要
记忆的形成是智能的基础，但深度神经网络是否保留类似于生物记忆单元的可识别记忆痕迹仍然是一个未解之谜。本文提出了一种几何框架，以识别这种“AI记忆痕迹”，通过将神经科学的特征（特异性、再激活、充分性和必要性）形式化为一个约束逆问题。
我们推导出一个闭式估计器，能够在全局纠缠的参数中分离出个体记忆痕迹，并展示这种生物学衍生的解决方案与参数流形上的自然梯度更新相对应。AI记忆痕迹使得学习知识的精确操控成为可能：任何记忆子集都可以通过线性运算进行组合或删除，而无需迭代优化。
从简单的多层感知器（MLP）到大型语言模型（LLM）的实验表明，AI记忆痕迹的因果有效性和显著可扩展性。总之，这些结果架起了生物记忆理论与人工表征学习之间的桥梁，并提供了几何视角，以理解深度网络如何在分布式存储中同时支持功能特异性。
博主点评： 本文为理解深度学习模型中的记忆机制提供了新的几何框架，强调了生物学与人工智能的结合。通过对记忆痕迹的有效识别和操作，未来的AI系统可能会更加智能化和灵活，推动我们对智能本质的深入理解。