NeFut Logo NeFut
EN 管理员登录

[AI学术] 看不见的仍是学习的内容:预注册六十系统验证证据遮蔽提升组合泛化

发布于:2026-09-17 22:00 最后更新:2026-09-18 00:46
#AI #Machine Learning #LLM

限制模块可读取的信息可能提升系统的计算学习能力。我们在一次预注册的确认实验中检验了这一假设,使用六十个四单元系统,这些系统共享一个冻结的语言模型骨干,并通过学习得到的连续数据包进行通信。

实验设置包括五种条件:证据遮蔽、所有权标记以及用中性填充替换外部证据。每种条件在六个初始化簇上进行,两种数据顺序,各自对应一个全新的任务世界。

在标记同时可用的两种情形下,遮蔽提升了对未见二元和三元操作组合的准确率,分别的中位配对差为 0.846 和 0.859;全部十二对均超过预设阈值,完整的预注册行为标准得到满足。未标记的复制实验同样通过。

没有任何全局可见的系统通过标记遵循检查,因而可用角色信息的作用仍未明确。填充条件产生了七个完整的泛化系统,但其分解标准不具决定性。对全部十八个审计的遮蔽系统进行的数据包干预显示,在符合条件的案例中出现了预测的中间值变化;这些有限且基于成功条件的审计并未证明中介作用。

结果确认了所测试遮蔽方案的显著优势,同时对其更细粒度的归因和普适性仍需进一步探讨。所有协议、结果和检查点均已公开。

点评

原文链接: https://arxiv.org/abs/2609.17637

[h] 返回首页