NeFut Logo NeFut
EN 管理员登录

[AI学术] Git 未记录的内容:两个人工智能辅助研究仓库的可追溯性可读性

发布于:2026-10-23 22:00 最后更新:2026-10-25 13:04
#AI #Machine Learning #Open Source

随着出版商和资助机构要求作者披露 AI 工具在研究中的贡献,代码仓库成为审计者寻找答案的主要场所。我们审计了同一作者在同一研究领域的两个单人仓库,分别保存了两类不同的代理残留:* 规定性痕迹(standing rule files),记录了规则文件的静态声明;* 叙事性痕迹(running agent scratchpad),记录了代理的交互式笔记。两个仓库分别包含 466 次和 103 次提交。

在规定性痕迹中,85.6% 的已提交行在当前版本仍可见,规则文件往往只保留结论并抛弃背后的过程;而叙事性痕迹仅保留 21.8% 的行可见。若按修订计数,差距显著缩小:规定性痕迹的 41 次修订中有 15 次完全不可见,叙事性痕迹的 41 次修订中有 18 次不可见。

我们进一步检查了 Co‑Authored‑By 这一自动审计字段。项目 A 中该字段出现在 66/121(约 54.5%)个含有任何 AI 标记的提交中;项目 B 中该字段对内部工作笔记文件的敏感度极低,仅 1/39(2.6%)的相关提交带有该标记。项目 A 的仓库级比例随时间波动显著,从 2.7% 跃升至 17.7%,但我们未预先设定分界点。

不同的审计渠道给出的 AI 参与率不一致,且均不能直接解释为真实的 AI 贡献率。我们逐字段列出哪些可追溯性声明能够得到支持,哪些不能,以及哪些会产生误导。基于此,我们构建了可审计的证据账本,并提出了对实时记录研究可追溯性的系统所需的关键要求。

点评:本文揭示了 Git 本身在记录 AI 代理活动方面的盲点,强调了审计方法的多样性与局限性,并为构建更透明的科研记录系统提供了实证依据。

原文链接: https://arxiv.org/abs/2610.28655

[h] 返回首页