NeFut Logo NeFut
EN 管理员登录

[AI学术] ClaimScope:标签盲证人验证用于数学声明审计

发布于:2026-10-17 22:00 最后更新:2026-10-18 08:05
#AI #Machine Learning #LLM

ClaimScope 是一个包含 72 项任务的基准,用于对数学声明进行审计。每项任务要求模型给出判决、适用范围、反例以及修复方案,覆盖优化器状态迁移、有限时域仿射递推以及精确的 $2\times2$ 线性代数等领域。我们使用 Qwen3-8B 在直接生成和四种两轮匹配条件下进行评估,所有条件均从同一草稿开始。\ \ 评估采用证人检查器,只检查模型提交的状态,不参考参考判决,也不提供替代证人。检查器的反馈仍能传递有效性信息:若验证了反例,则声明为假;若被拒绝,理由可指示结构性修复方向。\ \ 实验结果显示,验证器反馈在无效声明上产生了 23/39 的可接受反例,在所有任务中实现了 25/72 的安全完成;对应的无检查器通用反馈分别为 15/39 和 20/72。严格完成率保持在 17/72,判决准确率从 47/72 降至 46/72。安全完成的组间差值为 $.094$,Bootstrap 95% 区间为 $[.000,.198]$。所有七个任务层面的提升均与视野/输入长度诊断一致。对直接输出进行事后仅模式校正即可达到相同的 25 项安全任务,无需额外模型调用。\ \ 这些结果将声明分类与可执行证据分离,表明收益来源于证人结构的纠正,而非整体推理能力的提升。\ \ 点评

原文链接: https://arxiv.org/abs/2610.21581

[h] 返回首页