NeFut Logo NeFut
EN 管理员登录

[AI学术] TCSExam:评估前沿大模型在理论计算机科学全领域的能力

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #LLM

我们提出 TCSExam,一个覆盖理论计算机科学(TCS)全部研究方向的统一基准框架。它同时考察定理证明、求解器工程、构造性证明以及直接尝试解决公开猜想四类任务,既能衡量具体的研究成果,也能捕捉对长期目标的进展。\n\nTCSExam‑Full 包含 100 例经专家审阅的任务,提交结果需通过 Lean 核心或可执行检查器验证。TCSExam‑Lite 只保留每条轨道的 5 例,共 20 例,任务量比 Full 减少 80%,但每次尝试的预算保持不变。\n\n我们对八个模型在 Full 上、九个模型在 Lite 上进行评测,并用 TCSExam Index 汇总四条轨道的得分。GPT‑6 Astra 在 Full 中得分最高(71.9),Opus 5.5 在 Lite 中领先(72.3)。在八个同时参评的模型之间,Full 与 Lite 排名的 Spearman 相关系数达到 $\rho=0.93$,说明 Lite 能以更紧凑的规模保持强区分度。\n\n评测结果展示了求解器输出和数学构造的提升,并出现了若干独立验证的特殊情形和界限,证明了模型在开放猜想上的潜在价值。TCSExam 还提供任务来源、Docker 构建脚本和评估工具,便于社区复现和扩展。\n\n点评:TCSExam 为衡量大模型在理论计算机科学中的实际贡献提供了系统化、可复现的基准,Lite 版的高相关性使其成为快速筛选模型的实用工具。

原文链接: https://arxiv.org/abs/2611.07962

[h] 返回首页