NeFut Logo NeFut
EN 管理员登录

[AI学术] BenchBench-Cloning:分子克隆设计与实验方案评估基准

发布于:2026-10-27 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #LLM

BenchBench-Cloning 是一个面向大型语言模型的分子克隆基准,收录 65 条任务,来源于序列记录、实验笔记和已发表的实验研究。任务分为两类:50 条协议开发任务要求模型为指定构建体生成可直接在克隆模拟器中执行的实验步骤;15 条构建体设计任务要求模型根据科学目标确定所需的构建体。协议任务通过克隆模拟器执行评估,构建体任务使用确定性检查或基于 rubric 的 LLM-as-a-judge 评分。八个系统在多次尝试后,GPT-6 Astra 获得最高 30.6% 的成功率,其他模型在 8.6%~22.2% 之间,最佳十次抽样仍未饱和。即使是最前沿的模型,也难以将单步克隆决策整合为完整、有效的实验方案。BenchBench-Cloning 因此可作为追踪实验规划能力进展的长期基准。

点评

原文链接: https://arxiv.org/abs/2610.33355

[h] 返回首页