NeFut Logo NeFut
EN 管理员登录

[AI学术] 评估与提升 AI 代理在测序协议理解中的表现

发布于:2026-10-31 22:00 最后更新:2026-11-02 00:48
#algorithm #AI #Machine Learning

现有的科学代理基准很少检验模型能否完整重建测序协议中指定的分子结构和生成工作流,而这对于分析定制化测序实验至关重要。为此我们推出 LibStructBench,一个基于文档的基准,用于评估模型对测序文库结构和分子工作流的重建能力。\ \ 实验结果表明,最先进的代理能够产生大致正确的重建,但在分子状态表示和工作流连通性上仍不可靠,难以实现精确复现。更换底层语言模型带来的性能差异显著大于更换代理框架,且仅在分子状态重建上达到统计显著。\ \ 在一次小规模试点中,引入额外的领域知识提升了寡核苷酸家族的召回率,但并未提升整体分子工作流的平均得分。自主积累的程序规则和跨协议示例在验证集上的表现呈非单调变化,且在所测试的学习轨迹中未出现平均持出分子工作流的改进。\ \ 这些发现凸显了在复杂实验协议的分子过程推理中,需要更加受控且可验证的方法来提升科学推理能力。\ \ 点评

原文链接: https://arxiv.org/abs/2610.37851

[h] 返回首页