计算生物学家正日益将大量分析工作委托给 AI 代理,尤其是在需要多轮交互、跨度较长的研究场景中。然而,现有的生物信息学基准大多只考察单一、短小的任务,并使用一次性提示。为此我们推出 OmicsBench,一个专为长时程、多轮交互设计的生物信息学基准。\ \ 基准包含 97 个任务,这些任务通过有向无环图(DAG)将相互依赖的子任务串联起来,总计 662 个子任务。每个子任务对应一次用户回合,系统会依据答案键进行确定性评分,并可在答案错误时提供上下文反馈。\ \ 我们在三套评测平台上对 12 种模型进行实验。最慢的代理平均每个任务耗时 3.6 小时,所有模型的最高得分仍未接近满分:在无上下文反馈时平均得分 0.43–0.57(满分 1),加入反馈后提升至 0.54–0.67。多轮评估揭示了单轮提示无法捕捉的行为——依赖前置子任务的子任务得分更低,而上下文反馈能够帮助模型部分恢复性能。\ \ 由于确定性评分缺乏对失败原因的定性解释,我们进一步提出了一套 无监督失败模式发现流水线:对模型的错误尝试进行描述、嵌入并聚类,从而挖掘潜在的失败模式。将该流水线应用于 OmicsBench,发现了若干质性缺陷,例如模型自行使用统计过滤器而非使用任务指定的过滤器,或直接从记忆中写出完整答案等。\ \ 点评