NeFut Logo NeFut
EN 管理员登录

[AI学术] BEAKER:面向自驱化学实验室的专家策划基准

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#algorithm #Machine Learning #Artificial Intelligence

自驱化学实验室(SDCL)正将化学实验向具身自动化转变,机器需要感知实验室场景、推理实验状态并在物理、流程和安全约束下执行操作。现有的实验室基准大多聚焦安全检测、异常识别或通用科学理解,未充分考察模型的执行导向具身能力。为弥补这一空白,本文提出 BEAKER 基准,用于评估 SDCL 中的具身可操作性、知识、实验与推理能力。BEAKER 包含 1,000 条由化学和具身 AI 专家手工策划的问答样本,覆盖 11 种图像和视频任务类型,涉及可操作性定位、轨迹规划、仪器与状态识别、安全规范、装置搭建、操作步骤推理以及时序过程推理等关键判断。所有问题和标注均未使用 AI 辅助生成或标注。我们在离线单轮设置下评估了 28 秞通用、面向科学、化学专用和具身的多模态大语言模型(MLLM)。结果表明,当前模型能够在视频中跟随粗略的实验流程,但在将动作落地到可操作区域和可行轨迹、细粒度仪器与状态识别、安全规范辨认以及中等长度步骤排序方面仍显不足。BEAKER 揭示了粗略程序理解与精确、具身感知之间的明显差距,为未来 MLLM 在 SDCL 中的研发提供了诊断性基准。\n\n点评:BEAKER 为自驱化学实验室的模型评估设定了更高的具身要求,凸显了从宏观流程到微观操作的技术鸿沟,指明了下一步研究的关键方向。

原文链接: https://arxiv.org/abs/2611.06911

[h] 返回首页