NeFut Logo NeFut
EN 管理员登录

[AI学术] FactoryBench:工业机器理解评估基准

发布于:2026-10-14 22:00 最后更新:2026-10-18 08:05
#AI #Machine Learning #LLM

我们提出 FactoryBench,作为评估时间序列模型和大语言模型(LLM)在工业机器人遥测上机器理解能力的基准。问答对按照 Pearl 因果阶梯的四个层级(状态、干预、反事实、决策)组织,并覆盖五种答案形式:四种结构化格式采用确定性打分,开放式答案则通过 LLM‑as‑judge 的投票协议进行评分。我们设计了可扩展的问答生成框架,核心是结构化问题模板,可自动从多任务、多变量传感数据中生成高质量问答。FactoryWave 是我们收集的密集多任务传感数据集,包含 UR3 协作机器人和 KUKA KR10 工业臂的多通道时间序列。基于 FactoryWave、AURSAD 与 voraus‑AD 的约 15k 条归一化情景,FactoryBench 构建了超过 70k 条问答项目。零样本评估六种前沿 LLM,结果显示在结构化层级的最高得分不到 50%,在决策层级最高也仅 18%,表明当前模型与实际工业机器理解之间仍有巨大差距。

点评:FactoryBench 为工业机器人领域提供了系统化、因果层次分明的评估手段,揭示了现有 LLM 在真实操作环境中的局限,为后续模型改进指明了方向。

原文链接: https://arxiv.org/abs/2605.07675

[h] 返回首页