NeFut Logo NeFut
EN 管理员登录

[AI学术] BoardSafety:基于制造商文档的开发板安全数据

发布于:2026-10-27 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #LLM

大型语言模型(LLM)已经能够在硬件实验中提供辅助,但一个实际问题随之而来:LLM 能否判断某个操作对特定开发板是否安全?不同厂商甚至同一厂商的不同产品都有各自的操作限制和安全要求,这使得基于 LLM 的板级安全判定难以评估。\ \ 为了解决此问题,我们提出了 BoardSafety 基准。该基准从供应商的数据手册和硬件指南中提取信息,将文档转换为板级安全规则库,并据此生成标注的操作场景。每条数据由“板子 + 拟议操作”配对到相应的安全规则,并给出真实标签,标签分为安全、危险和信息不足三类。基准覆盖了多种操作、板级特例、边界条件以及缺失信息的情况。\ \ 我们对一系列模型进行评估,比较了模型在不同规则访问方式下的表现,并尝试了结构化推理提示(structured‑rationale prompting)。实验结果显示,提供安全规则普遍提升了准确率,而结构化推理提示的效果在不同模型和规则访问条件下差异显著。总体来看,当前模型仍无法可靠判断操作安全性,表明该领域仍需深入探索。\ \ 点评:BoardSafety 为评估 LLM 在硬件安全判定中的能力提供了系统化数据集,揭示了规则信息的重要性和模型推理的局限,为后续研究指明了方向。

原文链接: https://arxiv.org/abs/2610.33448

[h] 返回首页