RTL 修复基准的目标是评估模型在给定规范的情况下能否修复损坏的 RTL。
为此我们构建了 RTLRepairDataset,包含 5,784 对(损坏, 修复)的训练样本;以及 RTLRepairBench,459 条持出案例,其中 374 为语法突变,85 为行为突变。提供了支持仿真和形式等价的评估框架。
使用该基础设施我们发现了两个测量混淆因素。其一,仿真得分和形式得分对是否提供规范的影响呈相反符号;通过 reset‑aware 重新计分,几乎所有差异归因于 reset 与首周期比较语义。其二,在 274 条模型失效案例中,仅使用规范的恢复率与使用规范条件的恢复率差异在 -8.5 到 +18.3 百分点之间,说明传统修复分数并不能隔离模型是否真正利用了错误的 RTL。
基于这些发现,我们提出评估控制措施:报告初始化、reset、首周期和未知值语义;披露 oracle 覆盖率和未决案例;加入仅规范基线。资源和审计既提供了行为修复的基准,也提供了诊断得分贡献的协议。
我们已在 https://github.com/Evaaaz/RTLRepairBench 开源基准、训练集、构建代码、清洗后的聚合证据以及复现材料。
点评