在硬件设计领域，大型语言模型（LLM）在寄存器传输级（RTL）代码生成方面表现出色，尤其是在Verilog语言的应用上。然而，对于其他硬件描述语言（HDL），尤其是VHDL的评估仍然相对有限。这主要是由于VHDL的语言特性，如更严格的语义规则，导致其评估考虑与Verilog存在差异。这一缺口限制了我们对当前模型在不同结构和语义的硬件设计语言间的泛化能力的全面理解。
为了解决这一问题，我们提出了VHDLSuite，这是一个以基准为中心的基础设施，旨在可扩展的VHDL生成评估。该系统集成了自动基准合成、可执行验证和多模型诊断分析。首先，我们提出了一个数据管道，自动将Verilog设计及其测试平台转换为可执行的VHDL基准实例，并通过VUnit/GHDL进行验证，以确保每个发布的任务在VHDL环境中是可编译、可运行且一致可检验的。
其次，我们引入了VHDLBench，这是一个包含200多个VHDL问题的基准，涵盖了广泛的复杂性级别，并提供了完整且经过验证的测试平台。最后，我们对前沿的LLM进行了广泛评估，揭示了与LLM辅助的VHDL生成相关的关键挑战。我们的研究结果为多语言硬件设计自动化的未来工作提供了重要的见解。
我们的数据管道、基准和评估框架将开源供大家使用。
博主点评： VHDLSuite的推出为VHDL生成评估提供了重要基础，尤其是在LLM应用日益广泛的背景下。通过自动化的基准合成与验证，开发者可以更高效地评估模型性能，这将促进更广泛的硬件设计语言的研究和应用。开源的举措也将推动社区的进一步发展。