摘要
大型语言模型（LLMs）在反向工程任务中的应用日益增多，最近的威胁情报报告显示它们正在活跃于实时的攻防安全工作流程中。然而，关于它们能力的声明远远超过了我们测量这些能力的能力。现有的LLM辅助二进制分析基准将函数级别的真实值构建视为一个已解决的预处理步骤，并报告准确性，却未披露有多少函数是可靠可评估的。
我们认为，公平评估的主要障碍不是模型能力，而是编译器优化下二进制与源代码对齐的可靠性。本文提出了Reforge，一个追踪来源的管道，通过编译、DWARF和句法提取、对齐和反编译，从C源代码构建函数级别的真实值，并将对齐不确定性操作化为一个八门信心漏斗，具有三层分层结构。
在一个受控的微基准测试中，高信心产出率在不同优化级别下从87.2%降至65.9%，而无配对比较则通过生存偏差夸大了优化引起的性能衰减。对七个当代LLMs在函数命名方面的概念验证评估展示了基础，并推动了关注不确定性的基准实践。
博主点评： 本文通过Reforge方法创新性地解决了LLM在反向工程中的评估问题，尤其是强调了编译器优化对模型表现的影响，为后续研究提供了重要的参考框架。