本文讨论了AI代理在硬件设计中的理解能力。传统评估只在固定问题框架下比较不同代理，无法区分代理是基于机器原理推理还是盲目搜索参数。我们提出AutoTuring实验：同一代理在同一15维加速器空间中进行两次优化，一次使用具名的架构旋钮并提供模拟器计数，另一次使用匿名变量[0,1]，其合法空间和可达最优保持一致，仅意义不同。实验在九核FP16 GEMM工作负载上进行，结果显示有意义的架构信息带来显著提升：架构代理比模型H200快5.4%，比盲代理快12.3%，且仿真调用减少70.1%。然而加入批评循环后，盲代理的性能提升几乎抵消了差距，说明结构化批评与架构知识可以相互替代。本文报告了初步发现，每种条件仅做五到六次运行，重点在比较方法而非加速器本身。
点评