构建可信的模型基准需要确保模型在评估前未接触测试数据。类似学生提前看到试卷会导致成绩失真，AI 模型若已见过评测题目，同样会产生基准污染。为了解决这一难题，Google 与新加坡 AI 安全研究院、OpenMined、AVERI、MLCommons 合作，推出首个双盲评估框架。评估在 Google Cloud 的 Confidential Computing 可信执行环境（Confidential Space）中进行，外部评测数据和模型权重分别加密，双方只能在加密盒内交互，评测方看不到模型权重，Google 也看不到评测题目。该方案提供了密码学可验证的证明，防止评测数据泄露或被模型提前学习，特别适用于网络安全或政府级别的敏感评估。双盲评估消除了传统评估中“交出题目”或“交出模型” 的权衡，使独立机构能够在不泄露数据主权的前提下，对前沿模型进行严格测试。我们希望该试点能够为模型监管树立新标杆，推动行业构建更安全、可靠且被广泛信任的 AI 系统。欲了解方法细节和实验结果，请参阅技术报告。
博主点评：总体来看，双盲评估通过密码学手段解决了基准污染问题，为 AI 评测设立了更高的信任门槛，值得业界关注与推广。