随着生成式人工智能的迅猛发展，许多开源模型可供任何人使用，生成特定艺术风格的产品渲染。然而，这些模型也被不法分子利用，生成仇恨言论或儿童性虐待材料（CSAM）。这一问题日益严重——2025年，国家失踪与被剥削儿童中心接到了超过150万份AI生成的CSAM报告，而2024年仅为67,000份。
通常，工程师通过提示模型并检查其输出测试AI的有害能力，但由于CSAM在美国是非法生成的，因此这一方法无法适用。为了解决这一困境并提升AI安全性，麻省理工学院（MIT）的科学家们与Thorn的研究人员合作，开发了一种新的审计方法，能够在不提示模型的情况下判断模型是否能够生成CSAM。该技术通过分析模型的内部工作机制来推断模型是否被专门化以生成有害图像，而无需生成任何输出。在测试中，该审计程序以100%的准确率识别出了已专门化生成CSAM的模型变体。托管平台可以使用这一技术标记不安全的模型，并快速将其删除或阻止其上传。
“这为托管开源模型的平台和执法部门开启了一条新的途径，能够真正测试模型是否具备生成CSAM的能力。在此之前，我们没有测量这一点的方法，这是一个巨大的盲点，某些人正利用这一点。现在，我们可以解决这一对儿童产生严重负面影响的AI安全问题，”研究的主要作者、MIT电气工程与计算机科学研究生Vinith Suriyakumar表示。
最近的技术使得用户能够通过一种称为低秩适应（LoRA）的算法专门化生成AI模型，而不必对整个模型进行重新训练。这导致了多种新生成AI模型变体的出现，但也使得恶意行为者能够创建能够生成高质量CSAM及其他有害图像的模型。
为了审计模型，工程师通常会提示其生成有害内容并检查输出，但这种手动审计程序并不具备可扩展性。此外，反复生成可怕图像可能对评估人员造成负面心理影响。
研究人员的技术并不关注输出，而是针对LoRA算法在微调过程中所做的修改。他们通过一种称为高斯探测的技术，向模型输入一组随机数据点，并分析其如何在多层内部结构中处理这些数据。研究人员在模型内部结构的多个时间点捕获这些修改，并对其进行平均，以总结LoRA适配器如何改变模型的计算。他们发现这些响应是模型被专门化的强信号。
“AI的儿童安全问题非常重要，我们已经展示了高斯探测可以成为一个非常有用的工具，”Wilson表示。重要的是，他们的技术具有可扩展性，实施相对便宜。由于每月会发布成千上万的模型变体，可扩展性对于帮助审计人员在有害适应广泛传播之前将其移除至关重要。
研究人员希望未来能够在更大范围的模型变体上评估他们的技术，并探索高斯探测是否可以在基模型被适应之前检测出有害能力。
“现在我们有了一种技术方法来部分解决这个问题。大量的努力投入到这次合作中，使我们能够解决一个严重影响儿童的难题。希望我们能在这一领域产生变革性的影响，”Ghassemi说。这项工作部分得到了Bridgewater AIA实验室研究奖学金的支持。
博主点评： 该研究为监测和防止AI生成的有害内容提供了一种创新的方法，特别是在儿童安全领域。高斯探测技术的应用不仅提升了审计的准确性，也为未来的AI安全研究开辟了新的方向。希望这一成果能够引起更广泛的关注与应用，帮助保护儿童免受数字环境中的侵害。