摘要
多模态大语言模型（MLLMs）展现了强大的能力，但它们可能会记忆来自网络数据的私人信息，这引发了隐私问题。机器去学习提供了一种去除这些私人知识的方法，无需从头开始重训。然而，现有的 MLLM 去学习基准存在两个主要局限性。
首先，它们依赖于仅包含单一目标个体的简化图像，未能反映现实照片的视觉复杂性。其次，它们通常假设遗忘集和保留集完全分离，忽略了私人信息往往与良性公共信息视觉交织的事实。例如，私人个体可能与公共人物或知名地标共同出现，在这种情况下，去除私人目标不应损害公共上下文。
为了解决这些局限性，我们提出了 PPE-Bench，一个新的基准，用于评估在私人-公共纠缠下的 MLLM 去学习。每幅图像包含一个需要被遗忘的目标个体和需要保留的公共信息，包括公共人物和地标。此外，我们还提出了两种简单但有效的方法，以更好地在去学习过程中保留公共信息。
通过实验，我们发现现有的去学习方法可以减少私人信息泄露，但往往会显著损害相邻的公共信息。
博主点评： PPE-Bench 的提出为解决多模态大语言模型在处理私人信息时的隐私问题提供了新的思路。通过引入复杂的视觉场景，研究者能够更准确地评估去学习效果，确保公共信息的完整性。这一基准的有效性将直接影响未来隐私保护技术的发展方向。