摘要
大型语言模型（LLMs）能够概括人类语言，以完成前所未见的任务，促进了广泛的应用。尽管这种自动化提供了明显的效用，但完成这些任务通常需要插入个人身份信息（PII），这些信息字符串唯一标识某个个体，因此引发了隐私问题。然而，伦理考量阻止了一个公开、真实的PII数据集的整理。没有合适的数据集，量化隐私风险变得困难。因此，我们引入了PANOPTICON管道和数据集。
该数据集由Meta的Llama-3.1-8B-Instruct模型生成，包含67,718个提示，旨在为模型的上下文窗口提供PII片段，这些片段来自9,674个公开可用的合成用户档案。我们测量了生成数据集的词汇多样性和S-BERT多样性，以评估其现实性。最后，我们展示了一个案例研究，展示了PANOPTICON数据在理解提示反转攻击（PIAs）方面的效用。因此，PANOPTICON成为研究私有语料库中PIAs的第一基准数据集，为未来的LLM隐私研究奠定了基础。
博主点评： PANOPTICON数据集的推出填补了LLM隐私研究中的一个重要空白。通过提供真实的PII示例，它为评估模型在面临隐私攻击时的表现提供了基础，未来可能对隐私保护的策略制定产生深远影响。该研究不仅对学术界具有重要意义，也为实际应用中的隐私管理提供了指导。