摘要
大型语言模型（LLM）越来越多地为以自然语言指定的任务提供标签、评估和反馈。当规范存在多重解读且监督通道无法揭示哪个是有效的时，额外的标签可以减少抽样误差，但无法解决由此产生的识别问题。我们引入了自然语言PAC（NL-PAC）框架，该框架利用固定模型的阈值解码法则来定义可接受标签和候选目标。
在目标盲监督下，多个标签可接受的概率等于逐点可接受目标类的直径，每个学习者在每个样本大小下都遭受至少为这一直径一半的最坏风险；在这一类中，确切的随机极小风险可以通过数据无关的策略来实现。有限样本置信界使这些量从保留的未标记输入中可认证。
在一个冻结的Qwen~2.5--3B审核中，预先指定的提示生成了正面的模型相对证书，而释义和精确规则控制则产生了零结果。一个保留的桥接审核发现，提供的候选解读条款未能满足转移证书到一致解读所需的可接受性条件。该保证具体针对审核的模型、提示、阈值和输入分布；将其扩展到人类解释需要外部验证。
博主点评： NL-PAC框架为解决LLM中的规范模糊性提供了新的视角，通过量化标签的可接受性，推动了监督学习的理论基础。尤其是在多解读环境下，如何确保模型的可靠性与透明性，成为了未来研究的重要方向。