LLM 在写作任务中的广泛使用催生了检测 LLM 生成文本的工具，但这些工具主要衡量文档表层文字的来源，未能评估信息内容或创意到底来自模型还是用户提示。本文提出一种框架，用来量化人在文档中相对于语言模型所增加的价值。该方法不需要训练或标注数据，也不对文档的表层文字打分，从而避免风格干扰。框架的核心是：逐步提取文档内容的不同粒度，用 LLM 从每个部分重建文档，并将这些重建结果与仅基于任务描述的重建进行比较。我们将其命名为 Value Over Language Model（VOLM），其度量的是相对于一个仅凭任务描述即可生成的“替代文档”，人类贡献的大小。
我们在新闻稿、ICLR 评审和议论文三个领域实现了具体的 VOLM 实例并进行评估。实验表明，VOLM 能够将真实人写的文档与从通用任务描述生成的 LLM 文本区分开，同时对保持内容不变的变换（如 LLM 重建、往返翻译）保持高度不变性。进一步的分析显示，使用更受约束的内容提取器会降低 LLM 生成文本与人类文本之间的残差，说明信息内容与风格变异需要被分离。
我们希望这些结果能激励对该框架的专门化实现以及更广泛的 LLM 辅助写作中人类贡献评估的研究。
点评：VOLM 提供了一种无需标注、聚焦信息层面的评估思路，为衡量人机协同写作的真实价值奠定了基础。