摘要
随着人类与人工智能协作写作的兴起，对细粒度检测方法的需求日益增长，以支持在混合作者文档中定位可能由LLM生成的内容。现有的LLM生成文本检测方法主要集中在文档级分类，无法识别文本中哪些部分是由LLM生成的。本文提出了一种新方法，以应对这一紧迫需求。
我们的方法在令牌级别（token level）操作，这是现代语言模型的自然单元，并基于现有的令牌级检测分数。关键思想是平滑相邻令牌的分数，以降低其变异性，同时使用自适应的Lepski型规则根据局部作者结构选择带宽。我们的方法实现简单，无需用于训练的令牌级标注数据。
从理论上讲，我们描述了这种权衡，并证明所提方法在估计基础信号时实现了有利的均方误差性能。实证上，我们展示了该方法在合成数据集和现实数据集上相较于多种基线的强大性能。此外，我们还部署了一个公开可访问的网站，实现该方法。
博主点评： 本文提出的基于令牌级别的检测方法具有重要的实际应用价值，尤其是在日益普及的AI协作环境中。其自适应的带宽选择策略为检测的精确性提供了保障，值得深入研究和推广。该方法的开放获取特性也促进了技术的透明性和社区的进一步发展。