NeFut Logo NeFut
EN 管理员登录

[算法硬核] 仅凭结构识别 AI 网页内容的模型训练

发布于:2026-09-22 22:00 最后更新:2026-09-24 00:40
#AI #Machine Learning #optimization

我们是 Sitefire 的 Vincent 和 Jochen(https://sitefire.ai),背景分别是斯坦福的强化学习/优化和慕尼黑工业大学的软件工程。Sitefire(YC W26)帮助营销团队在 AI 搜索(ChatGPT、Google AI Overview、Claude 等)中获得推荐。我们的系统会监控提示词、记录被引用的网页,并据此给出创作建议,例如制作 YouTube 视频或撰写合适的博客。

在与数百个营销团队交流后,我们发现大家普遍厌恶所谓的 “AI slop”,但仍希望利用 AI 生成内容。于是我们思考:AI slop 有哪些结构特征?能否仅凭结构区分 AI 与人类撰写的网页?

受马里兰大学和 DeepMind 的 StoryScope(Russell 等,2026)启发,我们将其管线迁移到商业博客。通过 Wayback Machine 收集了 2,250 篇来自 268 家 B2B 公司、在 ChatGPT 出现前的博客文章。随后让五个大模型(GPT‑5.4、Claude Sonnet 4.6、Gemini 3 Flash、DeepSeek V3.2、Kimi K2.5)各自生成对应版本。

我们没有直接分析文字,而是让一个 AI 对每篇文章回答 214 个结构性问题,例如是否多次强调产品、是否提供来源、是否引用专家等。将这些答案作为特征,训练二分类器。对全新博客的测试显示,分类器以 98% 的准确率区分 AI 与人类文章,仅错 19 条(共 1,740 条)。

原因在于五个模型的结构特征高度相似,聚类后形成紧密的 AI 群,而人类文章的特征分布更为分散。最独特的 1% 文章中,149 篇是人类,只有 4 篇是 AI。我们进一步发现 AI slop 的典型表现是重复三次核心信息:标题已暗示结论,正文开头再次概述,结尾又一次重复。77% 的 AI 文章以重复要点收尾,而人类文章仅为 12%。

我们还训练了第二个分类器,用于辨别是哪五个模型中的哪一个或是人类作者,准确率达到 79%,远高于随机猜测的 17%。错误几乎全部是模型之间的混淆,而不是把人类误判为 AI。

结构特征的优势在于改写文字也难以逃脱。我们让每个模型对自己的文章进行多轮改写,平均去除 73% 的原始 13‑词序列,分类器的表现几乎未变。

目前我们正把该模型集成到 Sitefire,使生成的内容在结构上更接近人类写作。尚未测试的场景包括各种人类润色工具、人工重写、重新组织段落或显式提示模型避免重复。另一个限制是人类样本主要来自 2020‑2022 年,而 AI 样本生成于 2026 年,时间差可能影响结构差异的解释。

完整研究已在 arXiv(https://arxiv.org/abs/2609.15369)公开,代码仓库在 GitHub(https://github.com/pulse-energy-eu/slopshape)。我们还提供了一个在线检测工具(https://sitefire.ai/slop-checker)和一个小游戏(https://sitefire.ai/spot-the-slop)供大家体验

点评

原文链接: https://arxiv.org/abs/2609.15369

[h] 返回首页