NeFut Logo NeFut
EN 管理员登录

[AI学术] 谁的声音在摘要中存活?LLM 员工倾听的声音保留审计

发布于:2026-10-01 22:00 最后更新:2026-10-06 12:11
#AI #Machine Learning #LLM

组织越来越多地使用大语言模型(LLM)对员工反馈进行摘要,再将摘要传递给管理层。这一未审计的中间层会削弱已表达的声音。我们提出 声音保留/表征比率(Voice Retention / Representation Ratio,VRR)指标,用以量化摘要过程中的表征偏差,并在一家全球专业服务公司的双语(英/德)语料库上进行实验。该语料库包含 2,586 条自由文本回应。实验发现:

  1. 员工更倾向于提供批评而非赞扬,隐藏赞扬的概率是表达批评的 82 倍。
  2. 在 45 份领导层摘要中,筛选机制基于主题流行度而非情感倾向:批评更容易被保留,而仅出现一次的关注点会被丢弃 86%。短句和仅德文的内容在同一维度上损失更大(主题保留率 0.14 对比 0.74,德文方向性更差)。
  3. 控制出现频率后,情感本身对保留率没有显著独立影响;损害主要由出现频率驱动,这一点是仅基于情感的审计所忽视的。

我们进一步设计了一个针对性提示(prompt),仅能恢复已命名的主题,未能提升整体保留率。本文贡献三点:VRR 指标的定义、真实业务场景下的实证结果、以及一张细化的声音保留卡片用于后续审计。

点评

原文链接: https://arxiv.org/abs/2609.38818

[h] 返回首页