NeFut Logo NeFut
EN 管理员登录

[AI学术] 单样本解码的两层声-词画布模型用于泰国克隆帕德

发布于:2026-10-16 22:00 最后更新:2026-10-18 08:05
#AI #Machine Learning #LLM

我们提出了一种泰国克隆帕德(klon pad)诗句生成器,能够根据短主题生成一段四行诗。模型基于 WangchanBERTa 的掩码语言模型,在固定画布上构建两层结构:声层记录发音音节并通过硬掩码强制押韵、声调和音节数;词层保存完整词汇,避免词被切分。解码时逐格填入,每格以温度 0.4 采样,一次抽取一个主题的样本,不进行后处理或重新排序。

在 78 个未见主题上进行评估,使用冻结的 LLM 判官对形式、词汇洁净度和主题匹配度进行三轮独立打分。生成的诗句在三项综合通过率为 70.5%,而人工诗句为 76.9%(差距 -6.4 点,95% CI [-19.2, +6.4])。词汇洁净度与人工相当(85.9% vs 87.2%),形式+洁净度的综合通过率略高于人工 (+3.8 点,CI [-6.4, +14.1]),差距主要来源于主题匹配(84.6% vs 91.0%)。

温度对结果影响显著:提升温度会显著降低通过率,因为低概率词汇导致词汇错误;降低温度虽提升通过率,却导致稀有词使用率下降(7.5% vs 人工的 16.5%),多样性受限。预先设定的目标是三项指标均在人工水平 5 分以内,最终差距为 1.4 分。对比唯一公开的克隆帕德生成器 KlonSuphap-LM,在同样评估中形式通过率仅 19.2%,洁净度 3.8%,未通过任何主题。

点评:该工作展示了在严格形式约束下,单样本低温采样能够逼近人工水平,尤其在形式和洁净度上表现优异。但主题匹配仍是瓶颈,提升语义对齐或许需要更丰富的上下文建模或后处理策略。

原文链接: https://arxiv.org/abs/2610.14980

[h] 返回首页