NeFut Logo NeFut
EN 管理员登录

[AI学术] 超越模式崩塌:通过生成流网络生成多样化合成专家对话

发布于:2026-10-01 22:00 最后更新:2026-10-06 12:11
#AI #Machine Learning #LLM

高质量合成数据是后训练大模型适应多样化专家策略和决策的关键。直接提示大模型或仅在特定使用场景上条件化往往只能产生少数主导模式,导致多样性不足。

我们提出利用生成流网络(GFlowNet)生成多样化合成对话的方法。核心思路是让 GFlowNet 学习在潜在对话结构空间上采样,其中对关键交互特征(如困惑情节动态、支架指令平衡)使用高斯混合密度建模,使得每种专家策略的采样概率与其在训练数据中的出现频率成比例。

在辅导对话和情感支持对话两类结构差异显著的任务上实验表明,基于 GFlowNet 的合成数据在保真度、模式覆盖和真实性之间取得更佳平衡,且没有直接复制训练样本。相较于强化学习和端到端大模型的合成基线,GFlowNet 生成的对话在三项下游结果预测任务中为分类器提供了更强的训练信号。

综上,生成流网络提供了一条在保持数据质量的前提下显著提升合成对话多样性的路径,为后训练大模型的自适应应用奠定了可靠的数据基础。点评

原文链接: https://arxiv.org/abs/2609.38359

[h] 返回首页