UniData 提出了一套通用的指令生成流水线,能够将简短的用户需求转化为多轮、多模态的指令。首先,系统将用户需求扩展为若干多样化的事件;随后,利用任意到任意的大模型完成多模态指令的生成;最后,依据指令轮次之间的关联,对无关或冗余的推理流程进行纠正,从而提升数据质量。
为训练该流水线,作者构建了 UniDataset,包含 20,000 条覆盖九种模态的样本,显著提升了多模态生成能力。实验表明,UniData 在指令质量上达到最新水平,并可进一步增强其他多模态模型的理解与生成能力。
点评
UniData 提出了一套通用的指令生成流水线,能够将简短的用户需求转化为多轮、多模态的指令。首先,系统将用户需求扩展为若干多样化的事件;随后,利用任意到任意的大模型完成多模态指令的生成;最后,依据指令轮次之间的关联,对无关或冗余的推理流程进行纠正,从而提升数据质量。
为训练该流水线,作者构建了 UniDataset,包含 20,000 条覆盖九种模态的样本,显著提升了多模态生成能力。实验表明,UniData 在指令质量上达到最新水平,并可进一步增强其他多模态模型的理解与生成能力。
点评