摘要
在视觉创作系统如 ComfyUI 中，工作流生成不仅要求语法准确，还需要对模块组合进行专家级推理。现有的大型语言模型（LLM）方法通常将其视为直接的文本到 JSON 的生成任务，但在结构上表现出脆弱性，且缺乏有效设计所需的经验知识。
我们认为，成功的工作流生成需要对知识本身进行建模，包括其结构、层次和推理动态。为此，我们提出了一种知识中心框架，学习在多个抽象层次上反转、注入和推理知识。
首先，我们通过知识反转从大量真实工作流中提炼层次化表示，涵盖从完整的伪代码和骨架到高级策略的各个层次。然后，通过监督微调进行知识注入，教会模型从任务描述推理到策略，再从策略推理到可执行结构。
在推理过程中，模型执行可逆推理以合成可执行工作流，并通过自我优化增强结构的一致性。大量实验表明，我们的方法生成的工作流在节点多样性、结构连贯性和执行成功率方面均优于现有系统，为知识驱动的工作流生成奠定了新基础。
博主点评： 本文提出的知识中心框架为工作流生成提供了创新视角，强调了知识结构和推理的重要性。这种方法不仅提升了生成工作的质量，也为未来的视觉创作系统提供了新的可能性，值得深入研究和应用。