ReGraph 是一个大规模的食谱图数据集,它将食材、烹饪动作和工具表示为实体,使用实体属性来描述食材状态的变化,并使用类型化关系来编码操作目标、目的地和程序顺序。ReGraph 还结合了显式的食谱推理链路(Recipe Reasoning Chain-of-Thought,RR-CoT),为程序分解和结构化图生成提供辅助监督。 基于 ReGraph,我们提出了食谱图学习(Recipe Graph Learning,RGL)框架,它使得大型多模态模型(Large Multimodal Models,LMMs)能够从食物图像中生成一个合理的、细粒度的烹饪工作流程,以结构化的食谱图的形式呈现。 我们的实验结果显示,现有的方法生成的食谱虽然具有竞争力的文本生成质量,但是在 ReGraph 模式下却只能恢复有限的参考对齐实体和关系结构。相比之下,RGL 一致地改进了烹饪实体和程序关系的生成,我们的分析进一步表明,细粒度的食材状态捕获仍然是最具挑战性的维度。 博主点评: ReGraph 为食谱生成提供了一个新的、结构化的视角,它使得模型能够生成更详细、更有序的烹饪工作流程,这是一个非常有趣的研究方向,未来可能会在智能厨房、自动化烹饪等领域有所应用。