arXiv 2506.067332025-06-11cs.CV

RecipeGen：面向真实世界食谱生成的步骤对齐多模态基准

RecipeGen: A Step-Aligned Multimodal Benchmark for Real-World Recipe Generation

Jilin University（吉林大学）；Guangdong University of Technology（广东工业大学）；National Chiao Tung University（交通大学）；National Taiwan University（国立台湾大学）

Ruoxuan Zhang, Jidong Gao, Bin Wen, Hongxia Xie, Chenming Zhang, Hong-Han Shuai, Wen-Huang Cheng

备注：: This is an extended version of arXiv:2503.05228

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对食谱目标、步骤与视觉内容缺乏细粒度对齐的问题，本文提出包含大规模食谱、图像和视频的 RecipeGen 基准，并通过领域指标评测 T2I、I2V 与 T2V 模型。

摘要：

创建食谱图像是食品计算中的一项关键挑战，在烹饪教育和多模态食谱助手中具有应用。然而，现有数据集缺乏食谱目标、分步说明与视觉内容之间的细粒度对齐。我们提出 RecipeGen，这是首个用于基于食谱的文本到图像（T2I）、图像到视频（I2V）和文本到视频（T2V）生成的大规模真实世界基准。RecipeGen 包含26,453份食谱、196,724张图像和4,491个视频，涵盖多样的食材、烹饪流程、风格和菜品类型。我们进一步提出面向特定领域的评估指标，以评估食材保真度和交互建模，对具有代表性的 T2I、I2V 和 T2V 模型进行基准测试，并为未来的食谱生成模型提供洞见。项目页面现已开放。

英文摘要：

Creating recipe images is a key challenge in food computing, with applications in culinary education and multimodal recipe assistants. However, existing datasets lack fine-grained alignment between recipe goals, step-wise instructions, and visual content. We present RecipeGen, the first large-scale, real-world benchmark for recipe-based Text-to-Image (T2I), Image-to-Video (I2V), and Text-to-Video (T2V) generation. RecipeGen contains 26,453 recipes, 196,724 images, and 4,491 videos, covering diverse ingredients, cooking procedures, styles, and dish types. We further propose domain-specific evaluation metrics to assess ingredient fidelity and interaction modeling, benchmark representative T2I, I2V, and T2V models, and provide insights for future recipe generation models. Project page is available now.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。