Images & Recipes: Retrieval in the cooking context
Sorbonne Université(索邦大学);ETIS, UMR 8051(ETIS联合研究单位8051);Université Paris Seine(巴黎塞纳大学);Université Cergy-Pontoise(塞吉-蓬图瓦兹大学);ENSEA(法国国立高等电子与应用学院);CNRS(法国国家科学研究中心)
机器学习社区的最新进展允许出现不同的用例,因为它与烹饪等领域的关联创造了计算美食。在本文中,我们解决的图片配方对齐问题,有作为目标应用程序的大规模检索任务(找到一个配方给定的图片,反之亦然)。我们的方法在Recipe1M数据集上进行了验证,该数据集由一百万个图像配方对和其他类信息组成,我们实现了最先进的结果。
2018-05-02 cs.AI cs.CL cs.CV
A generative grammar of cooking
Indraprastha Institute of Information Technology Delhi (IIIT-Delhi)(德里英德拉普拉斯塔信息技术学院(IIIT-Delhi))
烹饪是人类将原料转化为美味佳肴的独特努力。几个世纪以来,世界各地的文化已经发展出各种各样的烹饪方法,这些烹饪方法在他们的烹饪传统中根深蒂固。因此,食谱是文化胶囊,捕捉烹饪知识在精心制作的烹饪协议。虽然简单的定量模型已经探索了食谱构成的模式和烹饪演变的过程,但与语言等其他文化怪癖不同,烹饪的原则迄今为止尚未探索。驱动烹饪行为的基本规则,塑造食谱组成和烹饪架构,尚不清楚。在这里,我们提出了一个生成语法的烹饪,捕捉基本的烹饪逻辑。通过研究广泛的结构化食谱库,我们确定了核心概念和规则,共同打造一个组合系统的烹饪合成。在语言背景下所做的工作的基础上,一个逻辑上一致的生成框架的演示提供了对烹饪行为的深刻见解。鉴于食物在营养和生活方式障碍中的核心作用,烹饪语法提供了通过饮食干预改善公共健康的杠杆作用,而不仅仅是创造性追求的应用,如新食谱的生成。
2022-10-12 cs.AI cs.CL physics.soc-ph
From Cooking Recipes to Robot Task Trees -- Improving Planning Correctness and Task Efficiency by Leveraging LLMs with a Knowledge Network
University of South Florida(南佛罗里达大学)
本文提出利用LLM检索食谱并用微调GPT-3生成任务树,再通过任务树检索合并多输出为图以剔除可疑和高成本节点,从而提升机器人烹饪规划的正确性与执行效率。
2023-09-17 cs.AI cs.RO
ReGraph: Learning to Generate Recipe Graphs from Food Images
Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信体智能研究院);Singapore Management University(新加坡管理大学)
本研究针对现有食谱生成方法的过程结构捕捉不足问题,构建了ReGraph食谱图数据集并提出RGL两阶段框架,可让LMM从食物图像生成结构化食谱图,提升了烹饪实体与过程关系的生成效果。
2026-08-10 cs.AI
Towards an Action-Centric Ontology for Cooking Procedures Using Temporal Graphs
Ashoka University(阿什oka大学)
针对烹饪流程形式化的复杂性与模糊性问题,提出一种可扩展领域特定语言将食谱表示为有向行动图,可精准建模复杂烹饪工作流,经英式早餐食谱评估验证了表达力,为构建烹饪领域行动中心本体、实现烹饪流程的机器理解与自动化奠定基础。
2025-09-04 cs.AI cs.CL
Knowledge Retrieval for Robotic Cooking
University of South Florida(南佛罗里达大学)
搜索算法应用于需要指定规格的数据检索。在功能面向对象网络中开发搜索算法的动机是,大多数时候,需要检索某个配方或确定某个配方的成分。根据介绍,有时机器人无法执行整个食谱,因此需要检索某个食谱或配料。有了高质量的FOON,机器人可以破译任务目标,在所需的状态下找到正确的对象进行操作,并输出一系列正确的操作动作。本文展示了几种建议的加权FOON和任务规划算法,这些算法允许机器人和人类一起成功完成复杂的任务,成功率高于人类单独完成这些任务。
2022-11-16 cs.AI cs.RO
Cook-Gen: Robust Generative Modeling of Cooking Actions from Recipes
Artificial Intelligence Institute University of South Carolina Columbia, SC, USA
针对食谱中烹饪动作描述多变、模式稀疏且难以靠扩规模解决的问题,本文提出基于聚合的生成式方法Cook-Gen,可可靠生成烹饪动作并优于LLM等强基线。
2023-06-01 cs.AI cs.CL cs.IR
DataChef: Cooking Up Optimal Data Recipes for LLM Adaptation via Reinforcement Learning
Fudan University(复旦大学);Shanghai AI Laboratory(上海人工智能实验室)
DataChef通过强化学习自动生成最优数据配方,使LLM适应性能达到人类专家水平。
2026-03-06 cs.AI cs.CL
Task Tree Retrieval For Robotic Cooking
University Of South Florida(南佛罗里达大学)
本研究围绕机器人烹饪的任务规划问题,基于FOON知识表示框架,通过知识检索调取功能单元信息生成任务子图,实现给定食谱的任务树规划,支持机器人按指令完成烹饪。
2023-11-27 cs.AI cs.RO
ARChef: An iOS-Based Augmented Reality Cooking Assistant Powered by Multimodal Gemini LLM
Cupertino High School(库比蒂诺高中);University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对传统烹饪方式的痛点及现有AR烹饪应用的不足,研究提出基于iOS的ARChef原型,结合多模态Gemini LLM、CV与ARKit实现食材识别、个性化食谱推荐等功能,经用户调研验证有效,助力减少食物浪费、优化烹饪体验。
2024-12-09 cs.AI cs.HC
Do Recipes Have Personas? Characterizing and Generating Creator Style in Attributed Procedural Graphs
Microsoft(微软公司)
该研究针对大语言模型生成同质化逻辑的问题,构建了映射特定创作者的烹饪执行图数据集,提出结构化两阶段模型,可精准刻画与生成创作者的过程风格,集成方法能融合语义推理与拓扑控制优势。
2026-08-26 cs.AI
Assorted, Archetypal and Annotated Two Million (3A2M) Cooking Recipes Dataset based on Active Learning
Islamic University of Technology (IUT)(伊斯兰科技大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本研究针对网上食谱分类标注数据不足的问题,结合专家知识与主动学习技术,构建了含200万条带分类和置信度的3A2M烹饪食谱数据集,可支撑多项机器学习与NLP任务研究。
2023-03-27 cs.AI cs.CL cs.LG
A Stitch in Time: Learning Procedural Workflow via Self-Supervised Plackett-Luce Ranking
Department of Informatics, King’s College London, UK(伦敦国王学院信息学系)
本文提出PL-Stitch框架,通过自监督学习提升视频过程性表示,有效解决传统方法对序列结构的忽视问题,在手术和烹饪任务中取得显著提升。
2026-03-20 cs.AI cs.CV
A Highly Clean Recipe Dataset with Ingredient States Annotation for State Probing Task
The University of Tokyo(东京大学)
本文构建带食材状态变化标注的日语食谱数据集,并设计三项状态探测任务,证明学习食材状态知识可提升LLM对烹饪过程的理解。
2025-08-28 cs.AI cs.CL cs.MM
Latent Alignment of Procedural Concepts in Multimodal Recipes
Michigan State University(密歇根州立大学)
我们提出了一种新的对齐机制来处理新发布的多模态QA数据集上的程序推理,名为RecipeQA。我们的模型是解决文本完形填空任务,这是一个阅读理解的食谱包含图像和说明。我们利用注意力网络的力量,跨模态表示,以及指令和候选答案之间的潜在对齐空间来解决这个问题。我们引入了约束最大池,它细化对齐矩阵上的最大池操作,在模型的输出之间施加不相交的约束。我们的评估结果表明,比基线提高了19%。
2021-01-12 cs.AI cs.CL
Visual Recipe Flow: A Dataset for Learning Visual State Changes of Objects with Recipe Flows
Kyoto University(京都大学);OMRON SINIC X Corporation(欧姆龙 SINIC X 公司);RIKEN AIP(理化学研究所人工智能研究中心)
我们提出了一个新的多模态数据集,称为Visual Recipe Flow,它使我们能够学习食谱文本中的每个烹饪动作结果。数据集由对象状态更改和配方文本的工作流组成。状态变化表示为图像对,而工作流表示为配方流图(r-FG)。图像对在r-FG中接地,这提供了跨模态关系。有了我们的数据集,人们可以尝试一系列的应用,从多模态常识推理和程序化文本生成。
2022-09-13 cs.AI cs.CL
Quels formalismes temporels pour représenter des connaissances extraites de textes de recettes de cuisine ?
LORIA(洛林计算机科学及其应用实验室);CNRS(法国国家科学研究中心);INPL(洛林国立理工学院);INRIA(法国国家信息与自动化研究所);UN2(南锡第二大学);UHP(亨利·庞加莱大学(南锡第一大学));Université Nancy 2(南锡第二大学);LHYGES(水文学、地质学与地球化学实验室);ENGEES(斯特拉斯堡国立水与环境工程学校);Université de Strasbourg(斯特拉斯堡大学);Université Henri Poincaré, Nancy 1(亨利·庞加莱大学(南锡第一大学))
Taaable项目的目标是创建一个基于案例的推理系统,用于检索和调整烹饪食谱。在这个框架内,我们正在讨论的时间方面的食谱和手段,以适应他们的文字表示。
2011-10-24 cs.AI
Towards Automated Recipe Genre Classification using Semi-Supervised Learning
Islamic University of Technology(伊斯兰理工大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本研究提出包含两百万食谱的3A2M+数据集,通过扩展NER列表支持分类等任务,并利用机器学习与预训练模型实现98.6%的食谱流派分类准确率,发现标题特征作用最显著。
2023-10-24 cs.AI cs.CL
50 Ways to Bake a Cookie: Mapping the Landscape of Procedural Texts
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
网络上充满了各种各样任务的指导,从给汽车换油到烤苹果派。然而,由于内容是独立创建的,因此单个任务可能有数千个相应的过程文本。这使得用户很难看到更大的画面,并理解可以完成任务的多种方式。在这项工作中,我们提出了一个无监督学习的方法总结成一个直观的图形表示多个程序的文本,让用户可以轻松地探索共性和差异。我们展示了我们的方法上的食谱,程序文本的一个突出的例子。用户研究表明,我们的表示是直观和连贯的,它有可能帮助用户完成几项感官构建任务,包括为新手厨师调整食谱,并找到创造性的方法来调味。
2022-10-31 cs.AI cs.CL
The Proof is in the Almond Cookies
Sony Computer Science Laboratories(索尼计算机科学实验室);Faculté d’informatique, Université de Namur(那慕尔大学计算机学院);Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文提出一种基于叙事的计算食谱理解方法,通过整合语言处理、本体和心理模拟,将食谱建模为叙事结构,以支持厨房AI助手应对食谱语言挑战、优化机器人规划并实现语言无关标注。
2025-01-03 cs.AI cs.CL
CookAnything: A Framework for Flexible and Consistent Multi-Step Recipe Image Generation
Jilin University(吉林大学);National Yang Ming Chiao Tung University(国立阳明交通大学);National Taiwan University(国立台湾大学)
CookAnything通过引入步骤式区域控制、灵活RoPE和跨步骤一致性控制,实现了灵活且一致的多步骤食谱图像生成,提升复杂烹饪指令的视觉合成质量。
2025-12-05 cs.AI cs.CV
FABLE: A Novel Data-Flow Analysis Benchmark on Procedural Text for Large Language Model Evaluation
University of South Carolina(南卡罗来纳大学)
本文提出了FABLE基准,通过跨三个领域的八种经典数据流分析评估LLM的数据流推理能力,发现推理模型准确率更高但推理速度较慢,而通用和代码模型表现接近随机猜测。
2025-05-30 cs.AI
CLMSM: A Multi-Task Learning Framework for Pre-training on Procedural Text
Indian Institute of Technology Kharagpur(印度理工学院卡哈拉格普尔分校)
本文提出CLMSM持续预训练框架,结合对比学习与掩码步骤建模,在食谱数据上预训练并在实体追踪与动作对齐任务中表现优异,具备跨域泛化能力。
2023-10-22 cs.AI cs.CL
KitchenScale: Learning to predict ingredient quantities from recipe contexts
Korea University(高丽大学);Sejong University(世宗大学);Sony AI(索尼人工智能研究院)
本文提出 KitchenScale 微调 PLM,通过计量类型分类、单位分类、用量回归及 DExp 方法,从食谱上下文预测食材数值与单位,并验证其泛化能力。
2023-04-21 cs.AI cs.CL cs.LG
Constructing Flow Graphs from Procedural Cybersecurity Texts
Arizona State University(亚利桑那州立大学)
遵循用自然语言编写的过程文本是具有挑战性的。我们必须阅读全文来识别相关信息或识别指令流程来完成一项任务,这很容易出现故障。如果这样的文本是结构化的,我们可以很容易地可视化推理流程,推理或推断特定的步骤,甚至构建自动化系统来帮助新手代理实现目标。然而,由于这些文本的多样性,这种结构恢复任务是一个挑战。本文提出从这些文本中识别相关信息,并在句子之间生成信息流。我们在网络安全领域建立了一个大型注释程序文本数据集(CTFW)(3154个文档)。此数据集包含有关软件漏洞分析经验的有价值的说明。我们在CTFW上进行了广泛的实验,在多种设置下使用我们的LM-GNN模型变体。为了展示这项任务和我们的方法的普遍性,我们还尝试了来自其他两个领域(维护手册和烹饪)的程序文本,这与网络安全有很大的不同。我们的实验表明,图卷积网络与BERT句子嵌入优于BERT在所有三个领域
2021-05-29 cs.AI cs.CL cs.CR
EgoOops: A Dataset for Mistake Action Detection from Egocentric Videos referring to Procedural Texts
Kyoto University(京都大学);Sony Interactive Entertainment(索尼互动娱乐)
针对现有错误检测研究缺乏流程文本支撑、相关数据集覆盖领域有限的问题,本文提出跨领域第一人称错误动作检测数据集EgoOops及结合视频文本对齐与标签分类的检测方法,验证了流程文本对错误检测的重要性。
2025-07-31 cs.AI cs.CL cs.CV
Learn How to Cook a New Recipe in a New House: Using Map Familiarization, Curriculum Learning, and Bandit Feedback to Learn Families of Text-Based Adventure Games
Information Sciences Institute/University of Southern California(南加州大学信息科学研究所)
我们考虑学习玩基于文本的计算机冒险游戏家族的任务,即,具有共同主题(例如烹饪)和目标(例如根据食谱准备一顿饭)但具有不同细节的完全文本环境;这种游戏的新实例对于人类来说在短暂接触该类型之后相对简单地掌握,但对于计算机代理来说奇怪地难以学习。我们发现,在单实例动作视频游戏中成功实现超人表现的深度Q学习策略,在采用与人类学习行为相关的简单策略时,可以应用于学习文本视频游戏系列。具体来说,我们建立代理,学习解决简单的情况下,更复杂的使用课程学习,熟悉自己在一个不熟悉的环境中,通过导航之前采取行动,并探索不确定的环境更彻底地使用上下文多臂强盗决策政策。我们展示了在合理的基线上改进的任务完成率,当评估该主题的从未见过的游戏时。
2020-04-20 cs.AI cs.CL
Knowledge-Aware Procedural Text Understanding with Multi-Stage Training
Peking University(北京大学);Microsoft(微软)
过程文本描述了逐步自然过程中的动态状态变化(例如,光合作用)。在这项工作中,我们专注于过程文本理解的任务,其目的是理解这样的文档和跟踪实体的状态和位置在一个过程中。虽然最近的方法已经取得了实质性的进展,但它们的结果远远落后于人类的表现。常识推理的困难和数据不足这两个挑战仍然没有解决,这就需要结合外部知识库。以往的外部知识注入工作通常依赖于嘈杂的Web挖掘工具和启发式规则,适用的场景有限。在本文中,我们提出了一种新的知识感知过程文本理解(KOALA)模型,它有效地利用多种形式的外部知识在这项任务中。具体来说,我们检索翔实的知识三元组从ConceptNet和执行知识感知推理,同时跟踪的实体。此外,我们采用了一个多阶段的训练模式,微调BERT模型从维基百科收集的未标记的数据,然后进一步微调它的最终模型。在两个过程文本数据集ProPara和Recipes上的实验结果验证了所提出方法的有效性,与各种基线相比,我们的模型达到了最先进的性能。
2021-02-13 cs.AI cs.CL
Time-Stamped Language Model: Teaching Language Models to Understand the Flow of Events
Michigan State University(密歇根州立大学)
由于过程中描述的世界的动态性,在文本中描述的整个过程中跟踪实体具有挑战性。首先,我们建议制定这个任务作为一个问答问题。这使我们能够在其他QA基准测试中使用预先训练的基于transformer的语言模型,使其适应过程性文本理解。其次,由于基于transformer的语言模型不能单独对事件流进行编码,本文提出了一种基于时间戳的语言模型(TSLM模型),通过引入时间戳编码来对LM体系结构中的事件信息进行编码。我们的模型在Propara数据集上进行了评估,结果显示出对已发表的最新结果的改进,F1评分增加了$3.1\%$。此外,我们的模型在NPN-Cooking数据集上的位置预测任务上产生了更好的结果。这一结果表明,我们的方法是有效的程序性文本的理解一般。
2021-04-15 cs.AI cs.CL cs.LG
Human Evaluation of Procedural Knowledge Graph Extraction from Text with Large Language Models
Princeton University(普林斯顿大学);Springer Heidelberg(斯普林格海德堡);ABC Institute(ABC研究所)
本文提出利用大语言模型和提示工程方法,从文本中提取过程知识并构建知识图谱,通过用户研究评估其质量和实用性。
2024-11-27 cs.AI cs.CL cs.HC
Automatic case acquisition from texts for process-oriented case-based reasoning
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);ENGEES(斯特拉斯堡国立水与环境工程学院)
本文介绍了一种面向过程的案例推理中,从自由文本中自动获取丰富的案例表示的方法。案例工程是实现基于案例推理系统中最复杂和最昂贵的任务之一。尤其是面向过程的基于案例的推理,其中更富有表现力的情况下表示通常使用,在我们看来,实际上需要令人满意的情况下适应。在这种情况下,从程序文本中自动获取案例的能力是向前迈出的重要一步,以便对流程进行推理。因此,我们详细介绍了一种方法,使情况下收购过程中描述为自由文本可能,特别注意到汇编指令文本。这种方法扩展了我们用来从烹饪食谱中提取动作的技术。我们认为,这项任务需要从自然语言处理的技术,他们给了令人满意的结果。基于我们实现的原型提取工作流程的配方文本的评价。
2013-04-14 cs.AI cs.CL
PersonaMatrix: A Recipe for Persona-Aware Evaluation of Legal Summarization
Georgia Institute of Technology(佐治亚理工学院);Michigan State University(密歇根州立大学)
本文提出PersonaMatrix框架,通过六个角色评估法律摘要,引入控制的维度转移试点数据集,以暴露法律摘要在人物意识和非人物意识法官间的差异最优解。
2025-10-23 cs.AI cs.CL