FoodMLLM-JP: Leveraging Multimodal Large Language Models for Japanese Recipe Generation
The University of Tokyo(东京大学)
本文提出FoodMLLM-JP,通过在日语食谱数据集上微调LLaVA-1.5和Phi-3 Vision等多模态大语言模型,使其在配料生成任务上以0.531的F1分数超越GPT-4o,并在烹饪步骤生成上表现相当。
2025-03-03 cs.CV cs.MM
Recipe1M+: A Dataset for Learning Cross-Modal Embeddings for Cooking Recipes and Food Images
Massachusetts Institute of Technology(麻省理工学院);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
在本文中,我们介绍了Recipe1M+,这是一个新的大型结构化语料库,包含超过100万个烹饪食谱和1300万个食物图像。作为最大的公开可用的配方数据集合,Recipe1M+提供了在对齐的多模式数据上训练高容量模型的能力。使用这些数据,我们训练一个神经网络来学习食谱和图像的联合嵌入,在图像食谱检索任务中产生令人印象深刻的结果。此外,我们证明,通过增加一个高层次的分类目标的正则化既提高了检索性能,以媲美人类,并使语义向量运算。我们假设这些嵌入将为进一步探索Recipe1M+数据集以及食物和烹饪提供基础。代码、数据和模型是公开的。
2019-07-09 cs.CV
Inverse Cooking: Recipe Generation from Food Images
Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);Facebook AI Research(Facebook人工智能研究院)
人们喜欢美食摄影,因为他们欣赏美食。每一餐背后都有一个复杂的食谱中描述的故事,不幸的是,通过简单地查看食物图像,我们无法了解其准备过程。因此,在本文中,我们介绍了一个逆烹饪系统,重新创建烹饪食谱的食物图像。我们的系统通过一种新的架构来预测成分集,在不强加任何顺序的情况下对它们的依赖关系进行建模,然后通过同时处理图像及其推断的成分来生成烹饪指令。我们在大规模Recipe 1 M数据集上对整个系统进行了广泛的评估,结果表明:(1)我们提高了性能。成分预测的先前基线;(2)我们能够通过利用图像和成分两者来获得高质量的食谱;(3)我们的系统能够根据人类判断产生比基于检索的方法更令人信服的食谱。我们公开代码和模型。
2019-06-15 cs.CV
Learning Program Representations for Food Images and Cooking Recipes
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);DTU Compute(丹麦技术大学计算学院);Nestle(雀巢公司);Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
在本文中,我们感兴趣的是如何建模的教学过程,如烹饪食谱,有意义的和丰富的高层次的表示。具体来说,我们建议代表烹饪食谱和食物图像作为烹饪程序。程序提供任务的结构化表示,以图形的形式捕获烹饪语义和动作的顺序关系。这使得它们可以很容易地被用户操纵并由代理执行。为此,我们构建了一个模型,该模型经过训练,可以通过自我监督来学习食谱和食物图像之间的联合嵌入,并根据该嵌入作为序列联合生成程序。为了验证我们的想法,我们众包烹饪食谱的程序,并表明:(a)将图像食谱嵌入到程序中会导致更好的跨模态检索结果;(b)与预测原始烹饪指令相比,从图像生成程序会导致更好的识别结果;(c)我们可以通过优化GAN的潜在代码来操纵程序来生成食物图像。代码、数据和模型可在线获取。
2022-03-30 cs.CV
FIRE: Food Image to REcipe generation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
针对食物计算中图像生成食谱的需求,本文提出多模态方法FIRE,结合BLIP、Vision Transformer与T5模型生成食谱,可支持食谱定制与自动化烹饪,实验验证了其有效性。
2024-05-12 cs.CL cs.CV
MALM: Mask Augmentation based Local Matching for Food-Recipe Retrieval
University of Wollongong(伍伦贡大学)
针对图像到食谱检索任务中的监督崩溃问题,提出基于掩码增强的局部匹配网络MALM,通过局部匹配与掩码自蒸馏相互促进学习跨模态表示,在Recipe1M数据集上优于现有SOTA方法。
2023-05-18 cs.CV cs.LG cs.MM
Structure-Aware Generation Network for Recipe Generation from Images
School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院);Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly, NTU(南洋理工大学-不列颠哥伦比亚大学老年人积极生活联合卓越研究中心);Singapore Management University(新加坡管理大学)
随着社交媒体的发展,分享食物变得非常流行。对于许多现实世界的应用程序,人们热衷于了解食品的基本配方。在本文中,我们感兴趣的是自动生成烹饪指令的食物。我们调查了一个开放的研究任务,生成烹饪说明的基础上,只有食物的图像和成分,这是类似的图像描述的任务。然而,与图像描述数据集相比,目标配方是长长度的段落,并且不具有关于结构信息的注释。为了解决上述局限性,我们提出了一个新的框架结构感知生成网络(SGN)来解决食品配方生成任务。我们的方法在一个系统的框架中汇集了几个新的想法:(1)利用无监督学习方法在训练前获得图像级树结构标签;(2)在从(1)学习的树结构标签的监督下从图像生成目标食谱的树;以及(3)将推断的树结构与食谱生成过程相结合。我们提出的模型可以产生高质量和一致的食谱,并在基准Recipe 1 M数据集上实现最先进的性能。
2020-09-02 cs.CV
CHEF: Cross-modal Hierarchical Embeddings for Food Domain Retrieval
Samsung AI Center, Cambridge(三星剑桥人工智能中心);Rutgers University(罗格斯大学)
尽管有丰富的多模态数据,如图像-文本对,但在理解单个实体及其在构建这些数据实例中的不同角色方面却很少努力。在这项工作中,我们努力发现的实体及其相应的重要性,在烹饪食谱automaticall}作为一个视觉语言的关联问题。更具体地说,我们引入了一种新的跨模态学习框架,以联合建模图像和文本的潜在表示在食品图像食谱的关联和检索任务。该模型允许人们发现图像和文本之间以及食谱的文本部分(包括标题、配料和烹饪说明)之间的复杂功能和层次关系。我们的实验表明,通过使用高效的树结构的长短期记忆作为文本编码器在我们的计算跨模态检索框架,我们不仅能够识别食谱描述中的主要成分和烹饪动作,而无需明确的监督,但我们也可以学习更有意义的特征表示的食物食谱,适合具有挑战性的跨模态检索和食谱适应任务。
2021-02-04 cs.CV
SIMMER: Cross-Modal Food Image--Recipe Retrieval via MLLM-Based Embedding
The University of Electro-Communications(电通大学)
本文提出SIMMER,利用基于MLLM的嵌入模型VLM2Vec,通过统一编码器处理食物图像和食谱文本,设计定制化提示模板和数据增强策略,实现跨模态检索的高精度。
2026-04-17 cs.CL cs.CV cs.IR
RecipeGen: A Benchmark for Real-World Recipe Image Generation
针对现有食谱图像生成缺乏真实世界目标—步骤—图像关联数据的问题,本文提出首个真实世界基准RecipeGen,覆盖多样化食材、步骤、烹饪风格和食品类别,为食谱生成研究提供数据支撑。
2025-03-07 cs.CV
Learning Joint Embedding with Modality Alignments for Cross-Modal Retrieval of Recipes and Food Images
Georgia Institute of Technology(佐治亚理工学院);Wuhan University of Technology(武汉理工大学)
本文提出了一种学习文本图像联合嵌入的三层模态对齐方法,称为JEMA,用于烹饪食谱和食物图像的跨模态检索。第一层通过使用术语提取和排序增强序列模式优化LSTM网络来改进食谱文本嵌入,并通过将ResNeXt-101图像编码器与使用wideResNet-50和word 2 vec的类别嵌入相结合来优化图像嵌入。第二层模态对齐使用具有软边缘优化的双批硬三重损失来优化纹理-视觉联合嵌入损失函数。第三模态对齐结合了两种类型的跨模态对齐作为辅助损失正则化,以进一步减少两个模态特定嵌入函数的联合学习中的对齐误差。基于类别的跨模态对齐旨在将图像类别与食谱类别对齐,作为对联合嵌入的损失正则化。基于跨模态鉴别器的对齐旨在添加视觉-文本嵌入分布对齐以进一步正则化联合嵌入损失。使用100万个食谱基准数据集Recipe 1 M进行的大量实验表明,所提出的JEMA方法在图像到食谱和食谱到图像检索方面优于最先进的交叉模态嵌入方法。
2021-08-18 cs.CV cs.IR
KERL: Knowledge-Enhanced Personalized Recipe Recommendation using Large Language Models
Rensselaer Polytechnic Institute(拉特格斯理工学院)
本研究提出融合食品知识图谱与大语言模型的KERL系统,可实现个性化食谱推荐、烹饪步骤生成及营养分析,并构建基准数据集验证其性能优于现有方法。
2025-05-20 cs.AI cs.CL cs.CV
Food Ingredients Recognition through Multi-label Learning
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
自动构建跟踪所消耗成分的食物日记可以帮助人们遵循健康饮食。我们将食品成分识别问题作为一个多标签学习问题来解决。我们提出了一种方法,用于调整高性能的最先进的CNN,以便作为一个多标签预测器,用于学习食谱的成分列表。我们证明,我们的模型是能够,给定一张图片,预测其成分列表,即使对应于图片的配方从来没有见过的模型。我们公开了两个新的数据集适合于这一目的。此外,我们证明了一个用高度可变的配方和成分训练的模型能够更好地概括新数据,并可视化它如何将每个神经元专门用于不同的成分。
2017-07-27 cs.CV
Mitigating Cross-modal Representation Bias for Multicultural Image-to-Recipe Retrieval
Singapore Management University(新加坡管理大学)
本文提出因果表示学习方法,预测图像中遗漏的烹饪元素并注入跨模态学习,以缓解图像到食谱检索中的表示偏差,在单语和多文化数据集上显著提升检索性能。
2025-10-23 cs.CV cs.MM
Transformer Decoders with MultiModal Regularization for Cross-Modal Food Retrieval
Sorbonne University(索邦大学);Meta AI;Meero(Meero公司)
近年来,跨模态图像配方检索得到了极大的关注。大多数工作都集中在使用单峰编码器改进跨模态嵌入,这允许在大规模数据库中进行有效检索,而不考虑计算成本更高的模态之间的交叉注意。我们提出了一个新的检索框架,T-食品(Transformer解码器与多模态正则化跨模态食品检索),利用模态之间的相互作用,在一个新的正则化方案,而只使用单峰编码器在测试时进行有效的检索。我们还捕捉配方实体之间的内部依赖关系与一个专用的配方编码器,并提出了新的变体的三重损失与动态利润率,适应任务的难度。最后,我们利用最新的视觉和语言预训练(VLP)模型(如CLIP)用于图像编码器。我们的方法在Recipe 1 M数据集上的性能大大优于现有方法。具体而言,我们在1 k和10 k测试集上分别实现了8.1%(72.6 R@1)和+10.9%(44.6 R@1)的绝对改进。代码可以在这里找到:https://github.com/mshukor/TFood
2022-04-20 cs.CV
ChineseFoodNet: A large-scale Image Dataset for Chinese Food Recognition
Midea Emerging Technology Center(美的新兴技术中心);Midea Artificial Intelligence Research Institute(美的人工智能研究院)
在本文中,我们介绍了一个新的和具有挑战性的大规模食品图像数据集称为“ChineseFoodNet”,其目的是自动识别图片中国菜。大多数现有的食物图像数据集都是从食谱图片或自拍中收集食物图像。在我们的数据集中,每个食物类别的图像不仅包括网页食谱和菜单图片,还包括从真实菜肴,食谱和菜单拍摄的照片。ChineseFoodNet包含208个类别的180,000多张食物照片,每个类别都涵盖了同一种中国食物的大量差异。我们提出了我们的努力,建立这个大规模的图像数据集,包括食品类别的选择,数据汇集,数据清洗和标签,特别是如何使用机器学习方法,以减少人工标记工作,这是一个昂贵的过程。我们在ChineseFoodNet上分享了几个最先进的深度卷积神经网络(CNN)的详细基准。我们进一步提出了一种新的两步数据融合方法,称为“TastyNet”,它将不同CNN的预测结果与投票方法相结合。我们提出的方法在验证集和测试集上分别达到了81.43%和81.55%的前1准确率。最新的数据集是公开的,可供研究,并可以在https://sites.google.com/view/chinesefoodnet上获得。
2017-10-15 cs.CV
Revamping Cross-Modal Recipe Retrieval with Hierarchical Transformers and Self-supervised Learning
Amazon(亚马逊)
由于食物在人们生活中的重要性,以及大量数字烹饪食谱和食物图像可用于训练机器学习模型,跨模态食谱检索最近获得了大量关注。在这项工作中,我们重新审视了现有的跨模态食谱检索方法,并提出了一个简化的端到端模型,该模型基于完善的高性能文本和图像编码器。我们引入了一个分层的配方Transformer,它专注地编码各个配方组件(标题,成分和说明)。此外,我们提出了一个自我监督的损失函数计算上对个人的配方组件,这是能够利用配方内的语义关系,并使训练使用图像配方和食谱只有样本。我们进行了全面的分析和消融研究,以验证我们的设计选择。因此,我们提出的方法在Recipe1M数据集上的跨模态食谱检索任务中实现了最先进的性能。我们公开代码和模型。
2021-03-24 cs.CV
Evaluating Gemini LLM in Food Image-Based Recipe and Nutrition Description with EfficientNet-B4 Visual Backbone
Department of Computer Science and Technology(计算机科学与技术系);Nanjing University of Information Science and Technology(南京信息工程大学)
针对数字食品应用对自动化营养分析和烹饪指导的需求,本文通过整合EfficientNet-B4视觉骨干网络与Gemini LLM构建多模态管道,对比评估其在食物识别、营养数据及食谱生成中的表现,发现视觉前端感知准确率是系统效用的瓶颈。
2025-11-11 cs.CV cs.LG
Cross-Modal Retrieval and Synthesis (X-MRS): Closing the Modality Gap in Shared Representation Learning
Samsung AI Center(三星人工智能中心)
计算食品分析(CFA)自然需要特定食品的多模态证据,例如,使CFA成为可能的关键是多模态共享表示学习,其目的是创建数据的多个视图(文本和图像)的联合表示。在这项工作中,我们提出了一种方法,食品领域的跨模态共享表示学习,保留了巨大的语义丰富性,目前在食品数据。我们提出的方法采用了一个有效的基于变换的多语言配方编码器,加上传统的图像嵌入架构。在这里,我们建议使用不完美的多语言翻译来有效地规范模型,同时添加跨多种语言和字母表的功能。在公共Recipe1M数据集上的实验分析表明,通过所提出的方法学习的表示在检索任务上显着优于当前最先进的(SOTA)。此外,通过食谱嵌入条件下的生成食物图像合成模型证明了所学习的表示的表示能力。合成图像可以有效地再现成对样本的视觉外观,这表明学习的表示捕获了文本配方及其视觉内容的联合语义,从而缩小了模态差距。
2021-09-30 cs.CV cs.IR cs.LG
MCEN: Bridging Cross-Modal Gap between Cooking Recipes and Dish Images with Latent Variable Model
Zhejiang University(浙江大学);Singapore Management University(新加坡管理大学);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院)
如今,随着人们对饮食和健康的日益关注,食品计算引起了工业界和研究界的极大关注。在这一领域最受欢迎的研究课题之一是食品检索,由于其对健康为导向的应用程序的深远影响。在本文中,我们专注于食物图像和烹饪食谱之间的跨模态检索的任务。我们提出了模态一致性嵌入网络(MCEN),通过将图像和文本投影到相同的嵌入空间来学习模态不变表示。为了捕捉模态之间的潜在对齐,我们将随机潜变量明确利用文本和视觉特征之间的相互作用。重要的是,我们的方法在训练过程中学习跨模态对齐,但为了提高效率,在推理时独立计算不同模态的嵌入。大量的实验结果清楚地表明,所提出的MCEN优于所有现有的方法在基准Recipe1M数据集,需要更少的计算成本。
2020-04-02 cs.CL cs.CV
Vision and Structured-Language Pretraining for Cross-Modal Food Retrieval
Sorbonne University(索邦大学)
视觉语言预训练(VLP)和基础模型一直是在一般基准测试中实现SoTA性能的首选方法。然而,利用这些强大的技术更复杂的视觉语言任务,如烹饪应用程序,更结构化的输入数据,仍然很少研究。在这项工作中,我们建议利用这些技术的结构化文本为基础的计算美食的任务。我们的策略被称为VLPCook,首先将现有的图像-文本对转换为图像和结构化文本对。这允许使用适应于结果数据集的结构化数据的VLP目标来预训练我们的VLPCook模型,然后在下游计算烹饪任务中对其进行微调。在微调过程中,我们还丰富了视觉编码器,利用预训练的基础模型(例如CLIP)来提供本地和全局文本上下文。VLPCook在大型Recipe 1 M数据集上的跨模态食物检索任务上明显优于当前SoTA(+3.3召回@1绝对改善)。我们对VLP进行了进一步的实验,以验证它们的重要性,特别是在Recipe 1 M+数据集上。最后,我们验证了该方法对其他任务(即食物识别)和具有结构化文本的领域(如ROCO数据集上的医疗领域)的推广。代码可以在这里找到:https://github.com/mshukor/VLPCook
2023-03-15 cs.CV cs.LG
Multi-Task Learning for Calorie Prediction on a Novel Large-Scale Recipe Dataset Enriched with Nutritional Information
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在线发布的内容数量迅速增长,例如食物食谱,为视觉和语言交叉的新的令人兴奋的应用打开了大门。在这项工作中,我们的目标是通过学习人们在互联网上发布的食谱,直接从图像中估计一餐的卡路里量,从而跳过耗时的手动数据注释。由于在无约束环境中捕获的大规模公开数据集很少,因此我们提出了pic2kcal基准,包括来自70,000多个食谱的308,000张图像,包括照片,成分和说明。为了获得成分的营养信息并自动确定真实的卡路里值,我们将食谱中的项目与食物项目数据库中的结构化信息相匹配。我们评估了各种神经网络的热量回归,并将其扩展为多任务范式。我们的学习过程将卡路里估计与蛋白质、碳水化合物和脂肪量的预测以及多标签成分分类相结合。我们的实验表明,多任务学习对卡路里估计有明显的好处,超过单任务卡路里回归9.9%。为了鼓励对这项任务的进一步研究,我们公开了生成数据集和模型的代码。
2020-11-02 cs.CV
GILT: Generating Images from Long Text
Tel-Aviv University(特拉维夫大学)
创建反映长文本内容的图像是一个复杂的过程,需要创造力。例如,根据摘要创建书籍封面或电影海报,或者根据食谱创建食物图像。在本文中,我们提出了一个新的任务,从长文本生成图像,不直接描述图像的视觉内容。为此,我们建立了一个系统,用于生成高分辨率的256 $\times$ 256图像的食物调理他们的食谱。食谱文本(没有标题)与图像的视觉内容之间的关系是模糊的,食谱的文本结构是复杂的,由两个部分(成分和说明)组成,都包含多个句子。我们使用recipe 1 M数据集来训练和评估我们基于StackGAN-v2架构的模型。
2019-01-08 cs.AI cs.CV cs.LG
Deep Image-to-Recipe Translation
Georgia Institute of Technology(佐治亚理工学院)
本文研究从食物图像预测食材并生成食谱步骤,提出自定义卷积网络与基于迁移学习和预训练词嵌入的序列到序列模型,验证了迁移学习对性能的显著提升。
2024-07-01 cs.CL cs.CV cs.LG
VinaFood21: A Novel Dataset for Evaluating Vietnamese Food Recognition
越南是这样一个有吸引力的旅游目的地,其令人惊叹的原始景观和其一流的独特的食物和饮料。在成千上万的越南菜中,外国人和本地人都对易于食用的口味和易于制作的食谱感兴趣,以及合理的价格,令人垂涎的口味和受欢迎程度。由于越南菜的多样性和几乎所有的菜都有显著的相似性,并且缺乏高质量的越南菜数据集,因此很难实现自动分类系统来分类越南菜,从而使人们更容易发现越南菜。本文介绍了一个名为VinaFood 21的新越南食物数据集,该数据集由对应于21种菜肴的13,950张图像组成。我们使用10,044张图像进行模型训练,使用6,682张测试图像对VinaFood 21数据集中的每种食物进行分类,并在微调CNN EfficientNet-B 0时实现了74.81%的平均准确率。(https://github.com/nguyenvd-uit/uit-together-dataset)
2021-08-06 cs.CV
Applications of knowledge graphs for food science and industry
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Soochow University(苏州大学)
各种网络的部署(例如,物联网[IoT]和移动网络)、数据库(例如,营养表和食物成分数据库),以及社交媒体(例如,Instagram和Twitter)产生了大量的食品数据,这为研究人员提供了前所未有的机会,通过数据驱动的计算方法研究食品科学和工业中的各种问题和应用。然而,这些多源异构食品数据出现的信息孤岛,导致充分利用这些食品数据的困难。知识图谱以结构化的形式提供了一个统一的、标准化的概念术语,因此可以有效地组织这些食物数据,以利于各种应用。本文简要介绍了知识图谱以及食品知识组织从食品本体到食品知识图谱的演变。然后,我们总结了食品知识图谱的七个代表性应用,如新食谱开发,饮食-疾病相关性发现和个性化饮食推荐。我们还讨论了在这一领域的未来发展方向,如多模态食品知识图谱的建设和食品知识图谱为人类健康。
2022-05-16 cs.CV
NutriBench-Kitchen: Benchmarking Embodied AI for Nutrition Management
Georgia Institute of Technology(佐治亚理工学院);Southern University of Science and Technology(南方科技大学);SpatialTemporal AI(时空人工智能公司)
针对具身厨房助手在动态场景中营养状态跟踪与规划能力评估缺失的问题,提出含1500个问答对的基准NutriBench-Kitchen及诊断智能体Nutri-Vgent,揭示现有模型与人类差距并验证结构化记忆的有效性。
2026-09-09 cs.CV
Cross-lingual Adaptation for Recipe Retrieval with Mixup
University of Bristol(布里斯托大学);Singapore Management University(新加坡管理大学);Fudan University(复旦大学);City University of Hong Kong(香港城市大学)
近年来,由于大规模配对数据的可用性,跨模态食谱检索引起了研究的关注。然而,获得足够的食谱图像对覆盖大多数的菜肴的监督学习是困难的,如果不是不可能的。领域自适应通过将从数据丰富的菜肴中学到的知识转移到数据稀缺的菜肴中,揭示了这一实际问题。然而,现有的作品假设源域和目标域中的食谱大多源于相同的烹饪并以相同的语言编写。本文研究了无监督领域自适应的图像到食谱检索,其中食谱在源和目标领域是不同的语言。此外,只有配方可用于目标域中的训练。提出了一种新的配方混合方法来学习两个域之间的可转移嵌入特征。具体地,配方混合产生混合配方,以通过在源配方和目标配方之间离散地交换部分来形成中间域。为了弥合域间隙,提出了配方混淆损失,以强制中间域位于配方嵌入空间中源域和目标域之间的最短测地线路径上。通过使用Recipe 1 M数据集作为源域(英文)和Vireo-FoodTransfer数据集作为目标域(中文),实证实验验证了在图像到食谱检索的背景下食谱混合用于跨语言适应的有效性。
2022-05-08 cs.CV
Large Scale Visual Food Recognition
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Meituan Group(美团集团)
食物识别在食物选择和摄入中起着重要作用,这对人类的健康和福祉至关重要。因此,它对计算机视觉社区非常重要,并且可以进一步支持许多面向食物的视觉和多模式任务。不幸的是,我们目睹了已发布的大规模数据集的通用视觉识别的显着进步,但在食品领域却大大落后。Food 2K是目前世界上最大的食物识别数据集,拥有2,000个类别和超过100万张图像,与现有的食物识别数据集相比,Food 2K在类别和图像两个方面都绕过了它们一个数量级,从而为开发高级食物视觉表示学习模型建立了一个新的具有挑战性的基准。此外,我们提出了一种用于食物识别的深度渐进区域增强网络,该网络主要由两个部分组成,即渐进局部特征学习和区域特征增强。前者采用改进的渐进式训练来学习多样性和互补性的局部特征,而后者利用自我注意力将具有多尺度的更丰富的上下文纳入局部特征以进一步增强局部特征。在Food 2K上的大量实验证明了该方法的有效性。更重要的是,我们已经验证了Food 2K在各种任务中具有更好的泛化能力,包括食物识别,食物图像检索,跨模态食谱检索,食物检测和分割。可以进一步探索Food 2K,以使更多与食物相关的任务受益,包括新兴的和更复杂的任务(例如,Food 2K的训练模型可以作为骨干,以提高更多与食物相关的任务的性能。我们也希望Food 2K可以作为一个大规模的细粒度视觉识别基准。
2023-02-26 cs.CV
Retrieval Augmented Recipe Generation
Fudan University(复旦大学);Singapore Management University(新加坡管理大学)
针对大型多模态模型在食谱生成中存在的幻觉问题,提出结合随机多样化检索增强与自一致性集成投票的检索增强模型,在Recipe1M数据集上实现了食谱生成任务的SOTA性能。
2024-12-09 cs.CV
Real-Time Cooked Food Image Synthesis and Visual Cooking Progress Monitoring on Edge Devices
Samsung R&D Institute India(三星印度研发院)
本文提出了一种边缘高效的生成模型,通过引入基于烤箱的烹饪进程数据集和领域特定的CIS度量标准,实现了在边缘设备上实时合成逼真烹饪食品图像并监控烹饪进程。
2025-11-21 cs.CV cs.LG
Improving Dietary Assessment Via Integrated Hierarchy Food Classification
Purdue University(普渡大学)
基于图像的饮食评估是指根据视觉数据确定某人吃了什么以及消耗了多少能量和营养素的过程。食品分类是第一步,也是最关键的一步。现有的方法集中在提高准确性衡量的正确分类率的基础上的视觉信息,这是非常具有挑战性的,由于高复杂性和类间相似性的食物。此外,食品分类的准确性是概念性的,因为食品的描述总是可以改进的。在这项工作中,我们引入了一个新的食品分类框架,通过整合来自多个领域的信息,同时保持分类精度,提高预测质量。我们应用了一个多任务网络的基础上,使用视觉和营养领域的特定信息聚类相似的食物的层次结构。我们的方法在修改后的VIPER-FoodNet(VFN)食品图像数据集上进行了验证,包括相关的能量和营养信息。我们实现了与仅使用视觉信息的现有方法相当的分类精度,但在错误预测的能量和营养值方面误差较小。
2021-09-06 cs.CV
Long-Tailed Continual Learning For Visual Food Recognition
针对食物识别中持续学习与长尾分布的挑战,提出了基于知识蒸馏预测器与CAM-CutMix增强技术的端到端框架,并构建了三个反映真实人群消费的新基准数据集,显著提升了实例稀少类别的泛化能力。
2025-04-26 cs.CV
DeepFood: Deep Learning-Based Food Image Recognition for Computer-Aided Dietary Assessment
The University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);The University of Massachusetts Medical School(马萨诸塞大学医学院)
2014年,全球有超过19亿18岁及以上的成年人超重。其中,超过6亿人肥胖。准确记录饮食热量摄入对于管理减肥至关重要,但也带来了挑战,因为目前大多数饮食评估方法必须依赖记忆来回忆所吃的食物。我们研究的最终目标是开发计算机辅助技术解决方案,以提高和改善目前饮食摄入量测量的准确性。我们在本文中提出的系统旨在通过分析移动设备(例如,智能手机)。本文的关键技术创新点在于基于深度学习的食品图像识别算法。大量的研究表明,数字成像可以准确地估计许多环境中的饮食摄入量,并且与其他方法相比具有许多优势。然而,如何获得食物信息(例如,食物类型和份量)仍然是一个具有挑战性和开放性的研究问题。针对这一问题,提出了一种新的基于卷积神经网络(CNN)的食品图像识别算法.我们将我们提出的方法应用于两个真实世界的食物图像数据集(UEC-256和Food-101),并取得了令人印象深刻的结果。据我们所知,这些结果优于所有其他报告的工作,使用这两个数据集。我们的实验表明,该方法是一个很有前途的解决方案,解决食品图像识别问题。我们未来的工作包括进一步提高算法的性能,并将我们的系统集成到现实世界的移动和基于云计算的系统中,以提高当前饮食摄入量测量的准确性。
2016-06-17 cs.CV
Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition
Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid(生物度量与数据模式分析实验室,马德里自治大学);IMDEA Food, CEI UAM+CSIC(IMDEA食品,CEI UAM+CSIC)
本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力,提出了一个新的评估指标,并展示了FoodNExTDB数据库在饮食评估中的应用潜力。
2025-04-09 cs.AI cs.CV
Advancing Food Nutrition Estimation via Visual-Ingredient Feature Fusion
Singapore Management University(新加坡管理大学);Fudan University(复旦大学)
针对营养标注数据不足的问题,本文构建 FastFood 数据集并提出模型无关的 VIF$^2$ 视觉-食材特征融合方法,在 FastFood 和 Nutrition5k 上验证其可提升多种骨干网络的营养预测性能。
2025-05-13 cs.AI cs.CV