An Effective Scheme for Maize Disease Recognition based on Deep Networks
Ferdowsi University of Mashhad(马什哈德菲尔多西大学);University of Western Australia(西澳大学)
在过去的几十年里,玉米产品的种植面积增加了,因为它在人类,牲畜和家禽的食物循环中发挥着重要作用。此外,植物病害影响食品安全,可大大降低农产品的质量和数量。准确和及时诊断该疾病存在许多挑战。本研究提出了一种基于深度神经网络的新方案来克服上述挑战。由于数据数量有限,迁移学习技术在两个众所周知的架构的帮助下被采用。通过这种方式,一个新的有效的模型是通过预训练的MobileNetV2和Inception网络的组合,由于其有效的性能对目标检测问题。MoblieNetV2和Inception模块的卷积层被重新安排为更早的层,以提取关键特征。此外,类的不平衡问题已经解决了一个增强策略。该方案具有优越的性能相比,其他国家的最先进的模型在最近几年公布的。模型的准确率达到97%左右。实验结果证明了该方法在植物叶片病害诊断中的有效性和显著性。
2022-05-09 cs.CV cs.LG
Creation and Evaluation of a Food Product Image Dataset for Product Property Extraction
Institut für Softwaresysteme, Hochschule Trier(特里尔应用科技大学软件系统研究所)
本文创建并评估了一个包含1,034张摄影棚食品图像、带5个类别标签和30个目标检测标签的数据集,并基于GS1标准为零售领域机器学习模型训练数据构建提供参考流程。
2024-11-15 cs.CV cs.LG
Evaluating Gemini LLM in Food Image-Based Recipe and Nutrition Description with EfficientNet-B4 Visual Backbone
Department of Computer Science and Technology(计算机科学与技术系);Nanjing University of Information Science and Technology(南京信息工程大学)
针对数字食品应用对自动化营养分析和烹饪指导的需求,本文通过整合EfficientNet-B4视觉骨干网络与Gemini LLM构建多模态管道,对比评估其在食物识别、营养数据及食谱生成中的表现,发现视觉前端感知准确率是系统效用的瓶颈。
2025-11-11 cs.CV cs.LG
Towards Learning Food Portion From Monocular Images With Cross-Domain Feature Adaptation
Purdue University(普渡大学);Curtin University(科廷大学);University of Hawaii Cancer Center(夏威夷大学癌症中心)
我们的目标是估计食物部分的大小,一个属性,这是强烈相关的食物对象在3D空间中的存在下,从现实生活中设置的单目图像。具体来说,我们感兴趣的是端到端的估计食物的部分大小,这在个人健康管理领域具有很大的潜力。与可以通过大规模众包获得注释的图像分割或对象识别不同,收集用于部分尺寸估计的数据集更具挑战性,因为人类在没有专业知识的情况下无法准确估计任意2D图像中对象的尺寸。为了应对这一挑战,我们引入了一个从营养研究中收集的真实食物图像数据集,其中食物能量(卡路里)由注册营养师提供,并将提供给研究界。我们提出了一个深度回归过程,通过结合从RGB和学习的能量分布域估计的特征来估计部分大小。我们对食物能量的估计达到了最先进的水平,MAPE为11.47%,显著优于非专家人类估计的27.56%。
2021-03-12 cs.CV
Modeling Colors of Single Attribute Variations with Application to Food Appearance
University of Maryland, College Park(马里兰大学帕克分校)
本文认为,图像内的颜色空间的对象或场景时,这些都受到一个占主导地位的单一来源的变化。变化源可以是内在的或外在的(即,成像条件)。我们观察到,这些对象的量化颜色通常位于RGB的平面子空间上,并且在某些情况下,该平面上的线性或多项式曲线在捕获这些颜色变化方面是有效的。我们还观察到,只要不涉及剧烈的光照变化,图像间颜色子空间是鲁棒的。我们说明了使用这种分析:区分阴影变化和反射率变化的补丁,和目标检测,分割和识别的基础上,一个单一的样本。我们专注于食品的图像来说明所提出的方法的有效性。
2015-12-18 cs.CV
Khana: A Comprehensive Indian Cuisine Dataset
针对印度菜数据集缺失问题,提出Khana基准数据集,含131K张图像、80个标签,支持分类、分割和检索任务,并评估了基线模型性能。
2025-09-07 cs.AI cs.CV cs.LG
Exploring PCA-based feature representations of image pixels via CNN to enhance food image segmentation
本文提出一种基于CNN和PCA的无监督食品图像分割方法,利用轮廓系数评估像素特征聚类质量,在FoodSeg103上取得0.5423的mIoU,无需微调即可实现灵活、可泛化的分割。
2024-11-05 cs.CV
Large Scale Visual Food Recognition
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Meituan Group(美团集团)
食物识别在食物选择和摄入中起着重要作用,这对人类的健康和福祉至关重要。因此,它对计算机视觉社区非常重要,并且可以进一步支持许多面向食物的视觉和多模式任务。不幸的是,我们目睹了已发布的大规模数据集的通用视觉识别的显着进步,但在食品领域却大大落后。Food 2K是目前世界上最大的食物识别数据集,拥有2,000个类别和超过100万张图像,与现有的食物识别数据集相比,Food 2K在类别和图像两个方面都绕过了它们一个数量级,从而为开发高级食物视觉表示学习模型建立了一个新的具有挑战性的基准。此外,我们提出了一种用于食物识别的深度渐进区域增强网络,该网络主要由两个部分组成,即渐进局部特征学习和区域特征增强。前者采用改进的渐进式训练来学习多样性和互补性的局部特征,而后者利用自我注意力将具有多尺度的更丰富的上下文纳入局部特征以进一步增强局部特征。在Food 2K上的大量实验证明了该方法的有效性。更重要的是,我们已经验证了Food 2K在各种任务中具有更好的泛化能力,包括食物识别,食物图像检索,跨模态食谱检索,食物检测和分割。可以进一步探索Food 2K,以使更多与食物相关的任务受益,包括新兴的和更复杂的任务(例如,Food 2K的训练模型可以作为骨干,以提高更多与食物相关的任务的性能。我们也希望Food 2K可以作为一个大规模的细粒度视觉识别基准。
2023-02-26 cs.CV
A Mobile Food Recognition System for Dietary Assessment
Istanbul Technical University(伊斯坦布尔理工大学);Hamad bin Khalifa University(哈马德·本·哈利法大学)
食物识别是各种应用的重要任务,包括管理健康状况和帮助视力受损的人。一些食物识别的研究集中在一般类型的食物或特定的美食,然而,食物识别方面的中东美食仍然是未经探索的。因此,在本文中,我们专注于开发一个移动友好,中东美食为重点的食品识别应用程序辅助生活的目的。为了实现低延迟、高准确度的食品分类系统,我们选择使用Mobilenet-v2深度学习模型。由于一些食物比其他食物更受欢迎,因此所使用的中东食物数据集中每个类别的样本数量相对不平衡。为了弥补这个问题,数据增强方法被应用于代表性不足的类。实验结果表明,使用Mobilenet-v2架构的这项任务是有益的准确性和内存的使用。该模型对23种食物类别的准确率达到94%,开发的移动应用程序有可能通过图像为视障人士提供自动食物识别服务。
2022-04-20 cs.CV
Visual Aware Hierarchy Based Food Recognition
Purdue University(普渡大学)
食物识别是基于图像的膳食评估中最重要的组成部分之一。然而,由于食物图像的不同复杂程度和食物类别的类间相似性,基于图像的食物识别系统对于各种公开可用的数据集实现高准确性是具有挑战性的。在这项工作中,我们提出了一个新的两步食品识别系统,包括食品定位和分层食品分类使用卷积神经网络(CNN)作为骨干架构。食物定位步骤基于Faster R-CNN方法的实现来识别食物区域。在食物分类步骤中,视觉相似的食物类别可以自动聚类在一起,以生成一个层次结构来表示食物类别之间的语义视觉关系,然后提出一个多任务CNN模型来执行基于视觉感知层次结构的分类任务。由于数据集的大小和质量是数据驱动方法的关键组成部分,因此我们引入了一个新的食物图像数据集,VIPER-FoodNet(VFN)数据集,由82个食物类别和15 k个基于美国最常用食物的图像组成。使用半自动众包工具来提供该数据集的地面实况信息,包括食物对象边界框和食物对象标签。实验结果表明,我们的系统可以显着提高分类和识别性能的4个公开可用的数据集和新的VFN数据集。
2020-12-06 cs.CV
FoodAI: Food Image Recognition via Deep Learning for Smart Food Logging
Salesforce Research Asia(Salesforce亚洲研究院)
健康监测的一个重要方面是有效记录食物消费。这可以帮助管理与饮食有关的疾病,如肥胖,糖尿病,甚至心血管疾病。此外,食物记录可以帮助健身爱好者,以及想要达到目标体重的人。然而,食物记录是麻烦的,并且不仅需要花费额外的努力来记录定期食用的食物项目,而且需要对所食用的食物项目有足够的了解(由于各种各样的美食的可用性,这是困难的)。随着对智能设备的依赖越来越大,我们利用智能手机提供的便利,提出了一种智能食品记录系统:FoodAI,它提供了最先进的基于深度学习的图像识别功能。FoodAI是在新加坡开发的,特别专注于新加坡常见的食品。FoodAI模型在来自756个不同类别的40万个食物图像的语料库上进行了训练。在本文中,我们提出了广泛的分析和见解,这个系统的发展。FoodAI已被部署为API服务,并且是由新加坡健康促进委员会开发的移动应用程序Healthy 365的组件之一。我们有超过100个注册组织(大学、公司、初创企业)订阅了这项服务,每天都会收到多个API请求。FoodAI使食物记录变得方便,有助于智能消费和健康的生活方式。
2019-09-26 cs.CV cs.LG cs.MM
Recognition of Multiple Food Items in a Single Photo for Use in a Buffet-Style Restaurant
The University of Tokyo(东京大学);Japan Institute of Sports Sciences(日本体育科学研究所)
我们研究了在一张照片中的多个食物项目的图像识别,重点是自助餐厅应用程序,其中菜单在每顿饭的变化,每个类只有几个图像可用。在检测食物区域后,我们进行分层识别。我们评估我们的结果,比较两个基线方法。
2019-03-03 cs.CV
Deep learning approaches in food recognition
Athena Research Centre(雅典娜研究中心);University Campus at Kimmeria(基梅里亚大学校区)
基于图像的自动食物识别是一项特别具有挑战性的任务。传统的图像分析方法在过去实现了较低的分类精度,而深度学习方法能够识别食物类型及其成分。食物盘的内容物通常是可变形的对象,通常包括复杂的语义,这使得定义其结构的任务非常困难。深度学习方法已经在这些挑战中显示出非常有前途的结果,因此本章重点介绍一些流行的方法和技术,应用于基于图像的食物识别。三个主要的解决方案,即从头开始的设计,迁移学习和基于平台的方法,概述了,特别是手头的任务,并进行测试和比较,以揭示固有的优势和劣势。本章还附有基本的背景材料,其中一节专门介绍从所采用的经验方法来看至关重要的相关数据集,以及一些强调未来方向的结论性意见。
2020-04-08 cs.CV cs.LG eess.IV
ISIA Food-500: A Dataset for Large-Scale Food Recognition via Stacked Global-Local Attention Network
Key Lab of Intelligent Information Processing, Institute of Computing Technology, CAS(中国科学院计算技术研究所智能信息处理重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Meituan-Dianping Group(美团点评集团)
食物识别因其在饮食管理、自助餐厅等方面的广泛应用而受到多媒体领域的广泛关注。大规模食品图像本体是开发先进的大规模食品识别算法的迫切需要,以及为这些算法提供基准数据集。为了鼓励食品识别的进一步发展,我们引入了数据集ISIA Food- 500,其中包含维基百科列表中的500个类别和399,726张图像,这是一个更全面的食品数据集,在类别覆盖率和数据量方面超过了现有的流行基准数据集。此外,我们提出了一个堆叠的全局-局部注意力网络,它由两个子网络的食物识别。一个子网络首先利用混合空间通道注意力来提取更多的区分特征,然后将这些多尺度区分特征从多个层聚合到全局级表示(例如,关于食物的质地和形状信息)。另一个生成注意区域(例如,成分相关区域),并进一步将这些来自不同层的多尺度区域特征聚合成地方级表示。这两种类型的功能,最终融合作为食品识别的综合表示。在ISIA Food-500和其他两个流行的基准数据集上的大量实验证明了我们所提出的方法的有效性,因此可以被认为是一个强大的基线。数据集、代码和模型可以在http://123.57.42.89/FoodComputing-Dataset/ISIA-Food500.html上找到。
2020-08-13 cs.CV cs.MM
Leveraging Context to Support Automated Food Recognition in Restaurants
Georgia Institute of Technology(佐治亚理工学院)
移动相机的普及导致了食物照片的急剧增加,这些照片反映了人们吃什么。在本文中,我们研究了如何拍摄我们在餐馆吃的东西可以用于自动化食品日记的目的。我们建议利用照片拍摄的背景,以及有关餐厅的其他信息,在线提供,再加上最先进的计算机视觉技术来识别正在消费的食物。为此,我们展示了基于图像的识别在餐馆吃的食物,通过训练一个分类器,从餐馆的在线菜单数据库的图像。我们评估了我们的系统在不受约束的,现实世界的设置与食物图像在10家餐馆在5种不同类型的食物(美国,印度,意大利,墨西哥和泰国)的性能。
2015-10-07 cs.CV
Wide-Slice Residual Networks for Food Recognition
University of Udine(乌迪内大学)
食品日记应用代表了一个诱人的市场。这些基于图像食物识别的应用为计算机视觉和模式识别算法带来了新的挑战。该领域最近的工作集中在手工制作的表示或通过利用深度神经网络来学习这些表示。尽管这最后一个系列的作品取得了成功,但这些作品通常利用现成的深层架构来对菜肴进行分类。因此,架构并不是针对特定的问题。我们相信,如果根据食物成分的分析来定义深层结构,可以获得更好的结果。遵循这样的直觉,这项工作引入了一个新的深度计划,旨在处理食物结构。具体来说,受最近成功的残差深度网络的启发,我们利用这样的学习方案,并引入切片卷积块来捕获垂直食物层。深度残差块的输出与切片卷积相结合,以产生特定食物类别的分类分数。为了评估我们提出的架构,我们进行了三个基准数据集的实验结果。结果表明,我们的解决方案显示出更好的性能相对于现有的方法(例如,在Food-101挑战数据集上的前1准确度为90.27%)。
2016-12-20 cs.CV
Improving Food Image Recognition with Noisy Vision Transformer
University of Alabama(阿拉巴马大学)
本研究提出利用带噪声视觉Transformer(NoisyViT)改进食物图像识别,在三个基准数据集上显著提升分类准确率,展示了其在饮食评估和营养监测中的潜力。
2025-03-24 cs.CV eess.IV
Long-Tailed Continual Learning For Visual Food Recognition
针对食物识别中持续学习与长尾分布的挑战,提出了基于知识蒸馏预测器与CAM-CutMix增强技术的端到端框架,并构建了三个反映真实人群消费的新基准数据集,显著提升了实例稀少类别的泛化能力。
2025-04-26 cs.CV
GCAM: Gaussian and causal-attention model of food fine-grained recognition
School of Computer and Information, Hefei University of Technology(合肥工业大学计算机与信息学院);School of Food Science and Engineering, Northern University for Nationalities(北方民族大学食品科学与工程学院);School of Electrical Engineering, Xinjiang University(新疆大学电气工程学院);School of Computer Science and Technology, Xinjiang University(新疆大学计算机科学与技术学院)
针对食品细粒度识别难题,提出GCAM模型,结合高斯特征提取与因果注意力干预,并设计可学习损失策略,在四个数据集上超越现有最先进方法。
2024-03-18 cs.AI cs.CV cs.LG
Food Recognition using Fusion of Classifiers based on CNNs
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
随着卷积神经网络的出现,近年来复杂的食物识别问题经历了重要的改进。使用基于非常深的卷积神经网络的方法已经获得了最好的结果,这表明模型越深,获得的分类精度越好。然而,非常深的神经网络可能遭受过拟合问题。在本文中,我们提出了一种基于不同卷积模型的多分类器组合,这些模型相互补充,从而提高了性能。我们的方法的评估是在两个公共数据集上完成的:Food-101作为具有各种细粒度菜肴的数据集,Food-11作为高级食物类别的数据集,我们的方法优于独立的CNN模型。
2017-09-14 cs.CV
Computer Vision in the Food Industry: Accurate, Real-time, and Automatic Food Recognition with Pretrained MobileNetV2
Tarbiat Modares University(塔比阿特莫达雷斯大学)
针对食品识别难以兼顾准确、实时与低成本部署的问题,本文在 Food11 数据集上用预训练 MobileNetV2 结合迁移学习和数据增强等策略,实现了快速且高准确率的自动识别。
2024-05-19 cs.CV
Dual-Imbalance Continual Learning for Real-World Food Recognition
University of Michigan(密歇根大学);Indiana University Bloomington(印第安纳大学布卢明顿分校)
本文提出DIME框架,解决持续学习中食物类别样本不平衡与新增类别数量不平衡问题,通过轻量适配器和谱合并策略提升效率,实验显示性能提升超3%。
2026-03-31 cs.CV
Light Weight Character and Shape Recognition for Autonomous Drones
Manipal Institute of Technology(马尼帕尔理工学院)
在搜索和救援任务中广泛使用无人驾驶航空器分发急救包和食品包。重要的是,这些无人机能够识别和区分标记,以有效地分配。标记位置的常见方式之一是通过使用叠加在各种颜色的形状上的字符,这产生了基于不同形状、字符及其相应颜色的组合的各种各样的标记。在本文中,我们提出了一个目标检测和分类流水线,防止误报,最大限度地减少航空图像中的字母数字字符和形状的误分类。我们的方法利用传统的计算机视觉技术和无监督的机器学习方法来识别区域建议,分割图像目标和消除误报。我们使用计算轻模型进行分类,使其易于部署在任何飞行器上。
2022-08-14 cs.CV
3rd Place Solution to Large-scale Fine-grained Food Recognition
East China Normal University(华东师范大学);Shanghai Jiao Tong University(上海交通大学);OPPO Research Institute(OPPO研究院)
本文针对大规模细粒度食物识别挑战,提出结合Arcface loss与Circle loss训练并集成模型,最终在比赛中获得第三名。
2025-10-24 cs.CV
Simultaneous Food Localization and Recognition
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
自动营养日记的开发,可以客观地跟踪我们吃的每样东西,可以为关注营养模式的人们带来全新的可能性。为此,在本文中,我们提出了第一种方法,同时食品定位和识别。我们的方法是基于两个主要步骤,其中包括,第一,在输入图像上产生食物激活图(即概率热图),用于生成边界框建议,第二,识别每个限界框中存在的每个食物类型或食物相关对象。我们证明,我们的建议,相比最相似的问题,现在-对象定位,是能够获得高精度和合理的召回水平,只有几个边界框。此外,我们表明,它是适用于传统的和自我中心的图像。
2017-01-19 cs.CV
VinaFood21: A Novel Dataset for Evaluating Vietnamese Food Recognition
越南是这样一个有吸引力的旅游目的地,其令人惊叹的原始景观和其一流的独特的食物和饮料。在成千上万的越南菜中,外国人和本地人都对易于食用的口味和易于制作的食谱感兴趣,以及合理的价格,令人垂涎的口味和受欢迎程度。由于越南菜的多样性和几乎所有的菜都有显著的相似性,并且缺乏高质量的越南菜数据集,因此很难实现自动分类系统来分类越南菜,从而使人们更容易发现越南菜。本文介绍了一个名为VinaFood 21的新越南食物数据集,该数据集由对应于21种菜肴的13,950张图像组成。我们使用10,044张图像进行模型训练,使用6,682张测试图像对VinaFood 21数据集中的每种食物进行分类,并在微调CNN EfficientNet-B 0时实现了74.81%的平均准确率。(https://github.com/nguyenvd-uit/uit-together-dataset)
2021-08-06 cs.CV
DeepFood: Deep Learning-Based Food Image Recognition for Computer-Aided Dietary Assessment
The University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);The University of Massachusetts Medical School(马萨诸塞大学医学院)
2014年,全球有超过19亿18岁及以上的成年人超重。其中,超过6亿人肥胖。准确记录饮食热量摄入对于管理减肥至关重要,但也带来了挑战,因为目前大多数饮食评估方法必须依赖记忆来回忆所吃的食物。我们研究的最终目标是开发计算机辅助技术解决方案,以提高和改善目前饮食摄入量测量的准确性。我们在本文中提出的系统旨在通过分析移动设备(例如,智能手机)。本文的关键技术创新点在于基于深度学习的食品图像识别算法。大量的研究表明,数字成像可以准确地估计许多环境中的饮食摄入量,并且与其他方法相比具有许多优势。然而,如何获得食物信息(例如,食物类型和份量)仍然是一个具有挑战性和开放性的研究问题。针对这一问题,提出了一种新的基于卷积神经网络(CNN)的食品图像识别算法.我们将我们提出的方法应用于两个真实世界的食物图像数据集(UEC-256和Food-101),并取得了令人印象深刻的结果。据我们所知,这些结果优于所有其他报告的工作,使用这两个数据集。我们的实验表明,该方法是一个很有前途的解决方案,解决食品图像识别问题。我们未来的工作包括进一步提高算法的性能,并将我们的系统集成到现实世界的移动和基于云计算的系统中,以提高当前饮食摄入量测量的准确性。
2016-06-17 cs.CV
Food recognition and recipe analysis: integrating visual content, context and external knowledge
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS(中国科学院计算技术研究所中国科学院智能信息处理重点实验室)
食物在我们个人和社会生活中的核心作用,再加上最近的技术进步,激发了人们对有助于更好地监测饮食习惯以及探索和检索食物相关信息的应用程序越来越感兴趣。我们回顾视觉内容,上下文和外部知识可以有效地集成到面向食品的应用程序,特别注重食谱分析和检索,食品推荐,和餐厅的背景下,作为新兴的方向。
2018-01-22 cs.CV cs.MM
Multi-Task Image-Based Dietary Assessment for Food Recognition and Portion Size Estimation
Purdue University(普渡大学);Curtin University(科廷大学);University of Hawaii Cancer Center(夏威夷大学癌症中心)
基于深度学习的方法在许多基于图像的饮食评估应用中取得了令人印象深刻的结果,例如食物分类和食物份量估计。然而,现有的方法一次只关注一个任务,当需要一起处理多个任务时,很难应用于现实生活中。在这项工作中,我们提出了一个端到端的多任务框架,可以同时实现食物分类和食物分量大小估计。我们介绍了从营养研究中收集的食物图像数据集,其中地面实况食物部分由注册营养师提供。多任务学习使用基于L2范数的软参数共享来同时训练分类和回归任务。我们还建议使用跨域特征自适应与归一化,以进一步提高食物部分大小估计的性能。我们的研究结果优于基线方法的分类精度和平均绝对误差的部分估计,这表明了巨大的潜力,推进基于图像的饮食评估领域。
2020-04-27 cs.CV
Rethinking Cooking State Recognition with Vision Transformers
Islamic University of Technology(伊斯兰技术大学)
为了确保正确的知识表示的厨房环境中,它是至关重要的厨房机器人,以认识到正在烹饪的食品的状态。虽然目标检测和识别领域已经被广泛研究,但目标状态分类的任务仍然相对未被探索。在不同烹饪状态下,食材的高度类内相似性使得这项任务更具挑战性。研究人员最近提出采用基于深度学习的策略,然而,它们尚未实现高性能。在这项研究中,我们利用自我注意力机制的视觉Transformer(ViT)架构的烹饪状态识别任务。所提出的方法封装了图像中的全局显着特征,同时还利用了从更大的数据集中学习到的权重。这种全局注意力使模型能够承受不同烹饪对象的样本之间的相似性,而迁移学习的使用有助于通过利用预训练的权重来克服缺乏归纳偏差。为了提高识别精度,还采用了几种增强技术。在“烹饪状态识别挑战数据集”上对我们提出的框架进行评估,准确率达到94.3%,明显优于最先进的水平。
2022-12-24 cs.CV
From Canteen Food to Daily Meals: Generalizing Food Recognition to More Practical Scenarios
Fudan University(复旦大学);Singapore Management University(新加坡管理大学)
针对现有食堂场景食物数据集与日常膳食场景存在域差距、模型迁移困难的问题,本文构建两个日常食物基准数据集,并提出可与现有方法结合的多簇参考学习基线方法,提升迁移性能。
2024-03-12 cs.AI cs.CV
Food Ingredients Recognition through Multi-label Learning
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
自动构建跟踪所消耗成分的食物日记可以帮助人们遵循健康饮食。我们将食品成分识别问题作为一个多标签学习问题来解决。我们提出了一种方法,用于调整高性能的最先进的CNN,以便作为一个多标签预测器,用于学习食谱的成分列表。我们证明,我们的模型是能够,给定一张图片,预测其成分列表,即使对应于图片的配方从来没有见过的模型。我们公开了两个新的数据集适合于这一目的。此外,我们证明了一个用高度可变的配方和成分训练的模型能够更好地概括新数据,并可视化它如何将每个神经元专门用于不同的成分。
2017-07-27 cs.CV
Deep Convolutional Generative Adversarial Network Based Food Recognition Using Partially Labeled Data
Keele University(基尔大学);Indian Institute of Technology, Bhubaneswar(印度理工学院布巴内斯瓦尔分校)
传统的机器学习算法使用手工制作的特征提取技术(例如局部二值模式),由于用于食物识别任务的同一类图像的高变化(或类内变化)而具有有限的准确性。在最近的工作中,卷积神经网络(CNN)已被应用于这一任务,比以前报道的所有方法都有更好的结果。然而,它们在使用大量注释(标记)食物图像进行训练时表现最好。这在大量获得时是有问题的,因为它们昂贵、费力且不切实际。我们的工作旨在开发一种有效的基于深度CNN学习的食物识别方法,通过在生成对抗网络(GANs)上使用部分标记的训练数据来缓解这些限制。我们对Goodfellow等人(2014)引入的无监督训练架构进行了新的增强,该架构最初旨在通过对数据集进行采样来生成新数据。在这项工作中,我们对深度卷积GANs进行了修改,使其在对食物图像进行分类时具有鲁棒性和高效性。基准数据集上的实验结果表明,我们提出的方法的优越性相比,当前国家的最先进的方法,即使在训练部分标记的训练数据。
2018-12-26 cs.CV
Food Ingredients Recognition through Multi-label Learning
Philips Research(飞利浦研究院)
识别通用食物盘中的各种食物项目的能力是自动饮食评估系统的关键决定因素。这项研究激发了对自动饮食评估的需求,并提出了一个实现这一目标的框架。在这个框架内,我们专注于核心功能之一,以视觉识别各种成分。为此,我们采用了一种深度多标签学习方法,并评估了几种最先进的神经网络检测菜肴图像中任意数量成分的能力。在这项工作中评估的模型遵循一个明确的元结构,包括一个编码器和一个解码器组件。两个不同的解码方案,一个基于全局平均池和其他的注意力机制,评估和基准。而对于编码,采用了几种众所周知的架构,包括DenseNet,EfficientNet,MobileNet,Inception和Xception。我们使用具有挑战性的数据集Nutrition5K,为基于深度学习的成分检测提供了有希望的初步结果,并为未来的探索建立了强有力的基线。
2022-10-24 cs.AI cs.CV cs.LG
Benchmarking Post-Hoc Unknown-Category Detection in Food Recognition
University of Bern(伯尔尼大学)
本研究针对食物识别模型易将未知类别样本误判为分布内类别的问题,对多种事后OOD检测方法开展细粒度食物识别实证分析,发现ViM整体最优,验证了ID准确率与OOD检测性能正相关,且Transformer架构优于卷积模型。
2025-03-24 cs.CV
A Comprehensive Survey of Image-Based Food Recognition and Volume Estimation Methods for Dietary Assessment
University of Malaya(马来亚大学)
饮食研究显示,与饮食有关的问题,如肥胖,与其他慢性疾病有关,如高血压、不规则的血糖水平和心脏病发作的风险增加。这些问题的主要原因是不良的生活方式选择和不健康的饮食习惯,这些都是可以使用交互式mHealth应用程序进行管理的。然而,使用人工食物记录的传统饮食监测系统存在不精确、漏报、耗时和低依从性的问题。最近的饮食监测系统通过机器学习方法自动评估饮食摄入量来应对这些挑战。本调查讨论了迄今为止为自动食物识别和体积估计开发的最有效的方法。首先,我们将介绍基于视觉的食品识别方法的基本原理。本文的核心是介绍,讨论和评价这些方法对流行的食品图像数据库。接下来,我们讨论了实现这些方法的移动应用程序。调查最后讨论了这一领域的研究差距和开放问题。
2021-09-03 cs.CV eess.IV
Food Image Recognition by Using Convolutional Neural Networks (CNNs)
Michigan State University(密歇根州立大学);Department of Biosystems and Agricultural Engineering(生物系统与农业工程系)
食品图像识别是视觉目标识别在计算机视觉中很有前途的应用之一。在这项研究中,一个小规模的数据集组成的5822图像的10个类别和一个五层的CNN被构造来识别这些图像。首先评估了与支持向量机(SVM)相结合的特征袋(BoF)模型的图像分类,其总体准确率为56%;而CNN模型表现更好,总体准确率为74%。采用基于几何变换的数据增强技术增加训练图像的大小,在避免基于原始训练数据的CNN过拟合问题的同时,显著提高了90%以上的准确率。通过收集更多的图像和优化网络架构和超参数,可以预期进一步的改进。
2019-02-25 cs.CV
Food Recognition and Nutritional Apps
ARTORG Center for Biomedical Engineering Research, University of Bern(伯尔尼大学ARTORG生物医学工程研究中心);University of Maryland School of Medicine(马里兰大学医学院);Inselspital, University Hospital, University of Bern(伯尔尼大学附属医院 Inselspital)
本章深入评估了食物识别与营养应用在糖尿病饮食管理中的现状,识别影响患者使用的促进与阻碍因素,并概述相关研究与开发进展。
2023-06-20 cs.CV cs.CY
FOODER: Real-time Facial Authentication and Expression Recognition
Technical University of Munich(慕尼黑工业大学)
FOODER利用雷达数据实现实时面部认证与细粒度表情识别,通过多编码器多解码器架构和MobileViT网络在保持隐私的同时提升准确率。
2025-12-19 cs.AI cs.CV cs.LG
ChineseFoodNet: A large-scale Image Dataset for Chinese Food Recognition
Midea Emerging Technology Center(美的新兴技术中心);Midea Artificial Intelligence Research Institute(美的人工智能研究院)
在本文中,我们介绍了一个新的和具有挑战性的大规模食品图像数据集称为“ChineseFoodNet”,其目的是自动识别图片中国菜。大多数现有的食物图像数据集都是从食谱图片或自拍中收集食物图像。在我们的数据集中,每个食物类别的图像不仅包括网页食谱和菜单图片,还包括从真实菜肴,食谱和菜单拍摄的照片。ChineseFoodNet包含208个类别的180,000多张食物照片,每个类别都涵盖了同一种中国食物的大量差异。我们提出了我们的努力,建立这个大规模的图像数据集,包括食品类别的选择,数据汇集,数据清洗和标签,特别是如何使用机器学习方法,以减少人工标记工作,这是一个昂贵的过程。我们在ChineseFoodNet上分享了几个最先进的深度卷积神经网络(CNN)的详细基准。我们进一步提出了一种新的两步数据融合方法,称为“TastyNet”,它将不同CNN的预测结果与投票方法相结合。我们提出的方法在验证集和测试集上分别达到了81.43%和81.55%的前1准确率。最新的数据集是公开的,可供研究,并可以在https://sites.google.com/view/chinesefoodnet上获得。
2017-10-15 cs.CV
Aphid Cluster Recognition and Detection in the Wild Using Deep Learning Models
University of Kansas(堪萨斯大学);Kansas State University(堪萨斯州立大学);Toronto Metropolitan University(多伦多都会大学)
本文提出基于深度学习模型检测蚜虫集群以估计侵染水平的方法,构建了含151,380个图像块的高粱蚜虫数据集,比较VFNet、GFLV2、PAA和ATSS四种模型,并通过合并邻近集群和去除微小集群使性能提升约17%。
2023-08-10 cs.CV cs.LG
SalientFusion: Context-Aware Compositional Zero-Shot Food Recognition
Renmin University of China(中国人民大学)
针对组合式零样本食物识别的背景冗余、角色混淆与语义偏差三大挑战,提出含SalientFormer和DebiasAT的SalientFusion方法,在自建及通用基准上取得最优结果。
2025-09-04 cs.AI cs.CV
Can a CNN Recognize Catalan Diet?
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心)
如今,我们可以发现几种疾病与人口的不健康饮食习惯有关,如糖尿病、肥胖症、贫血症、贪食症和厌食症。在许多情况下,这些疾病与人们的食物消费有关。地中海饮食在科学上被称为健康饮食,有助于预防许多代谢疾病。特别是,我们的工作重点是对地中海食物和菜肴的认可。这种方法的发展将允许分析用户的日常习惯与可穿戴相机,在生活日志的主题。通过使用自动机制,我们可以建立一个客观的工具来分析病人的行为,让专家发现不健康的食物模式,并了解用户的生活方式。为了自动识别完整的饮食,我们引入了一个与地中海饮食相关的具有挑战性的多标签数据集,称为FoodCAT。第一种标签由115个食物类别组成,平均每道菜400张图片,第二种标签由12个食物类别组成,平均每类3800张图片。该数据集将作为自动饮食识别开发的基础。在这种背景下,深度学习,更具体地说,卷积神经网络(CNN),目前是自动食物识别的最先进方法。在我们的工作中,我们比较了几种架构的图像分类,与饮食识别的目的。应用最佳模型识别食品类别,我们实现了前1的准确率为72.29%,前5的准确率为97.07%。在一个完整的饮食识别的菜肴从地中海饮食,扩大与食品-101数据集的国际菜肴识别,我们实现了前1的准确率为68.07%,前5的89.53%,共115+101食品类。
2016-07-29 cs.CV
LLMs-based Augmentation for Domain Adaptation in Long-tailed Food Datasets
School of Computing and Information Systems(计算与信息系统学院)
本文提出基于大语言模型的框架,用于解决长尾食品数据集中的领域适应问题,通过生成食品标题和配料并投影到共享嵌入空间以提升识别性能。
2025-11-20 cs.CV
Eating Smart: Advancing Health Informatics with the Grounding DINO based Dietary Assistant App
Al Akhawayn University(阿卡韦恩大学)
本研究开发了基于 Grounding DINO 模型的智能饮食助手应用,通过零样本食物图像检测与多平台集成,为糖尿病患者等提供个性化饮食建议和实时扫描,助力健康管理与生活方式优化。
2024-06-02 cs.CV
Learn More for Food Recognition via Progressive Self-Distillation
AI Lab, Lenovo Research(联想研究院人工智能实验室)
针对弱监督食物识别中区域定位误差问题,本文提出渐进式自蒸馏PSD,通过共享嵌入网络的师生结构和遮挡修改图像,促使网络逐步挖掘更多判别性区域,并在三个数据集上达到最先进性能。
2023-08-15 cs.CV
Assorted, Archetypal and Annotated Two Million (3A2M) Cooking Recipes Dataset based on Active Learning
Islamic University of Technology (IUT)(伊斯兰科技大学);Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
本研究针对网上食谱分类标注数据不足的问题,结合专家知识与主动学习技术,构建了含200万条带分类和置信度的3A2M烹饪食谱数据集,可支撑多项机器学习与NLP任务研究。
2023-03-27 cs.AI cs.CL cs.LG
Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition
Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid(生物度量与数据模式分析实验室,马德里自治大学);IMDEA Food, CEI UAM+CSIC(IMDEA食品,CEI UAM+CSIC)
本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力,提出了一个新的评估指标,并展示了FoodNExTDB数据库在饮食评估中的应用潜力。
2025-04-09 cs.AI cs.CV
An End-to-End Food Image Analysis System
Purdue University(普渡大学);Curtin University(科廷大学);University of Hawaii Cancer Center(夏威夷大学癌症中心)
现代深度学习技术使基于图像的饮食评估(如食物识别和食物份量估计)取得了进展。关于食物种类和消费量的宝贵信息对于预防许多慢性疾病至关重要。然而,现有的基于图像的自动食物分析方法既不是端到端的,也不能处理多个任务(例如,识别和部分估计)在一起,使得难以应用于现实生活中的应用。在本文中,我们提出了一个基于图像的食品分析框架,集成了食品定位,分类和部分大小估计。我们提出的框架是端到端的,即,输入可以是包含多个食物项目的任意食物图像,并且我们的系统可以用其对应的预测食物类型和份量来定位每个单个食物项目。我们还通过将定位结果与由条件GAN获得的食物能量分布图合并来改进单个食物部分估计,以生成四通道RGB分布图像。我们的端到端框架是在从营养喂养研究中收集的真实食物图像数据集上进行评估的。
2021-02-01 cs.CV
Leveraging Automatic Personalised Nutrition: Food Image Recognition Benchmark and Dataset based on Nutrition Taxonomy
Universidad Autonoma de Madrid(马德里自治大学);IMDEA Food Institute(IMDEA食品研究院)
本研究提出AI4Food-NutritionDB,首个结合食物图像与营养分类法的数据库,并提供标准基准与预训练模型,以支持个性化营养和食物识别研究。
2024-04-19 cs.CV cs.MM
An Explorative Analysis of SVM Classifier and ResNet50 Architecture on African Food Classification
Department of Computer Science, Nazarbayev University(纳扎尔拜地大学计算机科学系);Department of Computer Science, Nnamdi Azikiwe University(恩内迪·阿齐基韦大学计算机科学系)
本研究针对非洲食物识别研究不足的问题,对比了微调ResNet50模型与SVM分类器在含1658张、6类非洲食物图像数据集上的分类表现,采用5项指标评估,为非洲食物识别发展提供参考。
2025-05-20 cs.CV
Personalized Classifier for Food Image Recognition
foo.log Inc.(foo.log 公司)
目前,食物图像识别任务是针对固定数据集进行评估的。然而,在现实世界的条件下,存在这样的情况,其中每个类中的样本的数量继续增加,并且出现来自新类的样本。特别是,每个用户创建样本并继续更新过程的动态数据集通常具有在不同用户之间变化很大的内容,并且每个人的样本数量非常有限。所有用户共用的单个分类器不能处理这样的动态数据。弥合实验室环境和现实世界之间的差距尚未大规模完成。为每个用户增量地个性化分类器是一种很有前途的方法。在本文中,我们解决的个性化问题,这涉及到适应用户的域增量使用非常有限的样本数量。我们提出了一个简单而有效的个性化框架,它是最近类均值分类器和基于深度特征的1-最近邻分类器的组合。为了进行真实的实验,我们使用了一个新的数据集,该数据集是由一个食物记录应用程序收集的日常食物图像。实验结果表明,我们提出的方法显着优于现有的方法。
2018-04-08 cs.CV cs.MM
Fraesormer: Learning Adaptive Sparse Transformer for Efficient Food Recognition
Nanjing Agricultural University(南京农业大学);Xiangtan University(湘潭大学);Nanjing University(南京大学);Northeast Forestry University(东北林业大学);Beijing Information Science and Technology University(北京信息科技大学);Nanjing University of Posts and Telecommunications(南京邮电大学)
针对食物识别中 Transformer 计算冗余、静态单尺度建模的问题,提出 Fraesormer,通过自适应稀疏注意力与层级门控多尺度网络提升效率和识别性能。
2025-03-15 cs.AI cs.CV
MACNet: Multi-scale Atrous Convolution Networks for Food Places Classification in Egocentric Photo-streams
Rovira i Virgili University(罗维拉-威尔吉利大学);University of Barcelona(巴塞罗那大学)
第一人称(可穿戴)相机不断捕捉相机用户与反映其个人和关系倾向的对象,人和场景的非脚本交互。人们的偏好之一是他们与食物事件的互动。调节食物摄入量及其持续时间对于预防疾病非常重要。因此,这项工作的目的是开发一个智能模型,能够确定一个人在一天中在食物场所的复发率。该模型是基于一个深端到端的模型,通过分析自我中心的照片流自动食品的地方识别。在本文中,我们应用多尺度Atrous卷积网络来提取与输入图像的食物场所相关的关键特征。该模型是在一个名为“EgoFoodPlaces”的内部私人数据集上评估的。实验结果表明,在以自我为中心的照片流中,食物地点分类识别的结果是令人满意的。
2018-08-29 cs.CV