Image Based Food Energy Estimation With Depth Domain Adaptation
Purdue University（普渡大学）
对膳食摄入量的评估主要依靠自我报告工具，这种工具容易出现测量误差。饮食评估方法越来越多地采用技术进步，特别是移动，基于图像的方法，以解决这些限制和进一步自动化。移动的、基于图像的方法可以通过从由移动设备捕获的进食场合图像自动估计饮食摄入来减少用户负担和偏差。在本文中，我们提出了一个“能量密度图”，这是一个像素到像素的映射从RGB图像的能量密度的食物。然后，我们将“能量密度图”与由深度传感器捕获的相关深度图相结合，以估计食物能量。该方法在Nutrition5k数据集上进行了评估。实验结果表明，与基线方法相比，改进的结果具有13.29 kCal的平均误差和13.57%的平均百分比误差之间的地面实况和估计的能量的食物。
2022-08-25 cs.AI cs.CV cs.LG
From Plate to Prevention: A Dietary Nutrient-aided Platform for Health Promotion in Singapore
National University of Singapore（新加坡国立大学）；Ng Teng Fong General Hospital（黄廷芳综合医院）；Universität Stuttgart（斯图加特大学）；TikTok Singapore（TikTok新加坡）；National University Heart Centre, Singapore（新加坡国立大学心脏中心）
新加坡一直在努力改善向其人民提供的保健服务。在这一过程中，政府注意到在调节和监督人们的营养摄入方面的不足，这被认为是导致慢性病发展的一个因素。因此，这一问题引起了极大的关注。在本文中，我们分享了我们在解决这个问题和获得医疗级营养素摄入信息方面的经验，以使新加坡人在不同方面受益。为此，我们开发了FoodSG平台，以在新加坡孵化各种面向医疗保健的应用程序作为服务，并考虑到他们的共同需求。我们进一步确定了本地化食品数据集的深刻含义，并系统地清理和策划了本地化的新加坡食品数据集FoodSG-233。为了克服新加坡食物种类繁多带来的识别性能障碍，我们建议将监督对比学习集成到我们的食物识别模型FoodSG-SCL中，以提高挖掘硬阳性/阴性样本的内在能力，从而提高准确率。通过一个全面的评估，我们提出了所提出的模型的性能结果和对食品相关的医疗保健应用的见解。FoodSG-233数据集已在https://foodlg.comp.nus.edu.sg/上发布。
2023-03-28 cs.AI cs.CV cs.DB
BenchSeg: A Large-Scale Dataset and Benchmark for Multi-View Food Video Segmentation
Department of Engineering, Pompeu Fabra University（工程系，庞培法布拉大学）；Photogrammetry and Remote Sensing, Technical University of Munich（摄影测量与遥感，慕尼黑技术大学）
BenchSeg通过多视角食物视频分割数据集和基准，改进了食物分割和跟踪的性能，提升了饮食分析的准确性。
2026-01-18 cs.CV
PortionNet: Distilling 3D Geometric Knowledge for Food Nutrition Estimation
Vellore Institute of Technology（维捷里尼学院）
PortionNet通过跨模态知识蒸馏框架，在无需专用硬件的情况下，利用点云学习几何特征，实现单图像食品营养估计的高精度
2025-12-26 cs.CV
Vision-Based Calorie Estimation for Bangladeshi Street Food: A Comparative Study of Detection and Regression Models
1 Depatment of Computer Science \& Engineering, Premier University, Chittagong, Bangladesh
本研究针对孟加拉街头食品，对比YOLO系列及RF-DETR等模型，以5塔卡硬币为参考，结合Random Forest回归，实现了精准的视觉卡路里估算，成果可用于饮食监测与移动健康应用。
2026-08-18 cs.CV
Long-tailed Food Classification
Purdue University（普渡大学）
食物分类是基于图像的饮食评估的基本步骤，用于预测每个输入图像中的食物类型。然而，在现实世界的场景中，食物图像预测通常是长尾分布在不同的食物类，这会导致严重的类不平衡问题和有限的性能。此外，现有的长尾分类方法都没有关注食物数据，由于食物之间的类间相似性较低，类内相似性较高，这可能更具挑战性。在这项工作中，我们首先介绍了两个新的基准数据集的长尾食品分类，包括Food 101-LT和VFN-LT，其中VFN-LT的样本数量展示了真实世界的长尾食品分布。然后，我们提出了一种新的2阶段框架，以解决类不平衡的问题，（1）欠采样的头部类，以消除冗余样本，并保持通过知识蒸馏的学习信息，（2）过采样的尾部类，通过执行视觉感知数据增强。我们通过与现有的最先进的长尾分类方法进行比较，证明了我们的方法的有效性，并在Food 101-LT和VFN-LT基准测试中表现出更好的性能。结果表明，有可能将我们的方法应用到相关的现实生活中的应用。
2022-10-26 cs.CV
Visual Aware Hierarchy Based Food Recognition
Purdue University（普渡大学）
食物识别是基于图像的膳食评估中最重要的组成部分之一。然而，由于食物图像的不同复杂程度和食物类别的类间相似性，基于图像的食物识别系统对于各种公开可用的数据集实现高准确性是具有挑战性的。在这项工作中，我们提出了一个新的两步食品识别系统，包括食品定位和分层食品分类使用卷积神经网络（CNN）作为骨干架构。食物定位步骤基于Faster R-CNN方法的实现来识别食物区域。在食物分类步骤中，视觉相似的食物类别可以自动聚类在一起，以生成一个层次结构来表示食物类别之间的语义视觉关系，然后提出一个多任务CNN模型来执行基于视觉感知层次结构的分类任务。由于数据集的大小和质量是数据驱动方法的关键组成部分，因此我们引入了一个新的食物图像数据集，VIPER-FoodNet（VFN）数据集，由82个食物类别和15 k个基于美国最常用食物的图像组成。使用半自动众包工具来提供该数据集的地面实况信息，包括食物对象边界框和食物对象标签。实验结果表明，我们的系统可以显着提高分类和识别性能的4个公开可用的数据集和新的VFN数据集。
2020-12-06 cs.CV
What's on Your Plate? Inferring Chinese Cuisine Intake from Wearable IMUs
Xi'an Jiaotong University（西安交通大学）
针对中餐多样性，提出融合智能手表与智能眼镜IMU数据的CuisineSense系统，通过两阶段流程实现进食状态检测和食物类型分类，并在自建数据集上验证了高准确率。
2025-11-07 cs.CV cs.LG
Muti-Stage Hierarchical Food Classification
Purdue University（普渡大学）
针对食物分类与营养数据库对齐问题，提出多阶段分层框架，通过迭代聚类合并食物项目，在VFN-nutrient数据集上提升食物类型与项目分类性能。
2023-09-03 cs.CV
DeepFood: Deep Learning-Based Food Image Recognition for Computer-Aided Dietary Assessment
The University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；The University of Massachusetts Medical School（马萨诸塞大学医学院）
2014年，全球有超过19亿18岁及以上的成年人超重。其中，超过6亿人肥胖。准确记录饮食热量摄入对于管理减肥至关重要，但也带来了挑战，因为目前大多数饮食评估方法必须依赖记忆来回忆所吃的食物。我们研究的最终目标是开发计算机辅助技术解决方案，以提高和改善目前饮食摄入量测量的准确性。我们在本文中提出的系统旨在通过分析移动设备（例如，智能手机）。本文的关键技术创新点在于基于深度学习的食品图像识别算法。大量的研究表明，数字成像可以准确地估计许多环境中的饮食摄入量，并且与其他方法相比具有许多优势。然而，如何获得食物信息（例如，食物类型和份量）仍然是一个具有挑战性和开放性的研究问题。针对这一问题，提出了一种新的基于卷积神经网络（CNN）的食品图像识别算法.我们将我们提出的方法应用于两个真实世界的食物图像数据集（UEC-256和Food-101），并取得了令人印象深刻的结果。据我们所知，这些结果优于所有其他报告的工作，使用这两个数据集。我们的实验表明，该方法是一个很有前途的解决方案，解决食品图像识别问题。我们未来的工作包括进一步提高算法的性能，并将我们的系统集成到现实世界的移动和基于云计算的系统中，以提高当前饮食摄入量测量的准确性。
2016-06-17 cs.CV
Deep Learning-Based Food Calorie Estimation Method in Dietary Assessment
School of Information Science and Engineering, East China University of Science and Technology（华东理工大学信息科学与工程学院）
肥胖治疗要求肥胖患者记录每天所有食物摄入量。计算机视觉已经被引入来从食物图像估计卡路里。为了提高检测的准确性，减少食品热量估计中体积估计的误差，本文提出了我们的热量估计方法。为了估计食物的卡路里，需要顶视图和侧视图。更快的R-CNN用于检测食物和校准对象。GrabCut算法用于获取每种食物的轮廓。然后用食物和相应的物体来估计体积。最后，我们估计每种食物的卡路里。实验结果表明，该方法是有效的。
2018-02-18 cs.CV
Automatic Recognition of Food Ingestion Environment from the AIM-2 Wearable Sensor
针对膳食摄入环境检测中人工审核繁琐、算法面临数据不平衡和感知混叠的问题，提出结合微调与迁移学习的两阶段神经网络训练框架，在UA Free Living Study数据集上达96.63%的分类准确率。
2024-05-13 cs.AI cs.CV cs.MM
Multimodal Fusion of Glucose Monitoring and Food Imagery for Caloric Content Prediction
针对2型糖尿病管理中热量摄入估算难的问题，提出融合CGM数据、人口统计学/微生物组数据与食物图像的多模态深度学习框架，在40余人的数据集上实现0.2544的RMSRE，性能超基线50%以上，助力慢性病饮食评估工具优化。
2025-05-20 cs.CV cs.LG
Improving Dietary Assessment Via Integrated Hierarchy Food Classification
Purdue University（普渡大学）
基于图像的饮食评估是指根据视觉数据确定某人吃了什么以及消耗了多少能量和营养素的过程。食品分类是第一步，也是最关键的一步。现有的方法集中在提高准确性衡量的正确分类率的基础上的视觉信息，这是非常具有挑战性的，由于高复杂性和类间相似性的食物。此外，食品分类的准确性是概念性的，因为食品的描述总是可以改进的。在这项工作中，我们引入了一个新的食品分类框架，通过整合来自多个领域的信息，同时保持分类精度，提高预测质量。我们应用了一个多任务网络的基础上，使用视觉和营养领域的特定信息聚类相似的食物的层次结构。我们的方法在修改后的VIPER-FoodNet（VFN）食品图像数据集上进行了验证，包括相关的能量和营养信息。我们实现了与仅使用视觉信息的现有方法相当的分类精度，但在错误预测的能量和营养值方面误差较小。
2021-09-06 cs.CV
Dual-Imbalance Continual Learning for Real-World Food Recognition
University of Michigan（密歇根大学）；Indiana University Bloomington（印第安纳大学布卢明顿分校）
本文提出DIME框架，解决持续学习中食物类别样本不平衡与新增类别数量不平衡问题，通过轻量适配器和谱合并策略提升效率，实验显示性能提升超3%。
2026-03-31 cs.CV
Food Portion Estimation via 3D Object Scaling
Purdue University（普渡大学）
提出一种利用3D食物模型和物理参考从2D图像估计食物体积与能量的新框架，并构建SimpleFood45数据集，以31.10 kCal平均误差优于现有方法。
2024-10-10 cs.AI cs.CV cs.LG
A Mobile Food Recognition System for Dietary Assessment
Istanbul Technical University（伊斯坦布尔理工大学）；Hamad bin Khalifa University（哈马德·本·哈利法大学）
食物识别是各种应用的重要任务，包括管理健康状况和帮助视力受损的人。一些食物识别的研究集中在一般类型的食物或特定的美食，然而，食物识别方面的中东美食仍然是未经探索的。因此，在本文中，我们专注于开发一个移动友好，中东美食为重点的食品识别应用程序辅助生活的目的。为了实现低延迟、高准确度的食品分类系统，我们选择使用Mobilenet-v2深度学习模型。由于一些食物比其他食物更受欢迎，因此所使用的中东食物数据集中每个类别的样本数量相对不平衡。为了弥补这个问题，数据增强方法被应用于代表性不足的类。实验结果表明，使用Mobilenet-v2架构的这项任务是有益的准确性和内存的使用。该模型对23种食物类别的准确率达到94%，开发的移动应用程序有可能通过图像为视障人士提供自动食物识别服务。
2022-04-20 cs.CV
A Comprehensive Survey of Image-Based Food Recognition and Volume Estimation Methods for Dietary Assessment
University of Malaya（马来亚大学）
饮食研究显示，与饮食有关的问题，如肥胖，与其他慢性疾病有关，如高血压、不规则的血糖水平和心脏病发作的风险增加。这些问题的主要原因是不良的生活方式选择和不健康的饮食习惯，这些都是可以使用交互式mHealth应用程序进行管理的。然而，使用人工食物记录的传统饮食监测系统存在不精确、漏报、耗时和低依从性的问题。最近的饮食监测系统通过机器学习方法自动评估饮食摄入量来应对这些挑战。本调查讨论了迄今为止为自动食物识别和体积估计开发的最有效的方法。首先，我们将介绍基于视觉的食品识别方法的基本原理。本文的核心是介绍，讨论和评价这些方法对流行的食品图像数据库。接下来，我们讨论了实现这些方法的移动应用程序。调查最后讨论了这一领域的研究差距和开放问题。
2021-09-03 cs.CV eess.IV
Egocentric Image Captioning for Privacy-Preserved Passive Dietary Intake Monitoring
Imperial College London（伦敦帝国理工学院）；University of Pittsburgh（匹兹堡大学）；Baylor College Of Medicine（贝勒医学院）；University of Ghana（加纳大学）；University of Georgia（佐治亚大学）；Boston University（波士顿大学）
基于相机的被动饮食摄入监测能够连续捕获受试者的进食事件，记录丰富的视觉信息，例如所消耗的食物的类型和体积，以及受试者的进食行为。然而，目前还没有能够结合这些视觉线索并从被动记录（例如，是受试者与其他人分享食物，受试者正在吃什么食物，以及碗中还剩多少食物）。另一方面，隐私是一个主要的问题，而自我中心的可穿戴相机用于捕获。在本文中，我们提出了一种隐私保护的安全解决方案（即，自我中心的图像描述）用于具有被动监测的饮食评估，其统一了食物识别、体积估计和场景理解。通过将图像转换为富文本描述，营养学家可以根据标题而不是原始图像来评估个人的饮食摄入量，从而降低了图像泄露隐私的风险。为此，建立了一个以自我为中心的饮食图像描述数据集，其中包括在野外图像捕获的头戴式和胸戴式相机在加纳的实地研究。一种新颖的基于transformer的架构被设计用于描述以自我为中心的饮食图像。综合实验已经进行了评估的有效性，并证明所提出的架构设计的自我中心的饮食图像描述。据我们所知，这是第一项将图像描述应用于现实生活中饮食摄入评估的工作。
2023-03-01 cs.CV
DishSeg24k: A Large-Scale Benchmark for Food Segmentation with Stochastic Expert Decoding
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Hangzhou Dianzi University（杭州电子科技大学）；North China Electric Power University（华北电力大学）；Lishui Institute of Hangzhou Dianzi University（杭州电子科技大学丽水学院）
针对现有食物分割基准测试无法捕捉现实用餐场景复杂性的问题，提出DishSeg24k基准测试，并基于此设计FEAST方法，通过将查询解码视为马尔可夫决策过程及重新设计解码器，提升分割性能，在多个指标上优于此前方法。
2026-08-07 cs.CV
Dietary Intake Estimation via Continuous 3D Reconstruction of Food
University of Waterloo（滑铁卢大学）
本研究提出利用单目2D视频和COLMAP等算法构建食物3D模型以监测进食行为，通过观察体积变化准确估计膳食摄入量，为开发自动化饮食监测工具提供了新方法。
2025-05-01 cs.CV cs.LG
Shape-Preserving Generation of Food Images for Automatic Dietary Assessment
University of Pittsburgh（匹兹堡大学）
针对自动膳食评估中缺少食物名称与体积标注图像的问题，提出一种基于 GAN 的条件生成框架，可生成真实且保持食物与容器形状的食物图像。
2024-08-23 cs.CV eess.IV
Partially Supervised Multi-Task Network for Single-View Dietary Assessment
ARTORG Center for Biomedical Engineering Research, University of Bern（伯尔尼大学ARTORG生物医学工程研究中心）
食物体积估计是膳食评估流程中必不可少的一步，需要精确估计食物表面和台面的深度估计。现有的基于计算机视觉的方法要么需要多幅图像输入，要么需要额外的深度图，降低了实现的便利性和实际意义。尽管最近在从单个图像进行无监督深度估计方面取得了进展，但在大的无纹理区域的情况下所实现的性能需要改进。在本文中，我们提出了一种网络架构，联合执行几何理解（即，深度预测和3D平面估计）以及对单个食物图像的语义预测，从而实现稳健且准确的食物体积估计，而不管目标平面的纹理特性如何。对于网络的训练，只需要具有语义地面实况的单眼视频，而不再需要深度图和3D平面地面实况。在两个独立的食物图像数据库上的实验结果表明，该方法在无纹理的情况下表现稳健，优于无监督网络和基于运动恢复结构运动恢复结构的方法，同时它实现了与全监督方法相当的性能。
2020-07-15 cs.CV
Dietary Assessment with Multimodal ChatGPT: A Systematic Analysis
Imperial College London（帝国理工学院）；The Chinese University of Hong Kong（香港中文大学）
本研究探索多模态ChatGPT在膳食评估中的应用，发现GPT-4V无需微调即可实现高准确率食物检测，具备上下文感知的分量估算能力，可推动营养科学与膳食评估技术发展。
2023-12-14 cs.CV
A review on vision-based analysis for automatic dietary assessment
Beijing Technology and Business University（北京工商大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
背景：保持健康的饮食对于避免与健康有关的问题至关重要，例如，营养不良、肥胖和许多非传染性疾病。健康饮食不可或缺的一部分是饮食评估。传统的人工记录方法不仅繁琐而且耗时，并且包含大量的偏差和错误。人工智能（AI）的最新进展，特别是计算机视觉技术，使得开发自动饮食评估解决方案成为可能，这些解决方案更方便，耗时更少，甚至更准确地监测每日食物摄入量。范围和方法：本文介绍了基于视觉的膳食评估（VBDA）的架构，包括多阶段架构和端到端架构。多阶段膳食评估通常包括三个阶段：食物图像分析、体积估计和营养素推导。深度学习的繁荣使得VBDA逐渐走向端到端的实现，即将食物图像应用于单个网络，直接估计营养。最近提出的端到端的方法进行了讨论。我们进一步分析了现有的膳食评估数据集，表明迫切需要一个大规模的基准，最后强调了VBDA的关键挑战和未来趋势。主要发现和结论：经过深入探索，我们发现多任务端到端深度学习方法是VBDA的一个重要趋势。尽管有相当大的研究进展，但由于膳食的复杂性，VBDA仍然面临许多挑战。我们还为VBDA的未来发展提供了最新的想法，例如，精细的食品分析和准确的体积估算。本文旨在鼓励研究人员提出更实用的VBDA解决方案。
2022-03-06 cs.CV
Improving Food Detection For Images From a Wearable Egocentric Camera
Purdue University（普渡大学）；The University of Alabama（阿拉巴马大学）
饮食是我们健康的一个重要方面。良好的饮食习惯有助于预防许多疾病，提高整体生活质量。为了更好地了解饮食与健康之间的关系，已经开发了基于图像的饮食评估系统来收集饮食信息。我们介绍自动摄入监测器（AIM），一种可以连接到眼镜上的设备。它提供了一种自动化的免提方法来捕捉进食场景图像。虽然AIM有几个优点，但AIM捕获的图像有时会模糊。模糊图像会显著降低食品图像分析（如食品检测）的性能。在本文中，我们提出了一种方法来预处理的AIM成像传感器收集的图像，通过拒绝非常模糊的图像，以提高食品检测的性能。
2023-01-19 cs.CV
Towards the Creation of a Nutrition and Food Group Based Image Database
Purdue University（普渡大学）
食物分类对于分析膳食评估中报告的食物组成的营养素至关重要。移动和可穿戴传感器的进步，结合新的基于图像的方法，特别是基于深度学习的方法，在提高食物分类的准确性以评估饮食摄入方面显示出巨大的前景。然而，这些方法是数据饥饿的，并且它们的性能严重依赖于用于训练食品分类模型的可用数据集的数量和质量。现有的食物图像数据集不适合细粒度的食物分类和随后的营养分析，因为它们缺乏细粒度和透明的基于食物组的识别，这些识别通常由具有专业领域知识的训练有素的营养师提供。在本文中，我们提出了一个框架，以创建一个营养和食品组为基础的图像数据库，其中包含视觉和层次的食品分类信息，以提高每种食物的营养成分的链接。我们设计了一个将美国农业部（USDA）膳食研究食物和营养素数据库（FNDDS）中基于食物组的食物代码链接到食物图像数据集的协议，并实现了一个基于Web的注释工具来有效地部署该协议。我们提出的方法用于建立一个基于营养和食物组的图像数据库，包括16个，114张食物图片代表了美国74种最常食用的美国食物（WWEIA）子类别，其中1，865个USDA食物代码与营养数据库（USDA FNDDS营养数据库）相匹配。
2022-06-05 cs.CV
Learning to Classify New Foods Incrementally Via Compressed Exemplars
Elmore School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔电气与计算机工程学院）
针对食品图像分类系统因静态数据集无法适配动态食品数据、持续学习中存在灾难性遗忘且内存缓冲区容量有限的问题，提出基于持续学习的神经图像压缩方法扩展缓冲区存储更多样本，在多个数据集上提升了分类准确率，且方法可推广至其他持续学习领域。
2024-04-11 cs.CV eess.IV
Personalized Food Image Classification: Benchmark Datasets and New Baseline
Purdue University（普渡大学）
针对个性化食物图像分类缺乏基准数据的问题，本文提出Food101-Personal和VFN-Personal两个个性化数据集，并设计结合自监督学习与时间特征的新框架，在两个基准上取得优于现有方法的性能。
2023-09-15 cs.CV
Eating Smart: Advancing Health Informatics with the Grounding DINO based Dietary Assistant App
Al Akhawayn University（阿卡韦恩大学）
本研究开发了基于 Grounding DINO 模型的智能饮食助手应用，通过零样本食物图像检测与多平台集成，为糖尿病患者等提供个性化饮食建议和实时扫描，助力健康管理与生活方式优化。
2024-06-02 cs.CV
Khana: A Comprehensive Indian Cuisine Dataset
针对印度菜数据集缺失问题，提出Khana基准数据集，含131K张图像、80个标签，支持分类、分割和检索任务，并评估了基线模型性能。
2025-09-07 cs.AI cs.CV cs.LG
Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition
Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid（生物度量与数据模式分析实验室，马德里自治大学）；IMDEA Food, CEI UAM+CSIC（IMDEA食品，CEI UAM+CSIC）
本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力，提出了一个新的评估指标，并展示了FoodNExTDB数据库在饮食评估中的应用潜力。
2025-04-09 cs.AI cs.CV
An Improved Encoder-Decoder Framework for Food Energy Estimation
Purdue University（普渡大学）
本文提出一种改进的编码器-解码器框架，从单张单目图像估计食物能量，并构建经注册营养师验证的高质量数据集，在MAPE和MAE上分别较以往方法提升超过10%和30 kCal。
2023-09-22 cs.CV
Saliency-Aware Class-Agnostic Food Image Segmentation
Purdue University（普渡大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）；Curtin University（科廷大学）
基于图像的饮食评估方法的进步使营养专业人员和研究人员能够提高饮食评估的准确性，其中使用智能手机或可穿戴设备捕获所消耗的食物图像。然后使用计算机视觉方法分析这些图像，以估计食物的能量和营养含量。食品图像分割是确定食品所在区域的关键。目前的方法是依赖于数据的，因此不能很好地推广不同的食物类型。为了解决这个问题，我们提出了一个类不可知的食品图像分割方法。我们的方法使用一对进食场景图像，一个在开始进食之前，一个在进食完成之后。利用进食前后图像的信息，我们可以在没有任何关于食物类别的先验信息的情况下，通过寻找显著的缺失对象来分割食物图像。我们建立了一个自上而下的显着性范式，它引导人类视觉系统（HVS）的注意力，基于一个任务，找到一对图像中的显着缺失对象。我们的方法是验证从饮食研究中收集的食物图像，显示出可喜的结果。
2021-02-13 cs.CV cs.LG
NutritionVerse-Direct: Exploring Deep Neural Networks for Multitask Nutrition Prediction from Food Images
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
针对老年人饮食追踪难、现有食物图像营养预测方法场景受限或信息不全的问题，提出基于视觉Transformer的NutritionVerse-Direct多任务模型，直接从餐食图像预测五类营养指标，精度较基线提升25.5%。
2024-05-13 cs.CV
An End-to-end Food Portion Estimation Framework Based on Shape Reconstruction from Monocular Image
Purdue University（普渡大学）
提出一种基于单目图像3D形状重建的端到端深度学习框架，利用生成模型恢复食物体素表示以估算能量，在Nutrition5k数据集上取得有竞争力的结果，且推理仅需RGB输入。
2023-08-03 cs.CV
How Much You Ate? Food Portion Estimation on Spoons
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
针对现有基于图像的食物份量估计需用户拍餐食、难捕捉俯视不可见食物的问题，提出用固定面向用户的摄像头追踪勺子等餐具上的食物的方法，可高精度估计饮食摄入，适配液固异质混合物，是便捷非侵入的监测工具。
2024-05-12 cs.AI cs.CV
NutriMLLM: Multimodal Large Language Models for Dietary Micronutrient Analysis
Emory University（埃默里大学）
针对现有MLLM在膳食微量营养素估计中不可靠的问题，利用十年人口规模膳食回顾生成约110万图像-营养素三元组，微调Qwen3-VL和GLM-4.6V-Flash得到NutriMLLM，在真实图像上实现65种营养素全覆盖，准确率匹配或超越专有模型。
2026-06-08 cs.AI cs.CV
Single-View Food Portion Estimation: Learning Image-to-Energy Mappings Using Generative Adversarial Networks
Purdue University（普渡大学）
由于对慢性疾病和与饮食有关的其他健康问题的日益关注，需要开发准确的方法来估计个人的食物和能量摄入。测量准确的饮食摄入量是一个开放的研究问题。特别地，准确的食物部分估计是具有挑战性的，因为食物制备和消费的过程对食物形状和外观施加了很大的变化。在本文中，我们提出了一种食物部分估计方法，估计食物能量（千卡）的食物图像使用生成对抗网络（GAN）。我们介绍了“能量分布”的概念，为每个食物的形象。为了训练GAN，我们设计了一个食物图像数据集，该数据集基于每个食物图像的地面真实食物标签和分割掩模以及与食物图像相关联的能量信息。我们的目标是学习食物图像到食物能量的映射。然后我们可以根据能量分布来估计食物能量。我们表明，平均能量估计出错率为10.89%，可以通过学习图像到能量映射。
2018-05-23 cs.CV
Towards Learning Food Portion From Monocular Images With Cross-Domain Feature Adaptation
Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）
我们的目标是估计食物部分的大小，一个属性，这是强烈相关的食物对象在3D空间中的存在下，从现实生活中设置的单目图像。具体来说，我们感兴趣的是端到端的估计食物的部分大小，这在个人健康管理领域具有很大的潜力。与可以通过大规模众包获得注释的图像分割或对象识别不同，收集用于部分尺寸估计的数据集更具挑战性，因为人类在没有专业知识的情况下无法准确估计任意2D图像中对象的尺寸。为了应对这一挑战，我们引入了一个从营养研究中收集的真实食物图像数据集，其中食物能量（卡路里）由注册营养师提供，并将提供给研究界。我们提出了一个深度回归过程，通过结合从RGB和学习的能量分布域估计的特征来估计部分大小。我们对食物能量的估计达到了最先进的水平，MAPE为11.47%，显著优于非专家人类估计的27.56%。
2021-03-12 cs.CV
An End-to-End Food Image Analysis System
Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）
现代深度学习技术使基于图像的饮食评估（如食物识别和食物份量估计）取得了进展。关于食物种类和消费量的宝贵信息对于预防许多慢性疾病至关重要。然而，现有的基于图像的自动食物分析方法既不是端到端的，也不能处理多个任务（例如，识别和部分估计）在一起，使得难以应用于现实生活中的应用。在本文中，我们提出了一个基于图像的食品分析框架，集成了食品定位，分类和部分大小估计。我们提出的框架是端到端的，即，输入可以是包含多个食物项目的任意食物图像，并且我们的系统可以用其对应的预测食物类型和份量来定位每个单个食物项目。我们还通过将定位结果与由条件GAN获得的食物能量分布图合并来改进单个食物部分估计，以生成四通道RGB分布图像。我们的端到端框架是在从营养喂养研究中收集的真实食物图像数据集上进行评估的。
2021-02-01 cs.CV
DietDelta: A Vision-Language Approach for Dietary Assessment via Before-and-After Images
Purdue University（普渡大学）
本文提出了一种简单视觉-语言框架，通过配对的前后进食图像进行食物项营养分析，利用自然语言提示定位特定食物并直接从单张RGB图像估计重量，通过两阶段训练策略预测重量差异以估计饮食消耗。
2026-04-07 cs.AI cs.CV cs.MM
NutrifyAI: An AI-Powered System for Real-Time Food Detection, Nutritional Analysis, and Personalized Meal Recommendations
New York University Stern（纽约大学斯特恩商学院）
NutrifyAI结合YOLOv8食物检测、Edamam营养分析与膳食推荐API，实现实时食物识别、营养分析和个性化膳食建议，识别准确率近80%。
2024-10-21 cs.AI cs.CV
FoodTrack: Estimating Handheld Food Portions with Egocentric Video
University of Waterloo（滑铁卢大学）
FoodTrack框架利用第一视角视频直接测量手持食物体积，无需手势或咬合大小假设，将绝对百分比误差从16.40%降至约7.01%。
2025-05-07 cs.CV
NUTRIVISION: A System for Automatic Diet Management in Smart Healthcare
SRM University AP（SRM大学AP校区）；University of North Carolina, Wilmington（北卡罗来纳大学威尔明顿分校）；University of North Texas（北德克萨斯大学）
NutriVision 面向智能医疗，利用 Faster R-CNN 和智能手机图像实现食物识别、数量估算与营养分析，并结合用户健康数据提供个性化饮食建议，以提升营养管理和健康水平。
2024-09-30 cs.CV
VolETA: One- and Few-shot Food Volume Estimation
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Institut de Neurosciències（神经科学研究所）
本文提出VolETA框架，结合XMem++、PixSfM、NeuS2及One-2-3-45等3D生成与重建技术，实现单/少样本RGBD食物体积估计，在MTF数据集上MAPE达10.97%。
2024-07-01 cs.CV
Online Class-Incremental Learning For Real-World Food Image Classification
Purdue University（普渡大学）
本文针对真实世界食品图像分类中数据动态变化和类别不均衡问题，提出概率框架模拟现实消费场景，并设计可附加的动态模型更新模块以改进现有经验回放方法，显著提升在线类增量学习性能。
2024-01-15 cs.CV
Detecting Korean Food Using Image using Hierarchical Model
Dong-A University（东亚大学）
本文提出一种结合图像处理与机器学习的分层模型，用户上传韩国食品照片即可识别菜品，帮助有饮食限制的人群在食用前确认食物内容。
2024-09-04 cs.AI cs.CV
DiningBench: A Hierarchical Multi-view Benchmark for Perception and Reasoning in the Dietary Domain
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Meituan（美团）；Wuhan University（武汉大学）
本文提出DiningBench，一个分层多视角基准，用于评估视觉语言模型在饮食领域感知与推理能力，包含3021种不同菜品，通过多视角输入和链式推理方法，揭示了当前VLM在细粒度视觉识别和营养推理上的不足。
2026-04-12 cs.CV
MetaFood CVPR 2024 Challenge on Physically Informed 3D Food Reconstruction: Methods and Results
Purdue University（普渡大学）；University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）；Universitat de Barcelona（巴塞罗那大学）；Beijing Institute of Technology（北京理工大学）；Baidu Inc.（百度公司）；XPeng Motors（小鹏汽车）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对3D食物重建领域数据稀缺、产学研合作不足的问题，本文介绍了CVPR 2024 MetaFood研讨会举办的物理信息驱动3D食物重建挑战赛的设置、参赛情况及成果，为膳食监测相关技术发展提供支撑。
2024-07-12 cs.CV
Single-Stage Heavy-Tailed Food Classification
Purdue University（普渡大学）
提出一种新颖的单阶段重尾食物分类框架，解决真实生活食物图像的重尾分布和类别不平衡问题，在基准数据集上top-1准确率提升超5%。
2023-07-01 cs.CV
An Intelligent Passive Food Intake Assessment System with Egocentric Cameras
Imperial College London（伦敦帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
营养不良是低收入和中等收入国家的一个主要公共卫生问题。了解社区、家庭和个人的食物和营养摄入量对于制定卫生政策和干预措施至关重要。为了简化进行大规模饮食评估的程序，我们建议通过以自我为中心的摄像机，特别是在加纳和乌干达的家庭实施一个智能被动食物摄入量评估系统。首先设计算法去除冗余图像以最小化存储内存。在运行时间，应用基于深度学习的语义分割来识别多种食物类型，并提取新设计的手工特征以进一步监测消耗的食物重量。进行了全面的实验，以验证我们的方法在野外数据集下捕获的设置，模拟独特的LMIC条件下，加纳和肯尼亚的参与者吃常见的加纳/肯尼亚菜。为了证明其有效性，经验丰富的营养师参与了这项研究，以执行视觉部分大小估计，并将他们的预测与我们提出的方法进行比较。令人鼓舞的结果表明，我们的方法能够可靠地监测食物摄入量，并对用户的饮食行为提供反馈，为营养师定期进行饮食评估提供指导。
2021-05-07 cs.AI cs.CV
Feature-Enhanced TResNet for Fine-Grained Food Image Classification
School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）
针对相似菜品细微差异导致的细粒度食物分类难题，提出融合 StyleRM 与 DCA 的 FE-TResNet，在两个中餐基准上取得优异准确率。
2025-07-23 cs.AI cs.CV
Food Portion Estimation: From Pixels to Calories
本文提出通过深度学习结合图像与辅助输入，实现从像素到卡路里的食物份量精确估计。
2026-02-04 cs.AI cs.CV cs.MM
