Improving Dietary Assessment Via Integrated Hierarchy Food Classification
Purdue University（普渡大学）
基于图像的饮食评估是指根据视觉数据确定某人吃了什么以及消耗了多少能量和营养素的过程。食品分类是第一步，也是最关键的一步。现有的方法集中在提高准确性衡量的正确分类率的基础上的视觉信息，这是非常具有挑战性的，由于高复杂性和类间相似性的食物。此外，食品分类的准确性是概念性的，因为食品的描述总是可以改进的。在这项工作中，我们引入了一个新的食品分类框架，通过整合来自多个领域的信息，同时保持分类精度，提高预测质量。我们应用了一个多任务网络的基础上，使用视觉和营养领域的特定信息聚类相似的食物的层次结构。我们的方法在修改后的VIPER-FoodNet（VFN）食品图像数据集上进行了验证，包括相关的能量和营养信息。我们实现了与仅使用视觉信息的现有方法相当的分类精度，但在错误预测的能量和营养值方面误差较小。
2021-09-06 cs.CV
Multi-Task Image-Based Dietary Assessment for Food Recognition and Portion Size Estimation
Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）
基于深度学习的方法在许多基于图像的饮食评估应用中取得了令人印象深刻的结果，例如食物分类和食物份量估计。然而，现有的方法一次只关注一个任务，当需要一起处理多个任务时，很难应用于现实生活中。在这项工作中，我们提出了一个端到端的多任务框架，可以同时实现食物分类和食物分量大小估计。我们介绍了从营养研究中收集的食物图像数据集，其中地面实况食物部分由注册营养师提供。多任务学习使用基于L2范数的软参数共享来同时训练分类和回归任务。我们还建议使用跨域特征自适应与归一化，以进一步提高食物部分大小估计的性能。我们的研究结果优于基线方法的分类精度和平均绝对误差的部分估计，这表明了巨大的潜力，推进基于图像的饮食评估领域。
2020-04-27 cs.CV
NutritionVerse-Synth: An Open Access Synthetically Generated 2D Food Scene Dataset for Dietary Intake Estimation
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究院）
本文提出开放的大规模合成食物图像数据集 NV-Synth，含84,984张多视角照片级餐食图像及丰富真值标注，并公开生成框架代码，以支撑计算机视觉膳食摄入评估。
2023-12-11 cs.CV
A Mobile Food Recognition System for Dietary Assessment
Istanbul Technical University（伊斯坦布尔理工大学）；Hamad bin Khalifa University（哈马德·本·哈利法大学）
食物识别是各种应用的重要任务，包括管理健康状况和帮助视力受损的人。一些食物识别的研究集中在一般类型的食物或特定的美食，然而，食物识别方面的中东美食仍然是未经探索的。因此，在本文中，我们专注于开发一个移动友好，中东美食为重点的食品识别应用程序辅助生活的目的。为了实现低延迟、高准确度的食品分类系统，我们选择使用Mobilenet-v2深度学习模型。由于一些食物比其他食物更受欢迎，因此所使用的中东食物数据集中每个类别的样本数量相对不平衡。为了弥补这个问题，数据增强方法被应用于代表性不足的类。实验结果表明，使用Mobilenet-v2架构的这项任务是有益的准确性和内存的使用。该模型对23种食物类别的准确率达到94%，开发的移动应用程序有可能通过图像为视障人士提供自动食物识别服务。
2022-04-20 cs.CV
Food Portion Estimation: From Pixels to Calories
本文提出通过深度学习结合图像与辅助输入，实现从像素到卡路里的食物份量精确估计。
2026-02-04 cs.AI cs.CV cs.MM
A Comprehensive Survey of Image-Based Food Recognition and Volume Estimation Methods for Dietary Assessment
University of Malaya（马来亚大学）
饮食研究显示，与饮食有关的问题，如肥胖，与其他慢性疾病有关，如高血压、不规则的血糖水平和心脏病发作的风险增加。这些问题的主要原因是不良的生活方式选择和不健康的饮食习惯，这些都是可以使用交互式mHealth应用程序进行管理的。然而，使用人工食物记录的传统饮食监测系统存在不精确、漏报、耗时和低依从性的问题。最近的饮食监测系统通过机器学习方法自动评估饮食摄入量来应对这些挑战。本调查讨论了迄今为止为自动食物识别和体积估计开发的最有效的方法。首先，我们将介绍基于视觉的食品识别方法的基本原理。本文的核心是介绍，讨论和评价这些方法对流行的食品图像数据库。接下来，我们讨论了实现这些方法的移动应用程序。调查最后讨论了这一领域的研究差距和开放问题。
2021-09-03 cs.CV eess.IV
Egocentric Image Captioning for Privacy-Preserved Passive Dietary Intake Monitoring
Imperial College London（伦敦帝国理工学院）；University of Pittsburgh（匹兹堡大学）；Baylor College Of Medicine（贝勒医学院）；University of Ghana（加纳大学）；University of Georgia（佐治亚大学）；Boston University（波士顿大学）
基于相机的被动饮食摄入监测能够连续捕获受试者的进食事件，记录丰富的视觉信息，例如所消耗的食物的类型和体积，以及受试者的进食行为。然而，目前还没有能够结合这些视觉线索并从被动记录（例如，是受试者与其他人分享食物，受试者正在吃什么食物，以及碗中还剩多少食物）。另一方面，隐私是一个主要的问题，而自我中心的可穿戴相机用于捕获。在本文中，我们提出了一种隐私保护的安全解决方案（即，自我中心的图像描述）用于具有被动监测的饮食评估，其统一了食物识别、体积估计和场景理解。通过将图像转换为富文本描述，营养学家可以根据标题而不是原始图像来评估个人的饮食摄入量，从而降低了图像泄露隐私的风险。为此，建立了一个以自我为中心的饮食图像描述数据集，其中包括在野外图像捕获的头戴式和胸戴式相机在加纳的实地研究。一种新颖的基于transformer的架构被设计用于描述以自我为中心的饮食图像。综合实验已经进行了评估的有效性，并证明所提出的架构设计的自我中心的饮食图像描述。据我们所知，这是第一项将图像描述应用于现实生活中饮食摄入评估的工作。
2023-03-01 cs.CV
Dietary Intake Estimation via Continuous 3D Reconstruction of Food
University of Waterloo（滑铁卢大学）
本研究提出利用单目2D视频和COLMAP等算法构建食物3D模型以监测进食行为，通过观察体积变化准确估计膳食摄入量，为开发自动化饮食监测工具提供了新方法。
2025-05-01 cs.CV cs.LG
Partially Supervised Multi-Task Network for Single-View Dietary Assessment
ARTORG Center for Biomedical Engineering Research, University of Bern（伯尔尼大学ARTORG生物医学工程研究中心）
食物体积估计是膳食评估流程中必不可少的一步，需要精确估计食物表面和台面的深度估计。现有的基于计算机视觉的方法要么需要多幅图像输入，要么需要额外的深度图，降低了实现的便利性和实际意义。尽管最近在从单个图像进行无监督深度估计方面取得了进展，但在大的无纹理区域的情况下所实现的性能需要改进。在本文中，我们提出了一种网络架构，联合执行几何理解（即，深度预测和3D平面估计）以及对单个食物图像的语义预测，从而实现稳健且准确的食物体积估计，而不管目标平面的纹理特性如何。对于网络的训练，只需要具有语义地面实况的单眼视频，而不再需要深度图和3D平面地面实况。在两个独立的食物图像数据库上的实验结果表明，该方法在无纹理的情况下表现稳健，优于无监督网络和基于运动恢复结构运动恢复结构的方法，同时它实现了与全监督方法相当的性能。
2020-07-15 cs.CV
Shape-Preserving Generation of Food Images for Automatic Dietary Assessment
University of Pittsburgh（匹兹堡大学）
针对自动膳食评估中缺少食物名称与体积标注图像的问题，提出一种基于 GAN 的条件生成框架，可生成真实且保持食物与容器形状的食物图像。
2024-08-23 cs.CV eess.IV
Dietary Assessment with Multimodal ChatGPT: A Systematic Analysis
Imperial College London（帝国理工学院）；The Chinese University of Hong Kong（香港中文大学）
本研究探索多模态ChatGPT在膳食评估中的应用，发现GPT-4V无需微调即可实现高准确率食物检测，具备上下文感知的分量估算能力，可推动营养科学与膳食评估技术发展。
2023-12-14 cs.CV
A Central Asian Food Dataset for Personalized Dietary Interventions, Extended Abstract
Nazarbayev University（纳扎尔巴耶夫大学）
该研究创建了首个中亚食品数据集CAFD，包含42类超1.6万张图像，用ResNet152实现88.70%分类准确率，以支持个性化饮食干预。
2023-05-12 cs.CV cs.LG
A review on vision-based analysis for automatic dietary assessment
Beijing Technology and Business University（北京工商大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
背景：保持健康的饮食对于避免与健康有关的问题至关重要，例如，营养不良、肥胖和许多非传染性疾病。健康饮食不可或缺的一部分是饮食评估。传统的人工记录方法不仅繁琐而且耗时，并且包含大量的偏差和错误。人工智能（AI）的最新进展，特别是计算机视觉技术，使得开发自动饮食评估解决方案成为可能，这些解决方案更方便，耗时更少，甚至更准确地监测每日食物摄入量。范围和方法：本文介绍了基于视觉的膳食评估（VBDA）的架构，包括多阶段架构和端到端架构。多阶段膳食评估通常包括三个阶段：食物图像分析、体积估计和营养素推导。深度学习的繁荣使得VBDA逐渐走向端到端的实现，即将食物图像应用于单个网络，直接估计营养。最近提出的端到端的方法进行了讨论。我们进一步分析了现有的膳食评估数据集，表明迫切需要一个大规模的基准，最后强调了VBDA的关键挑战和未来趋势。主要发现和结论：经过深入探索，我们发现多任务端到端深度学习方法是VBDA的一个重要趋势。尽管有相当大的研究进展，但由于膳食的复杂性，VBDA仍然面临许多挑战。我们还为VBDA的未来发展提供了最新的想法，例如，精细的食品分析和准确的体积估算。本文旨在鼓励研究人员提出更实用的VBDA解决方案。
2022-03-06 cs.CV
Improving Food Detection For Images From a Wearable Egocentric Camera
Purdue University（普渡大学）；The University of Alabama（阿拉巴马大学）
饮食是我们健康的一个重要方面。良好的饮食习惯有助于预防许多疾病，提高整体生活质量。为了更好地了解饮食与健康之间的关系，已经开发了基于图像的饮食评估系统来收集饮食信息。我们介绍自动摄入监测器（AIM），一种可以连接到眼镜上的设备。它提供了一种自动化的免提方法来捕捉进食场景图像。虽然AIM有几个优点，但AIM捕获的图像有时会模糊。模糊图像会显著降低食品图像分析（如食品检测）的性能。在本文中，我们提出了一种方法来预处理的AIM成像传感器收集的图像，通过拒绝非常模糊的图像，以提高食品检测的性能。
2023-01-19 cs.CV
Towards the Creation of a Nutrition and Food Group Based Image Database
Purdue University（普渡大学）
食物分类对于分析膳食评估中报告的食物组成的营养素至关重要。移动和可穿戴传感器的进步，结合新的基于图像的方法，特别是基于深度学习的方法，在提高食物分类的准确性以评估饮食摄入方面显示出巨大的前景。然而，这些方法是数据饥饿的，并且它们的性能严重依赖于用于训练食品分类模型的可用数据集的数量和质量。现有的食物图像数据集不适合细粒度的食物分类和随后的营养分析，因为它们缺乏细粒度和透明的基于食物组的识别，这些识别通常由具有专业领域知识的训练有素的营养师提供。在本文中，我们提出了一个框架，以创建一个营养和食品组为基础的图像数据库，其中包含视觉和层次的食品分类信息，以提高每种食物的营养成分的链接。我们设计了一个将美国农业部（USDA）膳食研究食物和营养素数据库（FNDDS）中基于食物组的食物代码链接到食物图像数据集的协议，并实现了一个基于Web的注释工具来有效地部署该协议。我们提出的方法用于建立一个基于营养和食物组的图像数据库，包括16个，114张食物图片代表了美国74种最常食用的美国食物（WWEIA）子类别，其中1，865个USDA食物代码与营养数据库（USDA FNDDS营养数据库）相匹配。
2022-06-05 cs.CV
Personalized Food Image Classification: Benchmark Datasets and New Baseline
Purdue University（普渡大学）
针对个性化食物图像分类缺乏基准数据的问题，本文提出Food101-Personal和VFN-Personal两个个性化数据集，并设计结合自监督学习与时间特征的新框架，在两个基准上取得优于现有方法的性能。
2023-09-15 cs.CV
FoodLogAthl-218: Constructing a Real-World Food Image Dataset Using Dietary Management Applications
The University of Tokyo（东京大学）；foo.log Inc.（foo.log公司）
FoodLogAthl-218数据集通过用户真实餐食照片构建，包含218类食物图像及丰富元数据，提出基于上下文的分类任务和增量微调协议，用于提升饮食管理应用的图像分类性能。
2025-12-16 cs.CV cs.MM
Eating Smart: Advancing Health Informatics with the Grounding DINO based Dietary Assistant App
Al Akhawayn University（阿卡韦恩大学）
本研究开发了基于 Grounding DINO 模型的智能饮食助手应用，通过零样本食物图像检测与多平台集成，为糖尿病患者等提供个性化饮食建议和实时扫描，助力健康管理与生活方式优化。
2024-06-02 cs.CV
CaLoRAify: Calorie Estimation with Visual-Text Pairing and LoRA-Driven Visual Language Models
Carnegie Mellon University（卡内基梅隆大学）
针对传统卡路里估算工具实用性不足的问题，研究构建了33万条图文对的CalData数据集，提出结合LoRA与RAG技术的CaLoRAify框架，仅需单张食物图像即可估算卡路里并支持对话交互，提升了VLM在该垂直领域的性能。
2024-12-13 cs.CV
Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition
Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid（生物度量与数据模式分析实验室，马德里自治大学）；IMDEA Food, CEI UAM+CSIC（IMDEA食品，CEI UAM+CSIC）
本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力，提出了一个新的评估指标，并展示了FoodNExTDB数据库在饮食评估中的应用潜力。
2025-04-09 cs.AI cs.CV
An Improved Encoder-Decoder Framework for Food Energy Estimation
Purdue University（普渡大学）
本文提出一种改进的编码器-解码器框架，从单张单目图像估计食物能量，并构建经注册营养师验证的高质量数据集，在MAPE和MAE上分别较以往方法提升超过10%和30 kCal。
2023-09-22 cs.CV
NutritionVerse-Direct: Exploring Deep Neural Networks for Multitask Nutrition Prediction from Food Images
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
针对老年人饮食追踪难、现有食物图像营养预测方法场景受限或信息不全的问题，提出基于视觉Transformer的NutritionVerse-Direct多任务模型，直接从餐食图像预测五类营养指标，精度较基线提升25.5%。
2024-05-13 cs.CV
An End-to-end Food Portion Estimation Framework Based on Shape Reconstruction from Monocular Image
Purdue University（普渡大学）
提出一种基于单目图像3D形状重建的端到端深度学习框架，利用生成模型恢复食物体素表示以估算能量，在Nutrition5k数据集上取得有竞争力的结果，且推理仅需RGB输入。
2023-08-03 cs.CV
Saliency-Aware Class-Agnostic Food Image Segmentation
Purdue University（普渡大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）；Curtin University（科廷大学）
基于图像的饮食评估方法的进步使营养专业人员和研究人员能够提高饮食评估的准确性，其中使用智能手机或可穿戴设备捕获所消耗的食物图像。然后使用计算机视觉方法分析这些图像，以估计食物的能量和营养含量。食品图像分割是确定食品所在区域的关键。目前的方法是依赖于数据的，因此不能很好地推广不同的食物类型。为了解决这个问题，我们提出了一个类不可知的食品图像分割方法。我们的方法使用一对进食场景图像，一个在开始进食之前，一个在进食完成之后。利用进食前后图像的信息，我们可以在没有任何关于食物类别的先验信息的情况下，通过寻找显著的缺失对象来分割食物图像。我们建立了一个自上而下的显着性范式，它引导人类视觉系统（HVS）的注意力，基于一个任务，找到一对图像中的显着缺失对象。我们的方法是验证从饮食研究中收集的食物图像，显示出可喜的结果。
2021-02-13 cs.CV cs.LG
How Much You Ate? Food Portion Estimation on Spoons
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
针对现有基于图像的食物份量估计需用户拍餐食、难捕捉俯视不可见食物的问题，提出用固定面向用户的摄像头追踪勺子等餐具上的食物的方法，可高精度估计饮食摄入，适配液固异质混合物，是便捷非侵入的监测工具。
2024-05-12 cs.AI cs.CV
NutriMLLM: Multimodal Large Language Models for Dietary Micronutrient Analysis
Emory University（埃默里大学）
针对现有MLLM在膳食微量营养素估计中不可靠的问题，利用十年人口规模膳食回顾生成约110万图像-营养素三元组，微调Qwen3-VL和GLM-4.6V-Flash得到NutriMLLM，在真实图像上实现65种营养素全覆盖，准确率匹配或超越专有模型。
2026-06-08 cs.AI cs.CV
An Integrated System for Mobile Image-Based Dietary Assessment
Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）
准确评估膳食摄入量需要改进的工具，以克服现有方法的局限性，包括用户负担和测量误差。新兴技术，例如使用先进的机器学习技术的基于图像的方法，加上广泛使用的移动设备，为提高膳食评估的准确性提供了新的机会，这种评估具有成本效益，方便和及时。然而，数据集的质量和数量对于实现自动图像分析的良好性能至关重要。构建具有高质量地面实况注释的大型图像数据集是一个具有挑战性的问题，特别是对于食品图像，因为相关的营养信息需要由具有领域知识的训练有素的营养师提供或验证。在本文中，我们提出了一个移动的，基于图像的饮食评估系统的设计和开发，捕捉和分析饮食摄入量，这已部署在控制喂养和社区居住的饮食研究。我们的系统能够在自然环境中收集高质量的食物图像，并为开发新的计算方法提供地面实况注释。
2021-10-05 cs.CV cs.IR
NutritionVerse: Empirical Study of Various Dietary Intake Estimation Approaches
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
该研究通过构建大规模合成食物图像数据集 NutritionVerse-Synth 和真实数据集 NutritionVerse-Real，系统评估多种膳食摄入估计方法，并探索合成与真实数据融合策略，以推动膳食感知机器学习发展。
2024-09-02 cs.AI cs.CV
Image Based Food Energy Estimation With Depth Domain Adaptation
Purdue University（普渡大学）
对膳食摄入量的评估主要依靠自我报告工具，这种工具容易出现测量误差。饮食评估方法越来越多地采用技术进步，特别是移动，基于图像的方法，以解决这些限制和进一步自动化。移动的、基于图像的方法可以通过从由移动设备捕获的进食场合图像自动估计饮食摄入来减少用户负担和偏差。在本文中，我们提出了一个“能量密度图”，这是一个像素到像素的映射从RGB图像的能量密度的食物。然后，我们将“能量密度图”与由深度传感器捕获的相关深度图相结合，以估计食物能量。该方法在Nutrition5k数据集上进行了评估。实验结果表明，与基线方法相比，改进的结果具有13.29 kCal的平均误差和13.57%的平均百分比误差之间的地面实况和估计的能量的食物。
2022-08-25 cs.AI cs.CV cs.LG
NUTRIVISION: A System for Automatic Diet Management in Smart Healthcare
SRM University AP（SRM大学AP校区）；University of North Carolina, Wilmington（北卡罗来纳大学威尔明顿分校）；University of North Texas（北德克萨斯大学）
NutriVision 面向智能医疗，利用 Faster R-CNN 和智能手机图像实现食物识别、数量估算与营养分析，并结合用户健康数据提供个性化饮食建议，以提升营养管理和健康水平。
2024-09-30 cs.CV
NutrifyAI: An AI-Powered System for Real-Time Food Detection, Nutritional Analysis, and Personalized Meal Recommendations
New York University Stern（纽约大学斯特恩商学院）
NutrifyAI结合YOLOv8食物检测、Edamam营养分析与膳食推荐API，实现实时食物识别、营养分析和个性化膳食建议，识别准确率近80%。
2024-10-21 cs.AI cs.CV
VolETA: One- and Few-shot Food Volume Estimation
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Institut de Neurosciències（神经科学研究所）
本文提出VolETA框架，结合XMem++、PixSfM、NeuS2及One-2-3-45等3D生成与重建技术，实现单/少样本RGBD食物体积估计，在MTF数据集上MAPE达10.97%。
2024-07-01 cs.CV
DietDelta: A Vision-Language Approach for Dietary Assessment via Before-and-After Images
Purdue University（普渡大学）
本文提出了一种简单视觉-语言框架，通过配对的前后进食图像进行食物项营养分析，利用自然语言提示定位特定食物并直接从单张RGB图像估计重量，通过两阶段训练策略预测重量差异以估计饮食消耗。
2026-04-07 cs.AI cs.CV cs.MM
From Plate to Prevention: A Dietary Nutrient-aided Platform for Health Promotion in Singapore
National University of Singapore（新加坡国立大学）；Ng Teng Fong General Hospital（黄廷芳综合医院）；Universität Stuttgart（斯图加特大学）；TikTok Singapore（TikTok新加坡）；National University Heart Centre, Singapore（新加坡国立大学心脏中心）
新加坡一直在努力改善向其人民提供的保健服务。在这一过程中，政府注意到在调节和监督人们的营养摄入方面的不足，这被认为是导致慢性病发展的一个因素。因此，这一问题引起了极大的关注。在本文中，我们分享了我们在解决这个问题和获得医疗级营养素摄入信息方面的经验，以使新加坡人在不同方面受益。为此，我们开发了FoodSG平台，以在新加坡孵化各种面向医疗保健的应用程序作为服务，并考虑到他们的共同需求。我们进一步确定了本地化食品数据集的深刻含义，并系统地清理和策划了本地化的新加坡食品数据集FoodSG-233。为了克服新加坡食物种类繁多带来的识别性能障碍，我们建议将监督对比学习集成到我们的食物识别模型FoodSG-SCL中，以提高挖掘硬阳性/阴性样本的内在能力，从而提高准确率。通过一个全面的评估，我们提出了所提出的模型的性能结果和对食品相关的医疗保健应用的见解。FoodSG-233数据集已在https://foodlg.comp.nus.edu.sg/上发布。
2023-03-28 cs.AI cs.CV cs.DB
Towards Learning Food Portion From Monocular Images With Cross-Domain Feature Adaptation
Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）
我们的目标是估计食物部分的大小，一个属性，这是强烈相关的食物对象在3D空间中的存在下，从现实生活中设置的单目图像。具体来说，我们感兴趣的是端到端的估计食物的部分大小，这在个人健康管理领域具有很大的潜力。与可以通过大规模众包获得注释的图像分割或对象识别不同，收集用于部分尺寸估计的数据集更具挑战性，因为人类在没有专业知识的情况下无法准确估计任意2D图像中对象的尺寸。为了应对这一挑战，我们引入了一个从营养研究中收集的真实食物图像数据集，其中食物能量（卡路里）由注册营养师提供，并将提供给研究界。我们提出了一个深度回归过程，通过结合从RGB和学习的能量分布域估计的特征来估计部分大小。我们对食物能量的估计达到了最先进的水平，MAPE为11.47%，显著优于非专家人类估计的27.56%。
2021-03-12 cs.CV
BenchSeg: A Large-Scale Dataset and Benchmark for Multi-View Food Video Segmentation
Department of Engineering, Pompeu Fabra University（工程系，庞培法布拉大学）；Photogrammetry and Remote Sensing, Technical University of Munich（摄影测量与遥感，慕尼黑技术大学）
BenchSeg通过多视角食物视频分割数据集和基准，改进了食物分割和跟踪的性能，提升了饮食分析的准确性。
2026-01-18 cs.CV
Detecting Korean Food Using Image using Hierarchical Model
Dong-A University（东亚大学）
本文提出一种结合图像处理与机器学习的分层模型，用户上传韩国食品照片即可识别菜品，帮助有饮食限制的人群在食用前确认食物内容。
2024-09-04 cs.AI cs.CV
DiningBench: A Hierarchical Multi-view Benchmark for Perception and Reasoning in the Dietary Domain
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Meituan（美团）；Wuhan University（武汉大学）
本文提出DiningBench，一个分层多视角基准，用于评估视觉语言模型在饮食领域感知与推理能力，包含3021种不同菜品，通过多视角输入和链式推理方法，揭示了当前VLM在细粒度视觉识别和营养推理上的不足。
2026-04-12 cs.CV
MetaFood CVPR 2024 Challenge on Physically Informed 3D Food Reconstruction: Methods and Results
Purdue University（普渡大学）；University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）；Universitat de Barcelona（巴塞罗那大学）；Beijing Institute of Technology（北京理工大学）；Baidu Inc.（百度公司）；XPeng Motors（小鹏汽车）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对3D食物重建领域数据稀缺、产学研合作不足的问题，本文介绍了CVPR 2024 MetaFood研讨会举办的物理信息驱动3D食物重建挑战赛的设置、参赛情况及成果，为膳食监测相关技术发展提供支撑。
2024-07-12 cs.CV
Single-View Food Portion Estimation: Learning Image-to-Energy Mappings Using Generative Adversarial Networks
Purdue University（普渡大学）
由于对慢性疾病和与饮食有关的其他健康问题的日益关注，需要开发准确的方法来估计个人的食物和能量摄入。测量准确的饮食摄入量是一个开放的研究问题。特别地，准确的食物部分估计是具有挑战性的，因为食物制备和消费的过程对食物形状和外观施加了很大的变化。在本文中，我们提出了一种食物部分估计方法，估计食物能量（千卡）的食物图像使用生成对抗网络（GAN）。我们介绍了“能量分布”的概念，为每个食物的形象。为了训练GAN，我们设计了一个食物图像数据集，该数据集基于每个食物图像的地面真实食物标签和分割掩模以及与食物图像相关联的能量信息。我们的目标是学习食物图像到食物能量的映射。然后我们可以根据能量分布来估计食物能量。我们表明，平均能量估计出错率为10.89%，可以通过学习图像到能量映射。
2018-05-23 cs.CV
An End-to-End Food Image Analysis System
Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）
现代深度学习技术使基于图像的饮食评估（如食物识别和食物份量估计）取得了进展。关于食物种类和消费量的宝贵信息对于预防许多慢性疾病至关重要。然而，现有的基于图像的自动食物分析方法既不是端到端的，也不能处理多个任务（例如，识别和部分估计）在一起，使得难以应用于现实生活中的应用。在本文中，我们提出了一个基于图像的食品分析框架，集成了食品定位，分类和部分大小估计。我们提出的框架是端到端的，即，输入可以是包含多个食物项目的任意食物图像，并且我们的系统可以用其对应的预测食物类型和份量来定位每个单个食物项目。我们还通过将定位结果与由条件GAN获得的食物能量分布图合并来改进单个食物部分估计，以生成四通道RGB分布图像。我们的端到端框架是在从营养喂养研究中收集的真实食物图像数据集上进行评估的。
2021-02-01 cs.CV
Image-Based Dietary Assessment: A Healthy Eating Plate Estimation System
Kazakh-British Technical University（哈萨克斯坦-英国技术大学）；School of Information Technology and Engineering（信息技术与工程学院）
本文提出基于图像的饮食评估系统，通过分割、分类、营养评估和建议四步框架，依据 Harvard Healthy Eating Plate 判断餐食健康性。
2024-03-02 cs.CV
Clustering Egocentric Images in Passive Dietary Monitoring with Self-Supervised Learning
Imperial College London（帝国理工学院）；University of Pittsburgh（匹兹堡大学）；Baylor College Of Medicine（贝勒医学院）；University of Ghana（加纳大学）；University of Georgia（佐治亚大学）；Boston University（波士顿大学）；University of Alabama（阿拉巴马大学）
在我们最近对加纳被动饮食监测的饮食评估实地研究中，我们收集了超过25万张野外图像。该数据集是一项持续的努力，旨在通过被动监测相机技术促进低收入和中等收入国家个人食物和营养素摄入量的准确测量。目前的数据集涉及来自加纳农村和城市地区的20个家庭（74名受试者），研究中使用了两种不同类型的可穿戴相机。一旦启动，可穿戴摄像头就会持续捕获受试者的活动，从而产生大量数据，在进行分析之前进行清理和注释。为了简化数据后处理和注释任务，我们提出了一种新的自监督学习框架，将大量以自我为中心的图像聚类为单独的事件。每个事件由一系列时间上连续且上下文相似的图像组成。通过将图像聚类为单独的事件，注释者和营养师可以更有效地检查和分析数据，并促进后续的饮食评估过程。在具有地面真实标签的测试集上进行验证，所提出的框架在聚类质量和分类精度方面优于基线。
2022-08-25 cs.CV
An Intelligent Passive Food Intake Assessment System with Egocentric Cameras
Imperial College London（伦敦帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
营养不良是低收入和中等收入国家的一个主要公共卫生问题。了解社区、家庭和个人的食物和营养摄入量对于制定卫生政策和干预措施至关重要。为了简化进行大规模饮食评估的程序，我们建议通过以自我为中心的摄像机，特别是在加纳和乌干达的家庭实施一个智能被动食物摄入量评估系统。首先设计算法去除冗余图像以最小化存储内存。在运行时间，应用基于深度学习的语义分割来识别多种食物类型，并提取新设计的手工特征以进一步监测消耗的食物重量。进行了全面的实验，以验证我们的方法在野外数据集下捕获的设置，模拟独特的LMIC条件下，加纳和肯尼亚的参与者吃常见的加纳/肯尼亚菜。为了证明其有效性，经验丰富的营养师参与了这项研究，以执行视觉部分大小估计，并将他们的预测与我们提出的方法进行比较。令人鼓舞的结果表明，我们的方法能够可靠地监测食物摄入量，并对用户的饮食行为提供反馈，为营养师定期进行饮食评估提供指导。
2021-05-07 cs.AI cs.CV
Feature-Enhanced TResNet for Fine-Grained Food Image Classification
School of Artificial Intelligence and Computer Science（人工智能与计算机科学学院）
针对相似菜品细微差异导致的细粒度食物分类难题，提出融合 StyleRM 与 DCA 的 FE-TResNet，在两个中餐基准上取得优异准确率。
2025-07-23 cs.AI cs.CV
Reference-Free Food Volume Estimation from Egocentric Stereo Video
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
本文提出一种基于可穿戴第一人称设备立体视频的无参考食物体积估计方法，结合FoundationStereo、SAM 2与TSDF融合，在5种食物上实现9.1%的平均绝对百分比误差，可用于被动式饮食摄入监测。
2026-10-12 cs.CV
What's on Your Plate? Inferring Chinese Cuisine Intake from Wearable IMUs
Xi'an Jiaotong University（西安交通大学）
针对中餐多样性，提出融合智能手表与智能眼镜IMU数据的CuisineSense系统，通过两阶段流程实现进食状态检测和食物类型分类，并在自建数据集上验证了高准确率。
2025-11-07 cs.CV cs.LG
Two-view 3D Reconstruction for Food Volume Estimation
与饮食相关的慢性疾病日益普遍，加上传统饮食管理方法的无效，导致需要新的工具来准确和自动评估膳食。最近，已经提出了使用膳食图像来评估其内容的基于计算机视觉的系统。食物分量估计是个人评估其膳食的最困难的任务，也是研究最少的领域。本论文提出了一个三阶段的系统来计算部分大小使用两个图像的菜通过移动设备获得。第一阶段包括理解不同视图的配置，之后从两个图像构建密集的3D模型;最后，该3D模型用于提取不同物品的体积。该系统在已知体积的77个真实培养皿上进行了广泛的测试，每个培养皿在5.5秒内的平均误差小于10%。所提出的管道在计算上易于处理，不需要用户输入，使其成为全自动饮食评估的可行选择。
2017-01-12 cs.CV
DPF-Nutrition: Food Nutrition Estimation via Depth Prediction and Fusion
School of Electronic Information and Communication, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；Institute of Agricultural Products Processing and Nuclear Agricultural Technology, Hubei Academy of Agricultural Science（湖北省农业科学院农产品加工与核农技术研究所）
针对单目图像食物营养估计精度有限的问题，提出端到端方法DPF-Nutrition，通过引入深度预测模块和RGB-D融合模块提升食物份量与营养估计准确性，并在Nutrition5k数据集上验证了其有效性与效率。
2023-10-18 cs.CV
A Multi-Task Learning Approach for Meal Assessment
在预防饮食相关的慢性疾病的关键作用发挥均衡的营养加上适当的饮食。传统的膳食评估方法费时、费钱且容易出错。在过去的十年中，出现了新的基于技术的方法，提供可靠和方便的饮食评估。随着计算机视觉领域的发展，利用图像对食物营养成分进行检测通常需要经过三个步骤：食物分割、识别和体积估计。在本文中，我们提出了一个使用一个RGB膳食图像作为输入的多任务学习的卷积神经网络（CNN）。所提出的方法取得了优异的性能，而与国家的最先进的方法相比，所提出的方法具有明显的优势，在准确性，以及大量减少的处理时间。
2018-06-27 cs.CV
MFP3D: Monocular Food Portion Estimation Leveraging 3D Point Clouds
Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA（电气与计算机工程学院，普渡大学，西拉法叶，美国）；College of Artificial Intelligence, Anhui University, Hefei, China（人工智能学院，安徽大学，合肥，中国）
MFP3D通过单目图像和3D点云技术实现准确的食物分量估计，提升饮食监控的精度。
2026-03-01 cs.CV eess.IV
Multimodal Fusion of Glucose Monitoring and Food Imagery for Caloric Content Prediction
针对2型糖尿病管理中热量摄入估算难的问题，提出融合CGM数据、人口统计学/微生物组数据与食物图像的多模态深度学习框架，在40余人的数据集上实现0.2544的RMSRE，性能超基线50%以上，助力慢性病饮食评估工具优化。
2025-05-20 cs.CV cs.LG
VolTex: Food Volume Estimation using Text-Guided Segmentation and Neural Surface Reconstruction
Universitat de Barcelona（巴塞罗那大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Grup de Tecnologies Interactives (GTI)（交互技术小组）；IMUB & Institut de Neurociències, Barcelona（IMUB与巴塞罗那神经科学研究所）
VolTex框架通过文本引导分割和神经表面重建，解决了食物体积估计中特定食物对象选择不足的问题，并在MetaFood3D数据集上验证了其精确重建与体积计算的有效性。
2025-06-03 cs.CV cs.GR
Automatic Recognition of Food Ingestion Environment from the AIM-2 Wearable Sensor
针对膳食摄入环境检测中人工审核繁琐、算法面临数据不平衡和感知混叠的问题，提出结合微调与迁移学习的两阶段神经网络训练框架，在UA Free Living Study数据集上达96.63%的分类准确率。
2024-05-13 cs.AI cs.CV cs.MM
