A Comprehensive Survey of Image-Based Food Recognition and Volume Estimation Methods for Dietary Assessment
University of Malaya(马来亚大学)
饮食研究显示,与饮食有关的问题,如肥胖,与其他慢性疾病有关,如高血压、不规则的血糖水平和心脏病发作的风险增加。这些问题的主要原因是不良的生活方式选择和不健康的饮食习惯,这些都是可以使用交互式mHealth应用程序进行管理的。然而,使用人工食物记录的传统饮食监测系统存在不精确、漏报、耗时和低依从性的问题。最近的饮食监测系统通过机器学习方法自动评估饮食摄入量来应对这些挑战。本调查讨论了迄今为止为自动食物识别和体积估计开发的最有效的方法。首先,我们将介绍基于视觉的食品识别方法的基本原理。本文的核心是介绍,讨论和评价这些方法对流行的食品图像数据库。接下来,我们讨论了实现这些方法的移动应用程序。调查最后讨论了这一领域的研究差距和开放问题。
2021-09-03 cs.CV eess.IV
Improving Dietary Assessment Via Integrated Hierarchy Food Classification
Purdue University(普渡大学)
基于图像的饮食评估是指根据视觉数据确定某人吃了什么以及消耗了多少能量和营养素的过程。食品分类是第一步,也是最关键的一步。现有的方法集中在提高准确性衡量的正确分类率的基础上的视觉信息,这是非常具有挑战性的,由于高复杂性和类间相似性的食物。此外,食品分类的准确性是概念性的,因为食品的描述总是可以改进的。在这项工作中,我们引入了一个新的食品分类框架,通过整合来自多个领域的信息,同时保持分类精度,提高预测质量。我们应用了一个多任务网络的基础上,使用视觉和营养领域的特定信息聚类相似的食物的层次结构。我们的方法在修改后的VIPER-FoodNet(VFN)食品图像数据集上进行了验证,包括相关的能量和营养信息。我们实现了与仅使用视觉信息的现有方法相当的分类精度,但在错误预测的能量和营养值方面误差较小。
2021-09-06 cs.CV
Deep Learning-Based Food Calorie Estimation Method in Dietary Assessment
School of Information Science and Engineering, East China University of Science and Technology(华东理工大学信息科学与工程学院)
肥胖治疗要求肥胖患者记录每天所有食物摄入量。计算机视觉已经被引入来从食物图像估计卡路里。为了提高检测的准确性,减少食品热量估计中体积估计的误差,本文提出了我们的热量估计方法。为了估计食物的卡路里,需要顶视图和侧视图。更快的R-CNN用于检测食物和校准对象。GrabCut算法用于获取每种食物的轮廓。然后用食物和相应的物体来估计体积。最后,我们估计每种食物的卡路里。实验结果表明,该方法是有效的。
2018-02-18 cs.CV
Shape-Preserving Generation of Food Images for Automatic Dietary Assessment
University of Pittsburgh(匹兹堡大学)
针对自动膳食评估中缺少食物名称与体积标注图像的问题,提出一种基于 GAN 的条件生成框架,可生成真实且保持食物与容器形状的食物图像。
2024-08-23 cs.CV eess.IV
A Mobile Food Recognition System for Dietary Assessment
Istanbul Technical University(伊斯坦布尔理工大学);Hamad bin Khalifa University(哈马德·本·哈利法大学)
食物识别是各种应用的重要任务,包括管理健康状况和帮助视力受损的人。一些食物识别的研究集中在一般类型的食物或特定的美食,然而,食物识别方面的中东美食仍然是未经探索的。因此,在本文中,我们专注于开发一个移动友好,中东美食为重点的食品识别应用程序辅助生活的目的。为了实现低延迟、高准确度的食品分类系统,我们选择使用Mobilenet-v2深度学习模型。由于一些食物比其他食物更受欢迎,因此所使用的中东食物数据集中每个类别的样本数量相对不平衡。为了弥补这个问题,数据增强方法被应用于代表性不足的类。实验结果表明,使用Mobilenet-v2架构的这项任务是有益的准确性和内存的使用。该模型对23种食物类别的准确率达到94%,开发的移动应用程序有可能通过图像为视障人士提供自动食物识别服务。
2022-04-20 cs.CV
Egocentric Image Captioning for Privacy-Preserved Passive Dietary Intake Monitoring
Imperial College London(伦敦帝国理工学院);University of Pittsburgh(匹兹堡大学);Baylor College Of Medicine(贝勒医学院);University of Ghana(加纳大学);University of Georgia(佐治亚大学);Boston University(波士顿大学)
基于相机的被动饮食摄入监测能够连续捕获受试者的进食事件,记录丰富的视觉信息,例如所消耗的食物的类型和体积,以及受试者的进食行为。然而,目前还没有能够结合这些视觉线索并从被动记录(例如,是受试者与其他人分享食物,受试者正在吃什么食物,以及碗中还剩多少食物)。另一方面,隐私是一个主要的问题,而自我中心的可穿戴相机用于捕获。在本文中,我们提出了一种隐私保护的安全解决方案(即,自我中心的图像描述)用于具有被动监测的饮食评估,其统一了食物识别、体积估计和场景理解。通过将图像转换为富文本描述,营养学家可以根据标题而不是原始图像来评估个人的饮食摄入量,从而降低了图像泄露隐私的风险。为此,建立了一个以自我为中心的饮食图像描述数据集,其中包括在野外图像捕获的头戴式和胸戴式相机在加纳的实地研究。一种新颖的基于transformer的架构被设计用于描述以自我为中心的饮食图像。综合实验已经进行了评估的有效性,并证明所提出的架构设计的自我中心的饮食图像描述。据我们所知,这是第一项将图像描述应用于现实生活中饮食摄入评估的工作。
2023-03-01 cs.CV
Clustering Egocentric Images in Passive Dietary Monitoring with Self-Supervised Learning
Imperial College London(帝国理工学院);University of Pittsburgh(匹兹堡大学);Baylor College Of Medicine(贝勒医学院);University of Ghana(加纳大学);University of Georgia(佐治亚大学);Boston University(波士顿大学);University of Alabama(阿拉巴马大学)
在我们最近对加纳被动饮食监测的饮食评估实地研究中,我们收集了超过25万张野外图像。该数据集是一项持续的努力,旨在通过被动监测相机技术促进低收入和中等收入国家个人食物和营养素摄入量的准确测量。目前的数据集涉及来自加纳农村和城市地区的20个家庭(74名受试者),研究中使用了两种不同类型的可穿戴相机。一旦启动,可穿戴摄像头就会持续捕获受试者的活动,从而产生大量数据,在进行分析之前进行清理和注释。为了简化数据后处理和注释任务,我们提出了一种新的自监督学习框架,将大量以自我为中心的图像聚类为单独的事件。每个事件由一系列时间上连续且上下文相似的图像组成。通过将图像聚类为单独的事件,注释者和营养师可以更有效地检查和分析数据,并促进后续的饮食评估过程。在具有地面真实标签的测试集上进行验证,所提出的框架在聚类质量和分类精度方面优于基线。
2022-08-25 cs.CV
DietDelta: A Vision-Language Approach for Dietary Assessment via Before-and-After Images
Purdue University(普渡大学)
本文提出了一种简单视觉-语言框架,通过配对的前后进食图像进行食物项营养分析,利用自然语言提示定位特定食物并直接从单张RGB图像估计重量,通过两阶段训练策略预测重量差异以估计饮食消耗。
2026-04-07 cs.AI cs.CV cs.MM
A Multi-Task Learning Approach for Meal Assessment
在预防饮食相关的慢性疾病的关键作用发挥均衡的营养加上适当的饮食。传统的膳食评估方法费时、费钱且容易出错。在过去的十年中,出现了新的基于技术的方法,提供可靠和方便的饮食评估。随着计算机视觉领域的发展,利用图像对食物营养成分进行检测通常需要经过三个步骤:食物分割、识别和体积估计。在本文中,我们提出了一个使用一个RGB膳食图像作为输入的多任务学习的卷积神经网络(CNN)。所提出的方法取得了优异的性能,而与国家的最先进的方法相比,所提出的方法具有明显的优势,在准确性,以及大量减少的处理时间。
2018-06-27 cs.CV
MetaFood CVPR 2024 Challenge on Physically Informed 3D Food Reconstruction: Methods and Results
Purdue University(普渡大学);University of Waterloo(滑铁卢大学);National Research Council Canada(加拿大国家研究委员会);Universitat de Barcelona(巴塞罗那大学);Beijing Institute of Technology(北京理工大学);Baidu Inc.(百度公司);XPeng Motors(小鹏汽车);Beijing University of Posts and Telecommunications(北京邮电大学)
针对3D食物重建领域数据稀缺、产学研合作不足的问题,本文介绍了CVPR 2024 MetaFood研讨会举办的物理信息驱动3D食物重建挑战赛的设置、参赛情况及成果,为膳食监测相关技术发展提供支撑。
2024-07-12 cs.CV
Two-view 3D Reconstruction for Food Volume Estimation
与饮食相关的慢性疾病日益普遍,加上传统饮食管理方法的无效,导致需要新的工具来准确和自动评估膳食。最近,已经提出了使用膳食图像来评估其内容的基于计算机视觉的系统。食物分量估计是个人评估其膳食的最困难的任务,也是研究最少的领域。本论文提出了一个三阶段的系统来计算部分大小使用两个图像的菜通过移动设备获得。第一阶段包括理解不同视图的配置,之后从两个图像构建密集的3D模型;最后,该3D模型用于提取不同物品的体积。该系统在已知体积的77个真实培养皿上进行了广泛的测试,每个培养皿在5.5秒内的平均误差小于10%。所提出的管道在计算上易于处理,不需要用户输入,使其成为全自动饮食评估的可行选择。
2017-01-12 cs.CV
Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition
Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid(生物度量与数据模式分析实验室,马德里自治大学);IMDEA Food, CEI UAM+CSIC(IMDEA食品,CEI UAM+CSIC)
本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力,提出了一个新的评估指标,并展示了FoodNExTDB数据库在饮食评估中的应用潜力。
2025-04-09 cs.AI cs.CV
MFP3D: Monocular Food Portion Estimation Leveraging 3D Point Clouds
Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA(电气与计算机工程学院,普渡大学,西拉法叶,美国);College of Artificial Intelligence, Anhui University, Hefei, China(人工智能学院,安徽大学,合肥,中国)
MFP3D通过单目图像和3D点云技术实现准确的食物分量估计,提升饮食监控的精度。
2026-03-01 cs.CV eess.IV
NutritionVerse-Synth: An Open Access Synthetically Generated 2D Food Scene Dataset for Dietary Intake Estimation
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究院)
本文提出开放的大规模合成食物图像数据集 NV-Synth,含84,984张多视角照片级餐食图像及丰富真值标注,并公开生成框架代码,以支撑计算机视觉膳食摄入评估。
2023-12-11 cs.CV
Evaluating the Feasibility of Inferring Dietary Behavior Change Receptivity from Egocentric Images of Eating Environment
The University of Alabama(阿拉巴马大学);Purdue University(普渡大学);Brown University(布朗大学)
本研究利用可穿戴相机收集的以自我为中心的饮食图像,通过预训练CLIP视觉编码器和轻量级Transformer分类器,初步验证了被动感知推断饮食行为改变接受度的可行性。
2026-05-27 cs.CV
Quality assessment of image matchers for DSM generation -- a comparative study based on UAV images
Singapore-ETH Center(新加坡-ETH中心);ETH Zuerich(苏黎世联邦理工学院);University of Melbourne(墨尔本大学)
最近开发的自动密集图像匹配算法现在正在实施DSM/DTM生产,其像素级表面生成能力提供了部分减轻手动和半自动立体测量的需要的前景。在本文中,五个商业/公共软件包的三维表面生成,使用从无人机记录的5厘米GSD图像进行评估。生成的表面模型进行评估,对点云生成的移动激光雷达和手动立体测量。所考虑的软件包是APS、MICMAC、SURE、Pix 4UAV和DLR的SGM实现。
2021-08-18 cs.CV eess.IV
Implicit-Scale 3D Reconstruction for Multi-Food Volume Estimation from Monocular Images
University of Waterloo(滑铁卢大学);Purdue University(普渡大学);Indiana University(印第安纳大学)
本文提出隐式尺度三维重建方法,用于单目图像中多食物体积估计,通过基准数据集验证了基于几何的重建方法在准确性和鲁棒性上的优势。
2026-02-13 cs.CV
Improving Food Detection For Images From a Wearable Egocentric Camera
Purdue University(普渡大学);The University of Alabama(阿拉巴马大学)
饮食是我们健康的一个重要方面。良好的饮食习惯有助于预防许多疾病,提高整体生活质量。为了更好地了解饮食与健康之间的关系,已经开发了基于图像的饮食评估系统来收集饮食信息。我们介绍自动摄入监测器(AIM),一种可以连接到眼镜上的设备。它提供了一种自动化的免提方法来捕捉进食场景图像。虽然AIM有几个优点,但AIM捕获的图像有时会模糊。模糊图像会显著降低食品图像分析(如食品检测)的性能。在本文中,我们提出了一种方法来预处理的AIM成像传感器收集的图像,通过拒绝非常模糊的图像,以提高食品检测的性能。
2023-01-19 cs.CV
A Central Asian Food Dataset for Personalized Dietary Interventions, Extended Abstract
Nazarbayev University(纳扎尔巴耶夫大学)
该研究创建了首个中亚食品数据集CAFD,包含42类超1.6万张图像,用ResNet152实现88.70%分类准确率,以支持个性化饮食干预。
2023-05-12 cs.CV cs.LG
Image Based Food Energy Estimation With Depth Domain Adaptation
Purdue University(普渡大学)
对膳食摄入量的评估主要依靠自我报告工具,这种工具容易出现测量误差。饮食评估方法越来越多地采用技术进步,特别是移动,基于图像的方法,以解决这些限制和进一步自动化。移动的、基于图像的方法可以通过从由移动设备捕获的进食场合图像自动估计饮食摄入来减少用户负担和偏差。在本文中,我们提出了一个“能量密度图”,这是一个像素到像素的映射从RGB图像的能量密度的食物。然后,我们将“能量密度图”与由深度传感器捕获的相关深度图相结合,以估计食物能量。该方法在Nutrition5k数据集上进行了评估。实验结果表明,与基线方法相比,改进的结果具有13.29 kCal的平均误差和13.57%的平均百分比误差之间的地面实况和估计的能量的食物。
2022-08-25 cs.AI cs.CV cs.LG
An Improved Encoder-Decoder Framework for Food Energy Estimation
Purdue University(普渡大学)
本文提出一种改进的编码器-解码器框架,从单张单目图像估计食物能量,并构建经注册营养师验证的高质量数据集,在MAPE和MAE上分别较以往方法提升超过10%和30 kCal。
2023-09-22 cs.CV
PerBite: A Curated Diagnostic Workflow for Bite-Aware Food Volume Estimation
University of Barcelona(巴塞罗那大学);LogMeal;Universitat Pompeu Fabra(庞培法布拉大学)
提出PerBite工作流,通过分割、三维重建、尺度校准和网格后处理等步骤,从餐前餐后状态估计食物体积,在MetaFood挑战中排名第一。
2026-06-01 cs.CV
NutritionVerse: Empirical Study of Various Dietary Intake Estimation Approaches
University of Waterloo(滑铁卢大学);National Research Council Canada(加拿大国家研究委员会)
该研究通过构建大规模合成食物图像数据集 NutritionVerse-Synth 和真实数据集 NutritionVerse-Real,系统评估多种膳食摄入估计方法,并探索合成与真实数据融合策略,以推动膳食感知机器学习发展。
2024-09-02 cs.AI cs.CV
An Intelligent Passive Food Intake Assessment System with Egocentric Cameras
Imperial College London(伦敦帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
营养不良是低收入和中等收入国家的一个主要公共卫生问题。了解社区、家庭和个人的食物和营养摄入量对于制定卫生政策和干预措施至关重要。为了简化进行大规模饮食评估的程序,我们建议通过以自我为中心的摄像机,特别是在加纳和乌干达的家庭实施一个智能被动食物摄入量评估系统。首先设计算法去除冗余图像以最小化存储内存。在运行时间,应用基于深度学习的语义分割来识别多种食物类型,并提取新设计的手工特征以进一步监测消耗的食物重量。进行了全面的实验,以验证我们的方法在野外数据集下捕获的设置,模拟独特的LMIC条件下,加纳和肯尼亚的参与者吃常见的加纳/肯尼亚菜。为了证明其有效性,经验丰富的营养师参与了这项研究,以执行视觉部分大小估计,并将他们的预测与我们提出的方法进行比较。令人鼓舞的结果表明,我们的方法能够可靠地监测食物摄入量,并对用户的饮食行为提供反馈,为营养师定期进行饮食评估提供指导。
2021-05-07 cs.AI cs.CV
NUTRIVISION: A System for Automatic Diet Management in Smart Healthcare
SRM University AP(SRM大学AP校区);University of North Carolina, Wilmington(北卡罗来纳大学威尔明顿分校);University of North Texas(北德克萨斯大学)
NutriVision 面向智能医疗,利用 Faster R-CNN 和智能手机图像实现食物识别、数量估算与营养分析,并结合用户健康数据提供个性化饮食建议,以提升营养管理和健康水平。
2024-09-30 cs.CV
Saliency-Aware Class-Agnostic Food Image Segmentation
Purdue University(普渡大学);University of Hawaii Cancer Center(夏威夷大学癌症中心);Curtin University(科廷大学)
基于图像的饮食评估方法的进步使营养专业人员和研究人员能够提高饮食评估的准确性,其中使用智能手机或可穿戴设备捕获所消耗的食物图像。然后使用计算机视觉方法分析这些图像,以估计食物的能量和营养含量。食品图像分割是确定食品所在区域的关键。目前的方法是依赖于数据的,因此不能很好地推广不同的食物类型。为了解决这个问题,我们提出了一个类不可知的食品图像分割方法。我们的方法使用一对进食场景图像,一个在开始进食之前,一个在进食完成之后。利用进食前后图像的信息,我们可以在没有任何关于食物类别的先验信息的情况下,通过寻找显著的缺失对象来分割食物图像。我们建立了一个自上而下的显着性范式,它引导人类视觉系统(HVS)的注意力,基于一个任务,找到一对图像中的显着缺失对象。我们的方法是验证从饮食研究中收集的食物图像,显示出可喜的结果。
2021-02-13 cs.CV cs.LG
NutriMLLM: Multimodal Large Language Models for Dietary Micronutrient Analysis
Emory University(埃默里大学)
针对现有MLLM在膳食微量营养素估计中不可靠的问题,利用十年人口规模膳食回顾生成约110万图像-营养素三元组,微调Qwen3-VL和GLM-4.6V-Flash得到NutriMLLM,在真实图像上实现65种营养素全覆盖,准确率匹配或超越专有模型。
2026-06-08 cs.AI cs.CV
An End-to-end Food Portion Estimation Framework Based on Shape Reconstruction from Monocular Image
Purdue University(普渡大学)
提出一种基于单目图像3D形状重建的端到端深度学习框架,利用生成模型恢复食物体素表示以估算能量,在Nutrition5k数据集上取得有竞争力的结果,且推理仅需RGB输入。
2023-08-03 cs.CV
Food Portion Estimation: From Pixels to Calories
本文提出通过深度学习结合图像与辅助输入,实现从像素到卡路里的食物份量精确估计。
2026-02-04 cs.AI cs.CV cs.MM
Personalized Food Image Classification: Benchmark Datasets and New Baseline
Purdue University(普渡大学)
针对个性化食物图像分类缺乏基准数据的问题,本文提出Food101-Personal和VFN-Personal两个个性化数据集,并设计结合自监督学习与时间特征的新框架,在两个基准上取得优于现有方法的性能。
2023-09-15 cs.CV
Towards the Creation of a Nutrition and Food Group Based Image Database
Purdue University(普渡大学)
食物分类对于分析膳食评估中报告的食物组成的营养素至关重要。移动和可穿戴传感器的进步,结合新的基于图像的方法,特别是基于深度学习的方法,在提高食物分类的准确性以评估饮食摄入方面显示出巨大的前景。然而,这些方法是数据饥饿的,并且它们的性能严重依赖于用于训练食品分类模型的可用数据集的数量和质量。现有的食物图像数据集不适合细粒度的食物分类和随后的营养分析,因为它们缺乏细粒度和透明的基于食物组的识别,这些识别通常由具有专业领域知识的训练有素的营养师提供。在本文中,我们提出了一个框架,以创建一个营养和食品组为基础的图像数据库,其中包含视觉和层次的食品分类信息,以提高每种食物的营养成分的链接。我们设计了一个将美国农业部(USDA)膳食研究食物和营养素数据库(FNDDS)中基于食物组的食物代码链接到食物图像数据集的协议,并实现了一个基于Web的注释工具来有效地部署该协议。我们提出的方法用于建立一个基于营养和食物组的图像数据库,包括16个,114张食物图片代表了美国74种最常食用的美国食物(WWEIA)子类别,其中1,865个USDA食物代码与营养数据库(USDA FNDDS营养数据库)相匹配。
2022-06-05 cs.CV
Size Matters: Reconstructing Real-Scale 3D Models from Monocular Images for Food Portion Estimation
Purdue University(普渡大学);Indiana University(印第安纳大学)
本文提出了一种从单目图像重建真实尺度3D模型的方法,以提高食物分量估计的精度,实验表明其在体积估计误差上显著优于现有技术。
2026-01-27 cs.AI cs.CV cs.LG
VolETA: One- and Few-shot Food Volume Estimation
Universitat de Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);Institut de Neurosciències(神经科学研究所)
本文提出VolETA框架,结合XMem++、PixSfM、NeuS2及One-2-3-45等3D生成与重建技术,实现单/少样本RGBD食物体积估计,在MTF数据集上MAPE达10.97%。
2024-07-01 cs.CV
Online Class-Incremental Learning For Real-World Food Image Classification
Purdue University(普渡大学)
本文针对真实世界食品图像分类中数据动态变化和类别不均衡问题,提出概率框架模拟现实消费场景,并设计可附加的动态模型更新模块以改进现有经验回放方法,显著提升在线类增量学习性能。
2024-01-15 cs.CV
Open-KNEAD: Knowledge-grounded Nutrition Estimation via Agentic Decomposition
Purdue University(普渡大学)
研究探讨多模态大语言模型用于膳食评估时检索增强基础方法是否仍有价值。提出无需训练、可本地部署的Open-KNEAD框架,通过营养感知检索关联食物项与FNDDS代码,提高份量估计,还能恢复非美国烹饪风格估计偏差,优势显著并开源相关框架与知识库。
2026-07-15 cs.CV
Single-Stage Heavy-Tailed Food Classification
Purdue University(普渡大学)
提出一种新颖的单阶段重尾食物分类框架,解决真实生活食物图像的重尾分布和类别不平衡问题,在基准数据集上top-1准确率提升超5%。
2023-07-01 cs.CV
Feature-Enhanced TResNet for Fine-Grained Food Image Classification
School of Artificial Intelligence and Computer Science(人工智能与计算机科学学院)
针对相似菜品细微差异导致的细粒度食物分类难题,提出融合 StyleRM 与 DCA 的 FE-TResNet,在两个中餐基准上取得优异准确率。
2025-07-23 cs.AI cs.CV
Automatic Recognition of Food Ingestion Environment from the AIM-2 Wearable Sensor
针对膳食摄入环境检测中人工审核繁琐、算法面临数据不平衡和感知混叠的问题,提出结合微调与迁移学习的两阶段神经网络训练框架,在UA Free Living Study数据集上达96.63%的分类准确率。
2024-05-13 cs.AI cs.CV cs.MM
FMiFood: Multi-modal Contrastive Learning for Food Image Classification
Elmore Family School of Electrical and Computer Engineering(埃尔莫尔家族电气与计算机工程学院);Purdue University(普渡大学)
本文提出多模态对比学习框架FMiFood,通过融合食物类别文本描述与图像信息并引入灵活匹配和GPT-4增强文本,在UPMC-101和VFN数据集上提升了食物图像分类性能。
2024-08-07 cs.CV
Multimodal Fusion of Glucose Monitoring and Food Imagery for Caloric Content Prediction
针对2型糖尿病管理中热量摄入估算难的问题,提出融合CGM数据、人口统计学/微生物组数据与食物图像的多模态深度学习框架,在40余人的数据集上实现0.2544的RMSRE,性能超基线50%以上,助力慢性病饮食评估工具优化。
2025-05-20 cs.CV cs.LG
Simulating Personal Food Consumption Patterns using a Modified Markov Chain
Purdue University(普渡大学)
食物图像分类是基于图像的膳食评估的基础,可以预测食物类别。由于在现实生活中有许多不同的食物类别,传统的模型不能达到足够高的精度。个性化分类器旨在大大提高每个人的食物图像分类的准确性。然而,缺乏公共个人食物消费数据证明是训练这种模型的一个挑战。为了解决这个问题,我们提出了一个新的框架来模拟个人的食物消费数据模式,利用修改后的马尔可夫链模型和自监督学习的使用。我们的方法是能够创建一个准确的未来的数据模式从有限数量的初始数据,我们的模拟数据模式可以密切相关的初始数据模式。此外,我们使用Dynamic Time Warping距离和Kullback-Leibler散度作为度量标准来评估我们的方法在公共Food-101数据集上的有效性。我们的实验结果表明,与随机模拟和原始马尔可夫链方法相比,有前途的性能。
2022-08-13 cs.CV
An End-to-End Food Image Analysis System
Purdue University(普渡大学);Curtin University(科廷大学);University of Hawaii Cancer Center(夏威夷大学癌症中心)
现代深度学习技术使基于图像的饮食评估(如食物识别和食物份量估计)取得了进展。关于食物种类和消费量的宝贵信息对于预防许多慢性疾病至关重要。然而,现有的基于图像的自动食物分析方法既不是端到端的,也不能处理多个任务(例如,识别和部分估计)在一起,使得难以应用于现实生活中的应用。在本文中,我们提出了一个基于图像的食品分析框架,集成了食品定位,分类和部分大小估计。我们提出的框架是端到端的,即,输入可以是包含多个食物项目的任意食物图像,并且我们的系统可以用其对应的预测食物类型和份量来定位每个单个食物项目。我们还通过将定位结果与由条件GAN获得的食物能量分布图合并来改进单个食物部分估计,以生成四通道RGB分布图像。我们的端到端框架是在从营养喂养研究中收集的真实食物图像数据集上进行评估的。
2021-02-01 cs.CV
Long-tailed Food Classification
Purdue University(普渡大学)
食物分类是基于图像的饮食评估的基本步骤,用于预测每个输入图像中的食物类型。然而,在现实世界的场景中,食物图像预测通常是长尾分布在不同的食物类,这会导致严重的类不平衡问题和有限的性能。此外,现有的长尾分类方法都没有关注食物数据,由于食物之间的类间相似性较低,类内相似性较高,这可能更具挑战性。在这项工作中,我们首先介绍了两个新的基准数据集的长尾食品分类,包括Food 101-LT和VFN-LT,其中VFN-LT的样本数量展示了真实世界的长尾食品分布。然后,我们提出了一种新的2阶段框架,以解决类不平衡的问题,(1)欠采样的头部类,以消除冗余样本,并保持通过知识蒸馏的学习信息,(2)过采样的尾部类,通过执行视觉感知数据增强。我们通过与现有的最先进的长尾分类方法进行比较,证明了我们的方法的有效性,并在Food 101-LT和VFN-LT基准测试中表现出更好的性能。结果表明,有可能将我们的方法应用到相关的现实生活中的应用。
2022-10-26 cs.CV
MultiFoodhat: A potential new paradigm for intelligent food quality inspection
School of Food Science and Engineering, Central South University of Forestry and Technology(食品科学与工程学院,中南林业科技大学);School of Computer and Information, Hefei University of Technology(计算机与信息学院,合肥工业大学)
本文提出MultiFoodChat,一种对话驱动多智能体零样本食品识别框架,集成VLM和LLM,通过多轮对话和OPT、IRA组件,无需训练即可在多个公开数据集上实现优于无监督和少样本方法的识别精度,为智能食品质量检测提供新范式。
2025-10-14 cs.CV
Training-Free Text-to-Image Compositional Food Generation via Prompt Grafting
Elmore Family School of Electrical and Computer Engineering, Purdue University(电气与计算机工程学院,普渡大学);Department of Systems Design Engineering, University of Waterloo(系统设计工程系,滑铁卢大学)
无需训练的文本到图像组合食品生成方法通过提示嫁接实现对多食物图像生成的可控分离。
2026-01-25 cs.CV
Geometry-Enhanced Portion Estimation for Multimodal LLMs
研究针对多模态大语言模型部分估计弱的问题,提出用精确部分头部增强冻结商业MLLM的方法,该头部基于DINOv2主干构建,无需深度传感器和微调,在三个基准测试中降低部分误差,优于旗舰MLLM及原图像模型。
2026-07-21 cs.AI cs.CV
Visual Aware Hierarchy Based Food Recognition
Purdue University(普渡大学)
食物识别是基于图像的膳食评估中最重要的组成部分之一。然而,由于食物图像的不同复杂程度和食物类别的类间相似性,基于图像的食物识别系统对于各种公开可用的数据集实现高准确性是具有挑战性的。在这项工作中,我们提出了一个新的两步食品识别系统,包括食品定位和分层食品分类使用卷积神经网络(CNN)作为骨干架构。食物定位步骤基于Faster R-CNN方法的实现来识别食物区域。在食物分类步骤中,视觉相似的食物类别可以自动聚类在一起,以生成一个层次结构来表示食物类别之间的语义视觉关系,然后提出一个多任务CNN模型来执行基于视觉感知层次结构的分类任务。由于数据集的大小和质量是数据驱动方法的关键组成部分,因此我们引入了一个新的食物图像数据集,VIPER-FoodNet(VFN)数据集,由82个食物类别和15 k个基于美国最常用食物的图像组成。使用半自动众包工具来提供该数据集的地面实况信息,包括食物对象边界框和食物对象标签。实验结果表明,我们的系统可以显着提高分类和识别性能的4个公开可用的数据集和新的VFN数据集。
2020-12-06 cs.CV
FoodFusion: A Latent Diffusion Model for Realistic Food Image Generation
University of Waterloo(滑铁卢大学)
针对现有扩散模型生成食物图像偏艺术化、不够真实的问题,本文提出 FoodFusion,利用逾30万对清洗后的食物图文数据微调 LDM,显著提升生成真实性与多样性,并开源数据集和模型。
2023-12-06 cs.CV
Muti-Stage Hierarchical Food Classification
Purdue University(普渡大学)
针对食物分类与营养数据库对齐问题,提出多阶段分层框架,通过迭代聚类合并食物项目,在VFN-nutrient数据集上提升食物类型与项目分类性能。
2023-09-03 cs.CV
An Image Quality Assessment Dataset for Portraits
DXOMARK;New York University(纽约大学)
本文提出PIQ23人像IQA数据集,含100部手机拍摄的5116张图像,由专家成对比较标注三个属性,并证明语义信息可提升盲图像质量评估预测性能。
2023-04-12 cs.CV
Improving Food Image Recognition with Noisy Vision Transformer
University of Alabama(阿拉巴马大学)
本研究提出利用带噪声视觉Transformer(NoisyViT)改进食物图像识别,在三个基准数据集上显著提升分类准确率,展示了其在饮食评估和营养监测中的潜力。
2025-03-24 cs.CV eess.IV
Semi-supervised Body Parsing and Pose Estimation for Enhancing Infant General Movement Assessment
The Pennsylvania State University(宾夕法尼亚州立大学);Johns Hopkins University(约翰斯·霍普金斯大学);Shenzhen Baoan Women’s and Children’s Hospital, Jinan University(暨南大学深圳宝安妇幼保健院);Xi’an University of Architecture and Technology(西安建筑科技大学)
对婴儿运动录像进行一般运动评估是早期发现脑瘫的有效方法。在本文中,我们证明了端到端的可训练神经网络的图像序列识别可以应用到GMA实现良好的效果,更重要的是,增强原始视频与婴儿身体解析和姿态估计信息可以显着提高性能。为了解决有效利用部分标记的IMV进行身体解析的问题,我们提出了一个半监督模型,称为SiamParseNet(SPN),它由两个分支组成,一个用于帧内身体部位分割,另一个用于帧间标签传播。在训练期间,通过在使用仅标记帧的输入对与标记帧和未标记帧两者的输入之间交替来联合训练两个分支。我们还研究了训练数据增强,提出了一个因子分解的视频生成对抗网络(FVGAN)合成新的标记帧进行训练。在测试时,我们采用多源推理机制,其中测试帧的最终结果是通过分割分支或通过从附近的关键帧传播获得的。我们进行了广泛的实验,身体解析使用SPN在两个婴儿运动视频数据集,其中SPN加上FVGAN实现了最先进的性能。我们进一步证明,SPN可以很容易地适应婴儿姿势估计任务具有优越的性能。最后,我们探讨了我们的方法在GMA的临床应用。我们收集了一个新的带有GMA注释的临床IMV数据集,我们的实验表明,在前两个数据集上训练的用于身体解析和姿势估计的SPN模型可以很好地推广到新的临床数据集,并且它们的结果可以显着提高基于CRNN的GMA预测性能。
2022-10-14 cs.CV
VTAMIQ: Transformers for Attention Modulated Image Quality Assessment
Centre for Intelligent Machines, McGill University(麦吉尔大学智能机器中心);McGill University(麦吉尔大学)
继自我注意和Transformers在图像分析中取得的重大成功之后,我们研究了在图像质量评估(IQA)的背景下使用这种注意力机制,并提出了一种新的全参考IQA方法,视觉Transformer注意力调制图像质量(VTAMIQ)。我们的方法在现有的IQA数据集上实现了具有竞争力或最先进的性能,并且在跨数据库评估中显着优于以前的指标。大多数补丁明智的IQA方法独立地对待每个补丁,这部分地丢弃了全局信息,并限制了建模长距离相互作用的能力。我们完全避免了这个问题,采用一个Transformer编码的补丁序列作为一个单一的全球表示,它的设计考虑补丁之间的相互依赖性。我们依赖于各种注意力机制--首先是Transformer中的自我注意力,其次是差异调制网络中的通道注意力--特别是为了揭示和增强整个架构中更显著的特征。通过对分类和IQA任务进行大规模的预训练,VTAMIQ可以很好地推广到看不见的图像和失真集,进一步证明了基于transformer的网络在视觉建模方面的优势。
2021-10-04 cs.CV eess.SP
Perceptual Image Quality Assessment through Spectral Analysis of Error Representations
Georgia Institute of Technology(佐治亚理工学院)
在本文中,我们分析了误差信号的统计来评估图像的感知质量。具体来说,我们专注于从参考和失真图像的差异获得的误差图像的幅度谱。分析灰度图像上的光谱统计部分地模拟了视觉系统所表现出的空间谐波失真中的干扰,但它忽略了视觉系统的颜色信息、选择性和层次性。为了克服这些缺点,我们介绍了一种基于多尺度和多通道误差表示的谱理解的图像质量评估算法,表示为SUMMER。我们验证了质量评估性能超过3个数据库,约30失真类型。这些失真类型分为7个主要类别,压缩伪影,图像噪声,颜色伪影,通信错误,模糊,全局和局部失真。总的来说,我们使用5个性能指标来衡量线性度,单调性,准确性和一致性,对17种算法以及所提出的算法的性能进行了基准测试。除了标准的性能指标的实验,我们分析了分布的客观和主观的分数与直方图差异度量和散点图。此外,我们分析了质量评估算法的分类性能,以及它们的统计显著性检验。基于我们的实验,SUMMER在所有基准类别中的性能都明显优于大多数比较方法
2018-11-13 cs.CV eess.IV