Food Portion Estimation via 3D Object Scaling
Purdue University（普渡大学）
提出一种利用3D食物模型和物理参考从2D图像估计食物体积与能量的新框架，并构建SimpleFood45数据集，以31.10 kCal平均误差优于现有方法。
2024-10-10 cs.AI cs.CV cs.LG
CaLoRAify: Calorie Estimation with Visual-Text Pairing and LoRA-Driven Visual Language Models
Carnegie Mellon University（卡内基梅隆大学）
针对传统卡路里估算工具实用性不足的问题，研究构建了33万条图文对的CalData数据集，提出结合LoRA与RAG技术的CaLoRAify框架，仅需单张食物图像即可估算卡路里并支持对话交互，提升了VLM在该垂直领域的性能。
2024-12-13 cs.CV
Multi-Task Image-Based Dietary Assessment for Food Recognition and Portion Size Estimation
Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）
基于深度学习的方法在许多基于图像的饮食评估应用中取得了令人印象深刻的结果，例如食物分类和食物份量估计。然而，现有的方法一次只关注一个任务，当需要一起处理多个任务时，很难应用于现实生活中。在这项工作中，我们提出了一个端到端的多任务框架，可以同时实现食物分类和食物分量大小估计。我们介绍了从营养研究中收集的食物图像数据集，其中地面实况食物部分由注册营养师提供。多任务学习使用基于L2范数的软参数共享来同时训练分类和回归任务。我们还建议使用跨域特征自适应与归一化，以进一步提高食物部分大小估计的性能。我们的研究结果优于基线方法的分类精度和平均绝对误差的部分估计，这表明了巨大的潜力，推进基于图像的饮食评估领域。
2020-04-27 cs.CV
Single-View Food Portion Estimation: Learning Image-to-Energy Mappings Using Generative Adversarial Networks
Purdue University（普渡大学）
由于对慢性疾病和与饮食有关的其他健康问题的日益关注，需要开发准确的方法来估计个人的食物和能量摄入。测量准确的饮食摄入量是一个开放的研究问题。特别地，准确的食物部分估计是具有挑战性的，因为食物制备和消费的过程对食物形状和外观施加了很大的变化。在本文中，我们提出了一种食物部分估计方法，估计食物能量（千卡）的食物图像使用生成对抗网络（GAN）。我们介绍了“能量分布”的概念，为每个食物的形象。为了训练GAN，我们设计了一个食物图像数据集，该数据集基于每个食物图像的地面真实食物标签和分割掩模以及与食物图像相关联的能量信息。我们的目标是学习食物图像到食物能量的映射。然后我们可以根据能量分布来估计食物能量。我们表明，平均能量估计出错率为10.89%，可以通过学习图像到能量映射。
2018-05-23 cs.CV
MFP3D: Monocular Food Portion Estimation Leveraging 3D Point Clouds
Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA（电气与计算机工程学院，普渡大学，西拉法叶，美国）；College of Artificial Intelligence, Anhui University, Hefei, China（人工智能学院，安徽大学，合肥，中国）
MFP3D通过单目图像和3D点云技术实现准确的食物分量估计，提升饮食监控的精度。
2026-03-01 cs.CV eess.IV
Towards Learning Food Portion From Monocular Images With Cross-Domain Feature Adaptation
Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）
我们的目标是估计食物部分的大小，一个属性，这是强烈相关的食物对象在3D空间中的存在下，从现实生活中设置的单目图像。具体来说，我们感兴趣的是端到端的估计食物的部分大小，这在个人健康管理领域具有很大的潜力。与可以通过大规模众包获得注释的图像分割或对象识别不同，收集用于部分尺寸估计的数据集更具挑战性，因为人类在没有专业知识的情况下无法准确估计任意2D图像中对象的尺寸。为了应对这一挑战，我们引入了一个从营养研究中收集的真实食物图像数据集，其中食物能量（卡路里）由注册营养师提供，并将提供给研究界。我们提出了一个深度回归过程，通过结合从RGB和学习的能量分布域估计的特征来估计部分大小。我们对食物能量的估计达到了最先进的水平，MAPE为11.47%，显著优于非专家人类估计的27.56%。
2021-03-12 cs.CV
A Large-Scale Benchmark for Food Image Segmentation
Singapore Management University（新加坡管理大学）；Beijing Jiaotong University（北京交通大学）；Salesforce Research Asia（亚洲 Salesforce 研究院）
食品图像分割是开发与健康相关的应用（如估计食品热量和营养素）的关键和不可缺少的任务。现有的食物图像分割模型由于两个原因而表现不佳：（1）缺乏具有细粒度成分标签和逐像素位置掩模的高质量食物图像数据集-现有的数据集携带粗糙的成分标签或者尺寸小;以及（2）食物的复杂外观使得难以定位和识别食物图像中的成分，例如，在相同的图像中，配料可以彼此重叠，并且相同的配料可以在不同的食物图像中明显地出现。在这项工作中，我们构建了一个新的食物图像数据集FoodSeg 103（及其扩展FoodSeg 154），包含9，490张图像。我们用154个成分类来注释这些图像，每个图像平均有6个成分标签和像素掩码。此外，我们提出了一种多模态预训练方法，称为ReLeM，它明确地为分割模型配备了丰富的语义食物知识。在实验中，我们使用三种流行的语义分割方法（即，基于扩张卷积、基于特征金字塔和基于视觉Transformer）作为基线，并在我们的新数据集上评估它们以及ReLeM。我们相信FoodSeg 103（及其扩展FoodSeg 154）和使用ReLeM的预训练模型可以作为基准，促进未来对细粒度食物图像理解的工作。我们在\url{https://xiongweiwu.github.io/foodseg103.html}上公开了所有这些数据集和方法。
2021-05-12 cs.CV cs.MM
An End-to-End Food Image Analysis System
Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）
现代深度学习技术使基于图像的饮食评估（如食物识别和食物份量估计）取得了进展。关于食物种类和消费量的宝贵信息对于预防许多慢性疾病至关重要。然而，现有的基于图像的自动食物分析方法既不是端到端的，也不能处理多个任务（例如，识别和部分估计）在一起，使得难以应用于现实生活中的应用。在本文中，我们提出了一个基于图像的食品分析框架，集成了食品定位，分类和部分大小估计。我们提出的框架是端到端的，即，输入可以是包含多个食物项目的任意食物图像，并且我们的系统可以用其对应的预测食物类型和份量来定位每个单个食物项目。我们还通过将定位结果与由条件GAN获得的食物能量分布图合并来改进单个食物部分估计，以生成四通道RGB分布图像。我们的端到端框架是在从营养喂养研究中收集的真实食物图像数据集上进行评估的。
2021-02-01 cs.CV
FoodTrack: Estimating Handheld Food Portions with Egocentric Video
University of Waterloo（滑铁卢大学）
FoodTrack框架利用第一视角视频直接测量手持食物体积，无需手势或咬合大小假设，将绝对百分比误差从16.40%降至约7.01%。
2025-05-07 cs.CV
How Much You Ate? Food Portion Estimation on Spoons
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
针对现有基于图像的食物份量估计需用户拍餐食、难捕捉俯视不可见食物的问题，提出用固定面向用户的摄像头追踪勺子等餐具上的食物的方法，可高精度估计饮食摄入，适配液固异质混合物，是便捷非侵入的监测工具。
2024-05-12 cs.AI cs.CV
NutrifyAI: An AI-Powered System for Real-Time Food Detection, Nutritional Analysis, and Personalized Meal Recommendations
New York University Stern（纽约大学斯特恩商学院）
NutrifyAI结合YOLOv8食物检测、Edamam营养分析与膳食推荐API，实现实时食物识别、营养分析和个性化膳食建议，识别准确率近80%。
2024-10-21 cs.AI cs.CV
An Improved Encoder-Decoder Framework for Food Energy Estimation
Purdue University（普渡大学）
本文提出一种改进的编码器-解码器框架，从单张单目图像估计食物能量，并构建经注册营养师验证的高质量数据集，在MAPE和MAE上分别较以往方法提升超过10%和30 kCal。
2023-09-22 cs.CV
An End-to-end Food Portion Estimation Framework Based on Shape Reconstruction from Monocular Image
Purdue University（普渡大学）
提出一种基于单目图像3D形状重建的端到端深度学习框架，利用生成模型恢复食物体素表示以估算能量，在Nutrition5k数据集上取得有竞争力的结果，且推理仅需RGB输入。
2023-08-03 cs.CV
Geometry-Enhanced Portion Estimation for Multimodal LLMs
研究针对多模态大语言模型部分估计弱的问题，提出用精确部分头部增强冻结商业MLLM的方法，该头部基于DINOv2主干构建，无需深度传感器和微调，在三个基准测试中降低部分误差，优于旗舰MLLM及原图像模型。
2026-07-21 cs.AI cs.CV
Improving Image-Based Nutrition Estimation Through Multimodal Food-Item Verification and Recovery
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
该研究针对单图像营养估计易遗漏食物或区域无法支持分量估计的问题，提出基于多模态大语言模型的框架，通过食物项验证与恢复提升营养估计精度，且无需任务特定微调。
2026-10-09 cs.AI cs.CV eess.IV
PortionNet: Distilling 3D Geometric Knowledge for Food Nutrition Estimation
Vellore Institute of Technology（维捷里尼学院）
PortionNet通过跨模态知识蒸馏框架，在无需专用硬件的情况下，利用点云学习几何特征，实现单图像食品营养估计的高精度
2025-12-26 cs.CV
Size Matters: Reconstructing Real-Scale 3D Models from Monocular Images for Food Portion Estimation
Purdue University（普渡大学）；Indiana University（印第安纳大学）
本文提出了一种从单目图像重建真实尺度3D模型的方法，以提高食物分量估计的精度，实验表明其在体积估计误差上显著优于现有技术。
2026-01-27 cs.AI cs.CV cs.LG
Ingredient-Level Food Image Segmentation for Nutrition Awareness
Jarvis College of Computing and Digital Media（计算与数字媒体学院）；DePaul University（德保罗大学）
研究FoodSeg103上的食材级语义分割，微调SegFormer-B0和B1模型，B1在像素精度和平均IoU上分别达到0.7929和0.3204，并输出食材面积百分比作为营养提示。
2026-06-25 cs.CV
NutritionVerse-Direct: Exploring Deep Neural Networks for Multitask Nutrition Prediction from Food Images
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
针对老年人饮食追踪难、现有食物图像营养预测方法场景受限或信息不全的问题，提出基于视觉Transformer的NutritionVerse-Direct多任务模型，直接从餐食图像预测五类营养指标，精度较基线提升25.5%。
2024-05-13 cs.CV
NutriVision: Ingredient-Conditioned Fusion and Prediction for Single-Image Food Nutrition Estimation
NutriVision提出端到端框架，融合视觉几何与食材语义，从单张RGB图像估计营养，在Nutrition5k上平均PMAE达13.60%，优于现有方法，无需专用深度硬件。
2026-10-19 cs.AI cs.CV
Two-view 3D Reconstruction for Food Volume Estimation
与饮食相关的慢性疾病日益普遍，加上传统饮食管理方法的无效，导致需要新的工具来准确和自动评估膳食。最近，已经提出了使用膳食图像来评估其内容的基于计算机视觉的系统。食物分量估计是个人评估其膳食的最困难的任务，也是研究最少的领域。本论文提出了一个三阶段的系统来计算部分大小使用两个图像的菜通过移动设备获得。第一阶段包括理解不同视图的配置，之后从两个图像构建密集的3D模型;最后，该3D模型用于提取不同物品的体积。该系统在已知体积的77个真实培养皿上进行了广泛的测试，每个培养皿在5.5秒内的平均误差小于10%。所提出的管道在计算上易于处理，不需要用户输入，使其成为全自动饮食评估的可行选择。
2017-01-12 cs.CV
Implicit-Scale 3D Reconstruction for Multi-Food Volume Estimation from Monocular Images
University of Waterloo（滑铁卢大学）；Purdue University（普渡大学）；Indiana University（印第安纳大学）
本文提出隐式尺度三维重建方法，用于单目图像中多食物体积估计，通过基准数据集验证了基于几何的重建方法在准确性和鲁棒性上的优势。
2026-02-13 cs.CV
An Intelligent Passive Food Intake Assessment System with Egocentric Cameras
Imperial College London（伦敦帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
营养不良是低收入和中等收入国家的一个主要公共卫生问题。了解社区、家庭和个人的食物和营养摄入量对于制定卫生政策和干预措施至关重要。为了简化进行大规模饮食评估的程序，我们建议通过以自我为中心的摄像机，特别是在加纳和乌干达的家庭实施一个智能被动食物摄入量评估系统。首先设计算法去除冗余图像以最小化存储内存。在运行时间，应用基于深度学习的语义分割来识别多种食物类型，并提取新设计的手工特征以进一步监测消耗的食物重量。进行了全面的实验，以验证我们的方法在野外数据集下捕获的设置，模拟独特的LMIC条件下，加纳和肯尼亚的参与者吃常见的加纳/肯尼亚菜。为了证明其有效性，经验丰富的营养师参与了这项研究，以执行视觉部分大小估计，并将他们的预测与我们提出的方法进行比较。令人鼓舞的结果表明，我们的方法能够可靠地监测食物摄入量，并对用户的饮食行为提供反馈，为营养师定期进行饮食评估提供指导。
2021-05-07 cs.AI cs.CV
Food Image Generation on Multi-Noun Categories
Purdue University（普渡大学）；University of Waterloo（滑铁卢大学）
本文提出FoCULR方法，通过整合食品领域知识和早期引入核心概念，解决多名词类别食物图像生成中的语义误解和布局错误问题。
2025-12-09 cs.CV
VolTex: Food Volume Estimation using Text-Guided Segmentation and Neural Surface Reconstruction
Universitat de Barcelona（巴塞罗那大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Grup de Tecnologies Interactives (GTI)（交互技术小组）；IMUB & Institut de Neurociències, Barcelona（IMUB与巴塞罗那神经科学研究所）
VolTex框架通过文本引导分割和神经表面重建，解决了食物体积估计中特定食物对象选择不足的问题，并在MetaFood3D数据集上验证了其精确重建与体积计算的有效性。
2025-06-03 cs.CV cs.GR
Vision-Based Approach for Food Weight Estimation from 2D Images
University of Peradeniya（佩拉德尼亚大学）；Chang Gung University（长庚大学）
本文提出结合Faster R-CNN和MobileNetV3的视觉方法，利用2380张二维图像估计食物重量，检测mAP达83.41%，重量估计RMSE为6.32，适用于营养咨询和饮食评估。
2024-05-26 cs.AI cs.CV
Diffusion Model with Clustering-based Conditioning for Food Image Generation
Purdue University（普渡大学）
本文提出基于聚类条件扩散模型的ClusDiff框架，用于生成高质量合成食品图像，缓解数据稀缺和类别不平衡问题，并在Food-101和VFN-LT数据集上验证了有效性。
2023-09-01 cs.AI cs.CV cs.LG
Reference-Free Food Volume Estimation from Egocentric Stereo Video
Elmore Family School of Electrical and Computer Engineering, Purdue University（普渡大学埃尔莫尔家族电气与计算机工程学院）
本文提出一种基于可穿戴第一人称设备立体视频的无参考食物体积估计方法，结合FoundationStereo、SAM 2与TSDF融合，在5种食物上实现9.1%的平均绝对百分比误差，可用于被动式饮食摄入监测。
2026-10-12 cs.CV
DPF-Nutrition: Food Nutrition Estimation via Depth Prediction and Fusion
School of Electronic Information and Communication, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）；Institute of Agricultural Products Processing and Nuclear Agricultural Technology, Hubei Academy of Agricultural Science（湖北省农业科学院农产品加工与核农技术研究所）
针对单目图像食物营养估计精度有限的问题，提出端到端方法DPF-Nutrition，通过引入深度预测模块和RGB-D融合模块提升食物份量与营养估计准确性，并在Nutrition5k数据集上验证了其有效性与效率。
2023-10-18 cs.CV
DeepFood: Deep Learning-Based Food Image Recognition for Computer-Aided Dietary Assessment
The University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；The University of Massachusetts Medical School（马萨诸塞大学医学院）
2014年，全球有超过19亿18岁及以上的成年人超重。其中，超过6亿人肥胖。准确记录饮食热量摄入对于管理减肥至关重要，但也带来了挑战，因为目前大多数饮食评估方法必须依赖记忆来回忆所吃的食物。我们研究的最终目标是开发计算机辅助技术解决方案，以提高和改善目前饮食摄入量测量的准确性。我们在本文中提出的系统旨在通过分析移动设备（例如，智能手机）。本文的关键技术创新点在于基于深度学习的食品图像识别算法。大量的研究表明，数字成像可以准确地估计许多环境中的饮食摄入量，并且与其他方法相比具有许多优势。然而，如何获得食物信息（例如，食物类型和份量）仍然是一个具有挑战性和开放性的研究问题。针对这一问题，提出了一种新的基于卷积神经网络（CNN）的食品图像识别算法.我们将我们提出的方法应用于两个真实世界的食物图像数据集（UEC-256和Food-101），并取得了令人印象深刻的结果。据我们所知，这些结果优于所有其他报告的工作，使用这两个数据集。我们的实验表明，该方法是一个很有前途的解决方案，解决食品图像识别问题。我们未来的工作包括进一步提高算法的性能，并将我们的系统集成到现实世界的移动和基于云计算的系统中，以提高当前饮食摄入量测量的准确性。
2016-06-17 cs.CV
VolETA: One- and Few-shot Food Volume Estimation
Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；Institut de Neurosciències（神经科学研究所）
本文提出VolETA框架，结合XMem++、PixSfM、NeuS2及One-2-3-45等3D生成与重建技术，实现单/少样本RGBD食物体积估计，在MTF数据集上MAPE达10.97%。
2024-07-01 cs.CV
NUTRIVISION: A System for Automatic Diet Management in Smart Healthcare
SRM University AP（SRM大学AP校区）；University of North Carolina, Wilmington（北卡罗来纳大学威尔明顿分校）；University of North Texas（北德克萨斯大学）
NutriVision 面向智能医疗，利用 Faster R-CNN 和智能手机图像实现食物识别、数量估算与营养分析，并结合用户健康数据提供个性化饮食建议，以提升营养管理和健康水平。
2024-09-30 cs.CV
Online Class-Incremental Learning For Real-World Food Image Classification
Purdue University（普渡大学）
本文针对真实世界食品图像分类中数据动态变化和类别不均衡问题，提出概率框架模拟现实消费场景，并设计可附加的动态模型更新模块以改进现有经验回放方法，显著提升在线类增量学习性能。
2024-01-15 cs.CV
MetaFood CVPR 2024 Challenge on Physically Informed 3D Food Reconstruction: Methods and Results
Purdue University（普渡大学）；University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）；Universitat de Barcelona（巴塞罗那大学）；Beijing Institute of Technology（北京理工大学）；Baidu Inc.（百度公司）；XPeng Motors（小鹏汽车）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对3D食物重建领域数据稀缺、产学研合作不足的问题，本文介绍了CVPR 2024 MetaFood研讨会举办的物理信息驱动3D食物重建挑战赛的设置、参赛情况及成果，为膳食监测相关技术发展提供支撑。
2024-07-12 cs.CV
Open-KNEAD: Knowledge-grounded Nutrition Estimation via Agentic Decomposition
Purdue University（普渡大学）
研究探讨多模态大语言模型用于膳食评估时检索增强基础方法是否仍有价值。提出无需训练、可本地部署的Open-KNEAD框架，通过营养感知检索关联食物项与FNDDS代码，提高份量估计，还能恢复非美国烹饪风格估计偏差，优势显著并开源相关框架与知识库。
2026-07-15 cs.CV
Dietary Assessment with Multimodal ChatGPT: A Systematic Analysis
Imperial College London（帝国理工学院）；The Chinese University of Hong Kong（香港中文大学）
本研究探索多模态ChatGPT在膳食评估中的应用，发现GPT-4V无需微调即可实现高准确率食物检测，具备上下文感知的分量估算能力，可推动营养科学与膳食评估技术发展。
2023-12-14 cs.CV
Fish Disease Detection Using Image Based Machine Learning Technique in Aquaculture
Jahangirnagar University（贾汉吉尔纳加尔大学）
水产养殖中的鱼病对营养安全构成重大危害。由于缺乏必要的基础设施，在水产养殖的早期阶段发现受感染的鱼类仍然具有挑战性。及时发现病鱼是防止疾病传播的必要措施。在这项工作中，我们希望找出水产养殖中的鲑鱼疾病，因为鲑鱼水产养殖是全球增长最快的食品生产系统，占市场的70%（250万吨）。在完美的图像处理和机器学习机制的联合下，我们识别出了由各种病原体引起的感染鱼类。这项工作分为两部分。在初步的部分，图像预处理和分割已被应用到减少噪声和夸大的图像，分别。在第二部分中，我们提取所涉及的特征，以分类疾病的支持向量机（SVM）算法的机器学习与核函数的帮助。第一部分的经处理的图像已经通过该（SVM）模型。然后，我们协调了一个全面的实验与建议的技术组合的鲑鱼图像数据集用于检查鱼的疾病。我们在一个新的数据集上传达了这项工作，该数据集在有和没有图像增强的情况下进行了妥协。实验结果表明，我们应用的支持向量机在增强和不增强的情况下，分别具有91.42%和94.12%的准确率。
2021-05-09 cs.CV cs.LG
In The Wild Ellipse Parameter Estimation for Circular Dining Plates and Bowls
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
针对真实场景食品图像中餐盘碗具椭圆边缘估计难的问题，结合零样本基础模型的语义信息与椭圆拟合，提出WildEllipseFit方法，经Yummly-ellipse数据集验证具备有效性和零样本能力。
2024-05-12 cs.CV
