A review on vision-based analysis for automatic dietary assessment
Beijing Technology and Business University(北京工商大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
背景:保持健康的饮食对于避免与健康有关的问题至关重要,例如,营养不良、肥胖和许多非传染性疾病。健康饮食不可或缺的一部分是饮食评估。传统的人工记录方法不仅繁琐而且耗时,并且包含大量的偏差和错误。人工智能(AI)的最新进展,特别是计算机视觉技术,使得开发自动饮食评估解决方案成为可能,这些解决方案更方便,耗时更少,甚至更准确地监测每日食物摄入量。范围和方法:本文介绍了基于视觉的膳食评估(VBDA)的架构,包括多阶段架构和端到端架构。多阶段膳食评估通常包括三个阶段:食物图像分析、体积估计和营养素推导。深度学习的繁荣使得VBDA逐渐走向端到端的实现,即将食物图像应用于单个网络,直接估计营养。最近提出的端到端的方法进行了讨论。我们进一步分析了现有的膳食评估数据集,表明迫切需要一个大规模的基准,最后强调了VBDA的关键挑战和未来趋势。主要发现和结论:经过深入探索,我们发现多任务端到端深度学习方法是VBDA的一个重要趋势。尽管有相当大的研究进展,但由于膳食的复杂性,VBDA仍然面临许多挑战。我们还为VBDA的未来发展提供了最新的想法,例如,精细的食品分析和准确的体积估算。本文旨在鼓励研究人员提出更实用的VBDA解决方案。
2022-03-06 cs.CV
Dietary Assessment with Multimodal ChatGPT: A Systematic Analysis
Imperial College London(帝国理工学院);The Chinese University of Hong Kong(香港中文大学)
本研究探索多模态ChatGPT在膳食评估中的应用,发现GPT-4V无需微调即可实现高准确率食物检测,具备上下文感知的分量估算能力,可推动营养科学与膳食评估技术发展。
2023-12-14 cs.CV
DeepFood: Deep Learning-Based Food Image Recognition for Computer-Aided Dietary Assessment
The University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);The University of Massachusetts Medical School(马萨诸塞大学医学院)
2014年,全球有超过19亿18岁及以上的成年人超重。其中,超过6亿人肥胖。准确记录饮食热量摄入对于管理减肥至关重要,但也带来了挑战,因为目前大多数饮食评估方法必须依赖记忆来回忆所吃的食物。我们研究的最终目标是开发计算机辅助技术解决方案,以提高和改善目前饮食摄入量测量的准确性。我们在本文中提出的系统旨在通过分析移动设备(例如,智能手机)。本文的关键技术创新点在于基于深度学习的食品图像识别算法。大量的研究表明,数字成像可以准确地估计许多环境中的饮食摄入量,并且与其他方法相比具有许多优势。然而,如何获得食物信息(例如,食物类型和份量)仍然是一个具有挑战性和开放性的研究问题。针对这一问题,提出了一种新的基于卷积神经网络(CNN)的食品图像识别算法.我们将我们提出的方法应用于两个真实世界的食物图像数据集(UEC-256和Food-101),并取得了令人印象深刻的结果。据我们所知,这些结果优于所有其他报告的工作,使用这两个数据集。我们的实验表明,该方法是一个很有前途的解决方案,解决食品图像识别问题。我们未来的工作包括进一步提高算法的性能,并将我们的系统集成到现实世界的移动和基于云计算的系统中,以提高当前饮食摄入量测量的准确性。
2016-06-17 cs.CV
Shape-Preserving Generation of Food Images for Automatic Dietary Assessment
University of Pittsburgh(匹兹堡大学)
针对自动膳食评估中缺少食物名称与体积标注图像的问题,提出一种基于 GAN 的条件生成框架,可生成真实且保持食物与容器形状的食物图像。
2024-08-23 cs.CV eess.IV
Image-Based Dietary Assessment: A Healthy Eating Plate Estimation System
Kazakh-British Technical University(哈萨克斯坦-英国技术大学);School of Information Technology and Engineering(信息技术与工程学院)
本文提出基于图像的饮食评估系统,通过分割、分类、营养评估和建议四步框架,依据 Harvard Healthy Eating Plate 判断餐食健康性。
2024-03-02 cs.CV
A Mobile Food Recognition System for Dietary Assessment
Istanbul Technical University(伊斯坦布尔理工大学);Hamad bin Khalifa University(哈马德·本·哈利法大学)
食物识别是各种应用的重要任务,包括管理健康状况和帮助视力受损的人。一些食物识别的研究集中在一般类型的食物或特定的美食,然而,食物识别方面的中东美食仍然是未经探索的。因此,在本文中,我们专注于开发一个移动友好,中东美食为重点的食品识别应用程序辅助生活的目的。为了实现低延迟、高准确度的食品分类系统,我们选择使用Mobilenet-v2深度学习模型。由于一些食物比其他食物更受欢迎,因此所使用的中东食物数据集中每个类别的样本数量相对不平衡。为了弥补这个问题,数据增强方法被应用于代表性不足的类。实验结果表明,使用Mobilenet-v2架构的这项任务是有益的准确性和内存的使用。该模型对23种食物类别的准确率达到94%,开发的移动应用程序有可能通过图像为视障人士提供自动食物识别服务。
2022-04-20 cs.CV
MobileIQA: Exploiting Mobile-level Diverse Opinion Network For No-Reference Image Quality Assessment Using Knowledge Distillation
State Key Laboratory of Multimodal Artificial Intelligence Systems, CASIA(中国科学院自动化研究所多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Beijing Union University(北京联合大学);China University of Petroleum(中国石油大学);Hebei University(河北大学);PeopleAl Inc.(北京人智科技有限公司);School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Transsion Information Technology Limited(上海传音信息技术有限公司)
本文提出MobileIQA,通过轻量级骨干网络、高分辨率输入、多视角注意力学习模块和知识蒸馏,在保持图像细节的同时显著降低计算复杂度,实现移动端高效无参考图像质量评估。
2024-09-02 cs.CV
Improving Dietary Assessment Via Integrated Hierarchy Food Classification
Purdue University(普渡大学)
基于图像的饮食评估是指根据视觉数据确定某人吃了什么以及消耗了多少能量和营养素的过程。食品分类是第一步,也是最关键的一步。现有的方法集中在提高准确性衡量的正确分类率的基础上的视觉信息,这是非常具有挑战性的,由于高复杂性和类间相似性的食物。此外,食品分类的准确性是概念性的,因为食品的描述总是可以改进的。在这项工作中,我们引入了一个新的食品分类框架,通过整合来自多个领域的信息,同时保持分类精度,提高预测质量。我们应用了一个多任务网络的基础上,使用视觉和营养领域的特定信息聚类相似的食物的层次结构。我们的方法在修改后的VIPER-FoodNet(VFN)食品图像数据集上进行了验证,包括相关的能量和营养信息。我们实现了与仅使用视觉信息的现有方法相当的分类精度,但在错误预测的能量和营养值方面误差较小。
2021-09-06 cs.CV
Deep Learning-Based Food Calorie Estimation Method in Dietary Assessment
School of Information Science and Engineering, East China University of Science and Technology(华东理工大学信息科学与工程学院)
肥胖治疗要求肥胖患者记录每天所有食物摄入量。计算机视觉已经被引入来从食物图像估计卡路里。为了提高检测的准确性,减少食品热量估计中体积估计的误差,本文提出了我们的热量估计方法。为了估计食物的卡路里,需要顶视图和侧视图。更快的R-CNN用于检测食物和校准对象。GrabCut算法用于获取每种食物的轮廓。然后用食物和相应的物体来估计体积。最后,我们估计每种食物的卡路里。实验结果表明,该方法是有效的。
2018-02-18 cs.CV
Partially Supervised Multi-Task Network for Single-View Dietary Assessment
ARTORG Center for Biomedical Engineering Research, University of Bern(伯尔尼大学ARTORG生物医学工程研究中心)
食物体积估计是膳食评估流程中必不可少的一步,需要精确估计食物表面和台面的深度估计。现有的基于计算机视觉的方法要么需要多幅图像输入,要么需要额外的深度图,降低了实现的便利性和实际意义。尽管最近在从单个图像进行无监督深度估计方面取得了进展,但在大的无纹理区域的情况下所实现的性能需要改进。在本文中,我们提出了一种网络架构,联合执行几何理解(即,深度预测和3D平面估计)以及对单个食物图像的语义预测,从而实现稳健且准确的食物体积估计,而不管目标平面的纹理特性如何。对于网络的训练,只需要具有语义地面实况的单眼视频,而不再需要深度图和3D平面地面实况。在两个独立的食物图像数据库上的实验结果表明,该方法在无纹理的情况下表现稳健,优于无监督网络和基于运动恢复结构运动恢复结构的方法,同时它实现了与全监督方法相当的性能。
2020-07-15 cs.CV
Subjective and Objective Quality Assessment of Mobile Gaming Video
University of Nantes(南特大学);Tencent(腾讯)
如今,随着游戏视频流技术和服务的蓬勃发展,用户,特别是手机用户,对更高质量体验的期望也在迅速增长。由于现有的大多数研究都集中在传统的视频流媒体上,因此显然缺乏针对移动游戏内容质量评估的主观研究和客观质量模型。为此,在这项研究中,我们首先提出了一个全新的腾讯游戏视频数据集,其中包含1293个使用三种不同编解码器编码的移动游戏序列。其次,我们提出了一个客观的质量框架,即有效的硬RANK质量估计(ERAQUE),它配备了(1)一个新的硬成对排序损失,这迫使模型把更多的重点放在区分相似的对;(2)一个自适应的模型蒸馏策略,可以用来有效地压缩所提出的模型,而不会导致显着的性能下降。大量的实验证明了我们的模型的效率和鲁棒性。
2021-01-27 cs.CV cs.LG eess.IV
DietDelta: A Vision-Language Approach for Dietary Assessment via Before-and-After Images
Purdue University(普渡大学)
本文提出了一种简单视觉-语言框架,通过配对的前后进食图像进行食物项营养分析,利用自然语言提示定位特定食物并直接从单张RGB图像估计重量,通过两阶段训练策略预测重量差异以估计饮食消耗。
2026-04-07 cs.AI cs.CV cs.MM
Study of Subjective and Objective Quality Assessment of Mobile Cloud Gaming Videos
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Meta Platforms Inc.(元平台公司)
针对移动云游戏视频质量评估数据集匮乏的问题,构建了含600个游戏视频与14400条主观评分的LIVE-Meta-MCG数据库,并在其上完成了主流VQA算法的基准测试。
2023-05-26 cs.CV cs.MM
Classifying Simulated Gait Impairments using Privacy-preserving Explainable Artificial Intelligence and Mobile Phone Videos
Emory University(埃默里大学);Georgia Institute of Technology(佐治亚理工学院)
提出一种基于手机视频与端侧可解释AI的隐私保护步态障碍分类系统,并构建743段七类步态视频数据集,双视角准确率达86.5%。
2024-12-02 cs.CV
Automatic Recognition of Food Ingestion Environment from the AIM-2 Wearable Sensor
针对膳食摄入环境检测中人工审核繁琐、算法面临数据不平衡和感知混叠的问题,提出结合微调与迁移学习的两阶段神经网络训练框架,在UA Free Living Study数据集上达96.63%的分类准确率。
2024-05-13 cs.AI cs.CV cs.MM
Egocentric Image Captioning for Privacy-Preserved Passive Dietary Intake Monitoring
Imperial College London(伦敦帝国理工学院);University of Pittsburgh(匹兹堡大学);Baylor College Of Medicine(贝勒医学院);University of Ghana(加纳大学);University of Georgia(佐治亚大学);Boston University(波士顿大学)
基于相机的被动饮食摄入监测能够连续捕获受试者的进食事件,记录丰富的视觉信息,例如所消耗的食物的类型和体积,以及受试者的进食行为。然而,目前还没有能够结合这些视觉线索并从被动记录(例如,是受试者与其他人分享食物,受试者正在吃什么食物,以及碗中还剩多少食物)。另一方面,隐私是一个主要的问题,而自我中心的可穿戴相机用于捕获。在本文中,我们提出了一种隐私保护的安全解决方案(即,自我中心的图像描述)用于具有被动监测的饮食评估,其统一了食物识别、体积估计和场景理解。通过将图像转换为富文本描述,营养学家可以根据标题而不是原始图像来评估个人的饮食摄入量,从而降低了图像泄露隐私的风险。为此,建立了一个以自我为中心的饮食图像描述数据集,其中包括在野外图像捕获的头戴式和胸戴式相机在加纳的实地研究。一种新颖的基于transformer的架构被设计用于描述以自我为中心的饮食图像。综合实验已经进行了评估的有效性,并证明所提出的架构设计的自我中心的饮食图像描述。据我们所知,这是第一项将图像描述应用于现实生活中饮食摄入评估的工作。
2023-03-01 cs.CV
Multimodal Fusion of Glucose Monitoring and Food Imagery for Caloric Content Prediction
针对2型糖尿病管理中热量摄入估算难的问题,提出融合CGM数据、人口统计学/微生物组数据与食物图像的多模态深度学习框架,在40余人的数据集上实现0.2544的RMSRE,性能超基线50%以上,助力慢性病饮食评估工具优化。
2025-05-20 cs.CV cs.LG
Clustering Egocentric Images in Passive Dietary Monitoring with Self-Supervised Learning
Imperial College London(帝国理工学院);University of Pittsburgh(匹兹堡大学);Baylor College Of Medicine(贝勒医学院);University of Ghana(加纳大学);University of Georgia(佐治亚大学);Boston University(波士顿大学);University of Alabama(阿拉巴马大学)
在我们最近对加纳被动饮食监测的饮食评估实地研究中,我们收集了超过25万张野外图像。该数据集是一项持续的努力,旨在通过被动监测相机技术促进低收入和中等收入国家个人食物和营养素摄入量的准确测量。目前的数据集涉及来自加纳农村和城市地区的20个家庭(74名受试者),研究中使用了两种不同类型的可穿戴相机。一旦启动,可穿戴摄像头就会持续捕获受试者的活动,从而产生大量数据,在进行分析之前进行清理和注释。为了简化数据后处理和注释任务,我们提出了一种新的自监督学习框架,将大量以自我为中心的图像聚类为单独的事件。每个事件由一系列时间上连续且上下文相似的图像组成。通过将图像聚类为单独的事件,注释者和营养师可以更有效地检查和分析数据,并促进后续的饮食评估过程。在具有地面真实标签的测试集上进行验证,所提出的框架在聚类质量和分类精度方面优于基线。
2022-08-25 cs.CV
Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition
Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid(生物度量与数据模式分析实验室,马德里自治大学);IMDEA Food, CEI UAM+CSIC(IMDEA食品,CEI UAM+CSIC)
本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力,提出了一个新的评估指标,并展示了FoodNExTDB数据库在饮食评估中的应用潜力。
2025-04-09 cs.AI cs.CV
A Multi-Task Learning Approach for Meal Assessment
在预防饮食相关的慢性疾病的关键作用发挥均衡的营养加上适当的饮食。传统的膳食评估方法费时、费钱且容易出错。在过去的十年中,出现了新的基于技术的方法,提供可靠和方便的饮食评估。随着计算机视觉领域的发展,利用图像对食物营养成分进行检测通常需要经过三个步骤:食物分割、识别和体积估计。在本文中,我们提出了一个使用一个RGB膳食图像作为输入的多任务学习的卷积神经网络(CNN)。所提出的方法取得了优异的性能,而与国家的最先进的方法相比,所提出的方法具有明显的优势,在准确性,以及大量减少的处理时间。
2018-06-27 cs.CV
Automated Quality Assessment of Hand Washing Using Deep Learning
Institute of Electronics and Computer Science (EDI)(电子与计算机科学研究所(EDI));Riga Stradins University(里加斯特拉迪什大学)
洗手是预防包括COVID-19在内的传染病的最重要方法之一。不幸的是,医务人员在日常工作中并不总是遵循世界卫生组织(世卫组织)的洗手指南。为此,我们提出了神经网络,用于自动识别由世界卫生组织定义的不同的洗涤运动。我们训练神经网络的一部分,一个大的(2000+视频)现实世界的标记数据集与不同的洗涤运动。初步结果表明,使用预先训练的神经网络模型,如MobileNetV 2和Xception的任务,有可能实现> 64%的准确率,在识别不同的洗涤运动。我们还描述了作为这项工作的一部分创建的上述开放获取数据集的集合和结构。最后,我们描述了如何使用神经网络来构建一个移动电话应用程序的自动质量控制和医疗专业人员的实时反馈。
2020-12-01 cs.CV cs.HC cs.LG
An Intelligent Passive Food Intake Assessment System with Egocentric Cameras
Imperial College London(伦敦帝国理工学院);Shanghai Jiao Tong University(上海交通大学)
营养不良是低收入和中等收入国家的一个主要公共卫生问题。了解社区、家庭和个人的食物和营养摄入量对于制定卫生政策和干预措施至关重要。为了简化进行大规模饮食评估的程序,我们建议通过以自我为中心的摄像机,特别是在加纳和乌干达的家庭实施一个智能被动食物摄入量评估系统。首先设计算法去除冗余图像以最小化存储内存。在运行时间,应用基于深度学习的语义分割来识别多种食物类型,并提取新设计的手工特征以进一步监测消耗的食物重量。进行了全面的实验,以验证我们的方法在野外数据集下捕获的设置,模拟独特的LMIC条件下,加纳和肯尼亚的参与者吃常见的加纳/肯尼亚菜。为了证明其有效性,经验丰富的营养师参与了这项研究,以执行视觉部分大小估计,并将他们的预测与我们提出的方法进行比较。令人鼓舞的结果表明,我们的方法能够可靠地监测食物摄入量,并对用户的饮食行为提供反馈,为营养师定期进行饮食评估提供指导。
2021-05-07 cs.AI cs.CV
Evaluating the Feasibility of Inferring Dietary Behavior Change Receptivity from Egocentric Images of Eating Environment
The University of Alabama(阿拉巴马大学);Purdue University(普渡大学);Brown University(布朗大学)
本研究利用可穿戴相机收集的以自我为中心的饮食图像,通过预训练CLIP视觉编码器和轻量级Transformer分类器,初步验证了被动感知推断饮食行为改变接受度的可行性。
2026-05-27 cs.CV
Saliency-Aware Class-Agnostic Food Image Segmentation
Purdue University(普渡大学);University of Hawaii Cancer Center(夏威夷大学癌症中心);Curtin University(科廷大学)
基于图像的饮食评估方法的进步使营养专业人员和研究人员能够提高饮食评估的准确性,其中使用智能手机或可穿戴设备捕获所消耗的食物图像。然后使用计算机视觉方法分析这些图像,以估计食物的能量和营养含量。食品图像分割是确定食品所在区域的关键。目前的方法是依赖于数据的,因此不能很好地推广不同的食物类型。为了解决这个问题,我们提出了一个类不可知的食品图像分割方法。我们的方法使用一对进食场景图像,一个在开始进食之前,一个在进食完成之后。利用进食前后图像的信息,我们可以在没有任何关于食物类别的先验信息的情况下,通过寻找显著的缺失对象来分割食物图像。我们建立了一个自上而下的显着性范式,它引导人类视觉系统(HVS)的注意力,基于一个任务,找到一对图像中的显着缺失对象。我们的方法是验证从饮食研究中收集的食物图像,显示出可喜的结果。
2021-02-13 cs.CV cs.LG
Improving Food Detection For Images From a Wearable Egocentric Camera
Purdue University(普渡大学);The University of Alabama(阿拉巴马大学)
饮食是我们健康的一个重要方面。良好的饮食习惯有助于预防许多疾病,提高整体生活质量。为了更好地了解饮食与健康之间的关系,已经开发了基于图像的饮食评估系统来收集饮食信息。我们介绍自动摄入监测器(AIM),一种可以连接到眼镜上的设备。它提供了一种自动化的免提方法来捕捉进食场景图像。虽然AIM有几个优点,但AIM捕获的图像有时会模糊。模糊图像会显著降低食品图像分析(如食品检测)的性能。在本文中,我们提出了一种方法来预处理的AIM成像传感器收集的图像,通过拒绝非常模糊的图像,以提高食品检测的性能。
2023-01-19 cs.CV
Food Portion Estimation: From Pixels to Calories
本文提出通过深度学习结合图像与辅助输入,实现从像素到卡路里的食物份量精确估计。
2026-02-04 cs.AI cs.CV cs.MM
NutriMLLM: Multimodal Large Language Models for Dietary Micronutrient Analysis
Emory University(埃默里大学)
针对现有MLLM在膳食微量营养素估计中不可靠的问题,利用十年人口规模膳食回顾生成约110万图像-营养素三元组,微调Qwen3-VL和GLM-4.6V-Flash得到NutriMLLM,在真实图像上实现65种营养素全覆盖,准确率匹配或超越专有模型。
2026-06-08 cs.AI cs.CV
An Improved Encoder-Decoder Framework for Food Energy Estimation
Purdue University(普渡大学)
本文提出一种改进的编码器-解码器框架,从单张单目图像估计食物能量,并构建经注册营养师验证的高质量数据集,在MAPE和MAE上分别较以往方法提升超过10%和30 kCal。
2023-09-22 cs.CV
An End-to-end Food Portion Estimation Framework Based on Shape Reconstruction from Monocular Image
Purdue University(普渡大学)
提出一种基于单目图像3D形状重建的端到端深度学习框架,利用生成模型恢复食物体素表示以估算能量,在Nutrition5k数据集上取得有竞争力的结果,且推理仅需RGB输入。
2023-08-03 cs.CV
Towards the Creation of a Nutrition and Food Group Based Image Database
Purdue University(普渡大学)
食物分类对于分析膳食评估中报告的食物组成的营养素至关重要。移动和可穿戴传感器的进步,结合新的基于图像的方法,特别是基于深度学习的方法,在提高食物分类的准确性以评估饮食摄入方面显示出巨大的前景。然而,这些方法是数据饥饿的,并且它们的性能严重依赖于用于训练食品分类模型的可用数据集的数量和质量。现有的食物图像数据集不适合细粒度的食物分类和随后的营养分析,因为它们缺乏细粒度和透明的基于食物组的识别,这些识别通常由具有专业领域知识的训练有素的营养师提供。在本文中,我们提出了一个框架,以创建一个营养和食品组为基础的图像数据库,其中包含视觉和层次的食品分类信息,以提高每种食物的营养成分的链接。我们设计了一个将美国农业部(USDA)膳食研究食物和营养素数据库(FNDDS)中基于食物组的食物代码链接到食物图像数据集的协议,并实现了一个基于Web的注释工具来有效地部署该协议。我们提出的方法用于建立一个基于营养和食物组的图像数据库,包括16个,114张食物图片代表了美国74种最常食用的美国食物(WWEIA)子类别,其中1,865个USDA食物代码与营养数据库(USDA FNDDS营养数据库)相匹配。
2022-06-05 cs.CV
Personalized Food Image Classification: Benchmark Datasets and New Baseline
Purdue University(普渡大学)
针对个性化食物图像分类缺乏基准数据的问题,本文提出Food101-Personal和VFN-Personal两个个性化数据集,并设计结合自监督学习与时间特征的新框架,在两个基准上取得优于现有方法的性能。
2023-09-15 cs.CV
Multi-Modal Aesthetic Assessment for MObile Gaming Image
University of Nantes(南特大学);Tencent(腾讯);Ocean University of China(中国海洋大学)
随着各种游戏技术、服务、游戏风格和平台的激增,游戏内容的多维美学评估对于游戏行业变得越来越重要。根据不同游戏玩家、游戏设计师、图形开发人员等在特定条件下的不同需求,需要进行多模态美学评估,以考虑不同的美学维度/视角。由于不同的美学维度之间存在不同的潜在关系,例如,在“色彩度”和“色彩和谐”之间,利用附加在多个相关维度中的有效信息可能是有利的。为此,我们通过多任务学习来解决这个问题。我们的倾向是寻求和学习不同的审美相关维度之间的相关性,以进一步提高预测所有审美维度的泛化性能。因此,利用单个维度的有限标记数据获得良好预测的“瓶颈”可以通过利用其他维度的补充来源来解决,即,通过跨维度共享训练信息来间接地扩充训练数据。根据实验结果,该模型优于国家的最先进的美学指标显着预测四个游戏美学维度。
2021-01-27 cs.AI cs.CV
MCLFIQ: Mobile Contactless Fingerprint Image Quality
Hochschule Darmstadt(达姆施塔特应用科学大学);AIT Austrian Institute of Technology(奥地利AIT技术研究所);HID Global(HID环球公司)
提出首个移动非接触式指纹质量评估算法 MCLFIQ,通过合成数据重训 NFIQ 2,并在多库、多识别器实验中证明其优于 NFIQ 2.2、清晰度方法和 BRISQUE。
2023-12-12 cs.CV
Feature-Enhanced TResNet for Fine-Grained Food Image Classification
School of Artificial Intelligence and Computer Science(人工智能与计算机科学学院)
针对相似菜品细微差异导致的细粒度食物分类难题,提出融合 StyleRM 与 DCA 的 FE-TResNet,在两个中餐基准上取得优异准确率。
2025-07-23 cs.AI cs.CV
Predictive Quality Assessment for Mobile Secure Graphics
Scantrust / University of Amsterdam(Scantrust / 阿姆斯特丹大学)
针对智能手机拍摄安全图形导致的验证可靠性问题,提出预测性质量评估框架,用轻量级模型预测帧效用,并在大规模数据集上验证,发现冻结骨干网络泛化更优。
2025-09-24 cs.CV cs.LG
Early Explorations of Lightweight Models for Wound Segmentation on Mobile Devices
University of Würzburg(维尔茨堡大学)
本文针对移动端伤口分割研究不足的问题,探索了ENet、TopFormer和UNeXt三种轻量级架构,在公开数据集上取得与UNet相当的性能,并在手机应用中验证了TopFormer区分伤口与相近颜色物体的有效性。
2024-08-30 cs.AI cs.CV
MFP3D: Monocular Food Portion Estimation Leveraging 3D Point Clouds
Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA(电气与计算机工程学院,普渡大学,西拉法叶,美国);College of Artificial Intelligence, Anhui University, Hefei, China(人工智能学院,安徽大学,合肥,中国)
MFP3D通过单目图像和3D点云技术实现准确的食物分量估计,提升饮食监控的精度。
2026-03-01 cs.CV eess.IV
MetaFood CVPR 2024 Challenge on Physically Informed 3D Food Reconstruction: Methods and Results
Purdue University(普渡大学);University of Waterloo(滑铁卢大学);National Research Council Canada(加拿大国家研究委员会);Universitat de Barcelona(巴塞罗那大学);Beijing Institute of Technology(北京理工大学);Baidu Inc.(百度公司);XPeng Motors(小鹏汽车);Beijing University of Posts and Telecommunications(北京邮电大学)
针对3D食物重建领域数据稀缺、产学研合作不足的问题,本文介绍了CVPR 2024 MetaFood研讨会举办的物理信息驱动3D食物重建挑战赛的设置、参赛情况及成果,为膳食监测相关技术发展提供支撑。
2024-07-12 cs.CV
Clinical Validation of the Melanoscope AI Mobile Dermoscopy Clinical Decision Support System
Ivannikov Institute for System Programming of the Russian Academy of Sciences(俄罗斯科学院伊万诺夫系统编程研究所);Orel Regional Oncology Dispensary(奥尔格地区肿瘤专科医院)
本研究提出了一种级联深度学习模型的定量可解释性评估方法和三区患者分流算法,并在俄罗斯门诊实践中对Melanoscope AI CDSS进行了前瞻性单中心临床验证,结果显示无假阴性且特异性为88.3%。
2026-05-26 cs.AI cs.CV
MobileCaps: A Lightweight Model for Screening and Severity Analysis of COVID-19 Chest X-Ray Images
National Institute of Technology Karnataka(卡纳塔克邦国立理工学院);Kasturba Medical College and Hospital, Manipal(马尼帕尔卡斯图巴医学院及医院);Manipal Academy of Higher Education(马尼帕尔高等教育学院);J.S.S. Medical College, Mysore(迈索尔J.S.S.医学院);JSS Academy of Higher Education and Research(JSS高等教育与研究学院)
由于COVID-19疫情对医疗系统及经济造成灾难性影响,全球正经历一个充满挑战的阶段。COVID-19后症状的传播速度以及COVID-19新病毒的出现使全球医疗保健系统陷入混乱。因此,准确筛查COVID-19病例的任务已成为重中之重。由于病毒感染呼吸系统,胸部X光是一种成像方式,被广泛采用的初步筛选。我们进行了一项综合研究,使用CXR图像识别COVID-19病例,并意识到有必要建立一个更通用的模型。我们利用MobileNetV 2架构作为特征提取器,并将其集成到胶囊网络中,构建一个完全自动化的轻量级模型,称为MobileCaps。MobileCaps使用模型集成和贝叶斯优化策略在公开可用的数据集上进行训练和评估,以有效地将COVID-19患者的CXR图像与非COVID-19肺炎和健康病例进行分类。在两个额外的RT-PCR证实的数据集上进一步评估所提出的模型以证明其普适性。我们还引入了MobileCaps-S,并利用其基于肺水肿放射学评估(RALE)评分技术对COVID-19的CXR图像进行严重程度评估。我们的分类模型对于COVID-19、非COVID-19肺炎和健康病例分别实现了91.60、94.60、92.20的总体召回率和98.50、88.21、92.62的精确度。此外,严重性评估模型获得的R $^2$系数为70.51。由于所提出的模型比文献中报道的最先进的模型具有更少的可训练…
2021-08-19 cs.CV cs.LG eess.IV
Quality assessment of image matchers for DSM generation -- a comparative study based on UAV images
Singapore-ETH Center(新加坡-ETH中心);ETH Zuerich(苏黎世联邦理工学院);University of Melbourne(墨尔本大学)
最近开发的自动密集图像匹配算法现在正在实施DSM/DTM生产,其像素级表面生成能力提供了部分减轻手动和半自动立体测量的需要的前景。在本文中,五个商业/公共软件包的三维表面生成,使用从无人机记录的5厘米GSD图像进行评估。生成的表面模型进行评估,对点云生成的移动激光雷达和手动立体测量。所考虑的软件包是APS、MICMAC、SURE、Pix 4UAV和DLR的SGM实现。
2021-08-18 cs.CV eess.IV
Explainable Image Quality Assessments in Teledermatological Photography
Technical University of Denmark(丹麦技术大学);Medable A/S(Medable公司);University of Copenhagen(哥本哈根大学);Copenhagen University Hospital(哥本哈根大学医院)
图像质量是远程皮肤科会诊的有效性和效率的关键因素。然而,高达50%的患者发送的图像存在质量问题,从而增加了诊断和治疗的时间。一个自动化的,易于部署的,可解释的方法来评估图像质量是必要的,以改善目前的远程皮肤科会诊流程。我们介绍了ImageQX,这是一种用于图像质量评估的卷积神经网络,它具有一种学习机制,用于识别最常见的图像质量差的原因:帧差、光照差、模糊、分辨率低和距离问题。ImageQX在26,635张照片上进行了训练,并在9,874张照片上进行了验证,每张照片上都有多达12名经过认证的皮肤科医生的图像质量标签和图像质量差的解释。这些照片是在2017年至2019年期间使用全球可访问的移动皮肤病跟踪应用程序拍摄的。我们的方法实现了专家级的性能,图像质量评估和图像质量差的解释。对于图像质量评估,ImageQX获得0.73 ± 0.01的宏观F1分数,这将其置于0.77 ± 0.07的成对评分员间F1分数的标准差内。对于较差的图像质量解释,我们的方法获得的F1分数在0.37 +- 0.01和0.70 +- 0.01之间,类似于评分员间成对F1分数在0.24 +- 0.15和0.83 +- 0.06之间。此外,ImageQX的大小仅为15 MB,可轻松部署在移动设备上。图像质量检测性能与皮肤科医生相似,将ImageQX整合到远程皮肤科流程中可以实现更好、更快的远程会诊流程。
2023-01-23 cs.CV cs.LG
Can viewer proximity be a behavioural marker for Autism Spectrum Disorder?
Indian Institute of Technology Bombay(印度理工学院孟买分校);University of Reading(雷丁大学);De Montfort University(德蒙福特大学);Sangath(桑加斯)
任何自闭症谱系障碍的筛查是一个复杂的过程,通常涉及行为观察和基于问卷的测试的混合。这一过程通常在受控环境中进行,需要经过培训的临床医生或精神科医生进行此类评估。在移动平台技术进步的浪潮中,已经进行了几次尝试,将这些评估纳入移动和平板设备。在本文中,我们分析使用这样的筛选测试生成的视频。本文报道了第一次使用的功效,使用观察者的距离从显示屏,同时管理的感觉灵敏度测试作为行为标记自闭症的儿童年龄2-7岁的潜力,使用这样的测试在休闲的家庭环境是有希望的。
2021-12-06 cs.CV cs.HC
Image Based Artificial Intelligence in Wound Assessment: A Systematic Review
University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校);AZH Wound Center(AZH伤口中心)
对急性和慢性伤口的高效和有效的评估可以帮助伤口护理团队在临床实践中大大提高伤口诊断,优化治疗计划,减轻工作量并实现患者群体的健康相关生活质量。虽然人工智能(AI)在健康相关的科学和技术中得到了广泛的应用,但基于AI的系统仍有待在临床和计算上开发,以实现高质量的伤口护理。为此,我们进行了一个系统的审查,智能图像为基础的数据分析和系统开发的伤口评估。具体来说,我们提供了一个广泛的审查伤口测量(分割)和伤口诊断(分类)的研究方法。我们还回顾了伤口评估系统(包括硬件,软件和移动应用程序)的最新工作。从各种出版物数据库和在线资源中检索到250多篇文章,其中115篇是精心挑选的,以涵盖最新和相关工作的广度和深度,以传达当前的审查。
2020-09-15 cs.CV cs.CY
Multi-task deep CNN model for no-reference image quality assessment on smartphone camera photos
National Taiwan University(国立台湾大学)
智能手机是当今移动社交网络时代最成功的消费电子产品。智能手机的摄像头质量及其图像后处理能力是影响消费者购买决策的主要因素。然而,从智能手机拍摄的照片的质量评估仍然是一项劳动密集型工作,依赖于专业摄影师和专家。作为先前基于CNN的NR-IQA方法的扩展,我们提出了一种多任务深度CNN模型,场景类型检测作为辅助任务。通过卷积层中的共享模型参数,学习的特征图可以变得更加场景相关并提高性能。评估结果表明,改进的SROCC性能相比,传统的NR-IQA方法和单任务基于CNN的模型。
2020-08-27 cs.CV cs.MM