Lightweight Vision Transformer with Window and Spatial Attention for Food Image Classification
School of Artificial Intelligence and Computer Science(人工智能与计算机科学学院)
针对视觉Transformer在食品图像分类中参数量大、计算复杂度高的问题,本文提出融合窗口多头注意力与空间注意力的轻量级算法,在Food-101和Vireo Food-172上分别取得95.24%和94.33%准确率,并显著降低参数量和FLOPs,实现效率与性能的平衡。
2025-09-23 cs.CV
Computer Vision in the Food Industry: Accurate, Real-time, and Automatic Food Recognition with Pretrained MobileNetV2
Tarbiat Modares University(塔比阿特莫达雷斯大学)
针对食品识别难以兼顾准确、实时与低成本部署的问题,本文在 Food11 数据集上用预训练 MobileNetV2 结合迁移学习和数据增强等策略,实现了快速且高准确率的自动识别。
2024-05-19 cs.CV
Nutrition5k: Towards Automatic Nutritional Understanding of Generic Food
Google Research(谷歌研究院);Perception Labs(感知实验室)
从视觉数据中了解食物的营养成分是一个具有挑战性的计算机视觉问题,有可能对公共卫生产生积极和广泛的影响。这一领域的研究仅限于该领域现有的数据集,这些数据集缺乏足够的多样性或训练具有营养理解能力的模型所需的标签。我们介绍了Nutrition5k,这是一个由5k种不同的真实世界菜肴组成的新型数据集,具有相应的视频流,深度图像,成分权重和高精度营养成分注释。我们通过训练一种计算机视觉算法来展示该数据集的潜力,该算法能够预测复杂的真实世界菜肴的热量和常量营养素值,其准确性超过专业营养学家。此外,我们提出了一个基线,结合深度传感器数据,以改善营养预测。我们将公开发布Nutrition5k,希望它能加速营养理解领域的创新。
2021-06-22 cs.CV cs.LG
Weakly Supervised Food Image Segmentation using Vision Transformers and Segment Anything Model
Department of Electrical and Computer Engineering(电气与计算机工程系);Aristotle University of Thessaloniki, Greece(塔罗斯隆尼大学)
本研究提出结合Swin Transformer类激活图与SAM的弱监督食物图像分割方法,仅用图像级标注训练,通过预处理与掩码策略优化,在FoodSeg103数据集上实现0.54的多掩码mIoU,可助力食物图像标注与营养追踪。
2025-10-22 cs.CV
Towards computer vision powered color-nutrient assessment of pureed food
University of Waterloo(滑铁卢大学);Schlegel-UW Research Institute for Aging(Schlegel-UW老龄研究所)
由于四分之一的人患有营养不良,计算机视觉可以提供一种方法,在营养领域引入新的自动化水平,以可靠地监测食物和营养摄入。在这项研究中,我们提出了一种新的方法来建模颜色和维生素A含量之间的联系,使用透射率成像的泥食品稀释系列在计算机视觉供电的营养传感系统通过微调深度自动编码器网络,在这种情况下,训练预测甘薯泥的相对浓度。实验结果表明,深度自动编码器网络可以在初级(6个月)和中级(8个月)商业制备的甘薯泥样品上达到80%的准确度。预测误差可以解释为进一步讨论的光学性质的根本差异。
2019-05-01 cs.CV cs.NE eess.IV
Vision-Based Approach for Food Weight Estimation from 2D Images
University of Peradeniya(佩拉德尼亚大学);Chang Gung University(长庚大学)
本文提出结合Faster R-CNN和MobileNetV3的视觉方法,利用2380张二维图像估计食物重量,检测mAP达83.41%,重量估计RMSE为6.32,适用于营养咨询和饮食评估。
2024-05-26 cs.AI cs.CV
Artificial Intelligence in the Food Industry: Food Waste Estimation based on Computer Vision, a Brief Case Study in a University Dining Hall
Tarbiat Modares University(塔比亚特莫达雷斯大学)
本文提出一种基于语义分割的计算机视觉框架,利用U-Net系列模型估算大学食堂餐盘级食物浪费,轻量模型实现实时推理且DPA指标接近或超过90%,为机构餐饮浪费监测提供了可扩展的非接触式解决方案。
2025-07-19 cs.AI cs.CV
World in a Frame: Understanding Culture Mixing as a New Challenge for Vision-Language Models
KAIST(韩国科学技术院);Oracle(甲骨文公司);Meta;Stevens Institute of Technology(史蒂文斯理工学院)
本文提出CultureMix基准,研究文化混合对视觉语言模型的影响,发现模型在混合场景中表现不佳,通过监督微调提升模型鲁棒性。
2025-12-10 cs.CV
Food for thought: Ethical considerations of user trust in computer vision
University of Waterloo(滑铁卢大学);Schlegel-UW Research Institute for Aging(Schlegel-UW老龄化研究所)
在计算机视觉研究中,特别是当开发新的工具应用时,应该考虑和支持用户对底层技术的信任感的伦理影响。在这里,我们描述了一个例子,将这些考虑因素纳入长期护理部门跟踪居民的食物和液体摄入量。我们强调我们最近进行的用户研究,以开发一个金发碧眼的质量水平原型,旨在支持信任线索,在我们的水平原型感知的信任高于现有的系统到位。我们讨论了用户参与的重要性和必要性,作为正在进行的计算机视觉驱动的技术开发的一部分,并描述了与开发决策工具相关的信任的几个重要因素。
2019-05-29 cs.CV cs.CY cs.HC
Are Vision-Language Models Ready for Dietary Assessment? Exploring the Next Frontier in AI-Powered Food Image Recognition
Biometrics and Data Pattern Analytics Lab, Universidad Autonoma de Madrid(生物度量与数据模式分析实验室,马德里自治大学);IMDEA Food, CEI UAM+CSIC(IMDEA食品,CEI UAM+CSIC)
本文评估了六种先进的视觉-语言模型在不同层次上的食品识别能力,提出了一个新的评估指标,并展示了FoodNExTDB数据库在饮食评估中的应用潜力。
2025-04-09 cs.AI cs.CV
Food-500 Cap: A Fine-Grained Food Caption Benchmark for Evaluating Vision-Language Models
Nanjing University(南京大学)
本文构建了包含 24,700 张图像、494 个类别的细粒度食品描述基准 Food-500 Cap,并系统评估了九个视觉-语言模型在食品领域的表现,揭示了其在特定领域泛化不足及跨地理区域严重偏差的问题。
2023-08-06 cs.CL cs.CV
A Real-time Junk Food Recognition System based on Machine Learning
American International University-Bangladesh(孟加拉国美国国际大学)
$ $由于不良的饮食习惯,人类可能会被毁灭。人们总是在寻找美味的食物,垃圾食品是最常见的来源。因此,我们的饮食模式正在改变,我们比以往任何时候都更倾向于垃圾食品,这对我们的健康不利,并增加了我们患健康问题的风险。机器学习原理应用于我们生活的各个方面,其中之一就是通过图像处理进行物体识别。然而,由于食品的性质不同,这个过程是至关重要的,传统的方法,如ANN,SVM,KNN,PLS等,这将导致低准确率。所有这些问题都被深度神经网络打败了。在这项工作中,我们从20种垃圾食品分类中创建了一个包含10,000个数据点的新数据集,试图识别垃圾食品。数据集中的所有数据都是使用谷歌搜索引擎收集的,谷歌搜索引擎被认为在各个方面都是独一无二的。该目标是使用卷积神经网络(CNN)技术实现的,该技术在图像处理方面是众所周知的。在整个研究过程中,我们达到了98.05%的准确率,这是令人满意的。此外,我们还进行了一项基于真实事件的测试,结果非常出色。我们的目标是将这项研究推进到一个新的水平,以便它可以应用于未来的研究。我们的最终目标是建立一个系统,鼓励人们避免吃垃圾食品,并有健康意识。\keywords{ Machine Learning \and junk food \and object detection \and YOLOv3 \and custom food dataset.}
2022-03-22 cs.CV cs.LG
Vision-Based Calorie Estimation for Bangladeshi Street Food: A Comparative Study of Detection and Regression Models
1 Depatment of Computer Science \& Engineering, Premier University, Chittagong, Bangladesh
本研究针对孟加拉街头食品,对比YOLO系列及RF-DETR等模型,以5塔卡硬币为参考,结合Random Forest回归,实现了精准的视觉卡路里估算,成果可用于饮食监测与移动健康应用。
2026-08-18 cs.CV
Deep Learning-Based Food Calorie Estimation Method in Dietary Assessment
School of Information Science and Engineering, East China University of Science and Technology(华东理工大学信息科学与工程学院)
肥胖治疗要求肥胖患者记录每天所有食物摄入量。计算机视觉已经被引入来从食物图像估计卡路里。为了提高检测的准确性,减少食品热量估计中体积估计的误差,本文提出了我们的热量估计方法。为了估计食物的卡路里,需要顶视图和侧视图。更快的R-CNN用于检测食物和校准对象。GrabCut算法用于获取每种食物的轮廓。然后用食物和相应的物体来估计体积。最后,我们估计每种食物的卡路里。实验结果表明,该方法是有效的。
2018-02-18 cs.CV
Continuous Object State Recognition for Cooking Robots Using Pre-Trained Vision-Language Models and Black-box Optimization
The University of Tokyo(东京大学)
提出利用预训练视觉-语言模型连续计算图像-文本相似度,结合Sigmoid拟合与黑盒优化调整提示权重,实现烹饪机器人对食物连续状态变化的准确识别。
2024-03-13 cs.CV cs.LG cs.RO
NutritionVerse-Synth: An Open Access Synthetically Generated 2D Food Scene Dataset for Dietary Intake Estimation
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究院)
本文提出开放的大规模合成食物图像数据集 NV-Synth,含84,984张多视角照片级餐食图像及丰富真值标注,并公开生成框架代码,以支撑计算机视觉膳食摄入评估。
2023-12-11 cs.CV
FoodX-251: A Dataset for Fine-grained Food Classification
SRI International(SRI国际);Google(谷歌);Cornell Tech(康奈尔科技学院)
食物分类是一个具有挑战性的问题,因为类别数量众多,不同食物之间的视觉相似性很高,并且缺乏用于训练最先进的深度模型的数据集。解决这个问题需要在计算机视觉模型以及用于评估这些模型的数据集方面取得进展。在本文中,我们专注于第二个方面,并介绍了FoodX-251,一个数据集的251个细粒度的食品类别与158 K的图像收集从网络上。我们使用118 k图像作为训练集,并为40 k图像提供可用于验证和测试的人工验证标签。在这项工作中,我们概述了创建这个数据集的过程,并提供了深度学习模型的相关基线。FoodX-251数据集已被用于在细粒度视觉分类研讨会(CVPR 2019上的FGVC 6)中组织iFood-2019挑战,并可供下载。
2019-07-14 cs.CV
CulinaryCut-VLAP: A Vision-Language-Action-Physics Framework for Food Cutting via a Force-Aware Material Point Method
Soongsil University(Soongsil大学);Vanderbilt University(范德比大学)
CulinaryCut-VLAP通过力感知材料点方法构建视觉-语言-动作-物理框架,实现对食物切割的物理真实模拟与高效训练。
2026-01-10 cs.CV cs.RO
Support Vector Machine and YOLO for a Mobile Food Grading System
University of Guelph(圭尔夫大学)
食品质量安全是社会关注的焦点,它不仅是人类健康的重要保证,也是社会发展和稳定的重要保障。确保食品质量和安全是一个复杂的过程。应考虑所有食品加工阶段,从种植,收获和储存到准备和消费。分级是控制食品质量的重要环节之一。提出了一种基于移动视觉的食品分级评价系统。具体而言,所提出的系统获取图像的香蕉时,他们在移动的输送机。采用基于机器学习的两层图像处理系统对香蕉进行分级,这两层分别部署在边缘设备和云端服务器上。支持向量机(Support Vector Machine,SVM)是基于提取的由颜色和纹理特征组成的特征向量对香蕉进行分类的第一层。然后,You Only Look Once(YOLO)v3模型进一步定位果皮的缺陷区域,并确定输入是否属于中熟类或熟度类。根据实验结果,第一层的性能达到了98.5%的准确率,而第二层的准确率为85.7%,整体准确率为96.4%。
2021-01-05 cs.AI cs.CV cs.LG
A review on vision-based analysis for automatic dietary assessment
Beijing Technology and Business University(北京工商大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
背景:保持健康的饮食对于避免与健康有关的问题至关重要,例如,营养不良、肥胖和许多非传染性疾病。健康饮食不可或缺的一部分是饮食评估。传统的人工记录方法不仅繁琐而且耗时,并且包含大量的偏差和错误。人工智能(AI)的最新进展,特别是计算机视觉技术,使得开发自动饮食评估解决方案成为可能,这些解决方案更方便,耗时更少,甚至更准确地监测每日食物摄入量。范围和方法:本文介绍了基于视觉的膳食评估(VBDA)的架构,包括多阶段架构和端到端架构。多阶段膳食评估通常包括三个阶段:食物图像分析、体积估计和营养素推导。深度学习的繁荣使得VBDA逐渐走向端到端的实现,即将食物图像应用于单个网络,直接估计营养。最近提出的端到端的方法进行了讨论。我们进一步分析了现有的膳食评估数据集,表明迫切需要一个大规模的基准,最后强调了VBDA的关键挑战和未来趋势。主要发现和结论:经过深入探索,我们发现多任务端到端深度学习方法是VBDA的一个重要趋势。尽管有相当大的研究进展,但由于膳食的复杂性,VBDA仍然面临许多挑战。我们还为VBDA的未来发展提供了最新的想法,例如,精细的食品分析和准确的体积估算。本文旨在鼓励研究人员提出更实用的VBDA解决方案。
2022-03-06 cs.CV
Creation and Evaluation of a Food Product Image Dataset for Product Property Extraction
Institut für Softwaresysteme, Hochschule Trier(特里尔应用科技大学软件系统研究所)
本文创建并评估了一个包含1,034张摄影棚食品图像、带5个类别标签和30个目标检测标签的数据集,并基于GS1标准为零售领域机器学习模型训练数据构建提供参考流程。
2024-11-15 cs.CV cs.LG
Wide-Slice Residual Networks for Food Recognition
University of Udine(乌迪内大学)
食品日记应用代表了一个诱人的市场。这些基于图像食物识别的应用为计算机视觉和模式识别算法带来了新的挑战。该领域最近的工作集中在手工制作的表示或通过利用深度神经网络来学习这些表示。尽管这最后一个系列的作品取得了成功,但这些作品通常利用现成的深层架构来对菜肴进行分类。因此,架构并不是针对特定的问题。我们相信,如果根据食物成分的分析来定义深层结构,可以获得更好的结果。遵循这样的直觉,这项工作引入了一个新的深度计划,旨在处理食物结构。具体来说,受最近成功的残差深度网络的启发,我们利用这样的学习方案,并引入切片卷积块来捕获垂直食物层。深度残差块的输出与切片卷积相结合,以产生特定食物类别的分类分数。为了评估我们提出的架构,我们进行了三个基准数据集的实验结果。结果表明,我们的解决方案显示出更好的性能相对于现有的方法(例如,在Food-101挑战数据集上的前1准确度为90.27%)。
2016-12-20 cs.CV
MultiFoodhat: A potential new paradigm for intelligent food quality inspection
School of Food Science and Engineering, Central South University of Forestry and Technology(食品科学与工程学院,中南林业科技大学);School of Computer and Information, Hefei University of Technology(计算机与信息学院,合肥工业大学)
本文提出MultiFoodChat,一种对话驱动多智能体零样本食品识别框架,集成VLM和LLM,通过多轮对话和OPT、IRA组件,无需训练即可在多个公开数据集上实现优于无监督和少样本方法的识别精度,为智能食品质量检测提供新范式。
2025-10-14 cs.CV
Unsupervised foreign object detection based on dual-energy absorptiometry in the food industry
Centrum Wiskunde & Informatica(数学与计算机科学中心);Faculteit Wiskunde en Informatica, Technical University Eindhoven(埃因霍温理工大学数学与计算机科学学院);Mathematical Institute, Utrecht University(乌得勒支大学数学研究所);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所)
针对食品在线X射线检测,本文提出基于DEXA的无监督异物检测方法,并用新型厚度校正模型增强异物对比度,在488个肉制品样本上达到95%总体准确率。
2021-04-12 cs.CV eess.IV
DietDelta: A Vision-Language Approach for Dietary Assessment via Before-and-After Images
Purdue University(普渡大学)
本文提出了一种简单视觉-语言框架,通过配对的前后进食图像进行食物项营养分析,利用自然语言提示定位特定食物并直接从单张RGB图像估计重量,通过两阶段训练策略预测重量差异以估计饮食消耗。
2026-04-07 cs.AI cs.CV cs.MM
SFOOD: A Multimodal Benchmark for Comprehensive Food Attribute Analysis Beyond RGB with Spectral Insights
Beijing University of Posts and Telecommunications(北京邮电大学);ShiFang Technology Inc.(ShiFang技术有限公司);Specrizion Technology Co.Ltd(Specrizion技术有限公司)
本文构建了首个大规模光谱食品基准SFOOD,涵盖3266个食品类别和2351k数据点,并证明光谱数据对甜度等食品属性分析至关重要,同时揭示现有大规模模型在食品数字化方面仍表现不佳。
2025-07-06 cs.CV
NutritionVerse-Direct: Exploring Deep Neural Networks for Multitask Nutrition Prediction from Food Images
University of Waterloo(滑铁卢大学);National Research Council Canada(加拿大国家研究委员会)
针对老年人饮食追踪难、现有食物图像营养预测方法场景受限或信息不全的问题,提出基于视觉Transformer的NutritionVerse-Direct多任务模型,直接从餐食图像预测五类营养指标,精度较基线提升25.5%。
2024-05-13 cs.CV
Food Recipe Recommendation Based on Ingredients Detection Using Deep Learning
American International University-Bangladesh(孟加拉国美国国际大学)
食物是人类生存的必需品,人们总是试图品尝不同类型的美味食谱。通常,人们甚至不知道他们的名字就选择食物成分,或者从杂货店挑选一些对他们来说不明显的食物成分。知道哪些成分可以混合,使美味的食物食谱是必不可少的。对于一个初学者来说,通过选择一份配料清单来选择正确的食谱是非常困难的。这可能是一个问题,即使是专家。一个这样的示例是通过图像处理识别对象。虽然由于不同的食物成分,这个过程很复杂,但传统的方法会导致不准确率。这些问题可以通过机器学习和深度学习方法来解决。在本文中,我们实现了一个模型的食品成分识别和设计的算法推荐食谱的基础上认可的成分。我们制作了一个自定义数据集,由属于32种不同食品成分类别的9856张图像组成。卷积神经网络(CNN)模型用于识别食物成分,对于食谱推荐,我们使用了机器学习。我们达到了94%的准确率,这是相当令人印象深刻的。
2022-03-13 cs.CV
Res-VMamba: Fine-Grained Food Category Visual Classification Using Selective State Space Models with Deep Residual Learning
National Taiwan University(台湾大学);University of Liverpool(利物浦大学);Dongguan People’s Hospital(东莞市人民医院);Shenzhen People’s Hospital(深圳市人民医院)
本文提出Res-VMamba,将残差学习引入VMamba以融合全局与局部状态特征,并在CNFOOD-241上无预训练达到79.54%准确率,树立食品识别新基准。
2024-09-06 cs.AI cs.CV
Hyperspectral Imaging for Identifying Foreign Objects on Pork Belly
Coronis Computing SL(科罗尼斯计算公司);Computer Vision and Robotics Research Institute, University of Girona(赫罗纳大学计算机视觉与机器人研究所)
本研究针对食品加工中五花肉异物检测难题,提出结合预处理与轻量型ViT分割的高光谱成像自动化方案,在近红外波段实现高精度高效检测,可应对工业场景干扰,具备实时质控应用潜力。
2025-03-20 cs.CV cs.LG
NutritionVerse-3D: A 3D Food Model Dataset for Nutritional Intake Estimation
University of Waterloo(滑铁卢大学);National Research Council Canada(加拿大国家研究委员会)
本文提出NutritionVerse-3D数据集,包含105个带营养信息的高质量三维食物模型,通过视图合成支持无限二维图像生成,以加速营养摄入估计的机器学习研究。
2023-04-12 cs.CV
Training a Computer Vision Model for Commercial Bakeries with Primarily Synthetic Images
Technische Hochschule Nürnberg Georg Simon Ohm(纽伦堡乔治·西蒙·欧姆应用技术大学)
本文通过构建含2432张图像的扩展数据集,并利用pix2pix和CycleGAN生成合成图像增强鲁棒性,训练YOLOv9与YOLOv8进行商业烘焙食品检测,最佳模型AP@0.5达90.3%。
2024-09-30 cs.CV cs.LG
MM-Food-100K: A 100,000-Sample Multimodal Food Intelligence Dataset with Verifiable Provenance
Codatta;Kite AI;Binance Wallet Community;Codatta Community
本文提出多模态食物智能数据集MM-Food-100K,通过微调大型视觉语言模型验证其在图像营养预测任务上的有效性,并取得一致性能提升。
2025-08-14 cs.AI cs.CR cs.CV
Spatial Monitoring and Insect Behavioural Analysis Using Computer Vision for Precision Pollination
Monash University(莫纳什大学);RMIT University(皇家墨尔本理工大学)
昆虫是全球农作物最重要的传粉者,在维持自然生态系统的可持续性方面发挥着关键作用。因此,昆虫授粉监测和管理对于提高作物产量和粮食安全至关重要。计算机视觉促进传粉者监测可以加强数据汇集,而不是使用手动方法。它产生的新数据可以提供对昆虫分布的详细了解,并促进足以预测其授粉效果和支持精确授粉的细粒度分析。当前的计算机视觉在复杂的室外环境中促进昆虫跟踪在空间覆盖方面受到限制,并且通常限于单一昆虫物种。这限制了它对农业的重要性。因此,在这篇文章中,我们介绍了一种新的系统,以方便无标记的数据捕获昆虫计数,昆虫运动跟踪,行为分析和授粉预测在大型农业领域。我们的系统包括边缘计算多点视频记录,离线自动多物种昆虫计数,跟踪和行为分析。我们实施和测试我们的系统在商业浆果农场,以证明其能力。我们的系统成功地跟踪了四种昆虫品种,在9个监测站内的polytunnels,获得F-分数高于0.8的每一个品种。该系统能够计算关键指标,以评估每种昆虫品种的相对授粉影响。随着技术的进步,精确授粉的详细、持续的数据汇集变得可以实现。这对于为种植者和养蜂人管理作物授粉提供信息非常重要,因为它允许做出数据驱动的决策,以改善粮食生产和粮食安全。
2022-11-11 cs.CV q-bio.QM
Is Attentional Channel Processing Design Required? Comprehensive Analysis Of Robustness Between Vision Transformers And Fully Attentional Networks
Arizona State University(亚利桑那州立大学)
该研究针对传统Vision Transformers与最新FAN模型鲁棒性缺乏综合对比的问题,基于ImageNet数据集通过白盒、黑盒攻击实验,分析注意力通道处理设计的作用及两类模型间的攻击可迁移性。
2023-06-08 cs.CV cs.LG
Vision-Based Defect Classification and Weight Estimation of Rice Kernels
China Unicom(中国联通)
水稻是世界上许多地区的主要主食之一。稻米的质量评估在食品安全和社会经济影响方面都至关重要。这通常是由质量检查员在过去进行的,这可能会导致客观和主观的不准确。本文提出了一种大米籽粒质量自动视觉评价系统,该系统能够对采集到的大米籽粒进行缺陷类型分类,并通过不同类型籽粒的权重比来评价其质量。为了补偿不同核数的不平衡,并准确地对具有多个缺陷的核进行分类,我们提出了一个多阶段的工作流程,该工作流程能够在捕获的图像中定位核并对其属性进行分类。我们定义了一个新的度量来衡量每一个内核在图像中的相对重量,从它的面积,这样的相对重量的每种类型的内核相对于所有的样本可以计算,并作为稻米品质估计的基础。实验结果表明,该系统能够以非接触的方式输出精确的结果,取代繁琐且容易出错的人工操作。
2022-10-06 cs.AI cs.CV
Paddy Disease Detection and Classification Using Computer Vision Techniques: A Mobile Application to Detect Paddy Disease
Tribhuvan University(特里布万大学);Curry College(库里学院)
本研究针对水稻病害早期精准诊断难题,基于Paddy Doctor数据集评估多类计算机视觉模型,提出最优深度学习检测方案,还开发了可即时识别病害并提供防治指导的移动应用。
2024-12-08 cs.CV
Computer Vision with Deep Learning for Plant Phenotyping in Agriculture: A Survey
Indian Institute of Technology(印度理工学院);The University of Tokyo(东京大学)
鉴于世界各地粮食需求不断增长,农业面临的挑战日益严峻,有效的作物管理技术对提高作物产量至关重要。精准农业技术使利益相关者能够根据从监测作物环境中收集的数据做出有效和定制的作物管理决策。植物表型分析技术在准确的作物监测中发挥着重要作用。深度学习的进步使以前困难的表型分析任务成为可能。本调查旨在向读者介绍深层植物表型研究的最新进展。
2020-06-18 cs.CV
Harnessing Large Vision and Language Models in Agriculture: A Review
Guangxi Normal University(广西师范大学);University of Aberdeen(阿伯丁大学)
本综述探讨了大型模型在农业领域的应用潜力,涵盖LLM、LVM和LVLM,指出其能解决农业图像处理、问答系统和机器自动化等问题,以提升生产效率与产量。
2024-07-29 cs.AI cs.CV
The Need and Status of Sea Turtle Conservation and Survey of Associated Computer Vision Advances
SRM Institute of Science and Technology(SRM科学技术研究所)
数亿年来,海龟和它们的祖先一直在广阔的海洋中游泳。它们经历了一系列进化变化,导致物种形成和亚物种形成。然而,在过去的几十年里,推动遗传变异和种群下降的一些最显着的力量是全球变暖和人为影响,包括大规模偷猎,收集海龟蛋作为食物,以及向海洋倾倒包括塑料废物在内的垃圾。这对海龟种群造成了严重的不利影响,使它们濒临灭绝。这项研究的重点是导致海龟数量下降的力量,全球保护工作的必要性及其成功和失败,然后深入分析了海龟检测和识别的现代进展,涉及机器学习和计算机视觉系统,帮助保护工作。
2021-07-29 cs.AI cs.CV cs.LG
A Review of Pulse-Coupled Neural Network Applications in Computer Vision and Image Processing
Baylor University(贝勒大学);School of Engineering and Computer Science(工程与计算机科学学院)
本文综述了脉冲耦合神经网络(PCNNs)的最新进展,涵盖其数学公式、变体及简化形式,并展示了其在图像分割、边缘检测和目标识别等计算机视觉与图像处理任务中的成功应用与贡献。
2024-06-01 cs.CV cs.LG cs.NE
Computer Vision Pipeline for Automated Antarctic Krill Analysis
University of East Anglia(东英吉利大学);British Antarctic Survey(英国南极调查局)
本研究利用基于网络的图像标注工具和深度学习模型,构建自动化流水线,实现南极磷虾的实例分割(平均AP 77.28%)、成熟阶段分类(准确率62.99%)和长度估计(误差1.98毫米),以支持生物量评估。
2023-10-12 cs.CV
On-Board Vision Processing For Small UAVs: Time to Rethink Strategy
University of Essex(埃塞克斯大学)
无人机(UAV)的最终研究目标是实现操作的自主性。过去十年的研究突出了视觉传感在这方面的潜力。尽管视觉传感对于任何类型的无人机完成任务至关重要,但由于缺乏高精度惯性传感器,视觉传感对于小型飞行器更为关键。此外,室内和城市环境中GPS信号的不确定性要求此类小型车辆更多地依赖视觉传感。由于离线处理在自主性方面没有提供有吸引力的选择,这些车辆由于其严格的有效载荷能力和功率预算而一直在挑战平台,以实现车载视觉处理。这些严格的限制促使小型无人机需要新的视觉处理架构。最近的研究表明,令人鼓舞的结果与FPGA为基础的硬件架构。本文回顾了实现机载视觉处理的瓶颈,倡导基于硬件的解决方案来解决小型无人机的严格限制的潜力,最后分析了ASIC,结构化ASIC和FPGA用于未来系统的可行性。
2015-04-27 cs.CV cs.RO
An Image Processing based Object Counting Approach for Machine Vision Application
Ardahan University(阿尔达汉大学);Firat University(菲拉特大学)
机器视觉应用是生产线上经常使用的低成本和高精度测量系统。通过这些提供非接触式控制和测量的系统,生产设施能够在没有错误的情况下达到高产量。机器视觉操作,如产品计数,误差控制,尺寸测量可以通过相机进行。在本文中,提出了一种机器视觉应用程序,它可以执行对象无关的产品计数。该方法基于Otsu阈值和Hough变换,并独立于产品类型和颜色进行自动计数。系统中基本上使用一个摄像头。通过该照相机,拍摄通过输送机的产品的图像,并对这些图像应用各种图像处理算法。在这种方法中,使用从真实实验装置获得的图像,安装了实时机器视觉应用程序。作为进行的实验研究的结果,它已被确定,所提出的方法给出了快速,准确和可靠的结果。
2018-02-16 cs.CV
MOVE: A Mixture-of-Vision-Encoders Approach for Domain-Focused Vision-Language Processing
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Artificial Intelligence Research Institute (AIRI)(人工智能研究院);Higher School of Economics(高等经济学院)
针对现有多模态语言模型依赖单一视觉编码器的局限,提出MOVE混合视觉编码器方法,自动将输入路由至最合适的专用预训练编码器,在多个基准上提升性能且无需高分辨率图像切片操作。
2025-02-21 cs.CV
Sparse Modeling for Image and Vision Processing
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Ecole Normale Supérieure(巴黎高等师范学院)
近年来,人们对稀疏模型及其应用进行了大量的多学科研究。在统计学和机器学习中,稀疏性原理用于执行模型选择-即在大量模型中自动选择一个简单的模型。在信号处理中,稀疏编码包括用几个字典元素的线性组合来表示数据。随后,相应的工具被神经科学、生物信息学或计算机视觉等多个科学团体广泛采用。这本专著的目标是提供一个独立的观点稀疏建模的视觉识别和图像处理。更具体地说,我们专注于字典学习和适应数据的应用程序,产生一个紧凑的表示,在各种情况下都是成功的。
2014-12-06 cs.CV
Vision System and Depth Processing for DRC-HUBO+
KAIST(韩国科学技术院)
本文介绍了一个视觉系统和深度处理算法DRC-HUBO+,在DRC决赛2015年的冠军。我们的系统旨在可靠地捕获场景和对象的3D信息,以应对具有挑战性的环境条件。我们还提出了一种深度图上采样方法,通过显式处理深度异常值来产生无异常值的深度图。我们的系统是适合于一个互动的机器人与现实世界,需要准确的目标检测和姿态估计。我们在几个合成和真实世界的数据集上评估了我们的深度处理算法。
2015-09-28 cs.CV cs.RO
GluonCV and GluonNLP: Deep Learning in Computer Vision and Natural Language Processing
University of Michigan(密歇根大学);Amazon Web Services(亚马逊网络服务公司);Amazon(亚马逊(注:根据上下文推测可能指Amazon Web Services,此处严格按原文提取))
我们介绍了GluonCV和GluonNLP,这是基于Apache MXNet(孵化)的用于计算机视觉和自然语言处理的深度学习工具包。这些工具包提供了最先进的预训练模型、训练脚本和训练日志,以促进快速原型设计并促进可重复的研究。我们还提供具有灵活构建块的模块化API,以实现高效的定制。利用MXNet生态系统,GluonCV和GluonNLP中的深度学习模型可以部署到使用不同程序设计语言的各种平台上。Apache 2.0许可证已经被GluonCV和GluonNLP采用,以允许软件分发,修改和使用。
2020-02-13 cs.CL cs.CV cs.LG
Deep Learning Computer Vision Algorithms for Real-time UAVs On-board Camera Image Processing
Nurjana Technologies srl(努尔贾纳技术有限公司)
本文介绍了如何应用基于高级深度学习的计算机视觉算法,为小型无人机实现实时的【形】机载传感器处理。考虑了四个用例:目标检测、分类和定位、GNSS拒绝区域中用于自主导航的道路分割、人体分割和人体动作识别。所有算法都是使用基于深度神经网络的最先进的图像处理方法开发的。已经开展了采集活动,以收集反映典型操作场景的定制数据集,其中复制了多旋翼无人机的独特视角。算法架构和训练模型的性能报告,显示出高水平的准确性和推理速度。展示了输出示例和现场视频,演示了在安装在定制四旋翼机上的GPU驱动的商用嵌入式设备(NVIDIA Jetson Xavier)上部署模型时的操作,为实现高水平自主性铺平了道路。
2022-11-02 cs.CV
Refining Coded Image in Human Vision Layer Using CNN-Based Post-Processing
Waseda University(早稻田大学)
本文针对面向人类与机器的可扩展图像编码,提出将CNN后处理集成到可扩展编码方案中以提升人类解码图像质量,实验证明该方法能改善压缩性能并优于传统方法。
2024-06-17 cs.CV eess.IV
Dual Thinking and Logical Processing -- Are Multi-modal Large Language Models Closing the Gap with Human Vision ?
Indian Institute of Technology Delhi(印度理工学院德里)
本研究通过对抗性数据集和心理物理学实验揭示人类视觉的双重思维,发现多模态大语言模型在逻辑处理上进步滞后于直觉处理,并强调整合逻辑处理能力对安全关键领域的重要性。
2025-06-19 cs.AI cs.CV eess.IV
Fake Hilsa Fish Detection Using Machine Vision
Daffodil International University(达福迪尔国际大学)
希尔萨是孟加拉国的国鱼。孟加拉国通过出口这种鱼赚取了大量外汇。不幸的是,最近几天,一些不法商人正在出售假希尔莎鱼以获取利润。沙丁鱼和Sardinella是市场上销售最多的Hilsa。孟加拉国食品安全局(Bangladesh Food Safety Authority)表示,这些假冒的希尔萨鱼含有高含量的镉和铅,对人体有害。在这项研究中,我们提出了一种方法,可以很容易地识别原来的希尔萨鱼和假希尔萨鱼。基于在线文献上的研究,我们是第一个对识别原始希尔萨鱼进行研究的人。我们已经收集了超过16,000张原始和假冒希尔莎鱼的图像。为了对这些图像进行分类,我们使用了几种基于深度学习的模型。然后,对它们的性能进行了比较。在这些模型中,DenseNet201的准确率最高,达到97.02%。
2022-01-08 cs.AI cs.CV
Computer Vision Accelerators for Mobile Systems based on OpenCL GPGPU Co-Processing
Rice University(莱斯大学);Qualcomm Technologies Inc.(高通技术公司)
在本文中,我们提出了一个基于OpenCL的异构实现的计算机视觉算法-图像修补为基础的对象删除算法-在移动设备上。为了利用移动处理器的计算能力,基于移动设备上的分析结果在CPU和GPU之间划分算法工作流,使得计算密集型内核由移动GPGPU(使用图形处理单元的通用计算)加速。通过探索实现的权衡和利用不同层次的优化策略,包括算法优化,并行优化和内存访问优化,我们显着加快了算法与CPU-GPU异构实现,同时保持输出图像的质量。实验结果表明,基于GPGPU协同处理的异构计算可以显著提高计算机视觉算法的速度,并使其在实际移动设备上具有实用性。
2014-03-17 cs.CV cs.DC cs.MS
I'm sorry to say, but your understanding of image processing fundamentals is absolutely wrong
目前正在进行的讨论是否现代视觉系统必须被视为视觉使能的认知系统或认知使能的视觉系统是毫无根据的,因为视觉的感知和认知能力是人类(因此,人工)信息处理系统建模的独立组成部分。
2008-08-01 cs.AI cs.CV cs.IR