Transferring Knowledge for Food Image Segmentation using Transformers and Convolutions
University of Waterloo（滑铁卢大学）；National Research Council Canada（加拿大国家研究委员会）
针对食品图像分割中重叠难分、类间相似类内差异大、类别不平衡等问题，本文对比卷积神经网络与BEiT模型，在FoodSeg103基准上BEiT以49.4的mIoU超越现有最优模型，为该领域知识迁移提供参考。
2023-06-15 cs.CV
When Segmentation is Not Enough: Rectifying Visual-Volume Discordance Through Multisensor Depth-Refined Semantic Segmentation for Food Intake Tracking in Long-Term Care
University of Waterloo（滑铁卢大学）；Waterloo AI Institute（滑铁卢人工智能研究所）；Schlegel-UW Research Institute for Aging（施莱格尔-滑铁卢衰老研究学院）；KITE-Toronto Rehabilitation Institute（多伦多康复研究所KITE）；University Health Network（大学健康网络）
营养不良是一个多领域的问题，影响54%的老年人在长期护理（LTC）。监测LTC中的营养摄入是费力和主观的，限制了临床推断能力。在自动图像为基础的食物估计的最新进展尚未在LTC设置进行评估。在这里，我们描述了一个全自动成像系统，用于量化食物摄入量。我们提出了一种新的深度卷积编码器-解码器食物网络与深度细化（EDFN-D）使用RGB-D相机量化板的剩余食物体积相对于参考部分在整个和修改纹理的食物。我们在预先标记的UNIMIB 2016食物数据集上训练和验证了网络，并在我们的两个新的LTC启发的盘子数据集（689个盘子图像，36种独特的食物）上进行了测试。EDFN-D在IOU上进行了深度细化图切割（0.879 vs. 0.887），摄入误差远低于典型的50%（平均摄入误差百分比：-4.2%）。我们确定如何标准的分割指标是不够的，由于视觉量不一致，并包括体积差异分析，以促进系统的信任。该系统提供了更高的透明度，以增强的客观性，准确性和精确度接近人类评估员，同时避免了大量的半自动方法时间要求。这可能有助于解决目前在资源有限的LTC和医院环境中自动早期营养不良检测的短期限制效用。
2021-03-31 cs.CV
Deep Learning based Food Instance Segmentation using Synthetic Data
Gwangju Institute of Science and Technology (GIST)（光州科学技术院）
在使用深度神经网络对图像中的食物进行智能分割以进行饮食管理的过程中，用于网络训练的数据汇集和标记是非常重要但劳动密集型的任务。为了解决数据汇集和标注的困难，本文提出了一种通过合成数据适用于现实世界的食物分割方法。为了在医疗机器人系统（如助餐机器人手臂）上执行食物分割，我们使用开源3D图形软件Blender将多个对象放置在餐盘上并训练Mask R-CNN以进行实例分割来生成合成数据。此外，我们建立了一个数据汇集系统，并验证我们的分割模型在现实世界的食品数据。因此，在我们的真实世界数据集上，仅训练合成数据的模型可用于分割未使用52.2%掩码AP@all训练的食物实例，并且与从头开始训练的模型相比，在微调后性能提高了+6.4%p。此外，我们还证实了在公共数据集上进行公平分析的可能性和性能改进。我们的代码和预训练的权重可在线获得：https://github.com/gist-ailab/Food-Instance-Segmentation
2021-07-20 cs.AI cs.CV
Saliency-Aware Class-Agnostic Food Image Segmentation
Purdue University（普渡大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）；Curtin University（科廷大学）
基于图像的饮食评估方法的进步使营养专业人员和研究人员能够提高饮食评估的准确性，其中使用智能手机或可穿戴设备捕获所消耗的食物图像。然后使用计算机视觉方法分析这些图像，以估计食物的能量和营养含量。食品图像分割是确定食品所在区域的关键。目前的方法是依赖于数据的，因此不能很好地推广不同的食物类型。为了解决这个问题，我们提出了一个类不可知的食品图像分割方法。我们的方法使用一对进食场景图像，一个在开始进食之前，一个在进食完成之后。利用进食前后图像的信息，我们可以在没有任何关于食物类别的先验信息的情况下，通过寻找显著的缺失对象来分割食物图像。我们建立了一个自上而下的显着性范式，它引导人类视觉系统（HVS）的注意力，基于一个任务，找到一对图像中的显着缺失对象。我们的方法是验证从饮食研究中收集的食物图像，显示出可喜的结果。
2021-02-13 cs.CV cs.LG
Weakly Supervised Food Image Segmentation using Vision Transformers and Segment Anything Model
Department of Electrical and Computer Engineering（电气与计算机工程系）；Aristotle University of Thessaloniki, Greece（塔罗斯隆尼大学）
本研究提出结合Swin Transformer类激活图与SAM的弱监督食物图像分割方法，仅用图像级标注训练，通过预处理与掩码策略优化，在FoodSeg103数据集上实现0.54的多掩码mIoU，可助力食物图像标注与营养追踪。
2025-10-22 cs.CV
Understanding Image2Video Domain Shift in Food Segmentation: An Instance-level Analysis on Apples
Interdisciplinary Program in Artificial Intelligence, Seoul National University（人工智能交叉学科项目，首尔国立大学）；Department of Biological Environmental Science, College of Life Science and Biotechnology, Dongguk University（生命科学与生物技术学院生物环境科学系，东国大学）；Department of Food Science and Biotechnology, Dongguk University（食品科学与生物技术系，东国大学）
本文研究了食品分割在视频中的领域偏移问题，通过实例级分析揭示了光照变化等导致的分割失效原因，并提出无需完整视频监督的改进方法。
2026-02-10 cs.CV cs.LG
Food Image Segmentation with LLM-Derived Ingredient Labels and Multimodal Fusion
National Cheng Kung University（国立成功大学）
针对现有食品图像分割模型在相似成分和罕见类别上表现不佳的问题，提出两个多模态模块LIM-F和LIM-Q，利用大语言模型衍生标签提升分割性能，在FoodSeg103基准测试中取得领先，且内存消耗增加适度，为细粒度食品理解提供实用方案。
2026-07-29 cs.CV
Ingredient-Level Food Image Segmentation for Nutrition Awareness
Jarvis College of Computing and Digital Media（计算与数字媒体学院）；DePaul University（德保罗大学）
研究FoodSeg103上的食材级语义分割，微调SegFormer-B0和B1模型，B1在像素精度和平均IoU上分别达到0.7929和0.3204，并输出食材面积百分比作为营养提示。
2026-06-25 cs.CV
Exploring PCA-based feature representations of image pixels via CNN to enhance food image segmentation
本文提出一种基于CNN和PCA的无监督食品图像分割方法，利用轮廓系数评估像素特征聚类质量，在FoodSeg103上取得0.5423的mIoU，无需微调即可实现灵活、可泛化的分割。
2024-11-05 cs.CV
Swin-TUNA : A Novel PEFT Approach for Accurate Food Image Segmentation
Jiangnan University（江南大学）
针对食物图像分割模型部署成本高的问题，本文提出PEFT方法Swin-TUNA，通过多尺度可训练适配器和动态特征平衡，仅更新4%参数便超越FoodSAM。
2025-07-28 cs.AI cs.CV
A SAM based Tool for Semi-Automatic Food Annotation
ARTORG Center（ARTORG中心）；Graduate School for Cellular and Biomedical Sciences（细胞与生物医学研究生院）；University of Bern（伯尔尼大学）
针对食品数据标注缺乏及AI工具对非专家不友好的问题，提出基于SAM的半自动标注工具，支持交互式分割与分类，并发布微调模型MealSAM以促进数据收集和AI普及。
2024-10-11 cs.AI cs.CV
Cluttered Food Grasping with Adaptive Fingers and Synthetic-Data Trained Object Detection
Preferred Networks, Inc.（首选网络公司）
食品包装行业处理的食品种类繁多，形状和大小各异，甚至在一种食品。菜单也是多样的，经常变化，使自动化的拾取和放置困难。一种流行的装箱方法是首先通过使用实例分割方法来识别托盘中的每一块食物。然而，人类注释训练这些方法是不可靠的，并且容易出错，因为食物被紧密地包装在一起，边界不清楚，视觉相似性使得难以分离碎片。为了解决这个问题，我们提出了一种方法，训练纯粹的合成数据和成功地转移到现实世界中使用sim 2 real的方法，通过创建数据集的填充食品托盘使用高质量的3d模型的真实件的食物的训练实例分割模型。另一个问题是，食物在抓取过程中容易损坏。我们通过引入两种额外的方法来解决这个问题-一种新颖的自适应手指机制，当发生碰撞时被动缩回，以及一种过滤抓握过程中可能对相邻食物造成损害的方法。我们证明了所提出的方法对几种真正的食物的有效性。
2022-03-10 cs.CV cs.RO
MetaFood3D: 3D Food Dataset with Nutrition Values
University of Waterloo（滑铁卢大学）；Purdue University（普渡大学）；National Research Council Canada（加拿大国家研究委员会）
针对现有3D食物数据集缺乏营养值、3D领域缺特定测试集的问题，本文推出含131类743个带营养信息的多模态3D食物数据集MetaFood3D，可提升分量估计算法性能、支持合成数据生成。
2024-12-07 cs.CV
Artificial Intelligence in the Food Industry: Food Waste Estimation based on Computer Vision, a Brief Case Study in a University Dining Hall
Tarbiat Modares University（塔比亚特莫达雷斯大学）
本文提出一种基于语义分割的计算机视觉框架，利用U-Net系列模型估算大学食堂餐盘级食物浪费，轻量模型实现实时推理且DPA指标接近或超过90%，为机构餐饮浪费监测提供了可扩展的非接触式解决方案。
2025-07-19 cs.AI cs.CV
Mining Discriminative Food Regions for Accurate Food Recognition
The Hamlyn Centre（哈姆林中心）；Imperial College London（帝国理工学院）；Department of Computing（计算系）
自动食物识别是被动饮食监测的第一步。在本文中，我们解决的问题，通过挖掘判别食品区域的食品识别。从对抗性擦除的启发，逐步发现歧视性的对象区域的弱监督语义分割的策略，我们提出了一种新的网络架构，其中一个主要的网络保持分类输入图像的基本准确性，辅助网络对抗性地挖掘歧视性的食物区域，和区域网络分类产生的挖掘区域。然后将全局（原始输入图像）和局部（挖掘区域）表示集成以进行最终预测。所提出的架构表示为PAR-Net是端到端可训练的，并以在线方式突出区分区域。此外，我们还引入了一个新的细粒度食物数据集Sushi-50，它由50个不同的寿司类别组成。已经进行了大量的实验来评估所提出的方法。在选择的三个食物数据集（Food-101，Vireo-172和Sushi-50）上，与其他现有方法相比，我们的方法表现一致，并达到了最先进的结果（分别为$90.4\%$，$90.2\%$，$92.0\%$的前1测试精度）。数据集和代码可在https://github.com/Jianing-Qiu/PARNet上获得
2022-07-08 cs.CV
Towards Learning Food Portion From Monocular Images With Cross-Domain Feature Adaptation
Purdue University（普渡大学）；Curtin University（科廷大学）；University of Hawaii Cancer Center（夏威夷大学癌症中心）
我们的目标是估计食物部分的大小，一个属性，这是强烈相关的食物对象在3D空间中的存在下，从现实生活中设置的单目图像。具体来说，我们感兴趣的是端到端的估计食物的部分大小，这在个人健康管理领域具有很大的潜力。与可以通过大规模众包获得注释的图像分割或对象识别不同，收集用于部分尺寸估计的数据集更具挑战性，因为人类在没有专业知识的情况下无法准确估计任意2D图像中对象的尺寸。为了应对这一挑战，我们引入了一个从营养研究中收集的真实食物图像数据集，其中食物能量（卡路里）由注册营养师提供，并将提供给研究界。我们提出了一个深度回归过程，通过结合从RGB和学习的能量分布域估计的特征来估计部分大小。我们对食物能量的估计达到了最先进的水平，MAPE为11.47%，显著优于非专家人类估计的27.56%。
2021-03-12 cs.CV
Modeling Colors of Single Attribute Variations with Application to Food Appearance
University of Maryland, College Park（马里兰大学帕克分校）
本文认为，图像内的颜色空间的对象或场景时，这些都受到一个占主导地位的单一来源的变化。变化源可以是内在的或外在的（即，成像条件）。我们观察到，这些对象的量化颜色通常位于RGB的平面子空间上，并且在某些情况下，该平面上的线性或多项式曲线在捕获这些颜色变化方面是有效的。我们还观察到，只要不涉及剧烈的光照变化，图像间颜色子空间是鲁棒的。我们说明了使用这种分析：区分阴影变化和反射率变化的补丁，和目标检测，分割和识别的基础上，一个单一的样本。我们专注于食品的图像来说明所提出的方法的有效性。
2015-12-18 cs.CV
An Intelligent Passive Food Intake Assessment System with Egocentric Cameras
Imperial College London（伦敦帝国理工学院）；Shanghai Jiao Tong University（上海交通大学）
营养不良是低收入和中等收入国家的一个主要公共卫生问题。了解社区、家庭和个人的食物和营养摄入量对于制定卫生政策和干预措施至关重要。为了简化进行大规模饮食评估的程序，我们建议通过以自我为中心的摄像机，特别是在加纳和乌干达的家庭实施一个智能被动食物摄入量评估系统。首先设计算法去除冗余图像以最小化存储内存。在运行时间，应用基于深度学习的语义分割来识别多种食物类型，并提取新设计的手工特征以进一步监测消耗的食物重量。进行了全面的实验，以验证我们的方法在野外数据集下捕获的设置，模拟独特的LMIC条件下，加纳和肯尼亚的参与者吃常见的加纳/肯尼亚菜。为了证明其有效性，经验丰富的营养师参与了这项研究，以执行视觉部分大小估计，并将他们的预测与我们提出的方法进行比较。令人鼓舞的结果表明，我们的方法能够可靠地监测食物摄入量，并对用户的饮食行为提供反馈，为营养师定期进行饮食评估提供指导。
2021-05-07 cs.AI cs.CV
Unsupervised foreign object detection based on dual-energy absorptiometry in the food industry
Centrum Wiskunde & Informatica（数学与计算机科学中心）；Faculteit Wiskunde en Informatica, Technical University Eindhoven（埃因霍温理工大学数学与计算机科学学院）；Mathematical Institute, Utrecht University（乌得勒支大学数学研究所）；Leiden Institute of Advanced Computer Science（莱顿高级计算机科学研究所）
针对食品在线X射线检测，本文提出基于DEXA的无监督异物检测方法，并用新型厚度校正模型增强异物对比度，在488个肉制品样本上达到95%总体准确率。
2021-04-12 cs.CV eess.IV
Deep Attention Unet: A Network Model with Global Feature Perception Ability
本文提出一种结合通道自注意力与残差连接的 Deep Attention Unet 遥感图像分割算法，在 FoodNet 数据集上 mIOU 较传统 UNet 提升 2.48%，增强目标间联系以改善遮挡场景分割效果。
2024-01-17 cs.CV eess.IV
ZMIS-SAM: Segment Anything Model Enhanced with Wavelet Transform for Zooplankton Microscopy Image Instance Segmentation
College of Oceanography and Space Informatics, China University of Petroleum (East China)（中国石油大学（华东）海洋与空间信息学院）
针对SAM在浮游动物显微图像实例分割中存在的问题，提出结合小波变换的ZMIS-SAM模型，通过三项核心创新实现最优性能与强泛化能力。
2026-09-22 cs.CV
AI for Agriculture: the Comparison of Semantic Segmentation Methods for Crop Mapping with Sentinel-2 Imagery
DeepPlanet（迪普兰特）；Queen Mary University（伦敦玛丽女王大学）
本文针对低分辨率免费卫星影像下葡萄园纹理信息缺失导致的分割难题，评估了多种主流机器学习与语义分割方法的有效性，并为不同场景下的模型选择提供了指导。
2023-11-21 cs.CV eess.IV
BenchSeg: A Large-Scale Dataset and Benchmark for Multi-View Food Video Segmentation
Department of Engineering, Pompeu Fabra University（工程系，庞培法布拉大学）；Photogrammetry and Remote Sensing, Technical University of Munich（摄影测量与遥感，慕尼黑技术大学）
BenchSeg通过多视角食物视频分割数据集和基准，改进了食物分割和跟踪的性能，提升了饮食分析的准确性。
2026-01-18 cs.CV
FoodLMM: A Versatile Food Assistant using Large Multi-modal Model
School of Computer Science, Fudan University（复旦大学计算机科学学院）；Singapore Management University（新加坡管理大学）
针对通用大型多模态模型在食品领域表现不佳的问题，提出具备多种食品相关能力的FoodLMM，通过任务特定设计和两阶段训练实现多基准最优效果，将开源相关资源。
2024-04-12 cs.CV
VolTex: Food Volume Estimation using Text-Guided Segmentation and Neural Surface Reconstruction
Universitat de Barcelona（巴塞罗那大学）；Universitat Pompeu Fabra（庞培法布拉大学）；Grup de Tecnologies Interactives (GTI)（交互技术小组）；IMUB & Institut de Neurociències, Barcelona（IMUB与巴塞罗那神经科学研究所）
VolTex框架通过文本引导分割和神经表面重建，解决了食物体积估计中特定食物对象选择不足的问题，并在MetaFood3D数据集上验证了其精确重建与体积计算的有效性。
2025-06-03 cs.CV cs.GR
Scoring Root Necrosis in Cassava Using Semantic Segmentation
Makerere University（麦克雷雷大学）；Google AI（谷歌人工智能）
木薯是非洲许多地区的主要粮食作物，主要受到木薯褐条病（CBSD）的影响。该疾病影响块根，并表现出症状，包括含淀粉组织内的黄色/棕色、干燥、木栓样坏死。木薯育种者目前依赖于视觉检查来基于相当主观的定性评分对根部坏死进行评分。在本文中，我们提出了一种使用具有语义分割的深度卷积神经网络自动进行根坏死评分的方法。我们的实验表明，UNet模型以高精度执行此任务，在测试集上实现了0.90的平均交集（IoU）。该方法提供了一种在根横截面上使用坏死评分的定量测量的方法。这是通过对木薯根横截面的坏死和非坏死像素进行分割和分类来完成的，而无需任何额外的特征工程。
2020-05-07 cs.CV eess.IV
Show or Tell? A Benchmark To Evaluate Visual and Textual Prompts in Semantic Segmentation
Politecnico di Torino（都灵理工大学）；Focoos AI
本文提出SoT基准，首次在14个数据集上统一比较语义分割中文本与视觉提示，发现开放词汇方法擅长常见概念但弱于复杂领域，视觉参考方法平均好但波动大，为未来研究提供指导。
2025-05-06 cs.CV
BUSIS: A Benchmark for Breast Ultrasound Image Segmentation
Harbin Institute of Technology（哈尔滨工业大学）；University of Idaho（爱达荷大学）；Utah State University（犹他州立大学）；Affiliated Hospital of Medical College Qingdao University（青岛大学医学院附属医院）；Second Hospital of Hebei Medical University（河北医科大学第二医院）
乳腺超声（BUS）图像分割是BUS计算机辅助诊断（CAD）系统的关键和挑战。在过去的二十年中，已经研究了许多BUS分割方法，但是大多数方法的性能都是使用相对较小的具有不同定量指标的私有数据集进行评估的，这导致性能比较的差异。因此，迫切需要建立一个基准，使用公共数据集客观地比较现有的方法，以确定当今最好的乳腺肿瘤分割算法的性能，并研究在临床实践和理论研究中有价值的分割策略。在这项工作中，一个基准的B型乳腺超声图像分割。在基准测试中，1）我们收集了562幅乳腺超声图像，准备了一个软件工具，并让四名放射科医生通过标准化程序获得准确的注释; 2）我们广泛比较了16种最先进的分割方法的性能，并讨论了它们的优缺点; 3）提出了一组有价值的定量指标来评估半自动和全自动分割方法; 4）详细讨论了成功的分割策略和可能的改进。
2021-10-19 cs.CV
Food Image Classification and Segmentation with Attention-based Multiple Instance Learning
Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
针对食物图像分类分割需像素级标注成本高的问题，提出结合注意力机制的弱监督多示例学习方法，在FoodSeg103数据集上验证了可行性并探究了注意力机制特性。
2023-08-22 cs.CV
MP-PolarMask: A Faster and Finer Instance Segmentation for Concave Images
National Yang Ming Chiao Tung University（国立阳明交通大学）
本文提出MP-PolarMask，通过扩展多个极坐标系统解决PolarMask无法表示凹形物体和射线回归效率低的问题，在COCO数据集上AP_L提升13.69%，AP提升7.23%。
2024-06-03 cs.CV
Confidence-aware agglomeration classification and segmentation of 2D microscopic food crystal images
Elmore School of Electrical；Computer Engineering, Purdue University, West Lafayette, IN 47907, USA
针对食品晶体2D显微图像团聚人工标注难的问题，提出结合有监督基线模型与实例分类模型、搭配后处理模块的方法，提升了分类准确率与尺寸分布预测效果，且在两种标注置信度下均能有效分类潜在团聚实例。
2025-07-31 cs.CV
OoDIS: Anomaly Instance Segmentation and Detection Benchmark
RWTH Aachen University（亚琛工业大学）；IZMD, University of Wuppertal（伍珀塔尔大学IZMD）；Beijing Institute of Technology（北京理工大学）
本文针对自动驾驶场景中未知物体实例级感知基准缺失的问题，将常用异常分割基准扩展至实例分割与目标检测任务，并评估表明这两项挑战仍未解决。
2025-04-10 cs.CV
The Fishyscapes Benchmark: Measuring Blind Spots in Semantic Segmentation
Microsoft Research（微软研究院）
深度学习在语义分割的准确性方面取得了令人印象深刻的进展。然而，估计不确定性和检测故障的能力对于自动驾驶等安全关键型应用至关重要。现有的不确定性估计大多是在简单的任务上进行评估的，目前还不清楚这些方法是否适用于更复杂的场景。我们提出了Fishyscapes，第一个公共基准的不确定性估计在现实世界中的任务，语义分割城市驾驶。它评估了对车辆前方异常物体检测的像素不确定性估计。我们~适应国家的最先进的方法，以最近的语义分割模型和比较方法的基础上softmax的信心，贝叶斯学习和嵌入密度。我们的研究结果表明，即使在普通情况下，异常检测也远未解决，而我们的基准测试允许测量超越最先进水平的进步。
2021-09-16 cs.CV
ATLANTIS: A Benchmark for Semantic Segmentation of Waterbody Images
University of South Carolina（南卡罗来纳大学）
基于视觉的水体及其附近相关目标的语义分割为水资源管理和洪水应急处理提供了重要信息。然而，缺乏与水相关类别的大规模标记训练和测试数据集，阻碍了研究人员在计算机视觉领域研究与水相关的问题。为了解决这个问题，我们提出了ATLANTIS，一个新的基准语义分割的水体和相关对象。ATLANTIS由5，195幅水体图像以及56类物体的高质量像素级手动注释组成，其中包括17类人造物体，18类自然物体和21类一般物体。我们详细分析了ATLANTIS，并在我们的基准上评估了几个最先进的语义分割网络。此外，开发了一种新型的深度神经网络AQUANet，用于水体语义分割，通过两种不同的路径处理水生和非水生区域。AQUANet还结合了低级别特征调制和交叉路径调制，以增强特征表示。实验结果表明，建议AQUANet优于其他国家的最先进的语义分割网络上ATLANTIS。我们声称，ATLANTIS是最大的水体图像数据集的语义分割提供了广泛的水和水相关的类，它将有利于计算机视觉和水资源工程的研究人员。
2021-11-22 cs.CV
MyFood: A Food Segmentation and Classification System to Aid Nutritional Monitoring
Universidade Federal Rural de Pernambuco（伯南布哥联邦农村大学）
缺乏食物监测是人口体重增加的重要原因。由于缺乏时间和繁忙的日常工作，大多数人不控制和记录他们的饮食中消耗了什么。在计算机视觉中已经提出了一些解决方案来识别食物图像，但很少有人专门用于营养监测。这项工作提出了一个智能系统的发展，分类和分割图像中呈现的食物，以帮助自动监测用户的饮食和营养摄入量。这项工作显示了国家的最先进的图像分类和分割方法的比较研究，适用于食品识别。在我们的方法中，我们比较了FCN，ENet，SegNet，DeepLabV3+和Mask RCNN算法。我们建立了一个数据集组成的消费最多的巴西食物类型，包含9个类，共1250张图像。使用以下指标评价模型：交集对并集、灵敏度、特异性、平衡精密度和正预定义值。我们还提出了一个集成到移动应用程序中的系统，可以自动识别和估计膳食中的营养素，帮助人们更好地进行营养监测。所提出的解决方案显示出比市场上现有的解决方案更好的结果。该数据集可通过以下链接公开获取：http://doi.org/10.5281/zenodo.4041488
2020-12-05 cs.CV
PartNet: A Large-scale Benchmark for Fine-grained and Hierarchical Part-level 3D Object Understanding
Stanford University（斯坦福大学）；University of California San Diego（加州大学圣迭戈分校）；Simon Fraser University（西蒙弗雷泽大学）；Intel AI Lab（英特尔人工智能实验室）
我们提出了PartNet：一个一致的，大规模的3D对象数据集，用细粒度，实例级和层次化的3D零件信息进行注释。我们的数据集包括573，585个零件实例，超过26，671个3D模型，涵盖24个对象类别。该数据集支持并充当许多任务的催化剂，例如形状分析，动态3D场景建模和模拟，启示分析等。使用我们的数据集，我们建立了三个基准任务评估三维零件识别：细粒度的语义分割，层次语义分割，和实例分割。我们对四种用于细粒度语义分割的最先进的3D深度学习算法和三种用于分层语义分割的基线方法进行了基准测试。我们还提出了一种新的方法部分实例分割，并证明其优越的性能比现有的方法。
2018-12-06 cs.CV
IAM: Enhancing RGB-D Instance Segmentation with New Benchmarks
Sungkyunkwan University（成均馆大学）；Samsung Electronics（三星电子）
本文针对RGB-D实例分割数据集稀缺的问题，提出三个实例级基准，并评估多种基线模型，同时设计了一种简单有效的RGB-D数据集成方法，以推动更精细的场景理解。
2025-01-03 cs.CV
Adverse-to-the-eXtreme Panoptic Segmentation: URVIS 2026 Study and Benchmark
MUSES-AXPS
本文报告了URVIS 2026挑战赛，首次针对极端恶劣环境下的全景分割，基于MUSES数据集，采用加权全景质量指标评估，总结了挑战设定、基准结果及当前进展与挑战。
2026-04-18 cs.CV
SUM Parts: Benchmarking Part-Level Semantic Segmentation of Urban Meshes
Delft University of Technology（代尔夫特理工大学）
针对城市带纹理网格部件级语义分割研究不足的问题，本文推出首个该领域大规模数据集SUM Parts，自研支持双模式的高效标注工具，并完成相关方法的基准评估。
2025-03-21 cs.CV
Semantic Segmentation on Swiss3DCities: A Benchmark Study on Aerial Photogrammetric 3D Pointcloud Dataset
Nomoko AG（Nomoko股份公司）；The Dalle Molle Institute for Artificial Intelligence (IDSIA)（达莱莫勒人工智能研究所（IDSIA））
我们引入了一个新的室外城市三维点云数据集，覆盖总面积为2.7 $km^2$，从三个瑞士城市具有不同的特点。该数据集被手动注释为语义分割与每点标签，并建立使用摄影测量从多旋翼配备高分辨率相机获得的图像。与地面LiDAR传感器获取的数据集相比，生成的点云密度均匀且完整，适用于不同的应用，包括自动驾驶、游戏和智能城市规划。作为基准，我们报告了PointNet++的定量结果，PointNet++是一种基于点的深度3D语义分割模型;在此模型上，我们还研究了使用不同城市进行模型泛化的影响。
2020-12-23 cs.CV
Generalized Few-Shot Semantic Segmentation in Remote Sensing: Challenge and Benchmark
RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；the University of Tokyo（东京大学）；Ontario Tech University（安大略理工大学）；University of British Columbia（不列颠哥伦比亚大学）
针对遥感领域小样本分割需兼顾新类适应与基类性能的需求，首次提出遥感广义小样本语义分割基准，发布扩充后的OpenEarthMap数据集并给出挑战赛两阶段基准结果。
2024-09-17 cs.CV
Comparative Benchmarking of Failure Detection Methods in Medical Image Segmentation: Unveiling the Role of Confidence Aggregation
German Cancer Research Center (DKFZ)（德国癌症研究中心）；Medical Faculty Heidelberg, Heidelberg University（海德堡大学海德堡医学院）；Helmholtz Imaging（亥姆霍兹成像）；Heidelberg University Hospital（海德堡大学医院）
本文构建了医学图像分割失败检测的基准框架，基于五个公开3D医学图像数据集评估多种方法，发现像素置信度聚合至关重要，并证明集成预测间的成对Dice分数是简单且稳健的失败检测基线。
2024-06-24 cs.CV
FOR-instance: a UAV laser scanning benchmark dataset for semantic and instance segmentation of individual trees
Norwegian Institute for Bioeconomy Research (NIBIO)（挪威生物经济研究所）；Scion（斯堪森研究所）；University of Tasmania（塔斯马尼亚大学）；TU Wien（维也纳工业大学）
该论文提出FOR-instance基准数据集，包含全球五个无人机激光扫描数据，用于单木实例与语义分割，以推动三维森林分割算法的发展与标准化评估。
2023-09-03 cs.CV
Semantic-ITC: A Frame-wise Indoor Mobile Laser Scanning Dataset and Benchmark for Semantic Segmentation
University of Twente（特文特大学）
本文提出Semantic-ITC，首个逐帧室内移动激光扫描语义分割数据集与基准，含52个序列、79,108帧、12.3亿点，最佳基线mIoU达79.27%，为室内MLS分割提供公共评估平台。
2026-09-17 cs.CV
A Benchmark for LiDAR-based Panoptic Segmentation based on KITTI
University of Bonn（波恩大学）
全景分割是最近引入的任务，它联合处理语义分割和实例分割。在本文中，我们提出了一个扩展的SemanticKITTI，这是一个大规模的数据集，提供密集的逐点语义标签的所有序列的KITTI里程计基准，训练和评估基于激光的全景分割。我们提供了数据，并讨论了用时间上一致的实例信息丰富给定语义注释所需的处理步骤，即，实例信息，用于补充语义标签并在LiDAR点云序列上识别相同实例。此外，我们提出了两个强大的基线，结合了最先进的基于激光雷达的语义分割方法与最先进的检测器，丰富了实例信息的分割，并允许其他研究人员比较他们的方法。我们希望，我们的扩展SemanticKITTI与强大的基线，使新的算法，为基于激光雷达的全景分割，因为它有原始的语义分割和语义场景完成任务的创建。数据、代码和使用隐藏测试集的在线评估将在http://semantic-kitti.org上发布。
2020-03-04 cs.CV cs.RO
Boundary-by-Mask: Few-Shot Instance Segmentation with Mask-Conditioned Boundary Learning for Texture-Poor Industrial Parts
Graduate School of Information Sciences, Tohoku University（东北大学信息科学研究科）；Cybermedia Center, Osaka University（大阪大学网络媒体中心）
提出Boundary-by-Mask框架，通过监督边界而非内部外观，利用基础模型编码器和轻量级SDF头实现弱纹理工业零件的少样本实例分割，支持灵活定义实例目标。
2026-06-23 cs.CV cs.RO
A Benchmark for Out of Distribution Detection in Point Cloud 3D Semantic Segmentation
Bonn-Rhein-Sieg University of Applied Sciences（波恩-莱茵-锡格应用技术大学）；University of Groningen（格罗宁根大学）
自动驾驶等安全关键型应用使用深度神经网络（DNN）进行目标检测和分割。DNN无法预测何时观察到导致灾难性后果的分布外（OOD）输入。现有的OOD检测方法被广泛研究的图像输入，但没有探索太多的激光雷达输入。因此，在这项研究中，我们提出了两个数据集的基准OOD检测在三维语义分割。我们使用了最大Softmax概率和熵得分，这些得分是使用RandLA-Net的深度集成和Flipout版本生成的。我们观察到Deep Ensembles在OOD检测中执行Flipout模型，两个数据集的AUROC得分都更高。
2022-11-11 cs.CV cs.LG
ISAR: A Benchmark for Single- and Few-Shot Object Instance Segmentation and Re-Identification
ETH Zürich（苏黎世联邦理工学院）
针对现有目标级建图系统学习新类别需大规模数据重训练、缺乏单样本/少样本实例分割与重识别统一基准的问题，提出ISAR基准及基线方法，配套半合成数据集与评估流程，推动相关算法研发。
2023-11-05 cs.CV cs.RO
DishSeg24k: A Large-Scale Benchmark for Food Segmentation with Stochastic Expert Decoding
Institute of Computing Technology, CAS（中国科学院计算技术研究所）；Hangzhou Dianzi University（杭州电子科技大学）；North China Electric Power University（华北电力大学）；Lishui Institute of Hangzhou Dianzi University（杭州电子科技大学丽水学院）
针对现有食物分割基准测试无法捕捉现实用餐场景复杂性的问题，提出DishSeg24k基准测试，并基于此设计FEAST方法，通过将查询解码视为马尔可夫决策过程及重新设计解码器，提升分割性能，在多个指标上优于此前方法。
2026-08-07 cs.CV
Benchmarking the Robustness of Semantic Segmentation Models
Visual Learning Lab（视觉学习实验室）；Heidelberg University (HCI/IWR)（海德堡大学 (HCI/IWR)）
在为实际应用（例如自动驾驶）设计语义分割模块时，了解模块对各种图像损坏的鲁棒性至关重要。虽然最近有针对全图像分类的鲁棒性研究，但我们是第一个基于最先进的模型DeepLabv3+对语义分割进行详尽研究的人。为了增加研究的真实感，我们使用了从Cityscapes、PASCAL VOC 2012和ADE 20K生成的近40万张图像。基于基准研究，我们得到了一些新的见解。首先，与全图像分类相反，在大多数情况下，模型鲁棒性随着模型性能而增加。其次，一些架构属性会显著影响鲁棒性，例如密集预测单元，其设计目的是仅在干净数据上最大化性能。
2020-08-10 cs.CV eess.IV
Semantic Segmentation of Underwater Imagery: Dataset and Benchmark
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
在本文中，我们提出了第一个大规模的数据集的语义分割水下成像（SUIM）。它包含了超过1500张图像，其中包含了8个对象类别的像素注释：鱼类（脊椎动物），珊瑚礁（无脊椎动物），水生植物，沉船/废墟，人类潜水员，机器人和海底。这些图像是在海洋探索和人机合作实验中严格收集的，并由人类参与者进行注释。我们还提出了一个基准评估国家的最先进的语义分割方法的基础上，标准的性能指标。此外，我们还提出了SUIM-Net，这是一种完全卷积的编码器-解码器模型，可以平衡性能和计算效率之间的权衡。它提供了具有竞争力的性能，同时确保快速的端到端推理，这对于其在视觉引导水下机器人的自主管道中的使用至关重要。特别是，我们证明了其可用性的好处，视觉伺服，显着性预测，和详细的场景理解。通过各种用例，所提出的模型和基准数据集为水下机器人视觉的未来研究开辟了有希望的机会。
2020-09-13 cs.CV eess.IV
ISIA Food-500: A Dataset for Large-Scale Food Recognition via Stacked Global-Local Attention Network
Key Lab of Intelligent Information Processing, Institute of Computing Technology, CAS（中国科学院计算技术研究所智能信息处理重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Meituan-Dianping Group（美团点评集团）
食物识别因其在饮食管理、自助餐厅等方面的广泛应用而受到多媒体领域的广泛关注。大规模食品图像本体是开发先进的大规模食品识别算法的迫切需要，以及为这些算法提供基准数据集。为了鼓励食品识别的进一步发展，我们引入了数据集ISIA Food- 500，其中包含维基百科列表中的500个类别和399，726张图像，这是一个更全面的食品数据集，在类别覆盖率和数据量方面超过了现有的流行基准数据集。此外，我们提出了一个堆叠的全局-局部注意力网络，它由两个子网络的食物识别。一个子网络首先利用混合空间通道注意力来提取更多的区分特征，然后将这些多尺度区分特征从多个层聚合到全局级表示（例如，关于食物的质地和形状信息）。另一个生成注意区域（例如，成分相关区域），并进一步将这些来自不同层的多尺度区域特征聚合成地方级表示。这两种类型的功能，最终融合作为食品识别的综合表示。在ISIA Food-500和其他两个流行的基准数据集上的大量实验证明了我们所提出的方法的有效性，因此可以被认为是一个强大的基线。数据集、代码和模型可以在http://123.57.42.89/FoodComputing-Dataset/ISIA-Food500.html上找到。
2020-08-13 cs.CV cs.MM
Architecture Analysis and Benchmarking of 3D U-shaped Deep Learning Models for Thoracic Anatomical Segmentation
Concordia University（康考迪亚大学）
该研究首次针对多种3D U型深度学习模型开展胸部CT解剖分割系统基准测试，分析注意力机制、网络配置等对性能的影响，验证了CNN类U型模型及残差块的价值，STUNet表现最优。
2024-03-14 cs.CV cs.LG eess.IV
Leveraging Automatic Personalised Nutrition: Food Image Recognition Benchmark and Dataset based on Nutrition Taxonomy
Universidad Autonoma de Madrid（马德里自治大学）；IMDEA Food Institute（IMDEA食品研究院）
本研究提出AI4Food-NutritionDB，首个结合食物图像与营养分类法的数据库，并提供标准基准与预训练模型，以支持个性化营养和食物识别研究。
2024-04-19 cs.CV cs.MM
