Multi-Label Product Categorization Using Multi-Modal Fusion Models
New York University（纽约大学）；U.S. Bank（美国合众银行）
在这项研究中，我们研究了多模态方法，使用图像，描述和标题对亚马逊上的电子商务产品进行分类。具体来说，我们研究了后期融合模型，其中的方式融合在决策层。每个产品都被分配了多个标签，标签中的层次结构被扁平化和过滤。对于我们的个人基线模型，我们修改了CNN架构来分类描述和标题，然后修改了Keras的ResNet-50来分类图像，分别获得了77.0%，82.7%和61.0%的$F_1$分数。相比之下，我们的三模态后期融合模型可以比单模态模型更有效地分类产品，将$F_1$得分提高到88.2%。每种模式都补充了其他模式的缺点，表明增加模式的数量可以是提高多标签分类问题性能的有效方法。
2019-09-17 cs.CV cs.LG stat.ML
Comparing Deep Neural Network for Multi-Label ECG Diagnosis From Scanned ECG
College of Engineering and Computer Science（工程与计算机科学学院）；VinUniversity（范安大学）；VinUni-Illinois Smart Health Center（范安-伊利诺伊智能健康中心）
本研究针对扫描纸质心电图的多标签分类问题，评估了 AlexNet、VGG、ResNet 和 Vision Transformer 等深度神经网络架构在准确率、鲁棒性和泛化能力上的表现，为基于图像的心电图诊断的临床整合提供了见解。
2025-03-06 cs.AI cs.CV
Learning to Detect Objects from Multi-Agent LiDAR Scans without Manual Labels
Xiamen University（厦门大学）；Shanghai Jiao Tong University（上海交通大学）；Wuhan University（武汉大学）
本文提出无监督多智能体LiDAR 3D物体检测方法DOtA，利用智能体共享位姿与互补观测生成高质量伪标签，在V2V4Real和OPV2V上超越现有方法。
2025-03-13 cs.CV
Quantitative Impact of Label Noise on the Quality of Segmentation of Brain Tumors on MRI scans
Netguru
在过去的几年里，深度学习已经被证明是许多问题的一个很好的解决方案，比如图像或文本分类。最近，基于深度学习的解决方案在选定的基准数据集上表现优于人类，为科学和现实世界的应用带来了光明的未来。深度学习模型的训练需要大量高质量数据才能实现如此卓越的性能。在现实世界中，获得一个大的，连贯的，正确标记的数据集是一项具有挑战性的任务。这在医学应用中尤其如此，在医学应用中，高质量的数据和注释是稀缺的，并且专家注释器的数量是有限的。在本文中，我们研究了损坏的地面真实掩模对脑肿瘤分割任务的神经网络性能的影响。我们的研究结果表明，a）性能下降比模拟预期的低8%左右，b）神经网络学习注释器的模拟偏差，c）偏差可以通过使用反向偏差的骰子损失函数来部分减轻。
2019-09-18 cs.CV cs.LG eess.IV
LiDAR Ground Filtering Algorithm for Urban Areas Using Scan Line Based Segmentation
Wuhan University（武汉大学）
本文研究了城市地区机载激光雷达点云数据中地面点的分离问题。本文提出了一种基于扫描线分割的地面滤波新方法--SLSGF。它利用LiDAR数据中的扫描线信息对LiDAR数据进行分割。相似性度量的目的是使它能够分割复杂的屋顶结构成一个单一的部分，尽可能多的屋顶和地面之间的拓扑关系是简单的，这将有利于标记过程。在标记过程中，检测初始地面段，并应用由粗到细的标记方案。从ISPRS 2011年的数据被用来测试SLSGF的准确性，我们的分析和实验结果表明，这种方法是计算效率和噪声不敏感，从而使滤波前不需要去噪过程。
2016-03-02 cs.CV
An Empirical Analysis for Zero-Shot Multi-Label Classification on COVID-19 CT Scans and Uncurated Reports
ARTORG Center for Biomedical Engineering Research（ARTORG生物医学工程研究中心）；University of Bern（伯尔尼大学）；Bern University Hospital（伯尔尼大学医院）；Lindenhofspital（林登霍夫医院）；Campus Stiftung Lindenhof Bern（伯尔尼林登霍夫基金会校区）
本研究利用医院非结构化数据和CT扫描的细粒度细节，基于对比视觉语言学习进行零样本多标签分类，辅助放射科医生检测肺栓塞及肺部复杂病变，为医学多模态预训练中细粒度任务提供实证分析。
2023-09-06 cs.CL cs.CV cs.LG
A Transfer Learning Based Approach for Classification of COVID-19 and Pneumonia in CT Scan Imaging
University of Cincinnati（辛辛那提大学）
世界仍被COVID-19病毒的传播所淹没。截至2021年11月，全球感染病例超过2. 5亿例，影响219个国家和地区，全球仍处于大流行时期。在CT扫描图像上使用深度学习方法检测COVID-19，可以在协助医疗专业人员和决策当局控制疾病传播和为患者提供必要支持方面发挥至关重要的作用。卷积神经网络广泛应用于大规模图像识别领域。目前用于诊断COVID-19的RT-PCR方法耗时且普遍受限。这项研究旨在提出一种基于深度学习的方法来对COVID-19肺炎患者、细菌性肺炎、病毒性肺炎和健康（正常病例）进行分类。本文使用深度迁移学习通过Inception-ResNet-V2神经网络架构对数据进行分类。拟议的模式已被有意简化，以降低实施成本，使其可以很容易地在不同的地理区域，特别是农村和发展中地区实施和使用。
2022-10-26 cs.CV cs.LG eess.IV
Structured Spectral Graph Learning for Anomaly Classification in 3D Chest CT Scans
University of Lyon, INSA Lyon, CNRS, INSERM, CREATIS UMR 5220, U1294（里昂大学，里昂国立应用科学学院，国家科学研究中心，国家卫生研究院，CREATIS UMR 5220，U1294）
提出一种基于结构化图和谱域卷积的新方法，用于3D胸部CT扫描的多标签异常分类，增强跨数据集泛化并具备z轴平移鲁棒性。
2025-08-01 cs.CV cs.LG
Scan-to-BIM for As-built Roads: Automatic Road Digital Twinning from Semantically Labeled Point Cloud Data
City University of Hong Kong（香港城市大学）；Shenzhen Research Institute of City University of Hong Kong（香港城市大学深圳研究院）；University of Cambridge（剑桥大学）
针对建成道路几何数字孪生构建的自动化与精度等问题，提出基于语义标记点云的scan-to-BIM框架，覆盖六类道路资产，经多步处理生成数字孪生，在真实路段上实现高精度与较快处理速度。
2024-06-18 cs.CV
FUSC: Fetal Ultrasound Semantic Clustering of Second Trimester Scans Using Deep Self-supervised Learning
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Abu Dhabi Health Services Company (SEHA)（阿布扎比健康服务公司）
本文提出FUSC方法，利用深度自监督学习对孕中期胎儿超声图像进行无监督语义聚类，在88,063张图像上训练并在8,187张图像上验证，聚类纯度超过92%，减少了对人工标注的依赖。
2024-01-16 cs.CV
Gated-Dilated Networks for Lung Nodule Classification in CT scans
Monash University Malaysia（莫纳什大学马来西亚分校）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；CNRS（法国国家科学研究中心）；Singapore Eye Research Institute（新加坡眼科研究所）；University of Oklahoma（俄克拉荷马大学）
不同类型的卷积神经网络（CNN）已被应用于从计算机断层摄影（CT）扫描中检测癌性肺结节。然而，结节的大小是非常多样化的，可以在3到30毫米之间的任何地方。结核大小差异很大，使其分类成为一项困难和具有挑战性的任务。在这项研究中，我们提出了一种新的CNN架构，称为门控扩张（GD）网络，将结节分类为恶性或良性。与以前的研究不同，GD网络使用多个扩张卷积而不是最大池来捕获尺度变化。此外，GD网络具有上下文感知子网络，其分析输入特征并将特征引导到合适的扩张卷积。我们在来自LIDC-LDRI数据集的1,000多个CT扫描上评估了所提出的网络。我们提出的网络优于最先进的基线模型，包括Multi-Crop，Resnet和Densenet，AUC>0.95。与基线模型相比，全球动力学网络提高了中等大小结核的分类准确度。此外，我们观察到结节的大小和上下文感知子网络产生的注意信号之间的关系，这验证了我们的新网络架构。
2019-12-14 cs.CV cs.LG stat.ML
A 3D CNN Network with BERT For Automatic COVID-19 Diagnosis From CT-Scan Images
Shenzhen Deepcam Information Technologies（深圳深图信息技术有限公司）；LinkSprite Technologies（联芯通科技）
我们提出了一个自动COVID 1 -19诊断框架，从肺部CT扫描切片图像。在这个框架中，首先使用分割技术对CT扫描体积的切片图像进行预处理，以过滤掉闭合肺的图像，并去除无用的背景。然后，使用一种重新排序方法来选择一组或多组固定数量的切片图像用于训练和验证。使用具有BERT的3D CNN网络来对这组所选切片图像进行分类。在该网络中，还提取了嵌入特征。在体积中存在多于一组切片图像的情况下，提取所有组的特征并将其汇集到整个CT扫描体积的全局特征向量中。一个简单的多层感知器（MLP）网络被用来进一步分类的聚合特征向量。模型在提供的训练和验证数据集上进行训练和评估。在验证数据集上，准确度为0.9278，F1得分为0.9261。
2021-10-04 cs.CV eess.IV
Few-shot Learning for CT Scan based COVID-19 Diagnosis
Korea University（高丽大学）；Drexel University（德雷塞尔大学）
2019年冠状病毒病（COVID-19）是国际关注的突发公共卫生事件，感染了188个国家和地区的4000多万人。胸部计算机断层扫描（CT）成像技术因其高诊断准确性和鲁棒性，已成为COVID-19大规模检测不可或缺的方式。最近，深度学习方法已成为自动筛选医学图像的有效工具，也被考虑用于COVID-19诊断。然而，与COVID-19相关的高感染风险导致所收集的标记数据的相对稀疏，限制了此类方法的性能。此外，准确标记CT图像需要放射科医生的专业知识，使得该过程昂贵且耗时。为了解决上述问题，我们提出了一种基于监督域自适应的COVID-19 CT诊断方法，该方法可以在只有少量标记CT扫描样本可用时有效执行。为了补偿标记数据的稀疏性，所提出的方法利用了大量的合成COVID-19 CT图像，并通过跨域训练机制将网络从源域（合成数据）调整到目标域（真实数据）。实验结果表明，该方法在基于Few-Shot COVID-19 CT成像的诊断任务上实现了最先进的性能。
2021-02-01 cs.CV cs.LG eess.IV
ViPTT-Net: Video pretraining of spatio-temporal model for tuberculosis type classification from chest CT scans
Concordia University（康考迪亚大学）；North South University（北南大学）
预训练引发了人们对深度学习工作流的兴趣，以从有限的数据中学习并提高泛化能力。虽然这对于2D图像分类任务是常见的，但是其对于诸如胸部CT解释的3D医学成像任务的应用是有限的。我们探讨了在真实视频上预训练模型是否可以提高性能，而不是从头开始训练模型，用于胸部CT扫描的结核病类型分类。为了结合空间和时间特征，我们开发了一种混合卷积神经网络（CNN）和递归神经网络（RNN）模型，其中特征由CNN从CT扫描的每个轴向切片中提取，这些图像特征序列被输入到RNN用于CT扫描的分类。我们的模型被称为ViPTT-Net，在超过1300个带有人类活动标签的视频剪辑上进行了训练，然后在带有结核病类型标签的胸部CT扫描上进行了微调。我们发现，在视频上对模型进行预训练可以获得更好的表示，并将模型验证性能从0.17提高到0.35，特别是对于代表性不足的类样本。我们的最佳方法在ImageCLEF 2021结核病- TBT分类任务中获得了第二名，在仅使用图像信息（不使用临床元数据）的最终测试集上的kappa评分为0.20。所有代码和型号都可用。
2021-05-26 cs.CV cs.LG
Classifying Phonotrauma Severity from Vocal Fold Images with Soft Ordinal Regression
Massachusetts Institute of Technology（麻省理工学院）；School of Communication Sciences and Disorders University of Central Florida（中央佛罗里达大学通信科学与障碍学系）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；Center for Laryngeal Surgery and Voice Rehabilitation（嗓音外科与嗓音康复中心）；Department of Surgery（外科部门）；Institute of Health Professions（健康专业研究所）；Athinoula Martinos Center（阿提尼奥拉马丁诺斯中心）
本文提出了一种基于软序数回归的方法，用于自动分类声音创伤的严重程度，实现了接近临床专家的预测性能并提供可靠的不确定性估计。
2025-12-09 cs.CV cs.LG
Data Shapley Value for Handling Noisy Labels: An application in Screening COVID-19 Pneumonia from Chest CT Scans
Concordia University（康考迪亚大学）；McGill University（麦吉尔大学）；University of Toronto（多伦多大学）
深度学习模型的一个长期挑战涉及如何处理噪声标签，特别是在人类生命受到威胁的应用中。数据Shapley值（SV）的采用，合作博弈理论的方法，是一个智能的估值解决方案，以解决噪音标签的问题。Data SV可以与学习模型和评估指标一起使用，以验证每个训练点对模型性能的贡献。然而，数据点的SV并不是唯一的，它取决于学习模型、评估指标以及在训练游戏中协作的其他数据点。然而，利用不同的评价指标计算的SV，检测噪声标签，并测量数据点的重要性的影响还没有得到彻底的研究。在这种情况下，我们进行了一系列的比较分析，以评估SV的能力，检测噪声输入标签时，测量不同的评估指标。我们在感染COVID-19的CT图像上的实验表明，尽管数据SV可以有效地识别噪声标签，但采用不同的评估指标会显著影响其识别不同数据类别的噪声标签的能力。具体来说，我们证明了SV极大地依赖于相关的评价指标。
2021-10-17 cs.CV eess.IV
Combining Weakly and Webly Supervised Learning for Classifying Food Images
Rutgers University（罗格斯大学）；SRI International（斯坦福国际研究院）
图像中的食物分类是一个细粒度分类问题。食物图像的手动策展成本、时间和可扩展性都是令人望而却步的。另一方面，网络数据是免费的，但包含噪音。在本文中，我们解决的问题，食品图像分类与最小的数据整理。我们还解决了一个关键问题，从网络上的食物图像，他们往往有多个共同出现的食物类型，但弱标记的单一标签。我们首先证明，通过顺序地将一些手动策划的样本添加到来自两个Web源的更大的未策划的数据集中，top-1分类准确率从50.3%提高到72.8%。为了解决弱标签的问题，我们使用弱监督学习（WSL）来增强深度模型，从而将性能提高到76.2%。最后，我们展示了一些定性的结果，以提供使用所提出的想法的性能改进的见解。
2017-12-23 cs.CV
The Large Labelled Logo Dataset (L3D): A Multipurpose and Hand-Labelled Continuously Growing Dataset
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universidad Autónoma de Madrid（马德里自治大学）
在这项工作中，我们提出了大型标签标识数据集（L3D），一个多用途的，手工标记的，不断增长的数据集。它由从欧盟知识产权局（EUIPO）开放注册表中提取的约770k彩色256x256 RGB图像组成。它们中的每一个都与多个标签相关联，这些标签对图像中出现的比喻和文本元素进行分类。EUIPO评估员使用维也纳分类法对这些注释进行了分类，维也纳分类法是一种图形标记的分级分类法。我们建议这个数据集的两个直接应用，即标识分类和标识生成。
2021-12-10 cs.CV cs.LG
Classifying Video based on Automatic Content Detection Overview
University of Alberta（阿尔伯塔大学）
视频分类与分析一直是计算机视觉研究的热点和难点。它不仅仅是简单的图像分类，由于后续帧的语义内容的相关性给视频分析带来了困难。在这篇文献综述中，我们总结了一些国家的最先进的多标签视频分类方法。我们的目标是首先实验研究目前广泛使用的架构，然后开发一种方法来处理帧的序列数据，并执行多标签分类的视频内容自动检测的基础上。
2021-03-29 cs.CV
Classification of Multiple Diseases on Body CT Scans using Weakly Supervised Deep Learning
Duke University School of Medicine（杜克大学医学院）；Duke University（杜克大学）；University of Arizona（亚利桑那大学）
目的：使用从放射学文本报告中自动提取的标签，为三种不同器官系统的身体CT扫描设计多疾病分类器。材料与方法：这项回顾性研究共纳入12，092名患者（平均年龄57 +- 18; 6，172名女性）进行模型开发和测试（2012-2017年）。使用基于规则的算法从12，092名患者的13，667次身体CT扫描中提取了19，225个疾病标签。使用三维DenseVNet，分割了三个器官系统：肺和胸膜;肝脏和胆囊;以及肾脏和输尿管。对于每个器官，一个三维卷积神经网络将没有明显疾病与四种常见疾病分类，在所有三个模型中共有15个不同的标签。对2133名患者（平均年龄58 ± 18岁;1079名女性）的2,158个CT容积子集进行了测试，这些CT容积与2,875个手动获得的参考标签相关。性能报告为接受者工作特征曲线下面积（AUC），95%置信区间，采用DeLong方法。结果：手动验证提取的标签，确认15个不同标签的准确度为91%至99%。肺和胸膜标记的AUC为：肺不张0.77（95% CI：0.74，0.81）、结节0.65（0.61，0.69）、肺气肿0.89（0.86，0.92）、积液0.97（0.96，0.98）和无明显疾病0.89（0.87，0.91）。肝脏和胆囊的AUC为：肝胆钙化0.62（95% CI：0.56，0.67）、病变0.73（0.69，0.77）、扩张0.87（0.84，0.9…
2021-11-17 cs.CV cs.LG eess.IV
Using VGG16 Algorithms for classification of lung cancer in CT scans Image
Islamic Azad University of Ardabil（阿尔达比勒伊斯兰阿扎德大学）；Ardabil University of Medical Sciences（阿尔达比勒医科大学）；Tabarestan University of Chalus（查卢斯塔巴雷斯坦大学）
本文提出使用 VGG16 深度学习算法对 CT 扫描图像中的肺结节进行恶性、良性和健康分类，实现了 92.08% 的灵敏度、91% 的准确率和 93% 的 AUC。
2023-05-27 cs.CV cs.LG eess.IV
A self-training framework for glaucoma grading in OCT B-scans
Instituto de Investigación e Innovación en Bioingeniería, I3B Universitat Politècnica de València（瓦伦西亚理工大学生物工程研究与创新研究所）；Universidad Politécnica de Cartagena（卡塔赫纳理工大学）；École de technologie supérieure（高等技术学院）
在本文中，我们提出了一个自我训练为基础的框架，青光眼分级使用OCT B-扫描下的域移位的存在。特别地，所提出的两步学习方法诉诸于在第一步期间生成的伪标签来增强目标域上的训练数据集，然后将其用于训练最终目标模型。这允许从未标记的数据转移知识域。此外，我们提出了一种新的特定于逗号的骨干，通过跳跃连接引入残差和注意力模块，以改进潜在空间的嵌入特征。通过这样做，我们的模型能够从定量和可解释性的角度提高最先进的水平。报告的结果表明，所提出的学习策略可以通过仅使用源示例中的标签来提高模型在目标数据集上的性能，而不会导致额外的注释步骤。我们的模型在不同指标上的表现始终优于基线1-3%，并弥补了在标记目标数据上训练模型的差距。
2021-11-23 cs.AI cs.CV cs.LG
Custom Deep Neural Network for 3D Covid Chest CT-scan Classification
Ho Chi Minh University of Science（胡志明市科学大学）
基于胸部的三维CT扫描是目前研究者争论的热点之一。通过CT扫描图像诊断疾病有许多任务，包括Covid 19。在本文中，我们提出了一种自定义并结合深度神经网络来分类3D CT扫描胸部图像的方法。在我们的方法中，我们使用DenseNet 121和ResNet 101两个主干进行实验。在这个提案中，我们将实验分为两个任务，一个是ResNet和DenseNet的两个骨干组合，一个是DenseNet骨干组合。
2021-07-03 cs.CV eess.IV
Symmetry Defense Against CNN Adversarial Perturbation Attacks
Aalto University（阿尔托大学）
本文提出利用镜像对称和像素反转对称构成的对称群来防御CNN对抗扰动攻击，通过对称图像分类标签一致性决策，在ImageNet上有效抵御梯度攻击和随机搜索攻击并提升原始图像准确率。
2023-08-10 cs.CR cs.CV cs.LG
Towards classification-based representation learning for place recognition on LiDAR scans
Moscow Institute of Physics and Technology（莫斯科物理技术学院）；King Abdullah University of Science and Technology（国王阿卜杜勒阿齐兹大学）
本文将自动驾驶中的位置识别构建为多类分类问题，通过为LiDAR扫描分配离散位置标签并训练编码器-解码器模型直接分类位置，在NuScenes数据集上取得与对比学习相当的性能，且在训练效率和稳定性上更具优势。
2025-11-04 cs.CV
Automatic Emphysema Detection using Weakly Labeled HRCT Lung Images
Aalborg University（奥尔堡大学）；Eindhoven University of Technology（埃因霍温理工大学）；Erasmus Medical Center（伊拉斯谟医学中心）；Vendsyssel Hospital（文叙瑟尔医院）；Aalborg University Hospital（奥尔堡大学医院）；University of Copenhagen（哥本哈根大学）
提出了一种用于使用慢性阻塞性肺病（COPD）患者的高分辨率计算机断层摄影（HRCT）扫描来自动量化肺气肿区域的方法，该方法不需要手动注释的扫描来进行训练。在两个不同的中心获得对照组和不同疾病严重程度的COPD患者的HRCT扫描。来自共生矩阵和高斯滤波器组的纹理特征用于表征扫描中的肺实质。两个强大的版本的多实例学习（MIL）分类器，miSVM和MILES，进行了研究。用从一分钟用力呼气量（FEV $_1$）和肺一氧化碳弥散量（DLCO）中提取的弱标签训练分类器。在测试时，分类器输出指示总体COPD诊断的患者标签和指示存在肺气肿的本地标签。分类器的性能进行了比较，由两个放射科医生，一个经典的基于密度的方法，和肺功能测试（PFT）的手动注释。miSVM分类器在患者和肺气肿分类上的表现优于MILES。与基于密度的方法相比，分类器与PFT、来自两个放射科医师的注释的交叉中的肺气肿的百分比以及由放射科医师之一注释的肺气肿的百分比具有更强的相关性。分类器和PFT之间的相关性仅被第二放射科医师优于。因此，该方法有利于肺气肿的评估和减少观察者之间的变异性是有前途的。
2018-10-01 cs.CV
When Weak Becomes Strong: Robust Quantification of White Matter Hyperintensities in Brain MRI scans
Erasmus MC（伊拉斯谟医学中心）；Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
为了测量特定图像结构的体积，典型的方法是首先使用在逐体素（强）标签上训练的神经网络来分割这些结构，然后从分割中计算体积。一种更直接的方法是使用基于神经网络的回归方法直接预测体积，该方法在指示体积的图像级（弱）标签上进行训练。在本文中，我们比较了使用弱标签和强标签优化的网络，并研究了它们推广到其他数据集的能力。我们实验了脑MRI扫描中白质高信号（WMH）体积预测。神经网络在一个大型的本地数据集上进行训练，并在四个独立的公共数据集上对其性能进行评估。我们发现，仅使用反映WMH体积的弱标签优化的网络比使用WMH的体素分割优化的网络更适合WMH体积预测。用弱标签训练的网络的注意力地图似乎没有描绘出WMH，而是突出了WMH周围或附近具有平滑轮廓的区域。通过纠正可能的混淆因素，我们发现在弱标签上训练的网络可能已经学习了其他更适合推广到看不见的数据的有意义的特征。我们的研究结果表明，对于可以从分割中获得的成像生物标志物，训练网络直接预测生物标志物可以提供比解决中间分割步骤更强大的结果。
2020-04-12 cs.CV eess.IV
Improving Lesion Segmentation in FDG-18 Whole-Body PET/CT scans using Multilabel approach: AutoPET II challenge
针对 FDG-18 全身 PET/CT 中高摄取器官易被误分为病灶的问题，本文在 AutoPET II 数据集上采用器官与病灶多标签及 nnUNet 框架训练 3D UNET，提升了病灶分割精度并获得第一名。
2023-11-02 cs.CV cs.LG eess.IV
Additive Angular Margin for Few Shot Learning to Classify Clinical Endoscopy Images
University of Oxford（牛津大学）；Imperial College London（帝国理工学院）
内窥镜检查是一种广泛使用的成像模式，用于诊断和治疗中空器官（例如胃肠道、肾脏和肝脏）中的疾病。然而，由于不同的模态和在不同临床中心使用不同的成像协议，在推广深度学习模型时带来了重大挑战。此外，来自不同临床中心的大型数据集的组装可能会引入巨大的标签偏差，从而使任何学习模型无法使用。此外，当使用新的模态或存在具有罕见模式的图像时，需要大量类似的图像数据及其相应的标签来训练这些模型。在这项工作中，我们建议使用一个少样本学习的方法，需要更少的训练数据，可以用来预测标签类的测试样本从一个看不见的数据集。在少样本学习的原型网络框架下，提出了一种新的加性角间隔度量。我们将我们的方法与几种已建立的方法进行了比较，这些方法采用了一个大型队列的多中心、多器官和多模式内窥镜检查数据。该算法优于现有的最先进的方法。
2020-03-26 cs.CV cs.LG eess.IV
Structured Spectral Graph Representation Learning for Multi-label Abnormality Analysis from 3D CT Scans
INSA Lyon, University of Lyon, CNRS, INSERM, CREATIS UMR 5220, U1294（里昂国立应用科学学院、里昂大学、国家科学研究中心、法国国家医学研究院、CREATIS UMR 5220、U1294）
提出一种基于谱图卷积的2.5D框架，将3D CT体积表示为结构化图，通过轴向切片三元组节点建模层间依赖，实现多标签异常分类，跨数据集泛化性能强。
2026-06-23 cs.CV
MOVES: Movable and Moving LiDAR Scene Segmentation in Label-Free settings using Static Reconstruction
Indian Institute of Technology（印度理工学院）
MOVES提出基于GAN的对抗模型，在无分割标签下通过将动态LiDAR扫描重建为静态扫描，实现移动及可移动物体的分割，解决自主导航中的动态干扰问题。
2023-10-15 cs.CV cs.RO
Artifact- and content-specific quality assessment for MRI with image rulers
Stanford University（斯坦福大学）
在临床实践中，MR图像通常在扫描后很长时间才由放射科医生首次看到。如果图像质量不足，患者必须返回进行额外扫描，或者提供次优解释。自动图像质量评估（IQA）将实现实时补救。现有的MRI IQA工作只给出了一个一般的质量评分，不知道低质量扫描的原因和解决方案。此外，放射科医师的图像质量要求随扫描类型和诊断任务而变化。因此，相同的分数对于不同的扫描可能具有不同的含义。我们提出了一个具有多任务CNN模型的框架，该模型使用校准的标签进行训练并使用图像标尺进行推理。由人工输入校准的标签遵循明确定义的高效标签任务。图像标尺解决了不同的质量标准，并提供了一种解释来自CNN的原始分数的具体方法。该模型支持MRI中两种最常见伪影的评估：噪声和运动。它的准确率约为90%，比之前最好的方法高出6%，比人类专家的噪声评估高出3%。我们的实验表明，标签校准，图像标尺，多任务训练提高了模型的性能和泛化能力。
2021-11-06 cs.AI cs.CV eess.IV
Extremely weakly-supervised blood vessel segmentation with physiologically based synthesis and domain adaptation
University of Copenhagen（哥本哈根大学）
本文针对Micro-CT肾血管标注成本高的问题，提出通过生理学合成血管树并训练生成模型产生对应扫描，再附加分割分支，实现极弱监督下的真实血管分割。
2023-05-26 cs.CV cs.LG eess.IV
Data augmentation using learned transformations for one-shot medical image segmentation
MIT（麻省理工学院）；MGH（麻省总医院）
图像分割是许多医学应用中的重要任务。基于卷积神经网络的方法达到了最先进的精度;然而，它们通常依赖于大型标记数据集的监督训练。标记医学图像需要大量的专业知识和时间，并且用于数据增强的典型的手动调整方法无法捕获这种图像中的复杂变化。我们提出了一个自动化的数据增强方法合成标记的医学图像。我们证明了我们的方法分割磁共振成像（MRI）脑扫描的任务。我们的方法只需要一个分段扫描，并利用其他未标记的扫描在半监督的方法。我们从图像中学习一个变换模型，并使用该模型和标记的示例来合成其他标记的示例。每个变换由空间变形场和强度变化组成，能够合成复杂的效果，例如解剖结构和图像采集过程中的变化。我们表明，用这些新的例子训练一个监督分割器，比最先进的一次性生物医学图像分割方法有了显着的改进。我们的代码可在https://github.com/xamyzhao/brainstorm上获得。
2019-04-06 cs.CV
Early Detection and Localization of Pancreatic Cancer by Label-Free Tumor Synthesis
Johns Hopkins University（约翰斯·霍普金斯大学）；The First Affiliated Hospital of Nanjing Medical University（南京医科大学第一附属医院）；Rutgers University（罗格斯大学）
本文提出一种无需人工标注即可在健康胰腺中合成小肿瘤的方法，用于训练AI模型，显著提高胰腺癌早期小肿瘤的检测率、分割性能及跨医院泛化能力。
2023-08-06 cs.CV cs.LG eess.IV
Incremental Semantics-Aided Meshing from LiDAR-Inertial Odometry and RGB Direct Label Transfer
Faculty of Geo-Information Science and Earth Observation (ITC), University of Twente（特温特大学地理信息科学与地球观测学院（ITC））
本文提出基于RGB和LiDAR的增量语义辅助网格生成方法，通过直接标签转移提升几何重建精度，优于ImMesh和Voxblox，为XR和数字建模提供新路径。
2026-04-10 cs.CV cs.RO
Can Semantic Labels Assist Self-Supervised Visual Representation Learning?
University of Science and Technology of China（中国科学技术大学）；Huawei Inc.（华为公司）
近年来，对比学习极大地推动了无监督视觉表示学习的发展。在ImageNet上进行预训练后，与完全监督的方法相比，一些自监督算法报告了更高的迁移学习性能，似乎传递了这样一个信息，即人类标签几乎无助于学习可迁移的视觉特征。在本文中，我们为语义标签的有用性辩护，但指出全监督和自监督方法追求不同类型的特征。为了缓解这个问题，我们提出了一个新的算法命名为监督对比调整邻域（SCAN），最大限度地防止语义指导破坏外观特征嵌入。在一系列的下游任务中，SCAN实现了比以前的全监督和自监督方法更优越的性能，有时增益是显著的。更重要的是，我们的研究表明，语义标签在辅助自我监督方法方面很有用，为社区开辟了一个新的方向。
2020-11-17 cs.CV
Imitating Radiological Scrolling: A Global-Local Attention Model for 3D Chest CT Volumes Multi-Label Anomaly Classification
UCBL1, INSA Lyon, CNRS, INSERM, CREATIS UMR 5220, U1294（UCBL1，里昂INSA，CNRS，INSERM，CREATIS UMR 5220，U1294）；Department of Radiology, Croix-Rousse Hospital, Hospices Civils de Lyon（里昂克鲁瓦索医院放射科，里昂民事医院）；Philips Clinical Informatics, Innovation Paris（飞利浦临床信息学，巴黎创新）
CT-Scroll是一种用于3D胸部CT多标签异常分类的全局-局部注意力模型，通过模拟放射科医生的滚动行为提升分类性能。
2026-09-26 cs.CV
High-confidence pseudo-labels for domain adaptation in COVID-19 detection
Melbourne Data analytics Platform（墨尔本数据分析平台）；The University of Melbourne（墨尔本大学）
本文提出一种用于COVID-19检测的高置信度伪标签领域自适应方法，通过预处理CT扫描分割肺部并训练3D ResNet与Swin Transformer集成模型，利用高置信度预测作为伪标签微调，在COV19D竞赛两项挑战中分别取得93.39%和92.15%的F1分数。
2024-03-20 cs.CV eess.IV
LDCSF: Local depth convolution-based Swim framework for classifying multi-label histopathology images
College of Computer Science and Electronic Engineering（计算机科学与电子工程学院）；Third Xiangya Hospital（湘雅三医院）；Hunan University（湖南大学）；Central South University（中南大学）
针对肝癌组织病理学图像多标签分类准确率低的问题，提出由Swin transformer、局部深度卷积等模块组成的LDCSF框架，提升了多类分类准确率，还发布了相关数据集与代码。
2023-08-21 cs.AI cs.CV
TRIAGE: Risk-Controlled Pseudo-Label Admission for Annotation-Efficient Semi-Supervised Retinal OCT Classification
Rajshahi University of Engineering & Technology（拉杰沙希工程技术大学）；Elite Research Lab LLC（精英研究实验室有限责任公司）；Multimedia University（多媒体大学）
TRIAGE是采用患者级保形风险控制器等模块的半监督框架，仅用少量标注数据就实现了视网膜OCT分类的优异性能，且显著优于现有同类方法。
2026-08-17 cs.CV
Targeted Self Supervision for Classification on a Small COVID-19 CT Scan Dataset
Ryerson University（瑞尔森大学）
传统上，卷积神经网络需要人类标记的大量数据来进行训练。自我监督已被提出作为处理少量标记数据的方法。本研究的目的是确定自我监督是否可以提高小型COVID-19 CT扫描数据集的分类性能。本研究还旨在确定所提出的自我监督策略（有针对性的自我监督）是否是COVID-19成像数据集的可行选择。共有10个实验进行比较所提出的方法的分类性能的自我监督与不同的数据量。实验运行建议的自我监督策略执行显着优于他们的非自我监督的同行。与没有自我监督相比，完全自我监督的准确性提高了近8%。结果表明，自我监督可以提高小型COVID-19 CT扫描数据集的分类性能。有针对性的自我监督代码可以在以下链接中找到：https://github.com/Mewtwo/Targeted-Self-Supervision/tree/main/COVID-CT
2020-11-20 cs.CV eess.IV
Classifications of Skull Fractures using CT Scan Images via CNN with Lazy Learning Approach
Sylhet Engineering College（锡尔赫特工程学院）；Shahjalal University of Science and Technology（沙赫贾拉尔科技大学）
颅骨骨折的分型对放射科医生和研究人员来说都是一项具有挑战性的任务。颅骨骨折会导致骨头碎片，这些碎片会切入大脑，导致出血和其他类型的损伤。因此，对骨折进行早期检测和分类至关重要。在现实世界中，骨折经常发生在多个部位。这使得更难检测骨折类型，其中许多骨折类型可能概括为颅骨骨折。不幸的是，颅骨骨折的手动检测和分类过程是耗时的，威胁着患者的生命。由于深度学习的出现，这个过程可以自动化。卷积神经网络（CNN）是用于图像分类的最广泛的深度学习模型，因为与其他模型相比，它们具有高准确性和出色的结果。我们提出了一个新的模型称为SkullNetV1，包括一个新的CNN，利用CNN的特征提取和懒惰的学习方法，作为一个分类器的颅骨骨折从脑CT图像分类五种骨折类型。我们建议的模型实现了88%的子集准确率，93%的F1评分，0.89至0.98的曲线下面积（AUC），92%的汉明评分和0.04的汉明损失对于这个七类多标记分类。
2022-03-21 cs.AI cs.CV cs.LG
Context Driven Label Fusion for segmentation of Subcutaneous and Visceral Fat in CT Volumes
University of Central Florida（中佛罗里达大学）；St. Louis University（圣路易斯大学）；National Institutes of Health（美国国立卫生研究院）
从计算机断层扫描（CT）扫描中对脂肪组织（脂肪）的量化主要通过手动或半自动图像分割算法进行，其效率有限。在这项工作中，我们提出了一个完全无监督和自动的方法来识别脂肪组织，然后分离皮下脂肪组织（SAT）从内脏脂肪组织（VAT）在腹部区域。我们提供了一个三阶段管道，包括（1）使用梯度点进行初始边界估计，（2）使用几何中值绝对偏差和基于外观的局部离群值分数进行边界细化（3）使用条件随机场（CRF）进行上下文驱动的标签融合，以获得SAT和VAT之间的最终边界。我们评估了151腹部CT扫描所提出的方法，并获得了最先进的94%和91%的骰子相似性分数SAT和增值税分割，以及显着减少脂肪量化误差措施。
2015-12-15 cs.CV
A Weakly Supervised Region-Based Active Learning Method for COVID-19 Segmentation in CT Images
Element AI；Xtract AI；University of British Columbia（不列颠哥伦比亚大学）；SapienML；McGill University（麦吉尔大学）
抗击新型冠状病毒（COVID-19）大流行的关键挑战之一是及时检测和量化疾病的严重程度。肺部计算机断层扫描（CT）可有效评估感染状态。不幸的是，标记CT扫描可能需要大量的时间和精力，每次扫描长达150分钟。我们应对这一挑战，引入了一个可扩展的，快速的，准确的主动学习系统，加速CT扫描图像的标记。传统上，主动学习方法要求标记器在完全监督的情况下注释整个图像，但这可能导致浪费精力，因为许多注释可能是多余的。因此，我们的系统提出的注释器与未标记的区域，承诺高信息含量和低注释成本。此外，该系统允许注释者使用点级监督来标记区域，这比逐像素注释便宜得多。我们在开源COVID-19数据集上的实验表明，使用基于熵的方法对未标记的区域进行排名，比随机标记这些区域的结果要好得多。此外，我们表明，标记图像的小区域比标记整个图像更有效。最后，我们表明，只需标记整个训练集所需的标记工作量的7%，就可以为我们提供在完全注释的训练集上训练模型所获得的性能的90%左右。代码可从以下网址获得：\url{https://github.com/IssamLaradji/covid19_active_learning}。
2020-07-07 cs.CV eess.IV
Self-Paced Contrastive Learning for Semi-supervised Medical Image Segmentation with Meta-labels
ETS Montreal（蒙特利尔高等工程技术学院）
在未标记数据的大型数据集上使用对比学习预训练识别模型已经显示出极大的潜力来提高下游任务的性能，例如，图像分类。然而，在医学成像等领域，收集未标记的数据可能具有挑战性且昂贵。在这项工作中，我们提出了适应对比学习与元标签注释，即使没有额外的未标记的数据是可用的，以提高模型的性能在医学图像分割。元标签（如3D MRI扫描中2D切片的位置或所用设备的类型）通常在采集过程中免费提供。我们使用元标签对图像编码器进行预训练，并对半监督训练进行正则化，其中使用简化的注释数据集进行训练。最后，为了充分利用弱注释，使用自定进度的学习方法来帮助学习并区分有用的标签和噪声。在三个不同的医学图像分割数据集上的结果表明，我们的方法：i）大大提高了在几次扫描上训练的模型的性能，ii）优于以前的对比和半监督方法，iii）接近在完整数据上训练的模型的性能。
2021-08-22 cs.CV
Point Transformer For Coronary Artery Labeling
Shen Zhen Raysight Intelligent Medical Technology Co., Ltd.（深圳睿思特智能医疗科技有限公司）
针对冠状动脉CT血管造影的自动血管标注需求，提出基于Point Transformer的仅需分割结果的标注方法，经53例数据验证有效且易推广至其他血管标注任务。
2023-05-04 cs.CV eess.IV
Automated Spinal MRI Labelling from Reports Using a Large Language Model
University of Oxford（牛津大学）
我们提出了一种利用大型语言模型从放射学报告中自动提取标签的通用流程，在脊柱MRI报告上验证，其性能达到或超过GPT-4，且自动标签训练的分类器性能与手动标注相当。
2024-10-22 cs.CL cs.CV eess.IV
Classifying and Segmenting Microscopy Images Using Convolutional Multiple Instance Learning
University of Toronto（多伦多大学）
卷积神经网络（CNN）在分类和分割任务上都达到了最先进的性能。将CNN应用于显微图像是具有挑战性的，因为缺乏在单细胞水平上标记的数据集。我们使用多实例学习（MIL）将CNN的应用扩展到显微镜图像分类和分割。我们提出了自适应噪声和MIL池功能，一个新的MIL运营商，是强大的离群值。将CNN与MIL相结合，可以使用具有全局标签的全分辨率显微图像来训练CNN。我们的方法基于MIL中使用的聚合函数和CNN中使用的池化层之间的相似性。我们表明，在哺乳动物和酵母显微镜图像上，训练MIL CNN端到端的性能优于以前的几种方法，而不需要任何分割步骤。
2015-11-17 cs.CV q-bio.SC stat.ML
Unsupervised Segmentation Algorithms' Implementation in ITK for Tissue Classification via Human Head MRI Scans
International University of Business Agriculture and Technology（国际商业、农业与技术大学）
生物组织分类是生物医学图像分析领域的重要任务之一。磁共振成像（MRI）在组织分类中非常重要，特别是在脑组织分类的领域中，其能够识别感兴趣的解剖学区域，诸如手术计划、监测治疗、临床药物试验、图像配准、立体定向神经外科手术，本文的任务是在ITK中实现不同的无监督分类算法，并进行组织分类（白质、灰质、脑脊液（CSF）和人脑的背景）。为此，提供了5次灰度头部MRI扫描。为了对脑组织进行分类，使用了三种算法。这些是：大津阈值，贝叶斯分类和贝叶斯分类与高斯平滑。在结果和讨论部分中分析所获得的分类结果。
2020-01-25 cs.CV cs.DC
LeDNet: Localization-enabled Deep Neural Network for Multi-Label Radiography Image Classification
本文提出LeDNet，通过肺部区域定位生成掩膜叠加图像并结合DenseNet-121特征提取，以提升基于胸部X光图像的多标签疾病分类准确率，并在CheXpert数据集上验证其效果。
2024-07-04 cs.CV eess.IV
Unsupervised detection of small hyperreflective features in ultrahigh resolution optical coherence tomography
Massachusetts Institute of Technology（麻省理工学院）；Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Tufts Medical Center（塔夫茨医疗中心）
光学相干断层扫描的最新进展，如高速高分辨率扫描仪和相应的信号处理技术的发展，可能会揭示新的潜在的生物标志物在视网膜疾病。新的可见特征是，例如，年龄相关性黄斑变性中的小的超反射斑点。识别这些新的标志物对于研究与疾病进展和治疗结果的潜在关联至关重要。因此，有必要在3D体积扫描中可靠地检测这些特征。因为手动标记整个体积是不可行的，所以需要自动检测。标记的数据集通常不公开，并且扫描协议和扫描仪类型通常存在很大差异。因此，这项工作的重点是一个无监督的方法，该方法是基于局部峰值检测和随机步行分割检测体积的每个B扫描的小功能。
2023-03-26 cs.CV eess.IV
Accurate Airway Tree Segmentation in CT Scans via Anatomy-aware Multi-class Segmentation and Topology-guided Iterative Learning
Alibaba Group（阿里巴巴集团）；The First Affiliated Hospital of Zhejiang University（浙江大学医学院附属第一医院）；Shanghai Jiao Tong University（上海交通大学）
针对CT气道分割标注不全、类内不平衡问题，提出解剖感知多类别分割结合拓扑引导迭代自学习方法，在多项公开挑战及数据集上实现气道分割灵敏度与完整性的显著提升。
2023-06-15 cs.CV eess.IV
A New Parallel Algorithm for Two-Pass Connected Component Labeling
Northwestern University（西北大学）
连通域标记（CCL）是模式识别和图像处理中的一个重要步骤。它为像素分配标签，使得共享相同特征的相邻像素被分配相同的标签。通常情况下，CCL需要对数据进行多次处理。我们专注于两遍技术，其中每个像素在第一遍中被赋予临时标签，而在第二遍中被分配实际标签。我们提出了一个可扩展的并行两遍CCL算法，称为PAREMSP，它采用了扫描策略和最佳的union-find技术称为REMSP，它使用REM的算法存储标签等价信息的像素在2-D图像。在第一遍中，我们将图像划分为多个线程，每个线程与REMSP同时运行扫描阶段。在第二阶段，我们将最终标签分配给像素。由于REMSP易于并行化，我们使用并行版本的REMSP合并边界上的像素。我们的实验表明，PAREMSP的可扩展性，实现加速到$20.1$使用$24$核心共享内存架构上使用的大小为$465.20$ MB的图像的OpenMP。我们发现，我们提出的并行算法实现了线性缩放为一个大的分辨率固定的问题大小的处理元素的数量增加。此外，并行算法不使用任何硬件特定的例程，因此是高度可移植的。
2016-06-20 cs.CV cs.DS cs.PF
