Symmetry Based Cluster Approach for Automatic Recognition of the Epileptic Focus in Brain Using PET Scan Image : An Analysis
Sathyabama University（萨蒂亚巴马大学）；Narasu’s Sarathy Institute of Technology（纳拉苏萨拉蒂技术学院）
癫痫病灶的识别是癫痫患者潜在外科治疗筛选的重要诊断。由于图像空间分辨率低，噪声数据多，精确定位是一个挑战。正电子发射断层扫描（PET）现在已经取代了这个问题，并且具有很高的分辨率。本文主要研究基于对称性聚类的脑功能图像癫痫发作自动定位方法。该方法提出了一种全自动的基于对称性的PET序列脑异常检测方法。PET图像在空间上归一化为医学数字成像和通信（DICOM）标准，然后使用基于对称性的聚类方法使用医学图像处理、分析和可视化（MIPAV）工具对其进行训练。性能的演变被认为是诊断的准确性等度量。所获得的结果确实有助于外科医生自动识别癫痫灶。
2013-03-04 cs.CV
'Squeeze & Excite' Guided Few-Shot Segmentation of Volumetric Images
LMU München（慕尼黑大学）；Technical University of Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
深度神经网络能够实现高度准确的图像分割，但需要大量手动注释的数据进行监督训练。少样本学习旨在通过从一些注释的支持示例中学习新类来解决这个缺点。我们介绍了一种新的Few-Shot框架，用于分割只有几个注释切片的体积医学图像。与计算机视觉的其他相关工作相比，主要挑战是缺乏预先训练的网络和医学扫描的体积性质。我们解决这些挑战，提出了一个新的架构为Few-Shot分割，采用“挤压和激发”块。我们的双臂架构包括一个空调臂，它处理注释的支持输入，并生成一个特定于任务的表示。该表示被传递到分割器臂，分割器臂使用该信息来分割新的查询图像。为了促进调节器和分割器臂之间的有效交互，我们建议使用“通道挤压和空间激发”块-一种轻量级计算模块-其使得两个臂之间的重交互可以忽略不计地增加模型复杂性。这一贡献使我们能够在不依赖于预先训练的模型的情况下执行图像分割，而预先训练的模型通常不适用于医学扫描。此外，我们提出了一个有效的策略，体积分割最佳配对的几个切片的支持量的所有切片的查询量。我们进行器官分割实验的全身对比度增强CT扫描内脏数据集。我们提出的模型在分割准确性方面优于多个基线和现有方法。源代码可在https://github.com/abhi4ssj/few-shot-segmentation上获得。
2019-10-11 cs.CV
A 3D CNN Network with BERT For Automatic COVID-19 Diagnosis From CT-Scan Images
Shenzhen Deepcam Information Technologies（深圳深图信息技术有限公司）；LinkSprite Technologies（联芯通科技）
我们提出了一个自动COVID 1 -19诊断框架，从肺部CT扫描切片图像。在这个框架中，首先使用分割技术对CT扫描体积的切片图像进行预处理，以过滤掉闭合肺的图像，并去除无用的背景。然后，使用一种重新排序方法来选择一组或多组固定数量的切片图像用于训练和验证。使用具有BERT的3D CNN网络来对这组所选切片图像进行分类。在该网络中，还提取了嵌入特征。在体积中存在多于一组切片图像的情况下，提取所有组的特征并将其汇集到整个CT扫描体积的全局特征向量中。一个简单的多层感知器（MLP）网络被用来进一步分类的聚合特征向量。模型在提供的训练和验证数据集上进行训练和评估。在验证数据集上，准确度为0.9278，F1得分为0.9261。
2021-10-04 cs.CV eess.IV
Generalised Automatic Anatomy Finder (GAAF): A general framework for 3D location-finding in CT scans
The University of Manchester（曼彻斯特大学）
我们提出了GAAF，一个广义的自动解剖学，在三维CT扫描的通用解剖位置的识别。GAAF是一个端到端的管道，具有用于数据预处理、模型训练和推理的专用模块。在其核心，GAAF使用自定义的本地化卷积神经网络（CNN）。CNN模型体积小，重量轻，可以调整以适应特定的应用。到目前为止，GAAF框架已经在头部和颈部进行了测试，并且能够找到诸如脑干的质心等解剖位置。GAAF在开放获取的数据集中进行了评估，能够实现准确和强大的定位性能。我们所有的代码都是开源的，可以在https://github.com/rrr-uom-projects/GAAF上找到。
2022-09-13 cs.CV eess.IV
Automatic Detection of Alzheimer's Disease with Multi-Modal Fusion of Clinical MRI Scans
Center for Data Science（数据科学中心）；New York University（纽约大学）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）；NYU Center for Data Science（纽约大学数据科学中心）
本文提出一种基于AlexNet的多模态深度学习模型，融合T1和FLAIR脑MRI扫描，用于自动区分CN、MCI和AD三个疾病阶段。
2023-11-30 cs.CV eess.IV
An Empirical Analysis for Zero-Shot Multi-Label Classification on COVID-19 CT Scans and Uncurated Reports
ARTORG Center for Biomedical Engineering Research（ARTORG生物医学工程研究中心）；University of Bern（伯尔尼大学）；Bern University Hospital（伯尔尼大学医院）；Lindenhofspital（林登霍夫医院）；Campus Stiftung Lindenhof Bern（伯尔尼林登霍夫基金会校区）
本研究利用医院非结构化数据和CT扫描的细粒度细节，基于对比视觉语言学习进行零样本多标签分类，辅助放射科医生检测肺栓塞及肺部复杂病变，为医学多模态预训练中细粒度任务提供实证分析。
2023-09-06 cs.CL cs.CV cs.LG
Feature-prompting GBMSeg: One-Shot Reference Guided Training-Free Prompt Engineering for Glomerular Basement Membrane Segmentation
Taiyuan University of Technology（太原理工大学）；University of Science and Technology of China（中国科学技术大学）；Second Hospital of Shanxi Medical University（山西医科大学第二医院）
针对肾小球基底膜自动分割工具缺失的问题，提出免训练框架GBMSeg，基于单样本参考结合自动提示工程实现TEM图像精准分割，性能优于现有单/少样本方法，推动医学图像基础模型自动提示发展。
2024-06-24 cs.CV
Few-shot Learning for CT Scan based COVID-19 Diagnosis
Korea University（高丽大学）；Drexel University（德雷塞尔大学）
2019年冠状病毒病（COVID-19）是国际关注的突发公共卫生事件，感染了188个国家和地区的4000多万人。胸部计算机断层扫描（CT）成像技术因其高诊断准确性和鲁棒性，已成为COVID-19大规模检测不可或缺的方式。最近，深度学习方法已成为自动筛选医学图像的有效工具，也被考虑用于COVID-19诊断。然而，与COVID-19相关的高感染风险导致所收集的标记数据的相对稀疏，限制了此类方法的性能。此外，准确标记CT图像需要放射科医生的专业知识，使得该过程昂贵且耗时。为了解决上述问题，我们提出了一种基于监督域自适应的COVID-19 CT诊断方法，该方法可以在只有少量标记CT扫描样本可用时有效执行。为了补偿标记数据的稀疏性，所提出的方法利用了大量的合成COVID-19 CT图像，并通过跨域训练机制将网络从源域（合成数据）调整到目标域（真实数据）。实验结果表明，该方法在基于Few-Shot COVID-19 CT成像的诊断任务上实现了最先进的性能。
2021-02-01 cs.CV cs.LG eess.IV
Semi-Automatic RECIST Labeling on CT Scans with Cascaded Convolutional Neural Networks
Imaging Biomarkers and Computer-Aided Diagnosis Laboratory（影像生物标志物与计算机辅助诊断实验室）；NVIDIA（英伟达）；Clinical Image Processing Service（临床图像处理服务部）；Ping An Insurance Company of China（中国平安保险（集团）股份有限公司）；National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）
实体瘤疗效评价标准（RECIST）是评价癌症患者治疗疗效的肿瘤范围标准。因此，RECIST注释必须准确。然而，由放射科医生手动标记的RECIST注释需要专业知识，并且耗时，主观，并且容易在不同观察者之间产生不一致。为了缓解这些问题，我们提出了一种基于级联卷积神经网络的方法来半自动标记RECIST注释，并大大减少注释时间。该方法包括两个阶段：病变区域归一化和RECIST估计。我们采用空间Transformer网络（SVM）进行病变区域归一化，其中定位网络被设计用于预测病变区域和具有多任务学习策略的变换参数。对于RECIST估计，我们采用堆叠沙漏网络（SHN），引入关系约束损失以提高估计精度。可通过端到端的方式来学习SHN和ESTA。我们在DeepLesion数据集上训练了我们的系统，获得了一个共识模型，该模型是在多位放射科医生在多年时间内进行的RECIST注释上训练的。重要的是，当根据另外两名放射科医师评分员的阅片者间变异性进行判断时，我们的系统表现得更稳定，变异性更小，这表明可以可靠地获得RECIST注释，减少劳动力和时间。
2018-06-25 cs.CV
Data Augmentation and CNN Classification For Automatic COVID-19 Diagnosis From CT-Scan Images On Small Dataset
LinkSprite Technologies（LinkSprite科技公司）；Shenzhen Deepcam Information Technologies（深圳深视信息科技公司）
我们提出了一个自动COVID 1 -19诊断框架，从肺部CT图像。重点是小数据集上的信号处理和分类，努力探索数据准备和增强，以提高二维CNN分类模型的泛化能力。我们提出了一种独特而有效的数据增强方法，使用多个Hounsfield单位（HU）归一化窗口。此外，对原始切片图像进行裁剪以排除背景，并应用滤波器滤除闭合肺图像。对于分类网络，我们选择使用2D Densenet和Xception以及特征金字塔网络（FPN）。为了进一步提高分类精度，使用多个CNN模型和HU窗口的集合。在训练/验证数据集上，我们实现了93.39%的患者分类准确率。
2021-09-30 cs.CV eess.IV
SAM3D: Zero-Shot Semi-Automatic Segmentation in 3D Medical Images with the Segment Anything Model
University of Pennsylvania（宾夕法尼亚大学）
SAM3D基于Segment Anything Model，通过三维折线提示、多轴切片、预训练模型推理和三维重组细化，在无需训练或微调的情况下实现三维医学图像的零样本半自动分割，有望辅助手术规划、诊断成像和科研。
2024-08-07 cs.CV eess.IV
Automatic detection and diagnosis of sacroiliitis in CT scans as incidental findings
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Hadassah Hebrew University Medical Center（哈达萨希伯来大学医学中心）；Sheba Medical Center（舍巴医学中心）；Tel Aviv University（特拉维夫大学）
骶髂关节炎的早期诊断可能会导致预防性治疗，从长远来看，可以显着提高患者的生活质量。通常情况下，下背部或腹部的CT扫描是为疑似背痛而采集的。然而，由于健康的骶髂关节和炎症的骶髂关节之间的差异在早期阶段是微妙的，条件可能会错过。我们开发了一种新的自动算法，用于骶髂关节炎CT扫描的诊断和分级，作为偶然发现，用于接受CT扫描作为下背痛锻炼的一部分的患者。该方法基于监督机器和深度学习技术。输入是包括患者骨盆的CT扫描。输出是每个骶髂关节的诊断。该算法由四个步骤组成：1）使用几何学和U-Net分类器计算包括骨盆关节区域的初始感兴趣区域（ROI）; 2）使用四树随机森林细化ROI以检测两个骶髂关节; 3）使用自定义切片CNN分类器对每个CT切片中的每个骶髂关节进行单独的骶髂关节炎分级，以及; 4）骶髂关节炎的诊断和分级，通过使用随机森林组合各个切片等级。484骶髂关节的实验结果产生的二进制和3类的情况下分类的准确性分别为91.9%和86%，95%和82%的灵敏度，和曲线下面积分别为0.97和0.57。CT扫描的自动计算机分析有可能成为一种有用的方法，骶髂关节炎的诊断和分级作为一个偶然的发现。
2019-08-14 cs.CV cs.LG eess.IV
Zero-shot 3D Segmentation of Abdominal Organs in CT Scans Using Segment Anything Model 2: Adapting Video Tracking Capabilities for 3D Medical Imaging
The University of Tokyo（东京大学）；The University of Tokyo Hospital（东京大学医学部附属医院）；Jichi Medical University（自治医科大学）；Chiba University（千叶大学）
本研究评估 SAM 2 零样本分割 CT 腹部器官的能力，发现其对大器官效果较好，且起始层面与负向提示显著影响性能。
2025-01-14 cs.CV eess.IV
CovidExpert: A Triplet Siamese Neural Network framework for the detection of COVID-19
Shahjalal University of Science and Technology（沙赫贾拉勒科技大学）
感染COVID-19的患者可能会出现肺炎样症状以及可能损害肺部的呼吸系统问题。根据医学图像，可以使用各种机器学习方法来准确地识别和预测冠状病毒疾病。大多数已发表的机器学习方法可能需要大量的超参数调整，并且不适合小数据集。少样本学习算法通过利用相对小的数据集中的数据，旨在减少对大数据集的需求。这启发我们开发了一个少样本学习模型，用于早期检测COVID-19，以减少这种危险疾病的后效应。所提出的架构结合了少样本学习与预训练的卷积神经网络的集合，从CT扫描图像中提取特征向量进行相似性学习。提出的三重连体网络作为少样本学习模型，将CT扫描图像分为正常、COVID-19和社区获得性肺炎。建议的模型达到了98.719%的总体准确性，99.36%的特异性，98.72%的灵敏度，和ROC评分为99.9%，只有200 CT扫描每个类别的训练数据。
2023-02-17 cs.CV cs.LG
Pose-GuideNet: Automatic Scanning Guidance for Fetal Head Ultrasound from Pose Estimation
Institute of Biomedical Engineering, University of Oxford（牛津大学生物医学工程研究所）；Nuffield Department of Women’s & Reproductive Health, University of Oxford（牛津大学纳菲尔德妇女与生殖健康系）
本研究提出Pose-GuideNet，一种无需三维超声的二维/三维配准方法，通过估计胎儿头部三维姿态引导超声医师定位标准切面，在临床任务中表现优异，验证了无传感器环境下徒手超声导航的可行性。
2024-08-19 cs.CV eess.IV
Comparative study of deep learning methods for the automatic segmentation of lung, lesion and lesion type in CT scans of COVID-19 patients
KU Leuven（鲁汶大学）；UZ Leuven（鲁汶大学医院）；Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学）；imec
最近对COVID-19的研究表明，CT成像除了有助于了解疾病外，还提供了评估疾病进展和辅助诊断的有用信息。越来越多的研究建议使用深度学习来通过胸部CT扫描提供快速准确的COVID-19量化。感兴趣的主要任务是在确诊或疑似COVID-19患者的胸部CT扫描中自动分割肺部和肺部病变。在这项研究中，我们使用多中心数据集比较了12种深度学习算法，包括开源和内部开发的算法。结果表明，集成不同的方法可以提高肺部分割，二元病变分割和多类病变分割的整体测试集性能，导致平均Dice得分分别为0.982，0.724和0.469。分割得到的二元病变，平均绝对体积误差为91.3 ml。一般来说，区分不同病变类型的任务更加困难，实变和毛玻璃样阴影的平均绝对体积差为152 ml，平均Dice评分分别为0.369和0.523。所有方法均执行二进制病变分割，平均体积误差优于人类评估者的视觉评估，表明这些方法足够成熟，可用于临床实践中的大规模评估。
2022-01-10 cs.CV eess.IV
Zero-shot System for Automatic Body Region Detection for Volumetric CT and MR Images
本文提出零样本系统用于体积CT和MRI图像自动身体区域检测，通过预训练模型实现无监督分割，展示了基于规则和多模态语言模型的性能对比。
2026-02-09 cs.AI cs.CV
Rapid Whole Slide Imaging via Learning-based Two-shot Virtual Autofocusing
Harbin Institute of Technology（哈尔滨工业大学）；Peng Cheng Laboratory（鹏城实验室）；Tsinghua University（清华大学）；McMaster University（麦克马斯特大学）；Shanghai Jiao Tong University（上海交通大学）
全切片成像（WSI）是一种新兴的数字病理学技术。自聚焦过程是影响WSI性能的主要因素。传统的自动聚焦方法要么由于重复的机械运动而耗时，要么需要额外的硬件，因此与当前的WSI系统不兼容。在本文中，我们提出了\textit{virtual autofocusing}的概念，它不依赖于机械调整进行重新聚焦，而是恢复在焦点图像离线学习为基础的方式。对于初始焦点位置，我们只需要进行两次成像，而传统的方法通常需要在每次扫描中进行多达21次的图像拍摄。考虑到两个捕获的失焦图像保留了关于底层对焦图像的部分信息，我们提出了一种基于U-Net启发的深度神经网络的方法，用于将它们融合到恢复的对焦图像中。所提出的方案是快速的组织切片扫描，使高通量的数字病理图像的生成。实验结果表明，我们的计划取得了令人满意的重聚焦性能。
2020-03-14 cs.CV eess.IV
ScanSSD: Scanning Single Shot Detector for Mathematical Formulas in PDF Document Images
Rochester Institute of Technology（罗切斯特理工学院）
我们介绍了扫描Single Shot检测器（ScanSSD），用于定位从文本偏移并嵌入文本行中的数学公式。ScanSSD仅使用视觉特征进行检测：不使用格式或排版信息，如布局，字体或字符标签。给定600 dpi文档页面图像，Single Shot Detector（SSD）使用滑动窗口以多个尺度定位公式，之后汇集候选检测以获得页面级结果。对于我们的实验，我们使用TFD-ICDAR 2019 v2数据集，这是GTDB扫描数学文章集合的修改。ScanSSD以高准确度检测公式中的字符，获得0.926的f分数，并检测整体召回率高的公式。检测错误很大程度上很小，例如在大的空白间隙处分割公式（例如，对于变量约束）和合并相邻文本行上的公式。获得公式检测f分数为0.796（IOU $\geq0.5$）和0.733（IOU $\ge 0.75$）。我们的数据、评估工具和代码是公开的。
2020-03-18 cs.CV
Prediction of low-keV monochromatic images from polyenergetic CT scans for improved automatic detection of pulmonary embolism
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；University Hospital Heidelberg（海德堡大学医院）；German Cancer Research Center（德国癌症研究中心）；University Hospital Essen（埃森大学医院）
基于探测器的光谱计算机断层扫描是一种最新的双能量CT（DECT）技术，提供了获得光谱信息的可能性。根据该光谱数据，可以导出不同类型的图像，其中包括虚拟单能（monoE）图像。MonoE图像可能会减少伪影，提高对比度，并且总体上包含较低的噪声值，使其成为更好描绘的理想候选者，从而提高血管异常的诊断准确性。在本文中，我们正在训练卷积神经网络~（CNN），它可以模拟传统单能量CT采集的monoE图像的生成。为此，我们研究了几种常用的图像翻译方法。我们证明，这些方法，同时创建视觉上相似的输出，导致性能较差时，用于肺栓塞（PE）的自动分类。我们通过使用多任务优化方法扩展了这些方法，在该方法下，网络实现了改进的分类以及生成结果，如PSNR和SSIM分数所反映的。此外，在RSNA-PE挑战数据集的一个子集上评估我们提出的框架表明，与朴素的分类方法相比，我们能够将受试者操作特征曲线（AuROC）下的面积从0.8142提高到0.8420。
2021-02-23 cs.CV cs.LG eess.IV
Few-shot Personalized Scanpath Prediction
Stony Brook University（石溪大学）；EPFL（洛桑联邦理工学院）；The University of Adelaide（阿德莱德大学）
本文提出少样本个性化扫视路径预测任务FS-PSP，并设计主体嵌入网络SE-Net来捕捉个体独特的扫视路径表征，使模型无需微调即可对新受试者进行准确预测。
2025-04-07 cs.CV
Generalization of pixel-wise phase estimation by CNN and improvement of phase-unwrapping by MRF optimization for one-shot 3D scan
Kyushu University（九州大学）；Hiroshima City University（广岛市立大学）；Kinki University（近畿大学）；Advanced Industrial Science and Technology（产业技术综合研究所）
针对单次3D扫描重建稀疏且复杂图案易受噪声影响导致解码不稳的问题，提出CG预训练U-net像素级相位插值、MRF鲁棒对应查找及曲线约束形状细化方法，并在强噪声真实数据上验证有效。
2023-09-26 cs.CV
Simple Methods for Scanner Drift Normalization Validated for Automatic Segmentation of Knee Magnetic Resonance Imaging - with data from the Osteoarthritis Initiative
Biomediq A/S（Biomediq公司）；University of Copenhagen（哥本哈根大学）
扫描仪漂移是一种众所周知的磁共振成像（MRI）伪影，其特征在于信号逐渐退化和扫描强度随时间变化。此外，硬件和软件更新可能意味着信号的突然变化。对于纵向研究中使用的自动图像分析方法，组合效应尤其具有挑战性。这意味着增加了测量变化和估计偏差的风险（例如，结构的体积变化）。我们提出了两种完全不同的扫描仪漂移归一化方法，并证明了使用全自动KneeIQ框架分割膝关节MRI的性能。该确认包括来自高场和低场MRI的总共1975次扫描。结果表明，表示为Atlas仿射归一化的预处理方法显著消除了扫描仪漂移效应，并确保软骨体积变化定量与手动专家评分一致。
2017-12-22 cs.CV
Automatically Annotating Indoor Images with CAD Models via RGB-D Scans
Graz University of Technology（格拉茨技术大学）；École des Ponts（巴黎桥路学院）；Univ Gustave Eiffel（古斯塔夫·埃菲尔大学）；CNRS（法国国家科学研究中心）
提出了一种基于RGB-D扫描的室内场景图像自动标注方法。通过3D专家的视觉评估，我们表明，我们的方法检索的注释至少与手动注释一样准确，因此可以用作地面实况，而无需手动注释3D数据的负担。我们使用合成分析方法来实现这一点，该方法将CAD模型的渲染与捕获的场景进行比较。我们引入了一个“克隆过程”，识别具有相同几何形状的对象，用相同的CAD模型注释这些对象。这使我们能够获得ScanNet数据集和最近的ARKitScenes数据集的完整注释。
2022-12-22 cs.CV
Fully Convolutional Deep Network Architectures for Automatic Short Glass Fiber Semantic Segmentation from CT scans
Volume Graphics GmbH（Volume Graphics有限公司）；University Medical Center Mannheim, Heidelberg University（海德堡大学曼海姆大学医学中心）；Heidelberg University（海德堡大学）；University of Padova（帕多瓦大学）
我们首次尝试使用深度学习架构在中等（3.9 μm各向同性）和低（8.3 μm各向同性）分辨率下从X射线计算机断层扫描体积数据集执行短玻璃纤维语义分割。我们对合成和真实CT扫描进行了实验，并使用2D和3D内核评估了深度全卷积架构。我们的人工神经网络在中低分辨率扫描方面都优于现有方法。
2019-01-04 cs.CV
Automatic cinematography for 360 video
JOANNEUM RESEARCH - DIGITAL（约阿内姆研究数字研究所）
我们描述了我们的方法自动生成的视觉上有趣的相机路径（自动摄影）从360视频。基于场景对象的信息，对不同的镜头类型构造多个镜头假设，并绘制出最佳镜头假设。
2020-09-02 cs.CV
Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search
ByteDance Inc.（字节跳动）
神经结构搜索（NAS）已经引起了越来越多的关注。为了降低搜索成本，最近的工作探索了跨模型的权重共享，并在One-Shot NAS中取得了重大进展。然而，已经观察到，具有更高单次模型准确度的模型在独立训练时不一定表现更好。为了解决这个问题，在本文中，我们提出了渐进自动设计的搜索空间，命名为PAD-NAS。不同于以往的方法，其中相同的操作搜索空间是由所有层共享的超网，我们制定了一个渐进的搜索策略，基于操作修剪，并建立一个逐层操作搜索空间。通过这种方式，PAD-NAS可以自动设计每一层的操作，并实现搜索空间质量和模型多样性之间的权衡。在搜索过程中，我们还考虑了硬件平台的限制，有效的神经网络模型部署。在ImageNet上的大量实验表明，我们的方法可以达到最先进的性能。
2021-12-16 cs.CV
One Shot Learning for Edge Detection on Point Clouds
School of Information Science and Technology, Northwest University（信息科学与技术学院，西北大学）；Department of Computer Science, Tel Aviv University（计算机科学系，特拉维夫大学）
本文提出OSFENet，通过设计过滤KNN表面补丁表示实现单样本学习，提升点云边缘检测性能，实验验证其在多个数据集上的有效性。
2026-04-24 cs.CV
Adaptive Prompt Learning with SAM for Few-shot Scanning Probe Microscope Image Segmentation
College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院）；National University of Singapore（新加坡国立大学）
提出APL-SAM框架，通过自适应提示学习模块和多源多级掩码解码器，在少样本SPM图像分割中显著优于原始SAM及现有方法。
2024-10-16 cs.CV
3D Scanning System for Automatic High-Resolution Plant Phenotyping
Australian National University（澳大利亚国立大学）；CSIRO（澳大利亚联邦科学与工业研究组织）；Queensland University of Technology（昆士兰科技大学）
薄叶、细茎、自封闭、非刚性和缓慢变化的结构使植物难以进行三维（3D）扫描和重建-这是自动视觉表型分析的两个关键步骤。由于扫描分辨率和校准精度的限制，许多当前的解决方案，如激光扫描，结构光和多视图立体可能难以获得可用的3D模型。作为回应，我们开发了一种快速、低成本的3D扫描平台，可以在旋转台上对植物进行成像，并以植物为中心配备两台倾斜的DSLR相机。这使用新的相机校准和背景去除方法来实现高精度的3D重建。我们评估了系统的准确性，使用3D视觉船体重建算法应用于2个塑料模型的双子叶植物，2高粱植物和2小麦植物在不同的倾斜角度。扫描时间范围从3分钟（使用2个倾斜角度捕获72个图像）到30分钟（使用10个倾斜角度捕获360个图像）。手动测量塑料模型的叶片长度、宽度、面积和周长，并与扫描系统的测量结果进行比较：结果在3-4%的范围内。扫描系统获得的3D重建显示出与所有六种植物标本非常好的几何一致性，即使是薄叶细茎的植物。
2017-02-26 cs.CV
Zero-shot Learning of Individualized Task Contrast Prediction from Resting-state Functional Connectomes
Cornell University（康奈尔大学）；Weill Cornell Medicine（威尔康奈尔医学院）
针对任务态fMRI配对数据稀缺导致难以预测新任务的问题，提出OPIC方法，利用静息态功能连接组与组平均对比实现零样本个体化任务对比预测，对新任务的预测效果优于组平均且媲美域内训练的SOTA模型。
2023-10-21 cs.CV
Generating Automatically Print/Scan Textures for Morphing Attack Detection Applications
Hochschule Darmstadt（达姆施塔特应用科学大学）；National Research Center for Applied Cybersecurity ATHENE（应用网络安全ATHENE国家研究中心）
针对形变攻击检测领域训练数据集规模小、人工构建难度高的问题，本文提出两种基于迁移-迁移的自动生成打印/扫描人脸图像的方法，将其加入训练后在FRGC/FERET数据库上取得了更低的等错误率。
2024-08-18 cs.CV
GenPC: Zero-shot Point Cloud Completion via 3D Generative Priors
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
GenPC提出利用3D生成先验的零样本点云补全框架，通过深度提示模块连接部分点云与生成模型，并用几何保持融合保留原始结构，实现真实世界扫描的高质量补全。
2025-02-27 cs.CV
Automatic Registration between Cone-Beam CT and Scanned Surface via Deep-Pose Regression Neural Networks and Clustered Similarities
Seoul National University（首尔大学）；Harvard University（哈佛大学）；Seoul National University School of Dentistry（首尔大学牙医学院）；Soong-sil University（崇实大学）
颌面部锥形束计算机断层扫描（CT）图像和扫描牙模型之间的计算机配准是牙种植或正颌外科手术规划的必要前提。我们提出了一种新的方法，执行锥束CT图像和光学扫描模型之间的全自动配准。为了构建鲁棒且自动的初始配准方法，我们的方法在简化域中应用深度姿态回归神经网络（即，2-三维图像）。随后，通过最优聚类进行精细配准。多数表决系统实现了全局最优的转换，而每个集群试图优化局部转换参数。聚类的一致性决定了它们对于最优聚类集的候选资格。基于最优聚类之间的一致性，有效地去除了等值面中的边远区域。配准的准确性通过10个标志点在扫描模型上的欧氏距离来评估，这些标志点由该领域的专家注释。实验结果表明，该方法的配准精度，衡量标志距离，优于其他现有方法的30.77%至70%。除了实现高准确度之外，我们提出的方法既不需要人类交互也不需要先验（例如，等值面提取）。我们的研究的主要意义是双重的：1）轻加权神经网络的就业，这表明神经网络在提取姿势线索，可以很容易地获得的适用性和2）介绍了一个最佳的基于聚类的注册方法，可以避免在匹配过程中的金属伪影。
2019-07-29 cs.CV
Scan-to-BIM for As-built Roads: Automatic Road Digital Twinning from Semantically Labeled Point Cloud Data
City University of Hong Kong（香港城市大学）；Shenzhen Research Institute of City University of Hong Kong（香港城市大学深圳研究院）；University of Cambridge（剑桥大学）
针对建成道路几何数字孪生构建的自动化与精度等问题，提出基于语义标记点云的scan-to-BIM框架，覆盖六类道路资产，经多步处理生成数字孪生，在真实路段上实现高精度与较快处理速度。
2024-06-18 cs.CV
Automatic Tooth Segmentation from 3D Dental Model using Deep Learning: A Quantitative Analysis of what can be learnt from a Single 3D Dental Model
Colgate-Palmolive Company（高露洁-棕榄公司）；Rutgers University（罗格斯大学）
牙齿的三维分割是数字牙颌学的一个重要课题。已经提出了几种深度学习方法，用于从3D牙齿模型或口内扫描中自动分割牙齿。这些方法需要注释的3D口内扫描。手动注释3D口内扫描是一项艰巨的任务。一种方法是设计自我监督的方法，以减少人工标签的努力。与其他类型的点云数据（如场景点云或形状点云数据）相比，三维牙齿点云数据具有非常规则的结构和较强的形状先验。我们看看有多少代表性的信息可以从一个单一的3D口内扫描学习。我们定量评估这十种不同的方法，其中六种是通用的点云分割方法，而其他四种是牙齿分割的具体方法的帮助。令人惊讶的是，我们发现，在单次3D口内扫描训练中，Dice得分可以高达0.86，而整个训练集的Dice得分为0.94。我们的结论是，分割方法可以学习大量的信息，从一个单一的三维牙齿点云扫描在适当的条件下，如数据增强。我们是第一个从单个3D口内扫描中定量评估和展示深度学习方法的表示学习能力的人。这可以通过最大限度地利用可用数据来实现在极端数据限制情况下构建用于牙齿分割的自我监督方法。
2022-09-16 cs.CV
Geometry-Grounded Articulation and Test-Time Adaptation for Zero-Shot, Scalable Shape Matching in the Wild
提出ATM零样本框架，通过先表达后匹配范式，利用预训练视觉基础模型和参数化形状先验，从多视图渲染中估计参数化形状模型，并基于多视图几何一致性进行系统校准，实现无需对应训练、抗拓扑噪声、兼容多种3D模态的鲁棒密集对应。
2026-09-22 cs.CV
Few-shot Class-incremental Learning for 3D Point Cloud Objects
North South University（北南大学）；Australian National University（澳大利亚国立大学）；Commonwealth Scientific and Industrial Research Organisation（澳大利亚联邦科学与工业研究组织）；University of Adelaide（阿德莱德大学）；The University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）
Few-Shot类增量学习（FSCIL）旨在使用几个示例为一组新的类增量微调模型（在基类上训练），而不会忘记以前的训练。最近的努力主要在2D图像上解决这个问题。然而，由于摄像机技术的进步，3D点云数据变得比以往任何时候都更可用，这就需要考虑在3D数据上使用FSCIL。本文讨论了FSCIL在3D域。除了众所周知的灾难性遗忘过去的知识和过拟合的Few-Shot数据的问题，3D FSCIL可以带来新的挑战。例如，在实际场景中，基类可能包含许多合成实例。相比之下，只有一些真实的扫描样本（从RGBD传感器）的新类是在增量步骤。由于数据从合成到真实的变化，FSCIL承受了额外的挑战，在以后的增量步骤中降低了性能。我们试图解决这个问题，使用Microshapes（正交基向量）通过使用一组预定义的规则来描述任何3D对象。它支持使用Few-Shot示例进行增量训练，最大限度地减少合成数据与真实数据的差异。我们使用流行的合成数据集（ModelNet和ShapeNet）和3D实时扫描数据集（ScanObjectNN和CO3D）提出了新的3D FSCIL测试协议。通过比较国家的最先进的方法，我们建立了我们的方法在3D域的有效性。
2022-07-22 cs.CV
Few-Shot Class-Incremental Learning For Efficient SAR Automatic Target Recognition
Information Technologies Institute, Centre for Research & Technology Hellas（信息技术研究所，希腊研究与技术中心）
针对SAR-ATR数据稀缺和增量识别难题，提出基于双分支架构的FSCIL框架，利用离散傅里叶变换、全局滤波器和轻量交叉注意力捕获长期依赖，结合焦点损失和中心损失，在MSTAR上优于现有方法。
2025-05-26 cs.CV
Automatic detection of rare pathologies in fundus photographs using few-shot learning
Inserm（法国国家健康与医学研究院）；Univ Bretagne Occidentale（布列塔尼西部大学）；IMT Atlantique（大西洋矿业与电信学院）；APHP（巴黎公立医院集团）
在过去的几十年中，眼底照片的大数据集已被收集在糖尿病视网膜病变（DR）筛查网络。通过深度学习，这些数据集被用于训练DR和其他一些常见病理的自动检测器，目标是自动筛选。到目前为止，一个挑战限制了这种系统的采用：自动检测器忽略了眼科医生目前检测到的罕见疾病，如视乳头水肿或前部缺血性视神经病变。原因是标准的深度学习需要太多这些条件的例子。然而，这种限制可以通过少样本学习来解决，这是一种机器学习范例，其中分类器必须泛化到训练中看不到的新类别，仅给出该类别的几个示例。本文提出了一种新的少样本学习框架，该框架扩展了针对频繁条件进行训练的卷积神经网络（CNN），并使用无监督概率模型进行罕见条件检测。这是基于这样的观察，即CNN经常将包含相同异常的照片视为相似，即使这些CNN被训练来检测不相关的条件。这一观察是基于t-SNE可视化工具，我们决定将其纳入我们的概率模型。对来自OPHDIAT筛查网络的164，660次筛查检查的数据集进行的实验表明，41种疾病中有37种可以检测到ROC曲线下面积（AUC）大于0.8（平均AUC：0.938）。特别是，这个框架在检测罕见条件方面明显优于其他框架，包括多任务学习、迁移学习和连体网络，这是另一种少样本学习解决方案。我们希望这些更丰富的预测能够引发自动眼部病理筛查的采用，这将彻底改变眼科的临床实践。
2020-02-10 cs.CV
SEM-CLIP: Precise Few-Shot Learning for Nanoscale Defect Detection in Scanning Electron Microscope Image
Zhejiang University（浙江大学）
针对集成电路制造中SEM图像纳米级缺陷检测面临的数据少、背景干扰大等问题，提出定制化CLIP的少样本学习方法SEM-CLIP，结合领域知识文本提示与文本引导特征工程，仅用少量标注数据就实现了优异的缺陷分类与分割效果，降低了半导体行业标注人力成本。
2025-02-15 cs.CV cs.LG
TSegAgent: Zero-Shot Tooth Segmentation via Geometry-Aware Vision-Language Agents
Shandong University（山东大学）；University of Surrey（Surrey大学）；King's College London（伦敦国王学院）
本文提出TSegAgent，通过几何推理而非数据驱动方法，实现零样本牙科分割，减少标注成本并提升泛化能力。
2026-06-24 cs.CV
STARS: Zero-shot Sim-to-Real Transfer for Segmentation of Shipwrecks in Sonar Imagery
University of Michigan（密歇根大学）
针对零样本仿真到真实的沉船声呐图像分割问题，提出STARS网络融合形变场与异常体实现泛化，全仿真训练无需真实数据微调，在真实数据集上较最优基线提升20%分割性能。
2023-10-02 cs.CV
Multi-Source Fusion and Automatic Predictor Selection for Zero-Shot Video Object Segmentation
Dalian University of Technology（大连理工大学）；Pengcheng Lab（鹏城实验室）
位置和外观是视频对象分割的关键线索。诸如RGB、深度、光流和静态显著性的许多源可以提供关于对象的有用信息。然而，现有方法仅利用RGB或RGB和光流。本文提出了一种新的多源融合网络用于zero-shot视频对象分割。借助内感受性空间注意模块（ISAM），突出了每个源的空间重要性。此外，我们设计了一个功能净化模块（FPM）过滤源间不兼容的功能。通过ISAM和FPM，有效地融合了多源特征。此外，我们提出了一个自动预测器选择网络（APS），以选择更好的预测的静态显着性预测器或运动对象预测器，以防止过度依赖于失败的结果所造成的低质量的光流地图。在三个具有挑战性的公共基准（即DAVIS $_{16}$，Youtube-Objects和FBMS）上进行的大量实验表明，所提出的模型在最先进的基础上实现了令人信服的性能。源代码将在\textcolor{red}{\url{https://github.com/Xiaoqi-Zhao-DLUT/Multi-Source-APS-ZVOS}}上公开。
2021-08-11 cs.CV
Automatic marker-free registration of tree point-cloud data based on rotating projection
College of Science, Beijing Forestry University（北京林业大学理学院）；Academy of Opto-Electronics（光电研究院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院空天信息创新研究院）
地面激光扫描仪获取的点云数据在数字林业研究中具有重要作用。通常使用多次扫描来克服遮挡效应并获得完整的树结构信息。然而，在地形复杂的森林中放置人工反射器进行基于标记的配准既耗时又困难，这一过程降低了配准自动化程度和效率。在这项研究中，我们提出了一个自动粗到精的方法，从一棵树的多次扫描点云数据的注册。在粗配准中，将每次扫描产生的点云投影到球面上以生成一系列二维（2D）图像，这些图像用于估计多次扫描的初始位置。然后从这些系列的2D图像中提取相应的特征点对。在精配准中，利用点云数据切片和拟合方法提取相应的中心主干和分支中心，作为连接点计算精变换参数。为了评估配准结果的准确性，我们提出了一种通过计算相邻扫描中相应分支的中心点之间的距离来评估误差的模型。为了准确评估，我们在两棵模拟树和一棵真实树上进行了实验。该方法在模拟树木点云上的平均配准误差为0.26m左右，在真实树木点云上的平均配准误差为0.05m左右。
2020-01-30 cs.CV
Towards Automatic Video Annotation with ASH: Zero-Shot Open-Vocabulary Multi-Object Tracking and Segmentation
University of Windsor（温莎大学）
本文提出GPT和ASH两项技术，将SAM3扩展为零样本开放词汇多目标跟踪与分割，实现任意长度视频的自动标注，在MOTS20上达到最先进性能且内存低于25GB。
2026-10-02 cs.CV
Contrastive Language-Image Pretrained Models are Zero-Shot Human Scanpath Predictors
FAU Erlangen-Nürnberg（埃尔朗根-纽伦堡大学）
本文提出了CapMIT1003数据集和零样本扫描路径预测方法NevaClip，通过结合CLIP与NeVA算法，利用字幕指导的梯度驱动视觉探索模拟人类注意力，在合理性和决策影响上优于现有无监督模型。
2023-05-23 cs.AI cs.CV
Zero-Shot Scene Understanding for Automatic Target Recognition Using Large Vision-Language Models
The Johns Hopkins University（约翰斯·霍普金斯大学）；DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
针对现有目标检测器难以在未知场景零样本识别新目标的问题，提出结合开放世界检测器与大视觉语言模型的ATR流水线，验证了其在军用车辆识别中的效果并分析了影响性能的因素。
2025-01-13 cs.CV
LiverUSRecon: Automatic 3D Reconstruction and Volumetry of the Liver with a Few Partial Ultrasound Scans
University of Moratuwa（莫拉图瓦大学）；University of Colombo（科伦坡大学）；University of Peradeniya（佩拉德尼亚大学）；Zone24x7 Inc.（Zone24x7公司）
提出首个基于少量不完整超声扫描和统计形状模型的自动肝脏3D重建与体积测量系统，其体积计算结果在统计学上与CT分割体积无显著差异。
2024-09-25 cs.CV eess.IV
Curriculum Learning for Few-Shot Domain Adaptation in CT-based Airway Tree Segmentation
针对CT气道分割的跨队列泛化问题，提出将课程学习集成到分割网络，按复杂度分批训练，在少样本域自适应中于ATM22和AIIB23队列取得高性能，并指出不当评分或排序的潜在风险。
2024-11-08 cs.CV cs.LG
MV3DIS: Multi-View Mask Matching via 3D Guides for Zero-Shot 3D Instance Segmentation
College of Computer Science, Nankai University（南开大学计算机科学学院）；School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院）
本文提出MV3DIS框架，通过引入3D引导的掩码匹配策略，利用粗略3D段作为参考，匹配多视图掩码并提升3D分割一致性，同时引入深度一致性加权方案以增强鲁棒性。
2026-04-10 cs.CV
Automatic 3D Registration of Dental CBCT and Face Scan Data using 2D Projection Images
National Institute for Mathematical Sciences（国家信息科学研究院）；Yonsei University（延世大学）
提出一种利用2D投影图像、预训练标志点检测、3D对应求解和ICP微调的牙科CBCT与面部扫描自动配准方法，无需标注训练数据，平均表面距离误差为0.74 mm。
2023-07-27 cs.CV
NoduleFlow: Automatic 3D Lung Nodule Detection and Segmentation
Università Campus Bio-Medico di Roma（罗马生物医学大学校园大学）；Umeå University（于默奥大学）；University of Genoa（热那亚大学）
本研究提出NoduleFlow框架，无需先验标注等人工干预即可自动完成肺结节检测、分类与分割，经四个独立数据集评估，其在肺结节分析中展现出应用潜力。
2026-10-14 cs.CV
One-Shot Segmentation of Novel White Matter Tracts via Extensive Data Augmentation
Beijing Institute of Technology（北京理工大学）；Capital Medical University（首都医科大学）；Beijing Tiantan Hospital（北京天坛医院）
基于深度学习的方法已经实现了自动白质（WM）束分割的最新性能。在这些方法中，分割模型需要用大量手动注释的扫描来训练，这些扫描可以在整个时间内累积。当新的WM束，即，不包括在现有注释的WM束中的束将被分割，需要收集这些新WM束的附加注释。由于道注释是耗时和昂贵的，它是可取的，使只有几个注释的新WM道训练的分割模型，和以前的工作已经解决了这个问题，通过转移知识学习分割现有WM道的分割新WM道。然而，在单次设置中，新WM束的准确分割仍然具有挑战性，其中仅一次扫描被注释用于新WM束。在这项工作中，我们探讨了新的WM束的一次性分割的问题。由于在一次性设置的注释的训练数据是非常稀缺的，基于现有的知识转移框架，我们建议进一步执行广泛的数据增强的单注释扫描，其中合成的注释训练数据的产生。我们设计了几种不同的策略，在单个带注释的扫描中屏蔽区域，以进行数据增强。我们的方法在公共和内部数据集上进行了评估。实验结果表明，该方法提高了新WM束的一次性分割精度。
2023-03-13 cs.AI cs.CV
