Combining inherent knowledge of vision-language models with unsupervised domain adaptation through strong-weak guidance
The University of Tokyo(东京大学);RIKEN(理化学研究所)
本研究提出强弱引导学习方案,结合无监督域自适应(UDA)知识与视觉-语言模型固有知识,通过零样本预测对齐源与目标数据集,在三个基准上优于现有最优方法。
2024-11-29 cs.CV
Nonlinear Embedding Transform for Unsupervised Domain Adaptation
Center for Cognitive Ubiquitous Computing(认知普适计算中心);Arizona State University(亚利桑那州立大学)
领域自适应(DA)问题涉及使在一个数据分布上训练的分类器模型适应于不同的数据分布。在本文中,我们介绍了非线性嵌入变换(NET)的无监督DA结合域对齐与基于相似性的嵌入。我们还介绍了一个验证过程,估计模型参数的NET算法使用的源数据。多个视觉数据集的综合评价表明,NET算法优于现有的竞争程序的无监督DA。
2017-06-22 cs.CV
Combining multimodal information for Metal Artefact Reduction: An unsupervised deep learning framework
University College London(伦敦大学学院);King's College London(伦敦国王学院);Royal National Orthopaedic Hospital NHS Trust(皇家国立骨科医院NHS信托基金)
金属伪影减少(MAR)技术旨在从临床图像中去除金属引起的噪声。在计算机断层扫描(CT)中,监督式深度学习方法已被证明是有效的,但在通用性方面有限,因为它们主要依赖于合成数据。相反,在磁共振成像(MRI)中,尚未引入任何方法来校正即使在MAR特定采集中仍然存在的磁化率伪影。在这项工作中,我们假设,一个多模式的方法来MAR将改善CT和MRI。考虑到它们不同的伪影外观,它们的互补信息可以补偿任一模态中的受损信号。因此,我们提出了一种用于多模态MAR的无监督深度学习方法。我们引入了局部归一化互相关作为损失项,以鼓励多模态信息的融合。实验表明,我们的方法有利于在CT中更平滑的校正,同时促进MRI中的信号恢复。
2020-04-20 cs.CV eess.IV
Combining unsupervised and supervised learning in microscopy enables defect analysis of a full 4H-SiC wafer
Forschungszentrum Jülich GmbH(于利希研究中心);Friedrich-Alexander University Erlangen-Nuremberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);RWTH Aachen University(亚琛工业大学)
本文结合无监督与监督学习及数据挖掘技术,构建自动化图像分析流程,用于从约4万张图像拼接的KOH腐蚀4H-SiC晶圆显微图中提取全部缺陷的类型与位置。
2024-02-20 cond-mat.mtrl-sci cs.CV cs.LG
Combining Supervised and Un-supervised Learning for Automatic Citrus Segmentation
South China Agricultural University(华南农业大学);Mechanization Research Office of national citrus industry technology system(国家柑橘产业技术体系机械化研究室);Guangdong Agricultural Information Monitoring Engineering Technology Research Center(广东省农业信息监测工程技术研究中心)
柑橘分割是柑橘自动采摘的关键步骤。虽然大多数当前的图像分割方法通过逐像素分割实现了良好的分割结果,但是这些基于监督学习的方法需要大量的注释数据,并且在实际应用中没有考虑柑橘位置的连续时间变化。在本文中,我们首先训练一个简单的CNN与少量的标记柑橘图像在监督的方式,它可以大致预测柑橘的位置从每帧。然后,我们扩展了一个国家的最先进的无监督学习的方法来预先学习柑橘的潜在运动之间的帧从未标记的柑橘的视频。为了利用这两个网络的优势,我们采用多模态Transformer来结合监督学习的静态信息和无监督学习的运动信息。实验结果表明,两种网络的组合预测精度分别达到88.3 $\%$ IOU和93.6 $\%$精度,优于原始监督基线1.2 $\%$和2.4 $\%$。与现有的大多数柑橘分割方法相比,该方法使用少量的监督数据和大量的非监督数据,同时学习像素级位置信息和柑橘变化的时间信息,增强分割效果。
2021-05-04 cs.CV
Geometric Unsupervised Domain Adaptation for Semantic Segmentation
Toyota Research Institute (TRI)(丰田研究所)
模拟器可以有效地生成大量带标签的合成数据,并对难以标记的任务(如语义分割)进行完美的监督。然而,它们引入了一个域间隙,严重损害了现实世界的性能。我们建议使用自监督单目深度估计作为代理任务来弥合这一差距,并提高模拟到真实的无监督领域自适应(UDA)。我们的几何无监督领域自适应方法(GUDA)通过多任务目标学习域不变表示,该目标将合成语义监督与视频上的真实几何约束相结合。GUDA在UDA中建立了一个新的最先进的语义分割的三个基准,优于使用领域对抗学习,自我训练或其他自我监督代理任务的方法。此外,我们表明,我们的方法规模以及质量和数量的合成数据,同时也提高了深度预测。
2021-08-18 cs.CV
ViewNet: Unsupervised Viewpoint Estimation from Conditional Generation
University of Edinburgh(爱丁堡大学)
在没有监督的情况下理解3D世界目前是计算机视觉的一个主要挑战,因为在这个领域中监督深度网络任务所需的注释大规模获得是昂贵的。在本文中,我们解决的问题,无监督的观点估计。我们将其制定为一个自监督学习任务,其中图像重建提供了预测相机视点所需的监督。具体来说,我们利用在训练时间的同一对象的图像对,从未知的观点,自我监督训练相结合的观点信息从一个图像与外观信息从其他。我们证明了使用透视空间Transformer可以进行有效的视点学习,在合成数据上优于现有的无监督方法,并在具有挑战性的PASCAL 3D+数据集上获得有竞争力的结果。
2022-12-01 cs.CV
Unsupervised Decision Forest for Data Clustering and Density Estimation
提出了一种改进无监督决策森林聚类和密度估计性能参数的算法。具体地说,通过结合随机森林和高斯混合模型,引入一个对偶分配参数作为密度估计。随机森林方法已被专门应用于构建一个强大的亲和图,提供在聚类中使用的数据对象的底层结构的信息。该算法不同于常用的谱聚类方法,其中计算的距离度量用于找到数据点之间的相似性。使用五个数据集进行实验。与其他六个国家的最先进的方法的比较表明,我们的模型是优于现有的方法。所提出的模型的效率是在捕捉一组给定的数据点的底层结构。所提出的方法也是鲁棒的,并且可以区分不同聚类之间的数据点的复杂特征。
2015-07-15 cs.CV
Scene-Centric Unsupervised Panoptic Segmentation
TU Darmstadt(图宾根大学);TU Munich(慕尼黑工业大学);University of Oxford(牛津大学);MCML;ELIZA
该研究针对无监督全景分割问题,提出首个直接基于以场景为中心图像训练的方法,结合视觉表示、深度和运动线索生成伪标签并采用自训练策略,在Cityscapes数据集上PQ指标较现有技术提升9.4个百分点。
2025-04-02 cs.CV
Exploring the Benefits of Vision Foundation Models for Unsupervised Domain Adaptation
Eindhoven University of Technology(埃因霍温理工大学)
本研究证明视觉基础模型与无监督域适应在语义分割中互补,能提升性能并实现显著加速,为UDA设定新标准。
2026-09-28 cs.CV
Unsupervised Monocular Road Segmentation for Autonomous Driving via Scene Geometry
K.N. Toosi University of Technology(凯恩·托西技术大学)
本文提出完全无监督单目道路分割方法,利用几何先验生成弱标签,并通过跨帧特征跟踪与互信息最大化增强时间一致性,在 Cityscapes 上取得 0.82 IoU。
2025-10-19 cs.CV
On Fine-Tuned Deep Features for Unsupervised Domain Adaptation
Durham University(杜伦大学)
无监督领域自适应(UDA)的基于先验特征变换的方法采用由预训练的深度模型提取的深度特征,而不针对特定领域自适应任务对它们进行微调。相比之下,基于端到端学习的方法同时优化预训练的骨干和定制的自适应模块,以学习UDA的域不变特征。在这项工作中,我们探讨了潜在的微调功能和基于UDA方法的特征变换相结合,以提高领域自适应性能。具体来说,我们将流行的渐进伪标签技术的微调框架,以提取微调功能,随后使用在一个国家的最先进的特征变换为基础的领域自适应方法SPL(选择性伪标签)。对包括ResNet-50/101和DeiT-small/base在内的多个深度模型进行了彻底的实验,以证明微调特征和SPL的组合可以在多个基准数据集上实现最先进的性能。
2022-10-25 cs.CV
What makes a good data augmentation for few-shot unsupervised image anomaly detection?
SUSTech(南方科技大学);University of Surrey(萨里大学);University of Warwick(华威大学);Bielefeld University(比勒费尔德大学)
本文通过实验系统评估多种数据增强对少样本无监督工业图像异常检测算法的影响,发现具体增强方式影响有限且组合增强未必提升准确率,并据此给出选择指导。
2023-04-21 cs.CV
Unsupervised Multi-Person 3D Human Pose Estimation From 2D Poses Alone
University of Southampton(南安普顿大学)
针对现有无监督2D-3D人体姿态估计方法无法适配多人场景的透视歧义问题,提出通过预测相机相对骨盆仰角、独立提升2D姿态再整合到共享3D坐标系的方法,在CHI3D数据集上验证有效并建立基准。
2024-03-12 cs.CV
Uncertainty-aware Clustering for Unsupervised Domain Adaptive Object Re-identification
South China University of Technology(华南理工大学);University of Melbourne(墨尔本大学);JD Explore Academy(京东探索研究院)
无监督域自适应(UDA)对象重识别(Re-ID)旨在使在标记源域上训练的模型适应未标记目标域。最先进的对象Re-ID方法采用聚类算法来为未标记的目标域生成伪标签。然而,不可避免的标签噪声所造成的聚类过程显着降低了区分力的Re-ID模型。为了解决这个问题,我们提出了一个不确定性感知聚类框架(UCF)的UDA任务。首先,提出了一种新的层次聚类方案,以提高聚类质量。其次,引入了一种不确定性感知的协同实例选择方法,用于选择具有可靠标签的图像进行模型训练。结合这两种技术可以有效地减少噪声标签的影响。此外,我们引入了一个强大的基线,具有紧凑的对比损失。我们的UCF方法在对象Re-ID的多个UDA任务中始终实现了最先进的性能,并显着减少了无监督和监督Re-ID性能之间的差距。特别是,我们的无监督UCF方法在MSMT 17 $\to$ Market 1501任务中的性能优于Market 1501上的完全监督设置。UCF代码可在https://github.com/Wang-pengfei/UCF上获取。
2021-08-22 cs.CV
Unsupervised Deep Learning by Injecting Low-Rank and Sparse Priors
Nagasaki University(长崎大学)
如果深度神经网络可以从稀疏诱导先验中学习呢?当通过组合层模块(CNN、RNN等)来设计网络时,工程师较少利用电感偏差,即,除了注释的训练数据集之外,现有的公知规则或先验知识。我们专注于在深度学习中使用稀疏诱导先验,以鼓励网络以无监督的方式简洁地捕获高维数据的性质。为了使用不可微的稀疏诱导范数作为损失函数,我们将它们的邻近映射插入到自动微分框架中。我们证明了无监督学习的U-网络的背景减除使用低秩和稀疏先验。U-Net可以在没有任何注释的情况下学习训练序列中的运动对象,并成功地检测测试序列中的前景对象。
2021-06-21 cs.CV eess.IV
Combining unsupervised and supervised learning for predicting the final stroke lesion
University of Minho(米尼奥大学);Bern University Hospital(伯尔尼大学医院)
预测最终的缺血性卒中病变提供了关于可挽救的低灌注组织体积的关键信息,这有助于医生在治疗计划和干预的艰难决策过程中。治疗选择受临床诊断的影响,这需要描绘中风病变,以及使用神经影像采集表征脑血流动力学。尽管如此,由于缺血性卒中发生后病变大小、形状、位置和潜在脑血流动力学过程的可变性,预测最终卒中病变是一项复杂的任务。此外,由于中风和治疗之间的经过时间与脑组织的损失有关,因此需要在短时间内评估和预测最终的中风病变,这使得任务更加复杂。因此,需要一种自动方法来预测最终的中风病变并在治疗决策过程中支持医生。我们提出了一种基于无监督和监督学习的全自动深度学习方法,以预测90天后的最终中风病变。我们的目的是预测最终的中风病变部位和程度,考虑到潜在的脑血流动力学,可以影响预测。为了实现这一点,我们提出了一个两个分支的限制玻尔兹曼机,它提供了专门的数据驱动的功能,从不同的标准参数磁共振成像地图集。这些数据驱动的特征图然后与参数磁共振成像图相结合,并馈送到卷积和递归神经网络架构。我们在公开的ISLES 2017测试数据集上评估了我们的提案,Dice得分为0.38,Hausdorff距离为29.21 mm,平均对称表面距离为5.52 mm。
2021-01-02 cs.CV cs.LG eess.IV
A Hybrid Supervised-unsupervised Method on Image Topic Visualization with Convolutional Neural Network and LDA
Indiana University(印第安纳大学);Yahoo Inc.(雅虎公司)
考虑到最近数据驱动范式在图像识别方面的进展,手动标记大量训练数据以适应卷积神经网络(CNN)模型仍然是昂贵的。本文提出了一种混合监督-无监督方法,将预训练的AlexNet与潜在狄利克雷分配(LDA)相结合,从未标记的生活日志数据集和COCO数据集中提取图像主题。我们从AlexNet的softmax层生成一个以自我为中心的数据集的词袋表示,并使用LDA用重复的图像来可视化主题的生活风格。我们使用COCO在4个类别上的子集作为地面真值,并定义一致率来定量分析该方法的性能,它达到了84%的平均一致率相比,从原始CNN模型的18.75%。该方法能够从COCO数据集中检测出虚假标签和多标签。为了进行可扩展性测试,在Intel Knights Landing集群上使用Harp-LDA进行了并行化实验:提取241,035个COCO图像的1,000个主题分配,需要10分钟,60个线程。
2017-04-09 cs.CV
Exploiting Image Translations via Ensemble Self-Supervised Learning for Unsupervised Domain Adaptation
Eindhoven University of Technology(埃因霍温理工大学)
我们引入了一种无监督域自适应(UDA)策略,该策略将多个图像翻译,集成学习和自监督学习结合在一个连贯的方法中。我们专注于UDA的标准任务之一,其中语义分割模型在标记的合成数据和未标记的真实数据上进行训练,旨在对后者表现良好。为了利用使用多个图像翻译的优势,我们提出了一种集成学习方法,其中三个分类器通过将不同图像翻译的输入特征作为输入来计算它们的预测,使每个分类器独立学习,目的是通过稀疏多项式逻辑回归组合它们的输出。该回归层称为元学习器,有助于在执行自监督学习时减少伪标签生成期间的偏差,并通过考虑每个分类器的贡献来提高模型的泛化能力。我们在标准UDA基准上评估了我们的方法,即将GTA V和Synthia适应Cityscapes,并在平均交集上实现了最先进的结果。广泛的烧蚀实验报告,以突出我们提出的UDA策略的有利特性。
2021-07-13 cs.CV
Unsupervised Scene Sketch to Photo Synthesis
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);Amazon(亚马逊)
草图是一种直观而强大的视觉表达,因为它们是快速执行的徒手画。提出了一种从场景草图合成真实感照片的方法。在不需要草图和照片对的情况下,我们的框架以无监督的方式直接从现成的大规模照片数据集中学习。为此,我们引入了一个标准化模块,该模块通过将照片和草图转换为标准化域(即边缘图),在训练期间提供伪草图-照片对。草图和照片之间的领域差距缩小,也使我们能够将它们分解为两个部分:整体场景结构和低层次的视觉风格,如颜色和纹理。利用这一优势,我们合成一个照片级真实感的图像相结合的草图和参考照片的视觉风格的结构。对感知相似性度量和人类感知研究的大量实验结果表明,该方法可以从场景草图中生成逼真的照片,并优于最先进的照片合成基线。我们还表明,我们的框架有利于可控的操作的照片合成,通过编辑相应的草图笔划,提供更多的细粒度的细节比以前的方法,依赖于区域级编辑。
2022-09-06 cs.CV
MoFA: Model-based Deep Convolutional Face Autoencoder for Unsupervised Monocular Reconstruction
Max-Planck-Institute for Informatics(马克斯·普朗克信息学研究所);LCSB, University of Luxembourg(卢森堡大学生物医学系统生物学中心);Technicolor(特艺集团)
在这项工作中,我们提出了一种新的基于模型的深度卷积自动编码器,它解决了从单个原始彩色图像重建3D人脸的高度挑战性问题。为此,我们将卷积编码器网络与作为解码器的专家设计的生成模型相结合。核心创新是我们新的可微分参数解码器,它基于生成模型解析地封装了图像形成。我们的解码器作为输入的代码向量与精确定义的语义含义,编码详细的人脸姿态,形状,表情,皮肤反射和场景照明。由于这种将基于CNN的人脸重建与基于模型的人脸重建相结合的新方法,基于CNN的编码器可以学习从单个单目输入图像中提取语义上有意义的参数。这是第一次,CNN编码器和专家设计的生成模型可以以无监督的方式进行端到端的训练,这使得在非常大的(未标记的)真实世界数据上进行训练变得可行。所获得的重建相比,目前国家的最先进的方法在质量和丰富的代表性。
2017-12-07 cs.CV
Multi-scale Feature Imitation for Unsupervised Anomaly Localization
Unicom (Shanghai) Industry Internet Co., Ltd.(联通(上海)产业互联网有限公司)
无监督异常定位任务面临缺失异常样本训练、检测多种类型异常、处理多种异常的面积比例等挑战。提出了一种分离的师生特征模仿网络结构和图像与特征金字塔相结合的多尺度处理策略。提出了一种基于梯度下降优化的网络模块重要性搜索方法,以简化网络结构。实验结果表明,该算法在同一时间段的真实工业产品检测数据集上的定位效果优于特征建模异常定位方法。与基准方法相比,多尺度策略可以有效地提高效果。
2022-12-13 cs.AI cs.CV
Visual Feature Fusion and its Application to Support Unsupervised Clustering Tasks
University of Sao Paulo(圣保罗大学);Dalhousie University(达尔豪斯大学)
在可视化分析应用程序中,将用户置于循环中的概念是指在机器学习和数据采掘任务中用用户知识取代人工智能的能力。在监督任务上,用户参与通过操纵训练数据来发生。然而,在无监督任务中,用户参与仅限于算法参数化或输入数据表示(也称为特征)的变化。根据应用领域的不同,可以从原始数据中提取不同类型的特征。因此,无监督算法的结果在很大程度上取决于所采用的特征的类型。由于没有完美的特征提取器,因此在称为特征融合的过程中探索了组合不同特征。当机器学习或数据采掘任务具有成本函数时,特征融合是直接的。然而,当这样的功能不存在时,需要提供对组合的用户支持,否则该过程是不切实际的。在本文中,我们提出了一种新的特征融合方法,使用小数据样本,使用户不仅可以毫不费力地控制不同的功能集的组合,但也解释所获得的结果。我们的方法的有效性得到了一套全面的定性和定量测试的证实,开辟了尚未涵盖的用户指导分析方案的不同可能性。我们的方法提供实时反馈的功能融合的能力是利用无监督聚类技术的上下文中,组成的组反映的特征组合的语义。
2019-01-16 cs.CV
AttenIR: Aligning Dense Visual Attention with Mesh Warping for Unsupervised Image Retargeting
School of Media Engineering, Communication University of Zhejiang(浙江传媒学院媒体工程学院);Samsung Research America(三星美国研究院);School of Computer Science and Engineering, The University of New South Wales(新南威尔士大学计算机科学与工程学院)
提出AttenIR框架,通过对齐密集视觉注意力与网格变形,实现无监督图像重定向,在保留内容保真度和全局结构上优于传统及现有学习方法
2026-10-14 cs.CV
Unsupervised Domain Adaptation for 3D LiDAR Semantic Segmentation Using Contrastive Learning and Multi-Model Pseudo Labeling
Universität Stuttgart(斯图加特大学)
针对3D LiDAR语义分割中的域偏移问题,提出两阶段无监督域适应框架,结合片段级对比预训练与多架构硬投票伪标签微调,在多个目标数据集上显著优于直接迁移和单模型方法。
2025-07-24 cs.CV
Unsupervised Multi-Source Domain Adaptation for Person Re-Identification
Baidu Inc(百度公司);Renmin University of China(中国人民大学)
无监督领域自适应(UDA)方法用于人的再识别(re-ID),目的是将再识别知识从标记的源数据转移到未标记的目标数据。虽然取得了很大的成功,但大多数都只使用来自单一源域的有限数据进行模型预训练,使得丰富的标记数据没有得到充分利用。为了充分利用有价值的标记数据,我们将多源概念引入UDA人员re-ID字段,其中在训练期间使用多个源数据集。然而,由于领域差距,简单地组合不同的数据集只能带来有限的改进。本文从\ie{}领域特定视图和领域融合视图两个角度来解决这一问题。提出了两个构造性模块,它们是相互兼容的。首先,一个纠正特定领域的批量归一化(RDSBN)模块,同时减少特定领域的特点,并增加了人的特征的独特性。其次,提出了一种基于图卷积网络(GCN)的多域信息融合(MDIF)模块,通过融合不同域的特征来最小化域距离。所提出的方法优于国家的最先进的UDA人员重新ID方法的大幅度,甚至实现了相当的性能监督的方法,没有任何后处理技术。
2021-04-27 cs.CV
DeepDiffusion: Unsupervised Learning of Retrieval-adapted Representations via Diffusion-based Ranking on Latent Feature Manifold
University of Yamanashi(山梨大学)
特征表示的无监督学习对于分析大量没有语义标签的多媒体数据是一个具有挑战性的重要问题。最近提出的基于神经网络的无监督学习方法已经成功地获得了适合于多媒体数据分类的特征。然而,无监督学习的特征表示适应于基于内容的匹配,比较,或检索的多媒体数据还没有得到很好的探索。为了获得这样的检索适应功能,我们引入了结合扩散距离的特点流形与神经网络为基础的无监督特征学习的想法。这个想法被实现为一种称为DeepDiffusion(DD)的新算法。DD同时优化两个组件,一个是由深度神经网络嵌入的特征,另一个是利用潜在特征流形上的扩散的距离度量。DD依赖于其损失函数,而不是编码器架构。因此,它可以应用于不同的多媒体数据类型与它们各自的编码器架构。使用3D形状和2D图像的实验评估证明了DD算法的多功能性和高精度。代码可在https://github.com/takahikof/DeepDiffusion上获得
2022-11-14 cs.CV cs.IR
Deep Transfer Network: Unsupervised Domain Adaptation
Tsinghua University(清华大学);Columbia University(哥伦比亚大学)
领域自适应的目的是在一个数据集中训练分类器,并将其应用于相关但不相同的数据集。领域自适应的一个成功使用的框架是学习一种变换,以匹配特征的分布(边缘分布)和给定特征的标签的分布(条件分布)。在本文中,我们提出了一种新的领域自适应框架,称为深度传输网络(DTN),其中高度灵活的深度神经网络用于实现这样的分布匹配过程。这是通过DTN中的两种类型的层来实现的:共享的特征提取层,其学习共享的特征子空间,在该共享的特征子空间中,源样本和目标样本的边缘分布被拉近;以及鉴别层,其通过分类器转换来匹配条件分布。我们还表明,DTN的计算复杂度线性的训练样本的数量,使其适合于大规模的问题。通过结合两个世界中最好的范例(识别中的深度神经网络,以及领域自适应中的匹配边缘和条件分布),我们通过大量实验证明DTN在执行时间和分类准确性方面都比以前的方法有显着改善。
2015-03-02 cs.CV
Inferencing Based on Unsupervised Learning of Disentangled Representations
将生成对抗网络(GANs)与学习对数据点进行编码的编码器相结合,在以无监督的方式学习数据表示方面取得了可喜的成果。我们提出了一个框架,结合了编码器和生成器来学习解纠缠的表示,编码有意义的信息的数据分布,而不需要任何标签。虽然目前的方法主要集中在GANs的生成方面,但我们的框架可用于对真实和生成的数据点进行推理。在几个数据集上的实验表明,编码器学习可解释的,分解的表示,编码描述性的属性,并可用于采样图像,表现出特定的特征。
2018-03-07 cs.AI cs.CV cs.NE
Convolutional neural networks with extra-classical receptive fields
Allen Institute for Brain Science(艾伦脑科学研究所)
卷积神经网络(CNN)在许多现实世界的应用中取得了巨大的成功,也被用来模拟大脑中的视觉处理。然而,这些网络是相当脆弱的-输入图像的微小变化可以显着改变网络的输出预测。与生物学所知的不同,这些网络在很大程度上依赖于前馈连接,忽略了循环连接的影响。他们还专注于监督学习,而不是无监督学习。为了解决这些问题,我们将通过反向传播的传统监督学习与专门的无监督学习规则相结合,以学习卷积神经网络中神经元之间的横向连接。这些连接已被证明可以最佳地整合来自周围环境的信息,为我们新提出的模型(CNNEx)中的神经元产生额外的经典感受野。具有最佳横向连接的模型对噪声更具鲁棒性,并在MNIST和CIFAR-10数据集的噪声版本上实现了更好的性能。通过将我们的模型与其他正则化技术(如dropout和weight decay)相结合,可以进一步提高对噪声的抵抗力。虽然MNIST和CIFAR-10的图像统计数据差异很大,但相同的无监督学习规则适用于这两个数据集。我们的研究结果证明了将监督和无监督学习技术相结合的潜在有用性,并表明将横向连接集成到卷积神经网络中是未来研究的一个重要领域。
2018-10-27 cs.CV q-bio.NC
AnomalyFactory: Regard Anomaly Generation as Unsupervised Anomaly Localization
Ricoh Software Research Center (Beijing) Co., Ltd.(理光软件研究中心(北京)有限公司)
针对现有异常生成方法需多模型适配不同数据与类别、扩展性差的问题,提出可扩展框架AnomalyFactory,用同一网络架构统一无监督异常生成与定位,在5个数据集上验证了其生成能力与可扩展性的优势。
2024-08-18 cs.CV
MS3D: Leveraging Multiple Detectors for Unsupervised Domain Adaptation in 3D Object Detection
Australian Centre for Field Robotics(澳大利亚野外机器人中心);University of Sydney(悉尼大学)
MS3D提出一种利用多源域预训练检测器及时间信息融合生成高质量伪标签的自训练流程,通过KDE框融合提升3D目标检测的域适应鲁棒性,并在多个数据集上达到最先进性能。
2023-05-09 cs.CV
Unsupervised Learning of Landmarks by Descriptor Vector Exchange
Unitary;VGG, University of Oxford(牛津大学VGG);University of Edinburgh(爱丁堡大学)
随机图像变换的等方差是一种有效的方法来学习对象类别的地标,例如面部中的眼睛和鼻子,而无需人工监督。然而,这种方法并不能明确地保证所学习的地标与同一对象的不同实例之间的变化(例如不同的面部身份)一致。在本文中,我们开发了一个新的视角的等方差的方法,注意到密集的地标检测器可以被解释为本地图像描述符配备了不变性的类别内的变化。然后,我们提出了一个直接的方法来执行这样的标准等变损失的不变性。我们这样做,交换描述符向量之间的图像不同的对象实例之前,匹配它们的几何。以这种方式,相同的向量必须工作,而不管所考虑的特定对象标识。我们使用这种方法来学习可以同时被解释为局部描述符和密集地标的向量,结合两者的优点。在标准基准上的实验表明,这种方法可以匹配,在某些情况下,超过了现有的方法,学习地标没有监督的最先进的性能。代码可在www.robots.ox.ac.uk/~vgg/research/DVE/上获得。
2019-08-18 cs.CV
Probabilistic Noise2Void: Unsupervised Content-Aware Denoising
MPI-CBG/PKS (CSBD)(马克斯·普朗克分子细胞生物学与遗传学研究所/普朗克计算生物学中心(德累斯顿系统生物学中心));Brno University of Technology(布尔诺理工大学)
如今,卷积神经网络(CNN)是图像去噪的主要方法。传统上,它们是在成对的图像上训练的,这通常很难在实际应用中获得。这激发了自我监督的训练方法,如Noise 2 Void ~(N2 V),它们对单个噪声图像进行操作。不幸的是,自监督方法与在图像对上训练的模型没有竞争力。在这里,我们提出了“ProbabilityNoise 2 Void”(PN 2 V),这是一种训练CNN来预测每像素强度分布的方法。结合这些与适当的描述的噪声,我们得到一个完整的概率模型的噪声观测和真实的信号在每个像素。我们评估PN 2 V上公开可用的显微镜数据集,在广泛的噪声制度,并实现有竞争力的结果与监督的最先进的方法。
2019-06-04 cs.CV eess.IV
Unsupervised vs. transfer learning for multimodal one-shot matching of speech and images
Stellenbosch University(斯泰伦博斯大学)
我们考虑多模式一次性语音图像匹配的任务。代理人被展示一张图片以及描述图片中对象的口语单词,例如饼干,花椰菜和冰淇淋。在观察每个类的一个配对的语音图像的例子,它被显示了一组新的看不见的图片,并要求选择“冰淇淋”。以前的工作试图使用迁移学习来解决这个问题:监督模型在不包含任何一次性类的标记背景数据上进行训练。在这里,我们将迁移学习与在未标记的域内数据上训练的无监督模型进行了比较。在一个成对的孤立的口语和视觉数字的数据集上,我们专门比较了无监督的自动编码器模型与监督分类器和暹罗神经网络。在单峰和多峰Few-Shot匹配实验中,我们发现迁移学习优于无监督训练。我们还提出了将这两种方法相结合的实验,但发现迁移学习仍然表现最好(尽管理想化的实验显示了无监督学习的好处)。
2020-08-14 cs.CL cs.CV cs.SD
CNN features are also great at unsupervised classification
Laboratoire des Sciences de l’Information et des Systèmes (CNRS UMR 7296)(信息与系统科学实验室(法国国家科学研究中心 UMR 7296));Arts et Métiers ParisTech(巴黎高等工艺学院)
本文旨在深入了解深度CNN特征对无监督问题的可转移性。我们研究了不同预训练的CNN特征提取器对图像集聚类问题的影响,以进行对象分类和细粒度分类。我们提出了一个相当简单的管道,使用在ImageNet上预训练的CNN和经典的聚类算法对图像集进行分类,结合深度特征提取。这种方法相比,国家的最先进的图像聚类算法,并提供更好的结果。这些结果加强了这样一种信念,即在大型数据集上对深度CNN进行监督训练,具有很大的类别变化性,即使对于无监督任务,也比大多数精心设计的工程方法提取更好的特征。我们还验证了我们的机器人应用程序的方法,包括在分类和存储对象智能的基础上聚类。
2018-09-11 cs.AI cs.CV cs.LG
Unsupervised Feature Learning by Deep Sparse Coding
Georgia Institute of Technology(佐治亚理工学院);DeepMind Technologies(DeepMind科技公司);Princeton University(普林斯顿大学);The City College of New York(纽约城市学院);University of Virginia(弗吉尼亚大学)
在本文中,我们提出了一种新的无监督特征学习框架,即深度稀疏编码(DeepSC),它将稀疏编码扩展到视觉对象识别任务的多层架构。该框架的主要创新之处在于它通过一个稀疏到密集的模块将不同层的稀疏编码器连接起来。稀疏到密集模块是局部空间池化步骤和低维嵌入过程的组合,其利用图像中的空间平滑信息。其结果是,新方法是能够学习几个层次的稀疏表示的图像捕捉功能在各种抽象层次,同时保持相邻的图像补丁之间的空间平滑度。结合来自多个层的特征表示,DeepSC在多个对象识别任务上实现了最先进的性能。
2013-12-20 cs.CV cs.LG cs.NE
Unsupervised deep clustering and reinforcement learning can accurately segment MRI brain tumors with very small training sets
Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);Indian Institute of Technology, Madras(印度理工学院马德拉斯分校)
目的:医学成像中的病变分割是评价治疗反应的关键。我们最近表明,强化学习可以应用于放射图像的病变定位。此外,我们证明了强化学习解决了监督式深度学习的重要局限性;即,它可以消除对大量带注释的训练数据的需求,并且可以提供监督式方法中缺乏的有价值的直觉。然而,我们没有解决病变/感兴趣结构分割的基本任务。在这里,我们介绍一种结合无监督深度学习聚类和强化学习的方法来分割MRI上的脑部病变。材料与方法:我们最初使用无监督深度学习聚类对图像进行聚类,以生成每个MRI图像的候选病变掩模。然后,用户为10个训练图像中的每一个选择最佳掩模。然后,我们训练了一个强化学习算法来选择掩码。我们在10张图像的单独测试集上测试了相应的训练后的深度Q网络。为了进行比较,我们还在同一组训练/测试图像上训练和测试了U-net监督深度学习网络。结果如下:虽然监督方法很快过拟合训练数据,并且在测试集上表现不佳(平均Dice得分为16%),但无监督深度聚类和强化学习的平均Dice得分为83%。结论:我们已经证明了无监督深度聚类和强化学习在分割脑肿瘤方面的原理证明应用。该方法代表了人类联盟的AI,需要放射科医生的最小输入,而不需要手动跟踪注释。
2021-03-19 cs.AI cs.CV
Spatial gradient consistency for unsupervised learning of hyperspectral demosaicking: Application to surgical imaging
高光谱成像有可能改善术中决策,如果组织表征进行实时和高分辨率。高光谱快照镶嵌传感器提供了一个很有前途的方法,由于其快速的采集速度和紧凑的尺寸。然而,需要一个去马赛克算法来完全恢复快照图像的空间和光谱信息。大多数最先进的去马赛克算法需要具有成对快照和高分辨率高光谱图像的地面实况训练数据,但是在术中设置中物理上不可能获得具有完全相同场景的这种图像对。在这项工作中,我们提出了一个完全无监督的高光谱图像去马赛克算法,只需要样本快照图像用于训练目的。我们将高光谱去马赛克视为一个不适定的线性逆问题,我们使用深度神经网络解决该问题。我们利用自然场景中发生的光谱相关性,设计了一种新的光谱带间正则化项的基础上空间梯度的一致性。通过将我们提出的项与标准正则化技术相结合,并利用标准数据保真度项,我们获得了一个用于训练深度神经网络的无监督损失函数,这使我们能够实现实时高光谱图像去马赛克。在高光谱图像数据集上的定量结果表明,我们的无监督去马赛克方法可以实现类似的性能,其监督的部分,并显着优于线性去马赛克。对真实快照高光谱手术图像的定性用户研究证实了定量分析的结果。我们的研究结果表明,所提出的无监督算法可以实现有前途的高光谱去马赛克的实时,从而提高了适用性的方式术中使用。
2023-02-21 cs.CV cs.LG eess.IV
EPIC-KITCHENS-100 Unsupervised Domain Adaptation Challenge: Mixed Sequences Prediction
Politecnico di Torino(都灵理工大学)
针对EPIC-Kitchens-100无监督域适应动作识别挑战,提出基于源域与目标域动作顺序相似性的混合序列预测方法,结合伪标注、语言模型过滤和共现矩阵优化,取得排行榜动词项第2、名词与动作项第4的成绩。
2023-07-24 cs.AI cs.CV cs.RO