FedX: Unsupervised Federated Learning with Cross Knowledge Distillation
KAIST(韩国科学技术院);Institute for Basic Science(基础科学研究所);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学)
本文介绍了FedX,一个无监督的联邦学习框架。我们的模型从分散和异构的本地数据中学习无偏表示。它采用双边知识蒸馏,将对比学习作为核心组件,允许联邦系统在不需要客户端共享任何数据特性的情况下运行。此外,其适应性强的架构可以用作联邦设置中现有无监督算法的附加模块。实验结果表明,我们的模型在五个无监督算法上的性能显着提高(1.58- 5.52pp)。
2022-07-19 cs.CV cs.LG
Seeing Beyond Appearance - Mapping Real Images into Geometrical Domains for Unsupervised CAD-based Recognition
Siemens Corporate Technology(西门子中央研究院);University of Passau(帕绍大学);Technical University of Munich(慕尼黑工业大学)
虽然卷积神经网络在计算机视觉领域占据主导地位,但人们通常无法访问其训练所需的大量领域相关数据。因此,通常使用可用的合成样本以及领域自适应方案来准备目标领域的算法。为了从不同的角度解决这个问题,我们引入了一个管道,将看不见的目标样本映射到用于训练特定任务方法的合成域。对数据进行去噪,只保留这些识别算法熟悉的特征,我们的解决方案大大提高了它们的性能。由于这种映射比相反的映射更容易学习(即学习生成逼真的特征来增强源样本),我们演示了我们的整个解决方案如何纯粹在增强的合成数据上进行训练,并且仍然比使用领域相关信息(例如3D模型的真实图像或逼真纹理)训练的方法表现更好。将我们的方法应用于无纹理CAD数据的对象识别,我们提出了一种自定义生成网络,该网络充分利用纯几何信息来学习鲁棒特征,并为不可见的彩色图像实现更精细的映射。
2018-10-09 cs.CV
Simultaneous Localization, Mapping, and Manipulation for Unsupervised Object Discovery
University of Colorado at Boulder(科罗拉多大学博尔德分校)
我们提出了一个无监督的框架,同时基于外观的对象发现,检测,跟踪和重建使用RGBD相机和机器人机械手。该系统执行密集的三维同时定位与地图构建与无监督的对象发现。空间和视觉上连贯的假定对象由机器人操纵以获得额外的运动提示。机器人仅使用外观,然后是结构和运动线索,以联合发现,验证,学习和改进对象的模型。诱导运动分割增强了学习模型,这些模型隐式地表示为2D和3D水平集,以捕获形状和外观。我们比较了三种不同的基于外观的对象发现方法,发现一种新形式的时空超像素在精度和召回率方面提供了最高质量的候选对象模型。Baxter机器人的现场实验展示了一个完整的管道,能够自动发现,验证,检测,跟踪和重建未知物体。
2014-11-04 cs.CV cs.RO
ColorMapGAN: Unsupervised Domain Adaptation for Semantic Segmentation Using Color Mapping Generative Adversarial Networks
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);LuxCarta Technology(勒克斯卡塔科技公司)
由于大气影响、获取差异等多种原因,不同地理位置的卫星图像光谱波段之间往往存在较大差异。训练数据和测试数据的光谱分布之间的大偏移导致当前技术水平的监督学习方法输出不令人满意的图。我们提出了一种新的语义分割框架,是强大的这种转变。所提出的框架的关键组成部分是颜色映射生成对抗网络(ColorMapGAN),它可以生成与训练图像语义完全相同的假训练图像,但其光谱分布与测试图像的分布相似。然后,我们使用假图像和训练图像的地面实况来微调已经训练好的分类器。与现有的生成对抗网络(GANs)相反,ColorMapGAN中的生成器没有任何卷积层或池化层。它通过仅执行一个逐元素矩阵乘法和一个矩阵加法运算来学习将训练数据的颜色转换为测试数据的颜色。由于ColorMapGAN的架构简单但功能强大的设计,所提出的框架优于现有的方法,在准确性和计算复杂性方面都有很大的差距。
2019-09-29 cs.CV
SegAssess: Panoramic quality mapping for robust and transferable unsupervised segmentation assessment
School of Remote Sensing and Information Engineering, Wuhan University(武汉大学遥感与信息工程学院);College of Electronic Science and Technology, National University of Defense Technology(国防科技大学电子科学学院);Hubei Luojia Laboratory(湖北珞珈实验室)
SegAssess通过全景质量映射方法实现鲁棒且可迁移的无监督分割质量评估,采用四类细粒度分割任务和增强SAM架构提升跨域鲁棒性与零样本迁移能力。
2025-12-05 cs.CV
Unsupervised ore/waste classification on open-cut mine faces using close-range hyperspectral data
Rio Tinto Centre for Mine Automation(力拓矿山自动化中心);Australian Centre for Field Robotics (ACFR)(澳大利亚现场机器人中心(ACFR));The University of Sydney(悉尼大学)
矿物的远距离测绘和地表矿石和废料的鉴别是诸如采矿等地质应用的重要任务。利用地面近距离高光谱传感器,这些任务已经成为可能,因为这些传感器能够以高空间和光谱分辨率远程测量环境的反射特性。然而,由于矿物和岩石类之间的光谱吸收特性的差异以及场景照明的变化,在露天矿工作面上测量的矿物光谱的自主映射仍然是一个具有挑战性的问题。当没有注释数据可用于训练监督学习算法时,会出现额外的困难。提出了一种用于矿井工作面光谱无监督映射的管道,该管道借鉴了高光谱机器学习文献中的几个最新进展。该管道将无监督和自监督算法集成到一个统一的系统中,以在不需要人工注释的训练数据的情况下绘制矿井工作面上的矿物。该管道是用一个露天矿工作面的高光谱图像数据集进行评估的,该工作面包括矿石马氏体和非矿化页岩。组合系统产生一个优越的地图,其组成的算法,并证明其映射能力的一致性,使用在一天中的两个不同时间获得的数据。
2023-02-09 cs.CV
Mapping in a cycle: Sinkhorn regularized unsupervised learning for point cloud shapes
The University of Hong Kong(香港大学);Fuzhou University(福州大学)
我们提出了一个无监督学习框架,其前提任务是基于循环一致性公式找到来自同一类别的点云形状之间的密集对应关系。为了从点云数据中学习有区别的逐点特征,我们在公式中加入了一个基于Sinkhorn归一化的正则化项,以增强所学习的逐点映射,使其尽可能双射。此外,通过引入源形状的随机刚性变换,形成三重循环,提高了模型对扰动的鲁棒性。综合实验表明,通过我们的框架学习的逐点特征有利于各种点云分析任务,例如部分形状配准和关键点转移。我们还表明,学习到的逐点特征可以通过监督方法来利用完整的训练数据集或其中的一小部分来提高零件分割性能。
2020-07-19 cs.CV cs.LG
Unsupervised HDR Image and Video Tone Mapping via Contrastive Learning
Tianjin University(天津大学);Lappeenranta-Lahti University of Technology LUT(拉彭兰塔-拉赫蒂工业大学LUT)
针对缺乏HDR-LDR视频对导致视频色调映射滞后的问题,提出无监督图像与视频色调映射统一框架IVTMNet,通过基于域和实例的对比学习损失及新颖隐变量测量相似度,并设计SFE和TFR模块增强空间与时间特征,性能优于现有方法。
2023-06-26 cs.CV eess.IV
Unsupervised Change Detection in Multi-temporal VHR Images Based on Deep Kernel PCA Convolutional Mapping Network
Wuhan University(武汉大学)
随着对地观测技术的发展,甚高分辨率(VHR)影像已成为变化检测的重要数据源。如今,深度学习方法在VHR图像的变化检测中取得了令人瞩目的成绩。尽管如此,大多数现有的基于深度学习的变化检测模型都需要带注释的训练样本。本文提出了一种新的无监督核主成分分析(KPCA)卷积模型,用于从多时相VHR图像中提取代表性特征。基于KPCA卷积,设计了一种无监督深度连体KPCA卷积映射网络(KPCA-MNet),用于二值和多类变化检测。在KPCA-MNet中,通过由权重共享PCA卷积层组成的深度连体网络提取高级空间-光谱特征图。然后,将特征差异图中的变化信息映射到2-D极坐标域中。最后,通过阈值分割和聚类算法产生变化检测结果。KPCA-MNet的所有程序都不需要标记数据。理论分析和实验结果证明了该方法在两个二值变化检测数据集和一个多类变化检测数据集上的有效性、鲁棒性和潜力。
2019-12-18 cs.CV eess.IV
Unsupervised Urban Tree Biodiversity Mapping from Street-Level Imagery Using Spatially-Aware Visual Clustering
针对城市树木生物多样性监测成本高、监督式AI泛化差的问题,提出结合街景图像视觉嵌入与空间种植模式的无监督聚类框架,在北美8城验证能高保真恢复属级多样性,为低成本制图提供新方法。
2025-08-24 cs.CV cs.LG
Exemplar Guided Unsupervised Image-to-Image Translation with Semantic Consistency
KU-Leuven/PSI(鲁汶大学/PSI);TRACE (Toyota Res in Europe)(丰田欧洲研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);ETH Zurich(苏黎世联邦理工学院)
由于深度学习的进步,图像到图像的翻译最近受到了极大的关注。大多数工作集中在学习一个一对一的映射在无监督的方式或多对多的映射在监督的方式。然而,更实际的设置是以无监督的方式进行多对多映射,由于缺乏监督以及复杂的内部和跨域变化,这很难实现。为了缓解这些问题,我们提出了示例引导和语义一致的图像到图像翻译(EGSC-IT)网络,该网络将翻译过程限制在目标域中的示例图像上。我们假设一个图像包括一个跨域共享的内容组件和一个特定于每个域的样式组件。在目标域范例的指导下,我们将自适应实例规范化应用于共享内容组件,这允许我们将目标域的样式信息传输到源域。为了避免翻译过程中由于大的内部和跨域变化而自然出现的语义不一致,我们引入了特征掩码的概念,该特征掩码提供粗略的语义指导,而不需要使用任何语义标签。在不同数据集上的实验结果表明,EGSC-IT不仅能将源图像转换为目标域中的不同实例,而且在转换过程中保持了语义的一致性。
2019-03-13 cs.CV
NAM: Non-Adversarial Unsupervised Domain Mapping
Facebook AI Research(Facebook人工智能研究院);Tel Aviv University(特拉维夫大学)
最近提出了几种方法,用于在没有先前知识的情况下以对应的形式在域之间翻译图像的任务。现有的方法应用对抗学习来确保映射的源域的分布与目标域无法区分,目标域遭受已知的稳定性问题。此外,大多数方法严重依赖于域之间的“循环”关系,这强制执行一对一的映射。在这项工作中,我们引入了一种替代方法:非对抗映射(NAM),它将目标域生成建模任务与跨域映射任务分开。NAM依赖于目标域的预训练生成模型,并将每个源图像与从目标域合成的图像对齐,同时联合优化域映射函数。它有几个关键优势:更高质量和分辨率的图像翻译,更简单和更稳定的训练和可重用的目标模型。大量的实验验证了我们的方法的优点。
2018-09-04 cs.CV cs.LG stat.ML
Unsupervised Facial Geometry Learning for Sketch to Photo Synthesis
West Virginia University(西弗吉尼亚大学)
人脸素描照片合成是执法和数字娱乐行业中的一个重要应用,其目标是学习人脸素描图像与其对应的照片级真实感图像之间的映射。然而,配对的草图-照片训练数据的有限数量通常阻止当前框架学习草图的几何形状与其匹配的照片真实感图像之间的鲁棒映射。因此,在这项工作中,我们提出了一种方法来学习合成一个真实感的图像,从一个人脸素描在一个无监督的方式。与目前的无监督图像到图像的翻译技术相比,我们的框架利用了一种新的感知机器学习人脸的几何形状。学习面部先验信息使网络能够去除面部草图中的几何伪影。我们证明,同时优化的人脸照片生成器网络,采用所提出的感知的纹理明智的组合,结果在合成照片的质量和识别率的显着提高。我们通过对多个基线草图照片数据集进行广泛的实验来评估所提出的网络。
2018-10-12 cs.CV
Unsupervised Urban Land Use Mapping with Street View Contrastive Clustering and a Geographical Prior
ETH Zurich(苏黎世联邦理工学院);Ghent University(根特大学)
针对复杂城市中监督式街景土地利用分类依赖标注且难泛化的问题,提出内置地理先验的无监督街景对比聚类模型,并在两个城市数据集上实现可扩展土地利用制图。
2025-05-13 cs.AI cs.CV
Unsupervised Shadow Removal Using Target Consistency Generative Adversarial Network
Chongqing University of Technology(重庆理工大学)
无监督阴影去除的目的是学习一个非线性函数,在没有成对的阴影和非阴影数据的情况下,将原始图像从阴影域映射到非阴影域。在本文中,我们开发了一个简单而有效的目标一致性生成对抗网络(TC-GAN)的阴影消除任务,在无监督的方式。与基于周期一致性GAN的阴影去除方法中的双向映射相比,TC-GAN试图学习单侧映射,以将阴影图像投射到无阴影图像。提出的目标一致性约束,阴影图像和输出的无阴影图像之间的相关性被严格限制。大量的对比实验结果表明,TC-GAN在FID和KID方面分别比最先进的无监督阴影去除方法高出14.9%和31.5%。值得注意的是,TC-GAN实现了与监督阴影去除方法相当的性能。
2021-05-30 cs.CV eess.IV
Shadow-Mapping for Unsupervised Neural Causal Discovery
University of Surrey(萨里大学)
大多数科学领域的一个重要目标是发现一组观察结果的因果结构。遗憾的是,基于相关性或互信息的因果发现方法常常不能识别呈现动态关系的系统中的因果链接。这种动态系统(包括著名的耦合逻辑斯蒂映射)表现出“海市蜃楼”的相关性,其出现和消失取决于观察窗口。这不仅意味着相关性不是因果关系,而且可能与直觉相反,因果关系可能在没有相关性的情况下发生。在本文中,我们描述了神经阴影映射,一个基于神经网络的方法,将高维视频数据嵌入到一个低维的阴影表示,随后的因果关系的估计。我们展示了它的性能在发现因果关系的动态系统的视频表示。
2021-04-28 cs.CV stat.AP stat.ML
GMM-UNIT: Unsupervised Multi-Domain and Multi-Modal Image-to-Image Translation via Attribute Gaussian Mixture Modeling
FBK(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学);Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分部)
无监督图像到图像翻译(UNIT)旨在通过使用未配对的训练图像来学习多个视觉域之间的映射。最近的研究表明,多个领域取得了显着的成功,但他们遭受两个主要的限制:他们要么是建立在几个两个域的映射,需要独立学习,或者他们产生低多样性的结果,一个问题被称为模式坍塌。为了克服这些局限性,我们提出了一种名为GMM-UNIT的方法,它是基于一个内容-属性的解纠缠表示,其中的属性空间与GMM拟合。每个GMM组件代表一个域,这个简单的假设有两个突出的优点。首先,它可以很容易地扩展到大多数多域和多模态图像到图像翻译任务。其次,连续域编码允许域之间的内插以及外推到看不见的域和平移。此外,我们还展示了GMM-UNIT如何被约束到文献中的不同方法,这意味着GMM-UNIT是无监督图像到图像翻译的统一框架。
2020-03-21 cs.CV
Exploiting Both Domain-specific and Invariant Knowledge via a Win-win Transformer for Unsupervised Domain Adaptation
Beijing Institute of Technology(北京理工大学);Tsinghua University(清华大学);Inceptio Tech.(嬴彻科技)
无监督领域自适应(UDA)旨在将知识从标记的源领域转移到未标记的目标领域。大多数现有的UDA方法通过学习领域不变表示和在两个领域共享一个分类器来实现知识转移。然而,忽略与任务相关的领域特定信息,并强制统一的分类器适合两个领域将限制每个领域中的特征表达。在本文中,通过观察具有可比参数的Transformer架构可以生成比CNN对应物更多的可转移表示,我们提出了一个双赢的TRansformer框架(WinTR),该框架分别探索每个领域的特定领域知识,同时交换跨领域知识。具体来说,我们使用Transformer中的两个单独的分类标记来学习两个不同的映射,并为每个标记设计一个特定于域的分类器。跨领域知识的传递通过源引导的标签精化和关于源或目标的单侧特征对齐来实现,保持了领域特定信息的完整性。在三个基准数据集上的大量实验表明,我们的方法优于最先进的UDA方法,验证了利用特定领域和不变量的有效性
2021-11-25 cs.CV
TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation
SenseTime Research(商汤科技研究院);Stanford University(斯坦福大学);Nanyang Technological University(南洋理工大学)
无监督图像到图像翻译旨在学习两个视觉域之间的映射。然而,学习跨越大的几何变化的平移总是以失败告终。在这项工作中,我们提出了一种新的解开和翻译框架,以解决复杂的对象图像到图像的翻译任务。我们不是直接学习图像空间上的映射,而是将图像空间分解为外观空间和几何潜空间的笛卡尔乘积。具体来说,我们首先引入几何先验损失和条件VAE损失,以鼓励网络学习独立但互补的表示。然后分别在外观和几何空间上构建平移。大量的实验表明,我们的方法优于其他国家的最先进的方法,特别是在具有挑战性的近刚性和非刚性物体的翻译任务的性能。此外,通过采用不同的范例作为外观参考,我们的方法也支持多模态翻译。项目页面:https://wywu.github.io/projects/TGaGa/TGaGa.html
2019-04-21 cs.CV
COCO-FUNIT: Few-Shot Unsupervised Image Translation with a Content Conditioned Style Encoder
Boston University(波士顿大学);NVIDIA(英伟达)
无监督图像到图像翻译旨在学习给定域中的图像到不同域中的类似图像的映射,而无需对映射进行显式监督。Few-Shot无监督图像到图像转换进一步尝试通过利用在推理时提供的未见过域的示例图像来将模型推广到未见过域。虽然非常成功,但现有的Few-Shot图像到图像翻译模型发现难以在模拟看不见的域的外观的同时保留输入图像的结构,我们将其称为内容丢失问题。当输入图像和示例图像中的对象的姿态非常不同时,这是特别严重的。为了解决这个问题,我们提出了一个新的Few-Shot图像翻译模型,COCO-FUNIT,它计算的输入图像和一个新的模块称为恒定的风格偏差的条件下的示例图像的风格嵌入。通过大量的实验验证与比较的国家的最先进的,我们的模型显示出有效性,在解决内容丢失的问题。有关代码和预训练模型,请访问https://nvlabs.github.io/COCO-FUNIT/。
2020-07-29 cs.CV
Unsupervised Domain Alignment to Mitigate Low Level Dataset Biases
Purdue University(普渡大学)
数据集偏差是计算机视觉领域中的一个众所周知的问题。任何图像集合中存在的隐式偏差都会阻碍在特定数据集上训练和验证的模型在其他数据集上测试时产生类似的准确性。在本文中,我们提出了一种新的去偏置技术,以减少有偏训练数据集的影响。我们的目标是通过学习从源域(训练集)到目标域(测试集)的非线性映射,同时保留训练集标签,使用生成网络来增强训练数据。利用生成对抗网络的循环一致性损失和对抗性损失来学习映射。一个结构化的相似性指数(SSIM)损失是用来加强标签保留,同时增加训练集。我们的方法和假设的支持与先前的去偏置技术的定量比较。这些比较展示了我们方法的优越性及其在推断阶段减轻数据集偏差影响的潜力。
2019-07-12 cs.CV
Unsupervised Image Denoising with Frequency Domain Knowledge
基于监督学习的方法可以产生强大的去噪结果,但它们本质上受到大规模干净/嘈杂配对数据集的限制。另一方面,使用无监督去噪器需要更详细地了解底层图像统计。特别地,众所周知,干净图像和有噪声图像之间的明显差异在高频段上最突出,证明了使用低通滤波器作为常规图像预处理步骤的一部分是合理的。然而,大多数基于学习的去噪方法仅利用来自空间域的单侧信息,而不考虑频域信息。为了解决这个问题,在这项研究中,我们提出了一种频率敏感的无监督去噪方法。为此,生成对抗网络(GAN)被用作基础结构。随后,我们包括频谱重构和频率重构损失,以将频率知识转移到生成器中。使用自然和合成数据集的结果表明,我们用频率信息增强的无监督学习方法实现了最先进的去噪性能,这表明频域信息可能是提高基于无监督学习方法的整体性能的可行因素。
2021-11-29 cs.CV eess.IV
Unsupervised Domain Adaptation Architecture Search with Self-Training for Land Cover Mapping
RIKEN Center for Advanced Intelligence Project (AIP), RIKEN(理化学研究所先进智能中心(AIP));Graduate School of Frontier Sciences, The University of Tokyo(东京大学前沿科学研究院)
提出将MRF-NAS集成到自训练UDA框架中,自动搜索轻量级神经网络,在土地覆盖制图任务上以不到2M参数实现SOTA性能。
2024-04-23 cs.CV cs.NE
Unsupervised Domain Generalization by Learning a Bridge Across Domains
IBM Research(IBM研究院);Tel-Aviv University(特拉维夫大学);Technion(以色列理工学院);Goethe University(歌德大学);MIT(麻省理工学院);Boston University(波士顿大学)
跨显着不同的视觉领域(例如真实照片、剪贴画、绘画和草图之间)概括学习表示的能力是人类视觉系统的基本能力。在本文中,不同于大多数跨领域的作品,利用一些(或全部)源域监督,我们接近一个相对较新的和非常实用的无监督领域泛化(UDG)设置没有训练监督,无论是在源域还是目标域。我们的方法是基于自监督学习的跨域桥(BrAD)-一个辅助桥域伴随着一组语义保持视觉(图像到图像)映射到BrAD从每个训练域。BrAD和到它的映射与对比自监督表示模型联合学习(端到端),该模型在语义上将每个域与其BrAD投影对齐,因此隐式地驱动所有域(可见或不可见)在语义上彼此对齐。在这项工作中,我们展示了如何使用边缘正则化的BrAD,我们的方法在多个基准和一系列任务中实现了显着的收益,包括UDG,Few-Shot UDA和跨多域数据集的无监督泛化(包括泛化到看不见的域和类)。
2022-05-17 cs.CV
Towards unsupervised assessment with open-source data of the accuracy of deep learning-based distributed PV mapping
MINES Paris, Université PSL(巴黎高等矿业学院,巴黎文理研究大学);Centre Observation Impacts Energie (O.I.E.)(能源影响观测中心)
光伏(PV)能源正在迅速增长,是缓解能源危机的关键。然而,占光伏装机容量一半的分布式光伏发电通常不为输电系统运营商(TSO)所用,这使得平衡负荷和供电以及避免电网故障变得越来越困难。为了评估分布式光伏发电,TSO需要关于分布式光伏装置元数据的精确知识。近年来,已经提出了许多基于遥感的方法来绘制这些设施的地图。然而,为了在工业过程中使用这些方法,评估它们在映射区域上的准确性,即,部署期间模型覆盖的区域是必要的。我们将下游任务准确度(DTA)定义为映射区域的准确度,使用公开可用的数据源和模型的输出自动计算,并以可解释的方式表示操作员。我们对现有的分布式PV映射模型进行了基准测试,并展示了它们在DTA方面的表现。我们发现,在测试集上计算的准确性高估了约30个百分点的准确性映射区域。我们的方法为更安全地集成基于深度学习的管道以进行远程PV映射铺平了道路。代码可在https://github.com/gabrielkasmi/deeppvmapper上获得。
2023-02-17 cs.CV eess.SP
LetsMap: Unsupervised Representation Learning for Semantic BEV Mapping
University of Freiburg(弗莱堡大学);Qualcomm SARL France(法国高通公司);QT Technologies Ireland Limited(爱尔兰QT技术有限公司);Federal University of Rio Grande(里奥格兰德联邦大学);University of Technology Nuremberg(纽伦堡工业大学)
提出首个无监督表示学习方法LetsMap,通过两条独立神经通路分别无监督预训练场景几何与语义,并利用时序掩码自编码器,仅需1%的BEV标签即可生成与SOTA相当的语义BEV地图。
2024-05-29 cs.AI cs.CV cs.RO
Separating Content and Style for Unsupervised Image-to-Image Translation
Peng Cheng Laboratory(鹏城实验室);Beihang University(北京航空航天大学)
无监督图像到图像翻译的目的是学习两个视觉域之间的映射与未配对的样本。现有的工作集中在解开域不变的内容代码和域特定的风格代码分别为多模式的目的。然而,很少有人注意到翻译图像的解释和操作。在本文中,我们建议在一个统一的框架中同时分离内容代码和风格代码。基于潜在特征和高级域不变任务之间的相关性,所提出的框架在多模态翻译,翻译图像的可解释性和操作方面表现出优越的性能。实验结果表明,该方法在视觉质量和多样性方面优于现有的无监督图像翻译方法。
2021-10-27 cs.CV
Unsupervised Domain Adaptation Using Compact Internal Representations
University of Southern California(南加州大学)
本文提出通过将源域内部表示建模为高斯混合模型并使其更紧凑、增大类间间隔,从而提升无监督域适应的泛化性能,实验表明该方法优于现有技术。
2024-01-14 cs.CV
QSMDiff: Unsupervised 3D Diffusion Models for Quantitative Susceptibility Mapping
University of Queensland(昆士兰大学);Central South University(中南大学);University of Newcastle(纽卡斯尔大学)
本文提出无监督3D扩散模型QSMDiff,通过3D图像块训练与全尺寸测量引导,解决了QSM偶极子反演问题,在多场景下实现了稳健重建与超分辨率去噪,并具备广泛医学应用潜力。
2024-03-21 cs.CV eess.IV physics.med-ph
An unsupervised, open-source workflow for 2D and 3D building mapping from airborne LiDAR data
本文提出一种完全无监督、可扩展的开源工作流,利用机载LiDAR数据批量生成2D和3D建筑物地图,并在超过550 km²数据上验证其稳健性。
2023-08-16 cs.CV eess.IV
Learning Cortical Anomaly through Masked Encoding for Unsupervised Heterogeneity Mapping
Department of Psychiatry and Psychotherapy, Tübingen Center for Mental Health (TÜCMH)(图宾根心理健康中心精神病学与心理治疗系);Norwegian Centre for Mental Disorders Research(挪威精神障碍研究中心);Donders Institute for Brain, Cognition, and Behaviour, Radboud University(拉德堡德大学唐德斯脑、认知与行为研究所)
本文提出了一种名为CAM的自监督框架,通过掩码图像建模和皮层表面特征实现复杂脑部疾病的无监督异常检测,在无需标签的情况下对精神病谱系个体检测取得了显著效果。
2024-02-13 cs.CV eess.IV
Improving Shape Deformation in Unsupervised Image-to-Image Translation
Brown University, USA(美国布朗大学);University of Bath, UK(英国巴斯大学)
无监督的图像到图像的翻译技术能够映射两个域之间的局部纹理,但它们通常是不成功的域时,需要更大的形状变化。受语义分割的启发,我们引入了一个具有膨胀卷积的神经网络,它能够使用整个图像的信息来训练一个更具上下文感知的生成器。这与多尺度感知损失相结合,该多尺度感知损失能够更好地表示对象的底层形状中的错误。我们证明,这种设计更能够表示具有挑战性的玩具数据集中的形状变形,再加上人类,玩偶和动漫脸之间以及猫和狗之间的复杂映射,数据集差异很大。
2019-01-17 cs.CV
Unsupervised Creation of Parameterized Avatars
Facebook AI Research(Facebook人工智能研究院);Tel Aviv University(特拉维夫大学)
我们研究的问题,输入图像映射到一个捆绑对组成的参数向量和使用图形引擎从参数向量创建的图像。映射的目标是使输出图像尽可能与输入图像相似。在培训期间,没有以匹配输入和输出的形式进行监督。该学习问题扩展了两个文献问题:无监督领域自适应和跨领域迁移。我们定义了一个泛化的界限,是基于差异,并采用GAN实现网络的解决方案,对应于这个界限。实验表明,我们的方法可以解决自动创建化身的问题。
2017-07-09 cs.CV cs.LG
CerfGAN: A Compact, Effective, Robust, and Fast Model for Unsupervised Multi-Domain Image-to-Image Translation
Xiamen University(厦门大学);Xidian University(西安电子科技大学)
在本文中,我们的目标是解决多领域的图像到图像的翻译问题,在一个统一的模型,在无监督的方式。这方面最成功的工作是StarGAN,它在人脸属性调制等任务中表现良好。然而,StarGAN在遇到具有非常多样化的域转换的一般翻译时无法匹配多个翻译映射。另一方面,StarGAN采用编码器-解码器-鉴别器(EDD)架构,其中模型对于训练是耗时且不稳定的。为此,我们提出了一种紧凑,有效,鲁棒,快速的GAN模型,称为Cerf GAN,以解决上述问题。原则上,CerfGAN包含一种新的组分,即,一个多类映射(MCD),它使模型具有非常强大的能力来匹配多个转换映射。为了稳定训练过程,MCD还在CerfGAN中扮演编码器的角色,这节省了大量的计算和内存成本。我们进行了大量的实验,以验证所提出的方法的有效性。CerfGAN被证明可以处理一系列图像到图像的翻译任务,包括风格转换,季节转换,面部幻觉等,其中输入图像是从不同的领域采样的。与最近提出的几种方法的比较证明了该方法的优越性和新颖性。
2019-01-15 cs.CV
SharinGAN: Combining Synthetic and Real Data for Unsupervised Geometry Estimation
University of Maryland(马里兰大学);Amazon AWS(亚马逊云科技)
我们提出了一种新的方法,用于在训练网络时将合成图像和真实图像相结合,以从单个图像中确定几何信息。我们提出了一种方法,将这两种图像类型映射到一个单一的,共享的域。这是连接到一个主要的网络进行端到端的培训。理想情况下,这会导致来自两个域的映像向主网络提供共享信息。我们的实验表明,显着的改进,在两个重要的领域,表面正常估计的人脸和单眼深度估计的户外场景,无论是在无监督的设置的最先进的。
2020-06-07 cs.CV
Dual Contrastive Learning for Unsupervised Image-to-Image Translation
DATA61-CSIRO(澳大利亚联邦科学与工业研究组织数据61);Australian National University(澳大利亚国立大学)
无监督图像到图像翻译任务旨在从不成对的训练数据中找到源域X和目标域Y之间的映射。针对未配对图像到图像翻译(CUT)的对比学习通过针对两个域仅使用一个编码器来最大化输入和输出补丁之间的互信息,在对无监督图像到图像翻译进行建模方面产生最先进的结果。在本文中,我们提出了一种新的方法,基于对比学习和双学习设置(利用两个编码器),以推断不成对数据之间的有效映射。此外,虽然CUT遭受模式坍塌,我们的方法的变体有效地解决了这个问题。我们进一步证明了我们的方法的优势,通过广泛的消融研究,表现出优越的性能相比,最近的方法在多个具有挑战性的图像翻译任务。最后,我们证明了无监督方法和监督方法之间的差距可以有效地关闭。
2021-04-15 cs.CV eess.IV
Unsupervised Many-to-Many Image-to-Image Translation Across Multiple Domains
Sichuan University(四川大学)
无监督的多域图像到图像的转换是指在没有标记数据的情况下,将多个域之间的图像进行合成,比一对一的图像映射更加通用和复杂。然而,现有的方法主要集中在减少建模的大量成本,并没有足够的重视所生成的图像的质量。在某些目标域中,它们的翻译结果可能不符合预期,甚至出现模型崩溃。为了提高图像质量,我们提出了一个有效的多对多映射框架的无监督多域图像到图像的翻译。我们的方法有两个关键方面。第一个是一个多对多的架构,只有一个域共享的编码器和几个域专用的解码器,有效地,同时跨多个域的图像翻译。第二个是两个建议的约束扩展从一对一的映射,以进一步帮助提高生成。所有的评估表明,我们的框架是优于现有的方法,并提供了一个有效的解决方案,多域图像到图像的翻译。
2020-11-24 cs.CV cs.LG eess.IV
Trip-ROMA: Self-Supervised Learning with Triplets and Random Mappings
Nanjing University(南京大学);University of Wollongong(伍伦贡大学);University of Rochester(罗切斯特大学)
针对小数据场景下自监督学习负样本不足或无负样本易过拟合的问题,提出仅需单负样本的三元组损失结合即插即用随机映射的Trip-ROMA方法,在多个数据集上验证了其有效性及对其他SSL方法的提升作用。
2023-08-24 cs.CV
Optimal Unsupervised Domain Translation
Sorbonne Université(索邦大学);Theresis Lab, Thales(泰雷兹Theresis实验室);Criteo AI Lab(Criteo人工智能实验室)
域翻译是在两个域之间找到有意义的对应关系的问题。由于在大多数情况下,配对监督不可用,因此许多工作都集中在无监督域翻译(UDT)上,其中来自每个域的数据样本都是未配对的。在CycleGAN为UDT所做的开创性工作之后,已经提出了该模型的许多变体和扩展。然而,在他们的成功背后仍然没有什么理论上的理解。我们观察到,这些方法产生的解决方案是近似最小的w.r.t.一个给定的运输成本,导致我们重新制定的最优运输(OT)框架中的问题。这个观点为我们提供了一个新的视角,无监督域翻译,并允许我们证明检索映射的存在性和唯一性,给定一个大家庭的运输成本。然后,我们提出了一个新的框架,有效地计算最佳映射的动态设置。我们表明,它概括了以前的方法,并使一个更明确的控制计算的最佳映射。它还提供了两个域之间的平滑插值。玩具和现实世界的数据集上的实验说明了我们的方法的行为。
2019-06-04 cs.CV cs.LG stat.ML
Double-sided probing by map of Asplund's distances using Logarithmic Image Processing in the framework of Mathematical Morphology
International Prevention Research Institute(国际预防研究所);Lab. H. Curien(H. Curien实验室);UMR CNRS 5516(CNRS 5516联合研究单位)
本文在数学形态学框架下,利用对数图像处理的标量乘法建立数学形态学与探针与灰度函数之间Asplund距离映射的联系,并通过实例展示该方法在模式匹配中的应用。
2018-01-25 cs.CV cs.NA math.NA
Unsupervised Multi-Clustering and Decision-Making Strategies for 4D-STEM Orientation Mapping
Laboratoire de Réactivité et Chimie des Solides (LRCS), CNRS UMR 7314, Université de Picardie Jules Verne(皮卡第儒勒-凡尔纳大学,法国国家科学研究中心,固体反应性与化学实验室);Institut de Chimie de la Matière Condensée de Bordeaux (ICMCB)(波尔多凝聚态材料化学研究所);Université Grenoble Alpes, CNRS, Grenoble INP, SIMAP(格勒诺布尔-阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔理工学院,材料与工艺科学与工程实验室);NanoMegas company(NanoMegas公司);ALISTORE-European Research Institute, CNRS FR 3104(ALISTORE欧洲研究院,法国国家科学研究中心)
本研究面向4D-STEM取向映射任务,提出融合NMF聚类、K-Component Loss、IQA指标及预处理的无监督分析框架,可确定最优分量数、平衡性能与复杂度,实现可靠的结构分析。
2025-03-09 cs.CV cs.LG eess.IV
Unsupervised Domain Adaptation using Deep Networks with Cross-Grafted Stacks
University of Otago(奥塔哥大学);Institute of Information Engineering Chinese Academy of Sciences(中国科学院信息工程研究所)
当前在计算机视觉中使用的深度领域自适应方法主要集中于学习跨不同领域的区分性和领域不变特征。在本文中,我们提出了一种新的方法,通过将源域和目标域投影到一个共同的关联空间中,通过无监督的“交叉嫁接表示堆栈”(CGRS)机制来弥合域差距。具体来说,我们构建了两个域的变分自编码器(VAE),并通过交叉嫁接VAE的解码器堆栈来形成双向关联。此外,生成对抗网络(GAN)用于标签对齐(LA),将目标域数据映射到源域的已知标签空间。因此,整个适应过程由三个阶段组成:VAE的特征表示学习,关联生成和GANs的关联标签对齐。实验结果表明,我们的CGRS-LA方法优于国家的最先进的一些无监督领域自适应基准。
2019-03-25 cs.CV
OTAdapt: Optimal Transport-based Approach For Unsupervised Domain Adaptation
University of Arkansas(阿肯色大学)
无监督的领域自适应是计算机视觉中具有挑战性的问题之一。提出了一种基于最优传输距离的无监督领域自适应方法。我们的方法允许对齐目标和源域,而不需要跨域的有意义的指标。此外,该方案还可以关联源域和目标域之间的正确映射,并保证源域和目标域之间的拓扑约束。该方法在不同的数据集上进行了各种问题的评估,即(i)MNIST,MNIST-M,USPS数据集上的数字识别,(ii)Amazon,Webcam,DSLR和VisDA数据集上的对象识别,(iii)IP 102数据集上的昆虫识别。实验结果表明,我们提出的方法一致地提高性能的准确性。此外,我们的框架可以与任何其他CNN框架结合在端到端深度网络设计中,以解决识别问题,从而提高其性能。
2022-05-22 cs.CV
Mapping melliferous tree species in Kenya via one-class classification with hyperspectral unsupervised domain adaptation
University of Helsinki(赫尔辛基大学);Finnish Meteorological Institute(芬兰气象研究所);Xihua University(西华大学);Wuhan University(武汉大学)
本研究提出HyUDA-One框架,结合高光谱无监督域适应与空间-光谱正则化伪正样本学习,成功绘制肯尼亚两种稀树草原中三种蜜源树种分布,提升了未标注域单类分类性能,为养蜂业提供支撑。
2026-08-04 cs.CV eess.IV
From Association to Generation: Text-only Captioning by Unsupervised Cross-modal Mapping
School of Computer and Information Technology, Beijing Jiaotong University(北京交通大学计算机与信息技术学院);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
针对CLIP难以用于生成任务且存在模态差距的问题,提出K近邻跨模态映射(Knight)零样本方法,通过纯文本无监督训练实现图像和视频字幕生成,达到最先进性能。
2023-05-08 cs.CL cs.CV cs.LG
Unsupervised Feature Learning by Cross-Level Instance-Group Discrimination
UC Berkeley(加州大学伯克利分校);ICSI(国际计算机科学研究所);S-Lab NTU(新加坡南洋理工大学S实验室)
无监督特征学习在基于实例判别和不变映射的对比学习方面取得了长足的进步,这是在策划的类平衡数据集上进行的基准测试。然而,自然数据可能是高度相关和长尾分布的。实例间的自然相似性与假定的实例区别相冲突,导致训练不稳定和性能低下。我们的想法是发现和集成之间的实例相似性对比学习,而不是直接通过实例分组,但通过跨级歧视(CLD)之间的实例和本地实例组。虽然每个实例的不变映射是由其增强视图内的吸引力施加的,但实例间的相似性可能来自对实例组的共同排斥。我们的批量和跨视图比较也大大提高了对比学习的正/负样本比,并实现了更好的不变映射。为了实现分组和歧视目标,我们将它们分别施加在来自共享表示的功能上。此外,我们首次提出了归一化投影头和无监督超参数调整。我们广泛的实验表明,CLD是现有方法(如NPID,MoCo,InfoMin和BYOL)在高度相关,长尾或平衡数据集上的精简和强大的附加功能。它不仅在自我监督、半监督和迁移学习基准测试方面达到了最先进的水平,而且在更大计算量下获得的每一项性能报告上都击败了MoCo v2和Simplified。CLD有效地使无监督学习更接近自然数据和现实世界的应用。我们的代码可在https://github.com/frank-xwang/CLD-UnsupervisedLearning上公开获取。
2021-05-16 cs.CV cs.LG stat.ML
Unsupervised Joint Image Transfer and Uncertainty Quantification Using Patch Invariant Networks
University of Innsbruck(因斯布鲁克大学)
在大量成对训练数据不丰富的应用中,无监督图像传输能够实现模态内和模态间图像转换。为了确保从输入到目标域的结构保持映射,用于不成对图像传输的现有方法通常基于循环一致性,由于逆映射的学习而导致额外的计算资源和不稳定性。本文提出了一种新的方法,不依赖于任何配对的训练数据的单向域映射。通过使用GAN结构和基于补丁不变性的新的发电机损耗来实现适当的转移。更具体地说,在不同的尺度上对发生器输出进行评估和比较,这也导致对高频细节的关注增加以及隐含的数据增强。这种新的补丁损失也提供了可能性,准确地预测任意的不确定性,通过建模的输入依赖的比例尺地图的补丁残差。所提出的方法进行了全面评估三个完善的医疗数据库。与四种最先进的方法相比,我们在这些数据集上观察到了更高的准确性,这表明所提出的方法在考虑不确定性的情况下用于未配对图像传输的巨大潜力。建议框架的实现在这里发布:\url{https://github.com/anger-man/unsupervised-image-transfer-and-uq}。
2022-09-02 cs.CV cs.LG eess.IV
Mitigating Uncertainty of Classifier for Unsupervised Domain Adaptation
Microsoft(微软);IIT Kanpur(印度理工学院坎普尔分校);Oracle(甲骨文公司);University of Bath(巴斯大学)
理解无监督领域自适应一直是一个重要的任务,已经很好地探索。然而,各种各样的方法都没有详细分析分类器的性能的作用。在本文中,我们彻底研究的作用,一个分类匹配的源和目标分布。我们通过匹配a)特征分布,b)样本的概率不确定性和c)确定性激活映射来专门研究分类器的能力。我们的分析表明,使用这三种分布确实可以在所有数据集上持续提高性能。因此,我们的工作扩展了目前的知识,从分类器获得的各种分布的作用,解决无监督领域自适应。
2021-07-01 cs.CV cs.LG
Visual Grounding in Video for Unsupervised Word Translation
DeepMind(深度思维);Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学)
地球上有成千上万种活跃的语言,但只有一个视觉世界。在这个视觉世界中扎根有可能弥合所有这些语言之间的差距。我们的目标是使用视觉基础来改善语言之间的无监督词映射。其核心思想是通过学习母语讲述的非配对教学视频中的嵌入,在两种语言之间建立一个共同的视觉表示。鉴于这种共享嵌入,我们证明:(i)我们可以映射语言之间的单词,特别是“视觉”单词;(ii)共享嵌入为现有的无监督基于文本的单词翻译技术提供了一个很好的初始化,形成了我们提出的混合视觉-文本映射算法MUVE的基础;和(iii)我们的方法通过解决基于文本的方法的缺点实现了卓越的性能-它更健壮,处理具有较少共性的数据集,并且适用于低资源语言。我们应用这些方法将单词从英语翻译成法语,韩语和日语-所有这些都没有任何平行语料库,只是通过观看许多人说话的视频。
2020-03-26 cs.CL cs.CV cs.LG
Vision-Aided Absolute Trajectory Estimation Using an Unsupervised Deep Network with Online Error Correction
GTS;US Army Research Laboratory(美国陆军研究实验室)
我们提出了一种无监督的深度神经网络方法来融合RGB-D图像与惯性测量,以进行绝对轨迹估计。我们的网络被称为视觉惯性测距学习器(VIOLearner),学习在没有惯性测量单元(IMU)内部参数(对应于陀螺仪和加速度计偏差或白噪声)或IMU和相机之间的外部校准的情况下执行视觉惯性测距(VIO)。该网络学习整合IMU测量值并生成假设轨迹,然后根据缩放图像投影误差相对于像素坐标空间网格的雅可比矩阵在线校正这些假设轨迹。我们评估了我们的网络对国家的最先进的(SOA)视觉惯性里程计,视觉里程计,视觉同时定位与地图构建(VSLAM)的KITTI里程计数据集的方法,并展示了竞争力的里程计性能。
2018-03-08 cs.CV cs.RO
I2I-Galip: Unsupervised Medical Image Translation Using Generative Adversarial CLIP
Johns Hopkins University(约翰斯·霍普金斯大学)
提出I2I-Galip框架,利用预训练CLIP模型和单个轻量级生成器实现多域无监督医学图像翻译,在MRI和CT数据集上优于现有方法。
2024-09-19 cs.CV eess.IV
Unsupervised Latent Space Translation Network
在计算机视觉中经常讨论的一个任务是将图像从一个域映射到另一个域中的对应图像,称为图像到图像转换。目前有几种方法可以解决这个问题。在本文中,我们提出了一个增强的UNIT框架,有助于消除其主要缺点。更具体地说,我们在使用的潜在表示上引入了一个额外的对抗性代理,而不是VAE,这使得两个域的潜在空间分布相似。在MNIST和USPS领域自适应任务上,该方法大大优于竞争方法。
2020-03-20 cs.CV cs.LG eess.IV
Unsupervised Representation Adversarial Learning Network: from Reconstruction to Generation
Beckman Institute, UIUC(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所)
一个好的表示任意复杂的数据应该具有语义生成,聚类和重构的能力。以前的研究已经在这两个方面取得了令人印象深刻的表现。本文旨在以无监督的方式学习一种对所有人都有效的解纠缠表示。为了同时实现这三个任务,我们在对称对抗过程的基础上学习数据和表示之间的正向和反向映射。在理论上,我们最小化的两个条件熵损失的上界之间的潜变量和观察一起,以实现循环的一致性。新提出的RepGAN在MNIST,fashionMNIST,CelebA和SVHN数据集上进行了测试,以执行无监督分类,生成和重建任务。结果表明,RepGAN是能够学习一个有用的和有竞争力的表示。据作者所知,我们的工作是第一个实现高的无监督分类精度和低重建错误的MNIST。代码可在https://github.com/yzhouas/RepGAN-tensorflow上获得。
2019-04-06 cs.CV cs.LG stat.ML