Exploiting Inter-pixel Correlations in Unsupervised Domain Adaptation for Semantic Segmentation
Seoul National University(首尔大学)
通过无监督领域自适应(UDA),“自训练”已经成为语义分割的主要方法。它为目标域创建一组伪标签,以提供显式的监督。然而,伪标签是有噪声的、稀疏的并且不提供关于像素间相关性的任何信息。我们认为像素间的相关性非常重要,因为语义分割是一个预测高度结构化的像素级输出的任务。因此,在本文中,我们提出了一种方法,通过自注意模块从源域到目标域的像素间的相关性。该模块将分割网络的预测作为输入,并创建将相似像素相关的自助预测。该模块只在源域上训练,以学习域不变的像素间相关性,然后在目标域上训练分割网络。该网络不仅从伪标签中学习,而且还通过跟踪自我注意模块的输出来学习,该模块提供了关于像素间相关性的额外知识。通过大量的实验,我们表明,我们的方法显着提高了两个标准的UDA基准测试的性能,也可以与最近的国家的最先进的方法相结合,以实现更好的性能。
2021-10-21 cs.CV
Discovering Object Masks with Transformers for Unsupervised Semantic Segmentation
KU Leuven(鲁汶大学);ETH Zurich(苏黎世联邦理工学院)
无监督语义分割的任务旨在将像素聚类成语义上有意义的组。具体来说,分配给同一个集群的像素应该共享高级语义属性,如它们的对象或部件类别。本文介绍了MaskDistill:一个新的框架,无监督的语义分割的基础上的三个关键思想。首先,我们提倡一种数据驱动的策略来生成对象掩码,作为语义分割的像素分组之前。这种方法省略了手工制作的先验,这些先验通常是为特定的场景组合而设计的,并且限制了竞争框架的适用性。其次,MaskDistill对对象掩码进行聚类,以获得用于训练初始对象分割模型的伪地面实况。第三,我们利用这个模型来过滤掉低质量的对象掩码。这种策略减轻了我们的像素分组之前的噪声,并导致一个干净的收集的面具,我们使用训练最终的分割模型。通过结合这些组件,我们可以大大优于以前的工作,无监督语义分割的PASCAL(+11% mIoU)和COCO(+4%掩码AP50)。有趣的是,与现有的方法相反,我们的框架不依赖于低级别的图像线索,也不限于以对象为中心的数据集。将提供代码和模型。
2022-06-13 cs.CV cs.LG
Unsupervised Pixel-Level Semantic Left-Right Understanding of In-the-Wild Images
University of Bonn(波恩大学);Lamarr Institute(拉马尔研究所)
针对自然图像像素级语义左右预测难题,提出无监督学习框架。利用3D数据顶点语义左右理解进展,联合3D形状与图像数据集推断单视图图像像素语义左右预测,性能优于现有方法。
2026-07-07 cs.CV
Unsupervised Pixel-Level Domain Adaptation with Generative Adversarial Networks
Google Brain(谷歌大脑);Google Research(谷歌研究院)
收集注释良好的图像数据集来训练现代机器学习算法对于许多任务来说都是非常昂贵的。一个吸引人的替代方案是渲染合成数据,其中自动生成地面实况注释。不幸的是,纯粹在渲染图像上训练的模型往往无法推广到真实图像。为了解决这个缺点,先前的工作引入了无监督的领域自适应算法,该算法试图在两个域之间映射表示或学习提取域不变的特征。在这项工作中,我们提出了一种新的方法,学习,在无监督的方式,在像素空间中的变换从一个域到其他。我们基于生成对抗网络(GAN)的方法使源域图像看起来像是从目标域绘制的。我们的方法不仅产生合理的样本,而且在许多无监督领域自适应场景上的表现优于最先进的方法。最后,我们证明了自适应过程可以推广到训练过程中看不到的对象类。
2017-08-23 cs.CV
Unsupervised Spatial-spectral Hyperspectral Image Reconstruction and Clustering with Diffusion Geometry
City University of Hong Kong(香港城市大学);Hong Kong Centre for Cerebro-Cardiovascular Health Engineering(香港脑心血管健康工程中心);Tufts University(塔夫茨大学);Wake Forest University(维克森林大学)
高光谱图像是自然科学和社会科学的重要数据源,它存储了上百个或更多的光谱波段。高光谱图像通常以相对粗糙的空间分辨率大量生成。因此,需要在高光谱图像中结合已知结构的无监督机器学习算法来自动分析这些图像。本文介绍了空间光谱图像重建和扩散几何聚类(DSIRC)算法,用于分割高度混合的高光谱图像。DSIRC通过形状自适应重建过程降低测量噪声。特别是,对于每个像素,DSIRC定位光谱相关的像素内的数据自适应的空间邻域和重建像素的光谱特征使用其邻居。然后,DSIRC将高密度、高纯度像素定位在远离其他高密度、高纯度像素的扩散距离(一种依赖于数据的距离度量)上,并将这些像素视为聚类样本,为每个像素提供唯一的标签。非模态像素被分配其扩散距离的标签-已经标记的具有更高密度和纯度的最近邻。强有力的数值结果表明,通过图像重建的空间信息,大大提高了性能的像素级聚类。
2022-04-28 cs.CV cs.LG stat.AP
Deep Image Translation with an Affinity-Based Change Prior for Unsupervised Multimodal Change Detection
UiT The Arctic University of Norway(挪威北极大学);NORCE (the Norwegian Research Centre)(挪威NORCE研究中心);University of Genoa(热那亚大学)
利用卷积神经网络的图像翻译最近已被用作多模态变化检测的方法。现有的方法训练网络利用监督信息的变化领域,这是,然而,并不总是可用的。无监督问题设置中的主要挑战是避免改变像素影响平移函数的学习。我们提出了两个新的网络架构训练的损失函数加权先验知识,减少改变像素对学习目标的影响。的变化之前是在一个无监督的方式从特定领域的亲和矩阵捕获的关系像素信息。具体来说,我们使用与绝对亲和力差异矩阵相关的顶点度,并结合循环一致性和对抗训练来展示它们的实用性。所提出的神经网络进行了比较与国家的最先进的算法。在三个真实数据集上的实验表明了该方法的有效性。
2021-03-08 cs.CV cs.LG eess.IV
Unsupervised Pixel-level Road Defect Detection via Adversarial Image-to-Frequency Transform
Curtin University(科廷大学);Gwangju Institute of Science and Technology (GIST)(光州科学技术院);RMIT University(皇家墨尔本理工大学)
在过去的几年中,由于计算机视觉和深度学习的各种研究的进步,道路缺陷检测的性能得到了显着提高。尽管大规模且标注良好的数据集在一定程度上提高了检测道路路面缺陷的性能,但在实践中推导出可以针对各种道路条件可靠地执行的模型仍然是具有挑战性的,因为构建考虑不同道路条件和缺陷模式的数据集是困难的。为此,我们提出了一种无监督的方法来检测道路缺陷,使用对抗图像到频率变换(AIFT)。AIFT采用无监督的方式和对抗式学习来推导缺陷检测模型,因此AIFT不需要对路面缺陷进行注释。我们使用GAPs 384数据集,Cracktree 200数据集,CRACK 500数据集和CFD数据集来评估AIFT的效率。实验结果表明,该方法检测各种道路检测,它优于现有的国家的最先进的方法。
2020-02-03 cs.CV cs.LG eess.IV
Filtered-CoPhy: Unsupervised Learning of Counterfactual Physics in Pixel Space
LIRIS(里昂图像与信息系统实验室);INSA Lyon(里昂国立应用科学学院);Naver Labs Europe(Naver欧洲实验室);Meta AI;LAGEPP(里昂自动化与过程工程实验室);Univ. Lyon 1(里昂第一大学);Simon Fraser Univ.(西蒙弗雷泽大学)
学习高维数据(图像,视频)中的因果关系是一项艰巨的任务,因为它们通常定义在低维流形上,并且必须从由外观,照明,纹理以及数据中的虚假相关性主导的复杂信号中提取。我们提出了一种学习像素空间中的物理过程的反事实推理的方法,这需要预测干预措施对初始条件的影响。超越结构关系的识别,我们处理预测原始视频在长期的挑战性问题。我们的方法不需要任何地面实况位置或其他对象或场景属性的知识或监督。我们的模型基于密集特征、2D关键点集和每个关键点的附加潜在向量的组合来学习并作用于合适的混合潜在表示。我们表明,这比纯粹的密集或稀疏表示更好地捕捉物理过程的动态。我们引入了一个新的具有挑战性和精心设计的反事实基准,用于像素空间中的预测,并在物理启发的ML和视频预测中表现出色。
2022-02-01 cs.CV cs.LG
Unsupervised anomaly localization using VAE and beta-VAE
University of Iowa(爱荷华大学)
变分自动编码器(VAE)在数据分布的无监督学习中显示出巨大的潜力。在正常图像上训练的VAE预计仅能够重建正常图像,允许通过操纵VAE ELBO损失内的信息来定位图像中的异常像素。ELBO由KL发散损失(图像方面)和重建损失(像素方面)组成。使用后者作为预测器是自然和直接的。然而,通常情况下,局部异常添加到一个正常的图像会恶化整个重建图像,导致分割只使用朴素像素错误不准确。提出了基于能量的投影方法,提高了正常区域/像素的重建精度,在简单自然图像上达到了最先进的定位精度。另一种可能的预测器是ELBO及其分量相对于每个像素的梯度。以前的工作声称KL梯度是一个强大的预测。在本文中,我们认为,基于能量的投影在医学成像是不一样有用的自然图像。此外,我们观察到KL梯度预测器的鲁棒性完全取决于VAE和数据集的设置。我们还探讨了在异常定位中β-VAE和预测器集合内KL损失的权重的影响。
2020-05-19 cs.CV cs.LG
RGI: robust GAN-inversion for mask-free image inpainting and unsupervised pixel-wise anomaly detection
Georgia Institute of Technology(佐治亚理工学院);Apple(苹果公司)
在大规模图像数据集上训练的生成对抗网络(GANs)可以很好地逼近自然图像流形。使用预训练的生成器作为深度生成先验的GAN反演是损坏情况下图像复原的有前途的工具。然而,GAN反演的性能可能受到对未知总损坏缺乏鲁棒性的限制,即,所恢复的图像可能容易偏离地面实况。在本文中,我们提出了一种鲁棒GAN反演(RGI)方法,该方法具有可证明的鲁棒性保证,可以在未知的\textit{gross}损坏情况下实现图像复原,其中一小部分像素完全损坏。在温和的假设下,我们证明了恢复的图像和确定的损坏区域掩模渐近收敛到地面真相。此外,我们将RGI扩展到松弛RGI(R-RGI),用于生成器微调,以减轻GAN学习流形和真实图像流形之间的差距,同时避免对受损输入图像的平凡过拟合,这进一步提高了图像复原和受损区域掩模识别性能。所提出的RGI/R-RGI方法统一了两个具有最先进(SOTA)性能的重要应用:(i)无掩模语义修复,其中损坏是未知的缺失区域,恢复的背景可以用于恢复缺失的内容;(ii)无监督的像素异常检测,其中损坏是未知的异常区域,检索到的掩模可以用作异常区域的分割掩模。
2023-02-24 cs.CV stat.ML
Separate In Latent Space: Unsupervised Single Image Layer Separation
State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统全国重点实验室);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机学院)
许多真实世界的视觉任务,如从透明表面去除反射和固有图像分解,可以建模为单个图像层分离。然而,这个问题是高度不适定的,需要精确对齐并且难以收集三元组数据来训练CNN模型。为了解决这个问题,本文提出了一种无监督的方法,在训练中不需要地面真实数据三元组。该方法的核心是关于不同层的潜在空间中的数据分布的两个假设,基于这两个假设,可以导出一种新的无监督层分离流水线。然后,该方法可以构建基于自监督和周期一致性约束等GANs框架。实验结果表明,在合成和现实世界的任务中,它的成功优于现有的无监督方法。该方法还显示了其解决更具挑战性的多层分离任务的能力。
2019-09-07 cs.CV
Unsupervised Domain Adaption with Pixel-level Discriminator for Image-aware Layout Generation
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
布局是必不可少的平面设计和海报生成。最近,应用深度学习模型来生成布局引起了越来越多的关注。本文重点介绍了使用基于图像内容的GAN模型来生成广告海报布局,这需要一个带有成对产品图像和图形布局的广告海报布局数据集。然而,现有数据集中的成对图像和布局分别通过修补和注释海报来收集。在修复后的海报(源域数据)和干净的产品图像(目标域数据)之间存在域差距。因此,本文结合无监督域自适应技术,设计了一个GAN与一个新的像素级的搜索引擎(PD),称为PDA-GAN,根据图像内容生成图形布局。PD连接到浅层次特征图,并计算每个输入图像像素的GAN损失。定量和定性评估都表明,PDA-GAN可以实现最先进的性能,并为广告海报生成高质量的图像感知图形布局。
2023-03-25 cs.CV
Unsupervised Detection and Tracking of Arbitrary Objects with Dependent Dirichlet Process Mixtures
Columbia University(哥伦比亚大学)
本文提出了一种视频中任意目标的无监督检测和跟踪技术。它旨在减少对针对特定对象类型的检测和定位方法的需求,并作为适用于具有不同对象,背景和图像质量的视频的通用框架。该技术使用了一个依赖的Dirichlet过程混合(DDPM)被称为广义波利亚瓮(GPUDDPM)模型图像像素数据,可以很容易地和有效地从视频中的区域,代表对象提取。本文描述了一个具体的实现模型使用的空间和彩色像素数据通过帧间差分提取,并给出了两个算法进行推理的模型来完成检测和跟踪。该技术在多个合成和基准视频数据集上进行了演示,这些数据集说明了其无需修改即可检测和跟踪在非均匀背景上移动并通过遮挡的具有不同物理特性的对象的能力。
2012-10-11 cs.CV cs.LG stat.ML
ACSeg: Adaptive Conceptualization for Unsupervised Semantic Segmentation
Peking University(北京大学);Peking University Shenzhen Graduate School(北京大学深圳研究生院);Peng Cheng Laboratory(鹏城实验室);Dalian University of Technology(大连理工大学);Tsinghua University(清华大学)
最近,自监督的大规模视觉预训练模型在表示像素级语义关系方面表现出很大的希望,显著促进了无监督密集预测任务的发展,例如,无监督语义分割。提取的像素级表示之间的关系通常包含丰富的类感知信息,表示空间中语义相同的像素嵌入聚集在一起形成复杂的概念。然而,利用学习的模型来确定图像中语义一致的像素组或区域是不平凡的,因为过/欠聚类在不同图像的各种语义分布下简化了概念化过程。在这项工作中,我们研究了自监督ViT预训练模型中的像素级语义聚合作为图像分割,并提出了USS的自适应概念化方法,称为ACSeg。具体地说,我们明确编码的概念到可学习的原型和设计的自适应概念生成器(ACG),自适应映射这些原型,为每个图像的信息概念。同时,考虑到不同图像的场景复杂度,本文提出了与概念数目无关的模块度损失,通过估计属于同一概念的像素对的强度来优化ACG。最后,我们把USS任务以无监督的方式对发现的概念进行分类。大量的实验与国家的最先进的结果证明了所提出的ACSeg的有效性。
2023-03-30 cs.CV
Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders
MVTec Software GmbH(MVTec软件有限公司);University of Amsterdam(阿姆斯特丹大学)
卷积自动编码器已经成为图像数据上无监督缺陷分割的流行方法。最常见的是,通过基于$\ell^p$距离对逐像素重建误差进行阈值化来执行该任务。然而,这个过程会导致大的残差,每当重建包含轻微的定位边缘周围的不准确。当强度值保持大致一致时,它也无法揭示视觉上已经改变的缺陷区域。我们发现,这些问题阻止这些方法被应用到复杂的现实世界的情况下,它不能很容易地避免采用更精细的架构,如变分或功能匹配的自动编码器。我们建议使用一个感知损失函数的基础上,结构相似性,检查局部图像区域之间的相互依赖关系,考虑到亮度,对比度和结构信息,而不是简单地比较单个像素值。它在具有挑战性的纳米纤维材料的真实世界数据集和两种编织织物的新型数据集上实现了显着的性能增益,超过了使用逐像素重建误差度量的无监督缺陷分割的最新方法。
2019-02-01 cs.CV cs.LG
Deep Neural Network (DNN) for Water/Fat Separation: Supervised Training, Unsupervised Training, and No Training
Meinig School of Biomedical Engineering, Cornell University(康奈尔大学迈尼奇生物医学工程学院);Weill Cornell Medicine(威尔康奈尔医学院);Northern Jiangsu People's Hospital(苏北人民医院)
目的:使用深度神经网络(DNN)解决水/脂肪分离的优化问题,并比较监督和无监督训练。方法:目前求解油水分离的T2*-IDEAL算法依赖于初始化。最近,已经提出了深度神经网络(DNN)来解决脂肪/水分离,而无需适当的初始化。然而,这种方法需要使用参考脂肪/水分离图像对DNN(STD)进行监督训练。在这里,我们提出了两种新的DNN水/脂肪分离方法1)在训练期间使用物理正向问题作为代价函数的DNN(UTD)的无监督训练,以及2)使用物理代价和反向传播直接重建单个数据集的DNN(NTD)的无训练。将STD、UTD和NTD方法与参考T2*-IDEAL方法进行了比较。结果:所有DNN方法产生一致的水/脂肪分离结果,在适当的初始化下与T2*-IDEAL一致。结论:水/脂肪分离问题可以使用无监督深度神经网络解决。
2020-04-16 cs.CV eess.IV
Confidence Score for Unsupervised Foreground Background Separation of Document Images
Microsoft(微软)
前景-背景分离是文档图像分析中的一个重要问题。流行的无监督二值化方法(如Sauvola算法)采用自适应阈值来将像素分类为前景或背景。在这项工作中,我们提出了一种新的方法来计算置信度得分的分类算法。该分数提供了预测置信水平的洞察。所提出的方法的计算复杂性与底层二值化算法相同。我们的实验说明了效用的建议分数在各种应用程序,如文档二值化,文档图像清理,纹理添加。
2022-04-03 cs.CV
Pixel-Level Clustering Network for Unsupervised Image Segmentation
Seoul National University of Science and Technology(首尔科学技术院)
本文提出一种无需真实标注的像素级聚类框架,通过特征嵌入、超像素分割及多级一致性训练策略实现无监督图像分割,并在三个公开数据集上超越现有最先进方法。
2023-10-24 cs.AI cs.CV
Leveraging Multi-view Image Sets for Unsupervised Intrinsic Image Decomposition and Highlight Separation
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
我们提出了一种无监督的方法,用于将对象外观分解为高光,阴影和阴影层,并通过多视图真实图像进行训练。为此,我们通过在线收集大量客户产品照片来构建多视图数据集,这些照片具有较大的照明变化,使其适合于反射分离的训练,并可以促进对象级分解。我们的方法的主要贡献是建议的图像表示基于局部颜色分布,允许训练是不敏感的多视图图像的局部错位。此外,我们提出了一个新的无监督训练的指导线索,利用突出分离和内在图像分解之间的协同作用。在广泛的对象范围内,我们的技术被证明可以为这两项任务产生最先进的结果。
2019-11-17 cs.CV
Pixel precise unsupervised detection of viral particle proliferation in cellular imaging data
ICube Lab UMR 7357 CNRS-Strasbourg University(ICube实验室UMR 7357法国国家科学研究中心-斯特拉斯堡大学);Dedan Kimathi University(德丹·基马蒂大学)
已经开发了细胞和分子成像技术和模型来表征体外细胞局灶性感染后病毒增殖的单个阶段。细胞成像数据的快速和自动分类可以证明在代表性实验数据与宿主细胞中病毒繁殖的数学模型的任何进一步比较之前是有帮助的。在这里,我们使用计算机生成的图像绘制从复制的成像模型从先前发表的研究实验获得的细胞成像数据代表进行性病毒颗粒增殖宿主细胞单层。受实验性基于时间的成像数据的启发,在本研究中,病毒颗粒随时间的增加通过在图像中逐个增加来模拟,在黑色或灰色单像素中代表死亡或部分感染的细胞,并且通过逐个增加编码原始图像模型中活细胞的白色像素来假设缓解。通过自组织映射(SOM)将图像模拟提交给无监督学习,并且SOM输出中的量化误差(SOM-QE)用于作为病毒颗粒增殖或细胞恢复的所表示程度的函数的图像模拟的自动分类。160个模型图像,每个具有超过三百万像素的SOM-QE的无监督分类被示出为提供统计上可靠的、像素精确的和快速的分类模型,其优于通过RGB图像均值计算的人类计算机辅助的图像分类。这里提出的自动分类程序提供了一个强大的方法来了解微调机制的病毒在体外细胞系或其他细胞的感染和增殖。
2020-11-10 cs.CV
PixMatch: Unsupervised Domain Adaptation via Pixelwise Consistency Training
Harvard University(哈佛大学);Oxford University(牛津大学)
无监督领域自适应是一种很有前途的技术,用于语义分割和其他计算机视觉任务,对于这些任务来说,大规模数据注释是昂贵且耗时的。在语义分割中,在来自模拟(源)域的注释图像上训练模型并将其部署在真实(目标)域上是有吸引力的。在这项工作中,我们提出了一个新的框架,无监督的领域自适应的基础上的目标域一致性训练的概念。直观地说,我们的工作是基于这样的想法,即为了在目标域上表现良好,模型的输出应该与目标域中输入的小扰动一致。具体来说,我们引入了一个新的损失项,以加强模型对目标图像和同一图像的扰动版本的预测之间的像素一致性。与流行的对抗性适应方法相比,我们的方法更简单,更容易实现,并且在训练过程中更节省内存。实验和广泛的消融研究表明,我们的简单方法在两个具有挑战性的合成到真实基准,GTA5到城市景观和SYNTHIA到城市景观上取得了非常强大的结果。代码可在:https://github.com/lukemelas/pixmatch
2021-05-17 cs.AI cs.CV
NccFlow: Unsupervised Learning of Optical Flow With Non-occlusion from Geometry
Shanghai Jiao Tong University(上海交通大学)
光流估计是计算机视觉的基本问题,在机器人学习和自动驾驶等领域有着广泛的应用。基于对非遮挡的深入理解和详细定义,揭示了新的光流几何规律。在此基础上,提出了两种新的损失函数,用于光流的无监督学习。具体地说,在遮挡图像部分后,仔细考虑像素的流动过程,并根据光流的几何规律进行几何约束。首先,第一帧中的相邻像素在像素位移到第二帧期间将不相交。其次,当第一帧中包含相邻四个像素的簇移动到第二帧时,没有其他像素会流入由它们形成的四边形。根据这两个几何约束,提出了非遮挡区域的光流非相交损失和光流非遮挡损失。两个损失函数惩罚非遮挡区域中的不规则和不精确的光流。数据集实验表明,基于非遮挡区域几何规律的光流无监督损失算法,使光流估计更加精细,提高了光流的无监督学习性能.此外,通过对合成数据的训练和对真实数据的评价实验表明,该方法提高了光流网络的泛化能力。
2021-07-08 cs.CV
UP-CrackNet: Unsupervised Pixel-Wise Road Crack Detection via Adversarial Image Restoration
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电气与电子工程学院)
本文提出UP-CrackNet,通过随机掩码破坏无裂缝道路图像并训练生成对抗网络进行图像复原,利用复原误差实现无监督像素级裂缝检测,在性能和泛化能力上优于现有方法。
2024-05-06 cs.AI cs.CV eess.IV
TransFlow: Unsupervised Motion Flow by Joint Geometric and Pixel-level Estimation
我们解决无监督的光流估计自我为中心的运动。我们认为,光流可以作为两个连续的视频帧之间的几何扭曲,并设计了一个深层次的架构来估计这样的转换在两个阶段。首先,一个密集的像素级流计算与几何先验强加强空间约束。这种先验是驾驶场景的典型,其中视点与车辆运动一致。我们展示了如何用单应性来近似这种全局变换,以及如何使用空间Transformer层来计算这种变换所隐含的流场。然后,第二阶段细化预测,以馈送第二更深的网络。最终重构损失将帧X(t)的扭曲与后续帧X(t+1)进行比较,并指导两个估计。该模型被我们命名为TransFlow,与其他无监督算法相比表现良好,并且与监督方法相比具有更好的泛化能力,在未知数据上的错误减少了3倍。
2017-10-30 cs.CV
Contrast, Stylize and Adapt: Unsupervised Contrastive Learning Framework for Domain Adaptive Semantic Segmentation
Shanghai Jiao Tong University(上海交通大学);LTCI, Télécom-Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI)
针对现有无监督域自适应语义分割方法未结合像素与特征层面对齐的问题,提出CONFETI框架,通过类别原型关联像素级风格迁移对齐与特征级像素-原型对比对齐,在DeepLabV2设置下性能超越现有SOTA方法。
2023-06-15 cs.CV
Multigrid Predictive Filter Flow for Unsupervised Learning on Videos
University of California, Irvine(加州大学欧文分校)
我们介绍了多网格预测过滤流(mgPFF),视频上的无监督学习的框架。mgPFF将一对帧作为输入,并输出每像素滤波器以将一个帧扭曲到另一个帧。与用于扭曲帧的光流相比,mgPFF在建模子像素移动和处理损坏(例如,运动模糊)。我们开发了一个多重网格粗到细的建模策略,避免了学习大的过滤器,以捕捉大位移的要求。这使我们能够训练一个非常紧凑的模型(4.6MB),它以渐进的方式在多个分辨率上使用共享权重。我们训练mgPFF在无监督的,自由形式的视频,并表明mgPFF不仅能够估计长距离流帧重建和检测视频镜头转换,但也很容易识别的视频对象分割和姿态跟踪,它大大优于已发表的国家的最先进的没有花里胡哨。此外,由于mgPFF的逐像素滤波器预测的性质,我们有独特的机会来可视化每个像素在解决这些任务期间如何演变,从而获得更好的可解释性。
2019-04-02 cs.CV
Code-Aligned Autoencoders for Unsupervised Change Detection in Multimodal Remote Sensing Images
UiT The Arctic University of Norway(北极挪威特罗姆瑟大学);NORCE Norwegian Research Center(NORCE挪威研究中心);University of Genoa(热那亚大学)
图像翻译与卷积自动编码器最近被用来作为一种方法,在双时相卫星图像的多模态变化检测。一个主要的挑战是通过减少改变像素对翻译函数的学习的贡献来对齐代码空间。许多现有的方法训练网络利用监督信息的变化领域,这是,然而,并不总是可用的。我们建议在输入端提取由特定于域的亲和矩阵捕获的关系像素信息,并使用此信息来执行代码空间的对齐,并减少变化像素对学习目标的影响。一个变化的先验是在一个无监督的方式从像素对的亲和力,跨域可比。为了实现代码空间对齐,我们强制输入域中具有相似亲和关系的像素在代码空间中也应该相关。我们证明了这个过程的实用性结合周期的一致性。将所提出的方法与最先进的深度学习算法进行比较。在四个真实数据集上进行的实验表明了该方法的有效性。
2020-04-15 cs.CV
Unsupervised Segmentation of Fire and Smoke from Infra-Red Videos
The University of New Mexico(新墨西哥大学)
本文提出了一种基于视觉的火灾和烟雾分割系统,该系统利用空间、时间和运动信息从视频帧中提取出所需的区域。信息的融合使用多个特征来完成,例如光流、发散度和强度值。从图像中提取的这些特征用于以无监督的方式将像素分割成不同的类。通过使用多种聚类算法进行分割的比较分析。在这里,马尔可夫随机场执行更准确地比其他分割算法,因为它的特点是使用有限数量的参数的像素的空间相互作用。它构建了一个概率图像模型,该模型使用最大后验概率(MAP)估计来选择最有可能的标签。这种无监督的方法在各种图像上进行了测试,并实现了95.39%的逐帧火灾检测率。因此,该方法可用于早期火灾的实时检测,它可以被纳入室内或室外监控系统。
2019-09-18 cs.CV cs.LG eess.IV
Spatial Context Awareness for Unsupervised Change Detection in Optical Satellite Images
German Aerospace Center (DLR)(德国航空航天中心);Technical University of Munich (TUM)(慕尼黑工业大学)
利用多时相对地观测数据检测地面变化是遥感领域的关键问题之一。在本文中,我们介绍了同胞回归光学变化检测(SiROC),一种无监督的方法,在光学卫星图像的变化检测与中,高分辨率。SiROC是一种基于空间上下文的方法,它将像素建模为其远距离邻居的线性组合。它使用该模型来分析像素的差异及其在后续时间段内基于空间上下文的预测,以进行变化检测。我们将这种基于空间上下文的变化检测与相互排斥的邻域集成相结合,并通过形态学操作从像素级变化过渡到对象级变化。SiROC在四个数据集上使用中等分辨率的Sentinel-2和高分辨率的Planetscope图像进行变化检测时具有竞争力的性能。除了不需要训练的准确预测外,SiROC还提供了一个校准良好的预测不确定性。这使得该方法与基于深度学习的方法结合使用,特别适用于伪标签等应用。
2021-10-05 cs.CV cs.LG
PAEDID: Patch Autoencoder Based Deep Image Decomposition For Pixel-level Defective Region Segmentation
Georgia Institute of Technology(佐治亚理工学院);Apple(苹果公司)
无监督像素级缺陷区域分割是基于图像的异常检测中的一项重要任务。现有的方法有其自身的优点和局限性:基于矩阵分解的方法对噪声具有鲁棒性,但缺乏对复杂背景图像的建模能力;基于表示的方法定位缺陷区域较好,但缺陷区域形状轮廓提取精度不高;基于重建的方法检测出的缺陷区域与真实缺陷区域形状轮廓匹配较好,但存在噪声。为了结合这两个世界的优点,我们提出了一种基于无监督补丁自动编码器的深度图像分解(PAEDID)方法来进行缺陷区域分割。在训练阶段,我们通过补丁自动编码器(PAE)网络学习共同背景作为深度图像先验。在推理阶段,我们将异常检测表示为具有深度图像先验和特定于域的正则化的图像分解问题。通过采用所提出的方法,图像中的缺陷区域可以准确地提取在一个无监督的方式。我们证明了PAEDID方法的有效性,在模拟研究和工业数据集的案例研究。
2022-11-07 cs.CV cs.LG
"Double-DIP": Unsupervised Image Decomposition via Coupled Deep-Image-Priors
The Weizmann Institute of Science(魏茨曼科学研究所)
许多看似无关的计算机视觉任务可以被视为图像分解为单独层的特殊情况。例如,图像分割(分离为前景层和背景层);透明层分离(分离为反射层和透射层);图像去雾(分离为清晰图像和雾度图)等等。在本文中,我们提出了一个统一的框架,一个单一的图像的无监督层分解,基于耦合的“深度图像先验”(DIP)网络。研究表明[Ulyanov等人],单个DIP生成器网络的结构足以捕获单个图像的低级统计数据。我们表明,耦合多个这样的DIP提供了一个强大的工具,分解成其基本组件的图像,为各种各样的应用程序。这种能力源于这样一个事实,即混合层的内部统计比其每个单独组件的统计更复杂。我们展示了这种方法在图像去雾,Fg/Bg分割,水印去除,图像和视频中的透明度分离等方面的强大功能。这些能力是以完全无监督的方式实现的,除了输入图像/视频本身之外没有训练样本。
2018-12-05 cs.CV cs.LG
Global Distance-distributions Separation for Unsupervised Person Re-identification
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
受监督的人员重新识别(ReID)在实际部署中通常具有较差的可扩展性和可用性,这是由于域间隙和缺乏目标域数据的注释。通过领域自适应的无监督人ReID是有吸引力但具有挑战性的。现有的无监督ReID方法通常无法通过基于距离的匹配/排名正确识别阳性样本和阴性样本。正样本对(Pos-distr)和负样本对(Neg-distr)的两个距离分布通常不能很好地分离,具有很大的重叠。为了解决这个问题,我们在两个分布上引入了全局距离分布分离(GDS)约束,以鼓励从全局角度明确分离阳性和阴性样本。我们将两个全局距离分布建模为高斯分布,并将两个分布分开,同时鼓励它们在无监督训练过程中的清晰度。特别是,为了从全局角度对分布进行建模,并促进分布和GDS相关损失的及时更新,我们利用动量更新机制来构建和维护分布参数(均值和方差),并在训练过程中实时计算损失。提出了基于分布的硬挖掘,以进一步促进两个分布的分离。我们验证了GDS约束在无监督ReID网络中的有效性。在多个ReID基准数据集上的大量实验表明,我们的方法比基线有了显着的改进,并达到了最先进的性能。
2020-07-10 cs.CV
Unsupervised Feature Learning for Dense Correspondences across Scenes
Beijing Institute of Technology(北京理工大学);The University of Adelaide(阿德莱德大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心)
我们提出了一种快速,准确的匹配方法,估计密集的像素对应场景。估计描绘相同对象类别的不同场景或实例的图像之间的密集像素对应关系是一个具有挑战性的问题。虽然大多数这样的匹配方法依赖于手工制作的特征,如SIFT,但我们使用无监督学习从大量未标记的图像块中学习特征。像素层特征是通过对字典进行编码来获得的,然后通过空间池化来获得补丁层特征。然后将学习到的特征无缝嵌入到多层匹配框架中。我们的实验表明,学习的功能,与我们的匹配模型,优于国家的最先进的方法,如SIFT流,一致性敏感哈希和最近的可变形空间金字塔匹配方法的准确性和计算效率。此外,我们评估了几种不同的字典学习和特征编码方法在建议的像素对应关系估计框架的性能,并分析了字典学习和特征编码对最终匹配性能的影响。
2015-04-23 cs.CV
Automated Unsupervised Segmentation of Liver Lesions in CT scans via Cahn-Hilliard Phase Separation
Technical University of Munich(慕尼黑工业大学);University of California, Irvine(加利福尼亚大学尔湾分校)
肝脏病变的分割对于肝癌的检测、诊断和监测进展至关重要。然而,由于CT扫描中的高噪声、肝脏和病变之间的低对比度以及大的病变变异性,精确的自动化方法的设计仍然具有挑战性。我们提出了一个三维自动,无监督的方法,肝脏病变分割使用相位分离的方法。假设肝脏是两个阶段的混合物:健康肝脏和病变,由被噪声污染的不同图像强度表示。Cahn-Hilliard方程用于去除噪声并将混合物分离成具有明确界面的两个不同相。这大大简化了病变检测和分割任务,并能够通过对Cahn-Hilliard解进行阈值化来分割肝脏病变。该方法在3Dircadb和LITS数据集上进行了测试。
2017-04-07 cs.CV
Total Denoising: Unsupervised Learning of 3D Point Cloud Cleaning
Ulm University(乌尔姆大学);University College London(伦敦大学学院)
我们证明了3D点云的去噪可以在无监督的情况下学习,直接从嘈杂的3D点云数据中学习。这是通过将最近的想法从无监督图像去噪器的学习扩展到非结构化3D点云来实现的。无监督图像去噪器在以下假设下操作:噪声像素观察是围绕干净像素值的分布的随机实现,这允许对该分布进行适当的学习,以最终收敛到正确的值。遗憾的是,这种假设对于非结构化点是无效的:3D点云受到总噪声的影响,即。例如,所有坐标都有偏差,没有可靠的像素网格。因此,观察可以是干净的3D点的整个流形的实现,这使得将无监督图像去噪器幼稚地扩展到3D点云不切实际。为了克服这一点,我们引入了一个空间先验项,引导收敛到流形上许多可能模式中唯一最近的模式。我们的研究结果表明,无监督去噪性能类似于监督学习与干净的数据时,给予足够的训练样本-因此,我们不需要任何对嘈杂和干净的训练数据。
2019-10-17 cs.CV cs.GR
Inverse Quantum Fourier Transform Inspired Algorithm for Unsupervised Image Segmentation
Prairie View A&M University(普雷里维尤农工大学)
图像分割是计算机视觉中一个非常热门和重要的课题。在本文中,逆量子傅立叶变换(IQFT)的图像分割进行了探索,并提出了一种新的IQFT启发算法,并利用IQFT的底层数学结构实现。具体地说,该方法利用图像中像素的相位信息,将像素的强度编码成量子比特相对相位,并应用IQFT将像素自动有效地分类到不同的片段中。据我们所知,这是首次尝试使用IQFT进行无监督图像分割。与基于深度学习的方法相比,该方法具有较低的计算成本,更重要的是它不需要训练,因此适合于实时应用。所提出的方法的性能进行了比较,与K-均值和Otsu阈值。在PASCAL VOC 2012分割基准和xVIEW 2挑战数据集上,所提出的方法在平均交叉联合(mIOU)方面优于它们高达50%。
2023-01-11 cs.CV cs.LG quant-ph
UFD-PRiME: Unsupervised Joint Learning of Optical Flow and Stereo Depth through Pixel-Level Rigid Motion Estimation
Duke University(杜克大学)
本研究提出UFD-PRiME无监督框架,通过双网络联合学习光流与立体深度、像素级3D刚性运动估计及结果融合,兼顾相机与动态物体运动,在KITTI-2015基准上大幅提升光流精度,立体深度效果也具竞争力。
2023-10-07 cs.CV cs.RO
Self-supervised Semantic Segmentation Grounded in Visual Concepts
Robert Bosch Research and Technology Center North America(北美罗伯特·博世研究与技术中心);Robert Bosch GmbH(罗伯特·博世有限公司)
无监督的语义分割需要为每个像素分配一个标签,而不需要任何人工注释。尽管最近在个体图像的自监督表示学习方面取得了进展,但具有像素级表示的无监督语义分割仍然是一项具有挑战性的任务,并且仍然未得到充分探索。在这项工作中,我们提出了一个自我监督的像素表示学习方法的语义分割通过使用视觉概念(即,具有语义含义的像素组,例如部件、对象和场景)。为了指导自监督学习,我们利用像素和概念之间的三种类型的关系,包括像素和局部概念之间的关系,局部和全局概念之间的关系,以及概念的同现。我们在三个数据集上评估了学习的像素嵌入和视觉概念,包括PASCAL VOC 2012,COCO 2017和DAVIS 2017。我们的研究结果表明,该方法获得了一致的和实质性的改进,最近的无监督语义分割方法,也表明,视觉概念可以揭示图像数据集的见解。
2022-07-26 cs.AI cs.CV
Camera-aware Style Separation and Contrastive Learning for Unsupervised Person Re-identification
Beijing JiaoTong University(北京交通大学)
无监督的人再识别(ReID)是一项具有挑战性的任务,没有数据注释来指导区分学习。现有方法试图通过对提取的嵌入进行聚类以生成伪标签来解决这个问题。然而,大多数方法都忽略了摄像机风格变化引起的类内差异,有的方法虽然试图解决摄像机风格对特征分布的负面影响,但相对复杂和间接。针对这一问题,本文提出了一种摄像机感知的风格分离和对比学习方法(CA-UReID),该方法通过设计摄像机感知的注意力模块,直接在特征空间中分离摄像机风格。它可以显式地将可学习的特征划分为相机特定和相机不可知的部分,减少不同相机的影响。此外,为了进一步缩小摄像机之间的差距,我们设计了一个摄像机感知的对比中心损失,以学习每个身份的更多区别性嵌入。大量的实验表明,我们的方法优于国家的最先进的方法在无监督的人ReID任务。
2021-12-19 cs.CV
Unsupervised Image to Sequence Translation with Canvas-Drawer Networks
Massachusetts Institute of Technology(麻省理工学院);Autodesk(欧特克);Autodesk Research(欧特克研究院)
将图像编码为一系列高级结构,如画笔笔划或离散形状,通常是人类和机器理解的关键。然而,在许多情况下,数据仅以像素形式提供。我们提出了一种方法,直接在一个高层次的域(如画笔),而不需要真正的成对数据生成图像。具体来说,我们训练一个“画布”网络来模仿高级结构到像素的映射,然后是一个高级“绘图”网络,该网络通过这种映射来优化,以解决所需的图像重建或翻译任务。我们成功地发现了符号,大型草图和3D对象的顺序矢量表示,仅利用像素数据。我们展示了我们的方法在图像分割中的应用,并提出了几个消融研究比较各种配置。
2018-09-26 cs.CV
Unsupervised Diffusion and Volume Maximization-Based Clustering of Hyperspectral Images
Tufts University(塔夫茨大学);City University of Hong Kong(香港城市大学);Conservation Research Institute, University of Cambridge(剑桥大学保护研究所);University of Cambridge(剑桥大学);Wake Forest University(维克森林大学)
从飞机或卫星上拍摄的高光谱图像包含来自数百个光谱带的信息,其中隐藏着潜在的低维结构,可用于对植被和其他材料进行分类。使用高光谱图像的缺点是,由于光谱和空间分辨率之间的固有权衡,它们具有相对粗糙的空间尺度,这意味着单个像素可能对应于包含多种材料的空间区域。本文介绍了基于扩散和体积最大化的图像聚类(D-VIC)算法的无监督材料聚类,以解决这个问题。通过直接将像素纯度纳入其标记过程中,D-VIC为对应于仅包含单一材料的空间区域的像素提供更大的权重。D-VIC的表现优于可比的国家的最先进的方法在广泛的实验上的一系列高光谱图像,包括土地利用地图和高度混合的森林健康调查(在灰枯梢病的背景下),这意味着它是装备精良的光谱混合高光谱数据集的无监督材料聚类。
2023-02-19 cs.CV cs.LG stat.AP
Unsupervised Image Regression for Heterogeneous Change Detection
UiT The Arctic University of Norway(挪威北极大学);University of Genoa(热那亚大学)
多时相遥感影像变化检测是遥感领域的一个新兴而富有挑战性的课题。特别是,主要挑战之一是以无人监督的方式解决这个问题。在本文中,我们提出了一个无监督的框架,双时态异构变化检测的基础上比较亲和矩阵和图像回归。首先,我们的方法量化的相似度矩阵计算从共同定位的图像补丁在两幅图像。这样做是为了自动识别可能不变的像素。利用识别的像素作为伪训练数据,我们学习将第一个图像映射到另一个图像的域的变换,反之亦然。选择了四种回归方法进行变换:高斯过程回归、支持向量回归、随机森林回归,以及最近提出的一种称为齐次像素变换的核回归方法。为了评估我们框架的潜力和局限性,以及每种回归方法的优点和缺点,我们在两个真实数据集上进行了实验。结果表明,亲和矩阵的比较本身就可以被认为是一种变化检测方法。然而,图像回归显示,以改善由前一步单独获得的结果,并产生准确的变化检测地图,尽管多时态输入数据的异质性。值得注意的是,随机森林回归方法通过实现与其他方法相似的精度而表现出色,但具有显著更低的计算成本以及快速和鲁棒的超参数调整。
2019-09-07 cs.CV cs.LG eess.IV
Unsupervised Moving Object Detection via Contextual Information Separation
University of Zurich(苏黎世大学)
我们提出了一个对抗性的上下文模型,用于检测图像中的移动对象。深度神经网络被训练为使用来自除该区域之外的任何其他地方的信息(上下文)来预测该区域中的光流,而另一个网络试图使这种上下文尽可能不提供信息。其结果是一个模型,其中假设自然竞争,不需要显式正则化或超参数调整。虽然我们的方法不需要任何监督,但它优于在大型注释数据集上预先训练的几种方法。我们的模型可以被认为是经典的基于变分生成区域的分割的推广,但在某种程度上,避免了显式正则化或偏微分方程在运行时的解决方案。
2019-04-14 cs.CV
Instance Embedding Transfer to Unsupervised Video Object Segmentation
University of Southern California(南加州大学);Google Inc.(谷歌公司)
我们提出了一种通过传输基于图像的实例嵌入网络中封装的知识来进行无监督视频对象分割的方法。实例嵌入网络为每个像素生成嵌入向量,该嵌入向量能够识别属于同一对象的所有像素。虽然是在静态图像上训练的,但实例嵌入在连续的视频帧上是稳定的,这允许我们随着时间的推移将对象链接在一起。因此,我们将在静态图像上训练的实例网络适应于视频对象分割,并将具有对象和光流特征的嵌入结合起来,而无需模型重新训练或在线微调。该方法在DAVIS数据集和FBMS数据集中的性能优于最先进的无监督分割方法。
2018-02-27 cs.CV
Entropy Based Cartoon Texture Separation
将图像分离成卡通和纹理分量在图像处理应用中是有用的,例如图像压缩、图像分割、图像修补。Yves Meyer的卡通纹理分解模型涉及通过选择适当的空间和泛函来导出能量泛函。导出的能量泛函的极小值是图像的卡通和纹理分量。在这项研究中,卡通部分的图像是分离的,通过重建它从多尺度总变分滤波版本的原始图像,这是寻求被分解成卡通和纹理部分的像素。信息论像素的像素选择标准,选择贡献像素和它们的尺度。
2014-05-07 cs.CV
Spatial-Aware GAN for Unsupervised Person Re-identification
Alibaba DAMO Academy(阿里巴巴达摩院);Nanyang Technological University(南洋理工大学)
近年来的人物再识别研究取得了很大的成功,通过学习大量的标记的人的图像。另一方面,当应用于在不同环境中收集的图像时,学习的模型通常会经历显著的性能下降。无监督的领域自适应(UDA)已经被研究以减轻该约束,但是大多数现有系统仅在像素级上对图像进行自适应而忽略空间级上的明显差异。本文提出了一种创新的基于UDA的人重新识别网络,能够同时在空间和像素级别上适应图像。设计了一种新的解纠缠周期一致性损失,以协作的方式指导空间级和像素级自适应的学习。此外,一个新的多模态机制,这是能够生成不同的几何视图的图像和增强训练图像有效地纳入。在大量公开数据集上的实验表明,与现有技术相比,所提出的UDA网络具有更好的人员重新识别性能。
2022-10-03 cs.CV
Generative Adversarial Networks for Unsupervised Object Co-localization
Yonsei University(延世大学)
提出了一种基于生成对抗网络(GANs)的无监督目标协同定位方法。GAN是一种强大的工具,可以以无监督的方式隐式地学习未知数据分布。从观察到,GAN像素是高度影响的像素出现的对象,我们分析的内部层的像素和可视化的激活像素。我们的重要发现是,高图像多样性的GAN,这是GAN研究的主要目标,具有讽刺意味的是不利于对象定位,因为这样的鉴别器不仅关注于目标对象,而且关注于各种对象,如背景对象。基于大量的评估和实验研究,我们发现图像多样性和定位性能有负相关。此外,我们的方法使用公开的基准数据集实现了无监督对象协同定位的有意义的准确性,甚至可以与最先进的弱监督方法相媲美。
2018-07-08 cs.CV
MPASNET: Motion Prior-Aware Siamese Network for Unsupervised Deep Crowd Segmentation in Video Scenes
Shanghai Jiao Tong University(上海交通大学);AI Institute, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
人群分割是拥挤景物分析的基础,获得精细的像素级分割图是非常必要的。然而,它仍然是一个具有挑战性的问题,因为现有的方法要么需要密集的像素级注释来训练深度学习模型,要么仅仅从具有物理模型的光学或粒子流中产生粗略的分割图。在本文中,我们提出了运动先验感知暹罗网络(MPASNET)的无监督人群语义分割。该模型不仅消除了对注释的需要,而且还产生高质量的分割图。特别地,我们首先分析跨帧的相干运动模式,然后在集体粒子上应用圆形区域合并策略来生成伪标签。此外,我们为MPASNET配备了用于增强不变正则化和连体特征聚合的连体分支。在基准数据集上的实验表明,我们的模型在mIoU方面比最先进的模型高出12%以上。
2021-06-02 cs.CV cs.LG
Unsupervised Style and Content Separation by Minimizing Mutual Information for Speech Synthesis
Apple(苹果公司)
我们提出了一种从输入文本和以无监督方式从参考语音信号中提取的风格向量生成语音的方法,即,不需要诸如说话者信息之类的样式注释。现有的无监督方法在训练期间通过从相应的地面真实样本计算风格来生成语音,并使用解码器将风格向量与输入文本相结合。以这种方式训练模型会将内容信息泄漏到样式向量中。解码器可以使用泄漏的内容并忽略一些输入文本以最小化重建损失。在推断时,当参考语音与内容输入不匹配时,输出可能不包含输入文本的所有内容。我们将这个问题称为“内容泄漏”,我们通过对抗训练公式明确估计和最小化风格和内容之间的互信息来解决这个问题。我们称我们的方法MIST -基于互信息的风格内容分离。该方法的主要目标是保留输入内容的合成语音信号,我们衡量的字错误率(WER),并表现出显着的改进,在国家的最先进的无监督语音合成方法。
2020-03-09 cs.CV cs.IT cs.LG
Unsupervised Single-Image Reflection Separation Using Perceptual Deep Image Priors
Simon Fraser University(西蒙弗雷泽大学)
反射经常通过阻挡背景场景而降低图像的质量。这对于日常用户来说是不可取的,并且它会对处理具有反射的图像的多媒体应用程序的性能产生负面影响。目前大多数消除反射的方法都使用监督学习模型。然而,这些模型需要大量的图像对才能良好地执行,特别是在具有反射的自然图像上,这在实践中很难实现。在本文中,我们提出了一种新的无监督框架的单图像反射分离。我们不是从大型数据集中学习,而是优化目标图像上两个交叉耦合深度卷积网络的参数,以生成两个专属的背景层和反射层。特别是,我们设计了一种新的网络架构,以嵌入从预训练的深度分类网络中提取的语义特征,这提供了类似于人类感知的更有意义的分离。在文献中常用数据集上的定量和定性结果表明,我们的方法的性能至少与最先进的监督方法相当,偶尔在不需要大型训练数据集的情况下更好。我们的研究结果还表明,我们的方法显着优于文献中最接近的无监督方法,从单个图像中去除反射。
2020-09-01 cs.CV cs.MM
Semantic Segmentation of highly class imbalanced fully labelled 3D volumetric biomedical images and unsupervised Domain Adaptation of the pre-trained Segmentation Network to segment another fully unlabelled Biomedical 3D Image stack
Indian Institute of Science(印度科学学院)
我们工作的目标是对三维生物医学体数据进行像素标签语义分割。对于大型的生物医学数据集,人工标注一直是一个难题。因此,我们考虑两种情况,其中一个数据集是完全标记的,另一个数据集假设是完全未标记的。我们首先对完全标记的各向同性生物医学源数据(FIBSEM)执行语义分割,并尝试将训练模型用于分割目标未标记数据集(SNEMI3D),该数据集在不同类型的细胞体和其他细胞成分的背景下与源数据集具有一些相似性。虽然,细胞成分的大小和形状各不相同。因此,在本文中,我们提出了一种新的方法,在无监督的领域自适应的上下文中,同时分类到细胞边界和细胞体的目标体数据的每个像素。此外,我们提出了一种新的方法,给予非均匀的权重,以不同的像素在训练图像中,同时执行像素级的语义分割的存在下,相应的像素明智的标签地图以及在源域中的训练原始图像。我们已经使用了熵图或距离变换矩阵从给定的地面真值标签图检索,这有助于克服医学图像数据中的类不平衡问题,其中细胞边界非常薄,因此非常容易被误分类为非边界。
2020-03-13 cs.CV
A Representation Separation Perspective to Correspondences-free Unsupervised 3D Point Cloud Registration
Northwestern Polytechnical University(西北工业大学);Baidu Research(百度研究院);National Engineering Laboratory of Deep Learning Technology and Application(深度学习技术及应用国家工程实验室)
基于深度学习的方法极大地推进了遥感领域中的3D点云配准,其中刚性变换直接从两个点云回归(无对应关系方法)或从学习的对应关系计算(基于对应关系的方法)。现有的无对应关系方法通常学习整个点云的整体表示,这对于部分和噪声点云是脆弱的。在本文中,我们提出了一个对应的自由无监督点云配准(UPCR)方法从表示分离的角度。首先,我们将输入点云建模为姿态不变表示和姿态相关表示的组合。其次,使用姿态相关表示来分别学习源和目标点云的相对姿态Wrt“潜在的标准形状”。第三,从上述两个学习的相对姿势获得刚性变换。我们的方法不仅过滤掉姿态不变表示中的干扰,而且对部分到部分点云或噪声具有鲁棒性。在基准数据集上的实验表明,我们的无监督方法即使没有比最先进的监督配准方法更好的性能,也可以与之媲美。
2022-03-24 cs.CV
Unsupervised Image Segmentation using Mutual Mean-Teaching
CUHK(香港中文大学);Xiamen University(厦门大学);Yunnan University(云南大学)
无监督图像分割的目的是将具有相似特征的像素不加标注地分配到同一个类中,是计算机视觉的一项重要任务。由于缺乏先验知识,大多数现有的模型通常需要多次训练才能获得合适的结果。为了解决这个问题,我们提出了一个无监督的图像分割模型的基础上的相互意义教学(MMT)框架,以产生更稳定的结果。此外,由于两个模型像素的标签不匹配,提出了一种基于匈牙利算法的标签对齐算法来匹配聚类标签。实验结果表明,该模型能够分割各种类型的图像,并取得了更好的性能比现有的方法。
2020-12-16 cs.AI cs.CV
Unsupervised Deformable Image Registration for Respiratory Motion Compensation in Ultrasound Images
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文提出无监督循环全对场变换(U-RAFT)模型,用于超声图像可变形配准,以约30 Hz在线速率生成位移场,在猪肺视频上实现平均像素运动减少76%,有效补偿呼吸运动。
2023-06-23 cs.CV cs.RO eess.IV