Self-similarity Prior Distillation for Unsupervised Remote Physiological Measurement
School of Electronic Science and Engineering, Nanjing University(南京大学电子科学与工程学院);Artificial Intelligence Thrust, Hong Kong University of Science and Technology(香港科技大学(广州)人工智能学科)
本文提出无监督rPPG估计的自相似性先验蒸馏(SSPD)框架,利用物理先验增强、自相似性感知网络和分层自蒸馏范式提取生理特征,性能媲美有监督方法且推理成本最低。
2024-09-22 cs.CV cs.MM
Deforming Autoencoders: Unsupervised Disentangling of Shape and Appearance
Stony Brook University(石溪大学);CentraleSupélec(高等电力学院);INRIA(法国国家信息与自动化研究所);Therapanacea;University College London(伦敦大学学院);Facebook AI Research(Facebook人工智能研究院)
在这项工作中,我们介绍了变形自动编码器,一个生成模型的图像,从外观中解开形状在一个无监督的方式。如在可变形模板范例中那样,形状被表示为规范坐标系(“模板”)和观察到的图像之间的变形,而外观在“规范”模板坐标中被建模,从而丢弃由于变形而引起的可变性。我们介绍了新的技术,允许这种方法被部署在自动编码器的设置,并表明这种方法可以用于无监督的组明智的图像对齐。我们展示了人类,手部和手指,面部操作,如形状和外观插值,以及无监督地标定位的表达变形实验。在模板坐标中,一种更强大的无监督解缠形式成为可能,使我们能够成功地将人脸图像分解为阴影和阴影,并进一步操作人脸图像。
2018-06-18 cs.CV
Unsupervised Part-Based Disentangling of Object Shape and Appearance
Heidelberg University(海德堡大学)
大的类内变化是多个对象特征变化的结果。然而,图像只显示不同可变因素的叠加,如外观或形状。因此,学习如何区分和表示这些不同的特征是一个很大的挑战,特别是在无监督的情况下。此外,大型对象的连接需要一个灵活的基于零件的模型。我们提出了一种无监督的方法,通过在一个类别的所有实例中一致地学习部分来解开外观和形状。我们的模型学习对象表示的训练,同时利用不变性和等方差约束之间的综合变换的图像。由于不需要零件注释或对象类的先验信息,因此该方法适用于任意类。我们评估我们的方法在广泛的对象类别和不同的任务,包括姿态预测,解开图像合成,视频到视频的翻译。该方法在无监督关键点预测方面优于最先进的方法,甚至在形状和外观转移任务上与有监督方法相比也毫不逊色。
2019-06-17 cs.CV
Unsupervised Video Domain Adaptation for Action Recognition: A Disentanglement Perspective
ByteDance(字节跳动);National University of Singapore(新加坡国立大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);University of Technology Sydney(悉尼科技大学)
本文首次从解耦视角解决无监督视频域适应问题,提出TranSVAE框架分别处理空间与时间域差异,通过约束潜在因素和对抗学习显著提升了动作识别性能。
2023-10-24 cs.AI cs.CV cs.LG
Unsupervised Part Segmentation through Disentangling Appearance and Shape
Tsinghua University(清华大学);Microsoft Corporation(微软公司)
我们研究了对象部分的无监督发现和分割问题,作为一种中间的局部表示,能够找到内在的对象结构,并提供更多的可解释的识别结果。最近的无监督方法大大放松了对注释数据的依赖,这些注释数据获取成本高,但仍然依赖于其他信息,如对象分割掩模或显着图。为了消除这种依赖性,并进一步提高部分分割性能,我们开发了一种新的方法,通过解开对象部分的外观和形状表示,然后重建损失,而不使用额外的对象掩模信息。为了避免退化的解决方案,瓶颈块的设计,挤压和扩大的外观表示,导致更有效的几何和外观之间的纠缠。结合自监督的零件分类损失和改进的几何集中约束,我们可以分割出更多的语义一致的零件。对人脸、鸟和PASCAL VOC对象等多种对象的综合实验证明了该方法的有效性。
2021-05-26 cs.CV
Disentangling Physical Dynamics from Unknown Factors for Unsupervised Video Prediction
EDF R&D(法国电力集团研发中心);CEDRIC, Conservatoire National des Arts et Métiers(法国国立工艺学院CEDRIC实验室)
利用由偏微分方程(PDE)描述的物理知识是改进无监督视频预测方法的一种有吸引力的方式。由于物理学对于描述通用视频的完整视觉内容来说限制太大,我们引入了PhyDNet,这是一个两分支的深度架构,它明确地将PDE动态与未知的补充信息分离开来。第二个贡献是提出了一个新的经常性的物理细胞(PhyCell),灵感来自数据同化技术,在潜在的空间进行PDE约束的预测。在四个不同的数据集上进行的广泛实验表明,PhyDNet的性能优于最先进的方法。烧蚀研究还强调了解纠缠和PDE约束预测带来的重要收益。最后,我们展示了PhyDNet在处理缺失数据和长期预测方面的有趣功能。
2020-03-16 cs.CV
Domain-Adaptive Full-Face Gaze Estimation via Novel-View-Synthesis and Feature Disentanglement
Institute of Industrial Science, The University of Tokyo(东京大学生产技术研究所);Delft University of Technology(代尔夫特理工大学)
针对全脸注视估计跨域性能下降及大范围姿态数据采集昂贵的问题,提出结合单图像三维重建合成、特征解耦自编码器和背景增强一致性的无监督域自适应训练流程。
2024-07-07 cs.CV
DualContrast: Unsupervised Disentangling of Content and Transformations with Implicit Parameterization
Carnegie Mellon University(卡内基梅隆大学)
本文提出 DualContrast,通过在数据空间和潜空间构建内容与变换的正负对比对,实现无监督隐式解耦,并在科学图像上优于显式参数化及自监督方法。
2025-02-16 cs.CV
Disentangling Visual Priors: Unsupervised Learning of Scene Interpretations with Compositional Autoencoder
Institute of Computing Science, Poznan University of Technology(波兹南理工大学计算机科学学院)
针对深度学习架构缺乏捕捉基础视觉概念方法的问题,提出结合领域特定语言与卷积神经网络的神经符号组合自编码器,在合成基准上实现图像形成过程解耦、小数据学习等能力。
2024-09-15 cs.CV
OOGAN: Disentangling GAN with One-Hot Sampling and Orthogonal Regularization
Rutgers University(罗格斯大学)
为了探索GANs在无监督去纠缠学习中的潜力,提出了一种基于单热采样正交正则化(One-Hot Sampling and Orthogonal Regularization,OOGAN)的GANs去纠缠框架。虽然以前的工作大多试图通过VAE解决解纠缠学习,并寻求使用各种近似方法隐式地最小化总相关性(TC)目标,但我们表明,GANs在使用交替潜在变量(噪声)采样方法解纠缠方面具有天然优势,这种方法简单而强大。此外,我们提供了一个全新的角度来设计的结构的生成器和混沌,表明一个较小的结构变化和模型权重的正交正则化需要一个改进的解纠缠。我们没有在简单的玩具数据集上进行实验,而是在更高分辨率的图像上进行实验,并表明OOGAN极大地推动了无监督解纠缠的边界。
2020-03-10 cs.CV
Towards Disentangling Latent Space for Unsupervised Semantic Face Editing
Pengcheng Laboratory(鹏城实验室);Shenzhen University(深圳大学);University of Nottingham(诺丁汉大学)
StyleGAN生成的图像中的面部属性在潜在空间中纠缠在一起,这使得在不影响其他属性的情况下独立控制特定属性变得非常困难。受监督的属性编辑需要带注释的训练数据,这很难获得,并且将可编辑属性限制为具有标签的属性。因此,在一个分离的潜在空间中进行无监督的属性编辑是执行整洁和通用的语义人脸编辑的关键。在本文中,我们提出了一种新的技术,称为结构-纹理独立架构与权重分解和正交正则化(STIA-WO)解开潜在的空间无监督语义人脸编辑。将STIA-WO应用到GAN中,提出了一种StyleGAN STGAN-WO。STGAN-WO利用风格向量进行权值分解,构造完全可控的权值矩阵来调节图像合成,并采用正交正则化方法保证风格向量的每一项只控制一个独立的特征矩阵。为了进一步理清面部属性,STGAN-WO引入了结构-纹理独立架构,其利用两个独立且同分布(i.i.d.)潜在的矢量控制的纹理和结构成分的合成在一个解开的方式。无监督语义编辑是通过沿其正交方向移动粗层中的潜在代码来改变纹理相关属性或改变细层中的潜在代码来操纵结构相关属性。我们目前的实验结果表明,我们的新STGAN-WO可以实现更好的属性编辑比最先进的方法。
2021-07-19 cs.CV
Unsupervised Robust Disentangling of Latent Characteristics for Image Synthesis
Heidelberg Collaboratory for Image Processing(海德堡图像处理合作实验室);Heidelberg University(海德堡大学)
深度生成模型有希望学习视觉对象的可解释表示,允许图像采样,合成和选择性修改。主要的挑战是学习正确建模对象的独立潜在特征,特别是其外观和姿态。我们提出了一种新的方法,学习这些特征的解开表示,并单独解释它们。训练只需要描绘相同对象外观的图像对,但不需要姿势注释。我们提出了一个额外的分类器,估计强制解除纠缠所需的最小正则化量。因此,这两种表征结合在一起可以完全解释一个图像,同时彼此独立。以前的方法的基础上对抗的方法无法强制执行这种独立性,而基于变分方法的方法导致无信息的表示。在对不同对象类别的实验中,该方法成功地重组了姿态和外观,以重建和重定位新的合成图像。我们实现了显着的改进,国家的最先进的方法,利用相同的监督水平,并达到性能相媲美的姿势监督的方法。然而,我们可以处理大量没有姿势模型/注释可用的铰接对象类。
2019-10-22 cs.CV
Unsupervised Domain Adaptation for Cross-Modality Retinal Vessel Segmentation via Disentangling Representation Style Transfer and Collaborative Consistency Learning
Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学)
已经开发了各种深度学习模型来从医学图像中分割解剖结构,但是当在具有不同数据分布的另一个目标域上进行测试时,它们通常性能较差。最近,已经提出了无监督的域自适应方法来缓解这种所谓的域偏移问题,但它们中的大多数都是针对域偏移相对较小的场景而设计的,并且在遇到大的域间隙时可能会失败。在本文中,我们提出了DCDA,一种新的跨模态无监督域自适应框架,用于具有大域偏移的任务,例如,从OCTA和OCT图像中分割视网膜血管。DCDA主要包括一个解纠缠表示风格转换(DRST)模块和一个协同一致性学习(CCL)模块。DRST将图像分解为内容组件和样式代码,并执行样式转换和图像重建。CCL包含两个分割模型,一个用于源域,另一个用于目标域。这两个模型使用标记数据(以及相应的传输图像)进行监督学习,并对未标记数据进行协同一致性学习。每个模型都专注于相应的单个领域,旨在产生专业化的特定领域细分模型。通过对视网膜血管分割的广泛实验,我们的框架从OCTA到OCT以及从OCT到OCTA都实现了接近目标训练的oracle的Dice分数,显著优于其他最先进的方法。
2022-01-20 cs.CV eess.IV
M-GenSeg: Domain Adaptation For Target Modality Tumor Segmentation With Annotation-Efficient Supervision
Ecole Polytechnique de Montréal(蒙特利尔综合理工学院);Paige(Paige公司);Centre de Recherche du CHUM(蒙特利尔大学医院研究中心)
提出半监督生成训练策略M-GenSeg,通过解耦肿瘤与背景及跨模态图像转换,利用源模态标注实现目标模态肿瘤分割,在BraTS 2020上Dice分数优于基线且支持部分标注。
2023-07-30 cs.CV eess.IV
AD-GAN: End-to-end Unsupervised Nuclei Segmentation with Aligned Disentangling Training
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Duke Kunshan University(昆山杜克大学)
本文考虑无监督的细胞核分割。利用最近提出的细胞核图像和随机合成掩模之间的不成对图像到图像转换,现有方法,例如,CycleGAN取得了令人鼓舞的成果。然而,这些方法通常需要两个阶段的管道,并且无法在细胞核图像中进行端到端的学习。更严重的是,它们可能导致有损变换问题,即,原始图像和相应的分割输出之间的内容不一致。为了解决这些限制,我们提出了一种新的端到端无监督框架,称为Aligned Disentangling Generative Adversarial Network(AD-GAN)。与众不同的是,AD-GAN引入了表示解纠缠,将内容表示(底层空间结构)与风格表示(结构的渲染)分开。有了这个框架,空间结构可以显式地保留,从而大大减少了宏观级的有损变换。我们还提出了一种新的训练算法,能够在潜在空间中对齐未纠缠的内容,以减少微观层面的有损变换。对真实世界的2D和3D数据集的评估表明,AD-GAN在定量和定性方面都大大优于其他比较方法和专业软件。具体来说,所提出的AD-GAN导致了比当前最好的无监督方法平均17.8%的显著改进(相对于W.R.T.度量DICE)在四个细胞核数据集上。作为一种无监督的方法,AD-GAN甚至可以与最好的监督模型竞争,朝着端到端无监督细胞核分割的方向又迈进了一步。
2022-03-10 cs.CV cs.LG eess.IV
Learning Invariant Representation for Unsupervised Image Restoration
Sichuan University(四川大学)
最近,跨域转移已被应用于无监督的图像复原任务。然而,直接应用现有的框架,会导致域转移问题的翻译图像,由于缺乏有效的监督。相反,我们提出了一个无监督学习方法,明确学习不变量表示从嘈杂的数据和重建清晰的意见。为此,我们将离散解纠缠表示和对抗域自适应引入到一般域转移框架中,并辅以额外的自监督模块,包括背景和语义一致性约束,在双域约束下学习鲁棒表示,如特征和图像域。在合成和真实噪声去除任务上的实验表明,该方法与其他最先进的监督和无监督方法具有相当的性能,同时比其他域自适应方法具有更快和更稳定的收敛速度。
2020-03-28 cs.CV
Separating Content and Style for Unsupervised Image-to-Image Translation
Peng Cheng Laboratory(鹏城实验室);Beihang University(北京航空航天大学)
无监督图像到图像翻译的目的是学习两个视觉域之间的映射与未配对的样本。现有的工作集中在解开域不变的内容代码和域特定的风格代码分别为多模式的目的。然而,很少有人注意到翻译图像的解释和操作。在本文中,我们建议在一个统一的框架中同时分离内容代码和风格代码。基于潜在特征和高级域不变任务之间的相关性,所提出的框架在多模态翻译,翻译图像的可解释性和操作方面表现出优越的性能。实验结果表明,该方法在视觉质量和多样性方面优于现有的无监督图像翻译方法。
2021-10-27 cs.CV
Neural Representation Learning for Scribal Hands of Linear B
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);Computer Science and Engineering, University of California, San Diego(加州大学圣迭戈分校计算机科学与工程系);Center for Hellenic Studies, Harvard University(哈佛大学希腊研究中心)
在这项工作中,我们提出了一个调查使用神经特征提取进行手写分析的线性B书写系统。虽然先前的工作已经证明了诸如系统发育系统学等策略在追踪Linear B的历史中的有用性,但这些方法依赖于手动提取的特征,手动定义可能非常耗时。相反,我们提出使用完全无监督的神经网络来学习特征,不需要任何人类注释。具体来说,我们的模型为同一个抄写员写的每个字母分配一个共享的向量嵌入来表示作者的文体模式,每个字母代表同一个音节符号,一个共享的向量嵌入来表示该字符的识别形状。因此,我们数据集中每个图像的属性都表示为划线嵌入和符号嵌入的组合。我们训练这个模型使用重建损失和判别损失,重建损失由解码器控制,解码器试图从相应的嵌入中再现字形,判别损失测量模型预测嵌入是否对应于给定图像的能力。在这项工作的主要贡献中,我们(1)提出了一个新的线性B字形数据集,由手写体和符号类型注释,(2)提出了一个神经模型,用于将手写体的属性与手写体形状分离,(3)定量评估学习的嵌入对查找位置预测和手动提取特征的相似性,显示了比简单基线方法的改进。
2021-07-14 cs.CV cs.LG
Exploiting video sequences for unsupervised disentangling in generative adversarial networks
UNR-CONICET(国立罗萨里奥大学-阿根廷国家科学与技术研究理事会)
在这项工作中,我们提出了一种对抗性训练算法,该算法利用视频中的相关性来学习-没有监督-具有解开的潜在空间的图像生成器模型。所提出的方法只需要对生成对抗网络(GAN)的标准算法进行一些修改,并且涉及使用从短视频中获取的帧集进行训练。我们在两个以面部为中心的视频数据集上训练我们的模型,这些视频呈现不同的人说话或移动头部:VidTIMIT和YouTube Faces数据集。我们发现,我们的建议允许我们将生成器潜在空间分成两个子空间。其中一个控制内容属性,这些属性不会随着短视频序列而改变。对于所考虑的数据集,这是所生成的面部的身份。另一个子空间控制运动属性,这些属性被观察到沿着短视频变化。我们观察到,这些运动属性是面部表情,头部方向,嘴唇和眼睛的运动。所提出的实验提供了定量和定性的证据支持,所提出的方法诱导解开这两种属性的潜在空间。
2019-10-16 cs.CV cs.LG stat.ML
Disentangling Video with Independent Prediction
New York University(纽约大学)
我们提出了一种无监督的变分模型,用于将视频分解为独立的因素,即每个因素的未来可以从其过去预测,而无需考虑其他因素。我们表明,我们的方法经常学习的因素,可解释为对象在场景中。
2019-01-17 cs.CV cs.LG stat.ML
Joint Disentangling and Adaptation for Cross-Domain Person Re-Identification
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
虽然在监督人重新识别(re-id)方面已经取得了重大进展,但由于领域差距巨大,将re-id模型推广到新领域仍然具有挑战性。最近,人们越来越关注使用无监督领域自适应来解决这个可伸缩性问题。现有的方法通常在包含身份相关和身份无关因素的表示空间上进行自适应,从而不可避免地削弱了身份相关特征的自适应效果。在本文中,我们试图通过净化表示空间来提高适应性。为此,我们提出了一个联合学习框架,解开ID相关/不相关的功能,并强制适应工作的ID相关的特征空间。我们的模型包括一个解纠缠模块,它将跨域图像编码到一个共享的外观空间和两个独立的结构空间中,以及一个适应模块,它在共享的外观空间上执行对抗对齐和自我训练。这两个模块是共同设计的,可以互惠互利。大量的实验表明,所提出的联合学习框架明显优于最先进的方法。
2020-07-20 cs.CV
Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation
Harbin Institute of Technology(哈尔滨工业大学);Tomorrow Advancing Life(好未来);Pazhou Lab(琶洲实验室)
无监督解纠缠学习是理解和利用深度生成模型的关键问题。最近,SeFa试图通过对预训练的GAN的第一个投影执行SVD来找到潜在的解纠缠方向。但是,它仅应用于第一层,并以后处理方式工作。Hessian Penalty最小化输出的Hessian矩阵的非对角条目以促进解纠缠,并且可以应用于多层。然而,它独立地约束输出的每个条目,使得它不足以解纠缠潜在方向(例如,形状、大小、旋转等)空间相关的变化。在本文中,我们提出了一个简单的正交雅可比正则化(OroJaR)来鼓励深度生成模型学习解纠缠表示。它简单地鼓励由不同潜在维度上的扰动引起的输出变化是正交的,并且计算相对于输入的雅可比矩阵来表示这种变化。我们表明,我们的OroJaR还鼓励输出的Hessian矩阵以间接的方式是对角的。与Hessian Penalty相比,我们的OroJaR以整体的方式约束输出,使其在解开与空间相关变化相对应的潜在维度方面非常有效。定量和定性的实验结果表明,我们的方法是有效的解纠缠和可控的图像生成,并表现出良好的国家的最先进的方法。我们的代码可在www.example.com上获得
2021-08-17 cs.CV
Disentangling Multiple Features in Video Sequences using Gaussian Processes in Variational Autoencoders
IIIT Delhi(德里印度理工学院);Bioinformatics Institute, A*STAR(A*STAR生物信息研究所);Singapore University of Technology and Design(新加坡科技设计大学)
我们介绍MGP-VAE(多解纠缠特征高斯过程变分自编码器),一个变分自编码器,它使用高斯过程(GP)建模的潜在空间的无监督学习的解纠缠表示在视频序列。我们通过建立一个框架来改进以前的工作,通过这个框架,可以将静态或动态的多个功能分离开来。具体来说,我们使用分数布朗运动(fBM)和布朗桥(BB),以执行帧间的相关性结构,在每个独立的通道,并表明,改变这种结构,使人们能够捕捉不同的因素的变化的数据。我们通过在三个公开数据集上的实验证明了我们的表示的质量,并且还使用视频预测任务量化了改进。此外,我们引入了一种新的测地线损失函数,它考虑到数据流形的曲率,以提高学习。实验结果表明,改进的表示方法与新的损失函数相结合,使MGP-VAE在视频预测中的性能优于基线。
2020-07-19 cs.CV
Disentangling Masked Autoencoders for Unsupervised Domain Generalization
National University of Singapore(新加坡国立大学);Zhejiang University(浙江大学);University of Science and Technology of China(中国科学技术大学)
针对无监督域泛化研究不足的问题,提出解纠缠掩码自编码器DisMAE,通过非对称双分支架构提炼域不变语义特征,在多个基准数据集上取得了有竞争力的分布外泛化性能。
2024-07-10 cs.AI cs.CV
Disentangling Object Motion and Occlusion for Unsupervised Multi-frame Monocular Depth
Clemson University(克莱姆森大学);City University of New York(纽约市立大学)
传统的自监督单目深度预测方法是基于静态环境假设的,这导致了由于对象运动引入的失配和遮挡问题而导致的动态场景中的精度下降。现有的动态对象聚焦方法只能部分解决训练损失水平上的不匹配问题。在本文中,我们相应地提出了一种新的多帧单目深度预测方法来解决这些问题,在预测和监督损失水平。我们的方法称为DynamicDepth,是一种通过自监督循环一致性学习方案训练的新框架。提出了一种动态对象运动解纠缠(DOMD)模块来解纠缠对象运动,以解决失配问题。此外,新的遮挡感知成本体积和重投影损失的设计,以减轻对象运动的遮挡效应。在Cityscapes和KITTI数据集上进行的大量分析和实验表明,我们的方法明显优于最先进的单目深度预测方法,特别是在动态对象领域。代码可在https://github.com/AutoAILab/DynamicDepth上获得
2022-07-23 cs.AI cs.CV cs.LG
Revisiting Cross-Attention Mechanisms: Leveraging Beneficial Noise for Domain-Adaptive Learning
School of Engineering, Westlake University(西lake大学工程学院);Centre for Artificial Intelligence and Robotics (CAIR), Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences (HKISI-CAS)(香港科学院人工智能与机器人中心);State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences (CASIA)(多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);Alibaba Group(阿里巴巴集团)
本文提出DACSM框架,通过引入有益噪声增强交叉注意力,结合领域翻译和尺度感知对齐,提升跨领域表示学习的鲁棒性,实验显示在VisDA-2017等数据集上取得最佳性能。
2026-03-18 cs.AI cs.CV
Unsupervised Disentanglement of Linear-Encoded Facial Semantics
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种方法来解开线性编码的面部语义从StyleGAN没有外部监督。该方法源于线性回归和稀疏表示学习概念,使解开的潜在表示也很容易解释。我们首先将StyleGAN与稳定的3D可变形面部重建方法耦合,将单视图GAN生成分解为多个语义。然后提取潜在的表示来捕获可解释的面部语义。在这项工作中,我们有可能摆脱标签解开有意义的面部语义。此外,我们证明了引导外推沿解纠缠表示可以帮助数据增强,这揭示了处理不平衡的数据。最后,我们提供了一个分析,我们学到的本地化的面部表示,并说明语义信息的编码,这令人惊讶地符合人类的直觉。整体无监督设计为野外的表示学习带来了更大的灵活性。
2021-03-30 cs.CV
DAVA: Disentangling Adversarial Variational Autoencoder
ETH Zürich(苏黎世联邦理工学院)
使用良好解缠的表示为下游任务提供了许多优点,例如增加的样本效率或更好的可解释性。然而,解纠缠解释的质量通常高度依赖于特定于特定超参数的选择,特别是正则化强度。为了解决这个问题,我们引入了DAVA,这是一种用于变分自动编码器的新型训练过程。DAVA完全解决了超参数选择问题。我们将DAVA与具有最优超参数的模型进行比较。无需任何超参数调优,DAVA在各种常用数据集上都具有竞争力。在DAVA的基础上,我们发现了一个无监督解纠缠的必要条件,我们称之为PIPE。我们证明了PIPE在抽象推理中积极预测下游模型性能的能力。我们还彻底调查了与现有监督和无监督指标的相关性。该代码可在https://github.com/besterma/dava上获得。
2023-03-02 cs.AI cs.CV cs.LG
Cross-Spectral Face Hallucination via Disentangling Independent Factors
CASIA(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Huawei Technology Co., Ltd.(华为技术有限公司)
传感器间的差异是异构人脸识别中的一个重要问题。尽管最近的方法试图用深度生成网络来填补这一空白,但大多数方法都存在不同人脸模式之间不可避免的错位。代替成像传感器,未对准主要由与光谱无关的面部几何变化引起。而不是建立一个整体的,但复杂的结构,本文提出了一个姿势对齐的跨光谱幻觉(PACH)的方法来解开独立的因素,并在各个阶段处理它们。在第一阶段中,无监督人脸对齐(UFA)模块被设计成以生成的方式将近红外(NIR)图像的面部形状与可见光(VIS)图像的面部形状对齐,其中UV图被有效地用作形状引导。因此,第二阶段的任务变成了利用对齐的成对数据进行频谱平移。我们开发了一个纹理先验合成(TPS)模块来实现肤色控制,从而生成比现有方法更真实的VIS图像。在三个具有挑战性的NIR-VIS数据集上的实验验证了我们的方法在产生视觉上吸引人的图像和在HFR中实现最先进性能方面的有效性。
2020-03-31 cs.CV
A Disentangling Invertible Interpretation Network for Explaining Latent Representations
Heidelberg Collaboratory for Image Processing(海德堡图像处理合作实验室);Heidelberg University(海德堡大学)
神经网络通过学习输入数据的强大表示,极大地提高了计算机视觉的性能。端到端训练以获得最大整体性能的缺点是黑盒模型,其隐藏表示缺乏可解释性:由于分布式编码对于潜在层来说是提高其鲁棒性的最佳选择,因此将意义归因于隐藏特征向量的部分或单个神经元受到阻碍。我们制定的解释作为一个翻译的隐藏表示到语义概念,是可理解的用户。两个域之间的映射必须是双射的,以便目标域中的语义修改正确地改变原始表示。所提出的可逆解释网络可以透明地应用于现有架构之上,而无需修改或重新训练它们。因此,我们将原始表示转换为等效但可解释的表示,并向后转换,而不会影响原始表示的表现力和性能。可逆解释网络将隐藏的表示分解为单独的、语义上有意义的概念。此外,我们提出了一个有效的方法来定义语义概念,只有素描两个图像,也是一个无监督的策略。实验评估表明,广泛适用于现有的分类和图像生成网络的解释,以及语义引导的图像操作。
2020-04-27 cs.CV
Unsupervised 3D Human Pose Representation with Viewpoint and Pose Disentanglement
The Chinese University of Hong Kong(香港中文大学);T Stone Robotics Institute of CUHK(香港中文大学汤申机器人研究所)
学习良好的3D人体姿态表示对于人体姿态相关任务(例如,人体3D姿态估计和动作识别)是重要的。在所有这些问题中,保持固有的姿态信息和适应视图变化是两个关键问题。在这项工作中,我们提出了一种新的Siamese去噪自动编码器,通过以完全无监督的方式从人体骨骼数据中分离出姿态相关和视图相关的特征来学习3D姿态表示。这两个解纠缠的特征一起用作3D姿态的表示。为了同时考虑运动学和几何学的相关性,本文进一步提出了一种序列双向递归网络(SeBiReNet)来对人体骨骼数据进行建模。大量的实验表明,学习的表示1)保留了人体姿势的内在信息,2)显示出良好的跨数据集和任务的可移植性。值得注意的是,我们的方法在两个本质上不同的任务上实现了最先进的性能:姿态去噪和无监督动作识别。代码和型号可从以下网址获得:\url{https://github.com/NIEQiang001/unsupervised-human-pose.git}
2021-11-02 cs.CV
Disentangling Action Sequences: Discovering Correlated Samples
Shandong Provincial Key Laboratory of Network Based Intelligent Computing(山东省网络智能计算重点实验室);University of Jinan(济南大学);Jinan, 250022, China(济南市,250022,中国)
解纠缠是表征的一个非常理想的性质,因为它与人类的理解和推理相似。这提高了可解释性,使下游任务的性能,并使可控的生成模型。然而,这一领域的挑战是抽象的概念和不完整的理论,以支持无监督的解开学习。我们证明了数据本身,如图像的方向,在解纠缠中起着至关重要的作用,而不是因素,解纠缠表示将潜变量与动作序列对齐。我们进一步引入了解开动作序列的概念,这有利于描述现有的解开方法的行为。这个过程的一个类比是发现事物之间的共性并将其归类。此外,我们分析了数据的归纳偏差,发现潜在信息阈值与行为的重要性相关。对于有监督和无监督的情况,分别介绍了两种阈值的测量方法。我们进一步提出了一种新的框架,分数变分自编码器(FVAE),以解开与不同的意义的动作序列一步一步。在dSprites和3D Chairs上的实验结果表明,FVAE提高了解缠的稳定性。
2020-10-17 cs.CV cs.LG stat.ML
Disentangling Image Distortions in Deep Feature Space
University of Milano - Bicocca(米兰比可卡大学)
本文研究深度特征空间中图像失真的内在表征,发现降维特征可分离失真类型,且不同层能力各异,并成功应用于降参考图像质量评估与失真表征。
2020-06-16 cs.CV
Towards Unsupervised Learning of Generative Models for 3D Controllable Image Synthesis
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学);Amazon(亚马逊)
近年来,生成对抗网络在真实感图像合成方面取得了令人瞩目的成果。这一进展孕育了希望,有一天经典的渲染管道可以被直接从图像中学习的高效模型所取代。然而,当前的图像合成模型在2D域中操作,其中解开诸如相机视点或对象姿态的3D属性是具有挑战性的。此外,它们缺乏可解释和可控制的表示。我们的关键假设是,图像生成过程应该在3D空间中建模,因为我们周围的物理世界本质上是三维的。我们定义了新的任务3D可控图像合成,并提出了一种方法来解决它的推理在3D空间和2D图像域。我们证明,我们的模型是能够解开潜在的3D因素简单的多对象场景在一个无监督的方式从原始图像。与纯2D基线相比,它允许合成一致的场景。视点或对象姿势的变化。我们进一步评估各种3D表示在这一具有挑战性的任务的有用性。
2020-03-24 cs.CV
Unsupervised Deformable Registration for Multi-Modal Images via Disentangled Representations
Imperial College London(帝国理工学院);Siemens Healthineers(西门子医疗)
我们提出了一种完全无监督的多模态可变形图像配准方法(UMMs),该方法在训练过程中不需要任何地面真实变形场或任何对齐的多模态图像对。多模态配准是医学图像分析中的一个关键问题。由于不同模态之间的关系复杂且未知,因此非常具有挑战性。在本文中,我们提出了一个无监督学习的方法来减少多模式的注册问题,通过图像去纠缠的一个单一的模式。特别是,我们将这两种模式的图像分解为一个共同的潜在形状空间和单独的潜在外观空间,通过无监督的多模态图像到图像的翻译方法。该方法建立在原图像域中存在的固有形状变形保持在该隐空间中的基础上。具体来说,已经提出了两个指标来训练所提出的网络:在公共形状空间中定义的潜在相似性指标和基于对抗性损失的基于学习的图像相似性指标。我们研究了我们提出的方法的不同变化,并将其与传统的最先进的多模态配准方法进行了比较。结果表明,我们提出的方法实现了竞争力的性能对其他方法在大幅减少计算时间。
2019-03-22 cs.CV
LAVAE: Disentangling Location and Appearance
Department of Applied Mathematics and Computer Science, Technical University of Denmark(丹麦技术大学应用数学与计算机科学系);Centre for Genomic Medicine, Rigshospitalet, Copenhagen University Hospital(哥本哈根大学医院Rigshospitalet基因组医学中心);Bioinformatics Centre, Department of Biology, University of Copenhagen(哥本哈根大学生物学系生物信息学中心)
我们提出了一个概率生成模型的无监督学习的结构化的,可解释的,基于对象的视觉场景表示。我们使用摊销变分推理训练生成模型端到端。学习到的对象位置和外观的表示被完全解开,并且对象在潜在空间中彼此独立地表示。与以前的方法,解开位置和外观,我们的无缝推广到场景中遇到的对象比在训练制度。我们在多MNIST和多dSprites数据集上评估了所提出的模型。
2019-09-27 cs.CV cs.LG stat.ML
Disentangling Disentangled Representations: Towards Improved Latent Units via Diffusion Models
Yonsei University(延世大学)
针对无监督解耦表征学习中扩散模型应用探索有限的问题,提出动态高斯锚定和跳跃丢弃技术,提升潜在单元独立性与模型适配性,实现最优解耦性能及下游任务优势。
2024-10-31 cs.AI cs.CV cs.LG
Disentangling Motion, Foreground and Background Features in Videos
Beihang University(北京航空航天大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学);Microsoft(微软)
本文介绍了一种无监督的框架,提取语义丰富的视频表示的功能。受人类视觉系统如何根据运动线索对对象进行分组的启发,我们提出了一种深度卷积神经网络,可以将运动、前景和背景信息分离开来。所提出的架构包括用于16帧块的3D卷积特征编码器,该编码器针对序列的第一帧和最后一帧的重建任务进行训练。进行了一个初步的监督实验,以验证所提出的方法的可行性,通过训练模型与UCF-101数据集的一部分视频,作为地面真理的活动区域周围的边界框。定性结果表明,该网络可以成功地分割前景和背景的视频,以及更新的前景外观的基础上解开运动特征。这些学习特征的好处在判别分类任务中显示出来,其中使用所提出的预训练方法初始化网络的性能优于随机初始化和自动编码器预训练。我们的模型和源代码可以在https://imatge-upc.github.io/unsupervised-2017-cvprw/上公开获得。
2017-07-17 cs.AI cs.CV cs.MM
Improving ClusterGAN Using Self-Augmented Information Maximization of Disentangling Latent Spaces
University of New South Wales(新南威尔士大学)
针对ClusterGAN因依赖均匀先验、忽略真实数据分布而导致聚类性能不佳的问题,提出含自增强先验网络的SIMI-ClusterGAN,在7个基准及非均衡MNIST数据集上性能优于现有最优方法。
2023-05-01 cs.CV cs.LG
DisCont: Self-Supervised Visual Attribute Disentanglement using Context Vectors
IIIT Delhi(印度德里信息技术学院)
在没有事先监督的情况下解开图像中的潜在特征属性是一项具有挑战性的任务。能够很好地分解属性的模型提供了更好的可解释性和控制性。在本文中,我们提出了一个自我监督的框架DisCont解开多个属性,利用图像内的结构归纳偏见。受最近对比学习范式激增的启发,我们的模型弥合了自监督对比学习算法和无监督解缠之间的差距。我们在四个基准数据集上定性和定量地评估了我们的方法的有效性。
2020-06-29 cs.CV
An Adversarial Neuro-Tensorial Approach For Learning Disentangled Representations
Imperial College London(伦敦帝国理工学院);Stony Brook University(石溪大学)
有几个因素对视觉场景中对象的外观有贡献,包括姿势、照明和变形等。每个因素都是数据中可变性的来源,而这些因素的乘法相互作用模拟了纠缠的可变性,从而产生了视觉对象外观的丰富结构。将这些未观察到的因素从视觉数据中分离出来是一项具有挑战性的任务,特别是当数据是在不受控制的记录条件下(也称为“野外”)捕获的并且标签信息不可用时。在本文中,我们提出了第一种无监督的深度学习方法(具有伪监督),用于解开野外捕获的人脸图像中的多个潜在变化因素。为此,我们提出了一个深潜变量模型,其中多个潜在的变化因素的乘法相互作用显式建模的多线性(张量)结构。我们证明了所提出的方法确实学习了面部表情和姿势的解纠缠表示,这可以用于各种应用,包括面部编辑,以及面部表情,身份和姿势的3D面部重建和分类。
2018-02-24 cs.CV
Disentangling Latent Embeddings with Sparse Linear Concept Cones (SLiCC)
Department of Electrical & Computer Engineering, University of Delaware, USA(电气与计算机工程系,德雷克塞尔大学);Naval Surface Warfare Center, Panama City Division, Panama City, Florida, USA(Panama City 分部,海军水面 warfare 中心);Department of Navy award N00014-24-1-2259 issued by the Office of Naval Research(海军部奖项 N00014-24-1-2259,由海军研究办公室颁发);Department of Computer & Information Sciences, University of Delaware, USA(计算机与信息科学系,德雷克塞尔大学)
本文提出 SLiCS,通过有监督组结构化稀疏字典学习将视觉-语言嵌入解耦为概念子空间,并支持零样本多标签,提升概念过滤检索与条件生成精度。
2026-10-30 cs.CV
LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup
CMU(卡内基梅隆大学);HKUST(香港科技大学);Stanford University(斯坦福大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Tencent(腾讯)
我们提出了一个本地对抗解缠网络(LADN)的面部化妆和卸妆。我们的方法的核心是多个和重叠的本地对抗性鉴别器在内容风格的解缠网络中实现面部图像之间的局部细节转移,并使用不对称的损失函数用于具有高频细节的戏剧性化妆风格。现有的技术没有展示或未能在全局对抗设置中传递高频细节,或者仅训练单个局部细节以确保图像结构一致性,因此仅对相对简单的样式起作用。与其他人不同的是,我们提出的局部对抗鉴别器可以区分生成的局部图像细节是否与无监督设置中跨图像风格传输中给定参考图像中的相应区域一致。通过这些技术贡献,我们不仅在传统风格上实现了最先进的结果,而且还实现了涉及复杂和戏剧性风格的新颖结果,其中高频细节覆盖了多个面部特征的大面积。一个精心设计的化妆前后未配对图像数据集被发布。
2019-08-09 cs.AI cs.CV cs.LG
Closed-Loop Unsupervised Representation Disentanglement with $β$-VAE Distillation and Diffusion Probabilistic Feedback
Ningbo Institute of Digital Twin, Eastern Institute of Technology(宁波数字孪生研究所、东部技术研究所);Shanghai Jiao Tong University(上海交通大学);Xi’an Jiaotong University(西安交通大学)
针对表示解缠中依赖标注、约束启发式和评估缺失的问题,提出闭环无监督方法 CL-Dis,结合扩散自编码器与 $\eta$-VAE 蒸馏及反馈,实现语义解缠并提升真实图像操作与视觉分析性能。
2025-09-09 cs.CV cs.LG
Disentangling Space and Time in Video with Hierarchical Variational Auto-encoders
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
在视频数据中存在多种形式的特征信息。其中的原理是对象身份信息,其在多个视频帧中基本上是静态的,以及对象姿态和样式信息,其从帧到帧连续变换。大多数现有的模型混淆这两种类型的表示,将它们映射到一个共享的特征空间。在本文中,我们提出了一种概率方法学习可分离的表示对象的身份和姿态信息,使用无监督的视频数据。我们的方法利用了一个具有因子化先验分布的深度生成模型,该模型对隐藏特征集中的时间不变性进行编码。学习是通过变分推理实现的。我们提出了学习的身份和姿态信息的移动字符的数据集,以及旋转的3D对象的数据集的结果。我们的实验结果表明,我们的模型的成功因素,其表示,并证明该模型实现了改进的性能在迁移学习任务。
2016-12-19 cs.CV cs.LG stat.ML
MambaReg: Mamba-Based Disentangled Convolutional Sparse Coding for Unsupervised Deformable Multi-Modal Image Registration
Illinois Institute of Technology(伊利诺伊理工大学)
针对多模态可变形图像配准中长程依赖难捕捉、特征难解耦的问题,提出基于Mamba的MambaReg架构,融合卷积局部特征提取与Mamba长程建模能力,解耦配准相关特征,在公开数据集上配准精度与形变场平滑度均优于现有方法。
2024-11-03 cs.CV
Disentangling images with Lie group transformations and sparse coding
Redwood Center for Theoretical Neuroscience(雷德伍德理论神经科学中心);Berkeley AI Research(伯克利人工智能研究院);University of California, Berkeley(加州大学伯克利分校);Facebook AI Research(脸书人工智能研究院)
离散空间模式及其连续变换是自然信号中的两个重要特征。李群和表示论是在以前的作品中用于模拟连续图像变换的数学工具。另一方面,稀疏编码是学习自然信号中模式字典的重要工具。在本文中,我们将这些想法结合到贝叶斯生成模型中,该模型可以学习以完全无监督的方式解开空间模式及其连续变换。图像被建模为稀疏叠加的形状组件,然后由n个连续变量参数化的变换。形状分量和变换不是预定义的,而是适应于学习数据中的对称性,约束条件是变换形成n维环面的表示。在由特定MNIST数字的受控几何变换组成的数据集上训练模型表明,它可以恢复这些变换以及数字。在完整MNIST数据集上的训练表明,它可以学习基本的数字形状和自然变换,如剪切和拉伸,这些都包含在数据中。
2020-12-11 cs.CV cs.LG
CSNNs: Unsupervised, Backpropagation-free Convolutional Neural Networks for Representation Learning
University of Applied Sciences Kempten(肯普滕应用科学大学)
这项工作结合了卷积神经网络(CNN),通过自组织映射(SOM)和Hebbian学习进行聚类,提出了卷积自组织神经网络(CSNN)的构建模块,它以无监督和无反向传播的方式学习表示。我们的方法用SOM的竞争性学习过程取代了从CNN学习传统卷积层,并同时用单独的Hebbian类学习规则学习这些层之间的局部掩码,以克服通过聚类学习过滤器时分离变化因素的问题。我们通过使用我们的构建块设计两个简单的模型来研究学习的表示,实现了与许多使用反向传播的方法相当的性能,同时我们在Cifar10上达到了相当的性能,并在Cifar100,Tiny ImageNet和ImageNet的一小部分上给出了无反向传播方法的基线性能。
2020-01-29 cs.CV cs.LG
Elastic-InfoGAN: Unsupervised Disentangled Representation Learning in Class-Imbalanced Data
UC Davis(加州大学戴维斯分校);Adobe Research(奥多比研究院);UCLA(加州大学洛杉矶分校)
我们提出了一种新型的无监督生成模型,它学会将对象身份与类别不平衡数据中的其他低级方面区分开来。我们首先调查了InfoGAN关于均匀性假设的问题,并证明了它在不平衡数据中正确解开对象身份的无效性。我们的主要思想是发现离散的潜在因素的变化不变的真实图像中的身份保持变换,并使用它作为一个信号来学习适当的潜在分布代表对象的身份。在人工(MNIST,3D汽车,3D椅子,ShapeNet)和真实世界(YouTube-Faces)不平衡数据集上的实验证明了我们的方法在解开对象身份作为潜在变化因素方面的有效性。
2020-10-30 cs.CV cs.LG stat.ML
Human Mesh Recovery from Monocular Images via a Skeleton-disentangled Representation
Harbin Institute of Technology(哈尔滨工业大学);JD AI Research(京东人工智能研究院)
我们描述了一个端到端的方法,用于恢复三维人体网格从单一的图像和单目视频。与现有方法试图从一个耦合特征中获取所有复杂的3D姿态、形状和摄像机参数不同,本文提出了一种基于图像分解的框架,该框架以解耦的方式将该任务划分为多层次的空间和时间粒度。在空间方面,我们提出了一个有效的和可插拔的“从细节中解开骨架”(DSD)模块。该方法降低了模型的复杂度,简化了模型的骨架,为时态建模奠定了良好的基础。在时间方面,提出了基于自我注意的时间卷积网络,以有效地利用短期和长期的时间线索。此外,一个无监督的对抗训练策略,时间洗牌和秩序恢复,旨在促进运动动力学的学习。所提出的方法在Human3.6M上的MPJPE和PA-MPJPE分别为15.4%和23.8%,优于最先进的3D人体网格恢复方法。在没有任何微调的情况下,在野外3D姿态(3DPW)数据集上也实现了最先进的结果。特别是消融研究表明,非纠缠表示是更好的时间建模和推广的关键。
2019-09-17 cs.CV
Motion-Based Generator Model: Unsupervised Disentanglement of Appearance, Trackable and Intrackable Motions in Dynamic Patterns
University of California, Los Angeles(加州大学洛杉矶分校);Hikvision Research Institute(海康威视研究院)
动态模式的特点是复杂的空间和运动模式。理解动态模式需要一个分离阶乘成分的分解表示模型。动态模式的常用模型是状态空间模型,其中状态根据转换模型随时间演变,并且状态根据发射模型生成观察到的图像帧。为了明确地对运动进行建模,模型自然基于像素的运动或位移场。因此,在发射模型中,我们让隐藏状态生成位移场,该位移场扭曲前一图像帧中的可跟踪分量以生成下一帧,同时添加同时发射的残差图像以解释变形无法解释的变化。前一幅图像的变形是关于图像帧变化的可跟踪部分,而残差图像是关于图像的可跟踪部分。我们使用最大似然算法来学习模型,该模型在推断驱动过渡模型的潜在噪声向量和更新给定推断的潜在向量的参数之间迭代。同时,我们采用一个正则化项来惩罚残差图像的范数,以鼓励模型通过可跟踪运动来解释图像帧的变化。与现有的动态模式方法不同,我们在没有地面真实位移场的无监督环境中学习我们的模型。此外,我们的模型定义了一个概念的intrackability在每帧图像中的翘曲分量和残留分量的分离。实验结果表明,该方法可以合成真实的动态图案,并能将外观、可跟踪和可插入的运动分离出来。学习的模型对于运动转移是有用的,并且很自然地采用它来定义和测量动态模式的可插入性。
2019-11-26 cs.CV
Unsupervised Compositional Concepts Discovery with Text-to-Image Generative Models
UIUC(伊利诺伊大学厄巴纳-香槟分校);MIT(麻省理工学院)
提出一种无监督方法从图像集合中发现生成概念,能解耦风格、物体与光照并重组生成新图像,同时可用于下游分类任务。
2023-08-03 cs.AI cs.CV cs.LG
Interpretability Without Tradeoffs: Disentangling Polysemanticity At Equal Predictive Performance
Max Planck Institute for Informatics(马克斯·普朗克信息研究所);Department of Computer Science, TU Darmstadt(图宾根大学计算机科学系)
提出ELUDe方法,通过无损重组层间信息流,在不改变模型输出的前提下将多义神经元分解为单义特征,提升深度神经网络的可解释性。
2026-05-29 cs.CV cs.LG
Style and Content Disentanglement in Generative Adversarial Networks
West Virginia University(西弗吉尼亚大学)
解开数据中的变化因素已经成为图像生成任务的一个非常具有挑战性的问题。当前用于训练生成对抗网络(GAN)的框架学习以无监督的方式解开数据的表示,并捕获数据变化的最重要因素。然而,这些方法忽略了图像生成中的内容和风格分离原则,这意味着它们学习的潜在代码可能同时改变生成的图像的内容和风格。本文介绍了风格和内容分离GAN(SC-GAN),这是一种新的无监督算法,用于训练GANs,学习数据的分离风格和内容表示。我们假设图像的表示可以分解为表示数据的几何信息的内容代码和捕获纹理属性的样式代码。因此,通过固定潜表征的风格部分,我们可以生成特定风格的不同图像。因此,我们可以设置内容代码,并生成各种风格的特定场景。建议的SC-GAN有两个组件:一个内容代码,这是输入到生成器,和一个样式代码,通过修改自适应实例规范化(AdaIN)层的参数修改场景样式。我们在一组基线数据集上评估了所提出的SC-GAN框架。
2018-11-14 cs.CV