Disentanglement via Latent Quantization
Stanford University(斯坦福大学);University College London(伦敦大学学院);Oxford University(牛津大学)
本文提出通过潜在空间量化和强正则化构建归纳偏置,结合新评估指标InfoMEC,显著提升了生成模型学习表示的模块化与显式性,且不损失数据重建能力。
2023-10-22 cs.LG stat.ML
Local Disentanglement in Variational Auto-Encoders Using Jacobian $L_1$ Regularization
Cornell University(康奈尔大学)
最近在表示学习方面取得了许多进展;然而,无监督的表示学习仍然可以解决与潜在空间旋转相关的模型识别问题。变分自动编码器(VAE)及其扩展,如$β$ -VAE已被证明可以改善潜在变量与PCA方向的局部对齐,这有助于在某些条件下改善模型解纠缠。借鉴独立分量分析(ICA)和稀疏编码的灵感,我们建议在训练过程中对VAE的生成雅可比矩阵应用$L_1$损失,以鼓励局部潜变量与多个对象或多个部分的图像中的独立变化因素对齐。我们展示了我们的结果在各种数据集上,使用信息理论和模块化措施,表明我们增加的$L_1$成本鼓励本地轴对齐的潜在代表与个别因素的变化,给出定性和定量的结果。
2021-10-27 cs.CV cs.LG
Overlooked Implications of the Reconstruction Loss for VAE Disentanglement
University of the Witwatersrand(金山大学)
本文揭示VAE解纠缠主要源于数据与重建损失的交互而非正则化,并通过构造对抗数据集与定制重建损失验证了解纠缠的主观性。
2023-08-09 cs.AI cs.CV cs.LG
Toward a Controllable Disentanglement Network
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了两个关键问题的学习解纠缠的图像表示,即控制的程度,在图像编辑,并平衡的解纠缠强度和重建质量。为了鼓励解纠缠,我们设计了一个基于距离协方差的去相关正则化。此外,对于重建步骤,我们的模型利用与潜像代码相结合的软目标表示。通过探索软目标表示的实值空间,我们能够合成具有指定属性的新图像。为了提高由基于自动编码器(AE)的模型生成的图像的感知质量,我们通过将AE解码器和GAN生成器折叠成一个来扩展具有生成对抗网络(GAN)的编码器-解码器架构。我们还设计了一个基于分类的协议来定量评估我们的模型的解纠缠强度。实验结果表明,所提出的模型的好处。
2020-06-20 cs.CV cs.LG stat.ML
Unsupervised Disentanglement without Autoencoding: Pitfalls and Future Directions
Boston University(波士顿大学);Google Research(谷歌研究院)
解开的视觉表示在很大程度上是通过生成模型(例如变分自编码器(VAE))来研究的。虽然先前的工作集中在用于分离表示学习的生成方法上,但由于生成模型的当前限制,这些方法不能扩展到大型数据集。相反,我们探索正则化方法与对比学习,这可能会导致解开表示,是足够强大的大规模数据集和下游应用程序。然而,我们发现,由于优化和初始化的敏感性,无监督的解纠缠是难以实现的,在任务性能的权衡。我们评估了下游任务的解纠缠,分析了每种正则化方法的优缺点,并讨论了未来的发展方向。
2021-08-14 cs.CV cs.LG
Variantional autoencoder with decremental information bottleneck for disentanglement
Surrey Institute for People Centred AI(萨里以人为本人工智能研究所);University of Surrey(萨里大学);Carnegie Mellon University(卡内基梅隆大学);University of Jinan(济南大学);Mintyea Tech, Inc.(茗茶科技公司)
针对变分自编码器解耦学习中解耦效果与重建保真度的权衡难题,提出带递减信息瓶颈的层级潜空间框架DeVAE,通过解耦不变变换连接潜空间,在两个数据集上验证了其平衡两者的有效性。
2023-10-04 cs.AI cs.LG
Disentangle and Regularize: Sign Language Production with Articulator-Based Disentanglement and Channel-Aware Regularization
Hacettepe University(哈切特佩大学)
本文提出无 gloss 的手语生成框架 DARSLP,通过发音器官解耦的姿态自编码器和通道感知正则化的非自回归 transformer,直接从文本生成手语姿态,在 PHOENIX14T 和 CSL-Daily 上达到最优性能。
2025-09-22 cs.CV cs.LG
Disentanglement by Cyclic Reconstruction
IRT Saint-Exupéry(圣埃克苏佩里跨学科研究中心);ISAE-SUPAERO(法国高等航空航天学院);ANITI(图卢兹人工智能与自然智能研究所);Université de Toulouse(图卢兹大学)
深度神经网络已经证明了它们从数据中自动提取有意义特征的能力。然而,在监督学习中,特定于用于训练的数据集但与手头的任务无关的信息可以保持编码在提取的表示中。这些剩余的信息引入了特定领域的偏差,削弱了泛化性能。在这项工作中,我们建议分裂成一个任务相关的表示和它的互补上下文表示的信息。我们提出了一种新颖的方法,结合对抗性特征预测和循环重建,在单域监督的情况下解开这两种表示。然后,我们适应这种方法的无监督领域自适应问题,包括训练一个模型,能够执行的源和目标域。特别是,我们的方法促进了目标域的解纠缠,尽管没有训练标签。这使得特定于任务的信息能够从两个域中隔离出来,并投影到一个公共的表示中。特定于任务的表示允许将从源域获得的知识有效地转移到目标域。在单域的情况下,我们证明了我们的质量表示信息检索任务和泛化的好处引起的锐化特定任务的表示。然后,我们验证了几个经典的领域自适应基准所提出的方法,并说明了解纠缠的领域自适应的好处。
2022-11-22 cs.LG
Learning disentangled representations with the Wasserstein Autoencoder
University College London(伦敦大学学院);Faculty(学院)
无纠缠表征学习无疑受益于目标函数手术。然而,为了在重建保真度与解纠缠之间进行权衡,仍然需要微妙的调谐平衡行为。在以前成功惩罚潜变量中的总相关性的基础上,我们提出了TCWAE(总相关性Wasserstein自动编码器)。在WAE范式中工作自然能够分离总相关项,从而提供对学习表示的解纠缠控制,同时在选择重建成本时提供更大的灵活性。我们提出了两种使用不同KL估计的变体,并对具有已知生成因子的数据集进行了广泛的定量比较,显示了相对于最先进技术的竞争结果。我们进一步研究了在具有未知生成因素的更困难的数据集上的解纠缠和重建之间的权衡,其中WAE范式在重建方面的灵活性提高了重建。
2020-10-07 cs.CV cs.LG stat.ML
Demystifying Inter-Class Disentanglement
School of Computer Science and Engineering(计算机科学与工程学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
学习如何在一组观测数据中找出隐藏的变异因素是人工智能的一项关键任务。我们提出了一个统一的制定类和内容解开,并用它来说明目前的方法的局限性。因此,我们介绍洛德,一种新的方法,基于潜在的优化表示解开。我们发现,潜在的优化,以及非对称噪声正则化,是优于摊销推理实现解开表示。在广泛的实验中,我们的方法被证明比使用相同监督级别的对抗性和非对抗性方法实现更好的解纠缠性能。我们进一步介绍了一种基于聚类的方法,用于扩展我们的方法,用于在域翻译任务上表现出有希望的结果的类内变化的设置。
2020-02-18 cs.CV cs.LG stat.ML
Variational Learning with Disentanglement-PyTorch
University of British Columbia(不列颠哥伦比亚大学)
解纠缠表示的无监督学习是机器学习中的一个公开问题。开发Disentanglement-PyTorch库是为了促进新变分算法的研究、实现和测试。在这个模块化库中,神经架构,潜在空间的维度和训练算法完全解耦,允许跨变分方法进行独立和一致的实验。该库处理训练调度、日志记录以及重建和潜在空间遍历的可视化。它还根据各种解纠缠指标评估编码。到目前为止,该库包括以下无监督算法VAE,Beta-VAE,Factor-VAE,DIP-I-VAE,DIP-II-VAE,Info-VAE和Beta-TCVAE的实现,以及CVAE和IFCVAE等条件方法。该库与AICrowd上举办的NeurIPS 2019年解开挑战赛兼容,并在挑战赛的第一和第二阶段均获得第三名。
2019-12-11 cs.LG stat.ML
Disentangling Disentanglement in Variational Autoencoders
University of Oxford(牛津大学)
我们开发了一个概括的VAE中的解纠缠-分解的潜在表示-其特征在于实现两个因素:a)具有适当重叠水平的数据的潜在编码,以及b)符合所需结构的数据的聚合编码,通过先前表示。作为特殊情况,分解允许解开纠缠,即潜在项之间的显式独立性,但也允许将更丰富的属性类别强加给已学习的表示,例如稀疏性、集群、独立子空间,甚至复杂的分层依赖关系。我们发现,$β$ -VAE不同的标准VAE主要是在其控制的潜在重叠,并为标准选择的各向同性高斯先验,其目标是不变的潜在表示的旋转。从分解的角度来看,打破这种不变性与简单的操纵先验可以产生更好的解纠缠很少或没有损害重建。我们进一步展示了其他选择的先验如何帮助产生不同的分解,并引入了一个替代的训练目标,允许控制两个分解因子的原则性方式。
2019-06-12 cs.LG stat.ML
Denoising Multi-Beta VAE: Representation Learning for Disentanglement and Generation
Technical University of Denmark(丹麦技术大学);Sony AI Tokyo(索尼东京人工智能实验室);Sony AI(索尼人工智能实验室);Sony Group Corporation(索尼集团)
提出去噪多Beta VAE框架,通过训练单一VAE获得多β值表示,并利用非线性扩散模型平滑过渡,平衡解耦与生成质量,支持独立样本生成。
2025-07-09 cs.AI cs.CV cs.LG
The Hessian Penalty: A Weak Prior for Unsupervised Disentanglement
University of California, Berkeley(加州大学伯克利分校);Yale University(耶鲁大学);Adobe Research(Adobe 研究院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
现有的深度生成模型的解纠缠方法依赖于手工挑选的先验和复杂的基于编码器的架构。在本文中,我们提出了Hessian Penalty,这是一个简单的正则化项,它鼓励生成模型的Hessian相对于其输入是对角的。我们引入了一个基于Hutchinson估计量的模型不可知的无偏随机近似,以便在训练过程中有效地计算它。我们的方法可以应用于各种深度生成器,只需几行代码。我们表明,当应用于多个数据集上的ProGAN时,使用Hessian Penalty的训练通常会导致轴对齐的解纠缠出现在潜在空间中。此外,我们使用正则化项以无监督的方式识别BigGAN潜在空间中的可解释方向。最后,我们提供的经验证据表明,Hessian罚鼓励大幅收缩时,应用于过度参数化的潜在空间。
2020-08-24 cs.CV cs.GR cs.LG
An Identifiable Double VAE For Disentangled Representations
EURECOM(欧洲通信研究院);SAP Labs France(SAP法国实验室)
关于学习解纠缠表示的大部分文献集中在变分自编码器(VAE)上。最近的发展表明,在完全无监督的环境中,如果没有对模型和数据的归纳偏见,就无法获得解纠缠。然而,Khemakhem等人,AISTATS,2020表明,采用特定形式的因子分解先验,有条件地依赖于补充输入观测的辅助变量,可能是一种这样的偏差,从而产生一个可识别的模型,并保证解纠缠。沿着这条线工作,我们提出了一种新的基于VAE的生成模型与理论保证的可识别性。我们通过学习一个最佳表示来获得潜在的条件先验,这对它们的正则化施加了额外的力量。我们还将我们的方法扩展到半监督设置。实验结果表明,优越的性能相对于国家的最先进的方法,根据几个既定的指标在文献中提出的解纠缠。
2021-02-10 cs.LG stat.ML
Representation Disentanglement for Multi-task Learning with application to Fetal Ultrasound
Imperial College London(帝国理工学院)
医学图像分析中的深度学习算法的最大挑战之一是图像属性(例如伪影和解剖结构)的无差别混合。这些纠缠的图像属性导致相关任务的语义冗余特征编码,从而导致深度学习算法的泛化能力差。在本文中,我们提出了一种新的表示解纠缠的方法来提取语义上有意义的和概括的功能,为不同的任务在一个多任务学习框架。深度神经网络用于确保编码的特征对于相关任务具有最大的信息量,而对抗性正则化则鼓励这些特征被解开,并且关于不相关任务的信息量最小。我们的目标是使用解纠缠表示来推广深度神经网络的适用性。我们证明了所提出的方法的优势,合成数据以及胎儿超声图像。我们的实验表明,我们的方法是能够学习解开内部表示。它在多个任务中优于基线方法,特别是在具有新属性的图像上,例如胎儿超声中以前看不见的伪影。
2019-08-21 cs.LG eess.IV stat.ML
Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies
Samsung AI Lab(三星人工智能实验室);Mila(米拉研究所);ServiceNow Research(ServiceNow研究院)
本研究提出机制稀疏性正则化原理,建立非参数可识别性理论,提出基于变分自编码器的估计方法,实现部分解缠,可利用多节点未知目标干预实现解缠,是CLeaR 2022工作的大幅扩展版。
2026-08-03 cs.LG stat.ML
Disentangled Representation Learning with Wasserstein Total Correlation
University of California, Santa Barbara(加州大学圣巴巴拉分校)
解纠缠表示的无监督学习涉及发现有助于数据生成过程的不同变化因素。总相关惩罚是近年来解纠缠方法中的一个重要组成部分。然而,Kullback-Leibler(KL)分歧为基础的总相关性是度量不可知的和敏感的数据样本。在本文中,我们引入Wasserstein总相关性在变分自编码器和Wasserstein自编码器设置学习解开潜在的表示。一个批评家是对抗训练的主要目标,以估计瓦瑟斯坦总相关项。我们讨论了使用Wasserstein距离KL分歧来衡量独立性的好处,并在几个数据集上进行定量和定性实验。此外,我们引入了一个新的度量去纠缠。我们表明,所提出的方法具有可比的性能与较小的牺牲重建能力的解纠缠。
2019-12-30 cs.LG stat.ML
Hyperprior Induced Unsupervised Disentanglement of Latent Representations
Department of Computer Science, National University of Singapore(新加坡国立大学计算机科学系)
我们解决了通过深度生成模型学习的潜在表征的无监督解纠缠问题。与目前的证据下限(ELBO)操作的方法相比,我们认为,VAE的潜在空间中的统计独立性可以强制执行的原则分层贝叶斯方式。为此,我们增加了标准的VAE与逆Wishart(IW)之前的协方差矩阵的潜在代码。通过调整IW参数,我们能够鼓励(或阻止)学习的潜在维度的独立性。在一系列数据集(2Dfields,3DChairs,3DFaces和CelebA)上的广泛实验结果表明,我们的方法优于$β$ -VAE,并与最先进的FactorVAE竞争。我们的方法在一个新的数据集(CorrelatedEllipses)上实现了更好的解纠缠和重建,该数据集引入了变化因素之间的相关性。
2019-01-06 cs.AI cs.LG cs.NE
Flexibly Fair Representation Learning by Disentanglement
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Tübingen(蒂宾根大学);Google Research(谷歌研究院)
我们考虑的问题,学习表示,实现组和子组的公平性方面的多个敏感属性。从解开表示学习文献的灵感,我们提出了一种算法,用于学习数据集的紧凑表示,这是有用的重建和预测,但也是\emph{flexibly fair},这意味着他们可以很容易地在测试时修改,以实现子组人口统计奇偶性方面的多个敏感属性及其连接。我们的经验表明,由此产生的编码器-这不需要敏感的属性进行推理-使适应一个单一的表示,以各种公平的分类任务与新的目标标签和子群定义。
2019-06-06 cs.AI cs.LG stat.ML
Disentangling by Factorising
University of Oxford(牛津大学);DeepMind(深度思维)
我们定义并解决了无监督学习的问题,从独立的变异因素产生的数据的解纠缠表示。我们提出了FactorVAE,一种方法,通过鼓励代表的分布是阶乘,因此在整个维度上是独立的,从而解开。我们表明,它提高了$β$ -VAE提供了一个更好的权衡之间的解纠缠和重建质量。此外,我们强调了一个常用的解纠缠度量的问题,并介绍了一个新的度量,不受他们。
2019-07-09 cs.LG stat.ML
Representation Disentaglement via Regularization by Causal Identification
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
针对传统解耦表示学习的i.i.d.假设难以处理有偏数据集的问题,本研究提出基于因果对撞结构的识别正则化(ReI)方法,可在变分框架下更优地学习鲁棒、可解释且符合领域知识的解耦表示。
2024-01-26 cs.LG
Disentangled Representations from Non-Disentangled Models
Yandex(Yandex公司);Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech));National Research University Higher School of Economics(国立研究型大学高等经济学院)
构建解纠缠表示是一项困难的任务,特别是在无监督的情况下。无监督解缠的主导范式目前是训练一个生成模型,该模型在其潜在空间中分离不同的变化因素。这种分离通常通过在模型的目标函数中使用特定的正则化项进行训练来实现。然而,这些术语引入了额外的超参数,负责解纠缠和生成质量之间的权衡。虽然调整这些超参数对于正确的解纠缠至关重要,但通常不清楚如何在没有外部监督的情况下调整它们。本文探讨了一种替代路线,以解开表示。也就是说,我们建议从最先进的生成模型中提取这样的表示,而不需要在其目标中解开术语。这种事后解纠缠的范式在学习表示时几乎不使用或不使用超参数,同时实现与现有最新技术水平相当的结果,正如通过既定解纠缠指标、公平性和抽象推理任务方面的比较所示。我们所有的代码和模型都是公开的。
2021-02-11 cs.LG
Disentanglement with Factor Quantized Variational Autoencoders
Department of Mathematics and Computer Science, University of Southern Denmark(数学与计算机科学系,丹麦南部大学);Department of Computer Engineering, Istanbul Technical University(计算机工程系,伊斯坦布尔技术大学);Department of AI and Data Engineering, Istanbul Technical University(人工智能与数据工程系,伊斯坦布尔技术大学)
本文提出FactorQVAE,通过全局码本标量量化和总相关归纳偏置,将离散表示学习与解耦优化结合,在DCI和InfoMEC指标上优于现有解耦方法并提升重建性能。
2025-11-05 cs.CV cs.LG
Video Reenactment as Inductive Bias for Content-Motion Disentanglement
University of Campinas(坎皮纳斯大学);University of Oslo(奥斯陆大学)
低维表示中的独立分量是几个下游任务中的重要输入,并对观察到的数据提供解释。基于视频的解纠缠的变化因素提供了低维的表示,可以识别和用于饲料特定于任务的模型。我们引入MTC-VAE,一个自监督的运动传输VAE模型,从视频中分离运动和内容。与以往的视频内容运动解纠缠的工作不同,我们采用了一个块明智的建模方法,并利用时空邻域中包含的运动信息。我们的模型产生独立的每块表示,保持时间的一致性。因此,我们在一次向前传递中重建整个视频。我们扩展了ELBO的对数似然项,并包括一个盲重演损失作为一个感应偏差,以利用运动解纠缠,假设交换运动功能产生两个视频之间的重演。我们评估我们的模型与最近提出的解纠缠指标,并表明它优于各种视频运动内容解纠缠的方法。视频重现实验表明,我们的解纠缠的输入空间,我们的模型优于基线重建质量和运动对齐的有效性。
2022-02-18 cs.CV cs.LG
Structure by Architecture: Structured Representations without Regularization
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
提出一种无需激进正则化的新型自编码器架构,通过结构化解码器学习潜变量层次结构,在生成、解耦和外推等下游任务中提升性能。
2024-02-15 cs.CV cs.LG stat.ML
Variational Inference of Disentangled Latent Concepts from Unlabeled Observations
IBM Research AI(IBM研究人工智能部门);Yorktown Heights, NY(纽约州约克镇高地(这里注意:根据提取规则,地址信息不应提取,但原HTML中“Affiliation: Yorktown Heights, NY”可能是地址而非机构,结合上下文,正确机构应为“IBM Research AI”,另一个“Affiliation”可能是地址或重复,需确认。但根据提取规则,只提取明确的机构。原文本中明确的机构是“IBM Research AI”,“Yorktown Heights, NY”是地点,非机构。因此正确应为[{)
解纠缠表示,其中更高层次的数据生成因素反映在不相交的潜在维度,提供了几个好处,如易于导出不变表示,可转移到其他任务,可解释性等,我们考虑的问题,从大池的未标记的观察解纠缠表示的无监督学习,并提出了一个变分推理为基础的方法来推断解纠缠的潜在因素。我们引入了一个正则化的近似后验的期望超过观察到的数据,鼓励解开。我们还提出了一个新的解纠缠度量,这是更好地与定性解纠缠解码器的输出中观察到。我们凭经验观察显着改善现有的方法在两个解纠缠和数据的可能性(重建质量)。
2018-12-27 cs.AI cs.CV cs.LG
3D Shape Variational Autoencoder Latent Disentanglement via Mini-Batch Feature Swapping for Bodies and Faces
University College London(伦敦大学学院)
在面部和身体的3D生成模型中学习一个解纠缠的、可解释的和结构化的潜在表示仍然是一个悬而未决的问题。当需要对身份特征进行控制时,这个问题尤其严重。在本文中,我们提出了一个直观而有效的自我监督的方法来训练三维形状变分自编码器(VAE),鼓励解开身份特征的潜在表示。通过在不同形状之间交换任意特征来管理小批量生成允许定义利用潜在表示中的已知差异和相似性的损失函数。三维网格上进行的实验结果表明,国家的最先进的方法,潜在的解开是不能解开的身份特征的脸和身体。我们所提出的方法适当地简化了这些功能的生成,同时保持良好的表示和重建能力。
2022-03-23 cs.CV cs.GR cs.LG
Regularizing Instabilities in Image Reconstruction Arising from Learned Denoisers
众所周知,反问题是不适定的,为了有意义地解决它们,必须采用正则化方法。传统上,流行的正则化方法是惩罚变分方法。近年来,经典的正则化重建方法已经被(基于深度学习的)学习重建算法所超越。然而,与传统的正则化方法不同,理论基础,如稳定性和正则化,对于这种学习重建算法来说是不够的。因此,从这些算法获得的结果,虽然经验上很突出,但并不总是完全可信的,因为它们可能包含某些不稳定性或由学习过程产生的(幻觉)特征。事实上,已经表明,这种学习算法对数据中的小(对抗性)噪声非常敏感,并且可能导致恢复的解决方案中的严重不稳定性,这可能与不适定(逆)问题的固有不稳定性完全不同。然而,经典的正则化方法可以很好地处理这种(对抗性)噪声,并且可以产生稳定的恢复。在这里,我们试图提出某些正则化方法来稳定这种(不稳定的)学习重建方法,并恢复正则化的解决方案,即使在存在对抗性噪声的情况下。为此,我们需要扩展正则化的经典概念,并将其纳入学习的重建算法中。我们还提出了一些正则化技术来正则化两个最流行的学习重建算法,学习后处理重建和学习展开重建。
2022-02-16 cs.LG eess.IV
Equivariance Regularization for Image Reconstruction
University of Cambridge(剑桥大学)
在这项工作中,我们提出了正则化等方差(REV),一种新的结构自适应正则化方案解决成像逆问题下不完全测量。该正则化方案利用了测量物理学中的等变结构-这在许多逆问题(如断层图像重建)中很普遍-以减轻逆问题的病态。我们提出的方案可以应用在一个即插即用的方式与任何经典的一阶优化算法,如加速梯度下降/FISTA简单和快速收敛。稀疏视图X射线CT图像重建任务的数值实验证明了我们的方法的有效性。
2022-02-12 cs.CV cs.LG eess.IV
Disentanglement with Holographic Reduced Representations
Virginia Tech(弗吉尼亚理工大学);Worcester Polytechnic Institute(伍斯特理工学院)
提出使用全息约简表示(HRR)的无监督解缠算法,利用HRR解绑操作提供归纳偏置,分离数据中的因子变化,并通过信息论分析证明其诱导近似独立的符号-值对。
2026-06-08 cs.LG
Convex Regularization Behind Neural Reconstruction
Stanford University(斯坦福大学)
神经网络在反问题中显示出巨大的潜力,用于重建高分辨率图像。然而,神经网络的非凸和不透明性质阻碍了它们在诸如医学成像等敏感应用中的实用性。为了应对这一挑战,本文提出了一种凸对偶框架,使双层全卷积ReLU去噪网络适合凸优化。凸对偶网络不仅提供了凸解算器的最佳训练,而且便于解释训练和预测。特别是,它意味着训练神经网络与权重衰减正则化诱导路径稀疏,而预测是分段线性滤波。MNIST和fastMRI数据集的一系列实验证实了双重网络优化问题的有效性。
2020-12-09 cs.CV cs.LG eess.IV
Disentanglement Learning via Topology
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
本文提出 TopDis 多尺度可微拓扑损失,通过优化数据流形遍历的拓扑相似性实现无监督解耦表示学习,并在相关因子和 GAN 方向发现中验证其效果。
2024-06-05 cs.AI cs.IT cs.LG
Neural Networks-based Regularization for Large-Scale Medical Image Reconstruction
Charité - Universitätsmedizin Berlin(柏林夏里特医学院);University of Innsbruck(因斯布鲁克大学);Physikalisch-Technische Bundesanstalt (PTB)(德国联邦物理技术研究院);Technical University of Berlin(柏林工业大学);German Cancer Research Center(德国癌症研究中心)
在本文中,我们提出了一种广义的基于深度学习的方法来解决不适定的大规模逆问题发生在医学图像重建。最近,据报道,使用迭代神经网络和级联神经网络的深度学习方法在不同成像模式下实现了各种定量质量指标(如PSNR,NRMSE和SSIM)的最新结果。然而,这些方法在网络架构中重复使用前向和伴随算子的事实要求网络一次处理整个图像或体积,这对于某些应用来说在计算上是不可行的。在这项工作中,我们遵循不同的重建策略,通过解耦正则化的解决方案,以确保与测量数据的一致性。正则化的形式给出的图像之前获得的输出的先前训练的神经网络中使用的吉洪诺夫正则化框架。通过这样做,与迭代网络中的通常情况相比,可以使用更复杂和精密的网络架构来去除伪影或噪声。由于所考虑的问题的大规模和所产生的计算复杂性的所采用的网络,先验通过处理图像或体积作为补丁或切片。我们评估了3D锥束低剂量CT和欠采样2D径向电影MRI的情况下的方法,并将其与基于总变差最小化的重建算法以及基于学习过完备字典的正则化方法进行了比较。所提出的方法优于所有报告的方法相对于所有选择的定量措施,并进一步加快了几个数量级的重建中的正则化步骤。
2020-01-22 cs.CV cs.LG eess.IV
Text Classification and Clustering with Annealing Soft Nearest Neighbor Loss
De La Salle University(德拉萨大学);College of Computer Studies(计算机研究学院)
我们将解纠缠定义为类不同的数据点彼此之间的距离,相对于类相似的数据点之间的距离。当在表示学习过程中最大化解纠缠时,我们获得了一个变换后的特征表示,其中保留了数据点的类成员资格。如果数据点的类成员关系被保留,我们将拥有一个特征表示空间,在该空间中,最近邻分类器或聚类算法将表现良好。我们利用这种方法来学习更好的自然语言表示,并将其用于文本分类和文本聚类任务。通过解纠缠,我们获得了具有更好定义的聚类的文本表示,并提高了文本分类性能。我们的方法在AG News数据集上的测试分类准确率高达90.11%,测试聚类准确率为88%,优于我们的基线模型-没有任何其他训练技巧或正则化。
2021-07-23 cs.CL cs.LG cs.NE
Learning the Regularization in DCE-MR Image Reconstruction for Functional Imaging of Kidneys
Harvard Medical School(哈佛医学院)
肾脏DCE-MRI旨在通过估计示踪剂动力学(TK)模型参数对肾脏解剖结构进行定性评估,并对肾功能进行定量评估。TK模型参数的准确估计需要具有高时间分辨率的动脉输入功能(AIF)的准确测量。加速成像用于实现高时间分辨率,这在重建图像中产生欠采样伪影。压缩感知(CS)方法提供了多种重建选项。最常见的是,时间差异的稀疏性被鼓励用于正则化以减少伪影。在CS方法中增加正则化去除了环境伪影,但也在时间上过度平滑信号,这降低了参数估计精度。在这项工作中,我们提出了一个单一的图像训练的深度神经网络,以减少MRI欠采样伪影,而不降低功能成像标记的准确性。我们不是在优化中使用惩罚项进行正则化,而是通过从低维表示生成图像来促进正则化。在这篇手稿中,我们激励和解释低维输入设计。我们比较了我们的方法与多个正则化权重的CS重建。提出的方法产生的肾脏生物标志物与使用针对功能分析优化的CS重建估计的地面真实标记高度相关。同时,该方法减少了重建图像中的伪影。
2021-12-30 cs.CV cs.LG
L-VAE: Variational Auto-Encoder with Learnable Beta for Disentangled Representation
本文提出L-VAE模型,通过可学习地调整损失函数中重构与解耦项的权重并加入正则化项,在多个数据集上取得了优于或接近现有变分自编码器方法的解耦表示性能。
2025-07-03 cs.CV cs.LG
CLEAR: Complex Learned Explicit Analytical Regularization for Ultra-Accelerated 4D Flow CMR Reconstruction
Chemnitz University of Technology(开姆尼茨工业大学)
CLEAR是首个用于4D血流CMR重建的学习型显式解析正则化器,结合压缩感知可解释性与学习模型灵活性,在超加速10-50倍下优于LLR和FlowVN,参数少于1万。
2026-09-22 cs.CV cs.LG math.OC
Learning Fair Representation via Distributional Contrastive Disentanglement
University of Seoul(首尔大学);Korea University(高丽大学);POSTECH(浦项科技大学)
学习公平表示对于实现公平或消除敏感信息的偏见至关重要。大多数现有的作品依赖于对抗性表示学习来向表示注入一些不变性。然而,对抗性学习方法的训练相对不稳定,这可能会损害公平性和预测性之间的平衡。我们提出了一种新的方法,通过分布式对比变分自编码器(FarconVAE)学习FAIR表示,它导致潜在空间被解开成敏感和非敏感部分。我们首先构造具有不同敏感属性但具有相同标签的观测对。然后,FarconVAE强制每个非敏感潜伏期更接近,而敏感潜伏期彼此远离,并且通过对比它们的分布远离非敏感潜伏期。通过理论分析,提出了一种基于高斯核和Student-t核的分布式对比学习的对比损失模型。此外,我们采用了一种新的交换重构损失,以进一步促进解纠缠。FarconVAE在公平性、预训练模型去偏和领域泛化任务方面表现出优异的性能,这些任务来自各种模态,包括表格、图像和文本。
2022-06-17 cs.AI cs.CY cs.LG
Group-disentangled Representation Learning with Weakly-Supervised Regularization
Autodesk AI Lab(欧特克人工智能实验室);Imperial College London(伦敦帝国理工学院)
学习可解释和人类可控的表示,揭示数据中的变化因素,仍然是表示学习中的一个持续的关键挑战。我们研究学习组的因素与弱监督的解纠缠表示。解决这一挑战的现有技术仅仅通过对共享组的观察进行平均来约束近似后验。因此,具有共同变化集的观察被编码为不同的潜在表示,降低了它们分解和推广到下游任务的能力。与以前的工作相比,我们提出了GroupVAE,一个简单而有效的Kullback-Leibler(KL)分歧为基础的正则化共享的潜在表示,以执行一致和解开表示。我们进行了彻底的评估,并证明我们的GroupVAE显着提高了群体解纠缠。此外,我们证明了学习组解缠表示改进了下游任务,包括公平分类和3D形状相关任务,如重建,分类和迁移学习,并且与监督方法相比具有竞争力。
2021-10-23 cs.CV cs.LG
Conceptualizing Embeddings: Sparse Disentanglement for Vision-Language Models
Faculty of Mathematics and Computer Science, Jagiellonian University(雅盖隆大学数学与计算机科学学院);Doctoral School of Exact and Natural Sciences, Jagiellonian University(雅盖隆大学精确与自然科学博士学校);Centre for Credible AI, Warsaw University of Technology(华沙技术大学可信人工智能中心)
本文提出CEDAR方法,通过稀疏解缠技术在不增加维度的情况下揭示预训练嵌入的组成结构,从而提升视觉-语言模型的可解释性和与人类感知的一致性。
2026-05-21 cs.CV cs.LG
Self-supervised Deep Unrolled Reconstruction Using Regularization by Denoising
State University of New York at Buffalo(纽约州立大学布法罗分校);Cleveland Clinic(克利夫兰诊所);Paul C. Lauterbur Research Center for Biomedical Imaging, SIAT, CAS(中国科学院深圳先进技术研究院保罗·C·劳特伯生物医学成像研究中心)
针对MRI重建需大量标注数据的问题,提出结合自监督去噪网络与即插即用方法的DURED-Net,借助RED实现去噪网络的应用,在更少训练数据下达到优于现有Noise2Noise类方法的重建效果。
2023-10-05 cs.CV cs.LG eess.IV
PlaNeRF: SVD Unsupervised 3D Plane Regularization for NeRF Large-Scale Scene Reconstruction
Shanghai Jiao Tong University(上海交通大学)
针对NeRF因过拟合导致低纹理区域几何重建差的问题,提出基于SVD的无监督平面正则化方法,结合SSIM损失初始化体表示,在大规模户外场景几何重建和KITTI-360 NVS基准上取得更优效果。
2023-11-05 cs.CV cs.LG
Convergent Data-driven Regularizations for CT Reconstruction
Helmholtz Imaging(亥姆霍兹成像中心);Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器研究所(DESY));University of Siegen(锡根大学);Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(艾伦·图灵研究所);Universität Hamburg(汉堡大学)
针对CT重建中Radon变换逆问题的不适定性,研究提出两种可证明收敛的数据驱动线性正则化方法,通过数值实验对比了二者的优劣及离散化误差的影响。
2023-12-15 cs.CV cs.LG cs.NA
Video Autoencoder: self-supervised disentanglement of static 3D structure and motion
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达);UC Berkeley(加州大学伯克利分校);UC San Diego(加州大学圣地亚哥分校)
提出了一种视频自动编码器,用于以自监督的方式从视频中学习3D结构和摄像机姿态的分离表示。依赖于视频中的时间连续性,我们的工作假设附近视频帧中的3D场景结构保持静态。给定视频帧序列作为输入,视频自动编码器提取场景的解纠缠表示,包括:(i)表示3D结构的时间一致的深体素特征,以及(ii)每个帧的相机姿态的3D轨迹。这两个表示然后将被重新纠缠以用于渲染输入视频帧。该视频自动编码器可以直接使用像素重建损失进行训练,而无需任何地面真实3D或相机姿态注释。解开表示可以应用于一系列的任务,包括新的视图合成,摄像机姿态估计,和视频生成的运动跟随。我们在几个大规模的自然视频数据集上评估了我们的方法,并在域外图像上显示了泛化结果。
2021-10-06 cs.CV cs.LG
Structure-aware Unsupervised Tagged-to-Cine MRI Synthesis with Self Disentanglement
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland School of Dentistry(马里兰大学牙医学院)
循环重建正则化对抗训练-例如,CycleGAN、DiscoGAN和DualGAN --已被广泛用于不成对训练数据的图像风格转换。然而,最近的几项工作表明,当地的扭曲是频繁的,结构的一致性不能得到保证。针对这个问题,以前的工作通常依赖于额外的分割或特定于任务的一致特征提取步骤。为了解决这个问题,这项工作的目的是学习一个通用的附加结构特征提取器,通过显式地执行输入和其合成图像之间的结构对齐。具体来说,我们提出了一种新的输入输出图像补丁自我训练计划,以实现底层解剖结构和成像方式的解开。翻译器和结构编码器被更新,遵循交替的训练协议。此外,信息w.r.t.可以用不对称对抗游戏来消除成像模态。我们分别在来自20名健康受试者的1,768、416和1,560个未配对的标记和电影磁共振成像的独立于受试者的切片上对我们的网络进行了训练、验证和测试,表现出优于竞争方法的性能。
2022-02-25 cs.CV cs.LG eess.IV
Conformal Disentanglement and Latent-Space Curation: A Neural Framework for Perspective Synthesis, Differentiation and Targeted Generation
Department of Applied Mathematics and Statistics, Johns Hopkins University(应用数学与统计学系,约翰霍普金斯大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Faculty of Science, Technology and Medicine, University of Luxembourg(科学、技术与医学学院,卢森堡大学);Department of Civil and Systems Engineering, Johns Hopkins University(土木与系统工程系,约翰霍普金斯大学);Department of Chemical and Biomolecular Engineering, Johns Hopkins University(化学与生物分子工程系,约翰霍普金斯大学)
提出一种神经自编码器框架,通过结构约束和正交正则化从多传感器数据中分离共享与传感器特定潜在变量,并利用解缠潜在子空间实现定向生成和跨传感器推断。
2026-06-04 cs.LG math.DS
Piecewise Dynamic Diffusion Regularization for Reconstruction of Cardiac Cine MRI
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
针对实时心脏电影MRI严重欠采样与运动导致的重建难题,提出PDDR方法,分段融合时空扩散先验,实现高效高质量重建,性能优于现有方法。
2026-07-07 cs.CV cs.LG eess.IV
End-to-end reconstruction meets data-driven regularization for inverse problems
KTH–Royal institute of Technology(瑞典皇家理工学院);University of Cambridge(剑桥大学)
我们提出了一种无监督的方法来学习端到端的重建算子不适定的逆问题。所提出的方法将经典变分框架与迭代展开相结合,其本质上是寻求最小化测量空间中的预期失真以及重建和地面实况分布之间的Wasserstein-1距离的加权组合。更具体地,变分设置中的正则化器由深度神经网络参数化,并且与展开的重建算子同时学习。变分问题,然后初始化与展开算子的重建和迭代求解,直到收敛。值得注意的是,由于通过展开运算符获得的出色初始化,它需要更少的迭代来收敛。所得到的方法结合了端到端展开重建的计算效率与适定性和噪声稳定性保证的变分设置。此外,我们用X射线计算机断层扫描(CT)的例子证明了我们的方法优于最先进的无监督方法,并且它优于或与最先进的监督学习重建方法相当。
2021-06-07 cs.CV cs.LG math.OC