Analysis and Prediction of Deforming 3D Shapes using Oriented Bounding Boxes and LSTM Autoencoders
Fraunhofer Center for Machine Learning and SCAI（弗劳恩霍夫机器学习与SCAI中心）；University of Bonn（波恩大学）
对于复杂的3D形状的时间序列，我们提出了一种通用的方法来检测模式，他们的分析和预测的变形，利用复杂的形状的结构组件。我们将长短期记忆（LSTM）层合并到自动编码器中，以创建低维表示，允许检测数据中的模式，并额外检测变形行为中的时间动态。这是通过两个解码器来实现的，一个用于重建，一个用于预测序列的未来时间步。在预处理步骤中，将所研究对象的组件转换为定向边界框，其捕获塑性变形的影响并允许降低描述结构的数据的维度。该架构是测试的结果，196汽车碰撞模拟的模型与133个不同的组件，其中材料属性不同。在潜在表示中，我们可以检测不同部件的塑性变形模式。预测的边界框给出了最终模拟结果的估计，与不同的基线相比，它们的质量得到了提高。
2020-08-31 cs.CV cs.LG stat.ML
Y-Autoencoders: disentangling latent representations via sequential-encoding
University of Edinburgh（爱丁堡大学）；Snap Inc.（Snap公司）
在过去的几年里，生成模型有了重要的进步，两种主要的方法是生成对抗网络（GANs）和变分自编码器（VAE）。然而，标准的自动编码器（AE）和密切相关的结构仍然很受欢迎，因为它们易于训练并适应不同的任务。一个有趣的问题是，我们是否可以在保持AE良好特性的同时实现最先进的性能。我们提出了一个答案，这个问题通过引入一个新的模型称为Y-自动编码器（Y-AE）。Y-AE的结构和训练过程将表征分为内隐和外显两部分。隐式部分类似于自动编码器的输出，显式部分与训练集中的标签密切相关。在解码和重新编码之前，通过将编码器的输出分成两条路径（形成Y形），在潜在空间中将这两个部分分开。然后，我们施加了一些损失，如重建损失，以及损失的依赖关系之间的隐式和显式的部分。此外，显式流形中的投影由预测器监控，该预测器嵌入在编码器中并进行端到端训练，没有对抗性损失。我们提供了显着的实验结果，在各个领域，如分离的风格和内容，图像到图像的翻译，和逆图形。
2019-07-25 cs.CV cs.LG
DAVA: Disentangling Adversarial Variational Autoencoder
ETH Zürich（苏黎世联邦理工学院）
使用良好解缠的表示为下游任务提供了许多优点，例如增加的样本效率或更好的可解释性。然而，解纠缠解释的质量通常高度依赖于特定于特定超参数的选择，特别是正则化强度。为了解决这个问题，我们引入了DAVA，这是一种用于变分自动编码器的新型训练过程。DAVA完全解决了超参数选择问题。我们将DAVA与具有最优超参数的模型进行比较。无需任何超参数调优，DAVA在各种常用数据集上都具有竞争力。在DAVA的基础上，我们发现了一个无监督解纠缠的必要条件，我们称之为PIPE。我们证明了PIPE在抽象推理中积极预测下游模型性能的能力。我们还彻底调查了与现有监督和无监督指标的相关性。该代码可在https://github.com/besterma/dava上获得。
2023-03-02 cs.AI cs.CV cs.LG
Disentangling Hippocampal Shape Variations: A Study of Neurological Disorders Using Mesh Variational Autoencoder with Contrastive Learning
University of Alberta（阿尔伯塔大学）；Technical University of Munich（慕尼黑工业大学）；MacEwan University（麦考文大学）
本研究利用增强监督对比学习的网格变分自编码器，从DTI数据中解缠海马体形状变化，区分年龄和疾病状态，并在MS患者中验证了与神经影像学文献一致的体积变化。
2024-11-09 cs.CV cs.LG q-bio.NC
Disentangling Variational Autoencoders
Princeton University（普林斯顿大学）
变分自编码器（VAE）是用于后验推理的概率机器学习框架，其将输入的高维数据集投影到较低维度的潜在空间。通过VAE学习的潜在空间为在创意学科中开发新的数据驱动设计过程提供了令人兴奋的机会，特别是自动生成多个新颖的设计，这些设计在美学上让人联想到输入数据，但在训练过程中看不到。然而，学习的潜在空间通常是混乱和纠缠的：沿着单个维度遍历潜在空间不会导致数据的单个视觉属性发生变化。潜在结构的缺乏阻碍了设计师有意控制从潜在空间产生的新设计的视觉属性。本文提出了一个实验研究，探讨潜在的空间解纠缠。我们实现了三种不同的VAE模型，从文献和训练他们对公开的数据集的60,000个图像的手写数字。我们进行敏感性分析，以找到一个小的潜在的必要的维度，以最大限度地提高数据的对数边际似然的下限。此外，我们调查的解码图像的重建质量和潜在空间的解纠缠的水平之间的权衡。我们能够自动将三个潜在维度与数字的三个可解释的视觉属性对齐：线宽，倾斜度和宽度。我们的实验表明，i）增加潜在的先验知识和变分分布之间的Kullback-Leibler分歧对证据下限的贡献，以及ii）调节输入图像类增强了对具有VAE的解纠缠潜在空间的学习。
2022-11-14 cs.CV cs.LG
Disentangling Latent Hands for Image Synthesis and Pose Estimation
University of Bonn（波恩大学）；National University of Singapore（新加坡国立大学）
由于从图像背景内容到相机视点的变化因素之间存在很大差异，因此从RGB图像合成手部图像和姿态估计都是非常具有挑战性的任务。为了更好地分析这些因素的变化，我们提出了使用解开表示和解开变分自编码器（dVAE），允许特定的采样和推断这些因素。从变分下界导出的目标以及建议的训练策略是高度灵活的，使我们能够处理跨模态编码器和解码器以及半监督学习场景。实验表明，我们的dVAE可以合成高度逼真的图像的手指定的姿势和图像背景内容，也估计3D的手构成从RGB图像的准确性竞争与国家的最先进的两个公共基准。
2019-04-25 cs.CV
Transfer Learning using Spectral Convolutional Autoencoders on Semi-Regular Surface Meshes
Fraunhofer Center for Machine Learning and SCAI（弗劳恩霍夫机器学习中心与算法与科学计算研究所）；Johannes Kepler Universität（约翰内斯·开普勒大学）；Universität Bonn（波恩大学）
3D表面网格随时间变形的潜在动力学和模式可以通过无监督学习来发现，特别是自动编码器，它计算表面的低维嵌入。为了通过迁移学习研究不可见形状的变形模式，我们希望训练一个自动编码器，它可以分析新的表面网格，而无需训练新的网络。在这里，大多数最先进的自动编码器不能处理不同连接的网格，因此对新网格的泛化能力有限。此外，与训练形状的误差相比，重建误差大幅增加。为了解决这个问题，我们提出了一种新的频谱CoSMA（卷积半规则网格自动编码器）网络。这种基于补丁的方法与表面感知训练相结合。它重建在训练过程中没有呈现的曲面，并概括曲面面片的变形行为。与在这些形状上训练过的最先进的自动编码器相比，这种新方法可以从不同的数据集中以更高的质量重建看不见的网格。我们在看不见的形状上的迁移学习错误比直接在数据上学习的模型低40%。此外，基线自动编码器仅针对整个形状检测看不见的网格序列的变形模式。相比之下，由于所采用的区域补丁和稳定的重建质量，我们可以定位这些变形模式在表面上的表现。
2022-12-12 cs.CV
Challenges in Disentangling Independent Factors of Variation
我们研究的问题，建立模型，解开独立因素的变化。这样的模型可以用于编码特征，这些特征可以有效地用于分类和在图像合成中在不同图像之间传递属性。作为数据，我们使用弱标记的训练集。我们的弱标签表明两个数据样本之间的单个因子发生了变化，尽管变化的相对值是未知的。这种标记是特别感兴趣的，因为它可以容易地获得而无需注释成本。为了利用弱标签，我们引入了一个自动编码器模型，并通过对图像对和三元组的约束来训练它。我们正式证明，如果没有额外的知识，不能保证两个图像具有相同的变化因素将被映射到相同的功能。我们把这个问题称为参照歧义。此外，我们展示了特征维度和对抗训练的作用。我们通过实验证明，该模型可以成功地在多个数据集上传输属性，但也显示了发生引用模糊的情况。
2017-11-07 cs.CV
Disentangling Masked Autoencoders for Unsupervised Domain Generalization
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）
针对无监督域泛化研究不足的问题，提出解纠缠掩码自编码器DisMAE，通过非对称双分支架构提炼域不变语义特征，在多个基准数据集上取得了有竞争力的分布外泛化性能。
2024-07-10 cs.AI cs.CV
Learning Disentangled Representations with Reference-Based Variational Autoencoders
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；Univ. Pompeu Fabra（庞培法布拉大学）；DTIC（信息与通信技术系）
从视觉数据中学习分离的表示，其中不同的高级生成因子被独立编码，对于许多计算机视觉任务来说是重要的。然而，解决这个问题通常需要在训练图像中明确标记所有感兴趣的因素。为了减轻注释成本，我们引入了一个学习设置，我们称之为“基于引用的解缠”。给定一个未标记的图像池，目标是学习一个表示，其中一组目标因子与其他因子分离。唯一的监督来自一个辅助的“参考集”，其中包含的图像的因素是恒定的。为了解决这个问题，我们提出了基于参考的变分自编码器，这是一种新的深度生成模型，旨在利用参考集提供的弱监督。通过解决任务，如特征学习，有条件的图像生成或属性转移，我们验证了所提出的模型的能力，从这种最小形式的监督学习解开表示。
2019-01-24 cs.CV
Disentangling Factors of Variation by Mixing Them
University of Bern, Switzerland（瑞士伯尔尼大学）；University of Maryland, USA（美国马里兰大学）
我们提出了一种方法来学习图像表示，包括解开的变化因素，而不利用任何手动标记或数据域知识。变化因子对应于可以在一组图像上一致地辨别的图像属性，诸如对象的姿势或颜色。我们的解纠缠表示由一系列特征块组成，每个特征块代表一个变化因子。它支持的应用程序，如属性从一个图像到另一个，通过简单的混合和unmixing功能块，和分类或检索的基础上的一个或多个属性，通过考虑用户指定的特征块的子集。我们学习我们的表示没有任何标签或知识的数据域，使用自动编码器架构与两个新的训练目标：首先，我们提出了一个不变性的目标，鼓励每个属性的编码，每个块的解码，是不变的变化，在其他属性和块，分别;第二，我们包括一个分类目标，它确保每个块对应于所表示的图像中的一致可辨别的属性，因此避免了完全忽略某些块的退化特征映射。我们证明了我们的方法在MNIST，Sprites和CelebA数据集上的有效性。
2018-03-28 cs.CV
DAE-Net: Deforming Auto-Encoder for fine-grained shape co-segmentation
Adobe Research（奥多比研究院）；Simon Fraser University（西蒙菲莎大学）；Amazon（亚马逊）
提出无监督3D形状协同分割方法DAE-Net，通过学习可变形部件模板并引入逐部件形变网络，在ShapeNet Part等数据集上实现了细粒度且跨形状一致的分割性能。
2024-04-26 cs.CV cs.GR
Latents2Segments: Disentangling the Latent Space of Generative Models for Semantic Segmentation of Face Images
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
随着越来越多的增强现实和虚拟现实应用程序的出现，旨在对人脸图像进行有意义的和受控的风格编辑，解析人脸图像以产生准确和细粒度的语义分割地图的任务比以往任何时候都更有动力。少数解决该问题的现有技术（SOTA）方法通过将关于面部结构或其他面部属性（诸如表情和姿态）的先验结合到其深度分类器架构中来实现。我们在这项工作中的努力是通过将SOTA多类人脸分割模型所需的先验知识和复杂的预处理操作重新构建为下游任务，在生成自动编码器模型的潜在空间中对面部语义感兴趣区域（ROI）进行解纠缠。我们目前的结果，我们的模型的性能CelebAMask-HQ和HELEN数据集。我们的模型的编码的潜在空间实现了显着更高的解纠缠的语义ROI比其他SOTA作品。此外，它实现了13%的推理速度和可比的准确性相对于公开可用的SOTA的语义分割的人脸图像的下游任务。
2022-07-06 cs.CV
Identifying and Disentangling Spurious Features in Pretrained Image Representations
YerevaNN（YerevaNN研究所）；Yerevan State University（埃里温国立大学）；University of Southern California（南加州大学）；Meta AI Research（Meta人工智能研究院）
本研究针对预训练表示中虚假特征纠缠导致分类性能下降的问题，提出线性自编码器分离核心、虚假及其他特征，并设计两种去除方法，显著提升最差组准确率。
2023-06-22 cs.CV cs.LG
Disentangling Action Sequences: Discovering Correlated Samples
Shandong Provincial Key Laboratory of Network Based Intelligent Computing（山东省网络智能计算重点实验室）；University of Jinan（济南大学）；Jinan, 250022, China（济南市，250022，中国）
解纠缠是表征的一个非常理想的性质，因为它与人类的理解和推理相似。这提高了可解释性，使下游任务的性能，并使可控的生成模型。然而，这一领域的挑战是抽象的概念和不完整的理论，以支持无监督的解开学习。我们证明了数据本身，如图像的方向，在解纠缠中起着至关重要的作用，而不是因素，解纠缠表示将潜变量与动作序列对齐。我们进一步引入了解开动作序列的概念，这有利于描述现有的解开方法的行为。这个过程的一个类比是发现事物之间的共性并将其归类。此外，我们分析了数据的归纳偏差，发现潜在信息阈值与行为的重要性相关。对于有监督和无监督的情况，分别介绍了两种阈值的测量方法。我们进一步提出了一种新的框架，分数变分自编码器（FVAE），以解开与不同的意义的动作序列一步一步。在dSprites和3D Chairs上的实验结果表明，FVAE提高了解缠的稳定性。
2020-10-17 cs.CV cs.LG stat.ML
Explicitly disentangling image content from translation and rotation with spatial-VAE
Massachusetts Institute of Technology（麻省理工学院）；New York Structural Biology Center（纽约结构生物学中心）
给定一个图像数据集，我们通常有兴趣找到数据生成因素，这些因素独立于姿态变量（如旋转和平移）来编码语义内容。然而，目前的解纠缠方法并没有对学习到的潜在表征施加任何特定的结构。我们提出了一种方法，明确解开图像旋转和平移从其他非结构化的潜在因素中的变分自编码器（VAE）的框架。通过将生成模型制定为空间坐标的函数，我们使重建误差相对于潜在的平移和旋转参数可微。这个公式允许我们训练一个神经网络来对这些潜在变量进行近似推理，同时显式地将它们约束为仅表示旋转和平移。我们证明，这个框架，称为空间VAE，有效地学习潜在的表示，解开图像旋转和翻译的内容，并提高重建标准VAE在几个基准数据集，包括应用程序建模连续的2-D视图的蛋白质从单粒子电子显微镜和星系的天文图像。
2019-09-25 cs.CV cs.LG q-bio.QM
Disentangling Content and Style via Unsupervised Geometry Distillation
SenseTime Research（商汤科技研究院）；THU（清华大学）；NTU（南洋理工大学）；Stanford University（斯坦福大学）；Nanyang Technological University（南洋理工大学）
将一个对象分解为内容和风格的两个正交空间是具有挑战性的，因为每一个空间都可能以不同的方式和不可预测的方式影响视觉观察。很少有人能接触到大量的数据来帮助区分这些影响。在本文中，我们提出了一个新的框架，以完全无监督的方式学习这种解缠表示。我们在一个两分支的自动编码器框架中解决这个问题。对于结构化内容分支，我们将潜在因子投影到软结构化点张量中，并使用来自先验知识的损失对其进行约束。该约束鼓励分支提取几何信息。另一个分支学习补充的风格信息。这两个分支形成了一个有效的框架，可以解开对象的内容风格表示没有任何人的注释。我们在四个图像数据集上评估了我们的方法，在这些数据集上，我们在合成数据和真实数据中展示了优越的解纠缠和视觉模拟质量。我们能够生成具有256*256分辨率的照片般逼真的图像，这些图像在内容和风格上都清晰可辨。
2019-05-11 cs.CV cs.LG
Unveiling the Two-Faced Truth: Disentangling Morphed Identities for Face Morphing Detection
INESC TEC（INESC TEC（葡萄牙系统与计算机工程研究所））；University of Porto（波尔图大学）；Fraunhofer Institute for Computer Graphics Research IGD（弗劳恩霍夫计算机图形学研究所IGD）；TU Darmstadt（达姆施塔特工业大学）
针对人脸变形攻击检测中性能与可解释性难以兼顾的问题，提出 IDistill，通过自动编码器学习并蒸馏身份分离信息，在五个数据库中三个取得最优、其余具竞争力。
2023-06-05 cs.CV cs.LG
Disentangling Latent Embeddings with Sparse Linear Concept Cones (SLiCC)
Department of Electrical & Computer Engineering, University of Delaware, USA（电气与计算机工程系，德雷克塞尔大学）；Naval Surface Warfare Center, Panama City Division, Panama City, Florida, USA（Panama City 分部，海军水面 warfare 中心）；Department of Navy award N00014-24-1-2259 issued by the Office of Naval Research（海军部奖项 N00014-24-1-2259，由海军研究办公室颁发）；Department of Computer & Information Sciences, University of Delaware, USA（计算机与信息科学系，德雷克塞尔大学）
本文提出 SLiCS，通过有监督组结构化稀疏字典学习将视觉-语言嵌入解耦为概念子空间，并支持零样本多标签，提升概念过滤检索与条件生成精度。
2026-10-30 cs.CV
Disentangling Motion, Foreground and Background Features in Videos
Beihang University（北京航空航天大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politecnica de Catalunya（加泰罗尼亚理工大学）；Microsoft（微软）
本文介绍了一种无监督的框架，提取语义丰富的视频表示的功能。受人类视觉系统如何根据运动线索对对象进行分组的启发，我们提出了一种深度卷积神经网络，可以将运动、前景和背景信息分离开来。所提出的架构包括用于16帧块的3D卷积特征编码器，该编码器针对序列的第一帧和最后一帧的重建任务进行训练。进行了一个初步的监督实验，以验证所提出的方法的可行性，通过训练模型与UCF-101数据集的一部分视频，作为地面真理的活动区域周围的边界框。定性结果表明，该网络可以成功地分割前景和背景的视频，以及更新的前景外观的基础上解开运动特征。这些学习特征的好处在判别分类任务中显示出来，其中使用所提出的预训练方法初始化网络的性能优于随机初始化和自动编码器预训练。我们的模型和源代码可以在https://imatge-upc.github.io/unsupervised-2017-cvprw/上公开获得。
2017-07-17 cs.AI cs.CV cs.MM
EndoSurf: Neural Surface Reconstruction of Deformable Tissues with Stereo Endoscope Videos
Australian National University（澳大利亚国立大学）；Monash University（莫纳什大学）
针对内窥镜视频软组织重建难题，EndoSurf提出三神经场表示，结合变形场与SDF/辐射场，通过正则化解耦几何外观，显著提升高保真形状重建质量。
2023-09-04 cs.CV
Intuitive Shape Editing in Latent Space
RWTH Aachen University（亚琛工业大学）
使用自动编码器进行形状编辑或通过潜在空间操作生成会受到输出形状不可预测的变化的影响。我们的基于自动编码器的方法通过将潜在子空间分解为可以独立操作的表面上的样式变量和控制点来实现潜在空间中的直观形状编辑。其关键思想是在损失函数中加入Lipschitz型约束，即将输出形状的变化与潜在空间的变化成比例，从而得到可解释的潜在空间表示。表面上的控制点是对象的潜在代码的一部分，然后可以自由移动，允许直接在潜在空间中进行直观的形状编辑。我们通过与最先进的数据驱动的形状编辑方法进行比较来评估我们的方法。我们进一步展示了我们学习的潜在空间的表达能力，利用它进行无监督的部分分割。
2022-06-21 cs.CV cs.GR cs.LG
