Disentangling Space and Time in Video with Hierarchical Variational Auto-encoders
Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
在视频数据中存在多种形式的特征信息。其中的原理是对象身份信息，其在多个视频帧中基本上是静态的，以及对象姿态和样式信息，其从帧到帧连续变换。大多数现有的模型混淆这两种类型的表示，将它们映射到一个共享的特征空间。在本文中，我们提出了一种概率方法学习可分离的表示对象的身份和姿态信息，使用无监督的视频数据。我们的方法利用了一个具有因子化先验分布的深度生成模型，该模型对隐藏特征集中的时间不变性进行编码。学习是通过变分推理实现的。我们提出了学习的身份和姿态信息的移动字符的数据集，以及旋转的3D对象的数据集的结果。我们的实验结果表明，我们的模型的成功因素，其表示，并证明该模型实现了改进的性能在迁移学习任务。
2016-12-19 cs.CV cs.LG stat.ML
CIWI-CKT: Chaos-Informed Wave Interference Feature Fusion and Cross-City Knowledge Transfer for Traffic Flow Forecasting
Griffith University（格里菲斯大学）；School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院）；School of Information Engineering, Chang’an University（长安大学信息工程学院）
针对跨城市数据稀缺场景，提出CIWI-CKT框架，融合混沌信息波生成、元干涉处理和混沌感知元学习，显著提升预测精度并降低数据需求。
2026-06-16 cs.AI cs.LG
Learning to Learn without Forgetting by Maximizing Transfer and Minimizing Interference
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Stanford University（斯坦福大学）；MIT（麻省理工学院）
在非平稳数据分布上的持续学习方面缺乏性能仍然是将神经网络学习扩展到更人性化的现实环境中的主要挑战。在这项工作中，我们提出了一个新的概念的持续学习问题的时间对称的转移和干扰之间的权衡，可以通过实施梯度对齐的例子进行优化。然后，我们提出了一个新的算法，元经验重放（MER），直接利用这一观点相结合的经验重放优化为基础的元学习。该方法学习使基于未来梯度的干扰不太可能和基于未来梯度的传输更可能的参数。我们在持续终身监督学习基准和非平稳强化学习环境中进行实验，证明我们的方法始终优于最近提出的持续学习基准。我们的实验表明，MER和基线算法的性能之间的差距增长的环境变得更加非平稳和存储的总经验的比例变小。
2019-05-03 cs.AI cs.LG stat.ML
Learning Task-oriented Disentangled Representations for Unsupervised Domain Adaptation
Xiamen University（厦门大学）；University of Chinese Academy of Sciences（中国科学院大学）；Huawei Cloud & AI（华为云与AI）
无监督领域自适应（UDA）旨在解决标记源域和未标记目标域之间的域移位问题。已经做出了许多努力来解决训练和测试数据分布之间的不匹配，但不幸的是，它们忽略了跨域的面向任务的信息，并且在复杂的开集场景中表现不佳。为了消除训练数据和测试数据分布之间的不匹配，人们已经做了很多努力，通过学习领域不变表示。然而，学习的表示通常不是面向任务的，即，同时具有类区分性和域可转移性。这个缺点限制了UDA在复杂的开集任务中的灵活性，在这些任务中，域之间没有共享标签。在本文中，我们打破了任务导向的概念，任务相关性和任务无关性，并提出了一个动态的任务导向的解缠网络（DTDN）学习解缠表示在一个端到端的方式为UDA。动态解缠网络有效地将数据表示分解为两个部分：与任务相关的部分嵌入与跨域任务相关的关键信息，而与任务无关的部分则包含剩余的不可传递或干扰信息。这两个组件是正规化的一组特定于任务的目标函数跨域。这种正则化明确地鼓励解开，避免使用生成模型或解码器。在复杂的开放集场景（检索任务）和经验基准（分类任务）中的实验表明，该方法捕获了丰富的解纠缠信息，并取得了优异的性能。
2020-07-27 cs.CV cs.IR cs.LG
Disentangling Modes and Interference in the Spectrogram of Multicomponent Signals
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Ens de Lyon（里昂高等师范学校）；Université Caen Normandie（卡昂-诺曼底大学）；ENSICAEN（卡昂高等工程师学院）；Normandie Univ（诺曼底大学）；GREYC（格雷西研究所）
针对多分量信号频谱图的模态与干扰分解问题，提出变分法和U-Net监督学习法，可自适应调整窗长改进脊线检测，实验验证了其增强强干扰下时频分析的潜力。
2025-03-19 cs.CV eess.SP
LADN: Local Adversarial Disentangling Network for Facial Makeup and De-Makeup
CMU（卡内基梅隆大学）；HKUST（香港科技大学）；Stanford University（斯坦福大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Tencent（腾讯）
我们提出了一个本地对抗解缠网络（LADN）的面部化妆和卸妆。我们的方法的核心是多个和重叠的本地对抗性鉴别器在内容风格的解缠网络中实现面部图像之间的局部细节转移，并使用不对称的损失函数用于具有高频细节的戏剧性化妆风格。现有的技术没有展示或未能在全局对抗设置中传递高频细节，或者仅训练单个局部细节以确保图像结构一致性，因此仅对相对简单的样式起作用。与其他人不同的是，我们提出的局部对抗鉴别器可以区分生成的局部图像细节是否与无监督设置中跨图像风格传输中给定参考图像中的相应区域一致。通过这些技术贡献，我们不仅在传统风格上实现了最先进的结果，而且还实现了涉及复杂和戏剧性风格的新颖结果，其中高频细节覆盖了多个面部特征的大面积。一个精心设计的化妆前后未配对图像数据集被发布。
2019-08-09 cs.AI cs.CV cs.LG
Rank-Order N-of-M Codes for Sparse Distributed Memory: Disentangling Representation and Learning Effects in Noise Robustness Against Contemporary Neuromorphic Architectures
Independent Researcher（独立研究者）；Bengaluru, India（印度班加罗尔）
研究针对大语言模型持续学习受限问题，评估秩排序N选M编码替代稀疏分布式内存阈值二进制编码器。通过重新实现验证架构等效，实验表明其在容量和误码率鲁棒性上有优势，还分析了编码能量，为相关架构提供指导。
2026-07-08 cs.LG cs.NE
On Negative Interference in Multilingual Models: Findings and A Meta-Learning Treatment
Carnegie Mellon University（卡内基梅隆大学）
现代多语言模型是在来自多种语言的连接文本上训练的，希望能为每种语言带来好处（正迁移），其中最明显的好处是低资源语言。然而，最近的研究表明，这种方法会降低高资源语言的性能，这种现象称为负干扰。在本文中，我们提出了第一个系统的研究负干扰。我们发现，与以前的信念相反，负面干扰也会影响低资源语言。虽然最大限度地共享参数来学习语言通用结构，但我们证明了语言特定的参数确实存在于多语言模型中，并且它们是负面干扰的潜在原因。出于这些观察，我们还提出了一个Meta学习算法，获得更好的跨语言的可移植性和消除负面干扰，通过添加语言特定的层作为元参数和训练他们的方式，明确提高共享层的泛化所有语言。总的来说，我们的研究结果表明，负面干扰比以前已知的更常见，这为改善多语言表示提出了新的方向。
2020-10-06 cs.CL cs.LG
VQ-Style: Disentangling Style and Content in Motion with Residual Quantized Representations
ETH Zürich（苏黎世联邦理工学院）；DisneyResearch|Studios（华特迪士尼研究与工作室）
本文提出VQ-Style方法，通过残差量化表示解构运动中的风格与内容，实现无需微调的风格迁移和多种运动应用。
2026-02-26 cs.AI cs.CV cs.LG
Disentangling Dual Image References in Frequency Aware Diffusion Models for Personalized Generation
Hefei University of Technology（合肥工业大学）
针对个性化生成中文本与图像不对齐问题，提出Dual-FDM，通过频域掩码解耦双参考，分别处理定制与颜色风格迁移，实验证明其优于现有扩散模型。
2026-11-04 cs.AI cs.CV
MakeupBag: Disentangling Makeup Extraction and Application
Lightricks
本文介绍了一种新的化妆风格自动转换方法--化妆包。我们提出的技术可以将一个新的化妆风格从一个参考人脸图像转移到另一个以前看不见的面部照片。我们解决化妆解开和面部化妆应用作为可分离的目标，相比之下，其他目前的深度方法，纠缠这两个任务。MakeupBag为我们的方法提供了显著的优势，因为它允许对提取的化妆风格进行定制和像素特定的修改，这是使用当前方法不可能实现的。大量的实验，定性和数值，进行证明我们的方法产生的图像的高质量和准确性。此外，与目前大多数其他方法相比，MakeupBag处理古典和极端以及服装化妆转移。在一项比较分析中，MakeupBag的表现优于目前最先进的方法。
2020-12-03 cs.CV
DRANet: Disentangling Representation and Adaptation Networks for Unsupervised Cross-Domain Adaptation
DGIST（大邱庆北科学技术院）；POSTECH（浦项科技大学）
在本文中，我们提出了DRANet，一个网络架构，解开图像表示和转移的视觉属性在一个潜在的空间，无监督的跨领域自适应。与现有的领域自适应方法，学习共享域的相关功能，DRANet保留了每个域的特性的独特性。我们的模型编码的内容（场景结构）和风格（艺术外观）从源和目标图像的个人表示。然后，它通过将传输的风格因子与为每个域指定的可学习权重一起合并到内容因子中来适应域。该学习框架允许利用单个编码器-解码器网络进行双向/多向领域自适应，并对齐它们的域移位。此外，我们提出了一个内容自适应域转移模块，有助于保留场景结构，同时转移风格。大量的实验表明，我们的模型成功地分离内容风格的因素，并合成视觉上令人愉快的域转移图像。所提出的方法在标准数字分类任务以及语义分割任务上展示了最先进的性能。
2021-03-28 cs.CV
Unsupervised Domain Adaptation for Cross-Modality Retinal Vessel Segmentation via Disentangling Representation Style Transfer and Collaborative Consistency Learning
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）
已经开发了各种深度学习模型来从医学图像中分割解剖结构，但是当在具有不同数据分布的另一个目标域上进行测试时，它们通常性能较差。最近，已经提出了无监督的域自适应方法来缓解这种所谓的域偏移问题，但它们中的大多数都是针对域偏移相对较小的场景而设计的，并且在遇到大的域间隙时可能会失败。在本文中，我们提出了DCDA，一种新的跨模态无监督域自适应框架，用于具有大域偏移的任务，例如，从OCTA和OCT图像中分割视网膜血管。DCDA主要包括一个解纠缠表示风格转换（DRST）模块和一个协同一致性学习（CCL）模块。DRST将图像分解为内容组件和样式代码，并执行样式转换和图像重建。CCL包含两个分割模型，一个用于源域，另一个用于目标域。这两个模型使用标记数据（以及相应的传输图像）进行监督学习，并对未标记数据进行协同一致性学习。每个模型都专注于相应的单个领域，旨在产生专业化的特定领域细分模型。通过对视网膜血管分割的广泛实验，我们的框架从OCTA到OCT以及从OCT到OCTA都实现了接近目标训练的oracle的Dice分数，显著优于其他最先进的方法。
2022-01-20 cs.CV eess.IV
Boosting Deep Face Recognition via Disentangling Appearance and Geometry
West Virginia University（西弗吉尼亚大学）
在本文中，我们提出了一个框架，解开的外观和几何表示在人脸识别任务。为了实现这一目标，我们通过空间变换生成几何形状相同的面孔。我们证明了所提出的方法通过两种方式辅助训练过程来增强深度人脸识别模型的性能。首先，它强制早期和中间卷积层学习更多具有代表性的特征，以满足解纠缠嵌入的属性。其次，它通过几何改变面部来增加训练集。通过大量的实验，我们证明了将所提出的方法集成到最先进的人脸识别方法中，可以有效地提高其在具有挑战性的数据集（如LFW，YTF和MegaFace）上的性能。理论和实践方面的方法进行了严格的分析，有关消融研究和知识转移任务。此外，我们表明，所提出的方法学习的知识可以有利于其他人脸相关的任务，如属性预测。
2020-01-13 cs.CV cs.LG
Challenges in Disentangling Independent Factors of Variation
我们研究的问题，建立模型，解开独立因素的变化。这样的模型可以用于编码特征，这些特征可以有效地用于分类和在图像合成中在不同图像之间传递属性。作为数据，我们使用弱标记的训练集。我们的弱标签表明两个数据样本之间的单个因子发生了变化，尽管变化的相对值是未知的。这种标记是特别感兴趣的，因为它可以容易地获得而无需注释成本。为了利用弱标签，我们引入了一个自动编码器模型，并通过对图像对和三元组的约束来训练它。我们正式证明，如果没有额外的知识，不能保证两个图像具有相同的变化因素将被映射到相同的功能。我们把这个问题称为参照歧义。此外，我们展示了特征维度和对抗训练的作用。我们通过实验证明，该模型可以成功地在多个数据集上传输属性，但也显示了发生引用模糊的情况。
2017-11-07 cs.CV
Disentangling Spatial and Temporal Learning for Efficient Image-to-Video Transfer Learning
Huazhong University of Science and Technology（华中科技大学）；National University of Singapore（新加坡国立大学）；Alibaba Group（阿里巴巴集团）
本文提出 DiST 框架，通过双编码器结构解耦视频的空间与时间学习，避免预训练参数反向传播，在提升时空理解的同时实现高效图像到视频迁移，并在多个基准上取得 SOTA 性能。
2023-09-14 cs.CV
DCG ReID: Disentangling Collaboration and Guidance Fusion Representations for Multi-modal Vehicle Re-Identification
Anhui University（安徽大学）
DCG-ReID通过解构协作与指导融合表示，解决多模态车辆重识别中模态质量分布不平衡的问题，提升多模态联合决策性能。
2026-01-06 cs.AI cs.CV
Generating Furry Cars: Disentangling Object Shape & Appearance across Multiple Domains
University of California, Davis（加州大学戴维斯分校）
我们考虑了跨多个域学习对象形状和外观的解纠缠表示的新任务（例如，狗和汽车）。我们的目标是学习一个生成模型，该模型学习一个中间分布，该中间分布从每个域借用一个属性子集，从而能够生成不专门存在于任何域中的图像。这个具有挑战性的问题需要从每个域中准确地解开对象形状、外观和背景，以便可以互换来自两个域的外观和形状因子。我们增强了现有的方法，可以在一个单一的领域内解开因素，但努力做到跨域。我们的关键技术贡献是用视觉特征的可区分直方图来表示对象外观，并优化生成器，使得具有相同潜在外观因子但不同潜在形状因子的两个图像产生相似的直方图。在多个多域数据集上，我们证明了我们的方法可以实现跨域的准确和一致的外观和形状转移。
2021-04-05 cs.CV cs.GR cs.LG
S4DL: Shift-sensitive Spatial-Spectral Disentangling Learning for Hyperspectral Image Unsupervised Domain Adaptation
Xidian University（西安电子科技大学）；Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education of China（中国教育部智能感知与图像理解重点实验室）
针对高光谱图像跨场景分类中光谱域偏移导致性能下降的问题，提出S4DL方法，通过梯度引导的空间-光谱分解、移位敏感自适应监视器和可逆神经网络，有效分离域特定与域不变特征，性能优于现有最先进方法。
2024-08-11 cs.AI cs.CV
Disentangling Style and Content in Anime Illustrations
University of Southern California（南加州大学）；Pinscreen；USC Institute for Creative Technologies（南加州大学创意技术研究所）
人工智能生成艺术品的现有方法仍然难以生成高质量的风格化内容，其中保留了高级语义，或者将细粒度风格与各种艺术家分开。我们提出了一种新的生成对抗解纠缠网络，它可以解开两个互补的变化因素时，只有其中一个是标记一般，并完全分解复杂的动画插图到风格和内容特别。训练这样的模型是具有挑战性的，因为给定一种风格，可能存在各种内容数据，但反之则不然。我们的方法分为两个阶段，一个是将输入图像编码成风格独立的内容，另一个是基于双条件生成器。我们展示了使用单一的端到端网络和风格传输应用程序生成高保真动漫肖像的能力，这些肖像具有固定的内容和来自一千多位艺术家的各种风格，反之亦然。我们展示了这种独特的能力以及优于目前最先进的输出。
2019-12-20 cs.CV
Road Scenes Segmentation Across Different Domains by Disentangling Latent Representations
University of Padova（帕多瓦大学）
深度学习模型在道路场景理解中获得了令人印象深刻的准确性，但它们需要大量的标记样本进行训练。此外，这种模型不能很好地推广到数据的统计特性与训练场景的统计特性不完全匹配的环境中，这对智能车辆来说可能是一个重大问题。因此，领域自适应方法已被引入到标签丰富的源域上获取的知识转移到相关的标签稀缺的目标域。在这项工作中，我们设计并仔细分析了多个潜在的空间塑造正则化策略，这些策略共同作用以减少域转移。更详细地说，我们设计了一个功能聚类策略，以增加域对齐，一个功能的约束空间分开属于不同的语义类的功能，包括那些不存在于当前批次，和一个功能规范对齐策略，以分离活跃和不活跃的渠道。此外，我们提出了一种新的评估指标，以捕获自适应模型相对于监督训练的相对性能。我们在驾驶场景中验证了我们的框架，考虑到合成到真实和真实到真实的适应，在多个道路场景基准上优于以前的特征级最先进的方法。
2021-10-27 cs.CV
