Revisiting Deep Subspace Alignment for Unsupervised Domain Adaptation
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
无监督领域自适应（UDA）旨在将知识从标记的源领域转移和适应到未标记的目标领域。传统上，基于子空间的方法形成了这一问题的重要一类解决方案。尽管这些方法在数学上很优雅，也很容易处理，但在复杂的真实世界数据集上，这些方法在产生域不变特征时往往是无效的。受深度网络表示学习的最新进展的启发，本文重新审视了UDA的子空间对齐的使用，并提出了一种新的自适应算法，该算法始终能够提高泛化能力。与现有的基于对抗训练的DA方法相比，我们的方法隔离了特征学习和分布对齐步骤，并利用主-辅助优化策略来有效地平衡域不变性和模型保真度的目标。虽然提供了一个显着减少目标数据和计算的要求，我们的子空间为基础的DA执行竞争力，有时甚至优于国家的最先进的方法在几个标准的UDA基准。此外，子空间对齐导致本质上良好的正则化模型，即使在具有挑战性的部分DA设置中也表现出很强的泛化能力。最后，我们的UDA框架的设计本质上支持在测试时逐步适应新的目标域，而不需要从头开始重新训练模型。总之，由强大的特征学习器和有效的优化策略提供动力，我们建立了基于子空间的DA作为一种高效的视觉识别方法。
2022-01-05 cs.CV cs.LG
Bridging Modalities via Progressive Re-alignment for Multimodal Test-Time Adaptation
本文提出BriMPR框架，通过分治策略解决多模态测试时适应中的模态间分布偏移和语义对齐问题，通过提示调优和跨模态对比学习提升多模态特征对齐效果。
2025-12-18 cs.CV cs.LG
Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种无监督的领域自适应方法，该方法训练共享嵌入来对齐输入（域）和输出（类）的联合分布，使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐，而且标签也对齐。我们提出了一个新的目标函数，鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
Feature Alignment by Uncertainty and Self-Training for Source-Free Unsupervised Domain Adaptation
Samsung SDS Technology Research（三星SDS技术研究院）；Seoul National University of Science and Technology（首尔国立科技大学）
大多数无监督领域自适应（UDA）方法假设在模型自适应过程中标记的源图像是可用的。然而，由于保密问题或移动设备的内存限制，这种假设往往是不可行的。一些最近开发的方法不需要在适应过程中的源图像，但他们表现出有限的性能扰动图像。为了解决这些问题，我们提出了一种新的无源UDA方法，该方法仅使用预训练的源模型和未标记的目标图像。我们的方法通过结合数据增强来捕获任意的不确定性，并使用两个一致性目标来训练特征生成器。鼓励特征生成器学习远离头部分类器的决策边界的一致视觉特征。因此，适应模型变得对图像扰动更鲁棒。受自监督学习的启发，我们的方法促进了预测空间和特征空间之间的空间对齐，同时在特征空间内结合了空间内的一致性，以减少源域和目标域之间的域间隙。我们还考虑了认知不确定性，以提高模型的适应性能。在流行的UDA基准数据集上的大量实验表明，所提出的无源方法与普通UDA方法相当，甚至优于普通UDA方法。此外，当输入图像受到扰动时，自适应模型显示出更鲁棒的结果。
2023-03-16 cs.CV cs.LG
Simulation-to-Reality domain adaptation for offline 3D object annotation on pointclouds with correlation alignment
Navya（Navya公司）
在自动驾驶感知系统中，用LiDAR点云中的3D边界框注释对象是一个昂贵的人工驱动过程。在本文中，我们提出了一种方法来半自动注释部署车辆使用模拟数据收集的真实世界的点云。我们训练一个三维物体检测器模型标记的模拟数据从CARLA与现实世界的点云从我们的目标车辆。监督目标检测损失与CORAL损失项增加，以减少标记的模拟和未标记的真实点云特征表示之间的距离。这里的目标是学习对模拟（标记）和真实世界（未标记）目标域不变的表示。我们还提供了一个更新的调查领域自适应方法的点云。
2022-02-26 cs.CV cs.LG
Joint Distribution Alignment for Universal Domain Adaptation
School of Software Engineering, South China University of Technology（华南理工大学软件工程学院）；School of Future Technology, South China University of Technology（华南理工大学未来技术学院）；College of Computer Science, Chongqing University（重庆大学计算机学院）
本文针对通用域适应（UniDA）场景，推导其泛化误差上界，提出JAUA算法并结合渐进式伪标签方法，在6个公开图像数据集上验证了该算法的优越性。
2026-08-26 cs.CV cs.LG
Temporal Attentive Alignment for Video Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）
虽然近年来已经提出了各种基于图像的领域自适应（DA）技术，但视频中的域偏移仍然没有得到很好的探索。大多数以前的作品只评估小规模数据集的饱和性能。因此，我们首先提出了一个具有更大域差异的更大规模数据集：UCF-HMDB_full。其次，我们研究了不同的DA集成方法的视频，并表明，同时对齐和学习时间动态实现有效的对齐，即使没有复杂的DA方法。最后，我们提出了时间注意对抗适应网络（TA 3 N），它明确地注意到使用域差异的时间动态，以实现更有效的域对齐，在三个视频DA数据集上实现了最先进的性能。代码和数据在http://github.com/cmhungsteve/TA3N上发布。
2019-06-07 cs.CV cs.LG cs.MM
Partial Domain Adaptation without Domain Alignment
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
无监督领域自适应（UDA）的目的是将知识从一个良好标记的源域转移到一个不同但相关的未标记的目标域，具有相同的标签空间。目前，解决UDA的主要工具是域对齐，这已经被证明是成功的。然而，通常很难找到具有相同标签空间的适当源域。更实际的情况是所谓的部分领域自适应（PDA），其中源标签集或空间包含目标标签集或空间。不幸的是，在PDA中，由于源域中不相关类别的存在，很难获得完美的对齐，从而导致模式坍塌和负转移。虽然已经通过降低不相关源类别的权重做出了一些努力，但是所使用的策略往往是繁重和危险的，因为确切地不相关类别是未知的。这些挑战促使我们寻找一种相对简单的替代方案来解决PDA。为了实现这一点，我们首先提供了一个彻底的理论分析，这说明了目标风险是有界的模型平滑度和域间差异。考虑到PDA求解中的完全对齐困难，我们转而关注模型的平滑性，而放弃风险较大的域对齐，以增强模型的适应性。具体来说，我们实例化的模型平滑作为一个相当简单的域内结构保持（IDSP）。据我们所知，这是第一次天真的尝试，以解决PDA没有域对齐。最后，我们在多个基准数据集上的实证结果表明，IDSP不仅在某些基准上明显优于PDA SOTA（例如，Cl->Rw上+10%，Ar->Rw上+8%），而且与标准UDA中的结构域对齐互补
2022-12-12 cs.CV cs.LG
Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
大多数现代无监督领域自适应（UDA）方法都植根于领域对齐，即，学习对齐源和目标特征以使用源标签来学习目标域分类器。在半监督领域自适应（SSDA）中，当学习器可以访问很少的目标领域标签时，现有方法遵循UDA理论使用领域对齐进行学习。我们表明，SSDA的情况是不同的，一个好的目标分类器可以学习，而不需要对齐。我们使用自监督预训练（通过旋转预测）和一致性正则化来实现良好分离的目标聚类，帮助学习低错误目标分类器。通过我们的预训练和一致性（PAC）方法，我们在这个半监督领域自适应任务上实现了最先进的目标准确性，超越了多个数据集上的多个对抗性领域对齐方法。PAC虽然使用简单的技术，但在大型且具有挑战性的SSDA基准测试（如DomainNet和Visda-17）上表现非常出色，经常以相当大的幅度超过最新的技术水平。我们的实验代码可以在https://github.com/venkatesh-saligrama/PAC上找到
2021-11-26 cs.CV cs.LG
Simultaneous Semantic Alignment Network for Heterogeneous Domain Adaptation
Beijing Institute of Technology（北京理工大学）；The University of Melbourne（墨尔本大学）；Indiana University-Purdue University Indianapolis（印第安纳大学与普渡大学印第安纳波利斯联合分校）
异构领域自适应（HDA）跨呈现异构性的源域和目标域传输知识，不同的域分布和特征类型或维度的差异。大多数以前的HDA方法解决这个问题，通过学习一个域不变的特征子空间，以减少域之间的差异。然而，在这种对齐策略中，数据中包含的内在语义属性未被充分挖掘，这也是实现有前途的适应性所不可或缺的。在本文中，我们提出了一个同时语义对齐网络（SSAN），同时利用类别之间的相关性，并跨域对齐每个类别的质心。特别是，我们提出了一个隐式的语义相关损失转移的相关知识的源分类预测分布到目标域。同时，通过利用目标伪标签，一个强大的三元组质心对齐机制显式地应用于对齐每个类别的特征表示。值得注意的是，一个伪标签细化过程中涉及的几何相似性，以提高目标伪标签分配的准确性。在文本到图像，图像到图像和文本到文本的各种HDA任务的综合实验成功地验证了我们的SSAN对国家的最先进的HDA方法的优越性。该代码可在https://github.com/BIT-DA/SSAN上公开获取。
2020-08-05 cs.CV cs.LG
Deep Least Squares Alignment for Unsupervised Domain Adaptation
Lehigh University（里海大学）
无监督领域自适应利用来自标记的源域的丰富信息来对未标记的目标域进行建模。现有的方法试图对齐跨域分布。然而，这两个域的对齐的统计表示没有得到很好的解决。在本文中，我们提出了深度最小二乘对齐（DLSA）估计的两个域的分布在一个潜在的空间参数化的线性模型。我们进一步开发了边缘和条件适应损失，以减少域的差异，通过最小化拟合线和截距之间的角度差异，并进一步学习域不变的功能。大量的实验表明，所提出的DLSA模型是有效的对齐域分布，并优于国家的最先进的方法。
2021-11-03 cs.LG
SALT: Subspace Alignment as an Auxiliary Learning Task for Domain Adaptation
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Labs（劳伦斯利弗莫尔国家实验室）
无监督领域自适应的目的是将从标记的源领域学习到的知识转移和适应到未标记的目标领域。无监督域自适应的关键组件包括：（a）最大化目标性能，以及（b）对齐源域和目标域。传统上，这些任务要么被认为是独立的，要么被认为是隐式地与高容量的特征提取器一起解决的。当单独考虑时，对齐通常被视为对齐数据分布的问题，通过几何方法（如子空间对齐）或通过分布对齐（如最佳传输）。本文提出了一种混合的方法，我们假设简化的数据几何形状的子空间的形式，并考虑对齐作为辅助任务的主要任务，最大限度地提高性能的源。通过利用子空间形式的易处理的数据几何，对齐变得相当简单。我们协同地允许从封闭形式的辅助解决方案中导出的某些参数受到来自主要任务的梯度的影响。所提出的方法是一个独特的融合几何和基于模型的对齐与梯度从数据驱动的主要任务。我们的方法称为SALT，是一个简单的框架，在多个标准基准测试中达到了可比的或有时优于最先进的水平。
2019-12-19 cs.CV cs.LG stat.ML
Joint Domain Alignment and Discriminative Feature Learning for Unsupervised Deep Domain Adaptation
Zhejiang University（浙江大学）
最近，计算机视觉和机器学习社区的深度领域自适应已经投入了相当大的努力。然而，大多数现有的工作只集中在学习共享的特征表示，通过最小化不同领域的分布差异。由于所有的磁畴对齐方法都只能减少而不能消除磁畴偏移。目标域样本分布在聚类边缘附近或远离其对应的类中心，很容易被从源域学习的超平面误分类。为了缓解这个问题，我们提出了联合域对齐和判别特征学习，这可能有利于域对齐和最终分类。提出了基于实例的鉴别特征学习方法和基于中心的鉴别特征学习方法，这两种方法都保证了域不变特征具有更好的类内紧致性和类间可分性。大量的实验表明，在共享特征空间中学习区分性特征可以显著提高深度领域自适应方法的性能。
2018-11-03 cs.CV cs.LG stat.ML
Does Source-Free Time-Series Adaptation Really Require Updating the Encoder?
City University of Hong Kong（香港城市大学）
提出SAFA方法，通过多尺度时频建模和可训练频率适应模块，对齐目标域与源域的频谱特征，解决无源域适应中的特征偏移和时间漂移问题。
2026-11-04 cs.LG
SPA++: Generalized Graph Spectral Alignment for Versatile Domain Adaptation
College of Computer Science（计算机科学学院）；Technology, Zhejiang University（技术学院，浙江大学）；School of Software Technology（软件技术学校）；Electronic Engineering, Hunan University（电子工程，湖南大学）
SPA++提出广义图谱对齐框架，通过粗粒度谱正则化与细粒度邻域传播，结合数据增强和一致性正则化，解决域自适应中可迁移性与判别性的权衡，在基准上超越现有方法。
2025-08-08 cs.CV cs.LG
A3: Active Adversarial Alignment for Source-Free Domain Adaptation
Oklahoma State University（俄克拉荷马州立大学）
针对无源无监督域适应中伪标签噪声大、分布偏移难处理的问题，提出结合自监督、对抗训练与主动学习的A3框架，通过主动采样、对抗损失与一致性正则化实现无源数据的分布对齐，提升域适应效果。
2024-10-07 cs.AI cs.CV cs.LG
Implicit Class-Conditioned Domain Alignment for Unsupervised Domain Adaptation
Imagia（Imagia公司）；Dalhousie University（达尔豪斯大学）；Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Polish Academy of Sciences（波兰科学院）
我们提出了一种无监督的领域自适应方法-从类条件域对齐的角度出发，重点关注域内类不平衡和域间类分布偏移的实际考虑。当前的类条件域对齐方法的目标是显式地最小化基于目标域的伪标签估计的损失函数。然而，这些方法遭受错误累积形式的伪标记偏差。我们提出了一种方法，消除了显式优化的模型参数直接从伪标签的需要。相反，我们提出了一种基于采样的隐式对齐方法，其中样本选择过程是隐式地由伪标签引导的。理论分析揭示了在错位类中存在领域对抗捷径，提出的隐式对齐方法可以解决这个问题，以促进领域对抗学习。实验结果和消融研究证实了该方法的有效性，特别是在存在域内类不平衡和域间类分布偏移的情况下。
2020-06-09 cs.CV cs.LG stat.ML
Domain Adaptation for Robust Workload Level Alignment Between Sessions and Subjects using fNIRS
Tufts University（塔夫茨大学）
针对fNIRS数据跨会话和受试者的域偏移问题，提出使用G-W和FG-W两种域适应方法进行工作负荷水平对齐，实验证明其性能显著优于SVM、CNN和RNN等监督方法。
2020-11-30 cs.CV cs.LG q-bio.NC
Deep CORAL: Correlation Alignment for Deep Domain Adaptation
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）；Boston University（波士顿大学）
深度神经网络能够从大量标记的输入数据中学习强大的表示，但是它们不能总是很好地概括输入分布的变化。已经提出了领域自适应算法来补偿由于域移位而导致的性能下降。在本文中，我们解决的情况下，目标域是未标记的，需要无监督的适应。CORAL是一种“简单得令人沮丧”的无监督领域自适应方法，它将源和目标分布的二阶统计与线性变换对齐。在这里，我们扩展CORAL来学习一个非线性变换，该变换可以调整深度神经网络（Deep CORAL）中层激活的相关性。在标准基准数据集上的实验显示了最先进的性能。
2016-07-06 cs.AI cs.CV cs.LG
Self-adaptive Re-weighted Adversarial Domain Adaptation
Chongqing University（重庆大学）
现有的对抗性领域自适应方法主要考虑边缘分布，这些方法可能导致欠迁移或负迁移。为了解决这个问题，我们提出了一种自适应重加权对抗领域自适应方法，试图从条件分布的角度来增强域对齐。为了促进正迁移和对抗负迁移，我们降低了对齐特征的对抗性损失的权重，同时增加了那些通过条件熵测量的对齐不良特征的对抗性力量。此外，利用源样本和伪标记的目标样本的三重丢失在混淆域上被采用。这种度量损失确保类内样本对的距离比类间样本对更接近，以实现类级对齐。通过这种方式，可以在协同训练过程中同时捕获高精度的伪标记目标样本和语义对齐。我们的方法实现了理想源和目标假设的低联合误差。然后，预期的目标误差可以是遵循本-大卫定理的上限。实验结果表明，该模型在标准领域自适应数据集上的性能优于现有技术。
2020-06-02 cs.CV cs.LG
Unsupervised Domain Adaptation in Semantic Segmentation Based on Pixel Alignment and Self-Training
Peking University（北京大学）；National Engineering Laboratory for Big Data Analysis and Applications（大数据分析与应用国家工程实验室）；Center for Data Science（数据科学中心）；Beijing International Center for Mathematical Research (BICMR)（北京国际数学研究中心）；Center for Data Science in Health and Medicine（健康医疗数据科学中心）
提出了一种基于像素对齐和自训练的无监督跨模态领域自适应方法。像素对齐将ceT1扫描转换为hrT2模态，有助于减少训练分割模型中的域偏移。自训练调整分割网络的决策边界以适应hrT2扫描的分布。实验结果表明，PAST显著优于非UDA基线，在CrossMoDA验证阶段排行榜上获得了2级，平均Dice得分为0.8395。
2021-09-29 cs.CV
Your Classifier can Secretly Suffice Multi-Source Domain Adaptation
Indian Institute of Science（印度科学学院）
多源领域自适应（MSDA）是指在领域转移的情况下，将任务知识从多个已标记的源领域转移到一个未标记的目标领域。现有的方法旨在使用辅助分布对准目标来最小化该域偏移。在这项工作中，我们提出了一个不同的视角，以MSDA，其中观察到深层模型，以隐式对齐标签监督下的域。因此，我们的目标是利用隐式对齐，而无需额外的训练目标来执行自适应。为此，我们使用伪标记的目标样本，并在伪标签上强制执行分类器协议，这一过程称为自监督隐式对齐（SIMpAl）。我们发现，即使在源域之间的类别转移下，SIMpAl也很容易工作。此外，我们提出分类器协议作为线索，以确定训练收敛，从而在一个简单的训练算法。我们根据五个基准对我们的方法进行了全面的评估，并对我们方法的每个组成部分进行了详细的分析。
2021-03-20 cs.CV cs.LG
Subsidiary Prototype Alignment for Universal Domain Adaptation
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）
通用领域自适应（UniDA）处理的是两个数据集之间的知识转移问题。目标是将未标记的目标样本分类为“已知”类别之一或单个“未知”类别。UniDA中的一个主要问题是负迁移，即“已知”和“未知”类的不对齐。为此，我们首先揭示了在深度网络的不同层中表现出的负转移风险和域不变性之间的有趣权衡。事实证明，我们可以在中间层实现这两个指标之间的平衡。为了设计一个有效的框架，基于这一见解，我们从视觉词袋（BoW）的动机。在一个中间层的类似BoW的表示中的词原型将表示较低级别的视觉基元，这些视觉基元可能不受高级特征中的类别转移的影响。我们开发的修改，鼓励学习的字原型，其次是字直方图为基础的分类。在此之后，附属原型空间对齐（SPA）可以被看作是一个闭集对齐问题，从而避免负迁移。我们实现了这一点，一个新的词直方图相关的借口任务，使闭集SPA，结合目标任务UniDA。我们证明了我们的方法在现有的UniDA技术之上的有效性，在三个标准的UniDA和Open-Set DA对象识别基准测试中获得了最先进的性能。
2022-10-28 cs.CV cs.LG
SaLoRA: Safety-Alignment Preserved Low-Rank Adaptation
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Peking University（北京大学）
本文提出 SaLoRA 方法，通过固定安全模块和任务特定初始化，在 LoRA 微调大语言模型时保持原有安全对齐，实验证明其在多个任务和指标上优于现有适配器方法。
2025-01-03 cs.LG
Domain-Invariant Feature Alignment Using Variational Inference For Partial Domain Adaptation
Arizona State University（亚利桑那州立大学）
标准闭集领域自适应方法试图在两个域共享相同标签集的约束下减轻两个域之间的分布差异。然而，在现实的情况下，找到一个最佳的源域具有相同的标签空间是一个具有挑战性的任务。部分领域自适应解决了获取具有相同标签空间假设的标记数据集的问题，并解决了源标签集包含目标标签集的更实际的场景。然而，这在适应过程中造成了一些额外的障碍。带有源域私有类别的样本会阻碍相关知识的传递并降低模型性能。在这项工作中，我们试图通过将变分信息和对抗学习与伪标签技术相结合来解决这些问题，以加强类分布对齐并最大限度地减少源样本中多余信息的传输。在许多跨域分类任务的实验结果表明，所提出的技术提供了优越的和可比的准确性，现有的方法。
2022-12-03 cs.LG
Temporal Attentive Alignment for Large-Scale Video Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）；Sony Interactive Entertainment LLC（索尼互动娱乐有限责任公司）；Binghamton University（宾厄姆顿大学）
虽然近年来已经提出了各种基于图像的领域自适应（DA）技术，但视频中的域偏移仍然没有得到很好的探索。大多数以前的作品只评估小规模数据集的饱和性能。因此，我们首先提出了两个大规模的视频DA数据集具有更大的域差异：UCF-HMDB_full和Kinetics-Gameplay。其次，我们研究了不同的DA集成方法的视频，并表明，同时对齐和学习时间动态实现有效的对齐，即使没有复杂的DA方法。最后，我们提出了时间注意对抗适应网络（TA 3 N），它明确地注意到时间动态使用域差异更有效的域对齐，在四个视频DA数据集上实现了最先进的性能（例如，在“HMDB --> UCF”上，与“仅源”相比，从73.9%到81.8%的准确度增益为7.9%，在“Kinetics --> Gameplay”上，则为10.3%）。代码和数据在http://github.com/cmhungsteve/TA3N上发布。
2019-09-15 cs.CV cs.LG cs.MM
Domain Adaptation with Asymmetrically-Relaxed Distribution Alignment
Carnegie Mellon University（卡内基梅隆大学）
当生成我们的测试数据的目标分布偏离源（训练）分布时，领域自适应解决了常见的问题。当缺少假设时，领域自适应是不可能的，严格的条件，例如协变量或标签偏移，使有原则的算法成为可能。最近提出的领域对抗方法包括对齐源和目标编码，通常激励这种方法在目标误差的理论范围内最小化两个（三个）项。不幸的是，这种最小化可能会导致第三项的任意增加，例如，它们可能会在不断变化的标签分布下崩溃。我们提出了非对称放松分布对齐，一种新的方法，克服了标准域对抗算法的一些限制。此外，我们描述了精确的假设，根据这些假设，我们的算法在理论上是有原则的，并在合成数据集和真实数据集上证明了经验优势。
2019-03-11 cs.LG stat.ML
Unsupervised Domain Adaptation via Discriminative Manifold Embedding and Alignment
Sun Yat-Sen University（中山大学）；JiaYing University（嘉应学院）；Guangzhou University（广州大学）
无监督领域自适应能够有效地利用源域到无监督目标域的丰富信息。虽然深度学习和对抗策略在特征适应性方面取得了重要突破，但还有两个问题需要进一步探讨。首先，在目标域上硬分配的伪标签对固有的数据结构是有风险的。其次，深度学习中的分批训练方式限制了对全局结构的描述。本文提出了一个黎曼流形学习框架，以实现一致的可转移性和可区分性。对于第一个问题，该方法通过软标签在目标域上建立概率判别准则。此外，该标准扩展到第二个问题的全球近似计划，这种近似也是节省内存。利用流形度量对齐与嵌入空间兼容。理论上的误差界推导出，以方便对齐。通过大量的实验对提出的一致流形学习框架进行了研究，实验结果表明了一致流形学习框架的优越性。
2020-02-28 cs.CV cs.LG stat.ML
Co-regularized Alignment for Unsupervised Domain Adaptation
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；MIT（麻省理工学院）
使用大量标记数据训练的深度神经网络在使用来自分布与训练数据分布不同的\emph{target domain}（称为\emph{source domain}）的示例进行测试时可能无法很好地泛化。在所有可能的域中获得所需数量的标记数据可能是昂贵的，甚至是不可行的。无监督领域自适应开始解决这个问题，旨在使用来自源域的标记示例而仅使用来自目标域的未标记示例来学习目标域的良好预测模型。域对齐通过匹配源和目标特征分布来解决这个问题，并且已经被用作许多最先进的领域自适应方法中的关键组成部分。然而，匹配边缘特征分布并不能保证相应的类条件分布将在两个域中对齐。我们提出了无监督领域自适应的共正则化域对齐，它构建了多个不同的特征空间，并分别对齐每个特征空间中的源和目标分布，同时鼓励对齐在未标记目标示例的类预测方面彼此一致。所提出的方法是通用的，可以用来改善任何领域自适应方法，使用域对齐。我们实例化它的背景下，最近的国家的最先进的方法，并观察到它提供了显着的性能改进的几个领域自适应基准。
2018-11-13 cs.LG stat.ML
Geometry-aware Domain Adaptation for Unsupervised Alignment of Word Embeddings
Microsoft（微软）
我们提出了一种新的基于流形的几何方法，用于学习源语言和目标语言之间的词嵌入的无监督对齐。我们的方法制定的对齐学习问题作为一个领域自适应问题的双随机矩阵的流形。这一观点的出发点是为了使两个语言空间的二阶信息一致。双随机流形的丰富的几何允许采用有效的黎曼共轭梯度算法的建议制定。经验上，所提出的方法优于国家的最先进的最佳运输为基础的方法上的双语词典归纳任务在几个语言对。对于距离较远的语言对，性能的改善更为显著。
2020-04-20 cs.CL cs.LG stat.ML
Coupling Adversarial Learning with Selective Voting Strategy for Distribution Alignment in Partial Domain Adaptation
Arizona State University（亚利桑那州立大学）
与标准闭集领域自适应任务相比，部分领域自适应设置通过放松相同标签集假设来迎合现实场景。然而，源标签集包含目标标签集的事实引入了一些额外的障碍，因为对私有源类别样本的训练阻碍了相关的知识转移并误导了分类过程。为了缓解这些问题，我们设计了一种机制，战略选择的高度自信的目标样本的类重要性权重的估计是必不可少的。此外，我们通过将实现紧凑和不同的类分布的过程与对抗目标相结合来捕获类区分和域不变的特征。许多跨域分类任务的实验结果表明，所提出的技术提供优于现有方法和可比的准确性的潜力。
2022-07-17 cs.LG
Subdomain Adaptation with Manifolds Discrepancy Alignment
National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
减少领域分歧是迁移学习问题的关键步骤。现有的工作集中在最小化的全球域分歧。然而，两个域可以由多个共享的子域组成，并且在每个子域中彼此不同。在本文中，我们考虑到局部分歧的子域转移。具体来说，我们建议使用低维流形来表示子域，并在每个流形中对齐跨域的局部数据分布差异。流形最大平均离散度（M3D）被开发来测量每个流形中的局部分布差异。然后，我们提出了一个通用的框架，称为传输与流形离散对齐（TMDA），耦合数据流形的发现与M3D的最小化。我们在考虑线性和非线性映射的子空间学习情况下实例化TMDA。我们还在深度学习框架中实例化了TMDA。大量的实验研究表明，TMDA是一种很有前途的方法，用于各种迁移学习任务。
2020-05-06 cs.CV cs.LG stat.ML
Adversarial Alignment of Class Prediction Uncertainties for Domain Adaptation
Radboud University（拉德堡德大学）；TNO（荷兰应用科学研究组织）；Open University（开放大学）
我们考虑无监督域自适应：给定源域的标记示例和相关目标域的未标记示例，目标是推断目标示例的标签。在来自预训练的深度神经网络的特征可跨相关域转移的假设下，域自适应简化为在类别预测不确定性水平上对齐源域和目标域。我们通过引入一种基于对抗学习的方法来解决这个问题，该方法迫使目标域上的标签不确定性预测与源域上的标签不确定性预测无法区分。使用预先训练的深度神经网络来生成具有跨相关域的高可转移性的深度特征。我们在大量公开的预训练深度神经网络上对所提出的方法进行了广泛的实验分析。我们在图像分类领域自适应任务上的实验结果表明，类预测不确定性与从预训练的深度神经网络中提取的特征对齐，为领域自适应提供了一种高效、鲁棒和有效的方法。
2019-01-04 cs.LG stat.ML
LAMA-Net: Unsupervised Domain Adaptation via Latent Alignment and Manifold Learning for RUL Prediction
Thoucentric（Thoucentric公司）
预测与健康管理（PHM）是一个新兴的领域，由于其带来的好处和效率，已受到制造业的广泛关注。剩余使用寿命（RUL）预测是任何PHM系统的核心。最近的数据驱动的研究需要大量的标记训练数据，然后才能在监督学习范式下训练性能模型。这就是迁移学习（TL）和领域自适应（DA）方法的用武之地，使我们能够将监督模型推广到具有不同数据分布的其他领域，而无需标记数据。在本文中，我们提出了\textit{LAMA-Net}，一个基于编码器-解码器的模型（Transformer）与诱导瓶颈，潜在对齐使用最大均值离散（MMD）和流形学习提出解决问题的无监督均匀领域自适应的RUL预测。利用NASA的C-MAPSS涡轮风扇发动机数据集对\textit{LAMA-Net}进行了验证，并与其他先进的DA技术进行了比较。结果表明，该方法为在RUL预测中执行领域自适应提供了一种很有前途的方法。代码将提供一旦文件出来的审查。
2022-08-17 cs.LG
Is Generative Modeling-based Stylization Necessary for Domain Adaptation in Regression Tasks?
University of Waterloo（滑铁卢大学）
本文质疑回归任务中基于生成建模的输入级风格化的必要性，发现其作用有限，并提出非参数特征对齐方法 ImSty，在避免高计算开销的同时持续提升 SOTA 回归性能。
2023-06-02 cs.AI cs.CV cs.LG
Geometric Moment Alignment for Domain Adaptation via Siegel Embeddings
Department of Computer Science University of Helsinki（计算机科学系 哈尔滨大学）
本文提出一种基于Siegel嵌入的几何矩对齐方法，利用黎曼距离在SPD流形上同时对齐源域和目标域的一阶与二阶矩，以改进无监督域自适应，并在图像去噪和分类任务上验证了有效性。
2025-10-16 cs.LG
Self-Guided Adaptation: Progressive Representation Alignment for Domain Adaptive Object Detection
NELVT, School of EE & CS, Peking University（北京大学电子信息与计算机科学学院NELVT）；University of Chinese Academy of Sciences（中国科学院大学）；School of ECE, Peking University（北京大学电子信息工程学院）；Pengcheng Laboratory（鹏城实验室）；Beijing Institute of Technology（北京理工大学）；Nanyang Technological University（南洋理工大学）
无监督领域自适应（UDA）在提高目标检测模型的跨域鲁棒性方面取得了前所未有的成功。然而，现有的UDA方法在很大程度上忽略了模型学习过程中的瞬时数据分布，这可能会在较大的域偏移情况下恶化特征表示。在这项工作中，我们提出了一个自我导向适应（SGA）模型，目标对准的特征表示和跨域的目标检测模型，同时考虑到即时对齐的困难。SGA的核心是在核空间中计算样本对的“硬度”因子，以指示域距离。该算法通过引入硬度因子，自适应地指示样本的重要性，并赋予样本不同的约束条件。根据硬度因子的指示，在模型自适应过程中以“由易到难”的方式实现了自引导渐进采样（SPS）。使用多级卷积特征，SGA进一步聚合以完全对齐检测模型的分层表示。在常用的基准测试上的大量实验表明，SGA改进了最先进的方法，具有显着的裕度，同时证明了大域偏移的有效性。
2020-03-22 cs.CV
Quantum subspace alignment for domain adaptation
Institute of Fundamental and Frontier Sciences, University of Electronic Science and Technology of China（电子科技大学基础与前沿研究院）
域自适应（DA）用于自适应地获得具有给定相关但不同标记的数据集的未处理数据集的标签。子空间对齐（SA）是一种典型的DA算法，它试图找到一个线性变换来对齐两个不同数据集的子空间。在对齐的标记数据集上训练的分类器可以被转移到未标记的数据集以预测目标标签。在本文中，两个量子版本的SA被提出来实现量子设备上的DA过程。一种方法，量子子空间对齐算法（QSA），在给定的样本的数量和维度上实现了二次加速。另一种方法，变分量子子空间排列算法（VQSA），可以通过变分混合量子经典过程在近期量子器件上实现。在不同类型数据集上的数值实验结果表明，与相应的经典算法相比，VQSA具有较好的性能。
2020-06-29 cs.LG quant-ph
Resilient Practical Test-Time Adaptation: Soft Batch Normalization Alignment and Entropy-driven Memory Bank
HKUST（香港科技大学）；NVIDIA（英伟达）；NUDT（国防科技大学）
针对测试时自适应中目标域分布变化、非独立同分布样本导致的模型退化问题，提出ResiTTA方法，结合弹性批量归一化软对齐与熵驱动记忆库，经多基准验证实现当前最优性能。
2024-01-26 cs.LG
Contrastively Smoothed Class Alignment for Unsupervised Domain Adaptation
Duke University（杜克大学）；Microsoft Dynamics 365 AI Research（微软Dynamics 365人工智能研究院）；Microsoft Research（微软研究院）
最近的领域自适应的无监督方法主要集中在通过改进特征生成器来最小化源域和目标域之间的间隙，以便学习两个域之间的更好对齐。这种最小化可以通过域分类器来实现，以检测与源域特征不同的目标域特征。然而，通过这种域分类差异进行优化，往往会错过在低维数据流形上不平滑分布的模糊目标样本。为了解决这个问题，我们提出了一种新的对比平滑类对齐（CoSCA）模型，显式地结合了类内和类间域的差异，以更好地对齐模糊的目标样本与源域。CoSCA估计目标样本的潜在标签假设，同时通过优化建议的对比损失来适应它们的特征表示。此外，最大平均离散度（MMD）被用来直接匹配源和目标样本之间的特征，以更好的全局对齐。在几个基准数据集上的实验表明，CoSCA可以通过产生更多的判别特征来优于最先进的无监督领域自适应方法。
2020-10-06 cs.LG stat.ML
GLA-DA: Global-Local Alignment Domain Adaptation for Multivariate Time Series
Sun Yat-Sen University（中山大学）；National University of Singapore（新加坡国立大学）
针对时间序列标注成本高、现有域适应方法易导致类别分布混淆的问题，提出结合全局特征对抗对齐与局部类别伪标签对齐的GLA-DA方法，在无监督和半监督域适应场景下均取得优于现有方法的性能。
2024-10-09 cs.LG
Lost in Translation? Vocabulary Alignment for Source-Free Adaptation in Open-Vocabulary Semantic Segmentation
The Good AI Lab（好AI实验室）；ETH Zurich（苏黎世联邦理工学院）；AMD Silo AI；Google（谷歌）；Technical University of Munich（慕尼黑技术大学）；INSAIT, Sofia University, St. Kliment Ohridski（INSAIT，索菲亚大学，圣克莱孟·奥赫里茨基）；University of Bologna（博洛尼亚大学）
针对开放词汇语义分割中 VLM 的无源域适应问题，提出 VocAlign 框架，结合词汇对齐师生范式、LoRA 微调与 Top-K 类别选择，在 CityScapes 上提升 6.11 mIoU 并取得优异零样本性能。
2025-09-29 cs.CV
CASUAL: Conditional Support Alignment for Domain Adaptation with Label Shift
VinAI Research（VinAI研究院）
本文提出CASUAL方法，通过最小化源域与目标域条件特征分布的支持散度，并基于新的目标风险界优化训练，有效解决了标签偏移下的无监督域自适应问题。
2024-12-29 cs.LG
One Size does not Fit All: Heterogeneous Latent Space Alignment for Unsupervised Domain Adaptation
Duke University（杜克大学）；National Technical University of Athens（雅典国家技术大学）
提出ADualVUOT框架，结合双编码器VAE与连续归一化流增强潜在表达，利用非平衡最优传输（GGW距离）对齐域，并引入对抗增强提升鲁棒性，在医学图像分割中优于现有方法。
2026-06-23 cs.LG
Dynamic Weighted Learning for Unsupervised Domain Adaptation
Chongqing University（重庆大学）；School of Microelectronics and Communication Engineering（微电子与通信工程学院）
无监督领域自适应（UDA）的目的是利用来自完全标记的源域的信息来提高未标记目标域的分类性能。最近的方法探索域不变和类判别表示来解决这个任务。然而，这些方法忽略了领域对齐学习和类别区分学习之间的相互作用。因此，域对齐和类歧视之间的缺失或不充分的权衡容易产生负迁移问题。本文提出了动态加权学习（DWL）方法，以避免过度对齐学习导致的区分度消失问题和过度判别学习导致的领域错位问题。在技术上，DWL通过引入对齐度和区分度，动态地对对齐和区分度的学习损失进行加权。此外，在我们的工作中，首先考虑到跨域的样本不平衡的问题，我们解决了这个问题，通过加权的样本，以保证跨域的信息平衡。大量的实验表明，DWL具有良好的性能在几个基准数据集。
2021-03-22 cs.LG
Efficient unsupervised domain adaptation via self-supervised vision transformer and synergistic cross-domain alignment
University of Windsor（温莎大学）；Queens University（女王大学）
提出EUDA框架，以冻结的DINOv2为特征提取器，结合SDAL损失，在多数据集上实现高效无监督域适应，可训练参数减少42%至99.7%，适配资源受限环境。
2026-08-05 cs.AI cs.CV cs.LG
Optimal Latent Vector Alignment for Unsupervised Domain Adaptation in Medical Image Segmentation
École Centrale de Nantes（南特中央理工学院）；Laboratoire des Sciences du Numérique de Nantes（南特数字科学实验室）；CNRS（法国国家科学研究中心）
本文讨论了分割的域转移问题。作为解决方案，我们提出了OLVA，一种新的和轻量级的无监督领域自适应方法的基础上变分自动编码器（VAE）和最优传输（OT）理论。由于VAE，我们的模型学习了一个遵循正态分布的共享跨域潜在空间，这减少了域偏移。为了保证有效的分割，我们的共享潜在空间被设计为对形状而不是强度变化进行建模。我们进一步依赖于OT损失来匹配和对齐潜在空间中两个域之间的剩余差异。我们证明了OLVA的有效性的公共多模态全心脏分割（MM-WHS）数据集上的多个心脏结构的分割，其中的源域包括注释的3D MR图像和未标记的目标域的3D CT。我们的研究结果显示了显着的改善，额外的利润率为12.5%的骰子分数比并发生成训练方法。
2021-06-15 cs.AI cs.CV cs.LG
Quantum correlation alignment for unsupervised domain adaptation
University of Electronic Science and Technology of China（电子科技大学）
相关对齐（Correlation alignment，CORAL）是一种典型的域自适应（domain adaptation，DA）算法，将标记的源域数据集与未标记的目标域数据集解相关并对齐，以最小化域偏移，使得分类器可以被应用于预测目标域标签。在本文中，我们通过两种不同的方法在量子器件上实现了CORAL。一种方法是利用量子基本线性代数子程序（QBLAS）来实现CORAL，在给定数据样本的数量和维度上具有指数加速。另一种方法是通过变分混合量子经典过程。此外，CORAL与三种不同类型的数据集，即合成数据，合成虹膜数据，手写数字数据的数值实验，我们的工作的性能进行了评估。仿真结果表明，变分量子相关对准算法（VQCORAL）与经典的CORAL相比，具有很好的性能。
2021-06-03 cs.LG quant-ph
Time-Series Domain Adaptation via Sparse Associative Structure Alignment: Learning Invariance and Variance
Guangdong University of Technology（广东工业大学）；Peng Cheng Laboratory（鹏城实验室）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
时间序列数据的领域自适应在工业界经常遇到，但在学术界受到的关注有限。现有的时间序列数据的领域自适应方法大多借鉴了非时间序列数据的方法来提取域不变表示。然而，时间序列数据的两个特殊困难尚未解决。1)对不同时间戳之间的域不变和复杂依赖进行建模不是一个简单的任务。2)域变量信息很重要，但如何利用它们几乎没有得到充分利用。幸运的是，不同领域之间因果结构的稳定性激发了我们探索时间序列数据背后的结构。基于这一启发，我们研究了域不变的非加权稀疏联想结构和结构的域变强度。为了实现这一目标，我们提出了稀疏关联结构对齐通过学习不变性和方差（SASA-IV），一个模型，同时对齐不变的未加权的备用关联结构，并考虑时间序列无监督领域自适应的变化信息。技术上，我们提取域不变的未加权稀疏关联结构与单向对齐的限制，并通过一个精心设计的自回归模块嵌入域变量的强度。实验结果不仅证明了我们的模型在三个真实世界的数据集上产生了最先进的性能，而且还提供了一些关于知识转移的有见地的发现。
2022-05-07 cs.LG
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下，对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标，这使得他们遭受的忽视其他。然而，将这两个方面一起优化并不是微不足道的。为了缓解上述问题，我们提出了一种新的方法，以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点，又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明，与现有的无监督领域自适应方法相比，该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
CUDA: Contradistinguisher for Unsupervised Domain Adaptation
Indian Institute of Science（印度科学学院）
在本文中，我们提出了一个简单的模型，称为对比度（CTDR）的无监督领域自适应，其目标是共同学习，以对比区分在一个完全无监督的方式，以及通过监督学习获得的先验知识在一个完全不同的域上的未标记的目标域。领域自适应中的大多数工作依赖于一种间接的方式，首先对齐源和目标域分布，然后在标记的源域上学习分类器来分类目标域。这种间接解决未标记目标域分类实际任务的方法有三个主要缺点。(i)由于大的域偏移（例如，语言领域）。(ii)使用多个分类器来对齐分布不必要地增加了神经网络的复杂性，从而在许多情况下导致过拟合。(iii)由于分布对齐，特定于域的信息会随着域的变形而丢失。在这项工作中，我们提出了一个简单而直接的方法，不需要域对齐。我们联合学习CTDR的源和目标分布的无监督领域自适应任务使用对比度损失的未标记的目标域结合有监督的损失标记的源域。我们的实验表明，避免域对齐，直接解决的任务，未标记的目标域分类使用CTDR实现了最先进的结果在8个视觉和4个语言基准领域自适应数据集。
2019-09-08 cs.CV cs.LG stat.ML
Prototypical Contrast Adaptation for Domain Adaptive Semantic Segmentation
Tencent Youtu Lab（腾讯优图实验室）；The Chinese University of Hong Kong（香港中文大学）
无监督领域自适应（UDA）的目的是将在标记的源域上训练的模型适应到未标记的目标域。在本文中，我们提出了原型对比度自适应（ProCA），一个简单而有效的对比学习方法无监督域自适应语义分割。以往的领域自适应方法只考虑了类内表示分布在不同领域之间的对齐，而没有充分挖掘类间的结构关系，导致目标领域上对齐的表示可能不再像源领域上那样容易区分.相反，ProCA将类间信息纳入类的原型，并采用以类为中心的分布对齐进行自适应。通过将相同的类原型视为阳性，将其他类原型视为阴性，以实现以类为中心的分布对齐，ProCA在经典领域自适应任务{ \em，即，\text{and} SYNTHIA $\to$ Cityscapes}.代码可从\href{https://github.com/jiangzhengkai/ProCA}{ProCA}获得
2022-07-14 cs.CV
Time Series Domain Adaptation via Sparse Associative Structure Alignment
Guangdong University of Technology（广东工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Pazhou Lab（琶洲实验室）
时间序列数据的领域自适应是一项重要而又具有挑战性的任务。这一领域的大多数现有工作都是基于在MMD等限制的帮助下学习数据的域不变表示。然而，由于时间戳之间的复杂依赖性，这种域不变表示的提取对于时间序列数据来说是一项重要的任务。具体地说，在完全相关的时间序列中，时滞或偏移量的微小变化可能导致域不变量提取的困难。幸运的是，因果关系的稳定性启发我们探索数据的域不变结构。为了降低因果结构发现的难度，将因果结构放宽到稀疏关联结构，提出了一种新的用于领域自适应的稀疏关联结构对齐模型。首先，我们生成的段集，以排除障碍的偏移。其次，设计了变量内和变量间稀疏注意力机制，提取考虑时滞的关联结构时间序列数据。最后，使用关联结构对齐来引导知识从源域到目标域的转移。实验研究不仅验证了我们的方法在三个真实世界的数据集上的良好性能，而且还提供了一些有见地的发现转移的知识。
2021-06-17 cs.LG
Generation, augmentation, and alignment: A pseudo-source domain based method for source-free domain adaptation
Nanjing University（南京大学）
传统的无监督领域自适应（UDA）方法需要同时访问标记的源样本和未标记的目标样本来训练模型。而在某些情况下，由于数据隐私和安全性，源样本不可用于目标域。为了克服这一挑战，近年来，无源领域自适应（SFDA）引起了研究人员的注意，其中既有训练的源模型和未标记的目标样本。现有的SFDA方法要么采用基于伪标签的策略，要么产生更多的样本。然而，这些方法没有显式地减少跨域的分布偏移，这是良好自适应的关键。虽然没有源样本可用，但幸运的是，我们发现一些目标样本与源域非常相似，可以用来近似源域。该近似域被表示为伪源域。在本文中，受此观察的启发，我们提出了一种新的方法的基础上的伪源域。该方法首先生成并扩展伪源域，然后采用基于伪标签策略的四种新损失的分布对齐。其中，在伪源域和剩余目标域之间引入域对抗损失，以减小分布偏移。在三个真实数据集上的实验结果验证了该方法的有效性。
2021-09-09 cs.LG
