Domain Adaptation with Factorizable Joint Shift
Massachusetts Institute of Technology（麻省理工学院）；Rutgers University（罗格斯大学）
现有的领域自适应（DA）通常假设域偏移来自协变量或标签。然而，在实际应用中，从不同领域选择的样本可能在协变量和标签中存在偏差。在本文中，我们提出了一个新的假设，可因子化的联合移位（FJS），处理协变量和标签的抽样偏差的共存。虽然考虑到双方的变化，但FJS假设两个因素之间的偏差是独立的。我们提供了理论和经验的理解，当FJS退化到先前的假设，当它是必要的。我们进一步提出了联合重要性对齐（JIA），判别学习目标，以获得联合重要性估计的监督和无监督领域自适应。我们的方法可以无缝地与现有的领域自适应算法更好的重要性估计和加权的训练数据。在人工数据集上的实验证明了该方法的优越性。
2022-03-06 cs.LG stat.ML
Joint Semantic Domain Alignment and Target Classifier Learning for Unsupervised Domain Adaptation
JD AI Research（京东人工智能研究院）；University of Science and Technology of China（中国科学技术大学）；Nanjing University（南京大学）
无监督领域自适应的目的是以无监督的方式将从源域学习到的分类器转移到目标域。在目标伪标签的帮助下，对齐类级分布和学习目标域中的分类器是两个广泛使用的目标。现有的方法往往分别优化这两个单独的目标，这使得他们遭受的忽视其他。然而，将这两个方面一起优化并不是微不足道的。为了缓解上述问题，我们提出了一种新的方法，以整体的方式联合优化语义域对齐和目标分类器学习。联合优化机制既可以消除它们的弱点，又可以实现它们的优势互补。理论分析也验证了联合优化机制的优越性。在基准数据集上的大量实验表明，与现有的无监督领域自适应方法相比，该方法具有最好的性能。
2019-06-10 cs.LG stat.ML
Deep Transfer Learning with Joint Adaptation Networks
Key Lab for Information System Security, MOE（信息系统安全教育部重点实验室）；Tsinghua National Lab for Information Science and Technology (TNList)（清华信息科学与技术国家实验室）；NEL-BDS（大数据系统软件国家工程实验室）；School of Software, Tsinghua University（清华大学软件学院）；University of California, Berkeley（加州大学伯克利分校）
深度网络已经成功地应用于学习可转移的特征，以使模型从源域适应不同的目标域。在本文中，我们提出了联合自适应网络（JAN），它通过基于联合最大平均差异（JMMD）标准对齐跨域的多个特定于域的层的联合分布来学习传输网络。采用对抗性训练策略来最大化JMMD，使得源域和目标域的分布更容易区分。学习可以通过随机梯度下降来执行，其中梯度通过线性时间中的反向传播来计算。实验证明，我们的模型在标准数据集上产生了最先进的结果。
2017-08-17 cs.LG stat.ML
Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation
Huazhong University of Science and Technology（华中科技大学）
在领域自适应中，最大平均差异（MMD）被广泛采用来衡量源域和目标域分布之间的差异。许多现有的领域自适应方法基于联合MMD，其被计算为边缘分布差异和条件分布差异的（加权）和;然而，更自然的度量可以是它们的联合概率分布差异。此外，大多数度量仅旨在提高域之间的可转移性，而忽略了不同类别之间的可区分性，这可能导致分类性能不足。为了解决这些问题，本文提出了判别式联合概率MMD（DJP-MMD），以取代领域自适应中常用的联合MMD。它具有两个理想的性质：1）它为计算分布差异提供了一个新的理论基础，它更简单，更精确; 2）它同时增加了可传递性和可区分性。我们通过将其嵌入到联合概率领域自适应框架中来验证其性能。在6个图像分类数据集上的实验表明，该方法的分类性能优于传统的MMD方法。
2020-04-10 cs.CV cs.LG stat.ML
Domain adaptation of weighted majority votes via perturbed variation-based self-labeling
Institute of Science and Technology (IST) Austria（奥地利科学技术研究所）；University Jean Monnet of Saint-Etienne（圣艾蒂安让·莫内大学）；Laboratoire Hubert Curien UMR CNRS 5516（于贝尔·居里安实验室（法国国家科学研究中心联合研究单位5516））
在机器学习中，当测试（目标）和训练（源）数据从不同的分布生成时，就会出现域自适应问题。因此，一个关键的应用问题是设计的算法能够推广到一个新的分布，我们没有标签信息。我们专注于学习分类模型定义为一组实值函数的加权多数投票。在这种情况下，Germain等人（2013）已经表明，这些功能之间的不一致性对于控制至关重要。该测量的核心是理论界限--C界限（Lacasse等人，2007)--这涉及到分歧，并导致在通常的非自适应监督设置中表现良好的多数投票学习算法：MinCq。在这项工作中，我们提出了一个框架来扩展MinCq域适应的情况。这个过程利用了Harel和Mannor（2012）提出的分布之间最近的扰动变差发散。通过对投票的目标风险的理论约束来证明，我们向MinCq提供了一个目标样本，该样本是通过基于扰动变分的自标记来标记的，该自标记专注于源边缘和目标边缘相似的区域。我们还研究了我们的自标记的影响，从中我们推导出一个原来的过程调整超参数。最后，我们的框架PV-MinCq显示了非常有前途的结果旋转和平移合成问题。
2014-10-01 cs.LG stat.ML
Federated Source-free Domain Adaptation for Classification: Weighted Cluster Aggregation for Unlabeled Data
NEC Corporation（日本电装公司）；Kyoto University（京都大学）
针对联邦学习中无标签目标域数据且无法访问源数据的分类任务，提出FedWCA方法，通过客户端聚类、加权聚合及伪标签本地适应，有效缓解域偏移并保护隐私，实验验证其优越性。
2024-12-18 cs.LG
Deep Transfer Network with Joint Distribution Adaptation: A New Intelligent Fault Diagnosis Framework for Industry Application
Tsinghua University（清华大学）
近年来，用于智能状态监测和诊断的深度学习模型以及用于机械系统和结构的机器学习越来越受欢迎。然而，在以前的研究中，默认接受的一个主要假设是训练和测试数据来自相同的特征分布。然而，这种假设在实际应用中往往是无效的，导致传统的诊断方法缺乏一定的适用性。受迁移学习思想的启发，该思想利用从源域中丰富的标记数据中学习的知识来帮助诊断新的但相似的目标任务，提出了一种新的智能故障诊断框架，即，提出了一种将深度学习模型推广到领域自适应场景的深度传输网络DTN。通过将边缘分布自适应（MDA）扩展为联合分布自适应（JDA），该框架利用源域中与标记数据相关的判别结构来适应未标记目标数据的条件分布，从而保证更准确的分布匹配。对三个故障数据集的大量实证评估验证了DTN的适用性和实用性，同时在不同的操作条件、故障严重程度和故障类型方面实现了许多最先进的传输结果。
2018-04-18 cs.LG stat.ML
Importance Weighted Policy Learning and Adaptation
Google（谷歌）
利用先前经验快速解决新问题的能力是生物学习系统的标志，对人工系统也具有重要的实际意义。在Meta强化学习文献中，最近的许多工作都集中在优化学习过程本身的问题上。在本文中，我们研究了一种互补的方法，这是概念上简单，一般，模块化，并建立在最近的改进离策略学习。该框架的灵感来自于概率推理文献中的思想，并将鲁棒的离策略学习与行为先验或默认行为相结合，该行为约束解决方案的空间并作为探索的偏差;以及价值函数的表示，这两者都很容易从多任务场景中的许多训练任务中学习到。与Meta强化学习基线相比，我们的方法在坚持任务上实现了有竞争力的适应性能，并且可以扩展到复杂的稀疏奖励场景。
2021-06-04 cs.AI cs.LG stat.ML
Dynamic Weighted Learning for Unsupervised Domain Adaptation
Chongqing University（重庆大学）；School of Microelectronics and Communication Engineering（微电子与通信工程学院）
无监督领域自适应（UDA）的目的是利用来自完全标记的源域的信息来提高未标记目标域的分类性能。最近的方法探索域不变和类判别表示来解决这个任务。然而，这些方法忽略了领域对齐学习和类别区分学习之间的相互作用。因此，域对齐和类歧视之间的缺失或不充分的权衡容易产生负迁移问题。本文提出了动态加权学习（DWL）方法，以避免过度对齐学习导致的区分度消失问题和过度判别学习导致的领域错位问题。在技术上，DWL通过引入对齐度和区分度，动态地对对齐和区分度的学习损失进行加权。此外，在我们的工作中，首先考虑到跨域的样本不平衡的问题，我们解决了这个问题，通过加权的样本，以保证跨域的信息平衡。大量的实验表明，DWL具有良好的性能在几个基准数据集。
2021-03-22 cs.LG
Joint Information Preservation for Heterogeneous Domain Adaptation
Jiangnan University（江南大学）
领域自适应的目的是利用源领域的知识辅助目标领域的建模任务。由于数据采集方法的多样性，这两个领域往往位于不同的特征空间，这就给异构领域自适应（HDA）带来了更大的挑战。HDA的一个核心问题是如何在适应过程中保持原始数据的信息。在本文中，我们提出了一个联合信息保存方法来处理这个问题。该方法从两个方面保留了原始数据的信息。一方面，虽然配对样本经常存在于HDA的两个域之间，但当前的算法没有充分利用这些信息。该方法通过最大化共享子空间中成对样本的相关性来保持成对信息。另一方面，该方法改进了保留原始数据结构信息的策略，同时保留了局部和全局结构信息。最后，通过分布匹配实现联合信息保持。实验结果表明，该方法优于国家的最先进的HDA算法。
2019-05-22 cs.CV cs.LG stat.ML
Active Domain Adaptation via Clustering Uncertainty-weighted Embeddings
Georgia Tech（佐治亚理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Boston University（波士顿大学）
将深度神经网络推广到新的目标域对其现实世界的效用至关重要。在实践中，它可能是可行的，以获得一些目标数据标记，但成本效益，它是可取的，选择一个最大的信息子集通过主动学习（AL）。我们研究了主动领域自适应（Active DA）领域转移下的人工智能问题。我们展示了现有的AL方法仅基于模型的不确定性或多样性采样是不太有效的主动DA。我们提出了聚类不确定性加权嵌入（CLUE），主动DA，执行不确定性加权聚类，以确定目标实例的标签是不确定的模型和不同的特征空间的一种新的标签采集策略。CLUE在图像分类的6个不同域移位的学习设置中始终优于Active DA和AL的竞争标签获取策略。
2021-10-10 cs.CV cs.LG
Self-adaptive Re-weighted Adversarial Domain Adaptation
Chongqing University（重庆大学）
现有的对抗性领域自适应方法主要考虑边缘分布，这些方法可能导致欠迁移或负迁移。为了解决这个问题，我们提出了一种自适应重加权对抗领域自适应方法，试图从条件分布的角度来增强域对齐。为了促进正迁移和对抗负迁移，我们降低了对齐特征的对抗性损失的权重，同时增加了那些通过条件熵测量的对齐不良特征的对抗性力量。此外，利用源样本和伪标记的目标样本的三重丢失在混淆域上被采用。这种度量损失确保类内样本对的距离比类间样本对更接近，以实现类级对齐。通过这种方式，可以在协同训练过程中同时捕获高精度的伪标记目标样本和语义对齐。我们的方法实现了理想源和目标假设的低联合误差。然后，预期的目标误差可以是遵循本-大卫定理的上限。实验结果表明，该模型在标准领域自适应数据集上的性能优于现有技术。
2020-06-02 cs.CV cs.LG
Joint Distribution Optimal Transportation for Domain Adaptation
Université de Bretagne Sud（南布列塔尼大学）；IRISA（计算机科学与随机系统研究所）；CNRS（法国国家科学研究中心）；Lagrange（拉格朗日研究所）；OCA（蔚蓝海岸天文台）；Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣埃蒂安让·莫奈大学）；Lab. Hubert Curien（于贝尔·居里安实验室）；Normandie Universite（诺曼底大学）；Université de Rouen（鲁昂大学）；LITIS（信息处理与系统实验室）
本文研究了无监督域自适应问题，即在没有任何标记样本的情况下，利用已知标记的源域中的知识来估计给定目标域中的预测函数$f$.我们的工作做了以下假设：存在两个域$\mathcal{P}_s$和$\mathcal{P}_t$的联合特征/标签空间分布之间的非线性变换。我们提出了一个解决方案，这个问题的最佳运输，允许恢复估计的目标$\mathcal{P}^f_t=(X,f(X))$通过同时优化最佳耦合和$f$。我们表明，我们的方法对应于目标误差上的界的最小化，并提供了一个有效的算法解决方案，收敛性证明。我们的方法的多功能性，无论是在类的假设或损失函数证明与现实世界的分类和回归问题，我们达到或超过国家的最先进的结果。
2017-10-22 cs.LG stat.ML
Meta Adaptation using Importance Weighted Demonstrations
University of Southern California（南加州大学）
提出一种基于重要性加权过去示范的元适应算法，解决任务分布动态变化下的模仿学习泛化问题，并在视觉导航任务上验证了其少样本适应能力。
2023-07-03 cs.AI cs.LG stat.ML
Joint Learning of Pre-Trained and Random Units for Domain Adaptation in Part-of-Speech Tagging
MIT（麻省理工学院）；CEA（法国原子能和替代能源委员会）；UQÀM（魁北克大学蒙特利尔分校）
微调神经网络被广泛用于将有价值的知识从高资源领域转移到低资源领域。在标准的微调方案中，源问题和目标问题使用相同的架构进行训练。虽然能够适应新的领域，预先训练的单位与学习不常见的目标特定模式的斗争。在本文中，我们建议用归一化、加权和随机初始化的单元来增强目标网络，这些单元在保持有价值的源知识的同时产生更好的适应性。我们对社交媒体文本（Tweets域）的POS标记的实验表明，我们的方法在3个常用的数据集上实现了最先进的性能。
2019-04-07 cs.CL cs.LG stat.ML
Domain Adaptation as a Problem of Inference on Graphical Models
Carnegie Mellon University（卡内基梅隆大学）；University of Melbourne（墨尔本大学）；Unisound AI Lab（优必选人工智能实验室）
本文关注数据驱动的无监督领域自适应，其中预先不知道联合分布如何跨域变化，即，数据分布的哪些因素或模块保持不变或跨域改变。为了开发一种多源域领域自适应的自动化方法，我们提出使用图形模型作为一种紧凑的方式来编码联合分布的变化特性，它可以从数据中学习，然后将领域自适应视为图形模型上的贝叶斯推理问题。这样的图形模型区分分布的恒定和变化模块，并指定跨域的变化的属性，其用作变化模块的先验知识，用于导出目标域中的目标变量$Y$的后验。这提供了领域自适应的端到端框架，其中可以直接并入关于联合分布如何改变的附加知识（如果可用的话）以改进图形表示。我们将讨论如何基于容差的领域自适应可以放在这个保护伞下。在合成数据和真实数据上的实验结果证明了所提出的领域自适应框架的有效性。该代码可在https://github.com/mgong2/DA_Infer上获得。
2020-10-23 cs.LG stat.ML
Switching EEG Headsets Made Easy: Reducing Offline Calibration Effort Using Active Weighted Adaptation Regularization
DataNova；U.S. Army Research Laboratory（美国陆军研究实验室）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
头戴式脑电图仪是脑机接口中最常用的传感设备。在实际应用中，将数据从一个用户会话外推到另一个用户会话是有优势的。然而，如果数据来自不同的硬件系统，这些优点是有限的，这往往是不同的应用空间之间的变化。目前，这需要重新校准分类器，这对人们使用此类系统的兴趣产生了负面影响。在本文中，我们采用主动加权自适应正则化（AwAR），它集成了加权自适应正则化（WAR）和主动学习，以加快校准过程。WAR利用来自先前耳机的标记数据并处理类别不平衡，并且主动学习从新耳机中选择最具信息量的样本进行标记。单次试验的事件相关电位分类实验表明，AwAR可以显着提高分类精度，给定相同数量的标记样本从新的耳机。换句话说，AwAR可以有效地减少新耳机所需的标记样本数量，给定所需的分类精度，这表明在整理数据以用于大规模迁移学习应用中的价值。
2017-02-09 cs.HC cs.LG
Feature-Weighted MMD-CORAL for Domain Adaptation in Power Transformer Fault Diagnosis
Faculty of Engineering and Computer Science（工程与计算机科学学院）；University of Victoria（维多利亚大学）
针对电力变压器故障诊断中数据分布偏移导致模型迁移失效的问题，提出结合MMD、CORAL与K-S统计量特征加权的领域自适应方法，在变压器数据集上较微调与MMD-CORAL分别提升7.9%和2.2%，鲁棒性更优。
2025-05-20 cs.LG
Joint Domain Alignment and Discriminative Feature Learning for Unsupervised Deep Domain Adaptation
Zhejiang University（浙江大学）
最近，计算机视觉和机器学习社区的深度领域自适应已经投入了相当大的努力。然而，大多数现有的工作只集中在学习共享的特征表示，通过最小化不同领域的分布差异。由于所有的磁畴对齐方法都只能减少而不能消除磁畴偏移。目标域样本分布在聚类边缘附近或远离其对应的类中心，很容易被从源域学习的超平面误分类。为了缓解这个问题，我们提出了联合域对齐和判别特征学习，这可能有利于域对齐和最终分类。提出了基于实例的鉴别特征学习方法和基于中心的鉴别特征学习方法，这两种方法都保证了域不变特征具有更好的类内紧致性和类间可分性。大量的实验表明，在共享特征空间中学习区分性特征可以显著提高深度领域自适应方法的性能。
2018-11-03 cs.CV cs.LG stat.ML
Driver Drowsiness Estimation from EEG Signals Using Online Weighted Adaptation Regularization for Regression (OwARR)
DataNova；U.S. Army Research Laboratory（美国陆军研究实验室）；University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；DCS Corp（DCS公司）；University of Technology, Sydney（悉尼科技大学）；National Chiao-Tung University（国立交通大学）
阻碍脑机接口（BCI）从实验室环境过渡到现实生活应用的一个巨大挑战是高性能和鲁棒的学习算法的可用性，其可以有效地处理个体差异，即，可以应用于具有零或非常少的对象特定校准数据的新对象的算法。迁移学习和领域自适应已被广泛用于这一目的。然而，大多数以前的作品集中在分类问题。本文考虑了脑机接口中一个重要的回归问题，即从脑电信号中在线估计驾驶员的困倦程度。通过将模糊集与领域自适应相结合，提出了一种新的在线加权自适应正则化回归（OwARR）算法以减少特定对象的校准数据量，并提出了一种源域选择（SDS）方法以节省OwARR算法一半的计算量。使用模拟驾驶数据集与15个科目，我们表明，OwARR和OwARR-SDS可以实现显着较小的估计误差比其他几种方法。我们还对OwARR和OwARR-SDS的鲁棒性进行了全面的分析。
2017-02-09 cs.HC cs.LG
On Deep Domain Adaptation: Some Theoretical Understandings
与浅领域自适应相比，深领域自适应的最新进展表明，它可以实现更高的预测性能和更强的处理结构数据的能力（例如，图像和顺序数据）。深度领域自适应的基本思想是在联合空间中弥合源域和目标域之间的差距，使得在标记的源数据上训练的监督分类器可以很好地转移到目标域。这个想法当然是直观和强大的，但是，有限的理论理解已经发展到支持其基础原则。在本文中，我们提供了一个严格的框架来解释为什么它是可能的，以关闭在联合空间中的目标和源域的差距。更具体地说，我们首先研究从源域到目标域执行迁移学习时所产生的损失。这提供了一个理论，解释和概括现有的工作，在深领域自适应，主要是经验。这使得我们能够进一步解释为什么闭合联合空间中的间隙可以直接最小化两个域之间的迁移学习所引起的损失。据我们所知，这提供了第一个理论结果，该结果表征了联合空间上的直接约束和通过深度领域自适应的迁移学习的增益
2019-06-19 cs.AI cs.LG stat.ML
Joint Contrastive-Adversarial Representation Learning for Unsupervised Domain Adaptation
该研究提出JCAR框架用于无监督域适应，结合对比学习与对抗域对齐学习公共表示，建立非渐近超额风险界，在多个数据集上验证了迁移增益。
2026-10-14 cs.LG stat.ML
Weighted Joint Maximum Mean Discrepancy Enabled Multi-Source-Multi-Target Unsupervised Domain Adaptation Fault Diagnosis
Zhejiang University（浙江大学）；University of Illinois Urbana–Champaign Institute（伊利诺伊大学厄巴纳-香槟分校研究院）；Huazhong University of Science and Technology（华中科技大学）
本文提出加权联合最大均值差异实现的多源-多目标无监督域适应方法（WJMMD-MDA），通过改进的加权距离损失实现多源域与多目标域间的域对齐，学习域不变且具判别性的特征，首次在故障诊断领域实现多源-多目标场景下的跨域诊断，并在三个数据集上验证了其优越性。
2023-11-23 cs.AI cs.LG
Deep Adversarial Domain Adaptation Based on Multi-layer Joint Kernelized Distance
The Hong Kong Polytechnic University（香港理工大学）
领域自适应是指将从源数据中学习到的模型应用于类别相同但分布不同的目标数据的学习场景。在广泛应用的同时，源数据与目标数据的分布差异会严重影响自适应性能。这个问题最近已经解决了采用对抗性学习和独特的适应性能已被报道。提出了一种基于多层联合核化距离度量的深度对抗性领域自适应模型。通过利用从深度网络提取的抽象特征，计算预测为$m$第类的$j$第类目标数据与$m'$第类的所有源数据之间的多层联合核化距离（MJKD）。在MJKD的基础上，在每个类别中使用类平衡的选择策略，选择最有可能被正确分类的目标数据，并使用其伪标签将其视为标记数据。然后使用对抗架构来绘制新生成的标记训练数据和剩余的目标数据彼此接近。以这种方式，目标数据本身提供有价值的信息以增强领域自适应。实验结果表明，该方法可以实现更好的性能比一些国家的最先进的方法。
2020-10-09 cs.LG
Federated Covariate Shift Adaptation for Missing Target Output Values
University of Science and Technology of China（中国科学技术大学）；Quzhou University（衢州学院）
最新的多源协变量移位算法是一种有效的超参数优化算法，用于丢失目标输出。在本文中，我们将该算法扩展到联邦学习的框架。针对联邦学习和协变量移位自适应中的数据孤岛问题，提出了目标风险的联邦域自适应估计，该估计是渐近无偏的，具有期望的渐近方差性质.我们为目标任务构建了一个加权模型，并提出了联邦协变量移位自适应算法，该算法在我们的环境中工作得更好。我们的方法的有效性是合理的理论和经验。
2023-02-28 cs.LG stat.ML
Joint Contrastive Learning for Unsupervised Domain Adaptation
Seoul National University（首尔国立大学）；Hyundai Motor Group（现代汽车集团）
通过匹配边缘分布来增强特征可转移性已经导致了领域自适应的改进，尽管这是以特征鉴别为代价的。特别是，理想的联合假设误差的目标误差上限，这是以前被认为是分钟，已被发现是显着的，削弱其理论保证。在本文中，我们提出了一个替代上限的目标误差，明确考虑联合误差，使其更易于管理。在理论分析的基础上，提出了一种结合源域和目标域的联合优化框架。此外，我们引入了联合对比学习（JCL）来寻找类级判别特征，这对于最小化联合误差至关重要。在坚实的理论框架下，JCL使用对比损失来最大化特征与其标签之间的互信息，这相当于最大化条件分布之间的Jensen-Shannon散度。在两个真实数据集上的实验表明，JCL优于最先进的方法。
2020-06-18 cs.CV cs.LG
Joint Tensor-Train Parameterization for Efficient and Expressive Low-Rank Adaptation
Georgia Institute of Technology（佐治亚理工学院）；National Taiwan University（国立台湾大学）；University of Palermo（帕尔米奥大学）；NVIDIA Research（NVIDIA研究）；Hon-Hai Quantum Computing Research Center（鸿海量子计算研究中心）
本文提出TensorGuide，一种基于统一张量列结构的联合低秩适配框架，通过生成相关LoRA矩阵，在不增加参数的情况下提升表现力与泛化，并在量子点分类和GPT-2微调中优于标准LoRA和TT-LoRA。
2025-06-19 cs.AI cs.LG stat.ML
Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种无监督的领域自适应方法，该方法训练共享嵌入来对齐输入（域）和输出（类）的联合分布，使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐，而且标签也对齐。我们提出了一个新的目标函数，鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
Multiple Source Adaptation and the Renyi Divergence
Google Research（谷歌研究院）；Courant Institute（柯朗研究所）；Tel Aviv Univ.（特拉维夫大学）；New York University（纽约大学）
本文提出了一种新的理论研究的一般问题的多源适应使用的概念Renyi分歧。我们的结果建立在我们以前的工作[12]的基础上，但在几个方向上显着拓宽了这项工作的范围。我们扩展以前的多源损失保证基于分布加权组合的任意目标分布P，不一定是混合的源分布，分析已知和未知的目标分布的情况下，并证明了一个下界。我们进一步扩展我们的界限，以处理的情况下，学习者收到一个近似的分布，而不是每个源的确切的，并表明，类似的损失保证可以实现依赖于近似和真实分布之间的分歧。我们还分析的情况下，源域的标签功能有些不同。最后，我们报告了人工数据集和情感分析任务的实验结果，显示了分布加权组合的性能优势和基于Renyi散度的边界质量。
2012-05-09 cs.LG stat.ML
Causal Generative Domain Adaptation Networks
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Sydney（悉尼大学）
域适应中的一个基本问题是理解和利用跨域的分布变化。为此，我们首先提出了一个灵活的生成域自适应网络（G-DAN）与特定的潜变量，以捕捉跨域的功能生成过程中的变化。通过显式地对变化进行建模，甚至可以使用G-DAN中的潜变量的新值的生成过程在新的域中生成数据。在实践中，一起生成所有特征的过程可能涉及高维潜变量，需要处理高维分布，并且难以从几个源域中学习域变化。有趣的是，通过进一步利用联合分布的因果表示，我们然后将联合分布分解为单独的模块，每个模块涉及不同的低维潜变量，可以单独学习，从而产生因果G-DAN（CG-DAN）。这提高了学习过程的统计和计算效率。最后，通过匹配目标域中的特征分布，我们可以恢复目标域的联合分布，并推导出目标域的学习机。我们证明了G-DAN和CG-DAN在域生成和跨域预测的合成和真实数据实验的有效性。
2018-06-28 cs.LG stat.ML
Link Adaptation Using Joint-Thompson Sampling
IIT Hyderabad（印度海得拉尔理工学院）
研究如何通过链路自适应算法选择MCS类型，提出联合汤普森采样算法，利用MCS成功概率有序的特点，采用多元有序贝塔分布作为先验，解决现有算法在特定场景的不足，实现各场景下有竞争力的吞吐量和稳健性能。
2026-07-14 cs.LG
Multi-Purposing Domain Adaptation Discriminators for Pseudo Labeling Confidence
Washington State University（华盛顿州立大学）
通常，领域自适应使用域分类器（domain classifier）来学习域不变特征表示，使得在标记的源数据上训练的分类器将很好地推广到未标记的目标数据。源自半监督学习的一系列研究使用伪标记来直接为未标记的目标数据生成“伪标签”，并在现在标记的目标数据上训练分类器，其中基于某种置信度来选择或加权样本。在本文中，我们提出了多用途的编码，不仅有助于产生域不变的表示，但也提供伪标签的信心。
2019-07-17 cs.LG stat.ML
Improving Speaker-independent Speech Emotion Recognition Using Dynamic Joint Distribution Adaptation
Southeast University（东南大学）；Pazhou Lab（琶洲实验室）；Imperial College London（伦敦帝国理工学院）
针对跨说话人分布偏移导致的语音情感识别性能下降，提出多源域适配框架下的DJDA，通过JDA及基于A-距离动态平衡MDA与CDA，学习说话人不变情感特征并取得优于SOTA方法的效果。
2024-01-18 cs.LG cs.SD eess.AS
Algorithm-Dependent Bounds for Representation Learning of Multi-Source Domain Adaptation
Université Laval（拉瓦尔大学）
本文利用信息论工具从表示学习视角分析多源域适应，为监督和无监督设置提供算法相关的泛化界限，并提出一种通过联合对齐隐式解决目标偏移的深度MDA算法，在保持性能相当的同时提升了内存效率。
2023-04-04 cs.LG stat.ML
Joint Distribution Alignment for Universal Domain Adaptation
School of Software Engineering, South China University of Technology（华南理工大学软件工程学院）；School of Future Technology, South China University of Technology（华南理工大学未来技术学院）；College of Computer Science, Chongqing University（重庆大学计算机学院）
本文针对通用域适应（UniDA）场景，推导其泛化误差上界，提出JAUA算法并结合渐进式伪标签方法，在6个公开图像数据集上验证了该算法的优越性。
2026-08-26 cs.CV cs.LG
A Fuzzy-set-based Joint Distribution Adaptation Method for Regression and its Application to Online Damage Quantification for Structural Digital Twin
Politecnico di Milano（米兰理工大学）；Beihang University（北京航空航天大学）
在线损害量化遭受不充分的标记数据，削弱了其准确性。在这种情况下，采用对来自类似结构/损伤的历史标记数据或模拟数字孪生数据的领域自适应来辅助当前诊断任务将是有益的。然而，大多数领域自适应方法是为分类而设计的，并且不能有效地解决损伤量化，这是一个具有连续实值标签的回归问题。本研究首先提出一种新的领域自适应方法--基于在线模糊集的回归联合分布自适应方法。通过模糊集将连续实值标签转换为模糊类别标签，同时度量边缘和条件分布差异，实现损伤量化任务的领域自适应。基于该方法的优越性，提出了一种基于领域自适应的在线损伤量化框架。最后，以某型直升机为例，进行了不同损伤位置、不同损伤类型和从仿真到试验的3种损伤领域自适应，验证了该方法在真实环境下能够显著提高损伤量化的准确性。预计该方法将应用于考虑个体差异的船队级数字孪生。
2023-02-07 cs.CE cs.LG
Weighted Unsupervised Domain Adaptation Considering Geometry Features and Engineering Performance of 3D Design Data
Cho Chun Shik Graduate School of Mobility, KAIST（KAIST赵春植移动研究生院）；Narnia Labs（纳尼亚实验室）
针对3D设计数据深度学习预测在新域不准确的问题，提出考虑几何特征与工程性能的双加权无监督域适应方法，通过对抗训练提取域不变特征并避免负迁移，有效降低目标风险并替代传统有限元分析。
2023-09-08 cs.LG
Domain Adaptation via Maximizing Surrogate Mutual Information
Peking University（北京大学）
无监督领域自适应（UDA）的目的是预测来自目标域的未标记数据，同时访问来自源域的标记数据。在这项工作中，我们提出了一个新的框架，称为SIDA（代理互信息最大化领域自适应）具有强有力的理论保证。具体而言，SIDA通过最大化特征之间的互信息（MI）来实现自适应。在该框架中，代理联合分布模型的未标记的目标域的潜在的联合分布。我们的理论分析通过用MI和替代分布偏差限制目标领域的预期风险来验证SIDA。实验表明，我们的方法是与国家的最先进的无监督适应方法对标准的UDA任务。
2022-10-14 cs.LG
Conformal Bayes under Label Shift: Post-Hoc Calibration vs. In-Training Adaptation
CROID Research and aSSIST University（CROID研究院和aSSIST大学）
研究标签偏移下共形贝叶斯方法，通过重要性加权共形校准恢复目标域覆盖，比较事后校准与训练内适应两种策略，后者在偏差训练中起到去偏作用。
2026-06-29 cs.LG stat.ML
Hidden Covariate Shift: A Minimal Assumption For Domain Adaptation
Sidetrade（Sidetrade公司）；CentraleSupélec（中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）
无监督领域自适应的目的是在源域上使用标记数据学习模型，以便在目标域的未标记数据上表现良好。当前的方法集中于学习\textit{Domain Invariant Representations}。它依赖于这样的表示非常适合学习目标域中的监督任务的假设。我们更相信用于执行领域自适应的更好和最小假设是\textit{Hidden Covariate Shift}假设。这种方法包括学习数据的表示，使得以该表示为条件的标签分布是域不变的。从隐藏的协变量偏移假设，我们推导出一个优化过程，该过程学习匹配目标域上的估计联合分布和源域上的重新加权联合分布。重新加权在表示空间中完成，并在优化过程中学习。我们显示的合成数据和现实世界的数据，我们的方法处理\textit{Target Shift}和\textit{Concept Drift}。我们报告了Amazon Reviews数据集\cite{blitzer2007biographies}的最新性能，证明了这种方法的可行性。
2019-07-29 cs.LG stat.ML
Locally Weighted Regression Pseudo-Rehearsal for Online Learning of Vehicle Dynamics
Georgia Institute of Technology（佐治亚理工学院）
我们考虑的问题，在线适应的神经网络设计代表车辆动力学。该神经网络模型旨在由MPC控制律使用以自主地控制车辆。这个问题是具有挑战性的，因为输入和目标分布都是非平稳的，和天真的方法在线适应导致灾难性遗忘，这反过来又会导致控制器故障。提出了一种新的在线学习方法，它结合了伪排练方法和局部加权投影回归。我们证明了局部加权投影回归伪排练（LW-PR $^2$）方法在模拟和1/5比例自动驾驶汽车收集的大型真实世界数据集上的有效性。
2019-05-13 cs.LG cs.RO
A General Upper Bound for Unsupervised Domain Adaptation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在这项工作中，我们提出了一个新的目标误差的上限，以解决无监督领域自适应的问题。最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到新的任务。此外，Ben-David等人（2010）提出的理论提供了在传递知识时的目标误差的上限，可以概括为同时最小化源误差和边缘分布之间的距离。然而，基于该理论的常用方法通常忽略联合误差，使得在匹配边缘分布时，来自不同类别的样本可能混合在一起。在这种情况下，无论我们如何最小化的边缘差异，目标误差是没有界的，由于一个不断增加的联合误差。为了解决这个问题，我们提出了一个一般的上限考虑联合误差，这样不理想的情况下，可以适当地惩罚。此外，我们还利用约束假设空间进一步形式化了一个更严格的边界，以及一个新的跨边界差异来衡量假设之间的差异，这在对抗性学习过程中消除了不稳定性。大量的经验证据表明，我们的建议优于相关的方法在标准的领域自适应基准的图像分类出错率。
2019-10-04 cs.CV cs.LG stat.ML
Consistency-Preserving Concept Erasure via Unsafe-Safe Pairing and Directional Fisher-weighted Adaptation
Korea University（韩国大学）；New York University（纽约大学）；Korea Institute of Science（韩国科学技术院）
本文提出PAIR框架，通过不安全-安全配对和方向性Fisher加权适应，实现对有害概念的精细化擦除，保持生成内容的结构和语义一致性。
2026-02-05 cs.CV cs.LG
A Unified Joint Maximum Mean Discrepancy for Domain Adaptation
Dalian University of Technology（大连理工大学）；Baidu Research（百度研究院）；Tulane University（杜兰大学）；University of Shenzhen（深圳大学）；University of Queensland（昆士兰大学）
领域自适应近年来受到了广泛的关注，提出了许多算法，取得了令人瞩目的进展。然而，它仍然没有充分探讨有关联合概率分布（P（X，Y））的距离为这个问题，因为它的经验估计来自最大平均差异（联合最大平均差异，JMMD）将涉及复杂的张量积算子，很难操作。为了解决这一问题，本文从理论上推导出了一种易于优化的JMMD统一形式，并证明了边缘、类条件和加权类条件概率分布距离是我们在不同标签核下的特例，其中加权类条件概率分布距离不仅可以实现类别级的跨域特征对齐，还可以利用类先验概率来处理不平衡数据集。从揭示的统一JMMD，我们说明，JMMD降低的特征-标签的依赖性（区分度），有利于分类，它是敏感的标签分布偏移时，标签核是加权类条件。因此，我们利用Hilbert Schmidt独立性准则，提出了一种新的MMD矩阵，以促进依赖性，并设计了一种新的标签核，是强大的标签分布偏移。最后，我们在多个跨域数据集上进行了大量的实验，以证明所揭示的理论结果的有效性和有效性。
2021-01-25 cs.LG
Between Resolution Collapse and Variance Inflation: Weighted Conformal Anomaly Detection in Low-Data Regimes
Intelligent Systems Research Group (ISRG)（智能系统研究组）
本文提出加权符合性异常检测方法，解决低数据环境下因分布偏移导致的分辨率崩溃与方差膨胀问题，通过连续推理放松实现局部适应与尾部分辨率解耦，提升统计效力。
2026-03-24 cs.LG stat.ME stat.ML
Trust-Aware Joint Feature-Prediction Discrepancy for Robust Domain Adaptation
School of Engineering and Built Environment, Griffith University, Australia（工程与环境学院，格里菲斯大学，澳大利亚）
提出信任感知域适应框架，通过联合特征-预测差异（JFPD）结合不确定性信任和语义对齐信任，实现可靠性感知的域差异估计，提升域适应性能。
2026-05-24 cs.AI cs.CV cs.LG
Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation
Georgia Institute of Technology（佐治亚理工学院）；Baidu USA（百度美国）
尽管全监督动作分割技术最近取得了进展，但性能仍然不完全令人满意。一个主要的挑战是时空变化的问题（例如，不同的人可能以不同的方式进行相同的活动）。因此，我们利用未标记的视频来解决这个问题，通过重新制定的动作分割任务作为一个跨域的问题与域的差异所造成的时空变化。为了减少这种差异，我们提出了自监督时间领域自适应（SSTDA），它包含两个自监督辅助任务（二进制和顺序域预测），以联合对齐嵌入局部和全局时间动态的跨域特征空间，实现了比其他领域自适应（DA）方法更好的性能。三个具有挑战性的基准数据集（GTEA、50份沙拉和早餐），SSTDA的表现远远优于当前最先进的方法（例如，对于F1@25评分，早餐从59.6%到69.1%，50沙拉从73.4%到81.5%，GTEA从83.6%到89.1%），并且仅需要65%的标记的训练数据来获得可比性能，这证明了在变化中适应未标记的目标视频的有用性。源代码可在https://github.com/cmhungsteve/SSTDA上获得。
2020-03-18 cs.CV cs.LG eess.IV
Joint Source-Environment Adaptation for Deep Learning-Based Underwater Acoustic Source Ranging
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stony Brook University（石溪大学）
提出一种无监督领域自适应方法，通过结合接收信号能量估计微调预训练深度学习模型，提升水下声源测距在新环境中的泛化性能。
2025-03-30 cs.LG cs.SD eess.AS
Weighted QMIX: Expanding Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning
University of Oxford（牛津大学）
QMIX是一种流行的$Q$ -学习算法，用于集中训练和分散执行范例中的协作MARL。为了实现简单的分散化，QMIX限制了联合动作$Q$ -它可以表示为每个代理效用的单调混合的值。然而，这种限制阻止它表示价值函数，其中代理对其动作的排序可以依赖于其他代理的动作。为了分析这种代表性的限制，我们首先形式化的目标QMIX优化，这使我们能够查看QMIX作为一个运营商，首先计算的$Q$学习目标，然后将它们投影到空间表示的QMIX。该投影返回可表示的$Q$值，该值使所有联合动作的未加权平方误差最小化。我们特别表明，这种预测可能无法恢复最优策略，即使访问$Q^*$，这主要是源于平等的权重放在每个联合行动。我们通过在预测中引入权重来纠正这一点，以便更加重视更好的联合行动。我们提出了两个加权方案，并证明他们恢复正确的最大行动的任何联合行动$Q$ -值，因此$Q^*$以及。基于我们的分析和结果的表格设置，我们介绍了两个可扩展的版本，我们的算法，中央加权（CW）QMIX和乐观加权（OW）QMIX和表现出改善性能的捕食者-猎物和具有挑战性的多智能体星际争霸基准任务。
2020-10-22 cs.LG cs.MA stat.ML
Joint Progressive Knowledge Distillation and Unsupervised Domain Adaptation
École de technologie supérieure（高等技术学院）；Genetec Inc.（Genetec公司）
目前，设计和操作数据分布的差异以及大的计算复杂性是在现实世界应用中采用CNN的限制因素。例如，人员重新识别系统通常依赖于分布式相机组，其中每个相机具有不同的捕获条件。这可以转化为源（例如实验室设置）和目标（例如操作相机）域之间的相当大的转变。考虑到为每个目标域中的微调而捕获的注释图像数据的成本，无监督领域自适应（UDA）已成为适应CNN的流行方法。此外，提供高准确性的最先进的深度学习模型通常依赖于对于实时应用来说过于复杂的架构。尽管最近提出了几种压缩和UDA方法来克服这些限制，但它们不允许优化CNN以同时解决这两个问题。在本文中，我们提出了一个未探索的方向-CNN的联合优化，以提供一个压缩模型，该模型适用于给定的目标域。特别是，所提出的方法执行无监督的知识蒸馏（KD）从一个复杂的教师模型到一个紧凑的学生模型，通过利用源和目标数据。它还改进了现有的UDA技术，逐步教学生关于域不变的功能，而不是直接适应目标域数据的紧凑模型。我们的方法进行了比较，对国家的最先进的压缩和UDA技术，使用两个流行的分类数据集UDA --31和ImageClef-DA。在这两个数据集，结果表明，我们的方法可以达到最高水平的准确性，同时需要一个相当或更低的时间复杂度。
2020-05-16 cs.CV cs.LG stat.ML
Direction-Aware Joint Adaptation of Neural Speech Enhancement and Recognition in Real Multiparty Conversational Environments
Kyoto University（京都大学）；RIKEN（理化学研究所）；National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所（AIST））；Institut Polytechnique de Paris（巴黎理工学院）
本文介绍了嘈杂的语音识别的增强现实耳机，帮助真正的多方对话环境中的口头交流。在模拟环境中积极研究的主要方法是基于以监督方式训练的深度神经网络（DNN）顺序执行语音增强和自动语音识别（ASR）。然而，在我们的任务中，由于训练和测试条件以及用户的头部运动之间的不匹配，这种预先训练的系统无法工作。为了只增强目标说话者的话语，我们使用基于DNN的语音掩码估计器的波束形成，该估计器可以自适应地提取与头部相对特定方向相对应的语音分量。我们提出了一种半监督自适应方法，在运行时使用干净的语音信号与地面实况transmittance和嘈杂的语音信号与高置信度估计transmittance联合更新的掩模估计器和ASR模型。使用最先进的远程语音识别系统进行的比较实验表明，所提出的方法显着提高了ASR性能。
2022-07-15 cs.LG cs.SD eess.AS
Tunable Domain Adaptation Using Unfolding
Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文提出两种基于可解释展开网络的回归任务域适应方法，通过可控参数实现领域适应，验证了在压缩感知中的有效性。
2026-03-27 cs.LG
Wasserstein Distance-Weighted Adversarial Network for Cross-Domain Credit Risk Assessment
New York University（纽约大学）；Brown University（布朗大学）；Columbia University（哥伦比亚大学）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Irvine（加州大学欧文分校）
本文提出WD-WADA框架，利用Wasserstein距离对齐源域和目标域，并通过加权策略处理数据不平衡，以缓解冷启动问题并提升跨域信用风险评估的准确性与稳定性。
2024-09-27 cs.LG
On Learning Invariant Representation for Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Montreal（微软研究院蒙特利尔）
由于深度神经网络具有学习丰富表示的能力，无监督领域自适应的最新进展集中在学习在源域上实现小误差的域不变特征。希望学习的表示，连同从源域学习的假设，可以推广到目标域。在本文中，我们首先构造一个简单的反例，表明与通常的信念相反，上述条件不足以保证成功的领域自适应。特别是，反例展示了\emph{conditional shift}：输入特征的类条件分布在源域和目标域之间变化。为了给出领域自适应的充分条件，我们提出了一个自然的和可解释的泛化上限，明确考虑到上述转变。此外，我们揭示了新的光的问题，通过证明一个信息理论的下限的联合错误的\emph{any}领域自适应方法，试图学习不变表示。我们的结果表征了学习不变表示和实现两个域上的小联合误差时，从源到目标的边缘标签分布不同的基本权衡。最后，我们在真实世界的数据集上进行实验，证实了我们的理论发现。我们相信这些见解有助于指导未来领域自适应和表示学习算法的设计。
2019-05-30 cs.AI cs.LG stat.ML
