Practicality of generalization guarantees for unsupervised domain adaptation with neural networks
Chalmers University of Technology（查尔姆斯理工大学）
理解泛化对于自信地设计和部署机器学习模型至关重要，特别是当部署意味着数据域的转变时。对于这样的领域自适应问题，我们寻求的泛化边界是易处理的可计算和紧。如果能够达到这些期望值，则边界可以作为部署中的适当性能的保证。然而，在深度神经网络是选择模型的应用中，获得满足这些的结果仍然是一个未解决的挑战;大多数现有的边界要么是空洞的，要么具有不可估计的条款，即使在有利的条件下。在这项工作中，我们评估现有的界限，从文献中有可能满足我们的desiderata的领域自适应图像分类任务，其中深神经网络是首选。我们发现，所有的界限是空洞的，样本泛化条款占了很大一部分观察到的松散，特别是当这些条款与域转移的措施相互作用。为了克服这一点，并达到最严格的可能结果，我们将每个边界与最近的数据相关的PAC-Bayes分析相结合，大大提高了保证。我们发现，当域重叠可以假设，一个简单的重要性加权扩展以前的工作提供了最紧密的估计范围。最后，我们研究哪些条款占主导地位的界限，并确定进一步改进的可能方向。
2023-03-15 cs.LG stat.ML
PAC-Bayesian Domain Adaptation Bounds for Multiclass Learners
University of Pittsburgh（匹兹堡大学）；Yonsei University（延世大学）
多类神经网络是现代无监督领域自适应的常用工具，但在自适应文献中缺乏对其非均匀样本复杂性的适当理论描述。为了填补这一空白，我们提出了第一个多类学习者的PAC贝叶斯适应界限。我们还提出了我们考虑的多类分布发散的第一近似技术，以方便我们的边界的实际使用。对于依赖于吉布斯预测的分歧，我们提出了额外的PAC贝叶斯适应范围，消除了效率低下的蒙特卡洛估计的需要。从经验上讲，我们测试我们提出的近似技术的有效性，以及一些新的设计概念，我们包括在我们的界限。最后，我们应用我们的边界来分析一个常见的适应算法，使用神经网络。
2022-07-12 cs.LG
Sequential Domain Adaptation by Synthesizing Distributionally Robust Experts
Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；The Hong Kong Polytechnic University（香港理工大学）；Stanford University（斯坦福大学）；VinAI Research（VinAI研究院）
最小二乘估计，当在几个目标域样本上训练时，可能预测不佳。有监督的领域自适应旨在通过利用来自接近目标分布的源分布的附加标记的训练样本来提高预测精度。鉴于现有的数据，我们研究新的策略，合成一个家庭的最小二乘估计专家，是强大的矩条件。当这些矩条件指定使用Kullback-Leibler或Wasserstein型分歧，我们可以找到有效地使用凸优化的鲁棒估计。我们使用伯恩斯坦在线聚合算法的建议家庭的强大的专家生成预测的顺序流的目标测试样本。对实际数据的数值实验表明，稳健策略可以优于经验最小二乘估计的非稳健插值。
2021-06-01 cs.LG math.OC stat.ML
Ensemble Multi-Source Domain Adaptation with Pseudolabels
Seoul National University（首尔国立大学）
给定带有标签的多个源数据集，我们如何训练没有标签数据的目标模型？多源领域自适应（MSDA）的目的是在没有目标数据标签的情况下，使用与目标数据集不同的多个源数据集训练模型。MSDA是一个关键的问题，适用于许多实际情况下，标签的目标数据是不可用的，由于隐私问题。现有的MSDA框架是有限的，因为它们对齐数据而不考虑条件分布p（x|（1）每个域。他们也错过了大量的目标标签信息，不考虑目标标签在所有和依赖于只有一个特征提取器。在本文中，我们提出了一种新的方法，多源领域自适应与伪标签的包围多源领域自适应（EnMDAP）。EnMDAP利用标签式矩匹配来对齐条件分布p（x| y），对不可用的目标标签使用伪标签，并通过使用多个特征提取器来引入集成学习主题以进行精确的领域自适应。实验结果表明，EnMDAP在图像域和文本域的多源领域自适应任务中均具有较好的性能。
2020-09-29 cs.LG stat.ML
CPDA: Class-Conditional Path Distribution Alignment for Unsupervised Time-Series Domain Adaptation
Fraunhofer Institute for Integrated Circuits IIS（弗劳恩霍夫集成电路研究所）
该研究提出CPDA框架，通过对齐类条件潜在路径分布而非全局特征边际分布，在13个时间序列DA基准上验证其优于30种基线方法，实现无监督时间序列领域自适应的性能提升。
2026-08-11 cs.LG stat.ML
On Localized Discrepancy for Domain Adaptation
Tsinghua University（清华大学）；University of California（加利福尼亚大学）
提出了基于差异的无监督领域自适应泛化理论。以前的理论引入了分布差异，定义为完备假设空间上的上确界。假设空间可能包含导致不必要地高估风险界限的假设。本文研究了局部化后定义在假设空间上的局部化差异。首先，我们表明，这些差异具有理想的属性。它们可能比以前的差异小得多。如果我们将两个域互换，它们的值将不同，从而可以揭示非对称转移困难。接下来，我们得到改进的泛化界限与这些差异。我们发现，差异可能会影响样本复杂度的比率。最后，我们进一步扩展了局部差异，以实现超级传输，并推导出泛化界，可以更有效的样本源域。
2020-08-14 cs.LG stat.ML
Domain Adaptation via Rebalanced Sub-domain Alignment
Duke University School of Medicine（杜克大学医学院）；Duke University（杜克大学）
无监督领域自适应（UDA）是一种将知识从标记的源域转移到不同但相关的未标记目标域的技术。虽然许多UDA方法在过去已经取得了成功，但它们通常假设源域和目标域必须具有相同的类标签分布，这可能会限制它们在现实场景中的有效性。为了解决这个问题，我们提出了一个新的泛化界，通过对齐源和目标子域来重新加权源分类错误。我们证明，我们提出的泛化界至少是强大的现有的界限在现实的假设下，我们的经验表明，它是更强大的现实世界的数据。然后，我们提出了一个算法，以尽量减少这种新的泛化界。我们通过数值实验证明，这种方法提高了性能，在移动类分布的情况下相比，国家的最先进的方法。
2023-02-03 cs.LG stat.ML
A New PAC-Bayesian Perspective on Domain Adaptation
INRIA, SIERRA Project-Team（法国国家信息与自动化研究所，SIERRA项目组）；D.I., Ecole Normale Superieure（巴黎高等师范学校计算机科学系）；Univ Lyon, UJM-Saint-Etienne, CNRS, IOGS, Laboratoire Hubert Curien UMR 5516（里昂大学，圣艾蒂安让·莫内大学，法国国家科学研究中心，IOGS，于贝尔·居里安实验室）；Université Laval（拉瓦尔大学）
我们研究PAC-Bayesian域自适应问题：我们希望从源域学习一个专用于目标域的多数投票模型。我们的理论贡献带来了一个新的视角，推导出一个上限的目标风险分布的分歧-表示为一个比率-控制之间的权衡源误差测量和目标选民的分歧。我们的界表明，一个人必须关注的区域，源数据是信息。从这个结果，我们得到了一个PAC贝叶斯泛化界，并专门用于线性分类器。然后，我们推导了一个学习算法，并在真实数据上进行了实验。
2016-07-26 cs.LG stat.ML
Norm-Bounded Low-Rank Adaptation
Australian Centre for Robotics, School of Aerospace, Mechanical and Mechatronic Engineering, The University of Sydney（澳大利亚机器人中心，航空航天、机械与机电工程学院，悉尼大学）；Google DeepMind（谷歌DeepMind）
本文提出NB-LoRA，通过无约束、平滑且完备的奇异值有界参数化满足任意酉不变范数约束，并在语言生成与视觉微调中取得更优性能和鲁棒性。
2025-09-29 cs.LG
Domain Adaptation of Majority Votes via Perturbed Variation-based Label Transfer
Institute of Science and Technology Austria（奥地利科学技术研究所）
我们解决PAC-Bayesian Domain Adaptation（DA）问题。当人们希望从源分布中学习不同目标分布上的良好加权多数投票（在一组分类器上）时，就会出现这种情况。在这种情况下，分类器之间的分歧是已知的控制至关重要。在非DA监督设置中，理论界-C界-涉及这种分歧，并导致多数投票学习算法：MinCq。在这项工作中，我们扩展MinCq DA利用一个优雅的发散分布称为扰动变差（PV）。首先，证明了一个新的配方的C界限，我们提供给MinCq的目标样本标记感谢基于PV的自标记集中在区域的源和目标边缘分布更接近。其次，我们提出了一个调整超参数的原始过程。我们的框架在玩具问题上显示出非常有希望的结果。
2013-11-19 cs.LG stat.ML
SloMo-Fast: Slow-Momentum and Fast-Adaptive Teachers for Source-Free Continual Test-Time Adaptation
Center for Computational & Data Sciences, Independent University, Bangladesh（计算与数据科学中心，独立大学，孟加拉国）；University of Central Florida, USA（佛罗里达中央大学，美国）；University of Virginia, USA（弗吉尼亚大学，美国）；Amazon GenAI, USA（亚马逊生成人工智能，美国）
研究针对持续测试时自适应中现有方法的问题，提出SloMo-Fast无源双教师框架，含慢教师保留长期知识、快教师快速适应新域，实验表明该框架在多种CTTA设置中优于现有方法，能有效适应和泛化。
2026-07-20 cs.CV cs.LG
A survey on domain adaptation theory: learning bounds and theoretical guarantees
Univ Lyon（里昂大学）；UJM-Saint-Etienne（圣艾蒂安让·莫内大学）；CNRS（法国国家科学研究中心）；Institut d’Optique Graduate School（高等光学学校）；Université Sorbonne Paris Nord（索邦巴黎北大学）；Institut Galilée（伽利略研究所）
所有著名的机器学习算法，包括监督和半监督学习，只有在一个共同的假设下才能很好地工作：训练和测试数据遵循相同的分布。当分布发生变化时，大多数统计模型必须从新收集的数据中重建，对于某些应用程序来说，这可能是昂贵的或不可能获得的。因此，有必要开发通过利用相关领域中可用的数据并在类似领域中进一步使用这些数据来减少获得新标记样本的需要和努力的方法。这就产生了一种新的机器学习框架，称为迁移学习：一种受人类跨任务推断知识以更有效地学习的能力启发的学习环境。尽管有大量不同的迁移学习场景，但本调查的主要目的是概述迁移学习中一个特定的、可以说是最受欢迎的子领域（称为领域自适应）的最新理论成果。在该子字段中，假设数据分布在训练数据和测试数据之间改变，而学习任务保持不变。我们提供了第一个最新的描述现有的结果相关的领域自适应问题，涵盖学习边界的基础上，不同的统计学习框架。
2022-07-13 cs.LG stat.ML
A General Upper Bound for Unsupervised Domain Adaptation
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
在这项工作中，我们提出了一个新的目标误差的上限，以解决无监督领域自适应的问题。最近的研究表明，深度神经网络可以学习可转移的特征，这些特征可以很好地推广到新的任务。此外，Ben-David等人（2010）提出的理论提供了在传递知识时的目标误差的上限，可以概括为同时最小化源误差和边缘分布之间的距离。然而，基于该理论的常用方法通常忽略联合误差，使得在匹配边缘分布时，来自不同类别的样本可能混合在一起。在这种情况下，无论我们如何最小化的边缘差异，目标误差是没有界的，由于一个不断增加的联合误差。为了解决这个问题，我们提出了一个一般的上限考虑联合误差，这样不理想的情况下，可以适当地惩罚。此外，我们还利用约束假设空间进一步形式化了一个更严格的边界，以及一个新的跨边界差异来衡量假设之间的差异，这在对抗性学习过程中消除了不稳定性。大量的经验证据表明，我们的建议优于相关的方法在标准的领域自适应基准的图像分类出错率。
2019-10-04 cs.CV cs.LG stat.ML
Best-Effort Adaptation
Google Research（谷歌研究院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）
本文提出尽力适配问题，通过差异理论分析样本重加权方法，设计学习算法，改进标准域适配，实验验证有效性，并指导微调设计。
2023-05-10 cs.LG stat.ML
Unsupervised Domain Adaptation Based on Source-guided Discrepancy
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
无监督领域自适应是这样一种问题设置，其中源域和目标域中的数据生成分布不同，并且目标域中的标签不可用。无监督领域自适应中的一个重要问题是如何度量源域和目标域之间的差异。先前提出的不使用源域标签的差异需要高的计算成本来估计，并且可能导致目标域中的松散的泛化误差界。为了缓解这些问题，我们提出了一种新的差异称为源引导的差异（S盘），它利用标签在源域。因此，S盘可以有效地计算有限样本收敛保证。此外，我们表明，S-光盘可以提供一个更严格的泛化误差界比一个基于现有的差异。最后，我们报告的实验结果表明，S盘的优势，现有的差异。
2018-11-19 cs.LG stat.ML
Source-Free Controlled Adaptation of Teachers for Continual Test-Time Adaptation
IIT Kharagpur（印度理工学院卡拉格普尔分校）；IBM Research（IBM 研究院）；Amazon（亚马逊）；Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
研究推理时领域持续变化下的持续测试时自适应问题，提出无源可控教师自适应方法，动态设置动量值并估计类原型，无需源数据，实验表明该方法优于多种需源数据的现有自适应框架。
2026-07-28 cs.CV cs.LG
Regularized Learning for Domain Adaptation under Label Shifts
University of California, Irvine（加州大学尔湾分校）；California Institute of Technology（加州理工学院）；Institute of Theoretical Studies, ETH Zürich（苏黎世联邦理工学院理论研究所）
我们提出了正则化学习下的标签偏移（RLLS），一个原则性和实用的域自适应算法，以纠正源和目标域之间的标签分布的变化。我们首先使用标记的源数据和未标记的目标数据来估计重要性权重，然后在加权的源样本上训练分类器。我们推导出一个泛化的目标域上的分类器是独立的（环境）数据维度，而不是只依赖于函数类的复杂性。据我们所知，这是标签移位问题的第一个推广界，其中目标域中的标签不可用。基于这个界限，我们提出了一个正则化估计的小样本制度，占估计权重的不确定性。在CIFAR-10和MNIST数据集上的实验表明，与以前的方法相比，RLLS提高了分类精度，特别是在低样本和大偏移区域。
2019-03-22 cs.LG stat.ML
Anomaly Detection with Domain Adaptation
Stanford University（斯坦福大学）；Ford Greenfield Labs（福特格林菲尔德实验室）
研究了基于领域自适应的半监督异常检测问题。给定来自源域的一组正常数据和来自目标域的有限数量的正常示例，目标是在目标域中具有性能良好的异常检测器。我们提出了不变表示异常检测（IRAD）来解决这个问题，我们首先学习提取域不变表示。提取是通过一个跨域编码器与特定于源的编码器和生成器一起训练，通过对抗学习来实现的。然后使用学习的表示来训练异常检测器。我们在数字图像数据集（MNIST，USPS和SVHN）和对象识别数据集（EST-Home）上对IRAD进行了广泛的评估。实验结果表明，IRAD在不同数据集上的性能均优于基线模型。我们推导出一个理论上的联合误差的下限，解释了过度训练的性能衰减，也为泛化误差的上限。
2020-06-05 cs.LG stat.ML
Domain Adaptation: Learning Bounds and Algorithms
Google Research（谷歌研究院）；Tel Aviv Univ.（特拉维夫大学）；Courant Institute（库朗研究所）；New York University（纽约大学）
本文提出差异距离以度量分布差异，给出其估计的复杂度界和领域自适应泛化界，并为最小化经验差异设计新算法，实验验证了其在领域自适应中的有效性。
2023-11-30 cs.AI cs.LG
Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
Purdue University（普渡大学）
本文研究范畴和一般赋范标号空间在标号移位下的推广。我们提出了一系列的方法来估计从标记源到未标记目标域的重要性权重，并提供这些估计的置信界。我们部署这些估计器，并提供在未标记的目标域的泛化范围。
2021-06-05 cs.LG
Higher-Order Asymptotics of Test-Time Adaptation for Batch Normalization Statistics
School of Mathematics and Statistics, The University of Melbourne（数学与统计学系，墨尔本大学）
本研究提出更高阶渐近框架，结合Edgeworth展开与鞍点近似及一步M估计，优化批归一化测试时自适应统计量，量化偏差-方差-偏度权衡并建立泛化界。
2025-05-22 cs.LG stat.ML
Low-Rank Subspace Override for Unsupervised Domain Adaptation
University for Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）
当前的监督学习模型不能很好地跨域边界泛化，这在许多应用中是已知的问题，例如机器人或视觉分类。领域自适应方法被用来改善这些泛化性能。然而，这些技术要么受限于特定的任务，如视觉适应，需要大量的计算时间和数据，这并不总是得到保证，具有复杂的参数化，或昂贵的优化过程。在这项工作中，我们提出了一种方法，只需要一个精心挑选的快照的数据，找到一个单一的域不变的子空间。该子空间以封闭形式计算，并覆盖域结构，这使得它在参数化中快速且稳定。通过采用低秩技术，我们强调数据的描述性特征。所提出的想法进行评估的各种领域自适应任务，如文本和图像分类对国家的最先进的领域自适应方法，并在所有任务中取得了显着的性能。
2020-07-08 cs.LG stat.ML
AltLoRA: Towards Better Gradient Approximation in Low-Rank Adaptation with Alternating Projections
Department of Statistics（统计学系）；College of Information Sciences and Technology（信息科学与技术学院）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出 AltLoRA，通过交替投影避免低秩矩阵联合更新的梯度近似问题，并以低内存复杂度整合动量，在多任务上优于 LoRA 及变体。
2025-09-27 cs.LG
Connecting sufficient conditions for domain adaptation: source-guided uncertainty, relaxed divergences and discrepancy localization
University of Tübingen（图宾根大学）
领域自适应的最新进展表明，对源域的低风险和相等特征边缘的要求降低了自适应的性能。与此同时，经验证据表明，结合无监督的目标域项，推动决策边界远离高密度区域，随着放松对齐，提高适应。在本文中，我们从理论上证明这样的意见，通过一个新的约束的目标风险，我们连接两个概念的放松发散，即$β-$放松发散和本地化。这种连接使我们能够将源域的分类结构纳入所考虑的发散的松弛中，可证明地导致特别是标签偏移情况的更好处理。
2022-03-09 cs.LG
MoSSDA: A Semi-Supervised Domain Adaptation Framework for Multivariate Time-Series Classification using Momentum Encoder
Department of Artificial Intelligence and Software, Ewha Womans University（人工智能与软件系，世瓦女子大学）；Department of Data Science, Ewha Womans University（数据科学系，世瓦女子大学）
本文提出一种用于多变量时间序列分类的两步动量编码器半监督领域自适应框架MoSSDA，通过领域不变编码器和mixup增强正对比模块学习鲁棒特征，在六个数据集上取得最先进性能。
2025-08-01 cs.AI cs.CV cs.LG
Information-Theoretic Analysis of Unsupervised Domain Adaptation
University of Ottawa（渥太华大学）
利用信息论工具分析了无监督领域自适应（UDA）中的泛化误差。我们提出了新的上界的两个概念的泛化误差。第一个概念测量目标域中的群体风险与源域中的群体风险之间的差距，第二个概念测量目标域中的群体风险与源域中的经验风险之间的差距。虽然我们对第一种错误的界限与传统分析一致，并给出了类似的见解，但我们对第二种错误的界限是依赖于算法的，这也为算法设计提供了见解。具体来说，我们提出了两个简单的技术，提高泛化UDA和实验验证。
2023-03-02 cs.LG
Sample-to-Sample Correspondence for Unsupervised Domain Adaptation
Purdue University（普渡大学）
训练样本和测试样本是从相同的分布中生成的假设并不总是适用于现实世界的机器学习应用程序。处理训练（源）域和测试（目标）域之间的这种差异的过程称为领域自适应。我们提出了一个无监督版本的领域自适应，认为在目标域中存在的只有未标记的数据。我们的方法集中在寻找每个域的样本之间的对应关系。通过将源样本和目标样本视为图并使用凸准则来匹配它们来获得对应关系。使用的标准是图之间的一阶和二阶相似性以及基于类的正则化。我们还开发了一个计算效率高的凸优化例程，从而使所提出的方法被广泛使用。为了验证所提出的方法的有效性，计算机模拟进行合成，图像分类和情感分类数据集。实验结果表明，本文提出的局部样本间匹配方法优于传统的矩匹配方法，与现有的局部域自适应方法相比具有较强的竞争力。
2018-12-04 cs.CV cs.LG stat.ML
LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning
Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学）；Amazon Science（亚马逊科学）；Michigan State University（密歇根州立大学）
LoFT是一种低秩适应方法，通过对齐优化器动态与全量微调，实现性能接近全量微调且无需额外超参数调整。
2026-03-09 cs.LG math.OC
LiDARNet: A Boundary-Aware Domain Adaptation Model for Point Cloud Semantic Segmentation
Texas A&M University（德克萨斯A&M大学）
提出了一种基于边界感知的LiDAR扫描全场景语义分割领域自适应模型（LiDARNet）。我们的模型可以同时提取领域私有特征和领域共享特征，具有双分支结构。我们将Gated-SCNN嵌入到LiDARNet的分割器组件中，以学习边界信息，同时学习预测全场景语义分割标签。此外，我们进一步减少域差距诱导模型学习两个域之间的映射使用域共享和私有功能。此外，我们引入了一个新的数据集（SemanticUSL \footnote{The access address of SemanticUSL:\url{https://unmannedlab.github.io/research/SemanticUSL}}），用于LiDAR点云语义分割的领域自适应。该数据集具有与SemanticKITTI相同的数据格式和本体。我们对真实世界的数据集SemanticKITTI，SemanticPOSS和SemanticUSL进行了实验，这些数据集在通道分布，反射率分布，场景多样性和传感器设置方面存在差异。使用我们的方法，我们可以得到一个单一的基于投影的激光雷达全场景语义分割模型工作在这两个领域。我们的模型可以保持几乎相同的性能在源域适配后，得到了8%-22%的mIoU性能提高目标域。
2021-04-24 cs.CV cs.LG eess.IV
Bridging the Theoretical Bound and Deep Algorithms for Open Set Domain Adaptation
Tsinghua University（清华大学）；University of Technology Sydney（悉尼科技大学）
在无监督开集领域自适应（UOSDA）中，目标域包含在源域中未观察到的未知类。该领域的研究人员旨在训练分类器，以准确地：1）识别未知目标数据（具有未知类别的数据），以及2）分类其他目标数据。为了实现这一目标，已有研究证明了目标域风险的一个上界，而开集差作为上界中的一个重要项，被用来度量未知目标数据上的风险。通过最小化上界，可以训练一个浅层分类器来实现目标。然而，如果分类器非常灵活（例如，深度神经网络（DNN）），当最小化上界时，开集差将收敛到负值，这导致大多数目标数据被识别为未知数据的问题。为了解决这个问题，我们提出了一个新的UOSDA目标域风险的上限，其中包括四个术语：源域风险，$ε$ -开集差（$Δ_ε$），域之间的分布差异，和一个常数。与开集差异相比，当它被最小化时，$Δ_ε$对问题更鲁棒，因此我们能够使用非常灵活的分类器（即，DNN）。然后，我们提出了一种新的原则指导的深度UOSDA方法，通过最小化新的上限来训练DNN。具体而言，源域风险和$Δ_ε$通过梯度下降最小化，分布差异通过一种新的开集条件对抗训练策略最小化。最后，与现有的浅层和深层UOSDA方法相比，我们的方法在几个基准数据集上显示了最先进的性能，包括数字识别（MNIST，SVHN，USPS），对象识别（Office-31，M-Home）和人脸识别（PIE）。
2020-06-23 cs.CV cs.LG stat.ML
FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning
Shanghai Jiao Tong University（上海交通大学）；Queen's University Belfast（女王大学贝尔法斯特分校）；Stevens Institute of Technology（史蒂文斯理工学院）；Purdue University（普渡大学）；Rice University（里奇大学）
FedMomentum通过奇异值分解实现结构化且动量保持的LoRA聚合，提升联邦微调中的收敛速度和准确率。
2026-03-09 cs.AI cs.LG
On Learning Invariant Representation for Domain Adaptation
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research Montreal（微软研究院蒙特利尔）
由于深度神经网络具有学习丰富表示的能力，无监督领域自适应的最新进展集中在学习在源域上实现小误差的域不变特征。希望学习的表示，连同从源域学习的假设，可以推广到目标域。在本文中，我们首先构造一个简单的反例，表明与通常的信念相反，上述条件不足以保证成功的领域自适应。特别是，反例展示了\emph{conditional shift}：输入特征的类条件分布在源域和目标域之间变化。为了给出领域自适应的充分条件，我们提出了一个自然的和可解释的泛化上限，明确考虑到上述转变。此外，我们揭示了新的光的问题，通过证明一个信息理论的下限的联合错误的\emph{any}领域自适应方法，试图学习不变表示。我们的结果表征了学习不变表示和实现两个域上的小联合误差时，从源到目标的边缘标签分布不同的基本权衡。最后，我们在真实世界的数据集上进行实验，证实了我们的理论发现。我们相信这些见解有助于指导未来领域自适应和表示学习算法的设计。
2019-05-30 cs.AI cs.LG stat.ML
Decoupled Adaptation for Cross-Domain Object Detection
BNRist（北京国家信息科学与技术研究中心）；Tsinghua University（清华大学）
跨域目标检测比目标分类更具挑战性，因为图像中存在多个目标，并且每个目标在未标记目标域中的位置是未知的。因此，在对不同目标的特征进行自适应以增强检测器的可移植性时，容易混淆前景和背景的特征，从而影响检测器的可分辨性。此外，以往的方法只关注类别自适应，而忽略了目标检测的另一个重要部分，即，限界框回归的自适应。为此，我们提出了D-adapt，即Decoupled Adaptation，将对抗性自适应和检测器的训练解耦。此外，本文还通过引入限界框适配器，填补了目标检测中回归领域自适应的空白。实验结果表明，D-adapt在四个跨领域目标检测任务上取得了最佳的效果，特别是在基准数据集Clipart 1 k和Comic 2k上，D-adapt的性能相对提高了17%和21%。
2022-05-09 cs.CV cs.LG
ELSA: Efficient Label Shift Adaptation through the Lens of Semiparametric Models
University of Waterloo（滑铁卢大学）；Meta Inc.（Meta公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出ELSA方法，通过矩匹配框架和影响函数几何性质求解线性方程组来估计标签偏移适应权重，无需预测后校准即可实现高效且具有理论保证的领域适应。
2023-05-30 cs.LG math.ST stat.ML
MLoRA:Continual Low-Rank Adaptation via Relative-Response Subspace Selection and Momentum Orthogonalization
Tianjin University（天津大学）
针对持续学习中低秩适配的谱可塑性坍缩问题，MuLoRA通过历史白化与动量更新的近似极正交化联合控制容量分配与利用，在多个类增量基准上取得最优平均准确率。
2026-11-10 cs.LG
Domain Adaptation via Maximizing Surrogate Mutual Information
Peking University（北京大学）
无监督领域自适应（UDA）的目的是预测来自目标域的未标记数据，同时访问来自源域的标记数据。在这项工作中，我们提出了一个新的框架，称为SIDA（代理互信息最大化领域自适应）具有强有力的理论保证。具体而言，SIDA通过最大化特征之间的互信息（MI）来实现自适应。在该框架中，代理联合分布模型的未标记的目标域的潜在的联合分布。我们的理论分析通过用MI和替代分布偏差限制目标领域的预期风险来验证SIDA。实验表明，我们的方法是与国家的最先进的无监督适应方法对标准的UDA任务。
2022-10-14 cs.LG
Discrepancy-Based Active Learning for Domain Adaptation
Michelin（米其林）；Centre Borelli, Université Paris-Saclay, CNRS, ENS Paris-Saclay（巴黎萨克雷大学博雷利中心、法国国家科学研究中心、巴黎萨克雷高等师范学院）；ENSIIE（法国国家信息与自动化高等工程师学院）
本文的目标是设计主动学习策略，导致领域自适应的假设下，Lipschitz函数。在Mansour et al.（2009）以前的工作的基础上，我们采用了源和目标分布之间差异距离的概念，将假设类的最大化限制在对源域执行准确标记的局部函数类上。我们推导出的泛化误差界等主动学习策略的Rademacher平均和本地化的差异一般损失函数，满足正则性条件。从理论界出发，推导出了一种适用于大数据集情况的实用K中心点算法。我们的数值实验表明，该算法是竞争力对其他国家的最先进的主动学习技术的背景下，领域自适应，特别是对大数据集的约10万幅图像。
2022-09-14 cs.LG
A Robust Negative Learning Approach to Partial Domain Adaptation Using Source Prototypes
Arizona State University（亚利桑那州立大学）
提出一种鲁棒的部分域适应框架，通过集成学习与互补标签反馈优化伪标签，利用源原型实现域不变的类内紧凑与类间分离，并在适应阶段保护源数据隐私，显著提升了鲁棒性与泛化能力。
2023-09-08 cs.CV cs.LG
Adaptation Algorithm and Theory Based on Generalized Discrepancy
Google Research（谷歌研究院）；Courant Institute（库朗研究所）
我们提出了一种新的算法，领域自适应改进的差异最小化算法，以前表现出优于一些算法，这项任务。与许多以前的算法领域自适应，我们的算法不包括一个固定的重新加权训练样本的损失。我们表明，我们的算法受益于坚实的理论基础和更有利的学习界限比差异最小化。我们提出了我们的算法的详细描述，并给出了解决其优化问题的几个有效的解决方案。我们还报告了几个实验的结果表明，它优于差异最小化。
2015-02-21 cs.LG
Momentum-based Weight Interpolation of Strong Zero-Shot Models for Continual Learning
University of Tübingen（图宾根大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）
大型预训练的、具有zero-shot能力的模型在标准传输和自适应任务中都表现出相当大的成功，对分布偏移具有特别的鲁棒性。此外，后续的微调可以显著提高选定下游任务的性能。然而，通过朴素的微调，这些zero-shot模型失去了它们对分布偏移的概括性和鲁棒性。这对于诸如持续学习（CL）之类的任务是一个特殊的问题，在CL中，随着新的任务分布被顺序地引入，必须执行持续适应。在这项工作中，我们展示了微调不足，以适应这种zero-shot能力的模型，简单的动量为基础的权重插值可以提供一致的改进CL任务在无内存和基于内存的设置。特别是，我们发现在标准CL基准测试上的改进超过了$+4\%$，同时将错误减少到一次对所有任务进行联合训练的上限一半以上，使持续学习者能够更接近联合训练极限。
2022-11-06 cs.CV cs.LG
Theoretic Analysis and Extremely Easy Algorithms for Domain Adaptive Feature Learning
Tencent AI Lab（腾讯人工智能实验室）；Xidian University（西安电子科技大学）；Northwestern Polytechnical University（西北工业大学）；Hong Kong Polytechnic University（香港理工大学）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
领域自适应问题出现在各种应用中，其中来自\textit{source}域的训练数据集和来自\textit{target}域的测试数据集通常遵循不同的分布。设计有效的学习模型来解决这些问题的主要困难在于如何弥合源分布和目标分布之间的差距。在本文中，我们提供了全面的分析功能学习算法结合线性分类器的领域自适应。我们的分析表明，为了实现良好的自适应性能，源域分布和目标域分布的二阶矩应该是相似的。基于我们的新分析，提出了一种新的非常容易的领域自适应特征学习算法。此外，我们的算法通过利用多个层进行扩展，从而形成深度线性模型。我们评估所提出的算法的有效性方面的领域自适应任务的亚马逊审查数据集和垃圾邮件数据集的ECML/PKDD 2006年发现的挑战。
2017-08-10 cs.LG
Tight Sample Complexity for Low-Rank Adaptation: Matching Bounds and Rank Selection
本文解决LoRA微调的样本复杂度问题，建立匹配的上下界，得出秩选择二分性，在合成与真实基准上验证理论预测，揭示过参数化惩罚的来源。
2026-07-31 cs.CL cs.LG
Joint Distribution Alignment for Universal Domain Adaptation
School of Software Engineering, South China University of Technology（华南理工大学软件工程学院）；School of Future Technology, South China University of Technology（华南理工大学未来技术学院）；College of Computer Science, Chongqing University（重庆大学计算机学院）
本文针对通用域适应（UniDA）场景，推导其泛化误差上界，提出JAUA算法并结合渐进式伪标签方法，在6个公开图像数据集上验证了该算法的优越性。
2026-08-26 cs.CV cs.LG
Automatic Online Multi-Source Domain Adaptation
Nanyang Technological University（南洋理工大学）
跨多个流流程的知识转移仍然是一个具有挑战性的问题，这不仅是因为每个流的分布不同，而且还因为数据流的环境瞬息万变且永无休止。虽然这方面的研究成果越来越多，但大多数现有的工作都是针对单个源域开发的，这限制了其利用多源域的弹性，这有利于快速从概念漂移中恢复并避免负迁移问题。提出了一种多媒体流处理下的在线领域自适应技术，即自动在线多源领域自适应（AOMSDA）。AOMSDA的在线领域自适应策略是在去噪自动编码器（DAE）的生成和判别耦合方法下制定的，其中基于中心矩差异（CMD）的正则化器被集成以处理多源域的存在，从而利用互补的信息源。通过自组织结构和节点权重调整策略，解决了不同时间段发生的异步概念漂移问题。我们的数值研究表明，AOMSDA是能够超越其同行的8个研究案例中的5个，而消融研究描绘了每个学习组件的优势。此外，AOMSDA一般适用于任何数量的源流。AOMSDA的源代码在https://github.com/Renchunzi-Xie/AOMSDA.git上公开共享。
2021-09-12 cs.AI cs.LG
DeLoRA: Decoupling Angles and Strength in Low-rank Adaptation
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；Helmholtz Munich（海德堡-穆恩医疗中心）；Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；MDSI（慕尼黑数据科学研究所）
针对现有PEFT方法鲁棒性不足或表达能力受限的问题，提出DeLoRA方法，通过归一化缩放低秩矩阵解耦角度学习与适配强度，在多任务上实现性能与鲁棒性的双提升。
2025-05-19 cs.CL cs.CV cs.LG
Multi-Source Domain Adaptation with Transformer-based Feature Generation for Subject-Independent EEG-based Emotion Recognition
University of Rochester（罗切斯特大学）；Goergen Institute for Data Science, University of Rochester（罗切斯特大学戈尔根数据科学研究所）
提出MSDA-TF方法，结合卷积层与自注意力机制生成特征，并基于相关性分组对齐源与目标域矩，有效解决跨被试EEG情感识别问题。
2024-01-04 cs.LG eess.SP
Weak Adaptation Learning -- Addressing Cross-domain Data Insufficiency with Weak Annotator
Northwestern University（西北大学）
数据的数量和质量是数据驱动学习方法的关键因素。在某些目标问题域中，可用的数据样本不多，这可能会严重阻碍学习过程。虽然可以利用来自类似域的数据来帮助通过领域自适应，但是获得用于那些源域本身的高质量标记数据可能是困难的或昂贵的。为了解决目标领域分类问题中数据不足的挑战，我们提出了一种弱自适应学习（WAL）方法，该方法利用来自类似源领域的未标记数据、一种低成本弱注释器，该注释器基于特定于任务的启发式方法、标记规则或其他方法（尽管不准确），以及目标领域中的少量标记数据。我们的方法首先进行了理论分析的错误界的训练分类器的数据量和性能的弱注释器，然后引入了一个多阶段的弱适应学习方法，学习一个准确的分类器，通过降低错误界。我们的实验证明了我们的方法在学习一个准确的分类器有限的标记数据在目标域和未标记的数据在源域的有效性。
2021-09-21 cs.AI cs.CV cs.LG
Certainty Volume Prediction for Unsupervised Domain Adaptation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
无监督领域自适应（UDA）处理未标记目标域数据的分类问题，而标记数据仅适用于不同的源域。遗憾的是，由于源数据和目标数据之间的域差距，常用的分类方法无法充分完成此任务。在本文中，我们提出了一种新的不确定性意识的领域自适应设置模型的不确定性作为一个多元高斯分布在特征空间。我们表明，我们提出的不确定性措施与其他常见的不确定性量化，并涉及到平滑分类器的决策边界，从而提高泛化能力。我们在具有挑战性的UDA数据集上评估了我们提出的管道，并取得了最先进的结果。我们方法的代码可在https://gitlab.com/tringwald/cvp上获得。
2021-11-03 cs.CV cs.LG
Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
University of Basel（巴塞尔大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ELLIS Institute Tübingen（图宾根ELLIS研究所）；Tübingen AI Center（图宾根人工智能中心）
本文提出基于动量的NGN步长方法NGN-M，在更宽松假设下达到标准收敛速率，并显著提升优化器对步长超参数选择的鲁棒性。
2025-08-20 cs.LG math.OC stat.ML
Generalization Bounds for Representative Domain Adaptation
The Biodesign Institute（生物设计研究所）；Nanjing University of Science and Technology（南京理工大学）；Huawei（华为）；Arizona State University（亚利桑那州立大学）
在本文中，我们提出了一个新的框架来分析学习过程的理论特性的一个代表性类型的领域自适应，它结合了多个来源和一个目标（或简称为代表性领域自适应）的数据。特别地，我们使用积分概率度量来度量两个域的分布之间的差异，同时将其与H-散度和差异距离进行比较。分别建立了多域的Hoeffding型、Bennett型和McDiarmid型偏差不等式，并给出了典型领域自适应的对称化不等式.其次，利用所得到的不等式分别得到了基于一致熵数的Hoeffding型和Bennett型推广界.此外，我们提出了基于Rademacher复杂性的推广界。最后，我们分析了代表性的领域自适应的学习过程的渐近收敛性和收敛速度。我们讨论了影响学习过程渐近行为的因素，数值实验也支持了我们的理论结果。同时，在同分布假设下，与已有的领域自适应结果和经典结果进行了比较。
2014-01-02 cs.LG stat.ML
Algorithm-Dependent Bounds for Representation Learning of Multi-Source Domain Adaptation
Université Laval（拉瓦尔大学）
本文利用信息论工具从表示学习视角分析多源域适应，为监督和无监督设置提供算法相关的泛化界限，并提出一种通过联合对齐隐式解决目标偏移的深度MDA算法，在保持性能相当的同时提升了内存效率。
2023-04-04 cs.LG stat.ML
Concentration bounds for linear Monge mapping estimation and optimal transport domain adaptation
本文研究了分布间线性Monge映射估计的性质。我们提供了线性映射算子的第一个集中结果，并证明了使用一阶和二阶矩的经验估计时$n^{-1/2}$的样本复杂度。这个结果，然后用来推导出一个泛化界域自适应最佳运输。因此，该方法的性能接近理论贝叶斯预测在温和的条件下的协方差结构的问题。我们还讨论了线性映射估计的计算复杂性，并表明，当源和目标是固定的映射是一个卷积，可以非常有效地使用快速傅立叶变换估计。数值实验再现了模拟和真实数据上的映射估计和图像上的域适应的证明界限的行为。
2020-12-01 cs.LG math.ST stat.ML
PAC-Bayes and Domain Adaptation
我们提供了两个主要的贡献，在PAC贝叶斯理论域适应的目标是学习，从源分布，一个表现良好的多数票上不同的，但相关的，目标分布。首先，我们对Germain等人（2013）提出的先前方法进行了改进，该方法依赖于基于不一致平均的新分布伪距离，使我们能够为目标风险推导出一个新的更严格的域适应范围。虽然这个界限符合公共域适应工作的精神，但我们推导出第二个界限（在Germain等人，2016年），这带来了一个新的视角域适应推导出一个上限的目标风险，其中分布的分歧-表示为一个比率-控制之间的权衡源误差测量和目标选民的分歧。我们讨论并比较了这两个结果，由此得到了PAC-Bayesian泛化界。此外，从PAC-Bayesian特化到线性分类器，我们推断出两种学习算法，并在真实数据上对其进行了评估。
2019-11-15 stat.ML
A Unified Algorithm for Stochastic Path Problems
Google（谷歌）；USC（南加州大学）
研究随机路径问题的强化学习。在这些问题中的目标是最大化的预期总和的奖励，直到代理达到终端状态。我们通过分析一个简单的乐观算法，在这个一般问题中提供了第一后悔保证。我们的遗憾界匹配最知名的研究结果的特殊情况下，随机最短路径（SSP）的所有非正奖励。对于SSP，我们提出了一个适应过程的情况下，奖励规模$B_\star$是未知的。我们表明，有没有适应的价格，我们的遗憾界匹配，与一个已知的$B_\star$。我们还提供了一个规模适应过程的特殊情况下，随机最长路径（SLP）的所有奖励是非负的。然而，与SSP不同的是，我们通过一个下限表明，适应是不可避免的代价。
2022-10-17 cs.LG stat.ML
