A Framework for Supervised Heterogeneous Transfer Learning using Dynamic Distribution Adaptation and Manifold Regularization
Charles Sturt University（查尔斯特大学）；Bangladesh Agricultural University（孟加拉国农业大学）
迁移学习旨在通过从源领域转移知识来学习目标领域的分类器。然而，由于两个主要问题：特征差异和分布差异，迁移学习在实践中可能是一个非常困难的问题。在本文中，我们提出了一个称为TLF的框架，该框架通过从具有许多标记记录的源域转移知识，为只有少量标记训练记录的目标域构建分类器。虽然现有的方法往往侧重于一个问题，而将另一个问题留给进一步的工作，但TLF能够同时处理这两个问题。在TLF中，我们通过识别共享标签分布来缓解特征差异，这些标签分布作为桥接域的枢轴。我们通过同时优化结构风险泛函、域间联合分布和边缘分布的流形一致性来处理分布发散。此外，对于流形的一致性，我们利用其内在的属性，通过识别k个最近的邻居的记录，其中k的值是自动确定的TLF。此外，由于不希望负迁移，我们只考虑在知识转移过程中属于源枢轴的源记录。我们评估TLF七个公开的自然数据集，并比较TLF的性能对十四个国家的最先进的技术的性能。我们还评估了TLF在一些具有挑战性的情况下的有效性。我们的实验结果，包括统计符号测试和Nemenyi测试分析，表明所提出的框架在国家的最先进的技术有明显的优越性。
2022-09-02 cs.AI cs.LG
Domain Adaptation Regularization for Spectral Pruning
DENSO CORPORATION（电装公司）；The University of Tokyo（东京大学）；AIP-RIKEN（AIP-理化学研究所）
深度神经网络（DNN）最近在各种计算机视觉相关任务上实现了最先进的性能。然而，它们的计算成本限制了它们在具有有限资源或严格延迟约束的嵌入式系统中实现的能力。因此，模型压缩已成为克服该问题的活跃研究领域。此外，DNN通常需要大量的标记数据进行训练。这是其部署的第二个限制。领域自适应（DA）通过允许在一个标记的源分布上学习的知识被转移到可能未标记的目标分布来解决这个问题。在本文中，我们调查可能的改进压缩方法在DA设置。我们专注于一个压缩方法，以前开发的背景下，一个单一的数据分布，并表明，在压缩过程中使用的数据和额外的正则化项直接相关的DA目标的仔细选择，它是可能的，以改善压缩结果。我们还表明，我们的方法优于现有的压缩方法研究的DA设置的大幅度高压缩率。虽然我们的工作是基于一个特定的压缩方法，我们也概述了一些一般性的指导方针，以提高压缩DA设置。
2020-08-25 cs.CV cs.LG stat.ML
Nested Graph Pseudo-Label Refinement for Noisy Label Domain Adaptation Learning
针对图域适应中源标签噪声问题，提出NeGPR框架，通过双分支预训练、嵌套伪标签精炼和噪声感知正则化，在严重噪声下准确率提升达12.7%。
2025-09-08 cs.AI cs.LG
An Extended Framework for Marginalized Domain Adaptation
Xerox Research Center Europe（欧洲施乐研究院）
我们提出了一个扩展的框架边缘化领域自适应，旨在解决无监督，监督和半监督的情况。我们认为，去噪原则应扩展到明确促进域不变的功能，以及帮助分类任务。因此，我们建议联合学习数据自动编码器和目标分类器。首先，为了使去噪特征域不变，我们提出了一种域正则化，它可以是域预测损失或源数据和目标数据之间的最大平均差异。这种情况下的噪声边缘化被简化为求解具有封闭形式解的线性矩阵系统$AX=B$。其次，为了帮助分类，我们包括一个类正则化项。添加该组件将学习问题简化为求解Sylvester线性矩阵方程$AX+BX=C$，对于该方程也存在有效的迭代过程。我们做了广泛的研究，以评估这些正则化条款如何提高基线性能的三个领域自适应的情况下，目前的实验结果在两个图像和一个文本基准数据集，传统上用于验证领域自适应方法。我们报告了我们的研究结果，并与最先进的方法进行了比较。
2017-02-20 cs.CV cs.LG
AlignGuard-LoRA: Alignment-Preserving Fine-Tuning via Fisher-Guided Decomposition and Riemannian-Geodesic Collision Regularization
BITS Goa；Manipal University（曼尼帕尔大学）；Meta AI；Amazon AI
针对LoRA微调导致的对齐漂移问题，提出AlignGuard-LoRA框架，结合Fisher信息正则化与黎曼测地线碰撞正则化，在安全基准上减少最多50%的对齐漂移且不损性能，并开源实现。
2025-08-04 cs.AI cs.LG
Scalable Multi-Task Low-Rank Model Adaptation
Singapore Management University（新加坡国立管理学院）
mtLoRA通过频谱感知正则化、块级别适应和细粒度路由，解决多任务低秩适应中的参数和表示不一致问题，实现高效且高准确率的模型适应。
2026-03-02 cs.LG
GateRA: Token-Aware Modulation for Parameter-Efficient Fine-Tuning
GateRA通过引入令牌感知调制，实现参数高效微调中的动态更新调整，提升模型适应性和效率。
2025-12-22 cs.AI cs.LG
Deep into The Domain Shift: Transfer Learning through Dependence Regularization
BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院）；City University of Hong Kong（香港城市大学）；The Laboratory for AI-Powered Financial Technologies Limited（人工智能金融科技实验室有限公司）；JD Digits Technology（京东数字科技）
本文提出一种新的领域自适应方法，将边缘分布差异与内部依赖结构差异分开衡量并优化二者权重，从而提升迁移学习的判别力和灵活性，在三个真实数据集上验证了其显著且稳健的改进效果。
2023-05-31 cs.LG q-fin.CP
Domain Adaptation: Learning Bounds and Algorithms
Google Research（谷歌研究院）；Tel Aviv Univ.（特拉维夫大学）；Courant Institute（库朗研究所）；New York University（纽约大学）
本文提出差异距离以度量分布差异，给出其估计的复杂度界和领域自适应泛化界，并为最小化经验差异设计新算法，实验验证了其在领域自适应中的有效性。
2023-11-30 cs.AI cs.LG
Dynamic Continual Learning: Harnessing Parameter Uncertainty for Improved Network Adaptation
Rowan University（罗文大学）
针对深度神经网络微调时遗忘旧任务的问题，提出利用参数不确定性识别关键参数并正则化训练，通过低学习率和强正则化限制其变化，基于贝叶斯矩传播框架实现，在顺序基准数据集上提升了平均测试准确率和后向迁移性能。
2025-01-18 cs.AI cs.LG
ARD-LoRA: Dynamic Rank Allocation for Parameter-Efficient Fine-Tuning of Foundation Models with Heterogeneous Adaptation Needs
Newton AI Lab（牛顿人工智能实验室）；School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（电气工程学院，韩国科学技术院）
ARD-LoRA通过动态秩分配提升基础模型微调效率，实现参数高效且适应性更强的模型调整。
2025-06-23 cs.AI cs.LG
Mitigating Forgetting in Low Rank Adaptation
University of Tübingen（图宾根大学）；Tübingen AI Center（图宾根人工智能中心）；University of Cambridge（剑桥大学）
LaLoRA通过拉普拉斯近似降低低秩适应中的遗忘问题，提升模型在目标领域学习的效率与稳定性。
2025-12-19 cs.LG stat.ML
Uniform Priors for Data-Efficient Transfer
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Heidelberg University（海德堡大学）；Mila（米拉研究所）；Google AI（谷歌人工智能）；Nvidia（英伟达）
深度神经网络在各种下游应用中显示出巨大的前景;但它们适应和推广新数据和任务的能力仍然是一个挑战。然而，对新任务执行少量或zero-shot适应的能力对于机器学习模型的可扩展性和部署是重要的。因此，了解什么是深度网络中最好的、可转移的特征，从而最好地允许这种适应是至关重要的。在本文中，我们揭示了这一点，表明最可转移的特征在嵌入空间中具有很高的均匀性，并提出了一个均匀正则化方案，鼓励更好的转移和特征重用。我们评估了正则化促进适应看不见的任务和数据的能力，为此我们进行了一项彻底的实验研究，涵盖了四个相关且不同的领域：Few-Shot元学习，深度度量学习，Zero-Shot领域自适应以及Out-of-Distribution分类。在所有实验中，我们表明均匀性正则化始终提供优于基线方法的优势，并且能够在深度度量学习和元学习中实现最先进的性能。
2020-10-13 cs.CV cs.LG stat.ML
DIB-OD: Preserving the Invariant Core for Robust Heterogeneous Graph Adaptation via Decoupled Information Bottleneck and Online Distillation
School of Information Technology and Engineering, Tianjin University of Technology and Education（天津职业技术师范大学信息技术工程学院）；School of Computer Science and Technology, Tiangong University（天工大学计算机科学与技术学院）；Department of Computer Science at University of Exeter（埃克塞特大学计算机科学系）
本文提出DIB-OD框架，通过解耦信息瓶颈和在线蒸馏保留异构图适应中的不变核，解决异构领域泛化难题，实验显示其在跨类型领域转移中表现优异。
2026-08-05 cs.AI cs.LG
Robust Unsupervised Domain Adaptation for Neural Networks via Moment Alignment
Johannes Kepler University（约翰内斯·开普勒大学）；Software Competence Center Hagenberg GmbH（哈根贝格软件能力中心有限公司）
提出了一种新的神经网络无监督域自适应方法。它依赖于学习过程的基于度量的正则化。基于度量的正则化旨在通过最大化特定于域的激活分布之间的相似性来实现域不变的潜在特征表示。所提出的度量的结果从修改积分概率距离，使得它变得不太敏感的多项式函数空间上。该度量在对偶空间中有一个直观的解释，即相应激活分布的高阶中心矩的差之和。在适当的假设下，输入分布，误差最小化证明了连续的情况下。如情感分析，对象识别和数字识别的标准基准实验的分析所示，所概述的方法是鲁棒的参数变化，并实现更高的分类精度比可比的方法。源代码可在https://github.com/wzell/mann上获得。
2019-08-13 cs.LG stat.ML
Active Test-Time Adaptation: Theoretical Analyses and An Algorithm
Texas A&M University（得克萨斯农工大学）
提出主动测试时适应 ATTA 设定及 SimATTA 算法，通过有限标注、样本熵平衡和实时选择，在理论保证下显著提升域偏移适应性能。
2024-04-07 cs.AI cs.LG
Tackling unsupervised multi-source domain adaptation with optimism and consistency
INESC TEC（葡萄牙工程与技术研究所）；University of Porto（波尔图大学）
一段时间以来，已知多源领域自适应的问题可以被视为单源领域自适应任务，其中源领域对应于原始源领域的混合。尽管如此，如何调整混合分布权重仍然是一个悬而未决的问题。此外，大多数现有的工作在这个主题只集中在最大限度地减少错误的源域和实现域不变的表示，这是不够的，以确保低错误的目标域。在这项工作中，我们提出了一个新的框架，解决了这两个问题，并通过使用温和乐观的目标函数和目标样本的一致性正则化击败了目前的最新技术水平。
2020-09-29 cs.AI cs.CV cs.LG
Cross Domain Adaptation by Learning Partially Shared Classifiers and Weighting Source Data Points in the Shared Subspaces
Punjab University College of Information Technology (PUCIT), University of the Punjab（旁遮普大学旁遮普信息技术学院（PUCIT））
迁移学习是一个定义在两个领域的问题。这两个域共享相同的特征空间和类标签空间，但具有显著不同的分布。一个域有足够的标签，命名为源域，另一个域有很少的标签，命名为目标域。问题是学习一个有效的分类器的目标域。在本文中，我们提出了一种新的迁移学习方法，通过学习目标域的部分共享分类器，并加权源域数据点。我们为两个域的数据点学习一些共享子空间，并在共享子空间中学习一个共享分类器。我们希望在共享子空间中，两个域的分布能够很好地匹配，为了匹配分布，我们用不同的权重因子对源域数据点进行加权。此外，我们通过学习不同的自适应函数来适应每个域的共享分类器。为了学习子空间变换矩阵、分类器参数和自适应参数，我们构建了一个具有加权分类误差、参数正则化、局部重建正则化和分布匹配的目标函数。这个目标函数是最小化的迭代算法。实验结果表明，该方法在旅游目的地评论数据集、人脸表情数据集、垃圾邮件数据集等基准数据集上的有效性。
2016-05-21 cs.LG
Information Guided Regularization for Fine-tuning Language Models
Virginia Tech（弗吉尼亚理工大学）；Stevens Institute of Technology（史蒂文斯理工学院）
该研究针对语言模型迁移学习的正则化需求，从信息论视角分析任务敏感参数对预训练损失景观的影响，提出任务与架构无关、无额外计算开销的guided dropout方法，在数据稀缺等场景下相比标准基线取得更优的下游性能。
2024-06-21 cs.AI cs.CL cs.LG
Unsupervised Domain Adaptation via Regularized Conditional Alignment
University of California, Los Angeles（加州大学洛杉矶分校）
我们提出了一种无监督的领域自适应方法，该方法训练共享嵌入来对齐输入（域）和输出（类）的联合分布，使任何分类器对域不可知。联合对齐确保不仅域的边缘分布对齐，而且标签也对齐。我们提出了一个新的目标函数，鼓励类条件分布在特征空间中有不相交的支持。我们进一步利用对抗正则化来提高分类器在没有注释数据的域上的性能。
2019-05-26 cs.CV cs.LG stat.ML
On Deep Domain Adaptation: Some Theoretical Understandings
与浅领域自适应相比，深领域自适应的最新进展表明，它可以实现更高的预测性能和更强的处理结构数据的能力（例如，图像和顺序数据）。深度领域自适应的基本思想是在联合空间中弥合源域和目标域之间的差距，使得在标记的源数据上训练的监督分类器可以很好地转移到目标域。这个想法当然是直观和强大的，但是，有限的理论理解已经发展到支持其基础原则。在本文中，我们提供了一个严格的框架来解释为什么它是可能的，以关闭在联合空间中的目标和源域的差距。更具体地说，我们首先研究从源域到目标域执行迁移学习时所产生的损失。这提供了一个理论，解释和概括现有的工作，在深领域自适应，主要是经验。这使得我们能够进一步解释为什么闭合联合空间中的间隙可以直接最小化两个域之间的迁移学习所引起的损失。据我们所知，这提供了第一个理论结果，该结果表征了联合空间上的直接约束和通过深度领域自适应的迁移学习的增益
2019-06-19 cs.AI cs.LG stat.ML
Domain Adaptive Neural Networks for Object Recognition
Victoria University of Wellington（惠灵顿维多利亚大学）
我们提出一个简单的神经网络模型来处理目标识别中的领域自适应问题。我们的模型采用最大平均离散度（MMD）作为监督学习中的正则化措施，以减少潜在空间中源域和目标域之间的分布失配。从实验中，我们证明了MMD正则化是一个有效的工具，提供良好的领域自适应模型的SURF功能和原始图像像素的特定图像数据集。我们还表明，我们提出的模型，在去噪自动编码器预训练之前，在相同的数据集上比最近的基准模型实现了更好的性能。这项工作是第一次研究的MMD措施的背景下，神经网络。
2014-09-21 cs.AI cs.CV cs.LG
A3: Active Adversarial Alignment for Source-Free Domain Adaptation
Oklahoma State University（俄克拉荷马州立大学）
针对无源无监督域适应中伪标签噪声大、分布偏移难处理的问题，提出结合自监督、对抗训练与主动学习的A3框架，通过主动采样、对抗损失与一致性正则化实现无源数据的分布对齐，提升域适应效果。
2024-10-07 cs.AI cs.CV cs.LG
On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）；University of Michigan（密歇根大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；Northeastern University（东北大学）；Michigan State University（密歇根州立大学）
与模型无关的元学习（MAML）已经成为少样本学习中最成功的元学习技术之一。它使我们能够学习模型参数的元初始化（我们称之为元模型），以使用少量标记的训练数据快速适应新任务。尽管元模型具有泛化能力，但MAML如何在少样本学习中保持对抗鲁棒性仍然是难以捉摸的。除了泛化之外，元模型还需要鲁棒性来防御对抗性示例（攻击）。为了提高MAML的对抗鲁棒性，我们首先研究了何时应该引入鲁棒性促进正则化，因为MAML采用了双层（微调与元更新）学习过程。我们表明，鲁棒的元更新阶段是足够的鲁棒性适应特定于任务的微调阶段，即使后者使用标准的训练协议。我们还通过窥视神经元激活图的可解释性对获得的鲁棒性自适应进行了额外的论证。此外，我们研究如何强大的正则化可以有效地设计在MAML。我们提出了一个通用但易于优化的鲁棒正则化元学习框架，它允许使用未标记的数据增强，快速对抗攻击生成和计算轻微调。特别是，我们第一次表明，辅助对比学习任务可以提高MAML的对抗鲁棒性。最后，大量的实验证明了我们提出的方法在鲁棒少样本学习中的有效性。
2021-02-20 cs.AI cs.CV cs.LG
On Regularization Parameter Estimation under Covariate Shift
Delft University of Technology（代尔夫特理工大学）；University of Copenhagen（哥本哈根大学）
本文确定了一个问题，在领域自适应设置的L2正则化参数估计的通常程序。在这样的设置中，在生成训练数据（源域）和测试数据（目标域）的分布之间存在差异。通常的交叉验证过程需要验证数据，这不能从未标记的目标数据中获得。问题是，如果决定使用源验证数据，则正则化参数被低估。一种可能的解决方案是通过重要性加权来缩放源验证数据，但我们表明这种校正是不够的。最后，我们总结了几个重要的权重估计的正则化参数的估计的效果的实证分析。
2016-07-31 cs.LG stat.ML
Lifelong Learning with Task-Specific Adaptation: Addressing the Stability-Plasticity Dilemma
University of YYY（YYY大学）；Institute of WWW（WWW研究院）
本文提出基于适配器的终身学习框架 AdaLL，通过在正则化约束下共同训练骨干网络与适配器，兼顾稳定性与可塑性，并在多种配置下优于现有方法。
2025-03-08 cs.LG
Dynamic Prompt Allocation and Tuning for Continual Test-Time Adaptation
Shandong University of Finance and Economics（山东财经大学）；Shandong University（山东大学）
针对持续测试时自适应中共享模型易引发域间干扰、灾难性遗忘的问题，提出动态提示分配与调优方法PAINT，通过查询机制判断样本所属域并分配对应可学习域专属提示，结合互信息最大化与结构正则化调优，在三个基准数据集上验证了有效性。
2024-12-12 cs.LG
Boosted Zero-Shot Learning with Semantic Correlation Regularization
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
本文将零样本学习（Zero-shot learning，ZRL）作为一个迁移学习问题进行研究，重点研究了ZRL的两个关键方面：模型有效性和模型自适应性。为了有效地建模，我们采用提升策略来学习一个zero-shot分类器从弱模型到强模型。为了适应知识转移，我们设计了一种语义相关正则化（SCR）方法来正则化提升模型，使其与类间语义相关性保持一致。将SCR嵌入到Boosting目标中，并使用自控样本选择来学习鲁棒性，我们提出了一个统一的框架，具有语义相关正则化的Boosted Zero-shot分类（BZ-SCR）。通过平衡SCR正则化的提升模型选择和自控样本选择，BZ-SCR能够捕获区分性和适应性特征到类的语义对齐，同时确保学习样本的可靠性和适应性。在两个数据集上的实验表明了BZ-SCR算法的优越性。
2017-07-25 cs.LG
Information-Theoretic Analysis of Unsupervised Domain Adaptation
University of Ottawa（渥太华大学）
利用信息论工具分析了无监督领域自适应（UDA）中的泛化误差。我们提出了新的上界的两个概念的泛化误差。第一个概念测量目标域中的群体风险与源域中的群体风险之间的差距，第二个概念测量目标域中的群体风险与源域中的经验风险之间的差距。虽然我们对第一种错误的界限与传统分析一致，并给出了类似的见解，但我们对第二种错误的界限是依赖于算法的，这也为算法设计提供了见解。具体来说，我们提出了两个简单的技术，提高泛化UDA和实验验证。
2023-03-02 cs.LG
Bayesian Sparse Low-Rank Adaptation for Large Language Model Uncertainty Estimation
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；Michigan State University（密歇根州立大学）
提出DALorRA，一种变分贝叶斯稀疏框架，通过随机掩码低秩适应中的秩维度实现模型容量正则化和校准，在不牺牲推理精度下提升LLM校准性能。
2026-09-01 cs.CL cs.LG
Confidence Regularized Self-Training
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）；General Motors R&D（通用汽车研发中心）
领域自适应的最新进展表明，深度自训练为无监督领域自适应提供了一种强大的手段。这些方法通常涉及在目标域上进行预测的迭代过程，然后将置信预测作为用于再训练的伪标签。然而，由于伪标签可能是嘈杂的，自我训练可能会将过度自信的标签信念放在错误的类上，导致带有传播错误的偏离解决方案。为了解决这个问题，我们提出了一个信心正规化自我训练（CRST）框架，制定为正规化自我训练。我们的方法将伪标签视为通过交替优化联合优化的连续潜变量。我们提出了两种类型的置信度正则化：标签正则化（LR）和模型正则化（MR）。CRST-LR生成软伪标签，而CRST-MR鼓励网络输出的平滑性。大量的图像分类和语义分割的实验表明，CRST优于其非正则化的最先进的性能。该工作的代码和模型可在https://github.com/yzou2/CRST上获得。
2020-07-15 cs.CV cs.LG cs.MM
Unsupervised Domain Adaptation via Calibrating Uncertainties
Rutgers University（罗格斯大学）；Carnegie Mellon University（卡内基梅隆大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
无监督领域自适应（UDA）的目的是在给定相关标记源数据集的情况下，为未标记的目标领域推断类别标记。直觉上，在源域上训练的模型通常会对看不见的数据产生更高的不确定性。在这项工作中，我们建立在这一假设的基础上，并提出通过校准其预测不确定性来适应从源域到目标域。不确定性被量化为Renyi熵，我们提出了一个通用的Renyi熵正则化（RER）框架。我们进一步采用变分贝叶斯学习可靠的不确定性估计。此外，校准网络参数的样本方差作为一个插件正则化训练。我们讨论了所提出的方法的理论特性，并证明了其有效性的三个域适应任务。
2019-07-25 cs.CV cs.LG stat.ML
Understanding Self-Training for Gradual Domain Adaptation
Stanford University（斯坦福大学）；Department of Computer Science（计算机科学系）
机器学习系统必须适应随着时间的推移而发展的数据分布，从传感器网络和自动驾驶汽车感知模块到脑机接口。我们考虑逐步的领域自适应，其目标是适应在源域上训练的初始分类器，该源域仅给出在分布上逐渐向目标域转移的未标记数据。我们证明了第一个非空上界的误差自训练逐步转移，直接适应目标域的设置下，可能会导致无界误差。理论分析导致了算法的见解，强调正则化和标签锐化是必不可少的，即使我们有无限的数据，并表明自我训练特别适用于具有小Wasserstein-infinity距离的移位。利用渐进移位结构可以提高旋转MNIST数据集和真实Portraits数据集的精度。
2020-02-26 cs.LG stat.ML
Dual Mixup Regularized Learning for Adversarial Domain Adaptation
Carleton University（卡尔顿大学）；University of Ottawa（渥太华大学）
无监督领域自适应（UDA）的最新进展依赖于对抗学习来解开领域自适应的解释性和可转移特征。然而，现有方法存在两个问题。首先，如果不考虑目标域中的类感知信息，潜在空间的可区分性就不能得到充分保证。第二，仅从源和目标域的样本是不够的域不变特征提取的潜在空间。为了缓解上述问题，我们提出了一种双重混合正则化学习（DMRL）方法UDA，它不仅指导分类器增强样本之间的一致性预测，而且还丰富了潜在空间的内在结构。DMRL在像素级上联合进行类别和域混合正则化，以提高模型的有效性。对四个领域自适应基准的一系列实证研究表明，我们的方法可以达到最先进的水平。
2020-07-16 cs.CV cs.LG stat.ML
Mutual Learning Network for Multi-Source Domain Adaptation
DiDi Chuxing（滴滴出行）；Carleton University（卡尔顿大学）
早期的无监督领域自适应（UDA）方法大多假设单个源域的设置，其中所有标记的源数据来自相同的分布。然而，在实践中，标记数据可以来自具有不同分布的多个源域。在这样的场景中，由于跨不同源域的域移位的存在，单源领域自适应方法可能失败，并且需要设计多源领域自适应方法。本文提出了一种新的多源领域自适应方法--多源领域自适应互学习网络（ML-MSDA）。该方法在相互学习的框架下，将目标域与单个源域配对，训练一个条件对抗领域自适应网络作为分支网络，将组合的多源域与目标域配对，训练一个条件对抗自适应网络作为指导网络。多个分支网络与引导网络对齐，以通过在对应目标数据上对其预测概率分布实施JS发散正则化来实现相互学习。我们在多个多源领域自适应基准数据集上进行了广泛的实验。实验结果表明，所提出的ML-MSDA方法优于比较方法，达到了最先进的性能。
2020-03-29 cs.CV cs.LG
Open Set Domain Adaptation: Theoretical Bound and Algorithm
University of Technology Sydney（悉尼科技大学）
无监督领域自适应的目的是利用标记（源）域中的知识来提高模型在未标记（目标）域中的学习性能-基本策略是减轻两个分布之间差异的影响。大多数现有算法只能处理无监督闭集领域自适应（UCSDA），即，其中假定源域和目标域共享相同的标签集。在本文中，我们的目标是一个更具挑战性，但现实的设置：无监督的开集领域自适应（UOSDA），其中目标域有未知的类，在源域中找不到。这是第一个研究提供了一个学习界的开集领域自适应，我们这样做，从理论上研究的风险目标分类器上未知的类。提出的学习界有一个特殊的术语，即开集差，它反映了目标分类器对未知类的风险。此外，我们提出了一种新的和理论指导的无监督算法的开集领域自适应，称为分布对齐与ppen差异（DAOD），这是基于正则化这个开集差界。在几个基准数据集上的实验表明，与文献中的最先进的方法相比，所提出的UOSDA方法的性能优越。
2020-10-08 cs.LG stat.ML
Domain Adaptation for Facial Expression Classifier via Domain Discrimination and Gradient Reversal
Innopolis University（因诺波利斯大学）；Institute of Data Science & AI（数据科学与人工智能研究所）
一旦机器能够理解客户的意图并更好地满足他们的需求，将同理心引入计算机化系统就可以大大提高人机沟通的质量。根据不同的研究（文献综述），视觉信息是人类互动的最重要的渠道之一，包含重要的行为信号，可以从面部表情中捕获。因此，在过去的十年中，由于具有不同的应用领域，包括医疗保健、社会学、心理学、驾驶员安全、虚拟现实、认知科学、安全、娱乐、营销、我们提出了一种新的FER任务的架构，并检查域歧视损失正则化的学习过程中的影响。关于观察，包括经典的训练条件和无监督的领域自适应方案，所考虑的领域自适应方法集成的重要方面被跟踪。研究结果可作为该领域进一步研究的基础。
2021-06-02 cs.CV cs.LG
Surprisingly Simple Semi-Supervised Domain Adaptation with Pretraining and Consistency
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
大多数现代无监督领域自适应（UDA）方法都植根于领域对齐，即，学习对齐源和目标特征以使用源标签来学习目标域分类器。在半监督领域自适应（SSDA）中，当学习器可以访问很少的目标领域标签时，现有方法遵循UDA理论使用领域对齐进行学习。我们表明，SSDA的情况是不同的，一个好的目标分类器可以学习，而不需要对齐。我们使用自监督预训练（通过旋转预测）和一致性正则化来实现良好分离的目标聚类，帮助学习低错误目标分类器。通过我们的预训练和一致性（PAC）方法，我们在这个半监督领域自适应任务上实现了最先进的目标准确性，超越了多个数据集上的多个对抗性领域对齐方法。PAC虽然使用简单的技术，但在大型且具有挑战性的SSDA基准测试（如DomainNet和Visda-17）上表现非常出色，经常以相当大的幅度超过最新的技术水平。我们的实验代码可以在https://github.com/venkatesh-saligrama/PAC上找到
2021-11-26 cs.CV cs.LG
PACE: Marrying generalization in PArameter-efficient fine-tuning with Consistency rEgularization
The Australian National University（澳大利亚国立大学）；Data61 CSIRO；Australian Institute for Machine Learning, The University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学）
PACE通过结合参数高效微调与一致性正则化，提升模型泛化能力与知识保留，优于现有PEFT方法。
2026-03-06 cs.CV cs.LG
Bayesian Structure Adaptation for Continual Learning
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
持续学习是一种学习范式，其中学习系统通过顺序或流式任务进行训练。在神经网络持续学习的最新进展中，有两个值得注意的方向是（$i$）通过学习先前任务的先验知识进行基于变分贝叶斯的正则化，以及（$ii$）学习深度网络的结构以适应新任务。到目前为止，这两种方法是正交的。我们提出了一种基于学习深度神经网络结构的持续学习贝叶斯方法，解决了这两种方法的缺点。该模型通过学习要使用的权重来学习每个任务的深层结构，并通过不同任务学习的不同稀疏权重子集的重叠来支持任务间的转移。在有监督和无监督基准测试上的实验结果表明，我们的模型在持续学习环境中的性能优于或优于最近的进展。
2020-02-21 cs.LG stat.ML
Online and Offline Domain Adaptation for Reducing BCI Calibration Effort
DataNova, NY USA（DataNova（美国纽约））
许多真实世界的脑机接口（BCI）应用依赖于EEG信号中事件相关电位（ERP）的单次试验分类。然而，由于不同的主题有不同的神经反应，即使是相同的刺激，这是非常困难的建立一个通用的ERP分类器的参数适合所有的主题。分类器需要使用一些标记的特定于对象的数据来针对每个个体对象进行校准。本文提出了在线和离线加权自适应正则化（wAR）算法来减少这种校准工作，即，以最小化BCI校准中所需的标记的受试者特定EEG数据的量，并因此增加BCI系统的实用性。我们证明使用视觉诱发电位古怪的任务和三种不同的EEG耳机，无论是在线和离线WAR算法显着优于其他几种算法。此外，通过源域选择，我们可以减少约50%的计算成本，使他们更适合实时应用。
2017-02-09 cs.HC cs.LG
Domain adaptation strategies for cancer-independent detection of lymph node metastases
Nijmegen, the Netherlands
最近，大型高质量的公共数据集导致了卷积神经网络的发展，可以在专家病理学家的水平上检测乳腺癌的淋巴结转移。许多癌症，无论起源部位如何，都可以转移到淋巴结。然而，收集和注释每种癌症类型的高容量，高质量数据集是具有挑战性的。在本文中，我们研究了如何在多任务设置中最有效地利用现有的高质量数据集来执行密切相关的任务。具体来说，我们将探索不同的训练和域适应策略，包括预防灾难性遗忘，用于结肠癌和头颈癌淋巴结转移检测。我们的研究结果显示了两种癌症转移检测任务的最新性能。此外，我们证明了从一种癌症类型到另一种癌症类型的网络重复适应的有效性，以获得多任务转移检测网络。最后，我们证明了利用现有的高质量数据集可以显着提高新目标任务的性能，并且可以使用正则化有效地减轻灾难性遗忘。
2022-07-13 cs.CV cs.LG eess.IV
Sample-to-Sample Correspondence for Unsupervised Domain Adaptation
Purdue University（普渡大学）
训练样本和测试样本是从相同的分布中生成的假设并不总是适用于现实世界的机器学习应用程序。处理训练（源）域和测试（目标）域之间的这种差异的过程称为领域自适应。我们提出了一个无监督版本的领域自适应，认为在目标域中存在的只有未标记的数据。我们的方法集中在寻找每个域的样本之间的对应关系。通过将源样本和目标样本视为图并使用凸准则来匹配它们来获得对应关系。使用的标准是图之间的一阶和二阶相似性以及基于类的正则化。我们还开发了一个计算效率高的凸优化例程，从而使所提出的方法被广泛使用。为了验证所提出的方法的有效性，计算机模拟进行合成，图像分类和情感分类数据集。实验结果表明，本文提出的局部样本间匹配方法优于传统的矩匹配方法，与现有的局部域自适应方法相比具有较强的竞争力。
2018-12-04 cs.CV cs.LG stat.ML
Pseudo-Labeling for Unsupervised Domain Adaptation with Kernel GLMs
Department of IEOR, Columbia University（哥伦比亚大学工业工程与运营研究系）；Department of IEOR and Data Science Institute, Columbia University（哥伦比亚大学工业工程与运营研究系及数据科学研究所）
本文提出一种基于核广义线性模型的无监督域适应框架，通过伪标签技术提升目标域预测性能，建立非渐近风险界并验证在合成和真实数据集上的有效性。
2026-03-19 cs.LG math.ST stat.ML
Improved Robustness and Safety for Pre-Adaptation of Meta Reinforcement Learning with Prior Regularization
University of Michigan（密歇根大学）；Ford Research and Advanced Engineering（福特研究与高级工程中心）
Meta强化学习（Meta-RL）最近取得了重大进展。特别是，开发了off-policy方法来提高Meta-RL技术的数据效率。\textit{Probabilistic embeddings for actor-critic RL}（PEARL）是解决多MDP适应问题的领先方法。许多现有的Meta-RL方法（包括PEARL）的一个主要缺点是，当第一次暴露给新任务时，它们没有明确考虑先前策略的安全性。安全对于许多现实世界的应用至关重要，包括现场机器人和自动驾驶汽车（AV）。在本文中，我们开发了PEARL PLUS（PEARL $^+$）算法，该算法优化了先前（预适应）的安全性和之后（适应后）的性能。在PEARL算法的基础上，我们提出的PEARL $^+$算法在奖励函数中引入了一个先验正则化项，并引入了一个新的Q-网络，用于在先验上下文假设下恢复状态-动作值，以提高对任务分布偏移的鲁棒性和训练网络首次暴露于新任务时的安全性。PEARL $^+$的性能进行了验证，通过解决三个安全关键问题的机器人和自动驾驶汽车，包括两个MuJoCo基准问题。仿真实验表明，与PEARL相比，该策略的安全性得到了显著提高，并且对任务分布偏移具有更强的鲁棒性。
2023-02-09 cs.LG
Optimal transport meets noisy label robust loss and MixUp regularization for domain adaptation
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）
在计算机视觉中，经常会遇到图像的区域偏移问题：图像类别相同，但采集条件不同。在领域自适应（DA）中，人们希望利用源标记图像对未标记的目标图像进行分类。不幸的是，在源训练集上训练的深度神经网络在不属于训练域的目标图像上表现不佳。提高这些性能的一种策略是使用最优传输（OT）在嵌入式空间中对齐源和目标图像分布。然而，OT可引起负转移，即将样品与不同的标记比对，这导致过拟合，尤其是在结构域之间存在标签偏移的情况下。在这项工作中，我们通过将其解释为对目标图像的噪声标签分配来减轻负对齐。然后，我们通过适当的正则化来减轻其影响。我们建议将MixUp正则化\citep{zhang2018mixup}与对噪声标签具有鲁棒性的损失相结合，以提高领域自适应性能。我们在一项广泛的消融研究中表明，这两种技术的结合是实现性能改善的关键。最后，我们评估我们的方法，称为\textsc{mixunbot}，在几个基准和现实世界的DA问题。
2022-06-22 cs.CV cs.LG stat.ML
Global-Local Regularization Via Distributional Robustness
VinAI Research（VinAI研究院）；Monash University（莫纳什大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
尽管在许多情况下具有优越的性能，但深度神经网络通常容易受到对抗性示例和分布偏移的影响，从而限制了模型在现实世界应用中的泛化能力。为了缓解这些问题，最近的方法利用分布鲁棒性优化（DRO）来找到最具挑战性的分布，然后最小化这个最具挑战性的分布上的损失函数。尽管取得了一些改进，这些DRO方法有一些明显的局限性。首先，它们纯粹专注于局部正则化以加强模型鲁棒性，而忽略了在许多现实世界应用中有用的全局正则化效果（例如，领域自适应、领域泛化和对抗性机器学习）。其次，现有DRO方法中的损失函数仅在最具挑战性的分布中操作，因此与原始分布解耦，导致建模能力受限。在本文中，我们提出了一种新的正则化技术，以下的静脉基于Wasserstein的DRO框架。具体来说，我们定义了一个特定的联合分布和基于Wasserstein的不确定性，使我们能够耦合原始和最具挑战性的分布，以增强建模能力并应用局部和全局正则化。不同的学习问题的实证研究表明，我们提出的方法显着优于现有的正则化方法在各个领域：半监督学习，领域自适应，领域泛化，和对抗性机器学习。
2023-02-13 cs.AI cs.LG
Enhancing Generalization of Depth Estimation Foundation Model via Weakly-Supervised Adaptation with Regularization
针对MDE基础模型在下游任务中的泛化提升问题，提出参数高效的WeSTAR框架，通过密集自训练、语义感知分层归一化、成对序深度弱监督及LoRA权重正则化，增强模型在多样域的鲁棒性并实现基准最优性能。
2025-11-18 cs.CV cs.LG
Label Alignment Regularization for Distribution Shift
University of Alberta（阿尔伯塔大学）；University of Oxford（牛津大学）；University of Waterloo（滑铁卢大学）
该研究受监督学习中标签对齐特性启发，提出一种正则化分类器的无监督域适应方法，经理论验证与实验表明，其在多个任务上性能优于基线模型。
2024-09-11 cs.LG stat.ML
Speaker Adaptation for Attention-Based End-to-End Speech Recognition
Microsoft Corporation（微软公司）
我们提出了三种基于正则化的说话人自适应方法，以适应基于注意力的编码器-解码器（AED）模型与非常有限的适应数据从目标说话人的端到端自动语音识别。第一种方法是Kullback-Leibler发散（KLD）正则化，其中通过将KLD正则化添加到自适应标准中，迫使说话者相关（SD）AED的输出分布接近说话者无关（SI）模型的输出分布。为了弥补KLD正则化中的不对称缺陷，提出了一种对抗性说话人自适应（ASA）方法，通过辅助学习器和SD AED的对抗性学习来正则化SD AED的深度特征分布.第三种方法是多任务学习，其中SD AED被训练为联合执行预测大量输出单元的主要任务和预测少量输出单元的辅助任务，以减轻目标稀疏性问题。微软短消息听写任务的评估，所有三种方法都非常有效地适应AED模型，实现了高达12.2%和3.0%的字出错率改善超过一个SI AED训练从3400小时的数据，分别为监督和无监督的适应。
2019-11-09 cs.CL cs.LG cs.SD
General regularization in covariate shift adaptation
Johann Radon Institute for Computational and Applied Mathematics, Austrian Academy of Sciences（奥地利科学院约翰·拉东计算与应用数学研究所）
针对协变量偏移下RKHS最小二乘学习的误差问题，梳理重加权核回归已知误差界并组合得到新结果，证明弱光滑条件下达到标准监督学习同等精度所需样本量少于现有分析结论。
2023-07-21 cs.AI cs.CC cs.LG
PerNodeDrop: A Method Balancing Specialized Subnets and Regularization in Deep Neural Networks
Department of Computer Science, Christ University（计算机科学系，基督大学）
PerNodeDrop通过在样本和节点层面引入随机扰动，平衡专用子网络与正则化，提升深度神经网络的泛化能力。
2026-11-03 cs.AI cs.CV cs.LG
SERIL: Noise Adaptive Speech Enhancement using Regularization-based Incremental Learning
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
已经提出了许多噪声自适应技术来微调语音增强（SE）中的深度学习模型，以适应不匹配的噪声环境。然而，对新环境的适应可能会导致对先前学习的环境的灾难性遗忘。灾难性的遗忘问题降低了SE在现实世界的嵌入式设备中的性能，这些设备经常会重新访问以前的噪声环境。嵌入式设备的性质不允许通过额外存储所有预训练模型或早期训练数据来解决问题。在本文中，我们提出了一种基于正则化的增量学习SE（SERIL）策略，补充现有的噪声自适应策略，而无需使用额外的存储。通过正则化约束，参数被更新到新的噪声环境，同时保留先前噪声环境的知识。实验结果表明，当面对新的噪声域时，SERIL模型的性能优于未自适应的SE模型。同时，与目前基于微调的自适应技术相比，SERIL模型可以减少对先前噪声环境的遗忘52%。结果表明，SERIL模型可以有效地适应新的噪声环境，同时克服灾难性遗忘问题。这些结果使SERIL成为噪声环境频繁变化的实际SE应用的有利选择。
2020-09-17 cs.LG eess.AS
Bridging Contrastive Learning and Domain Adaptation: Theoretical Perspective and Practical Application
Centre Borelli（博雷利中心）；CNRS（法国国家科学研究中心）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）
本研究从理论视角揭示了对比学习与领域自适应的联系，证明最小化对比损失能降低CMMD并提升类别可分性，并在乳腺X光数据集上验证了其改善领域自适应和分类性能的有效性。
2025-01-28 cs.AI cs.LG
