Supervision Adaptation Balancing In-distribution Generalization and Out-of-distribution Detection
Macquarie University（麦考瑞大学）；Sun Yat-sen University（中山大学）
针对人工标注 OOD 样本损害 ID 分类的问题，本文提出监督自适应方法，利用互信息与二分类回归生成 OOD 负概率监督，在多架构和多数据集上同时提升 ID 分类与 OOD 检测。
2023-10-02 cs.LG
Enhancing Generalization of Depth Estimation Foundation Model via Weakly-Supervised Adaptation with Regularization
针对MDE基础模型在下游任务中的泛化提升问题，提出参数高效的WeSTAR框架，通过密集自训练、语义感知分层归一化、成对序深度弱监督及LoRA权重正则化，增强模型在多样域的鲁棒性并实现基准最优性能。
2025-11-18 cs.CV cs.LG
Improving the Generalization of Adversarial Training with Domain Adaptation
Huazhong University of Science and Technology（华中科技大学）；Peking University（北京大学）；Cornell University（康奈尔大学）
通过将对抗性示例注入训练数据，对抗性训练有望提高深度学习模型的鲁棒性。然而，大多数现有的对抗训练方法是基于特定类型的对抗攻击。它可能无法从对抗域提供足够有代表性的样本，导致对其他攻击的对抗样本的泛化能力较弱。此外，在对抗性训练过程中，输入的对抗性扰动通常由快速单步对手制作，以便扩展到大型数据集。这项工作主要集中在对抗训练，但有效的FGSM对手。在这种情况下，由于缺乏具有代表性的对抗样本，即样本无法准确反映对抗域，因此很难训练具有很大泛化能力的模型。为了缓解这个问题，我们提出了一种新的对抗训练与领域自适应（ATDA）方法。我们的直觉是将FGSM对手的对抗训练视为具有有限数量目标域样本的域适应任务。其主要思想是学习一种在干净域和对抗域上具有语义意义和域不变的表示。对Fashion-MNIST、SVHN、CIFAR-10和CIFAR-100的实证评估表明，ATDA可以大大提高对抗训练的泛化能力和学习模型的平滑度，并在标准基准数据集上优于最先进的方法。为了展示我们方法的迁移能力，我们还将ATDA扩展到迭代攻击的对抗训练，如PGD-Adversial Training（PAT），防御性能得到了显着提高。
2019-03-15 cs.CV cs.LG stat.ML
On the Hardness of Robustness Transfer: A Perspective from Rademacher Complexity over Symmetric Difference Hypothesis Space
The Pennsylvania State University（宾夕法尼亚州立大学）；Michigan State University（密歇根州立大学）；Sony AI（索尼人工智能研究院）
最近的研究表明，在$\ell_\infty$攻击下的对抗鲁棒学习比标准的领域自适应更难推广到不同的领域。如何在不同领域之间传递鲁棒性是领域自适应研究的一个关键问题。为了研究对抗性鲁棒领域自适应（或鲁棒性转移）背后的根本困难，我们提出分析控制跨领域泛化的关键复杂性度量：{ \em对称差异假设空间} $\mathcal{H} Δ\mathcal{H}$上的对抗性Rademacher复杂性。对于线性模型，我们表明，这种复杂性的对抗版本总是大于非对抗版本，这揭示了对抗鲁棒领域自适应的内在硬度。我们还建立了这个复杂性措施的上限。然后，我们将它们扩展到ReLU神经网络类，通过在二进制分类设置中上界对抗Rademacher复杂度。最后，尽管鲁棒领域自适应被证明是困难的，我们确实发现鲁棒学习和标准领域自适应之间的正相关关系。我们解释\emph{how adversarial training helps domain adaptation in terms of standard risk}。我们相信，我们的研究结果启动了对抗鲁棒领域自适应的泛化理论研究，并可能揭示分布式对抗鲁棒学习的异构来源，例如，联邦学习场景。
2023-02-23 cs.LG stat.ML
Example-based Hypernetworks for Out-of-Distribution Generalization
Bar Ilan University（巴伊兰大学）；Technion, IIT（以色列理工学院）；NVIDIA Research（英伟达研究院）
本文提出基于示例的 Hypernetwork 适应框架，利用多源领域标注数据在训练时泛化到未知目标领域，通过 T5 生成签名并由 Hypernetwork 生成分类器权重，在情感分类和自然语言推理任务中超越既有算法，首次将 Hypernetwork 应用于未知领域适应。
2023-10-18 cs.AI cs.CL cs.LG
DenseTRF: Texture-Aware Unsupervised Representation Adaptation for Surgical Scene Dense Prediction
GRASP Laboratory, University of Pennsylvania（宾夕法尼亚大学GRASP实验室）；PCASO Laboratory, Department of Surgery, University of Pennsylvania（宾夕法尼亚大学外科PCASO实验室）；Department of Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系）
本文提出DenseTRF框架，通过基于纹理的关注机制学习纹理感知的表示，提升外科场景密集预测的跨分布泛化能力。
2026-09-14 cs.AI cs.CV cs.LG
Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
Purdue University（普渡大学）
本文研究范畴和一般赋范标号空间在标号移位下的推广。我们提出了一系列的方法来估计从标记源到未标记目标域的重要性权重，并提供这些估计的置信界。我们部署这些估计器，并提供在未标记的目标域的泛化范围。
2021-06-05 cs.LG
Energy-Based Test Sample Adaptation for Domain Generalization
University of Amsterdam（阿姆斯特丹大学）；United Imaging Healthcare, Co., Ltd.（联影医疗技术集团有限公司）；Inception Institute of Artificial Intelligence（人工智能初创研究所）
在本文中，我们提出了基于能量的样本适应在测试时的领域泛化。在以前的作品将其模型适应目标领域的情况下，我们将看不见的目标样本适应源训练的模型。为此，我们设计了一个基于能量的判别模型，该模型在源域上进行训练，以联合建模用于分类的条件分布和用于样本自适应的数据分布。该模型被优化为同时学习分类器和能量函数。为了使目标样本适应源分布，我们迭代地更新样本的能量最小化与随机梯度朗之万动力学。此外，为了在适应过程中保留样本中的类别信息，我们在基于能量的模型中引入了类别潜变量。隐变量在自适应之前通过变分推理从原始样本中学习，并固定为引导样本更新的条件。在六个图像和微博线程分类基准上的实验证明了该方法的有效性。
2023-02-22 cs.LG
On generalization in moment-based domain adaptation
Johannes Kepler University Linz（林茨约翰内斯·开普勒大学）；Data Science Software Competence Center Hagenberg GmbH（哈根贝格数据科学软件能力中心有限公司）
域自适应算法被设计为通过自适应来自具有大量训练数据的源域的模型来最小化用于具有很少训练数据的目标域的判别模型的误分类风险。标准方法基于源域和目标域中的经验概率分布之间的距离度量来测量适应差异。在这种情况下，我们解决的问题，推导出面向实践的一般条件下的基本概率分布的泛化界。因此，我们得到了泛化界域自适应的基础上，许多矩和光滑条件。
2021-07-26 cs.LG stat.ML
Information-Theoretic Analysis of Unsupervised Domain Adaptation
University of Ottawa（渥太华大学）
利用信息论工具分析了无监督领域自适应（UDA）中的泛化误差。我们提出了新的上界的两个概念的泛化误差。第一个概念测量目标域中的群体风险与源域中的群体风险之间的差距，第二个概念测量目标域中的群体风险与源域中的经验风险之间的差距。虽然我们对第一种错误的界限与传统分析一致，并给出了类似的见解，但我们对第二种错误的界限是依赖于算法的，这也为算法设计提供了见解。具体来说，我们提出了两个简单的技术，提高泛化UDA和实验验证。
2023-03-02 cs.LG
A Survey on Deep Reinforcement Learning-based Approaches for Adaptation and Generalization
Yonsei University（延世大学）
深度强化学习（Deep Reinforcement Learning，DRL）旨在创建智能代理，这些智能代理可以学习在现实环境中有效地解决复杂问题。通常，两个学习目标：适应和泛化用于基线DRL算法的性能在不同的任务和领域。本文综述了基于DRL的自适应和泛化方法的最新进展。我们首先在任务和领域的背景下制定这些目标。然后，我们回顾了这些方法下的最新工作，并讨论了未来的研究方向，通过DRL算法的适应性和泛化能力可以提高，并可能使它们适用于广泛的现实世界的问题。
2022-02-17 cs.AI cs.LG
Context-Aware Self-Adaptation for Domain Generalization
Carleton University（卡尔顿大学）；Amii（Amii研究院）
提出用于领域泛化的两阶段方法CASA，利用小批量特征均值等上下文信息自适应调整预训练模型，并通过多模型集成在标准基准上实现最先进性能。
2025-04-03 cs.AI cs.LG
Generalization Bounds for Domain Adaptation
The Biodesign Institute（生物设计研究所）；Nanjing University of Science and Technology（南京理工大学）；Arizona State University（亚利桑那州立大学）
在本文中，我们提供了一个新的框架，以获得的推广界的学习过程的领域自适应，然后应用导出的界分析的渐近收敛的学习过程。不失一般性，我们考虑两种代表性的领域自适应：一个是与多个源，另一个是结合源和目标数据。特别地，我们使用积分概率度量来度量两个域之间的差异。对于任意一种领域自适应，我们建立了一个Hoeffding型偏差不等式和一个对称化不等式，得到了相应的基于一致熵数的推广界.我们还将经典的McDiarmid不等式推广到更一般的情况，其中独立随机变量可以从不同的域取值。通过使用这个不等式，我们获得了基于Rademacher复杂度的推广界。然后分析了这种领域自适应学习过程的渐近收敛性和收敛速度。同时，我们讨论了影响学习过程渐近行为的因素，数值实验也支持了我们的理论结果。
2013-04-04 cs.LG math.PR
Generalization Bounds for Representative Domain Adaptation
The Biodesign Institute（生物设计研究所）；Nanjing University of Science and Technology（南京理工大学）；Huawei（华为）；Arizona State University（亚利桑那州立大学）
在本文中，我们提出了一个新的框架来分析学习过程的理论特性的一个代表性类型的领域自适应，它结合了多个来源和一个目标（或简称为代表性领域自适应）的数据。特别地，我们使用积分概率度量来度量两个域的分布之间的差异，同时将其与H-散度和差异距离进行比较。分别建立了多域的Hoeffding型、Bennett型和McDiarmid型偏差不等式，并给出了典型领域自适应的对称化不等式.其次，利用所得到的不等式分别得到了基于一致熵数的Hoeffding型和Bennett型推广界.此外，我们提出了基于Rademacher复杂性的推广界。最后，我们分析了代表性的领域自适应的学习过程的渐近收敛性和收敛速度。我们讨论了影响学习过程渐近行为的因素，数值实验也支持了我们的理论结果。同时，在同分布假设下，与已有的领域自适应结果和经典结果进行了比较。
2014-01-02 cs.LG stat.ML
Effective Sample Size, Dimensionality, and Generalization in Covariate Shift Adaptation
University of São Paulo（圣保罗大学）；Advanced Institute for Artificial Intelligence (AI2)（高级人工智能研究所）；Experian DataLab LatAm（益百利拉丁美洲数据实验室）
在监督学习中，训练和测试数据集通常从不同的分布中采样。因此，需要域自适应技术。协变量移位自适应产生良好的泛化性能时，域不同的边缘分布的功能。协变量偏移自适应通常使用重要性加权来实现，根据常识，由于有效样本量（ESS）较小，这可能会失败。以前的研究认为，这种情况在高维环境中更常见。然而，如何有效的样本量，维数和模型的性能/泛化正式相关的监督学习，考虑到协变量转移适应的背景下，在文献中仍然有些模糊。因此，一个主要的挑战是提出一个统一的理论连接这些点。因此，在本文中，我们专注于建立一个统一的视图连接ESS，数据维度，并在协变量转移自适应的背景下推广。此外，我们还展示了如何降维或特征选择可以增加ESS，并认为我们的研究结果支持降维协变量转移适应之前作为一个很好的做法。
2022-01-09 cs.AI cs.LG stat.ME
Token-Level Adaptation of LoRA Adapters for Downstream Task Generalization
University of Chicago（芝加哥大学）
本文提出一种基于无梯度路由的LoRA适配器令牌级自适应方法，在不增加计算开销的情况下提升小模型在多类下游任务上的泛化性能，并验证其优于基础模型和单任务微调模型。
2023-12-01 cs.CL cs.LG
Beyond Batch Learning: Global Awareness Enhanced Domain Adaptation
School of Aeronautics and Astronautics, Shanghai Jiao Tong University（上海交通大学航空航天学院）；LIRIS（利里研究所）；CNRS（法国国家科学研究中心）；Ecole Centrale de Lyon（里昂中央理工学院）；Institut Universitaire de France (IUF)（法国大学研究院）
针对域自适应中批量学习无法充分捕捉全局数据特征的问题，提出GAN-DA方法，通过整合预定义特征表示并扩展至正交和公共特征层面实现全局统计与几何感知，在27项任务中显著优于24种现有方法，为域自适应设立新基准。
2025-02-10 cs.LG
Forget to Generalize: Iterative Adaptation for Generalization in Federated Learning
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Harvard College（哈佛大学）；Imperial College London（帝国理工学院伦敦分校）
本文提出迭代联邦适应方法，通过生成层面的忘却和进化策略提升联邦学习在非iid数据下的泛化能力，实验表明在多个数据集上平均提升21.5%。
2026-02-04 cs.LG
Advances in Multimodal Adaptation and Generalization: From Traditional Approaches to Foundation Models
Technical University of Munich（慕尼黑工业大学）；Hong Kong Baptist University（香港浸会大学）；Aalto University（阿尔托大学）；University of Oulu（奥卢大学）；University of Bonn（波恩大学）；EPFL（洛桑联邦理工学院）
本综述系统梳理了多模态领域适应与泛化从传统方法到基础模型（如CLIP）的最新进展，涵盖五类任务、方法、数据集与开放挑战，并维护了持续更新的文献仓库。
2025-09-19 cs.AI cs.CV cs.LG
Empowering GNNs for Domain Adaptation via Denoising Target Graph
Texas A&M University（德克萨斯大学）；Carnegie Mellon University（卡内基梅隆大学）；Amazon（亚马逊）
GraphDeT通过在目标图上引入去噪边任务提升GNN在领域适应中的节点分类性能。
2025-12-11 cs.LG
Scatter Component Analysis: A Unified Framework for Domain Adaptation and Domain Generalization
Victoria University of Wellington（惠灵顿维多利亚大学）
本文讨论了一个特定的目标域的分类任务，其中标记的训练数据只能从源域不同（但相关）的目标。两个密切相关的框架，领域自适应和领域泛化，关注这样的任务，这些框架之间的唯一区别是未标记的目标数据的可用性：领域自适应可以利用未标记的目标信息，而领域泛化不能。我们提出了一种快速的表示学习算法Scatter Component Analyis（SCA），它可以同时应用于领域自适应和领域泛化。SCA基于简单的几何测量，即，scatter，它在再生核希尔伯特空间上操作。SCA找到了一种在最大化类的可分性、最小化域之间的不匹配和最大化数据的可分性之间进行权衡的表示;每一种都通过分散来量化。SCA的优化问题可以归结为一个广义特征值问题，这导致在一个快速和精确的解决方案。在跨领域目标识别基准数据集上的综合实验验证了SCA的性能比几种最先进的算法快得多，并且在领域自适应和领域泛化方面都提供了最先进的分类精度。我们还表明，分散可以用来建立一个理论的推广界的情况下，领域自适应。
2016-07-26 cs.AI cs.CV cs.LG
Semi-Supervised Noise Adaptation: Transferring Knowledge from Noise Domain
Guangdong Laboratory of Artificial Intelligence and Digital Economy（广东人工智能与数字经济实验室）；Nanjing University of Posts and Telecommunications（南京邮电大学）；Beijing Jiaotong University（北京交通大学）；Beijing University of Technology（北京工业大学）；Tsinghua University（清华大学）；Southern University of Science and Technology（南方科技大学）
提出半监督噪声适应（SSNA）问题，利用合成噪声域作为源域，通过噪声适应框架（NAF）改善目标域的泛化性能。
2026-06-16 cs.LG
Practicality of generalization guarantees for unsupervised domain adaptation with neural networks
Chalmers University of Technology（查尔姆斯理工大学）
理解泛化对于自信地设计和部署机器学习模型至关重要，特别是当部署意味着数据域的转变时。对于这样的领域自适应问题，我们寻求的泛化边界是易处理的可计算和紧。如果能够达到这些期望值，则边界可以作为部署中的适当性能的保证。然而，在深度神经网络是选择模型的应用中，获得满足这些的结果仍然是一个未解决的挑战;大多数现有的边界要么是空洞的，要么具有不可估计的条款，即使在有利的条件下。在这项工作中，我们评估现有的界限，从文献中有可能满足我们的desiderata的领域自适应图像分类任务，其中深神经网络是首选。我们发现，所有的界限是空洞的，样本泛化条款占了很大一部分观察到的松散，特别是当这些条款与域转移的措施相互作用。为了克服这一点，并达到最严格的可能结果，我们将每个边界与最近的数据相关的PAC-Bayes分析相结合，大大提高了保证。我们发现，当域重叠可以假设，一个简单的重要性加权扩展以前的工作提供了最紧密的估计范围。最后，我们研究哪些条款占主导地位的界限，并确定进一步改进的可能方向。
2023-03-15 cs.LG stat.ML
Adversarial and Random Transformations for Robust Domain Adaptation and Generalization
National Innovation Institute of Defense Technology（国防科技创新研究院）
数据增强已被广泛用于在训练深度神经网络时提高泛化能力。最近的工作表明，使用最坏情况下的转换或对抗增强策略可以显着提高准确性和鲁棒性。然而，由于图像变换的不可微性质，必须应用诸如强化学习或演化策略的搜索算法，这对于大规模问题在计算上是不实用的。在这项工作中，我们表明，通过简单地应用随机数据增强的一致性训练，可以获得领域自适应（DA）和泛化（DG）的最先进的结果。为了进一步提高对抗样本的准确性和鲁棒性，提出了一种基于空间Transformer网络的可微对抗数据增强方法。基于组合对抗和随机变换的方法在多个DA和DG基准数据集上的性能优于最先进的方法。此外，所提出的方法显示出良好的鲁棒性腐败，这也是常用的数据集上验证。
2022-11-13 cs.CV cs.LG
Complementary Domain Adaptation and Generalization for Unsupervised Continual Domain Shift Learning
Graduate School of Data Science（数据科学研究生院）；Seoul National University（首尔国立大学）
针对无监督持续域偏移学习，提出互补域适应与泛化框架CoDAG，兼顾适应当前域、泛化未见域与防遗忘，模型无关且在多个基准上超越现有方法。
2023-10-13 cs.AI cs.CV cs.LG
Domain Adaptation for Sustainable Soil Management using Causal and Contrastive Constraint Minimization
University of Minnesota Twin Cities（明尼苏达大学双城分校）；Microsoft Research（微软研究院）
本文提出一个多模态可扩展框架，结合因果约束与对比学习，利用遥感数据和稀疏传感器数据估计土壤有机质，以改进跨域泛化能力并识别关键土壤属性。
2024-01-13 cs.LG
The Golden Subspace: Where Efficiency Meets Generalization in Continual Test-Time Adaptation
School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室）；Hong Kong University of Science and Technology（香港科技大学）；Frontier Robotics（前沿机器人）
本文提出GOLD方法，通过轻量级适配器将特征投影到黄金子空间，并动态更新子空间以提升效率和稳定性，实验证明其在分类和分割任务中表现优异。
2026-03-23 cs.CV cs.LG
Beyond Simulation: Retain-and-Repair Neural Operators for Real-World Adaptation
TelePIX
提出保留-修复神经算子（R$^2$NO），通过冻结微调后的源预测并学习谱域单元级修复，在真实数据上自适应地改进仿真预训练模型，显著超越完全微调。
2026-10-01 cs.LG
Beyond Model Adaptation at Test Time: A Survey
University of Amsterdam（阿姆斯特丹大学）
本文综述测试时适应（TTA）范式，按调整组件分为五类，涵盖400余篇论文，分析设置与应用，并展望未来研究方向。
2024-11-06 cs.AI cs.LG
Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
OpenAI；Google（谷歌）
在本文中，我们提出了研究小算法生成的数据集上的神经网络的推广。在这种情况下，关于数据效率，记忆，泛化和学习速度的问题可以非常详细地研究。在某些情况下，我们表明，神经网络通过“寻找”数据中的模式的过程来学习，将泛化性能从随机机会水平提高到完美的泛化，并且这种泛化性能的提高可以发生在过拟合点之后。我们还研究了泛化作为数据集大小的函数，发现较小的数据集需要增加泛化的优化量。我们认为，这些数据集为研究深度学习的一个知之甚少的方面提供了肥沃的土壤：超越有限训练数据集记忆的过度参数化神经网络的泛化。
2022-01-06 cs.LG
Variational Autoencoder Domain Adaptation for Cross-System Generalization in ML-Based SOP Monitoring
School of Computer Science and Statistics, IRIS research group, ADAPT Centre, Trinity College Dublin (TCD)（三一学院都柏林（TCD）计算机科学与统计学学院、IRIS研究组、ADAPT中心）；Department of Electrical Engineering, Chalmers University of Technology（挑战者技术大学电子工程系）；Micropol Fiberoptics AB（Micropol光纤有限公司）；Department of Computing Science, Umeå University（乌梅大学计算科学系）；Asiera（Asiera公司）
本文提出基于变分自编码器的领域适应框架，通过学习两个不同光系统共有的事件特征表示，提升跨系统泛化能力，实验显示其在跨系统识别准确率上优于全监督深度神经网络基线。
2026-04-20 cs.LG
GRAM: Generalization in Deep RL with a Robust Adaptation Module
Mitsubishi Electric Research Laboratories (MERL)（三菱电机研究实验室（MERL））；Massachusetts Institute of Technology（麻省理工学院）；Amazon Robotics（亚马逊机器人）
GRAM通过鲁棒适应模块提升深度强化学习在分布内和分布外场景中的泛化能力，通过仿真和机器人实验验证其有效性。
2025-11-25 cs.AI cs.LG cs.RO
Correlation-aware Adversarial Domain Adaptation and Generalization
Queensland University of Technology（昆士兰科技大学）；University of Queensland（昆士兰大学）
领域自适应（DA）和领域泛化（DG）已经出现作为对源数据和目标数据的分布不同的领域移位问题的解决方案。DG的任务比DA更具挑战性，因为在DG场景的训练阶段，目标数据是完全不可见的。目前最先进的采用对抗技术，然而，这些很少被认为是DG问题。此外，这些方法不考虑相关对齐，这已被证明是非常有益的最小化域差异。在本文中，我们提出了一个相关性感知的对抗DA和DG框架，其中使用相关性对齐以及对抗学习来最小化源和目标数据的特征。将相关性对齐模块与对抗性学习一起使用有助于实现更加领域不可知的模型，因为改进了更有效地减少与未标记目标数据的领域差异的能力。在基准数据集上的实验证明，我们提出的方法可以提高最先进的性能。
2019-11-29 cs.CV cs.LG
Beyond Deterministic Translation for Unsupervised Domain Adaptation
University College London（伦敦大学学院）；Snap Inc.（Snap公司）
在这项工作中，我们挑战的共同做法，使用一个一对一的映射（“翻译”）之间的源和目标域的无监督领域自适应（UDA）。相反，我们依靠随机翻译来捕捉固有的翻译歧义。这允许我们（i）通过生成以相同源图像为条件的多个输出来训练更准确的目标网络，利用准确的翻译和用于外观可变性的数据增强两者，（ii）通过对源网络对单个目标图像的多个翻译版本的预测进行平均来为目标数据估算鲁棒的伪标签，以及（iii）通过调节翻译中的随机性程度来训练和集成目标域中的不同网络。我们报告了在最近强大的基线上的改进，在两个具有挑战性的语义分割基准上获得了最先进的UDA结果。我们的代码可在https://github.com/elchiou/Beyond-deterministic-translation-for-UDA上获得。
2022-11-20 cs.CV cs.LG
Boosting Cross-problem Generalization in Diffusion-Based Neural Combinatorial Solver via Inference Time Adaptation
Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文提出DIFU-Ada框架，通过推理时间适应提升基于扩散的神经组合求解器在跨问题和跨尺度上的泛化能力。
2026-03-11 cs.AI cs.LG
Painless step size adaptation for SGD
Samara University（萨马拉大学）；Oikon Ltd.（奥伊康有限公司）；Libertas International University（利伯塔斯国际大学）；Ruđer Bošković Institute（鲁杰尔·博什科维奇研究所）
针对SGD中收敛与泛化可能冲突的问题，本文提出LIGHT函数及四种配置，以显式实现无需稳定性保证或过参数化的步长自适应。
2021-02-01 cs.LG cs.NE
Meta-RL with Shared Representations Enables Fast Adaptation in Energy Systems
Université Sorbonne Paris Nord（索邦巴黎北大学）；INSA Rouen（里昂大学 Rouen 分校）；Université Lumière Lyon 2, Université Claude Bernard Lyon 1, ERIC（里昂大学二分校、里昂大学一分校、ERIC）
本文提出了一种具有共享表示的元强化学习框架，通过改进的知识转移和参数共享机制，实现能源系统中的快速适应与高效泛化。
2026-03-09 cs.LG
On Localized Discrepancy for Domain Adaptation
Tsinghua University（清华大学）；University of California（加利福尼亚大学）
提出了基于差异的无监督领域自适应泛化理论。以前的理论引入了分布差异，定义为完备假设空间上的上确界。假设空间可能包含导致不必要地高估风险界限的假设。本文研究了局部化后定义在假设空间上的局部化差异。首先，我们表明，这些差异具有理想的属性。它们可能比以前的差异小得多。如果我们将两个域互换，它们的值将不同，从而可以揭示非对称转移困难。接下来，我们得到改进的泛化界限与这些差异。我们发现，差异可能会影响样本复杂度的比率。最后，我们进一步扩展了局部差异，以实现超级传输，并推导出泛化界，可以更有效的样本源域。
2020-08-14 cs.LG stat.ML
Transferable Model-agnostic Vision-Language Model Adaptation for Efficient Weak-to-Strong Generalization
TransMiter是一种轻量级适配器，通过无监督方式提升视觉-语言模型的泛化能力，实现高效的知识迁移。
2026-01-17 cs.AI cs.CV cs.LG
Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach
Tsinghua University（清华大学）；Tsinghua-Berkeley Shenzhen Institute（清华-伯克利深圳学院）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Institute for AI Industry Research (AIR)（人工智能产业研究院）；Shanghai AI Lab（上海人工智能实验室）
本文提出RM-LoRA，通过正则化和梯度掩码提高低秩适配的内在维度，在相同或更少参数下提升大规模模型微调的泛化性能。
2024-07-16 cs.AI cs.LG
XXLTraffic: Expanding and Extremely Long Traffic forecasting beyond test adaptation
University of New South Wales（新南威尔士大学）
XXLTraffic是一个大规模交通数据集，用于支持超越测试适应的极长交通预测研究。
2025-12-02 cs.AI cs.LG
Generalization by Adaptation: Diffusion-Based Domain Extension for Domain-Generalized Semantic Segmentation
CARIAD SE；Technische Universität Braunschweig（布伦瑞克工业大学）；DLR（德国航空航天中心）
本文提出DIDEX方法，利用扩散模型结合多样化文本提示生成可控且高多样性的伪目标领域，并通过向该伪领域自适应训练泛化模型，在无真实目标数据条件下显著提升了领域泛化语义分割性能。
2023-12-04 cs.CV cs.LG
Universal Domain Adaptation Benchmark for Time Series Data Representation
Univ Rouen Normandie, INSA Rouen Normandie, Normandie Univ, LITIS UR 4108（鲁昂大学、INSA鲁昂、诺曼底大学、LITIS UR 4108）
本文提出通用时间序列数据表示领域适应基准，评估不同模型在不同领域中的鲁棒性和泛化能力，强调backbone选择对性能的影响。
2025-05-23 cs.LG
LRS-DAG: Low Resource Supervised Domain Adaptation with Generalization Across Domains
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
领域自适应中的现有技术方法遵循对抗方法，使得训练成为挑战。现有的非对抗方法学习源域和目标域之间的映射，以实现合理的性能。然而，即使这些方法也没有关注一个关键方面：即使在对目标域进行优化之后，也要保持源域的性能。另外，在低资源监督的领域自适应中存在非常少的方法。这项工作提出了一种方法，LRS-DAG，旨在解决这些目前在该领域的问题。通过添加一组将目标域映射到源的“编码器层”，并且可以在直接处理源数据时删除，该模型可以学习在两个域上进行优化。LRS-DAG展示了它的独特性，是一个新的算法，低资源领域自适应，保持性能的源域，与一个新的度量域之间的学习映射被引入。我们表明，在FCNs的情况下，当从MNIST转移到SVHN，LRS-DAG执行的微调，保持性能的优势，在源域。当传输到类似于MNIST的合成数据集时，LRS-DAG优于微调，MNIST是更能代表低资源监督领域自适应的设置。
2019-11-15 cs.CV cs.LG stat.ML
On the Generalization and Adaption Performance of Causal Models
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；ETH Zurich（苏黎世联邦理工学院）；KTH Stockholm（斯德哥尔摩KTH皇家理工学院）；DeepMind（深度思维）
提供鲁棒的分布外泛化和快速自适应的学习模型是现代机器学习的关键挑战。将因果结构建模到神经网络中有望实现鲁棒的零和Few-Shot自适应。最近在可区分因果发现方面的进展已经提出将数据生成过程分解为一组模块，即每个变量的条件分布的一个模块，其中仅因果父项用作预测因子。这种知识的模块化分解使得能够通过仅更新参数的子集来适应分布变化。在这项工作中，我们系统地研究了这种模块化神经因果模型的泛化和自适应性能，将其与单片模型和结构化模型进行比较，其中预测因子集不限于因果父模型。我们的分析表明，模块化神经因果模型优于其他模型的零和Few-Shot适应低数据制度，并提供强大的推广。我们还发现，与密集图相比，稀疏图的效果更显着。
2022-06-09 cs.AI cs.LG stat.ML
Domain Adaptation via Rebalanced Sub-domain Alignment
Duke University School of Medicine（杜克大学医学院）；Duke University（杜克大学）
无监督领域自适应（UDA）是一种将知识从标记的源域转移到不同但相关的未标记目标域的技术。虽然许多UDA方法在过去已经取得了成功，但它们通常假设源域和目标域必须具有相同的类标签分布，这可能会限制它们在现实场景中的有效性。为了解决这个问题，我们提出了一个新的泛化界，通过对齐源和目标子域来重新加权源分类错误。我们证明，我们提出的泛化界至少是强大的现有的界限在现实的假设下，我们的经验表明，它是更强大的现实世界的数据。然后，我们提出了一个算法，以尽量减少这种新的泛化界。我们通过数值实验证明，这种方法提高了性能，在移动类分布的情况下相比，国家的最先进的方法。
2023-02-03 cs.LG stat.ML
Towards Multimodal Open-Set Domain Generalization and Adaptation through Self-supervision
ETH Zürich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
本文首次提出利用自监督学习解决多模态开放集领域泛化与自适应问题，通过掩码跨模态翻译、多模态拼图及熵加权机制学习多模态特征，并在多个数据集上验证了方法的有效性和通用性。
2024-07-01 cs.AI cs.CV cs.LG
MixStyle Neural Networks for Domain Generalization and Adaptation
Queen Mary University of London（伦敦玛丽女王大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shenzhen Institute of Advanced Technology, CAS（中国科学院深圳先进技术研究院）；University of Surrey（萨里大学）；Hong Kong Baptist University（香港浸会大学）
针对神经网络在领域偏移下泛化差的问题，提出即插即用、无参数的MixStyle模块，通过在训练中混合随机实例的特征统计量实现特征空间数据增强，广泛适用于多种学习范式并显著提升分布外泛化性能。
2023-09-15 cs.AI cs.CV cs.LG
Test-time Adaptation vs. Training-time Generalization: A Case Study in Human Instance Segmentation using Keypoints Estimation
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
我们考虑的问题，提高人类实例分割掩模质量为一个给定的测试图像，使用关键点估计。我们比较两种替代方法。第一种方法是一个测试时自适应（TTA）的方法，我们允许测试时修改分割网络的权重使用一个单一的未标记的测试图像。在这种方法中，我们不假设测试时访问标记的源数据集。更具体地说，我们的TTA方法包括使用关键点估计作为伪标签，并将其反向传播以调整骨干权重。第二种方法是训练时泛化（TTG）方法，我们允许离线访问标记的源数据集，但不允许在测试时修改权重。此外，我们不假设任何图像的可用性或有关目标域的知识。我们的TTG方法包括用关键点头部生成的骨干特征来增强骨干特征，并将聚合向量馈送到掩码头部。通过一组全面的消融，我们评估了这两种方法，并确定了几个限制TTA增益的因素。特别是，我们表明，在没有一个显着的域转移，TTA可能会伤害和TTG显示只有一个小的性能增益，而对于一个大的域转移，TTA增益较小，并依赖于所使用的misticics，而TTG增益较大，强大的架构选择。
2022-12-12 cs.CV cs.LG
MANGA: Method Agnostic Neural-policy Generalization and Adaptation
Preferred Networks, Inc.（优选网络公司）；University of Toronto（多伦多大学）
在本文中，我们的目标是在不同的动态参数和电机噪声变化的多个环境中传输策略的问题，通过引入一个框架，该框架将策略学习和系统辨识的过程。在存在电机噪声的情况下，将学习到的策略有效地转移到动态配置发生变化的未知环境中对于在现实世界中操作机器人非常重要，我们的工作是在这个方向上的一个新尝试。我们介绍MANGA：方法不可知神经策略泛化和自适应，训练动态条件策略，并有效地学习估计环境中给定的非策略状态转换推出的环境的动态参数。我们的方案与所使用的训练方法的类型无关-可以使用强化学习（RL）和模仿学习（IL）策略。我们证明了我们的方法的有效性，通过实验与四个不同的MuJoCo代理商和以前提出的传输基线进行比较。
2019-11-19 cs.AI cs.LG cs.RO
Beyond $\mathcal{H}$-Divergence: Domain Adaptation Theory With Jensen-Shannon Divergence
Université Laval（拉瓦尔大学）；Zhejiang University（浙江大学）；Mila（米拉研究所）；University of Western Ontario（西安大略大学）；Vector Institute（向量研究所）
我们揭示了广泛采用的经验领域对抗性训练与基于$\mathcal{H}$ -发散的一般假设理论对应物之间的不一致性。具体地说，我们发现$\mathcal{H}$ -发散并不等价于领域对抗训练中的优化目标Jensen-Shannon发散。为此，我们建立了一个新的理论框架，直接证明的上，下目标风险界的基础上，联合分布的詹森-香农分歧。我们进一步推导出双向上界的边际和条件的变化。我们的框架表现出固有的灵活性，不同的迁移学习问题，这是可用于各种情况下，$\mathcal{H}$分歧为基础的理论无法适应。从算法的角度来看，我们的理论使一个通用的指导方针统一的原则，语义条件匹配，功能边际匹配，标签边际偏移校正。我们为每个原则采用算法，并在真实数据集上实证验证我们的框架的好处。
2020-07-30 cs.LG stat.ML
MoVie: Visual Model-Based Policy Adaptation for View Generalization
Shanghai Qi Zhi Institute（上海期智研究院）；University of Electronic Science and Technology of China（电子科技大学）；Shanghai Jiao Tong University（上海交通大学）；Tsinghua University（清华大学）；Shanghai AI Lab（上海人工智能实验室）
本文提出 MoVie，一种测试时、无奖励的视觉模型策略适配方法，以解决强化学习中的视角泛化问题，并在 DMControl、xArm 和 Adroit 的 18 项任务上取得显著提升。
2023-09-27 cs.CV cs.LG cs.RO
Order-preserving Consistency Regularization for Domain Adaptation and Generalization
University of Electronic Science and Technology of China（电子科技大学）；University of Amsterdam（阿姆斯特丹大学）；United Imaging Healthcare, Co., Ltd.（联影医疗科技股份有限公司）
本文提出保序一致性正则化（OCR），通过保持预测概率的顺序不变来增强模型对任务无关变换的鲁棒性，从而降低对领域特定属性的敏感度，并在五个跨领域任务上验证了其优势。
2023-09-23 cs.CV cs.LG
Beyond Transfer Accuracy: Mechanism-Guided Controlled Adaptation for Low-Resource Languages
Monash University Indonesia（印度尼西亚墨尔本大学）；Institute Teknologi Bandung（Bandung理工大学）；MBZUAI（MBZUAI研究所）；Boston University（波士顿大学）
提出基于上下文分解的电路发现方法（CD-T），通过标签平衡激活均值和任务方向相关性评分实现无反事实电路发现，并利用电路目标监督微调（CT-SFT）在低资源跨语言情感迁移中最小化灾难性遗忘，优于全局微调。
2026-09-03 cs.AI cs.CL cs.LG
