Just Shift It: Test-Time Prototype Shifting for Zero-Shot Generalization with Vision-Language Models
Stanford University（斯坦福大学）
针对视觉-语言模型在测试时因域偏移效果下降的问题，提出测试时原型移位框架，通过动态调整类别原型弥合域差距，在15个数据集上取得最优效果且资源消耗更低。
2024-12-10 cs.AI cs.CV cs.LG
When Shift Happens - Confounding Is to Blame
CISPA Helmholtz Center for Information Security（CISPA霍普夫研究中心）
研究指出分布偏移下ERM表现优异及全协变量利用提升OOD泛化的现象源于隐藏混杂，证明需学习环境特定关系并可用代理变量缓解挑战，为OOD算法设计提供新指导。
2025-05-27 cs.LG
FOOGD: Federated Collaboration for Both Out-of-distribution Generalization and Detection
Zhejiang University（浙江大学）；OPPO Research Institute（OPPO研究院）；National University of Singapore（新加坡国立大学）
针对联邦学习中协变量偏移与语义偏移同时出现的问题，本文提出FOOGD，通过SM3D和SAG实现分布估计、OOD检测与协变量偏移泛化。
2024-10-23 cs.LG
On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization
Peking University（北京大学）；New York University（纽约大学）
尽管在许多任务中取得了令人印象深刻的成功，但深度学习模型被证明依赖于虚假特征，当推广到分布外（OOD）数据时，这些特征将灾难性地失败。不变风险最小化算法（Invariant Risk Minimization，简称RISK）通过提取面向对象的领域不变特征来解决这一问题。然而，最近的工作表明，双折射仅对特定类型的分布偏移有效（例如，相关偏移）而对于其它情况则失败（例如，多样性转移）。与此同时，另一种方法，对抗训练（AT），表现出更好的域转移性能，这表明它有潜力成为提取域不变特征的有效候选者。本文探讨了这种可能性，通过探索的相似性之间的竞争和AT目标。受这种联系的启发，我们提出了域对抗训练（DAT），这是一种AT启发的方法，用于减轻特定于域的扰动引起的分布偏移。大量的实验表明，我们提出的DAT可以有效地去除领域变化的功能和提高OOD的泛化相关性和多样性的变化。
2022-12-18 cs.LG
A Theoretical Analysis on Independence-driven Importance Weighting for Covariate-shift Generalization
Tsinghua University（清华大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文从理论上证明了独立性驱动重要性加权算法在协变量偏移泛化中的有效性，将其解释为特征选择过程，并引入最小稳定变量集，在理想条件下可识别该集合，且通过合成实验验证了理论。
2023-10-17 cs.LG stat.ML
Bridging Multicalibration and Out-of-distribution Generalization Beyond Covariate Shift
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
本文通过扩展多校准以联合考虑协变量和标签，建立了其与不变性的等价关系，提出了统一鲁棒学习框架及后处理算法MC-Pseudolabel，在协变量和概念偏移下实现了分布外泛化。
2024-06-02 cs.AI cs.LG
Graphs Generalization under Distribution Shifts
Tianjin University（天津大学）；Baylor University（贝勒大学）
针对图结构数据分布偏移同时发生在节点属性和拓扑上的挑战，提出GLIDER框架，通过建模潜在变化多样化跨域变体并在表示空间最小化差异，有效提升了节点级OOD泛化性能。
2024-03-25 cs.AI cs.LG
Generalization vs. Specialization under Concept Shift
Princeton University（普林斯顿大学）；CUNY Graduate Center（纽约大学研究生中心）；University of Sydney（悉尼大学）
本文在热力学极限下推导了概念漂移下岭回归预测风险的精确表达式，揭示了弱/强概念漂移相变与非单调数据依赖，并通过Transformer、MNIST和FashionMNIST实验验证了理论发现。
2025-07-03 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Robust Generalization despite Distribution Shift via Minimum Discriminating Information
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
在分布偏移下表现良好的训练模型是机器学习的核心挑战。在本文中，我们介绍了一个建模框架，除了训练数据，我们有部分结构知识的移位测试分布。我们采用最小判别信息的原则来嵌入现有的先验知识，并使用分布鲁棒优化来考虑由于有限的样本的不确定性。通过利用大偏差的结果，我们获得了明确的泛化界限，关于未知的移位分布。最后，我们通过在两个不同的应用程序上展示我们的框架的多功能性：（1）在系统偏差数据上训练分类器和（2）马尔可夫决策过程中的离线评估。
2021-10-26 cs.IT cs.LG math.IT
Beyond Reweighting: On the Predictive Role of Covariate Shift in Effect Generalization
Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
该研究通过两项大规模多站点复制研究的实证分析，提出协变量偏移可预测未知条件偏移强度的新作用，结合理论解释并验证其能提升部分观测数据泛化任务的不确定性量化效果，为分布偏移问题提供新研究方向。
2024-12-12 cs.LG stat.AP stat.ME
Estimating Generalization under Distribution Shifts via Domain-Invariant Representations
Massachusetts Institute of Technology（麻省理工学院）
当机器学习模型部署在与训练分布不同的测试分布上时，它们可能表现不佳，但高估了它们的性能。在这项工作中，我们的目标是更好地估计模型的性能下分布偏移，没有监督。为此，我们使用一组域不变预测器作为未知的真实目标标签的代理。由于所得到的风险估计的误差取决于代理模型的目标风险，我们研究了域不变表示的泛化，并表明潜在表示的复杂性对目标风险有显着影响。从经验上讲，我们的方法（1）能够自调整领域自适应模型，（2）准确地估计给定模型的目标误差下分布偏移。其他应用包括模型选择，决定提前停止和错误检测。
2020-07-06 cs.LG stat.ML
DecAug: Out-of-Distribution Generalization via Decomposed Feature Representation and Semantic Augmentation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
虽然深度学习展示了其处理独立同分布（IID）数据的强大能力，但它经常遭受分布外（OoD）泛化，其中测试数据来自另一个分布（w.r.t.训练1）。设计一个通用的面向对象的推广框架，以广泛的应用是具有挑战性的，主要是由于在现实世界中可能的相关性和多样性的转变。以往的方法大多只能解决一个特定的分布偏移，如跨域偏移或相关外推。为了解决这个问题，我们提出了DecAug，一种新的分解特征表示和语义增强方法，用于OoD泛化。DecAug解开了类别相关和上下文相关的特征。类别相关特征包含目标对象的因果信息，而上下文相关特征描述属性、风格、背景或场景，导致训练数据和测试数据之间的分布偏移。分解通过正交化两个梯度（w.r.t.中间特征）的损失，用于预测类别和上下文标签。此外，我们执行基于梯度的增强上下文相关的功能，以提高学习表示的鲁棒性。实验结果表明，DecAug在各种OoD数据集上的性能优于其他最先进的方法，这是为数不多的可以处理不同类型的OoD泛化挑战的方法之一。
2020-12-17 cs.LG
Ghost-Connect Net: A Generalization-Enhanced Guidance For Sparse Deep Networks Under Distribution Shifts
School of Computing and Information Science（计算与信息科学学院）；University of Maine（缅因大学）；San Diego State University（圣地亚哥州立大学）
提出伴随网络GC-Net，通过监控原始网络连接并结合基于幅度与连接性的修剪方法，有效提升了稀疏深度神经网络在分布偏移下的泛化能力。
2024-11-14 cs.LG
A Survey of Deep Graph Learning under Distribution Shifts: from Graph Out-of-Distribution Generalization to Adaptation
Northwestern University（西北大学）；University of Virginia（弗吉尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
本综述系统梳理了分布偏移下的深度图学习，涵盖图OOD泛化与适应三类场景，提出模型中心与数据中心的分类法，并总结常用数据集与未来方向。
2025-03-28 cs.LG
Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation
The Australian National University（澳大利亚国立大学）；NEC Laboratories America, Inc. (NEC Labs)（NEC美国实验室（NEC Labs））
这项工作的目的是评估如何以及一个模型下执行分布偏移不使用标签。虽然最近的方法研究预测的信心，这项工作报告预测分散性是另一个信息线索。置信度反映了单个预测是否确定;分散度表明总体预测如何在所有类别中分布。我们的关键见解是，一个表现良好的模型应该给出高置信度和高分散性的预测。也就是说，我们需要考虑这两个属性，以便做出更准确的估计。为此，我们使用的核规范，已被证明是有效的，在这两个属性的特征。大量的实验验证了核范数对各种模型的有效性（例如，ViT和ConvNeXt）、不同的数据集（例如，ImageNet和CUB-200）和各种类型的分布偏移（例如，风格转变和复制转变）。我们表明，核范数是更准确和更强大的精度估计比现有的方法。此外，我们还验证了其他测量方法的可行性（例如，互信息最大化）用于表征分散性和置信度。最后，我们研究了核范数的局限性，研究了其在严重类不平衡下的改进变体，并讨论了潜在的方向。
2023-02-02 cs.LG
Deceptive Risk Minimization: Out-of-Distribution Generalization by Deceiving Distribution Shift Detectors
Princeton University（普林斯顿大学）
本文提出欺骗风险最小化（DRM），通过学习使训练数据呈现独立同分布的表示来欺骗分布偏移检测器，从而消除虚假相关性并实现分布外泛化，无需访问测试数据或领域划分。
2025-09-15 cs.AI cs.LG cs.RO
OoD-Bench: Quantifying and Understanding Two Dimensions of Out-of-Distribution Generalization
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
深度学习在独立同分布（independent and identical distributed，i.i.d.）数据然而，神经网络的性能通常在遇到分布外（OoD）数据时急剧退化，即，当训练和测试数据从不同的分布中采样时。虽然已经提出了过多的算法用于OoD泛化，但我们对用于训练和评估这些算法的数据的理解仍然停滞不前。在这项工作中，我们首先确定和测量两种不同的分布偏移，是普遍存在于各种数据集。接下来，通过大量的实验，我们比较OoD泛化算法在两组基准测试，每个占主导地位的分布偏移，揭示他们的优势，以及对其他移动的限制。总的来说，我们将来自不同研究领域的现有数据集和算法定位为同一个连贯的图像。它可以作为一个立足点，可以诉诸未来的面向对象的泛化研究。我们的代码可在www.example.com上获得。
2022-03-30 cs.LG
Adversarial Training Improves Generalization Under Distribution Shifts in Bird Sound Classification
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)（弗劳恩霍夫能源经济与能源系统技术研究所）；Intelligent Embedded Systems (IES)（智能嵌入式系统）
本文针对鸟类声音分类任务，探究对抗训练对分布偏移下泛化能力的影响，发现基于输出空间攻击的对抗训练可提升泛化性能与对抗鲁棒性，该方法或可推广至其他音频分类场景。
2026-08-25 cs.LG
Temp-SCONE: A Novel Out-of-Distribution Detection and Domain Generalization Framework for Wild Data with Temporal Shift
Department of Computer Science, San Diego State University（计算机科学系，圣地亚哥州立大学）
Temp-SCONE通过引入时间一致性正则化损失，提升动态环境下分布外检测和领域泛化的鲁棒性。
2025-12-04 cs.LG
Adversarial Label Invariant Graph Data Augmentations for Out-of-Distribution Generalization
Department of Computer Science, Purdue University（普渡大学计算机科学系）；Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系）；Department of Industrial and Systems Engineering, The Ohio State University（俄亥俄州立大学工业与系统工程系）
本文提出RIA方法，通过对抗性标签不变的数据增强提升分布外泛化能力，结合因果生成图数据进行优化，实验表明其在多种分布偏移场景中表现优异。
2026-04-20 cs.LG stat.ML
Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization
Texas A&M University（得克萨斯农工大学）
本文提出一种非欧几里得空间线性外推的数据增强方法，同时外推图结构与特征空间来生成针对特定偏移的OOD样本，在不破坏因果机制的前提下提升图分布外泛化性能。
2024-06-05 cs.LG
Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations
National Yang Ming Chiao Tung University（阳明交通大学）；IBM Research（IBM研究院）
研究神经网络中权重扰动的敏感性及其对模型性能（包括泛化和鲁棒性）的影响是一个活跃的研究课题，因为它涉及到广泛的机器学习任务，如模型压缩，泛化差距评估和对抗攻击。本文对前馈神经网络在两两类间隔下的鲁棒性及其在权值扰动下的推广行为进行了第一次积分研究和分析。我们进一步设计了一个新的理论驱动的损失函数，用于训练可推广和鲁棒的神经网络对权重扰动。最后通过实验验证了理论分析的正确性。我们的研究结果为表征神经网络对权重扰动的泛化性和鲁棒性提供了基本的见解。
2021-12-17 cs.LG
Mind the Label Shift of Augmentation-based Graph OOD Generalization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）
分布外泛化是图神经网络的一个重要问题。最近的工作采用不同的图形版本来生成增强环境，并学习一个不变的GNN进行泛化。然而，由于图的结构化编辑不可避免地要改变图的标号，所以在扩充过程中经常会发生标签偏移。这带来了增强环境之间的不一致的预测关系，这是有害的泛化。为了解决这个问题，我们提出了\textbf{LiSA}，它产生标签不变的扩增，以促进图OOD推广。LiSA利用训练图的\textbf{L} abel- \textbf{i} nvariant \textbf{S}子图来构造\textbf{A}增强环境，而不是诉诸图版本。具体来说，LiSA首先设计了变分子图生成器，以有效地提取局部预测模式并构造多个标签不变子图。然后，收集由不同生成器产生的子图，以构建不同的增强环境。为了促进增强环境之间的多样性，LiSA进一步引入了一种易于处理的基于能量的正则化，以扩大环境分布之间的成对距离。通过这种方式，LiSA生成具有一致预测关系的各种增强环境，并有助于学习不变的GNN。在节点级和图级OOD基准测试上的大量实验表明，LiSA在不同的GNN主干上实现了令人印象深刻的泛化性能。代码可在\url{https://github.com/Samyu0304/LiSA}上获得。
2023-03-27 cs.AI cs.LG
Algorithmic Fairness Generalization under Covariate and Dependence Shifts Simultaneously
Baylor University（贝勒大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Arkansas（阿肯色大学）；University of Florida（佛罗里达大学）
针对跨域场景下协变量与依赖两类分布偏移共存时公平分类器泛化难的问题，提出基于底层变换模型扩充合成域、学习公平不变分类器的方法，在四个基准数据集上性能超越现有最优水平。
2024-05-21 cs.AI cs.CY cs.LG
Weak-to-Strong Generalization under Distribution Shifts
EPFL（洛桑联邦理工学院）；Seoul National University（首尔大学）；CRABs
RAVEN 通过动态学习弱模型组合提升强模型在分布偏移下的泛化能力，有效提升分布外任务性能。
2025-11-25 cs.AI cs.LG stat.ML
Efficient Generalization via Multimodal Co-Training under Data Scarcity and Distribution Shift
Department of Electrical and Computer Engineering（电气与计算机工程系）；Florida Institute for National Security (FINS)（佛罗里达国家安全研究所）；Applied Artificial Intelligence Group（应用人工智能小组）；University of Florida（佛罗里达大学）
本文提出多模态协同训练框架，在数据稀缺和分布偏移下利用未标记数据与分类器一致性提升泛化，并给出收敛性分析与泛化界限，验证其实际效益。
2025-10-08 cs.IT cs.LG math.IT
Modeling the Data-Generating Process is Necessary for Out-of-Distribution Generalization
Microsoft Research（微软研究院）
该研究针对现有领域泛化算法在多属性分布偏移下表现不佳的问题，通过因果图理论证明单一固定约束无法适配所有偏移，提出了自适应应用独立性约束的CACM算法，验证了建模数据生成过程因果关系的重要性。
2024-05-17 cs.AI cs.LG
Variational Resampling Based Assessment of Deep Neural Networks under Distribution Shift
Ludwig Maximillian University of Munich（慕尼黑路德维希·马克西米利安大学）；U.S. Food and Drug Administration（美国食品药品监督管理局）；Technical University of Munich（慕尼黑工业大学）
提出了一种新的基于变分推理的递归框架，以评估深度学习模型对分布偏移的鲁棒性和泛化能力。我们使用自动编码变分贝叶斯来找到数据的潜在表示，在该表示上应用变分高斯混合模型，通过将数据集划分为不同的聚类来故意创建分布偏移。Wasserstein距离用于表征所生成的数据分割之间的分布偏移的程度。我们比较了几种流行的卷积神经网络（CNN）架构和贝叶斯CNN模型在Fashion-MNIST数据集上的图像分类，以评估它们在故意创建的分布偏移以及随机交叉验证下的鲁棒性和泛化行为。我们创建单个数据集的人工域分割的方法也可以用于建立机器学习中的新模型选择标准和评估工具，以及领域自适应和领域泛化方法的基准方法。
2019-10-27 cs.LG stat.ML
Generalizing to Evolving Domains with Latent Structure-Aware Sequential Autoencoder
City University of Hong Kong（香港城市大学）
领域泛化旨在提高机器学习系统对分布外数据的泛化能力。现有的领域泛化技术都是在静态和离散的环境下进行的，以解决面向对象数据所带来的泛化问题。然而，非平稳环境中的许多现实任务（例如自动驾驶汽车系统、传感器测量）涉及更复杂且不断演变的域漂移，这对领域泛化问题提出了新的挑战。在本文中，我们制定了上述设置的问题，不断发展的领域泛化。具体来说，我们建议引入一个称为潜在结构感知顺序自动编码器（LSSAE）的概率框架，通过探索深度神经网络潜在空间中的底层连续结构来解决进化领域泛化的问题，我们的目标是识别两个主要因素，即协变量偏移和概念移位，这两个因素是非平稳环境中分布偏移的原因。在合成数据集和真实数据集上的实验结果表明，LSSAE可以在不断发展的领域泛化设置的基础上获得更好的性能。
2022-06-16 cs.AI cs.LG
Bias as a Virtue: Rethinking Generalization under Distribution Shifts
Tsinghua University（清华大学）；University of Southern California（南加州大学）
挑战传统验证范式，提出ADB框架通过在训练中引入受控统计多样性利用分布内偏差，显著提升了模型在分布偏移下的泛化能力并降低误差。
2025-05-31 cs.AI cs.LG stat.ML
Out-of-Distribution Generalization in Kernel Regression
Harvard University（哈佛大学）
在实际应用中，用于训练机器学习模型的数据生成过程通常与模型在测试阶段遇到的不同。理解机器学习模型如何以及是否在这种分布变化下泛化一直是一个理论挑战。在这里，我们使用统计物理学的方法研究了训练和测试分布不同时核回归的泛化。使用副本方法，我们推导出适用于任何核数据集和真实数据集的分布外推广误差的解析公式。我们确定了一个重叠矩阵，量化了给定内核的分布之间的不匹配，作为分布偏移下泛化性能的关键决定因素。使用我们的分析表达式，我们阐明了各种泛化现象，包括可能的改善泛化时，有一个不匹配。我们开发了优化给定数据预算的训练和测试分布的程序，以找到最好和最坏情况下的转变。我们目前的应用程序，我们的理论，真正的和合成的数据集和许多内核。我们将我们的理论应用于神经切线核的结果与宽网络的模拟进行比较，并显示出一致性。我们将进一步深入分析线性回归。
2022-02-04 cond-mat.dis-nn cs.LG stat.ML
Towards out of distribution generalization for problems in mechanics
Boston University（波士顿大学）
有一个巨大的增长，研究兴趣对应用数据驱动的方法，在力学问题。虽然传统的机器学习（ML）方法已经实现了许多突破，但它们依赖于训练（观察到的）数据和测试（看不见的）数据是独立同分布（i.i.d）的假设。因此，传统的ML方法在应用于具有未知测试环境和数据分布变化的现实世界力学问题时往往会崩溃。相比之下，分布外（OOD）泛化假设测试数据可能发生偏移（即，违反了身份证。假设）。到目前为止，已经提出了多种方法来改善ML方法的OOD推广。然而，由于缺乏OOD回归问题的基准数据集，这些OOD方法在回归问题上的效率仍然是未知的。为了解决这个问题，我们研究了OOD泛化方法在力学回归问题中的性能。具体来说，我们确定了三个OOD问题：协变量转移，机制转移和抽样偏差。对于每个问题，我们创建了两个基准测试的例子，扩展了机械MNIST数据集，我们调查流行的OOD泛化方法在这些机械特定的回归问题上的性能。我们的数值实验表明，在大多数情况下，虽然OOD泛化算法在这些OOD问题上的表现优于传统的ML方法，但迫切需要开发更强大的OOD泛化方法，这些方法在多个OOD场景中都是有效的。总的来说，我们希望这项研究，以及相关的开放获取基准数据集，将使OOD泛化方法的力学特定的回归问题的进一步发展。
2022-08-13 cs.CE cs.LG physics.data-an
A Measure-Theoretic Analysis of Reasoning in Transformers: Structural Generalization and Approximation Limits
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）
本文通过最优传输理论分析推理过程，揭示了结构泛化和近似限制的理论机制，发现位置依赖注意力机制和Transformer电路深度对推理性能有显著影响。
2026-10-20 cs.AI cs.CC cs.CL
Characterizing the Action-Generalization Gap in Deep Q-Learning
Brown University（布朗大学）；Amazon Web Services（亚马逊云科技）
我们研究了深度Q学习在离散动作空间中的动作泛化能力。泛化对于有效的强化学习（RL）至关重要，因为它允许代理使用从过去经验中学到的知识来执行新任务。但是，虽然函数近似为深度RL代理提供了一种自然的方法来概括状态输入，但相同的概括机制并不适用于离散动作输出。然而，令人惊讶的是，我们的实验表明，使用这种类型的函数近似器的深度Q网络（DQN）仍然能够实现适度的动作泛化。我们的主要贡献是两方面的：第一，我们提出了一种使用动作相似性的专家知识来评估动作泛化的方法，并从经验上证实了动作泛化会导致更快的学习;第二，我们描述了不同领域中的动作泛化差距（DQN和专家之间的学习性能差异）。我们发现，DQN确实可以概括在几个简单的领域的行动，但它的能力，这样做的行动空间变得越来越大。
2022-05-11 cs.AI cs.LG
Measuring and Characterizing Generalization in Deep Reinforcement Learning
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Brown University（布朗大学）
深度学习方法在具有挑战性的控制任务中取得了卓越的性能。对结果行为的观察给人的印象是，智能体已经构建了一个支持有见地的行动决策的广义表示。我们重新审视RL中的泛化意味着什么，并根据代理在策略上，策略外和不可达状态下的表现提出了几个定义。我们提出了一套实用的方法来评估这些定义的泛化代理。我们在深度强化学习的一个常见基准任务上演示了这些技术，并且我们表明，学习后的网络对于与策略状态仅略有不同的状态做出了糟糕的决策，即使这些状态没有被对抗性地选择。总之，这些结果对深度Q网络学习广义表征的程度提出了质疑，并表明在支持表示学习的主张之前，需要进行更多的实验和分析。
2018-12-11 cs.AI cs.LG stat.ML
Characterizing the Generalization Error of Gibbs Algorithm with Symmetrized KL information
University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
确定监督学习算法的泛化误差是学习理论中的一个重要问题，人们已经提出了各种方法。然而，现有的界限往往是松散的，缺乏保障。因此，它们可能无法表征学习算法的精确泛化能力。我们的主要贡献是一个精确的表征的预期泛化误差的著名的吉布斯算法在输入训练样本和输出假设之间的对称KL信息。该结果可用于收紧已有的期望泛化误差界。我们的分析提供了更多的洞察力的基本作用的对称KL信息控制的泛化误差的吉布斯算法。
2021-07-28 cs.IT cs.LG math.IT
Supervised Learning as Lossy Compression: Characterizing Generalization and Sample Complexity via Finite Blocklength Analysis
Waseda University（早稻田大学）
本文通过将学习问题置于有损压缩框架中并应用有限块长分析，从信息论角度推导了固定随机学习算法及其最优采样策略的样本复杂度和泛化误差下界，显式分离了过拟合程度与归纳偏置-任务不匹配项。
2026-05-29 cs.IT cs.LG math.IT
Characterizing and Understanding the Generalization Error of Transfer Learning with Gibbs Algorithm
Massachusetts Institute of Technology（麻省理工学院）；University College London（伦敦大学学院）
我们提供了一个基于吉布斯的迁移学习算法的泛化能力的信息论分析，专注于两个流行的迁移学习方法，$α$加权ERM和两阶段ERM。我们的主要结果是一个精确的泛化行为的特征，使用输出假设和目标训练样本之间的条件对称化KL信息给定的源样本。我们的结果也可以应用于提供新的分布自由的泛化误差上界这两个前面提到的吉布斯算法。我们的方法是多功能的，因为它也表征了这两个吉布斯算法的泛化误差和超额风险的渐近制度，在那里他们收敛到$α$加权的ERM和两阶段的ERM，分别。基于我们的理论结果，我们表明，迁移学习的好处可以被看作是一个偏差-方差权衡，与源分布引起的偏差和目标样本的缺乏引起的方差。我们相信这一观点可以指导实践中迁移学习算法的选择。
2021-11-02 cs.IT cs.LG math.IT
Ego4OOD: Rethinking Egocentric Video Domain Generalization via Covariate Shift Scoring
McGill University（麦吉尔大学）
Ego4OOD通过引入协变量偏移评分，改进第一人称视频领域泛化的基准，展示了轻量网络在Argo1M和Ego4OOD上的高性能表现。
2026-01-21 cs.CV cs.LG
Generalization to translation shifts: a study in architectures and augmentations
Microsoft Research（微软研究院）
我们研究如何有效的数据增强是在捕捉精心设计的网络架构的空间平移不变性的感应偏差。我们评估各种图像分类架构（抗锯齿，卷积，视觉Transformer，和完全连接的MLP网络）和数据增强技术，以推广到大的平移。我们注意到：（a）在没有数据增强的情况下，当对转换的测试分布进行评估时，包括具有抗混叠修改的卷积网络在内的所有架构都遭受性能的一些降级。可以理解的是，对于非卷积模型，分布精度和偏移的退化都明显更差。(b)性能的鲁棒性甚至通过跨所有架构的$4$像素随机裁剪的最小增强来改进。在某些情况下，甚至$1-2$像素随机裁剪也足够。这表明存在一种来自增强的Meta泛化形式。对于非卷积架构，虽然这种基本增强的绝对精度仍然很低，但我们看到对平移移位的鲁棒性有了实质性的提高。(c)通过足够先进的增强流水线（$4$像素裁剪+RandAugmentation+Erasing+MixUp），所有架构都可以经过训练，在分布精度以及对大平移移位的泛化方面具有竞争力的性能。
2022-11-12 cs.CV cs.LG
VQA-GEN: A Visual Question Answering Benchmark for Domain Generalization
Arizona State University（亚利桑那州立大学）
针对现有VQA域泛化基准仅关注文本偏移的问题，提出首个多模态分布偏移基准VQA-GEN，揭示模型在联合视觉-文本偏移下的脆弱性并提升跨域与域内性能。
2023-11-01 cs.CV cs.LG
Characterizing the Generalization Error of Random Feature Regression with Arbitrary Data-Augmentation
Qube Research & Technologies（Qube研究与技术）；École Polytechnique（巴黎政治学院）
本文研究了数据增强在比例 regime 中对监督回归方法的正则化效应，通过仅依赖真实数据的总体量及增强方案的一阶和二阶统计量，精确表征了测试误差。结果适用于不规范特征映射和仅训练最后一层的网络架构。
2026-05-11 cs.LG math.ST stat.ML
Improving the Generalization of Meta-learning on Unseen Domains via Adversarial Shift
Nanjing University（南京大学）
元学习为学习者提供了一种有效的学习方式，并在许多应用中取得了巨大的成功。然而，大多数元学习文献都集中在处理来自同一领域的任务，这使得它很难推广到其他未知领域的任务。在这项工作中，我们解决这个问题，模拟任务从其他看不见的领域，以提高元学习方法的泛化和鲁棒性。具体来说，我们提出了一个与模型无关的转换层来学习如何模拟领域转换并生成伪任务，并开发了一种新的对抗性学习机制来训练它，基于伪任务，元学习模型可以学习跨领域的元知识，可以很好地推广到未知领域。我们进行了广泛的实验下的领域泛化设置。实验结果表明，该方法适用于各种元学习框架。此外，我们的方法也导致国家的最先进的性能在不同的跨域Few-Shot分类基准，并产生良好的结果跨域Few-Shot回归。
2021-07-23 cs.CV cs.LG
Characterizing and overcoming the greedy nature of learning in multi-modal deep neural networks
New York University（纽约大学）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）；Courant Institute of Mathematical Sciences（库朗数学科学研究所）；Genentech（基因泰克）；CIFAR LMB（加拿大高等研究院分子生物学实验室）
我们假设，由于多模态深度神经网络中学习的贪婪性质，这些模型往往只依赖于一种模态，而不适合其他模态。正如我们根据经验观察到的那样，这种行为是违反直觉的，并且损害了模型的泛化。为了估计模型对每种模态的依赖性，我们计算当模型除了另一种模态之外还可以访问它时的准确性增益。我们把这种收益称为条件利用率。在实验中，我们始终观察到在多个任务和架构之间的模态条件利用率的不平衡。由于在训练过程中无法有效地计算条件利用率，因此我们根据模型从每种模态学习的速度（我们称之为条件学习速度）为其引入了一个代理。我们提出了一种算法来平衡训练过程中模态之间的条件学习速度，并证明它确实解决了贪婪学习的问题。该算法改进了模型在三个数据集上的泛化：Colored MNIST、ModelNet 40和NVIDIA Dynamic Hand Gesture。
2022-09-16 cs.CV cs.LG
NICO++: Towards Better Benchmarking for Domain Generalization
Tsinghua University（清华大学）
尽管现代深度神经网络在独立同分布（I.I.D.）数据，它们可能会在分布偏移下崩溃。目前的大多数领域泛化（DG）评价方法采用留一策略作为对有限领域数的折衷。我们提出了一个大规模的基准测试与广泛的标记域命名为NICO++随着更合理的评估方法，全面评估DG算法。为了评估DG数据集，我们提出了两个度量来量化协变量偏移和概念偏移，分别。从数据构造的角度提出了两个新的泛化界，证明了有限的概念移位和显著的协变量偏移有利于泛化能力的评价。通过大量的实验，NICO++显示出其优越的评价能力相比，目前的DG数据集和它的贡献，在减轻模型选择中的预言知识泄漏所造成的不公平。
2022-04-21 cs.CV cs.LG
Characterizing Replay Retention Under Dynamics Shift in Model-Based Reinforcement Learning
Brown University（布朗大学）
本研究刻画了基于模型的强化学习中动力学变化下回放保留的权衡，提出变化幅度和年龄-陈旧度AUC两个量，并验证了回放策略选择依赖于变化幅度与动力学演化方式。
2026-09-17 cs.LG cs.RO
Importance Weight Estimation and Generalization in Domain Adaptation under Label Shift
Purdue University（普渡大学）
本文研究范畴和一般赋范标号空间在标号移位下的推广。我们提出了一系列的方法来估计从标记源到未标记目标域的重要性权重，并提供这些估计的置信界。我们部署这些估计器，并提供在未标记的目标域的泛化范围。
2021-06-05 cs.LG
Affine Variational Autoencoders: An Efficient Approach for Improving Generalization and Robustness to Distribution Shift
University of Waterloo（滑铁卢大学）；Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）
在这项研究中，我们提出了仿射变分自编码器（AVAE），一个变种的变分自编码器（VAE），旨在提高鲁棒性，克服VAE无法推广到分布移位的仿射扰动的形式。通过优化仿射变换以最大化ELBO，所提出的AVAE将输入变换为训练分布，而不需要增加模型复杂度来对仿射变换的完整分布进行建模。此外，我们还引入了一个训练过程，通过学习训练分布的子集来创建一个有效的模型，并使用AVAE来提高测试时分布偏移的泛化能力和鲁棒性。仿射扰动实验表明，所提出的AVAE显着提高了泛化能力和鲁棒性的仿射扰动形式的分布移位，而不增加模型的复杂性。
2019-05-13 cs.CV cs.LG cs.NE
Mitigating Both Covariate and Conditional Shift for Domain Generalization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
领域泛化（DG）的目的是在多个源领域上学习一个模型，希望该模型能够很好地泛化到未知的目标领域。域之间的分布偏移包含协变量偏移和条件偏移，模型必须能够处理这两种偏移以获得更好的泛化能力。提出了一种新的基于视觉对齐和不确定性引导的信念增强（VAUE）的分布式预测方法来处理分布偏移。针对协变量偏移，设计了视觉对齐模块，将图像风格的分布对齐到共同的经验高斯分布，从而消除视觉空间中的协变量偏移。对于条件转移，我们采用了基于主观逻辑和Dempster-Shafer理论的不确定性引导的信念集成策略。给定一个测试样本的条件分布是由源域的条件分布的动态组合来估计的。在四个广泛使用的数据集上进行了全面的实验，以证明所提出的方法的优越性能，即，家庭、VLCS、TerraIncognita和PACS。
2022-09-17 cs.AI cs.CV cs.LG
Adaptive Domain Generalization for Digital Pathology Images
University of Minnesota（明尼苏达大学）
针对数字病理图像中不可见域偏移，提出反应式域泛化技术，通过测试时训练自适应调整模型参数，无需训练时预测偏移。
2023-05-09 cs.CV cs.LG eess.IV
On Characterizing the Evolution of Embedding Space of Neural Networks using Algebraic Topology
Infosys Centre for AI（印孚瑟斯人工智能中心）；IIIT Delhi（德里印度理工学院）；IIT Delhi（德里印度理工学院）
该研究采用立方同调与贝蒂数分析深度神经网络嵌入空间的拓扑演化规律，发现拓扑复杂度衰减速率可量化架构对泛化能力的影响，还揭示了多项拓扑不变性，且该度量在预训练模型排序任务中与微调后精度的相关性优于现有方法。
2023-11-09 cs.CV cs.LG
Confidence Calibration for Domain Generalization under Covariate Shift
SRI International（SRI国际）；School of Electrical Engineering and Computer Science, Oregon State University（俄勒冈州立大学电气工程与计算机科学学院）
现有的校准算法通过无监督的领域自适应来解决协变量偏移的问题。然而，这些方法受到以下限制：1）它们需要来自目标域的未标记数据，这在现实世界应用中的校准阶段可能不可用，以及2）它们的性能严重依赖于源域和目标域的分布之间的差异。为了解决这两个限制，我们提出了新的校准解决方案，通过领域泛化。我们的核心思想是利用多个校准域来减少目标和校准域之间的有效分布差异，以改善校准传递，而不需要来自目标域的任何数据。我们提供了理论依据和经验的实验结果来证明我们提出的算法的有效性。与针对领域自适应设计的最先进的校准方法相比，我们观察到预期校准误差降低了8.86个百分点，或者相当于，在多类分类的改进率上增加了35个百分点。
2021-08-19 cs.CV cs.LG
Meta-causal Learning for Single Domain Generalization
Beijing Institute of Technology（北京理工大学）；University of Rochester（罗切斯特大学）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）
针对单域泛化中未估计域偏移的问题，提出模拟-分析-减少范式与元因果学习方法，通过构建辅助域、反事实推理发现因果因子并融入域对齐，有效提升了模型在未见目标域上的泛化能力。
2023-04-07 cs.CV cs.LG
A Shift in Perspective on Causality in Domain Generalization
CHAI Hub（CHAI中心）；The University of Edinburgh（爱丁堡大学）；University of Manchester（曼彻斯特大学）；Archimedes, Athena Research Center（阿奇米德与雅典研究所）；King's College London（伦敦国王学院）；University College London（伦敦大学学院）；National and Kapodistrian University of Athens（雅典国家与卡波迪斯蒂亚纳大学）
本文重新审视因果建模在域泛化中的泛化承诺，通过调和现有文献中的矛盾，提出更细致的因果作用理论，并提供交互式演示。
2025-08-18 cs.AI cs.CV cs.LG
