Adversarial Label Invariant Graph Data Augmentations for Out-of-Distribution Generalization
Department of Computer Science, Purdue University（普渡大学计算机科学系）；Department of Computer Science and Engineering, The Ohio State University（俄亥俄州立大学计算机科学与工程系）；Department of Industrial and Systems Engineering, The Ohio State University（俄亥俄州立大学工业与系统工程系）
本文提出RIA方法，通过对抗性标签不变的数据增强提升分布外泛化能力，结合因果生成图数据进行优化，实验表明其在多种分布偏移场景中表现优异。
2026-04-20 cs.LG stat.ML
Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations
City University of Hong Kong（香港城市大学）
在神经网络中，使用权重衰减来惩罚权值的L2范数已经成为规范网络复杂性的标准训练实践。在本文中，我们证明了一族正则化器，包括权重衰减，对于具有正齐次激活函数（如线性，ReLU和最大池函数）的网络，在惩罚权重的内在范数方面是无效的。作为同质性的结果，由网络指定的函数对于层之间权重尺度的移动是不变的。无效的正则化器对这种偏移很敏感，因此不能很好地正则化模型容量，导致过拟合。为了解决这个缺点，我们提出了一种改进的正则化，是不变的重量尺度的变化，从而有效地约束了神经网络的内在规范。导出的正则化子是网络输入梯度的上界，因此最小化改进的正则化子也有利于对抗鲁棒性。残差连接也被认为是我们的正规化也形成了一个上限，这样的残差网络的输入梯度。我们在各种数据集和神经网络架构上证明了我们提出的正则化器在提高泛化和对抗鲁棒性方面的功效。
2022-06-08 cs.LG stat.ML
Estimating the Density Ratio between Distributions with High Discrepancy using Multinomial Logistic Regression
MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；IBM Research（IBM研究院）；MIT（麻省理工学院）；Amazon（亚马逊公司）；University of Edinburgh（爱丁堡大学）
针对高分离度分布下二分类密度比估计因分布偏移效果差的问题，提出基于多分类逻辑回归的估计方法，通过辅助密度桥接分布，在多任务上性能优于现有方法。
2023-05-01 cs.LG stat.ML
Test-Time Training with Self-Supervision for Generalization under Distribution Shifts
University of California, Berkeley（加州大学伯克利分校）；University of California, San Diego（加州大学圣地亚哥分校）
在本文中，我们提出了测试时训练，一种通用的方法，用于提高预测模型的性能时，训练和测试数据来自不同的分布。我们将单个未标记的测试样本转化为自监督学习问题，在进行预测之前更新模型参数。这也自然延伸到在线流中的数据。我们简单的方法导致不同的图像分类基准的改进，旨在评估分布偏移的鲁棒性。
2020-07-01 cs.CV cs.LG stat.ML
Variational Resampling Based Assessment of Deep Neural Networks under Distribution Shift
Ludwig Maximillian University of Munich（慕尼黑路德维希·马克西米利安大学）；U.S. Food and Drug Administration（美国食品药品监督管理局）；Technical University of Munich（慕尼黑工业大学）
提出了一种新的基于变分推理的递归框架，以评估深度学习模型对分布偏移的鲁棒性和泛化能力。我们使用自动编码变分贝叶斯来找到数据的潜在表示，在该表示上应用变分高斯混合模型，通过将数据集划分为不同的聚类来故意创建分布偏移。Wasserstein距离用于表征所生成的数据分割之间的分布偏移的程度。我们比较了几种流行的卷积神经网络（CNN）架构和贝叶斯CNN模型在Fashion-MNIST数据集上的图像分类，以评估它们在故意创建的分布偏移以及随机交叉验证下的鲁棒性和泛化行为。我们创建单个数据集的人工域分割的方法也可以用于建立机器学习中的新模型选择标准和评估工具，以及领域自适应和领域泛化方法的基准方法。
2019-10-27 cs.LG stat.ML
Maximum Mean Discrepancy for Generalization in the Presence of Distribution and Missingness Shift
Bloomberg（彭博社）；AWS（亚马逊云科技）
协变量偏移是现实问题预测建模中的常见问题。本文提出了解决协变量偏移的问题，最大限度地减少最大均值离散（MMD）统计之间的训练和测试集的特征输入空间，特征表示空间，或两者兼而有之。我们设计了三种技术，我们称之为MMD表示，MMD掩码和MMD混合，以处理仅存在分布偏移，仅存在缺失偏移，或两种类型的偏移都存在的情况下，分别。我们发现，集成MMD损失分量有助于模型使用最佳特征进行泛化，并尽可能避免每个测试样本的危险外推。用这种MMD方法处理的模型在测试集上显示出更好的性能、校准和外推。
2022-03-01 cs.LG
Generalization vs. Specialization under Concept Shift
Princeton University（普林斯顿大学）；CUNY Graduate Center（纽约大学研究生中心）；University of Sydney（悉尼大学）
本文在热力学极限下推导了概念漂移下岭回归预测风险的精确表达式，揭示了弱/强概念漂移相变与非单调数据依赖，并通过Transformer、MNIST和FashionMNIST实验验证了理论发现。
2025-07-03 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Characterizing Generalization under Out-Of-Distribution Shifts in Deep Metric Learning
LMU Munich（慕尼黑大学）；Heidelberg University（海德堡大学）；University of Toronto（多伦多大学）；University of Washington（华盛顿大学）；MIT（麻省理工学院）
深度度量学习（DML）旨在找到适合于zero-shot转移到先验未知测试分布的表示。然而，常见的评估协议仅测试单个固定的数据分割，其中训练和测试类被随机分配。更现实的评价应考虑具有潜在不同程度和难度的广泛的分布偏移。在这项工作中，我们系统地构建训练测试分裂的难度越来越大，并提出了ooDML基准，以表征泛化下的分布偏移在DML。ooDML旨在探索更具挑战性的多样化训练到测试分布偏移的泛化性能。基于我们的新基准，我们进行了彻底的实证分析国家的最先进的DML方法。我们发现，虽然泛化往往会不断降低难度，但随着分布偏移的增加，一些方法在保持性能方面会更好。最后，我们提出了Few-Shot DML作为一种有效的方法，以不断提高泛化响应未知的测试转移ooDML。代码可在这里：https://github.com/CompVis/Characterizing_Generalization_in_DML.
2021-11-29 cs.CV cs.LG
Weak-to-Strong Generalization under Distribution Shifts
EPFL（洛桑联邦理工学院）；Seoul National University（首尔大学）；CRABs
RAVEN 通过动态学习弱模型组合提升强模型在分布偏移下的泛化能力，有效提升分布外任务性能。
2025-11-25 cs.AI cs.LG stat.ML
When Shift Happens - Confounding Is to Blame
CISPA Helmholtz Center for Information Security（CISPA霍普夫研究中心）
研究指出分布偏移下ERM表现优异及全协变量利用提升OOD泛化的现象源于隐藏混杂，证明需学习环境特定关系并可用代理变量缓解挑战，为OOD算法设计提供新指导。
2025-05-27 cs.LG
FOOGD: Federated Collaboration for Both Out-of-distribution Generalization and Detection
Zhejiang University（浙江大学）；OPPO Research Institute（OPPO研究院）；National University of Singapore（新加坡国立大学）
针对联邦学习中协变量偏移与语义偏移同时出现的问题，本文提出FOOGD，通过SM3D和SAG实现分布估计、OOD检测与协变量偏移泛化。
2024-10-23 cs.LG
On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization
Peking University（北京大学）；New York University（纽约大学）
尽管在许多任务中取得了令人印象深刻的成功，但深度学习模型被证明依赖于虚假特征，当推广到分布外（OOD）数据时，这些特征将灾难性地失败。不变风险最小化算法（Invariant Risk Minimization，简称RISK）通过提取面向对象的领域不变特征来解决这一问题。然而，最近的工作表明，双折射仅对特定类型的分布偏移有效（例如，相关偏移）而对于其它情况则失败（例如，多样性转移）。与此同时，另一种方法，对抗训练（AT），表现出更好的域转移性能，这表明它有潜力成为提取域不变特征的有效候选者。本文探讨了这种可能性，通过探索的相似性之间的竞争和AT目标。受这种联系的启发，我们提出了域对抗训练（DAT），这是一种AT启发的方法，用于减轻特定于域的扰动引起的分布偏移。大量的实验表明，我们提出的DAT可以有效地去除领域变化的功能和提高OOD的泛化相关性和多样性的变化。
2022-12-18 cs.LG
The Change that Matters in Discourse Parsing: Estimating the Impact of Domain Shift on Parser Error
University of Pittsburgh（匹兹堡大学）；Yonsei University（延世大学）
语篇分析使我们能够对文本进行超越文本层面的推理。目前的话语模型在训练分布覆盖范围之外的文本上的性能非常低，降低了现有模型的实际效用。我们需要一个度量，它可以告诉我们，当这些样本可能来自不同的分布时，我们的模型在多大程度上从训练样本推广到测试样本。虽然这可以通过分布偏移来估计，但我们认为这与分类器的观测误差（即误差间隙）的变化不直接相关。因此，我们建议使用来自理论领域自适应文献的统计数据，该统计数据可以直接与误差间隙相关联。我们研究了这个统计数据作为误差差距的估计量的偏差，无论是理论上还是通过对来自领域的6个话语数据集的2400多个实验的大规模实证研究，包括但不限于：新闻，生物医学文本，TED演讲，Reddit帖子和小说。我们的研究结果不仅激发了我们的建议，并帮助我们理解其局限性，但也提供了洞察的话语模型和数据集，提高性能的领域自适应的属性。例如，我们发现，当训练集和测试集非常不同时，非新闻数据集比新闻数据集更容易传输。我们的代码和相关的Python包可以让从业者做出更明智的模型和数据集选择。
2022-03-21 cs.CL cs.LG
Generalization is not a universal guarantee: Estimating similarity to training data with an ensemble out-of-distribution metric
Oregon Health & Science University（俄勒冈健康与科学大学）；Portland VA Research Foundation（波特兰退伍军人事务研究基金会）；VA Portland Healthcare System（波特兰退伍军人事务医疗系统）
本文提出SAGE方法，通过监督自编码器和集成分布外指标估计数据相似性，在分类和回归任务中提升模型泛化性能。
2025-02-25 cs.LG
Bias as a Virtue: Rethinking Generalization under Distribution Shifts
Tsinghua University（清华大学）；University of Southern California（南加州大学）
挑战传统验证范式，提出ADB框架通过在训练中引入受控统计多样性利用分布内偏差，显著提升了模型在分布偏移下的泛化能力并降低误差。
2025-05-31 cs.AI cs.LG stat.ML
Bridging Multicalibration and Out-of-distribution Generalization Beyond Covariate Shift
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
本文通过扩展多校准以联合考虑协变量和标签，建立了其与不变性的等价关系，提出了统一鲁棒学习框架及后处理算法MC-Pseudolabel，在协变量和概念偏移下实现了分布外泛化。
2024-06-02 cs.AI cs.LG
Graphs Generalization under Distribution Shifts
Tianjin University（天津大学）；Baylor University（贝勒大学）
针对图结构数据分布偏移同时发生在节点属性和拓扑上的挑战，提出GLIDER框架，通过建模潜在变化多样化跨域变体并在表示空间最小化差异，有效提升了节点级OOD泛化性能。
2024-03-25 cs.AI cs.LG
Out-of-Distribution Generalization in Kernel Regression
Harvard University（哈佛大学）
在实际应用中，用于训练机器学习模型的数据生成过程通常与模型在测试阶段遇到的不同。理解机器学习模型如何以及是否在这种分布变化下泛化一直是一个理论挑战。在这里，我们使用统计物理学的方法研究了训练和测试分布不同时核回归的泛化。使用副本方法，我们推导出适用于任何核数据集和真实数据集的分布外推广误差的解析公式。我们确定了一个重叠矩阵，量化了给定内核的分布之间的不匹配，作为分布偏移下泛化性能的关键决定因素。使用我们的分析表达式，我们阐明了各种泛化现象，包括可能的改善泛化时，有一个不匹配。我们开发了优化给定数据预算的训练和测试分布的程序，以找到最好和最坏情况下的转变。我们目前的应用程序，我们的理论，真正的和合成的数据集和许多内核。我们将我们的理论应用于神经切线核的结果与宽网络的模拟进行比较，并显示出一致性。我们将进一步深入分析线性回归。
2022-02-04 cond-mat.dis-nn cs.LG stat.ML
CrossNorm and SelfNorm for Generalization under Distribution Shifts
Amazon Web Services（亚马逊网络服务）；Rutgers University（罗格斯大学）
传统的归一化技术（例如，批量归一化和实例归一化）通常且简单地假设训练数据和测试数据遵循相同的分布。由于分布偏移在现实世界的应用中是不可避免的，使用以前的归一化方法训练好的模型在新的环境中可能表现不佳。我们能否开发新的归一化方法来提高分布偏移下的泛化鲁棒性？在本文中，我们回答了这个问题，提出了交叉规范和自规范。CrossNorm在特征图之间交换通道平均值和方差，以扩大训练分布，而SelfNorm使用注意力来重新校准统计数据，以弥合训练分布和测试分布之间的差距。CrossNorm和SelfNorm可以相互补充，尽管在统计使用方面探索了不同的方向。在不同领域（视觉和语言）、任务（分类和分割）、设置（监督和半监督）以及分布偏移类型（合成和自然）上的大量实验表明了该方法的有效性。代码可在https://github.com/amazon-research/crossnorm-selfnorm上获得
2021-08-16 cs.CV cs.LG
Robust Generalization despite Distribution Shift via Minimum Discriminating Information
University of Konstanz（康斯坦茨大学）；ETH Zurich（苏黎世联邦理工学院）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
在分布偏移下表现良好的训练模型是机器学习的核心挑战。在本文中，我们介绍了一个建模框架，除了训练数据，我们有部分结构知识的移位测试分布。我们采用最小判别信息的原则来嵌入现有的先验知识，并使用分布鲁棒优化来考虑由于有限的样本的不确定性。通过利用大偏差的结果，我们获得了明确的泛化界限，关于未知的移位分布。最后，我们通过在两个不同的应用程序上展示我们的框架的多功能性：（1）在系统偏差数据上训练分类器和（2）马尔可夫决策过程中的离线评估。
2021-10-26 cs.IT cs.LG math.IT
Beyond Reweighting: On the Predictive Role of Covariate Shift in Effect Generalization
Harvard University（哈佛大学）；Columbia University（哥伦比亚大学）；Stanford University（斯坦福大学）
该研究通过两项大规模多站点复制研究的实证分析，提出协变量偏移可预测未知条件偏移强度的新作用，结合理论解释并验证其能提升部分观测数据泛化任务的不确定性量化效果，为分布偏移问题提供新研究方向。
2024-12-12 cs.LG stat.AP stat.ME
The Many Faces of Robustness: A Critical Analysis of Out-of-Distribution Generalization
UC Berkeley（加州大学伯克利分校）；UChicago（芝加哥大学）；Google（谷歌）
我们介绍了四个新的真实世界的分布偏移数据集，包括图像风格，图像模糊，地理位置，相机操作等的变化。通过我们的新数据集，我们评估了以前提出的用于提高分布外鲁棒性的方法，并对其进行了测试。我们发现，使用更大的模型和人工数据增强可以提高对现实世界的分布偏移的鲁棒性，与先前工作中的要求相反。我们发现人工鲁棒性基准的改进可以转移到现实世界的分布偏移，与先前工作中的要求相反。由于我们观察到数据增强可以帮助真实世界的分布偏移，我们还引入了一种新的数据增强方法，该方法提高了最新技术水平，并且优于使用1000倍以上标记数据预训练的模型。总的来说，我们发现，一些方法始终有助于纹理和局部图像统计的分布偏移，但这些方法并不有助于其他一些分布偏移，如地理变化。我们的研究结果表明，未来的研究必须同时研究多个分布偏移，因为我们证明，没有评估的方法一致地提高鲁棒性。
2021-07-24 cs.CV cs.LG stat.ML
DecAug: Out-of-Distribution Generalization via Decomposed Feature Representation and Semantic Augmentation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
虽然深度学习展示了其处理独立同分布（IID）数据的强大能力，但它经常遭受分布外（OoD）泛化，其中测试数据来自另一个分布（w.r.t.训练1）。设计一个通用的面向对象的推广框架，以广泛的应用是具有挑战性的，主要是由于在现实世界中可能的相关性和多样性的转变。以往的方法大多只能解决一个特定的分布偏移，如跨域偏移或相关外推。为了解决这个问题，我们提出了DecAug，一种新的分解特征表示和语义增强方法，用于OoD泛化。DecAug解开了类别相关和上下文相关的特征。类别相关特征包含目标对象的因果信息，而上下文相关特征描述属性、风格、背景或场景，导致训练数据和测试数据之间的分布偏移。分解通过正交化两个梯度（w.r.t.中间特征）的损失，用于预测类别和上下文标签。此外，我们执行基于梯度的增强上下文相关的功能，以提高学习表示的鲁棒性。实验结果表明，DecAug在各种OoD数据集上的性能优于其他最先进的方法，这是为数不多的可以处理不同类型的OoD泛化挑战的方法之一。
2020-12-17 cs.LG
Ghost-Connect Net: A Generalization-Enhanced Guidance For Sparse Deep Networks Under Distribution Shifts
School of Computing and Information Science（计算与信息科学学院）；University of Maine（缅因大学）；San Diego State University（圣地亚哥州立大学）
提出伴随网络GC-Net，通过监控原始网络连接并结合基于幅度与连接性的修剪方法，有效提升了稀疏深度神经网络在分布偏移下的泛化能力。
2024-11-14 cs.LG
A Survey of Deep Graph Learning under Distribution Shifts: from Graph Out-of-Distribution Generalization to Adaptation
Northwestern University（西北大学）；University of Virginia（弗吉尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）；Purdue University（普渡大学）
本综述系统梳理了分布偏移下的深度图学习，涵盖图OOD泛化与适应三类场景，提出模型中心与数据中心的分类法，并总结常用数据集与未来方向。
2025-03-28 cs.LG
Deceptive Risk Minimization: Out-of-Distribution Generalization by Deceiving Distribution Shift Detectors
Princeton University（普林斯顿大学）
本文提出欺骗风险最小化（DRM），通过学习使训练数据呈现独立同分布的表示来欺骗分布偏移检测器，从而消除虚假相关性并实现分布外泛化，无需访问测试数据或领域划分。
2025-09-15 cs.AI cs.LG cs.RO
OoD-Bench: Quantifying and Understanding Two Dimensions of Out-of-Distribution Generalization
Shanghai Jiao Tong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）
深度学习在独立同分布（independent and identical distributed，i.i.d.）数据然而，神经网络的性能通常在遇到分布外（OoD）数据时急剧退化，即，当训练和测试数据从不同的分布中采样时。虽然已经提出了过多的算法用于OoD泛化，但我们对用于训练和评估这些算法的数据的理解仍然停滞不前。在这项工作中，我们首先确定和测量两种不同的分布偏移，是普遍存在于各种数据集。接下来，通过大量的实验，我们比较OoD泛化算法在两组基准测试，每个占主导地位的分布偏移，揭示他们的优势，以及对其他移动的限制。总的来说，我们将来自不同研究领域的现有数据集和算法定位为同一个连贯的图像。它可以作为一个立足点，可以诉诸未来的面向对象的泛化研究。我们的代码可在www.example.com上获得。
2022-03-30 cs.LG
Adversarial Training Improves Generalization Under Distribution Shifts in Bird Sound Classification
Fraunhofer Institute for Energy Economics and Energy System Technology (IEE)（弗劳恩霍夫能源经济与能源系统技术研究所）；Intelligent Embedded Systems (IES)（智能嵌入式系统）
本文针对鸟类声音分类任务，探究对抗训练对分布偏移下泛化能力的影响，发现基于输出空间攻击的对抗训练可提升泛化性能与对抗鲁棒性，该方法或可推广至其他音频分类场景。
2026-08-25 cs.LG
Temp-SCONE: A Novel Out-of-Distribution Detection and Domain Generalization Framework for Wild Data with Temporal Shift
Department of Computer Science, San Diego State University（计算机科学系，圣地亚哥州立大学）
Temp-SCONE通过引入时间一致性正则化损失，提升动态环境下分布外检测和领域泛化的鲁棒性。
2025-12-04 cs.LG
Graph Structure and Feature Extrapolation for Out-of-Distribution Generalization
Texas A&M University（得克萨斯农工大学）
本文提出一种非欧几里得空间线性外推的数据增强方法，同时外推图结构与特征空间来生成针对特定偏移的OOD样本，在不破坏因果机制的前提下提升图分布外泛化性能。
2024-06-05 cs.LG
Mind the Label Shift of Augmentation-based Graph OOD Generalization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；ShanghaiTech University（上海科技大学）
分布外泛化是图神经网络的一个重要问题。最近的工作采用不同的图形版本来生成增强环境，并学习一个不变的GNN进行泛化。然而，由于图的结构化编辑不可避免地要改变图的标号，所以在扩充过程中经常会发生标签偏移。这带来了增强环境之间的不一致的预测关系，这是有害的泛化。为了解决这个问题，我们提出了\textbf{LiSA}，它产生标签不变的扩增，以促进图OOD推广。LiSA利用训练图的\textbf{L} abel- \textbf{i} nvariant \textbf{S}子图来构造\textbf{A}增强环境，而不是诉诸图版本。具体来说，LiSA首先设计了变分子图生成器，以有效地提取局部预测模式并构造多个标签不变子图。然后，收集由不同生成器产生的子图，以构建不同的增强环境。为了促进增强环境之间的多样性，LiSA进一步引入了一种易于处理的基于能量的正则化，以扩大环境分布之间的成对距离。通过这种方式，LiSA生成具有一致预测关系的各种增强环境，并有助于学习不变的GNN。在节点级和图级OOD基准测试上的大量实验表明，LiSA在不同的GNN主干上实现了令人印象深刻的泛化性能。代码可在\url{https://github.com/Samyu0304/LiSA}上获得。
2023-03-27 cs.AI cs.LG
Just Shift It: Test-Time Prototype Shifting for Zero-Shot Generalization with Vision-Language Models
Stanford University（斯坦福大学）
针对视觉-语言模型在测试时因域偏移效果下降的问题，提出测试时原型移位框架，通过动态调整类别原型弥合域差距，在15个数据集上取得最优效果且资源消耗更低。
2024-12-10 cs.AI cs.CV cs.LG
Towards out of distribution generalization for problems in mechanics
Boston University（波士顿大学）
有一个巨大的增长，研究兴趣对应用数据驱动的方法，在力学问题。虽然传统的机器学习（ML）方法已经实现了许多突破，但它们依赖于训练（观察到的）数据和测试（看不见的）数据是独立同分布（i.i.d）的假设。因此，传统的ML方法在应用于具有未知测试环境和数据分布变化的现实世界力学问题时往往会崩溃。相比之下，分布外（OOD）泛化假设测试数据可能发生偏移（即，违反了身份证。假设）。到目前为止，已经提出了多种方法来改善ML方法的OOD推广。然而，由于缺乏OOD回归问题的基准数据集，这些OOD方法在回归问题上的效率仍然是未知的。为了解决这个问题，我们研究了OOD泛化方法在力学回归问题中的性能。具体来说，我们确定了三个OOD问题：协变量转移，机制转移和抽样偏差。对于每个问题，我们创建了两个基准测试的例子，扩展了机械MNIST数据集，我们调查流行的OOD泛化方法在这些机械特定的回归问题上的性能。我们的数值实验表明，在大多数情况下，虽然OOD泛化算法在这些OOD问题上的表现优于传统的ML方法，但迫切需要开发更强大的OOD泛化方法，这些方法在多个OOD场景中都是有效的。总的来说，我们希望这项研究，以及相关的开放获取基准数据集，将使OOD泛化方法的力学特定的回归问题的进一步发展。
2022-08-13 cs.CE cs.LG physics.data-an
Algorithmic Fairness Generalization under Covariate and Dependence Shifts Simultaneously
Baylor University（贝勒大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of Arkansas（阿肯色大学）；University of Florida（佛罗里达大学）
针对跨域场景下协变量与依赖两类分布偏移共存时公平分类器泛化难的问题，提出基于底层变换模型扩充合成域、学习公平不变分类器的方法，在四个基准数据集上性能超越现有最优水平。
2024-05-21 cs.AI cs.CY cs.LG
Out-of-Distribution Generalization via Risk Extrapolation (REx)
Mila（米拉研究所）；University of Montreal（蒙特利尔大学）；Vector（Vector研究所）；University of Toronto（多伦多大学）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
分布偏移是将机器学习预测系统从实验室转移到现实世界的主要障碍之一。为了解决这个问题，我们假设训练域之间的变化代表了我们在测试时可能遇到的变化，但测试时的变化可能在幅度上更极端。特别是，我们表明，减少训练域之间的风险差异可以降低模型对各种极端分布变化的敏感性，包括输入包含因果和反因果元素的挑战性设置。我们激励这种方法，风险外推（REx），作为一种形式的鲁棒优化的扰动集外推域（MM-REx），并提出了惩罚的方差训练风险（V-REx）作为一个更简单的变体。我们证明了REx的变体可以恢复目标的因果机制，同时还对输入分布的变化（“协变量偏移“）提供了一定的鲁棒性。通过适当地权衡因果引起的分布偏移和协变量偏移的稳健性，REx能够在这些类型的偏移同时发生的情况下优于其他方法，例如不变风险最小化。
2021-02-25 cs.AI cs.LG cs.NE
Understanding Generalization through Decision Pattern Shift
Xi’an Jiaotong University（西安交通大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出决策模式偏移(DPS)作为泛化的新视角，通过分析模型内部决策模式的稳定性评估泛化能力，揭示泛化是内部决策机制系统性偏移的过程，并展示DPS在不同泛化退化场景中的统一解释。
2026-05-13 cs.CV cs.LG
Efficient Generalization via Multimodal Co-Training under Data Scarcity and Distribution Shift
Department of Electrical and Computer Engineering（电气与计算机工程系）；Florida Institute for National Security (FINS)（佛罗里达国家安全研究所）；Applied Artificial Intelligence Group（应用人工智能小组）；University of Florida（佛罗里达大学）
本文提出多模态协同训练框架，在数据稀缺和分布偏移下利用未标记数据与分类器一致性提升泛化，并给出收敛性分析与泛化界限，验证其实际效益。
2025-10-08 cs.IT cs.LG math.IT
Modeling the Data-Generating Process is Necessary for Out-of-Distribution Generalization
Microsoft Research（微软研究院）
该研究针对现有领域泛化算法在多属性分布偏移下表现不佳的问题，通过因果图理论证明单一固定约束无法适配所有偏移，提出了自适应应用独立性约束的CACM算法，验证了建模数据生成过程因果关系的重要性。
2024-05-17 cs.AI cs.LG
Out-of-distribution generalization under random, dense distributional shifts
本文针对现实世界中由大量微小随机变化引起的密集分布偏移问题，提出一种不依赖不变性假设的参数推断与预测框架，并在多个真实数据集上验证其有效性。
2025-02-06 stat.ME
Generalizing to Evolving Domains with Latent Structure-Aware Sequential Autoencoder
City University of Hong Kong（香港城市大学）
领域泛化旨在提高机器学习系统对分布外数据的泛化能力。现有的领域泛化技术都是在静态和离散的环境下进行的，以解决面向对象数据所带来的泛化问题。然而，非平稳环境中的许多现实任务（例如自动驾驶汽车系统、传感器测量）涉及更复杂且不断演变的域漂移，这对领域泛化问题提出了新的挑战。在本文中，我们制定了上述设置的问题，不断发展的领域泛化。具体来说，我们建议引入一个称为潜在结构感知顺序自动编码器（LSSAE）的概率框架，通过探索深度神经网络潜在空间中的底层连续结构来解决进化领域泛化的问题，我们的目标是识别两个主要因素，即协变量偏移和概念移位，这两个因素是非平稳环境中分布偏移的原因。在合成数据集和真实数据集上的实验结果表明，LSSAE可以在不断发展的领域泛化设置的基础上获得更好的性能。
2022-06-16 cs.AI cs.LG
Diagnosing Generalization Boundaries in AI-Based Vulnerability Detection via Calibrated Embedding Distances
University of Koblenz（科布伦茨大学）；Fraunhofer ISST（弗劳恩霍夫ISST研究所）
该研究针对CodeBERT与Qwen2.5-Coder，利用校准嵌入距离揭示AI漏洞检测在分布偏移下的泛化边界，发现跨项目偏移退化最剧烈，误报与几何 proximity 相关，无需辅助模型即可诊断模型退化。
2026-10-14 cs.LG cs.SE
$Δ\mathrm{Energy}$: Optimizing Energy Change During Vision-Language Alignment Improves both OOD Detection and OOD Generalization
Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本文提出ΔEnergy分数，通过重新对齐视觉-语言模态时的能量变化来同时提升分布外检测和分布外泛化性能，并基于此开发了统一微调框架EBM。
2026-05-25 cs.CV cs.LG
A Measure-Theoretic Analysis of Reasoning in Transformers: Structural Generalization and Approximation Limits
McGill University（麦吉尔大学）；Mila - Quebec AI Institute（魁北克AI研究所）；Université de Montréal（蒙特利尔大学）
本文通过最优传输理论分析推理过程，揭示了结构泛化和近似限制的理论机制，发现位置依赖注意力机制和Transformer电路深度对推理性能有显著影响。
2026-10-20 cs.AI cs.CC cs.CL
Estimating Environmental Cost Throughout Model's Adaptive Life Cycle
North Carolina State University（北卡罗来纳州立大学）；Collins Aerospace（柯林斯航空航天）
针对模型因数据分布偏移而再训练的能耗与碳排放问题，提出仅需一次前向传播的预测指标 PreIndex，用于估算再训练资源并支持可持续的模型复用决策。
2024-07-23 cs.AI cs.CV cs.CY
Estimating Uncertainty For Vehicle Motion Prediction on Yandex Shifts Dataset
VTB Bank（俄罗斯外贸银行）；Rosgosstrakh（俄罗斯国家保险）
周围智能体的运动预测是自动驾驶环境中的一项重要任务，因为它与驾驶员的安全密切相关。车辆运动预测（VMP）轨道的移位挑战的重点是开发模型，这是强大的分布转移，并能够衡量其预测的不确定性。在这项工作中，我们提出的方法，显着改善提供的基准，并采取了第二位的排行榜。
2021-12-15 cs.LG cs.RO stat.ML
Estimating Conditional Average Treatment Effects with Missing Treatment Information
ETH Zurich（苏黎世联邦理工学院）；LMU Munich（慕尼黑大学）
本文针对治疗信息缺失下的条件平均治疗效应估计问题，识别出两类协变量偏移，提出基于领域自适应学习平衡表示的MTRNet算法，并在半合成与真实数据上显著超越现有方法。
2023-04-16 cs.LG stat.ML
Estimating Unbounded Density Ratios: Applications in Error Control under Covariate Shift
School of Statistics, East China Normal University（华东师范大学统计学院）；The Hong Kong Polytechnic University（香港理工大学）
本文研究了基于最小二乘和逻辑回归的无界密度比估计器，建立了极小极大最优误差上界，并将其应用于协变量偏移下的误差控制，证明了源估计器在特定条件下优于损失校正方法。
2025-03-29 cs.LG stat.ML
Estimating individual treatment effect: generalization bounds and algorithms
New York University（纽约大学）；MIT（麻省理工学院）
人们对将机器学习应用于医疗保健、经济学和教育等领域的因果推断问题有浓厚的兴趣。特别是，个体水平的因果推断具有重要的应用，如精准医学。我们给出了一个新的理论分析和家庭的算法预测个人处理效应（ITE）的观测数据，假设下称为强可预测性。算法学习“平衡”表示，使得诱导的治疗分布和对照分布看起来相似。我们给出了一个新的，简单和直观的广义误差界表明，预期ITE估计误差的表示是有界的表示和治疗和控制分布之间的距离引起的表示的标准广义误差的总和。我们使用积分概率距离来测量分布之间的距离，推导出Wasserstein和最大平均离散（MMD）距离的明确界限。在真实数据和模拟数据上的实验表明，新算法的性能达到或超过了最先进的水平。
2017-05-16 cs.AI cs.LG stat.ML
The Labeling Distribution Matrix (LDM): A Tool for Estimating Machine Learning Algorithm Capacity
Harvey Mudd College（哈维穆德学院）；University of Maryland（马里兰大学）
监督学习中的算法性能是记忆、泛化和运气的组合。通过估计一个算法可以从数据集中记忆多少信息，我们可以为其他因素（如泛化和运气）的性能设置一个下限。考虑到这一目标，我们引入了标记分布矩阵（LDM）作为估计学习算法能力的工具。该方法试图通过针对不同训练数据集的算法来表征可能输出的多样性，使用此来测量算法的灵活性和对数据的响应性。我们在几个监督学习算法上测试了该方法，发现虽然结果不是结论性的，但LDM确实使我们能够对算法的预测行为获得潜在的有价值的见解。我们还介绍了标签记录器作为一个额外的工具，估计算法的能力，更有前途的初步结果。
2020-01-07 cs.LG stat.ML
Estimating Model Performance Under Covariate Shift Without Labels
NannyML NV Belgium（NannyML比利时公司）；University of Helsinki（赫尔辛基大学）
本文提出 PAPE，仅利用模型预测与概率估计，在无标签表格数据上无需假设协变量偏移性质即可估计二分类性能，并在 900 多种组合中验证其优于基准方法。
2025-10-21 cs.LG
Generalization bounds and algorithms for estimating conditional average treatment effect of dosage
Columbia University（哥伦比亚大学）；Imperial College London（帝国理工学院）；Babylon Health（巴比伦健康）
我们调查的任务估计的条件平均因果效应的治疗剂量对的基础系统中的因果关系的观察数据和假设的组合。这一直是流行病学或经济学等研究领域的一个长期挑战，这些领域需要治疗剂量对来做出决定，但可能无法进行随机试验来精确量化其效果和个体间的异质性。在本文中，我们扩展了（Shalit et al，2017），以在连续剂量参数的背景下给出反事实泛化误差的新界限，该参数依赖于定义反事实和分配偏差调整的不同方法。然后，该结果指导新的学习目标的定义，可以用于训练表示学习算法，对于该算法，我们在多个基准数据集上针对该问题实证地显示了新的最先进的性能结果，包括与双重鲁棒估计方法的比较。
2022-05-29 cs.LG
Generalization bound for estimating causal effects from observational network data
Guangdong University of Technology（广东工业大学）；Shantou University（汕头大学）
针对观测网络数据因果效应估计缺乏泛化界分析的问题，本文结合联合倾向得分重加权与IPM表示学习推导出泛化界，并据此提出加权回归方法，在真实网络半合成数据上验证了有效性。
2023-08-08 cs.LG stat.ME
An Information-Theoretic Approach for Estimating Scenario Generalization in Crowd Motion Prediction
Rutgers University（罗格斯大学）；The College of New Jersey（新泽西学院）
基于学习的人群运动建模方法越来越成功，但需要在大型数据集上进行训练和评估，以及复杂的模型选择和参数调整。为了避免这个非常耗时的过程，我们提出了一种新的评分方法，该方法描述了在源人群场景上训练的模型的泛化，并使用免训练，模型不可知的交互+多样性量化得分ISDQ应用于目标人群场景。交互组件旨在表征场景领域的难度，而场景领域的多样性则在多样性得分中捕获。这两个分数都可以以计算易处理的方式计算。我们的实验结果验证了所提出的方法在几个模拟和真实世界（源，目标）泛化任务的有效性，证明了它在训练和测试模型之前选择最佳域对的潜力。
2022-11-02 cs.LG cs.MA
Estimating Generalization Performance Along the Trajectory of Proximal SGD in Robust Regression
Rutgers University（罗格斯大学）
针对高维重尾误差的鲁棒回归问题，提出可追踪GD、SGD及近端SGD迭代轨迹泛化误差的一致估计量，可用于确定最优停止迭代步，仿真验证了其有效性。
2024-11-03 cs.LG math.ST stat.ME
