Statistical Properties of Robust Learning under Distributional Shifts
National University of Singapore（新加坡国立大学）；Tsinghua University（清华大学）；University College London（伦敦大学学院）
本文研究分布偏移下鲁棒学习的统计特性，推导DRO和RS在偏移目标环境中的有限样本泛化误差界，提出信息导向超参数校准并将框架应用于网络批量规模问题，为比较DRO与RS提供原则性基础。
2026-08-14 cs.LG stat.ML
Stable Adversarial Learning under Distributional Shifts
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Tencent（腾讯）
具有经验风险最小化的机器学习算法由于贪婪地采用在训练数据中发现的所有相关性而在分布移位下是脆弱的。最近，有鲁棒的学习方法，针对这个问题，通过最小化最坏情况下的不确定性集的风险。然而，它们在构建决策集时对所有协变量一视同仁，而不考虑其与目标的相关性的稳定性，导致决策集过于庞大，学习者的置信度较低。本文提出了稳定对抗学习（SAL）算法，该算法利用异构数据源构建更实用的不确定性集，并进行差异化鲁棒性优化，其中根据协变量与目标的相关性的稳定性来区分协变量。我们从理论上表明，我们的方法是易于处理的随机梯度为基础的优化，并提供我们的方法的性能保证。仿真和真实数据集的实证研究验证了我们的方法在未知分布变化方面的一致良好性能的有效性。
2021-05-11 cs.LG stat.ML
Mitigating Spurious Correlation via Distributionally Robust Learning with Hierarchical Ambiguity Sets
Pohang University of Science and Technology（釜山科学技术大学）
本文提出一种分层扩展的Group DRO方法，通过扩大模糊集以提高对组间和组内分布偏移的鲁棒性，并在少数群体分布偏移模拟中取得优异表现。
2026-02-12 cs.LG
RCEM: Robust Conversational Search EMbedder in Distributional Shift
Microsoft（微软）
提出RCEM模型，通过将LLM的查询重写能力蒸馏到嵌入模型中，实现无需显式重写的上下文感知检索，在分布偏移下提升鲁棒性。
2026-10-26 cs.CL
On the effects of similarity metrics in decentralized deep learning under distributional shift
RISE Research Institutes of Sweden（瑞典RISE研究机构）；KTH Royal Institute of Technology（瑞典皇家理工学院）；Lund University（隆德大学）
针对去中心化学习在异构与分布偏移数据下难以选择协作者的问题，本文实证比较多种相似性度量对模型合并对象识别和协作效果的影响。
2025-02-20 cs.LG
Distributional Priors Guided Diffusion for Generating 3D Molecules in Low Data Regimes
The Hong Kong Polytechnic University（香港理工大学）
本文提出几何OOD扩散模型，通过捕捉分布结构先验生成低数据条件下3D分子，提升生成成功率12.6%。
2026-03-02 cs.LG physics.chem-ph q-bio.BM
Measuring Distributional Shifts in Text: The Advantage of Language Model-Based Embeddings
Indian Institute of Technology - Bombay（印度理工学院孟买分校）；Fiddler AI（Fiddler人工智能公司）
本文提出基于聚类和 LLM 嵌入的文本分布偏移检测方法，证明通用 LLM 嵌入比传统嵌入对数据漂移更敏感，并总结其在 Fiddler 平台 18 个月部署的经验。
2023-12-04 cs.CL
Beyond Binary Out-of-Distribution Detection: Characterizing Distributional Shifts with Multi-Statistic Diffusion Trajectories
Goethe University（弗赖堡大学）；University of Bremen（不莱梅大学）
本文提出DISC方法，通过扩散模型的迭代去噪过程提取多维特征向量，表征多噪声水平下的统计差异，实现对分布外数据类型的分类，突破传统二元检测的局限。
2026-04-27 cs.LG
Bridging Distributionally Robust Learning and Offline RL: An Approach to Mitigate Distribution Shift and Partial Data Coverage
California Institute of Technology（加州理工学院）；Texas A&M University（德克萨斯A&M大学）；Amazon（亚马逊）
本文利用分布鲁棒学习的极小极大化框架解决离线强化学习中的分布偏移问题，针对表格型和线性函数逼近两种设置提出算法，并在单一策略集中性假设下给出样本复杂度分析与仿真验证。
2023-10-27 cs.LG stat.ML
On the Importance of Gradients for Detecting Distributional Shifts in the Wild
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
检测分发外（OOD）数据已成为确保机器学习模型在现实世界中安全部署的关键组件。现有的OOD检测方法主要依赖于输出或特征空间来获得OOD分数，而在很大程度上忽略了来自梯度空间的信息。在本文中，我们提出了GradNorm，一个简单而有效的方法来检测OOD输入，利用从梯度空间中提取的信息。GradNorm直接使用梯度的向量范数，从softmax输出和均匀概率分布之间的KL散度反向传播。我们的关键思想是，梯度的大小是更高的分布（ID）数据比OOD数据，使其信息OOD检测。GradNorm表现出卓越的性能，与以前的最佳方法相比，平均FPR95降低了16.33%。
2021-10-09 cs.LG
Distributionally Robust Coreset Selection under Covariate Shift
Nagoya University（名古屋大学）；RIKEN（理化学研究所）；Nagoya Institute of Technology（名古屋工业大学）；DENSO CORPORATION（电装公司）
针对部署阶段协变量分布未知且可能偏移的问题，提出DRCS，通过最小化最坏情形测试误差上界估计选择鲁棒核心集，并验证其在凸模型及近似深度学习中的有效性。
2025-02-18 cs.LG stat.ML
Distributionally Robust Survival Models under Subpopulation Shift and Outlier Contamination
Pohang University of Science and Technology（浦项科技大学）
针对异质群体中分布偏移和异常值污染导致的生存模型性能下降问题，提出结合外部最小化与内部最大化的分布鲁棒框架，在模拟和基准实验中稳定训练并显著提升最差组性能。
2026-10-05 cs.AI cs.LG
Enhancing Distributional Stability among Sub-populations
Tsinghua University（清华大学）；Huawei Technologies Co Ltd（华为技术有限公司）
针对分布外泛化中严格不变性依赖强假设的局限，提出“分布稳定性”概念及泛化误差界限，并设计了稳定风险最小化（SRM）算法以增强模型对预测机制偏移的稳定性。
2024-02-14 cs.LG
GraphMETRO: Mitigating Complex Graph Distribution Shifts via Mixture of Aligned Experts
Stanford University（斯坦福大学）；Purdue University（普渡大学）
提出 GraphMETRO 图神经网络，利用门控 MoE 建模多种自然分布偏移，并通过专家表示对齐实现稳定优化，在 GOOD 基准上取得最先进性能。
2024-10-28 cs.LG
Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach
Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）；California Institute of Technology（加州理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出基于分布鲁棒学习的密度比估计框架，用于校准域偏移下的不确定性，提升无监督域适应和半监督学习中的伪标签选择性能。
2024-02-06 cs.CV cs.LG
A New Framework to Analyse the Distributional Robustness of Deep Neural Networks
Microsoft（微软）；Ashoka University（阿什oka大学）
本文提出了一种新框架，通过研究层权重与激活之间的相互作用来分析和量化深度神经网络的分布鲁棒性，展示了该框架在CIFAR-10和ImageNet上模型的实用性，并表明所提指标能区分记忆训练数据和未记忆的网络。
2026-05-20 cs.LG
The Offline-Frontier Shift: Diagnosing Distributional Limits in Generative Multi-Objective Optimization
LIT AI Lab and Institute for Machine Learning JKU Linz, Austria（LIT人工智能实验室和机器学习研究所，约翰·肯普夫大学（JKU）林茨分校，奥地利）；School of Computing, Engineering and Technology RGU, Aberdeen, Scotland（计算、工程与技术学院 RGU，阿伯丁，苏格兰）；Linz Center of Mechatronics GmbH Linz, Austria（林茨机电研究中心 GmbH，林茨，奥地利）
研究揭示了离线多目标优化中生成方法在非hypervolume指标下的表现不足，指出离线前沿位移是根本限制，并提出通过分布外采样解决该问题。
2026-05-12 cs.LG
Distributional Shift Adaptation using Domain-Specific Features
Arizona State University（亚利桑那州立大学）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Bytedance AI Lab（字节跳动人工智能实验室）
机器学习算法通常假设训练样本和测试样本来自相同的分布，即，分销中。然而，在开放世界的场景中，流式传输大数据可能是分发外（OOD）的，从而使这些算法无效。OOD挑战的先前解决方案寻求识别跨不同训练域的不变特征。基本的假设是，这些不变特征在未标记的目标域中也应该工作得相当好。相比之下，这项工作是感兴趣的领域特定的功能，包括不变的功能和功能独特的目标域。我们提出了一个简单而有效的方法，依赖于相关性一般无论是否是不变的功能或不。我们的方法使用最有信心的预测样本确定的OOD基础模型（教师模型）训练一个新的模型（学生模型），有效地适应目标领域。对基准数据集的实证评估表明，与SOTA相比，性能提高了约10 - 20%
2022-11-09 cs.LG
Learning under random distributional shifts
Harvard Business School（哈佛商学院）；Stanford University（斯坦福大学）
本文研究随机分布偏移下的预测问题，提出结合长期结果与短期代理结果的混合方法，证明其鲁棒性，并在庇护分配和早教数据上取得显著更低的均方误差。
2023-10-30 cs.LG stat.AP stat.ME
MGSB: Manifold Gated Signature Branch Pressure-Domain Baseline Architecture for Two-Phase Pipeline Flows Under Distributional Shift
针对多相管道泄漏检测模型在流型转换时性能下降的问题，提出MGSB架构，结合流型条件特征融合等技术，在分布偏移下的泄漏检测性能优于基线模型，为工业多相管道鲁棒泄漏检测提供可行路径。
2026-08-06 cs.LG
Generative models for decision-making under distributional shift
Department of Mathematics, Duke University（杜克大学数学系）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H. Milton Stewart工业与系统工程学院）
本文提出基于流和分数生成模型的统一框架，通过传输映射、速度场等工具处理分布偏移下的决策问题，实现鲁棒性、条件分布生成及不确定性量化。
2026-06-18 cs.LG stat.ML
Quantifying Distributional Invariance in Causal Subgraph for IRM-Free Graph Generalization
本文提出无IRM的图泛化方法，基于不变分布准则量化因果子图分布不变性，通过范数引导目标发现因果子图，在两个基准上超越现有方法。
2025-10-23 cs.LG
Does Distributionally Robust Supervised Learning Give Robust Classifiers?
University of Tokyo（东京大学）；RIKEN（理化学研究所）
分布式鲁棒监督学习（DRSL）是构建可靠的机器学习系统所必需的。当机器学习部署在现实世界中时，其性能可能会显著降低，因为测试数据可能遵循与训练数据不同的分布。具有f-发散的DRSL通过最小化逆向重新加权的训练损失来明确考虑最坏情况下的分布偏移。在本文中，我们分析了这个DRSL，重点是分类方案。由于DRSL是针对分布偏移场景明确制定的，因此我们自然希望它能够提供一个强大的分类器，可以积极处理偏移分布。然而，令人惊讶的是，我们证明了DRSL最终给出了一个完全符合给定训练分布的分类器，这太悲观了。这种悲观情绪来自两个来源：分类中使用的特定损失以及DRSL试图保持稳健的分布种类太广的事实。出于我们的分析，我们提出了简单的DRSL，克服这种悲观主义，并实证证明其有效性。
2018-07-22 cs.LG stat.ML
Deciding When to Decide: Testing Operational Suboptimality Under Distributional Shift
Carnegie Mellon University（卡内基梅隆大学）
针对分布偏移下决策是否需重新优化的问题，提出以决策为中心的框架\texttt{RADAR}，可区分有害与无害偏移，在多任务中表现优于决策无关替代方法。
2026-09-01 cs.LG stat.ME stat.ML
A Kernel Framework to Quantify a Model's Local Predictive Uncertainty under Data Distributional Shifts
University of Florida（佛罗里达大学）
传统的贝叶斯模型不确定性量化方法依赖于对每个网络参数进行边缘化的困难过程来估计其概率密度函数（PDF）。我们的假设是，经过训练的神经网络的内层输出包含与其映射函数（由其权重量化）以及输入数据分布相关的所有信息。因此，我们提出了一种用于训练的神经网络的预测不确定性量化的框架，该训练的神经网络显式地估计其原始预测空间（在激活之前）的PDF，|x，w），我们称之为模型PDF，在高斯再生核希尔伯特空间（RKHS）中。高斯RKHS提供p（y ′）的局部密度估计|x，w），这进一步使我们能够利用量子物理学的基于梯度的公式来根据多个局部不确定性矩来分解模型PDF，这些局部不确定性矩提供比贝叶斯方法所表征的中心矩大得多的PDF分辨率。这为框架提供了更好的能力来检测测试数据中远离模型学习的训练数据PDF的分布偏移。我们评估现有的不确定性量化方法的基准数据集，已损坏使用常见的扰动技术的框架。观察到的内核框架提供模型的不确定性估计更大的精度的基础上，检测模型预测误差的能力。
2021-03-02 cs.IT cs.LG math.IT
Dr. FERMI: A Stochastic Distributionally Robust Fair Empirical Risk Minimization Framework
本文提出Dr. FERMI框架，首次在无需因果图知识的前提下，以随机方式实现具有收敛保证的分布鲁棒公平学习，并通过真实数据集实验验证其性能与效率。
2023-09-20 cs.AI cs.CY cs.LG
Distributionally Robust Learning with Stable Adversarial Training
Tsinghua University（清华大学）；Zhejiang University（浙江大学）
具有经验风险最小化的机器学习算法由于贪婪地采用在训练数据中发现的所有相关性而在分布移位下是脆弱的。有一个新兴的文献，解决这个问题，最大限度地减少最坏情况下的风险超过不确定性集。然而，现有的方法大多数都是通过平等对待所有变量来构建歧义集，而不管它们与目标的相关性是否稳定，这导致了极大的不确定性集和低置信度的学习器。在本文中，我们提出了一种新的稳定对抗学习（SAL）算法，该算法利用异构数据源来构建更实用的不确定性集并进行差异化鲁棒性优化，其中协变量根据其与目标的相关性的稳定性进行区分。我们从理论上表明，我们的方法是易于处理的随机梯度为基础的优化，并提供我们的方法的性能保证。仿真和真实数据集的实证研究验证了我们的方法在未知分布变化方面的一致良好性能的有效性。
2022-11-21 cs.LG
Are Data-driven Explanations Robust against Out-of-distribution Data?
University of Delaware（特拉华大学）
随着黑盒模型越来越多地支持高风险应用程序，各种数据驱动的解释方法也被引入。与此同时，机器学习模型不断受到分布变化的挑战。一个问题自然会出现：数据驱动的解释对分布外的数据是否可靠？我们的实证结果表明，即使预测正确，该模型可能仍然会产生不可靠的解释下分布的变化。如何针对分布外数据制定强有力的解释？为了解决这个问题，我们提出了一个端到端的模型不可知的学习框架分布式鲁棒配置（DRE）。其核心思想是，受自监督学习的启发，充分利用分布间信息为解释的学习提供监督信号，而无需人工注释。稳健的解释是否有利于模型的泛化能力？我们对各种任务和数据类型进行了广泛的实验，包括对图像和科学表格数据的分类和回归。我们的研究结果表明，所提出的方法显着提高了模型的解释和预测的鲁棒性对分布的变化方面的性能。
2023-03-29 cs.LG
Distributionally Robust Policy Evaluation and Learning for Continuous Treatment with Observational Data
City University of Hong Kong（香港城市大学）；The Hong Kong Polytechnic University（香港理工大学）
本文针对连续治疗场景下的分布偏移问题，提出基于逆概率加权并引入核函数的分布鲁棒策略评估与学习方法，通过有限样本分析保证收敛性，实验验证其有效性。
2025-01-18 cs.AI cs.LG
RoCourseNet: Distributionally Robust Training of a Prediction Aware Recourse Model
The Pennsylvania State University（宾夕法尼亚州立大学）
针对 ML 模型更新导致反事实补救失效的问题，本文提出 RoCourseNet，通过三层优化、VDS 对抗训练和分块坐标下降联合学习预测与鲁棒补救，并在三个真实数据集上显著优于基线。
2023-08-18 cs.LG
Distributionally Robust Models with Parametric Likelihood Ratios
Centre Sciences des Données（数据科学中心）；École normale supérieure PSL（巴黎高等师范学院（PSL大学））；Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
随着机器学习模型的部署越来越广泛，它们不仅能够在训练分布上表现良好，而且在遇到分布偏移时也能产生准确的预测，这一点变得越来越重要。分布式鲁棒优化（DRO）框架提出通过训练模型来解决这个问题，以最大限度地减少分布集合下的预期风险，以模仿测试时间偏移。这通常是通过训练目标的实例级重新加权来模拟可能的测试分布的似然比来实现的，这允许通过重要性采样来估计它们的经验风险（假设它们是训练分布的子群体）。然而，在文献中的重新加权计划通常是有限的，由于难以保持的优化问题易于处理和执行规范化约束的复杂性。在本文中，我们表明，三个简单的想法-小批量水平归一化，KL惩罚和同步梯度更新-允许我们训练模型与DRO使用更广泛的类参数似然比。在对图像和文本分类基准的一系列实验中，我们发现，与其他DRO方法相比，使用所得到的参数对手训练的模型对子群体变化的鲁棒性始终更强，并且该方法在几乎没有超参数调整的情况下可靠地表现良好。可以在https://github.com/pmichel31415/P-DRO上找到重现我们实验的代码。
2022-04-13 cs.LG
Adaptive Sample-Level Framework Motivated by Distributionally Robust Optimization with Variance-Based Radius Assignment for Enhanced Neural Network Generalization Under Distribution Shift
Bangladesh University of Engineering and Technology (BUET)（孟加拉国工程技术大学）
本文提出Var-DRO框架，通过样本级在线损失方差自动分配个性化鲁棒性预算，结合KL散度约束与注水解法，在无群体标签条件下提升分布偏移时的神经网络泛化性能。
2025-11-04 cs.CV cs.LG
DRO-InstructZero: Distributionally Robust Prompt Optimization for Large Language Models
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；Massachusetts Institute of Technology（麻省理工学院）
针对提示优化在分布偏移下失效的问题，提出基于分布鲁棒贝叶斯优化的DRO-InstructZero，通过f散度球和鲁棒采集规则提升最坏情况性能，在多项任务上获得显著准确率提升且不损害分布内性能。
2025-10-17 cs.AI cs.CL cs.LG
Koopman Neural Forecaster for Time Series with Temporal Distribution Shifts
UC San Diego（加州大学圣地亚哥分校）；Google Cloud AI（谷歌云人工智能）
时间分布的变化，随着时间的推移，潜在的动态变化，经常发生在现实世界的时间序列，并提出了一个根本性的挑战，深神经网络（DNN）。在本文中，我们提出了一种基于Koopman理论的新型深度序列模型用于时间序列预测：Koopman神经预测器（KNF），它利用DNN来学习线性Koopman空间和所选测量函数的系数。KNF施加适当的归纳偏差，以提高对分布变化的鲁棒性，采用全局运算符来学习共享特征，采用局部运算符来捕获不断变化的动态，以及专门设计的反馈循环，随着时间的推移不断更新学习到的运算符，以快速变化行为。我们证明，\ours{}实现了优越的性能相比，替代品，多个时间序列数据集，被证明遭受分布偏移。
2023-02-28 cs.LG stat.ML
Out-of-Distribution Generalization via Risk Extrapolation (REx)
Mila（米拉研究所）；University of Montreal（蒙特利尔大学）；Vector（Vector研究所）；University of Toronto（多伦多大学）；McGill University（麦吉尔大学）；Facebook AI Research（脸书人工智能研究院）
分布偏移是将机器学习预测系统从实验室转移到现实世界的主要障碍之一。为了解决这个问题，我们假设训练域之间的变化代表了我们在测试时可能遇到的变化，但测试时的变化可能在幅度上更极端。特别是，我们表明，减少训练域之间的风险差异可以降低模型对各种极端分布变化的敏感性，包括输入包含因果和反因果元素的挑战性设置。我们激励这种方法，风险外推（REx），作为一种形式的鲁棒优化的扰动集外推域（MM-REx），并提出了惩罚的方差训练风险（V-REx）作为一个更简单的变体。我们证明了REx的变体可以恢复目标的因果机制，同时还对输入分布的变化（“协变量偏移“）提供了一定的鲁棒性。通过适当地权衡因果引起的分布偏移和协变量偏移的稳健性，REx能够在这些类型的偏移同时发生的情况下优于其他方法，例如不变风险最小化。
2021-02-25 cs.AI cs.LG cs.NE
Biquality Learning: a Framework to Design Algorithms Dealing with Closed-Set Distribution Shifts
Orange Innovation（奥兰治创新公司）；AgroParisTech（巴黎高科农业学院）
针对弱监督与数据集偏移并存挑战，提出双质量学习框架，利用可信与不可信数据集设计两种算法，实验验证其应对分布偏移的有效性。
2023-08-29 cs.LG
An Effective Baseline for Robustness to Distributional Shift
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；University of Washington（华盛顿大学）；New Mexico Tech（新墨西哥理工大学）
当面对与训练期间看到的输入类别不同的输入类别时，避免自信地预测是安全部署深度学习系统的重要要求。虽然很简单，但这在深度学习中一直是一个特别具有挑战性的问题，在这种情况下，模型往往会做出过于自信的预测。在这项工作中，我们提出了一个简单的，但非常有效的方法来处理分布外检测，使用的原则，避免：当遇到一个样本从一个看不见的类，期望的行为是放弃预测。我们的方法使用一个具有额外的约束类的网络，并在一个数据集上进行训练，该数据集由一个未经策划的集合增强，该集合由大量分配有约束类标签的分布外（OoD）样本组成;然后训练模型以学习分布内和分布外样本之间的有效约束。我们将这种相对简单的方法与各种更复杂的方法进行了比较，这些方法已被提出用于分布外检测以及深度学习中的不确定性建模，并根据经验证明了其在各种图像识别和文本分类的基准和深度架构上的有效性，通常优于现有方法。鉴于这种方法的简单性和有效性，我们建议将这种方法用作该领域未来工作的新的额外基线。
2021-05-15 cs.AI cs.LG
Encoding Robustness to Image Style via Adversarial Feature Perturbations
University of Maryland, College Park（马里兰大学帕克分校）；Fudan University（复旦大学）；New York University（纽约大学）
对抗性训练是产生对小对抗性扰动具有鲁棒性的模型的行业标准。然而，机器学习从业者需要对自然发生的其他类型的变化（例如输入图像的风格或照明的变化）具有鲁棒性的模型。输入分布的这种变化已经被有效地建模为深度图像特征的均值和方差的偏移。我们通过直接扰动特征统计而不是图像像素来适应对抗训练，以产生对各种看不见的分布变化具有鲁棒性的模型。我们通过可视化对抗特征来探索这些扰动和分布变化之间的关系。我们提出的方法，对抗性批量归一化（AdvBN），是一个单一的网络层，在训练过程中产生最坏情况的特征扰动。通过对神经网络的对抗性特征分布进行微调，我们观察到网络对各种看不见的分布变化（包括风格变化和图像损坏）的鲁棒性有所提高。此外，我们表明，我们提出的对抗性特征扰动可以补充现有的图像空间数据增强方法，从而提高性能。源代码和预训练模型在\url{https://github.com/azshue/AdvBN}上发布。
2021-10-31 cs.CV cs.LG
Distributionally Robust Policy Learning via Adversarial Environment Generation
Princeton University（普林斯顿大学）
我们的目标是训练能够很好地推广到未知环境的控制策略。受分布式鲁棒优化（DRO）框架的启发，我们提出了DRAGEN -分布式鲁棒策略学习通过对抗性生成的增强-迭代提高鲁棒性的政策，以现实的分布偏移通过生成对抗性的环境。其关键思想是学习环境的生成模型，其潜变量捕获环境中的成本预测和现实变化。我们执行DRO相对于Wasserstein球周围的环境的经验分布通过生成现实的对抗性环境，通过梯度上升的潜在空间。我们在模拟中展示了强大的分布外（OoD）泛化，用于（i）用板载视觉摆动钟摆和（ii）抓住逼真的3D物体。硬件上的抓取实验表明，与域随机化相比，sim 2 real具有更好的性能。
2022-07-07 cs.LG cs.RO
Forecasting the Past: Gradient-Based Distribution Shift Detection in Trajectory Prediction
Mercedes-Benz AG（梅赛德斯-奔驰集团）
本文提出一种自监督方法，通过在事后训练解码器预测轨迹后半部分，利用梯度的L2范数检测分布偏移，提升轨迹预测在Shifts和Argoverse数据集上的性能，并用于早期检测深度Q网络运动规划器的碰撞。
2026-04-14 cs.LG
Back to the Manifold: Recovering from Out-of-Distribution States
KTH Royal Institute of Technology（瑞典皇家理工学院）；Stanford University（斯坦福大学）
从以前收集的专家数据集学习，可以保证在不进行不安全和昂贵的在线探索的情况下获得机器人策略。然而，一个主要的挑战是训练数据集中的状态和测试时学习策略访问的状态之间的分布变化。虽然先前的工作主要研究了离线训练期间由策略引起的分布偏移，但是在部署时从分布外状态恢复的问题还没有得到很好的研究。我们通过引入恢复策略来减轻部署时的分布转移，该恢复策略在代理走出分布状态时将其带回训练流形，例如，由于外部扰动。恢复策略依赖于训练数据密度的近似值和学习的等变映射，该等变映射将视觉观察映射到潜在空间中，在该潜在空间中，平移对应于机器人动作。我们证明了所提出的方法的有效性，通过几个操作实验上一个真正的机器人平台。我们的研究结果表明，恢复政策，使代理完成任务，而单独的行为克隆失败，因为分布转移问题。
2022-07-18 cs.LG cs.RO
Learning Distributionally Robust Models at Scale via Composite Optimization
Yale University（耶鲁大学）；Wyze Labs Inc.（Wyze实验室公司）；The Pennsylvania State University（宾夕法尼亚州立大学）
为了训练对数据中的分布偏移具有鲁棒性的机器学习模型，分布鲁棒优化（DRO）已被证明是非常有效的。然而，现有的学习分布式鲁棒模型的方法要么需要解决复杂的优化问题，如半定规划或一阶方法，其收敛性与数据样本的数量呈线性关系，这阻碍了它们对大型数据集的可扩展性。在本文中，我们将展示如何不同的变种DRO只是一个有限和复合优化，我们提供可扩展的方法的实例。我们还提供了实证结果，证明了我们提出的算法相对于现有技术的有效性，以便从非常大的数据集学习鲁棒的模型。
2022-03-17 cs.LG stat.ML
Augmented Inverse Hybrid Weighting: Robust Inference under Deterministic and Random Distribution Shifts
该研究针对分布偏移问题，提出AIHW方法，通过分离系统偏移与残余随机扰动并权衡两类不确定性，在多站点数据集上验证其可降低均方误差、提升覆盖范围，具有良好鲁棒性。
2026-08-04 cs.LG math.ST stat.ME
Predicting with Confidence on Unseen Distributions
UC Berkeley（加州大学伯克利分校）；Amazon（亚马逊）；Toyota Research Institute（丰田研究所）
最近的研究表明，当对从接近但不同于训练分布的分布中提取的数据评估模型时，机器学习模型的性能可能会有很大变化。因此，预测未知分布的模型性能是一个重要的挑战。我们的工作连接了来自领域自适应和预测不确定性文献的技术，并允许我们在不访问标记数据的情况下预测具有挑战性的未知分布的模型准确性。在分布偏移的背景下，分布距离通常用于调整模型并提高其在新域上的性能，然而在这些研究中，精度估计或其他形式的预测不确定性往往被忽略。通过调查广泛的既定分布距离，如Frechet距离或最大平均离散，我们确定，他们不能引起可靠的估计性能下分布偏移。另一方面，我们发现分类器的预测的置信度（DoC）的差异成功地估计了分类器的性能变化在各种转变。我们专门研究了合成和自然分布偏移之间的区别，并观察到，尽管它的简单性DoC始终优于其他量化的分布差异。$DoC$在几个现实的和具有挑战性的分布偏移上将预测误差减少了几乎一半（$46\%$），例如，在ImageNet-Vid-Robust和ImageNet-Rendition数据集上。
2021-08-19 cs.CV cs.LG stat.ML
Exploring Covariate and Concept Shift for Detection and Calibration of Out-of-Distribution Data
Georgia Institute of Technology（佐治亚理工学院）；Samsung Research America（三星美国研究院）
超越对分布内数据的测试，对分布外（OOD）检测的工作最近越来越受欢迎。最近尝试对OOD数据进行分类，引入了近和远OOD检测的概念。具体而言，现有的作品定义的OOD数据的检测难度方面的特点。我们建议使用两种类型的分布偏移来表征OOD数据的频谱：协变量偏移和概念偏移，其中协变量偏移对应于风格的变化，例如，噪音和概念转移表明语义的变化。这种特性表明，对每种类型的偏移的灵敏度对于OOD数据的检测和置信度校准是重要的。因此，我们研究了捕获对每种类型的数据集偏移的敏感性的评分函数以及改进它们的方法。为此，我们从理论上推导出两个得分函数OOD检测，协变量偏移得分和概念偏移得分，基于KL-分歧的分解，这两个得分，并提出了一个几何启发的方法（几何ODIN），以提高OOD检测下的两个移位，只有在分布数据。此外，所提出的方法自然会导致一个富有表现力的事后校准函数，该函数在分布内和分布外数据上都具有最先进的校准性能。我们是第一个提出一种方法，以及在OOD检测和校准，并根据不同类型的变化。在https://sites.google.com/view/geometric-decomposition上查看项目页面。
2021-11-21 cs.CV cs.LG
Evaluating Predictive Uncertainty under Distributional Shift on Dialogue Dataset
KAIST（韩国科学技术院）
在开放域对话中，预测不确定性主要在域转移设置中进行评估，以应对分布外的输入。然而，在现实世界的对话中，分配转移输入可能比分配外输入更广泛。为了评估这一点，我们首先提出了两种方法，未知词（UW）和上下文不足（IC），通过对话数据集的腐败实现逐渐的分布变化。然后，我们调查的准确性和校准的分布变化的影响。我们的实验表明，现有的不确定性估计方法的性能不断下降，加强移位。结果表明，所提出的方法可能是有用的，用于评估校准的对话系统下的分布转移。
2021-09-01 cs.CL
Short-Term Meaning Shift: A Distributional Exploration
University of Amsterdam（阿姆斯特丹大学）；Universitat Pompeu Fabra（庞培法布拉大学）
我们提出了第一次探索的意义转移在短时间内在网上社区使用分布表示。我们创建了一个小的注释数据集，并使用它来评估短期意义转移的意义转移检测的标准模型的性能。我们发现，该模型有问题区分意义转移的指称现象，并提出了一个衡量的上下文变异性，以弥补这一点。
2019-04-30 cs.CL
Evaluating Lottery Tickets Under Distributional Shifts
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Facebook Assistant
彩票假说表明，大型的、过度参数化的神经网络由小的、稀疏的子网络组成，这些子网络可以单独训练，以达到类似（或更好）的测试精度。然而，所得到的稀疏子网络的初始化和推广最近被称为问题。我们的工作重点是评估稀疏子网络的初始化下的分布移位。具体来说，我们调查在何种程度上在源域中获得的稀疏子网络可以重新训练隔离在一个不同的目标域。此外，我们研究了不同的初始化策略在传输时的效果。我们的实验表明，通过彩票训练获得的稀疏子网络不会简单地过拟合到特定的域，而是反映了可以在多个域中利用的深度神经网络的归纳偏差。
2019-10-28 cs.CL cs.LG
Distributionally Robust Classifiers in Sentiment Analysis
Stanford University（斯坦福大学）
在本文中，我们提出了基于BERT集成DRO（分布鲁棒分类器）的情感分类模型，以提高模型在具有分布变化的数据集上的性能。我们在BERT之上添加了2层Bi-LSTM、投影层（到单纯形或Lp球上）和线性层，以实现分布式鲁棒性。我们考虑了一种形式的分布转移（从IMDb数据集到烂番茄数据集）。我们已经通过实验证实，我们的DRO模型确实提高了我们的测试集的性能，从训练集的分布转移。
2021-10-20 cs.AI cs.CL
Learning Neural Models for Natural Language Processing in the Face of Distributional Shift
Carnegie Mellon University（卡内基梅隆大学）；Stanford University（斯坦福大学）
训练强神经预测器以在特定数据集上执行一项任务的主导NLP范式已经在各种应用中实现了最先进的性能（例如，情感分类、基于跨度预测的问答或机器翻译）。然而，它建立在数据分布是平稳的假设之上，即。数据在训练和测试时都是从固定分布中采样的。这种训练方式与我们作为人类如何能够在不断变化的信息流中学习和操作不一致。此外，它不适合真实世界的用例，其中数据分布预计会在模型的生命周期中发生变化。本文的第一个目标是描述这种转变在自然语言处理背景下可能采取的不同形式，并提出基准和评估指标来衡量其对当前深度学习架构的影响。然后，我们继续采取措施来减轻分布转移对NLP模型的影响。为此，我们开发的方法的基础上的分布鲁棒优化框架的参数重构。从经验上讲，我们证明，这些方法产生更强大的模型上表现出的选择现实的问题。在本论文的第三部分，也是最后一部分，我们将探索如何有效地使现有模型适应新的领域或任务。我们的贡献，这一主题的灵感来自信息几何推导出一个新的梯度更新规则，减轻适应过程中的灾难性遗忘问题。
2021-09-03 cs.CL
Semantic Shifts of Psychological Concepts in Scientific and Popular Media Discourse: A Distributional Semantics Analysis of Russian-Language Corpora
HSE University（高等经济学院）
本文通过分布语义分析俄语语料库，探讨心理学概念在科学与大众媒体中的语义变化，发现科学文本侧重专业术语，而大众媒体更强调日常经验与治疗实践。
2026-03-10 cs.CL
Exploring Semantic Incrementality with Dynamic Syntax and Vector Space Semantics
对话中语义处理模型的基本要求之一是渐进性：一个模型必须至少在逐字的基础上反映人们如何解释和生成语言，并处理碎片，不完整和联合产生的话语等现象。我们表明，增量逐词解析过程的动态的？我们提供了抽象的语义装饰DS树的节点，在向量，张量，和其总和;使用后者来模拟指定不足的元素，在增量处理过程中分配部分表示至关重要。作为一个工作的例子，我们给出了这个理论的一个实例，使用可扩展性张量的成分分布语义，并展示了我们的框架可以逐步分配语义可扩展性措施，因为它解析短语和句子。
2018-11-01 cs.AI cs.CL
Generative Data Augmentation using LLMs improves Distributional Robustness in Question Answering
University of Illinois Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）；Stanford University（斯坦福大学）；Amazon GenAI（亚马逊生成式人工智能部门）
本研究探讨利用LLM生成数据增强问答数据集，以提升模型在自然分布偏移下的鲁棒性，通过两步生成上下文和问答对，实验验证了该方法在4个数据集上的有效性。
2024-02-09 cs.AI cs.CL
Universal Domain Adaptation for Robust Handling of Distributional Shifts in NLP
Seoul National University（首尔国立大学）；NAVER Cloud（NAVER云）；NAVER AI Lab（NAVER人工智能实验室）；KAIST（韩国科学技术院）；IntelliSys（智能系统研究院）；Hanyang University（汉阳大学）
本文提出一个针对自然语言的通用域适应（UniDA）全面基准，涵盖多难度数据集，验证并发现计算机视觉中的UniDA方法可有效迁移至自然语言领域，且适应难度显著影响模型性能。
2023-10-23 cs.CL
