Learning Optimal Distributionally Robust Individualized Treatment Rules Integrating Multi-Source Data
Department of Applied Mathematics, The Hong Kong Polytechnic University（应用数学系，香港理工大学）；Department of Biostatistics, City University of Hong Kong（生物统计学系，香港城市大学）
本文提出了一种基于多源数据的分布鲁棒个性化治疗规则学习方法，通过构建协变量依赖的不确定性集，解决了后移现象带来的鲁棒性问题，并通过实验验证了其优越性能。
2026-03-05 cs.LG stat.ML
Learning Optimal Distributionally Robust Individualized Treatment Rules
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；George Washington University（乔治华盛顿大学）
数据驱动决策科学的最新发展在个性化决策方面取得了巨大进步。给定具有个体协变量、治疗分配和结果的数据，决策者最好制定个体化治疗规则（ITR），使预期结果最大化，称为价值函数。许多现有的方法假设训练分布和测试分布是相同的。然而，当训练分布和测试分布不相同时，估计的最优ITR可能具有较差的推广性。在本文中，我们考虑从受限ITR类中找到最佳ITR的问题，其中训练分布和测试分布之间存在一些未知的协变量变化。我们提出了一种新的分布鲁棒ITR（DR-ITR）框架，最大限度地提高了最坏情况下的价值函数的值下的一组基本分布是“接近”的训练分布。由此产生的DR-ITR可以保证所有这些分布之间的性能相当不错。我们还提出了一个校准程序，调整DR-ITR自适应少量的校准数据从目标人群。通过这种方式，校准的DR-ITR可以被证明比标准ITR享有更好的推广性，基于我们的数值研究。
2020-06-26 cs.LG stat.ML
Distributionally Robust Safe Screening
RIKEN（理化学研究所）；Nagoya University（名古屋大学）；Nagoya Institute of Technology（名古屋工业大学）；DENSO CORPORATION（电装公司）
本文提出 DRSS 方法，将分布鲁棒学习与安全筛选结合，通过将 DR 协变量偏移转化为权重具有不确定性的加权经验风险最小化问题，在训练前可靠识别冗余样本与特征，并提供理论保证与实验验证。
2024-04-25 cs.LG stat.ML
Learning Models with Uniform Performance via Distributionally Robust Optimization
Stanford University（斯坦福大学）；Columbia Business School（哥伦比亚大学商学院）
统计学和机器学习的一个共同目标是学习能够很好地对抗分布变化的模型，例如潜在的异质子群体，未知的协变量变化或未建模的时间效应。我们开发并分析了一个分布式鲁棒随机最优化（DRO）框架，该框架学习一个模型，该模型对数据生成分布的扰动提供良好的性能。我们给出了一个凸制定的问题，提供了几个收敛保证。我们证明了有限样本极大极小的上界和下界，表明分布鲁棒性有时是以收敛速度为代价的。我们给出了学习参数的极限定理，其中我们完全指定了极限分布，以便可以计算置信区间。在实际任务中，包括推广到未知的子群体，细粒度的识别，并提供良好的尾部性能，分布鲁棒的方法往往表现出更好的性能。
2020-07-18 cs.LG stat.ML
Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric
Boston University（波士顿大学）
当协变量和响应/标签都可能被离群值污染时，我们为多元线性回归（MLR）和多类逻辑斯谛回归（MLG）开发了分布鲁棒优化（DRO）公式。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。实验结果表明，我们的方法将MLR的预测误差提高了7% - 37%，将MLG的鲁棒性指标提高了100%。
2020-06-10 cs.LG stat.ML
Robust Covariate Shift Prediction with General Losses and Feature Views
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
协变量偏移通过允许不同的训练和测试输入分布来放松广泛使用的独立同分布（IID）假设。不幸的是，解决协变量偏移的常用方法，试图通过使用重要性加权来消除训练和测试分布之间的偏差，通常在理论上提供较差的性能保证，在实践中提供具有高方差的不可靠预测。最近开发的方法，构建一个预测，固有的强大的学习困难下协变量偏移的限制，以最大限度地减少对数损失，并可能过于保守，当面对高维学习任务。我们以两种方式解决这些限制：通过稳健地最小化各种损失函数，包括非凸函数，在测试分布下;以及根据输入变量和示例标签之间关系的不同基于特征的视图，分别塑造协变量偏移的影响。这些推广使得稳健的协变量偏移预测适用于更多的任务场景。我们证明了分类的好处下协变量偏移任务。
2017-12-28 cs.LG stat.ML
Distributionally Robust Prescriptive Analytics with Wasserstein Distance
Tsinghua University（清华大学）；University of Toronto（多伦多大学）
在规范分析中，决策者观察$(X, Y)$的历史样本，其中$Y$是不确定的问题参数，$X$是并发协变量，而不知道联合分布。给定一个额外的协变量观测$x$，目标是根据该观测选择一个决策$z$，以最小化成本$\mathbb{E}[c(z,Y)|X=x]$。提出了一种新的Wasserstein模糊集下的分布鲁棒方法，该方法基于Nadaraya-Watson核估计量构造$Y|X=x$的名义分布，并考虑历史数据.我们证明了在Wasserstein距离下名义分布收敛于实际条件分布。我们建立了样本外的保证和计算框架的易处理性。通过报童问题和投资组合优化问题的综合实验和实证实验，证明了该框架的强大性能和实用价值。
2021-06-10 cs.LG math.OC
Wasserstein Distributionally Robust Optimization and Variation Regularization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；New York University（纽约大学）；Georgia Institute of Technology（佐治亚理工学院）
Wasserstein分布鲁棒优化（DRO）最近在运筹学和机器学习的各种应用中取得了经验上的成功，部分原因是它的正则化效应。虽然Wasserstein DRO和正则化之间的联系已经建立在几个设置，现有的结果往往需要限制性的假设，如光滑性或凸性，这是不满意的许多问题。在本文中，我们开发了一个一般理论的变化正则化效果的Wasserstein DRO -一种新的形式的正则化，推广总变差正则化，Lipschitz正则化和梯度正则化。我们的结果涵盖可能的非凸和非光滑的损失和损失的非欧几里德空间。例子包括多项报童，投资组合选择，线性预测，神经网络，流形学习，泊松过程的强度估计等，作为我们的变分正则化理论的应用，我们得到新的泛化保证对抗性鲁棒学习。
2020-10-30 cs.LG math.OC stat.ML
Label Distributionally Robust Losses for Multi-class Classification: Consistency, Robustness and Adaptivity
The University of Iowa（爱荷华大学）；University at Albany（奥尔巴尼大学）；Texas A&M University（得克萨斯农工大学）
本文从分布鲁棒优化视角研究多类分类的标签分布鲁棒（LDR）损失，证明了其一致性并提出一种能自适应实例标签噪声的新LDR损失，在多个数据集上展现出稳定竞争力。
2023-06-28 cs.LG
Distributionally Robust Policy Learning under Concept Drifts
New York University（纽约大学）；University of Pennsylvania（宾夕法尼亚大学）；Hong Kong University of Science and Technology（香港科技大学）；Arena Technologies
本文研究概念漂移下的分布鲁棒策略学习，提出双重鲁棒估计器评估最坏平均奖励，并设计算法最大化策略价值，次优差距为κ(Π)n^{-1/2}阶且速率最优，数值实验显示显著优于现有基准。
2025-06-01 cs.LG stat.ML
Robust Grouped Variable Selection Using Distributionally Robust Optimization
Boston University（波士顿大学）
我们提出了一个分布鲁棒优化（DRO）制定与Wasserstein为基础的不确定性集选择分组变量扰动下的数据线性回归和分类问题。由此产生的模型提供了鲁棒性的解释分组最小绝对收缩和选择算子（GLASSO）算法，并突出了鲁棒性和正则化之间的联系。我们证明了样本外损失和估计偏差的概率界，并建立了我们的估计的分组效应，表明在同一组中的系数收敛到相同的值，协变量之间的样本相关性接近1。基于此结果，我们提出使用谱聚类算法与高斯相似性函数进行分组的预测，这使得我们的方法适用于不知道的分组结构的先验。我们将我们的方法与一系列替代方案进行比较，并在合成数据和与手术相关的医疗记录的真实大型数据集上提供了广泛的数值结果，表明我们的公式产生了一个可解释的和简约的模型，该模型鼓励在组水平上稀疏，并且能够在存在离群值的情况下实现更好的预测和估计性能。
2020-06-10 cs.LG stat.ML
Domain Adaptation with Target Information via Doubly-Anchored Distributionally Robust Optimization
George Mason University（乔治梅森大学）
提出双锚定分布鲁棒优化框架，利用目标信息构建模糊集，推导KL/HD桥几何，建立泛化界并转化为桥加权估计器，在Fashion-MNIST上验证稳定性。
2026-09-29 cs.IT cs.LG math.IT
Distributionally Robust Transfer Learning with Structurally Missing Covariates, with Application to Cross-National Cardiac Arrest Prediction
Centre for Biomedical Data Science, Duke-NUS Medical School, Singapore（生物医学数据科学中心，杜克-国家大学医学院，新加坡）；Duke-NUS AI + Medical Sciences Initiative, Duke-NUS Medical School, Singapore（杜克-国家大学医学院AI+医学科学倡议，新加坡）；Department of Biostatistics and Bioinformatics, Duke University, Durham, NC, USA（生物统计学与生物信息学系，杜克大学，北卡罗来纳州达勒姆，美国）；Duke Clinical Research Institute, Durham, NC, USA（杜克临床研究学院，北卡罗来纳州达勒姆，美国）；Emergency Medicine Department, National University Hospital, Singapore（急诊医学部，国立大学医院，新加坡）；Department of Sport and Medical Science, Faculty of Physical Education, Kokushikan University, Tokyo, Japan（体育与医学科学系，体育学院，立命馆大学，东京，日本）；Graduate School of Emergency Medical System, Kokushikan University, Tokyo, Japan（急救医疗系统研究生院，立命馆大学，东京，日本）；Department of Emergency Medicine, Seoul National University College of Medicine, Seoul, Republic of Korea（急诊医学系，首尔国立大学医学院，首尔，韩国）；Center for Emergency Medicine, Bach Mai Hospital, Hanoi, Vietnam（急救医学中心，巴赫梅医院，河内，越南）；Center for Critical Care Medicine, Bach Mai Hospital, Hanoi, Vietnam（重症医学中心，巴赫梅医院，河内，越南）；Health Services Research Centre, Singapore Health Services, Singapore（卫生服务研究中心，新加坡卫生服务，新加坡）；Department of Emergency Medicine, Singapore General Hospital, Singapore（急诊医学部，新加坡中央医院，新加坡）；Pre-hospital & Emergency Research Centre, Health Services Research and Population Health, Duke-NUS Medical School, Singapore（院前与急诊研究中心，卫生服务研究与人口健康，杜克-国家大学医学院，新加坡）
提出DRUM框架，通过分布鲁棒优化和神经网络生成器处理目标域中结构缺失的协变量，实现无标签目标域的预测模型迁移，并在跨国心脏骤停预测中验证有效性。
2026-08-06 cs.AI cs.LG stat.AP
Does Distributionally Robust Supervised Learning Give Robust Classifiers?
University of Tokyo（东京大学）；RIKEN（理化学研究所）
分布式鲁棒监督学习（DRSL）是构建可靠的机器学习系统所必需的。当机器学习部署在现实世界中时，其性能可能会显著降低，因为测试数据可能遵循与训练数据不同的分布。具有f-发散的DRSL通过最小化逆向重新加权的训练损失来明确考虑最坏情况下的分布偏移。在本文中，我们分析了这个DRSL，重点是分类方案。由于DRSL是针对分布偏移场景明确制定的，因此我们自然希望它能够提供一个强大的分类器，可以积极处理偏移分布。然而，令人惊讶的是，我们证明了DRSL最终给出了一个完全符合给定训练分布的分类器，这太悲观了。这种悲观情绪来自两个来源：分类中使用的特定损失以及DRSL试图保持稳健的分布种类太广的事实。出于我们的分析，我们提出了简单的DRSL，克服这种悲观主义，并实证证明其有效性。
2018-07-22 cs.LG stat.ML
Distributionally Robust PAC-Bayesian Control
本文提出一种分布鲁棒的PAC-Bayesian框架，用于验证基于学习的有限时间 horizon 控制器性能。通过结合PAC-Bayes泛化理论和基于类型1 Wasserstein距离的分布鲁棒优化，解决无界损失和环境分布偏移问题，提供高概率安全证书。
2026-04-12 cs.LG cs.SY eess.SY
Distributionally Robust Local Non-parametric Conditional Estimation
Stanford University（斯坦福大学）；HEC Montréal（蒙特利尔高等商学院）
给定特定协变量值的条件估计（即，局部条件估计或函数估计）对于工程、社会和自然科学中的应用是普遍有用的。现有的数据驱动的非参数估计主要集中在结构化的同质数据（例如，弱独立和稳定的数据），因此它们对对抗性噪声敏感，并且在低样本量下可能表现不佳。为了缓解这些问题，我们提出了一种新的分布鲁棒估计，通过最小化Wasserstein模糊集中所有对抗分布的最坏情况条件预期损失来生成非参数局部估计。我们表明，尽管一般是棘手的，本地估计可以有效地找到通过凸优化广泛适用的设置下，它是强大的腐败和异质性的数据。合成和MNIST数据集的实验表明，这类新的估计的竞争力。
2020-10-12 cs.LG math.ST stat.ML
Representation-Aware Distributionally Robust Optimization: A Knowledge Transfer Framework
Department of Statistics, Columbia University（哥伦比亚大学统计系）；Department of Industrial Engineering and Decision Analytics, Hong Kong University of Science and Technology（香港科技大学工业工程与决策分析系）；Department of Biostatistics, Peking University Health Science Center（北京大学北京医科大学生物统计学系）；Beijing International Center for Mathematical Research, Peking University（北京大学北京国际数学研究中心）
研究提出表示感知分布鲁棒估计（READ）框架，利用外部表示指导鲁棒性几何，增加改变表示坐标扰动的运输成本。在当前目标推断和未来总体部署中研究READ，模拟和应用证明其在多源多任务转移学习中有优势。
2026-07-21 cs.LG stat.ME
Large-Scale Methods for Distributionally Robust Optimization
我们提出并分析了分布鲁棒优化算法的凸损失与条件风险价值（CVaR）和$χ^2$发散不确定性集。我们证明，我们的算法需要许多梯度评估，与训练集大小和参数数量无关，使它们适合大规模应用。对于$χ^2$的不确定性集，这些是第一个这样的保证在文献中，和CVaR我们的保证规模线性的不确定性水平，而不是二次在以前的工作。我们还提供了下界证明我们的算法CVaR和惩罚版本的$χ^2$问题的最坏情况下的最优性。我们的主要技术贡献是批量稳健风险估计偏差的新界限和[Blanchet & Glynn，2015]的多级Monte Carlo梯度估计的方差。在MNIST和ImageNet上的实验证实了我们算法的理论扩展性，比全批方法的效率高9- 36倍。
2020-12-11 cs.LG math.OC stat.ML
Distributionally Robust Optimization with Bias and Variance Reduction
University of Washington（华盛顿大学）；Google DeepMind（谷歌DeepMind）；Google Research（谷歌研究院）
针对分布鲁棒优化问题，提出仅需单参数调优的随机梯度算法 Prospect，实现线性收敛，在多领域基准上比基线快 2-3 倍。
2023-10-21 cs.LG math.OC stat.ML
Distributionally Robust Optimization via Ball Oracle Acceleration
我们开发和分析算法的凸损失的分布鲁棒优化（DRO）。特别是，我们考虑组结构和有界$f$ -发散不确定集。我们的方法依赖于一个加速的方法，查询一个球优化预言，即，一个子程序，最小化目标在一个小球周围的查询点。我们的主要贡献是有效地实现这个预言的DRO目标。对于具有$N$非光滑损失函数的DRO，所得到的算法使用对各个损失函数的$\widetilde{O}\left(Nε^{-2/3} + ε^{-2}\right)$一阶Oracle查询找到$ε$精确解。与现有的算法相比，这个问题，我们提高了复杂性的一个因素高达$ε^{-4/3}$。
2022-03-24 cs.DS cs.LG math.OC
Kernel Distributionally Robust Optimization
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Google Research（谷歌研究院）；University of Freiburg（弗赖堡大学）
我们提出了核分布鲁棒优化（核DRO）的鲁棒优化理论和泛函分析的见解。我们的方法使用再生核希尔伯特空间（RKHS），以构建一个广泛的凸模糊集，它可以推广到集的基础上的积分概率距离和有限阶矩界。这种观点统一了多种现有的鲁棒和随机最优化方法。我们证明了一个定理，推广了经典的对偶性的数学问题的时刻。启用这个定理，我们重新制定的最大化相对于DRO到对偶程序中的措施，搜索RKHS功能。使用通用RKHS，定理适用于广泛的一类损失函数，解除常见的限制，如多项式损失和知识的Lipschitz常数。然后，我们建立了DRO和随机最优化与期望约束之间的联系。最后，我们提出了实用的算法的基础上批凸求解器和随机函数梯度，适用于一般的优化和机器学习任务。
2021-02-27 cs.LG math.OC stat.ML
Distributionally Robust Federated Averaging
The Pennsylvania State University（宾夕法尼亚州立大学）
在本文中，我们研究了通信有效的分布式算法的分布式鲁棒联邦学习通过周期平均与自适应采样。与标准的经验风险最小化相比，由于底层优化问题的极大极小结构，一个关键的困难来自于这样一个事实，即控制局部损失混合的全局参数只能在全局舞台上不频繁地更新。为了弥补这一点，我们提出了一个分布式鲁棒联邦平均（DRFA）算法，采用了一种新的快照计划，以近似的混合参数的历史梯度的积累。我们分析了DRFA的收敛速度在凸线性和非凸线性设置。我们还将所提出的想法推广到混合参数正则化的目标，并提出了一个近似的变体，称为DRFA-Prox，具有可证明的收敛速度。我们还分析了另一种优化方法，正则化的情况下，在强凸强凹和非凸（PL条件下）强凹设置。据我们所知，本文是第一个解决分布式鲁棒联邦学习减少通信，并分析分布式极小极大问题的局部下降方法的效率。我们在联邦学习环境中为我们的理论结果提供了确凿的实验证据。
2021-02-25 cs.DC cs.LG stat.ML
Non-convex Distributionally Robust Optimization: Non-asymptotic Analysis
Peking University（北京大学）
分布鲁棒优化（DRO）是一种广泛使用的学习模型的方法，对分布偏移具有鲁棒性。与标准优化设置相比，DRO中的目标函数更难优化，现有的理论结果大多对损失函数做了较强的假设。在这项工作中，我们通过研究一般光滑非凸损失的DRO算法来弥补这一差距。通过仔细利用DRO目标的具体形式，我们能够提供非渐近收敛保证，即使目标函数可能是非凸的，非光滑的，有无界的梯度噪声。特别是，我们证明了一个特殊的算法称为小批量归一化梯度下降的势头，可以找到一个$ε$一阶平稳点内$O( ε^{-4} )$梯度复杂度。我们还讨论了条件风险价值（CVaR）设置，我们提出了一个惩罚DRO目标的基础上平滑版本的CVaR，使我们能够获得类似的收敛保证。最后，我们验证了我们的理论结果在一些任务，发现该算法可以始终如一地实现突出的加速。
2021-10-26 cs.LG math.OC stat.ML
Wasserstein Distributionally Robust Regret Optimization
本文研究了基于Wasserstein模糊集的先验分布鲁棒遗憾优化，提出理论框架并开发算法，解决非光滑损失、离散参考和大半径等场景下的计算难题。
2026-08-11 cs.LG math.OC
Distributionally Robust Token Optimization in RLHF
Department of System Engineering（系统工程系）；Boston University（波士顿大学）；Department of Math & Statistics（数学与统计学系）
本文提出DRTO方法，结合RLHF与DRO，通过构建f-散度模糊集增强策略优化中的困难响应段，提升多步骤推理任务在分布变化下的一致性。
2026-05-11 cs.AI cs.LG
Knowledge-Guided Wasserstein Distributionally Robust Optimization
Columbia University（哥伦比亚大学）；Northwestern University（西北大学）；Columbia Mailman School of Public Health（哥伦比亚大学梅尔曼公共卫生学院）；Hong Kong University of Science and Technology（香港科技大学）
针对普通WDRO在小样本迁移学习中过度保守的问题，提出KG-WDRO框架，通过源知识引导构建更小模糊集减轻协变量预测投影扰动，理论证明其与收缩估计等价，模拟验证其在小样本迁移学习中的优越性能与适应性。
2025-02-12 cs.LG stat.ME stat.ML
Communication-Efficient Federated Group Distributionally Robust Optimization
Texas A&M University（德克萨斯农工大学）
本文针对联邦学习数据异构性导致的泛化问题，提出通信高效的联邦组分布鲁棒优化算法FGDRO-CVaR、FGDRO-KL及FGDRO-KL-Adam，显著降低通信复杂度并在真实任务中验证了有效性。
2024-11-11 cs.DC cs.LG stat.ML
Statistical Analysis of Wasserstein Distributionally Robust Estimators
Stanford University（斯坦福大学）；Singapore University of Technology and Design（新加坡科技设计大学）；VinAI Research（VinAI研究院）
我们认为，统计方法调用一个最小-最大分布鲁棒配方提取良好的样本性能数据驱动的优化和学习问题。认识到从有限样本中学习的分布不确定性，最小-最大公式引入了一个对抗性的内部参与者来探索看不见的协变量数据。由此产生的分布鲁棒优化（DRO）配方，其中包括Wasserstein DRO配方（我们的主要重点），指定使用最佳运输现象。在描述了如何通过有限维对偶重构来处理这些无限维最小-最大问题后，本教程进入了它的主要部分，即解释了一个最佳选择对手预算大小的通用配方。这是通过研究极限行为的最优输运投影公式所产生的查询最小的置信区域，包括未知的人口风险最小化。顺便说一句，这个系统的处方符合在高维统计的具体例子，并在误差界，是免费的维数灾难的结果。配备了这个处方，我们提出了一个中心极限定理的DRO估计，并提供了一个配方，用于构建兼容的置信区域，是有用的不确定性量化。本教程的其余部分致力于深入了解由最小-最大公式选择的优化器的性质以及最优输运预测的其他应用。
2021-08-04 cs.LG math.OC math.ST
Generative Distributionally Robust Optimization
Telfer School of Management, University of Ottawa（渥太华大学泰尔弗管理学院）；Department of Electrical and Computer Engineering, Western University（西安大略大学电气与计算机工程系）
研究提出生成式分布鲁棒优化（GDRO）框架，接受可采样条件生成器为名义模型，通过采样器-辛科恩配对限制最坏情况法则，可直接有限样本近似和可微实现，相比名义决策降低了罕见上下文库存遗憾和SocialGAN导航碰撞。
2026-07-29 cs.AI cs.LG math.OC
Distributionally Robust Learning with Stable Adversarial Training
Tsinghua University（清华大学）；Zhejiang University（浙江大学）
具有经验风险最小化的机器学习算法由于贪婪地采用在训练数据中发现的所有相关性而在分布移位下是脆弱的。有一个新兴的文献，解决这个问题，最大限度地减少最坏情况下的风险超过不确定性集。然而，现有的方法大多数都是通过平等对待所有变量来构建歧义集，而不管它们与目标的相关性是否稳定，这导致了极大的不确定性集和低置信度的学习器。在本文中，我们提出了一种新的稳定对抗学习（SAL）算法，该算法利用异构数据源来构建更实用的不确定性集并进行差异化鲁棒性优化，其中协变量根据其与目标的相关性的稳定性进行区分。我们从理论上表明，我们的方法是易于处理的随机梯度为基础的优化，并提供我们的方法的性能保证。仿真和真实数据集的实证研究验证了我们的方法在未知分布变化方面的一致良好性能的有效性。
2022-11-21 cs.LG
Group Distributionally Robust Knowledge Distillation
University of Edinburgh（爱丁堡大学）；Canon Medical Research Europe Ltd.（佳能医疗研究欧洲有限公司）
本文提出分组感知蒸馏损失GroupDistil，通过动态加权各群体损失，缓解知识蒸馏中的子群体偏移问题，并在自然图像和心脏MRI数据集上验证了最差群体准确率的提升。
2023-11-01 cs.CV cs.LG
Distributionally Robust Classification for Multi-source Unsupervised Domain Adaptation
Pohang University of Science and Technology（釜山科学技术大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出了一种多源无监督领域自适应的分布鲁棒分类框架，通过建模协变量和条件标签分布的不确定性，有效提升模型在目标域的泛化能力，尤其在目标数据稀缺时表现优异。
2026-02-23 cs.AI cs.LG
Concave Certificates: Geometric Framework for Distributionally Robust Risk and Complexity Analysis
College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）
本文提出基于增长速率函数最小凹包的几何框架，用于分布鲁棒优化中风险的紧界分析，并扩展至复杂性分析，引入最坏情况泛化界，消除输入直径、网络宽度和深度的依赖。
2026-04-08 cs.LG math.OC
Distributionally Robust Batch Contextual Bandits
Stanford University（斯坦福大学）；New York University（纽约大学）
本文研究利用历史观测数据学习分布鲁棒策略的问题，提出了一种具有最坏情况环境变化评估保证和一致收敛性能保证的新颖学习算法，并在合成与真实数据集上验证了其对对抗性扰动和未知协变量偏移的鲁棒性。
2023-09-11 cs.LG math.OC math.ST
Distributionally Robust Survival Models under Subpopulation Shift and Outlier Contamination
Pohang University of Science and Technology（浦项科技大学）
针对异质群体中分布偏移和异常值污染导致的生存模型性能下降问题，提出结合外部最小化与内部最大化的分布鲁棒框架，在模拟和基准实验中稳定训练并显著提升最差组性能。
2026-10-05 cs.AI cs.LG
Distributionally Robust Mixture-of-Experts Training
New York University（纽约大学）；Center for Data Science, NYU Shanghai（上海纽约大学数据科学中心）
针对MoE路由不完善导致专家训练不足的可靠性问题，提出分布鲁棒MoE训练（DRMoET），通过熵正则化softmax优化高损失路由，在10.3B规模下将七任务平均从0.6625提升至0.6767，并降低专家损失方差。
2026-10-07 cs.AI cs.LG
Is Big Data Sufficient for a Reliable Detection of Non-Technical Losses?
Interdisciplinary Centre for Security, Reliability and Trust, University of Luxembourg（卢森堡大学安全、可靠性与信任跨学科中心）；University of Quebec in Montreal（魁北克大学蒙特利尔分校）；CHOICE Technologies Holding Sàrl
非技术损失（NTL）发生在电网中的电力分配过程中，包括但不限于电力盗窃和故障仪表。在新兴国家，它们可能占总配电量的40%。为了检测NTL，使用从客户数据和检查结果学习不规则消耗模式的机器学习方法。现代机器学习中遵循的大数据范式反映了从简单分析更多数据中得出更好结论的愿望，而无需查看理论和模型。然而，被检查客户的样本可能有偏差，即它不代表所有客户的总体。因此，在这些检查结果上训练的机器学习模型也有偏差，因此导致对客户是否导致NTL的预测不可靠。在机器学习中，这个问题被称为协变量偏移，并且尚未在关于NTL检测的文献中解决。在这项工作中，我们提出了一个新的框架量化和可视化的协变量偏移。我们将其应用于来自巴西的商业数据集，该数据集由360万客户和820K检查结果组成。我们发现，一些功能有一个更强的协变量偏移比其他人，预测不太可靠。特别是，以前的检查集中在某些社区或客户类别，他们没有充分分散在人口的客户。该框架即将部署在用于NTL检测的商业产品中。
2017-07-25 cs.AI cs.LG
Contextual Optimization under Covariate Shift: A Robust Approach by Intersecting Wasserstein Balls
Department of Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运营管理系）；Department of Management, University of Toronto Mississauga, Rotman School of Management, University of Toronto（多伦多大学滑铁卢分校管理系，罗特曼管理学院，多伦多大学）；School of Economics and Management, Tsinghua University（清华大学经济管理学院）
针对协变量偏移导致情境决策次优的问题，提出 IW-DRO 框架，通过非参数与参数估计器构建 Wasserstein 球交集模糊集，转化为凸规划求解，并证明了其优于单球模型的性能与有限样本集中性。
2025-06-25 cs.LG math.OC
Certifying Some Distributional Robustness with Principled Adversarial Training
Stanford University（斯坦福大学）；Istituto Italiano di Tecnologia（意大利理工学院）
神经网络容易受到对抗性样本的攻击，研究人员提出了许多启发式攻击和防御机制。我们通过分布式鲁棒优化的原则镜头来解决这个问题，这保证了在对抗性输入扰动下的性能。通过考虑一个拉格朗日惩罚公式扰动的基础数据分布在一个Wasserstein球，我们提供了一个训练过程，增加模型参数更新与最坏情况下的扰动训练数据。对于平滑损失，我们的程序可证明达到中等水平的鲁棒性，相对于经验风险最小化，计算或统计成本很小。此外，我们的统计保证使我们能够有效地证明种群损失的鲁棒性。对于不可察觉的扰动，我们的方法匹配或优于启发式方法。
2020-05-01 cs.LG stat.ML
Double Debiased Covariate Shift Adaptation Robust to Density-Ratio Estimation
Mizuho-DL Financial Technology Co., Ltd.（瑞穗DL金融科技有限公司）；Nagoya University Graduate School of Medicine（名古屋大学医学部）
针对协变量偏移下重要性加权依赖密度比估计并引入偏差的问题，提出结合回归函数与 double machine learning 的双重稳健估计量，证明其渐近性质与一致性，并通过模拟验证有效性。
2024-10-26 cs.LG econ.EM stat.ME
Bulk-Calibrated Credal Ambiguity Sets: Fast, Tractable Decision Making under Out-of-Sample Contamination
University of Bristol（布里斯托大学）；University of Cambridge（剑桥大学）；University of California, Berkeley（加州大学伯克利分校）；University of Oxford（牛津大学）
提出批量校准置信模糊集，通过分离批量内污染和尾部贡献，得到闭式有限风险目标，转化为线性或二阶锥规划，实现高效鲁棒优化。
2026-06-12 cs.LG stat.ML
Balancing Average and Worst-case Accuracy in Multitask Learning
École normale superieure PSL（巴黎高等师范学院PSL大学）；DeepMind
当在大量任务上训练和评估机器学习模型时，重要的是不仅要考虑平均任务准确度（可能会受到简单或冗余任务的影响），还要考虑最差情况下的准确度（即准确度最低的任务的性能）。在这项工作中，我们将展示如何使用技术的分布鲁棒优化（DRO）文献，以提高最坏情况下的多任务学习的性能。我们强调了DRO的几个失败的情况下，应用现成的，并提出了一种改进的方法，Lookahead-DRO（L-DRO），它减轻了这些问题。L-DRO的核心思想是在训练期间预测任务之间的交互，以便选择各种任务损失的动态重新加权，这将（i）导致最小的最坏情况损失和（ii）在尽可能多的任务上进行训练。在一个小的控制合成设置上证明了L-DRO的功效后，我们在两个现实的基准上对其进行了评估：CIFAR-100图像分类数据集的多任务版本和大规模多语言建模实验。我们的实证结果表明，L-DRO实现了更好的平均和最坏情况下的准确性之间的权衡与几个强大的基线相比，很少的计算开销。
2021-10-12 cs.AI cs.CL cs.LG
Taking a Moment for Distributional Robustness
Stanford University（斯坦福大学）
本文提出基于对抗矩违背的极小极大目标，证明其等价于最小化到真实条件期望的最坏情形$\ell_2$距离，并在保持噪声无关保证的同时显著降低计算成本。
2024-05-08 cs.LG
Optimal Recovery Meets Bayesian Learning: Where Worst-Case Bounds Pay Off
本文统一最坏情况最优恢复与贝叶斯学习，证明Morozov校准在可复现性和后端鲁棒性上优于现有方法，并指出协变量偏移下OR的局限，提出按数据机制匹配保证工具的设计原则。
2026-09-25 cs.LG stat.ML
