A Short and General Duality Proof for Wasserstein Distributionally Robust Optimization
Columbia University（哥伦比亚大学）；University of Chicago（芝加哥大学）
本文为Wasserstein分布鲁棒优化提出了一个仅依赖一维凸分析的通用对偶性证明，并刻画了可交换性原理成立的充要条件，同时将结果推广到分布鲁棒Markov决策过程、多阶段随机规划及其他相关优化问题。
2024-06-05 cs.LG math.OC stat.ML
Learning Distributionally Robust Models at Scale via Composite Optimization
Yale University（耶鲁大学）；Wyze Labs Inc.（Wyze实验室公司）；The Pennsylvania State University（宾夕法尼亚州立大学）
为了训练对数据中的分布偏移具有鲁棒性的机器学习模型，分布鲁棒优化（DRO）已被证明是非常有效的。然而，现有的学习分布式鲁棒模型的方法要么需要解决复杂的优化问题，如半定规划或一阶方法，其收敛性与数据样本的数量呈线性关系，这阻碍了它们对大型数据集的可扩展性。在本文中，我们将展示如何不同的变种DRO只是一个有限和复合优化，我们提供可扩展的方法的实例。我们还提供了实证结果，证明了我们提出的算法相对于现有技术的有效性，以便从非常大的数据集学习鲁棒的模型。
2022-03-17 cs.LG stat.ML
Learning Models with Uniform Performance via Distributionally Robust Optimization
Stanford University（斯坦福大学）；Columbia Business School（哥伦比亚大学商学院）
统计学和机器学习的一个共同目标是学习能够很好地对抗分布变化的模型，例如潜在的异质子群体，未知的协变量变化或未建模的时间效应。我们开发并分析了一个分布式鲁棒随机最优化（DRO）框架，该框架学习一个模型，该模型对数据生成分布的扰动提供良好的性能。我们给出了一个凸制定的问题，提供了几个收敛保证。我们证明了有限样本极大极小的上界和下界，表明分布鲁棒性有时是以收敛速度为代价的。我们给出了学习参数的极限定理，其中我们完全指定了极限分布，以便可以计算置信区间。在实际任务中，包括推广到未知的子群体，细粒度的识别，并提供良好的尾部性能，分布鲁棒的方法往往表现出更好的性能。
2020-07-18 cs.LG stat.ML
Adjusted Wasserstein Distributionally Robust Estimator in Statistical Learning
Georgia Institute of Technology（佐治亚理工学院）；School of Industrial and Systems Engineering（工业与系统工程学院）
本文通过对经典WDRO估计量作非线性变换，提出渐近无偏且均方误差更小的调整型Wasserstein分布鲁棒估计量，并在广义线性模型与数值实验中验证其优势。
2024-05-10 cs.LG stat.ML
Distributionally Robust Policy Learning via Adversarial Environment Generation
Princeton University（普林斯顿大学）
我们的目标是训练能够很好地推广到未知环境的控制策略。受分布式鲁棒优化（DRO）框架的启发，我们提出了DRAGEN -分布式鲁棒策略学习通过对抗性生成的增强-迭代提高鲁棒性的政策，以现实的分布偏移通过生成对抗性的环境。其关键思想是学习环境的生成模型，其潜变量捕获环境中的成本预测和现实变化。我们执行DRO相对于Wasserstein球周围的环境的经验分布通过生成现实的对抗性环境，通过梯度上升的潜在空间。我们在模拟中展示了强大的分布外（OoD）泛化，用于（i）用板载视觉摆动钟摆和（ii）抓住逼真的3D物体。硬件上的抓取实验表明，与域随机化相比，sim 2 real具有更好的性能。
2022-07-07 cs.LG cs.RO
Near-Optimal Algorithms for Group Distributionally Robust Optimization and Beyond
Institute of Statistical Mathematics（统计数学研究所）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文针对群体DRO、子群体公平性及经验CVaR优化等分布鲁棒优化问题设计了随机算法，实现了比现有算法更快的收敛速度，提出了信息论下界证明其近最优性，并在实验中优于已知方法。
2025-01-31 cs.LG math.OC
Unbiased Gradient Estimation for Distributionally Robust Learning
IBM Research AI（IBM研究院人工智能部门）；Thomas J. Watson Research Center（托马斯·J·沃森研究中心）
为了提高模型的泛化能力，我们考虑了一种基于分布鲁棒学习（DRL）的新方法，该方法将随机梯度下降应用于外部最小化问题。我们的算法通过多级蒙特卡罗随机化有效地估计内部最大化问题的梯度。利用阐明标准梯度估计失败原因的理论结果，我们建立了我们方法的梯度估计的最佳参数化，该方法平衡了计算时间和统计方差之间的基本权衡。数值实验表明，我们的DRL方法比以前的工作产生显着的好处。
2020-12-22 cs.LG stat.ML
Approximate Dynamic Programming By Minimizing Distributionally Robust Bounds
近似动态规划是求解大型马尔可夫决策过程的一种常用方法。本文介绍了一类新的近似动态规划（ADP）方法-分布鲁棒ADP-通过最小化政策损失的悲观界限来解决维数灾难。这种方法将ADP转化为一个优化问题，我们推导出新的数学规划公式，并分析其性质。DRADP改进了现有ADP方法的理论保证，它保证了收敛性和基于L1范数的误差界。DRADP的实证评估表明，理论保证转化为良好的性能基准问题。
2012-05-21 cs.LG stat.ML
Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric
Boston University（波士顿大学）
当协变量和响应/标签都可能被离群值污染时，我们为多元线性回归（MLR）和多类逻辑斯谛回归（MLG）开发了分布鲁棒优化（DRO）公式。DRO框架使用概率模糊集，其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题，其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证，提供关于正则化器在控制预测误差中的作用的见解。实验结果表明，我们的方法将MLR的预测误差提高了7% - 37%，将MLG的鲁棒性指标提高了100%。
2020-06-10 cs.LG stat.ML
Wasserstein Distributionally Robust Kalman Filtering
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；TU Delft（代尔夫特理工大学）
研究了仅含正态分布的非凸Wasserstein模糊度集上的分布鲁棒均方误差估计问题。我们表明，最佳估计和最不利的分布形成一个纳什均衡。尽管非凸性质的模糊集，我们证明了估计问题是等价于一个听话的凸规划。我们进一步设计了一个Frank-Wolfe算法的凸规划，其方向搜索子问题可以解决的准封闭形式。使用这些成分，我们引入了一个分布式鲁棒卡尔曼滤波器，对冲模型风险。
2018-10-01 cs.LG math.OC stat.ML
Distributionally Robust Counterfactual Risk Minimization
Criteo AI Labs（Criteo人工智能实验室）；LTCI, Telecom ParisTech（巴黎高等电信学院LTCI实验室）；LPSM, Université Paris 6（巴黎第六大学LPSM实验室）
本文介绍了使用分布鲁棒优化（DRO）的反事实风险最小化（CRM）问题的想法。利用丰富的现有文献，我们表明，DRO是反事实决策的原则性工具。我们还表明，完善的解决方案CRM问题，如样本方差惩罚计划是一个更一般的DRO问题的特殊情况。在这个统一的框架中，可以使用各种概率距离和偏差作为不确定性度量来构建各种分布鲁棒的反事实风险估计器。我们提出了使用库尔贝克-莱布勒散度作为一种替代方法来建模CRM中的不确定性，并推导出一个新的强大的反事实目标。在我们的实验中，我们证明了这种方法在四个基准数据集上的性能优于最先进的方法，验证了在实际应用中使用其他不确定性度量的相关性。
2019-12-14 cs.LG stat.ML
Distributionally Robust Optimization: A Review
Northwestern University（西北大学）
风险规避、机会约束优化和鲁棒优化的概念在过去十年中得到了显著的发展。统计学习共同体也见证了依靠这些概念的理论和应用的快速增长。一种称为分布式鲁棒优化（DRO）的建模框架最近在运筹学和统计学习界受到了广泛关注。本文综述了DRO的主要概念和贡献，以及它与鲁棒优化、风险规避、机会约束优化和函数正则化的关系。
2019-08-13 cs.LG math.OC stat.ML
Distributionally Robust Performative Prediction
University of Michigan（密歇根大学）
本文针对性能预测中分布映射误设问题，提出分布鲁棒性能最优（DRPO）框架，并证明其作为真实性能最优的鲁棒近似具有理论保证，同时通过增广重构实现高效优化，实验验证了其在微观和宏观误设下的优势。
2025-02-07 cs.LG stat.ML
Wasserstein Distributionally Robust Regret Optimization
本文研究了基于Wasserstein模糊集的先验分布鲁棒遗憾优化，提出理论框架并开发算法，解决非光滑损失、离散参考和大半径等场景下的计算难题。
2026-08-11 cs.LG math.OC
Distributionally Robust Domain Adaptation
University of Central Florida（中佛罗里达大学）
领域自适应（DA）最近受到了极大的关注，由于其潜在的适应学习模型在源和目标域与不匹配的分布。由于DA方法完全依赖于给定的源和目标域样本，它们通常会产生易受噪声影响的模型，并且无法适应目标域中的未知样本，这就要求DA方法能够保证学习模型的鲁棒性和泛化性。在本文中，我们提出了DRDA，一个分布式鲁棒域自适应方法。DRDA利用分布式鲁棒优化（DRO）框架来学习鲁棒决策函数，该函数最大限度地减少了最坏情况下的目标域风险，并通过从给定的标记源域样本转移知识来推广到目标域的任何样本。我们利用最大平均离散度（MMD）度量构建一个模糊的分布集，可证明包含源和目标域分布的概率很高。因此，风险被示出为样本外目标域损失的上限。我们的实验结果表明，我们的配方优于现有的强大的学习方法。
2022-10-30 cs.LG stat.ML
Distributionally Robust Bayesian Quadrature Optimization
Deakin University（迪肯大学）
贝叶斯求积优化（BQO）最大化的期望，一个昂贵的黑盒被积函数在一个已知的概率分布。在这项工作中，我们研究BQO下的分布不确定性，其中的基本概率分布是未知的，除了一个有限的一组它的i.i.d.样品标准的BQO方法在给定固定样本集的情况下最大化真实预期目标的蒙特卡罗估计。虽然蒙特卡罗估计是无偏的，但它在给定一小组样本时具有高方差;因此可能导致虚假的目标函数。我们采用分布鲁棒优化的角度来解决这个问题，最大化的预期目标下的最具对抗性的分布。特别是，我们提出了一种新的后验采样算法，即分布式鲁棒BQO（DRBQO）。我们证明了我们提出的框架在合成和现实世界中的问题的经验有效性，并通过贝叶斯后悔的理论收敛性。
2020-01-19 cs.LG stat.ML
A Distributionally Robust Approach to Fair Classification
EPFL（洛桑联邦理工学院）；Stanford University（斯坦福大学）
我们提出了一个分布鲁棒的逻辑回归模型与不公平的惩罚，防止歧视方面的敏感属性，如性别或种族。这个模型相当于一个易于处理的凸优化问题，如果Wasserstein球集中在经验分布的训练数据是用来模拟分布的不确定性，如果一个新的凸不公平措施是用来激励均衡的机会。我们证明，由此产生的分类提高公平性在合成和真实数据集的预测精度的边际损失。我们还通过利用Wasserstein球上的最佳不确定性量化技术，推导出任何预训练分类器的不公平水平上基于线性规划的置信区间。
2020-07-18 cs.LG stat.ML
Distributionally Robust Optimization and Generalization in Kernel Methods
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
分布鲁棒优化（DRO）由于其与正则化、泛化和鲁棒性的联系而在机器学习中受到关注。现有的工作已经考虑了不确定性集的基础上，φ发散和Wasserstein距离，其中每一个都有缺点。在本文中，我们研究了DRO的不确定性集通过最大平均差异（MMD）测量。我们表明，MMD DRO大致相当于希尔伯特范数的正则化，并且作为副产品，揭示了与统计学习中经典结果的深层联系。特别是，我们得到了另一种证明高斯核岭回归的泛化界通过一个DRO？这个证明还提出了一个新的正则化子。我们的结果适用于超越核方法：我们推导出一个通用的近似MMD DRO，并表明它概括了最近的工作方差为基础的正则化。
2019-05-27 cs.LG stat.ML
Distributionally Robust Optimization with Correlated Data from Vector Autoregressive Processes
University of Chicago（芝加哥大学）；Argonne National Laboratory（阿贡国家实验室）
针对非独立同分布向量自回归数据的随机最优化问题，提出了一种分布鲁棒公式。我们使用Wasserstein距离定义的分布空间中的鲁棒性，我们表明，使用对偶理论，该问题是等价于一个有限的凸-凹鞍点问题。该方法的性能证明合成和真实数据。
2019-09-08 cs.LG math.OC stat.CO
Exact Generalization Guarantees for (Regularized) Wasserstein Distributionally Robust Models
Univ. Grenoble Alpes, CNRS, Grenoble INP（格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔国立理工学院）
针对现有Wasserstein分布鲁棒估计器泛化保证存在维度灾难、适用场景受限等问题，证明其泛化保证适用于通用模型、无维度灾难且可覆盖测试分布偏移，并可推广至正则化版本。
2023-11-06 cs.LG stat.ML
Distributionally Robust Token Optimization in RLHF
Department of System Engineering（系统工程系）；Boston University（波士顿大学）；Department of Math & Statistics（数学与统计学系）
本文提出DRTO方法，结合RLHF与DRO，通过构建f-散度模糊集增强策略优化中的困难响应段，提升多步骤推理任务在分布变化下的一致性。
2026-05-11 cs.AI cs.LG
Wasserstein Distributionally Robust Online Learning
University of Michigan（密歇根大学）；Cornell University（康奈尔大学）
本文提出了一种基于Wasserstein分布鲁棒优化的在线学习框架，通过将问题建模为随机博弈并利用问题几何特性，实现对最坏情况分布的鲁棒优化，同时提高了计算效率。
2026-10-30 cs.LG math.OC stat.ML
A Distributionally Robust Optimization Method for Adversarial Multiple Kernel Learning
Stanford University（斯坦福大学）
我们提出了一种新的数据驱动方法来学习具有随机特征的多个内核的混合物，该混合物对adverserial输入具有一定的鲁棒性。具体来说，我们考虑一个分布鲁棒优化的内核目标对齐相对于分布的训练样本在一个由Kullback-Leibler（KL）分歧定义的分布球。分布鲁棒优化问题可以被改写为一个最小-最大优化，其目标函数包括一个对数和项。我们提出了一种小批量有偏随机原始-对偶近似方法来求解极小极大优化问题。为了消除小批量算法的偏差，我们使用Gumbel扰动技术来估计对数和项。我们建立了理论保证所提出的多核学习方法的性能。特别地，我们证明了经验估计的相合性、渐近正态性、随机等度连续性和极小极大率。此外，基于Rademacher和高斯复杂性的概念，我们建立了比以前已知的边界更严格的分布鲁棒的泛化边界。更具体地说，我们利用矩阵浓度不等式来建立分布鲁棒的泛化边界。我们验证了我们的核学习方法的分类与核支持向量机的合成数据集上产生的采样多变量高斯分布的方差结构。我们还将我们的核学习方法应用于MNIST数据集，并评估其对不同对抗模型下输入图像扰动的鲁棒性。更具体地说，我们研究了所提出的内核模型选择技术对FGSM，PGM，C\&W和DDN对抗扰动的鲁棒性，并将其性能与替代的最先进的多内核学习范例进行比较。
2021-04-13 cs.LG stat.ML
Optimistic Distributionally Robust Policy Optimization
University of Washington（华盛顿大学）
信任域策略优化（TRPO）和近端策略优化（PPO）作为广泛使用的基于策略的强化学习（RL）方法，由于将策略表示限制在特定的参数分布类，容易收敛到次优解。为了解决这个问题，我们开发了一个创新的乐观分布鲁棒策略优化（ODRPO）算法，它有效地利用乐观分布鲁棒优化（DRO）方法来解决信任域约束优化问题，而无需参数化的政策。我们的算法改进TRPO和PPO具有更高的样本效率和更好的性能的最终政策，同时获得学习稳定性。此外，它实现了一个全局最优的策略更新，这是不承诺在流行的基于策略的RL算法。跨表域和机器人运动任务的实验证明了我们的方法的有效性。
2020-06-14 cs.LG math.OC stat.ML
Long Term Fairness for Minority Groups via Performative Distributionally Robust Optimization
University of Alberta（阿尔伯塔大学）
机器学习（ML）的公平性研究人员已经围绕几个公平性标准进行了合并，这些标准提供了ML模型公平性的正式定义。然而，这些标准有一些严重的局限性。我们确定了这些正式的公平标准的四个关键缺点，并旨在帮助解决这些问题，通过扩展表演预测，包括一个分布鲁棒的目标。
2022-07-12 cs.AI cs.LG math.OC
Distributionally Robust Inverse Reinforcement Learning for Identifying Multi-Agent Coordinated Sensing
Cornell University（康奈尔大学）
本文提出一种极小极大分布鲁棒逆强化学习算法，通过在Wasserstein模糊集上最小化最坏预测误差来重构多智能体感知系统的效用函数，并证明了其与半无限优化的等价性且在认知雷达网络实验中验证了有效性。
2024-09-22 cs.LG cs.MA eess.SP
Wasserstein Distributionally Robust Optimization with Wasserstein Barycenters
Northwestern University（西北大学）
在统计学和机器学习的许多应用中，来自多个可能异构的源的数据样本的可用性已经变得越来越普遍。另一方面，在分布鲁棒优化，我们寻求数据驱动的决策，以及在最不利的分布从名义分布构造的数据样本在一定的差异的概率分布。然而，目前还不清楚如何实现这种分布鲁棒性模型学习和估计时，数据样本来自多个来源。在这项工作中，我们建议通过Wasserstein重心作为来自多个来源的数据样本的聚合的概念，构建基于最佳运输的分布鲁棒优化问题的标称分布。在特定的损失函数的选择下，所提出的公式承认一个易于处理的重新制定作为一个有限的凸规划，具有强大的有限样本和渐近保证。作为一个说明性的例子，我们证明了分布鲁棒稀疏逆协方差阵估计的零均值高斯随机向量的问题，我们提出的方案优于其他广泛使用的估计在低维和高维制度。
2022-05-30 cs.LG math.OC stat.ML
SCOPE: Spectral Concentration by Distributionally Robust Joint Covariance-Precision Estimation
Chinese University of Hong Kong（香港中文大学）
针对随机向量的协方差矩阵与精度矩阵联合估计问题，提出基于凸谱散度模糊集的分布鲁棒模型，将其简化为凸优化问题得到准解析非线性收缩估计器，通过调参纠正谱偏差并改善条件数，实验显示其性能优于现有方法。
2025-11-18 cs.LG math.OC stat.ML
On the regularized risk of distributionally robust learning over deep neural networks
University College London（伦敦大学学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
在本文中，我们探讨了分布式鲁棒学习与不同形式的正则化之间的关系，以增强深度神经网络的鲁棒性。特别是，从一个具体的最小-最大分布鲁棒问题，并使用最优输运理论的工具，我们得到一阶和二阶近似的分布鲁棒问题的适当的正则化风险最小化问题。在深度ResNet模型的背景下，我们将由此产生的正则化问题的结构确定为平均场最优控制问题，其中状态变量的数量和维度在原始非鲁棒问题的维度的无量纲因子内。使用庞特里亚金最大值原理与这些问题，我们激励一个家庭的可扩展算法的强大的神经网络的训练。我们的分析恢复了文献中已知的一些结果和算法（在整个论文中解释的设置），并提供了许多其他理论和算法的见解，据我们所知是新颖的。在我们的分析中，我们使用了我们认为对未来分析更一般的对抗性学习问题有用的工具。
2022-03-27 cs.LG math.OC math.PR
Distributionally Robust and Safe Imitation Learning
University of California Berkeley（加利福尼亚大学伯克利分校）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究针对模仿学习对分布变化敏感及安全风险问题，提出分布鲁棒且安全的模仿学习框架，利用泰勒级数模仿学习和分布鲁棒自适应控制应对不同诱导变化，在无人机案例中验证了方法有效性。
2026-07-16 cs.LG cs.SY eess.SY
Sinkhorn Distributionally Robust Optimization
School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院工业与系统工程学院）；Department of Information, Risk, and Operations Management, University of Texas at Austin（德克萨斯大学奥斯汀分校信息、风险与运营管理系）
本文提出Sinkhorn分布鲁棒优化的凸对偶重构，并开发带偏次梯度的随机镜像下降算法求解，数值实验验证其优越性能。
2025-03-26 cs.LG math.OC stat.ML
Distributionally robust minimization in meta-learning for system identification
IDSIA Dalle Molle Institute for Artificial Intelligence USI-SUPSI（IDSIA达摩斯人工智能研究所USI-SUPSI）
本文提出在系统辨识的元学习中使用分布鲁棒优化，优先处理高损失任务以增强最坏情况性能，减少安全关键应用中的失败。
2025-06-22 cs.AI cs.LG cs.SY
Communication-Efficient Distributionally Robust Decentralized Learning
EURECOM（欧洲通信学院）
分散式学习算法使互连设备能够共享数据和计算资源，以在没有中央协调器的帮助下协作地训练机器学习模型。在网络节点处的异构数据分布的情况下，协作可以产生对于设备的子集具有不满意的性能的预测器。出于这个原因，在这项工作中，我们考虑制定一个分布式鲁棒分散学习任务，我们提出了一个分散的单循环梯度下降/上升算法（AD-GDA）直接解决底层的极大极小优化问题。我们使我们的算法通信效率采用压缩共识计划，我们提供了收敛保证光滑凸和非凸损失函数。最后，我们证实了理论研究结果与实证结果，突出AD-GDA的能力，提供无偏的预测，并大大提高通信效率相比，现有的分布式鲁棒算法。
2023-01-13 cs.AI cs.LG eess.SP
Distributionally Robust Optimization via Ball Oracle Acceleration
我们开发和分析算法的凸损失的分布鲁棒优化（DRO）。特别是，我们考虑组结构和有界$f$ -发散不确定集。我们的方法依赖于一个加速的方法，查询一个球优化预言，即，一个子程序，最小化目标在一个小球周围的查询点。我们的主要贡献是有效地实现这个预言的DRO目标。对于具有$N$非光滑损失函数的DRO，所得到的算法使用对各个损失函数的$\widetilde{O}\left(Nε^{-2/3} + ε^{-2}\right)$一阶Oracle查询找到$ε$精确解。与现有的算法相比，这个问题，我们提高了复杂性的一个因素高达$ε^{-4/3}$。
2022-03-24 cs.DS cs.LG math.OC
Variable Clustering via Distributionally Robust Nodewise Regression
Department of Industrial Engineering and Operations Research & The Data Science Institute, Columbia University（工业工程与运筹学系及数据科学研究院，哥伦比亚大学）
本文提出一种分布鲁棒节点回归方法，通过凸松弛、数据驱动鲁棒区域选择和ADMM算法，实现多因子块模型下的变量聚类，并在数值实验中展示其优越性能。
2026-06-01 cs.LG math.OC q-fin.CP
DRO: A Python Library for Distributionally Robust Optimization in Machine Learning
本文介绍了dro，一个兼容scikit-learn和PyTorch的开源Python库，支持79种分布鲁棒优化方法，并通过向量化与优化近似技术实现10倍至1000倍以上的运行加速。
2026-11-03 cs.LG cs.MS cs.NA
Distributionally-Robust Machine Learning Using Locally Differentially-Private Data
University of Melbourne（墨尔本大学）
我们考虑使用局部差异私有数据集的机器学习，特别是回归。Wasserstein距离用于定义以被局部差分隐私噪声破坏的数据集的经验分布为中心的模糊集。示出的模糊集包含未扰动的，干净的数据的概率分布。模糊集的半径是隐私预算、数据分布和问题大小的函数。因此，具有局部差异私有数据集的机器学习可以重写为分布式鲁棒优化。对于一般分布，分布鲁棒优化问题可以放松为正则化的机器学习问题，其中机器学习模型的Lipschitz常数作为正则化器。对于线性和逻辑回归，这个正则化子是模型参数的对偶范数。对于高斯数据，分布鲁棒优化问题可以被精确求解以找到最优正则化子。这种方法产生了一种全新的正则化器来训练线性回归模型。使用这种新的正则化器进行训练可以被视为半定规划。最后，在实际数据集上证明了所提出的分布式鲁棒机器学习训练的性能。
2020-06-24 cs.CR cs.LG math.OC
Distributionally Robust End-to-End Portfolio Construction
Columbia University（哥伦比亚大学）
我们提出了一个端到端的分布式鲁棒系统的投资组合建设，集成了资产收益预测模型与分布式鲁棒投资组合优化模型。我们还展示了如何直接从数据中学习风险容忍参数和鲁棒性程度。端到端系统的优势在于，在训练过程中，信息可以在预测层和决策层之间进行通信，从而允许为最终任务而不是仅为预测性能而训练参数。然而，现有的端到端系统无法量化和纠正模型风险对决策层的影响。我们提出的分布式鲁棒端到端投资组合选择系统明确考虑了模型风险的影响。决策层通过解决极大极小问题来选择投资组合，其中假设资产收益率的分布属于以名义分布为中心的模糊集。使用凸对偶，我们重铸的形式，允许有效的训练的端到端系统的极大极小问题。
2022-06-10 cs.LG math.OC q-fin.CP
A Stochastic Subgradient Method for Distributionally Robust Non-Convex Learning
Rutgers Business School（罗格斯商学院）
我们认为，在统计学习中出现的随机最优化问题，鲁棒性是相对于底层数据分布的不确定性的分布鲁棒制定。我们的配方建立在风险厌恶的优化技术和一致的风险措施的理论。它使用半偏差风险来量化不确定性，使我们能够计算出对人口数据分布扰动具有鲁棒性的解决方案。我们考虑了一个大的家庭的损失函数，可以是非凸的和非光滑的，并开发了一个有效的随机次梯度方法。我们证明了它收敛于一个满足最优性条件的点。据我们所知，这是第一个方法，严格的收敛保证的背景下，非凸非光滑分布鲁棒随机最优化。我们的方法可以实现任何所需的鲁棒性水平，与人口风险最小化相比，几乎没有额外的计算成本。我们还说明了我们的算法在凸和非凸监督学习问题中产生的真实数据集上的性能。
2021-06-08 cs.LG math.OC math.ST
Single-Trajectory Distributionally Robust Reinforcement Learning
Hong Kong University of Science and Technology（香港科技大学）；Tsinghua University（清华大学）；Stanford University（斯坦福大学）；New York University（纽约大学）；Arena Technologies（Arena Technologies公司）
针对经典强化学习依赖同分布环境的局限，本文提出了首个完全无模型的单轨迹分布鲁棒Q学习算法（DRQ），通过多时间尺度框架在单条轨迹上直接学习最优鲁棒策略，并提供了渐近收敛保证和优异的实验表现。
2024-09-21 cs.AI cs.LG stat.ML
Distributionally Robust Chance Constrained Programming with Generative Adversarial Networks (GANs)
College of Engineering, Cornell University（康奈尔大学工程学院）
提出了一种基于深度学习的数据驱动最优化方法。提出了一种基于数据驱动的分布式鲁棒机会约束规划框架的生成对抗网络（GAN）。GAN是应用于充分提取分布信息的历史数据中的非参数和无监督的方式，没有先验近似或假设。由于GAN利用深度神经网络，可以学习复杂的数据分布和模式，并且可以高效准确地建模不确定性。分布鲁棒机会约束规划考虑了不确定参数的模糊概率分布。为了解决计算上的挑战，采用样本平均近似方法，所需的数据样本由GAN通过可微网络以端到端的方式生成。然后将该框架应用于需求不确定条件下的供应链优化问题。所提出的方法的适用性说明通过一个县一级的空间明确的生物燃料供应链在伊利诺伊州的案例研究。
2020-02-28 cs.LG math.OC stat.ML
Wasserstein Distributionally Robust Bayesian Optimization with Continuous Context
ETH Zürich（苏黎世联邦理工学院）；inspire AG（inspire AG公司）
针对上下文分布不确定下的黑箱优化，提出一种Wasserstein分布鲁棒贝叶斯优化算法，支持连续上下文并保持计算可行性，理论证明次线性遗憾界，实验验证其有效性与实用性。
2025-03-26 cs.AI cs.LG stat.ML
$\texttt{skwdro}$: a library for Wasserstein distributionally robust machine learning
Univ. Grenoble Alpes, CNRS, Grenoble INP, LJK（格勒诺布尔阿尔卑斯大学、国家科学研究中心、格勒诺布尔INP、LJK研究中心）
skwdro是一个基于Wasserstein距离的分布鲁棒优化库，通过PyTorch封装器简化鲁棒机器学习模型的训练。
2026-01-09 cs.LG cs.MS math.OC
Distributionally Robust Model-based Reinforcement Learning with Large State Spaces
University College London（伦敦大学学院）；ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）
针对大状态空间、数据获取成本高及环境偏差挑战，提出利用高斯过程和最大方差缩减算法学习连续状态空间下分布鲁棒马尔可夫决策过程的动态，其样本复杂度独立于状态数且可结合无模型方法获得近似最优鲁棒策略。
2023-09-05 cs.AI cs.LG stat.ML
Federated Distributionally Robust Optimization for Phase Configuration of RISs
Centre for Wireless Communications (CWC), University of Oulu（奥卢大学无线通信中心（CWC））；Princeton University（普林斯顿大学）
在这篇文章中，我们研究了鲁棒的可重构智能表面（RIS）辅助下行链路通信异构RIS类型的监督学习设置的问题。通过对异构RIS设计的下行链路通信进行建模，将其作为学习如何以分布式方式优化相位配置的不同工作者，我们使用分布式鲁棒配方以通信高效的方式解决了这个分布式学习问题，同时建立了收敛速度。通过这样做，我们可以确保最坏情况下工人的全局模型性能接近其他工人的性能。仿真结果表明，我们提出的算法需要更少的通信轮（约50%），以达到相同的最坏情况下的分布测试精度相比，竞争对手的基线。
2021-10-08 cs.LG cs.NI stat.ML
Distributionally Robust PAC-Bayesian Control
本文提出一种分布鲁棒的PAC-Bayesian框架，用于验证基于学习的有限时间 horizon 控制器性能。通过结合PAC-Bayes泛化理论和基于类型1 Wasserstein距离的分布鲁棒优化，解决无界损失和环境分布偏移问题，提供高概率安全证书。
2026-04-12 cs.LG cs.SY eess.SY
Distributionally Robust Parametric Maximum Likelihood Estimation
Stanford University（斯坦福大学）；University of Cyprus（塞浦路斯大学）
我们考虑的参数估计问题的概率生成模型规定使用一个自然的指数分布族。对于这个问题，典型的极大似然估计器通常在有限的训练样本量下过拟合，对噪声敏感，并且可能在下游预测任务上表现不佳。为了缓解这些问题，我们提出了一个分布鲁棒的极大似然估计，最大限度地减少最坏情况下的预期对数损失均匀的参数Kullback-Leibler球周围的参数标称分布。利用同一自然指数族中两个分布之间的库尔贝克-莱布勒散度的解析表达式，我们证明了最小-最大估计问题在广泛的环境中是易于处理的，包括广义线性模型的鲁棒训练。我们的新的鲁棒估计也享有统计一致性，并提供了有前途的实证结果在回归和分类任务。
2020-10-11 cs.LG math.ST stat.ML
Regularization Helps with Mitigating Poisoning Attacks: Distributionally-Robust Machine Learning Using the Wasserstein Distance
CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61中心）；University of Melbourne（墨尔本大学）
我们使用分布式鲁棒优化机器学习，以减轻数据投毒攻击的影响。我们通过在使用Wasserstein距离定义的经验分布（从中毒攻击损坏的训练数据集中提取）周围的邻域上训练模型的最坏情况分布，为原始数据（不包括中毒记录）上的训练模型提供性能保证。我们放松的分布鲁棒机器学习问题，找到一个上限的最坏情况下的适应度的基础上的经验采样平均适应度和Lipschitz常数的适应度函数（给定的模型参数的数据）作为正则化。对于回归模型，我们证明了这个正则化子等于模型参数的对偶范数。我们使用葡萄酒质量数据集，波士顿住房市场数据集和成人数据集来展示本文的结果。
2020-01-29 cs.CR cs.LG eess.SP
