Robust $Q$-learning for mean-field control under Wasserstein uncertainty in common noise
Shanghai Center for Data Science(上海数据科学研究中心);NYU-ECNU Institute of Mathematical Sciences, NYU Shanghai(纽约大学-复旦大学数学科学研究所,纽约上海);Division of Mathematical Sciences, Nanyang Technological University(南洋理工大学数学科学学院)
提出一种针对公共噪声分布Wasserstein不确定性的离散时间平均场控制鲁棒$Q$-学习算法,结合量化投影与Wasserstein对偶,证明同步和异步学习的收敛性及有限时间界,并在系统风险和流行病模型中验证鲁棒性-性能权衡。
2026-06-19 cs.AI cs.LG math.OC
Wasserstein Generative Adversarial Uncertainty Quantification in Physics-Informed Neural Networks
The University of Hong Kong(香港大学)
本文研究了Wasserstein生成对抗网络(WGANs)的一种基于物理信息的算法,用于量化偏微分方程解的不确定性。通过在对抗网络鉴别器中使用groupsort激活函数,网络生成器被用来学习从初始/边界数据观察到的偏微分方程解的不确定性。在适当的假设条件下,证明了当样本个数足够大时,计算生成器的泛化误差以很高的概率收敛于网络的逼近误差.根据我们建立的误差界,我们还发现,我们的物理信息WGAN有更高的要求,鉴别器的能力比发生器。通过对偏微分方程的合成实例进行数值计算,验证了我们的理论结果,并展示了如何对偏微分方程的解和初始/边界数据的分布进行不确定性量化。然而,不确定度量化理论在国内各点的质量或准确性仍是理论上的空白,有待于进一步研究。
2022-08-09 cs.LG cs.NA math.NA
Robust $Q$-learning Algorithm for Markov Decision Processes under Wasserstein Uncertainty
National University of Singapore(新加坡国立大学)
该研究提出一种针对Wasserstein不确定性下分布鲁棒马尔可夫决策问题的新型$Q$-学习算法,证明了其收敛性,通过含真实数据的示例验证了算法的可行性与分布鲁棒性在随机最优控制中的优势。
2024-06-20 cs.AI cs.LG math.OC
Robust Hypothesis Testing Using Wasserstein Uncertainty Sets
Georgia Institute of Technology(佐治亚理工学院)
我们开发了一个新的计算效率和一般框架,强大的假设检验。新框架的特点是一种新的方法来构建零分布和替代分布下的不确定性集,这些不确定性集是以通过Wasserstein度量定义的经验分布为中心的集合,因此我们的方法是数据驱动的,没有分布假设。我们开发了一个凸安全近似的极大极小制定,并表明这种近似呈现出一个接近最佳的检测器之间的家庭的所有可能的测试。通过利用结构的最不利的分布,我们还开发了一个易于处理的重新制定这样的近似,与复杂性的观察空间的维度无关,可以是几乎样本大小无关的一般。使用人类活动数据的实际数据的例子证明了新的鲁棒检测器的优异性能。
2018-05-27 cs.IT cs.LG math.IT
Outlier-Robust Wasserstein DRO
Cornell University(康奈尔大学)
针对传统Wasserstein分布鲁棒优化易受对抗离群点干扰的问题,提出同时应对几何扰动与全变差污染的抗离群点框架,推导了风险界与强对偶性以实现高效计算,低维特征场景下可消除维度依赖,并经回归和分类实验验证。
2023-11-09 cs.LG math.OC stat.ML
Global Optimisation of Black-Box Functions with Generative Models in the Wasserstein Space
HSE University(高等经济大学)
本研究提出一种基于Wasserstein距离的不确定性估计器,结合深度生成代理模型用于黑盒模拟器的无梯度优化,经测试其鲁棒性优于当前最优方法。
2024-11-03 cs.LG hep-ex physics.data-an
When OT meets MoM: Robust estimation of Wasserstein Distance
LTCI(通信与信息处理实验室);Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院)
瓦瑟斯坦距离由Optimal Transport发布,由于其吸引人的几何特性和有效近似的日益可用性,在机器学习中获得了重要性。在这项工作中,我们考虑的问题,估计两个概率分布之间的瓦瑟斯坦距离时,观测值被污染的离群值。为此,我们研究了如何利用均值中位数(MoM)估计稳健估计的瓦瑟斯坦距离。利用对偶Kantorovitch公式的瓦瑟斯坦距离,我们介绍和讨论新的矩量法为基础的稳健估计的一致性研究下的数据污染模型,并提供收敛速度。这些MoM估计器使Wasserstein生成对抗网络(WGAN)对离群值具有鲁棒性,正如对两个基准CIFAR10和Fashion MNIST的实证研究所证明的那样。最后,我们讨论了如何将矩量法与瓦瑟斯坦距离的熵正则化近似相结合,并提出了一个简单的基于矩量法的重新加权方案,可以与Sinkhorn算法结合使用。
2022-02-18 cs.LG stat.ML
Robust Reinforcement Learning with Wasserstein Constraint
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);Baidu Inc.(百度公司)
鲁棒强化学习的目标是找到对环境动态具有一定鲁棒性的最优策略。现有的学习算法通常通过扰动当前状态或模拟环境参数来实现鲁棒性,缺乏对系统动态特性(即转移概率)的量化鲁棒性。为了克服这个问题,我们利用Wasserstein距离来测量对参考转换核的干扰。利用Wasserstein距离,我们能够将过渡核扰动与状态扰动联系起来,即将无限维优化问题简化为有限维风险感知问题。通过导出的风险感知最优Bellman方程,证明了最优鲁棒策略的存在性,并对扰动进行了灵敏度分析,进而设计了一种新的鲁棒学习算法--Wasserstein鲁棒优势Actor-Critic算法(WRAAC).在Cart-Pole环境下验证了算法的有效性。
2020-06-01 cs.LG stat.ML
Uncertainty quantification in a mechanical submodel driven by a Wasserstein-GAN
Safran Tech(赛峰科技);MINES ParisTech, PSL University(巴黎文理研究大学巴黎矿业学院)
大型动态系统的参数和非参数不确定性分析需要建立该系统的随机模型。当系统经历低频振动时,可以使用依赖于随机矩阵理论和主成分分析的线性方法。在快速动力学和波传播的情况下,我们研究了快速子模型的边界条件的随机生成器,通过使用机器学习。我们表明,在机器学习和数据驱动方法中使用非线性技术是高度相关的。物理信息神经网络是数据驱动方法取代线性模态分析的一种可能选择。一个架构,支持随机组件是必要的非参数不确定性的物理系统的随机模型的建设,因为目标是学习数据中的不确定性的潜在概率分布。生成对抗网络(GANs)适合于此类应用,其中具有梯度惩罚变量的Wasserstein-GAN为我们的问题提供了改进的收敛结果。我们的方法的目的是训练一个GAN的数据从有限元方法代码(Fenics),以便提取随机边界条件更快的有限元预测的子模型。子模型和训练数据具有相同的几何支持。它是不确定性量化的兴趣区,与工程目的相关。在开发阶段,框架可以被看作是一个随机化和参数化的模拟生成器的子模型,它可以被用作一个蒙特卡罗估计。
2021-10-26 cs.LG stat.ML
Wasserstein Distributionally Robust Optimization with Wasserstein Barycenters
Northwestern University(西北大学)
在统计学和机器学习的许多应用中,来自多个可能异构的源的数据样本的可用性已经变得越来越普遍。另一方面,在分布鲁棒优化,我们寻求数据驱动的决策,以及在最不利的分布从名义分布构造的数据样本在一定的差异的概率分布。然而,目前还不清楚如何实现这种分布鲁棒性模型学习和估计时,数据样本来自多个来源。在这项工作中,我们建议通过Wasserstein重心作为来自多个来源的数据样本的聚合的概念,构建基于最佳运输的分布鲁棒优化问题的标称分布。在特定的损失函数的选择下,所提出的公式承认一个易于处理的重新制定作为一个有限的凸规划,具有强大的有限样本和渐近保证。作为一个说明性的例子,我们证明了分布鲁棒稀疏逆协方差阵估计的零均值高斯随机向量的问题,我们提出的方案优于其他广泛使用的估计在低维和高维制度。
2022-05-30 cs.LG math.OC stat.ML
Statistical, Robustness, and Computational Guarantees for Sliced Wasserstein Distances
Cornell University(康奈尔大学)
切片瓦瑟斯坦距离保留了经典瓦瑟斯坦距离的性质,同时对于高维中的计算和估计更具可扩展性。这项工作的目标是从三个关键方面量化这种可扩展性:(i)经验收敛率;(ii)对数据污染的鲁棒性;(iii)有效的计算方法。对于经验收敛,我们得到快速的速度与明确的依赖于尺寸的常数,受对数的总体分布。对于鲁棒性,我们刻画了极小极大最优,无量纲的稳健估计风险,并证明了稳健切片1-Wasserstein估计和稳健均值估计之间的等价性。这使得能够将可用于后者的统计和算法保证提升到切片1-Wasserstein设置。移动到计算方面,我们分析了平均切片距离的蒙特卡罗估计,证明了更大的维度可以导致更快的收敛的数值积分误差。对于最大切片距离,我们专注于一个子梯度为基础的局部优化算法,在实践中经常使用,虽然没有正式的保证,并建立一个$O(ε^{-4})$计算复杂性约束it. Our理论验证的数值实验,这总共提供了一个全面的量化帐户的可扩展性问题。
2022-10-17 cs.LG stat.ML
Wasserstein Distributionally Robust Risk-Sensitive Estimation via Conditional Value-at-Risk
Cornell University(康奈尔大学)
本文提出了一种分布鲁棒的风险敏感估计方法,通过求解可解的半正定规划计算最小化最坏情况下的条件风险值,应用于批发电力价格预测,降低样本外风险值。
2026-07-01 cs.LG eess.SP math.OC
Active Learning for Regression based on Wasserstein distance and GroupSort Neural Networks
本文提出基于Wasserstein距离和GroupSort神经网络的主动回归模型,结合不确定性方法优化查询策略,实证表明其估计更精确且提升准确率更快。
2024-03-22 cs.LG math.ST stat.ML
On the Generalization of Wasserstein Robust Federated Learning
The University of Sydney(悉尼大学);The Australian National University(澳大利亚国立大学)
在联邦学习中,参与的客户端通常拥有非独立身份识别。数据,对推广到看不见的分布构成了重大挑战。为了解决这个问题,我们提出了一个Wasserstein分布鲁棒优化计划称为WAFL。利用其对偶性,我们框架WAFL作为一个经验代理风险最小化问题,并解决它使用的局部SGD为基础的算法收敛保证。我们发现WAFL的鲁棒性比相关方法更一般,并且泛化界对Wasserstein球(模糊集)内的所有对抗分布都是鲁棒的。由于Wasserstein球的中心位置和半径可以适当地修改,WAFL不仅在鲁棒性方面,而且在领域自适应方面显示出其适用性。通过实证评估,我们证明了WAFL在非i.i.d.中的泛化能力优于vanilla FedAvg。在分布偏移设置下,比其他相关方法更稳健。此外,使用基准数据集,我们表明WAFL是能够推广到看不见的目标域。
2022-06-03 cs.DC cs.LG
Wasserstein Distributionally Robust Online Learning
University of Michigan(密歇根大学);Cornell University(康奈尔大学)
本文提出了一种基于Wasserstein分布鲁棒优化的在线学习框架,通过将问题建模为随机博弈并利用问题几何特性,实现对最坏情况分布的鲁棒优化,同时提高了计算效率。
2026-10-30 cs.LG math.OC stat.ML
Wasserstein Distributionally Robust Regret Optimization
本文研究了基于Wasserstein模糊集的先验分布鲁棒遗憾优化,提出理论框架并开发算法,解决非光滑损失、离散参考和大半径等场景下的计算难题。
2026-08-11 cs.LG math.OC
Class-conditioned Domain Generalization via Wasserstein Distributional Robust Optimization
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学深圳国际研究生院(清华-伯克利深圳学院));School of Industrial and Systems Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程系)
给定多个源域,领域泛化旨在学习一个通用模型,该模型在任何看不见但相关的目标域上都表现良好。在这项工作中,我们专注于领域泛化的情况下,发生在不同领域的类条件分布之间的域转移。当给定同一类的条件分布的变化很大时,现有的方法不够鲁棒。在这项工作中,我们扩展了分布式鲁棒优化的概念来解决类条件领域泛化问题。我们的方法优化了最坏情况下的分类器在类条件分布内的Wasserstein球围绕源条件分布的重心为中心的性能。我们还提出了一个迭代算法自动学习的最佳半径的Wasserstein球。实验结果表明,该框架在未知目标域上具有更好的性能,优于没有领域泛化的方法。
2021-09-08 cs.LG
Robust Risk Under Evolving Uncertainty: A Wasserstein Counterpart of the Entropic Value-at-Risk
Technical University of Munich(慕尼黑工业大学);Masaryk University(马萨里克大学)
该研究针对演化不确定性下的鲁棒风险问题,提出Wasserstein熵值风险,弥补熵值风险无法对冲名义模型认定不可能的灾难的缺陷,经数值验证其变分对偶性,并构造出随信念变化的闭式鲁棒动态规划算子。
2026-08-20 cs.AI cs.LG stat.ML
Adjusted Wasserstein Distributionally Robust Estimator in Statistical Learning
Georgia Institute of Technology(佐治亚理工学院);School of Industrial and Systems Engineering(工业与系统工程学院)
本文通过对经典WDRO估计量作非线性变换,提出渐近无偏且均方误差更小的调整型Wasserstein分布鲁棒估计量,并在广义线性模型与数值实验中验证其优势。
2024-05-10 cs.LG stat.ML
Robustified Multivariate Regression and Classification Using Distributionally Robust Optimization under the Wasserstein Metric
Boston University(波士顿大学)
当协变量和响应/标签都可能被离群值污染时,我们为多元线性回归(MLR)和多类逻辑斯谛回归(MLG)开发了分布鲁棒优化(DRO)公式。DRO框架使用概率模糊集,其被定义为在Wasserstein度量的意义上接近训练集的经验分布的分布球。我们放松的DRO制定成一个正则化的学习问题,其正则化是一个规范的系数矩阵。我们为模型的解决方案建立样本外性能保证,提供关于正则化器在控制预测误差中的作用的见解。实验结果表明,我们的方法将MLR的预测误差提高了7% - 37%,将MLG的鲁棒性指标提高了100%。
2020-06-10 cs.LG stat.ML
A Framework for Verification of Wasserstein Adversarial Robustness
University of Göttingen(哥廷根大学);neurocat GmbH(neurocat有限公司)
机器学习图像分类器容易受到对抗性和破坏性扰动的影响。向图像中添加难以察觉的噪声会导致机器学习模型的严重错误分类。使用$L_p$ -范数来测量噪声的大小无法捕获人类的相似性感知,这就是为什么基于最佳传输的距离度量(如Wasserstein度量)越来越多地用于对抗鲁棒性领域。使用Wasserstein度量的分类器的鲁棒性可以通过证明不存在对抗性示例(认证)或证明它们的存在(攻击)来实现。在这项工作中,我们提出了一个框架的基础上,Levine和Feizi的工作,它允许我们转移现有的认证方法凸多面体或$L_1$ -球的Wasserstein威胁模型。结果证明可以是完整的或不完整的,这取决于选择的是凸多面体还是$L_1$ -球。此外,我们提出了一个新的Wasserstein对抗攻击,预计梯度下降的基础上,并已显着减少计算负担相比,现有的攻击方法。
2021-10-13 cs.CV cs.LG
A Short and General Duality Proof for Wasserstein Distributionally Robust Optimization
Columbia University(哥伦比亚大学);University of Chicago(芝加哥大学)
本文为Wasserstein分布鲁棒优化提出了一个仅依赖一维凸分析的通用对偶性证明,并刻画了可交换性原理成立的充要条件,同时将结果推广到分布鲁棒Markov决策过程、多阶段随机规划及其他相关优化问题。
2024-06-05 cs.LG math.OC stat.ML
Wasserstein Distributionally Robust Policy Evaluation and Learning for Contextual Bandits
Duke University(杜克大学)
本文针对上下文赌博机中环境分布不匹配问题,提出基于Wasserstein距离的分布鲁棒策略评估与学习方法,并给出正则化随机梯度下降优化算法及理论复杂度分析,在卒中试验公开数据上验证了有效性。
2024-01-17 cs.LG
Finite-Sample Guarantees for Wasserstein Distributionally Robust Optimization: Breaking the Curse of Dimensionality
University of Texas at Austin(德克萨斯大学奥斯汀分校)
Wasserstein分布鲁棒优化(DRO)旨在通过对冲Wasserstein距离中的数据扰动来找到鲁棒和可推广的解决方案。尽管最近在运筹学和机器学习方面取得了经验性的成功,但由于维数灾难,通用损失函数的现有性能保证要么过于保守,要么仅在大样本渐近中合理。在本文中,我们开发了一个非渐近的框架分析的样本外性能的Wasserstein鲁棒学习和推广界相关的Lipschitz和梯度正则化问题。据我们所知,这给出了通用Wasserstein DRO问题的第一个有限样本保证,而不会遭受维数灾难。我们的研究结果强调,Wasserstein DRO,与一个适当选择的半径,平衡之间的经验平均值的损失和损失的变化,衡量的Lipschitz范数或梯度范数的损失。我们的分析是基于两个新的方法的发展,是独立的利益:1)一个新的浓度不等式控制衰减率的大偏差概率的变化的损失,2)本地化的Rademacher复杂性理论的基础上的变化的损失。
2022-04-30 cs.LG math.PR stat.ML
Wasserstein Distributionally Robust Kalman Filtering
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);TU Delft(代尔夫特理工大学)
研究了仅含正态分布的非凸Wasserstein模糊度集上的分布鲁棒均方误差估计问题。我们表明,最佳估计和最不利的分布形成一个纳什均衡。尽管非凸性质的模糊集,我们证明了估计问题是等价于一个听话的凸规划。我们进一步设计了一个Frank-Wolfe算法的凸规划,其方向搜索子问题可以解决的准封闭形式。使用这些成分,我们引入了一个分布式鲁棒卡尔曼滤波器,对冲模型风险。
2018-10-01 cs.LG math.OC stat.ML
Projection Robust Wasserstein Barycenters
University of California, Davis(加利福尼亚大学戴维斯分校)
从多个概率度量或直方图中收集和聚合信息是机器学习中的基本任务。这个任务的一个流行的解决方法是计算Wasserstein度量下的概率测度的重心。然而,由于维数灾难,近似Wasserstein重心在数值上是具有挑战性的。本文提出了投影鲁棒Wasserstein重心(PRWB),有可能减轻维数灾难。由于PRWB在数值上非常具有挑战性,因此我们进一步提出了一种更易于处理的松弛PRWB(RPRWB)模型。RPRWB项目的概率措施到一个低维子空间,最大限度地提高了Wasserstein重心目标。由此产生的问题是一个最大最小的问题在Stiefel流形。结合迭代Bregman投影算法和黎曼优化,我们提出了两个新的算法来计算RPRWB。分析了所提出的算法获得$ε$ -平稳解的算术运算的复杂性。我们将RPRWB引入到离散分布聚类算法中,在真实文本数据集上的数值结果证实了我们的RPRWB模型有助于显着提高聚类性能。
2021-09-27 cs.LG stat.ML
Exact Generalization Guarantees for (Regularized) Wasserstein Distributionally Robust Models
Univ. Grenoble Alpes, CNRS, Grenoble INP(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔国立理工学院)
针对现有Wasserstein分布鲁棒估计器泛化保证存在维度灾难、适用场景受限等问题,证明其泛化保证适用于通用模型、无维度灾难且可覆盖测试分布偏移,并可推广至正则化版本。
2023-11-06 cs.LG stat.ML
Wasserstein Distributionally Robust Optimization and Variation Regularization
University of Texas at Austin(德克萨斯大学奥斯汀分校);New York University(纽约大学);Georgia Institute of Technology(佐治亚理工学院)
Wasserstein分布鲁棒优化(DRO)最近在运筹学和机器学习的各种应用中取得了经验上的成功,部分原因是它的正则化效应。虽然Wasserstein DRO和正则化之间的联系已经建立在几个设置,现有的结果往往需要限制性的假设,如光滑性或凸性,这是不满意的许多问题。在本文中,我们开发了一个一般理论的变化正则化效果的Wasserstein DRO -一种新的形式的正则化,推广总变差正则化,Lipschitz正则化和梯度正则化。我们的结果涵盖可能的非凸和非光滑的损失和损失的非欧几里德空间。例子包括多项报童,投资组合选择,线性预测,神经网络,流形学习,泊松过程的强度估计等,作为我们的变分正则化理论的应用,我们得到新的泛化保证对抗性鲁棒学习。
2020-10-30 cs.LG math.OC stat.ML
Distributionally Robust Prescriptive Analytics with Wasserstein Distance
Tsinghua University(清华大学);University of Toronto(多伦多大学)
在规范分析中,决策者观察$(X, Y)$的历史样本,其中$Y$是不确定的问题参数,$X$是并发协变量,而不知道联合分布。给定一个额外的协变量观测$x$,目标是根据该观测选择一个决策$z$,以最小化成本$\mathbb{E}[c(z,Y)|X=x]$。提出了一种新的Wasserstein模糊集下的分布鲁棒方法,该方法基于Nadaraya-Watson核估计量构造$Y|X=x$的名义分布,并考虑历史数据.我们证明了在Wasserstein距离下名义分布收敛于实际条件分布。我们建立了样本外的保证和计算框架的易处理性。通过报童问题和投资组合优化问题的综合实验和实证实验,证明了该框架的强大性能和实用价值。
2021-06-10 cs.LG math.OC
Robust Estimation under the Wasserstein Distance
Cornell University(康奈尔大学);Columbia University(哥伦比亚大学)
针对含对抗性破坏样本的Wasserstein鲁棒分布估计问题,本文结合部分最优传输与最小距离估计,证明了其极小极大最优性,推导出带sup范数惩罚的POT对偶形式,并据此改进WGAN以实现抗污染的大规模生成建模。
2024-09-24 cs.LG math.ST stat.ML
Wasserstein Robust Reinforcement Learning
Huawei R&D UK(华为英国研发中心);Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学)
强化学习算法虽然成功,但往往过度适应训练环境,阻碍了它们在现实世界中的应用。本文提出了$\text{W}\text{R}^{2}\text{L}$ -一个强大的强化学习算法具有显着的低维和高维控制任务的鲁棒性能。我们的方法形式化强大的强化学习作为一个新的最小-最大的游戏与Wasserstein约束的正确和收敛的求解器。除了制定,我们还提出了一个有效的和可扩展的求解器以下一种新的零阶优化方法,我们相信可以是有用的数值优化一般。我们经验证明显着的收益相比,标准和强大的国家的最先进的算法在高维MuJuCo环境。
2019-09-16 cs.AI cs.LG stat.ML
On Generalization and Regularization via Wasserstein Distributionally Robust Optimization
University of Science and Technology of China(中国科学技术大学);University of Ottawa(渥太华大学)
本文证明在更一般的Wasserstein球和任意决策准则下可获得不受维度灾难影响的泛化界限与精确正则化等价性,为数据驱动决策问题提供了理论基础。
2024-12-19 cs.LG math.OC
Robust W-GAN-Based Estimation Under Wasserstein Contamination
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Cambridge(剑桥大学)
稳健估计是统计学中的一个重要问题,其目的是当数据生成分布位于未污染分布周围的适当定义的球内时,提供一个合理的估计。虽然极大极小估计率近年来已经建立,许多现有的鲁棒估计可证明最佳的收敛速度也是计算上难以处理的。在本文中,我们研究了Wasserstein污染模型下的几个估计问题,并提出了基于生成对抗网络(GANs)的计算易处理的估计器。具体来说,我们分析了基于Wasserstein GAN的位置估计,协方差阵估计和线性回归估计的性质,并表明我们提出的估计在许多情况下是最小最大最优的。最后,我们提出的数值结果证明了我们的估计的有效性。
2021-01-20 cs.IT cs.LG math.IT
Certified Safety Radii in Forecast-Error Space for Wasserstein Distributionally Robust Small Signal Stability-Constrained AC Optimal Power Flow via Lifted Spectrahedral Containment
College of Automation Engineering, Nanjing University of Aeronautics and Astronautics(南京航空航天大学自动化学院)
本文针对交流最优潮流中小信号稳定性鲁棒化的难题,通过提升谱面体包含性,在预测误差空间中优化可证安全半径,结合Perron证书等技术实现Wasserstein分布鲁棒机会约束的重构,数值验证了框架有效性。
2026-09-01 cs.LG
Principled learning method for Wasserstein distributionally robust optimization with local perturbations
Stanford University(斯坦福大学);Seoul National University(首尔国立大学)
Wasserstein分布鲁棒优化(WDRO)试图学习一个模型,使Wasserstein球定义的经验数据分布附近的局部最坏情况风险最小化。虽然WDRO自推出以来就作为一种有前途的推理工具而受到关注,但其理论理解尚未完全成熟。Gao等人(2017)提出了一种基于局部最差情况风险的易于处理的近似值的最小值,但未显示风险一致性。在本文中,我们提出了一个新的逼近定理的基础上的极小化,并提供相应的风险一致性结果。此外,我们为包括Mixup的局部扰动数据开发了WDRO推断(Zhang等人,2017年,作为特例。我们表明,我们的近似和风险一致性结果自然延伸到数据局部扰动的情况下。数值实验表明,该方法使用图像分类数据集的鲁棒性。我们的研究结果表明,该方法实现了显着更高的精度比基线模型在嘈杂的数据集。
2020-06-22 cs.LG stat.ML
$\texttt{skwdro}$: a library for Wasserstein distributionally robust machine learning
Univ. Grenoble Alpes, CNRS, Grenoble INP, LJK(格勒诺布尔阿尔卑斯大学、国家科学研究中心、格勒诺布尔INP、LJK研究中心)
skwdro是一个基于Wasserstein距离的分布鲁棒优化库,通过PyTorch封装器简化鲁棒机器学习模型的训练。
2026-01-09 cs.LG cs.MS math.OC
Q-Learning under Finite Model Uncertainty
本文提出一种在有限模型不确定性下鲁棒的Q学习算法,通过有限模糊集实现灵活的不确定性建模,并推导了非渐近误差界,适用于更广泛的求解场景。
2026-11-06 cs.AI cs.LG math.OC
Adversarial Classification via Distributional Robustness with Wasserstein Ambiguity
The University of Sydney(悉尼大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
我们研究了一个基于分布鲁棒机会约束的对抗分类模型。我们表明,在Wasserstein歧义下,该模型的目标是最小化错误分类距离的条件风险值,我们探索了与早期提出的对抗性分类模型和最大边缘分类器的联系。我们还提供了一个重新制定的分布鲁棒模型的线性分类,并表明它是等价于最小化正则化斜坡损失的目标。数值实验表明,尽管这个公式的非凸性,标准下降方法似乎收敛到这个问题的全局极小值。受此观察的启发,我们表明,对于某一类分布,正则化斜坡损失最小化问题的唯一稳定点是全局最小值。
2021-11-04 cs.LG math.OC stat.ML
Ambiguity set and learning via Bregman and Wasserstein
鲁棒优化中模糊集的构造依赖于概率分布之间的分歧的选择。在分布学习中,根据观测数据选择合适的概率分布对于逼近真实分布至关重要。为了提高机器学习模型的性能,最近人们对基于Lp-瓦瑟斯坦距离而不是经典的Kullback-Leibler(KL)散度来设计目标函数感兴趣。在本文中,我们得到的浓度和渐近结果使用Bregman分歧。我们提出了一种新的非对称的统计分歧称为Wasserstein-Bregman分歧作为L2-瓦瑟斯坦距离的推广。我们讨论了如何将这些结果应用于鲁棒优化中的模糊集的构造。
2017-05-23 cs.LG stat.ML
Wasserstein Distributionally Robust Bayesian Optimization with Continuous Context
ETH Zürich(苏黎世联邦理工学院);inspire AG(inspire AG公司)
针对上下文分布不确定下的黑箱优化,提出一种Wasserstein分布鲁棒贝叶斯优化算法,支持连续上下文并保持计算可行性,理论证明次线性遗憾界,实验验证其有效性与实用性。
2025-03-26 cs.AI cs.LG stat.ML
Provable Robust Overfitting Mitigation in Wasserstein Distributionally Robust Optimization
Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);University of Chinese Academy of Sciences(中国科学院大学);Kaiyuan International Mathematical Sciences Institute(开元国际数学科学研究院)
针对Wasserstein分布鲁棒优化(WDRO)因未考虑统计误差而存在的鲁棒过拟合问题,提出结合Wasserstein距离与Kullback-Leibler散度的统计鲁棒WDRO框架,建立泛化界并推导均衡条件,有效缓解了过拟合并增强了鲁棒性。
2025-03-06 cs.AI cs.LG math.ST
Generalizing to Unseen Domains with Wasserstein Distributional Robustness under Limited Source Knowledge
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University(清华大学-伯克利深圳学院,清华大学);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);School of Industrial and Systems and Engineering, Georgia Institute of Technology(佐治亚理工学院工业与系统工程学院)
针对源域标注样本有限时现有域泛化方法鲁棒性不足的问题,提出WDRDG框架,通过类特定Wasserstein不确定性集优化最坏情况性能,并利用最优传输开发测试时自适应模块,有效平衡了鲁棒性与判别性。
2024-03-23 cs.CV cs.LG
Projection Robust Wasserstein Distance and Riemannian Optimization
University of California, Berkeley(加州大学伯克利分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Texas, Austin(德克萨斯大学奥斯汀分校);CREST - ENSAE(法国国家统计与经济管理学院经济与统计研究中心);Google Brain(谷歌大脑)
投影鲁棒沃瑟斯坦距离(Projection Robust Wasserstein,PRW),又称沃瑟斯坦投影追踪(Wasserstein projection pursuit,WPP),是沃瑟斯坦距离的一个鲁棒变体。最近的研究表明,这个量比标准的Wasserstein距离更稳健,特别是在比较高维概率测度时。然而,它被排除在实际应用中,因为优化模型本质上是非凸和非光滑的,这使得计算棘手。我们在本文中的贡献是重新审视WPP/PRW背后的原始动机,但采取强硬的路线表明,尽管它的非凸性和缺乏非光滑性,甚至尽管一些硬度的结果证明了~ \citet{Niles-2019-Estimation}在极大极小的意义下,原始配方PRW/WPP \textit{can}有效地计算在实践中使用黎曼优化,在相关情况下产生更好的行为比凸松弛。更具体地说,我们提供了三个简单的算法与坚实的理论保证其复杂性界(附录中的一个),并证明其有效性和效率进行广泛的实验合成和真实数据。本文提供了第一步到计算理论的PRW距离,并提供了最佳运输和黎曼优化之间的联系。
2023-01-01 cs.LG math.OC stat.ML
Interpolation for Robust Learning: Data Augmentation on Wasserstein Geodesics
Carnegie Mellon University(卡内基梅隆大学);AT&T Chief Data Office(AT&T首席数据办公室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan(密歇根大学)
该研究提出基于Wasserstein测地线插值的数据增强与正则化方法,结合理论保证,在四个数据集上有效提升了模型的可认证与经验鲁棒性,提供了鲁棒学习新视角与可复用策略。
2023-08-28 cs.LG stat.ML
Regularization Helps with Mitigating Poisoning Attacks: Distributionally-Robust Machine Learning Using the Wasserstein Distance
CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61中心);University of Melbourne(墨尔本大学)
我们使用分布式鲁棒优化机器学习,以减轻数据投毒攻击的影响。我们通过在使用Wasserstein距离定义的经验分布(从中毒攻击损坏的训练数据集中提取)周围的邻域上训练模型的最坏情况分布,为原始数据(不包括中毒记录)上的训练模型提供性能保证。我们放松的分布鲁棒机器学习问题,找到一个上限的最坏情况下的适应度的基础上的经验采样平均适应度和Lipschitz常数的适应度函数(给定的模型参数的数据)作为正则化。对于回归模型,我们证明了这个正则化子等于模型参数的对偶范数。我们使用葡萄酒质量数据集,波士顿住房市场数据集和成人数据集来展示本文的结果。
2020-01-29 cs.CR cs.LG eess.SP
Wasserstein Distributionally Robust Inverse Multiobjective Optimization
Amazon(亚马逊);University of Pittsburgh(匹兹堡大学)
逆多目标优化提供了一个通用的框架,为无监督学习任务的推断参数的多目标决策问题(ESTA),根据一组观察到的决定,从人类专家。然而,这个框架的性能关键依赖于一个准确的决策,足够的高质量的决策,和一个参数空间,包含足够的信息的决策的可用性。为了避免假设条件、数据和参数空间的不确定性,本文研究了逆多目标优化的分布鲁棒方法。具体来说,我们利用Wasserstein度量来构建一个以这些决策的经验分布为中心的球。然后,我们制定了Wasserstein分布鲁棒逆多目标最优化问题(WRO-IMOP),最大限度地减少了最坏情况下的预期损失函数,其中最坏的情况下采取了所有的分布在Wasserstein球。我们证明了WRO-IMOP估计的超额风险具有次线性收敛速率。此外,我们提出了半无限的WRO IMOP的重新制定和开发的切割平面算法,收敛到一个近似解在有限的迭代。最后,我们证明了我们的方法的有效性的合成多目标二次规划和现实世界的投资组合最优化问题。
2020-09-30 cs.LG math.OC stat.ML
Wasserstein Robust Classification with Fairness Constraints
University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学)
我们提出了一个分布式的强大的分类模型,公平性约束,鼓励分类器是公平的机会均等的标准。我们使用一个类型的$\infty$ Wasserstein模糊集集中在经验分布模型分布的不确定性,并得出一个保守的最坏情况下的机会均等不公平措施的重新制定。我们建立的模型是等价的混合二元优化问题,可以解决标准的现成的求解器。为了提高可扩展性,我们进一步提出了一个凸的,铰链损失为基础的模型,大的问题实例,其重新制定不会产生任何二进制变量。此外,我们还考虑了分布式鲁棒学习问题与一般的地面运输成本,以对冲标签和敏感属性的不确定性。最后,我们数值证明,我们提出的方法提高了公平性,预测精度的损失可以忽略不计。
2021-07-12 cs.LG math.OC stat.ML
A New Robust Partial $p$-Wasserstein-Based Metric for Comparing Distributions
North Carolina State University(北卡罗来纳州立大学);Virginia Tech(弗吉尼亚理工大学)
本文提出基于部分 $p$-Wasserstein 距离的新度量族 $k$-RPW,兼具对离群值的鲁棒性与对微小几何差异的敏感性,且经验收敛速率优于 $2$-Wasserstein 距离,在含噪图像检索任务中准确率更高。
2024-06-03 cs.LG stat.ML
Combining Wasserstein-1 and Wasserstein-2 proximals: robust manifold learning via well-posed generative flows
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文通过结合Wasserstein-1与Wasserstein-2近端算子正则化f-散度,构建适定的连续时间生成流,以稳健学习低维流形上的分布,并通过对抗训练实现高维图像生成。
2024-07-16 cs.LG stat.CO stat.ME
Wasserstein Distributionally Robust Optimization: Theory and Applications in Machine Learning
EPFL(洛桑联邦理工学院);Delft University of Technology(代尔夫特理工大学)
本文综述Wasserstein分布鲁棒优化,该方法在样本分布不确定下通过最坏情况分布优化决策,具有凸优化可解性和样本外一致性保证,并推动分类、回归等机器学习任务的新方法。
2024-11-04 cs.LG math.OC stat.ML
Subspace Robust Wasserstein Distances
CREST-ENSAE(法国国家信息与自动化研究所(CREST-ENSAE));Google Brain(谷歌大脑);Palaiseau(帕莱索(此处为城市名,根据提取规则,城市名不应作为机构,原文本中Palaiseau是CREST-ENSAE的所在地,不单独作为机构提取))
在高维环境中,离散度量之间的Wasserstein距离仍然是一个挑战。最近的工作提倡一个两步的方法,以提高鲁棒性和促进计算的最佳运输,例如使用随机实数线上的预测,或初步量化的措施,以减少其支持的大小。在这项工作中,我们提出了一个“最大-最小”的强大的Wasserstein距离的变体,考虑到最大可能的距离,可以实现两个措施之间,假设它们可以正交投影在一个较低的$k$维子空间。另外,我们表明,相应的“最小-最大”OT问题有一个紧凸松弛,可以铸造为找到一个最佳的运输计划,以低运输成本,其中,代价可替换地被定义为位移的二阶矩矩阵的$k$最大特征值之和(或匹配)对应于该计划(通常的OT定义只考虑该矩阵的迹)。我们表明,这两个数量继承了OT几何的几个有利的属性。我们提出了两种算法来计算后者制定使用熵正则化,并说明这种方法的经验的兴趣。
2019-09-02 cs.LG stat.ML
Fast Epigraphical Projection-based Incremental Algorithms for Wasserstein Distributionally Robust Support Vector Machine
The Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学)
Wasserstein \textbf{D}迭代\textbf{R} obust \textbf{O}优化(DRO)关注的是找到对数据执行良好的决策,这些数据是从以某个名义分布为中心的Wasserstein球内的最差情况概率分布中得出的。近年来,已经表明,各种DRO公式的学习模型承认易处理的凸重构。然而,大多数现有的作品提出解决这些凸的通用求解器,这是不适合处理大规模的问题。在本文中,我们专注于一个家庭的Wasserstein分布鲁棒支持向量机(DRSVM)的问题,并提出了两种新的epigraphical投影为基础的增量算法来解决这些问题。这些算法的每次迭代中的更新可以以高效的方式计算。此外,我们证明了本文考虑的DRSVM问题满足显式确定的增长指数的Hölderian增长条件。因此,我们能够建立所提出的增量算法的收敛速度。我们的数值结果表明,所提出的方法是数量级的速度比国家的最先进的,性能差距增长相当大的问题规模的增加。
2020-10-24 cs.LG math.OC stat.ML
A stochastic smoothing framework for nonconvex-nonconcave minEmax problems with applications to Wasserstein distributionally robust optimization
Department of Applied Mathematics, Hong Kong Polytechnic University, Hong Kong, China(应用数学系,香港理工大学);Institute for Math & AI, Wuhan (IMAI), Wuhan university, China(数学与人工智能研究院,武汉大学);Department of Mathematical Sciences Rensselaer Polytechnic Institute, Troy, NY, USA(数学科学系,伦斯勒理工学院)
研究非凸-非凹minEmax随机优化问题,提出基于对数均值指数平滑的随机平滑近端梯度法,经非渐近分析表明该方法生成的聚点是克拉克平稳点,数值实验显示其在相关问题上与现有基线有竞争力。
2026-07-17 cs.LG math.OC
Wasserstein Distributionally Robust Shallow Convex Neural Networks
Department of Electrical Engineering(电气工程系);Polytechnique Montréal(蒙特利尔理工学院);GERAD(GERAD研究中心);Mila(Mila研究中心)
本文提出Wasserstein分布鲁棒浅层凸神经网络,将ReLU浅层网络训练重构为凸优化并纳入分布鲁棒框架,以低随机性、可扩展方式实现可靠非线性预测,并通过实验验证其在能源预测等任务中的性能与稳定性。
2025-08-21 cs.LG math.OC