Random Coordinate Descent on the Wasserstein Space of Probability Measures
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出随机坐标下降框架，针对Wasserstein流形优化问题，提出RWCD和RWCP方法，适用于复合目标，理论分析显示其在非凸、Polyak-Łojasiewicz及仿射凸条件下具有收敛性，实验表明在病态能量下比传统全梯度方法更高效。
2026-04-02 cs.LG math.OC stat.ML
Online Stochastic Optimization with Wasserstein Based Non-stationarity
New York University（纽约大学）
我们考虑一个一般的在线随机优化问题，多个预算约束在有限的时间段内的地平线。在每个时间段内，揭示了一个奖励函数和多个成本函数，决策者需要从凸和紧凑的行动集中指定一个行动，以收集奖励并消耗预算。每个成本函数对应于一个预算的消耗。在每个周期中，奖励和成本函数都是从一个未知的分布中得出的，这个分布在时间上是非平稳的。决策者的目标是在预算约束下最大化累积报酬。该公式涵盖了广泛的应用，包括在线线性规划和网络收入管理等。在本文中，我们考虑两种设置：（i）数据驱动的设置，其中真实分布是未知的，但先验估计（可能不准确）是可用的;（ii）无信息的设置，其中真实分布是完全未知的。我们提出了一个统一的Wasserstein距离为基础的措施，以量化的不准确性的先验估计设置（i）和非平稳的系统设置（ii）。我们表明，建议的措施导致一个次线性遗憾在这两种设置的可达性的充分必要条件。对于设置（i），我们提出了一个新的算法，它采取了原始-对偶的角度来看，并集成到一个在线的梯度下降过程中的对偶空间的潜在分布的先验信息。该算法也自然延伸到无信息的设置（ii）。在这两种情况下，我们证明了相应的算法实现了最优顺序的遗憾。在数值实验中，我们演示了如何将所提出的算法自然地与重新求解技术相结合，以进一步提高经验性能。
2022-07-25 cs.LG math.OC
Uniform-in-Time Wasserstein Stability Bounds for (Noisy) Stochastic Gradient Descent
Florida State University（佛罗里达州立大学）；Rutgers Business School（罗格斯商学院）；Princeton University（普林斯顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文通过学习理论与应用概率的联系，提出统一的 Wasserstein 稳定性界证明准则，并基于 Lyapunov 函数为 SGD 在强凸、非凸及无额外噪声的凸与非凸损失下建立了时间一致稳定性界。
2023-10-28 cs.LG math.OC stat.ML
Fast Epigraphical Projection-based Incremental Algorithms for Wasserstein Distributionally Robust Support Vector Machine
The Chinese University of Hong Kong（香港中文大学）；Nanjing University（南京大学）
Wasserstein \textbf{D}迭代\textbf{R} obust \textbf{O}优化（DRO）关注的是找到对数据执行良好的决策，这些数据是从以某个名义分布为中心的Wasserstein球内的最差情况概率分布中得出的。近年来，已经表明，各种DRO公式的学习模型承认易处理的凸重构。然而，大多数现有的作品提出解决这些凸的通用求解器，这是不适合处理大规模的问题。在本文中，我们专注于一个家庭的Wasserstein分布鲁棒支持向量机（DRSVM）的问题，并提出了两种新的epigraphical投影为基础的增量算法来解决这些问题。这些算法的每次迭代中的更新可以以高效的方式计算。此外，我们证明了本文考虑的DRSVM问题满足显式确定的增长指数的Hölderian增长条件。因此，我们能够建立所提出的增量算法的收敛速度。我们的数值结果表明，所提出的方法是数量级的速度比国家的最先进的，性能差距增长相当大的问题规模的增加。
2020-10-24 cs.LG math.OC stat.ML
Mirror and Preconditioned Gradient Descent in Wasserstein Space
CREST；ENSAE；IP Paris（巴黎理工学院）；Institute of Mathematics（数学研究所）；Technische Universität Berlin（柏林工业大学）；TU Wien（维也纳技术大学）
本文将镜像下降和预条件梯度下降推广到Wasserstein空间，通过适配相对光滑性与凸性条件证明离散时间方案的收敛性，并在单细胞对齐任务中验证了选择合适几何结构的优势。
2024-11-18 cs.LG math.OC
On Riemannian Optimization over Positive Definite Matrices with the Bures-Wasserstein Geometry
University of Sydney（悉尼大学）；Microsoft India（微软印度）
在本文中，我们比较分析了Bures-Wasserstein（BW）几何和流行的仿射不变（AI）几何的对称正定（SPD）矩阵流形上的黎曼优化。我们的研究开始于观察到BW度量对SPD矩阵具有线性依赖性，而AI度量则具有二次依赖性。在此基础上，我们表明，BW度量是一个更合适的和强大的选择几个黎曼最优化问题病态SPD矩阵。我们表明，BW几何有一个非负曲率，这进一步提高了算法的收敛速度的非正弯曲的AI几何。最后，我们验证了几个流行的费用函数，这是已知的测地凸下的AI几何，也是测地凸下的BW几何。各种应用程序的广泛实验支持我们的研究结果。
2021-06-01 cs.LG math.OC
Bridging Bayesian and Minimax Mean Square Error Estimation via Wasserstein Distributionally Robust Optimization
Stanford University（斯坦福大学）；EPFL（洛桑联邦理工学院）；Delft University of Technology（代尔夫特理工大学）
我们引入了一个分布鲁棒的最小均方误差估计模型与Wasserstein模糊集恢复一个未知的信号从噪声观测。所提出的模型可以被看作是一个统计学家之间的零和对策选择一个估计-也就是说，一个可测函数的观察-和一个虚构的对手选择一个先验-也就是说，一对信号和噪声分布范围内的独立Wasserstein球-的目标是最小化和最大化的预期平方估计误差，分别。我们表明，如果Wasserstein球的正态分布的中心，那么零和对策承认一个纳什均衡，其中玩家的最优策略分别由{ \em仿射}估计和{ \em正常}先验。我们进一步证明了这个纳什均衡可以通过求解一个易处理的凸规划来计算。最后，我们开发了一个Frank-Wolfe算法，它可以比最先进的通用求解器更快地解决这个凸程序。我们证明了该算法具有线性收敛速率，并且其测向子问题可以用准封闭形式求解。
2021-01-27 cs.LG math.OC math.ST
A First-Order Algorithmic Framework for Wasserstein Distributionally Robust Logistic Regression
The Chinese University of Hong Kong（香港中文大学）
基于Wasserstein距离的分布鲁棒优化（DRO）最近受到了广泛关注，因为它能够提供各种学习模型的鲁棒性解释。此外，在学习环境中出现的许多DRO问题承认精确的凸重构，因此可以通过现成的求解器来解决。然而，使用这样的求解器严重限制了DRO在大规模学习问题中的适用性，因为它们通常依赖于通用的邻域点算法。另一方面，有很少的作品，试图开发快速的迭代法来解决这些DRO问题，通常具有复杂的结构。在本文中，我们采取了第一步解决上述困难，通过开发一个一阶算法框架来解决一类基于Wasserstein距离的分布鲁棒逻辑斯谛回归（DRLR）问题。具体来说，我们提出了一种新的线性化近端ADMM解决DRLR问题，其目标是凸的，但由一个光滑项加上两个不可分离的非光滑项。我们证明了该方法具有次线性收敛速度。此外，我们进行了三个不同的实验，以显示其在合成和真实世界的数据集上的卓越性能。特别是，我们的方法可以实现相同的精度，比标准的现成求解器快800倍以上。
2019-10-28 cs.LG math.OC stat.ML
Accelerated Linear Convergence of Stochastic Momentum Methods in Wasserstein Distances
Rutgers Business School（罗格斯商学院）；Florida State University（佛罗里达州立大学）
在机器学习实践中常用的动量方法有Polyak的重球（HB）方法、Nesterov的加速梯度（AG）方法和加速投影梯度（APG）方法，但它们的性能对梯度中的噪声非常敏感。我们研究这些方法下的一阶随机预言模型的噪声估计的梯度。对于强凸问题，我们表明，分布的AG迭代收敛加速$O(\sqrtκ\log(1/\varepsilon))$线性速率的半径$\varepsilon$球集中在一个独特的不变分布在1-Wasserstein度量，其中$κ$是条件数，只要噪声方差小于一个明确的上限，我们可以提供。我们的分析还证明了线性收敛率作为步长，动量参数和噪声方差的函数;在无噪声的情况下恢复加速速率，并量化可以容忍的噪声水平，以实现给定的性能。在强凸二次目标的特殊情况下，我们可以通过对噪声结构的一些附加假设下的非渐近分析，显示出任何$p\geq 1$的$p$ -Wasserstein度量中的加速线性速率，并改善了AG和HB对噪声的敏感性。我们对HB和AG的分析也导致了确定性和随机性设置的次优性的非渐近收敛界的改进，这是独立的兴趣。据我们所知，这是随机预言模型下随机动量方法的第一个线性收敛结果。我们还将我们的结果扩展到APG方法和弱凸函数，当噪声幅度足够小时，显示加速率。
2019-05-17 cs.LG math.OC stat.ML
Stochastic Approximation versus Sample Average Approximation for population Wasserstein barycenters
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）
在机器学习和优化领域，凸风险最小化问题主要有两种方法，即随机逼近（SA）和样本平均逼近（SAA）。就oracle复杂性（所需的随机梯度评估次数）而言，这两种方法被认为是平均等效的（直到对数因子）。总的复杂性取决于具体的问题，但是，从工作开始\cite{nemirovski2009robust}它被普遍接受的SA是优于SAA。然而，在大规模问题的情况下，SA可能会耗尽内存，因为在一台机器上存储所有数据并在没有与其他机器通信的情况下组织在线访问是不可能的。SAA与SA不同，允许并行/分布式计算。我们表明，对于Wasserstein重心问题，这种优势可以被逆转。我们提供了一个详细的比较，说明SA和SAA实现计算重心相对于最优输运距离和熵正则化最优输运距离的复杂性界限。作为一个副产品，我们还构建了置信区间的重心定义相对于熵正则化的最优输运距离的$\ell_2$规范。对由期望给出的一般凸优化问题，给出了初步结果，以便在Wasserstein重心问题之外有其它应用。
2021-10-25 cs.LG math.OC stat.ML
Accelerated Multiple Wasserstein Gradient Flows for Multi-objective Distributional Optimization
Graduate School of Information Science and Technology, Hokkaido University, Japan（信息科学与技术研究生学校，北海道大学，日本）；Bioinformatics Center, Kyoto University, Japan（生物信息学中心，京都大学，日本）；Institute of Information Technology, Vietnam Academy of Science and Technology, Vietnam（信息技术研究所，越南科学与技术学院，越南）
提出加速多Wasserstein梯度下降算法(A-MWGraD)，通过Nesterov加速实现多目标分布优化，在测地凸和强测地凸目标下分别达到O(1/t^2)和O(e^{-√βt})收敛率，优于MWGraD的O(1/t)。
2026-05-29 cs.LG
Wasserstein Distributionally Robust Optimization with Wasserstein Barycenters
Northwestern University（西北大学）
在统计学和机器学习的许多应用中，来自多个可能异构的源的数据样本的可用性已经变得越来越普遍。另一方面，在分布鲁棒优化，我们寻求数据驱动的决策，以及在最不利的分布从名义分布构造的数据样本在一定的差异的概率分布。然而，目前还不清楚如何实现这种分布鲁棒性模型学习和估计时，数据样本来自多个来源。在这项工作中，我们建议通过Wasserstein重心作为来自多个来源的数据样本的聚合的概念，构建基于最佳运输的分布鲁棒优化问题的标称分布。在特定的损失函数的选择下，所提出的公式承认一个易于处理的重新制定作为一个有限的凸规划，具有强大的有限样本和渐近保证。作为一个说明性的例子，我们证明了分布鲁棒稀疏逆协方差阵估计的零均值高斯随机向量的问题，我们提出的方案优于其他广泛使用的估计在低维和高维制度。
2022-05-30 cs.LG math.OC stat.ML
Online Optimization on Hadamard Manifolds: Curvature Independent Regret Bounds on Horospherically Convex Objectives
Department of Mechanical & Industrial Engineering, Northeastern University（机械与工业工程系，东北大学）
本文研究Hadamard流形上基于horospherical凸性的在线Riemannian优化，提出与曲率无关的遗憾界，并在SPD矩阵流形上验证了方法有效性。
2025-09-14 cs.LG math.OC stat.ML
A unified framework for non-negative matrix and tensor factorisations with a smoothed Wasserstein loss
University of British Columbia（不列颠哥伦比亚大学）
非负矩阵和张量分解是寻找高维数据集的低维表示的经典工具。在诸如成像的应用中，数据集可以被认为是在具有度量结构的空间上支持的分布。在这种情况下，基于最优运输理论的瓦瑟斯坦距离的损失函数是一个自然的选择，因为它包含了数据的基本几何形状。我们介绍了一个通用的数学框架计算非负因式分解的矩阵和张量相对于最佳的运输损失。我们推导出一个有效的计算方法，其解决方案使用凸对偶制定，并证明了这种方法的适用性与矩阵和张量值数据的几个数值例子。
2021-07-15 cs.LG math.OC stat.ML
Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Massachusetts Institute of Technology（麻省理工学院）
Wasserstein重心提供了基于最优运输的概率度量的加权平均的几何概念。在本文中，我们提出了一个可扩展的算法来计算Wasserstein-2重心给定的样本访问的输入措施，这是不限于离散。虽然过去的方法依赖于熵或二次正则化，我们采用输入凸神经网络和循环一致性正则化，以避免引入偏见。因此，我们的方法不诉诸于极大极小优化。我们提供了理论分析的误差范围，以及所提出的方法在低维定性场景和高维定量实验的有效性的经验证据。
2021-02-02 cs.LG stat.ML
Wasserstein Measure Coresets
Massachusetts Institute of Technology（麻省理工学院）
大数据集和贝叶斯推断技术的激增激发了对更好的数据稀疏化的需求。核心集提供了一种原则性的方法，通过一个较小的数据集来总结一个大型数据集，该数据集保证在特定问题上与完整数据集的性能相匹配。然而，经典的核心集忽略了底层的数据分布，这往往是连续的。我们通过引入Wasserstein测度coresets来解决这一疏忽，这是coresets的一个扩展，根据定义，它考虑到了泛化。我们制定的问题，这基本上是在最小化的瓦瑟斯坦距离，是通过随机梯度下降可解的。这就产生了一个算法，它只需要样本访问数据分布，并能够处理大型数据流的在线方式。我们验证我们的建设推理和聚类。
2020-03-02 cs.LG stat.ML
Averaging on the Bures-Wasserstein manifold: dimension-free convergence of gradient descent
Massachusetts Institute of Technology（麻省理工学院）
本文针对Bures-Wasserstein流形上高斯分布重心的优化问题，证明了新的测地凸性结果，首次为黎曼梯度下降建立了无维度收敛速率，并扩展到熵正则化重心和几何中位数问题。
2023-10-31 cs.LG math.OC
Wasserstein-2 Generative Networks
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
我们提出了一种新的端到端的非极小极大算法训练最佳的传输映射的二次成本（Wasserstein-2距离）。该算法使用输入凸神经网络和循环一致性正则化来近似Wasserstein-2距离。与流行的熵和二次正则化相反，循环一致性不会引入偏差，并且可以很好地扩展到高维。从理论上，我们估计的生成映射适合我们的算法的性质。从实际的一面，我们评估我们的算法在广泛的任务：图像到图像的颜色转移，潜在的空间最佳运输，图像到图像的风格转移，和领域自适应。
2020-12-10 cs.CV cs.LG stat.ML
Optimal Transport Tools (OTT): A JAX Toolbox for all things Wasserstein
Google（谷歌）；ETH Zürich（苏黎世联邦理工学院）
最佳传输工具（OTT-JAX）是一个Python工具箱，可以解决点云和直方图之间的最佳传输问题。该工具箱建立在各种JAX特性的基础上，例如自动和自定义反向模式区分、向量化、即时编译和加速器支持。该工具箱涵盖了基本计算，例如正则化OT问题的解决方案，以及更高级的扩展，例如重心，Gromov-Wasserstein，低秩求解器，凸映射的估计，分位数和秩的可微推广以及高斯混合之间的近似OT。工具箱代码位于\texttt{https://github.com/ott-jax/ott}
2022-01-28 cs.LG stat.ML
Continuous Regularized Wasserstein Barycenters
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
瓦瑟斯坦重心提供了一种几何意义的方法来聚合概率分布，建立在最优运输理论的基础上。他们是很难计算在实践中，但是，导致以前的工作限制其支持有限的点集。利用一个新的对偶公式的正则化Wasserstein重心问题，我们引入了一个随机算法，构造一个连续近似的重心。我们建立强对偶性，并使用相应的原始对偶关系参数化的重心隐式使用正则化运输问题的对偶势。由此产生的问题可以解决随机梯度下降，这产生了一个有效的在线算法来近似的重心连续分布给定的样本访问。我们证明了我们的方法的有效性，并与以前的工作合成的例子和现实世界的应用程序进行比较。
2020-10-25 cs.LG stat.ML
Non-convex online learning via algorithmic equivalence
Google AI Princeton（谷歌AI普林斯顿）；Princeton University（普林斯顿大学）
我们研究了非凸梯度下降和凸镜下降之间的算法等价技术。我们首先看一个更难的问题，在线非凸优化的遗憾最小化。我们表明，在一定的几何和光滑条件下，在线梯度下降适用于非凸函数是一个近似的在线镜像下降适用于凸函数下重新参数化。在连续时间中，这种重新参数化的梯度流被证明是完全等价于连续时间镜像下降的Amid和Warren 2020，但类似的离散时间算法的理论仍然是一个悬而未决的问题。我们证明了一个$O(T^{\frac{2}{3}})$遗憾界的非凸在线梯度下降在此设置，回答这个开放的问题。我们的分析是基于一个新的和简单的算法等效方法。
2022-10-12 cs.LG math.OC
Tighter Expected Generalization Error Bounds via Convexity of Information Measures
University College London（伦敦大学学院）；Massachusetts Institute of Technology（麻省理工学院）
泛化误差界对于理解机器学习算法至关重要。基于输出假设与输入训练样本的平均联合分布，提出了一种新的期望泛化误差上界。给出了基于不同信息测度的多个泛化误差上界，包括Wasserstein距离、总变差距离、KL散度和Jensen-Shannon散度。由于凸性的信息措施，建议的界Wasserstein距离和总变异距离被证明是紧比他们的同行的基础上，在文献中的个别样本。最后给出了一个例子来验证所提出的泛化误差界的严密性。
2022-02-24 cs.IT cs.LG math.IT
Online Saddle Point Problem and Online Convex-Concave Optimization
China University of Petroleum（中国石油大学）；College of Information Science and Engineering（信息科学与工程学院）
该研究围绕在线鞍点问题提出OCCO框架，以广义对偶间隙为性能度量，建立其与OCO的平行关系，开发两种相关算法并验证有效性，同时指出动态纳什均衡悔值存在固有缺陷。
2023-12-15 cs.LG math.OC
Particle-based Variational Inference with Generalized Wasserstein Gradient Flow
Peking University（北京大学）
本文提出基于广义Wasserstein梯度流的粒子变分推断框架GWG，通过凸函数诱导的更广泛正则化类替代核化方法，提供强收敛保证与自适应度量选择，在模拟和真实数据上验证了有效性与效率。
2023-10-25 cs.LG stat.ML
On amortizing convex conjugates for optimal transport
Meta AI
针对欧氏Wasserstein-2最优传输中凸共轭难以精确计算的问题，提出结合摊销优化近似与微调求解器的方法，显著提升了基准传输映射质量，可建模多种二维耦合与流，相关代码已开源。
2025-10-05 cs.AI cs.LG stat.ML
Regret Bound by Variation for Online Convex Optimization
Michigan State University（密歇根州立大学）；NEC Laboratories America（NEC美国实验室）
在citep{Hazan-2008-extract}中，作者证明了在线线性优化的遗憾可以由成本向量的总变差限制。在本文中，我们将这个结果推广到一般的在线凸优化。首先分析了\citep{Hazan-2008-extract}中的算法在应用于在线凸优化时的局限性。然后，我们提出了两个算法的在线凸优化的遗憾是有界的变化的成本函数。最后，我们考虑了强盗设置，并提出了一个随机算法在线强盗凸优化与基于变分的遗憾界。我们证明，当成本函数的变化与试验次数无关时，在线强盗凸优化的遗憾界是最优的。
2012-06-14 cs.LG
Constrained Langevin Algorithms with L-mixing External Random Variables
University of Minnesota, Twin Cities（明尼苏达大学双城分校）
朗之万算法是一种用加性噪声增强的梯度下降方法，广泛应用于马尔可夫链蒙特卡罗（MCMC）采样、优化和机器学习。近年来，非凸学习的Langevin算法的非渐近分析得到了广泛的研究。对于具有IID数据变量的紧致凸域上的非凸损失的约束问题，投影Langevin算法在$1$ -Wasserstein距离中实现了$O(T^{-1/4} (\log T)^{1/2})$与其目标分布的偏差[27]。在本文中，我们得到了$O(T^{-1/2} \log T)$在$1$ -Wasserstein距离的偏差非凸损失与$L$ -混合数据变量和多面体的约束（不一定是有界的）。这改进了以前的约束问题的界限，并匹配最知名的无约束问题的界限。
2023-01-07 cs.LG math.OC math.PR
Recursive Exponential Weighting for Online Non-convex Optimization
The Chinese University of Hong Kong（香港中文大学）
本文研究了在线非凸优化问题，它通过放松对代价函数的凸性假设，推广了经典的在线凸优化问题。对于这种类型的问题，经典的指数加权在线算法最近已被证明可以达到$O(\sqrt{T\log T})$的次线性遗憾。在本文中，我们引入了一种新的递归结构的在线算法定义一个递归指数加权算法，达到了遗憾的$O(\sqrt{T})$，匹配著名的遗憾下界。据我们所知，这是第一个在线算法与可证明的$O(\sqrt{T})$遗憾的在线非凸优化问题。
2017-09-13 cs.LG
Online Submodular Maximization via Online Convex Optimization
Northeastern University（东北大学）；Boston University（波士顿大学）
研究一般拟阵约束下的单调次模最大化在线优化问题，通过证明加权阈值势函数可凹松弛，将其归约为在线凸优化（OCO），结合舍入方案实现次线性遗憾，并扩展至动态遗憾、老虎机和乐观学习设定。
2024-01-08 cs.AI cs.LG math.OC
A Dynamical System View of Langevin-Based Non-Convex Sampling
ETH Zürich（苏黎世联邦理工学院）
针对非凸采样理论中末次迭代收敛性、Wasserstein距离指标缺失等问题，提出基于动力系统理论的新框架，证明多类先进采样方案的末次迭代Wasserstein收敛性，并可启发更高效的采样方案设计。
2024-09-17 cs.LG math.PR math.ST
Fixed Support Tree-Sliced Wasserstein Barycenter
Kyoto University（京都大学）；RIKEN AIP（理化学研究所先进智能项目中心）；Facebook AI Research（脸书人工智能研究院）；SliceX AI（SliceX人工智能）
Wasserstein重心在包括自然语言处理和计算机视觉在内的各个领域都得到了广泛的研究。然而，它需要一个高的计算成本，以解决Wasserstein重心问题，因为计算的Wasserstein距离需要一个平方的时间相对于支持的数量。相比之下，树上的Wasserstein距离，称为树-Wasserstein距离，可以在线性时间内计算，并允许快速比较大量的分布。在这项研究中，我们提出了一个重心下的树Wasserstein距离，称为固定支持树Wasserstein重心（FS-TWB）和它的扩展，称为固定支持树切片Wasserstein重心（FS-TSWB）。更具体地说，我们首先表明，FS-TWB和FS-TSWB问题是凸优化问题，可以通过使用投影次梯度下降来解决。此外，我们提出了一个更有效的算法来计算次梯度和目标函数值，利用树Wasserstein重心问题的性质。通过真实世界的实验，我们表明，通过使用所提出的算法，FS-TWB和FS-TSWB可以解决两个数量级的速度比原来的Wasserstein重心。
2022-02-11 cs.AI cs.LG
Quantitative stability of optimal transport maps and linearization of the 2-Wasserstein space
Laboratoire de Mathématiques d’Orsay（奥赛数学实验室）；Univ. Paris-Sud（巴黎第十一大学）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；Inria Saclay - Ile-de-France（法国国家信息与自动化研究所萨克雷-法兰西岛分部）
这项工作研究了一个明确的嵌入到Hilbert空间的一组概率测度，使用最佳的运输地图从参考概率密度定义。这种嵌入在一定程度上线性化了2-Wasserstein空间，并允许在测量数据上直接使用通用的监督和无监督学习算法。我们的主要结果是，嵌入是（双）Hölder连续的，当参考密度是均匀的凸集上，并可以等价地表述为一个维数无关的Hölder稳定性结果的最佳运输映射。
2019-10-14 cs.LG cs.NA math.MG
Wasserstein Distributionally Robust Online Learning
University of Michigan（密歇根大学）；Cornell University（康奈尔大学）
本文提出了一种基于Wasserstein分布鲁棒优化的在线学习框架，通过将问题建模为随机博弈并利用问题几何特性，实现对最坏情况分布的鲁棒优化，同时提高了计算效率。
2026-10-30 cs.LG math.OC stat.ML
Some Convexity Criteria for Differentiable Functions on the 2-Wasserstein Space
本文提出2-Wasserstein空间上可微函数测地凸性的新准则，通过无加速度曲线及Wasserstein梯度与Hessian不等式进行刻画。
2023-06-20 math.FA math.OC
$λ$-geodesic convexity of the squared sliced-Wasserstein distance
Università degli Studi di Padova（帕多瓦大学）；Université Lyon 1, Ecole Centrale de Lyon, INSA Lyon, Université Jean Monnet, CNRS, ICJ, UMR 5208（里昂第一大学，里昂中央理工学院，里昂国立应用科学学院，让·穆兰大学，法国国家科学研究中心，ICJ）
该研究证明平方切片-瓦瑟斯坦距离在满足密度上界的测度集合上具有$λ$-测地凸性，并给出其在切片-瓦瑟斯坦流研究中的应用推论。
2026-10-16 math.AP math.OC
Stability of Wasserstein projections in convex order via metric extrapolation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of British Columbia（不列颠哥伦比亚大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
本文通过度量外推问题，推导出凸序中W2投影的稳定性估计。
2026-04-13 math.OC math.PR
Wasserstein Distributionally Robust Kalman Filtering
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；TU Delft（代尔夫特理工大学）
研究了仅含正态分布的非凸Wasserstein模糊度集上的分布鲁棒均方误差估计问题。我们表明，最佳估计和最不利的分布形成一个纳什均衡。尽管非凸性质的模糊集，我们证明了估计问题是等价于一个听话的凸规划。我们进一步设计了一个Frank-Wolfe算法的凸规划，其方向搜索子问题可以解决的准封闭形式。使用这些成分，我们引入了一个分布式鲁棒卡尔曼滤波器，对冲模型风险。
2018-10-01 cs.LG math.OC stat.ML
2-Wasserstein Approximation via Restricted Convex Potentials with Application to Improved Training for GANs
Coordinated Science Laboratory, UIUC（伊利诺伊大学厄巴纳-香槟分校协同科学实验室）；Technicolor AI Lab（Technicolor人工智能实验室）
我们提供了一个框架，以近似的2-Wasserstein距离和最优输运地图，服从有效的培训以及统计和几何分析。考虑到最优运输问题的Kantorovich对偶形式和二次费用，Brenier定理指出最优势函数是凸的，最优输运图是最优势函数的梯度。使用这种几何结构，我们限制最优化问题不同的参数化类的凸函数，并特别注意类的输入凸神经网络。我们分析了统计推广和歧视的权力，所产生的近似度量，我们证明了一个限制矩匹配属性的近似最优映射。最后，我们讨论了一个数值算法来解决限制性最优化问题，并提供数值实验来说明和比较所提出的方法与已建立的正则化为基础的方法。我们进一步讨论了我们的建议在GANs的模块化和可解释的设计中的实际意义，该设计将生成器训练与并行计算连接起来，以允许学习整个复合生成器。
2019-02-19 cs.LG math.OC stat.ML
Convergence Analysis of the Wasserstein Proximal Algorithm beyond Geodesic Convexity
University of British Columbia（不列颠哥伦比亚大学）；University of Southern California（南加州大学）；California Institute of Technology（加州理工学院）
本文提出了一种无需假设目标函数测地凸性的简单自包含分析，证明了Wasserstein近端算法在自然的Wasserstein类欧几里得Polyak-Łojasiewicz不等式下具有无偏线性收敛性，改进了现有在强测地凸性下求解Wasserstein梯度流的近端算法收敛率，并扩展到半测地凸目标的近端算法。
2026-10-02 math.OC stat.ML
A note on the Bures-Wasserstein metric
本文证明了空间正定矩阵上的Bures-Wasserstein（BW）度量适合于凸优化.换句话说，BW度量的计算可以被视为凸优化问题。反过来，这导致有效计算（i）正定矩阵的凸子集之间的BW距离，（ii）BW重心，以及（iii）将来自给定矩阵的BW距离作为凸约束。提供了计算结果以供佐证。
2023-03-07 math.OC
Wasserstein Distributionally Robust Shallow Convex Neural Networks
Department of Electrical Engineering（电气工程系）；Polytechnique Montréal（蒙特利尔理工学院）；GERAD（GERAD研究中心）；Mila（Mila研究中心）
本文提出Wasserstein分布鲁棒浅层凸神经网络，将ReLU浅层网络训练重构为凸优化并纳入分布鲁棒框架，以低随机性、可扩展方式实现可靠非线性预测，并通过实验验证其在能源预测等任务中的性能与稳定性。
2025-08-21 cs.LG math.OC
Convex Chance-Constrained Programs with Wasserstein Ambiguity
本文研究Wasserstein模糊集下机会约束规划的凸性条件，针对悲观联合机会约束和双边机会约束分别给出基于对数凹/α-凹分布和椭圆星单峰分布的凸性充分条件，并提出块坐标上升算法与二阶锥内近似方法。
2025-03-12 math.OC
On the Convexity of Discrete Time Covariance Steering in Stochastic Linear Systems with Wasserstein Terminal Cost
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Santa Cruz（加州大学圣克鲁兹分校）
在这项工作中，我们分析了离散时间高斯线性系的协方差导向问题的解决方案的平方Wasserstein距离终端成本的性质。在我们以前的工作中，我们已经表明，通过利用状态反馈控制政策参数化，这个随机最优控制问题可以与一个凸函数程序的差异。在这里，我们重新审视相同的协方差控制问题，但这次我们专注于问题的分析。具体来说，我们建立的最优化问题的解决方案的存在性，并推导出一阶和二阶条件的最优性。我们利用矩阵微积分的专门工具，提供了性能指标的梯度和Hessian的解析表达式。随后，我们证明了最优化问题总是允许一个全局极小，最后，我们提供了一个充分条件的性能指标是一个严格凸函数（在后一个条件下，问题允许一个唯一的全局极小）。特别是，我们表明，当终端状态的协方差是上界的，相对于Löwner偏序，所需的终端正态分布的协方差阵，那么我们的问题承认一个唯一的全球最小化状态反馈增益。本文的研究结果为开发专门的控制设计工具奠定了基础，这些工具利用协方差转向问题的解决方案的结构，具有平方Wasserstein距离终端成本。
2021-03-25 cs.LG cs.SY eess.SY
Data-Driven Chance Constrained Optimization under Wasserstein Ambiguity Sets
ETH Zürich（苏黎世联邦理工学院）
本文提出了一种数据驱动的方法来解决分布鲁棒机会约束优化问题，通过考虑有限样本或不确定性现实化，定义机会约束对所有接近经验分布的分布有效，并展示了凸内近似和切割面算法的应用。
2018-10-10 cs.SY eess.SY math.OC
Nesterov acceleration for the Wasserstein minimization of displacement-convex free energies
本文研究了均场欠阻尼兰格-恩方程相关的过程在位移凸自由能的Wasserstein梯度流中实现Nesterov加速，通过最近的突破性工作，证明了该过程在熵方面实现了从扩散到球形的改进，从而达到最优收敛速率。
2026-05-21 math.AP math.OC math.PR
Central limit theorem for Wasserstein projection - the case of convex order
Beihang University（北京航空航天大学）
该研究建立了凸序下Wasserstein投影的中心极限定理，通过证明对偶可达性等性质，在温和矩假设下完成证明，还回答了Benjamin Jourdain的开放问题。
2026-09-01 math.OC math.PR math.ST
Wasserstein Distributionally Robust Optimization and Variation Regularization
University of Texas at Austin（德克萨斯大学奥斯汀分校）；New York University（纽约大学）；Georgia Institute of Technology（佐治亚理工学院）
Wasserstein分布鲁棒优化（DRO）最近在运筹学和机器学习的各种应用中取得了经验上的成功，部分原因是它的正则化效应。虽然Wasserstein DRO和正则化之间的联系已经建立在几个设置，现有的结果往往需要限制性的假设，如光滑性或凸性，这是不满意的许多问题。在本文中，我们开发了一个一般理论的变化正则化效果的Wasserstein DRO -一种新的形式的正则化，推广总变差正则化，Lipschitz正则化和梯度正则化。我们的结果涵盖可能的非凸和非光滑的损失和损失的非欧几里德空间。例子包括多项报童，投资组合选择，线性预测，神经网络，流形学习，泊松过程的强度估计等，作为我们的变分正则化理论的应用，我们得到新的泛化保证对抗性鲁棒学习。
2020-10-30 cs.LG math.OC stat.ML
Weak topology and Opial property in Wasserstein spaces, with applications to Gradient Flows and Proximal Point Algorithms of geodesically convex functionals
本文讨论了在可分Hilbert空间$H$上的有限二次矩Borel概率测度的Wasserstein空间$(\mathcal{P}_2(H),W_2)$中如何定义一个适当的弱拓扑概念.我们将证明这样的拓扑继承了Hilbert空间中通常的弱拓扑的许多特征，特别是测地凸闭集的弱闭性和弱收敛序列的Opial性质。我们将这一概念应用于$\mathcal{P}_2(H)$的弱闭子集中的非扩张映射的不动点的逼近以及下连续测地凸泛函$ϕ:\mathcal{P}_2(H)\to(-\infty,+\infty]$的极小值的逼近.特别地，我们将证明$ϕ$的Wasserstein梯度流的每一个解随着时间的推移到$+\infty$弱收敛到$ϕ$的极小值。类似地，如果$ϕ$也是沿广义测地线凸的，则由邻近点法生成的每个序列都收敛到$ϕ$关于$\mathcal{P}_2(H)$的弱拓扑的极小元。
2021-04-13 math.DS math.FA math.MG
Wasserstein Contraction Bounds on Closed Convex Domains with Applications to Stochastic Adaptive Control
本文的动机是定量地限制随机系统的适应控制方法的收敛到一个平稳分布的问题。这样的边界对于分析轨迹的统计数据和确定用于模拟的适当的步长是有用的。为此，我们从（无约束）随机微分方程（SDES），它提供了一个特别选择的Wasserstein距离收缩的方法。该理论侧重于对漂移项具有相当限制性假设的无约束随机微分方程。典型的适应控制方案对学习的参数施加约束，并且它们的更新规则违反漂移条件。为此，我们将收缩理论推广到由反射随机微分方程表示的约束系统的情况，并推广了允许的漂移。我们展示了如何一般的理论可以用来推导出非线性随机自适应调节问题的定量收缩界。
2021-10-15 math.OC
Decentralized Convex Optimization on Time-Varying Networks with Application to Wasserstein Barycenters
针对时变网络下仅部分传感器可观测但需平均信号的场景，提出一种适用于非光滑对偶友好分布式优化的一阶方法，证明其Nesterov意义下的非渐近加速收敛率，并验证了在Wasserstein重心问题中的有效性。
2023-07-25 math.OC
Convergence of drift-diffusion PDEs arising as Wasserstein gradient flows of convex functions
本文研究了作为Wasserstein梯度流产生的漂移-扩散PDE的定量收敛性，发现在线性凸性下扩散能促成Wasserstein几何与凸性的有利交互，证明了次优性差距的$O(1/t)$收敛速率及强凸条件下的指数收敛速率，并扩展了平均场Langevin动力学的应用范围。
2025-07-16 math.AP math.OC
Feedback Control and Local Convexification of Wasserstein Gradient Flows
研究自由能形式下的Wasserstein梯度流，通过反馈控制设计有限秩反馈律，使闭环Hessian谱高于任意阈值，从而局部指数收敛到稳态。
2026-09-10 math.AP math.DS math.FA
Sampled-Data Wasserstein Distributionally Robust Control of Multiplicative Systems: A Convex Relaxation with Performance Guarantees
National Tsing Hua University（国立清华大学）
本文提出了一种针对乘法系统采样数据鲁棒控制的凸松弛方法，通过Wasserstein模糊集建模不确定性，提供严格的性能保证和鲁棒可行性条件。
2026-02-04 cs.SY eess.SY math.OC
Wasserstein Proximal Coordinate Gradient Algorithms
针对多分布上的复合测地凸优化问题，提出带三种更新方案的WPCG算法，证明其在不同条件下的收敛速率，数值结果验证了理论结论。
2024-09-17 math.OC math.ST stat.TH
