Wasserstein robust combinatorial optimization problems
针对目标函数成本不确定的组合优化问题,提出以经验分布为中心的Wasserstein球定义分布模糊集,求解最差分布下CVaR最小的解,分析问题复杂度并给出不同支撑集的求解方法,推广细化了Wasserstein鲁棒最短路径的已知结果。
2023-12-20 math.OC
Exactly or Approximately Wasserstein Distributionally Robust Estimation According to Wasserstein Radii Being Small or Large
该研究针对加性噪声线性测量模型下的Wasserstein分布鲁棒估计问题,证明了无穷维非凸极小极大问题与有限维问题鞍点存在性等价,给出充要条件与小半径下的充分条件,鞍点不存在时通过线性估计器求解得到上界与鲁棒线性估计器,并通过实验验证理论结果。
2025-10-03 eess.SP math.OC math.ST
Wasserstein distributionally robust optimization and its tractable regularization formulations
本文研究Wasserstein分布鲁棒优化问题,利用弱Lipschitz性质推导最坏情况损失量的上下界及与正则化形式一致的充分条件,并给出近似最坏情况分布的闭式形式,适用于回归、分类和风险度量等问题。
2024-02-06 math.OC
High-dimensional Optimal Density Control with Wasserstein Metric Matching
针对高维状态空间下的多智能体密度控制问题,提出基于深度网络降阶建模与Wasserstein度量匹配的框架,通过高效数值算法求解鞍点问题,经数值实验验证了方法性能。
2023-07-24 math.OC
Wasserstein Saddle-Free Newton: Saddle Escape and Local Spectral Convergence
RIKEN(理化学研究所);The University of Tokyo(东京大学)
本文研究了在Wasserstein空间上非凸泛函的最小化问题,提出了一种Wasserstein无鞍点牛顿(WSFN)方法,通过正则化的WassersteinHessian平方根预条件Wasserstein梯度,从而克服了标准Wasserstein牛顿动力学倾向于鞍点的倾向,并在多项式时间内达到全局极小值的α-邻域。
2026-09-29 math.OC stat.ML
Conditional Wasserstein Distances with Applications in Bayesian OT Flow Matching
Technical University of Berlin(柏林技术大学)
本文提出条件Wasserstein距离,推导其理论性质与流常微分方程,并通过松弛该距离扩展OT流匹配方法,用于求解贝叶斯逆问题,在逆问题和类别条件图像生成中验证了数值优势。
2025-08-27 cs.LG math.OC
Convex computation of the region of attraction of polynomial control systems
我们解决了计算目标集的吸引区域(ROA)的长期存在的问题(例如,一个平衡点的邻域)的控制非线性系统多项式动态和半代数状态和输入约束。我们表明,ROA可以通过解决一个无限维的凸线性规划(LP)问题的措施空间计算。反过来,这个问题可以通过一个经典的收敛层次的凸有限维线性矩阵不等式(LMI)近似解决。我们的方法是真正原始的意义上说,凸的问题计算的ROA是一个直接优化系统轨迹的结果。非负连续函数(近似多项式平方和)的对偶无限维LP允许我们生成一个层次的半代数外近似的ROA的价格解决一系列的LMI问题的渐近消失的保守性。这与现有的文献形成鲜明对比,它遵循一个专门的对偶李雅普诺夫方法产生非凸双线性矩阵不等式或保守的LMI条件。该方法是简单的,容易适用的外近似是一个单一的半定程序的结果,除了问题的描述没有额外的数据。
2013-11-28 math.OC
Accelerated Bregman Primal-Dual methods applied to Optimal Transport and Wasserstein Barycenter problems
本文讨论了混合原始-对偶(HPD)型算法近似求解离散最优输运(OT)和Wasserstein重心(WB)问题的效率,有和没有熵正则化。我们的第一个贡献是分析表明,这些方法产生的最先进的收敛速度,无论是理论上和实践中。接下来,我们将Malitsky和Pock在2018年提出的带有线插值的HPD算法扩展到对偶空间具有Bregman散度的设置,并且对偶函数相对于Bregman核是强凸的。这种扩展产生了一种新的方法OT和WB问题的基础上平滑的目标,也实现了最先进的收敛速度。最后,我们引入了一个新的Bregman分歧的基础上缩放的熵函数,使算法数值稳定,减少平滑,导致稀疏的解决方案OT和WB问题。我们补充我们的研究结果与数值实验和比较。
2022-08-30 math.OC
Distributionally Robust Stochastic Optimization with Wasserstein Distance
分布鲁棒随机最优化(DRSO)是一种在不确定性下进行优化的方法,其中,不是假设存在已知的真实潜在概率分布,而是针对一组选定的分布进行对冲。在本文中,我们首先指出,一组分布应选择适合手头的应用程序,并一直流行的一些选择,直到最近,对于许多应用程序,不是很好的选择。接下来,我们考虑与标称分布在选定的Wasserstein距离内的分布集。这样的集合选择有两个优点:(1)所得到的对冲分布比其他流行的集合选择所得到的分布更合理。(2)确定最坏情况下的期望分布的结果集的问题具有理想的易处理性。我们推导出一个强对偶的相应DRSO问题的重新表述和构造近似的最坏情况下的分布显式通过一阶最优性条件的对偶问题。我们的贡献是四方面的。(i)我们确定的充要条件存在的最坏情况下的分布,这是自然相关的增长率的目标函数。(ii)我们表明,从一个适当的Wasserstein距离产生的最坏情况下的分布有一个简洁的结构和清晰的解释。(iii)使用这种结构,我们表明,数据驱动的DRSO问题可以近似到任何精度的鲁棒最优化问题,从而许多DRSO问题变得易于处理的工具,从鲁棒优化。(iv)我们的强对偶性结果在一个非常一般的背景下成立。作为例子,我们表明,它可以应用于无限维过程控制和强度估计点过程。
2022-04-30 math.OC
Robustness to Model Approximation, Model Learning From Data, and Sample Complexity in Wasserstein Regular MDPs
Queen’s University(女王大学)
本文研究了Wasserstein正则马尔可夫决策过程中的模型近似鲁棒性、模型从数据学习及样本复杂性,探讨了在真实动态下最优策略的性能损失与Wasserstein距离的关系,并应用于扰动估计和经验模型学习。
2026-07-23 cs.SY eess.SY math.OC
2-Wasserstein Approximation via Restricted Convex Potentials with Application to Improved Training for GANs
Coordinated Science Laboratory, UIUC(伊利诺伊大学厄巴纳-香槟分校协同科学实验室);Technicolor AI Lab(Technicolor人工智能实验室)
我们提供了一个框架,以近似的2-Wasserstein距离和最优输运地图,服从有效的培训以及统计和几何分析。考虑到最优运输问题的Kantorovich对偶形式和二次费用,Brenier定理指出最优势函数是凸的,最优输运图是最优势函数的梯度。使用这种几何结构,我们限制最优化问题不同的参数化类的凸函数,并特别注意类的输入凸神经网络。我们分析了统计推广和歧视的权力,所产生的近似度量,我们证明了一个限制矩匹配属性的近似最优映射。最后,我们讨论了一个数值算法来解决限制性最优化问题,并提供数值实验来说明和比较所提出的方法与已建立的正则化为基础的方法。我们进一步讨论了我们的建议在GANs的模块化和可解释的设计中的实际意义,该设计将生成器训练与并行计算连接起来,以允许学习整个复合生成器。
2019-02-19 cs.LG math.OC stat.ML
Solving Fredholm Integral Equations of the Second Kind via Wasserstein Gradient Flows
ESOMAS, University of Turin(都灵大学);Collegio Carlo Alberto(卡洛阿尔贝托学院);Department of Statistics, University of Warwick(华威大学)
本文提出利用Wasserstein梯度流方法求解第二类Fredholm积分方程,通过均场粒子系统模拟梯度流并提供理论支持和数值验证。
2026-02-17 cs.NA math.NA math.OC
On the Computation of Kantorovich-Wasserstein Distances between 2D-Histograms by Uncapacitated Minimum Cost Flows
在这项工作中,我们提出了一种方法来计算一对二维直方图之间的Kantorovich-Wasserstein距离。最近在计算机视觉和机器学习方面的工作表明,通过解决具有$n$节点和$n^2$边的非常大的完全二分图上的经典运输问题,测量具有$n$箱的直方图之间的一阶Wasserstein距离的好处。我们的工作的主要贡献是近似的原始运输问题的无容量限制的最小成本流问题的规模为$O(n)$,利用几何结构的费用函数减少流网络。更准确地说,当箱中心之间的距离测量与1-范数或$\infty$-范数,我们的方法提供了一个最优解。当箱间距离用2-范数度量时:(i)给出了最优解与近似解之间误差的定量估计;(ii)在给定误差的情况下,构造了一个规模为$O(n)$的约化流网络.我们数值上显示我们的方法的好处,通过计算Wasserstein距离的顺序一个在一组作为基准的灰度图像在文献中。我们展示了我们的方法如何与1-范数,2-范数和$\infty$-范数地面距离的图像的大小进行缩放,并将其与文献中大量使用的其他两种方法进行比较。
2019-07-26 math.OC stat.ML
Gromov-Wasserstein Quantization and Clustering: Structure, Rates, and Algorithms
University of Tübingen(蒂宾根大学)
本文研究格罗莫夫-瓦瑟斯坦量化与聚类,证明其解的存在性,推导量化速率,提出类k-均值算法,实验显示其可用于3D形状、神经网络剪枝等场景,近似质量符合理论速率。
2026-08-12 cs.CG cs.LG math.OC
Convergence of a particle method for gradient flows on the $L^p$-Wasserstein space
本文研究 $L^p$-Wasserstein 空间中梯度流的粒子逼近,利用以粒子为中心的非重叠球离散能量并保持梯度流结构,证明其在一维情形收敛到双非线性扩散方程。
2025-01-07 cs.NA math.NA math.OC
Information Newton's flow: second-order optimization method in probability space
Stanford University(斯坦福大学);University of California(加利福尼亚大学)
我们介绍了一个框架,牛顿流在概率空间与信息度量,命名为信息牛顿流。这里考虑两个信息度量,包括Fisher-Rao度量和Wasserstein-2度量。一个已知的事实是,过阻尼Langevin动力学对应于Kullback-Leibler(KL)发散的Wasserstein梯度流。将这一事实推广到瓦瑟斯坦牛顿流,我们得到牛顿的朗之万动力学。我们提供的例子牛顿的朗之万动力学在一维空间和高斯家庭。在数值实现方面,我们设计了仿射模型和再生核希尔伯特空间(RKHS)中的采样有效变分方法来逼近Wasserstein牛顿方向。我们还建立了所提出的信息牛顿法与近似方向的收敛结果。贝叶斯抽样问题的几个数值例子证明了所提出的方法的有效性。
2020-08-05 cs.LG math.OC stat.ML
Neural Wasserstein Gradient Flows for Maximum Mean Discrepancies with Riesz Kernels
Humboldt-Universität zu Berlin(柏林洪堡大学);Technische Universität Berlin(柏林工业大学)
本文提出用神经网络逼近计算 Riesz 核 MMD 泛函的 Wasserstein 梯度流,处理传输与速度计划,并在交互能量上基准测试,提供从 Dirac 测度出发的解析公式与收敛性证明。
2024-03-21 cs.LG math.OC math.PR
Filters and Ultrafilters as Approximate Solutions in the Attainability Problems with Constrains of Asymptotic Character
研究了拓扑空间中的可达性问题。研究了Warga近似解的一些非序列形式:我们使用可测空间的滤子和超滤子。建立吸引集。
2010-05-27 math.FA math.GN math.OC
Forward-backward Gaussian variational inference via JKO in the Bures-Wasserstein Space
Massachusetts Institute of Technology(麻省理工学院);University of California, Davis(加州大学戴维斯分校);Microsoft Research(微软研究院)
本文提出FB-GVI算法,利用KL散度在Bures-Wasserstein空间上的复合结构求解高斯变分推断,并在对数光滑且对数凹及仅对数光滑两种条件下分别取得了最先进和首个收敛性保证。
2023-04-10 cs.LG math.OC math.ST
Quantum statistical learning via Quantum Wasserstein natural gradient
在这篇文章中,我们介绍了一种新的方法来近似的目标量子态$ρ_{\star}$的统计学习问题$\operatorname{argmin}_{ρ(θ) \in \mathcal P_θ} W_{Q}^2 (ρ_{\star},ρ(θ))$的一组参数化的量子态$ρ(θ)$在量子$L^2$ -Wasserstein度规。我们解决这个估计问题,考虑Wasserstein自然梯度流的密度算子有限维$C^*$代数。对于密度算子的连续参数模型,我们拉回量子Wasserstein度量,使得参数空间成为具有量子Wasserstein信息矩阵的黎曼流形。使用量子类似的Benamou-Brenier公式,我们推导出一个自然的梯度流的参数空间。我们还讨论了某些连续变量的量子态,通过研究相关的维格纳概率分布的输运。
2020-08-25 cs.IT math-ph math.IT
Wasserstein medians: robustness, PDE characterization and numerics
本文提出Wasserstein中位数作为Wasserstein重心的稳健替代方案,证明其崩溃点约为1/2,通过PDE特征与最小流问题建立联系,并基于Douglas-Rachford格式提出新的数值计算方法。
2025-02-03 math.AP math.OC stat.AP
Wasserstein barycenters are NP-hard to compute
Massachusetts Institute of Technology(麻省理工学院)
计算Wasserstein重心(a.k.a.最优输运重心)是几何学中的一个基本问题,由于在数据科学中的许多应用,最近引起了相当大的关注。虽然在任何固定的维度上都存在多项式时间算法,但所有已知的运行时间在维度上都呈指数级下降。这是一个开放的问题,是否这种指数依赖性是改进的多项式依赖。本文证明,除非P=NP,答案是否定的。这揭示了一个“维数灾难”的Wasserstein重心计算不会发生的最优输运计算。此外,我们的硬度计算Wasserstein重心的结果扩展到近似计算,看似简单的情况下的问题,并平均概率分布在其他最优输运指标。
2021-12-03 cs.CC cs.DS cs.LG
On adversarial robustness and the use of Wasserstein ascent-descent dynamics to enforce it
我们提出了迭代算法来解决各种监督学习感兴趣的设置中的对抗问题。我们的算法,这可以被解释为合适的上升下降动力学在Wasserstein空间,采取相互作用的粒子系统的形式。这些相互作用的粒子动力学收敛到适当的平均场极限方程在某些大量的粒子制度。反过来,我们证明了,在一定的规律性假设下,这些平均场方程收敛,在大的时间限制,接近纳什均衡的原始对抗学习问题。我们目前的结果为非凸非凹的设置,以及为非凸凹的。数值实验说明了我们的结果。
2023-01-09 cs.LG math.AP math.OC
Scalable Computations of Wasserstein Barycenter via Input Convex Neural Networks
Georgia Institute of Technology(佐治亚理工学院);University of California, Irvine(加利福尼亚大学尔湾分校)
Wasserstein Barycenter是一种原则性的方法来表示给定的一组概率分布的加权平均值,利用由最佳运输引起的几何形状。针对机器学习中的高维应用,提出了一种新的可扩展的Wasserstein重心近似算法。我们提出的算法是基于Kantorovich对偶公式的Wasserstein-2距离以及最近的神经网络架构,输入凸神经网络,这是已知的参数化凸函数。我们的方法的显着特点是:i)它只需要来自边缘分布的样本; ii)与现有方法不同,它用生成模型表示重心,因此可以从重心生成无限个样本,而无需查询边缘分布; iii)它在一个边缘情况下类似于生成对抗模型。我们证明了我们的算法的有效性,通过比较它与国家的最先进的方法在多个实验。
2021-11-27 cs.LG math.OC stat.ML
Geometric Sparse Coding in Wasserstein Space
Tufts University(塔夫茨大学)
Wasserstein字典学习是一种无监督的方法,用于学习概率分布的集合,这些概率分布生成观察到的分布作为Wasserstein重心组合。用于Wasserstein字典学习的现有方法优化了一个目标,该目标通过重心插值来寻找具有足够表示能力的字典以近似观察到的训练数据,但不对与字典相关联的系数施加额外的结构属性。这导致字典密集地表示观察到的数据,这使得系数的解释具有挑战性,并且当在下游任务中使用学习的系数时,也可能导致经验性能差。相反,在欧氏空间中的稀疏字典学习的动机,我们提出了一个几何稀疏正则化的Wasserstein空间,促进表示的数据点只使用附近的字典元素。我们表明,这种方法导致稀疏表示在Wasserstein空间和地址的重心表示的非唯一性的问题。此外,当数据被生成为固定分布的Wasserstein重心时,该正则化器有助于在非正则化Wasserstein字典学习不适定的情况下恢复生成分布。通过对合成数据和真实数据的实验,我们证明了我们的几何正则化方法在Wasserstein空间中产生了更稀疏和更可解释的字典,在下游应用中表现更好。
2022-10-21 cs.CV cs.LG eess.SP
Inclusive KL Gradient Flows: Otto-Wasserstein, Fisher-Rao-Gaussian, and Local-Estimator Dynamics
Department of Mathematics, KTH Royal Institute of Technology(数学系,皇家理工学院)
建立统一的包含性KL推理梯度流和PDF框架,表明最大均值差异最小化可视为含近似梯度估计器的包含性KL推理,还开发了直接针对包含性KL散度的梯度流,为高斯变分推理提供基础。
2026-07-07 cs.LG math.OC stat.ML
Neural solver for Wasserstein Geodesics and optimal transport dynamics
本文提出了一种基于神经网络的求解器,用于计算Wasserstein地轴和最优传输动力学,通过近似相关函数实现对目标分布的直接采样。
2026-02-25 cs.LG math.OC stat.ML
Efficient Gradient Flows in Sliced-Wasserstein Space
Université Bretagne Sud(南布列塔尼大学);CNRS(法国国家科学研究中心);IMT Atlantique(大西洋国立高等工业技术学院)
概率分布空间中的泛函最小化可以用Wasserstein梯度流来完成。为了数值求解它们,一种可能的方法是依赖于Jordan-Kinderlehrer-Otto(JKO)方案,该方案类似于欧几里得空间中的邻近方案。然而,它需要在每次迭代中求解嵌套优化问题,并且以其计算挑战而闻名,特别是在高维中。为了缓解它,最近的工作提出了利用Brenier定理近似JKO方案,并使用输入凸神经网络的梯度来参数化密度(JKO-ICNN)。然而,这种方法具有高计算成本和稳定性问题。相反,这项工作提出了在概率测度空间中使用梯度流,并赋予切片Wasserstein(SW)距离。我们认为,这种方法比JKO-ICNN更灵活,因为SW享有一个封闭形式的可微近似。因此,每一步的密度可以通过任何生成模型来参数化,这简化了计算负担,并使其在更高的维度上易于处理。
2022-11-15 cs.LG math.OC stat.ML
Wasserstein Distributionally Robust Inverse Multiobjective Optimization
Amazon(亚马逊);University of Pittsburgh(匹兹堡大学)
逆多目标优化提供了一个通用的框架,为无监督学习任务的推断参数的多目标决策问题(ESTA),根据一组观察到的决定,从人类专家。然而,这个框架的性能关键依赖于一个准确的决策,足够的高质量的决策,和一个参数空间,包含足够的信息的决策的可用性。为了避免假设条件、数据和参数空间的不确定性,本文研究了逆多目标优化的分布鲁棒方法。具体来说,我们利用Wasserstein度量来构建一个以这些决策的经验分布为中心的球。然后,我们制定了Wasserstein分布鲁棒逆多目标最优化问题(WRO-IMOP),最大限度地减少了最坏情况下的预期损失函数,其中最坏的情况下采取了所有的分布在Wasserstein球。我们证明了WRO-IMOP估计的超额风险具有次线性收敛速率。此外,我们提出了半无限的WRO IMOP的重新制定和开发的切割平面算法,收敛到一个近似解在有限的迭代。最后,我们证明了我们的方法的有效性的合成多目标二次规划和现实世界的投资组合最优化问题。
2020-09-30 cs.LG math.OC stat.ML
Numerical Analysis on Neural Network Projected Schemes for Approximating One Dimensional Wasserstein Gradient Flows
本文研究用两层ReLU神经网络投影格式逼近一维Wasserstein梯度流,建立理论保证与截断误差分析,并通过多个数值算例验证算法有效性。
2024-02-26 cs.NA math.NA math.OC
Second-order Conic Programming Approach for Wasserstein Distributionally Robust Two-stage Linear Programs
提出了一种求解1-Wasserstein球上分布鲁棒两阶段随机线性规划的二阶锥规划方法。我们从只在目标函数中具有分布不确定性的情况出发,将其精确地转化为SOCP问题。然后,我们研究的情况下,分布不确定性的约束,并表明,这样一个强大的计划一般是NP-困难的,因为它涉及到一个多面体的范数最大化问题。然而,如果多面体的极值点作为先验,它被简化为一个SOCP问题。这促使设计一个约束生成算法的可证明收敛近似解决NP难问题。与现有文献形成鲜明对比的是,通过简单地扰动两种情况下的每个样本,将实现最坏情况成本的分布作为“经验”分布给出。最后通过实验验证了该模型在样本外性能和计算复杂性方面的优势。
2020-05-28 cs.SY eess.SY math.OC