Faster Wasserstein Distance Estimation with the Sinkhorn Divergence
平方Wasserstein距离是在非参数设置中比较概率分布的自然量。这个量通常是估计与插件估计器,通过一个离散的最优输运问题,可以解决的$ε$ -精度通过添加一个熵正则化的顺序$ε$和使用例如Sinkhorn的算法定义。在这项工作中,我们建议用Sinkhorn散度来估计它,Sinkhorn散度也是建立在熵正则化的基础上,但包括去偏项。我们表明,对于光滑密度,这种估计有一个可比的样本复杂性,但允许更高的正则化水平,顺序$ε^{1/2}$,从而导致改进的计算复杂性界限和强大的加速在实践中。我们的理论分析涵盖的情况下,随机采样的密度和确定性离散均匀网格。我们还提出并分析了一个估计的基础上Richardson外推的Sinkhorn发散,享有改进的统计和计算效率保证,在一个条件下的近似误差的规律性,这是特别满足高斯密度。最后,我们证明了所提出的估计与数值实验的效率。
2020-10-29 math.OC math.ST stat.ML
Convergence of the Sinkhorn Riemannian metric for finitely supported measures
Yale University(耶鲁大学);Princeton University(普林斯顿大学)
本文证明了有限支撑测度在水平扰动下Sinkhorn黎曼度量及其高阶导数、曲率张量和Christoffel符号随正则化参数趋于零时的收敛性,并指出了与绝对连续情形的差异。
2026-09-15 math.OC
Quantitative Stability of Regularized Optimal Transport and Convergence of Sinkhorn's Algorithm
研究了熵正则化最优输运关于边界的稳定性。在包含二次代价和无界边缘的一般条件下,得到了$p$ -Wasserstein距离中的值的Lipschitz连续性和最优耦合的Hölder连续性.结果的值扩展到正则化的任意发散。作为一个应用,我们证明了Sinkhorn算法在Wasserstein意义下的收敛性,包括对二次成本的收敛性.提出了两种技术:第一个比较了最佳耦合与其所谓的阴影,耦合诱导其他边际显式建设。第二种方法通过改变坐标来变换一组边缘值,从而将不同边缘值的比较简化为相同边缘值下不同费用函数的比较。
2022-07-05 math.AP math.OC math.PR
Metric extrapolation in the Wasserstein space
研究 Wasserstein 空间中通过允许负系数将极小测地线延拓至所有时间的变分问题,证明其存在 Toland 对偶与重心最优传输两种等价凸表述,并提出基于熵正则化与 Sinkhorn 算法变体的高效数值求解方案。
2025-05-05 math.OC
Optimal Transport losses and Sinkhorn algorithm with general convex regularization
引入了一类新的凸正则化最优输运损失,推广了经典的最优输运的熵正则化和Sinkhorn发散,并提出了一种推广的Sinkhorn算法.我们的框架统一了许多正则化和数值方法以前出现在文献中。我们证明了对偶问题最大值的存在性,互补松弛条件,提供了这类变分问题解的完整表征。因此,我们研究了这些损失的结构性质,包括连续性,可微性,并提供其梯度的显式公式。最后,我们提供了广义Sinkhorn算法的收敛性和稳定性的理论保证,即使在连续环境下也是如此。这里开发的技术也直接适用于研究Wasserstein重心,或更一般地说,多边缘问题。
2020-07-02 math.FA math.OC
Fast Sinkhorn II: Collinear Triangular Matrix and Linear Time Accurate Computation of Optimal Transport
在我们以前的工作[arXiv:2202.10042]中,通过利用核矩阵的特殊结构,将Sinkhorn迭代的复杂度从$O(N^2)$降低到最优$O(N)$。本文通过定义和利用下共线三角形矩阵(L-CoLT矩阵)和上共线三角形矩阵(U-CoLT矩阵)的性质,研究了核矩阵的特殊结构.我们证明了(1)L/U-CoLT矩阵向量乘法可以在$O(N)$运算中进行;(2)这两类矩阵在Hadamard积和矩阵缩放下都是封闭的.这些属性有助于缓解两个关键的困难,减少不精确的近点方法(IPOT)的复杂性,并允许我们显着减少迭代次数$O(N)$。这就产生了快速Sinkhorn II(FS-2)算法,用于精确计算最优输运,算法复杂度低,收敛速度快。数值实验表明了该方法的有效性和效率。
2022-06-17 math.OC
Deriving the Gradients of Some Popular Optimal Transport Algorithms
Rutgers University(罗格斯大学)
本文推导了计算最优传输中几种流行算法的梯度,包括Sinkhorn算法、Wasserstein均值算法和Wasserstein字典学习算法。
2025-12-02 cs.DS math.OC
From Optimal Transport to Discrepancy
量化测量之间的距离的常用方法是通过它们的差异,也称为最大平均差异(MMD)。离散性与Sinkhorn发散$S_\varepsilon$相关,具有适当的费用函数$\varepsilon \to \infty$。在相反的方向上,如果$\varepsilon \to 0$,Sinkhorn分歧接近另一个重要的测量之间的距离,即Wasserstein距离或更一般的最优输运,距离。在这一章中,我们研究了紧集上任意测度的极限过程和Lipschitz连续费用函数。特别是,我们感兴趣的行为相应的最佳电位$\hat φ_\varepsilon$,$\hat ψ_\varepsilon$和$\hat φ_K$出现在双制定的辛霍恩分歧和差异,分别。虽然部分结果是已知的,我们提供了严格的证明,我们还没有发现在这种一般性的文献中的一些关系。最后,我们证明了限制过程的数值例子,并显示的行为的距离时,用于近似的措施点措施的过程中称为抖动。
2020-08-24 math.OC
A Linear Complexity Algorithm for Optimal Transport Problem with Log-type Cost
针对现有线性时间Sinkhorn算法仅适用于Wasserstein-1度量的局限,本文结合级数重排与动态规划,实现对数型成本下Sinkhorn迭代的线性时间矩阵-向量乘法,拓展了算法适用范围并通过数值模拟验证了效果。
2025-03-23 math.OC
Accelerating the Sinkhorn algorithm for sparse multi-marginal optimal transport by fast Fourier transforms
利用Sinkhorn算法研究了离散多边际最优输运问题的数值解。在一般情况下,Sinkhorn算法遭受的边缘数的维数灾难。如果MOT费用函数按照树或圆进行迭代,则其复杂度与边际测度的数量成线性关系。在这种情况下,我们通过非均匀快速傅立叶方法加快了Sinkhorn算法中所需的径向核的卷积。所提出的具有树结构费用函数的加速Sinkhorn算法的每个步骤具有$\mathcal O(K N)$的复杂度,而不是用于直接矩阵向量运算的经典$\mathcal O(K N^2)$,其中$K$是边缘的数量,并且每个边缘测量在最多$N$点上被支持。在圆形结构费用函数的情况下,复杂度从$\mathcal O(K N^3)$提高到$\mathcal O(K N^2)$。数值实验证实了这一点。
2023-02-21 cs.NA math.NA math.OC
Faster Unbalanced Optimal Transport: Translation invariant Sinkhorn and 1-D Frank-Wolfe
DMA, ENS, PSL(巴黎文理研究大学高等师范学校数学系);LIGM, UPEM(巴黎东马恩拉瓦莱大学加斯帕尔·蒙日信息实验室);CNRS, DMA, ENS, PSL(法国国家科学研究中心、巴黎文理研究大学高等师范学校数学系)
不平衡最优输运(UOT)扩展了最优输运(OT),以考虑质量变化来比较分布。这对于OT在ML应用中取得成功至关重要,使其对数据标准化和离群值具有鲁棒性。基线算法是Sinkhorn,但UOT的收敛速度可能比OT慢得多。在这项工作中,我们确定了这种缺陷的原因,即缺乏一个全局规范化的迭代,这相当于一个翻译的双重OT潜力。我们的第一个贡献是利用这个想法开发一个可证明加速的Sinkhorn算法(创造了“平移不变Sinkhorn”)的UOT,弥合计算差距与OT。我们的第二个贡献集中在1-D UOT,并提出了一个Frank-Wolfe求解器应用到这个平移不变制定。每个步骤的线性预言相当于解决1-D OT问题,导致每次迭代的线性时间复杂度。本文的最后一个贡献是将此方法推广到一维测度的UOT重心的计算。数值模拟显示了这三种方法带来的收敛速度的改善。
2022-01-03 cs.LG math.OC
Sinkhorn Divergences for Unbalanced Optimal Transport
CNRS(法国国家科学研究中心);ENS(巴黎高等师范学院);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Université Paris-Est Marne-la-Vallée(巴黎东-马恩拉瓦莱大学)
最优输运在概率分布之间引入了地球移动器(Wasserstein)距离,这是一种与广泛问题相关的几何发散。在过去的十年中,最优输运的两个松弛已被深入研究:不平衡输运,这是鲁棒的离群值的存在,并可以使用时,分布不具有相同的总质量;熵正则化的运输,这是鲁棒的采样噪声,并适合于使用Sinkhorn算法的快速计算。本文结合了这两条线的工作,把坚实的地面上强大的最优输运。我们的主要贡献是一个概括的Sinkhorn算法不平衡的运输:我们的方法交替之间的标准Sinkhorn更新和逐点应用的收缩函数。这意味着网格图像、点云和采样分布上的熵输运求解器都可以很容易地进行修改以支持不平衡输运,并证明在所有设置中都具有线性收敛。然后,我们展示了如何使用这种方法来定义伪距离的积极措施,满足关键的几何公理:(不平衡)Sinkhorn分歧是可微的,积极的,明确的,凸的,统计上的强大,并避免任何“熵偏差”对收缩的措施的支持。
2023-01-16 cs.LG math.OC stat.ML
Gradient Flows of Potential Energies in the Geometry of Sinkhorn Divergences
Gustave Eiffel University, LIGM(巴黎-埃菲尔大学,LIGM);Bocconi University, Department of Decision Sciences and BIDSA(博科尼大学,决策科学系和BIDSA)
本文分析了概率测度空间中基于Sinkhorn散度几何的势能梯度流,证明其适定性、稳定性及能量长期收敛于最小值,通过变量替换在RKHS中研究并验证修改后JKO方案的收敛性,还提供了数值例证。
2025-11-18 math.AP math.MG math.OC
Accelerating Sinkhorn Algorithm with Sparse Newton Iterations
Stanford University(斯坦福大学);Amazon(亚马逊)
本文提出 Sinkhorn-Newton-Sparse(SNS),通过提前停止矩阵缩放并引入稀疏 Hessian 的 Newton 型第二阶段,在保持每轮 $O(n^2)$ 复杂度的同时显著加快最优传输求解。
2024-01-20 cs.LG math.OC stat.ML
Entropic Regularization of the Nested Distance
2012年,Pflug和Pichler在正则性假设下证明了多阶段随机规划(MSP)中的值函数是Lipschitz连续的。嵌套距离,这是情景树(或具有有限支持的离散时间随机过程)之间的距离。嵌套距离是Wasserstein距离的改进,用于解释离散时间随机过程的过滤的接近性。两个场景树之间的嵌套距离的计算相当于计算大小为$n$的较小条件概率之间的指数(在水平$T$中)数量的最优输运问题,其中$n$小于每个节点的子节点的最大数量。这样的最优输运问题可以通过复杂度为$O(n^3\log(n))$的拍卖算法来解决。2013年,Cuturi引入了Sinkhorn算法,这是一种交替投影方案,可以解决熵正则化最优输运问题。Sinkhorn算法线性收敛,每次迭代的复杂度为$O(n^2)$。在这篇文章中,我们提出并测试数值熵正则化的嵌套距离。
2021-07-21 math.OC
A note on overrelaxation in the Sinkhorn algorithm
我们推导出一个先验的Sinkhorn算法的超松弛的参数范围,它保证了整体收敛和严格更快的渐近局部收敛。我们追求一个零成本的过程中选择一个接近最佳的松弛因子的线性化问题的谱分析的指导下。
2021-12-06 cs.NA math.NA math.OC
Adaptive Similar Triangles Method: a Stable Alternative to Sinkhorn's Algorithm for Regularized Optimal Transport
在本文中,我们的动机是两个重要的应用:熵正则化的最优输运问题和道路或IP交通需求矩阵估计的熵模型。这两种方法都是求解一类特殊的带有线性等式约束的最优化问题,其目标函数为一个熵正则化子和一个线性函数之和。众所周知,当熵正则化参数很小时,基于Sinkhorn方法(也称为RSA或平衡方法)的最先进的求解器可能无法工作。我们将上述最优化问题看作是一般强凸优化问题的一个特例,该问题具有线性约束。我们提出了一个新的算法来解决这类问题。我们的方法是基于过渡到对偶问题。首先,我们提出了一种新的加速梯度法,梯度的Lipschitz常数的自适应选择。然后,我们应用这种方法的对偶问题,并显示,如何重建一个近似解的原始问题的可证明的收敛速度。我们证明了率$O(1/k^2)$,$k$是迭代计数器,无论是原始目标残差的绝对值和约束不可行。我们的方法具有类似的Sinkhorn的方法的每次迭代的复杂性,但更快,更稳定的数值,当正则化参数是小的。我们通过数值实验说明了我们的方法的优势,为上述两个应用。我们表明,存在一个阈值,这样,当正则化参数小于这个阈值,我们的方法优于辛霍恩的方法在计算时间方面。
2017-09-26 math.OC
A semiconcavity approach to stability of entropic plans and exponential convergence of Sinkhorn's algorithm
该研究提出基于半凹性的方法,分析熵最优传输计划的稳定性与Sinkhorn算法的指数收敛性,给出无需代价有界的收敛充分条件,在多种分布和代价场景下得到新的紧最优收敛速率。
2025-10-03 math.OC math.PR stat.ML
FINOM: Fast Sinkhorn on Non-uniform Meshes
Tsinghua University(清华大学)
提出一种线性复杂度的算法FINOM,通过引入“分割索引”概念将核矩阵划分为两个准共线块,利用动态规划将Sinkhorn算法每轮迭代复杂度从O(N^2)降至O(N),实现非均匀网格上Wasserstein-1距离的高效计算。
2026-05-26 cs.NA math.NA math.OC
Fast solution to the fair ranking problem using the Sinkhorn algorithm
University of Tsukuba(筑波大学);Recruit Co., Ltd(Recruit公司);Mercari, inc(Mercari公司);Hosei University(法政大学)
本文针对双边市场推荐系统中的公平排序问题,提出将原约束优化问题转化为无约束问题,并利用重复执行Sinkhorn算法的梯度上升方法实现快速求解,实验表明其速度快于商业优化软件约1000倍且排序质量高。
2024-06-11 cs.AI cs.IR math.OC
Sample complexity of optimal transport barycenters with discrete support
IRIT, TSE, INP Toulouse(图卢兹国立理工学院);TSE, Université Toulouse Capitole(图卢兹第一大学);CNRS, IRIT, Université de Toulouse(法国国家科学研究中心)
针对目标概率测度最优传输重心的计算近似问题,提出经验稀疏最优传输重心的O(√(N/n))统计泛化界,覆盖多种传输散度并讨论其在K-means等场景的应用。
2025-11-18 math.OC math.ST stat.TH
Stochastic Saddle-Point Optimization for Wasserstein Barycenters
HSE University(俄罗斯高等经济大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Institute for Information Transmission Problems(信息传输问题研究所);Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机研究所)
我们考虑人口Wasserstein重心问题的随机概率测度支持上的有限集的点和在线数据流产生的。这导致了一个复杂的随机最优化问题,其中的目标是作为一个随机最优化问题的解决方案给出的函数的期望。我们采用的结构的问题,并获得一个凹凸随机鞍点重新制定这个问题。在随机概率测度分布为离散分布的情况下,提出了一种随机最优化算法,并估计了算法的复杂度。第二个结果,基于核方法,将前一个结果推广到任意分布的随机概率测度。此外,在许多情况下,这种新算法的总复杂度优于随机逼近方法与Sinkhorn算法相结合。我们还说明了我们的发展由一系列的数值实验。
2021-12-02 cs.LG math.OC stat.ML
Overrelaxed Sinkhorn-Knopp Algorithm for Regularized Optimal Transport
本文描述了一组快速计算正则化最优输运问题的解的方法。它推广和改进了广泛使用的迭代Bregman投影算法(或Sinkhorn-Knopp算法)。我们首先建议依赖于正则化的非线性加速方案。在实践中,这种方法导致快速算法,但不能确保其整体收敛。因此,我们接下来提出了一个新的算法与收敛保证。这个想法是过度放松布雷格曼投影算子,允许更快的收敛。我们提出了一个简单的方法,建立整体收敛,确保减少的李雅普诺夫函数在每一步。构造了一种基于李雅普诺夫函数的超松弛参数自适应选择方法。我们还提出了一个启发式选择一个合适的渐近超松弛参数,基于局部收敛分析。我们的数值实验表明,在某些制度的数量级的收敛速度的增益。
2021-03-31 cs.NA math.NA math.OC
A Sinkhorn-type Algorithm for Constrained Optimal Transport
Stanford Univerisity(斯坦福大学);Amazon(亚马逊公司)
针对带等式与不等式约束的最优传输问题,本文推导对应熵正则化公式,提出带理论保障的Sinkhorn型算法,证明其误差界与收敛速率,并加入动态正则化调度与二阶加速以提升收敛性能,拓展了熵最优传输的适用场景。
2024-03-08 cs.LG math.OC
Provably Convergent Policy Optimization via Metric-aware Trust Region Methods
University of Washington(华盛顿大学);ETH Zrich(苏黎世联邦理工学院);University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Wisconsin Institute for Discovery(威斯康星发现研究所)
本文提出基于Wasserstein和Sinkhorn信任域的策略优化方法WPO与SPO,通过拉格朗日对偶推导闭式更新,理论上证明了单调提升与全局收敛,并在实验中验证了其优于现有策略梯度方法的性能。
2023-06-25 cs.AI cs.LG math.OC
PINS: Proximal Iterations with Sparse Newton and Sinkhorn for Optimal Transport
Department of Mathematics(数学系);University of Maryland(马里兰大学);University of Tennessee(田纳西大学);Department of Computer Science(计算机科学系)
PINS通过近端迭代结合稀疏牛顿和Sinkhorn算法,克服了最优传输中熵偏置 plateau 的限制,实现了更高的精度和效率。
2026-05-11 cs.LG math.OC
Wasserstein Dictionary Learning: Optimal Transport-based unsupervised non-linear dictionary learning
本文提出了一种新的概率单纯形中直方图的非线性字典学习方法。该方法利用了最优传输理论,在这个意义上,我们的目标是使用所谓的位移插值(又名)重建直方图。Wasserstein重心);这些原子本身是概率单形中的合成直方图。我们的方法同时估计这样的原子,并且对于每个数据点,可以最佳地将其重建为这样的原子的最佳运输重心的权重向量。我们的方法在计算上是易于处理的,这要归功于在通常的最优运输问题中添加了熵正则化,从而产生了一种高效、并行且易于区分的近似方案。原子和权重都是使用基于梯度的下降方法学习的。通过自动微分的广义Sinkhorn迭代,熵平滑产生的重心。由于其配方依赖于Wasserstein重心,而不是通常的矩阵产品之间的字典和代码,我们的方法允许原子和输入数据的重建之间的非线性关系。我们说明了它的应用程序在几个不同的图像处理设置。
2018-03-15 cs.GR math.OC stat.ML
A Distributed Algorithm for Measure-valued Optimization with Additive Objective
University of California, Santa Cruz(加州大学圣克鲁兹分校)
提出了一种求解可加目标测度值最优化问题的分布式非参数算法。这些问题出现在随机学习和控制中的几个上下文中,包括从非归一化先验的Langevin采样,平均场神经网络学习和Wasserstein梯度流。该算法包括一个两层的交替方向法的乘法器(ADMM)。外层ADMM将欧几里德共识ADMM推广到Wasserstein共识ADMM及其熵正则化版本Sinkhorn共识ADMM。内层ADMM原来是标准欧几里得ADMM的一个特定实例。整个算法实现了概率测度流形上梯度流的算子分裂。
2022-02-17 cs.LG cs.SY eess.SY
Displacement smoothness of entropic optimal transport
本文证明 Schrödinger 映射在 $L^2$-Wasserstein 空间与 $\mathcal{C}^k$ 函数空间之间的 Lipschitz 连续性,并将其用于确立熵最优传输代价的位移光滑性及相关梯度流的适定性。
2024-03-01 math.AP math.OC
Numerical Methods for Large-Scale Optimal Transport
最优输运(OT)问题是一个经典的最优化问题,具有线性规划的形式。机器学习应用在其解决方案中提出了新的计算挑战。具体地,OT问题定义了诸如图像、视频、文本等的现实世界对象之间的距离,以概率分布建模。在这种情况下,相应的最优化问题的大维度不允许应用经典的方法,如网络单纯形或邻域点方法。通过引入熵正则化并使用高效的Sinkhorn算法来解决正则化问题,克服了这一挑战。一个灵活的替代方法是加速原始-对偶梯度法,它可以使用任何强凸正则化。我们讨论这些算法和其他相关问题,如近似Wasserstein重心连同其解决方案的有效算法,包括分散的分布式算法。
2022-10-24 math.OC
A Riemannian Block Coordinate Descent Method for Computing the Projection Robust Wasserstein Distance
University of California, Davis(加利福尼亚大学戴维斯分校)
Wasserstein距离在机器学习和深度学习中变得越来越重要。尽管沃瑟斯坦距离很受欢迎,但由于维数灾难,它很难近似。最近提出的一种减轻维数灾难的方法是将高维概率分布的采样数据投影到低维子空间上,然后计算投影数据之间的Wasserstein距离。然而,这种方法需要解决Stiefel流形上的最大-最小问题,这在实践中非常具有挑战性。唯一直接解决这个问题的现有工作是RGAS(Riemannian Gradient Ascent with Sinkhorn Iteration)算法,该算法需要在每次迭代中解决熵正则化的最优运输问题,因此对于大规模问题来说代价高昂。在本文中,我们提出了一个黎曼块坐标下降(RBCD)方法来解决这个问题,这是基于一个新的正则化最大-最小问题的Stiefel流形上的重新制定。我们证明了RBCD得到$ε$-平稳点的算术运算的复杂性是$O(ε^{-3})$。这显著提高了RGAS的相应复杂度,即$O(ε^{-12})$。此外,我们的RBCD具有非常低的每次迭代的复杂度,因此适合于大规模的问题。在模拟数据集和真实数据集上的数值结果表明,该方法比现有的方法更有效,特别是当采样数据的数量非常大时。
2021-09-27 cs.LG math.OC stat.ML
Multilevel Optimal Transport: a Fast Approximation of Wasserstein-1 distances
我们提出了一个快速算法的计算Wasserstein-1距离,这是一个特殊类型的最优运输距离的齐次一次运输成本。我们的算法是建立在多级原始对偶算法。几个数值例子和复杂性分析提供了证明其计算速度。对于尺寸为$512\times512$的一些常用图像实例,该算法在单CPU上可在$0.2\sim 1.5$秒内给出解,比现有算法快得多。
2019-08-04 math.OC stat.CO
Multi-Marginal Gromov-Wasserstein Transport and Barycenters
本文提出多边际 Gromov-Wasserstein 传输及其正则化、非平衡与融合形式,给出双凸松弛和 Sinkhorn 交替求解算法,并建立其与 GW 重心的联系。
2023-07-13 cs.NA math.NA math.OC
Annealed Sinkhorn for Optimal Transport: convergence, regularization path and debiasing
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
提出Debiased Annealed Sinkhorn算法,通过减少松弛误差实现更快的退火调度,单次运行即可覆盖标准Sinkhorn算法的完整速度-精度Pareto前沿。
2024-08-21 cs.LG math.OC
Solving a Special Type of Optimal Transport Problem by a Modified Hungarian Algorithm
在基于Wasserstein距离的独立性检验中,计算经验Wasserstein距离是一个具有特殊结构的最优输运(OT)问题。这一观察启发我们研究一种特殊类型的OT问题,并提出一种改进的匈牙利算法来精确求解它。对于包含两个分别含有$m$和$n$原子的边元($m\geq n$)的OT问题,算法的计算复杂性为$O(m^2n)$ .在独立性测试中计算经验Wasserstein距离需要解决这种特殊类型的OT问题,其中$m=n^2$。所提出的算法的相关计算复杂性是$O(n^5)$,而应用经典匈牙利算法的顺序是$O(n^6)$。除了上述特殊类型的OT问题,它表明,修改后的匈牙利算法可以采用解决更广泛的OT问题。该算法的更广泛的应用进行了讨论-解决一对多分配问题和多对多分配问题。我们进行数值实验来验证我们的理论结果。实验结果表明,改进的匈牙利算法优于匈牙利算法,著名的Sinkhorn算法,网络单纯形算法。
2023-03-01 math.OC stat.ML
Approximating the Quadratic Transportation Metric in Near-Linear Time
计算两个点云之间的二次传输度量(也称为$2$ -Wasserstein距离或均方根距离),或者更一般地,两个离散分布,是机器学习,统计学,计算机图形学和理论计算机科学中的基本问题。由于Agarwal和Sharathkumar在2014年的一系列工作,一个复杂的几何算法达到了高潮,该算法在时间$\tilde{O}(n^{3/2})$中运行,其中$n$是点数。然而,获得更快的算法已被证明是困难的,因为已知$2$ -Wasserstein距离具有较差的草图和嵌入属性,这限制了几何方法的有效性。在本文中,我们给出了一个非常简单的确定性算法与$\tilde{O}(n)$运行时使用一个完全不同的方法的基础上熵正则化,近似Sinkhorn缩放,和高斯核矩阵的低秩近似。我们给我们的算法的维数和精度的近似明确的依赖。
2018-12-16 cs.DS math.OC
Decentralize and Randomize: Faster Algorithm for Wasserstein Barycenters
研究了分布于网络上的有限连续概率测度集的正则化Wasserstein重心的离散逼近的分散分布式计算.我们假设有一个由智能体/机器/计算机组成的网络,每个智能体拥有一个私有的连续概率测度,并试图通过从其本地度量中获取样本并与邻居交换信息来计算网络中所有度量的重心。基于这个问题,我们提出并分析了一种新的求解一般线性等式约束随机凸优化问题的加速原始-对偶随机梯度法。然后,我们将此方法应用于分散分布优化设置,得到一个新的算法的分布式半离散正则Wasserstein重心问题。此外,我们显式的非渐近复杂性所提出的算法。
2020-02-20 cs.DC math.OC
Domain decomposition for entropy regularized optimal transport
研究了熵正则化下求解最优输运问题的Benamou区域分解算法。关键的观察是,正则化的变体收敛到全局最优解非常温和的假设下。我们证明了该算法的线性收敛的Kullback-Leibler发散和说明(可能非常慢)的速度与数值例子。对于具有足够几何结构的问题(例如图像之间的Wasserstein距离),我们期望更快的收敛。然后,我们讨论了重要方面的计算效率的实现,如自适应稀疏,粗到细的计划和并行化,铺平了道路,数值求解大规模的最优输运问题。我们表现出高效的数值性能计算的Wasserstein-2之间的距离的2D图像和观察,即使没有并行化,区域分解比较有利地应用一个单一的高效实现的Sinkhorn算法的运行时间,内存和解决方案的质量。
2021-11-22 cs.NA math.NA math.OC
Entropic Gromov-Wasserstein Distances: Stability and Algorithms
本文利用变分表示推导出求解二次Entropic GW距离的高效算法,通过加速梯度法和Sinkhorn迭代提供非渐近收敛保证,并在实验中验证了其最先进的性能。
2024-01-10 math.OC math.ST stat.TH
Fast and Smooth Interpolation on Wasserstein Space
我们提出了一种新的方法,光滑插值概率测度使用的几何最优输运。为此,我们减少了这个问题的经典欧几里德设置,使我们能够直接利用广泛的工具箱样条插值。与以前的方法测量值样条,我们的插值曲线(i)有一个明确的解释为管理粒子流,这是自然的应用程序,(ii)来与第一近似保证Wasserstein空间。最后,我们证明了我们的插值方法的广泛适用性,通过拟合表面的措施,使用薄板样条。
2020-10-22 math.OC math.ST stat.TH
Gradient Flow Sampler-based Distributionally Robust Optimization
Weierstrass Institute(韦伊尔斯特拉斯研究所);KTH Royal Institute of Technology(皇家理工学院)
提出一种基于PDE梯度流框架的分布鲁棒优化方法,利用MCMC采样与梯度流理论实现最坏情况分布采样,并统一了现有DRO方法。
2026-05-25 math.AP math.OC stat.ML
On Partial Optimal Transport: Revising the Infeasibility of Sinkhorn and Efficient Gradient Methods
National University of Singapore(新加坡国立大学);University of Pennsylvania(宾夕法尼亚大学);Massachusetts Institute of Technology(麻省理工学院);Georgia Institute of Technology(佐治亚理工学院);IBM Research(IBM研究院)
本文针对部分最优传输问题,指出Sinkhorn算法因取整不兼容而不可行,提出新取整算法及修正Sinkhorn,并开发两种高效一阶方法,在复杂度上达到最优。
2023-12-22 cs.AI cs.LG math.OC
Gromov-Wasserstein and optimal transport: from assignment problems to probabilistic numeric
University of Milano-Bicocca, Department of Computer Science Systems and Communication(米兰-比科卡大学计算机科学与通信系);University of Milano-Bicocca, Department of Economics Management and Statistics(米兰-比科卡大学经济学管理与统计系)
本文提出基于 Gromov-Wasserstein 的方法解决二次分配问题,通过多初始化策略和融合 GW 变体实现高效优化,适用于图匹配、关键点对应等任务。
2025-09-04 cs.LG math.OC
Fast Epigraphical Projection-based Incremental Algorithms for Wasserstein Distributionally Robust Support Vector Machine
The Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学)
Wasserstein \textbf{D}迭代\textbf{R} obust \textbf{O}优化(DRO)关注的是找到对数据执行良好的决策,这些数据是从以某个名义分布为中心的Wasserstein球内的最差情况概率分布中得出的。近年来,已经表明,各种DRO公式的学习模型承认易处理的凸重构。然而,大多数现有的作品提出解决这些凸的通用求解器,这是不适合处理大规模的问题。在本文中,我们专注于一个家庭的Wasserstein分布鲁棒支持向量机(DRSVM)的问题,并提出了两种新的epigraphical投影为基础的增量算法来解决这些问题。这些算法的每次迭代中的更新可以以高效的方式计算。此外,我们证明了本文考虑的DRSVM问题满足显式确定的增长指数的Hölderian增长条件。因此,我们能够建立所提出的增量算法的收敛速度。我们的数值结果表明,所提出的方法是数量级的速度比国家的最先进的,性能差距增长相当大的问题规模的增加。
2020-10-24 cs.LG math.OC stat.ML
A Fast Globally Linearly Convergent Algorithm for the Computation of Wasserstein Barycenters
我们考虑的问题计算Wasserstein重心的一组离散概率分布与有限的支持,发现许多领域,如统计,机器学习和图像处理。当重心的支撑点是预先指定的,这个问题可以建模为一个线性规划(LP)的问题,其大小可以是非常大的。为了处理这个大规模的LP,我们分析了其对偶问题的结构,这是可以想象的更容易处理,可以重新表述为一个结构良好的凸问题与3种块变量和耦合线性等式约束。然后,我们适应基于对称高斯-赛德尔的交替方向法的乘法器(sGS-ADMM)来解决由此产生的对偶问题,并建立其整体收敛和全局线性收敛速率。作为有效计算的一个关键组成部分,我们还展示了如何准确有效地解决所有涉及的子问题。这使得我们的方法适合于计算一个大规模的数据集上的Wasserstein重心,而不引入熵正则化项,因为通常是实践。此外,我们的sGS-ADMM可以用作交替最小化方法中的子程序,以计算重心时,它的支持点没有预先指定。在合成数据集和图像数据集上的数值结果表明,与现有的两种代表性方法和商业软件Guesthouse相比,该方法在求解大规模Wasserstein质心问题上具有很强的竞争力.
2020-12-26 math.OC stat.ML
A Fast and Accurate Splitting Method for Optimal Transport: Analysis and Implementation
KTH Royal Institute of Technology(瑞典皇家理工学院)
我们开发了一种快速可靠的方法来解决大规模的最优输运(OT)的问题,在一个前所未有的组合的速度和精度。基于著名的Douglas-Rachford分裂技术,我们的方法直接处理原始OT问题,而不是像许多最先进的技术那样解决近似正则化问题。这使我们能够提供稀疏的运输计划,并避免使用熵正则化的方法的数值问题。该算法具有相同的成本,每一次迭代的流行Sinkhorn方法,每个迭代可以有效地执行,并行。与Sinkhorn方法的最著名的$O(1/ε^2)$相比,所提出的方法具有迭代复杂度$O(1/ε)$。此外,我们建立了一个线性收敛速率,我们制定的OT问题。我们详细介绍了一个高效的GPU实现所提出的方法,保持了原始对偶停止标准,无需额外的成本。大量的实验表明,我们的方法的有效性,无论是在计算时间和鲁棒性。
2021-10-22 cs.LG cs.NA math.NA
Barrier relaxations of the classical and quantum optimal transport problems
University of Illinois at Chicago(芝加哥伊利诺伊大学)
本文提出将内点法视为经典与量子最优传输问题的障碍松弛,并证明其在量子多分块最优传输对偶问题上比 Sinkhorn 类算法更高效。
2025-11-10 math-ph math.MP math.OC
Faster Computation of Entropic Optimal Transport via Stable Low Frequency Modes
针对熵最优输运基准算法Sinkhorn在正则化减弱时收敛指数变慢的问题,本文基于Hessian谱分析提出谱热启动策略,实现了更快的收敛速度并经数值实验验证。
2025-05-23 cs.NA math.NA math.OC