PINS: Proximal Iterations with Sparse Newton and Sinkhorn for Optimal Transport
Department of Mathematics(数学系);University of Maryland(马里兰大学);University of Tennessee(田纳西大学);Department of Computer Science(计算机科学系)
PINS通过近端迭代结合稀疏牛顿和Sinkhorn算法,克服了最优传输中熵偏置 plateau 的限制,实现了更高的精度和效率。
2026-05-11 cs.LG math.OC
A note on the relations between mixture models, maximum-likelihood and entropic optimal transport
Inria(法国国家信息与自动化研究所);ENS de Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);UCBL(里昂第一大学);LIP(里昂高等师范学院、里昂第一大学、法国国家科学研究中心、法国国家信息与自动化研究所联合实验室)
本文证明混合模型的最大似然估计等价于熵正则化最优传输问题,并以高斯混合模型为例说明EM算法是该问题的块坐标下降法。
2025-01-23 cs.LG stat.ML
Sample complexity of unbalanced entropic OT
INRIA (PreMeDICaL & HeKA)(INRIA(PreMeDICaL与HeKA));CNRS and ENS, PSL Université(CNRS与ENS,PSL大学);Mathematics Institute, University of Warwick(数学研究所,沃里克大学)
本文研究非平衡熵正则化最优传输在最优耦合层面的样本复杂度,通过平移不变对偶公式和几何估计导出经验耦合的高概率有限样本界,揭示了正则化在降低维度诅咒和减少样本需求方面的必要性。
2026-06-25 cs.LG math.ST stat.TH
Entropic Neural Optimal Transport via Diffusion Processes
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);HSE University(高等经济大学);Artificial Intelligence Research Institute(人工智能研究院)
本文提出一种基于薛定谔桥鞍点重构的端到端神经算法,用于大规模熵正则化最优传输,具有单步学习、快速推理和支持小熵正则化系数的优点。
2023-11-01 cs.LG
Doubly Regularized Entropic Wasserstein Barycenters
Institut de Mathématiques, École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院数学研究所)
本文提出双正则化 $(λ,τ)$-熵 Wasserstein 重心,证明其去偏逼近、光滑稳定、$n^{-1/2}$ 估计速率,并给出指数收敛的无网格噪声粒子梯度下降算法。
2025-07-25 cs.LG math.OC stat.ML
Smooth and Sparse Optimal Transport
NTT Communication Science Laboratories(NTT通信科学实验室);Kyoto University(京都大学)
熵正则化正迅速成为最优运输(OT)的新标准。它使投射OT计算作为一个可微的和无约束的凸优化问题,可以有效地解决使用Sinkhorn算法。然而,熵保持运输计划严格为正,因此完全稠密,不像非正则化OT。这种稀疏性的缺乏在对运输计划本身感兴趣的应用中可能是有问题的。在本文中,我们探讨正则化的原始和对偶OT公式与强凸项,这对应于放松的对偶和原始的约束与光滑的近似。我们将展示如何将平方$2$规范和组套索正则化的框架内,导致稀疏和组稀疏的运输计划。在理论方面,我们绑定的近似误差引入正规化的原始和对偶配方。我们的研究结果表明,对于正则化的原始,近似误差往往可以更小的平方$2$ -范数比熵正则化。我们展示了我们提出的框架上的颜色转移的任务。
2018-02-20 cs.LG stat.ML
Geometry-Aware Multi-Objective Optimization: Norm-Constrained Oracles with Entropic Weight Updates
Machine Learning and Optimization Laboratory (MLO), EPFL(机器学习与优化实验室(MLO),洛桑联邦理工学院)
该研究提出一种结合范数约束线性最小化神谕与熵权重更新的单循环多目标优化方法,扩展了MOON的谱构造,在确定性和随机设置下分别达到O(T^{-1/2})和O(T^{-1/4})的收敛率,实验验证了其性能。
2026-10-12 cs.LG math.OC
The rate of convergence of Bregman proximal methods: Local geometry vs. regularity vs. sharpness
Univ. Grenoble Alpes(格勒诺布尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院);Institut de Mathématiques de Toulouse(图卢兹数学研究所);Université de Toulouse(图卢兹大学);UPS(图卢兹第三大学);LIG(格勒诺布尔信息与信号处理实验室)
该研究分析Bregman邻近方法的最后迭代收敛速率与局部几何的关系,提出勒让德指数是关键影响因素,揭示了边界解的收敛速率二分性及线性约束下的更显著差异。
2024-12-12 cs.LG math.OC
Sparse Partial Optimal Transport via Quadratic Regularization
Department of Computer Science, Ho Chi Minh University of Science(胡志明大学计算机科学系);School of Science, Aalto University(艾尔沃斯大学科学学院);Department of Science, Lycée Français Alexandre Yersin de Hanoi(河内亚历山大·耶尔辛法语中学科学系);Department of Math, High School for the Gifted(天才高中数学系);Department of Electrical and Computer Engineering, University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校电子与计算机工程系);Department of Computer Science, Georgia Institute of Technology(佐治亚理工学院计算机科学系);Department of Computer Science, Binh Duong University(平杜ong大学计算机科学系)
本文提出了一种基于二次正则化的部分最优传输(QPOT)新方法,通过引入稀疏性解决了传统熵正则化方法产生密集传输计划的问题,并在合成和真实数据集及实际应用中验证了其优越的稀疏性和性能。
2025-08-11 cs.LG
Annealed Sinkhorn for Optimal Transport: convergence, regularization path and debiasing
Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
提出Debiased Annealed Sinkhorn算法,通过减少松弛误差实现更快的退火调度,单次运行即可覆盖标准Sinkhorn算法的完整速度-精度Pareto前沿。
2024-08-21 cs.LG math.OC
Neural Estimation for Scaling Entropic Multimarginal Optimal Transport
Ben-Gurion University(本·古里安大学);Cornell University(康奈尔大学);MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室)
本文提出 Neural Entropic MOT (NEMOT) 框架,通过小批量训练神经网络将计算复杂度从数据集大小转移到小批量大小,显著提升了多边际熵最优传输的可扩展性,并实现数个数量级加速。
2025-05-31 cs.LG stat.ML
Some remarks on the connection between generative diffusion and optimal transport
Laboratoire de Physique de l’Ecole Normale Supérieure, ENS, Université PSL, CNRS,Sorbonne Université, Université Paris-Diderot, Sorbonne Paris Cité(巴黎高等师范学院物理实验室,法兰西公学院,巴黎文理研究大学,法国国家科学研究中心,索邦大学,巴黎第七大学,巴黎西岱);Department of Computing Sciences, Bocconi University(博科尼大学计算科学系)
本文揭示生成式扩散与最优传输间的三种联系,包括联合分布对应熵正则化最优传输解、模式分离的动力学特性及反向过程的变分原理。
2026-10-21 cond-mat.dis-nn cs.LG stat.ML
The entropic regularization of the Monge problem on the real line
研究了当费用函数为距离c(x,y)= 1时,一维最优输运问题的熵正则化|y -- x|.在极限处的所选计划是对于非惩罚问题最优的那些计划中的在其可能具有密度的区域上最“扩散”的计划。
2018-08-16 math.OC
Unbalanced Optimal Transport, from Theory to Numerics
PSL University(巴黎文理研究大学);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);UPEM(巴黎东马恩河谷大学)
最优传输(OT)最近已成为数据科学中的核心工具,以几何上忠实的方式比较点云和更一般的概率分布。然而,OT在现有数据分析和机器学习管道中的广泛采用受到几个缺点的困扰。这包括它缺乏对离群值的鲁棒性,它的高计算成本,需要大量的高维样本以及难以处理不同空间中的数据。在这篇评论中,我们详细介绍了最近提出的几种方法来缓解这些问题。我们特别坚持不平衡的OT,它比较任意的积极措施,不限于概率分布(即它们的总质量可以变化)。OT的这种推广使其对离群值和缺失数据具有鲁棒性。现代计算OT的第二个主力是熵正则化,这导致了可扩展的算法,同时降低了高维样本的复杂性。本文提出的最后一点是Gromov-Wasserstein(GW)距离,它扩展了OT以处理属于不同度量空间的分布。这篇综述的主要动机是解释不平衡OT、熵正则化和GW如何携手合作,将OT转化为数据科学的有效几何损失函数。
2023-01-16 cs.LG math.OC stat.ML
Robust Sublinear Convergence Rates for Iterative Bregman Projections
CNRS and ENS, Université PSL(国家科学研究中心和巴黎高等师范学院,巴黎大学)
本文提出了一种证明O(1/k)对偶收敛速率的通用框架,该速率的常数仅与1/γ线性相关,通过统一的对偶界和商范数界,为图结构运输问题提供了新的流Sinkhorn算法,实现了Wasserstein-1距离的ε-加性精度。
2026-05-08 cs.LG math.OC
Optimal transport with $f$-divergence regularization and generalized Sinkhorn algorithm
Alfréd Rényi Institute of Mathematics(阿尔弗雷德·雷尼数学研究所)
熵正则化提供了原来的最优输运问题的推广。它引入了由Kullback-Leibler散度定义的惩罚项,通过著名的Sinkhorn算法使问题更容易处理。用一般的$f$ -发散代替Kullback-Leibler发散,得到自然的推广。由超线性函数定义的发散的情况最近由Di Marino和Gerolin研究。利用凸分析,我们推广了迄今为止发展的理论,使之包括了所有由Legendre型函数定义的$f$ -发散,并证明了在一些温和的条件下,强对偶成立,原问题和对偶问题都能达到最优,$c$ -变换的推广是定义良好的,我们给出了广义Sinkhorn算法收敛到最优解的充分条件.我们提出了一个实用的算法计算的近似解的最优输运问题的$f$ -发散正则化通过广义Sinkhorn算法。最后,我们提出了实验结果的合成2维数据,展示了使用不同的$f$ -发散正则化,影响收敛速度,数值稳定性和稀疏的最佳耦合的效果。
2023-01-03 cs.IT cs.LG math.FA
Sinkhorn Treatment Effects: A Causal Optimal Transport Measure
Department of Statistics, University of Washington, Seattle, WA, USA(华盛顿大学统计学系);Department of Health Care Policy, Harvard Medical School, Boston, MA, USA(哈佛医学院医疗政策系)
本文提出Sinkhorn治疗效应,作为因果分布差异的熵最优传输度量,通过核方法构建去偏估计器,并提出聚合检验方法以提高测试效力。
2026-05-08 cs.LG math.ST stat.ME
Low-rank Optimal Transport: Approximation, Statistics and Debiasing
CREST(Crest研究中心);ENSAE(法国国立统计与经济管理学院);Apple(苹果公司)
最优传输(OT)背后的匹配原则在机器学习中发挥着越来越重要的作用,当OT用于消除应用程序中的数据集(例如单细胞基因组学)或用于改进更复杂的方法(例如Transformers或自监督学习中的平衡注意力)时,可以观察到这种趋势。为了扩展到更具挑战性的问题,越来越多的人认为OT需要能够在数百万而不是数千个点上操作的解决方案。在\cite{scetbon2021lowrank}中提倡的低秩最优传输(LOT)方法在这方面有几个承诺,并且被证明是对更成熟的熵正则化方法的补充,能够将其插入更复杂的管道中,例如二次OT。LOT将低成本耦合的搜索限制在那些具有低非负秩的耦合上,在感兴趣的情况下产生线性时间算法。然而,这些承诺只有在LOT方法被视为熵正则化的合法竞争者时才能实现,当与感兴趣的属性进行比较时,记分卡通常包括理论属性(统计复杂性和与其他方法的关系)或实际方面(去偏,超参数调整,初始化)。在本文中,我们针对这些领域中的每一个,以巩固低秩方法在计算OT中的影响。
2022-09-15 cs.LG stat.ML
Computation of Cournot-Nash equilibria by entropic regularization
GREMAQ-TSE, Université de Toulouse(图卢兹大学);Université Paris-Dauphine, PSL Research University(巴黎第九大学);CEREMADE(数学研究中心);Inria-Paris, MOKAPLAN(法国国家信息与自动化研究所巴黎分部);CEREMADE, UMR CNRS 7534, Université Paris IX Dauphine(数学研究中心)
本文通过熵正则化技术近似求解连续玩家博弈的纳什-库尔诺均衡,并扩展到多人口模型。
2016-09-09 cs.NA math.NA math.OC
Robust computation of optimal transport by $β$-potential regularization
The University of Tokyo(东京大学);Kyoto University(京都大学);RIKEN AIP center(理化学研究所AIP中心)
在机器学习领域,最优传输(OT)已经成为一种广泛使用的工具,用于度量概率分布之间的差异。例如,OT是一种流行的损失函数,它量化了经验分布和参数模型之间的差异。最近,熵罚项和著名的Sinkhorn算法已被普遍用于近似原始OT在计算上有效的方式。然而,由于Sinkhorn算法运行与Kullback-Leibler发散相关的投影,因此它通常容易受到离群值的影响。为了克服这个问题,我们建议正则化OT与所谓的$β$ -发散,这是在强大的统计发展的β-势项。我们的理论分析表明,$β$ -势可以防止质量被传输到离群值。我们的实验表明,我们的算法计算的传输矩阵有助于估计的概率分布鲁棒性,即使在离群值的存在。此外,我们所提出的方法可以成功地检测出污染数据集的离群值
2022-12-26 cs.AI cs.LG
Entropic regularization of Monge's problem
Columbia University(哥伦比亚大学)
研究熵正则化最优传输在欧几里得距离成本下的消失正则化极限,解决熵选择问题并建立二阶展开。
2026-04-26 math.AP math.FA math.OC
Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Massachusetts Institute of Technology(麻省理工学院)
Wasserstein重心提供了基于最优运输的概率度量的加权平均的几何概念。在本文中,我们提出了一个可扩展的算法来计算Wasserstein-2重心给定的样本访问的输入措施,这是不限于离散。虽然过去的方法依赖于熵或二次正则化,我们采用输入凸神经网络和循环一致性正则化,以避免引入偏见。因此,我们的方法不诉诸于极大极小优化。我们提供了理论分析的误差范围,以及所提出的方法在低维定性场景和高维定量实验的有效性的经验证据。
2021-02-02 cs.LG stat.ML
Bridging Maximum Likelihood and Optimal Transport for Efficient Inference and Model Selection in Stochastic Block Models
Université Côte d’Azur(法国蔚蓝海岸大学);Inria(法国国家信息与自动化技术研究院);CNRS LJAD(法国国家科学研究中心LJAD实验室);Maasai Nice, France(法国尼斯马萨伊研究所);EPFL Lausanne, Switzerland(瑞士洛桑联邦理工学院);CNRS CEPAM(法国国家科学研究中心CEPAM实验室)
本文通过最优传输视角研究随机块模型,提出正则化与未正则化的半松弛Gromov-Wasserstein估计器,实现聚类与模型参数的联合推断及簇数自动选择。
2026-05-28 cs.LG math.ST stat.ML
Semi-Discrete Optimal Transport: Hardness, Regularization and Numerical Solution
EPFL(洛桑联邦理工学院);ETH Zurich(苏黎世联邦理工学院)
半离散最优运输问题,它评估离散和通用(可能非离散)概率测度之间的Wasserstein距离,被认为是计算困难的。尽管这样的问题在统计学、机器学习和计算机视觉中普遍存在,但是,这种看法还没有得到理论上的证明。为了填补这一空白,我们证明了计算Wasserstein距离之间的离散概率测量支持两个点和Lebesgue措施的标准超立方体已经是P-困难。这一见解促使我们寻求半离散最优运输问题的近似解。因此,我们扰动的基础运输成本与添加剂的干扰由一个模糊的概率分布,我们引入了一个分布鲁棒的双最优运输问题,其目标函数是平滑的最不利的干扰分布从一个给定的模糊集。我们进一步表明,平滑的对偶目标函数是等价于正则化的原始目标函数,我们确定了几个模糊集,产生了几个已知的和新的正则化方案。作为一个副产品,我们发现半离散的最优运输问题和离散选择模型之间的密切关系,传统上在心理学和经济学研究。为了有效地解决正则化的最优运输问题,我们使用了一个随机梯度下降算法与不精确的随机梯度预言。一个新的收敛性分析表明,该算法提高了最佳已知的半离散最优运输问题的熵正则化收敛保证。
2022-04-29 cs.LG math.OC stat.ML
Progressive Entropic Optimal Transport Solvers
ETH Zurich(苏黎世联邦理工学院);Apple(苹果公司);New York University(纽约大学)
针对熵最优传输求解器超参数难调优的问题,提出渐进式求解器ProgOT,结合动态OT思路与时间离散化分步求解,在大规模场景下更快更鲁棒,且具备传输映射估计的统计一致性。
2024-10-30 cs.LG stat.ML
A proof of the Caffarelli contraction theorem via entropic regularization
给出了Caffarelli压缩定理的一个新的证明,证明了将标准高斯测度传递到一致对数凹概率测度上的Brenier最优输运映射是Lipschitz.该证明结合了第二作者和Juillet最近对Lipschitz迁移映射的变分刻画和熵正则化最优输运(或薛定谔)问题对偶公式中优化器的凸性性质。
2019-04-12 math.FA math.OC math.PR
Entropic Regularization of the Nested Distance
2012年,Pflug和Pichler在正则性假设下证明了多阶段随机规划(MSP)中的值函数是Lipschitz连续的。嵌套距离,这是情景树(或具有有限支持的离散时间随机过程)之间的距离。嵌套距离是Wasserstein距离的改进,用于解释离散时间随机过程的过滤的接近性。两个场景树之间的嵌套距离的计算相当于计算大小为$n$的较小条件概率之间的指数(在水平$T$中)数量的最优输运问题,其中$n$小于每个节点的子节点的最大数量。这样的最优输运问题可以通过复杂度为$O(n^3\log(n))$的拍卖算法来解决。2013年,Cuturi引入了Sinkhorn算法,这是一种交替投影方案,可以解决熵正则化最优输运问题。Sinkhorn算法线性收敛,每次迭代的复杂度为$O(n^2)$。在这篇文章中,我们提出并测试数值熵正则化的嵌套距离。
2021-07-21 math.OC
Convergence rate of Tsallis entropic regularized optimal transport
该研究针对连续场景下的Tsallis熵正则化最优传输问题,证明其Γ收敛于Monge--Kantorovich问题,推导了带显式常数的收敛速率,并证实KL正则化在Tsallis框架下收敛速率最快。
2024-10-07 math.FA math.OC math.PR
Dimension-Free Sinkhorn for Optimal Transport: Bypassing Extremal Costs
Renmin University of China(中国人民大学)
本文提出well-boundedness概念,证明在无异常值情况下,Sinkhorn-Knopp算法可在O(log n - log ε)次迭代内完成最优运输,且通过预缩放步骤消除维度依赖,实现严格维度无关的收敛。
2026-11-10 cs.DS cs.LG
Computational Guarantees for Doubly Entropic Wasserstein Barycenters via Damped Sinkhorn Iterations
EPFL(洛桑联邦理工学院)
本文提出一种基于阻尼Sinkhorn迭代的算法,用于计算双重正则化Wasserstein重心,保证任意参数下收敛,并首次为非精确变体提供离散点云间逼近的非渐近收敛保证。
2023-07-25 cs.LG math.OC stat.ML
Weak optimal transport with moment constraints: constraint qualification, dual attainment and entropic regularization
本文研究了弱最优传输问题中矩约束的资格条件、对偶解的存在性及熵正则化方法,通过数值实验验证了理论结果。
2026-01-06 math.OC
Capacity-Constrained Wasserstein Barycenters: Existence, Duality, and Entropic Regularization
本文提出容量约束的Wasserstein重心问题,证明其存在性与强对偶,并引入熵正则化,获得唯一解及容量截断吉布斯公式,且正则化解收敛至最小熵解。
2026-09-17 math.OC
Soft Quantization using Entropic Regularization
Technische Universität Chemnitz(开姆尼茨工业大学)
本文研究了熵正则化量化问题的性质与鲁棒性,采用 softmin 函数和熵正则化的 Wasserstein 距离,通过随机梯度方法求解,控制参数可调整难度,并在多种实验中验证了性能。
2023-09-08 cs.LG math.OC math.PR
Entropic regularization of continuous optimal transport problems
我们分析连续的最优输运问题,在所谓的康托洛维奇形式,在那里我们寻求一个运输计划之间的两个边缘是欧几里得空间的紧凑子集的概率测度。我们考虑正则化的情况下与负熵的勒贝格测度,这引起了人们的注意,因为它可以解决非常简单的Sinkhorn算法。我们首先分析了正则化问题的经典Fenchel对偶的背景下,并得出一个强的对偶结果的前对偶问题的空间中的连续函数。然而,这个问题可能不允许最小化,这阻止获得原始-对偶最优性条件。然后,我们表明,原始的问题是自然分析的Orlicz空间中的功能与有限熵的意义上说,熵正则化的问题承认一个最小的当且仅当边缘有有限的熵。然后,我们在相应的对偶空间中导出一个对偶问题,对于这个对偶问题,可以用纯变分的方法证明其存在性,并导出原始对偶最优性条件。对于边缘不具有有限熵,我们最终显示伽玛收敛的正则化问题与平滑边缘的原始Kantorovich问题。
2020-06-15 math.OC
Function approximation by neural nets in the mean-field regime: Entropic regularization and controlled McKean-Vlasov dynamics
该研究将平均场极限下两层随机权重神经网络的函数逼近问题转化为路径空间自由能泛函最小化问题,刻画了对应Föllmer漂移的最优解,并验证了平均场朗之万扩散在对数凹正则化下的逼近有效性。
2024-06-22 cs.LG math.OC math.PR
A regularized transportation cost stemming from entropic approximation
Technical University of Munich(慕尼黑工业大学);Università di Firenze(佛罗伦萨大学)
本文研究了在熵正则化下最优运输问题的收敛性,通过弱紧致性条件证明正则化函数的收敛,并探讨了多边际问题的应用。
2025-12-29 math.AP math.OC math.PR
A Sinkhorn-Newton method for entropic optimal transport
TU Braunschweig(布伦瑞克工业大学);University Duisburg-Essen(杜伊斯堡-埃森大学);University of Münster(明斯特大学)
本文提出一种基于对数牛顿迭代的熵正则化最优运输求解方法,证明其二次收敛性,并验证其在小正则化强度下优于Sinkhorn-Knopp算法,同时探讨了离散化网格大小对方法鲁棒性的影响。
2018-02-09 cs.NA math.NA math.OC
Approximation rates of entropic maps in semidiscrete optimal transport
本文研究半离散最优输运中熵正则化映射逼近 Brenier 映射的速率,在对偶 Lipschitz 范数下证明了精确到多对数因子的最优 $O(\varepsilon^2)$ 速率,并由此导出熵估计量的中心极限定理。
2024-11-21 math.OC math.PR
Domain decomposition for entropic unbalanced optimal transport
Institute of Computer Science, University of Göttingen(哥廷根大学计算机科学研究所)
本文提出通过领域分解方法解决大规模不平衡熵最优传输问题,展示了其在理论和实践上的有效性。
2026-01-22 math.OC
An entropic Landweber method for linear ill-posed problems
本文的目的是探讨使用熵投影方法的迭代正则化的线性不适定问题。我们推导出一个封闭形式的解决方案的迭代和分析其收敛行为的情况下,重建一般的非负未知数,以及为了恢复概率分布。此外,我们讨论了几个变种的算法和文献中的其他方法的关系。在几个例子中的数值方法的有效性进行了研究。
2019-07-01 cs.NA math.NA math.OC
Generalized incompressible flows, multi-marginal transport and Sinkhorn algorithm
INRIA-Paris(法国国家信息与自动化研究所巴黎分部);Université Paris-Dauphine, PSL Research University(巴黎第九大学,PSL研究大学);CNRS and Université Paris-Dauphine, PSL Research University(法国国家科学研究中心与巴黎第九大学,PSL研究大学)
本文提出基于Sinkhorn算法的熵正则化最优运输方法,用于求解广义不可压缩流体问题,并与Bredinger熵插值问题进行比较,通过一维和二维数值实验验证方法有效性。
2018-03-05 cs.NA math-ph math.MP
Entropic Gromov-Wasserstein Distances: Stability and Algorithms
本文利用变分表示推导出求解二次Entropic GW距离的高效算法,通过加速梯度法和Sinkhorn迭代提供非渐近收敛保证,并在实验中验证了其最先进的性能。
2024-01-10 math.OC math.ST stat.TH
Quadratically-Regularized Optimal Transport on Graphs
最优传输提供了一种将几何域上的点之间的距离提升为该域上的信号之间的距离的方法,该距离表示为概率分布。在图上,运输问题可以用来表达具有挑战性的任务,包括以最小的运输费用将供应与需求相匹配;在离散语言中,这些成为最小成本网络流问题。通常需要正则化来确保线性地面距离情况的唯一性并提高优化收敛性;最先进的技术在运输矩阵上采用熵正则化。在本文中,我们探讨了一个二次替代熵正则化的运输图。我们从理论上分析了二次正则化图传输的行为,描述了正则化如何影响小但非零正则化区域的流结构。我们进一步利用优雅的二阶结构在这个问题的对偶推导出一个易于实现的牛顿型优化算法。
2018-03-23 cs.NA math.NA math.OC
Entropic Model Predictive Optimal Transport over Dynamical Systems
我们考虑的最优控制问题,引导代理人口的一个所需的分布在一个无限的地平线。这是一个动力系统上的最优输运问题,由于其高计算成本而具有挑战性。在本文中,通过使用熵正则化,我们提出了Sinkhorn MPC,这是一个动态传输算法集成模型预测控制(MPC)和所谓的Sinkhorn算法。所提出的方法的显着特点是,它实现了具有成本效益的实时运输,同时进行控制和运输规划,这是在数值例子中说明。此外,在对MPC中Sinkhorn算法的迭代过程作一定假设的情况下,通过熵正则化,揭示了Sinkhorn MPC的整体收敛性质.此外,在不考虑上述假设的情况下,针对二次型控制成本,我们证明了Sinkhorn MPC的最终有界性和局部渐近稳定性。
2023-01-16 cs.SY eess.SY math.OC
Entropic Optimal Transport: Geometry and Large Deviations
研究了熵正则化最优输运到最优输运的收敛性。主要结果是关注的相关优化的收敛性,并采取了一个大偏差原则的形式量化的局部指数收敛速度的正则化参数为零。确切的速率函数是在一般的设置和连接到康托洛维奇潜在的最优输运。我们的论点是基于几何的优化和启发使用$c$ -循环单调性在经典的输运理论。结果也可以用薛定谔桥来表达。
2022-01-23 math.FA math.OC math.PR
Entropic Optimal Transport: Convergence of Potentials
我们研究的势函数,确定最佳密度的$\varepsilon$ -熵正则化最优输运,所谓的薛定谔电位,和他们的收敛到经典的最优输运,康托洛维奇电位。在正则化消失的极限$\varepsilon\to0$中,强紧性在$L^{1}$中成立,聚点是Kantorovich势.特别地,只要康托洛维奇势是唯一的,薛定谔势就在$L^{1}$中收敛到康托洛维奇势。这些结果证明了所有连续的,可积的费用函数波兰空间。在薛定谔桥的语言中,极限对应于小噪声区域。
2021-10-30 math.AP math.FA math.OC
Optimal transport: discretization and algorithms
本章介绍了最优输运问题的数值求解技术。我们将考虑这些问题的几个离散化,我们将把重点放在解决离散化问题的算法的数学分析上。我们将详细描述以下离散化和相应的算法:分配问题和Bertsekas拍卖算法;熵正则化和Sinkhorn-Knopp算法;半离散最优输运和奥利克-普鲁士纳或阻尼牛顿算法,最后是半离散熵正则化。我们的演讲突出了这些算法之间的相似性和它们与Kantorovich对偶理论的联系。
2020-03-02 cs.NA math.NA math.OC
A Scale-Shape Dual Newton Method for Entropic Least Squares
Harvard University(哈佛大学);University of Washington(华盛顿大学);University of British Columbia(不列颠哥伦比亚大学);McGill University(麦吉尔大学)
本文提出一种改进的牛顿方法,用于熵正则化最小二乘问题,具有全局线性收敛性和局部超线性-二次收敛性,并能避免经典对偶求解器的精度溢出问题。
2026-04-29 cs.NA math.NA math.OC
Faster Computation of Entropic Optimal Transport via Stable Low Frequency Modes
针对熵最优输运基准算法Sinkhorn在正则化减弱时收敛指数变慢的问题,本文基于Hessian谱分析提出谱热启动策略,实现了更快的收敛速度并经数值实验验证。
2025-05-23 cs.NA math.NA math.OC
Entropic Wasserstein Gradient Flows
本文详细介绍了一种新的数值方法来近似梯度流的最优输运(即Wasserstein)指标。这些流动已被证明是有用的,以解决理论和数值模拟的非线性扩散方程,例如多孔介质或人群的演变。这些梯度流为这些演化定义了一个合适的弱解概念,并且可以用离散流以稳定的方式近似它们。这些离散流是根据Wasserstein度量的隐式Euler时间步进。这些方法的一个瓶颈是由每一步的分辨率引起的高计算负载。实际上,这对应于涉及到前一个向量的Wasserstein距离的凸优化问题的解决方案。在最近几项关于Wasserstein距离近似的工作之后,我们考虑由运输耦合的熵正则化引起的离散流。这种熵正则化允许我们用初始的Wasserstein保真度项来交换Kulback-Leibler散度,这在数值上更容易处理。我们将展示如何KL近端计划,特别是Dykstra的算法,可以用来计算每一步的正则化流。所得到的算法是快速,并行化和通用的,因为它只需要乘以吉布斯核。在均匀网格上离散化的欧几里得整环上,这对应于可以在近似线性时间内计算的线性滤波(例如,当$c$是平方欧几里德距离时的高斯滤波)。在更一般的域,如(可能是非凸的)形状或离散的三角形网格上的流形上,最近提出的最优输运的数值方案后,这吉布斯核乘法近似由一个短时间的热扩散。
2015-03-08 math.OC
Regularization for Wasserstein Distributionally Robust Optimization
最优输运最近已被证明是在需要比较概率测度的各种机器学习应用中的有用工具。其中,分布鲁棒优化的应用自然会在其不确定性模型中涉及Wasserstein距离,捕获数据偏移或最坏情况。受最优输运中Wasserstein距离正则化成功的启发,本文研究了Wasserstein分布鲁棒优化的正则化问题。首先,我们得到了正则化Wasserstein分布鲁棒问题的一般强对偶结果。其次,我们改进了这个对偶结果的熵正则化的情况下,并提供了一个近似结果时,正则化参数消失。
2023-03-23 math.OC
An efficient algorithm for entropic optimal transport under martingale-type constraints
针对鞅型约束下的熵最优传输问题(含离散MOT),提出结合稀疏牛顿迭代的Sinkhorn型算法,利用对偶Hessian矩阵稀疏性,通过熵正则化求近似解,兼具超指数收敛性与可控约束违反度的鲁棒性。
2025-08-25 cs.NA math.NA math.OC
Asymptotics for semi-discrete entropic optimal transport
我们计算的熵最优输运问题的最优解的成本在连续到离散,或半离散,设置的精确二阶渐近。与离散-离散或连续-连续的情况相比,我们证明了在这种扩展中的一阶项消失,但二阶项不消失,因此在半离散设置中,未正则化和正则化解决方案之间的成本差异在逆正则化参数中是二次的,具有明确地取决于测量之间的最优非正则化映射的不连续点处的密度的值的前导常数。我们开发这些结果证明新的逐点收敛速度的解决方案的双重问题,这可能是独立的利益。
2021-06-22 math.CA math.OC math.ST
A semiconcavity approach to stability of entropic plans and exponential convergence of Sinkhorn's algorithm
该研究提出基于半凹性的方法,分析熵最优传输计划的稳定性与Sinkhorn算法的指数收敛性,给出无需代价有界的收敛充分条件,在多种分布和代价场景下得到新的紧最优收敛速率。
2025-10-03 math.OC math.PR stat.ML