Sobolev Gradient Ascent for Optimal Transport: Barycenter Optimization and Convergence Analysis
Department of ACMS University of Notre Dame（ACMS系，诺特大学）；Department of Mathematics University of California（数学系，加州大学）；Department of Mathematics University of Southern California（数学系，南加州大学）
该研究提出Wasserstein重心的无约束凹对偶公式，推导了可扩展的Sobolev梯度上升算法，证明其达到经典次梯度下降收敛速率且无需c-凹投影，数值实验显示其性能优于现有最优传输重心求解器。
2026-04-18 cs.LG math.OC stat.ML
On Robust Optimal Transport: Computational Complexity and Barycenter Computation
VinAI Research（VinAI研究院）；Massachusetts Institute of Technology（麻省理工学院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
我们认为强大的变种标准的最优运输，强大的最优运输，边际约束放松通过Kullback-Leibler发散。我们表明，基于Sinkhorn的算法可以近似稳健的最优传输的最优成本在$\widetilde{\mathcal{O}}(\frac{n^2}{\varepsilon})$时间，其中$n$是支持的概率分布和$\varepsilon$是所需的错误的数量。此外，我们还研究了$m$离散概率分布之间的固定支集鲁棒重心问题，最多支持$n$个数，并提出了基于迭代Bregman投影（IBP）的近似算法.对于特定的情况下$m = 2$，我们表明，该算法可以近似的最佳重心值在$\widetilde{\mathcal{O}}(\frac{mn^2}{\varepsilon})$时间，从而优于以前的复杂性$\widetilde{\mathcal{O}}(\frac{mn^2}{\varepsilon^2})$的IBP算法近似Wasserstein重心。
2021-10-28 cs.DS cs.LG math.OC
Robust Barycenter Estimation using Semi-Unbalanced Neural Optimal Transport
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Artificial Intelligence Research Institute（人工智能研究院）；Georgia Institute of Technology（佐治亚理工学院）；Sungkyunkwan University（成均馆大学）
针对多源数据聚合中异常值和噪声影响传统OT重心估计的问题，提出基于半非平衡OT对偶形式的可扩展鲁棒连续重心算法，建立理论基础并通过实验验证其鲁棒性，源代码公开。
2025-04-14 cs.AI cs.LG stat.ML
Fast Algorithms for Computational Optimal Transport and Wasserstein Barycenter
UC Berkeley（加州大学伯克利分校）
我们提供了理论复杂性分析的新算法来计算两个离散的概率分布之间的最佳运输（OT）的距离，并证明其良好的实际性能比国家的最先进的原始-对偶算法和他们的能力，在解决其他问题的大规模，如Wasserstein重心问题的多个概率分布。首先，我们介绍了计算OT距离的\emph{accelerated primal-dual randomized coordinate descent}（APDRCD）算法。我们提供了它的复杂性上界$\bigOtil(\frac{n^{5/2}}{\varepsilon})$，其中$n$代表这些概率测度的原子数，$\varepsilon > 0$是所需的精度。这个复杂性界匹配OT问题的原始-对偶算法的最佳已知复杂性，包括自适应原始-对偶加速梯度下降（APDGD）和自适应原始-对偶加速镜像下降（APDAMD）算法。然后，通过大量的实验研究，证明了APDRCD算法优于APDAGD和APDAMD算法，并提出了一种贪婪算法\emph{accelerated primal-dual greedy coordinate descent}（APDGCD），进一步提高了算法的实际性能.最后，我们将APDRCD和APDGCD算法推广到分布式算法，用于计算多个概率分布的Wasserstein重心。
2020-06-15 cs.DS cs.LG stat.ML
Estimating Barycenters of Distributions with Neural Optimal Transport
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；ETH Zürich（苏黎世联邦理工学院）；Artificial Intelligence Research Institute（人工智能研究所）
本文提出一种基于Neural OT求解器的双层对抗学习方法，用于可扩展地求解一般代价函数下的Wasserstein重心问题，并给出理论误差界及图像数据上的实验验证。
2024-06-06 cs.LG
On Barycenter Computation: Semi-Unbalanced Optimal Transport-based Method on Gaussians
The University of Texas, Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）
本文针对高斯分布提出基于半不平衡最优传输的鲁棒重心方法，在 Bures-Wasserstein 流形上开发了两种梯度下降优化算法，证明了其理论收敛性，并通过实验验证了优于常规 Wasserstein 重心的表现。
2024-10-10 cs.LG
Approximative Algorithms for Multi-Marginal Optimal Transport and Free-Support Wasserstein Barycenters
Technische Universität Berlin（柏林工业大学）
计算求解多边际最优输运（MOT）的平方欧几里德成本的$N$离散概率测度最近引起了相当大的关注，部分原因是它的解决方案与Wasserstein- $2$重心，这在数据科学中有许多应用。一般来说，这个问题是NP难的，需要实用的近似算法。虽然熵正则化已经成功地应用于近似Wasserstein重心，但这失去了最优解的稀疏性，使得由于维数灾难而难以在实践中直接解决MOT问题。因此，为了获得重心，人们通常诉诸于对网格的固定支撑限制，然而，这在更高的环境维度$d$中是禁止的。本文在分析了MOT与重心的关系后，提出了两种直接逼近MOT的算法，该算法只需$N-1$标准的两边缘OT计算。因此，它们速度快，内存效率高，易于实现，可以作为黑盒与任何稀疏OT求解器一起使用。此外，他们产生稀疏的解决方案，并显示有前途的数值结果。我们从理论上分析了这些算法，证明了相对逼近误差的上界和下界。
2022-02-02 cs.LG cs.NA math.NA
Wasserstein barycenters are NP-hard to compute
Massachusetts Institute of Technology（麻省理工学院）
计算Wasserstein重心（a.k.a.最优输运重心）是几何学中的一个基本问题，由于在数据科学中的许多应用，最近引起了相当大的关注。虽然在任何固定的维度上都存在多项式时间算法，但所有已知的运行时间在维度上都呈指数级下降。这是一个开放的问题，是否这种指数依赖性是改进的多项式依赖。本文证明，除非P=NP，答案是否定的。这揭示了一个“维数灾难”的Wasserstein重心计算不会发生的最优输运计算。此外，我们的硬度计算Wasserstein重心的结果扩展到近似计算，看似简单的情况下的问题，并平均概率分布在其他最优输运指标。
2021-12-03 cs.CC cs.DS cs.LG
The Gene Mover's Distance: Single-cell similarity via Optimal Transport
University of Pavia（帕维亚大学）
本文介绍了基因移动距离，一种基于通过单细胞RNA测序获得的基因表达谱的细胞对之间的相似性度量。所提出的距离的基本思想是将单个细胞的基因表达阵列解释为离散的概率度量。因此，两个单元之间的距离是通过求解两个相应的离散测量之间的最优传输问题来计算的。在最优运输模型中，我们使用两种类型的成本函数来测量一对基因之间的距离。第一个成本函数利用基因嵌入，称为gene2vec，用于将每个基因映射到高维向量：将质量单位的基因表达从一个基因移动到另一个基因的成本设置为相应嵌入向量之间的欧几里得距离。第二个成本函数是基于基因对之间的皮尔逊距离。在两个代价函数中，两个基因的相关性越高，它们的距离就越低。我们利用基因移动器的距离来解决两个分类问题：根据它们的条件和根据它们的类型对细胞进行分类。为了评估我们的新度量的影响，我们比较了使用不同距离的$k$-最近邻分类器的性能。计算结果表明，基因移动器的距离是有竞争力的国家的最先进的距离在文献中使用。
2021-03-15 cs.LG math.OC q-bio.GN
Stochastic Approximation versus Sample Average Approximation for population Wasserstein barycenters
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Institute for Information Transmission Problems（信息传输问题研究所）
在机器学习和优化领域，凸风险最小化问题主要有两种方法，即随机逼近（SA）和样本平均逼近（SAA）。就oracle复杂性（所需的随机梯度评估次数）而言，这两种方法被认为是平均等效的（直到对数因子）。总的复杂性取决于具体的问题，但是，从工作开始\cite{nemirovski2009robust}它被普遍接受的SA是优于SAA。然而，在大规模问题的情况下，SA可能会耗尽内存，因为在一台机器上存储所有数据并在没有与其他机器通信的情况下组织在线访问是不可能的。SAA与SA不同，允许并行/分布式计算。我们表明，对于Wasserstein重心问题，这种优势可以被逆转。我们提供了一个详细的比较，说明SA和SAA实现计算重心相对于最优输运距离和熵正则化最优输运距离的复杂性界限。作为一个副产品，我们还构建了置信区间的重心定义相对于熵正则化的最优输运距离的$\ell_2$规范。对由期望给出的一般凸优化问题，给出了初步结果，以便在Wasserstein重心问题之外有其它应用。
2021-10-25 cs.LG math.OC stat.ML
Wasserstein Barycenter Model Ensembling
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
在本文中，我们提出了执行模型集成在一个多类或多标签学习设置使用Wasserstein（W.）重心最佳传输度量，如Wasserstein距离，允许合并语义侧信息，如词嵌入。利用W.找到模型之间的一致性的重心允许我们在找到模型之间的一致性时平衡置信度和语义。我们展示了Wasserstein集成在基于属性的分类、多标签学习和图像描述生成中的应用。这些结果表明，W.集成是基本几何或算术平均集成的可行替代方案。
2019-02-13 cs.LG stat.ML
Stochastic Wasserstein Barycenters
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个随机算法来计算重心的一组概率分布下的Wasserstein度量从最佳运输。与以前的方法不同，我们的方法扩展到连续的输入分布，并允许在每次迭代中调整重心的支持。我们在没有正则化的情况下解决了这个问题，使我们能够恢复一个尖锐的输出，其支持包含在真正的重心的支持之内。我们给出的例子，我们的算法恢复比以前的工作更有意义的重心。我们的方法是通用的，可以扩展到应用程序，如从一个给定的分布生成超级样本和恢复蓝噪声近似。
2018-06-07 cs.LG math.OC stat.ML
Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；Massachusetts Institute of Technology（麻省理工学院）
Wasserstein重心提供了基于最优运输的概率度量的加权平均的几何概念。在本文中，我们提出了一个可扩展的算法来计算Wasserstein-2重心给定的样本访问的输入措施，这是不限于离散。虽然过去的方法依赖于熵或二次正则化，我们采用输入凸神经网络和循环一致性正则化，以避免引入偏见。因此，我们的方法不诉诸于极大极小优化。我们提供了理论分析的误差范围，以及所提出的方法在低维定性场景和高维定量实验的有效性的经验证据。
2021-02-02 cs.LG stat.ML
A Particle-Flow Algorithm for Free-Support Wasserstein Barycenters
Department of Mathematics, Baruch College（数学系，巴彻学院）
本文提出一种自由支撑的Wasserstein重心粒子流算法，通过几何感知的粒子更新保留尖锐特征，理论证明其收敛性与稳定性，实验验证了准确性和可扩展性，是有原则的线性规划与正则化求解替代方案。
2025-09-16 cs.LG stat.CO stat.ML
Variational Wasserstein Barycenters with c-Cyclical Monotonicity
College of Computer Science and Technology, Jilin University（吉林大学计算机科学与技术学院）；Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education（教育部符号计算与知识工程重点实验室）
Wasserstein重心建立在最优传输理论的基础上，提供了一个强大的框架来聚合概率分布，并且它越来越引起机器学习社区的极大关注。然而，它遭受严重的计算负担，特别是对于高维和连续设置。为此，我们开发了一种新的连续近似方法的Wasserstein重心问题的样本访问输入分布。其基本思想是引入一个变分分布作为真实连续重心的近似，从而将重心计算问题框架为一个优化问题，其中变分分布的参数调整代理分布以使其与重心相似。利用变分分布，我们构造了一个易于处理的对偶公式的正则化Wasserstein重心问题的c-循环单调性，可以有效地解决随机优化。我们提供了收敛性的理论分析，并证明了我们的方法的实际应用的子集后验聚合和合成数据的有效性。
2022-12-17 cs.LG stat.ML
Robust Barycenters of Persistence Diagrams
本文提出了一种计算持久图鲁棒Wasserstein重心的方法，适用于q∈(1,2)的运输成本，用于持久图聚类和词典编码。
2026-01-21 cs.CG cs.LG
Static and Dynamic Approaches to Computing Barycenters of Probability Measures on Graphs
Tufts University（塔夫茨大学）
本文提出基于黎曼结构的图上概率测度质心计算方法，通过内在梯度下降合成质心并分析测度，对比了熵正则化静态方法，验证了其有效性。
2026-03-27 cs.LG math.PR stat.ML
Learning to Predict Graphs with Fused Gromov-Wasserstein Barycenters
Télécom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎理工学院）；Ecole Polytechnique（巴黎综合理工学院）；Université de Toulouse（图卢兹大学）；INRAE（法国国家农业食品与环境研究院）；Aalto University（阿尔托大学）
本文介绍了一种新颖的通用框架，通过利用最优传输工具来解决监督标记图预测的旗舰任务。我们制定的问题与融合Gromov-Wasserstein（FGW）的损失回归，并提出了一个预测模型依赖于FGW重心的权重取决于输入。首先，我们介绍了一种基于核岭回归的非参数估计，证明了其相合性和超额风险界等理论结果。接下来，我们提出了一个可解释的参数模型，其中的重心权重建模与神经网络和FGW的重心计算的图形，另外学习。数值实验表明，该方法的强度和它的能力，在标记的图形空间内插模拟数据和一个困难的代谢识别问题，它可以达到非常好的性能，很少的工程。
2022-06-24 cs.LG stat.ML
Debiased Sinkhorn barycenters
CREST-ENSAE；Inria Saclay（法国国家信息与自动化研究所萨克莱分院）；Google Research（谷歌研究院）
最优传输（OT）中的熵正则化是最近机器学习中Wasserstein度量和重心的许多兴趣的驱动力。它允许保持非正则化瓦瑟斯坦距离的吸引人的几何特性，同时由于Sinkhorn的算法而具有显著较低的复杂度。然而，熵带来一些固有的平滑偏差，例如导致模糊的重心。这种副作用促使社区越来越倾向于采用较慢的算法，例如对数域稳定的Sinkhorn，它打破了可以在GPU上利用的并行结构，甚至回到非正则化OT。在这里，我们展示了这种偏见是如何紧密联系在一起的参考措施，定义的熵正则化，并提出debiased Wasserstein重心，保持最好的两个世界：快速Sinkhorn样迭代没有熵平滑。从理论上证明了一元高斯分布的熵OT重心是高斯分布，并量化了其方差偏差。这个结果是通过将熵OT的可微性和凸性推广到具有无界支撑的次高斯测度而得到的。从经验上讲，我们说明了减少模糊和各种应用程序的计算优势。
2020-06-03 cs.LG stat.ML
Synthesis and Analysis of Data as Probability Measures with Entropy-Regularized Optimal Transport
Tufts University（塔夫茨大学）
该研究基于熵正则化Wasserstein-2代价与Sinkhorn散度开展概率测度的合成与分析，推导了重心的不动点刻画与凸二次规划求解方法，证明了系数的维度无关收敛性与扰动稳定性，在小样本点云分类任务中效率优于神经网络基线。
2025-03-23 cs.LG stat.ML
Scalable Computations of Wasserstein Barycenter via Input Convex Neural Networks
Georgia Institute of Technology（佐治亚理工学院）；University of California, Irvine（加利福尼亚大学尔湾分校）
Wasserstein Barycenter是一种原则性的方法来表示给定的一组概率分布的加权平均值，利用由最佳运输引起的几何形状。针对机器学习中的高维应用，提出了一种新的可扩展的Wasserstein重心近似算法。我们提出的算法是基于Kantorovich对偶公式的Wasserstein-2距离以及最近的神经网络架构，输入凸神经网络，这是已知的参数化凸函数。我们的方法的显着特点是：i）它只需要来自边缘分布的样本; ii）与现有方法不同，它用生成模型表示重心，因此可以从重心生成无限个样本，而无需查询边缘分布; iii）它在一个边缘情况下类似于生成对抗模型。我们证明了我们的算法的有效性，通过比较它与国家的最先进的方法在多个实验。
2021-11-27 cs.LG math.OC stat.ML
Re-evaluating Word Mover's Distance
Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能研究中心）
词移动者距离（WMD）是度量两个文档相似性的基本技术。作为大规模杀伤性武器的关键，它可以通过采用最佳传输公式来利用字空间的潜在几何。关于大规模毁灭性武器的最初研究报告说，大规模毁灭性武器在各种数据集中的表现都超过了经典的基线，如词袋（BOW）和TF-IDF。在本文中，我们指出，在原来的研究中的评价可能是误导。我们重新评估了大规模杀伤性武器和经典基线的性能，发现如果我们采用适当的预处理，即，L1正常化。此外，我们引入了WMD和L1-归一化BOW之间的类比，发现在高维空间中，不仅WMD的性能，而且距离值类似于BOW。
2022-06-15 cs.CL cs.IR cs.LG
OTLesMix: Wasserstein Barycenter and Optimal Transport Map for Synthetic Lesion Generation with Diverse Shapes and Locations
Univ. Lyon（里昂大学）；INSA Lyon（里昂国立应用科学学院）；UCBL（里昂第一大学）；CNRS（法国国家科学研究中心）；Inserm（法国国家健康与医学研究院）；CREATIS
本研究提出OTLesMix方法，利用Wasserstein重心与最优传输映射生成多样化合成病灶，在三项脑病灶分割任务上使Dice分数提升2.9至6.6个百分点，性能优于现有混合类方法。
2026-08-07 cs.CV cs.LG eess.IV
Bayesian Learning with Wasserstein Barycenters
University of Vienna（维也纳大学）；Universidad de Chile（智利大学）；NoiseGrasp SpA（NoiseGrasp公司）
我们介绍和研究一种新的模型选择策略贝叶斯学习，最佳运输的基础上，随着其相关的预测后验法：Wasserstein人口重心的后验法模型。我们首先展示了这个估计，称为贝叶斯Wasserstein重心（BWB），自然产生的一般，无参数贝叶斯模型选择框架，当考虑贝叶斯风险是瓦瑟斯坦距离。给出了一些例子，说明如何BWB扩展一些经典的参数和非参数选择策略。此外，我们还提供了明确的条件授予存在和统计一致性的BWB，并讨论了它的一些一般和具体的属性，提供洞察其优势相比，通常的选择，如模型平均估计。最后，我们说明了如何使用随机梯度下降（SGD）算法在Wasserstein空间中计算此估计量，该算法在配套论文arXiv：2201.04232v2 [math.OC]中介绍，并提供了一个数值例子，实验验证所提出的方法。
2022-11-09 cs.LG stat.ML
Wasserstein Gradient Flows for Scalable and Regularized Barycenter Computation
Sigma Nova Paris（Sigma Nova巴黎）
本文提出基于Wasserstein梯度流的可扩展且正则化的barycenter计算方法，通过小批量最优传输和任务感知正则化实现高效的监督信息整合，提升跨领域适应性能。
2026-07-27 cs.AI cs.LG stat.ML
Parallel Streaming Wasserstein Barycenters
Massachusetts Institute of Technology（麻省理工学院）
有效地聚合来自不同来源的数据是一个具有挑战性的问题，特别是当来自每个来源的样本分布不同时。这些差异可能是推理任务所固有的，也可能是由于其他原因而存在的：传感器网络中的传感器可能被放置得很远，从而影响它们各自的测量结果。相反，在计算上将贝叶斯推理任务划分为数据子集是有利的，但是数据不需要在子集之间相同地分布。融合概率分布的一个原则性方法是通过最优传输的透镜：Wasserstein重心是一个单一的分布，它总结了一系列输入测量，同时尊重它们的几何形状。然而，计算重心的规模差，需要离散化的所有输入分布和重心本身。改进这种情况下，我们提出了一个可扩展的，通信效率高，并行算法计算任意分布的Wasserstein重心。我们的算法可以直接对连续输入分布进行操作，并针对流数据进行了优化。我们的方法甚至是强大的非平稳输入分布，并产生一个重心估计，跟踪随着时间的推移的输入措施。该算法是半离散的，只需要离散重心估计。据我们所知，我们还提供了第一界的质量近似重心的离散化变得更精细。最后，我们证明了我们的方法的实际有效性，无论是在跟踪移动的分布在一个球体上，以及在一个大规模的贝叶斯推理任务。
2017-11-14 cs.LG math.OC stat.CO
Doubly Regularized Entropic Wasserstein Barycenters
Institut de Mathématiques, École polytechnique fédérale de Lausanne (EPFL)（洛桑联邦理工学院数学研究所）
本文提出双正则化 $(λ,τ)$-熵 Wasserstein 重心，证明其去偏逼近、光滑稳定、$n^{-1/2}$ 估计速率，并给出指数收敛的无网格噪声粒子梯度下降算法。
2025-07-25 cs.LG math.OC stat.ML
Stability of Entropic Wasserstein Barycenters and application to random geometric graphs
CNRS（法国国家科学研究中心）；GIPSA-lab（GIPSA实验室）；UGA（格勒诺布尔阿尔卑斯大学）；IRISA（法国国家信息与自动化研究所雷恩分所）；Univ. Rennes 1（雷恩第一大学）
随着近年来对图形数据的兴趣的增长，各种几何工具的计算变得至关重要。在网格处理等领域中，往往依赖于离散流形上测地线和最短路径的计算。这种工具的一个最近的例子是计算瓦瑟斯坦重心（WB），一个非常普遍的概念重心来自最优运输理论，和他们的熵正则化的变体。在本文中，我们研究如何在离散网格WB涉及到的几何基础流形。我们首先提供了一个通用的稳定性结果相对于输入成本矩阵。然后，我们将这一结果应用到随机几何图形的流形上，其最短路径收敛到测地线，从而证明了离散形状上计算的WB的一致性。
2023-03-27 cs.CG cs.LG stat.OT
Linearized Wasserstein Barycenters: Synthesis, Analysis, Representational Capacity, and Applications
Tufts University（塔夫茨大学）
本文提出线性重心编码模型（LBCM），利用线性最优传输度量合成与分析概率测度，给出闭式解和有限样本保证，并展示其在协方差估计与数据插补中的应用。
2025-04-08 cs.LG stat.ML
Wasserstein Distributionally Robust Optimization with Wasserstein Barycenters
Northwestern University（西北大学）
在统计学和机器学习的许多应用中，来自多个可能异构的源的数据样本的可用性已经变得越来越普遍。另一方面，在分布鲁棒优化，我们寻求数据驱动的决策，以及在最不利的分布从名义分布构造的数据样本在一定的差异的概率分布。然而，目前还不清楚如何实现这种分布鲁棒性模型学习和估计时，数据样本来自多个来源。在这项工作中，我们建议通过Wasserstein重心作为来自多个来源的数据样本的聚合的概念，构建基于最佳运输的分布鲁棒优化问题的标称分布。在特定的损失函数的选择下，所提出的公式承认一个易于处理的重新制定作为一个有限的凸规划，具有强大的有限样本和渐近保证。作为一个说明性的例子，我们证明了分布鲁棒稀疏逆协方差阵估计的零均值高斯随机向量的问题，我们提出的方案优于其他广泛使用的估计在低维和高维制度。
2022-05-30 cs.LG math.OC stat.ML
An in depth look at the Procrustes-Wasserstein distance: properties and barycenters
Universit\'e C\ ote d'Azur, UMR 7264 CEPAM, CNRS, Nice, France；Universit\'e C\ ote d'Azur, Inria, CNRS, Laboratoire J.A. Dieudonn\'e, Maasai team, Nice, France；Universit\'e Lumi\'ere Lyon II, UMR 5133 Arch\'eorient CNRS, Lyon, France
本文系统研究了Procrustes-Wasserstein距离的数学性质，证明其在离散概率测度空间上确为距离，并提出PW重心概念及估计算法，用于从点云集合中提取代表性形状，在精确对齐和形状保持任务上优于现有最优传输方法。
2025-07-01 cs.LG stat.ML
Local Bures-Wasserstein Transport: A Practical and Fast Mapping Approximation
Rakuten Institute of Technology（乐天技术研究所）
基于最优运输（OT）的方法有着广泛的应用，近年来引起了人们的极大关注。然而，OT的大多数计算方法不学习底层的传输映射。虽然已经提出了一些算法来学习这个映射，但它们依赖于基于内核的方法，这使得它们在样本数量增加时非常慢。在这里，我们提出了一种方法来学习一个近似的运输地图和参数近似的Wasserstein重心。我们通过利用高斯（Bures-Wasserstein）传输的封闭形式来构建近似的传输映射;我们计算每个密度的高斯分量匹配对之间的本地传输计划。学习的映射推广到样本外的示例。我们提供了模拟和真实数据的实验结果，比较我们提出的方法与其他映射估计算法。初步实验表明，我们提出的方法不仅速度更快，整体运行时间为80倍，而且它需要的组件比最先进的方法更少，以恢复重心的支持。从实践的角度来看，它很容易实现，并且可以与传统的机器学习管道一起使用。
2019-06-19 cs.LG stat.AP stat.ML
Tree-Based Diffusion Schrödinger Bridge with Applications to Wasserstein Barycenters
École polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎综合理工学院联盟）；ENS（巴黎高等师范学校）；PSL University（巴黎文理研究大学）；University of Oxford（牛津大学）
本文提出TreeDSB算法，将扩散薛定谔桥推广到树结构熵正则化多边际最优传输，并将其应用于高维Wasserstein重心计算，在图像插值和贝叶斯融合中验证了有效性。
2023-10-28 cs.LG math.PR stat.ML
Beckman Defense
IIITD（德里英迪拉·甘地信息技术学院）
基于最优运输（OT）的分布式鲁棒优化（DRO）在最近的过去已经得到了一些牵引力。然而，它还处于起步阶段，但在增强深度学习模型的鲁棒性方面具有良好的潜力。有趣的是，OT重心对对抗攻击表现出良好的鲁棒性。由于OT重心的计算量大，因此没有在DRO框架下对其进行研究。在这项工作中，我们提出了一个新的重心，即贝克曼重心，它可以有效地计算和用于训练网络抵御对抗攻击与对抗训练。我们提出了一种新的贝克曼重心公式，并利用输入图像的边缘解析地获得重心。我们表明，贝克曼重心可以用来训练对抗训练网络，以提高鲁棒性。我们的训练是非常有效的，因为它只需要一个单一的训练时期。在CIFAR-10、CIFAR-100和Tiny ImageNet上进行的详细实验表明，使用Beckman重心训练一个对抗性强的网络可以显着提高性能。在自动攻击下，我们在CIFAR-10中获得了10%的最大提升，在CIFAR-100中获得了8.34%，在Tiny ImageNet中获得了11.51%。我们的代码可在https://github.com/Visual-Conception-Group/test-barycentric-defense上获得。
2023-01-05 cs.CR cs.CV cs.LG
Fair Regression with Wasserstein Barycenters
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Université Gustave Eiffel（古斯塔夫·埃菲尔大学）；University of Genoa（热那亚大学）；Istituto Italiano di Tecnologia（意大利技术研究院）；University College London（伦敦大学学院）
我们研究学习一个实值函数，满足人口奇偶约束的问题。它要求预测输出的分布与敏感属性无关。我们考虑的情况下，敏感属性是可用于预测。我们建立了公平回归和最优传输理论之间的联系，基于此，我们推导出一个封闭的形式表达的最佳公平预测。具体来说，我们表明，这个最佳的分布是Wasserstein重心的分布引起的标准回归函数的敏感群体。这个结果提供了一个直观的解释最佳的公平预测，并建议一个简单的后处理算法，以实现公平。我们为这一程序建立了无风险和无分配的公平保证。数值实验表明，我们的方法是非常有效的学习公平的模型，错误率的相对增加是劣于公平性的相对增益。
2020-06-23 cs.LG math.ST stat.ML
Wasserstein Style Transfer
IBM Research（IBM研究院）；IBM T.J Watson Research Center（IBM托马斯·J·沃森研究中心）
我们提出了高斯最优传输的图像风格传输的编码器/解码器框架。高斯测度的最优运输具有从源分布到目标分布的封闭形式Monge映射。此外，在内容图像和样式图像之间的插值可以被看作是沃瑟斯坦几何中的测地线。使用这种见解，我们展示了如何混合不同的目标风格，使用Wasserstein重心高斯措施。由于高斯函数在Wasserstein重心下是封闭的，这允许我们进行简单的风格转换和风格混合和插值。此外，我们展示了如何混合不同的风格，可以实现使用高斯之间的其他测地线度量，如Fisher Rao度量，而运输的内容，以新的插值风格仍然与高斯OT地图。我们简单的方法允许生成新的风格化内容，在许多艺术风格之间进行插值。插值中使用的度量导致不同的风格化。
2019-05-30 cs.CV cs.LG stat.ML
Averaging Spatio-temporal Signals using Optimal Transport and Soft Alignments
Télécom Paris（巴黎电信学院）；CREST ENSAE（法国国家统计与经济管理学院经济与统计研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
从基因组学到神经影像学，科学中的几个领域都需要监测随着时间而演变的群体（措施）。这些复杂的数据集描述了具有时间和空间分量的动态，对数据分析提出了新的挑战。在这项工作中，我们提出了一个新的框架来进行这些数据集的平均值，目标是从多个轨迹合成一个有代表性的模板轨迹。我们表明，这需要解决三个来源的不变性：在时间，空间和总人口规模（或质量/振幅）的变化。在这里，我们从动态时间规整（DTW），最优运输（OT）理论及其不平衡扩展（UOT）的启发，提出了一个标准，可以解决所有三个问题。该建议利用DTW（Soft-DTW）的平滑公式来捕获时间偏移，并利用UOT来处理空间和大小的变化。我们提出的损失可以用来定义时空重心作为Fréchet手段。使用Fenchel对偶，我们展示了如何这些重心可以有效地计算，并行，通过一个新的变体的熵正则化去偏UOT。手写信件和脑成像数据的实验证实了我们的理论研究结果，并说明了时空数据的建议损失的有效性。
2022-04-08 cs.LG stat.ML
The Multimarginal Optimal Transport Formulation of Adversarial Multiclass Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）
本文研究对抗性多类分类问题，通过将其等价转化为广义重心问题与多边际最优传输问题，揭示了对抗学习的几何结构，并证明求解这些对偶问题可恢复最优鲁棒分类规则与对抗策略。
2023-05-26 cs.LG math.AP math.OC
CPOT: Channel Pruning via Optimal Transport
New Jersey Institute of Technology（新泽西理工学院）；Tencent AI Lab（腾讯人工智能实验室）
深度神经网络（DNN）的最新进展导致网络参数急剧增长，使得在资源有限的平台上部署DNN变得极其困难。因此，已经开发了各种修剪方法来压缩深度网络架构并加速推理过程。大多数现有的信道修剪方法根据精心设计的滤波器排序标准丢弃不太重要的滤波器。然而，由于深度学习模型的可解释性有限，设计一个合适的排序标准来区分冗余过滤器是困难的。为了解决这样一个具有挑战性的问题，我们提出了一种新的技术，通过最优传输，被称为CPOT的信道修剪。具体来说，我们在深度模型中定位每层信道的Wasserstein重心，这是最佳传输度量下的一组概率分布的平均值。然后，我们修剪Wasserstein重心定位的冗余信息。最后，我们实证证明，对于分类任务，CPOT在修剪ResNet-20，ResNet-32，ResNet-56和ResNet-110方面优于最先进的方法。此外，我们还证明了所提出的CPOT技术在更困难的图像到图像翻译任务的情况下，通过修剪来压缩StarGAN模型是很好的。
2020-05-21 cs.CV cs.LG stat.ML
On the complexity of the optimal transport problem with graph-structured cost
Georgia Tech（佐治亚理工学院）；KTH（瑞典皇家理工学院）
多边际最优运输（MOT）是对多边际最优运输的推广。最优传输已经发展成为许多机器学习应用中的重要工具，其多边缘扩展为解决机器学习领域的新挑战开辟了道路。然而，MOT的使用在很大程度上受到其计算复杂性的阻碍，该计算复杂性在边缘的数量上呈指数级。幸运的是，在许多应用中，如重心或插值问题，成本函数坚持的结构，这最近被利用开发有效的计算方法。在这项工作中，我们推导出这些方法的计算界限。与$m$边缘分布支持$n$点，我们提供了一个$ \mathcal{\tilde O}(d(G)m n^2ε^{-2})$界的$ε$的准确性时，问题与直径$d(G)$的树。对于Wasserstein重心问题的特殊情况，它对应于一个星形树，我们的界限与现有的复杂性界限一致。
2021-12-05 cs.CC cs.LG stat.AP
Fair learning with Wasserstein barycenters for non-decomposable performance measures
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Laboratoire de mathématiques d’Orsay（奥赛数学实验室）；Università di Genova（热那亚大学）
这项工作提供了几个基本特征的最佳分类功能下的人口均等约束。在意识框架中，类似于经典的无约束分类的情况下，我们表明，在这种公平性约束下，最大限度地提高精度相当于解决相应的回归问题，然后在$1/2$级阈值。我们将这一结果扩展到线性分数分类度量（例如，${\rm F}$ -评分、AM测量、平衡准确度等），强调回归问题在这一框架中所起的基本作用。我们的研究结果利用最近开发的人口均等约束和多边际最优运输配方之间的联系。非正式地，我们的结果表明，无约束问题和公平的一个之间的过渡是通过替换的条件期望的标签的公平回归问题的解决方案。最后，利用我们的分析，我们证明了在两个敏感群体的情况下，意识和无意识的设置之间的等价性。
2022-09-01 cs.CY cs.LG math.ST
Spectral Clustering for Discrete Distributions
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
针对传统离散分布聚类依赖Wasserstein重心假设不成立、扩展性差的问题，提出结合分布亲和度量的谱聚类方法，用线性最优传输提升扩展性，有理论保证且实验优于基线。
2024-08-16 cs.AI cs.LG stat.ML
Semi-dual Regularized Optimal Transport
CREST（Crest 研究中心）；ENSAE（法国国家统计与经济管理学院）；CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）
涉及Wasserstein距离和更普遍的最优运输（OT）理论的变分问题在数据科学中发挥着越来越重要的作用。这样的问题可以用来形成一个示例措施的各种概率措施，如在瓦瑟斯坦重心问题，或进行参数推断和密度拟合，其中的损失是衡量的最佳运输成本的措施的意见。尽管概念上很简单，但这些问题在计算上具有挑战性，因为它们涉及到最小化本身难以计算的量（Wasserstein距离）。最近出现的熵正则化作为一个有效的工具来近似解这样的变分Wasserstein问题。在本文中，我们给出了这些正则化技术的一个彻底的对偶之旅。特别是，我们展示了如何从经典OT的重要概念，如c-变换和半离散的方法转化为类似的想法在正则化设置。这些对偶公式导致光滑变分问题，这些问题可以使用光滑、可微和凸优化问题来解决，这些问题比它们的非正则化对应问题更容易实现并且在数值上更稳定。我们说明了这种方法的多功能性，将其应用到Wasserstein重心和梯度流的空间正则化泛函的计算。
2018-11-13 cs.AI cs.LG math.OC
A dictionary learning framework for graphs via filters and optimal transport
Graduate School of Information Science and Technology, Hokkaido University（北海道大学信息科学与技术研究生院）
提出一种基于滤波拉普拉斯和最优传输的图字典学习框架，利用代理滤波图距离度量重构误差并通过反向传播优化，在聚类和分类任务上表现优于现有方法。
2026-09-09 cs.LG
On clustering uncertain and structured data with Wasserstein barycenters and a geodesic criterion for the number of clusters
Hellenic Naval Academy（希腊海军学院）；Athens University of Economics & Business（雅典经济与商业大学）；University of Sussex（萨塞克斯大学）；University of the Aegean（爱琴海大学）
本文提出基于Wasserstein重心和测地线准则的不确定与结构化数据聚类方案，利用最优传输理论处理概率测度空间几何，并在模拟和欧元区债券、卫星遥感等实际应用中验证了其有效性。
2022-09-13 cs.LG stat.AP stat.ML
An Introduction to Sliced Optimal Transport
本文综述切片最优传输（SOT），一种利用一维OT易处理性实现快速可扩展距离、重心与核计算的方法，涵盖其数学基础、方法进展及应用，为经典OT提供高效替代方案。
2025-10-14 cs.AI cs.LG stat.CO
New Metrics Between Rational Spectra and their Connection to Optimal Transport
Acoustic Research Laboratory（声学研究实验室）；National University of Singapore（新加坡国立大学）
基于最优传输和线性系统理论，我们提出了一系列信号、线性系统或有理谱之间的度量。度量操作的位置上的极点的合理的功能，并承认非常有效的计算距离，重心，位移插值和投影。我们建立了理性光谱之间的瓦瑟斯坦距离的连接，并展示了使用的指标，如信号分类，聚类，检测和近似的任务。
2020-04-20 cs.LG cs.SY eess.SP
Automatic Text Evaluation through the Lens of Wasserstein Barycenters
LTCI, Telecom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信巴黎分校LTCI）；IBM GBS France（IBM全球企业咨询服务部法国）；CentraleSupelec-CNRS, Universite Paris-Saclay（巴黎萨克雷大学中央理工-高等电力学院-法国国家科学研究中心）
一种新的度量\texttt{BaryScore}，用于评估基于深度上下文化嵌入的文本生成，BERT，Roberta，ELMo）。这一指标的动机是一个新的框架，依赖于最佳的运输工具，即，Wasserstein距离和重心。通过将深度情境化嵌入的层输出建模为概率分布而不是向量嵌入;该框架提供了一种通过Wasserstein空间拓扑聚合不同输出的自然方法。此外，它为我们的度量提供了理论依据，并提供了可用解决方案的替代方案，例如，MoverScore和BertScore）。数值评估是在四个不同的任务：机器翻译，摘要，数据2 text生成和图像描述。我们的研究结果表明，\texttt{BaryScore}优于其他BERT为基础的指标，并表现出更一致的行为，特别是对文本摘要。
2021-09-09 cs.AI cs.CL
Quantifying Spatial Domain Explanations in BCI using Earth Mover's Distance
IIT Gandhinagar（印度理工学院甘地纳格尔分校）
本研究针对基于运动想象的脑机接口，提出用推土机距离量化空间特征解释与神经科学领域知识的一致性，并验证了结合领域知识选择通道能显著提升多种深度学习模型的性能。
2024-05-02 cs.ET cs.HC cs.LG
Optimal Transport-based Domain Alignment as a Preprocessing Step for Federated Learning
Florida International University（佛罗里达国际大学）
本文提出一种基于最优传输和Wasserstein重心的联邦学习预处理算法，通过将各边缘设备数据投影到统一目标RGB空间来缓解数据集不平衡，在CIFAR-10上以更少通信轮次实现更高泛化性能。
2025-06-04 cs.CV cs.LG
Unsupervised Multilingual Alignment using Wasserstein Barycenter
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Borealis AI（博瑞利斯人工智能公司）
我们研究了无监督的多语言对齐，即在不使用任何并行数据的情况下找到多种语言之间的逐字翻译的问题。一种流行的策略是通过选择一种输入语言作为我们转换的关键语言，将多语言对齐减少到简化的双语设置。然而，众所周知的是，通过一个选择不佳的枢纽语言（如英语）过渡可能会严重降低翻译质量，因为假设的所有语言对之间的传递关系可能不会在训练过程中被强制执行。我们建议使用Wasserstein重心作为一种信息量更大的“平均”语言，而不是通过一种相当任意选择的枢轴语言：它封装了所有语言的信息，并最大限度地减少了所有成对的运输成本。我们在标准基准上评估我们的方法，并展示最先进的性能。
2020-07-28 cs.CL cs.LG stat.ML
Adversarial Text Generation via Feature-Mover's Distance
Duke University（杜克大学）；Microsoft Research（微软研究院）；Baidu Research（百度研究院）
生成对抗网络（GANs）在生成真实值数据方面取得了重大成功。然而，文本的离散性阻碍了GAN在文本生成任务中的应用。而不是使用标准的GAN目标，我们建议通过一种新的方法，启发最佳运输，以改善文本生成GAN。具体来说，我们考虑使用一种新的度量标准，称为特征移动者的距离（FMD）匹配真实和合成句子的潜在特征分布。该公式导致高度区分性的批评和易于优化的目标，克服了现有方法中的模式崩溃和脆性训练问题。广泛的实验进行了各种任务，以评估所提出的模型经验，包括无条件的文本生成，从非平行文本的风格转移，和无监督的密码破解。所提出的模型产生优越的性能，表现出广泛的适用性和有效性。
2020-08-12 cs.CL
Improving word mover's distance by leveraging self-attention matrix
Kyoto University（京都大学）；Tohoku University（东北大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）
本文针对WMD忽略词序的问题，提出结合BERT自注意力矩阵与Fused Gromov-Wasserstein距离的WSMD，同时建模词嵌入和句子结构，从而提升复述识别与语义文本相似性性能。
2023-11-02 cs.CL
