The GenCol algorithm for high-dimensional optimal transport: general formulation and application to barycenters and Wasserstein splines
Technische Universität München(慕尼黑工业大学)
本文将高维多边际最优传输的遗传列生成算法从对称问题扩展至一般问题,并应用于计算精确的无网格Wasserstein重心和三次Wasserstein样条。
2022-09-19 cs.LG cs.NA math.NA
Continuous Wasserstein-2 Barycenter Estimation without Minimax Optimization
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院);Massachusetts Institute of Technology(麻省理工学院)
Wasserstein重心提供了基于最优运输的概率度量的加权平均的几何概念。在本文中,我们提出了一个可扩展的算法来计算Wasserstein-2重心给定的样本访问的输入措施,这是不限于离散。虽然过去的方法依赖于熵或二次正则化,我们采用输入凸神经网络和循环一致性正则化,以避免引入偏见。因此,我们的方法不诉诸于极大极小优化。我们提供了理论分析的误差范围,以及所提出的方法在低维定性场景和高维定量实验的有效性的经验证据。
2021-02-02 cs.LG stat.ML
Wasserstein Barycenter Model Ensembling
IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
在本文中,我们提出了执行模型集成在一个多类或多标签学习设置使用Wasserstein(W.)重心最佳传输度量,如Wasserstein距离,允许合并语义侧信息,如词嵌入。利用W.找到模型之间的一致性的重心允许我们在找到模型之间的一致性时平衡置信度和语义。我们展示了Wasserstein集成在基于属性的分类、多标签学习和图像描述生成中的应用。这些结果表明,W.集成是基本几何或算术平均集成的可行替代方案。
2019-02-13 cs.LG stat.ML
Fast Algorithms for Computational Optimal Transport and Wasserstein Barycenter
UC Berkeley(加州大学伯克利分校)
我们提供了理论复杂性分析的新算法来计算两个离散的概率分布之间的最佳运输(OT)的距离,并证明其良好的实际性能比国家的最先进的原始-对偶算法和他们的能力,在解决其他问题的大规模,如Wasserstein重心问题的多个概率分布。首先,我们介绍了计算OT距离的\emph{accelerated primal-dual randomized coordinate descent}(APDRCD)算法。我们提供了它的复杂性上界$\bigOtil(\frac{n^{5/2}}{\varepsilon})$,其中$n$代表这些概率测度的原子数,$\varepsilon > 0$是所需的精度。这个复杂性界匹配OT问题的原始-对偶算法的最佳已知复杂性,包括自适应原始-对偶加速梯度下降(APDGD)和自适应原始-对偶加速镜像下降(APDAMD)算法。然后,通过大量的实验研究,证明了APDRCD算法优于APDAGD和APDAMD算法,并提出了一种贪婪算法\emph{accelerated primal-dual greedy coordinate descent}(APDGCD),进一步提高了算法的实际性能.最后,我们将APDRCD和APDGCD算法推广到分布式算法,用于计算多个概率分布的Wasserstein重心。
2020-06-15 cs.DS cs.LG stat.ML
Estimating Barycenters of Distributions with Neural Optimal Transport
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);ETH Zürich(苏黎世联邦理工学院);Artificial Intelligence Research Institute(人工智能研究所)
本文提出一种基于Neural OT求解器的双层对抗学习方法,用于可扩展地求解一般代价函数下的Wasserstein重心问题,并给出理论误差界及图像数据上的实验验证。
2024-06-06 cs.LG
On Barycenter Computation: Semi-Unbalanced Optimal Transport-based Method on Gaussians
The University of Texas, Austin(德克萨斯大学奥斯汀分校);VinAI Research(VinAI研究院)
本文针对高斯分布提出基于半不平衡最优传输的鲁棒重心方法,在 Bures-Wasserstein 流形上开发了两种梯度下降优化算法,证明了其理论收敛性,并通过实验验证了优于常规 Wasserstein 重心的表现。
2024-10-10 cs.LG
Variational Wasserstein Barycenters with c-Cyclical Monotonicity
College of Computer Science and Technology, Jilin University(吉林大学计算机科学与技术学院);Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education(教育部符号计算与知识工程重点实验室)
Wasserstein重心建立在最优传输理论的基础上,提供了一个强大的框架来聚合概率分布,并且它越来越引起机器学习社区的极大关注。然而,它遭受严重的计算负担,特别是对于高维和连续设置。为此,我们开发了一种新的连续近似方法的Wasserstein重心问题的样本访问输入分布。其基本思想是引入一个变分分布作为真实连续重心的近似,从而将重心计算问题框架为一个优化问题,其中变分分布的参数调整代理分布以使其与重心相似。利用变分分布,我们构造了一个易于处理的对偶公式的正则化Wasserstein重心问题的c-循环单调性,可以有效地解决随机优化。我们提供了收敛性的理论分析,并证明了我们的方法的实际应用的子集后验聚合和合成数据的有效性。
2022-12-17 cs.LG stat.ML
Context Mover's Distance & Barycenters: Optimal Transport of Contexts for Building Representations
EPFL(洛桑联邦理工学院);École Polytechnique(巴黎综合理工学院)
我们提出了一个框架,用于构建实体及其组合的无监督表示,其中每个实体被视为概率分布,而不是向量嵌入。特别是,这种分布是支持的上下文,共同出现的实体,并嵌入在一个合适的低维空间。这使我们能够从最优运输的角度考虑表示学习,并利用其工具,如Wasserstein距离和重心。我们详细阐述了如何将该方法应用于获得文本的无监督表示,并说明了在测量句子相似性,词蕴涵和相似性等任务上的性能(定量和定性),其中我们根据经验观察到显着的收益(例如,相对于Sent2vec,GenSen的4.1%相对改善)。所提出的方法的主要优点包括:(a)通过将实体建模为分布来捕获不确定性和多义,(b)利用特定任务的底层几何结构(具有地面成本),(c)同时提供上下文之间的最佳传输概念的可解释性,以及(d)在现有点嵌入方法之上的简单适用性。该代码以及预构建的直方图可在https://github.com/context-mover/上获得。
2020-02-29 cs.CL cs.LG stat.ML
Stochastic Approximation versus Sample Average Approximation for population Wasserstein barycenters
Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机研究所);Moscow Institute of Physics and Technology(莫斯科物理技术学院);Institute for Information Transmission Problems(信息传输问题研究所)
在机器学习和优化领域,凸风险最小化问题主要有两种方法,即随机逼近(SA)和样本平均逼近(SAA)。就oracle复杂性(所需的随机梯度评估次数)而言,这两种方法被认为是平均等效的(直到对数因子)。总的复杂性取决于具体的问题,但是,从工作开始\cite{nemirovski2009robust}它被普遍接受的SA是优于SAA。然而,在大规模问题的情况下,SA可能会耗尽内存,因为在一台机器上存储所有数据并在没有与其他机器通信的情况下组织在线访问是不可能的。SAA与SA不同,允许并行/分布式计算。我们表明,对于Wasserstein重心问题,这种优势可以被逆转。我们提供了一个详细的比较,说明SA和SAA实现计算重心相对于最优输运距离和熵正则化最优输运距离的复杂性界限。作为一个副产品,我们还构建了置信区间的重心定义相对于熵正则化的最优输运距离的$\ell_2$规范。对由期望给出的一般凸优化问题,给出了初步结果,以便在Wasserstein重心问题之外有其它应用。
2021-10-25 cs.LG math.OC stat.ML
Stochastic Wasserstein Barycenters
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个随机算法来计算重心的一组概率分布下的Wasserstein度量从最佳运输。与以前的方法不同,我们的方法扩展到连续的输入分布,并允许在每次迭代中调整重心的支持。我们在没有正则化的情况下解决了这个问题,使我们能够恢复一个尖锐的输出,其支持包含在真正的重心的支持之内。我们给出的例子,我们的算法恢复比以前的工作更有意义的重心。我们的方法是通用的,可以扩展到应用程序,如从一个给定的分布生成超级样本和恢复蓝噪声近似。
2018-06-07 cs.LG math.OC stat.ML
Approximative Algorithms for Multi-Marginal Optimal Transport and Free-Support Wasserstein Barycenters
Technische Universität Berlin(柏林工业大学)
计算求解多边际最优输运(MOT)的平方欧几里德成本的$N$离散概率测度最近引起了相当大的关注,部分原因是它的解决方案与Wasserstein- $2$重心,这在数据科学中有许多应用。一般来说,这个问题是NP难的,需要实用的近似算法。虽然熵正则化已经成功地应用于近似Wasserstein重心,但这失去了最优解的稀疏性,使得由于维数灾难而难以在实践中直接解决MOT问题。因此,为了获得重心,人们通常诉诸于对网格的固定支撑限制,然而,这在更高的环境维度$d$中是禁止的。本文在分析了MOT与重心的关系后,提出了两种直接逼近MOT的算法,该算法只需$N-1$标准的两边缘OT计算。因此,它们速度快,内存效率高,易于实现,可以作为黑盒与任何稀疏OT求解器一起使用。此外,他们产生稀疏的解决方案,并显示有前途的数值结果。我们从理论上分析了这些算法,证明了相对逼近误差的上界和下界。
2022-02-02 cs.LG cs.NA math.NA
A Particle-Flow Algorithm for Free-Support Wasserstein Barycenters
Department of Mathematics, Baruch College(数学系,巴彻学院)
本文提出一种自由支撑的Wasserstein重心粒子流算法,通过几何感知的粒子更新保留尖锐特征,理论证明其收敛性与稳定性,实验验证了准确性和可扩展性,是有原则的线性规划与正则化求解替代方案。
2025-09-16 cs.LG stat.CO stat.ML
Wasserstein barycenters are NP-hard to compute
Massachusetts Institute of Technology(麻省理工学院)
计算Wasserstein重心(a.k.a.最优输运重心)是几何学中的一个基本问题,由于在数据科学中的许多应用,最近引起了相当大的关注。虽然在任何固定的维度上都存在多项式时间算法,但所有已知的运行时间在维度上都呈指数级下降。这是一个开放的问题,是否这种指数依赖性是改进的多项式依赖。本文证明,除非P=NP,答案是否定的。这揭示了一个“维数灾难”的Wasserstein重心计算不会发生的最优输运计算。此外,我们的硬度计算Wasserstein重心的结果扩展到近似计算,看似简单的情况下的问题,并平均概率分布在其他最优输运指标。
2021-12-03 cs.CC cs.DS cs.LG
Learning to Predict Graphs with Fused Gromov-Wasserstein Barycenters
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);Ecole Polytechnique(巴黎综合理工学院);Université de Toulouse(图卢兹大学);INRAE(法国国家农业食品与环境研究院);Aalto University(阿尔托大学)
本文介绍了一种新颖的通用框架,通过利用最优传输工具来解决监督标记图预测的旗舰任务。我们制定的问题与融合Gromov-Wasserstein(FGW)的损失回归,并提出了一个预测模型依赖于FGW重心的权重取决于输入。首先,我们介绍了一种基于核岭回归的非参数估计,证明了其相合性和超额风险界等理论结果。接下来,我们提出了一个可解释的参数模型,其中的重心权重建模与神经网络和FGW的重心计算的图形,另外学习。数值实验表明,该方法的强度和它的能力,在标记的图形空间内插模拟数据和一个困难的代谢识别问题,它可以达到非常好的性能,很少的工程。
2022-06-24 cs.LG stat.ML
Debiased Sinkhorn barycenters
CREST-ENSAE;Inria Saclay(法国国家信息与自动化研究所萨克莱分院);Google Research(谷歌研究院)
最优传输(OT)中的熵正则化是最近机器学习中Wasserstein度量和重心的许多兴趣的驱动力。它允许保持非正则化瓦瑟斯坦距离的吸引人的几何特性,同时由于Sinkhorn的算法而具有显著较低的复杂度。然而,熵带来一些固有的平滑偏差,例如导致模糊的重心。这种副作用促使社区越来越倾向于采用较慢的算法,例如对数域稳定的Sinkhorn,它打破了可以在GPU上利用的并行结构,甚至回到非正则化OT。在这里,我们展示了这种偏见是如何紧密联系在一起的参考措施,定义的熵正则化,并提出debiased Wasserstein重心,保持最好的两个世界:快速Sinkhorn样迭代没有熵平滑。从理论上证明了一元高斯分布的熵OT重心是高斯分布,并量化了其方差偏差。这个结果是通过将熵OT的可微性和凸性推广到具有无界支撑的次高斯测度而得到的。从经验上讲,我们说明了减少模糊和各种应用程序的计算优势。
2020-06-03 cs.LG stat.ML
Static and Dynamic Approaches to Computing Barycenters of Probability Measures on Graphs
Tufts University(塔夫茨大学)
本文提出基于黎曼结构的图上概率测度质心计算方法,通过内在梯度下降合成质心并分析测度,对比了熵正则化静态方法,验证了其有效性。
2026-03-27 cs.LG math.PR stat.ML
Synthesis and Analysis of Data as Probability Measures with Entropy-Regularized Optimal Transport
Tufts University(塔夫茨大学)
该研究基于熵正则化Wasserstein-2代价与Sinkhorn散度开展概率测度的合成与分析,推导了重心的不动点刻画与凸二次规划求解方法,证明了系数的维度无关收敛性与扰动稳定性,在小样本点云分类任务中效率优于神经网络基线。
2025-03-23 cs.LG stat.ML
Robust Barycenters of Persistence Diagrams
本文提出了一种计算持久图鲁棒Wasserstein重心的方法,适用于q∈(1,2)的运输成本,用于持久图聚类和词典编码。
2026-01-21 cs.CG cs.LG
Scalable Computations of Wasserstein Barycenter via Input Convex Neural Networks
Georgia Institute of Technology(佐治亚理工学院);University of California, Irvine(加利福尼亚大学尔湾分校)
Wasserstein Barycenter是一种原则性的方法来表示给定的一组概率分布的加权平均值,利用由最佳运输引起的几何形状。针对机器学习中的高维应用,提出了一种新的可扩展的Wasserstein重心近似算法。我们提出的算法是基于Kantorovich对偶公式的Wasserstein-2距离以及最近的神经网络架构,输入凸神经网络,这是已知的参数化凸函数。我们的方法的显着特点是:i)它只需要来自边缘分布的样本; ii)与现有方法不同,它用生成模型表示重心,因此可以从重心生成无限个样本,而无需查询边缘分布; iii)它在一个边缘情况下类似于生成对抗模型。我们证明了我们的算法的有效性,通过比较它与国家的最先进的方法在多个实验。
2021-11-27 cs.LG math.OC stat.ML
Bayesian Learning with Wasserstein Barycenters
University of Vienna(维也纳大学);Universidad de Chile(智利大学);NoiseGrasp SpA(NoiseGrasp公司)
我们介绍和研究一种新的模型选择策略贝叶斯学习,最佳运输的基础上,随着其相关的预测后验法:Wasserstein人口重心的后验法模型。我们首先展示了这个估计,称为贝叶斯Wasserstein重心(BWB),自然产生的一般,无参数贝叶斯模型选择框架,当考虑贝叶斯风险是瓦瑟斯坦距离。给出了一些例子,说明如何BWB扩展一些经典的参数和非参数选择策略。此外,我们还提供了明确的条件授予存在和统计一致性的BWB,并讨论了它的一些一般和具体的属性,提供洞察其优势相比,通常的选择,如模型平均估计。最后,我们说明了如何使用随机梯度下降(SGD)算法在Wasserstein空间中计算此估计量,该算法在配套论文arXiv:2201.04232v2 [math.OC]中介绍,并提供了一个数值例子,实验验证所提出的方法。
2022-11-09 cs.LG stat.ML
OTLesMix: Wasserstein Barycenter and Optimal Transport Map for Synthetic Lesion Generation with Diverse Shapes and Locations
Univ. Lyon(里昂大学);INSA Lyon(里昂国立应用科学学院);UCBL(里昂第一大学);CNRS(法国国家科学研究中心);Inserm(法国国家健康与医学研究院);CREATIS
本研究提出OTLesMix方法,利用Wasserstein重心与最优传输映射生成多样化合成病灶,在三项脑病灶分割任务上使Dice分数提升2.9至6.6个百分点,性能优于现有混合类方法。
2026-08-07 cs.CV cs.LG eess.IV
An in depth look at the Procrustes-Wasserstein distance: properties and barycenters
Universit\'e C\ ote d'Azur, UMR 7264 CEPAM, CNRS, Nice, France;Universit\'e C\ ote d'Azur, Inria, CNRS, Laboratoire J.A. Dieudonn\'e, Maasai team, Nice, France;Universit\'e Lumi\'ere Lyon II, UMR 5133 Arch\'eorient CNRS, Lyon, France
本文系统研究了Procrustes-Wasserstein距离的数学性质,证明其在离散概率测度空间上确为距离,并提出PW重心概念及估计算法,用于从点云集合中提取代表性形状,在精确对齐和形状保持任务上优于现有最优传输方法。
2025-07-01 cs.LG stat.ML
Wasserstein Gradient Flows for Scalable and Regularized Barycenter Computation
Sigma Nova Paris(Sigma Nova巴黎)
本文提出基于Wasserstein梯度流的可扩展且正则化的barycenter计算方法,通过小批量最优传输和任务感知正则化实现高效的监督信息整合,提升跨领域适应性能。
2026-07-27 cs.AI cs.LG stat.ML
Linearized Wasserstein Barycenters: Synthesis, Analysis, Representational Capacity, and Applications
Tufts University(塔夫茨大学)
本文提出线性重心编码模型(LBCM),利用线性最优传输度量合成与分析概率测度,给出闭式解和有限样本保证,并展示其在协方差估计与数据插补中的应用。
2025-04-08 cs.LG stat.ML
Wasserstein Distributionally Robust Optimization with Wasserstein Barycenters
Northwestern University(西北大学)
在统计学和机器学习的许多应用中,来自多个可能异构的源的数据样本的可用性已经变得越来越普遍。另一方面,在分布鲁棒优化,我们寻求数据驱动的决策,以及在最不利的分布从名义分布构造的数据样本在一定的差异的概率分布。然而,目前还不清楚如何实现这种分布鲁棒性模型学习和估计时,数据样本来自多个来源。在这项工作中,我们建议通过Wasserstein重心作为来自多个来源的数据样本的聚合的概念,构建基于最佳运输的分布鲁棒优化问题的标称分布。在特定的损失函数的选择下,所提出的公式承认一个易于处理的重新制定作为一个有限的凸规划,具有强大的有限样本和渐近保证。作为一个说明性的例子,我们证明了分布鲁棒稀疏逆协方差阵估计的零均值高斯随机向量的问题,我们提出的方案优于其他广泛使用的估计在低维和高维制度。
2022-05-30 cs.LG math.OC stat.ML
Parallel Streaming Wasserstein Barycenters
Massachusetts Institute of Technology(麻省理工学院)
有效地聚合来自不同来源的数据是一个具有挑战性的问题,特别是当来自每个来源的样本分布不同时。这些差异可能是推理任务所固有的,也可能是由于其他原因而存在的:传感器网络中的传感器可能被放置得很远,从而影响它们各自的测量结果。相反,在计算上将贝叶斯推理任务划分为数据子集是有利的,但是数据不需要在子集之间相同地分布。融合概率分布的一个原则性方法是通过最优传输的透镜:Wasserstein重心是一个单一的分布,它总结了一系列输入测量,同时尊重它们的几何形状。然而,计算重心的规模差,需要离散化的所有输入分布和重心本身。改进这种情况下,我们提出了一个可扩展的,通信效率高,并行算法计算任意分布的Wasserstein重心。我们的算法可以直接对连续输入分布进行操作,并针对流数据进行了优化。我们的方法甚至是强大的非平稳输入分布,并产生一个重心估计,跟踪随着时间的推移的输入措施。该算法是半离散的,只需要离散重心估计。据我们所知,我们还提供了第一界的质量近似重心的离散化变得更精细。最后,我们证明了我们的方法的实际有效性,无论是在跟踪移动的分布在一个球体上,以及在一个大规模的贝叶斯推理任务。
2017-11-14 cs.LG math.OC stat.CO
Stability of Entropic Wasserstein Barycenters and application to random geometric graphs
CNRS(法国国家科学研究中心);GIPSA-lab(GIPSA实验室);UGA(格勒诺布尔阿尔卑斯大学);IRISA(法国国家信息与自动化研究所雷恩分所);Univ. Rennes 1(雷恩第一大学)
随着近年来对图形数据的兴趣的增长,各种几何工具的计算变得至关重要。在网格处理等领域中,往往依赖于离散流形上测地线和最短路径的计算。这种工具的一个最近的例子是计算瓦瑟斯坦重心(WB),一个非常普遍的概念重心来自最优运输理论,和他们的熵正则化的变体。在本文中,我们研究如何在离散网格WB涉及到的几何基础流形。我们首先提供了一个通用的稳定性结果相对于输入成本矩阵。然后,我们将这一结果应用到随机几何图形的流形上,其最短路径收敛到测地线,从而证明了离散形状上计算的WB的一致性。
2023-03-27 cs.CG cs.LG stat.OT
Doubly Regularized Entropic Wasserstein Barycenters
Institut de Mathématiques, École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院数学研究所)
本文提出双正则化 $(λ,τ)$-熵 Wasserstein 重心,证明其去偏逼近、光滑稳定、$n^{-1/2}$ 估计速率,并给出指数收敛的无网格噪声粒子梯度下降算法。
2025-07-25 cs.LG math.OC stat.ML
Averaging Spatio-temporal Signals using Optimal Transport and Soft Alignments
Télécom Paris(巴黎电信学院);CREST ENSAE(法国国家统计与经济管理学院经济与统计研究中心);Université Paris-Saclay(巴黎萨克雷大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会)
从基因组学到神经影像学,科学中的几个领域都需要监测随着时间而演变的群体(措施)。这些复杂的数据集描述了具有时间和空间分量的动态,对数据分析提出了新的挑战。在这项工作中,我们提出了一个新的框架来进行这些数据集的平均值,目标是从多个轨迹合成一个有代表性的模板轨迹。我们表明,这需要解决三个来源的不变性:在时间,空间和总人口规模(或质量/振幅)的变化。在这里,我们从动态时间规整(DTW),最优运输(OT)理论及其不平衡扩展(UOT)的启发,提出了一个标准,可以解决所有三个问题。该建议利用DTW(Soft-DTW)的平滑公式来捕获时间偏移,并利用UOT来处理空间和大小的变化。我们提出的损失可以用来定义时空重心作为Fréchet手段。使用Fenchel对偶,我们展示了如何这些重心可以有效地计算,并行,通过一个新的变体的熵正则化去偏UOT。手写信件和脑成像数据的实验证实了我们的理论研究结果,并说明了时空数据的建议损失的有效性。
2022-04-08 cs.LG stat.ML
Local Bures-Wasserstein Transport: A Practical and Fast Mapping Approximation
Rakuten Institute of Technology(乐天技术研究所)
基于最优运输(OT)的方法有着广泛的应用,近年来引起了人们的极大关注。然而,OT的大多数计算方法不学习底层的传输映射。虽然已经提出了一些算法来学习这个映射,但它们依赖于基于内核的方法,这使得它们在样本数量增加时非常慢。在这里,我们提出了一种方法来学习一个近似的运输地图和参数近似的Wasserstein重心。我们通过利用高斯(Bures-Wasserstein)传输的封闭形式来构建近似的传输映射;我们计算每个密度的高斯分量匹配对之间的本地传输计划。学习的映射推广到样本外的示例。我们提供了模拟和真实数据的实验结果,比较我们提出的方法与其他映射估计算法。初步实验表明,我们提出的方法不仅速度更快,整体运行时间为80倍,而且它需要的组件比最先进的方法更少,以恢复重心的支持。从实践的角度来看,它很容易实现,并且可以与传统的机器学习管道一起使用。
2019-06-19 cs.LG stat.AP stat.ML
Tree-Based Diffusion Schrödinger Bridge with Applications to Wasserstein Barycenters
École polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎综合理工学院联盟);ENS(巴黎高等师范学校);PSL University(巴黎文理研究大学);University of Oxford(牛津大学)
本文提出TreeDSB算法,将扩散薛定谔桥推广到树结构熵正则化多边际最优传输,并将其应用于高维Wasserstein重心计算,在图像插值和贝叶斯融合中验证了有效性。
2023-10-28 cs.LG math.PR stat.ML
Wasserstein Style Transfer
IBM Research(IBM研究院);IBM T.J Watson Research Center(IBM托马斯·J·沃森研究中心)
我们提出了高斯最优传输的图像风格传输的编码器/解码器框架。高斯测度的最优运输具有从源分布到目标分布的封闭形式Monge映射。此外,在内容图像和样式图像之间的插值可以被看作是沃瑟斯坦几何中的测地线。使用这种见解,我们展示了如何混合不同的目标风格,使用Wasserstein重心高斯措施。由于高斯函数在Wasserstein重心下是封闭的,这允许我们进行简单的风格转换和风格混合和插值。此外,我们展示了如何混合不同的风格,可以实现使用高斯之间的其他测地线度量,如Fisher Rao度量,而运输的内容,以新的插值风格仍然与高斯OT地图。我们简单的方法允许生成新的风格化内容,在许多艺术风格之间进行插值。插值中使用的度量导致不同的风格化。
2019-05-30 cs.CV cs.LG stat.ML
Fair Regression with Wasserstein Barycenters
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Université Gustave Eiffel(古斯塔夫·埃菲尔大学);University of Genoa(热那亚大学);Istituto Italiano di Tecnologia(意大利技术研究院);University College London(伦敦大学学院)
我们研究学习一个实值函数,满足人口奇偶约束的问题。它要求预测输出的分布与敏感属性无关。我们考虑的情况下,敏感属性是可用于预测。我们建立了公平回归和最优传输理论之间的联系,基于此,我们推导出一个封闭的形式表达的最佳公平预测。具体来说,我们表明,这个最佳的分布是Wasserstein重心的分布引起的标准回归函数的敏感群体。这个结果提供了一个直观的解释最佳的公平预测,并建议一个简单的后处理算法,以实现公平。我们为这一程序建立了无风险和无分配的公平保证。数值实验表明,我们的方法是非常有效的学习公平的模型,错误率的相对增加是劣于公平性的相对增益。
2020-06-23 cs.LG math.ST stat.ML
Beckman Defense
IIITD(德里英迪拉·甘地信息技术学院)
基于最优运输(OT)的分布式鲁棒优化(DRO)在最近的过去已经得到了一些牵引力。然而,它还处于起步阶段,但在增强深度学习模型的鲁棒性方面具有良好的潜力。有趣的是,OT重心对对抗攻击表现出良好的鲁棒性。由于OT重心的计算量大,因此没有在DRO框架下对其进行研究。在这项工作中,我们提出了一个新的重心,即贝克曼重心,它可以有效地计算和用于训练网络抵御对抗攻击与对抗训练。我们提出了一种新的贝克曼重心公式,并利用输入图像的边缘解析地获得重心。我们表明,贝克曼重心可以用来训练对抗训练网络,以提高鲁棒性。我们的训练是非常有效的,因为它只需要一个单一的训练时期。在CIFAR-10、CIFAR-100和Tiny ImageNet上进行的详细实验表明,使用Beckman重心训练一个对抗性强的网络可以显着提高性能。在自动攻击下,我们在CIFAR-10中获得了10%的最大提升,在CIFAR-100中获得了8.34%,在Tiny ImageNet中获得了11.51%。我们的代码可在https://github.com/Visual-Conception-Group/test-barycentric-defense上获得。
2023-01-05 cs.CR cs.CV cs.LG
Optimal Transport Tools (OTT): A JAX Toolbox for all things Wasserstein
Google(谷歌);ETH Zürich(苏黎世联邦理工学院)
最佳传输工具(OTT-JAX)是一个Python工具箱,可以解决点云和直方图之间的最佳传输问题。该工具箱建立在各种JAX特性的基础上,例如自动和自定义反向模式区分、向量化、即时编译和加速器支持。该工具箱涵盖了基本计算,例如正则化OT问题的解决方案,以及更高级的扩展,例如重心,Gromov-Wasserstein,低秩求解器,凸映射的估计,分位数和秩的可微推广以及高斯混合之间的近似OT。工具箱代码位于\texttt{https://github.com/ott-jax/ott}
2022-01-28 cs.LG stat.ML
The Multimarginal Optimal Transport Formulation of Adversarial Multiclass Classification
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Purdue University(普渡大学)
本文研究对抗性多类分类问题,通过将其等价转化为广义重心问题与多边际最优传输问题,揭示了对抗学习的几何结构,并证明求解这些对偶问题可恢复最优鲁棒分类规则与对抗策略。
2023-05-26 cs.LG math.AP math.OC
CPOT: Channel Pruning via Optimal Transport
New Jersey Institute of Technology(新泽西理工学院);Tencent AI Lab(腾讯人工智能实验室)
深度神经网络(DNN)的最新进展导致网络参数急剧增长,使得在资源有限的平台上部署DNN变得极其困难。因此,已经开发了各种修剪方法来压缩深度网络架构并加速推理过程。大多数现有的信道修剪方法根据精心设计的滤波器排序标准丢弃不太重要的滤波器。然而,由于深度学习模型的可解释性有限,设计一个合适的排序标准来区分冗余过滤器是困难的。为了解决这样一个具有挑战性的问题,我们提出了一种新的技术,通过最优传输,被称为CPOT的信道修剪。具体来说,我们在深度模型中定位每层信道的Wasserstein重心,这是最佳传输度量下的一组概率分布的平均值。然后,我们修剪Wasserstein重心定位的冗余信息。最后,我们实证证明,对于分类任务,CPOT在修剪ResNet-20,ResNet-32,ResNet-56和ResNet-110方面优于最先进的方法。此外,我们还证明了所提出的CPOT技术在更困难的图像到图像翻译任务的情况下,通过修剪来压缩StarGAN模型是很好的。
2020-05-21 cs.CV cs.LG stat.ML
Spectral Clustering for Discrete Distributions
School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院);Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对传统离散分布聚类依赖Wasserstein重心假设不成立、扩展性差的问题,提出结合分布亲和度量的谱聚类方法,用线性最优传输提升扩展性,有理论保证且实验优于基线。
2024-08-16 cs.AI cs.LG stat.ML
On clustering uncertain and structured data with Wasserstein barycenters and a geodesic criterion for the number of clusters
Hellenic Naval Academy(希腊海军学院);Athens University of Economics & Business(雅典经济与商业大学);University of Sussex(萨塞克斯大学);University of the Aegean(爱琴海大学)
本文提出基于Wasserstein重心和测地线准则的不确定与结构化数据聚类方案,利用最优传输理论处理概率测度空间几何,并在模拟和欧元区债券、卫星遥感等实际应用中验证了其有效性。
2022-09-13 cs.LG stat.AP stat.ML
A dictionary learning framework for graphs via filters and optimal transport
Graduate School of Information Science and Technology, Hokkaido University(北海道大学信息科学与技术研究生院)
提出一种基于滤波拉普拉斯和最优传输的图字典学习框架,利用代理滤波图距离度量重构误差并通过反向传播优化,在聚类和分类任务上表现优于现有方法。
2026-09-09 cs.LG
Fair learning with Wasserstein barycenters for non-decomposable performance measures
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);Laboratoire de mathématiques d’Orsay(奥赛数学实验室);Università di Genova(热那亚大学)
这项工作提供了几个基本特征的最佳分类功能下的人口均等约束。在意识框架中,类似于经典的无约束分类的情况下,我们表明,在这种公平性约束下,最大限度地提高精度相当于解决相应的回归问题,然后在$1/2$级阈值。我们将这一结果扩展到线性分数分类度量(例如,${\rm F}$ -评分、AM测量、平衡准确度等),强调回归问题在这一框架中所起的基本作用。我们的研究结果利用最近开发的人口均等约束和多边际最优运输配方之间的联系。非正式地,我们的结果表明,无约束问题和公平的一个之间的过渡是通过替换的条件期望的标签的公平回归问题的解决方案。最后,利用我们的分析,我们证明了在两个敏感群体的情况下,意识和无意识的设置之间的等价性。
2022-09-01 cs.CY cs.LG math.ST
On the complexity of the optimal transport problem with graph-structured cost
Georgia Tech(佐治亚理工学院);KTH(瑞典皇家理工学院)
多边际最优运输(MOT)是对多边际最优运输的推广。最优传输已经发展成为许多机器学习应用中的重要工具,其多边缘扩展为解决机器学习领域的新挑战开辟了道路。然而,MOT的使用在很大程度上受到其计算复杂性的阻碍,该计算复杂性在边缘的数量上呈指数级。幸运的是,在许多应用中,如重心或插值问题,成本函数坚持的结构,这最近被利用开发有效的计算方法。在这项工作中,我们推导出这些方法的计算界限。与$m$边缘分布支持$n$点,我们提供了一个$ \mathcal{\tilde O}(d(G)m n^2ε^{-2})$界的$ε$的准确性时,问题与直径$d(G)$的树。对于Wasserstein重心问题的特殊情况,它对应于一个星形树,我们的界限与现有的复杂性界限一致。
2021-12-05 cs.CC cs.LG stat.AP
Computing Optimal Transport Maps and Wasserstein Barycenters Using Conditional Normalizing Flows
ETH Zurich(苏黎世联邦理工学院)
本文提出一种利用条件归一化流高效计算高维最优传输映射和Wasserstein重心的新方法,通过基于梯度的传输成本最小化直接求解原始问题,突破了以往方法难以处理数百个输入分布的计算瓶颈。
2025-05-28 cs.LG stat.ML
Semi-dual Regularized Optimal Transport
CREST(Crest 研究中心);ENSAE(法国国家统计与经济管理学院);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院)
涉及Wasserstein距离和更普遍的最优运输(OT)理论的变分问题在数据科学中发挥着越来越重要的作用。这样的问题可以用来形成一个示例措施的各种概率措施,如在瓦瑟斯坦重心问题,或进行参数推断和密度拟合,其中的损失是衡量的最佳运输成本的措施的意见。尽管概念上很简单,但这些问题在计算上具有挑战性,因为它们涉及到最小化本身难以计算的量(Wasserstein距离)。最近出现的熵正则化作为一个有效的工具来近似解这样的变分Wasserstein问题。在本文中,我们给出了这些正则化技术的一个彻底的对偶之旅。特别是,我们展示了如何从经典OT的重要概念,如c-变换和半离散的方法转化为类似的想法在正则化设置。这些对偶公式导致光滑变分问题,这些问题可以使用光滑、可微和凸优化问题来解决,这些问题比它们的非正则化对应问题更容易实现并且在数值上更稳定。我们说明了这种方法的多功能性,将其应用到Wasserstein重心和梯度流的空间正则化泛函的计算。
2018-11-13 cs.AI cs.LG math.OC
An Introduction to Sliced Optimal Transport
本文综述切片最优传输(SOT),一种利用一维OT易处理性实现快速可扩展距离、重心与核计算的方法,涵盖其数学基础、方法进展及应用,为经典OT提供高效替代方案。
2025-10-14 cs.AI cs.LG stat.CO
New Metrics Between Rational Spectra and their Connection to Optimal Transport
Acoustic Research Laboratory(声学研究实验室);National University of Singapore(新加坡国立大学)
基于最优传输和线性系统理论,我们提出了一系列信号、线性系统或有理谱之间的度量。度量操作的位置上的极点的合理的功能,并承认非常有效的计算距离,重心,位移插值和投影。我们建立了理性光谱之间的瓦瑟斯坦距离的连接,并展示了使用的指标,如信号分类,聚类,检测和近似的任务。
2020-04-20 cs.LG cs.SY eess.SP
Another Look at Log-PCA for Probability Measures: A Dynamical Formulation and Statistical Convergence
Department of Statistics University of Illinois Urbana-Champaign(统计学系伊利诺伊大学厄巴纳-香槟分校);Department of ACMS University of Notre Dame(ACMS系诺丁汉大学);Department of Mathematics University of British Columbia(数学系不列颠哥伦比亚大学);Department of Mathematics Thomas Lord Department of Computer Science University of Southern California(数学系托马斯·劳德计算机科学系南加州大学)
本文在Wasserstein几何下提出一种动力学公式解释log-PCA,称为Wasserstein切向PCA(WT-PCA),并推导了经验WT-PCA相对于总体测度的统计收敛速率。
2026-06-17 cs.LG stat.ME stat.ML
Relax and Merge: A Simple Yet Effective Framework for Solving Fair $k$-Means and $k$-sparse Wasserstein Barycenter Problems
University of Science and Technology of China(中国科学技术大学)
针对带组比例公平约束的$k$-均值聚类难题,提出“松弛与合并”框架,取得更优近似比,还可拓展至$k$-稀疏Wasserstein重心问题,实验效果优于基线。
2024-12-07 cs.DS cs.LG stat.ML
Hierarchical Optimal Transport for Unsupervised Domain Adaptation
在本文中,我们提出了一种新的方法,无监督领域自适应,涉及最佳运输,学习概率措施和无监督学习的概念。所提出的方法,HOT-DA,是基于一个层次的制定最佳的运输,利用超越的几何信息所捕获的地面度量,更丰富的结构信息在源和目标域。标记源域中的附加信息是通过根据样本的类标签将样本分组到结构中而本能地形成的。而在未标记的目标域中探索隐藏结构的问题归结为通过Wasserstein重心学习概率测度的问题,我们证明了它与谱聚类是等价的。在一个复杂度可控的玩具数据集和两个具有挑战性的视觉自适应数据集上的实验表明了该方法的优越性。
2021-12-03 cs.CV cs.LG stat.ML
Optimal Transport-based Domain Alignment as a Preprocessing Step for Federated Learning
Florida International University(佛罗里达国际大学)
本文提出一种基于最优传输和Wasserstein重心的联邦学习预处理算法,通过将各边缘设备数据投影到统一目标RGB空间来缓解数据集不平衡,在CIFAR-10上以更少通信轮次实现更高泛化性能。
2025-06-04 cs.CV cs.LG
Geodesic Sinkhorn for Fast and Accurate Optimal Transport on Manifolds
Université de Montréal(蒙特利尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);University College London Cancer Institute(伦敦大学学院癌症研究所);Yale University(耶鲁大学)
本文提出 Geodesic Sinkhorn,利用流形图热核扩散及稀疏图拉普拉斯的 Chebyshev 近似,将复杂度降至 $O(n\log n)$,并在化疗单细胞数据中识别治疗效应相关的最优传输距离与路径。
2023-09-26 cs.LG q-bio.QM
Projected Riemannian Gradient Descent for the Bures-Wasserstein Barycenter: Dimension-Independent Linear Convergence at Unit Step Size
National University of Singapore(新加坡国立大学)
该研究针对Bures-Wasserstein重心计算的二分性问题,提出投影黎曼梯度下降算法,在单位步长下实现与维度无关的线性收敛,多项式改进了迭代复杂度,还将该保证扩展到了不变矩阵投影场景。
2026-09-04 cs.LG math.OC quant-ph
Fast Computation of Wasserstein Barycenters
我们提出了新的算法来计算一组经验概率测度的最佳运输度量下的平均值。这个平均值被称为瓦瑟斯坦重心,是使其到该集合中每个元素的瓦瑟斯坦距离之和最小化的度量。我们提出了两个原始算法来计算Wasserstein重心,建立在次梯度法。然而,这些算法的直接实现成本太高,因为它需要重复解决大型原始和对偶最优运输问题来计算次梯度。扩展Cuturi(2013)的工作,我们建议使用熵正则化器平滑Wasserstein重心定义中使用的瓦瑟斯坦距离,并在这样做时恢复严格凸目标,其梯度可以使用矩阵缩放算法以相当便宜的计算成本计算。我们使用这些算法来可视化一个大家庭的图像,并解决了约束聚类问题。
2014-06-17 stat.ML
Towards Universal Wasserstein Barycenters through Flow Matching
Sigma Nova
提出BaryFM流匹配模型,实现Wasserstein单纯形中任意重心的通用逼近,在域适应等4个任务上验证,平均排名优于15种方法。
2026-10-01 cs.AI cs.LG stat.ML