Distribution Steering via Sliced Optimal Transport Control
The University of Tokyo(东京大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文针对动力系统分布引导问题,提出基于切片最优传输的有限时间控制框架,通过投影最优传输映射构造反馈律,实现分布引导并验证其收敛性,扩展至线性系统并给出数值示例。
2026-08-14 cs.LG cs.SY eess.SY
Sliced-Wasserstein Flows: Nonparametric Generative Modeling via Optimal Transport and Diffusions
Inria(法国国家信息与自动化研究所);LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎-萨克雷大学巴黎高等电信学院信息处理与通信实验室);Institute of Mathematics, Polish Academy of Sciences(波兰科学院数学研究所)
通过建立在最近的理论,建立隐式生成建模(IGM)和最佳运输之间的联系,在这项研究中,我们提出了一种新的无参数算法,用于学习复杂数据集的底层分布和采样。所提出的算法是基于一个功能优化问题,其目的是找到一个措施,尽可能接近的数据分布,也有足够的表达生成建模的目的。我们将问题表述为概率测度空间中的梯度流。梯度流和随机微分方程之间的连接,让我们开发一个计算效率高的算法来解决优化问题。我们提供了正式的理论分析,我们证明了有限的时间误差保证所提出的算法。据我们所知,该算法是第一个非参数IGM算法与明确的理论保证。我们的实验结果支持我们的理论,并表明我们的算法是能够成功地捕捉不同类型的数据分布的结构。
2019-06-11 cs.LG stat.ML
Amortized Optimal Transport from Sliced Potentials
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Hanoi University of Science and Technology(河内科学技术大学)
本文提出了一种新的平均优化方法,通过利用切片最优传输的Kantorovich势来预测多个测度对之间的最优传输计划。引入了基于回归的平均(RA-OT)和基于目标的平均(OA-OT)策略,通过回归模型和优化双重目标估计Kantorovich势,提高重复最优传输问题的效率和准确性。
2026-09-30 cs.AI cs.LG stat.ML
Expected Sliced Transport Plans
Vanderbilt University(范德堡大学);Tufts University(塔夫茨大学);University of Warwick(华威大学)
本文提出期望切片传输(EST)计划,通过提升一维切片最优传输计划并取期望,在概率测度间构造显式传输计划,并证明其可诱导有效度量。
2024-10-17 cs.LG math.MG
An Introduction to Sliced Optimal Transport
本文综述切片最优传输(SOT),一种利用一维OT易处理性实现快速可扩展距离、重心与核计算的方法,涵盖其数学基础、方法进展及应用,为经典OT提供高效替代方案。
2025-10-14 cs.AI cs.LG stat.CO
Linear Spherical Sliced Optimal Transport: A Fast Metric for Comparing Spherical Data
Vanderbilt University(范德堡大学);Tufts University(塔夫茨大学)
本文提出线性球面切片最优传输(LSSOT)框架,通过切片将球面分布嵌入L2空间,在保留几何结构的同时实现高效度量,并在皮质配准、点云插值和形状嵌入中验证了其计算效率和准确性。
2024-11-09 cs.LG math.MG
Streaming Sliced Optimal Transport
Department of Statistics(统计系);Data Sciences, University of Texas at Austin, USA(数据科学系,德克萨斯大学奥斯汀分校)
本文提出流式切片最优传输(Stream-SW)方法,通过流式估计一维Wasserstein距离来提升计算效率,适用于样本流中的切片最优传输估计,具有低内存复杂度和理论误差保证。
2026-07-23 cs.LG stat.CO stat.ME
Fast Optimal Transport through Sliced Wasserstein Generalized Geodesics
INSA Rouen(鲁昂国立应用科学学院);Université Bretagne Sud(南布列塔尼大学);LITIS(信息技术与信息系统实验室);IRISA(IRISA研究所);LMBA(LMBA实验室)
本文提出min-SWGG作为平方Wasserstein距离的新代理,利用一维最优投影诱导传输映射,给出闭式解和快速梯度优化方案,在保持与Sliced-Wasserstein相似复杂度的同时提供传输计划,并在梯度流、形状匹配和图像着色等任务中验证其优势。
2023-10-30 cs.LG stat.AP stat.ML
Tree-Sliced Variants of Wasserstein Distances
RIKEN AIP(理化学研究所AIP);Kyoto University(京都大学);The Institute of Statistical Mathematics, Japan(日本统计数理研究所);Google Brain, Paris(谷歌大脑巴黎);CREST - ENSAE(CREST - 法国国立统计与经济管理学院)
最优传输(\OT)理论定义了一组用于比较概率分布的强大工具。然而,\OT ~遭受一些缺点,计算和统计,这鼓励了在最近的文献中OT的几个正则化变体的建议,其中最值得注意的是\textit{sliced}制定,它利用一元分布之间的封闭形式的公式,通过投影到随机线的高维措施。我们认为在这项工作中更一般的家庭的地面指标,即\textit{tree metrics},这也产生快速的封闭形式的计算和负定的,其中切片瓦瑟斯坦距离是一个特殊的情况下(树是一个链)。我们提出了树切片的瓦瑟斯坦距离,通过平均这些措施之间的瓦瑟斯坦距离使用随机树度量,自适应地建立在低维或高维空间计算。利用该距离的负定性,我们还提出了一个正定核,并在一些基准任务上对其他基线进行了测试。
2019-10-28 cs.LG stat.ML
Hierarchical Optimal Transport for Robust Multi-View Learning
Duke University(杜克大学);Infinia ML Inc.(Infinia ML公司)
传统的多视图学习方法通常依赖于两个假设:($i$)不同视图中的样本是对齐的,($ii$)它们在潜在空间中的表示服从相同的分布。然而,这两个假设在实践中可能存在问题,限制了多视图学习的应用。在这项工作中,我们提出了一个分层的最佳运输(HOT)的方法,以减轻对这两个假设的依赖。给定未对齐的多视图数据,HOT方法惩罚不同视图的分布之间的切片Wasserstein距离。这些切片Wasserstein距离被用作地面距离来计算不同视图之间的熵最优传输,这明确地指示了视图的聚类结构。HOT方法适用于无监督和半监督学习,实验结果表明,它执行的合成和现实世界的任务鲁棒性。
2020-06-08 cs.LG stat.ML
Lightspeed Geometric Dataset Distance via Sliced Optimal Transport
University of Texas at Austin(德克萨斯大学奥斯汀分校);Qualcomm AI Research(高通人工智能研究院)
提出无需训练且与模型和嵌入无关的 s-OTDD,通过 MTP 将数据集投影为一维分布并计算期望 Wasserstein 距离,实现近线性复杂度并保持与 OTDD 的强相关性。
2025-05-15 cs.AI cs.LG stat.CO
Sliced Gromov-Wasserstein
最近在各种机器学习上下文中使用的Gromov-瓦瑟斯坦距离(GW)允许比较其支持不一定位于相同度量空间中的分布。然而,这种最优运输(OT)的距离需要解决一个复杂的非凸二次规划,这是非常昂贵的时间和内存的大部分时间。与GW相反,瓦瑟斯坦距离(W)具有允许大规模优化的若干性质(例如对偶性)。其中,仅需要在1D中对离散样本进行排序的实数线上的W的解允许定义切片Wasserstein(SW)距离。本文提出了一种新的发散GW类似SW。我们首先推导出一个封闭的形式GW处理时,一维分布,相关的二次分配问题的一个新的结果的基础上。然后,我们定义了一个新的OT差异,可以处理大规模的分布,通过切片的方法,我们展示了它是如何与GW的距离,同时被$O(n\log(n))$计算。我们在实验中说明了这种所谓的切片Gromov-Wasserstein(SGW)差异的行为,在实验中我们展示了它解决GW类似问题的能力,同时计算速度快了几个数量级。
2022-10-20 cs.LG stat.ML
Highly Data Parallelizable Estimation of the Sliced-Wasserstein Distance Using Cumulative Distribution Functions
Laboratoire de Mathématiques d’Orsay, Université Paris-Saclay(巴黎-萨克雷大学数学实验室);Centre de recherche en économie et statistique, ENSAE(经济与统计研究中心)
提出基于累积分布函数的切片Wasserstein距离估计器,避免排序并支持大规模数据并行,适用于混合高斯和联邦学习场景。
2026-06-29 cs.LG stat.ML
Hierarchical Sliced Wasserstein Distance
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
切片Wasserstein(SW)距离已被广泛应用于不同的应用场景,因为它可以扩展到大量的支持,而不会遭受维数灾难。切片瓦瑟斯坦距离的值是通过Radon变换(RT)获得的原始测量的一维表示(投影)之间的传输成本的平均值。尽管它的效率在数量上的支持,估计切片Wasserstein需要一个相对较大的数量在高维设置的投影。因此,对于支撑件的数量与尺寸相比相对较小的应用,例如,在使用小批量方法的几个深度学习应用中,Radon变换的矩阵乘法的复杂性成为主要的计算瓶颈。为了解决这个问题,我们建议通过线性和随机组合较少数量的投影(称为瓶颈投影)来获得投影。我们解释了这些投影的使用,通过引入层次Radon变换(HRT),这是通过递归应用Radon变换变量构造。然后,我们制定的方法到一个新的度量之间的措施,命名为分层切片Wasserstein(HSW)距离。通过证明HRT的内射性,我们得到了HSW的度量性。此外,我们调查的HSW的理论特性,包括其连接到SW的变种和它的计算和样本的复杂性。最后,我们使用各种基准数据集(包括CIFAR10,CelebA和Tiny ImageNet)比较了HSW与传统SW在深度生成建模任务上的计算成本和生成质量。
2023-02-06 cs.LG stat.ML
Sliced-Wasserstein Distances and Flows on Cartan-Hadamard Manifolds
ENSAE(法国国家统计与经济行政管理学院);CREST(经济统计研究中心);Institut Polytechnique de Paris(巴黎综合理工学院);IMT Atlantique(法国大西洋电信学院);Université Bretagne Sud(南布列塔尼大学);Irisa(法国雷恩计算机与随机自动化研究所)
针对非正曲率流形上 Wasserstein 距离计算昂贵的问题,本文构造 Cartan-Hadamard 流形上的 Sliced-Wasserstein 距离,并给出应用及基于 Wasserstein 梯度流的非参数最小化方案。
2024-03-11 cs.LG stat.ML
Towards Understanding Gradient Dynamics of the Sliced-Wasserstein Distance via Critical Point Analysis
Laboratoire de Mathématiques d'Orsay, Université Paris-Saclay, Gif-sur-Yvette, France(巴黎-萨克雷大学奥赛数学实验室);Centre de recherche en économie et statistique, ENSAE, Palaiseau, France(经济与统计研究中心)
本文针对切片瓦瑟斯坦距离(SW)作为目标泛函的性质展开研究,通过临界点分析证明其稳定临界点无法集中在分段上,阐明临界点的存在性和收敛行为,为相关优化算法提供理论支撑。
2025-08-20 cs.LG stat.ML
Distribution Regression with Sliced Wasserstein Kernels
University College London(伦敦大学学院);Italian Institute of Technology(意大利理工学院)
在概率空间上学习函数的问题--或分布回归--在机器学习社区中引起了极大的兴趣。这个问题背后的一个关键挑战是确定一个合适的表示捕捉底层功能映射的所有相关属性。核均值嵌入提供了一种原则性的分布回归方法,它在概率水平上提升了输入域上的核诱导相似性。这种策略有效地解决了问题的两阶段抽样性质,使人们能够获得强有力的统计保证,如普遍一致性和超额风险界限的估计。然而,核均值嵌入隐含地取决于最大均值差异(MMD),这是一种概率度量,可能无法捕获分布之间的关键几何关系。相比之下,最优传输(OT)指标可能更有吸引力。在这项工作中,我们提出了一个基于OT的分布回归估计。我们建立在切片瓦瑟斯坦距离上以获得基于OT的表示。我们研究了基于这种表示的核岭回归估计的理论性质,证明了它的泛相合性和超额风险界。初步实验补充了我们的理论研究结果,所提出的方法的有效性,并将其与基于MMD的估计。
2022-06-17 cs.LG stat.ML
Asymptotic Guarantees for Learning Generative Models with the Sliced-Wasserstein Distance
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);ENS Cachan(卡尚高等师范学校);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);University of Oxford(牛津大学)
最小期望距离估计(MEDE)算法已被广泛用于具有难处理的似然函数的概率模型,并且由于其在隐式生成建模(例如Wasserstein生成对抗网络,Wasserstein自编码器)中的使用,它们已变得越来越流行。从计算最优传输中产生的切片-瓦瑟斯坦(SW)距离由于其简单性和计算优势已成为MEDE中的流行选择。虽然有几项研究已经报道了经验的成功与SW生成建模,这种估计的理论属性尚未建立。在这项研究中,我们调查的渐近性质的估计,通过最小化SW。我们首先表明,在SW收敛意味着弱收敛的概率测度在一般Wasserstein空间。然后,我们证明了通过最小化SW(以及SW的近似版本)获得的估计量是渐近一致的。最后我们证明了一个中心极限定理,它刻画了估计量的渐近分布,并建立了$\sqrt{n}$的收敛速度,其中$n$表示观测数据点的个数.我们说明了我们的理论在合成数据和神经网络上的有效性。
2020-03-24 cs.LG stat.ML
Hyperbolic Sliced-Wasserstein via Geodesic and Horospherical Projections
Université Bretagne Sud(布列塔尼南部大学);IMT Atlantique(大西洋国立高等矿业电信学院)
针对双曲空间中概率分布比较方法稀缺且最优传输计算成本高的问题,提出通过沿极限球面或测地线投影构造新的双曲切片-Wasserstein差异度量,并在采样和图像分类任务中验证其有效性。
2023-06-26 cs.LG stat.ME stat.ML
Vertical Sliced Wasserstein Distances for Meta-Measures
College of Connected Computing, Vanderbilt University(范德堡大学连接计算学院);Toyota Motor North America, InfoTech Labs(北美丰田汽车公司信息技术实验室);University of California, Davis(加州大学戴维斯分校);Purdue University(普渡大学);Florida State University(佛罗里达州立大学)
针对元测度空间最优传输距离计算成本过高的问题,提出垂直切片沃尔什斯坦因(VSW)距离,证明其为有效度量且具收敛保证,经验证其准确性与效率更优,可用于元测度的基于梯度传输。
2026-10-16 cs.LG
A Novel Sliced Fused Gromov-Wasserstein Distance
针对GW和FGW计算复杂、现有切片版本受限的问题,提出基于下界、分层OT和正交规则的新颖切片技术,降低计算量并保持度量不变性,在形状检索等任务中更鲁棒可靠。
2025-11-13 cs.LG math.OC
Towards Marginal Fairness Sliced Wasserstein Barycenter
University of Texas at Austin(德克萨斯大学奥斯汀分校);VinAI Research(VinAI研究院);Hanoi University of Science and Technology(河内理工大学)
本文首次定义边际公平切片Wasserstein重心问题,并提出三种无需超参数的替代优化方法,通过改进切片分布选择提升效率,在点云平均、颜色协调和公平表示学习等任务中验证了有效性。
2025-02-03 cs.GR cs.LG stat.ML
Tree-Sliced Wasserstein Distance: A Geometric Perspective
Movian AI
针对 SW 将测度投影到一维直线导致拓扑信息丢失的问题,本文提出树系统、分裂映射与新型 Radon 变换,构建闭式且高效的 TSW-SL 度量,并在多类实验中优于 SW 及其变体。
2025-06-09 cs.AI cs.LG stat.ML
Leveraging Optimal Transport via Projections on Subspaces for Machine Learning Applications
Université de Bretagne Sud(南布列塔尼大学);Laboratoire de Mathématiques de Bretagne Atlantique(大西洋布列塔尼数学实验室);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院);Technische Universität Berlin(柏林工业大学);Université Paris Cité(巴黎西岱大学);Sony Computer Science Laboratories Inc(索尼计算机科学实验室公司);Harvard SEAS(哈佛大学工程与应用科学学院);IMT Atlantique(大西洋国立高等工业技术与矿业学校)
本论文研究利用子空间投影的最优传输替代方案,扩展 Sliced-Wasserstein 距离至黎曼流形并应用于不平衡最优传输、梯度流动力学及不可比空间,以降低计算负担并应用于机器学习。
2023-11-23 cs.LG
Sliced Wasserstein Steering between Gaussian Measures
Department of Information Physics and Computing, The University of Tokyo(信息物理与计算系,东京大学);Department of Decision and Control Systems and Department of Mathematics, KTH Royal Institute of Technology(决策与控制系统系和数学系,皇家理工学院)
本文提出一种切片反馈控制器,通过在球面上投影概率分布并合成一维速度,实现分布的高效操控。该方法在高斯分布下能准确导向目标分布,并将能耗与切片Wasserstein距离关联。
2026-04-14 cs.LG cs.SY eess.SY
Slicing Wasserstein Over Wasserstein Via Functional Optimal Transport
Institut für Mathematik, Technische Universität Berlin(数学研究所,柏林技术大学)
本文提出双切片 Wasserstein 度量,通过函数最优传输方法替代传统 WoW 距离,实现计算稳定性和效率提升。
2026-02-19 cs.LG math.MG math.OC
Rectified Flow: A Marginal Preserving Approach to Optimal Transport
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个基于流的方法,最小化的运输成本$\mathbb{E}[c(X_1-X_0)]$在一组耦合$(X_0,X_1)$,其边缘分布$X_0,X_1$等于$π_0,π_1$,分别在$\mathbb{R}^d$上的两个连续分布$π_0,π_1$之间的最优运输(OT)问题,其中$c$是一个成本函数。我们的方法迭代地构造了一系列神经常微分方程(ODE),每个神经常微分方程都是通过求解一个简单的无约束回归问题来学习的,这些问题单调地降低了运输成本,同时自动保留了边际约束。这就产生了一个单调的内部方法,遍历内的有效耦合,以减少运输成本,这区别于大多数现有的方法,从外部强制耦合约束。该方法的主要思想来自整流流,最近的方法,同时降低了整个家庭的运输成本引起的凸函数$c$(因此是多目标的性质),但不是定制的,以最大限度地减少特定的运输成本。我们的方法是一个单一的目标变量的整流,保证解决OT问题的一个固定的,用户指定的凸成本函数$c$。
2022-09-29 cs.LG stat.ML
Statistical and Computational Guarantees of Kernel Max-Sliced Wasserstein Distances
School of Data Science, The Chinese University of Hong Kong, Shenzhen, Shenzhen, China(数据科学学院,香港中文大学(深圳));School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, Shenzhen, China(人工智能学院,香港中文大学(深圳));Department of Mathematics, Michigan State University, East Lansing, USA(数学系,密歇根州立大学);School of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, USA(工业与系统工程学院,佐治亚理工学院)
本文为核最大切片p-Wasserstein距离建立了更温和假设下的有限样本保证,证明KMS 2-Wasserstein距离计算是NP难的,并提出半定松弛公式及松弛间隙,通过数值实验验证其在高维双样本检验中的有效性。
2025-07-18 cs.CC cs.LG stat.ML
An improved central limit theorem for the empirical sliced Wasserstein distance
Universidad de Valladolid and IMUVa(瓦拉多利德大学及IMUVa);Institut de Mathématiques de Toulouse, INRIA(图卢兹数学研究所及法国国家信息与自动化研究所)
本文基于Efron-Stein不等式和对最优运输势的非平凡控制,推导了p-切片瓦瑟斯坦距离的中心极限定理,为非紧致测度之间的切片瓦瑟斯坦距离提供了首次渐近有效的推断框架。
2026-05-20 math.ST stat.TH
Liouville PDE-based sliced-Wasserstein flow
Department of Mathematics(数学系);Morgan State University(摩根州立大学)
本文将切片Wasserstein流转化为基于Liouville偏微分方程的形式,通过改进密度估计和Wasserstein barycenter计算,提升了训练和测试性能,并在公平回归中展示了改进公平性的优势。
2026-05-09 cs.LG math.PR math.ST
Efficient Sliced Wasserstein Distance Computation via Adaptive Bayesian Optimization
Department of Computer Science(计算机科学系);Vanderbilt University(范德比大学)
本文提出通过自适应贝叶斯优化高效计算切片瓦瑟斯坦距离,引入多种方向选择器并展示其在优化循环中的高效性能。
2025-09-23 cs.LG
Convergence of SGD for Training Neural Networks with Sliced Wasserstein Losses
Université Paris Cité(巴黎城市大学);CNRS(法国国家科学研究中心)
本文利用Bianchi等人的理论,证明了在切片Wasserstein损失下训练神经网络的固定步长SGD轨迹收敛于梯度流方程,并在更严格条件下收敛于广义临界点。
2024-03-18 cs.LG math.OC math.PR
Disentangling Marginal Capacity from Geometry in Optimal-Transport Label Transfer
Johnson & Johnson Innovative Medicine(强生创新医药部门)
该研究针对最优传输标签迁移中稀有类别被系统性欠预测的问题,提出使传输边际与目标组成匹配的方法,在单细胞数据上大幅提升宏F1并解耦了两类迁移误差来源。
2026-10-14 cs.LG
Slicing Unbalanced Optimal Transport
CREST, ENSAE, IP Paris(法国国立统计与经济行政学校CREST研究中心,巴黎文理研究大学);CNRS, ENS(法国国家科学研究中心,巴黎高等师范学院);LTS4, EPFL(洛桑联邦理工学院LTS4实验室);Mila, McGill University(米拉研究所,麦吉尔大学);IRISA, Université Bretagne-Sud(法国南布列塔尼大学IRISA研究所)
本文提出切片不平衡最优传输(OT)框架,结合切片OT与不平衡OT的优势,开发类Frank-Wolfe算法计算损失函数,并在合成与真实数据集上验证了其计算效率和适用性。
2025-02-03 cs.LG math.OC
Factored couplings in multi-marginal optimal transport via difference of convex programming
Univ. Bretagne-Sud(布列塔尼南大学);CNRS(法国国家科学研究中心);IRISA(法国国家信息与自动化研究所雷恩-布列塔尼大西洋分校);École Polytechnique(巴黎综合理工学院);CMAP(应用数学中心);Univ Lyon(里昂大学);UJM-Saint-Etienne(圣埃蒂安让·莫内大学)
最优运输(OT)理论是当今许多新兴机器学习(ML)方法的基础,这些方法解决了生成建模、迁移学习和信息检索等广泛的任务。这些后者的作品,但是,通常建立在一个传统的OT设置与两个分布,而留下一个更一般的多边缘OT制定有点未被探索。在本文中,我们研究了多边缘OT(MMOT)问题,并统一了几个流行的OT方法在其保护伞下,通过促进结构信息的耦合。我们表明,将这样的结构信息到MMOT结果在一个不同的凸(DC)规划问题的实例,使我们能够解决它的数值。尽管后者的程序的高计算成本,DC优化提供的解决方案通常是定性的,使用目前采用的优化方案。
2021-12-01 cs.LG math.OC stat.ML
Multi-marginal optimal transport and probabilistic graphical models
KTH Royal Institute of Technology(KTH皇家理工学院);Georgia Institute of Technology(佐治亚理工学院)
我们从概率图模型的角度研究多边际最优输运问题。我们指出,当最优输运的基本成本允许一个图形结构时,两者之间有一个优雅的连接。特别是,熵正则化的多边际最优输运是等价于概率图形模型的贝叶斯边际推理问题,具有指定某些边缘分布的附加要求。这种关系一方面扩展了最优输运和概率图模型论,另一方面通过利用贝叶斯推理中的成熟算法,导致多边际最优输运的快速算法。几个数值例子来突出的结果。
2020-06-25 cs.IT cs.LG math.IT
Distance-Based Tree-Sliced Wasserstein Distance
National University of Singapore(新加坡国立大学);FPT Software AI Center(FPT软件AI中心);Movian AI;The Institute of Statistical Mathematics(统计数学研究所);RIKEN AIP(理化学研究所革新智能创造领域)
针对 TSW-SL 分裂映射忽视投影域且缺乏欧几里得不变性的问题,本文提出利用全部位置信息的 Db-TSW 及 GPU 友好的树采样,并从理论和实验验证其不变性、效率与性能提升。
2025-03-14 cs.AI cs.LG
A Family of Pairwise Multi-Marginal Optimal Transports that Define a Generalized Metric
Apple Inc.(苹果公司);Suffolk University(萨福克大学);Boston College(波士顿学院)
最优运输(OT)问题正在迅速进入机器学习。有利于它的使用是它的度量属性。许多问题的解决方案只能保证嵌入度量空间中的对象,而非度量的使用会使解决它们变得复杂。多边际OT(MMOT)将OT推广到同时运输多种分布。它捕捉了重要的关系,如果运输只涉及两个分布被错过。然而,对MMOT的研究主要集中在其存在性、唯一性、实用算法和代价函数的选择上。目前对MMOT的度量性质缺乏讨论,这限制了它的理论和实际应用。在这里,我们证明了一个家庭的成对MMOTs新的广义度量性质。我们首先通过两个否定的结果来解释证明这一点的困难。之后,我们证明了MMOT的度量性质。最后,我们证明了这个MMOTs族的广义三角不等式不能被改进。我们说明了我们的MMOTs优于其他广义指标,并在合成和真实任务的非指标。
2022-12-22 cs.DM cs.LG math.FA
Estimating Latent Population Flows from Aggregated Data via Inversing Multi-Marginal Optimal Transport
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳人工智能与机器人研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
我们研究的问题,估计潜在的人口流量从聚集计数数据。当由于隐私问题或测量保真度而无法获得单个轨迹时,就会出现这个问题。相反,在离散时间点上测量聚合的观测值,用于估计州之间的人口流动。大多数相关研究通过学习时间齐次马尔可夫过程的过渡参数来解决这些问题。尽管如此,大多数现实世界的人口流动可能会受到各种不确定性的影响,如交通堵塞和天气状况。因此,在许多情况下,时间齐次马尔可夫模型是一个更复杂的人口流动的穷人近似。为了克服这一困难,我们诉诸于一个多边际最优运输(MOT)制定,可以自然地表示聚合观测约束边际,并编码时间相关的转移矩阵的成本函数。特别是,我们建议通过学习MOT框架的成本函数来估计来自聚合数据的过渡流,这使我们能够捕获随时间变化的动态模式。实验表明,在估计几种现实世界的过渡流时,所提出的算法比相关方法的准确性有所提高。
2022-12-30 cs.LG
Collision-based Dynamics for Multi-Marginal Optimal Transport
Department of Mechanical Engineering, MIT, Cambridge, USA(麻省理工学院机械工程系);Paul Scherrer Institute, Villigen, Switzerland(瑞士保罗·谢尔研究所);Laboratory for Computational Engineering, Empa, Dübendorf, Switzerland(瑞士Empa计算工程实验室)
受玻尔兹曼动力学启发,提出基于碰撞的蒙特卡洛算法,通过随机成对交换样本索引求解多边际最优输运问题,计算复杂度与内存随样本数线性增长,在高维场景中高效且优于现有方法。
2025-08-04 cs.AI cs.LG stat.CO
On the complexity of the optimal transport problem with graph-structured cost
Georgia Tech(佐治亚理工学院);KTH(瑞典皇家理工学院)
多边际最优运输(MOT)是对多边际最优运输的推广。最优传输已经发展成为许多机器学习应用中的重要工具,其多边缘扩展为解决机器学习领域的新挑战开辟了道路。然而,MOT的使用在很大程度上受到其计算复杂性的阻碍,该计算复杂性在边缘的数量上呈指数级。幸运的是,在许多应用中,如重心或插值问题,成本函数坚持的结构,这最近被利用开发有效的计算方法。在这项工作中,我们推导出这些方法的计算界限。与$m$边缘分布支持$n$点,我们提供了一个$ \mathcal{\tilde O}(d(G)m n^2ε^{-2})$界的$ε$的准确性时,问题与直径$d(G)$的树。对于Wasserstein重心问题的特殊情况,它对应于一个星形树,我们的界限与现有的复杂性界限一致。
2021-12-05 cs.CC cs.LG stat.AP
Hierarchical Multi-Marginal Optimal Transport for Network Alignment
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊);Meta
针对多网络对齐解空间大且缺高阶度量的问题,提出HOT框架,通过FGW barycenter分解网络并推广FGW距离至多边际设置实现联合对齐,实验证明其在有效性和可扩展性上显著优于现有技术。
2024-02-10 cs.AI cs.LG
Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model
HRL Laboratories, LLC(HRL实验室有限责任公司);University of Virginia(弗吉尼亚大学)
在本文中,我们研究通过自动编码器生成建模,同时使用优雅的几何性质的最佳运输(OT)问题和Wasserstein距离。我们引入了切片Wasserstein自动编码器(SWAE),这是一种生成模型,使人们能够将潜在空间的分布塑造成任何可采样的概率分布,而无需训练对抗网络或定义分布的封闭形式。简而言之,我们用编码训练样本的分布和预定义的可采样分布之间的切片Wasserstein距离来正则化自动编码器损失。我们表明,所提出的配方有一个有效的数值解,提供了类似的功能,Wasserstein自动编码器(WAE)和变分自编码器(VAE),同时受益于一个非常简单的实现。
2018-06-27 cs.LG stat.ML
Approximative Algorithms for Multi-Marginal Optimal Transport and Free-Support Wasserstein Barycenters
Technische Universität Berlin(柏林工业大学)
计算求解多边际最优输运(MOT)的平方欧几里德成本的$N$离散概率测度最近引起了相当大的关注,部分原因是它的解决方案与Wasserstein- $2$重心,这在数据科学中有许多应用。一般来说,这个问题是NP难的,需要实用的近似算法。虽然熵正则化已经成功地应用于近似Wasserstein重心,但这失去了最优解的稀疏性,使得由于维数灾难而难以在实践中直接解决MOT问题。因此,为了获得重心,人们通常诉诸于对网格的固定支撑限制,然而,这在更高的环境维度$d$中是禁止的。本文在分析了MOT与重心的关系后,提出了两种直接逼近MOT的算法,该算法只需$N-1$标准的两边缘OT计算。因此,它们速度快,内存效率高,易于实现,可以作为黑盒与任何稀疏OT求解器一起使用。此外,他们产生稀疏的解决方案,并显示有前途的数值结果。我们从理论上分析了这些算法,证明了相对逼近误差的上界和下界。
2022-02-02 cs.LG cs.NA math.NA
Genetic column generation: Fast computation of high-dimensional multi-marginal optimal transport problems
Technische Universität München(慕尼黑工业大学)
我们介绍了一个简单,准确,和非常有效的方法数值求解密度泛函理论中出现的多边际最优输运(MMOT)问题。该方法依赖于(i)最优计划的稀疏性[对于每个由$\ell$网格点离散化的$N$边缘,一般Kantorovich计划需要$\ell^N$网格点,但优化器的支持大小为$O(\ell\cdot N)$ [FV 18],(ii)根据离散优化的列生成(CG)方法,据我们所知,该方法迄今尚未在MMOT中使用,以及(iii)来自机器学习的想法。CG中的著名瓶颈在于有效地生成新的候选列;我们证明了在我们的上下文中,找到最好的新列是一个NP完全问题。为了克服这个瓶颈,我们使用了一种为MMOT量身定制的遗传学习方法,其中CG内的对偶状态扮演着“对手”的角色,与Wasserstein GANs松散相似。在一系列具有多达120个网格点和多达30个边缘的基准问题上,我们的方法总是找到精确的优化器。此外,根据经验,当$N$和$\ell$同时增加时(同时保持它们的比率固定以模拟粒子系统的热力学极限),找到它们所需的计算步骤的数量似乎仅以多项式方式缩放。
2021-03-23 cs.LG cs.NA math.NA
Hierarchical Hybrid Sliced Wasserstein: A Scalable Metric for Heterogeneous Joint Distributions
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对现有切片Wasserstein类度量仅适用于同构域分布、无法有效比较异构联合分布的问题,提出两种新切片算子并构建H2SW距离,验证了其在多类3D相关任务中的优异性能。
2024-10-08 cs.AI cs.CV cs.GR
Bridging multiple worlds: multi-marginal optimal transport for causal partial-identification problem
该研究将因果部分识别问题纳入多边缘最优传输框架得到精确识别集,证明了插件式估计器的极小极大最优收敛性,数值实验显示其性能超基线70%以上,并提供了高效现成实现。
2024-09-13 stat.ME
Summarizing Bayesian Nonparametric Mixture Posterior -- Sliced Optimal Transport Metrics for Gaussian Mixtures
本文提出一种模型无关的贝叶斯非参数混合模型后验总结方法,以混合测度估计为核心目标,通过最小化基于切片 Wasserstein 距离的后验期望损失,并针对高斯混合设计了两种高效变体。
2025-05-08 stat.AP stat.CO stat.ME
Constrained Sliced Wasserstein Embedding
Duke University(杜克大学);Vanderbilt University(范德堡大学)
本文提出约束切片Wasserstein嵌入方法,通过约束一维传输计划近似原始空间最优计划来优化切片方向,并利用梯度原始-对偶方法训练参数,在图像、点云和蛋白质序列基础模型上验证了其学习更具信息量切片方向的有效性。
2025-06-02 cs.AI cs.LG math.OC
On optimal solutions of classical and sliced Wasserstein GANs with non-Gaussian data
Dept. of Applied Math., Univ. of Colorado, Boulder, CO 80309, USA(应用数学系,科罗拉多大学,伯尔德,科罗拉多州,80309,美国);Department of EE and GICE, National Taiwan University, Taipei, Taiwan(电子工程系和信息科学与工程系,国立台湾大学,台北,台湾);Institute of Communications Engineering, National Yang Ming Chiao Tung University, HsinChu, Taiwan(通讯工程研究所,国立阳明交通大学,新竹,台湾);Bosch Center for AI, USA(博世人工智能中心,美国)
本文研究了非高斯数据下经典和切片瓦瑟斯坦GANs的最优解,推导了闭式最优参数并提出新的未投影切片WGAN,实现线性复杂度的高效性能。
2026-02-05 cs.IT cs.LG math.IT
Sliced Wasserstein Generative Models
ETH Zurich(苏黎世联邦理工学院);KU Leuven(鲁汶大学)
在生成式建模中,Wasserstein距离(WD)已成为衡量生成数据分布与真实数据分布之间差异的有用度量。不幸的是,它是具有挑战性的近似WD的高维分布。相比之下,切片Wasserstein距离(SWD)将高维分布分解为多个一维边缘分布,因此更容易近似。在本文中,我们介绍了新的近似的原始和双重SWD。与传统的SWD近似方法不同,我们不使用大量的随机投影,而是提出以端到端的深度学习方式用少量的参数化正交投影来近似SWD。作为我们的SWD近似的具体应用,我们设计了两种类型的可微SWD块来装备现代生成框架-自动编码器(AE)和生成对抗网络(GAN)。在实验中,我们不仅展示了所提出的生成模型在标准图像合成基准上的优越性,而且还展示了以无监督方式生成具有挑战性的高分辨率图像和视频的最新性能。
2019-04-15 cs.CV stat.ML
Convergence of empirical subgradients for optimal transport-based objectives
Université Paris Cité(巴黎西岱大学)
研究由采样传输成本定义的参数化目标,证明其次微分的图形收敛到总体目标的次微分,确保标准次梯度方法一致地逼近总体问题的稳定点。
2026-07-14 math.OC stat.ML
Stereographic Spherical Sliced Wasserstein Distances
Vanderbilt University(范德堡大学)
本文提出基于球极投影与广义 Radon 变换的高速可并行 S3W 距离,用于比较球面概率测度,并通过理论分析及梯度流、自监督学习实验验证其速度与精度。
2024-06-09 cs.AI cs.CV cs.LG
Revisiting the Sliced Wasserstein Kernel for persistence diagrams: a Figalli-Gigli approach
École polytechnique(巴黎综合理工学院);Univ. Gustave Eiffel(格勒诺布尔阿尔卑斯大学)
本文提出基于Figalli-Gigli距离的切片核,改进持久图嵌入的几何忠实性,同时保持计算简便性和理论性质。
2026-02-06 cs.CG stat.ML