Sliced Gromov-Wasserstein
最近在各种机器学习上下文中使用的Gromov-瓦瑟斯坦距离(GW)允许比较其支持不一定位于相同度量空间中的分布。然而,这种最优运输(OT)的距离需要解决一个复杂的非凸二次规划,这是非常昂贵的时间和内存的大部分时间。与GW相反,瓦瑟斯坦距离(W)具有允许大规模优化的若干性质(例如对偶性)。其中,仅需要在1D中对离散样本进行排序的实数线上的W的解允许定义切片Wasserstein(SW)距离。本文提出了一种新的发散GW类似SW。我们首先推导出一个封闭的形式GW处理时,一维分布,相关的二次分配问题的一个新的结果的基础上。然后,我们定义了一个新的OT差异,可以处理大规模的分布,通过切片的方法,我们展示了它是如何与GW的距离,同时被$O(n\log(n))$计算。我们在实验中说明了这种所谓的切片Gromov-Wasserstein(SGW)差异的行为,在实验中我们展示了它解决GW类似问题的能力,同时计算速度快了几个数量级。
2022-10-20 cs.LG stat.ML
Highly Data Parallelizable Estimation of the Sliced-Wasserstein Distance Using Cumulative Distribution Functions
Laboratoire de Mathématiques d’Orsay, Université Paris-Saclay(巴黎-萨克雷大学数学实验室);Centre de recherche en économie et statistique, ENSAE(经济与统计研究中心)
提出基于累积分布函数的切片Wasserstein距离估计器,避免排序并支持大规模数据并行,适用于混合高斯和联邦学习场景。
2026-06-29 cs.LG stat.ML
Sliced-Wasserstein Distances and Flows on Cartan-Hadamard Manifolds
ENSAE(法国国家统计与经济行政管理学院);CREST(经济统计研究中心);Institut Polytechnique de Paris(巴黎综合理工学院);IMT Atlantique(法国大西洋电信学院);Université Bretagne Sud(南布列塔尼大学);Irisa(法国雷恩计算机与随机自动化研究所)
针对非正曲率流形上 Wasserstein 距离计算昂贵的问题,本文构造 Cartan-Hadamard 流形上的 Sliced-Wasserstein 距离,并给出应用及基于 Wasserstein 梯度流的非参数最小化方案。
2024-03-11 cs.LG stat.ML
Shedding a PAC-Bayesian Light on Adaptive Sliced-Wasserstein Distances
Flatiron Institute(熨斗研究所);MIT(麻省理工学院);Criteo AI Lab(科韬人工智能实验室)
本文利用PAC-贝叶斯理论为自适应切片-Wasserstein距离建立泛化界,并提出通过优化理论界学习最具判别力的切片分布,辅以实验验证。
2023-05-31 cs.LG stat.ML
Hierarchical Sliced Wasserstein Distance
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
切片Wasserstein(SW)距离已被广泛应用于不同的应用场景,因为它可以扩展到大量的支持,而不会遭受维数灾难。切片瓦瑟斯坦距离的值是通过Radon变换(RT)获得的原始测量的一维表示(投影)之间的传输成本的平均值。尽管它的效率在数量上的支持,估计切片Wasserstein需要一个相对较大的数量在高维设置的投影。因此,对于支撑件的数量与尺寸相比相对较小的应用,例如,在使用小批量方法的几个深度学习应用中,Radon变换的矩阵乘法的复杂性成为主要的计算瓶颈。为了解决这个问题,我们建议通过线性和随机组合较少数量的投影(称为瓶颈投影)来获得投影。我们解释了这些投影的使用,通过引入层次Radon变换(HRT),这是通过递归应用Radon变换变量构造。然后,我们制定的方法到一个新的度量之间的措施,命名为分层切片Wasserstein(HSW)距离。通过证明HRT的内射性,我们得到了HSW的度量性。此外,我们调查的HSW的理论特性,包括其连接到SW的变种和它的计算和样本的复杂性。最后,我们使用各种基准数据集(包括CIFAR10,CelebA和Tiny ImageNet)比较了HSW与传统SW在深度生成建模任务上的计算成本和生成质量。
2023-02-06 cs.LG stat.ML
Markovian Sliced Wasserstein Distances: Beyond Independent Projections
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对切片Wasserstein距离的冗余投影问题,提出马尔可夫切片Wasserstein(MSW)距离,通过一阶马尔可夫结构优化投影方向,兼具理论保证与计算效率,在多个应用中表现优越。
2023-12-31 cs.LG stat.ML
Sliced Wasserstein Distance for Learning Gaussian Mixture Models
HRL Laboratories, LLC(HRL实验室有限责任公司);University of Virginia(弗吉尼亚大学)
高斯混合模型(GMM)是一种强大的参数化工具,在机器学习和计算机视觉中有着广泛的应用。期望最大化(EM)是估计GMM参数的最流行的算法。然而,EM仅保证收敛到对数似然函数的稳定点,这可能比最优解更差。受负对数似然函数和Kullback-Leibler(KL)散度之间的关系的启发,我们提出了一种替代配方,用于估计GMM参数使用切片Wasserstein距离,这产生了一个新的算法。具体来说,我们建议最小化混合模型和数据分布之间的切片Wasserstein距离相对于GMM参数。与KL发散相比,切片Wasserstein距离的能量景观更好,因此更适合于随机梯度下降方案以获得最佳GMM参数。我们表明,我们的配方结果的参数估计是更强大的随机初始化,并证明它可以估计高维数据分布更忠实于EM算法。
2017-11-16 cs.CV cs.LG stat.ML
Hyperbolic Sliced-Wasserstein via Geodesic and Horospherical Projections
Université Bretagne Sud(布列塔尼南部大学);IMT Atlantique(大西洋国立高等矿业电信学院)
针对双曲空间中概率分布比较方法稀缺且最优传输计算成本高的问题,提出通过沿极限球面或测地线投影构造新的双曲切片-Wasserstein差异度量,并在采样和图像分类任务中验证其有效性。
2023-06-26 cs.LG stat.ME stat.ML
Towards Understanding Gradient Dynamics of the Sliced-Wasserstein Distance via Critical Point Analysis
Laboratoire de Mathématiques d'Orsay, Université Paris-Saclay, Gif-sur-Yvette, France(巴黎-萨克雷大学奥赛数学实验室);Centre de recherche en économie et statistique, ENSAE, Palaiseau, France(经济与统计研究中心)
本文针对切片瓦瑟斯坦距离(SW)作为目标泛函的性质展开研究,通过临界点分析证明其稳定临界点无法集中在分段上,阐明临界点的存在性和收敛行为,为相关优化算法提供理论支撑。
2025-08-20 cs.LG stat.ML
Distribution Regression with Sliced Wasserstein Kernels
University College London(伦敦大学学院);Italian Institute of Technology(意大利理工学院)
在概率空间上学习函数的问题--或分布回归--在机器学习社区中引起了极大的兴趣。这个问题背后的一个关键挑战是确定一个合适的表示捕捉底层功能映射的所有相关属性。核均值嵌入提供了一种原则性的分布回归方法,它在概率水平上提升了输入域上的核诱导相似性。这种策略有效地解决了问题的两阶段抽样性质,使人们能够获得强有力的统计保证,如普遍一致性和超额风险界限的估计。然而,核均值嵌入隐含地取决于最大均值差异(MMD),这是一种概率度量,可能无法捕获分布之间的关键几何关系。相比之下,最优传输(OT)指标可能更有吸引力。在这项工作中,我们提出了一个基于OT的分布回归估计。我们建立在切片瓦瑟斯坦距离上以获得基于OT的表示。我们研究了基于这种表示的核岭回归估计的理论性质,证明了它的泛相合性和超额风险界。初步实验补充了我们的理论研究结果,所提出的方法的有效性,并将其与基于MMD的估计。
2022-06-17 cs.LG stat.ML
Sliced-Wasserstein normalizing flows: beyond maximum likelihood training
University of Toulouse(图卢兹大学);Institut Universitaire de France(法国大学研究院);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
尽管它们有优点,但标准化流通常具有几个缺点,包括它们倾向于生成不切实际的数据(例如,图像)以及它们未能检测到分发外的数据。这些缺陷的一个原因在于传统上仅利用极大似然原理的训练策略。本文提出了一种新的训练模式的基础上的混合目标函数相结合的极大似然原则(MLE)和切片-瓦瑟斯坦距离。合成玩具的例子和真实的图像数据集上获得的结果显示出更好的生成能力的可能性和视觉方面的生成样本。反过来,所提出的方法导致分布外数据的可能性较低,从而表明所产生的流的数据保真度更高。
2022-07-12 cs.AI cs.LG stat.ML
Central limit theorem for the Sliced 1-Wasserstein distance and the max-Sliced 1-Wasserstein distance
Wasserstein距离在许多领域都是一个有吸引力的工具。但由于Wasserstein距离的高计算复杂性和经验估计中的维数灾难现象,人们提出了各种扩展Wasserstein距离来克服其缺点,如切片Wasserstein距离。它具有计算量小、无维数样本复杂度高的优点,但其分布极限结果较少。本文主要研究了Sliced 1-Wasserstein距离及其变体max-Sliced 1-Wasserstein距离。利用巴拿赫空间中的中心极限定理,得到了切片1-Wasserstein距离的极限分布.通过将经验max-Sliced 1-Wasserstein距离看作是以某个函数类为指标的经验过程的上确界,证明了在弱矩假设下该函数类是P-Donsker.此外,对于基于蒙特卡罗方法的切片p-Wasserstein距离计算,我们还探讨了在高概率情况下,需要多少随机投影才能保证误差较小。给出了不同条件下真实和经验概率测度之间期望max-Sliced 1-Wasserstein距离的上界,并给出了max-Sliced 1-Wasserstein距离的集中不等式.作为理论的应用,我们将其应用于两样本检验问题。
2022-09-04 math.ST stat.TH
Sliced-Wasserstein Estimation with Spherical Harmonics as Control Variates
École Polytechnique, Institut Polytechnique de Paris(巴黎综合理工学院、巴黎理工学院);CREST, ENSAI(CREST、法国国立统计与信息学院);UCLouvain(鲁汶大学)
针对切片瓦瑟斯坦距离的蒙特卡洛近似问题,提出以球谐函数为控制变量的SHCV方法,具备更优收敛速率与良好理论性质,实验表现优于现有前沿方法。
2024-05-15 cs.LG stat.ML
Minimax Confidence Intervals for the Sliced Wasserstein Distance
由于Wasserstein距离的变体在统计和机器学习中越来越受欢迎,我们研究了切片Wasserstein距离的统计推断-Wasserstein距离的一个易于计算的变体。具体来说,我们构造置信区间的切片Wasserstein距离,有有限样本有效性下没有假设或温和的时刻假设。这些间隔的长度适应于基础分布的规律性。我们还绑定了估计切片Wasserstein距离的极大极小风险,并因此建立了我们提出的置信区间的长度在适当的分布类上是极大极小最优的。为了激励这些类的选择,我们还研究了极大极小率下的切片Wasserstein距离估计的分布。这些理论研究结果的补充与模拟研究表明,经典的自举的不足之处,我们提出的方法的优点。我们还显示了我们的理论预测和我们的置信区间长度在模拟中的适应性之间的强对应关系。最后,我们展示了使用我们的置信区间在设置基于模拟器的似然自由推理。在这种情况下,对比流行的近似贝叶斯计算方法,我们开发了不确定性量化方法与严格的频率覆盖保证。
2022-04-04 math.ST stat.ML stat.TH
Sliced-Wasserstein Flows: Nonparametric Generative Modeling via Optimal Transport and Diffusions
Inria(法国国家信息与自动化研究所);LTCI, Télécom ParisTech, Université Paris-Saclay(巴黎-萨克雷大学巴黎高等电信学院信息处理与通信实验室);Institute of Mathematics, Polish Academy of Sciences(波兰科学院数学研究所)
通过建立在最近的理论,建立隐式生成建模(IGM)和最佳运输之间的联系,在这项研究中,我们提出了一种新的无参数算法,用于学习复杂数据集的底层分布和采样。所提出的算法是基于一个功能优化问题,其目的是找到一个措施,尽可能接近的数据分布,也有足够的表达生成建模的目的。我们将问题表述为概率测度空间中的梯度流。梯度流和随机微分方程之间的连接,让我们开发一个计算效率高的算法来解决优化问题。我们提供了正式的理论分析,我们证明了有限的时间误差保证所提出的算法。据我们所知,该算法是第一个非参数IGM算法与明确的理论保证。我们的实验结果支持我们的理论,并表明我们的算法是能够成功地捕捉不同类型的数据分布的结构。
2019-06-11 cs.LG stat.ML
Fixed Support Tree-Sliced Wasserstein Barycenter
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心);Facebook AI Research(脸书人工智能研究院);SliceX AI(SliceX人工智能)
Wasserstein重心在包括自然语言处理和计算机视觉在内的各个领域都得到了广泛的研究。然而,它需要一个高的计算成本,以解决Wasserstein重心问题,因为计算的Wasserstein距离需要一个平方的时间相对于支持的数量。相比之下,树上的Wasserstein距离,称为树-Wasserstein距离,可以在线性时间内计算,并允许快速比较大量的分布。在这项研究中,我们提出了一个重心下的树Wasserstein距离,称为固定支持树Wasserstein重心(FS-TWB)和它的扩展,称为固定支持树切片Wasserstein重心(FS-TSWB)。更具体地说,我们首先表明,FS-TWB和FS-TSWB问题是凸优化问题,可以通过使用投影次梯度下降来解决。此外,我们提出了一个更有效的算法来计算次梯度和目标函数值,利用树Wasserstein重心问题的性质。通过真实世界的实验,我们表明,通过使用所提出的算法,FS-TWB和FS-TSWB可以解决两个数量级的速度比原来的Wasserstein重心。
2022-02-11 cs.AI cs.LG
Fast Optimal Transport through Sliced Wasserstein Generalized Geodesics
INSA Rouen(鲁昂国立应用科学学院);Université Bretagne Sud(南布列塔尼大学);LITIS(信息技术与信息系统实验室);IRISA(IRISA研究所);LMBA(LMBA实验室)
本文提出min-SWGG作为平方Wasserstein距离的新代理,利用一维最优投影诱导传输映射,给出闭式解和快速梯度优化方案,在保持与Sliced-Wasserstein相似复杂度的同时提供传输计划,并在梯度流、形状匹配和图像着色等任务中验证其优势。
2023-10-30 cs.LG stat.AP stat.ML
A Novel Sliced Fused Gromov-Wasserstein Distance
针对GW和FGW计算复杂、现有切片版本受限的问题,提出基于下界、分层OT和正交规则的新颖切片技术,降低计算量并保持度量不变性,在形状检索等任务中更鲁棒可靠。
2025-11-13 cs.LG math.OC
Statistical and Computational Guarantees of Kernel Max-Sliced Wasserstein Distances
School of Data Science, The Chinese University of Hong Kong, Shenzhen, Shenzhen, China(数据科学学院,香港中文大学(深圳));School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, Shenzhen, China(人工智能学院,香港中文大学(深圳));Department of Mathematics, Michigan State University, East Lansing, USA(数学系,密歇根州立大学);School of Industrial and Systems Engineering, Georgia Institute of Technology, Atlanta, USA(工业与系统工程学院,佐治亚理工学院)
本文为核最大切片p-Wasserstein距离建立了更温和假设下的有限样本保证,证明KMS 2-Wasserstein距离计算是NP难的,并提出半定松弛公式及松弛间隙,通过数值实验验证其在高维双样本检验中的有效性。
2025-07-18 cs.CC cs.LG stat.ML
Minimax Rates for Estimating Powered Sliced Wasserstein Functionals
Université Gustave Eiffel(格勒诺布尔艾菲尔大学)
该研究在投影r阶矩假设下,针对幂切片沃尔什斯坦因泛函的两样本估计问题,建立了非临界区域的极小极大速率,分析了端点与临界阶的特殊情况,明确了插入估计量的最优性及待解决的临界情形精确速率问题。
2026-10-12 cs.LG math.ST stat.ML
Tree-Sliced Wasserstein Distance: A Geometric Perspective
Movian AI
针对 SW 将测度投影到一维直线导致拓扑信息丢失的问题,本文提出树系统、分裂映射与新型 Radon 变换,构建闭式且高效的 TSW-SL 度量,并在多类实验中优于 SW 及其变体。
2025-06-09 cs.AI cs.LG stat.ML
An improved central limit theorem for the empirical sliced Wasserstein distance
Universidad de Valladolid and IMUVa(瓦拉多利德大学及IMUVa);Institut de Mathématiques de Toulouse, INRIA(图卢兹数学研究所及法国国家信息与自动化研究所)
本文基于Efron-Stein不等式和对最优运输势的非平凡控制,推导了p-切片瓦瑟斯坦距离的中心极限定理,为非紧致测度之间的切片瓦瑟斯坦距离提供了首次渐近有效的推断框架。
2026-05-20 math.ST stat.TH
A sliced Wasserstein and diffusion approach to random coefficient models
提出一种结合切片Wasserstein距离与最近邻方法的最小距离估计器,用于线性随机系数模型,具有一致性和高效性,并衍生出扩散算法及处理效应分布估计的应用。
2025-04-24 econ.EM math.ST stat.TH
Sliced Wasserstein Steering between Gaussian Measures
Department of Information Physics and Computing, The University of Tokyo(信息物理与计算系,东京大学);Department of Decision and Control Systems and Department of Mathematics, KTH Royal Institute of Technology(决策与控制系统系和数学系,皇家理工学院)
本文提出一种切片反馈控制器,通过在球面上投影概率分布并合成一维速度,实现分布的高效操控。该方法在高斯分布下能准确导向目标分布,并将能耗与切片Wasserstein距离关联。
2026-04-14 cs.LG cs.SY eess.SY
Liouville PDE-based sliced-Wasserstein flow
Department of Mathematics(数学系);Morgan State University(摩根州立大学)
本文将切片Wasserstein流转化为基于Liouville偏微分方程的形式,通过改进密度估计和Wasserstein barycenter计算,提升了训练和测试性能,并在公平回归中展示了改进公平性的优势。
2026-05-09 cs.LG math.PR math.ST
Minimax-Optimal Two-Sample Test with Sliced Wasserstein
LAMA, LIGM, Université Gustave Eiffel(LAMA、LIGM、埃菲尔大学);CNRS, LIGM(CNRS、LIGM)
本文提出一种基于置换的 sliced Wasserstein 非参数两样本检验方法,证明了其具有有限样本第一类错误控制,并在多项式和有界支撑备择假设上达到极小化最优分离率 $n^{-1/2}$,兼具高功效与可扩展性。
2025-10-31 cs.LG math.ST stat.ME
Sliced Orlicz-Wasserstein
Université Gustave Eiffel(古斯塔夫·埃菲尔大学);Texas A&M University(得克萨斯农工大学)
本文提出切片Orlicz-Wasserstein(SOW)距离,推广切片Wasserstein距离,用Luxemburg范数替代$L^p$范数,证明其度量性、拓扑性质及样本复杂度最优性,并展示其在计算效率和分布检测上的优势。
2026-09-29 cs.LG math.ST stat.CO
Adjusted Wasserstein distances for bridging empirical and true distributions with applications to MDS
本文提出Max-D-SW距离,通过正交基聚合改进Max-Sliced Wasserstein距离,在多维缩放中提升模式识别效果,尤其适用于重尾分布,并证明了其统计可处理性。
2026-06-29 cs.LG stat.ML
Properties of Discrete Sliced Wasserstein Losses
Université Paris Cité, CNRS, MAP5(巴黎cité大学,法国国家科学研究中心,MAP5研究所);CMAP, CNRS, Ecole Polytechnique, Institut Polytechnique de Paris(CMAP研究所,法国国家科学研究中心,巴黎高等技术学院,巴黎理工学院)
本文研究离散均匀测度间Sliced Wasserstein能量及其Monte-Carlo近似的正则性、临界点收敛、一致收敛与中心极限性质,并证明SGD收敛至Clarke临界点。
2025-05-14 cs.LG math.OC math.PR
Sliced Score Matching: A Scalable Approach to Density and Score Estimation
Stanford University(斯坦福大学);Tsinghua University(清华大学)
分数匹配是一种用于估计非归一化统计模型的流行方法。然而,到目前为止,它一直局限于简单的,浅的模型或低维数据,由于难以计算的对数密度函数的海森。我们表明,这种困难可以通过将分数投影到随机向量上进行比较来减轻。这个目标,称为切片分数匹配,只涉及海森矢量产品,这可以很容易地实现使用反向模式自动微分。因此,与分数匹配相比,切片分数匹配适用于更复杂的模型和更高维的数据。在理论上,我们证明了切片得分匹配估计的相合性和渐近正态性。此外,我们证明了切片分数匹配可以用于学习隐式分布的深度分数估计。在我们的实验中,我们证明了切片分数匹配可以有效地学习基于能量的深度模型,并且可以为应用程序(如隐式分布的变分推理和训练Wasserstein自动编码器)生成准确的分数估计。
2019-06-27 cs.LG stat.ML
Convergence of SGD for Training Neural Networks with Sliced Wasserstein Losses
Université Paris Cité(巴黎城市大学);CNRS(法国国家科学研究中心)
本文利用Bianchi等人的理论,证明了在切片Wasserstein损失下训练神经网络的固定步长SGD轨迹收敛于梯度流方程,并在更严格条件下收敛于广义临界点。
2024-03-18 cs.LG math.OC math.PR
Convergence Rates for Distribution Matching with Sliced Optimal Transport
CNRS(法国国家科学研究中心);ENS Paris(巴黎高等师范学院);Institut universitaire de France(法兰西大学研究院)
本文提出了一种基于切片最优传输的分布匹配方法,推导了非渐近收敛速度,并通过实验验证了正交基采样对稳定性的影响。
2026-07-16 cs.LG stat.ML
Efficient Sliced Wasserstein Distance Computation via Adaptive Bayesian Optimization
Department of Computer Science(计算机科学系);Vanderbilt University(范德比大学)
本文提出通过自适应贝叶斯优化高效计算切片瓦瑟斯坦距离,引入多种方向选择器并展示其在优化循环中的高效性能。
2025-09-23 cs.LG
Vertical Sliced Wasserstein Distances for Meta-Measures
College of Connected Computing, Vanderbilt University(范德堡大学连接计算学院);Toyota Motor North America, InfoTech Labs(北美丰田汽车公司信息技术实验室);University of California, Davis(加州大学戴维斯分校);Purdue University(普渡大学);Florida State University(佛罗里达州立大学)
针对元测度空间最优传输距离计算成本过高的问题,提出垂直切片沃尔什斯坦因(VSW)距离,证明其为有效度量且具收敛保证,经验证其准确性与效率更优,可用于元测度的基于梯度传输。
2026-10-16 cs.LG
Slicing Wasserstein Over Wasserstein Via Functional Optimal Transport
Institut für Mathematik, Technische Universität Berlin(数学研究所,柏林技术大学)
本文提出双切片 Wasserstein 度量,通过函数最优传输方法替代传统 WoW 距离,实现计算稳定性和效率提升。
2026-02-19 cs.LG math.MG math.OC
Streaming Sliced Optimal Transport
Department of Statistics(统计系);Data Sciences, University of Texas at Austin, USA(数据科学系,德克萨斯大学奥斯汀分校)
本文提出流式切片最优传输(Stream-SW)方法,通过流式估计一维Wasserstein距离来提升计算效率,适用于样本流中的切片最优传输估计,具有低内存复杂度和理论误差保证。
2026-07-23 cs.LG stat.CO stat.ME
Distance-Based Tree-Sliced Wasserstein Distance
National University of Singapore(新加坡国立大学);FPT Software AI Center(FPT软件AI中心);Movian AI;The Institute of Statistical Mathematics(统计数学研究所);RIKEN AIP(理化学研究所革新智能创造领域)
针对 TSW-SL 分裂映射忽视投影域且缺乏欧几里得不变性的问题,本文提出利用全部位置信息的 Db-TSW 及 GPU 友好的树采样,并从理论和实验验证其不变性、效率与性能提升。
2025-03-14 cs.AI cs.LG
Hierarchical Optimal Transport for Robust Multi-View Learning
Duke University(杜克大学);Infinia ML Inc.(Infinia ML公司)
传统的多视图学习方法通常依赖于两个假设:($i$)不同视图中的样本是对齐的,($ii$)它们在潜在空间中的表示服从相同的分布。然而,这两个假设在实践中可能存在问题,限制了多视图学习的应用。在这项工作中,我们提出了一个分层的最佳运输(HOT)的方法,以减轻对这两个假设的依赖。给定未对齐的多视图数据,HOT方法惩罚不同视图的分布之间的切片Wasserstein距离。这些切片Wasserstein距离被用作地面距离来计算不同视图之间的熵最优传输,这明确地指示了视图的聚类结构。HOT方法适用于无监督和半监督学习,实验结果表明,它执行的合成和现实世界的任务鲁棒性。
2020-06-08 cs.LG stat.ML
Statistical and Topological Properties of Gaussian Smoothed Sliced Probability Divergences
Criteo AI Lab(Criteo 人工智能实验室);Université Technologique de Compiègne(贡比涅技术大学);Université de Rouen(鲁昂大学);INSA de Rouen(鲁昂国立应用科学学院)
最近引入了高斯平滑切片Wasserstein距离来比较概率分布,同时保护数据的隐私。在诸如领域自适应之类的应用中,它已被证明提供与其非私有(非平滑)对应物类似的性能。然而,这种度量的计算和统计特性尚未得到很好的建立。在本文中,我们分析了这个距离的理论性质,以及那些广义版本表示为高斯平滑切片分歧。我们表明,光滑和切片保持度量性质和弱拓扑。我们还提供了这种分歧的样本复杂性的结果。由于隐私级别取决于高斯平滑的量,我们分析了该参数对发散的影响。我们支持我们的理论研究结果与高斯平滑和切片版本的Wassertein距离,Sinkhorn分歧和最大平均差异(MMD)的实证研究。在保护隐私的领域自适应的背景下,我们确认,这些高斯平滑切片Wasserstein和MMD分歧执行得很好,同时确保数据隐私。
2021-10-20 cs.AI cs.CR cs.LG
A User's Guide to Sampling Strategies for Sliced Optimal Transport
CNRS(法国国家科学研究中心);Sorbonne University(索邦大学);Paris Cite University(巴黎西岱大学)
该研究作为切片最优传输采样策略的用户指南,梳理了切片沃瑟斯坦距离的相关结论,详述各类采样策略的方法、复杂度与理论性质,通过多组实验对比给出实用使用建议。
2025-06-12 cs.LG math.PR
Distribution Steering via Sliced Optimal Transport Control
The University of Tokyo(东京大学);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文针对动力系统分布引导问题,提出基于切片最优传输的有限时间控制框架,通过投影最优传输映射构造反馈律,实现分布引导并验证其收敛性,扩展至线性系统并给出数值示例。
2026-08-14 cs.LG cs.SY eess.SY
An Introduction to Sliced Optimal Transport
本文综述切片最优传输(SOT),一种利用一维OT易处理性实现快速可扩展距离、重心与核计算的方法,涵盖其数学基础、方法进展及应用,为经典OT提供高效替代方案。
2025-10-14 cs.AI cs.LG stat.CO
Gaussian-Smoothed Sliced Probability Divergences
Université de Technologie de Compiègne(贡比涅技术大学);Criteo AI Lab(Criteo人工智能实验室);Université de Rouen Normandie(鲁昂诺曼底大学);INSA Rouen(鲁昂国立应用科学学院)
本文研究了高斯平滑切片概率散度的理论性质,证明其保留度量性质与弱拓扑,推导了样本复杂度并以 $O(n^{-1/2})$ 速率收敛,最后在隐私保护领域适应中验证了理论。
2024-04-25 cs.LG math.ST stat.ML
Heterogeneous Wasserstein Discrepancy for Incomparable Distributions
Université de Technologie de Compiègne(贡比涅技术大学);INSA-Rouen(鲁昂国立应用科学学院);Université de Rouen Normandie(鲁昂诺曼底大学);Criteo AI Lab(Criteo人工智能实验室)
最优传输(OT)度量允许定义两个概率度量之间的差异。Wasserstein距离是在文献中经常使用的著名的OT距离,它寻求在$\textit{same}$度量空间上支持的概率分布。由于其高计算复杂性,已经提出了几个近似的Wasserstein距离的熵正则化或切片的基础上,一维Wasserstein计算。在本文中,我们提出了一种新的扩展Wasserstein距离比较两个不可比的分布,这取决于$\textit{distributional slicing}$的想法,嵌入,并计算封闭形式的Wasserstein距离之间的切片分布。我们提供了一个新的分歧,称为$\textit{heterogeneous Wasserstein discrepancy (HWD)}$的理论分析,我们表明,它保留了几个有趣的属性,包括旋转不变性。我们表明,嵌入HWD中涉及的可以有效地学习。最后,我们提供了大量的实验来说明HWD在生成建模和查询框架中的行为。
2021-10-12 cs.LG stat.ML
Expected Sliced Transport Plans
Vanderbilt University(范德堡大学);Tufts University(塔夫茨大学);University of Warwick(华威大学)
本文提出期望切片传输(EST)计划,通过提升一维切片最优传输计划并取期望,在概率测度间构造显式传输计划,并证明其可诱导有效度量。
2024-10-17 cs.LG math.MG
Fast Approximation of the Generalized Sliced-Wasserstein Distance
École Polytechnique(巴黎综合理工学院);University of Texas, Austin(德克萨斯大学奥斯汀分校);Hanoi University of Science and Technology(河内科技大学)
广义切片瓦瑟斯坦距离是切片瓦瑟斯坦距离的一个变体,它通过给定的定义函数利用非线性投影的能力,以更好地捕捉概率分布的复杂结构。与切片瓦瑟斯坦距离类似,广义切片瓦瑟斯坦距离被定义为随机投影的期望,可以通过蒙特卡罗方法来近似。然而,这种近似的复杂性在高维环境中可能是昂贵的。为此,我们建议,形成确定性和快速近似的广义切片瓦瑟斯坦距离,通过使用的随机投影的浓度时,定义的功能是多项式函数,循环函数,和神经网络型功能。我们的近似取决于一个重要的结果,即一个高维随机向量的一维投影近似高斯。
2022-10-19 cs.LG stat.ML
Distance-Matrix Wasserstein Statistics for Scalable Gromov--Wasserstein Learning
本文提出距离矩阵Wasserstein统计,通过采样点并运输距离矩阵来近似Gromov-Wasserstein距离,证明其作为下界并建立反向逼近不等式,同时提供有限样本界和可扩展计算方法。
2026-07-28 cs.LG
Leveraging Optimal Transport via Projections on Subspaces for Machine Learning Applications
Université de Bretagne Sud(南布列塔尼大学);Laboratoire de Mathématiques de Bretagne Atlantique(大西洋布列塔尼数学实验室);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院);Technische Universität Berlin(柏林工业大学);Université Paris Cité(巴黎西岱大学);Sony Computer Science Laboratories Inc(索尼计算机科学实验室公司);Harvard SEAS(哈佛大学工程与应用科学学院);IMT Atlantique(大西洋国立高等工业技术与矿业学校)
本论文研究利用子空间投影的最优传输替代方案,扩展 Sliced-Wasserstein 距离至黎曼流形并应用于不平衡最优传输、梯度流动力学及不可比空间,以降低计算负担并应用于机器学习。
2023-11-23 cs.LG
Sliced-Wasserstein Autoencoder: An Embarrassingly Simple Generative Model
HRL Laboratories, LLC(HRL实验室有限责任公司);University of Virginia(弗吉尼亚大学)
在本文中,我们研究通过自动编码器生成建模,同时使用优雅的几何性质的最佳运输(OT)问题和Wasserstein距离。我们引入了切片Wasserstein自动编码器(SWAE),这是一种生成模型,使人们能够将潜在空间的分布塑造成任何可采样的概率分布,而无需训练对抗网络或定义分布的封闭形式。简而言之,我们用编码训练样本的分布和预定义的可采样分布之间的切片Wasserstein距离来正则化自动编码器损失。我们表明,所提出的配方有一个有效的数值解,提供了类似的功能,Wasserstein自动编码器(WAE)和变分自编码器(VAE),同时受益于一个非常简单的实现。
2018-06-27 cs.LG stat.ML
Amortized Projection Optimization for Sliced Wasserstein Generative Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在应用切片瓦瑟斯坦距离的过程中,寻找信息丰富的投影方向是一个重要的任务。然而,找到这些方向通常需要在投影方向的空间上的迭代优化过程,这在计算上是昂贵的。此外,计算问题在深度学习应用中甚至更加严重,其中计算两个小批量概率测度之间的距离被重复多次。这种嵌套循环一直是主要的挑战之一,它阻止了在实践中使用基于良好投影的切片瓦瑟斯坦距离。为了解决这一挑战,我们建议利用学习优化技术或摊销优化来预测任何给定的两个小批量概率测度的信息方向。据我们所知,这是第一个工作,桥梁摊销优化和切片Wasserstein生成模型。特别是,我们推导出线性摊销模型,广义线性摊销模型,和非线性摊销模型,这是对应于三种类型的新的小批量损失,命名为摊销切片Wasserstein。我们在标准基准数据集上的深度生成建模中展示了所提出的切片损失的良好性能。
2022-09-23 cs.LG stat.ML
Inference for Projection-Based Wasserstein Distances on Finite Spaces
瓦瑟斯坦距离是两个概率分布之间的距离,由于其吸引人的特性,最近在统计学和机器学习中越来越受欢迎。扩展该距离的一个重要方法是使用分布的低维投影,以避免高计算成本和经验估计中的维数灾难,例如切片Wasserstein距离或最大切片瓦瑟斯坦距离。尽管它们在机器学习任务中取得了实际成功,但由于缺乏分布极限结果,基于投影的瓦瑟斯坦距离的统计推断的可用性是有限的。在本文中,我们考虑通过整合或最大化两个概率分布的低维投影之间的瓦瑟斯坦距离定义的距离。然后,我们得到极限分布关于这些距离时,这两个分布的支持有限点。我们还提出了一个自助程序来估计极限分布的分位数的数据。这有助于对这些距离进行渐近精确的区间估计和假设检验。我们的理论结果是基于Sommerfeld和Munk(2018)关于有限空间上原始瓦瑟斯坦距离的分布极限的论点以及非线性规划中的敏感性分析理论。最后,我们进行数值实验来说明理论结果,并证明我们的推理方法的适用性,以实际数据分析。
2022-02-11 stat.ME
Generalized Sliced Wasserstein Distances
HRL Laboratories, LLC.(HRL实验室有限责任公司);Télécom ParisTech(巴黎高等电信学院);University of Virginia(弗吉尼亚大学)
Wasserstein距离及其变化,例如,切片-Wasserstein(SW)距离最近引起了机器学习社区的关注。SW距离被证明具有与Wasserstein距离相似的性质,同时计算起来要简单得多,因此被用于各种应用,包括生成建模和一般监督/无监督学习。本文首先阐明了SW距离与Radon变换之间的数学联系。然后,我们利用广义Radon变换定义一个新的家庭的概率测度的距离,我们称之为广义切片Wasserstein(GSW)距离。我们还表明,类似的SW距离,GSW距离可以扩展到最大GSW(最大GSW)的距离。然后,我们提供的条件下,GSW和max-GSW距离确实是距离。最后,我们比较了几个生成建模任务,包括SW流和SW自动编码器的建议距离的数值性能。
2019-02-01 cs.LG stat.ML
Differentially Private Sliced Wasserstein Distance
Criteo AI Lab(Criteo人工智能实验室);Université de Rouen Normandie(鲁昂诺曼底大学)
开发保护隐私的机器学习方法是当今的中心研究课题,具有巨大的实际影响。在解决隐私保护学习的众多方法中,我们在这里考虑在差分隐私(DP)框架下计算分布之间的分歧-能够计算分布之间的分歧对于许多机器学习问题至关重要,例如学习生成模型或领域自适应问题。我们没有采用流行的基于梯度的DP消毒方法,而是通过专注于切片Wasserstein距离并无缝地使其具有差异性来解决问题。我们的主要贡献如下:我们分析了在切片Wasserstein距离的内在随机机制中加入高斯扰动的性质,并建立了由此产生的差分私有机制的敏感性。我们的一个重要发现是,这种DP机制将切片Wasserstein距离转换为另一种距离,我们称之为平滑切片Wasserstein距离。这种新的差分私有分布距离可以插入到生成模型和领域自适应算法中,以透明的方式,我们的经验表明,它产生了很强的竞争力的性能相比,基于梯度的DP方法从文献中,几乎没有损失的准确性,我们考虑的领域自适应问题。
2021-07-05 cs.LG stat.ML
Repulsive Monte Carlo on the sphere for the sliced Wasserstein distance
本文提出基于排斥性数值积分方法计算切线瓦瑟斯坦距离,分析UnifOrtho估计器方差并推荐在不同维度下使用不同的计算方法。
2026-03-10 cs.LG stat.ML