Differentially Private Sampling from Distributions via Wasserstein Projection
LY Corporation(LY公司)
本文提出基于瓦瑟斯坦距离的差分隐私采样框架,解决传统密度比度量在支持集几何结构和不同分布支持集适用性上的局限。
2026-05-11 cs.CR cs.LG stat.ML
Hierarchical Sliced Wasserstein Distance
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
切片Wasserstein(SW)距离已被广泛应用于不同的应用场景,因为它可以扩展到大量的支持,而不会遭受维数灾难。切片瓦瑟斯坦距离的值是通过Radon变换(RT)获得的原始测量的一维表示(投影)之间的传输成本的平均值。尽管它的效率在数量上的支持,估计切片Wasserstein需要一个相对较大的数量在高维设置的投影。因此,对于支撑件的数量与尺寸相比相对较小的应用,例如,在使用小批量方法的几个深度学习应用中,Radon变换的矩阵乘法的复杂性成为主要的计算瓶颈。为了解决这个问题,我们建议通过线性和随机组合较少数量的投影(称为瓶颈投影)来获得投影。我们解释了这些投影的使用,通过引入层次Radon变换(HRT),这是通过递归应用Radon变换变量构造。然后,我们制定的方法到一个新的度量之间的措施,命名为分层切片Wasserstein(HSW)距离。通过证明HRT的内射性,我们得到了HSW的度量性。此外,我们调查的HSW的理论特性,包括其连接到SW的变种和它的计算和样本的复杂性。最后,我们使用各种基准数据集(包括CIFAR10,CelebA和Tiny ImageNet)比较了HSW与传统SW在深度生成建模任务上的计算成本和生成质量。
2023-02-06 cs.LG stat.ML
Learning to Optimize via Wasserstein Deep Inverse Optimal Control
Georgia Institute of Technology(佐治亚理工学院)
我们研究社会科学中的逆最优控制问题:我们的目标是从观察到的时间行为中学习用户的真实成本函数。与传统的现象学工作,旨在学习一个生成模型,以适应行为数据,我们提出了一种新的变分原理和对待用户作为一个强化学习算法,其作用是通过优化他的成本函数。我们首先提出了一个统一的KL框架,推广现有的最大熵逆最优控制方法。我们进一步提出了一个两步Wasserstein逆最优控制框架。在第一步中,我们用一个新的质量输运方程计算最佳测量。在第二步中,我们将学习问题表述为生成对抗网络。在两个现实世界的实验-推荐系统和社交网络,我们表明,我们的框架获得显着的性能增益现有的逆最优控制方法和点过程为基础的生成模型。
2018-05-22 cs.LG stat.ML
Markovian Sliced Wasserstein Distances: Beyond Independent Projections
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对切片Wasserstein距离的冗余投影问题,提出马尔可夫切片Wasserstein(MSW)距离,通过一阶马尔可夫结构优化投影方向,兼具理论保证与计算效率,在多个应用中表现优越。
2023-12-31 cs.LG stat.ML
A proof of imitation of Wasserstein inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文证明在多目标优化中,Wasserstein 逆向强化学习能在有限次迭代内使学习者的奖励值和最优解分别模仿专家的奖励值和最优解。
2023-05-18 cs.AI cs.LG stat.ML
Hyperbolic Sliced-Wasserstein via Geodesic and Horospherical Projections
Université Bretagne Sud(布列塔尼南部大学);IMT Atlantique(大西洋国立高等矿业电信学院)
针对双曲空间中概率分布比较方法稀缺且最优传输计算成本高的问题,提出通过沿极限球面或测地线投影构造新的双曲切片-Wasserstein差异度量,并在采样和图像分类任务中验证其有效性。
2023-06-26 cs.LG stat.ME stat.ML
Wasserstein Projection Pursuit of Non-Gaussian Signals
Technical University of Munich(慕尼黑工业大学)
我们认为一般的降维问题定位在高维数据云,一个$k$维非高斯子空间的有趣的功能。我们使用投影寻踪的方法-我们搜索相互正交的单位方向,最大限度地提高2-Wasserstein距离的经验分布的数据投影沿这些方向从一个标准的高斯。生成模型下,有一个潜在的(未知的)低维非高斯子空间,我们证明严格的统计保证近似这个未知的子空间的准确性,我们的投影寻踪方法发现的方向。我们的研究结果在该制度的数据维数是可比的样本量,从而补充了最近的文献上的不可行性,通过投影追踪定位感兴趣的方向在互补制度的数据维数是远远大于样本量。
2023-02-24 cs.LG math.ST stat.ML
Projection Robust Wasserstein Distance and Riemannian Optimization
University of California, Berkeley(加州大学伯克利分校);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Texas, Austin(德克萨斯大学奥斯汀分校);CREST - ENSAE(法国国家统计与经济管理学院经济与统计研究中心);Google Brain(谷歌大脑)
投影鲁棒沃瑟斯坦距离(Projection Robust Wasserstein,PRW),又称沃瑟斯坦投影追踪(Wasserstein projection pursuit,WPP),是沃瑟斯坦距离的一个鲁棒变体。最近的研究表明,这个量比标准的Wasserstein距离更稳健,特别是在比较高维概率测度时。然而,它被排除在实际应用中,因为优化模型本质上是非凸和非光滑的,这使得计算棘手。我们在本文中的贡献是重新审视WPP/PRW背后的原始动机,但采取强硬的路线表明,尽管它的非凸性和缺乏非光滑性,甚至尽管一些硬度的结果证明了~ \citet{Niles-2019-Estimation}在极大极小的意义下,原始配方PRW/WPP \textit{can}有效地计算在实践中使用黎曼优化,在相关情况下产生更好的行为比凸松弛。更具体地说,我们提供了三个简单的算法与坚实的理论保证其复杂性界(附录中的一个),并证明其有效性和效率进行广泛的实验合成和真实数据。本文提供了第一步到计算理论的PRW距离,并提供了最佳运输和黎曼优化之间的联系。
2023-01-01 cs.LG math.OC stat.ML
Tangential Wasserstein Projections
University of Michigan(密歇根大学);MITRE(MITRE公司);Ross School of Business(罗斯商学院)
我们开发了一个概念之间的投影集的概率测度使用的2-Wasserstein空间的几何性质。它是为一般的多元概率测度而设计的,实现起来计算效率高,并且在常规设置中提供了唯一的解决方案。我们的想法是工作的经常切锥的Wasserstein空间使用广义测地线。它的结构和计算特性使该方法适用于各种设置,从因果推断的对象数据的分析。估计因果效应的应用程序产生的综合控制的概念与个人层次的异质性,以及一种方法来估计最佳的权重联合在所有时间段的多变量数据的推广。
2022-08-02 cs.LG econ.EM math.ST
Fast Epigraphical Projection-based Incremental Algorithms for Wasserstein Distributionally Robust Support Vector Machine
The Chinese University of Hong Kong(香港中文大学);Nanjing University(南京大学)
Wasserstein \textbf{D}迭代\textbf{R} obust \textbf{O}优化(DRO)关注的是找到对数据执行良好的决策,这些数据是从以某个名义分布为中心的Wasserstein球内的最差情况概率分布中得出的。近年来,已经表明,各种DRO公式的学习模型承认易处理的凸重构。然而,大多数现有的作品提出解决这些凸的通用求解器,这是不适合处理大规模的问题。在本文中,我们专注于一个家庭的Wasserstein分布鲁棒支持向量机(DRSVM)的问题,并提出了两种新的epigraphical投影为基础的增量算法来解决这些问题。这些算法的每次迭代中的更新可以以高效的方式计算。此外,我们证明了本文考虑的DRSVM问题满足显式确定的增长指数的Hölderian增长条件。因此,我们能够建立所提出的增量算法的收敛速度。我们的数值结果表明,所提出的方法是数量级的速度比国家的最先进的,性能差距增长相当大的问题规模的增加。
2020-10-24 cs.LG math.OC stat.ML
Distributional Sliced-Wasserstein and Applications to Generative Modeling
VinAI Research(VinAI研究院);University of Texas, Austin(得克萨斯大学奥斯汀分校)
切片-瓦瑟斯坦距离(SW)及其变体,最大切片-瓦瑟斯坦距离(Max-SW),由于其快速计算和可扩展性,即使概率测度位于非常高维的空间中,近年来也得到了广泛的应用。然而,SW需要许多不必要的投影样本来近似它的值,而Max-SW只使用最重要的投影,这忽略了其他有用的方向的信息。为了解决这些问题,我们提出了一种新的距离,命名为分布切片-瓦瑟斯坦距离(DSW),它找到了一个最佳分布的投影,可以探索不同的投影方向和投影本身的信息之间的平衡。我们表明,DSW是一个推广的Max-SW,它可以有效地计算通过搜索的最佳推进措施超过一组概率测度在单位球满足一定的正则化约束,有利于不同的方向。最后,我们用大规模数据集进行了大量的实验,以证明所提出的距离在生成式建模应用中比以前基于切片的距离具有更好的性能。
2020-10-04 cs.LG stat.CO stat.ML
Towards Better Spherical Sliced-Wasserstein Distance Learning with Data-Adaptive Discriminative Projection Direction
Nanjing University of Science and Technology(南京理工大学);Nanjing University(南京大学)
本文提出数据自适应判别球面切片Wasserstein距离DSSW,通过两类投影能量函数学习判别投影方向权重,在梯度流、密度估计和自监督学习等任务上优于现有方法。
2024-12-26 cs.LG
Wasserstein Distributionally Robust Inverse Multiobjective Optimization
Amazon(亚马逊);University of Pittsburgh(匹兹堡大学)
逆多目标优化提供了一个通用的框架,为无监督学习任务的推断参数的多目标决策问题(ESTA),根据一组观察到的决定,从人类专家。然而,这个框架的性能关键依赖于一个准确的决策,足够的高质量的决策,和一个参数空间,包含足够的信息的决策的可用性。为了避免假设条件、数据和参数空间的不确定性,本文研究了逆多目标优化的分布鲁棒方法。具体来说,我们利用Wasserstein度量来构建一个以这些决策的经验分布为中心的球。然后,我们制定了Wasserstein分布鲁棒逆多目标最优化问题(WRO-IMOP),最大限度地减少了最坏情况下的预期损失函数,其中最坏的情况下采取了所有的分布在Wasserstein球。我们证明了WRO-IMOP估计的超额风险具有次线性收敛速率。此外,我们提出了半无限的WRO IMOP的重新制定和开发的切割平面算法,收敛到一个近似解在有限的迭代。最后,我们证明了我们的方法的有效性的合成多目标二次规划和现实世界的投资组合最优化问题。
2020-09-30 cs.LG math.OC stat.ML
Tree-Sliced Wasserstein Distance with Nonlinear Projection
VinUniversity(维新大学);Movian AI
本文提出非线性投影的TSW距离框架,在保证Radon变换单射和度量良定义的同时,适用于欧几里得空间与球面,并在梯度流、自监督学习和生成模型中显著优于现有SW及TSW变体。
2025-06-09 cs.AI cs.LG
Self-Attention Amortized Distributional Projection Optimization for Sliced Wasserstein Point-Cloud Reconstruction
University of Texas at Austin(德克萨斯大学奥斯汀分校);VinAI Research(VinAI研究院)
针对最大切片 Wasserstein 距离的度量性缺失和摊销模型非对称问题,提出基于自注意力架构的 v-DSW 摊销优化,实现线性复杂度并提升点云重建性能。
2023-05-08 cs.CV cs.GR cs.LG
A Riemannian Block Coordinate Descent Method for Computing the Projection Robust Wasserstein Distance
University of California, Davis(加利福尼亚大学戴维斯分校)
Wasserstein距离在机器学习和深度学习中变得越来越重要。尽管沃瑟斯坦距离很受欢迎,但由于维数灾难,它很难近似。最近提出的一种减轻维数灾难的方法是将高维概率分布的采样数据投影到低维子空间上,然后计算投影数据之间的Wasserstein距离。然而,这种方法需要解决Stiefel流形上的最大-最小问题,这在实践中非常具有挑战性。唯一直接解决这个问题的现有工作是RGAS(Riemannian Gradient Ascent with Sinkhorn Iteration)算法,该算法需要在每次迭代中解决熵正则化的最优运输问题,因此对于大规模问题来说代价高昂。在本文中,我们提出了一个黎曼块坐标下降(RBCD)方法来解决这个问题,这是基于一个新的正则化最大-最小问题的Stiefel流形上的重新制定。我们证明了RBCD得到$ε$-平稳点的算术运算的复杂性是$O(ε^{-3})$。这显著提高了RGAS的相应复杂度,即$O(ε^{-12})$。此外,我们的RBCD具有非常低的每次迭代的复杂度,因此适合于大规模的问题。在模拟数据集和真实数据集上的数值结果表明,该方法比现有的方法更有效,特别是当采样数据的数量非常大时。
2021-09-27 cs.LG math.OC stat.ML
Wasserstein Adversarial Imitation Learning
Bosch Center for Artificial Intelligence(博世人工智能中心);Robert Bosch GmbH(罗伯特·博世有限公司)
模仿学习描述了从演示中恢复专家策略的问题。虽然逆强化学习方法在专家演示方面是非常有效的,但它们通常需要问题相关的奖励函数或(任务)特定的奖励函数正则化。在本文中,我们展示了逆强化学习方法和最优运输之间的自然联系,它使更一般的奖励函数具有理想的属性(例如,平滑度)。基于我们的观察,我们提出了一种新的方法,称为Wasserstein对抗模仿学习。我们的方法将Kantorovich势视为奖励函数,并进一步利用正则化的最优传输来实现大规模应用。在几个机器人实验中,我们的方法在平均累积奖励方面优于基线,并且只需要一个专家演示,就可以显着提高样本效率。
2019-06-19 cs.LG stat.ML
Gromov-Wasserstein Distillation for Inductive Multi-View Embedding
Instituto Federal do Ceará (IFCE)(塞阿拉联邦学院);Federal University of Ceará (UFC)(塞阿拉联邦大学);Sigma Nova
提出基于重心蒸馏的归纳式框架,将转导式GW-MDS嵌入转化为显式神经映射,在未见样本上保持几何结构并优于直接神经GW训练。
2026-10-01 cs.LG stat.ML
On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification
University of California, Berkeley(加州大学伯克利分校);CREST - ENSAE(法国国家统计与经济管理学院 Crest 实验室);Google Brain(谷歌大脑)
最优输运(OT)距离越来越多地用作统计推断的损失函数,特别是在生成模型的学习或监督学习中。然而,最小Wasserstein估计的行为知之甚少,特别是在高维制度或模型误指定。在这项工作中,我们采用投影鲁棒(PR)OT的观点,它旨在通过选择一个$k$维子空间,它们可以被投影到两个措施之间的OT成本最大化。我们的第一个贡献是建立PR Wasserstein距离的几个基本统计特性,补充和改进以前的文献,已被限制到一维和指定的情况下。接下来,我们提出了积分PR Wasserstein(IPRW)距离作为PRW距离的替代,通过平均而不是优化子空间。我们的复杂性界限可以帮助解释为什么PRW和IPRW距离优于Wasserstein距离经验在高维推理任务。最后,我们考虑使用PRW距离的参数推断。本文给出了两类最小PRW估计的渐近保证,并给出了模型误设定下最大切片Wasserstein估计的中心极限定理。为了使我们的分析PRW的投影维数大于1,我们设计了一种新的变分分析和统计理论的结合。
2021-07-17 cs.LG math.ST stat.ML
Wasserstein projection distance for fairness testing of regression models
Department of Computer Science, University of British Columbia(计算机科学系,不列颠哥伦比亚大学);Department of Pathology and Laboratory Medicine, University of British Columbia(病理学与实验室医学系,不列颠哥伦比亚大学);Department of Statistics, University of British Columbia(统计学系,不列颠哥伦比亚大学);BC Cancer Research, Part of Provincial Health Care Authority(BC癌症研究,省卫生保健机构的一部分);Department of Mathematics, University of British Columbia(数学系,不列颠哥伦比亚大学)
本文提出基于Wasserstein距离的回归模型公平性测试框架,通过假设检验和数据扰动方法提升公平性,实验显示其在检测性别差异和污染区域影响方面具有显著效果。
2026-02-09 cs.LG
Subspace Detours: Building Transport Plans that are Optimal on Subspace Projections
CREST, ENSAE(法国国家统计与经济管理学院 CREST 实验室);Google Brain(谷歌大脑)
计算高维测度间的最优迁移(OT)注定要受到维数灾难的影响。避免这种诅咒的一种流行方法是将输入测度投影到低维子空间(在切片Wasserstein距离的情况下是一维线),解决这些缩减测度之间的OT问题,并解决这些缩减之间的Wasserstein距离,而不是原始测度之间的距离。然而,这种方法很难扩展到想要计算原始测量之间的OT图(Monge图)的情况。由于计算是在低维投影上进行的,因此经典的地图估计技术只能产生在这些降低的维度上操作的地图。在这项工作中,我们提出了两种方法来外推,从一个运输地图,是最佳的子空间,一个几乎是最佳的在整个空间。我们证明,最佳的最优运输计划,采取这样的“子空间绕道”是一个推广的诺特-罗森布拉特运输。我们表明,这些计划可以明确制定时,比较高斯措施(之间的Wasserstein距离通常被称为Bures或Fréchet距离)。我们提供了一个算法来选择最佳的子空间高斯措施对,并研究的情况下,调解子空间可以选择使用先验信息。我们考虑应用程序之间的语义调解椭圆词嵌入和领域自适应高斯混合模型。
2019-10-29 cs.LG stat.ML
Busemann Functions in the Wasserstein Space: Existence, Closed-Forms, and Applications to Slicing
本文研究了Wasserstein空间中Busemann函数的存在性与计算,推导了一维分布和高斯测度的闭式表达式,并应用这些结果定义了新的切片Wasserstein距离。
2026-03-11 cs.LG math.MG stat.ML
Spherical Sliced-Wasserstein
Université Bretagne Sud(南布列塔尼大学);LMBA(勒贝格数学实验室);IRISA(法国国家信息与自动化研究所雷恩分院/IRISA研究所);IMT Atlantique(大西洋国立高等矿业电信学校);Lab-STICC(科学与技术信息与通信实验室)
已经引入了瓦瑟斯坦距离的许多变体以减少其原始计算负担。特别是切片-瓦瑟斯坦距离(SW),其利用一维投影,对于该一维投影,瓦瑟斯坦距离的封闭形式的解是可用的,已经受到很多关注。然而,它仅限于欧几里得空间中的数据,而瓦瑟斯坦距离最近已被研究并用于流形上。我们专注于更具体的领域,我们定义了一个新的SW差异,我们称之为球面切片Wasserstein,使第一步定义SW差异流形。我们的建设是值得注意的是基于封闭形式的解决方案的瓦瑟斯坦距离的圆,连同一个新的球面Radon变换。除了高效的算法和相应的实现,我们还在几个机器学习用例中说明了它的属性,其中数据的球形表示受到威胁:球体上的采样,真实地球数据或超球面自动编码器上的密度估计。
2023-01-30 cs.LG stat.ML
Stochastic Inverse Problem: stability, regularization and Wasserstein gradient flow
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Cornell University(康奈尔大学);University of Minnesota Twin Cities(明尼苏达大学双城分校)
本文研究随机逆问题,在概率空间中借助测度传输理论分析直接反演、正则化变分形式和梯度流优化,揭示度量选择对优化器稳定性的关键影响。
2026-10-26 cs.LG math.OC math.PR
Conditional Wasserstein Distances with Applications in Bayesian OT Flow Matching
Technical University of Berlin(柏林技术大学)
本文提出条件Wasserstein距离,推导其理论性质与流常微分方程,并通过松弛该距离扩展OT流匹配方法,用于求解贝叶斯逆问题,在逆问题和类别条件图像生成中验证了数值优势。
2025-08-27 cs.LG math.OC
A Wasserstein Geometric Framework for Hebbian Plasticity
Ulrich Tan
本文提出Hebb-Wasserstein-几何框架,通过Wasserstein最小化运动建模记忆状态,将Hebb学习规则形式化为满足序列稳定性条件的Hebb能量,揭示记忆巩固作为扰动Wasserstein梯度流的变分结构。
2026-04-17 cs.LG math.OC math.PR
Highly Data Parallelizable Estimation of the Sliced-Wasserstein Distance Using Cumulative Distribution Functions
Laboratoire de Mathématiques d’Orsay, Université Paris-Saclay(巴黎-萨克雷大学数学实验室);Centre de recherche en économie et statistique, ENSAE(经济与统计研究中心)
提出基于累积分布函数的切片Wasserstein距离估计器,避免排序并支持大规模数据并行,适用于混合高斯和联邦学习场景。
2026-06-29 cs.LG stat.ML
Wasserstein Adversarial Examples on Univariant Time Series Data
Emory University(埃默里大学);Zhejiang University(浙江大学)
对抗性示例是通过向正常示例添加不可区分的扰动来制作的,以便欺骗训练有素的深度学习模型进行错误分类。在计算机视觉的上下文中,这种不可分割性的概念通常由$L_{\infty}$或其他规范限制。然而,这些规范是不合适的测量时间序列数据的不可否认性。在这项工作中,我们首次在Wasserstein空间中为时间序列数据提出了对抗性示例,并利用Wasserstein距离来限制正常示例和对抗性示例之间的扰动。我们介绍Wasserstein投影梯度下降(WPGD),一个对抗攻击方法扰动单变时间序列数据。我们利用Wasserstein距离在一维空间中的封闭解,利用梯度下降方法有效地计算WPGD的投影步长。我们进一步提出了一个两步投影,以便在Wasserstein空间中搜索对抗性示例时受到欧氏范数的指导和约束,从而产生更有效和更不易察觉的扰动。我们经验性地评估了在医疗保健领域的几个时间序列数据集的攻击。大量的实验结果表明,Wasserstein攻击是强大的,可以成功地攻击大多数的目标分类器,具有较高的攻击成功率。为了更好地研究Wasserstein对抗性示例的性质,我们评估了一种名为Wasserstein平滑的强大防御机制,用于潜在的认证鲁棒性防御。虽然防御可以实现一些准确性增益,但在许多情况下仍然存在局限性,并且为开发更强的认证鲁棒性方法留出了空间,以针对单变时间序列数据的Wasserstein对抗性…
2023-03-22 cs.AI cs.LG
Leveraging Optimal Transport via Projections on Subspaces for Machine Learning Applications
Université de Bretagne Sud(南布列塔尼大学);Laboratoire de Mathématiques de Bretagne Atlantique(大西洋布列塔尼数学实验室);CNRS(法国国家科学研究中心);École Normale Supérieure(巴黎高等师范学院);Technische Universität Berlin(柏林工业大学);Université Paris Cité(巴黎西岱大学);Sony Computer Science Laboratories Inc(索尼计算机科学实验室公司);Harvard SEAS(哈佛大学工程与应用科学学院);IMT Atlantique(大西洋国立高等工业技术与矿业学校)
本论文研究利用子空间投影的最优传输替代方案,扩展 Sliced-Wasserstein 距离至黎曼流形并应用于不平衡最优传输、梯度流动力学及不可比空间,以降低计算负担并应用于机器学习。
2023-11-23 cs.LG
A Short and General Duality Proof for Wasserstein Distributionally Robust Optimization
Columbia University(哥伦比亚大学);University of Chicago(芝加哥大学)
本文为Wasserstein分布鲁棒优化提出了一个仅依赖一维凸分析的通用对偶性证明,并刻画了可交换性原理成立的充要条件,同时将结果推广到分布鲁棒Markov决策过程、多阶段随机规划及其他相关优化问题。
2024-06-05 cs.LG math.OC stat.ML
Sliced Multi-Marginal Optimal Transport
University College London(伦敦大学学院);Facebook AI Research(脸书人工智能研究院);University of Cambridge(剑桥大学);University of California, Berkeley(加州大学伯克利分校);Imperial College London(帝国理工学院)
多边际最优运输使人们能够比较多个概率测度,这越来越多地发现在多任务学习问题中的应用。多边缘传输的一个实际限制是测量、样本和维度的数量的计算可扩展性。在这项工作中,我们提出了一个多边缘的最佳运输模式的基础上随机一维投影,其(广义)的距离,我们称之为切片多边缘瓦瑟斯坦距离。为了构建这个距离,我们引入了一维多边缘Kantorovich问题的表征,并使用它来突出切片多边缘瓦瑟斯坦距离的一些属性。特别是,我们表明:(i)切片多边缘瓦瑟斯坦距离是一个(广义)度量,诱导相同的拓扑结构作为标准的瓦瑟斯坦距离,(ii)它承认一个无量纲的样本复杂性,(iii)它是紧密相连的问题下的切片Wasserstein度量重心平均。最后,我们说明了多任务密度估计和多动态强化学习问题的切片多边缘Wasserstein。
2021-11-23 cs.LG stat.ML
Projected Wasserstein-Fisher-Rao Flows for Hawkes Background-Intensity Estimation
Facultad de Ciencias, Universidad Autónoma de México(墨西哥国立自治大学理学院);Department of Probability and Statistics, Centro de Investigación en Matemáticas A.C.(数学研究中心概率与统计系)
针对触发机制已知的霍克斯过程背景强度估计问题,提出基于Wasserstein-Fisher-Rao几何的似然变分方法,通过投影到统计流形得到有限维方案,建立了可测估计量的条件一致性定理。
2026-10-15 cs.LG stat.ML
A Gradient Flow Approach to Solving Inverse Problems with Latent Diffusion Models
提出免训练的扩散正则化Wasserstein梯度流方法,利用预训练潜变量扩散模型作为先验,通过梯度流求解不适定逆问题,并在标准基准上验证了性能。
2026-09-17 cs.LG stat.CO stat.ML
Y-Diagonal Couplings: Approximating Posteriors with Conditional Wasserstein Distances
针对Wasserstein距离无法控制后验距离的问题,提出带有受限耦合的条件Wasserstein距离,推导其对偶以严格论证条件Wasserstein GANs的损失,并证明其在后验采样中的优势。
2023-10-20 cs.LG math.ST stat.ML
Hilbert Curve Projection Distance for Distribution Comparison
Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院);Center for Applied Statistics, Institute of Statistics and Big Data, Renmin University of China(中国人民大学统计与大数据研究院应用统计中心);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Mathematics and Statistics, Beijing Institute of Technology(北京理工大学数学与统计学院)
提出Hilbert曲线投影(HCP)距离,通过Hilbert曲线投影获得耦合计算传输距离,以低复杂度比较分布,收敛速率快,并开发子空间投影变体,实验证明其优于切片Wasserstein距离。
2024-02-06 cs.LG stat.ML
A proof of convergence of inverse reinforcement learning for multi-objective optimization
NEC Corporation(日本电气股份有限公司)
本文通过将多目标优化问题表述为逆问题,证明了使用投影次梯度法的Wasserstein逆强化学习在多目标优化中的收敛性,并进一步证明了使用梯度下降和投影次梯度法的逆强化学习(如最大熵逆强化学习和引导代价学习)的收敛性。
2023-05-18 cs.AI cs.LG stat.ML
Wasserstein Distributionally Robust Optimization with Wasserstein Barycenters
Northwestern University(西北大学)
在统计学和机器学习的许多应用中,来自多个可能异构的源的数据样本的可用性已经变得越来越普遍。另一方面,在分布鲁棒优化,我们寻求数据驱动的决策,以及在最不利的分布从名义分布构造的数据样本在一定的差异的概率分布。然而,目前还不清楚如何实现这种分布鲁棒性模型学习和估计时,数据样本来自多个来源。在这项工作中,我们建议通过Wasserstein重心作为来自多个来源的数据样本的聚合的概念,构建基于最佳运输的分布鲁棒优化问题的标称分布。在特定的损失函数的选择下,所提出的公式承认一个易于处理的重新制定作为一个有限的凸规划,具有强大的有限样本和渐近保证。作为一个说明性的例子,我们证明了分布鲁棒稀疏逆协方差阵估计的零均值高斯随机向量的问题,我们提出的方案优于其他广泛使用的估计在低维和高维制度。
2022-05-30 cs.LG math.OC stat.ML
Adaptive Bregman Alternating Projections for Feasible Gromov-Wasserstein Learning
Rice University(莱斯大学)
针对Gromov-Wasserstein问题,提出自适应KL-BAPG算法,结合固定惩罚预热和递增惩罚阶段,在保证可行性的同时实现高效计算,显著降低可行性差距和残差。
2026-10-06 cs.CG cs.LG math.OC
Validating Climate Models with Spherical Convolutional Wasserstein Distance
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Texas A&M University(德克萨斯农工大学)
针对全球气候模型验证需求,提出球面卷积Wasserstein距离以衡量模型与再分析数据差异,应用于CMIP评估并发现第6阶段模型气候态生成能力有小幅提升。
2024-01-26 cs.LG physics.ao-ph stat.AP
Error Analysis of Bayesian Inverse Problems with Generative Priors
Bamdad Hosseini University of Washington(Bamdad Hosseini 罗斯大学)
本文基于生成先验分析贝叶斯反问题的误差,通过定量误差界和数值实验验证了生成模型在反问题中的有效性。
2026-03-10 cs.LG cs.NA math.NA
CWAE-IRL: Formulating a supervised approach to Inverse Reinforcement Learning problem
Ford Motor Company(福特汽车公司)
逆强化学习(IRL)用于从运行马尔可夫决策过程(MDP)的专家的动作推断奖励函数。本研究提出一种利用变分推论来学习报酬函数的新方法。使用这种技术,连续潜变量(在这种情况下的奖励函数)的棘手的后验分布被分析近似,似乎是接近先验信念,同时试图重建未来的状态条件下的当前状态和行动。奖励函数是使用众所周知的深度生成模型(称为条件变分自动编码器(CVAE))和Wasserstein损失函数推导出来的,因此称为条件Wasserstein自动编码器-IRL(CWAE-IRL),可以将其分析为向后和向前推理的组合。然后,这可以形成一个有效的替代以前的方法IRL,而没有知识的代理的系统动力学。在标准基准测试程序objectworld和pendulum上的实验结果表明,该算法能够有效地学习复杂高维环境下的潜在奖励函数.
2019-10-02 cs.AI cs.LG stat.ML
Empirically Accelerating Scaled Gradient Projection Using Deep Neural Network For Inverse Problems In Image Processing
UNIST(蔚山国立科学技术院)
最近,深度神经网络(DNN)在加速优化算法方面显示出优势。一种方法是展开传统优化算法的有限次迭代,并学习算法中的参数。然而,这些都是向前的方法,实际上既不是迭代的,也不是收敛的。在这里,我们提出了一种新的基于DNN的收敛迭代算法,可以加速传统的优化算法。我们训练一个DNN来产生尺度梯度投影方法中的参数。到目前为止,这些参数的选择是严格的,但已被证明是至关重要的良好的经验表现。仿真结果表明,对于图像处理中的各种大规模反问题,该方法的经验收敛速度明显优于传统的优化方法.
2021-04-22 cs.CV cs.LG stat.ML
Efficient Sliced Wasserstein Distance Computation via Adaptive Bayesian Optimization
Department of Computer Science(计算机科学系);Vanderbilt University(范德比大学)
本文提出通过自适应贝叶斯优化高效计算切片瓦瑟斯坦距离,引入多种方向选择器并展示其在优化循环中的高效性能。
2025-09-23 cs.LG
DE-VAE: Revealing Uncertainty in Parametric and Inverse Projections with Variational Autoencoders using Differential Entropy
University of Konstanz(康斯坦茨大学)
DE-VAE通过引入微分熵提升变分自编码器在参数化和反向投影中的不确定性分析能力,实现对分布外样本的更有效处理。
2026-10-01 cs.LG
Projected Riemannian Gradient Descent for the Bures-Wasserstein Barycenter: Dimension-Independent Linear Convergence at Unit Step Size
National University of Singapore(新加坡国立大学)
该研究针对Bures-Wasserstein重心计算的二分性问题,提出投影黎曼梯度下降算法,在单位步长下实现与维度无关的线性收敛,多项式改进了迭代复杂度,还将该保证扩展到了不变矩阵投影场景。
2026-09-04 cs.LG math.OC quant-ph
Relative Wasserstein Angle and the Problem of the $W_2$-Nearest Gaussian Distribution
Department of Computer Science, George Washington University, Washington D.C., USA(计算机科学系,乔治·华盛顿大学,华盛顿特区,美国);MAE, George Washington University, Washington D.C., USA(机械工程与应用科学系,乔治·华盛顿大学,华盛顿特区,美国)
本文提出相对Wasserstein角度和正交投影距离作为衡量非高斯性的几何量,并通过实验展示其在高斯近似中的有效性。
2026-09-23 cs.LG
Projection-Based Correction for Enhancing Deep Inverse Networks
Department of Computer Science, Universidad Industrial de Santander(计算机科学系,圣安德烈斯工业大学)
本文提出一种基于投影的校正方法,通过约束解在有效解空间内并确保与前向模型一致,增强深度逆网络的推理,理论证明其可分解为值域和零空间分量,实验验证了重建精度的提升。
2025-05-21 cs.CV cs.LG physics.comp-ph
UnProjection: Leveraging Inverse-Projections for Visual Analytics of High-Dimensional Data
University of Sao Paulo(圣保罗大学);Tufts University(塔夫茨大学);Novartis(诺华公司);University of Arizona(亚利桑那大学);Northeastern University(东北大学);University of Utrecht(乌得勒支大学)
投影技术通常用于可视化高维数据,允许用户在2D屏幕上更好地理解多维空间的整体结构。虽然存在许多这样的方法,但在逆投影的可推广方法上几乎没有做过工作-将投影点映射到原始高维空间的过程,或者更一般地说,将投影空间映射回原始高维空间。在本文中,我们介绍了NNInv,这是一种深度学习技术,能够近似任何投影或映射的逆。NNInv学习从2D投影空间上的任意点重建高维数据,使用户能够在可视化分析系统中与学习的高维表示进行交互。我们提供了NNInv的参数空间的分析,并在选择这些参数提供指导。我们通过一系列的定量和定性分析扩展验证NNInv的有效性。然后,我们证明了该方法的效用,将其应用到三个可视化任务:交互式实例插值,分类器协议,梯度可视化。
2021-11-02 cs.HC cs.LG
LCIP: Loss-Controlled Inverse Projection of High-Dimensional Image Data
Utrecht University(乌特雷赫大学);University of Konstanz(康斯坦茨大学)
LCIP通过用户控制的扫描机制实现高维图像数据的逆投影,提升数据空间的覆盖能力,适用于图像风格迁移等任务。
2026-02-11 cs.HC cs.LG
Dimensionality Reduction for Wasserstein Barycenter
Stanford University(斯坦福大学);MIT(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
Wasserstein重心是一种几何构造,它捕获了概率分布之间的中心性概念,并且在机器学习中有许多应用。然而,大多数算法,甚至找到一个近似的重心遭受指数依赖的维度$d$的底层空间的分布。为了应对这种“维数灾难”,我们研究了Wasserstein重心问题的降维技术。当重心被限制为支持的大小$n$,我们表明,随机降维可以用来映射到一个空间的尺寸$O(\log n)$独立的$d$和$k$的问题,和\emph{any}解决方案中发现的减少的维度将其成本保存到任意小的错误在原始空间。我们提供了匹配的上界和下界的大小减少的维度,表明我们的方法是最佳的常数因子。我们还提供了一个coreset建设的Wasserstein重心问题,显着减少了输入分布的数量。核心集可以与随机投影结合使用,从而进一步提高计算时间。最后,我们的实验结果验证了降维提供的加速,同时保持解决方案的质量。
2021-10-19 cs.DS cs.LG math.PR
Projection-free nonconvex stochastic optimization on Riemannian manifolds
Princeton University(普林斯顿大学);MIT(麻省理工学院)
本文研究了黎曼流形上光滑函数约束优化的随机无投影方法,而超出参数域的附加约束是流形。具体来说,我们引入随机黎曼Frank-Wolfe方法的非凸和测地线凸问题。我们提出了纯随机最优化和有限和问题的算法。对于后者,我们开发方差减少的方法,包括最近提出的蜘蛛技术的黎曼适应。对于所有的设置,我们恢复收敛速度,是最有名的速度为他们的欧几里德同行。最后,我们讨论了两个经典任务的应用:计算的Karcher平均值的正定矩阵和Wasserstein重心多元正态分布。对于这两个任务,随机Fw方法产生最先进的经验性能。
2021-04-03 cs.LG math.OC