Projection pursuit based on Gaussian mixtures and evolutionary algorithms
University of Perugia（佩鲁贾大学）
提出了一种基于高斯混合模型的投影寻踪算法。通过Gynthology估计的多变量密度获得的负熵被采用作为PP指数被最大化。对于固定维度的投影子空间，基于GMM的密度估计被投影到该子空间上，其中计算高斯混合的负熵的近似。然后，遗传算法（GAs）被用来找到最佳的，正交投影的基础上，通过最大化前近似。我们表明，这种半参数的方法PP是灵活的，并允许高度信息化的结构被检测到，通过将多变量数据集投影到一个子空间，在那里数据可以被可视化。所提出的方法的性能显示在人工和真实的数据集。
2019-12-27 cs.LG cs.NE stat.ME
Two Projection Pursuit Algorithms for Machine Learning under Non-Stationarity
TU Berlin（柏林工业大学）；Bernstein Focus: Neurotechnology Berlin（柏林伯恩斯坦神经技术重点中心）；BCCN（伯恩斯坦计算神经科学中心）
本文推导、测试并应用了两种线性投影算法，用于非平稳环境下的机器学习。第一种方法在线性空间中找到一个方向，在这个方向上，数据集是最不稳定的。第二个目标是鲁棒的双向分类对非平稳性。该算法的测试上的一个关键的应用场景，即脑机接口。
2011-10-04 cs.AI cs.LG
Projection Pursuit Gaussian Process Regression
Texas A&M University（德克萨斯农工大学）
计算机实验的一个主要目标是通过分散的计算重建计算机代码给出的函数。传统的各向同性高斯过程模型在输入维数相对较高的情况下，由于数据点的有限性，存在维数灾难问题。具有加性相关函数的高斯过程模型可扩展到维度，但它们更具限制性，因为它们仅适用于加性函数。在这项工作中，我们考虑一个投影寻踪模型，其中的非参数部分是由一个加性高斯过程回归。我们选择的加性函数的维数高于原始输入维数，并称之为“维数扩展”。我们表明，维数扩展可以帮助近似更复杂的功能。提出了一种基于极大似然估计的梯度下降模型训练算法。仿真研究表明，该方法优于传统的高斯过程模型。补充材料可在网上查阅。
2022-08-30 cs.LG stat.ML
Recovering Imbalanced Clusters via Gradient-Based Projection Pursuit
Technical University of Munich（慕尼黑技术大学）；School of Computation, Information and Technology（计算、信息与技术学院）；National University of Singapore（新加坡国立大学）
提出基于梯度的投影寻踪方法恢复不平衡聚类，分析样本复杂性并证明其在少样本场景下优于现有算法。
2025-06-30 cs.LG
Search Dimension in Unlabeled Projection Pursuit: A Scaling Law for Subspace Restriction
University of Cambridge（剑桥大学）
本文研究无标记投影寻踪中搜索维度的影响，发现子空间限制可消除高斯补空间导致的失败，并给出不同增益下的标度律，实验支持但非严格证明。
2026-09-30 cs.LG math.ST stat.ML
Minimum Spectral Connectivity Projection Pursuit
Stellenbosch University（斯泰伦博斯大学）；Lancaster University（兰卡斯特大学）
我们研究的问题，确定最佳的低维投影最大化的二进制分区的未标记的数据集的可分性，测量谱图理论。这是通过找到最小化投影数据的图拉普拉斯算子的第二特征值的投影来实现的，这对应于非凸的、非光滑的优化问题。我们表明，最佳的单变量投影的基础上的频谱连接收敛到向量正常的最大利润超平面通过数据，作为缩放参数减少到零。这就建立了由谱图理论测量的连通性和最大欧几里得分离之间的联系。与每个特征值问题相关的计算成本是数据数量的二次方。为了缓解这个问题，我们提出了一种近似方法，使用微簇可证明的近似误差界。在一个分裂的层次模型中结合多个二进制分区，使我们能够构建聚类解决方案，允许不同规模的集群和不同的子空间。我们评估了所提出的方法在大量基准数据集上的性能，发现它与现有的投影寻踪和数据聚类的降维方法相比毫不逊色。
2017-11-13 cs.LG stat.ML
Projection Robust Wasserstein Barycenters
University of California, Davis（加利福尼亚大学戴维斯分校）
从多个概率度量或直方图中收集和聚合信息是机器学习中的基本任务。这个任务的一个流行的解决方法是计算Wasserstein度量下的概率测度的重心。然而，由于维数灾难，近似Wasserstein重心在数值上是具有挑战性的。本文提出了投影鲁棒Wasserstein重心（PRWB），有可能减轻维数灾难。由于PRWB在数值上非常具有挑战性，因此我们进一步提出了一种更易于处理的松弛PRWB（RPRWB）模型。RPRWB项目的概率措施到一个低维子空间，最大限度地提高了Wasserstein重心目标。由此产生的问题是一个最大最小的问题在Stiefel流形。结合迭代Bregman投影算法和黎曼优化，我们提出了两个新的算法来计算RPRWB。分析了所提出的算法获得$ε$ -平稳解的算术运算的复杂性。我们将RPRWB引入到离散分布聚类算法中，在真实文本数据集上的数值结果证实了我们的RPRWB模型有助于显着提高聚类性能。
2021-09-27 cs.LG stat.ML
On Projection Robust Optimal Transport: Sample Complexity and Model Misspecification
University of California, Berkeley（加州大学伯克利分校）；CREST - ENSAE（法国国家统计与经济管理学院 Crest 实验室）；Google Brain（谷歌大脑）
最优输运（OT）距离越来越多地用作统计推断的损失函数，特别是在生成模型的学习或监督学习中。然而，最小Wasserstein估计的行为知之甚少，特别是在高维制度或模型误指定。在这项工作中，我们采用投影鲁棒（PR）OT的观点，它旨在通过选择一个$k$维子空间，它们可以被投影到两个措施之间的OT成本最大化。我们的第一个贡献是建立PR Wasserstein距离的几个基本统计特性，补充和改进以前的文献，已被限制到一维和指定的情况下。接下来，我们提出了积分PR Wasserstein（IPRW）距离作为PRW距离的替代，通过平均而不是优化子空间。我们的复杂性界限可以帮助解释为什么PRW和IPRW距离优于Wasserstein距离经验在高维推理任务。最后，我们考虑使用PRW距离的参数推断。本文给出了两类最小PRW估计的渐近保证，并给出了模型误设定下最大切片Wasserstein估计的中心极限定理。为了使我们的分析PRW的投影维数大于1，我们设计了一种新的变分分析和统计理论的结合。
2021-07-17 cs.LG math.ST stat.ML
Differentially Private Sampling from Distributions via Wasserstein Projection
LY Corporation（LY公司）
本文提出基于瓦瑟斯坦距离的差分隐私采样框架，解决传统密度比度量在支持集几何结构和不同分布支持集适用性上的局限。
2026-05-11 cs.CR cs.LG stat.ML
Projection Pursuit Density Ratio Estimation
Renmin University of China（中国人民大学）
本文提出基于投影寻踪近似的密度比估计方法，以缓解高维数据下的维度灾难并保持模型灵活性，同时证明其一致性与收敛速率，实验表明该方法在多种应用中优于现有方法。
2025-06-01 cs.LG stat.ME stat.ML
Fast Approximation of the Generalized Sliced-Wasserstein Distance
École Polytechnique（巴黎综合理工学院）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Hanoi University of Science and Technology（河内科技大学）
广义切片瓦瑟斯坦距离是切片瓦瑟斯坦距离的一个变体，它通过给定的定义函数利用非线性投影的能力，以更好地捕捉概率分布的复杂结构。与切片瓦瑟斯坦距离类似，广义切片瓦瑟斯坦距离被定义为随机投影的期望，可以通过蒙特卡罗方法来近似。然而，这种近似的复杂性在高维环境中可能是昂贵的。为此，我们建议，形成确定性和快速近似的广义切片瓦瑟斯坦距离，通过使用的随机投影的浓度时，定义的功能是多项式函数，循环函数，和神经网络型功能。我们的近似取决于一个重要的结果，即一个高维随机向量的一维投影近似高斯。
2022-10-19 cs.LG stat.ML
Fast Approximation of the Sliced-Wasserstein Distance Using Concentration of Random Projections
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院）；ESSEC Business School（ESSEC商学院）
切片-瓦瑟斯坦距离（SW）越来越多地用于机器学习应用中作为瓦瑟斯坦距离的替代，并且提供显著的计算和统计益处。由于它被定义为随机投影上的期望，因此SW通常通过蒙特卡罗近似。我们采用了一种新的观点来近似SW，利用测量集中现象：在温和的假设下，一个高维随机向量的一维投影近似高斯。基于这一观察，我们开发了一个简单的确定性近似SW。我们的方法不需要采样的随机投影的数量，因此是准确和易于使用相比，通常的蒙特卡罗近似。我们推导出我们的方法的非渐近保证，并表明，近似误差为零，随着维数的增加，在弱依赖条件下的数据分布。我们验证了我们的理论研究结果的合成数据集，并说明了生成建模问题的建议近似。
2022-01-04 cs.LG stat.ML
Informative Data Projections: A Framework and Two Examples
Ghent University（根特大学）；University of Bristol（布里斯托大学）
投影寻踪方法的目标是通过识别有趣的低维投影来促进高维数据的视觉探索。一个主要的挑战是设计一个合适的质量度量的投影，通常被称为投影指数，最大化的投影寻踪算法。在本文中，我们介绍了一种新的信息理论的策略来解决这个问题，基于量化的信息量的投影传达给用户的先验信念的数据。所得到的投影指数是一个主观的量，明确地取决于预期的用户。作为一个有用的例子，我们发展了两种特定类型的先验信念的这个想法。第一种导致PCA（主成分分析），当PCA是（不）合适的时候，它会有新的光芒。第二种导致了一种新的投影指数，其最大化可以被视为PCA的鲁棒变体。我们展示了如何投影指数，虽然非凸，可以有效地最大化使用修改后的功率方法，以及使用半定规划松弛。这个新的投影指数的实用性证明了在比较实证实验对PCA和流行的投影寻踪方法。
2015-11-27 cs.IR cs.LG math.ST
Amortized Projection Optimization for Sliced Wasserstein Generative Models
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在应用切片瓦瑟斯坦距离的过程中，寻找信息丰富的投影方向是一个重要的任务。然而，找到这些方向通常需要在投影方向的空间上的迭代优化过程，这在计算上是昂贵的。此外，计算问题在深度学习应用中甚至更加严重，其中计算两个小批量概率测度之间的距离被重复多次。这种嵌套循环一直是主要的挑战之一，它阻止了在实践中使用基于良好投影的切片瓦瑟斯坦距离。为了解决这一挑战，我们建议利用学习优化技术或摊销优化来预测任何给定的两个小批量概率测度的信息方向。据我们所知，这是第一个工作，桥梁摊销优化和切片Wasserstein生成模型。特别是，我们推导出线性摊销模型，广义线性摊销模型，和非线性摊销模型，这是对应于三种类型的新的小批量损失，命名为摊销切片Wasserstein。我们在标准基准数据集上的深度生成建模中展示了所提出的切片损失的良好性能。
2022-09-23 cs.LG stat.ML
Augmented Sliced Wasserstein Distances
University of Surrey（萨里大学）；University of Edinburgh（爱丁堡大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
虽然在理论上很有吸引力，但Wasserstein距离在大规模机器学习问题中的应用受到其高昂计算成本的阻碍。切片Wasserstein距离及其变体通过随机投影提高了计算效率，但是如果投影的数量不够大，则它们的准确性低，因为大多数投影导致微不足道的小值。在这项工作中，我们提出了一个新的家庭的距离度量，称为增强切片Wasserstein距离（ASWD），构造的第一个映射样本的高维超曲面参数化的神经网络。它来自一个关键的观察，即驻留在这些超曲面上的样本的（随机）线性投影将转化为原始样本空间中更灵活的非线性投影，因此它们可以捕获数据分布的复杂结构。我们证明了超曲面可以通过梯度上升有效地优化。我们提供的条件下，ASWD是一个有效的度量，并表明，这可以通过一个内射神经网络架构。数值结果表明，ASWD显着优于其他Wasserstein变种的合成和现实世界的问题。
2022-03-17 cs.LG stat.ML
Wasserstein-based Projections with Applications to Inverse Problems
UCLA（加州大学洛杉矶分校）
逆问题包括从噪声测量的集合中恢复信号。这些通常被视为优化问题，经典方法使用数据保真度项和稳定恢复的分析正则化器。最近的即插即用（Pingdom）的作品提出用数据驱动的去噪器代替优化方法中的解析正则化算子。这些方案获得了最先进的结果，但以有限的理论保证为代价。为了弥合这一差距，我们提出了一个新的算法，从流形的真实数据作为输入的样本，并输出到这个流形上的投影算子的近似。在标准假设下，我们证明了该算法生成一个学习算子，称为基于Wasserstein的投影（WP），以高概率近似真实投影。因此，WPs可以像Pests一样被插入到优化方法中，但是现在有了理论上的保证。所提供的数值示例示出WP获得了用于无监督PSNR信号恢复的最新结果。
2021-04-14 cs.LG stat.ML
Hyperbolic Sliced-Wasserstein via Geodesic and Horospherical Projections
Université Bretagne Sud（布列塔尼南部大学）；IMT Atlantique（大西洋国立高等矿业电信学院）
针对双曲空间中概率分布比较方法稀缺且最优传输计算成本高的问题，提出通过沿极限球面或测地线投影构造新的双曲切片-Wasserstein差异度量，并在采样和图像分类任务中验证其有效性。
2023-06-26 cs.LG stat.ME stat.ML
Biased Hypothesis Formation From Projection Pursuit
University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校）
偏差对假设形成的影响，其特征在于自动数据驱动的投影寻踪神经网络提取和选择特征的数据流的二进制分类。这种智能探索过程将完整的向量状态空间划分为不相交的子空间，以创建通过在两组标记数据流之间观察到的相似性和差异来量化的工作假设。数据流通常是按时间顺序排列的，并且可能表现出复杂的时空模式。例如，给定来自分子动力学模拟的原子轨迹，机器的任务是通过比较蛋白质突变体来量化促进功能的动力学机制，其中一些已知具有功能，而另一些则无功能。利用模拟功能性和非功能性蛋白质的动力学的合成二维分子，识别并控制不同背景下的机器学习模型和所选训练数据中的偏差。工作假设的细化收敛到基于上下文相关视角的数据的统计上稳健的多变量感知。在数据探索过程中包括不同的视角增强了相似性和差异的多元表征的可解释性。
2022-01-03 cs.LG physics.bio-ph q-bio.BM
Hierarchical Sliced Wasserstein Distance
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
切片Wasserstein（SW）距离已被广泛应用于不同的应用场景，因为它可以扩展到大量的支持，而不会遭受维数灾难。切片瓦瑟斯坦距离的值是通过Radon变换（RT）获得的原始测量的一维表示（投影）之间的传输成本的平均值。尽管它的效率在数量上的支持，估计切片Wasserstein需要一个相对较大的数量在高维设置的投影。因此，对于支撑件的数量与尺寸相比相对较小的应用，例如，在使用小批量方法的几个深度学习应用中，Radon变换的矩阵乘法的复杂性成为主要的计算瓶颈。为了解决这个问题，我们建议通过线性和随机组合较少数量的投影（称为瓶颈投影）来获得投影。我们解释了这些投影的使用，通过引入层次Radon变换（HRT），这是通过递归应用Radon变换变量构造。然后，我们制定的方法到一个新的度量之间的措施，命名为分层切片Wasserstein（HSW）距离。通过证明HRT的内射性，我们得到了HSW的度量性。此外，我们调查的HSW的理论特性，包括其连接到SW的变种和它的计算和样本的复杂性。最后，我们使用各种基准数据集（包括CIFAR10，CelebA和Tiny ImageNet）比较了HSW与传统SW在深度生成建模任务上的计算成本和生成质量。
2023-02-06 cs.LG stat.ML
Projection Robust Wasserstein Distance and Riemannian Optimization
University of California, Berkeley（加州大学伯克利分校）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Texas, Austin（德克萨斯大学奥斯汀分校）；CREST - ENSAE（法国国家统计与经济管理学院经济与统计研究中心）；Google Brain（谷歌大脑）
投影鲁棒沃瑟斯坦距离（Projection Robust Wasserstein，PRW），又称沃瑟斯坦投影追踪（Wasserstein projection pursuit，WPP），是沃瑟斯坦距离的一个鲁棒变体。最近的研究表明，这个量比标准的Wasserstein距离更稳健，特别是在比较高维概率测度时。然而，它被排除在实际应用中，因为优化模型本质上是非凸和非光滑的，这使得计算棘手。我们在本文中的贡献是重新审视WPP/PRW背后的原始动机，但采取强硬的路线表明，尽管它的非凸性和缺乏非光滑性，甚至尽管一些硬度的结果证明了~ \citet{Niles-2019-Estimation}在极大极小的意义下，原始配方PRW/WPP \textit{can}有效地计算在实践中使用黎曼优化，在相关情况下产生更好的行为比凸松弛。更具体地说，我们提供了三个简单的算法与坚实的理论保证其复杂性界（附录中的一个），并证明其有效性和效率进行广泛的实验合成和真实数据。本文提供了第一步到计算理论的PRW距离，并提供了最佳运输和黎曼优化之间的联系。
2023-01-01 cs.LG math.OC stat.ML
Markovian Sliced Wasserstein Distances: Beyond Independent Projections
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对切片Wasserstein距离的冗余投影问题，提出马尔可夫切片Wasserstein（MSW）距离，通过一阶马尔可夫结构优化投影方向，兼具理论保证与计算效率，在多个应用中表现优越。
2023-12-31 cs.LG stat.ML
Fast Epigraphical Projection-based Incremental Algorithms for Wasserstein Distributionally Robust Support Vector Machine
The Chinese University of Hong Kong（香港中文大学）；Nanjing University（南京大学）
Wasserstein \textbf{D}迭代\textbf{R} obust \textbf{O}优化（DRO）关注的是找到对数据执行良好的决策，这些数据是从以某个名义分布为中心的Wasserstein球内的最差情况概率分布中得出的。近年来，已经表明，各种DRO公式的学习模型承认易处理的凸重构。然而，大多数现有的作品提出解决这些凸的通用求解器，这是不适合处理大规模的问题。在本文中，我们专注于一个家庭的Wasserstein分布鲁棒支持向量机（DRSVM）的问题，并提出了两种新的epigraphical投影为基础的增量算法来解决这些问题。这些算法的每次迭代中的更新可以以高效的方式计算。此外，我们证明了本文考虑的DRSVM问题满足显式确定的增长指数的Hölderian增长条件。因此，我们能够建立所提出的增量算法的收敛速度。我们的数值结果表明，所提出的方法是数量级的速度比国家的最先进的，性能差距增长相当大的问题规模的增加。
2020-10-24 cs.LG math.OC stat.ML
Distributional Sliced-Wasserstein and Applications to Generative Modeling
VinAI Research（VinAI研究院）；University of Texas, Austin（得克萨斯大学奥斯汀分校）
切片-瓦瑟斯坦距离（SW）及其变体，最大切片-瓦瑟斯坦距离（Max-SW），由于其快速计算和可扩展性，即使概率测度位于非常高维的空间中，近年来也得到了广泛的应用。然而，SW需要许多不必要的投影样本来近似它的值，而Max-SW只使用最重要的投影，这忽略了其他有用的方向的信息。为了解决这些问题，我们提出了一种新的距离，命名为分布切片-瓦瑟斯坦距离（DSW），它找到了一个最佳分布的投影，可以探索不同的投影方向和投影本身的信息之间的平衡。我们表明，DSW是一个推广的Max-SW，它可以有效地计算通过搜索的最佳推进措施超过一组概率测度在单位球满足一定的正则化约束，有利于不同的方向。最后，我们用大规模数据集进行了大量的实验，以证明所提出的距离在生成式建模应用中比以前基于切片的距离具有更好的性能。
2020-10-04 cs.LG stat.CO stat.ML
Towards Better Spherical Sliced-Wasserstein Distance Learning with Data-Adaptive Discriminative Projection Direction
Nanjing University of Science and Technology（南京理工大学）；Nanjing University（南京大学）
本文提出数据自适应判别球面切片Wasserstein距离DSSW，通过两类投影能量函数学习判别投影方向权重，在梯度流、密度估计和自监督学习等任务上优于现有方法。
2024-12-26 cs.LG
Tree-Sliced Wasserstein Distance with Nonlinear Projection
VinUniversity（维新大学）；Movian AI
本文提出非线性投影的TSW距离框架，在保证Radon变换单射和度量良定义的同时，适用于欧几里得空间与球面，并在梯度流、自监督学习和生成模型中显著优于现有SW及TSW变体。
2025-06-09 cs.AI cs.LG
Overparametrized linear dimensionality reductions: From projection pursuit to two-layer neural networks
Stanford University（斯坦福大学）
本文研究高维高斯点云低维投影的经验分布极限，给出其 Wasserstein 半径及信息论意义下的内外界，并应用于投影寻踪和两层神经网络插值阈值分析。
2025-05-05 cs.LG stat.ML
Self-Attention Amortized Distributional Projection Optimization for Sliced Wasserstein Point-Cloud Reconstruction
University of Texas at Austin（德克萨斯大学奥斯汀分校）；VinAI Research（VinAI研究院）
针对最大切片 Wasserstein 距离的度量性缺失和摊销模型非对称问题，提出基于自注意力架构的 v-DSW 摊销优化，实现线性复杂度并提升点云重建性能。
2023-05-08 cs.CV cs.GR cs.LG
Multi-Objective Genetic Programming Projection Pursuit for Exploratory Data Modeling
对于分类问题，特征提取是一个关键的过程，其目的是找到一个合适的数据表示，提高机器学习算法的性能。根据维数灾难定理，分类任务所需的样本数量随着维度（变量，特征）数量的增加而呈指数级增加。另一方面，收集、存储和处理数据的成本很高。此外，不相关和冗余的特征可能会阻碍分类器的性能。在探索性分析设置中，高维度阻止用户可视化地探索数据。特征提取是一个两步过程：特征构造和特征选择。特征构造是在原始特征的基础上创建新的特征，而特征选择是选择最佳特征的过程，如过滤器、包装器和嵌入方法。在这项工作中，我们专注于功能的建设方法，旨在减少数据的可视化任务的维数。人们提出了各种线性（如主成分分析（PCA）、多判别分析（MDA）、探索性投影寻踪）和非线性（如多维尺度（MDS）、流形学习、核PCA/LDA、进化构造性归纳）技术来进行降维。我们的算法是一个自适应的特征提取方法，其中包括进化的建设性归纳的特征建设和混合过滤器/包装方法的特征选择。
2010-10-10 cs.LG cs.NE
A Riemannian Block Coordinate Descent Method for Computing the Projection Robust Wasserstein Distance
University of California, Davis（加利福尼亚大学戴维斯分校）
Wasserstein距离在机器学习和深度学习中变得越来越重要。尽管沃瑟斯坦距离很受欢迎，但由于维数灾难，它很难近似。最近提出的一种减轻维数灾难的方法是将高维概率分布的采样数据投影到低维子空间上，然后计算投影数据之间的Wasserstein距离。然而，这种方法需要解决Stiefel流形上的最大-最小问题，这在实践中非常具有挑战性。唯一直接解决这个问题的现有工作是RGAS（Riemannian Gradient Ascent with Sinkhorn Iteration）算法，该算法需要在每次迭代中解决熵正则化的最优运输问题，因此对于大规模问题来说代价高昂。在本文中，我们提出了一个黎曼块坐标下降（RBCD）方法来解决这个问题，这是基于一个新的正则化最大-最小问题的Stiefel流形上的重新制定。我们证明了RBCD得到$ε$-平稳点的算术运算的复杂性是$O(ε^{-3})$。这显著提高了RGAS的相应复杂度，即$O(ε^{-12})$。此外，我们的RBCD具有非常低的每次迭代的复杂度，因此适合于大规模的问题。在模拟数据集和真实数据集上的数值结果表明，该方法比现有的方法更有效，特别是当采样数据的数量非常大时。
2021-09-27 cs.LG math.OC stat.ML
Generative modeling of time-dependent densities via optimal transport and projection pursuit
Cornell University（康奈尔大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Argonne National Laboratory（阿贡国家实验室）
针对时间密度生成建模的计算难题，提出基于投影最优传输与传输样条的廉价替代方法，无需非凸优化，可并行且高效，实验证明其在高维下竞争力强。
2023-10-12 cs.LG stat.ML
Wasserstein projection distance for fairness testing of regression models
Department of Computer Science, University of British Columbia（计算机科学系，不列颠哥伦比亚大学）；Department of Pathology and Laboratory Medicine, University of British Columbia（病理学与实验室医学系，不列颠哥伦比亚大学）；Department of Statistics, University of British Columbia（统计学系，不列颠哥伦比亚大学）；BC Cancer Research, Part of Provincial Health Care Authority（BC癌症研究，省卫生保健机构的一部分）；Department of Mathematics, University of British Columbia（数学系，不列颠哥伦比亚大学）
本文提出基于Wasserstein距离的回归模型公平性测试框架，通过假设检验和数据扰动方法提升公平性，实验显示其在检测性别差异和污染区域影响方面具有显著效果。
2026-02-09 cs.LG
A Wasserstein Geometric Framework for Hebbian Plasticity
Ulrich Tan
本文提出Hebb-Wasserstein-几何框架，通过Wasserstein最小化运动建模记忆状态，将Hebb学习规则形式化为满足序列稳定性条件的Hebb能量，揭示记忆巩固作为扰动Wasserstein梯度流的变分结构。
2026-04-17 cs.LG math.OC math.PR
Busemann Functions in the Wasserstein Space: Existence, Closed-Forms, and Applications to Slicing
本文研究了Wasserstein空间中Busemann函数的存在性与计算，推导了一维分布和高斯测度的闭式表达式，并应用这些结果定义了新的切片Wasserstein距离。
2026-03-11 cs.LG math.MG stat.ML
Intrinsic Wasserstein Rates for Score-Based Generative Models on Smooth Manifolds
National University of Singapore（国立新加坡大学）；The University of Tokyo（东京大学）；RIKEN Center for Advanced Intelligence Project（RIKEN高级智能项目中心）；Agency for Science, Technology and Research (A ⋆ \star STAR)（科技研究局）；Nanyang Technological University（南洋理工大学）
本文研究了在光滑流形上基于分数布朗运动的生成模型的内在Wasserstein速率，证明了在满足一定条件的流形上，变差保持的SGM估计器能达到特定的样本指数，且分析了分数近似在不同噪声 regime 下的表现。
2026-05-15 cs.LG stat.ML
Statistical Analysis of Wasserstein Distributionally Robust Estimators
Stanford University（斯坦福大学）；Singapore University of Technology and Design（新加坡科技设计大学）；VinAI Research（VinAI研究院）
我们认为，统计方法调用一个最小-最大分布鲁棒配方提取良好的样本性能数据驱动的优化和学习问题。认识到从有限样本中学习的分布不确定性，最小-最大公式引入了一个对抗性的内部参与者来探索看不见的协变量数据。由此产生的分布鲁棒优化（DRO）配方，其中包括Wasserstein DRO配方（我们的主要重点），指定使用最佳运输现象。在描述了如何通过有限维对偶重构来处理这些无限维最小-最大问题后，本教程进入了它的主要部分，即解释了一个最佳选择对手预算大小的通用配方。这是通过研究极限行为的最优输运投影公式所产生的查询最小的置信区域，包括未知的人口风险最小化。顺便说一句，这个系统的处方符合在高维统计的具体例子，并在误差界，是免费的维数灾难的结果。配备了这个处方，我们提出了一个中心极限定理的DRO估计，并提供了一个配方，用于构建兼容的置信区域，是有用的不确定性量化。本教程的其余部分致力于深入了解由最小-最大公式选择的优化器的性质以及最优输运预测的其他应用。
2021-08-04 cs.LG math.OC math.ST
Mode-wise Principal Subspace Pursuit and Matrix Spiked Covariance Model
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Columbia University（哥伦比亚大学）；Duke University（杜克大学）
本文提出按模式主成分子空间追踪（MOP-UP）框架，通过平均子空间捕获和交替投影提取矩阵数据行列两个维度的隐藏变化，并引入分块矩阵特征值扰动界证明其非渐近误差界，在模拟与真实数据上验证了有效性。
2024-08-04 cs.LG cs.NA math.NA
Gromov-Wasserstein Distillation for Inductive Multi-View Embedding
Instituto Federal do Ceará (IFCE)（塞阿拉联邦学院）；Federal University of Ceará (UFC)（塞阿拉联邦大学）；Sigma Nova
提出基于重心蒸馏的归纳式框架，将转导式GW-MDS嵌入转化为显式神经映射，在未见样本上保持几何结构并优于直接神经GW训练。
2026-10-01 cs.LG stat.ML
Subspace Detours: Building Transport Plans that are Optimal on Subspace Projections
CREST, ENSAE（法国国家统计与经济管理学院 CREST 实验室）；Google Brain（谷歌大脑）
计算高维测度间的最优迁移（OT）注定要受到维数灾难的影响。避免这种诅咒的一种流行方法是将输入测度投影到低维子空间（在切片Wasserstein距离的情况下是一维线），解决这些缩减测度之间的OT问题，并解决这些缩减之间的Wasserstein距离，而不是原始测度之间的距离。然而，这种方法很难扩展到想要计算原始测量之间的OT图（Monge图）的情况。由于计算是在低维投影上进行的，因此经典的地图估计技术只能产生在这些降低的维度上操作的地图。在这项工作中，我们提出了两种方法来外推，从一个运输地图，是最佳的子空间，一个几乎是最佳的在整个空间。我们证明，最佳的最优运输计划，采取这样的“子空间绕道”是一个推广的诺特-罗森布拉特运输。我们表明，这些计划可以明确制定时，比较高斯措施（之间的Wasserstein距离通常被称为Bures或Fréchet距离）。我们提供了一个算法来选择最佳的子空间高斯措施对，并研究的情况下，调解子空间可以选择使用先验信息。我们考虑应用程序之间的语义调解椭圆词嵌入和领域自适应高斯混合模型。
2019-10-29 cs.LG stat.ML
Wasserstein Adversarial Examples on Univariant Time Series Data
Emory University（埃默里大学）；Zhejiang University（浙江大学）
对抗性示例是通过向正常示例添加不可区分的扰动来制作的，以便欺骗训练有素的深度学习模型进行错误分类。在计算机视觉的上下文中，这种不可分割性的概念通常由$L_{\infty}$或其他规范限制。然而，这些规范是不合适的测量时间序列数据的不可否认性。在这项工作中，我们首次在Wasserstein空间中为时间序列数据提出了对抗性示例，并利用Wasserstein距离来限制正常示例和对抗性示例之间的扰动。我们介绍Wasserstein投影梯度下降（WPGD），一个对抗攻击方法扰动单变时间序列数据。我们利用Wasserstein距离在一维空间中的封闭解，利用梯度下降方法有效地计算WPGD的投影步长。我们进一步提出了一个两步投影，以便在Wasserstein空间中搜索对抗性示例时受到欧氏范数的指导和约束，从而产生更有效和更不易察觉的扰动。我们经验性地评估了在医疗保健领域的几个时间序列数据集的攻击。大量的实验结果表明，Wasserstein攻击是强大的，可以成功地攻击大多数的目标分类器，具有较高的攻击成功率。为了更好地研究Wasserstein对抗性示例的性质，我们评估了一种名为Wasserstein平滑的强大防御机制，用于潜在的认证鲁棒性防御。虽然防御可以实现一些准确性增益，但在许多情况下仍然存在局限性，并且为开发更强的认证鲁棒性方法留出了空间，以针对单变时间序列数据的Wasserstein对抗性…
2023-03-22 cs.AI cs.LG
Spherical Sliced-Wasserstein
Université Bretagne Sud（南布列塔尼大学）；LMBA（勒贝格数学实验室）；IRISA（法国国家信息与自动化研究所雷恩分院/IRISA研究所）；IMT Atlantique（大西洋国立高等矿业电信学校）；Lab-STICC（科学与技术信息与通信实验室）
已经引入了瓦瑟斯坦距离的许多变体以减少其原始计算负担。特别是切片-瓦瑟斯坦距离（SW），其利用一维投影，对于该一维投影，瓦瑟斯坦距离的封闭形式的解是可用的，已经受到很多关注。然而，它仅限于欧几里得空间中的数据，而瓦瑟斯坦距离最近已被研究并用于流形上。我们专注于更具体的领域，我们定义了一个新的SW差异，我们称之为球面切片Wasserstein，使第一步定义SW差异流形。我们的建设是值得注意的是基于封闭形式的解决方案的瓦瑟斯坦距离的圆，连同一个新的球面Radon变换。除了高效的算法和相应的实现，我们还在几个机器学习用例中说明了它的属性，其中数据的球形表示受到威胁：球体上的采样，真实地球数据或超球面自动编码器上的密度估计。
2023-01-30 cs.LG stat.ML
Sliced Wasserstein with Random-Path Projecting Directions
University of Texas at Austin（德克萨斯大学奥斯汀分校）；The Institute of Statistical Mathematics (ISM)（统计数学研究所）
本文提出无需优化、可快速采样的随机路径投影方向及 RPSW、IWRPSW 两种切片 Wasserstein 距离，并分析其性质且在梯度流和图像扩散模型训练中验证性能。
2024-05-09 cs.AI cs.CV cs.LG
Leveraging Optimal Transport via Projections on Subspaces for Machine Learning Applications
Université de Bretagne Sud（南布列塔尼大学）；Laboratoire de Mathématiques de Bretagne Atlantique（大西洋布列塔尼数学实验室）；CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）；Technische Universität Berlin（柏林工业大学）；Université Paris Cité（巴黎西岱大学）；Sony Computer Science Laboratories Inc（索尼计算机科学实验室公司）；Harvard SEAS（哈佛大学工程与应用科学学院）；IMT Atlantique（大西洋国立高等工业技术与矿业学校）
本论文研究利用子空间投影的最优传输替代方案，扩展 Sliced-Wasserstein 距离至黎曼流形并应用于不平衡最优传输、梯度流动力学及不可比空间，以降低计算负担并应用于机器学习。
2023-11-23 cs.LG
Thresholded Basis Pursuit: An LP Algorithm for Achieving Optimal Support Recovery for Sparse and Approximately Sparse Signals from Noisy Random Measurements
Boston University（波士顿大学）
在本文中，我们提出了一个线性规划的解决方案，从噪声随机投影信号的稀疏信号的符号模式恢复。我们考虑两种类型的噪声模型，输入噪声，其中噪声在随机投影之前进入;和输出噪声，其中噪声在随机投影之后进入。符号模式恢复涉及到稀疏信号符号模式的估计。我们的想法是假装没有噪声存在，并解决无噪声的$\ell_1$问题，即$\min \|β\|_1 ~ s.t. ~ y=G β$和量化的结果的解决方案。我们表明，量化的解决方案完美地重建一个足够稀疏的信号的符号模式。具体来说，我们发现，一个任意的k-稀疏，n维信号$x$的符号模式可以恢复与$SNR=Ω(\log n)$和测量缩放为$m= Ω(k \log{n/k})$的所有稀疏水平$k$满足$0< k \leq αn$，其中$α$是一个足够小的正常数。令人惊讶的是，这个界限匹配的最佳\emph{Max-Likelihood}性能界限方面的$SNR$，所需的数量的测量，并允许稀疏水平，在有序的意义。与我们的研究结果相比，以前的结果的基础上LASSO和最大相关技术要么假设显着较大的$SNR$，次线性稀疏水平或限制性假设信号集。我们的证明技术是基于无噪声$\ell_1$问题的噪声扰动，在此，我们估计的最大容许噪声电平之前，符号模式恢复失败。
2010-05-08 cs.IT cs.LG math.IT
Wasserstein Discriminant Analysis
Université Côte d’Azur（蔚蓝海岸大学）
Wasserstein判别分析（WDA）是一种新的有监督的方法，它可以通过计算一个合适的线性映射到一个低维子空间，以提高分类的高维数据。遵循经典线性判别分析（LDA）的蓝图，WDA选择最大化两个量之比的投影矩阵：来自不同类别的投影点的分散度除以来自同一类别的投影点的分散度。为了量化离散度，WDA使用正则化的瓦瑟斯坦距离，而不是通常考虑的交叉方差测量，特别是在LDA中。由于最优传输的基本原理，WDA能够捕获类之间的全局（分布规模）和局部（样本规模）交互。正则化的瓦瑟斯坦距离可以使用Sinkhorn矩阵缩放算法计算，我们表明，WDA的优化可以使用自动微分Sinkhorn迭代来解决。数值实验表明，在玩具示例和现实生活中的数据集（如MNIST）以及从加州理工学院数据集的一个子集中获得的深度特征的预测和可视化方面，都有很好的结果。
2018-05-23 cs.LG stat.ML
Highly Data Parallelizable Estimation of the Sliced-Wasserstein Distance Using Cumulative Distribution Functions
Laboratoire de Mathématiques d’Orsay, Université Paris-Saclay（巴黎-萨克雷大学数学实验室）；Centre de recherche en économie et statistique, ENSAE（经济与统计研究中心）
提出基于累积分布函数的切片Wasserstein距离估计器，避免排序并支持大规模数据并行，适用于混合高斯和联邦学习场景。
2026-06-29 cs.LG stat.ML
Adaptive Bregman Alternating Projections for Feasible Gromov-Wasserstein Learning
Rice University（莱斯大学）
针对Gromov-Wasserstein问题，提出自适应KL-BAPG算法，结合固定惩罚预热和递增惩罚阶段，在保证可行性的同时实现高效计算，显著降低可行性差距和残差。
2026-10-06 cs.CG cs.LG math.OC
Validating Climate Models with Spherical Convolutional Wasserstein Distance
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Texas A&M University（德克萨斯农工大学）
针对全球气候模型验证需求，提出球面卷积Wasserstein距离以衡量模型与再分析数据差异，应用于CMIP评估并发现第6阶段模型气候态生成能力有小幅提升。
2024-01-26 cs.LG physics.ao-ph stat.AP
Projected Riemannian Gradient Descent for the Bures-Wasserstein Barycenter: Dimension-Independent Linear Convergence at Unit Step Size
National University of Singapore（新加坡国立大学）
该研究针对Bures-Wasserstein重心计算的二分性问题，提出投影黎曼梯度下降算法，在单位步长下实现与维度无关的线性收敛，多项式改进了迭代复杂度，还将该保证扩展到了不变矩阵投影场景。
2026-09-04 cs.LG math.OC quant-ph
Multi-Layer Convolutional Sparse Modeling: Pursuit and Dictionary Learning
Technion-Israel Institute of Technology（以色列理工学院）；Stanford University（斯坦福大学）
最近提出的多层卷积稀疏编码（ML-CSC）模型，由级联的卷积稀疏层，提供了一个新的解释卷积神经网络（CNN）。在这个框架下，CNN中的前向传递的计算相当于一个追踪算法，旨在从给定的输入信号中估计嵌套的稀疏表示向量（或特征图）。尽管已经成为CNN和稀疏建模之间的关键联系，但仍然缺乏对ML-CSC的更深入理解：没有追踪算法可以精确地服务于这个模型，也没有条件保证非空模型。虽然可以容易地获得近似满足ML-CSC约束的信号，但仍然不清楚如何简单地从模型中采样，更重要的是，如何从真实数据中训练卷积滤波器。在这项工作中，我们提出了一个健全的追求算法的ML-CSC模型，采用投影方法。我们提供了新的和改进的边界上的稳定性的解决方案，这样的追求，我们分析了不同的实际替代方案，以实现这在实践中。我们证明了滤波器的训练对于模型中的非平凡信号至关重要，并且我们推导出一种在线算法来从真实数据中学习字典，有效地产生级联稀疏卷积层。最后，但并非最不重要的是，我们证明了ML-CSC模型在无监督环境中的几个应用程序的适用性，提供了有竞争力的结果。我们的工作代表了矩阵分解，稀疏字典学习和稀疏自动编码器之间的桥梁，我们详细分析了这些连接。
2018-06-30 cs.CV cs.LG stat.ML
Sliced Wasserstein Steering between Gaussian Measures
Department of Information Physics and Computing, The University of Tokyo（信息物理与计算系，东京大学）；Department of Decision and Control Systems and Department of Mathematics, KTH Royal Institute of Technology（决策与控制系统系和数学系，皇家理工学院）
本文提出一种切片反馈控制器，通过在球面上投影概率分布并合成一维速度，实现分布的高效操控。该方法在高斯分布下能准确导向目标分布，并将能耗与切片Wasserstein距离关联。
2026-04-14 cs.LG cs.SY eess.SY
Wasserstein-type Gaussian Process Regressions for Input Measurement Uncertainty
Lawrence Berkeley National Laboratory（伯克利国家实验室）
本文提出基于Wasserstein距离的高斯过程回归方法，通过将噪声输入表示为概率测度，解决输入测量误差导致的后验区间过窄和决策偏差问题。
2026-03-18 cs.LG stat.ME
Efficient Sliced Wasserstein Distance Computation via Adaptive Bayesian Optimization
Department of Computer Science（计算机科学系）；Vanderbilt University（范德比大学）
本文提出通过自适应贝叶斯优化高效计算切片瓦瑟斯坦距离，引入多种方向选择器并展示其在优化循环中的高效性能。
2025-09-23 cs.LG
Relative Wasserstein Angle and the Problem of the $W_2$-Nearest Gaussian Distribution
Department of Computer Science, George Washington University, Washington D.C., USA（计算机科学系，乔治·华盛顿大学，华盛顿特区，美国）；MAE, George Washington University, Washington D.C., USA（机械工程与应用科学系，乔治·华盛顿大学，华盛顿特区，美国）
本文提出相对Wasserstein角度和正交投影距离作为衡量非高斯性的几何量，并通过实验展示其在高斯近似中的有效性。
2026-09-23 cs.LG
Provable Data Clustering via Innovation Search
Cognitive Computing Lab（认知计算实验室）；Baidu Research（百度研究院）
研究了高维环境空间中数据点位于线性子空间并的子空间聚类问题。当子空间之间的交集维数很大时，子空间聚类变得具有挑战性，并且大多数基于自表示的方法对聚类跨度之间的交集敏感。与基于自我表达的方法形成鲜明对比的是，最近提出的一种称为创新追求的聚类方法计算了一组最佳方向（创新方向）来构建邻接矩阵。本文重点介绍了创新追踪算法，阐明其令人印象深刻的性能时，子空间是严重的。结果表明，与大多数要求子空间充分不相干的现有方法相比，创新追求方法只要求子空间的创新成分充分不相干.这些新的充分条件允许簇彼此非常接近。在理论分析的基础上，提出了一种简单有效的基于投影的技术，数值和理论结果表明，该技术可以提高创新追求的性能。
2021-08-16 cs.LG
