Light Entropic Optimal Transport on Riemannian Manifolds
Applied AI Institute（应用人工智能研究所）
提出ManifoldLightOT，一种在常见黎曼流形上利用核形式构建熵最优传输耦合的轻量方法，通过几何特定吉布斯核实现闭式归一化与直接采样，并在实验中优于现有流形OT方法。
2026-10-05 cs.LG
Domain Adaptation with Optimal Transport on the Manifold of SPD matrices
Technion, Israel Institute of Technology（以色列理工学院）；Technical University of Munich（慕尼黑工业大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们解决的问题，领域自适应（DA）使用最佳运输（OT）黎曼流形。我们模型的两个域之间的差异，通过一个同构和使用极分解定理，声称OT确实是最佳的DA在一个定义明确的意义上，体积保持地图。然后，我们专注于流形的对称和正定（SPD）矩阵，其结构提供了一个有用的背景下，在最近的应用。证明了该流形上的极分解定理。由于加权黎曼平均的唯一性，并利用现有的正则化OT算法，我们制定了一个简单的算法，将源域映射到目标域。我们在两个脑机接口（BCI）数据集上测试了我们的算法，并观察了最先进的性能。
2020-07-27 cs.LG stat.ML
Accelerated Algorithms for Convex and Non-Convex Optimization on Manifolds
University of Notre Dame（圣母大学）；University of Rochester（罗切斯特大学）；University of Hong Kong（香港大学）；Duke University（杜克大学）
我们提出了一个通用的计划，解决凸和非凸流形上的优化问题。其中心思想是，通过增加一个倍数的平方收缩距离的目标函数的问题，我们“凸”的目标函数，并解决了一系列的凸子问题的优化过程。流形上优化的关键挑战之一是难以验证目标函数的复杂性，例如，目标函数是凸的还是非凸的，以及非凸的程度。我们所提出的算法适应目标函数的复杂程度。我们表明，当目标函数是凸的，该算法可证明收敛到最优，并导致加速收敛。当目标函数为非凸时，算法将收敛到一个稳定点。我们提出的方法统一的见解Nesterov的原始想法，加速梯度下降算法的最新发展，在欧几里德空间的优化算法。我们展示了我们的算法在几个流形优化任务上的实用性，例如估计球体上的内在和外在Fréchet均值以及应用于Netflix评级数据集的Grassmann流形的低秩矩阵分解。
2020-10-18 cs.LG math.OC stat.CO
Coupling Matrix Manifolds and Their Applications in Optimal Transport
The University of Sydney（悉尼大学）；University of Reading（雷丁大学）
最佳运输（OT）是测量两个定义的概率分布之间距离的强大工具。在本文中，我们开发了一个新的流形命名为耦合矩阵流形（CMM），其中CMM上的每一个点可以被视为运输计划的OT问题。我们首先探讨了CMM的黎曼几何与Fisher信息表示的度量。CMM的这些几何特征为发展数值黎曼优化算法（如黎曼梯度下降和黎曼信赖域算法）铺平了道路，形成了适用于所有类型OT问题的统一优化方法。所提出的方法，然后应用到解决以前的文献研究的OT问题。数值实验结果表明，基于本文方法的优化算法与经典算法（如Sinkhorn算法）相当，而在不考虑几何信息的情况下，其性能优于其他最先进的算法，特别是在非熵最优输运的情况下.
2019-11-24 cs.LG stat.ML
Rate-Optimal Noise Annealing in Semi-Dual Neural Optimal Transport: Tangential Identifiability, Off-Manifold Ambiguity, and Guaranteed Recovery
Carnegie Mellon University（卡内基梅隆大学）；Sungkyunkwan University（成均馆大学）；University of Seoul（首尔大学）；Korea Institute for Advanced Study（韩国高级研究院）
本文提出通过噪声退火实现半双极神经最优传输的速率最优解，通过理论分析和实验验证，确定了终端噪声水平与内在维度的关系，解决了非流形模糊性和病态问题。
2026-02-04 cs.LG
A Survey of Geometric Optimization for Deep Learning: From Euclidean Space to Riemannian Manifold
East China Normal University（华东师范大学）
尽管深度学习（DL）在复杂的人工智能（AI）任务中取得了成功，但它存在各种臭名昭著的问题（例如，特征冗余和消失或爆炸梯度），因为更新欧几里德空间中的参数不能完全利用解空间的几何结构。作为一种有前途的替代解决方案，基于黎曼的DL使用几何优化来更新黎曼流形上的参数，并可以利用底层的几何信息。因此，本文提出了一个全面的调查应用几何优化DL。本文首先介绍了几何优化的基本过程，包括各种几何优化器和黎曼流形的一些概念。随后，本文研究了几何优化在不同DL网络中的应用，例如，卷积神经网络、递归神经网络、迁移学习和最优传输。此外，还讨论了实现流形优化的典型公共工具箱。最后，本文对不同深度几何优化方法在图像识别场景下的性能进行了比较。
2023-02-16 cs.LG
Decentralized Online Riemannian Optimization Beyond Hadamard Manifolds
Department of Mechanical & Industrial Engineering at Northeastern University（东北大学机械与工业工程系）
针对可能具有正曲率的流形，提出曲率感知的黎曼共识步骤，实现去中心化在线黎曼梯度下降算法，并证明O(√T)遗憾界。
2026-06-06 cs.LG cs.MA math.OC
Manifold Learning with Sparse Regularised Optimal Transport
针对噪声高维点云的潜在流形检测问题，提出带二次正则化的对称最优传输方法以构建稀疏自适应亲和矩阵，并证明其连续极限、鲁棒性和实验优势。
2025-02-17 cs.LG math.ST stat.ML
Partial Least Square Regression via Three-factor SVD-type Manifold Optimization for EEG Decoding
Southern University of Science and Technology（南方科技大学）
偏最小二乘回归（PLSR）是一种广泛使用的统计模型，用来揭示自变量和因变量中潜在因素之间的线性关系。然而，传统的求解PLSR模型的方法通常是基于欧氏空间的，容易陷入局部极小。为此，我们提出了一种新的方法来解决偏最小二乘回归，命名为PLSR通过优化双格拉斯曼流形（PLSRbiGr）。具体地说，我们首先利用定义在bi-Grassmann流形上的互协方差矩阵的三因子SVD型分解，将正交约束优化问题转化为bi-Grassmann流形上的无约束优化问题，然后结合矩阵缩放的黎曼预处理来调节每次迭代中的黎曼度量。PLSRbiGr的验证与各种实验解码运动想象（MI）和稳态视觉诱发电位（SSVEP）任务的EEG信号。实验结果表明，PLSRbiGr优于竞争算法在多个EEG解码任务，这将大大有助于小样本数据学习。
2022-08-15 cs.LG
Causal Schrödinger Bridges: Constrained Optimal Transport on Structural Manifolds
CSB通过结构智能解决高维因果发现问题，实现高效稳定的概率传输。
2026-02-23 cs.LG
Barycentric Projections of Optimal Transport Plans on Riemannian Manifolds
Baruch College（巴彻学院）
提出黎曼流形上传输耦合的重心投影框架，通过条件Fréchet均值得到最佳确定性映射，并定义条件方差Monge缺陷，实验验证了内在投影与切向投影的不同作用。
2026-06-06 cs.LG stat.ML
Deep Optimal Transport for Domain Adaptation on SPD Manifolds
College of Computing and Data Science, Nanyang Technological University（计算与数据科学学院，南洋理工大学）；Université Paris-Saclay, Inria, CEA, Palaiseau, France（巴黎-萨克雷大学，法国国家信息与自动化技术研究所，法国原子能委员会，Palaiseau）
本文提出一种结合最优传输与SPD流形几何的域自适应框架，在三个跨会话脑机接口数据集上验证其能有效减少分布差异并优于基线方法。
2025-05-08 cs.AI cs.LG eess.SP
Efficient Riemannian Optimization on the Stiefel Manifold via the Cayley Transform
School of EECS（EECS学院）；Oregon State University（俄勒冈州立大学）
在深度学习中，对参数矩阵严格执行正交规范性约束已显示出优势。这相当于Stiefel流形上的黎曼优化，然而，这在计算上是昂贵的。为了解决这一挑战，我们提出了两个主要的贡献：（1）一个新的有效的收缩映射的基础上迭代凯莱变换的优化更新，和（2）一个隐式的矢量传输机制的基础上的组合的投影的动量和凯莱变换的Stiefel流形。我们指定两个新的优化算法：凯莱SGD与动量，和凯莱亚当的Stiefel流形。从理论上分析了Cayley SGD的收敛性。我们对CNN训练的实验表明，这两种算法：（a）相对于强制CNN参数正交性的现有方法，每次迭代使用更少的运行时间;（b）实现比基线SGD和ADAM算法更快的收敛速度，而不影响CNN的性能。Cayley SGD和Cayley ADAM也被证明可以减少优化RNN中酉转移矩阵的训练时间。
2020-02-04 cs.LG stat.ML
Geodesic Sinkhorn for Fast and Accurate Optimal Transport on Manifolds
Université de Montréal（蒙特利尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；University College London Cancer Institute（伦敦大学学院癌症研究所）；Yale University（耶鲁大学）
本文提出 Geodesic Sinkhorn，利用流形图热核扩散及稀疏图拉普拉斯的 Chebyshev 近似，将复杂度降至 $O(n\log n)$，并在化疗单细胞数据中识别治疗效应相关的最优传输距离与路径。
2023-09-26 cs.LG q-bio.QM
Discovering Conservation Laws using Optimal Transport and Manifold Learning
University of Chicago（芝加哥大学）；Massachusetts Institute of Technology（麻省理工学院）
针对复杂系统守恒量难识别的问题，将守恒律发现重构为流形学习问题，提出结合最优输运与流形学习的非参数方法，可鲁棒可解释地识别守恒量数量与数值，无需系统显式模型和精确时间信息。
2023-08-22 cs.LG nlin.CD nlin.SI
Manifold Optimization for Gaussian Mixture Models
University of Tehran（德黑兰大学）；Massachusetts Institute of Technology（麻省理工学院）
本文对高斯混合模型的参数估计进行了新的研究。特别是，我们建议使用\emph{Riemannian manifold optimization}作为一个强大的对手，期望最大化（EM）。然而，对流形优化的开箱即用的调用会失败：它收敛到相同的解，但速度要慢得多。从流形凸性的直觉驱动下，我们提出了一个reparamerization，具有显着的经验后果。它使流形优化不仅匹配EM-一个非常令人鼓舞的结果本身给予不良记录的非线性规划方法对EM到目前为止-但也优于EM在许多实际设置中，同时显示少得多的变化，在运行时间。我们进一步强调了流形优化的优势，开发了一个稍微调整的流形LBFGS方法，证明比现有的流形优化工具更具竞争力和可靠性。我们希望我们的结果鼓励更广泛地考虑参数估计问题的流形优化。
2015-06-25 cs.LG math.OC stat.ML
Learning-Rate-Free Stochastic Optimization over Riemannian Manifolds
Lancaster University（兰卡斯特大学）
针对黎曼流形随机优化中学习率需手动调优的挑战，本文提出无学习率优化算法，提供了最优的高概率收敛保证，并在数值实验中展现出与依赖学习率算法相竞争的性能。
2024-06-04 cs.LG math.OC
A Framework for Bilevel Optimization on Riemannian Manifolds
RIKEN AIP（理化学研究所人工智能项目）；Microsoft（微软公司）；University of Tokyo（东京大学）
本研究提出黎曼流形上的双层优化框架，设计流形超梯度估计策略并分析误差，给出超梯度下降算法的收敛与复杂度分析，拓展至随机场景并结合一般收缩，经多应用验证有效。
2024-11-02 cs.LG math.OC stat.ML
Pymanopt: A Python Toolbox for Optimization on Manifolds using Automatic Differentiation
University College London（伦敦大学学院）；RWTH Aachen University（亚琛工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
流形上的优化（英语：Optimization on manifold）是一类优化目标函数的方法，在某种意义上说，满足约束的点的集合允许可微流形的结构。虽然许多优化问题的描述的形式，微分几何的技术性和繁琐的计算导数构成了一个显着的障碍，用这些方法进行实验。我们介绍Pymanopt（可在https://pymanopt.github.io上获得），这是一个用Python实现的流形优化工具箱，与Manopt Matlab工具箱类似，它实现了几种流形几何和优化算法。此外，我们通过使用自动微分来计算衍生信息，进一步降低了用户的障碍，节省了用户的时间，并使他们免受潜在的计算和实施错误的影响。
2016-09-08 cs.LG cs.MS math.OC
Intrinsic Flow Matching on Quantum Pure-State Manifolds with Phase-Aligned Transport
RIKEN iTHEMS（日本理化学研究所跨学科理论与数学科学项目）；RIKEN AIP（日本理化学研究所人工智能项目）；South China University of Technology（华南理工大学）；Columbia University（哥伦比亚大学）
提出内禀流匹配（IFM）框架，在复射影空间上通过Pancharatnam相位对齐条件路径学习切向速度场，实现确定性输运，改善高维和相干敏感任务的生成建模。
2026-06-23 cs.LG
Parallel Transport Unfolding: A Connection-based Manifold Learning Approach
Caltech（加州理工学院）；Michigan State University（密歇根州立大学）
流形学习提供了高维数据集的非线性降维。在本文中，我们把几何处理承担流形学习引入一个新的方法，基于度量连接生成一个准等距，低维映射从稀疏和不规则采样的任意流形嵌入在一个高维空间。通过“并行传输展开”（PTU）来评估输入点集上离散路径的测地线距离，以提供对不良采样和任意拓扑的鲁棒性。我们的新几何过程表现出与流形学习的主要内容之一Isomap算法相同的抗噪声能力，因为它还利用所有成对测地线距离来计算低维嵌入。虽然Isomap仅限于测地线凸采样域，但并行传输展开不会受到这种严重限制，从而提高了对采样中不规则性和空隙的鲁棒性。而且，它只涉及简单的线性代数，显著提高了所有成对测地线距离近似的精度，并具有与Isomap相同的计算复杂性。最后，我们证明了我们基于连接的距离估计可以用于更快的Isomap变体，如L-Isomap。
2018-11-02 cs.LG stat.ML
Manifold-Aligned Generative Transport
School of Statistics, University of Minnesota（统计学系，明尼苏达大学）
MAGT通过流形对齐生成传输方法，在单次前向传递中实现高效生成，提升生成样本的保真度和流形集中度，同时比扩散模型更快。
2026-09-10 cs.LG stat.ML
Manopt, a Matlab toolbox for optimization on manifolds
Université catholique de Louvain（鲁汶天主教大学）；Université de Liège（列日大学）
流形上的优化是非线性优化中发展迅速的一个分支。它的重点是问题的光滑几何的搜索空间可以利用设计有效的数值算法。特别是，流形上的优化非常适合处理秩和正交性约束。这种结构化约束在机器学习应用中普遍存在，包括低秩矩阵完备化、传感器网络定位、摄像机网络配准、独立分量分析、度量学习、降维等。Manopt工具箱（可在www.manopt.org上获得）是一个用户友好的文档化软件，致力于简化最先进的黎曼优化算法的实验。我们的目标特别是在我们的领域外的从业人员。
2013-08-23 cs.LG cs.MS math.OC
Parallel Transport Convolution: A New Tool for Convolutional Neural Networks on Manifolds
Rensselaer Polytechnic Institute（伦斯拉尔理工学院）
本文提出平行运输卷积（PTC），一种在流形及其离散对应物上扩展卷积操作的新方法，能够保持卷积的紧凑支持、方向性和跨流形的可转移性，从而在曲面域上构建小波样操作和深度卷积神经网络。
2018-12-08 cs.CV cs.LG cs.NA
Forest-Guided Semantic Transport for Label-Supervised Manifold Alignment
Department of Mathematics and Statistics, Université de Montréal, Montreal, Canada（蒙特利尔大学数学与统计学系）；Mila - Quebec AI Institute, Montreal, Canada（魁北克人工智能研究所）；Department of Mathematics and Statistics, Utah State University, Logan, Utah, USA（犹他州立大学数学与统计学系）；Department of Statistics, Brigham Young University, Provo, Utah, USA（Brigham Young 大学统计学系）
FoSTA通过森林引导的语义传输对齐方法，提升多模态数据对齐和标签转移的性能。
2026-09-29 cs.LG
Riemannian optimization with a preconditioning scheme on the generalized Stiefel manifold
Tel Aviv University（特拉维夫大学）
广义Stiefel流形（及其乘积）上的最优化问题在科学和工程中是普遍存在的。例如，在计算科学中，它们出现在对称（广义）本征值问题、非线性本征值问题和电子结构计算中，仅举几个问题。在统计学和机器学习中，它们出现在各种降维技术中，例如典型相关分析。在深度学习中，正则化和改进的稳定性可以通过将某些层约束为具有属于Stiefel流形的参数矩阵来获得。广义Stiefel流形上的问题可以通过黎曼优化的工具来解决。然而，使用标准的几何组件的广义Stiefel流形有两个可能的缺点：计算一些几何组件可能过于昂贵，在某些情况下收敛可能会相当慢。这两个缺点都可以使用称为黎曼预处理的技术来解决，该技术相当于使用由在约束流形上定义黎曼度量的预处理器导出的几何分量。在本文中，我们开发的几何组件进行黎曼优化的广义Stiefel流形上配备了一个非标准的度量，并从理论和数值上说明使用这些组件和黎曼预处理的效果，解决最优化问题的广义Stiefel流形。
2022-11-15 cs.DS cs.LG cs.NA
Differential Evolution for Grassmann Manifold Optimization: A Projection Approach
Baruch College（巴鲁克学院）
针对格拉斯曼流形上非凸多模态优化问题，提出基于QR分解投影的差分进化算法，实现全局搜索并保持流形可行性，为经典黎曼方法提供几何感知的替代方案。
2025-03-27 cs.CV cs.LG cs.NE
Rotated Manifold Optimization for Low-Rank Adaptation
ETH Zurich（苏黎世联邦理工学院）；Microsoft Research Cambridge（微软研究院剑桥分院）
本文提出一种融入规范对称性的LoRA优化器，将全参数矩阵优化器扩展到固定秩流形，通过旋转基归一化实现，收敛更快且下游性能更优。
2026-09-29 cs.LG
Accelerated Stochastic Quasi-Newton Optimization on Riemann Manifolds
Ohio State University（俄亥俄州立大学）
我们提出了一个L-BFGS优化算法在黎曼流形使用小批量随机方差减少技术的快速收敛与恒定的步长，而不诉诸线搜索方法设计，以满足沃尔夫条件。给出了流形上强凸函数的一个新的收敛性证明，并讨论了非凸函数的收敛性。我们讨论了几种方法来获得用于计算梯度与逆Hessian的乘积的校正对，并实证地证明了它们在计算对称正定矩阵的Karcher均值和大规模数据矩阵的前导特征值的合成实验中的使用。我们将我们的方法与VR-PCA进行了比较，对于后一个实验，以及两种情况下的黎曼SVRG，并在一系列数据集上显示了强收敛结果。
2017-05-22 cs.LG math.DG math.OC
McTorch, a manifold optimization library for deep learning
Microsoft（微软）；The University of Electro-Communications（电气通信大学）
在本文中，我们介绍了McTorch，这是一个用于深度学习的流形优化库，它扩展了PyTorch。它旨在为希望在深度学习应用程序中使用多种约束的用户降低障碍，即，当参数被约束为位于流形上时。这些约束包括流行的正交性和秩约束，并且最近已在深度学习的许多应用中使用。McTorch遵循PyTorch的架构，并简化了流形定义和优化器，即，一旦添加了新的歧管，它就可以与任何现有的优化器一起使用，反之亦然。McTorch可在https://github.com/mctorch上获得。
2018-10-04 cs.AI cs.LG stat.ML
Riemannian Optimization on Relaxed Indicator Matrix Manifold
School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））
本文提出松弛指示矩阵流形（RIM manifold）以解决指示矩阵优化的NP难问题，并开发了复杂度为O(n)的黎曼优化工具箱，在图像去噪和Ratio Cut聚类中优于现有方法。
2025-04-11 cs.LG stat.ML
tensorflow-riemopt: A Library for Optimization on Riemannian Manifolds
Microsoft（微软）
tensorflow-riemopt是一个用于在流形上进行优化的Python库，支持TensorFlow中的几何机器学习应用。
2025-12-17 cs.CG cs.LG cs.MS
Mano: Restriking Manifold Optimization for LLM Training
xLeaF Lab, The Hong Kong University of Science and Technology (Guangzhou)（xLeaF实验室，香港科学与技术大学（广州））
Mano是一种新颖高效的流形优化器，通过创新投影和约束方法，在训练大语言模型时显著优于AdamW和Muon。
2026-01-30 cs.AI cs.LG
Multi-Rank Sparse and Functional PCA: Manifold Optimization and Iterative Deflation Techniques
Rice University（莱斯大学）
我们考虑的问题，估计多个主成分使用最近提出的稀疏和功能主成分分析（SFPCA）估计。首先，我们提出了一个扩展的SFPCA估计几个主成分同时使用流形优化技术来执行正交约束。虽然有效，这种方法是计算负担，所以我们也考虑迭代放气的方法，利用现有的快速算法的秩一SFPCA。我们表明，替代紧缩方案可以更有效地从数据中提取信号，从而提高后续组件的估计。最后，我们比较了我们的流形优化和紧缩技术的性能在正交性不成立的情况下，发现它们仍然导致显着提高性能。
2019-10-10 cs.LG stat.CO stat.ML
Learning the Solution Manifold in Optimization and Its Application in Motion Planning
Kyushu Institute of Technology（九州工业大学）；RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）
优化是解决广泛领域问题的重要组成部分。理想情况下，目标函数应设计为使得解是唯一的，并且优化问题可以稳定地求解。然而，在实际应用中所使用的目标函数通常是非凸的，有时甚至有无穷多个解。为了解决这个问题，我们建议在优化中学习解决方案流形。我们训练一个以潜变量为条件的模型，使该模型代表一组无限的解。在我们的框架中，我们减少了这个问题的密度估计，通过使用重要性采样，和潜在的代表性的解决方案是学习最大化的变分下界。我们将该算法应用于运动规划问题，其中涉及高维参数的优化。实验结果表明，该算法可以学习的解决方案的流形，和训练的模型表示一个无限集的同伦运动规划问题的解决方案。
2020-07-24 cs.AI cs.LG cs.RO
A Coupled Manifold Optimization Framework to Jointly Model the Functional Connectomics and Behavioral Data Spaces
Johns Hopkins University（约翰斯·霍普金斯大学）；Kennedy Krieger Institute（肯尼迪·克里格研究所）；Johns Hopkins School of Medicine（约翰斯·霍普金斯医学院）
由于两个不同但相关的数据域之间复杂的相互作用，将功能连接组学与行为联系起来的问题极具挑战性。我们提出了一个耦合流形优化框架，该框架将fMRI数据投影到一个低维矩阵流形上。患者特异性负载经由第二非线性流形同时映射到感兴趣的行为测量上。通过利用内核技巧，我们可以在潜在的无限维空间上进行优化，而无需显式计算嵌入。与传统的流形学习不同，传统的流形学习假设一个固定的输入表示，我们的框架直接优化了预测行为的嵌入方向。我们的优化算法结合了近端梯度下降和信赖域方法，具有良好的收敛性保证。我们使用三种不同的临床严重程度的措施，从58例自闭症谱系障碍患者的静息状态fMRI验证我们的框架。我们的方法优于传统的表示学习技术在交叉验证的设置，从而证明了我们的耦合目标的预测能力。
2020-07-03 cs.LG eess.SP stat.ML
