Zeroth-order Riemannian Averaging Stochastic Approximation Algorithms
University of California, Davis（加州大学戴维斯分校）；Rice University（莱斯大学）
针对黎曼流形随机优化，提出Zo-RASA零阶算法，以滑动平均梯度估计和收缩/向量传输实现最优样本复杂度并降低迭代成本。
2023-09-25 cs.LG math.OC stat.ML
Riemannian stochastic recursive momentum method for non-convex optimization
University of Sydney（悉尼大学）
提出了一种求解黎曼非凸优化问题的随机递归动量方法，该方法在一个样本的情况下获得了$\tilde{\mathcal{O}}(ε^{-3})$的近似最优复杂度，从而得到了$ε$ -近似解.也就是说，我们的方法需要每次迭代的$\mathcal{O}(1)$梯度评估，并且不需要重新启动大批量梯度，这通常用于获得更快的速率。大量的实验结果证明了该算法的优越性。
2020-08-11 cs.LG math.OC stat.ML
Stochastic gradient descent on Riemannian manifolds
Mines ParisTech（巴黎高科矿业学院）
随机梯度下降法是一种简单的方法来找到局部最小值的费用函数的评估是由噪声破坏。在本文中，我们开发了一个程序扩展随机梯度下降算法的情况下，函数定义在黎曼流形。我们证明，在欧几里德的情况下，梯度下降算法收敛到费用函数的一个临界点。该算法有许多潜在的应用，并在这里说明了四个例子。特别是一种新的八卦算法的协方差阵的集合上推导和测试的数值。
2013-11-19 cs.LG math.OC stat.ML
Stochastic Modified Flows for Riemannian Stochastic Gradient Descent
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数理科学研究所）；University of York（约克大学）
本文研究黎曼随机梯度下降的收敛与近似问题，提出黎曼随机修正流以刻画随机波动，并利用随机微分几何给出小学习率下扩散近似的定量弱误差界。
2025-03-07 cs.LG math.OC math.PR
Riemannian stochastic variance reduced gradient algorithm with retraction and vector transport
Kyoto University（京都大学）；The University of Electro-Communications（电气通信大学）；Microsoft（微软）
近年来，随机方差缩减算法在最小化大量但有限数量的损失函数的平均值方面引起了相当大的关注。本文提出了一种新的黎曼扩展的欧氏随机方差约化梯度（R-SVRG）算法的流形搜索空间。通过收缩和矢量传输解决了对多个梯度进行平均、相加和相减的关键挑战。对于所提出的算法，我们提出了一个全局收敛性分析与衰减的步长，以及一个局部收敛速度分析与一个固定的步长下，一些自然的假设。此外，将该算法应用于对称正定流形上的黎曼质心计算问题以及Grassmann流形上的主成分分析和低秩矩阵完备化问题.结果表明，该算法优于标准的黎曼随机梯度下降算法在每种情况下。
2019-05-31 cs.LG math.OC stat.ML
Riemannian stochastic approximation algorithms
Institute for Machine Learning（机器学习研究所）；Universitaetstrasse（苏黎世联邦理工学院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔国立理工学院）
我们研究了一类广泛的随机逼近算法解决（随机）非线性问题的黎曼流形。这样的算法自然出现在黎曼优化，对策论和最优输运的研究中，但由于缺乏流形上的全局线性结构，与欧几里得情况相比，它们的行为少得多。我们克服了这个困难，通过引入一个合适的费米坐标框架，使我们能够映射的黎曼罗宾斯-蒙罗（RRM）算法的渐近行为的研究，相关的确定性动力系统。在这样做，我们提供了一个一般的模板，几乎必然收敛的结果，镜像和扩展现有的理论为欧几里德罗宾斯-蒙罗计划，尽管出现的显着的并发症，由于曲率和拓扑结构的基础流形。我们展示了所提出的框架的灵活性，通过将其应用到一系列基于撤回的流行的乐观/额外的梯度法解决最小化问题和游戏的变体，我们提供了一个统一的治疗，他们的收敛。
2022-12-27 cs.LG math.DS math.OC
Averaging Stochastic Gradient Descent on Riemannian Manifolds
University of California Berkeley（加州大学伯克利分校）；INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑定义在黎曼流形$\mathcal{M}$上的函数的极小化问题，该问题只能通过其梯度的无偏估计来获得。我们开发了一个几何框架来转换一个序列的缓慢收敛的迭代产生的随机梯度下降（SGD）$\mathcal{M}$的一个强大的和快速的$O(1/n)$收敛速度的平均序列。然后，我们提出了一个应用程序，我们的框架，大地强凸（可能欧几里德非凸）的问题。最后，我们演示了这些想法如何适用于流$k$ -PCA的情况下，我们展示了如何加速缓慢的随机功率方法（不需要本征间隙的知识）到一个强大的算法，实现最佳的收敛速度。
2018-06-08 cs.LG math.OC stat.ML
Stochastic Variance Reduced Riemannian Eigensolver
Institute for Infocomm Research（资讯通信研究院）；A*STAR（新加坡科技研究局）；Nanyang Technological University（南洋理工大学）
研究了矩阵特征分解的随机黎曼梯度算法。最先进的随机黎曼算法要求学习率衰减到零，因此收敛速度慢，解不理想。在本文中，我们解决这个问题，部署方差减少（VR）技术的随机梯度下降（SGD）。该技术最初是为了解决欧氏空间中的凸问题而开发的。我们将其推广到黎曼流形上，并将其实现为求解非凸特征分解问题。我们是第一个提出和分析的推广SVRG黎曼流形。具体来说，我们提出了一般的方差减少形式，SVRRG，在随机黎曼梯度优化的框架。然后，专门针对该问题的特征值求解器，并推出SVRG-EIGS算法。我们提供了一个新的和优雅的理论分析，该算法。理论表明，在黎曼环境下，可以使用固定的学习率，并保证指数全局收敛率。理论结果与已有研究相比有了显著的改进，并通过实证验证了其有效性.
2016-05-27 cs.LG stat.ML
Riemannian adaptive stochastic gradient algorithms on matrix manifolds
The University of Electro-Communications（电气通信大学）；Microsoft（微软）
欧氏空间中的自适应随机梯度算法是近年来研究的热点。另一方面，黎曼流形上的这种探索相对较新，有限且具有挑战性。这是因为底层流形的内在非线性结构和缺乏正则坐标系。然而，在机器学习应用中，大多数感兴趣的流形被表示为具有行和列子空间概念的矩阵。此外，隐式流形相关约束也可以位于这样的子空间上。例如，格拉斯曼流形是列子空间的集合。为此，在流形上开发优化算法时，不应将矩阵转换为向量堆栈，从而丢失这种丰富的结构。我们提出了新的随机梯度算法的黎曼矩阵流形上的问题，通过调整梯度的行和列子空间。我们的算法是可证明收敛的，它们达到了$\mathcal{O}(\log (T)/\sqrt{T})$阶的收敛速度，其中$T$是迭代次数。我们的实验说明了所提出的算法在几个应用程序的有效性。
2019-06-28 cs.LG math.OC stat.ML
Riemannian stochastic quasi-Newton algorithm with variance reduction and its convergence analysis
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
随机方差缩减算法最近变得流行，用于最小化大的但有限数量的损失函数的平均值。提出了一种具有方差缩减的黎曼随机拟牛顿算法（R-SQN-VR）。平均，添加和减去多个梯度的关键挑战是解决与收缩和矢量传输的概念。在收缩算子和向量迁移算子下，我们给出了R-SQN-VR在非凸函数和收缩凸函数上的收敛性分析。在对称正定流形上的Karcher均值计算和Grassmann流形上的低秩矩阵完备化上对该算法进行了评价。在所有情况下，该算法优于最先进的黎曼批处理和随机梯度算法。
2017-09-16 cs.LG cs.NA math.NA
An Alternative to EM for Gaussian Mixture Models: Batch and Stochastic Riemannian Optimization
University of Tehran（德黑兰大学）；Massachusetts Institute of Technology（麻省理工学院）；School of ECE, College of Engineering, University of Tehran（德黑兰大学工程学院电子与计算机工程系）
本文研究高斯混合模型的极大似然估计。这个任务几乎总是通过期望最大化（EM）算法来解决（在理论和实践中）。EM的成功得益于多方面的因素，其中以封闭形式满足正定性约束的能力至关重要。我们提出了一种替代EM呼吁丰富的黎曼几何正定矩阵，使用它，我们铸造Gmm参数估计作为一个黎曼优化问题。令人惊讶的是，这样一个开箱即用的黎曼公式完全失败，并证明比EM差得多。这促使我们更仔细地研究问题的几何形状，并推导出更适合黎曼优化的更好的公式。然后，我们开发（黎曼）批处理和随机梯度算法，优于EM，往往大幅。我们提供了一个非渐近收敛分析我们的随机方法，这也是第一个（据我们所知）这样的整体分析黎曼随机梯度。大量的实证结果证明了我们的方法的有效性。
2017-06-10 cs.LG stat.ML
Mirror Descent on Riemannian Manifolds
School of Mathematical Sciences, Fudan University, Shanghai 200433, China（复旦大学数学学院，上海200433，中国）；Shanghai Key Laboratory for Contemporary Applied Mathematics, Fudan University, Shanghai 200433, China（上海当代应用数学重点实验室，复旦大学，上海200433，中国）
将镜像下降推广到黎曼流形，通过重参数化提出黎曼镜像下降（RMD）及其随机变体，并建立非渐近收敛保证，在Stiefel流形上退化为曲线梯度下降（CGD）。
2026-06-12 cs.LG math.OC stat.ML
Faster Convergence of Riemannian Stochastic Gradient Descent with Increasing Batch Size
Meiji University（东邦大学）
本文理论分析了Riemannian随机梯度下降（RSGD），证明采用递增批量大小能将收敛速率从$O(T^{-1}+C)$提升至$O(T^{-1})$，并降低SFO复杂度，兼具大小固定批量的优势。
2025-10-13 cs.LG math.OC stat.ML
Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space
Renmin University of China（中国人民大学）；Alibaba Group（阿里巴巴集团）
本文将Wasserstein空间上的Riemannian梯度流扩展为SGD流和SVRG流，通过构建SDEs并利用Fokker-Planck方程推导流，证明了与欧几里得设定一致的收敛速率。
2025-11-04 cs.LG
Riemannian stochastic variance reduced gradient on Grassmann manifold
The University of Electro-Communications（电气通信大学）；Tokyo University of Science（东京理科大学）
本文提出了一种在紧凑流形搜索空间中扩展欧几里得随机方差缩减梯度算法的黎曼扩展方法，针对格拉斯曼流形进行研究，解决了多个梯度的平均、加法和减法问题，并在不同步长下分析了算法的收敛性。
2017-04-09 cs.LG cs.NA math.NA
Taming neural networks with TUSLA: Non-convex learning via adaptive stochastic gradient Langevin algorithms
Alfréd Rényi Institute of Mathematics（阿尔弗雷德·雷尼数学研究所）；The University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；National Technical University of Athens（雅典国立技术大学）
人工神经网络（ANN）通常是高度非线性的系统，其经由其相关联的非凸损失函数的优化而被精细地调谐。在许多情况下，任何这样的损失函数的梯度具有超线性增长，使得基于欧拉数值方案的广泛接受的（随机）梯度下降方法的使用成为问题。我们提供了一个新的学习算法的基础上适当构造的流行的随机梯度Langevin动力学（SGLD），这是所谓的驯服的未调整的随机Langevin算法（TUSLA）的变体。我们还提供了一个非渐近分析的新算法的收敛特性的背景下，非凸学习问题的使用人工神经网络。因此，我们提供有限的时间保证TUSLA找到经验和人口风险的近似最小化。TUSLA算法的根源是基于\citet{tamed-euler, SabanisAoAP}中开发的超线性系数扩散过程的驯服技术和\citet{tula}中的MCMC算法。数值实验证实了理论研究结果，并说明需要使用的新算法相比，香草SGLD的框架内的人工神经网络。
2023-01-15 cs.LG math.OC math.PR
Convergence Analysis of Riemannian Stochastic Approximation Schemes
École Normale Supérieure Paris-Saclay（巴黎萨克雷高等师范学院）；École Polytechnique（巴黎综合理工学院）；CNRS, Université de Bordeaux（法国国家科学研究中心、波尔多大学）；The Chinese University of Hong Kong（香港中文大学）
分析了一类求解随机最优化问题的黎曼随机逼近（SA）格式的收敛性。特别是，我们研究的递归使用的指数映射所考虑的流形（测地线计划）或更一般的收缩功能（收缩计划）作为代理的指数映射。这样的近似是非常感兴趣的，因为它们是低复杂度的替代测地线计划。在假设SA的平均场与光滑的Lyapunov函数（可能是非凸的）的梯度相关的情况下，我们证明了上述黎曼SA方案在${\mathcal{O}}(n)$迭代中找到了一个${\mathcal{O}}(b_\infty + \log n / \sqrt{n})$ -稳定点（在期望中），其中$b_\infty \geq 0$是渐近偏差.与以前的工作相比，我们得到的条件是相当温和的。首先，我们所有的分析都是全局的，因为我们不假设迭代是先验有界的。其次，我们研究有偏SA计划。更具体地说，我们考虑的情况下，平均场函数只能估计到一个小的偏差，和/或的情况下，其中的样本是从一个受控的马尔可夫链。第三，撤回所需的条件，以确保收敛的相关SA计划是弱的，并为众所周知的例子。我们说明我们的结果上的三个机器学习问题。
2021-05-19 cs.LG math.OC stat.ML
Riemannian Bilevel Optimization
UC Davis（加利福尼亚大学戴维斯分校）；Massachusetts Institute of Technology（麻省理工学院）；TU Munich（慕尼黑工业大学）
本文提出单循环一阶算法RF²SA，用于黎曼双层优化，避免二阶信息，提供显式收敛速率，并通过拉格朗日乘子处理约束问题。
2024-05-22 cs.AI cs.LG math.OC
Stochastic subgradient method converges on tame functions
Cornell University（康奈尔大学）；University of Washington（华盛顿大学）；University of Southern California（南加利福尼亚大学）
这项工作考虑的问题：什么样的收敛保证随机次梯度法在光滑性和凸性的情况下？我们证明了随机次梯度方法，在任何半代数局部Lipschitz函数，产生的极限点都是一阶平稳的。更一般地说，我们的结果适用于任何函数的惠特尼分层图。特别是，这项工作赋予了随机次梯度方法及其近似扩展，为数据科学中出现的广泛问题提供了严格的收敛保证-包括所有流行的深度学习架构。
2018-05-26 cs.LG math.OC
Riemannian Adaptive Optimization Methods
Department of Computer Science（计算机科学系）；ETH Zürich（苏黎世联邦理工学院）
通常在欧几里得域中使用的几种一阶随机优化方法，例如随机梯度下降（SGD）、加速梯度下降或方差缩减方法，已经适应于某些黎曼设置。然而，一些最流行的这些优化工具-即亚当，Adagrad和最近的Amsgrad -仍然是推广到黎曼流形。我们讨论的困难，推广这种自适应计划的最不可知的黎曼设置，然后提供算法和收敛性证明测地线凸目标在特定情况下的产品的黎曼流形，其中自适应跨流形的carnival产品。我们的推广是紧密的，在这个意义上，选择欧几里得空间作为黎曼流形产生相同的算法和遗憾的界限，那些已经知道的标准算法。实验上，我们表现出更快的收敛速度和更低的训练损失值黎曼自适应方法在其相应的基线上的现实任务嵌入WordNet分类的庞加莱球。
2019-02-18 cs.LG stat.ML
Riemannian Stochastic Gradient Method for Nested Composition Optimization
The Ohio State University（俄亥俄州立大学）
针对黎曼流形上的嵌套组合优化问题，提出黎曼随机组合梯度下降（R-SCGD）方法，解决内层随机近似导致的外层梯度偏差，在两层及多层结构中均达到$O(ε^{-2})$的预言机复杂度，并在强化学习策略评估中验证了其有效性。
2024-03-19 cs.LG math.OC
Learning-Rate-Free Stochastic Optimization over Riemannian Manifolds
Lancaster University（兰卡斯特大学）
针对黎曼流形随机优化中学习率需手动调优的挑战，本文提出无学习率优化算法，提供了最优的高概率收敛保证，并在数值实验中展现出与依赖学习率算法相竞争的性能。
2024-06-04 cs.LG math.OC
Riemannian stochastic optimization methods avoid strict saddle points
ETH Zürich（苏黎世联邦理工学院）；Univ. Grenoble Alpes, CNRS, Inria, Grenoble INP, LIG（格勒诺布尔阿尔卑斯大学，国家科学研究中心，国家信息与自动化研究所，格勒诺布尔国立综合理工学院，格勒诺布尔信息学实验室）
该研究针对黎曼流形上非测地凸最小化问题的鞍点规避难题，分析一类基于收缩的随机黎曼优化方法，证明其在温和假设下能以概率1避开严格鞍点，为流形梯度方法的应用提供了理论保障。
2023-11-04 cs.LG math.OC
UCBoost: A Boosting Approach to Tame Complexity and Optimality for Stochastic Bandits
The Ohio State University（俄亥俄州立大学）；AT&T Labs Research（AT&T实验室研究部）
在这项工作中，我们解决了开放的问题，找到低复杂度接近最优的多臂强盗算法的顺序决策问题。现有的强盗算法或者是次优的并且计算简单（例如，UCB 1）或最优且计算复杂（例如，kl-UCB）。我们提出了一个提升的方法，上置信界为基础的算法随机土匪，我们称之为UCBoost。具体来说，我们提出了两种类型的UCBoost算法。我们发现，UCBoost（$D$）享有$O(1)$复杂性为每个手臂每轮以及遗憾的保证是$1/e$ -接近的kl-UCB算法。我们提出了一种基于近似的UCBoost算法，UCBoost（$ε$），享有遗憾的保证$ε$ -接近的kl-UCB以及$O(\log(1/ε))$的复杂性，每轮每个手臂。因此，我们的算法为从业者提供了一种实用的方法来交易的最优性与计算复杂性。最后，我们给出的数值结果表明，UCBoost（$ε$）可以达到相同的后悔性能的标准kl-UCB，而只招致$1\%$的计算成本kl-UCB。
2018-04-16 cs.AI cs.LG stat.ML
Riemannian Stochastic Proximal Gradient Methods for Nonsmooth Optimization over the Stiefel Manifold
The University of Iowa（爱荷华大学）；University of California（加利福尼亚大学）；Pennsylvania State University（宾夕法尼亚州立大学）
由于在实践中的广泛应用，黎曼优化引起了人们的广泛关注。在文献中已经研究了黎曼随机一阶算法来解决黎曼流形上的大规模机器学习问题。然而，现有的大多数黎曼随机算法要求目标函数是可微的，并且它们不适用于目标函数是非光滑的情况。本文给出了Stiefel流形上极小化非光滑函数的两种黎曼随机逼近梯度法。这两种方法，称为R-ProxSGD和R-ProxSPB，是近端SGD和近端SpiderBoost在欧几里得设置到黎曼设置的推广。分析了算法的增量一阶预言（IFO）复杂度。具体地，R-ProxSPB算法在在线情况下找到具有$Ø(ε^{-3})$ IFO的$ε$ -平稳点，并且在有限和情况下找到具有$n$的$Ø(n+\sqrt{n}ε^{-2})$ IFO的$ε$-平稳点，其中$n$是目标中的被加数。在线稀疏PCA和鲁棒低秩矩阵补全的实验结果表明，我们提出的方法显着优于现有的方法，使用黎曼次梯度信息。
2022-03-21 cs.LG math.OC stat.ML
Rieoptax: Riemannian Optimization in JAX
University of Sydney（悉尼大学）；Microsoft India（微软印度）
我们介绍了Rieoptax，一个用于JAX中黎曼优化的开源Python库。我们发现，许多微分几何图元，如黎曼指数和对数映射，通常在Rieoptax中比Python中现有的框架更快，无论是在CPU还是GPU上。我们支持各种基本和高级随机最优化求解器，如黎曼随机梯度、随机方差缩减和自适应梯度法。建议的工具箱的一个显着特点是，我们也支持差分私有优化黎曼流形。
2022-10-10 cs.LG cs.MS math.OC
Stochastic Zeroth-order Riemannian Derivative Estimation and Optimization
University of California, Davis（加州大学戴维斯分校）
研究了欧几里得空间中黎曼子流形上的随机零阶优化问题，其任务是求解只有噪声目标函数估值的黎曼最优化问题.为此，我们的主要贡献是提出估计的黎曼梯度和海森噪声目标函数的评价，基于黎曼版本的高斯平滑技术。所提出的估计克服了困难的非线性的流形约束和使用欧氏高斯平滑技术时出现的问题，函数只定义在流形上。我们使用建议的估计解决黎曼最优化问题在以下设置的目标函数：（i）随机和梯度Lipschitz（在非凸和测地凸设置），（ii）梯度Lipschitz和非光滑函数的总和，和（iii）海森Lipschitz。对于这些设置，我们分析了我们的算法，以获得适当定义的概念$ε$ -平稳点或$ε$ -近似局部极小的Oracle复杂性。值得注意的是，我们的复杂性是独立的周围的欧几里得空间的尺寸，只取决于所考虑的流形的内在尺寸。我们证明了我们的算法的适用性，通过仿真结果和现实世界中的应用程序对机器人的黑箱刚度控制和黑箱攻击的神经网络。
2021-01-05 cs.DS cs.LG math.OC
On Sharp Stochastic Zeroth Order Hessian Estimators over Riemannian Manifolds
研究了定义在$n$维完备解析黎曼流形上的函数的Hessian估计.我们引入了新的随机零阶Hessian估计使用$O (1)$功能评价。我们发现，对于一个解析实值函数$f$，我们的估计实现了一个偏差界的顺序$ O \left( γδ^2 \right) $，其中$ γ$依赖于Levi-Civita连接和功能$f$，和$δ$是有限差分步长。据我们所知，我们的结果提供了第一个偏差界的海森估计，明确地依赖于几何的基础黎曼流形。我们还研究下游计算的基础上，我们的海森估计。我们的方法的优越性是由实证评估证明。
2022-09-26 cs.LG cs.NA math.NA
Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC
针对深度离散潜变量模型（LVMs）开发基于随机梯度的可扩展推理是具有挑战性的，这是由于不仅难以计算梯度，而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络（PGBN），最近提出的深度离散LVM，我们推导出一种替代表示，被称为深度潜在狄利克雷分配（DLDA）。利用数据增广和边缘化技术，我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC，我们提出了主题层自适应随机梯度黎曼（TLASGR）MCMC，共同学习单纯形约束的全局参数在所有层和主题，主题和层特定的学习率。在大数据集上展示了最先进的结果。
2017-06-06 cs.LG stat.CO stat.ML
Scalable Stochastic Gradient Riemannian Langevin Dynamics in Non-Diagonal Metrics
University of Helsinki（赫尔辛基大学）
本文提出两种计算开销很小的非对角黎曼度量，用于随机梯度采样器以改善贝叶斯神经网络后验探索与收敛，并在全连接和卷积网络上验证其优于对角度量。
2024-03-31 cs.LG stat.CO
Locally Private Inference for Riemannian Stochastic Optimization
Nanyang Technological University（南洋理工大学）；Shanghai University of Finance and Economics（上海财经大学）
本文提出一种基于本地差分隐私的黎曼随机优化推断方法，通过条件居中的随机切线梯度与对称对回归估计方差，实现流形上总体最小值的有效推断，并在模拟和NHANES数据上验证了性能。
2026-09-24 cs.LG math.OC math.ST
Riemannian Stochastic Optimization for Sufficient Dimension Reduction
Laboratoire des Signaux et Systèmes (L2S), CentraleSupélec, Université Paris-Saclay, Gif-sur-Yvette, France（信号与系统实验室（L2S），中央超导电子研究所，巴黎-萨克雷大学，吉夫-sur-伊夫特，法国）
提出一种基于黎曼流形随机梯度上升的算法SMAVE，通过将充分降维问题转化为Stiefel流形上的光滑最大化，实现高效的低维子空间恢复。
2026-05-29 cs.LG stat.ML
Overcoming the BCI Calibration Bottleneck: A Clinically-Grounded Architecture using Riemannian Alignment and Stochastic Weight Averaging
University of Bern（伯恩大学）
研究针对脑机接口校准瓶颈问题，构建结合逐会话独立成分分析、黎曼欧几里得对齐和随机权重平均稳定EEGNet的深度学习管道，在基准测试和案例研究中取得高准确率，验证了对二元运动想象的硬件无关零样本有效性。
2026-07-21 cs.LG eess.SP q-bio.NC
On Riemannian Stochastic Approximation Schemes with Fixed Step-Size
Centre Borelli（博雷利中心）；École Normale Supérieure Paris-Saclay（巴黎-萨克lay高等师范学院）；CMAP（CMAP实验室）；École Polytechnique（巴黎综合理工学院）；Laboratoire IMS（IMS实验室）；CNRS（法国国家科学研究中心）；Université de Bordeaux（波尔多大学）
本文在黎曼框架下研究固定步长的随机逼近（SA）格式，包括随机梯度格式。它的动机是几个应用程序，测地线可以明确计算，他们的使用加速原油欧几里德方法。一个固定的步长方案定义了一族时间齐次的马尔可夫链，由步长参数化。在这里，使用这个配方，非渐近性能界推导出，在李雅普诺夫条件下。然后，对任意步长，证明了相应的马尔可夫链存在唯一的平稳分布，且是几何遍历的。这一结果产生了一个家庭的平稳分布索引的步长，这是进一步表明收敛到狄拉克措施，集中在解决问题的手，作为步长为0。最后，通过偏差的渐近展开和中心极限定理，建立了这种收敛的渐近速度。
2021-02-19 cs.LG math.PR stat.ML
Sampling from multi-modal distributions on Riemannian manifolds with training-free stochastic interpolants
CMAP, CNRS, Ecole polytechnique（CMAP、法国国家科学研究中心、巴黎高等师范学院）
本文提出了一种无训练的随机插值方法，用于在黎曼流形上高效采样多模分布，通过非平衡动力学和随机插值实现无需训练的高效采样。
2026-01-31 cs.LG stat.CO stat.ML
An Online Riemannian PCA for Stochastic Canonical Correlation Analysis
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Amazon Lab126（亚马逊Lab126）
我们提出了一个有效的随机算法（RSG+）的典型相关分析（CCA）使用的投影矩阵的重新参数化。我们展示了这种重新参数化（到结构矩阵），简单的事后诸葛亮，直接提出了一个机会，重新利用/调整成熟的技术，数值优化黎曼流形。我们的发展很好地补充了现有的方法，这个问题，要么需要$O(d^3)$时间复杂度，每次迭代与$O(\frac{1}{\sqrt{t}})$收敛速度（其中$d$是维数）或只提取顶部$1$组件与$O(\frac{1}{t})$收敛速度。相比之下，我们的算法提供了一个严格的改进，这个经典的问题：它实现了$O(d^2k)$运行时的复杂性，每次迭代提取顶部$k$规范组件与$O(\frac{1}{t})$收敛速度。虽然本文主要关注其属性的制定和技术分析，但我们的实验表明，在常见数据集上的经验行为是非常有前途的。我们还探索了在训练公平模型中的潜在应用，其中受保护属性的标签丢失或不可用。
2021-06-08 cs.AI cs.LG stat.ML
How to Tame Your LLM: Semantic Collapse in Continuous Systems
Exolytica AI
本文提出通过连续状态机理论解释大语言模型中离散符号语义的生成，揭示了语义坍缩与逻辑可解释性的统一。
2025-12-04 cs.AI cs.LG math.DS
Riemannian Neural Geodesic Interpolant
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of Chinese Academy of Sciences（中国科学院大学）；School of Mathematics and Statistics, Fujian Normal University（福建师范大学数学与统计学学院）；Beijing Institute of Technology（北京理工大学）
提出黎曼神经测地插值模型，在黎曼流形上沿随机测地线插值两分布，并设计E-SDE算法提升采样质量，在S2和SO(3)上验证有效性。
2025-04-22 cs.LG stat.ML
