Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization
研究大语言模型强化学习中PPO-Clip的探索崩溃问题,提出黎曼等距策略优化(RIPO)方法,通过保证黎曼流形上等距策略更新平衡探索与利用,在七个竞争级基准上显著超越现有算法。
2026-10-09 cs.AI cs.LG
Riemannian Multinomial Logistics Regression for SPD Neural Networks
University of Trento(特伦托大学);Cisco Systems(思科系统公司);Jiangnan University(江南大学)
针对SPD网络传统欧几里得分类器无法准确捕捉流形几何的问题,提出黎曼多项式逻辑回归(RMLR)统一框架,在LEM和LCM度量下构建内蕴分类器,并在雷达、动作和脑电识别任务中验证了有效性。
2024-03-20 cs.LG
Personalised federated learning for Riemannian and Euclidean EEG decoding
CNRS(法国国家科学研究中心)
本研究提出个性化联邦学习用于EEG解码,让受试者共享主干、保留各自头部,实验表明个性化SPDNet在准确率、收敛速度和通信效率上优于标准FL及集中式训练。
2026-09-25 cs.LG stat.ML
Spatio-Temporal EEG Representation Learning on Riemannian Manifold and Euclidean Space
Queen’s University(女王大学);Ingenuity Labs Research Institute(英格纽蒂实验室研究院)
提出一种深度神经架构,通过黎曼流形和欧几里得空间学习EEG的时空信息,并在四个数据集上验证了其在情绪识别等任务中的鲁棒性。
2023-08-06 cs.CV cs.LG
Conformal retrofitting via Riemannian manifolds: distilling task-specific graphs into pretrained embeddings
Stanford University(斯坦福大学);Square Inc.(Square公司)
预训练的(语言)嵌入是实体(如单词)的通用、任务不可知的特征表示,是许多机器学习应用的核心。这些表示可以通过改装来丰富,改装是一类将特定于任务的领域知识编码为这些实体的子集上的图的方法。然而,现有的改造算法面临着两个限制:他们过拟合的观察到的图,未能表示与丢失的实体的关系;和他们欠拟合的观察到的图,只学习嵌入在欧几里得流形,不能忠实地表示,甚至简单的树结构或循环图。我们通过两个关键贡献来解决这些问题:(i)我们提出了一种新的正则化器,一种保形正则化器,它可以从预训练的嵌入中保留局部几何形状--使泛化到丢失的实体;(ii)一个新的黎曼前馈层,它可以学习将预训练的嵌入映射到可以更好地表示整个图的非欧几里得流形上。通过在WordNet上的实验,我们证明了保形正则化器可以防止现有的(仅欧几里德)方法对缺失实体的链接预测过度拟合,并且-与黎曼前馈层一起-学习优于它们的非欧几里德嵌入。
2020-10-09 cs.CL cs.LG
Probabilistic Riemannian submanifold learning with wrapped Gaussian process latent variable models
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学)
潜变量模型(LVMs)学习位于\emph{ambient}欧几里德空间中的数据流形的概率模型。在许多应用中,先验已知的空间约束可以将周围空间收缩成相当小的流形。此外,在这些应用中,欧几里德几何可能会导致次优的相似性度量,这可以通过选择不同的度量来改进。欧几里德模型忽略了这些信息,并将概率质量分配给永远不会作为数据出现的数据点,并将极大不同的可能性分配给在所需度量下相似的点。我们提出了包裹的高斯过程潜变量模型(WGPLVM),该模型扩展了高斯过程潜变量模型,使其严格地在给定的环境黎曼流形上取值,使模型对不可能的数据点是盲目的。这使得低维黎曼子流形的数据的非线性,概率推断。我们对不同数据集的评估表明,我们提高了几项任务的性能,包括编码,可视化和不确定性量化。
2019-02-24 cs.LG stat.ML
Riemannian Deep Learning: Modules, Networks, and Geometries
研究为黎曼深度学习构建统一框架,从可复用神经模块等三个角度出发,推广批量归一化等,开发相关神经网络及度量,经理论分析、数值实验和多领域应用验证方法的有效性。
2026-10-30 cs.AI cs.LG math.DG
Understanding Riemannian Acceleration via a Proximal Extragradient Framework
Peking University(北京大学);Massachusetts Institute of Technology(麻省理工学院)
我们有助于推进黎曼加速梯度法的理解。特别是,我们重新加速混合近端外梯度(A-HPE),获得欧几里德加速方法\citep{monteiro2013accelerated}的一个强大的框架。在A-HPE的基础上,我们提出并分析了黎曼A-HPE。我们分析的核心由两个关键部分组成:(i)对欧几里得A-HPE本身的一系列新见解;以及(ii)对黎曼几何引起的度量失真的仔细控制。我们说明了我们的框架,通过获得一些现有的和新的黎曼加速梯度法的特殊情况下,同时表征其加速我们的主要结果的推论。
2022-02-10 cs.LG math.OC stat.ML
Riemannian Batch Normalization: A Gyro Approach
University of Trento(特伦托大学);Jiangnan University(江南大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
本文提出 GyroBN,一种基于陀螺群的黎曼批量归一化框架,通过伪约化和陀螺等距陀螺变换保证统计量理论控制,并在七种几何上验证其有效性。
2025-09-19 cs.AI cs.LG
Computationally Tractable Riemannian Manifolds for Graph Embeddings
ETH Zürich(苏黎世联邦理工学院);MIT(麻省理工学院)
将图表示为某些弯曲黎曼流形中的节点嵌入集合最近在机器学习中获得了动力,这是由于它们理想的几何归纳偏差,例如,分级结构受益于双曲几何。然而,超越恒定截面曲率的嵌入空间,虽然可能更具代表性,但证明是具有挑战性的,因为人们很容易失去计算上易于处理的工具,如测地线距离或黎曼梯度的吸引力。在这里,我们将探索计算效率高的矩阵流形,展示如何学习和优化这些黎曼空间中的图嵌入。从经验上讲,我们表现出一致的改进,而欧几里德几何往往优于双曲和椭圆嵌入的基础上,捕捉不同的图形属性的各种指标。我们的研究结果为非欧几里德嵌入在机器学习管道中的好处提供了新的证据。
2020-06-06 cs.LG stat.ML
Riemannian Optimization for Non-convex Euclidean Distance Geometry with Global Recovery Guarantees
Tufts University(塔夫茨大学);University of Central Florida(中佛罗里达大学)
针对欧氏距离几何问题,提出两种黎曼优化框架下的低秩矩阵补全算法,给出采样数界与收敛性保证,验证了过参数化的性能优势。
2024-10-08 cs.LG math.OC
Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry
University of Trento(特伦托大学);Caltech(加州理工学院);Jiangnan University(江南大学);Cisco Systems(思科系统公司)
本文从黎曼几何视角统一解释了全局协方差池化中矩阵对数与矩阵幂归一化的作用机制,指出其有效性源于隐含的黎曼分类器,并通过细粒度与大规模视觉分类实验验证了该结论。
2025-02-07 cs.CV cs.LG
Riemannian Integrated Gradients: A Geometric View of Explainable AI
Center for Theoretical Physics, Polish Academy of Sciences(波兰科学院理论物理中心);School of Electrical and Mechanical Engineering, The University of Adelaide(阿德莱德大学电气与机械工程学院)
本文提出黎曼积分梯度(RIG),将积分梯度扩展至黎曼流形,证明其在欧氏空间下退化为IG,并将特征归因转化为对称自同态的特征值问题。
2025-03-02 cs.LG math.DG
Riemannian Denoising Model for Molecular Structure Optimization with Chemical Accuracy
Woo Youn Kim(威廉·金);Jeheon Woo(具海恩);Seonghwan Kim(金圣焕);Jun Hyeong Kim(金俊亨)
基于物理的黎曼去噪模型通过优化分子结构实现化学精度,提升结构和能量预测的准确性。
2026-01-19 cs.LG physics.chem-ph
PR-CapsNet: Pseudo-Riemannian Capsule Network with Adaptive Curvature Routing for Graph Learning
Guangdong University of Technology(广东工业大学);Peking University(北京大学)
PR-CapsNet通过伪黎曼几何改进胶囊网络,实现自适应曲率路由以提升复杂图结构的表示能力。
2025-12-09 cs.AI cs.LG
Normalized Maximum Likelihood Code-Length on Riemannian Data Spaces
The University of Tokyo(东京大学);NTT, Inc.(NTT公司);The University of Hong Kong(香港大学)
本文提出在黎曼流形上适应的归一化最大似然代码长度(Rm-NML),克服了传统方法对坐标系的依赖,适用于具有层次结构的图数据,如双曲空间。
2026-05-08 cs.IT cs.LG math.IT
Stochastic Zeroth-order Riemannian Derivative Estimation and Optimization
University of California, Davis(加州大学戴维斯分校)
研究了欧几里得空间中黎曼子流形上的随机零阶优化问题,其任务是求解只有噪声目标函数估值的黎曼最优化问题.为此,我们的主要贡献是提出估计的黎曼梯度和海森噪声目标函数的评价,基于黎曼版本的高斯平滑技术。所提出的估计克服了困难的非线性的流形约束和使用欧氏高斯平滑技术时出现的问题,函数只定义在流形上。我们使用建议的估计解决黎曼最优化问题在以下设置的目标函数:(i)随机和梯度Lipschitz(在非凸和测地凸设置),(ii)梯度Lipschitz和非光滑函数的总和,和(iii)海森Lipschitz。对于这些设置,我们分析了我们的算法,以获得适当定义的概念$ε$ -平稳点或$ε$ -近似局部极小的Oracle复杂性。值得注意的是,我们的复杂性是独立的周围的欧几里得空间的尺寸,只取决于所考虑的流形的内在尺寸。我们证明了我们的算法的适用性,通过仿真结果和现实世界中的应用程序对机器人的黑箱刚度控制和黑箱攻击的神经网络。
2021-01-05 cs.DS cs.LG math.OC
Streamlining in the Riemannian Realm: Efficient Riemannian Optimization with Loopless Variance Reduction
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
针对黎曼方差缩减方法双循环结构及内循环长度难调的问题,提出无环 R-LSVRG 与 R-PAGE,并扩展出分布式 R-MARINA,获得更优通信复杂度保证。
2024-03-11 cs.AI cs.DC cs.LG
GeoERM: Geometry-Aware Multi-Task Representation Learning on Riemannian Manifolds
New York University(纽约大学)
GeoERM提出一种几何感知的多任务学习框架,将共享表示嵌入黎曼流形并通过黎曼梯度步与极坐标收缩进行优化,在保持与欧几里得基线相同计算成本的同时,提升了估计精度、减少了负迁移,并在对抗性标签噪声下保持稳定。
2025-05-05 cs.LG stat.ME stat.ML