The Fisher-Rao geometry of CES distributions
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);CentraleSupélec(中央理工-高等电力学院);Université Paris Nanterre(巴黎楠泰尔大学);Inria(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Université Savoie Mont-Blanc(萨瓦大学)
本文介绍Fisher-Rao信息几何的基本概念,并展示其在椭圆分布框架下的三类实际应用:协方差矩阵估计的黎曼优化、内蕴Cramér-Rao界与黎曼距离分类。
2023-10-02 cs.LG stat.AP stat.ML
A Fisher-Rao gradient flow for entropic mean-field min-max games
Heriot-Watt University(赫瑞瓦特大学);Maxwell Institute for Mathematical Sciences(麦克斯韦数学研究所);University of Edinburgh(爱丁堡大学);The Alan Turing Institute(阿兰·图灵研究所);Simtopia(Simtopia公司)
该研究针对带熵正则化的凸-凹极小极大博弈问题,分析Fisher-Rao(平均场生灭)梯度流的连续时间收敛性,通过构造Lyapunov函数证明其可按显式速率收敛到唯一混合纳什均衡。
2024-09-18 cs.LG math.OC math.PR
Preservation of Log-Concavity and Convergence of Wasserstein-Fisher-Rao Gradient Flows
University of Turin(都灵大学);Collegio Carlo Alberto(卡罗·阿尔贝托学院);UNSW Sydney(新南威尔士大学悉尼分校)
本文证明WFR梯度流在强对数凹目标分布下保持对数凹性,并导出无需热启动的对称KL散度非渐近收敛速率,其可分解为Wasserstein与Fisher-Rao贡献,证实相关猜想。
2026-09-17 cs.LG math.PR stat.ML
Kernel Approximation of Fisher-Rao Gradient Flows
Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机学研究所);Humboldt University of Berlin(柏林洪堡大学)
本文研究Fisher-Rao与Wasserstein梯度流的核逼近,构建理论框架,刻画MMD空间梯度流并证明演化Γ-收敛,为生成建模等机器学习应用提供统一理论基础。
2024-10-27 cs.LG math.AP stat.ML
Inclusive KL Gradient Flows: Otto-Wasserstein, Fisher-Rao-Gaussian, and Local-Estimator Dynamics
Department of Mathematics, KTH Royal Institute of Technology(数学系,皇家理工学院)
建立统一的包含性KL推理梯度流和PDF框架,表明最大均值差异最小化可视为含近似梯度估计器的包含性KL推理,还开发了直接针对包含性KL散度的梯度流,为高斯变分推理提供基础。
2026-07-07 cs.LG math.OC stat.ML
Multi-Objective Optimization via Wasserstein-Fisher-Rao Gradient Flow
Stanford University(斯坦福大学);Amazon(亚马逊公司)
本文提出一种受分子动力学启发的交互粒子多目标优化方法,结合Langevin动力学与生灭过程,通过支配势引导粒子,可处理复杂Pareto前沿,并在理论和实验上验证了其优越性。
2024-11-21 cs.LG math.OC stat.ML
Fisher-Rao Gradient Flows of Linear Programs and State-Action Natural Policy Gradients
RWTH Aachen University(亚琛工业大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
本文研究线性规划的Fisher-Rao梯度流,证明其线性收敛并改进熵正则化误差界,进而扩展至扰动情形,涵盖状态-动作自然策略梯度的次线性收敛分析。
2026-09-11 cs.LG cs.NA cs.SY
Adversarial Robustness via Fisher-Rao Regularization
McGill University(麦吉尔大学);ETS Montreal(蒙特利尔高等技术学院);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);International Laboratory on Learning Systems(国际学习系统实验室)
对抗鲁棒性已经成为机器学习中越来越感兴趣的话题,因为人们观察到神经网络往往是脆弱的。我们提出了一种对抗性防御的信息几何公式,并引入了FIRE,这是一种新的Fisher-Rao正则化,用于分类交叉熵损失,它基于对应于自然和扰动输入特征的softmax输出之间的测地线距离。基于softmax分布类的信息几何性质,我们导出了二进制和多类情况下Fisher-Rao距离(FRD)的显式表征,并绘制了一些有趣的性质以及与标准正则化度量的联系。此外,对于一个简单的线性和高斯模型,我们表明,所有的帕累托最优点的准确性鲁棒性区域可以达到消防,而其他国家的最先进的方法失败。从经验上讲,我们评估了在标准数据集上使用所提出的损失训练的各种分类器的性能,在干净和鲁棒性能方面同时显示出高达1%的改进,同时比性能最好的方法减少了20%的训练时间。
2022-06-13 cs.CV cs.LG
PPO in the Fisher-Rao geometry
Center for Advanced Intelligence Project, RIKEN AIP, Japan(日本RIKEN AIP高级智能项目中心);School of Mathematics, University of Edinburgh, UK(爱丁堡大学数学学院);School of Mathematics, University of Edinburgh, UK, The Alan Turing Institute, UK(爱丁堡大学数学学院、英国艾伦·图灵研究所)
本文提出Fisher-Rao PPO,通过Fisher-Rao几何改进PPO的理论保证,实现亚线性收敛并增强强化学习的稳定性。
2026-11-06 cs.LG math.OC
Fisher-Rao Metric, Geometry, and Complexity of Neural Networks
University of Chicago(芝加哥大学);MIT(麻省理工学院);University of Pennsylvania(宾夕法尼亚大学)
我们从不变性的角度研究了深度神经网络的几何和容量度量之间的关系。我们引入了一个新的容量概念-Fisher-Rao范数-它具有理想的不变性,并受到信息几何的启发。我们发现了新的能力测度的分析特征,通过它我们建立了规范比较不等式,并进一步表明,新的测度可以作为现有的几个基于规范的复杂性测度的保护伞。我们讨论了所提出的措施引起的泛化误差的上界。CIFAR-10上的大量数值实验支持了我们的理论研究结果。我们的理论分析依赖于一个关键的结构引理偏导数的多层整流网络。
2019-02-23 cs.AI cs.LG stat.ML
Fisher-Rao distance and pullback SPD cone distances between multivariate normal distributions
Sony Computer Science Laboratories Inc.(索尼计算机科学实验室公司)
本文提出快速稳健逼近多元正态分布间Fisher-Rao距离的方法,并引入基于SPD锥嵌入的拉回Hilbert锥距离,该距离计算量小且可用于聚类任务。
2024-06-10 cs.LG stat.ML
Wasserstein-Fisher-Rao Document Distance
Tsinghua University(清华大学)
作为自然语言处理的一个基本问题,文档间距离的度量是一个重要的问题。在现有的方法中,单词移动者距离(WMD)作为一个无参数模型,具有清晰的物理洞察力,在文档语义匹配方面取得了显着的成功。然而,WMD本质上是基于经典的Wasserstein度量,因此它往往不能鲁棒地表示不同长度的文本之间的语义相似性。在本文中,我们应用新开发的Wasserstein-Fisher-Rao(WFR)度量不平衡最优传输理论来衡量不同的文件之间的距离。WFR文档距离保持了WMD的可解释性和简单性。我们证明了WFR文档距离在比较不同长度的文本时具有显着的优势。此外,一个加速的Sinkhorn为基础的算法与GPU实现已经开发的WFR距离的快速计算。在八个数据集上的KNN分类结果表明,它明显优于WMD。
2019-07-11 cs.CL cs.LG stat.ML
Fisher-Rao Gradient Flow: Geodesic Convexity and Functional Inequalities
本文研究Fisher-Rao度量下的梯度流动力学,探讨测地凸性与函数不等式,提出不依赖目标分布log-concavity或log-Sobolev常数的分析方法,确保动力学收敛速率在一般分布下保持一致。
2026-03-13 cs.LG math.AP math.FA
Neural Sampling with Reweighted Normalizing Flows via the Wasserstein--Fisher--Rao JKO Scheme
RWTH Aachen University(亚琛工业大学);University of Göttingen(哥廷根大学);TU Berlin(柏林工业大学)
提出一种基于WFR JKO方案的重加权归一化流神经采样算法,证明其指数收敛性,并在多模态目标上验证了有效性。
2026-10-08 cs.LG cs.NA math.NA
Projected Wasserstein-Fisher-Rao Flows for Hawkes Background-Intensity Estimation
Facultad de Ciencias, Universidad Autónoma de México(墨西哥国立自治大学理学院);Department of Probability and Statistics, Centro de Investigación en Matemáticas A.C.(数学研究中心概率与统计系)
针对触发机制已知的霍克斯过程背景强度估计问题,提出基于Wasserstein-Fisher-Rao几何的似然变分方法,通过投影到统计流形得到有限维方案,建立了可测估计量的条件一致性定理。
2026-10-15 cs.LG stat.ML
Variational Formulation of Particle Flow
Contextual Robotics Institute University of California, San Diego(情境机器人研究所 加州大学圣地亚哥分校)
本文提出了一种基于变分推断的粒子流公式,通过高斯近似和混合模型提升了模型的表达能力,并在不同维度的估计问题中验证了其有效性。
2026-03-05 cs.LG stat.ML
Learning Gaussian Mixtures Using the Wasserstein-Fisher-Rao Gradient Flow
Princeton University(普林斯顿大学);Columbia University(哥伦比亚大学);MIT(麻省理工学院)
高斯混合模型形成了一个灵活的和富有表现力的参数分布族,已经在各种各样的应用中找到了应用。不幸的是,从计算的角度来看,将这些模型拟合到数据是一个非常困难的问题。目前,只有基于矩的方法享有理论上的保证,而基于似然的方法主要是由数学,如期望最大化,是已知的失败,在简单的例子。在这项工作中,我们提出了一个新的算法来计算高斯混合模型中的非参数最大似然估计(NPMLE)。我们的方法是基于梯度下降的空间上的概率测度配备了Wasserstein-Fisher-Rao几何,我们建立收敛保证。在实践中,它可以近似使用相互作用的粒子系统,其中粒子的权重和位置交替更新。我们进行了广泛的数值实验,以确认所提出的算法的有效性相比,不仅经典的基准,但也类似的梯度下降算法相对于简单的几何形状。特别是,这些模拟说明了更新相互作用粒子的权重和位置的好处。
2023-01-04 cs.LG math.OC math.ST
An operator splitting analysis of Wasserstein--Fisher--Rao gradient flows
Collegio Carlo Alberto(卡尔罗阿尔贝托学院);University of Turin(都灵大学);GNAMPA-INdAM;ESOMAS;School of Mathematics & Statistics(数学与统计学学院);UNSW Sydney(新南威尔士大学悉尼分校)
本文分析了WFR梯度流中算子分裂顺序对收敛速度的影响,提出变分公式并给出W-FR分裂优于FR-W分裂的条件,同时证明了WFR流保持对数凹性并获得衰减界。
2026-09-17 cs.LG stat.ME stat.ML
A Fisher-Rao gradient flow for entropy-regularised Markov decision processes in Polish spaces
University of Edinburgh(爱丁堡大学);Imperial College London(帝国理工学院)
本文针对 Polish 空间中的无限时域熵正则化 MDP,提出 Fisher-Rao 策略梯度流,并借助性能差异引理与对偶关系证明其全局适定性、指数收敛及梯度评估稳定性。
2025-06-06 cs.LG math.OC math.PR
Functionality-Oriented LLM Merging on the Fisher--Rao Manifold
Pennsylvania State University(宾夕法尼亚州立大学)
本文提出在Fisher-Rao流形上计算加权Karcher均值,以实现更稳定的LLM融合,提升模型性能。
2026-03-05 cs.CL cs.LG
A deep learning framework for geodesics under spherical Wasserstein-Fisher-Rao metric and its application for weighted sample generation
Shanghai Jiao Tong University(上海交通大学);Duke University(杜克大学)
Wasserstein-Fisher-Rao(WFR)距离是衡量两种Radon测量值差异的一组度量,它考虑了运输和重量变化。球面WFR距离是概率测度的WFR距离的投影形式,因此具有WFR的Radon测度空间可以看作是具有球面WFR的概率测度空间上的度量锥。与Wasserstein距离相比,球面WFR下的测地线的理解还不太清楚,仍然是一个正在进行的研究热点。在本文中,我们开发了一个深度学习框架来计算球形WFR度量下的测地线,并且可以采用学习的测地线来生成加权样本。我们的方法是基于一个Benamou-Brenier型动态制定球形WFR。为了克服权值变化带来的边界约束难以实现的问题,在代价函数中引入了基于逆映射的Kullback-Leibler(KL)发散项。此外,引入了一个新的正则化项,用粒子速度代替动力学公式中的Hamilton-Jacobi方程。当用于样本生成,我们的框架可以是有益的应用程序与给定的加权样本,特别是在贝叶斯推理,与以前的流模型的样本生成相比。
2022-08-25 cs.LG math.PR
Sampling in Unit Time with Kernel Fisher-Rao Flow
Center for Computational Science and Engineering, Massachusetts Institute of Technology(麻省理工学院计算科学与工程中心)
本文提出一种基于核Fisher-Rao梯度流的无梯度平均场ODE及相互作用粒子系统,通过求解Poisson方程实现从未归一化目标密度中采样,实证表明其性能优于同类无梯度方法且媲美基于梯度的方法。
2024-06-05 cs.LG stat.CO stat.ML
An approach to Fisher-Rao metric for infinite dimensional non-parametric information geometry
本文提出了一种基于正交分解的框架,用于解决无限维非参数信息几何中Fisher-Rao度量的不可解问题,并引入协变量信息矩阵和G-熵,为半参数估计器提供方差限制。
2026-01-07 cs.LG stat.ML
Wasserstein-Fisher-Rao Embedding: Logical Query Embeddings with Local Comparison and Global Transport
HKUST(香港科技大学);Tsinghua University(清华大学);NVIDIA(英伟达)
本文提出Wasserstein-Fisher-Rao嵌入(WFRE),利用非平衡最优传输理论平衡局部比较与全局传输,实现知识图谱复杂查询的高效嵌入,并在标准及层次数据集上超越现有方法。
2023-05-06 cs.AI cs.DB cs.LG
Neural Sampling from Boltzmann Densities: Fisher-Rao Curves in the Wasserstein Geometry
Institute of Mathematics(数学研究所);TU Berlin(柏林工业大学)
本文研究从非归一化玻尔兹曼密度采样问题,针对线性插值的质量瞬移缺陷,提出仅参数化能量并固定适当速度场的插值方法,对应Langevin动力学下KL散度的Wasserstein梯度流,并通过数值实验验证其有效性。
2024-10-04 cs.LG math.AP math.PR
Boosting Adversarial Training via Fisher-Rao Norm-based Regularization
University of Liverpool(利物浦大学)
本文利用Fisher-Rao范数分析模型复杂度并提出LOAT正则化框架,有效缓解了对抗训练中鲁棒性与准确性的权衡问题,显著提升了多种主流算法的性能。
2024-03-26 cs.CV cs.LG
Weighted Stochastic Differential Equation to Implement Wasserstein-Fisher-Rao Gradient Flow
本文提出通过带权随机微分方程实现Wasserstein-Fisher-Rao梯度流,以改进生成建模中的采样效率。
2025-12-19 cs.AI cs.LG stat.ML
Preventing Model Collapse: A Fisher-Rao Perspective on the Dynamics of Training with Synthetic Data
University of California at Los Angeles(加州大学洛杉矶分校)
本文从Fisher-Rao信息几何视角分析合成数据训练动态,推导出稳定且不随维度退化的收缩与不变性界,从而重新确定了防止模型崩溃所需的人类数据与合成数据最小比例。
2026-09-17 cs.LG cs.SY eess.SY
Efficient, Multimodal, and Derivative-Free Bayesian Inference With Fisher-Rao Gradient Flows
California Institute of Technology(加州理工学院)
本文提出基于Fisher-Rao梯度流的无导数贝叶斯推断框架GMKI,通过高斯混合近似与Kalman方法论,系统解决了前向模型评估昂贵、多模态及梯度不可行的计算挑战。
2024-10-11 cs.LG cs.NA math.DS
Prompts Live on an Arc: Gaussian Curricula in Fisher--Rao Coordinates for Rollout-Efficient GRPO
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of Washington(华盛顿大学)
本研究提出ARCUS采样器,利用Fisher--Rao弧长坐标设计高斯课程,通过卡尔曼滤波选择信息组,提升GRPO效率,在数学推理基准上平均准确率提高2.8-2.9点,滚动减少48-57%。
2026-09-30 cs.LG
How Inefficient Is Natural Gradient Descent? From Exact Optimality to Θ( \sqrt{ \log d } ) Divergence
Texas A&M University(德克萨斯农工大学)
本文量化自然梯度下降相对 Fisher--Rao 测地线的低效率比 R,证明其从精确最优(二次势族)到随维度 d 按 Θ(√log d) 增长(尺度族乘积)的三种情形,并指出计算代价随 R 增加。
2026-10-07 cs.LG stat.ML
Parametric information geometry with the package Geomstats
我们介绍Python包Geomstats的信息几何模块。该模块首先实现了广泛使用的概率分布参数族的Fisher-Rao黎曼流形,例如正态分布、伽玛分布、贝塔分布、狄利克雷分布等。该模块进一步给出了任何参数化分布族的Fisher-Rao黎曼几何,给定参数化概率密度函数作为输入。实现的黎曼几何工具允许用户比较,平均,插值分布在一个给定的家庭。重要的是,这种能力为概率分布的统计和机器学习打开了大门。我们提出了面向对象的实现模块以及说明性的例子,并展示了它如何可以用来执行参数概率分布流形上的学习。
2022-11-21 cs.LG cs.MS
Measuring Data Leakage in Machine-Learning Models with Fisher Information
Facebook AI Research(Facebook人工智能研究院)
机器学习模型包含关于它们被训练的数据的信息。这些信息通过模型本身或模型所做的预测泄露。因此,当训练数据包含敏感属性时,评估信息泄漏量是至关重要的。我们提出了一种方法来量化这种泄漏使用Fisher信息的模型的数据。与差分隐私的最坏情况的先验保证不同,Fisher信息损失测量数据集中特定示例、属性或子群体的泄漏。我们通过Cramér-Rao界激励Fisher信息损失,并描绘了隐含的威胁模型。我们提供了有效的方法来计算输出扰动广义线性模型的Fisher信息损失。最后,我们实证验证了Fisher信息损失作为信息泄露的有用衡量标准。
2021-08-23 cs.CR cs.LG
Learning under Distributional Drift: Prequential Reproducibility as an Intrinsic Statistical Resource
Innovative Defense Technologies (IDT)(创新防御技术(IDT))
本文研究了在分布漂移下学习的问题,提出了一种内在的漂移预算$C_T$,用于量化数据分布沿实际学习者-环境轨迹的累积信息几何运动,以 Fisher-Rao 距离衡量。该预算将外生环境变化与学习者动作引起的反馈分离,从而提供了基于速率的预quential可再现性特征。文章证明了漂移反馈界,并建立了匹配的下界,展示了平均 Fisher-Rao 运动率的依赖性是紧的。此外,还证明了信息论上的不可区分性结果,并通过实验表明适当选择的监控通道可以保留风险相关的漂移信号。
2026-05-18 cs.LG stat.ML