Kernel Approximation of Fisher-Rao Gradient Flows
Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机学研究所);Humboldt University of Berlin(柏林洪堡大学)
本文研究Fisher-Rao与Wasserstein梯度流的核逼近,构建理论框架,刻画MMD空间梯度流并证明演化Γ-收敛,为生成建模等机器学习应用提供统一理论基础。
2024-10-27 cs.LG math.AP stat.ML
Mini-Batch Covariance, Diffusion Limits, and Oracle Complexity in Stochastic Gradient Descent: A Sampling-Design Perspective
Muma College of Business, University of South Florida(佛罗里达州立大学马纳学院);McCombs School of Business, University of Texas at Austin(德克萨斯大学奥斯汀分校麦克纳学院)
本文从采样设计角度研究了随机梯度下降中最小批量梯度噪声的协方差特性,推导了扩散极限与Oracle复杂度的理论边界,并通过数值实验验证了相关结论。
2026-04-15 cs.LG math.OC stat.ML
Bayesian Posterior Sampling via Stochastic Gradient Fisher Scoring
UC Irvine(加州大学尔湾分校)
在本文中,我们解决了以下问题:如果我们只允许接触我们生成的每个样本的一小部分数据项,我们可以近似地从贝叶斯后验分布中采样吗?以前提出了一种基于随机梯度的Langevin方程(SGLD)的算法来解决这个问题,但其混合速度很慢。通过利用贝叶斯中心极限定理,我们扩展了SGLD算法,以便在高混合速率下,它将从后验的正态近似进行采样,而对于低混合速率,它将用预处理矩阵模仿SGLD的行为。作为奖励,所提出的算法是让人想起费舍尔评分(随机梯度),并作为这样一个有效的优化器在老化。
2012-06-27 cs.LG stat.CO stat.ML
Neural Sampling with Reweighted Normalizing Flows via the Wasserstein--Fisher--Rao JKO Scheme
RWTH Aachen University(亚琛工业大学);University of Göttingen(哥廷根大学);TU Berlin(柏林工业大学)
提出一种基于WFR JKO方案的重加权归一化流神经采样算法,证明其指数收敛性,并在多模态目标上验证了有效性。
2026-10-08 cs.LG cs.NA math.NA
Optimal Preconditioning and Fisher Adaptive Langevin Sampling
Google DeepMind(谷歌DeepMind)
本文通过解析优化期望平方跳跃距离,提出以逆 Fisher 信息协方差矩阵作为 Langevin 扩散的最优预条件,并据此设计了一种从梯度历史中高效学习预条件的自适应 MALA 算法,在高维实验中显著优于现有方法。
2023-10-28 cs.LG stat.CO stat.ML
The Cosine Schedule is Fisher-Rao-Optimal for Masked Discrete Diffusion Models
University of Oxford(牛津大学);University of British Columbia(不列颠哥伦比亚大学)
本文从信息几何角度研究掩码离散扩散模型的采样调度,证明Fisher-Rao几何下的最优调度即常用的余弦调度。
2025-10-05 cs.LG stat.ML
Model selection by minimum description length: Lower-bound sample sizes for the Fisher information approximation
费舍尔信息近似(FIA)是模型选择的最小描述长度原则的一种实现。与AIC或BIC等信息标准不同,它的优点是考虑了模型的函数形式。不幸的是,FIA在有限样本中可能会产生误导,导致在最坏的情况下竞争模型的复杂性项的正确秩序颠倒。作为补救措施,我们提出了一个下限$N'$的样本量,足以排除这种错误。我们用三个例子来说明这种方法从家庭的多项式处理树模型。
2018-08-01 stat.CO stat.ME stat.ML
Information-geometric adaptive sampling for graph diffusion
School of Information Science and Engineering(信息科学与工程学院)
本文提出基于信息几何的图扩散自适应采样方法,通过Fisher-Rao度量定义信息速度,提升分子和社会网络生成的结构保真度和采样效率。
2026-04-30 cs.CV cs.LG stat.ML
Weighted Stochastic Differential Equation to Implement Wasserstein-Fisher-Rao Gradient Flow
本文提出通过带权随机微分方程实现Wasserstein-Fisher-Rao梯度流,以改进生成建模中的采样效率。
2025-12-19 cs.AI cs.LG stat.ML
Towards a Theory of Non-Log-Concave Sampling: First-Order Stationarity Guarantees for Langevin Monte Carlo
对于从$\mathbb{R}^d$上的密度$π\propto \exp(-V)$采样的任务,其中$V$可能是非凸的,但$L$ -梯度Lipschitz,我们证明了平均朗之万蒙特卡罗输出样本与$\varepsilon$ -相对Fisher信息后,$O( L^2 d^2/\varepsilon^2)$迭代。这是在非凸优化中寻找一个$\varepsilon$近似的一阶稳定点的复杂性界限的采样模拟,因此构成了非对数凹采样的一般理论的第一步。我们讨论了我们的结果的许多扩展和应用,特别是,它产生了一个新的国家的最先进的保证抽样分布,满足庞加莱不等式。
2022-02-10 math.ST stat.ML stat.TH
Sequential Monte Carlo approximations of Wasserstein--Fisher--Rao gradient flows
ESOMAS, University of Turin(都灵大学);Collegio Carlo Alberto(卡洛阿尔贝托学院);School of Mathematics & Statistics, UNSW Sydney(新南威尔士大学悉尼数学与统计学院)
本文提出了一种基于Wasserstein-Fisher-Rao几何的序列蒙特卡罗算法,用于近似Kullback-Leibler散度的梯度流,并通过实证研究验证其有效性。
2026-02-10 cs.NA math.NA stat.CO
Fisher information under local differential privacy
我们开发的数据处理不等式,描述如何从统计样本的Fisher信息可以缩放与隐私参数$\varepsilon$下的本地差分隐私约束。这些界限在统计模型分数分布的一般条件下是有效的,并且它们阐明了在哪些条件下对$\varepsilon$的依赖性是线性的、二次的或指数的。我们展示了这些不等式如何暗示了高斯位置模型和离散分布估计的私人估计的最优下界的所有级别的隐私$\varepsilon>0$。我们进一步将这些不等式应用到稀疏Bernoulli模型中,并证明了具有顺序匹配平方$\ell^2$误差的隐私机制和估计。
2020-05-21 cs.IT math.IT math.ST
Thompson Sampling for 1-Dimensional Exponential Family Bandits
汤普森采样已经在许多复杂的强盗模型中得到了证明,但是对于参数多臂强盗模型的理论保证仍然限于伯努利情况。在这里,我们扩展他们证明渐近最优性的算法使用Jeffreys前1维指数家族土匪。我们的证明建立在以前的工作,但也使广泛使用的封闭形式的库尔贝克-莱布勒散度和费舍尔信息(因此Jeffreys先验)在指数家庭。这使我们能够给出一个有限时间指数集中不等式的后验分布指数家庭,可能是感兴趣的权利。此外,我们的分析涵盖了一些分布,还没有提出乐观的算法,包括重尾指数家庭。
2013-07-12 stat.ML
HodgeRank with Information Maximization for Crowdsourced Pairwise Ranking Aggregation
最近,众包已经成为一个有效的范例,人力大规模的问题解决在各个领域。然而,任务请求者通常具有有限的预算量,因此期望具有明智地分配预算以实现更好质量的策略。在本文中,我们研究的积极抽样策略的HodgeRank框架中的信息最大化的原则,一种基于Hodge分解的成对排序数据与多个工人的方法。该原则展示了两种情况下的主动采样:费舍尔信息最大化,导致无监督采样的基础上的顺序最大化的图代数连通性,而不考虑标签;和贝叶斯信息最大化,选择样本的最大信息增益从之前到后,这给出了一个监督采样,涉及标签收集。实验结果表明,与传统的抽样方案相比,本文提出的方法提高了抽样效率,具有一定的实用价值。
2017-11-16 stat.ML
Simulation-Based Fitting of Intractable Models via Sequential Sampling and Local Smoothing
University of Padova(帕多瓦大学)
本文针对似然与矩均不可解的生成模型,提出一种结合全局搜索与信赖域型Fisher评分局部搜索的通用仿真拟合算法,仅需有限先验信息,并通过对比实验验证其性能,配套R包已上线CRAN。
2025-11-11 stat.CO stat.ME stat.ML