Geometric Inference for General High-Dimensional Linear Inverse Problems
本文提出了一个统一的几何框架的一般不适定线性逆模型的统计分析,其中包括作为特殊情况的噪声压缩感知,符号向量恢复,跟踪回归,正交矩阵估计,和噪声矩阵完成。我们提出了计算上可行的凸规划的统计推断,包括估计,置信区间和假设检验。一个理论框架的特点的局部估计收敛速率,并提供统计推断保证。我们的结果是建立在局部圆锥几何和对偶的基础上。统计推断的困难是通过高斯宽度和Sudakov minoration估计的局部切锥的几何特征来捕获的。
2015-06-16 math.ST stat.ML stat.TH
Rates of Convergence of Generalised Variational Inference Posteriors under Prior Misspecification
University of Warwick(华威大学)
本文研究了在先验不规范情况下,广义变分推断后验的收敛速度和鲁棒性,提出了存在性和唯一性的充分条件以及收敛速度的理论保障。
2025-12-03 math.ST stat.ML stat.TH
Bayesian Nonparametric Inference in Elliptic PDEs: Convergence Rates and Implementation
本文针对椭圆PDE中的扩散系数推断问题,提出基于高斯级数先验的贝叶斯非参数方法,推导后验一致性与收敛速率,并通过数值模拟验证理论。
2025-04-23 math.ST stat.TH
Applications of Structural Statistics: Geometric Inference in Exponential Families
指数族包括一大类统计模型和参数族,如正态分布、二项分布、Γ分布或指数分布。因此,它的概率分布的形式表示诱导一个有限的内在结构,这似乎是一个双平坦的统计流形。相反,可以证明,任何由正则Bregman发散给出的对偶平坦统计流形唯一地诱导出正则指数族,使得指数族可以-在某些限制下-被视为对偶平坦统计流形的普适表示。本文从结构分层学的角度,对甘利俊一关于指数族的内禀结构的开创性工作进行了评述。
2020-06-20 math.ST stat.TH
A Geometric Perspective on Bayesian and Generalized Fiducial Inference
本文利用微分几何提出一种新的数据后推断刻画方式,证明贝叶斯后验与广义置信分布可由同一数据决定的流形上的绝对连续分布表征,并支持流形MCMC采样。
2023-10-01 math.ST stat.ME stat.TH
MCMC-Based Inference in the Era of Big Data: A Fundamental Analysis of the Convergence Complexity of High-Dimensional Chains
马尔可夫链蒙特卡罗(MCMC)是现代贝叶斯方法学的核心,没有MCMC,许多贝叶斯方法都是不可能实现的,因此MCMC的收敛性得到了广泛的关注,特别是几何遍历性的证明。然而,对MCMC从现代高维后验中采样的能力的信任受到了广泛的认识的限制,即这些链通常会遇到严重的收敛问题。在本文中,我们首先证明,当代方法获得收敛速度有严重的局限性时,尺寸的增长。然后,我们提出了一个框架,严格建立常用的高维MCMC的收敛行为。特别是,我们从理论上证明了流行MCMCCs的收敛问题的精确性质和严重性时,在高维实现,包括在各种$n$和$p$制度的收敛速度的相变,和整个频谱的模型的普遍性结果。我们还表明,收敛问题有效地消除了明显的保障几何遍历。然后,我们证明MCMCMCs的理论原则,可以构建和分析,以产生有界的几何收敛速度,即使尺寸$p$增长没有约束。此外,我们提出了一个诊断工具,建立收敛。
2015-08-27 math.PR math.ST stat.ME
Bayes posterior convergence for loss functions via almost additive Thermodynamic Formalism
统计推断可以看作是涉及输入信息和输出信息的信息处理过程,它更新了对某些未知参数的信念。我们认为贝叶斯框架的动力系统从遍历的观察,贝叶斯过程是基于吉布斯后验推理,一个决策过程推广的标准贝叶斯推理的可能性是由指数的损失函数。在直接观测和几乎可加损失函数的情形下,证明了后验测度在极限测度下的指数收敛性。我们对直接观测的贝叶斯后验收敛的估计是相关的,并推广了K。McGoff,S. Mukherjee和A.诺贝尔奖我们的方法利用非添加剂的热力学形式主义和大偏差属性,而不是连接。
2022-01-13 math.DS math.PR math.ST
Empirical likelihood and uniform convergence rates for dyadic kernel density estimation
本文研究了二进数据核密度估计的渐近性质和替代推断方法。我们首先建立统一的收敛速度并元KDE。其次,我们提出了一个改进的刀切经验似然推理过程。建议的检验统计量是渐近的关键,无论存在的二元聚类。结果被进一步扩展到涵盖实际相关的情况下,不完整的二元数据。仿真结果表明,这种改进的刀切式经验似然推理过程提供了精确的覆盖概率,即使在适度的样本大小和不完整的二元数据。最后,我们通过研究美国的机场拥堵来说明这种方法。
2022-05-13 econ.EM math.ST stat.TH
Online Expectation Maximization based algorithms for inference in hidden Markov models
期望最大化(EM)算法是潜在数据模型中模型参数估计的通用工具。然而,当处理大数据集或数据流时,EM变得棘手,因为它要求在算法的每次迭代时整个数据集可用。在这篇文章中,提出了一种新的通用在线EM算法的模型参数推断一般隐马尔可夫模型。这种新算法在处理(在线)一组观测值后更新参数估计。这种新算法的收敛性,建立和收敛速率的研究表明块大小的影响。还提出了一种平均过程,以提高收敛速率。最后,实际的插图,突出这些算法的性能相比,其他在线最大似然程序。
2012-10-16 math.ST stat.TH
Convergence and inference for mixed Poisson random sums
本文给出了一类混合泊松分布下随机数项部分和的极限分布。得到的弱极限是一个正态分布和一个指数族的混合,我们称之为正态指数族(NEF)定律。引入新的稳定性概念,建立了α-稳定分布与NEF律之间的关系.我们提出了估计的NEF模型的参数,通过矩的方法,也通过最大似然法,这是通过一个期望最大化算法进行。蒙特卡洛模拟研究,以检查所提出的估计和金融市场的实证说明的性能。
2020-05-07 math.PR math.ST stat.TH
Bayesian inference as iterated random functions with applications to sequential inference in graphical models
本文提出了具有半群性质的迭代随机函数的一般形式,在此形式下,精确和近似的贝叶斯后验更新可以看作是具体的例子。给出了迭代随机函数的一个收敛定理。作为一般理论的应用,我们分析的收敛行为的精确和近似的消息传递算法中出现的顺序变点检测问题,制定通过一个潜在的变量有向图模型。通过仿真实例说明了顺序推理算法及其支持理论。
2013-11-01 math.ST stat.ME stat.ML
On the Convergence of Coordinate Ascent Variational Inference
针对平均场变分推断中CAVI收敛理论不足的问题,本文利用泛函分析与优化工具研究两块CAVI,提出广义相关性刻画块间作用,并给出全局或局部指数收敛条件及收缩率上界。
2023-06-01 cs.LG math.ST stat.ML
Consistency of Variational Inference for Nonlinear Inverse Problems of Partial Differential Equations
School of Mathematics and Statistics, Xi’an Jiaotong University(西安交通大学数学与统计学院);Ministry of Education Key Lab of Intelligent Networks and Network Security, Xi’an Jiaotong University(西安交通大学智能网络与网络安全教育部重点实验室);Pazhou Laboratory (Huangpu)(琶洲实验室(黄埔))
研究非线性PDE反问题中变分后验分布的收敛速度,提出基于修正“先验质量与检验”框架的一般条件,证明收敛速度可分解为真实分布项和变分近似项,且真实分布项主导,验证了变分推断方法的有效性。
2026-06-17 math.ST stat.TH
Rate of convergence for geometric inference based on the empirical Christoffel function
CNRS(法国国家科学研究中心);UT3(图卢兹第三大学);Institut de Recherche en Informatique de Toulouse(图卢兹计算机科学研究所);IRT Saint Exupery(圣埃克苏佩里技术研究院)
我们考虑的问题,估计支持的措施,从一个有限的,独立的,样本。所考虑的估计量是基于经验Christoffel函数构造的。这样的估计已经提出了问题的集合估计与启发式的理由。我们进行了详细的有限样本分析,使我们能够选择阈值和度参数作为样本量的函数。我们提供了一个收敛速度分析所产生的支持估计过程。我们的分析表明,我们可以获得有限的样本范围,这是现有的利率相比,不同的估计程序。我们的结果依赖于经验Christoffel函数的浓度不等式以及具有光滑边界的集合上Christoffel-Darboux核的上确界的估计,这可以被认为是独立感兴趣的。
2020-05-19 cs.LG math.ST stat.TH
Convergence of coordinate ascent variational inference for log-concave measures via optimal transport
Columbia University(哥伦比亚大学)
本文针对对数凹测度下坐标上升变分推断(CAVI)收敛性不明确的问题,借助最优传输中的位移凸性性质,证明了CAVI的收敛性,并分别给出了对数凹密度带Lipschitz梯度及强对数凹情形下的线性与指数收敛速率。
2024-04-12 cs.LG math.OC math.PR
Sparse Group Lasso: Optimal Sample Complexity, Convergence Rate, and Statistical Inference
University of Pennsylvania(宾夕法尼亚大学);Duke University(杜克大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们研究了高维双稀疏线性回归的稀疏群Lasso,其中感兴趣的参数同时是元素和群稀疏的。这个问题是同时结构化模型的一个重要实例,同时结构化模型是统计学和机器学习中一个积极研究的课题。在无噪声的情况下,匹配的上界和下界的样本复杂度分别建立了稀疏向量的精确恢复和近似稀疏向量的稳定估计。在有噪声的情况下,估计误差的上限和匹配的极大极小下界。我们还考虑了去偏稀疏群Lasso,并研究了它的渐近性质,以便进行统计推断。最后,数值研究提供了支持的理论结果。
2022-05-07 cs.LG math.ST stat.ML
Geometric convergence of elliptical slice sampling
Georg-August-Universität Göttingen(哥廷根大学);Technische Universität Bergakademie Freiberg(弗赖贝格工业大学)
对于贝叶斯学习,给定似然函数和高斯先验,Murray,Adams和MacKay 2010年引入的椭圆切片采样器提供了一种用于构建马尔可夫链的工具,用于对底层后验分布进行近似采样。除了它的广泛适用性和简单性之外,它的主要特点是不需要调优。在弱正则性的假设下,我们证明了相应的马尔可夫链是几何遍历的,因此产生定性的收敛保证。我们说明我们的结果高斯后验,因为它们出现在高斯过程回归,以及在设置的多模态分布。值得注意的是,我们的数值实验表明,即使在我们的遍历性结果不适用的情况下,椭圆切片采样的维度无关的性能。
2021-07-23 cs.LG math.ST stat.ML
Statistical inference for function-on-function linear regression
函数对函数线性回归对于理解响应和预测变量(均为函数)之间的关系非常重要。在这篇文章中,我们提出了一个再生核希尔伯特空间的方法来函数的函数线性回归通过惩罚最小二乘,正则化的薄板样条光滑惩罚。研究了系数函数估计的极小极大最优收敛速度。我们推导出Bahadur表示,这使我们能够提出统计推断的方法,使用自举和收敛的Banach值随机变量的超规范。我们说明我们的方法,并验证我们的理论结果,通过模拟数据实验和真实数据的例子。
2021-09-28 math.ST stat.TH
Geometric Methods for Sampling, Optimisation, Inference and Adaptive Agents
University of Cambridge(剑桥大学);The Alan Turing Institute(阿兰·图灵研究所);Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of California, Berkeley(加州大学伯克利分校)
在这一章中,我们确定基本的几何结构,抽样,优化,推理和自适应决策的问题。基于这种识别,我们推导出算法,利用这些几何结构来有效地解决这些问题。我们表明,广泛的几何理论自然出现在这些领域,从测量保持过程,信息发散,泊松几何,几何整合。具体来说,我们解释如何(i)利用辛几何的哈密顿系统使我们能够构建(加速)采样和优化方法,(ii)希尔伯特子空间和Stein算子的理论提供了一个通用的方法来获得强大的估计,(iii)保持决策的信息几何产生自适应代理,执行主动推理。在整个过程中,我们强调这些领域之间的丰富联系;例如,推理利用抽样和优化,适应性决策通过推断其反事实后果来评估决策。我们的论述提供了基本思想的概念概述,而不是技术讨论,这可以在本文的参考文献中找到。
2022-07-25 cs.LG math.DG math.OC
Statistical Inferences Using Large Estimated Covariances for Panel Data and Factor Models
虽然大多数文献中关于高维协方差阵的收敛性结果关注估计协方差阵(和精度矩阵)的准确性,但相对较少了解估计大协方差对统计推断的影响。我们研究两个重要的模型:因子分析和交互效应的面板数据模型,重点研究了基于大协方差估计的结构参数的统计推断和估计效率。为了有效地估计,这两个模型都需要加权主成分(WPC),它依赖于一个高维的权重矩阵。本文使用Fan et al.(2013)的协方差阵估计量导出了一个有效可行的WPC。然而,我们证明了现有的结果大协方差估计的基础上绝对收敛是不适合的统计推断的结构参数。所需要的是一些加权的一致性和相关的收敛速率,这是本文得到的。最后,将该方法应用于美国离婚率数据。我们发现,有效的WPC识别离婚率的离婚法改革的显着影响,它提供了更准确的估计和更严格的置信区间比现有的方法。
2013-11-12 math.ST stat.TH
General Robust Bayes Pseudo-Posterior: Exponential Convergence results with Applications
虽然贝叶斯推理在包括统计学家在内的很大一部分科学家中是一种非常流行的范式,但大多数应用都考虑了客观的先验知识,需要进行严格的调查(Efron,2013,Science)。虽然它有几个最佳的属性,贝叶斯推理的一个主要缺点是缺乏对数据污染和模型错误指定的鲁棒性,这在使用客观先验时变得有害。本文给出了一种能产生稳健推断的Bayes伪后验分布的一般形式。在一般的参数设置下建立了与新的伪后验估计和相应的Bayes估计相关的指数收敛结果,并对独立平稳和非齐次模型进行了说明.几个额外的细节和属性的过程中描述,包括固定设计回归模型下的估计。
2020-09-10 math.ST stat.ME stat.TH
Mean-field variational inference with the TAP free energy: Geometric and statistical properties in linear models
University of California, Berkeley(加州大学伯克利分校);Yale University(耶鲁大学)
本研究针对高维贝叶斯线性模型,提出最小化TAP自由能进行平均场变分推断,证明其局部极小值提供一致且校准的后验估计,并给出AMP算法及线性收敛保证。
2023-11-14 cs.LG math.ST stat.ML
Dynamics of coordinate ascent variational inference: A case study in 2D Ising models
变分算法在过去的二十年中作为贝叶斯推理的可扩展计算环境而获得了突出地位。在这篇文章中,我们探索工具,从动力系统文献研究收敛的坐标上升算法的平均场变分推理。针对两个节点上的伊辛模型,我们充分刻画了顺序坐标上升算法及其并行版本的动力学特性。我们观察到,在政权的目标函数是凸的,这两个算法是稳定的,并表现出收敛到唯一的不动点。我们的分析揭示了有趣的{ \em不一致}这两个版本的算法在该地区时,目标函数是非凸的。事实上,并行版本表现出周期性的振荡行为,这是不存在的顺序版本。从马尔可夫链蒙特卡洛文献的直觉,我们{ \em经验}表明,伊辛模型的参数扩展,俗称爱德华-索卡尔耦合,导致扩大的制度收敛到全局最优。
2020-07-13 math.DS math.ST stat.TH
Convergence rate of random scan Coordinate Ascent Variational Inference under log-concavity
本文研究了目标密度满足对数凹性假设下随机扫描 Coordinate Ascent Variational Inference 算法的收敛速率,证明其收敛所需因子更新次数与条件数和块数呈线性缩放,优于确定性扫描情形的二次缩放。
2024-09-23 math.OC math.PR math.ST
From Global to Local Correlation: Geometric Decomposition of Statistical Inference
University of Maryland School of Medicine(马里兰大学医学院)
针对高维数据全局关联方法遗漏亚群异质模式的问题,提出基于黎曼图的几何分解框架,通过两种局部划分策略实现更精准的统计推断与多模态整合。
2025-11-19 math.ST stat.ME stat.ML