Foundations of Structural Statistics: Statistical Manifolds
结构统计学的应用需要在一致的拓扑统计理论基础上对模型空间的邻近结构进行量化。研究这些结构的一个重要工具是伪黎曼度量,它在统计模型的范畴中由统计分歧引起。本文将拓扑统计模型的微分结构表示法推广到统计流形,并介绍了用微分几何、黎曼几何和辛几何研究分布族的微分几何基础。
2020-06-20 cs.IT math.IT math.ST
Applications of Structural Statistics: Geometric Inference in Exponential Families
指数族包括一大类统计模型和参数族,如正态分布、二项分布、Γ分布或指数分布。因此,它的概率分布的形式表示诱导一个有限的内在结构,这似乎是一个双平坦的统计流形。相反,可以证明,任何由正则Bregman发散给出的对偶平坦统计流形唯一地诱导出正则指数族,使得指数族可以-在某些限制下-被视为对偶平坦统计流形的普适表示。本文从结构分层学的角度,对甘利俊一关于指数族的内禀结构的开创性工作进行了评述。
2020-06-20 math.ST stat.TH
Solution manifold and Its Statistical Applications
解流形是$d$维空间中满足具有$s<d$的$s$方程组的点的集合。解流形出现在几个统计问题中,包括假设检验、曲指数族、约束混合模型、部分识别和非参数集估计。我们从理论上和算法上分析了解流形。在理论上,我们得到了五个有用的结果:光滑性定理,稳定性定理(它包含了插入估计的一致性),梯度流的收敛性,局部中心流形定理和梯度下降算法的收敛性。为了在数值上逼近解流形,我们提出了一种蒙特卡罗梯度下降算法。在似然推断的情况下,我们设计了一个流形约束最大化过程来找到流形上的最大似然估计。我们还开发了一种方法来近似解流形上定义的后验分布。
2021-12-07 cs.CG math.ST stat.CO
Statistical models and probabilistic methods on Riemannian manifolds
这篇文章包含了我的毕业论文的核心材料,很快就会正式提交。它提供了一个独立的介绍,在这篇论文中的原始结果,除了他们的详细证明。这些结果的动机是分析的数据在于黎曼流形。他们的目的是带来一般的,有意义的,和适用的工具,可用于建模,并从这样的“黎曼数据”学习,以及分析可能需要在这种追求的各种算法(采样,优化,随机逼近,.)。黎曼数据和算法的世界可能与欧几里得的世界大不相同,而这种差异正是我的论文中所讨论的数学问题的根源。第一章提供了一些泰勒提出的尺规作图法,用于论文中,而随后的章节(有四个以上),解决了一系列问题,这些问题产生于未解决的挑战,在最近的文献。在目录后面有一页关于如何阅读论文的指南。
2021-01-26 math.ST stat.TH
Projection based dimensionality reduction for measure valued evolution equations in statistical manifolds
本文提出了一种对无限维测度值发展方程(如Fokker-Planck偏微分方程或Kushner-Stratonovich方程)进行降维的方法. Duncan-Mortensen-Zakai非线性滤波的随机偏微分方程,在信号处理、定量金融、热流和量子理论等许多领域具有潜在的应用。我们的方法是基于投影来自一个对偶参数建立在指数统计流形结构G。Pistone和其他作者。选择的有限维流形上的一个应该项目的无限维方程是至关重要的,我们提出了有限维指数和混合家庭。D. Brigo和合著者,但$L^2$结构的空间上的平方根的密度或密度本身被使用,没有采取无限维流形环境空间的方程被投影。在这里,我们重新审视这样的作品从指数统计流形的角度来看,这使得更深层次的几何理解的流形结构在发挥作用。我们还表明,在指数流形结构的投影是一致的Fisher Rao度量,在有限维指数家庭的情况下,与假设的密度近似。进一步,我们证明了如果有限维指数族的充分统计量是在后向扩散算子的本征函数中选取的,那么投影流形或Fisher-Rao投影提供了Fokker-Planck方程解的极大似然估计.最后,我们试图澄清如何有限维和无限维术语指数和混合空间。
2016-10-26 math.PR math.ST stat.TH
Lagrangian and Hamiltonian Mechanics for Probabilities on the Statistical Manifold
我们在概率分布的黎曼流形上给出了经典力学的信息几何公式,黎曼流形是一个具有对偶平坦连接的仿射流形。在一个非参数的形式主义,我们认为一个有限的样本空间上的正概率函数的完整的集合,我们提供了一个具体的表达的正切和余切空间的统计流形,在希尔伯特束结构,我们称之为统计束。在这种情况下,我们计算的速度和加速度的一维统计模型使用的典型的对偶对平行运输和定义一个连贯的形式主义的拉格朗日和哈密顿力学束。最后,在一系列的例子中,我们展示了我们的形式主义如何提供了一个一致的框架,加速自然梯度动力学的概率单纯形,铺平了道路,直接应用于优化,对策论和神经网络。
2022-08-25 cs.IT hep-th math.IT
Doubly Totally-Umbilical Statistical Submanifolds in the Probability Simplex
本文在概率单纯形中完全分类了双全脐统计子流形,这是信息几何中统计子流形理论的一个重要问题。
2026-06-05 math.DG math.ST stat.TH
Differentially Private Fréchet Mean on the Manifold of Symmetric Positive Definite (SPD) Matrices with log-Euclidean Metric
差分隐私在具有严格隐私保证的统计和机器学习算法的实际部署中变得至关重要。最早的统计查询,针对其已经开发了不同的隐私机制,用于发布样本均值。在几何统计学中,样本Fréchet均值代表了最基本的统计摘要之一,因为它概括了属于非线性流形的数据的样本均值。在这种精神下,到目前为止,唯一一个已经开发了差分隐私机制的几何统计查询是为了发布样本Fréchet平均值:最近提出的\emph{Riemannian Laplace mechanism}将完全黎曼流形上的Fréchet平均值私有化。在许多领域中,对称正定(SPD)矩阵的流形用于对数据空间进行建模,包括隐私要求很关键的医学成像。我们提出了一种新的,简单,快速的机制-\emph{tangent Gaussian mechanism} -计算差分私人Fréchet平均的SPD流形赋予对数欧几里德黎曼度量。我们表明,我们的新机制具有显着更好的实用性和计算效率-通过广泛的实验证实。
2023-02-10 math.ST stat.ML stat.TH
Thomas Bayes' walk on manifolds
贝叶斯后验测度的收敛性被认为是在规范的统计设置,其中观察坐在一个几何对象,如一个紧凑的流形,或更一般地在一个紧凑的度量空间验证某些条件。一个自然的几何先验的基础上随机重新标度的热方程的解决方案被认为是。推导了后验收缩率的上界和下界。
2012-06-03 math.ST stat.TH
Infinite-dimensional statistical manifolds based on a balanced chart
我们开发了一个家庭的无限维Banach流形上的抽象可测空间的措施,采用图表之间的密度和日志密度函数的“平衡”。流形$(\tilde{M}_λ,λ\in [2,\infty))$保留了有限维信息几何的许多特征;特别是$α$ -发散属于$C^{\lceilλ\rceil-1}$类,使得能够定义Fisher度量和$α$ -特定类向量场的导数。基于图表中心版本的概率测度流形$(M_λ,λ\in [2,\infty))$被证明是$C^{\lceilλ\rceil-1}$--$\tilde{M}_λ$的嵌入子流形。Fisher度量是$\tilde{M}_λ$上的伪黎曼度量。然而,当限制到有限维嵌入子流形,它成为黎曼度量,允许充分发展的几何$α$ -共变导数。$\tilde{M}_λ$和$M_λ$为贝叶斯估计问题中后验分布的近似值的研究和比较提供了自然设置。
2016-02-09 math.PR math.ST stat.TH
A Generalization of the Pearson Correlation to Riemannian Manifolds
深度学习的应用越来越多,伴随着向高度非线性统计模型的转变。根据它们的几何形状,很自然地将这些模型与黎曼流形等同起来。因此,统计模型的进一步分析提出了相关性度量的问题,即在切空间的切割平面中,相关性度量等于相应的皮尔逊相关性,并扩展到相对于底层流形归一化的相关性度量。在这个目的中,文章重新构造皮尔逊相关的基本性质,从而连续地导出多维的线性推广,并由此导出由黎曼皮尔逊相关给出的主流形的非线性推广。
2020-06-20 math.DG math.ST stat.TH
On the minmax regret for statistical manifolds: the role of curvature
模型的复杂性在其选择中起着至关重要的作用,即通过选择适合数据并且简洁的模型。两部分代码和最小描述长度已经成功地提供了挑选最佳模型的程序,避免了过拟合。在这项工作中,我们追求这种方法,并通过在参数空间中执行进一步的假设来补充它。具体地说,我们假设参数空间是一个光滑流形,利用黎曼几何的工具,我们得到了一个比标准的随机复杂性更清晰的表达式,其中Fisher信息度量的数量曲率起着主导作用.此外,我们推导出一般统计流形的最小最大遗憾,并应用我们的结果,以获得最佳降维的背景下,主成分分析。
2020-07-06 cs.IT math.DG math.IT
Categorical and geometric methods in statistical, manifold, and machine learning
Institute of Mathematics of the Czech Academy of Sciences(捷克科学院数学研究所);Charles University(查理大学);RIKEN Center for Advanced Intelligence Project(日本理化学研究所先进智能项目中心);Torus Action SAS(Torus Action SAS公司);Institut de Mathematiques de Toulouse, Université Toulouse 3(图卢兹数学研究所,图卢兹第三大学);Faculty of Mathematics, Karlsruhe Institute of Technology(卡尔斯鲁厄技术大学数学学院)
本文介绍概率态射范畴及几何方法在统计学习、机器学习和流形学习中的应用,并预告将在专著LMPT2024中深入展开。
2025-05-06 cs.LG math.CT math.DG
A Tractable Pseudo-Metric on Non-Parametric Exponential Statistical Manifolds via SPD Geometry
Indian Institute of Space Science and Technology (IIST)(印度空间科学与技术学院)
研究非参数统计流形上概率分布距离难计算问题,提出两阶段框架,先投影到有限维参数指数族,再嵌入对称正定矩阵流形,得到可计算伪度量及仿射不变检验统计量,应用于两样本检验,无需连续调整参数。
2026-07-14 math.DG math.ST stat.TH
Blessing of Dimensionality for Approximating Sobolev Classes on Manifolds
Department of Applied Mathematics and Theoretical Physics University of Cambridge, UK(应用数学与理论物理系剑桥大学)
本文研究流形上逼近有界Sobolev类所需的统计复杂度下界,证明该下界仅依赖于流形的曲率、体积和单射半径等内在性质,而与嵌入环境维度无关。
2025-05-03 cs.LG math.ST stat.TH
Optimal transport natural gradient for statistical manifolds with continuous sample space
California Institute of Technology(加州理工学院)
该研究针对连续样本空间的参数统计模型,构建Wasserstein统计流形并推导自然梯度下降方法,证明其渐近性能接近牛顿法,通过多种分布模型验证了优化效果优于标准梯度下降。
2020-04-16 cs.IT cs.LG math.IT
Statistical Inference for Rates of Change in Spatial Processes over Riemannian Manifolds
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Drexel University(德雷塞尔大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种在黎曼流形上基于模型的推断方法,用于处理空间过程中变化率的统计推断。
2026-11-10 math.DG math.ST stat.CO
High-dimensional manifold of solutions in neural networks: insights from statistical physics
Bocconi University(博科尼大学)
本文以统计力学回顾感知机解空间,推导 SAT/UNSAT 转变,并刻画零误差解的几何结构、聚类、局部景观及线性模态连通性,解释二值权重模型的算法困难性。
2025-02-19 cond-mat.dis-nn cs.LG math.PR
Geometrical and statistical properties of M-estimates of scatter on Grassmann manifolds
我们考虑的数据从格拉斯曼流形$G(m,r)$的所有向量子空间的$r$的$\mathbb{R}^m$,并专注于格拉斯曼统计模型,这是常用的信号处理和统计。$G(m,r)$上的规范格拉斯曼分布$\mathbb{G}_Σ$由行列式$1$的正定对称矩阵流形$\mathcal{M}= Pos_{sym}^{1}(m)$中的参数$Σ$来索引.研究了一般概率测度$\mathcal{P}$在$G(m,r)$上的散布的稳健M-估计。这样的估计被定义为作为$Σ$的函数的格拉斯曼对数似然$-\ell_{\mathcal{P}}(Σ)$的最大化者。这项工作的新颖特征之一是充分利用了$\mathcal{M}$是CAT(0)空间这一事实,其已知视觉边界位于无穷远$\partial \mathcal{M}$。我们还记得样本空间$G(m,r)$是$\partial \mathcal{M}$的一部分,证明分布$\mathbb{G}_Σ$是$SL(m,\mathbb{R})$ --准不变的,并且$\ell_{\mathcal{P}}(Σ)$是加权Busemann函数。令$\mathcal{P}_n =(δ_{U_1}+\cdots+δ_{U_n})/n$为随机i.i.d.的$n$样本的经验概率测度。公共分布$\mathcal{P}$的子空间$U_i\in G(m,r)$,其支持跨越$\mathbb{R}^m$。对于$…
2020-08-26 math.DG math.ST stat.TH
Toward an Asymptotic Efficiency Theory on Regular Parameter Manifolds
National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
针对复杂数据集统计模型和方法发展带来的效率理论应用问题,本文构建统一渐近效率理论,将样本空间、参数空间或两者拓展为满足特定条件的黎曼流形,建立相关概念词汇和效率界,并通过实例展示其优势。
2026-08-04 math.ST stat.ML stat.TH