Information Geometry and Statistical Manifold
我们回顾了信息几何领域的基本概念，如统计流形上的Fisher度量，$α$ -连接和相应的曲率。我们展示了信息几何在渐近统计推断中的应用。
2014-10-09 math.DG math.PR math.ST
Statistical Inference for Stochastic Gradient Descent: Beyond Finite Variance
Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）
针对随机梯度下降中梯度方差可能无限的问题，提出一种基于联合弱收敛和自正则化统计量的模型无关置信域构建方法，并通过子采样校准实现渐近有效推断。
2026-08-03 cs.LG stat.ME stat.ML
Statistical Inference for Model Parameters in Stochastic Gradient Descent
本文研究SGD参数统计推断，提出固定维度下渐近协方差的一致估计量以构造置信区间和检验，并为高维线性回归构造去偏估计量，实现单遍在线推断。
2023-11-01 stat.ML
Statistical Inference for Online Decision Making via Stochastic Gradient Descent
Department of Statistics, North Carolina State University（北卡罗来纳州立大学统计系）
在线决策旨在通过个性化决策和递归更新决策规则来学习最优决策规则。在大数据的帮助下，这变得比以前更容易，但新的挑战也随之而来。由于决策规则应该每步更新一次，因此使用所有历史数据的离线更新在计算和存储方面是低效的。为此，我们提出了一个完全在线的算法，可以通过随机梯度下降在线决策和更新决策规则。它不仅是有效的，而且支持各种参数奖励模型。针对在线决策的统计推断问题，建立了算法产生的参数估计量和用于估计最优值的在线逆概率加权值估计量的渐近正态性。在线插件估计的参数和值估计的方差也被提供，并显示是一致的，使区间估计和假设检验是可能的，使用我们的方法。通过仿真和新闻文章推荐的实际数据应用，对所提出的算法和理论结果进行了测试。
2020-10-14 cs.LG stat.ML
Principal bundles over statistical manifolds
本文引入了统计流形上主丛的概念。在对信息几何和流形上的主丛作了必要的讨论之后，通过给出几何结构，研究了统计流形上标架丛关于$α$ -联络的$α$ -结构.最后给出了一维正态分布流形的应用和具体例子。
2014-04-28 math.DG stat.OT
Learning Model-Based Sparsity via Projected Gradient Descent
Georgia Institute of Technology（佐治亚理工学院）；Mitsubishi Electric Research Labs（三菱电机研究实验室）；Carnegie Mellon University（卡内基梅隆大学）
以前已经提出了几种凸公式方法的统计估计与结构稀疏性作为先验。这些方法通常需要仔细调整正则化参数，通常是繁琐或启发式的练习。此外，这些方法产生的估计可能不属于期望的稀疏模型，尽管精确地近似真实参数。因此，贪婪型算法往往是更可取的估计结构稀疏参数。到目前为止，这些贪婪方法主要集中在线性统计模型上。本文研究了以非凸结构稀疏参数模型为约束集的投影梯度下降算法。如果成本函数具有稳定的模型限制Hessian，则算法产生所需最小值的近似。作为一个例子，我们阐述了主要结果在广义线性模型估计中的应用。
2016-01-27 cs.LG math.OC stat.ML
Securing Distributed Gradient Descent in High Dimensional Statistical Learning
Duke University（杜克大学）
我们认为不可靠的分布式学习系统，其中的训练数据是保密的外部工人，学习者必须与这些工人密切互动，训练模型。特别是，我们假设存在一个系统的对手，可以自适应妥协的一些工人，妥协的工人偏离他们的本地设计的规格发送任意恶意消息。我们假设在每个通信回合中，$m$工作者中多达$q$遭受拜占庭故障。每个工作进程保留大小为$n$的本地样本，总样本大小为$N=nm$。我们提出了梯度下降方法的一个安全变体，它可以容忍拜占庭工人的恒定比例，即，$q/m = O(1)$。此外，我们还证明了迭代的统计估计误差在$O(\log N)$循环中收敛到$O(\sqrt{q/N} + \sqrt{d/N})$，其中$d$是模型维数。只要$q=O(d)$，我们提出的算法达到最佳的错误率$O(\sqrt{d/N})$。我们的结果是在一些技术假设下得到的。具体来说，我们假设强凸的人口风险。尽管如此，经验风险（样本版本）允许是非凸的。我们的方法的核心是稳健地聚集由工人基于Steinhardt等人提出的滤波过程计算的梯度。在技术方面，偏离现有文献中关于稳健地估计有限维均值向量的方法，我们建立了梯度的样本协方差矩阵的{ \em uniform}浓度，并表明聚集的梯度作为模型参数的函数，一致收敛于真实梯度函数。为了得到一个近似最优的一致浓度界，我们提出了一个新的矩阵浓度不等式，它可能是独立的兴趣。
2019-05-09 cs.DC cs.LG stat.ML
One-step corrected projected stochastic gradient descent for statistical estimation
本研究提出一种基于对数似然函数投影随机梯度下降、经Fisher scoring单步校正的通用高效参数估计方法，理论与仿真均验证其可作为现有两类随机梯度下降方法的有效替代方案。
2024-04-13 math.ST stat.ML stat.TH
Towards Statistical and Computational Complexities of Polyak Step Size Gradient Descent
University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究了在总体损失函数的广义光滑性和Lojasiewicz条件下，Polyak步长梯度下降算法的统计复杂性和计算复杂性，即当样本容量趋于无穷大时经验损失函数的极限，以及经验损失函数和总体损失函数梯度之间的稳定性，即，样本和总体损失函数的梯度之间的浓度界的多项式增长。我们证明了Polyak步长梯度下降迭代在样本大小的对数迭代次数后达到围绕真实参数的最终统计收敛半径。当种群损失函数不是局部强凸时，它比固定步长的梯度下降算法在样本大小上的多项式迭代次数更便宜，可以达到相同的最终统计半径。最后，我们用三个统计实例：广义线性模型、混合模型和混合线性回归模型来说明我们的一般理论。
2021-10-15 cs.LG math.ST stat.ML
Implicit Regularization in Nonconvex Statistical Estimation: Gradient Descent Converges Linearly for Phase Retrieval, Matrix Completion, and Blind Deconvolution
Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
近年来，在设计可证明有效的非凸程序来解决统计估计问题方面出现了一系列的活动。由于经验损失的高度非凸性质，最先进的程序通常需要适当的正则化（例如修剪，正则化成本，投影），以保证快速收敛。然而，对于诸如梯度下降之类的常规过程，先验理论要么推荐高度保守的学习率以避免过冲，要么完全缺乏性能保证。本文揭示了非凸优化中一个引人注目的现象：即使在没有显式正则化的情况下，梯度下降也会在各种统计模型下隐式地执行适当的正则化。事实上，梯度下降遵循的轨迹停留在具有良好几何形状的盆地内，由与采样机制不一致的点组成。这种“隐式正则化”特性允许梯度下降以更积极的方式进行，而不会过冲，这反过来又导致大量的计算节省。聚焦于三个基本的统计估计问题，即相位恢复，低秩矩阵完成，和盲反卷积，我们建立了梯度下降实现接近最优的统计和计算保证，而无需显式正则化。特别是，通过将统计建模与通用优化理论相结合，我们开发了一个通用的配方，通过留一法扰动参数分析迭代算法的轨迹。作为一个副产品，嘈杂的矩阵完成，我们证明，梯度下降实现了接近最优的误差控制-测量entrywise和频谱范数-这可能是独立的利益。
2019-07-30 cs.IT cs.LG math.IT
Sobolev Acceleration and Statistical Optimality for Learning Elliptic Equations via Gradient Descent
Stanford University（斯坦福大学）
本文研究了一类广义目标函数下随机采样噪声观测值反问题求解的梯度下降Sobolev范数统计极限。我们的目标函数类包括用于核回归的Sobolev训练、深度里兹方法（DRM）和用于求解椭圆偏微分方程（PDE）的物理信息神经网络（PINN）作为特例。我们考虑一个潜在的无限维参数化我们的模型使用一个合适的再生核希尔伯特空间和一个连续的参数化的问题硬度通过定义的内核积分算子。我们证明了梯度下降在这个目标函数也可以达到统计最优性和最佳的通过数据的数量增加与样本量。基于我们的理论，我们解释了使用Sobolev范数作为训练的目标函数的隐式加速，推断当数据大小和任务难度增加时，DRM的最佳时期数变得大于PINN的数量，尽管DRM和PINN都可以达到统计最优。
2022-09-19 cs.LG cs.NA math.NA
Fast low-rank estimation by projected gradient descent: General statistical and algorithmic guarantees
University of California, Berkeley（加州大学伯克利分校）
具有秩约束的最优化问题在许多应用中出现，包括矩阵回归、结构PCA、矩阵完备化和矩阵分解问题。一个有吸引力的启发式解决这样的问题是因式分解的低秩矩阵，并运行投影梯度下降的非凸因式分解的最优化问题。这个问题的目标是提供一个一般的理论框架，以了解当这样的方法工作良好，并描述所产生的不动点的性质。我们提供了一组简单的条件下，投影梯度下降，当给定一个合适的初始化，几何收敛到一个统计上有用的解决方案。我们的结果是适用的，即使当初始解是任何区域的局部凸，甚至当问题是全球凹。工作在一个非渐近的框架，我们表明，我们的条件是满足广泛的具体模型，包括矩阵回归，结构PCA，矩阵完成与真正的和量化的意见，矩阵分解，图聚类问题。仿真结果与理论预测吻合良好。
2015-09-10 cs.LG math.ST stat.ML
Statistical Optimality of Stochastic Gradient Descent on Hard Learning Problems through Multiple Passes
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）；PSL Research University（巴黎文理研究大学）
我们考虑随机梯度下降（SGD）的最小二乘回归与潜在的几个通过的数据。虽然已经广泛报道了几个通道在看不见的数据的预测性能方面实际上表现得更好，但SGD的现有理论分析表明，单通道在统计上是最佳的。虽然这是真实的低维简单的问题，我们表明，对于困难的问题，多个通道导致统计上最佳的预测，而单通道没有;我们还表明，在这些硬模型中，通过数据的最佳数量随着样本大小的增加。为了定义硬度的概念，并表明我们的预测性能是最佳的，我们考虑潜在的无限维模型和概念通常与内核的方法，即特征的协方差矩阵的特征值的衰减和最佳预测的复杂性，通过协方差矩阵测量。我们说明了我们的结果与非线性核方法的合成实验和一个经典的基准与线性模型。
2018-11-23 cs.LG math.OC math.ST
Robust supervised learning with coordinate gradient descent
Université Paris Diderot（巴黎第七大学）；École normale supérieure（巴黎高等师范学院）
本文考虑了当特征和标签都可能被损坏时，无论是重尾数据和/或损坏行的形式，用线性方法进行监督学习的问题。我们引入了一个组合的坐标梯度下降作为一个学习算法与鲁棒估计的偏导数。这导致稳健的统计学习方法，其具有与基于经验风险最小化的非稳健方法几乎相同的数值复杂度。主要的想法很简单：虽然利用梯度下降的鲁棒学习需要鲁棒地估计整个梯度以更新所有参数的计算成本，但是在坐标梯度下降中，可以使用单个偏导数的鲁棒估计器来立即更新参数。我们证明了上界的泛化误差的算法来自这个想法，控制优化和统计误差，没有一个强凸性假设的风险。最后，我们提出了一个有效的实现这种方法在一个新的Python库称为linlearn，并通过大量的数值实验表明，我们的方法引入了一个新的有趣的妥协之间的鲁棒性，统计性能和数值效率为这个问题。
2022-01-31 cs.LG math.ST stat.ML
Improving Computational Complexity in Statistical Models with Second-Order Information
University of Texas at Austin（德克萨斯大学奥斯汀分校）
已知当统计模型是奇异的时，即，真实参数处的费舍尔信息矩阵是退化的，固定步长梯度下降算法根据样本大小$n$采用多项式数目的步骤来收敛到真实参数周围的最终统计半径，这对于应用来说可能是不令人满意的。为了进一步提高计算复杂度，我们考虑在优化算法的设计中利用二阶信息。具体地说，我们研究了求解参数统计模型中参数估计的归一化梯度下降（NormGD）算法，它是梯度下降算法的一种变体，其步长由统计模型经验损失函数的Hessian矩阵的最大特征值来缩放.当人口损失函数，即，当$n$趋于无穷大时，经验损失函数的极限在所有方向上都是齐次的，我们证明了NormGD迭代在$n$方面的对数次迭代后达到真实参数周围的最终统计半径。因此，对于固定维度的$d$，NormGD算法实现了最佳的总体计算复杂度$\mathcal{O}(n)$以达到最终的统计半径。这种计算复杂度比固定步长梯度下降算法的计算复杂度低，固定步长梯度下降算法对于某些$τ> 1$来说是$\mathcal{O}(n^τ)$的阶，以达到相同的统计半径。我们在两种统计模型：广义线性模型和混合模型下说明了我们的一般理论，实验结果支持我们的一般理论预测。
2022-04-14 cs.LG math.ST stat.ML
Fast Global Convergence for Low-rank Matrix Recovery via Riemannian Gradient Descent with Random Initialization
本文对黎曼流形上的一类低秩矩阵恢复问题提出了一个新的整体分析框架。我们分析了随机初始条件下黎曼优化的全局性态。我们使用黎曼梯度下降算法来最小化最小二乘损失函数，并研究了渐近行为以及精确的收敛速度。我们揭示了一个以前未知的几何性质的低秩矩阵流形，这是虚假的临界点的存在简单的最小二乘函数的流形上。我们表明，在某些假设下，黎曼梯度下降开始从一个随机的初始化，以高概率避免这些虚假的临界点，只有在接近线性收敛速度收敛到地面真相，即$\mathcal{O}(\text{log}(\frac{1}ε)+ \text{log}(n))$迭代，以达到$ε$ -准确的解决方案。我们使用两个应用程序作为我们的全局分析的例子。第一个是秩1矩阵恢复问题。第二个是高斯相位恢复问题的推广。它只满足弱等距性，但除了多了一个鞍集外，其行为与第一个相似。我们的收敛保证是接近最优的，几乎是无量纲的，这充分解释了数值观测。全局分析可以潜在地扩展到具有随机测量结构和经验最小二乘损失函数的其他数据问题。
2021-04-19 cs.IT cs.LG math.IT
Gradient descent algorithms for Bures-Wasserstein barycenters
研究了有限二阶矩下概率测度空间上概率分布$P$重心的一阶计算方法。我们开发了一个框架，以获得全局收敛速度梯度下降和随机梯度下降，尽管事实上，重心功能不是测地凸。我们的分析克服了这一技术障碍，采用Polyak-Lojasiewicz（PL）不等式，并依赖于最优输运和度量几何的工具。反过来，当$P$在高斯概率测度的Bures-Wasserstein流形上得到支持时，我们建立了一个PL不等式.它导致了第一次全球收敛速度的一阶方法在这种情况下。
2020-06-15 math.ST stat.TH
Gradient descent inference in empirical risk minimization
Rutgers University（罗格斯大学）；University of Southern California（南加州大学）
针对梯度下降在高维统计推断中动态理解不足的问题，提出平均场机制下非渐近状态演化理论，刻画迭代与去偏统计量的联合分布，构建去偏梯度下降推断框架，适用于非凸损失和非高斯数据，无需收敛即可实现有效推断。
2025-11-18 cs.IT math.IT math.OC
Statistical tests for group comparison of manifold-valued data
受扩散张量成像的群体研究的启发，本文研究了使用基于均值和基于色散的置换检验来定义和计算非线性流形上数据采集值的统计检验的显著性。本文提出了统计测试，计算上易于处理和几何声音的扩散张量成像。
2013-05-06 math.ST stat.TH
Optimal transport natural gradient for statistical manifolds with continuous sample space
California Institute of Technology（加州理工学院）
该研究针对连续样本空间的参数统计模型，构建Wasserstein统计流形并推导自然梯度下降方法，证明其渐近性能接近牛顿法，通过多种分布模型验证了优化效果优于标准梯度下降。
2020-04-16 cs.IT cs.LG math.IT
Dimension Independent Generalization Error by Stochastic Gradient Descent
Stern School of Business, New York University（纽约大学斯特恩商学院）；National University of Singapore（新加坡国立大学）
统计学的一个经典准则是，大模型容易过拟合，并且对于高维数据，模型选择过程是必要的。然而，许多过参数化模型，如神经网络，在实践中表现得非常好，尽管它们经常用简单的在线方法和正则化来训练。过度参数化模型的经验成功，这通常被称为良性过拟合，促使我们有一个新的眼光在统计泛化理论的在线优化。特别是，我们提出了一个一般性的理论上的推广误差的随机梯度下降（SGD）解决方案的凸和局部凸损失函数。我们进一步讨论了导致“低有效维度”的数据和模型条件。在这些条件下，我们表明，推广误差不依赖于周围的尺寸$p$或依赖于$p$通过一个多对数因子。我们还表明，在几个广泛使用的统计模型，"低有效维“自然出现在overparameterized设置。研究的统计应用包括凸模型，如线性回归和逻辑斯谛回归和非凸模型，如$M$估计和两层神经网络。
2021-01-04 cs.LG math.ST stat.ML
Foundations of Structural Statistics: Statistical Manifolds
结构统计学的应用需要在一致的拓扑统计理论基础上对模型空间的邻近结构进行量化。研究这些结构的一个重要工具是伪黎曼度量，它在统计模型的范畴中由统计分歧引起。本文将拓扑统计模型的微分结构表示法推广到统计流形，并介绍了用微分几何、黎曼几何和辛几何研究分布族的微分几何基础。
2020-06-20 cs.IT math.IT math.ST
Monotone invariants and embeddings of statistical manifolds
本文证明了统计流形嵌入存在的若干充要条件。特别地，我们证明了任何紧光滑（$C^1$ resp.）统计流形可以嵌入到有限集上的概率测度空间中。结果，我们得到了关于光滑（$C^1$ resp.）作为统计模型的统计流形
2016-03-10 math.DG math.ST stat.TH
