On Generalized Likelihood Estimation Based on the Logarithmic Norm Relative Entropy
Indian Institute of Technology Jodhpur(印度理工学院乔德普尔分校);Indian Statistical Institute(印度统计研究所)
本文提出基于对数范数相对熵的稳健参数估计方法,引入双参数幂律分布族,推导广义充分统计量、Rao-Blackwell定理和Cramér-Rao下界,并通过模拟和真实数据验证其抗异常值能力。
2025-10-15 math.ST stat.TH
Nonparametric empirical Bayes estimation based on generalized Laguerre series
在这项工作中,我们深入到非参数经验贝叶斯理论和近似的经典贝叶斯估计广义Laguerre级数的截断,然后估计其系数通过最小化先验风险的估计。最小化过程产生线性方程组的线性方程组,其大小等于截断水平。本文研究了当混合分布(即先验分布)在正实半直线或其子区间上有支集时的经验Bayes估计问题,通过对几种常见的混合分布的研究,给出了如何选择广义Laguerre函数基的参数以使估计具有有限方差的策略.我们表明,我们的广义Laguerre经验贝叶斯方法是渐近最优的极大极小意义。最后,我们的收敛速度进行了比较,并与文献中的{几}结果进行了对比。
2021-12-16 math.ST stat.TH
On non-asymptotic bounds for estimation in generalized linear models with highly correlated design
研究了高维广义线性模型和带$\ell_1$惩罚的经验风险最小化问题。我们的目的是提供一个非平凡的说明,非渐近界的估计可以得到不依赖于链接技术和/或剥离设备。
2007-09-06 math.ST stat.TH
Doubly robust dose-response estimation for continuous treatments via generalized propensity score augmented outcome regression
本文构造了连续剂量反应估计的双稳健估计。结果回归模型增加了一组逆广义倾向评分协变量,以纠正潜在的误设偏倚。从增强模型中,我们可以获得不同治疗分层的平均潜在结局的相合估计。然后将多项式回归拟合到这些点估计值,以推导出连续剂量-响应函数的泰勒近似值。Bootstrap用于方差估计。分析结果和模拟表明,我们的方法可以提供一个很好的近似线性或非线性剂量-响应函数下的各种来源的误指定的结果回归或倾向评分模型。有限样本下的效率相对于最小方差一致估计是好的。
2015-06-16 math.ST stat.TH
The Generalized Weighted Lindley Distribution: Properties, Estimation and Applications
本文提出了一种新的寿命分布,即广义加权林德利(GLW)分布。GLW分布是加权林德利分布的一个有用的推广,它可以适应增加,减少,减少-增加-减少,浴缸或单峰风险函数,使GWL分布成为可靠性数据的灵活模型。一个新的分布的数学性质的显着帐户。不同的估计程序,如最大似然估计,矩量法,普通和加权最小二乘,百分位数,最大产品的间距和最小距离估计。通过大量的数值模拟对不同的估计进行了比较。最后,我们分析了两个数据集说明的目的,证明GWL优于几个常见的三参数寿命分布。
2016-07-18 math.ST stat.TH
Optimum design via I-divergence for stable estimation in generalized regression models
广义回归模型中参数估计的最优设计是基于Fisher信息矩阵的标准化设计(参见Atkinson et al(2014)最近的一次阐述)。相应的最优性准则与这类模型中极大似然(ML)估计的渐近性质有关。然而,在有限样本试验中,ML估计的可辨识性、稳定性和唯一性可能存在问题,而这些问题并不反映在信息矩阵中。在Pázman和Pronzato(2014)中讨论了如何在标准非线性回归的实验设计阶段解决这些可估计性问题。在这里,我们希望将这种设计方法扩展到基于指数分布族的更一般的模型(二项分布、泊松分布、具有参数化方差的正态分布等)。其主要工具是信息(或Kullback-Leibler)散度,它与ML估计密切相关。
2015-07-27 math.ST stat.TH
Robust mixture regression modeling based on the Generalized M (GM)-estimation method
Bai(2010)and Bai et al.(2012)提出了基于M回归估计的稳健混合回归方法。然而,M-估计量对响应变量中的异常值是稳健的,但对解释变量中的异常值(杠杆点)不稳健。在本文中,我们提出了一个强大的混合回归过程来处理离群值和杠杆点,同时。我们提出的混合回归方法是基于GM回归估计。我们给出了一个期望最大化(EM)型算法来计算感兴趣的参数的估计。我们提供了一个模拟研究和一个真实的数据例子来评估所提出的方法对离群值和杠杆点的鲁棒性性能。
2015-11-23 math.ST stat.TH
Parameter Estimation for multi-mixed Fractional Ornstein--Uhlenbeck Processes by Generalized Method of Moments
本文针对有限混合多重混合分数阶Ornstein--Uhlenbeck过程,提出了基于广义矩估计法的参数估计方法,证明了其一致性与渐近正态性,并通过模拟验证了不同统计误差下的数值表现。
2024-01-10 math.PR math.ST stat.TH
Hazard Estimation under Generalized Censoring
本文研究了一般完全可分度量空间上分布的累积危险函数的估计问题,当数据点被任意适应的随机集截尾时.解决了文献[8]和[9]中提出的估计量的可观测性问题,证明了修正估计量的泛函中心极限定理。几个例子和应用进行了讨论,并建立在每种情况下的引导方法的有效性。
2008-12-16 math.ST stat.TH
Estimation of multivariate generalized gamma convolutions through Laguerre expansions
Mines Saint-Étienne(圣艾蒂安国立高等矿业学院)
本文通过拉盖尔展开方法,为多元广义伽玛卷积提供了高效的估计程序,并展示了其在稳定性上的优势。
2021-07-23 math.ST stat.TH
Generalized Method of Moments Estimator Based On Semiparametric Quantile Regression Imputation
在这篇文章中,我们考虑一种插补方法来处理基于半参数分位数回归估计的缺失响应值。在所提出的方法中,缺失的响应值生成使用估计的条件分位数回归函数在给定的协变量值。我们采用广义矩量法估计的参数定义通过一个一般的估计方程。我们证明了所提出的估计,它结合了半参数分位数回归插补和广义矩方法,具有竞争优势,对一些最广泛使用的参数和非参数插补估计。证明了估计量的相合性和渐近正态性,并给出了方差估计。有限的模拟研究和实证研究的结果,显示所提出的方法的充分性。
2014-04-11 math.ST stat.TH
Parameter Estimation of Gaussian Stationary Processes using the Generalized Method of Moments
本文考虑一类具有显参数谱密度的平稳高斯过程。在自协方差函数满足一定条件的情况下,利用Breuer-Major定理和前人关于遍历性的结果,定义了一个满足相合性和渐近正态性的GMM估计.这一结果被应用到由分数布朗运动驱动的平稳Ornstein-Uhlenbeck(festival)过程的三个参数的联合估计。其GMM估计量的渐近正态性适用于(0,1)中的任何H,并且对其余参数有一定的限制。数值研究是在第四种情况下进行的,以说明估计的实际性能时,数据点的数量是温和的。
2017-01-16 math.ST stat.TH
Parameter estimation for generalized mixed fractional stochastic heat equation
针对含广义混合分数布朗噪声的随机热方程,本文分析解的协方差、平稳性与渐近界,并基于离散观测构造参数估计量且研究其渐近性质。
2025-03-17 math.PR math.ST stat.TH
Estimation and variable selection for generalized additive partial linear models
研究了广义可加部分线性模型,提出了利用多项式样条光滑估计非参数函数,并推导了线性参数的拟似然估计.我们建立了参数分量估计的渐近正态性。该过程避免了求解大型系统的方程,在基于核的程序,从而导致在计算简单性的增益。我们进一步开发了一类变量选择程序的线性参数,采用非凹惩罚拟似然,这是一个渐近预言性质。蒙特卡罗模拟和实证的例子进行说明。
2011-12-12 math.ST stat.TH
Hidden Factor estimation in Dynamic Generalized Factor Analysis Models
本文讨论了动态广义因子分析中隐因子的估计问题。渐近一致性进行了讨论,它表明,卡尔曼一步预测器是不是正确的工具,而纯滤波器产生的相合估计。
2022-11-23 cs.SY eess.SY math.ST
Wavelet penalized likelihood estimation in generalized functional models
本文研究广义函数回归。目的是估计协变量对观测值的影响,从指数分布中得出。所考虑的链接有一个半参数表达式:如果我们感兴趣的一些协变量的功能影响,我们授权其他线性建模。因此,我们考虑了一个广义部分线性回归模型与未知的回归系数和一个未知的非参数函数。我们提出了一个最大惩罚似然估计过程中引入惩罚小波估计模型的组件。在文献中通常条件下,给出了模型参数和非参数部分估计的渐近速度,并得到了拟Minimax最优性。我们建立特别是LASSO罚款导致自适应估计的规律性估计函数。提出了一种基于后拟合和Fisher评分的算法。模拟用于说明有限样本行为,包括与基于核和样条的方法的比较。
2013-09-19 math.ST stat.TH
Model Averaging for Generalized Linear Model with Covariates that are Missing completely at Random
本文考虑协变量完全随机缺失的广义线性模型的估计。本文提出了一种模型平均估计方法,并在一定的假设条件下证明了相应的模型平均估计量是渐近最优的。仿真结果表明,在大多数情况下,该方法具有更好的性能比其他替代方案。
2017-10-25 math.ST stat.TH
Generalized maximum likelihood estimation of the mean of parameters of mixtures, with applications to sampling
设$f(y|θ), \; θ\in Ω$为参数族,$η(θ)$为给定函数,$G$为未知混合分布。期望基于独立观测$Y_1,...,Y_n$来估计$E_G (η(θ))\equiv η_G$,其中$Y_i \sim f(y|θ_i)$和$θ_i \sim G$是iid。我们探讨这个问题的广义极大似然估计(GMLE)。这些估计的一些基本性质和表示。特别地,我们对Kiefer和Wolfowitz(1956)的弱收敛结果提出了一个新的观点,并对$θ_1,...,θ_n$是{\it固定}参数的相应设置提出了启示。我们还涉及到上述问题,估计$η_G$,平方损失下的非参数经验贝叶斯估计。本文介绍了广义极大似然估计在抽样问题中的应用。GMLE的性能表现在模拟和通过一个真实的数据例子。
2022-07-28 math.ST stat.TH
Estimation and Prediction using generalized Wendland Covariance Functions under fixed domain asymptotics
本文研究了高斯随机场协方差模型属于广义Wendland(GW)类,在固定区域渐近下的估计和预测。作为Matérn的情况下,这个类允许连续参数化的平滑度的基础高斯随机场,被额外的compensable支持。本文分为两部分:首先,我们给出了两个高斯测度与GW协方差函数等价的刻画,并给出了两个高斯测度与Matérn和GW协方差函数等价的充分条件。我们阐明这些事实的后果(误指定)最好的线性无偏预测。在第二部分中,我们建立了GW协方差模型中微遍历参数的极大似然估计在固定区域渐近下的强相合性和渐近分布。我们的研究结果是通过模拟研究:第一个比较有限样本行为的微遍历参数的极大似然估计与给定的渐近分布。然后,我们比较了有限样本的预测行为及其相关的均方误差时,使用两个等效的高斯测量与Matérn和GW协方差模型,使用协方差锥形作为基准。
2017-11-16 math.ST stat.TH
Updatable Estimation in Generalized Linear Models with Missing Response
本文针对流数据下响应随机缺失的广义线性模型,提出可更新逆概率加权估计及两步在线算法,证明其具备神谕性质,数值实验显示其性能与批量学习器相当。
2023-10-07 math.ST stat.TH
Generalized $k$-variations and Hurst parameter estimation for the fractional wave equation via Malliavin calculus
我们分析了广义$k$ -变化的波动方程的解驱动的加性高斯噪声的行为作为分数布朗与赫斯特参数$H>\frac{1}{2}$在时间上,这是白色的空间。$k$ -变化沿着任意阶数$p\geq 1$和任意长度的{ \it滤波器}定义。证明了当$p> H+\frac{1}{4}$满足中心极限定理时,广义$k$ -变分序列满足中心极限定理,并通过Stein-Malliavin演算估计了其收敛速度.将结果应用于Hurst指数的估计。我们构造了$H$的几个相容估计,并对这些估计进行了理论分析和数值计算。
2019-03-06 math.PR math.ST stat.TH
Improved Likelihood Estimation for the Generalized Extreme Value and the Inverse Gaussian Lifetime Distributions
在存在冗余参数的情况下,轮廓似然推断通常是不可靠和有偏差的,特别是在小样本情况下。在过去的几十年中,已经提出了几种调整来修改文献中的轮廓似然函数,包括Barndorff-Nielsen中引入的修改的轮廓似然估计技术。在这项研究中,调整的轮廓似然函数的感兴趣的参数存在的冗余参数进行了研究。本文着重推广了Barndorff-Nielsen关于逆高斯分布估计其色散参数的方法和广义极值分布估计其形状参数的方法。对于具有GEV分布的寿命采用加速失效时间模型,对于寿命分布采用逆高斯分布。蒙特卡洛模拟研究进行证明这两种方法的性能。仿真结果表明,修改后的配置文件的似然估计的优越性超过配置文件的似然估计的参数的兴趣。特别是,它被发现的修改,可以提高整体性能的估计,通过减少其偏差和标准误差。
2016-03-28 math.ST stat.TH
A local stochastic Lipschitz condition with application to Lasso for high dimensional generalized linear models
对于正则化估计,经验损失函数的随机Lipschitz系数的上尾行为在高维广义线性模型的Lasso误差界中起着重要的作用.对于线性模型,上尾特性是已知的,但对于非线性模型,上尾特性就不那么清楚了。建立了系数上尾的指数型不等式,并举例说明了所得结果在高维广义线性模型Lasso似然估计中的应用.
2010-09-06 math.ST stat.TH
Efficient semiparametric estimation in generalized partially linear additive models for longitudinal/clustered data
考虑了当多个协变量需要非参数建模时,纵向/聚类数据广义部分线性可加模型中欧氏参数的有效估计,并提出了一种基于模型非参数部分的样条逼近和广义估计方程(GEE)的估计方法.虽然考虑的模型是自然的,在许多实际应用中是有用的,这个模型的文献是非常有限的,因为在处理非参数加性模型的相关数据的挑战。我们证明了,即使协方差结构是错误的,所提出的估计是一致的和渐近正态的。还提供了渐近方差的显式相合估计。在一般矩条件下,我们还得到了半参数有效值和信息界。通过证明我们的估计达到了半参数信息界,我们有效地建立了他们的效率在更强的意义上比通常认为的GEE。我们的渐近结果的推导在很大程度上依赖于我们开发的纵向/聚类数据的经验过程工具。数值结果被用来说明所提出的估计的有限样本性能。
2014-02-04 math.ST stat.TH
Generalized generalized linear models: Convex estimation and online bounds
Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Georgia Institute of Technology(佐治亚理工学院)
本研究提出基于单调算子变分不等式的GGLM参数估计框架,解决时空数据下模型参数估计的非凸问题并给出恢复保证,同时提出在线界,经模拟和野火数据验证有效。
2023-04-26 cs.LG math.ST stat.ME
Some notes concerning a generalized KMM-type optimization method for density ratio estimation
Romanian Institute of Science and Technology(罗马尼亚科学技术研究所);Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
本文提出用于密度比估计的新优化算法,通过构造合适的损失函数扩展著名的 KMM 方法,以涵盖分别涉及训练数据和测试数据子集的更一般情形。
2023-09-14 cs.LG math.OC math.ST
On generalized multinomial models and joint percentile estimation
本文提出了多项响应模型的一类连接函数。链路家族包括多类物流链路作为其成员之一。给出了链路的局部正交性条件和回归参数。结果表明,局部正交的参数在一个邻域使链接家庭的位置和规模不变。还确定了用于基于参数化的链接函数族来联合估计所述多个链接的置信区域。一个基于联合用药研究的数值例子被用来说明所提出的参数链接族和联合百分位数估计的置信区域。
2012-11-29 math.ST stat.AP stat.TH
Generalized regression operator estimation for continuous time functional data processes with missing at random response
在本文中,我们感兴趣的非参数核估计的广义回归函数,包括条件累积分布和条件分位数函数,基于不完全样本$(X_t, Y_t, ζ_t)_{t\in \mathbb{ R}^+}$副本的连续时间平稳遍历过程$(X, Y, ζ)$。预测器$X$在某个无限维空间中赋值,而实值过程$Y$在$ζ= 1$时被观察到,并且在$ζ= 0$时缺失。建立了估计量的逐点相合性和一致相合性(含率),以及一个中心极限定理。还提供了条件偏差和渐近二次误差。本文还讨论了广义回归函数的渐近和自举置信区间。第一个模拟研究进行比较的离散时间的连续时间的估计。第二个模拟也进行了讨论的最佳采样网格在连续时间的情况下的选择。最后,值得注意的是,我们的结果是在遍历假设下陈述的,没有假设任何经典的混合条件。
2021-10-15 math.ST stat.ME stat.TH
Jackknife Variance Estimation for Hájek-Dominated Generalized U-Statistics
University of Wisconsin -- Madison(威斯康星大学麦迪逊分校)
针对一类广义U统计量,证明Jackknife方差估计量的比率相合性,并应用于两尺度分布最近邻回归估计器,在更弱条件下得到一致方差估计。
2026-06-15 math.ST stat.ML stat.TH
Model selection and minimax estimation in generalized linear models
我们认为,在广义线性模型(GLM)的高维数据的模型选择,并提出了一个广泛的一类模型选择标准的基础上惩罚的最大似然模型大小的复杂性惩罚。我们推导出一个一般的非渐近上界的预期Kullback-Leibler分歧之间的真实分布的数据和所产生的选定的模型,并建立相应的极小极大下界稀疏GLM。对于适当选择的(非线性)罚款,由此产生的惩罚极大似然估计是渐近极小极大和自适应未知的稀疏性。我们还讨论了可能的扩展所提出的方法,在GLM模型选择下,额外的结构约束和聚合。
2016-03-30 math.ST stat.ME stat.TH
Restricted maximum likelihood estimation in generalized linear mixed models
本文综述广义线性混合模型中四类REML估计扩展,通过二值与计数数据实验表明它们均能有效降低方差分量的有限样本偏差且表现相近。
2025-05-14 math.ST stat.ME stat.TH
High-Dimensional Variance Estimation for the Generalized Regression Estimator
McGill University(麦吉尔大学)
研究调查抽样中高维情形下广义回归估计器的方差估计问题,推导常用方差估计器高维渐近偏差的新理论结果,证明在合适假设下交叉验证方差估计器自然渐近无偏。
2026-07-08 math.ST stat.ME stat.TH
An Optimal Statistical and Computational Framework for Generalized Tensor Estimation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Chicago(芝加哥大学)
本文介绍了一个灵活的框架,广义低秩张量估计问题,其中包括许多重要的情况下,在计算成像,基因组学和网络分析中的应用。建议的估计包括找到一个低秩张量适合广义参数模型下的数据。为了克服这些问题的非凸性的困难,我们引入了一个统一的方法,投影梯度下降,适应底层的低秩结构。在对损失函数的适当条件下,通过一般的确定性分析,我们建立了统计误差的上界和计算收敛的线性速度。然后,我们进一步考虑了一套广义张量估计问题,包括次高斯张量PCA,张量回归,泊松和二项式张量PCA。我们证明了所提出的算法达到了极小极大最优收敛速率的估计误差。最后,我们证明了所提出的框架的优越性,通过广泛的实验模拟和真实数据。
2021-02-04 cs.LG math.ST stat.ME
GMM Estimation of Affine Term Structure Models
本文利用广义矩方法研究了仿射期限结构模型的参数估计问题。精确的时刻的仿射潜过程以及产量通过使用的结果得出的p-多项式过程。然后利用广义矩方法结合拟贝叶斯方法得到可靠的参数估计并进行推断。经过模拟研究,估计程序适用于经验利率数据。
2015-08-07 math.ST q-fin.ST stat.TH
Efficient computation of complementary set partitions, with applications to an extension and estimation of generalized cumulants
本文提出基于两块划分的互补集合划分快速枚举算法,提升计算效率并支持非符号语言实现,同时扩展广义累积量概念并给出其高效估计方法。
2025-05-19 math.CO math.ST stat.TH
Fast moment estimation for generalized latent Dirichlet models
Duke University(杜克大学);Princeton University(普林斯顿大学)
提出了一类新的混合数据类型Dirichlet潜变量模型的广义矩量法(GMM)快速参数估计方法。通过GMM的参数估计已被证明具有计算和统计上的优势,替代方法,如期望最大化,变分推理,和马尔可夫链蒙特卡洛。我们的方法(MELD)的关键计算优势是参数估计不需要隐变量的实例化。此外,GMM方法的一个代表性优点是模型的行为与观测值的分布假设无关。我们推导出人口矩条件后,边缘化的样本特定的Dirichlet潜变量。矩条件仅依赖于分量均值参数。我们说明了我们的方法模拟数据的实用性,比较结果从MELD替代方法,我们通过MELD的应用程序,几个数据集显示我们的方法的承诺。
2016-03-23 cs.LG math.ST stat.AP
Generalized Exponential Concentration Inequality for Rényi Divergence Estimation
在许多机器学习任务中,以一致的方式估计分歧是非常重要的。虽然这是一个基本问题,在非参数统计,据我们所知,一直没有有限样本指数不等式收敛界推导出任何分歧估计。本文的主要贡献是给出了$d$维单位立方体$[0, 1]^d$上光滑Hölder密度类的Rényi-$α$散度估计的一个界.我们还说明了我们的理论结果与数值实验。
2016-03-28 cs.IT math.IT math.ST
Penalized maximum likelihood estimation for generalized linear point processes
广义线性点过程根据强度来指定,该强度通过固定的非线性函数依赖于线性预测器过程。我们提出了一个框架,其中的线性预测参数化的巴拿赫空间,并给出结果的Gateaux微分的对数似然。特别感兴趣的是,当强度被表示为由索伯列夫空间参数化的线性滤波。利用索伯列夫空间是再生核希尔伯特空间,我们得到了惩罚极大似然估计在特殊情况下的表示和一般情况下的负对数似然梯度的结果.后者被用来开发一个下降算法在索伯列夫空间。我们的结论是本文的多元和添加剂模型规格的扩展。这些方法在R-package ppstat中实现。
2013-04-02 math.PR math.ST stat.ME
Robust estimation via generalized quasi-gradients
University of California, Berkeley(加州大学伯克利分校)
我们探讨了为什么许多最近提出的稳健估计问题是有效的解决,即使底层的优化问题是非凸的。我们研究这些稳健估计问题的损失景观,并确定“广义拟梯度”的存在。当这些准梯度存在时,保证一个大家族的低遗憾算法近似全局最小值;这包括常用的滤波算法。对于有界协方差下分布的稳健均值估计,证明了相关优化问题的任何一阶平稳点是{近似全局最小值}的充要条件是腐败水平$ε< 1/3$ .因此,任何接近平稳点的优化算法都会产生具有崩溃点$1/3$的有效鲁棒估计器。通过仔细的初始化和步长,我们将其改进为最佳的$1/2$。对于其他任务,包括线性回归和联合均值和协方差估计,损失情况更加崎岖:存在距离全局最小值任意远的稳定点。然而,我们证明了广义拟梯度的存在,并构建有效的算法。这些算法比以前的文献中,线性回归,我们提高了估计误差从$O(\sqrtε)$的最佳速率的$O(ε)$小$ε$假设认证的hypercontractivity。对于具有近似一致协方差的均值估计,我们证明了一个简单的梯度下降算法可以达到崩溃点$1/3$和迭代复杂度$\tilde{O}(d/ε^2)$。
2020-05-28 cs.LG eess.SP math.ST
Functional Generalized Empirical Likelihood Estimation for Conditional Moment Restrictions
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Weierstrass Institute for Applied Analysis and Stochastics(魏尔斯特拉斯应用分析与随机过程研究所);Eidgenössische Technische Hochschule Zürich(苏黎世联邦理工学院)
针对条件矩约束估计的挑战,提出广义经验似然(GEL)的泛函重构方法,利用任意机器学习模型并基于对偶公式设计实用算法,在多个问题上取得最优性能。
2024-02-16 cs.LG math.ST stat.ML
Beyond Maximum Likelihood: Variational Inequality Estimation for Generalized Linear Models
H. Milton Stewart School of Industrial and Systems Engineering Georgia Institute of Technology(佐治亚理工学院 H. 米尔顿·斯图尔特工业与系统工程学院)
本文提出基于变分不等式的估计框架,用于解决广义线性模型中非典型或非光滑链接函数带来的计算挑战,通过操作符平衡条件替代最大似然估计,提升数值稳定性与有限样本性能。
2026-11-06 math.OC math.ST stat.ME
Are Gaussian data all you need? Extents and limits of universality in high-dimensional generalized linear estimation
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);École Normale Supérieure - PSL(巴黎高等师范学院-巴黎文理研究大学);CNRS(法国国家科学研究中心)
本文研究了单指标模型下混合高斯数据的广义线性估计问题。我们的第一个结果是一个尖锐的渐近表达式的测试和训练误差在高维制度。受最近关于广义线性估计中的高斯检验和训练误差的普遍性的结果流的启发,我们问自己一个问题:“什么时候一个单一的高斯足以描述误差?".我们的公式使我们能够在积极和消极的方向上对这个问题给出尖锐的答案。更确切地说,我们表明,高斯普适性(或缺乏)的充分条件关键取决于目标权重和混合聚类的均值和协方差之间的对齐,我们精确地量化。在最小二乘插值的特殊情况下,我们证明了训练误差的强普适性,并表明它遵循一个简单的,封闭形式的表达式。最后,我们将我们的结果应用到真实的数据集,澄清了最近在文献中关于高斯普遍性的错误在这种情况下的一些讨论。
2023-02-17 cond-mat.dis-nn cs.LG math.ST
A Risk Management Perspective on Statistical Estimation and Generalized Variational Inference
本文从风险管理视角提出一种带约束的广义变分推断新公式,将无限维估计问题转化为二维凸规划,自动确定学习率并给出最优密度解析表达式,同时证明经验近似的渐近一致性。
2023-10-26 math.OC math.PR math.ST
Estimation in Rotationally Invariant Generalized Linear Models via Approximate Message Passing
University of Cambridge(剑桥大学);Institute of Science and Technology (IST) Austria(奥地利科学技术研究所)
研究了由旋转不变设计矩阵定义的广义线性模型中的信号估值问题。由于这些矩阵可以具有任意的谱分布,该模型非常适合于捕获在应用中经常出现的复杂相关结构。我们提出了一种新的家庭近似消息传递(AMP)算法的信号估值,并严格表征其性能在高维极限通过状态演化递归。我们的旋转不变AMP具有与现有AMP相同的复杂度,该复杂度是在高斯设计的限制性假设下导出的;我们的算法还将此现有AMP作为特殊情况恢复。数值结果显示了接近矢量AMP的性能(在某些设置中被证明是贝叶斯最优的),但获得的复杂性要低得多,因为所提出的算法不需要计算昂贵的奇异值分解。
2022-06-09 cs.IT cs.LG math.IT