Smoothed residual stopping for statistical inverse problems via truncated SVD estimation
本文研究了在什么情况下截断SVD估计的自适应性可以通过基于平滑残差$ \| ( A A^{\top} )^{α/ 2} ( Y - A \hatμ^{( m )}) \|^{2} $的提前停止规则来实现。的风险的下限和上界，这表明，适度平滑的残差可以用来适应不同的平滑度的信号类，而过度平滑产生次优的收敛速度。Monte-Carlo模拟的理论结果说明。
2020-08-30 math.ST stat.TH
Rate optimal estimation of quadratic functionals in inverse problems with partially unknown operator and application to testing problems
我们考虑高斯序列模型中的二次泛函的估计，假设特征值是未知的，只能通过噪声观测。施加平滑假设的信号和序列的特征值，我们开发了一个极大极小理论这个问题。我们提出了一个截断序列估计，并表明，它达到最佳的收敛速率，如果截断参数选择适当。测试问题的反问题的后果同样讨论：特别是，极大极小率测试信号检测和拟合优度测试。
2019-07-14 math.ST stat.TH
Nonlinear estimation for linear inverse problems with error in the operator
研究了算子未知时统计线性反问题的两种非线性方法。这两种构造结合了Galerkin正则化和小波阈值。它们的性能取决于运营商的基本结构，量化的稀疏指数。我们证明了他们的速率最优性和自适应性质Besov类。
2008-03-13 math.ST stat.TH
Asymptotically optimum estimation of a probability in inverse binomial sampling under general loss functions
最佳的质量，可以渐近实现的概率p估计使用逆二项抽样解决。质量的一般定义是指与满足某些假设的损失函数相关的风险。它表明，极限优越的风险p渐近小有一个最小的所有（可能是随机的）估计。这个最小值是由某些非随机估计量实现的。该模型包括常用的质量标准作为特殊情况。考虑到具体的损失函数，极大极小估计的非渐近制度的应用进行了讨论。
2012-04-30 math.ST stat.TH
Unbiased estimation in one-parameter exponential families for the inverse of the natural parameter with extensions
本文研究单参数连续指数族中自然参数倒数的无偏估计，给出多类模型应用，并推广至负幂及完全单调函数的估计。
2025-07-24 math.ST stat.TH
A Well-Conditioned and Sparse Estimation of Covariance and Inverse Covariance Matrices Using a Joint Penalty
我们开发了一种方法来估计良态和稀疏的协方差矩阵和逆协方差阵从一个样本的向量从一个亚高斯分布在高维设置。通过最小化平方损失函数和特征值的1范数及其方差的联合惩罚，得到了估计量。与现有的一些协方差和逆协方差阵估计方法相比，通常感兴趣的是估计稀疏矩阵，所提出的方法在同时估计稀疏和良态的协方差阵方面是灵活的。所提出的估计量是最优的意义上，他们实现了最小的最大估计率在运营商的标准为基础类的协方差矩阵和逆协方差阵。我们给出了一个非常快速的算法计算这些协方差矩阵和逆协方差阵，这是很容易扩展到大规模的数据分析问题。对不同样本量和变量的模拟研究表明，对于不同的结构协方差阵和逆协方差阵选择，所提出的估计比其他几种估计性能更好。我们还使用我们提出的估计肿瘤组织的基因表达数据的分类，并比较其性能与其他一些分类方法。
2016-04-03 math.ST stat.TH
Nonparametric estimation of sliced inverse regression by the $ k$-nearest neighbors kernel method
本文提出基于k近邻核方法的切片逆回归非参数估计，引入协方差矩阵估计量以估计有效降维空间，证明渐近正态性，并通过模拟验证其有限样本性能优于核估计。
2025-05-25 math.ST stat.TH
Adaptive Bayesian density estimation using Pitman-Yor or normalized inverse-Gaussian process kernel mixtures
我们考虑贝叶斯非参数密度估计使用Pitman-Yor或归一化逆高斯过程核混合作为密度的先验分布。该程序是从频率论的角度进行研究。使用棒打破皮特曼-约尔过程或表达的有限维分布的归一化逆高斯过程，我们证明了，当数据是从一个无限光滑的密度重复，后验分布集中在任何收缩$L^p$ -范数球，$1\leq p\leq\infty$，周围的采样密度在\emph{nearly parametric}率，对数因子。由此产生的分层贝叶斯过程，与一个固定的前，因此示出是自适应的采样密度的平滑度的无限。
2013-02-13 math.ST stat.TH
Asymptotically efficient estimation of linear functionals in inverse regression models
本文讨论了逆非参数回归模型中未知回归函数的线性泛函估计的改进方法。在Klaassen、Lee和Ruymgaart（2001）中，已经证明了这种传统的估计量不是渐近有效的（在Hájek-Le Cam卷积定理的意义上），除非误差分布可能是正态的。然而，由于这个估计量仍然是根-n相容的，Bickel，Klaassen，Ritov和Wellner（1993）中的一个过程适用于构造一个渐近有效的修改。一个独立的证明的渐近效率。
2002-12-27 math.ST stat.TH
Adaptive Bayesian estimation using a Gaussian random field with inverse Gamma bandwidth
我们考虑非参数贝叶斯估计推断使用重新缩放的光滑高斯场作为多维函数的先验。使用Gamma变量实现重新缩放，并且该过程可以被视为选择逆Gamma带宽。从频率论的角度研究的过程中，涉及重复观测（密度估计，回归和分类）的统计设置。我们证明，由此产生的后验分布收缩的分布，产生的数据的速度是最小最优的对数因子，无论规则性水平的数据生成分布。因此，层次贝叶斯过程，与一个固定的先验，是完全自适应的。
2009-08-25 math.ST stat.TH
Full adaptation to smoothness using randomly truncated series priors with Gaussian coefficients and inverse gamma scaling
我们研究了随机序列先验估计函数参数（f \in L^2[0，1]）。我们表明，与一系列的随机截断，高斯系数和反伽玛乘法缩放之前，它是可能的，以实现后验收缩在最佳速率和适应任意程度的平滑。我们提出了一般的结果，可以结合现有的收缩率的结果，各种非参数估计问题。我们给出了具体的例子信号估值在白噪声和漂移估计的一个一维的噪声。
2016-12-05 math.ST stat.TH
An Ensemble Kalman Filter Implementation Based on Modified Cholesky Decomposition for Inverse Covariance Matrix Estimation
本文提出了一种基于改进的Cholesky分解逆协方差阵估计的集合卡尔曼滤波器的有效实现。该实现被命名为EnKF-MC。背景误差对应于遥远的模型组件相对于一些半径的影响被假定为有条件地独立。这允许获得逆背景误差协方差阵的稀疏估计。所提出的方法的计算工作量进行了讨论，并提供了不同的配方的基础上，各种矩阵的身份。此外，收敛性的渐近证明方面的合奏规模。为了评估所提出的方法的性能和精度，实验进行利用大气环流模式SPEEDY。结果进行了比较，对那些使用本地集合变换卡尔曼滤波器（LETKF）。对密集观测（观测到模型组件的$100\%$和$50\%$）以及稀疏观测（仅观测到模型组件的$12\%$、$6\%$和$4\%$）执行检验。结果表明，使用修正的Cholesky逆协方差阵估计可以减少同化周期中虚假相关的影响，即，所提出的方法的结果在均方根误差方面比通过LETKF获得的结果质量更好。
2016-05-28 math.ST stat.TH
Estimation of a probability with optimum guaranteed confidence in inverse binomial sampling
序贯估计的概率$p$通过逆二项抽样被认为是。对于给定的$μ_1,μ_2>1$，估计量$\hat{p}$的准确性由置信水平$P[p/μ_2\leq\hat{p}\leq pμ_1]$来衡量。研究了对于$p$未知可以保证的置信水平$c_0$，即，使得对于所有$p\in(0,1)$都是$P[p/μ_2\leq \hat{p}\leq pμ_1]\geq c_0$。它表明，在一般类的随机或非随机估计的基础上逆二项抽样，有一个最大的$c_0$，可以保证任意$p$。给出了一个非随机估计量，在温和的条件下，在$μ_1$，$μ_2$上实现了最大保证置信度。
2010-10-11 math.ST stat.TH
Improved Likelihood Estimation for the Generalized Extreme Value and the Inverse Gaussian Lifetime Distributions
在存在冗余参数的情况下，轮廓似然推断通常是不可靠和有偏差的，特别是在小样本情况下。在过去的几十年中，已经提出了几种调整来修改文献中的轮廓似然函数，包括Barndorff-Nielsen中引入的修改的轮廓似然估计技术。在这项研究中，调整的轮廓似然函数的感兴趣的参数存在的冗余参数进行了研究。本文着重推广了Barndorff-Nielsen关于逆高斯分布估计其色散参数的方法和广义极值分布估计其形状参数的方法。对于具有GEV分布的寿命采用加速失效时间模型，对于寿命分布采用逆高斯分布。蒙特卡洛模拟研究进行证明这两种方法的性能。仿真结果表明，修改后的配置文件的似然估计的优越性超过配置文件的似然估计的参数的兴趣。特别是，它被发现的修改，可以提高整体性能的估计，通过减少其偏差和标准误差。
2016-03-28 math.ST stat.TH
The Inverse Weighted Lindley Distribution: Properties, Estimation and an Application on a Failure Time Data
本文提出了一种新的分布。这种新模型为使用倒浴缸危险率函数的数据建模提供了更大的灵活性。一个新的分布的数学性质的显着帐户。在完全数据和删失数据下给出了参数的极大似然估计。两种校正方法被认为是获得修改后的估计是无偏二阶。进行了数值模拟，以检查偏压校正的效率。最后，一个应用程序使用一个真实的数据集，以说明我们提出的分布。
2017-11-26 math.ST stat.TH
Maxiset point of view for signal detection in inverse problems
本文将最大集理论从函数估计推广到反问题中的信号检测。在这种情况下，与经典估计框架相比，最大集不具有相同的形状。尽管如此，我们引入了这些最大集的鲁棒版本，允许展示感兴趣的信号的尾部条件。在这种新的范式下，我们能够比较直接和间接的测试程序。
2018-03-15 math.ST stat.TH
Estimation of inverse autocovariance matrices for long memory processes
这项工作的目的是估计逆自协方差矩阵的长记忆过程承认的线性表示。一个修改后的Cholesky分解结合使用的一个递增阶自回归模型来实现这一目标。建立了估计的谱模相合性。然后，我们将这一结果推广到具有长记忆时间序列误差的线性回归模型。特别是，我们表明，当目标是一致地估计误差过程的逆自协方差矩阵时，如果使用估计（最小二乘）误差代替不可观测误差，则同样的方法仍然有效。最后给出了这一结果在估计上述回归模型中未知参数方面的应用。最后，进行了模拟研究，以说明我们的理论研究结果。
2016-03-17 math.ST stat.TH
Early stopping for statistical inverse problems via truncated SVD estimation
我们考虑截断SVD（或频谱截止，投影）估计的一个典型的统计逆问题的尺寸$D$。由于计算的奇异值分解（SVD）的最大奇异值是少得多的成本比完整的SVD，我们的目标是选择一个数据驱动的截断水平$\widehat m\in\{1,\ldots,D\}$仅基于知识的第一个$\widehat m$奇异值和向量。我们详细分析了这种类型的顺序{ \it早期停止}规则是否可以保持统计最优性。给出了基于残差的停止规则的信息约束下界和匹配上界，给出了最优顺序自适应可行的情况。最后，提出了一种混合两步法，它允许经典的预言不等式，同时大大降低了数值复杂性。
2018-09-07 math.ST stat.TH
Relative Performance of Expected and Observed Fisher Information in Covariance Estimation for Maximum Likelihood Estimates
极大似然估计是统计推断中的一种常用方法。作为评价最大似然估计（MLE）精度的一种方法，MLE的协方差阵的计算在实际中有着重要的意义。标准统计理论表明，归一化的MLE是渐近正态分布的，协方差阵是未知参数处Fisher信息矩阵的倒数。最大似然估计的协方差的两个常用估计是观测到的协方差的倒数（与负对数似然的逆Hessian相同）和期望协方差的倒数（与逆Hessian相同）。观察到的和预期的两个参数都在MLE处从样本数据中进行评估。在这篇论文中，我们证明了，在合理的条件下，类似于标准的MLE条件下，逆期望的预测优于逆观测的预测下的均方误差准则。具体地说，在渐近意义上，逆期望误差（在MLE处评估）相对于真实协方差阵的均方误差并不比逆观测误差（在MLE处评估）更大。这一结果与普遍接受的结果不同，这些结果显示出对观察到的α的偏好。在本文中，我们提出了理论推导，导致上述结论。我们还提出了三个不同的问题，以支持理论结果的数值研究。本论文还包括两个附录的主题相关的随机系统。第一个附录讨论了同时扰动随机逼近（SPSA）算法的最优扰动分布。第二个附录考虑了当封闭形式无法达到时计算FIM的蒙特卡罗方法。
2013-05-05 math.ST stat.TH
Quadratic functional estimation in inverse problems
本文考虑一个高斯序列观测模型$Y_i$，$i\geq 1$具有均值（或信号）$θ_i$和方差$σ_i$，它像$i^γ$，$γ>0$一样多项式增长.这个模型描述了一个大面板的反问题。我们估计的二次函数的未知信号$\sum_{i\geq 1}θ_i^2$时，信号属于椭圆的有限光滑函数（多项式权重$i^α$，$α>0$）和无限光滑（指数权重$e^{βi^r}$，$β>0$，$0<r \leq 2$）。我们提出了一个Pinsker型投影估计在每种情况下，并研究其二次风险。当信号比反问题的难度（$α>γ+1/4$或指数权重的情况）足够光滑时，我们得到了参数化率和与之相关的效率常数，并且给出了风险中二阶项的上界，并猜想它们是渐近尖锐的minimax.当信号用$α\leq γ+1/4$表示时，我们计算了非参数的风险上界，并假定该常数是渐近尖锐的。
2009-02-13 math.ST stat.TH
Empirical risk minimization in inverse problems: Extended technical version
研究了当观测值可从函数$Af$得到时，多元函数$f:{\bf R}^d \to {\bf R}$的估计问题，其中$A$是一个已知的线性算子.研究了高斯白噪声模型和密度估计。我们定义了一个$L_2$经验风险泛函，它被用来定义一个$δ$ -net极小化器和一个稠密的经验风险极小化器。给出了估计量的积分均方误差的上界。上界显示了估计的难度如何通过算子逆的伴随的范数依赖于算子，以及通过类的熵依赖于底层函数类。相应的下界也来自。作为例子，我们考虑卷积算子和Radon变换。在这些例子中，估计量达到了最佳的收敛速度。此外，对可加模型中的反问题给出了一个新的预言不等式。
2009-04-20 math.ST stat.TH
Estimation of a probability in inverse binomial sampling under normalized linear-linear and inverse-linear loss
本文研究了逆二项抽样中成功概率$p$的序贯估计。对于任何估计量$\hat p$，其质量由与线性-线性或逆线性形式的归一化损失函数相关联的风险来度量。这些函数可能是不对称的，对于$\hat p<p$和$\hat p>p$分别具有任意斜率参数$a$和$b$。在这些功能的兴趣是出于他们的意义和潜在的用途，这是简要讨论。估计量给出的风险有一个渐近值$p$倾向于$0$，并保证，对于任何$p$在$(0,1)$，风险低于其渐近值。这允许选择所需的成功次数$r$，以满足规定的质量，而不管未知的$p$。此外，当$a/b$与$1$的偏差不太大时，所提出的估计量是近似极小极大的，当$a=b$的$r$趋于无穷大时，所提出的估计量是渐近极小极大的.
2013-12-18 math.ST stat.CO stat.TH
An efficiency upper bound for inverse covariance estimation
我们推导出估计高维分布的逆协方差阵中的项的效率的上界。我们表明，为了近似的非对角条目的密度矩阵的$d$维高斯随机向量，需要至少一个样本个数成比例的$d$。此外，我们表明，与$n \ll d$样本，假设两个给定的坐标是完全相关的，当所有其他坐标的条件为零，不能告诉除了假设，这两个是不相关的。
2013-02-11 math.PR math.ST stat.TH
Interval Estimation of Bounded Variable Means via Inverse Sampling
在本文中，我们发展了有界随机变量均值的区间估计方法，该方法基于一个连续的过程，使得抽样一直持续到样本和不小于一个给定的阈值。
2008-03-07 math.PR math.ST stat.ME
Optimal Uncertainty Size in Distributionally Robust Inverse Covariance Estimation
在最近的一篇论文中，Nguyen，Kuhn和Esfahani（2018）为高斯分布的精度矩阵建立了一个分布鲁棒估计器。分布不确定性大小是构建此估计量的关键因素。我们开发了一个统计理论，它显示了如何最佳地选择不确定性的大小，以尽量减少相关的斯坦损失。令人惊讶的是，最佳不确定性大小与样本量呈线性关系，而不是期望的规范平方根缩放率。
2019-10-10 math.OC math.ST stat.TH
A unified precision matrix estimation framework via sparse column-wise inverse operator under weak sparsity
本文在弱稀疏条件下估计了高维精度矩阵，其中许多元素几乎为零。在弱稀疏条件下，我们重新讨论了稀疏列方向逆算子（SCIO）估计量\cite{liu2015fast}，并推导了它的一般误差界.建立了一个统一的框架，以处理各种情况下，包括重尾数据，非超常数据，矩阵变量数据。这些新方法可以达到与现有方法相同的收敛速度，并且可以有效地实现。
2022-10-20 math.ST stat.ME stat.TH
Probability Estimation with Truncated Inverse Binomial Sampling
本文给出了截尾逆二项抽样的一般理论。在该理论中，固定尺寸抽样和逆二项抽样作为特殊情况被容纳。特别是，经典的霍夫-霍夫丁界是该理论的直接结果。此外，我们提出了一种严格而有效的概率估计方法，这是一个自适应蒙特卡罗估计方法的截断逆二项抽样的基础上。我们提出的方法的概率估计可以是数量级更有效的文献和广泛使用的软件中的现有方法相比。
2019-08-19 cs.SY eess.SY math.ST
Structure estimation for discrete graphical models: Generalized covariance matrices and their inverses
研究了离散图模型的结构与广义协方差阵的逆矩阵的支持度之间的关系。我们表明，对于某些图结构，支持的指示变量的逆协方差阵的顶点上的图的条件独立结构反映。我们的工作扩展了以前只在多变量高斯图形模型的背景下建立的结果，从而解决了一个悬而未决的问题，关于非高斯分布的逆协方差阵的意义。该证明利用了指数族几何、连接树理论和凸分析的思想组合。这些人口水平的结果有各种后果的图形选择方法，已知的和新颖的，包括一种新的方法，用于结构估计丢失或损坏的观察。我们提供非渐近保证，这样的方法，并说明这些预测的锐度通过模拟。
2014-01-06 math.ST stat.ML stat.TH
Confidence intervals for high-dimensional inverse covariance estimation
我们提出的方法统计推断低维参数稀疏精度矩阵在高维设置。我们的方法导致一个非稀疏估计的精度矩阵，其条目具有高斯极限分布。在真精度矩阵项的稀疏性假设和正则性条件下，分析了亚高斯观测下新估计的渐近性质。保持去稀疏化估计量的不变保证了相关联的图形模型中的边选择。所提出的方法的性能示出在模拟研究。
2015-08-11 math.ST stat.ME stat.TH
Inverse set estimation and inversion of simultaneous confidence intervals
针对气候与医学风险评估中的逆集估计问题，提出通过反演同时置信带非渐近地构造多水平置信集，并给出非参数自举算法，适用于稠密与非稠密域。
2023-07-11 math.ST stat.ME stat.TH
High-dimensional learning of linear causal networks via inverse covariance estimation
我们建立了一个新的框架，统计估计的有向无环图（DAG）时，数据生成的线性，可能是非高斯结构方程模型。我们的框架由两部分组成：（1）从逆协方差阵的支持推断道德化图;（2）在与道德化图一致的DAG中选择最佳得分图。我们表明，当误差方差是已知的或估计到足够接近的精度，真正的DAG是唯一的最小值的分数计算使用加权平方l_2损失。我们的人口水平的结果有影响的线性SEM的可识别性时，误差协方差被指定为一个常数倍。在统计方面，我们建立严格的条件，我们的两部分算法的高维一致性，定义在真正的DAG和下一个最佳候选人之间的“差距”。最后，我们证明了当道德化图的树宽有界时，动态规划可以用来在线性时间内选择最优DAG。
2013-11-14 math.ST stat.ML stat.TH
Geometric Inference for General High-Dimensional Linear Inverse Problems
本文提出了一个统一的几何框架的一般不适定线性逆模型的统计分析，其中包括作为特殊情况的噪声压缩感知，符号向量恢复，跟踪回归，正交矩阵估计，和噪声矩阵完成。我们提出了计算上可行的凸规划的统计推断，包括估计，置信区间和假设检验。一个理论框架的特点的局部估计收敛速率，并提供统计推断保证。我们的结果是建立在局部圆锥几何和对偶的基础上。统计推断的困难是通过高斯宽度和Sudakov minoration估计的局部切锥的几何特征来捕获的。
2015-06-16 math.ST stat.ML stat.TH
Strong maximum a posteriori estimation in Banach spaces with Gaussian priors
本文证明了在任意可分Banach空间中，一类相对于高斯先验绝对连续的后验测度具有强最大后验估计量，并放宽了贝叶斯逆问题中对数似然及空间条件，显著扩展了现有结果。
2023-11-01 math.PR math.ST stat.TH
Estimation When Both Covariance And Precision Matrices Are Sparse
我们提供了一种方法来估计协方差矩阵的特殊情况下，\textit{both}的协方差阵和精度矩阵是稀疏的--一个约束，我们称之为双稀疏。估计方法是极大似然，服从双稀疏约束。在我们的方法中，只允许一类特殊的稀疏模式：矩阵及其逆矩阵必须从属于同一个弦图。与双重稀疏性的天真执行相比，我们的弦图方法利用了一个特殊的代数局部逆公式。该局部逆属性使得通常涉及逆（精度矩阵或协方差阵的逆）的计算快得多。在协方差阵估计的背景下，我们的建议似乎是第一次找到这样的特殊对协方差和精度矩阵。
2021-08-15 math.ST stat.CO stat.ME
Γ-convergence of Onsager-Machlup functionals. Part I: With applications to maximum a posteriori estimation in Bayesian inverse problems
统计逆问题的贝叶斯解可以用后验分布的一种模式来概括，即MAP估计量。MAP估计基本上与逆问题的（正则化）变分解相一致，被视为后验测量的Onsager-Machlup泛函的最小化。反问题稳定性分析中的一个公开问题是建立由变分方法和贝叶斯方法获得的解的收敛性质之间的关系。为了解决这个问题，我们提出了一个通用的收敛理论的模式，是基于$Γ$收敛的Onsager-Machlup泛函，并将此理论应用到贝叶斯逆问题与高斯和边缘保持Besov先验。本文的第二部分考虑更一般的先验分布。
2021-11-29 cs.NA math.NA math.PR
Maximum likelihood estimation of regularisation parameters in high-dimensional inverse problems: an empirical Bayesian approach. Part II: Theoretical Analysis
本文对我们的同伴论文[49]中提出的三种随机逼近邻近梯度算法进行了详细的理论分析，以通过边际极大似然估计来设置正则化参数。我们证明了一个更一般的随机逼近方案的收敛性，其中包括[49]的三个算法作为特殊情况。这包括具有自然且易于验证的条件的渐进和非渐近收敛结果，以及收敛速度的明确界限。重要的是，该理论也是通用的，因为它可以应用于其他棘手的优化问题。一个主要的新颖性的工作是，我们的计划的随机梯度估计构造从不精确的近端马尔可夫链蒙特卡洛采样。这允许使用采样器，有效地扩展到大的问题，我们有精确的理论保证。
2020-08-13 math.PR math.ST stat.CO
Inverse Sampling for Nonasymptotic Sequential Estimation of Bounded Variable Means
Louisiana State University at Baton Rouge（巴吞鲁日路易斯安那州立大学）；Southern University and A&M College（南方大学及农工学院）
本文考虑了有界于0和1之间的随机变量均值的非渐近序贯估计。我们已经严格证明，为了保证规定的相对精度和置信水平，它足以继续采样，直到样本和不小于一定的界限，然后采取样本的平均值作为有界随机变量的平均值的估计。我们给出了一个确定样本和的上界的显式公式和一个对分搜索法，而不需要知道有界变量。此外，我们还推导出了样本量分布的界。在Bernoulli随机变量的特殊情况下，我们建立了解析和数值方法，进一步缩小了样本和的界，从而提高了抽样效率。同时，对已有结果的谬误进行了检验和分析.
2007-12-02 cs.LG math.PR math.ST
Consistent Estimation of Pricing Kernels from Noisy Price Data
针对非负定价核的逆问题，提出约束最小二乘法和松弛相对熵最大化方法，实现一致估计。
2003-10-15 cs.NA math.NA math.ST
Maximum Entropy on the Mean and the Cramér Rate Function in Statistical Estimation and Inverse Problems: Properties, Models, and Algorithms
我们探索一种称为平均值（MEM）的最大熵的统计估计方法，该方法基于信息驱动的标准，该标准量化给定点与参考先验概率测量的符合性。这种方法的核心在于MEM函数，它是线性约束上的Kullback-Leibler发散的部分最小化。在许多情况下，已知该函数允许更简单的表示（称为Cramér率函数）。通过连接到指数族的概率分布，我们研究的一般条件下，这种表示。然后，我们解决相关的MEM估计如何产生广泛的一类基于MEM的正则化线性模型求解逆问题。最后，我们提出了一个算法框架，有效地解决这些问题的基础上Bregman近端梯度法，以及常用的参考分布的近端算子。本文是由一个软件包的补充实验和探索的MEM方法在应用中。
2022-12-17 cs.IT math.IT math.OC
Nearest neighbor density functional estimation from inverse Laplace transform
提出了一种利用$k$ -最近邻距离对一般密度泛函进行$L_2$ -相容估计的新方法，其中所考虑的密度泛函是每个点的密度的某个函数$f$的期望的形式.该估计量被设计为渐近无偏的，使用$k$ -最近邻球的归一化体积在大样本极限下收敛到Γ分布，并且自然地涉及函数$f.$的缩放版本的拉普拉斯逆变换。所提出的估计器的一些实例恢复了现有的基于$k$的最近邻的香农和雷尼熵以及Kullback的估计器。Leibler和Rényi分歧，并发现了许多其他泛函，如对数熵和分歧的新的一致估计。建议估计的$L_2$一致性建立了广泛的一类密度一般泛函，和收敛速度均方误差的函数的样本量光滑，有界密度。
2022-02-05 cs.IT math.IT math.ST
On the sample complexity of parameter estimation in logistic regression with normal design
Columbia University（哥伦比亚大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文研究逻辑回归在标准正态设计下参数估计的样本复杂度，发现其随逆温度变化存在两个变点，清晰划分低、中、高温三个区域。
2024-05-23 cs.IT cs.LG math.IT
