Nearly minimax robust estimator of the mean vector by iterative spectral dimension reduction
CEREMADE（CEREMADE（巴黎多芬大学-PSL大学））；Université Paris Dauphine - PSL（巴黎多芬大学-PSL大学）；CREST；ENSAE（法国国家统计与经济管理学院）；IP Paris（巴黎综合理工学院联盟）
研究了次高斯分布下均值向量的稳健估计问题。我们介绍了一种基于谱降维（SDR）的估计器，并建立了一个有限样本上界，其误差是最小最大最优的对数因子。此外，我们证明了SDR估计的击穿点等于$1/2$，击穿点的最高可能值。此外，SDR估计器通过相似变换是等变的，并且具有低的计算复杂性。更准确地说，在$n$维向量为$p$的情况下--最多$\varepsilon n$被逆向破坏--SDR估计器具有$\big(\frac{r_Σ}{n} + \varepsilon^2\log(1/\varepsilon)\big){\log p}$阶的平方误差和$p^3 + n p^2$阶的运行时间。这里，$r_Σ\le p$是参考分布的协方差阵的有效秩。SDR估计器的另一个优点是它不需要污染率的知识，也不涉及样本分割。我们还研究了所提出的算法和所获得的结果的情况下（部分）未知的协方差阵的扩展。
2022-04-05 cs.LG math.ST stat.TH
Nearly unstable family of stochastic processes given by stochastic differential equations with time delay
该论文研究了带时滞随机微分方程在近不稳定参数下的似然比收敛性，证明了最大似然估计的弱收敛，并指出其极限分布等价于无时滞过程的估计。
2019-10-17 math.ST stat.TH
On the restricted almost unbiased Liu estimator in the Logistic regression model
当逻辑斯谛回归模型中存在多重共线性时，极大似然估计的方差是不稳定的。作为补救措施，在有偏收缩岭估计的背景下，Chang（2015）在逻辑斯谛回归模型中引入了几乎无偏的Liu估计。利用他的方法，当一些先验知识的线性限制的形式也是可用的，我们引入了一个限制几乎无偏刘估计的逻辑斯谛回归模型。给出了新定义的估计量的统计性质，并以定理的形式给出了一些比较结果。一个真实的数据例子的Monte Carlo模拟研究，以调查这种估计的性能。
2017-07-22 math.ST stat.TH
On the Finite-Sample Analysis of $Θ$-estimators
在现代大规模数据分析中，一阶最优化方法通常被用来获得高维数据的稀疏估计。本文对这样定义的一类基于迭代阈值的估计量进行了理论分析。Oracle不等式的建立，以显示在一种新的类型的正则性条件下，这种估计的近极大极小率最优性。此外，序列的迭代被发现能够接近的最佳统计精度内的统计真理几何快速。我们的研究结果还揭示了不同的好处所带来的凸和非凸类型的收缩。
2016-10-08 math.ST stat.TH
Nearly second-order asymptotic optimality of sequential change-point detection with one-sample updates
Georgia Institute of Technology（佐治亚理工学院）
分布参数未知时的序列变点检测是统计学和机器学习中的一个基本问题。当参数未知时，我们考虑一组基于序贯似然比的检测过程，其中非预期估计量使用在线凸优化算法（如在线镜像下降）构造，它提供了一种更通用的方法来处理无法找到递归最大似然估计的复杂情况。当底层分布属于指数族并且估计量满足对数遗憾性质，我们证明了这种方法是近二阶渐近最优的。这意味着当阈值趋于无穷大时，算法的虚警率的上界（由平均游程长度测量）渐近地满足下界，直到对数-对数因子。我们的证明是通过建立顺序变点和在线凸优化之间的联系，并利用在线镜像下降算法的对数遗憾界属性。数值和实际数据的例子验证了我们的理论。
2017-12-04 cs.LG math.ST stat.TH
Unbiased estimation of the volume of a convex body
基于$\R^d$中凸集上均匀分布点的观测值，提出了一种新的凸集体积估计方法。该估计是最小最大最优的，也是有效的非渐近：它几乎是无偏的所有无偏预言型估计之间的方差最小。我们的方法是基于泊松点过程模型，并作为一个组成部分，我们证明了凸包是一个充分的和完全统计量。对凸集的边界不作任何假设。在数值研究中，我们表明，估计优于早期的估计量。此外，针对凸体本身提出了一种改进的集合估计器。
2016-01-21 math.ST stat.TH
Element-wise estimation error of a total variation regularized estimator for change point detection
本文研究了变点检测问题中的全变差正则化$\ell_2$估计（融合套索）。与现有的集中在平方估计误差和的工作相比，我们给出了按元素估计误差的界。我们的界限是接近最优的意义上，平方误差的总和匹配现有的最佳结果，对数因子。这种逐元素估计误差的分析允许可以近似检测所有变化点的筛选方法。我们还将此方法推广到多变量设置，即，来解决群体融合套索的问题。
2019-01-03 math.ST stat.TH
Nearly Optimal Sample Size in Hypothesis Testing for High-Dimensional Regression
Stanford University（斯坦福大学）
考虑高维线性回归模型的参数拟合问题。在参数$p$的数量与样本量$n$相当或超过$n$的情况下，成功的方法使用$\ell_1$惩罚最小二乘估计量，称为Lasso。不幸的是，与线性估计器不同（例如，普通最小二乘法），没有建立良好的方法来计算置信区间或p值的基础上的Lasso估计。最近，一系列工作\cite{javanmard2013hypothesis, confidenceJM, GBR-hypothesis}已经解决了这个问题，通过构建一个去偏版本的Lasso估计。本文研究随机设计模型的这种方法，假设设计的精度矩阵存在一个好的估计。我们的分析比现有技术有所改进，因为如果样本量$n$渐近优于$s_0 (\log p)^2$，则其建立了接近最佳的\emph{average}检验功效，其中$s_0$为稀疏水平（非零系数的数量）。早期的工作获得可证明的保证，只有更大的样本量，即它需要$n$渐近支配$(s_0 \log p)^2$。特别是，对于随机设计的稀疏精度矩阵，我们表明，其具有所需的属性的估计可以有效地计算。最后，我们评估这种方法的合成数据，并将其与以前的建议。
2013-11-01 cs.IT cs.LG math.IT
Minimax Efficient Finite-Difference Stochastic Gradient Estimators Using Black-Box Function Evaluations
随机梯度估计的标准方法，仅具有噪声黑盒函数评估，使用有限差分法或其变体。虽然很自然，但我们知道他们的统计准确性是否是最好的。本文认为，通过显示中心有限差分是一个接近极小极大最优零阶梯度估计的一个合适的类的目标函数和均方风险，在这两个类的线性估计和更大的类的所有（非线性）估计。
2020-11-12 math.ST stat.ME stat.TH
Statistical Analysis of Multi-Relational Network Recovery
在本文中，我们建立了一类大规模多关系网络潜变量模型的渐近理论。特别是，我们建立的一致性结果和渐近误差界的（惩罚）最大似然估计时，网络的大小趋于无穷大。其基本方法是通过对随机场的大偏差分析，得到极大似然估计的非渐近误差界。我们还表明，这些估计是接近最优的极小极大风险。
2020-08-29 math.ST stat.TH
Asymptotic Theory for Kernel Estimators under Moderate Deviations from a Unit Root, with an Application to the Asymptotic Size of Nonparametric Tests
我们提供了新的渐近理论的核密度估计，当这些被应用到自回归过程表现出中度偏离单位根。这填补了现有文献中的空白，迄今为止只考虑了近集成和平稳的自回归过程。这些结果有应用到非参数预测回归模型。特别地，我们证明了非参数t检验的零拒绝概率在回归变量的持续性程度上是一致控制的。这为通常的非参数推断程序的有效性提供了严格的理由，即使在回归变量可能高度持久的情况下。
2019-08-16 math.ST stat.TH
A new method for estimation and model selection: $ρ$-estimation
本文的目的是提出一种新的估计程序，可以应用在许多统计框架，包括密度和回归，并导致强大的和最佳的（或接近最佳的）估计。在密度估计中，至少当统计模型足够正则且包含待估计的真密度时，它们与著名的极大似然估计渐近相合。对于非常一般的密度模型，包括非紧的，这些估计是强大的相对于Hellinger距离和收敛在最佳速率（可能的对数因子）在所有情况下，我们知道。在回归环境中，我们的方法从许多方面改进了经典的最小二乘。例如，在简单线性回归中，它提供了对异常值鲁棒的系数估计，并且同时对于包括高斯、拉普拉斯、柯西和均匀等的大类误差分布是速率最优的（或接近速率最优的）。
2016-06-01 math.ST stat.TH
Nonparametric estimation of jump rates for a specific class of Piecewise Deterministic Markov Processes
本文考虑了一个具有已知流和确定转移测度，未知跳率$λ$的分段确定马尔可夫过程.为了非参数地估计跳跃率，我们首先构造了平稳密度的自适应估计，然后导出了$λ$的商估计$\hatλ_n$.我们提供了统一的界限，这些估计的风险，并证明了估计的跳跃率是近minimax（高达$\ln^2(n)$因素）。模拟说明了我们的估计的行为。
2020-12-08 math.PR math.ST stat.TH
Location estimation for symmetric log-concave densities
我们重新估计的对称中心$θ$的一个未知的对称密度$f$的问题。尽管Stone（1975）、Van Eden（1970）和Sacks（1975）在该模型中构造了$θ$的自适应估计量，但它们的估计量依赖于调节参数。在努力规避的依赖于调整参数，我们强加了额外的假设，对$f$的对数。我们证明了在这个形状限制模型中，存在$θ$的极大似然估计（MLE）。我们还研究了一些截断一步估计，证明了它们是$\sqrt{n}-$相容的，并且几乎达到渐近有效界。我们还证明了极大似然估计的收敛速率是$O_p(n^{-2/5})$。此外，我们表明，我们的估计是强大的违反对数假设。事实上，我们证明了一步估计仍然是$\sqrt{n}$ -相容的一些温和的条件下。这些分析结论得到了模拟研究的支持。
2019-11-14 math.ST stat.TH
Cross-Fitting and Fast Remainder Rates for Semiparametric Estimation
有许多有趣的和广泛使用的估计功能有限半参数方差界依赖于非参数估计滋扰功能。我们使用交叉拟合（即样本分裂）来构建具有快速剩余率的新估计。我们给交叉拟合双稳健估计，使用单独的子样本估计不同的滋扰功能。我们得到了一般的，精确的结果回归样条估计的平均线性泛函的条件期望与有限的半参数方差界。我们证明了期望条件协方差的交叉拟合双稳健样条回归估计在极小条件下是半参数有效的。交叉拟合双稳健估计的其他平均线性泛函的条件期望具有最快的已知剩余率的Haar基或在一定的光滑条件下。令人惊讶的是，交叉拟合插入式估计器也具有几乎最快的已知余数速率，但余数收敛到零的速度比交叉拟合双稳健估计器慢。作为具体的例子，我们考虑期望的条件协方差，随机缺失数据的平均值，以及加权平均导数。
2018-01-27 math.ST stat.TH
Estimating accuracy of the MCMC variance estimator: a central limit theorem for batch means estimators
MCMC方差的批均值估计是一个简单而有效的MCMC遍历平均值的准确性度量。在不同的正则条件下，该估计量对于真方差是一致的。然而，估计器在实践中可能是不稳定的，因为它直接取决于原始MCMC输出。因此，需要一个批平均值估计量本身的准确度度量，理想情况下是置信区间的形式。批均值估计量的渐近方差是已知的;然而，在没有任何渐近分布知识的情况下，渐近方差一般不足以描述变异性。在这篇文章中，我们证明了一个中心极限定理的批均值估计，允许建设渐近准确的置信区间的批均值估计。此外，我们的研究结果提供了一个马尔可夫链模拟的经典CLT的样本方差参数的i.i.d.意见。我们的结果假设标准的正则条件类似的文献中所假设的证明一致性。模拟和真实数据的例子包括插图和CLT的应用。
2019-11-03 math.ST stat.CO stat.TH
Model selection in regression under structural constraints
本文考虑了在可接受模型的额外结构约束下的回归模型选择，其中潜在的预测因子的数量甚至可能大于可用的样本量。我们开发了一个贝叶斯形式主义作为一个自然的工具，用于生成一个广泛的类的模型选择标准的基础上惩罚最小二乘估计与各种复杂性的罚款与先验模型大小。由此产生的标准是自适应的结构约束。我们建立了一组给定大小的可容许模型的MAP估计的二次风险的上界和相应的极小极大风险的下界。然后，我们指定类的先验（因此，类的复杂性处罚），其中的“近正交”设计的MAP估计是渐近至少近极大极小（对数因子）同时在整个范围内的稀疏和密集的设置。此外，当可接受模型的数量“小”时（例如，有序变量选择），或者相反，对于完全变量选择的情况，所提出的估计器实现了精确的极大极小率。
2013-02-17 math.ST stat.TH
On adaptive minimax density estimation on $R^d$
我们解决的问题，自适应极小极大密度估计的$\bR^d$与$\bL_p$ -各向异性的Nikol'skii类的损失。在函数类和风险的定义中，我们充分刻画了极大极小风险在正则性参数和范数指标之间的不同关系下的行为。特别是，我们表明，有四个不同的制度方面的行为的极大极小风险。我们开发了一个单一的估计，这是（近）最佳的orderover的各向异性Nikol'skii类的完整规模。我们的估计过程是基于数据驱动的选择一个估计从一个固定的家庭的核估计。
2013-06-18 math.ST stat.TH
Sharp large deviations for the non-stationary Ornstein-Uhlenbeck process
对于Ornstein-Uhlenbeck过程，漂移参数的极大似然估计的渐近行为在稳定、不稳定和爆炸情形下是完全不同的。尽管如此，我们研究了这三种情况下的估计量的急剧大偏差原则。在爆炸的情况下，我们表现出一个非常不寻常的速率函数的形状平坦的山谷和突然的不连续点在其最低点。
2011-11-25 math.PR math.ST stat.TH
Adaptive spectral density estimation by model selection under local differential privacy
研究了局部差分隐私下的谱密度估计。通过截断和拉普拉斯微扰来实现非线性化。我们选择我们的估计从一组候选估计的惩罚对比标准。这种估计达到几乎相同的收敛速率的最佳估计从候选人集。证明的一个关键成分是最近的结果浓度的二次型的次指数随机变量在arXiv：1903.05964。我们说明了我们的研究结果在一个小的模拟研究。
2020-10-08 math.ST stat.ME stat.TH
The different asymptotic regimes of nearly unstable autoregressive processes
我们将关于几乎不稳定AR（p）过程收敛性的经典结果推广到无限阶情形。为了做到这一点，我们继续在最近的工作霍克斯过程中使用极限定理的一些精心挑选的几何和。证明了当系数序列具有轻尾时，无穷阶近似不稳定自回归过程表现为Ornstein-Uhlenbeck模型。然而，在重尾的情况下，我们表明，分数扩散出现的限制法律，这样的过程。
2015-02-23 math.ST stat.TH
Stabilized Cross-Validation of Smoothness in Density Deconvolution
针对密度反卷积中SPeD估计量的调谐参数选择问题，本文提出稳定交叉验证（SCV）准则，证明其是MISE的最小方差无偏估计量，并通过模拟实验验证其优于现有方法。
2025-08-22 math.ST stat.TH
Eigenvector distributions and optimal shrinkage estimators for large covariance and precision matrices
本文研究了高维环境下大型样本协方差矩阵和精度矩阵的Stein不变收缩估计量，在近乎任意总体协方差矩阵模型下建立了广泛损失函数的收缩量渐近极限，其关键贡献是推导出非尖峰特征向量的渐近分布。
2024-04-23 math.PR math.ST stat.TH
Nearly Semiparametric Efficient Estimation of Quantile Regression
分位数回归作为最小二乘回归的一种有竞争力的替代方法，在分析异质数据时得到了广泛的应用。对于单分位数水平$τ$的分位数回归模型，半参数有效估计的主要困难是参数有效值的不可得性和条件密度估计。本文利用最不利子模型技术，分别推导了线性分位数回归模型在$(0,1)$中的单分位数水平、多分位数水平和所有分位数水平下的半参数有效得分.我们的主要发现是对多个分位数水平下的分位数回归模型的回归系数的一步（近似）半参数有效估计，它具有以下优点：它可以被看作是一种在多个/其他分位数上汇集信息以提高效率的最佳方法;由于所研究的分位数回归模型的性质，通过插入初始估计量，条件密度估计是直接的。在正则条件下，证明了所得到的估计达到了相应的半参数有效性下界。包括模拟和一个例子的儿童出生体重的数值研究证实，所提出的估计导致更高的效率相比，Koenker-Bassett分位数回归估计的所有分位数的利益。
2017-05-26 stat.ME
Biased-sample empirical likelihood weighting: an alternative to inverse probability weighting
逆概率加权（IPW）被广泛应用于许多领域，当数据受到不代表性，缺失，或选择偏见。使用IPW的一个不可避免的挑战是，如果某些概率非常接近于零，则IPW估计量可能非常不稳定。为了克服这个问题，在文献中已经开发了至少三种补救措施：稳定化、阈值化和修整。然而，最终的估计量仍然是IPW型估计量，并且不可避免地继承了朴素IPW估计量的某些弱点：它们仍然可能是不稳定的或有偏的。我们提出了一个偏置样本的经验似然加权（ELW）的方法，作为IPW服务相同的一般目的，同时完全克服了IPW型估计的不稳定性，通过规避使用逆概率。ELW权重总是定义良好且易于实现。从理论上证明了ELW估计是渐近正态的，并且对于缺失数据问题和不等概率抽样问题，它比IPW估计及其稳定化版本更有效。在有替换的不等概率抽样下也建立了它的渐近正态性。我们的模拟结果和一个真实的数据分析表明，ELW估计是平移等变的，几乎无偏的，通常优于IPW型估计的均方误差。
2021-11-25 stat.ME
Asymptotic behavior of CLS estimator of autoregressive parameter for nonprimitive unstable INAR(2) models
本文讨论了二阶非本原不稳定整数值自回归模型（INAR（2））参数的条件最小二乘估计的渐近性态。
2010-06-23 math.PR math.ST stat.TH
Optimal One-pass Nonparametric Estimation Under Memory Constraint
对于流式设置中的非参数回归，其中数据不断流入并需要实时分析，主要挑战是由于有限的计算机内存和存储，数据一旦处理就从计算机系统中清除。我们提出了一种新的单通估计的基础上惩罚正交基扩展和开发一个通用的框架来研究统计效率和内存消耗的估计之间的相互作用，以应对挑战。我们证明了，所提出的估计器是统计最优的内存约束下，并具有渐近最小的内存足迹之间的所有单通估计的相同的估计质量。数值研究表明，所提出的一次通过估计是几乎一样有效的，其非流对应的访问所有的历史数据。
2022-08-18 math.ST stat.ME stat.TH
On the computation of a non-parametric estimator by convex optimization
从观测数据中估计线性泛函是许多学科中的一项重要任务。Juditsky & Nemirovski [The Annals of Statistics 37.5A（2009）：2278 - 2300]提出了一个在非常一般的设置中对线性泛函进行非参数估计的框架，具有近似最小最大最优置信区间。他们通过近似函数的鞍点来计算这个估计量和相关的置信区间。虽然这个最优化问题是凸的，但是使用现有的现成的优化软件来求解是相当困难的。此外，当估计量存在于高维空间中时，这种计算可能是昂贵的。我们提出了一个不同的算法来构建这个估计。我们的算法可以使用现有的优化软件，是更便宜的实现，即使当估计是在一个高维空间，只要Hellinger亲和性（或Bhattacharyya系数）的选择参数分布可以有效地计算给定的参数。我们希望，我们的算法将促进采用这种估计技术，以更广泛的各种问题相对容易。
2021-12-06 math.OC math.ST stat.TH
Large deviations and concentration inequalities for the Ornstein-Uhlenbeck process without tears
我们的目标是建立无撕裂的Ornstein-Uhlenbeck过程漂移参数的极大似然估计的大偏差和集中不等式。我们提出了一种新的策略，建立大偏差的结果，使我们能够通过一个合适的转换，以规避经典的困难，非陡度。我们的方法适用于稳定的情况下，该过程是正经常性的，以及在不稳定和爆炸的情况下，该过程分别是零经常性和瞬态。尽管这种分割，我们还提供了新的浓度不等式的最大似然估计。
2016-02-08 math.PR math.ST stat.TH
On the nonparametric maximum likelihood estimator for Gaussian location mixture densities with application to Gaussian denoising
本文研究了非参数最大似然估计（NPMLE）在$d$ -维中从独立观测值估计高斯位置混合密度的方法。与通常的基于似然的混合拟合方法不同，NPMLE基于凸优化。我们证明了有限样本结果的Hellinger精度的每一个NPMLE。我们的结果特别意味着，当真实密度是离散高斯混合物，并且没有任何有关混合分量数量的先验信息时，每个NPMLE都实现了接近参数风险（直至对数乘法因子）。在高斯去噪问题中，NPMLE可以自然地用于产生Oracle Bayes估计器的经验贝叶斯估计。我们证明的准确性的经验贝叶斯估计作为一个近似的Oracle贝叶斯估计的界限。在这里，我们的研究结果意味着，经验贝叶斯估计执行在聚类情况下去噪的最佳水平（对数乘法因子），没有任何先验知识的集群的数量。
2019-07-07 math.ST stat.CO stat.ML
Optimal Robust Linear Regression in Nearly Linear Time
University of California Berkeley（加州大学伯克利分校）；EPFL（洛桑联邦理工学院）
我们研究了高维鲁棒线性回归的问题，其中学习者可以从生成模型$Y = \langle X,w^* \rangle + ε$（$X \in \mathbb{R}^d$和$ε$独立）访问$n$样本，其中样本的$η$部分已被反向损坏。我们提出了这个问题的估计在两个设置：（i）$X$是L4-L2 hypercontractive，$\mathbb{E} [XX^\top]$有界的条件数和$ε$有界的方差和（ii）$X$是次高斯单位二阶矩和$ε$是次高斯。在这两种设置中，我们的估计：（a）实现最佳的样本复杂性和恢复保证高达对数因子和（b）运行在近线性时间（$\tilde{O}(nd / η^6)$）。在我们的工作之前，多项式时间算法实现接近最佳的样本复杂性只知道在设置$X$是高斯与身份协方差和$ε$是高斯，并没有线性时间估计已知的鲁棒线性回归在任何设置。我们的估计器及其分析利用了最近在构建更快的算法以进行稳健的均值估计以改善运行时间方面的发展，并改进了测量参数的浓度以及高斯舍入技术以改善统计样本的复杂性。
2020-07-16 cs.DS cs.LG stat.ML
Nonparametric inference from possibly unstable M/G/1 workload observations
School of Mathematical Sciences, Tel-Aviv University（特拉维夫大学数学科学学院）
研究 M/G/1 工作负载模型中服务时间分布的非参数推断问题，提出基于工作负载轨迹的估计器 $B_n(w)$，通过筛选机制简化问题，在适度正则性假设下建立误差界，给出首个达参数化 $L^1$ 风险率且无需相关假设的解决方案。
2026-08-19 math.PR math.ST stat.TH
On the least squares estimator in a nearly unstable sequence of stationary spatial AR models
研究了平稳空间自回归过程的一个近似不稳定序列，当自回归系数的绝对值之和趋于1时。结果表明，经过适当的规范，这些系数的最小二乘估计有一个正常的极限分布。如果没有一个参数等于零，则典型的收敛速率为n。
2008-03-17 math.PR math.ST stat.TH
GL-LowPopArt: A Nearly Instance-Wise Minimax-Optimal Estimator for Generalized Low-Rank Trace Regression
KAIST AI（韩国科学技术院人工智能系）；CAU AI（中央大学人工智能系）；POSTECH CSE/AI（浦项工业大学计算机科学与工程/人工智能系）；LSE Statistics（伦敦政治经济学院统计学系）
本文提出GL-LowPopArt估计器，结合核范数正则化与矩阵Catoni估计，改进了广义低秩迹回归的误差界，并引入了新的实验设计目标GL(π)。
2026-04-10 cs.LG stat.ML
Competitive Distribution Estimation
University of California, San Diego（加州大学圣地亚哥分校）
从样本中估计未知分布是统计学中的一个基本问题。这个目标的共同的最小-最大公式考虑了一类中所有分布的最佳估计量的性能。它表明，与$n$样本，分布在$k$符号可以学习到KL发散，减少到零的样本大小$n$，但增长无限的字母大小$k$。最小-最大性能可以被视为相对于知道底层分布的预言机的遗憾。我们考虑两个自然和适度的限制神谕的权力。一个是它只知道符号排列的基本分布，另一个是它知道确切的分布，但限于使用自然估计器，将相同的概率分配给样本中出现同样多次的符号。我们表明，在这两种情况下，竞争性的遗憾减少到$\min(k/n,\tilde{\mathcal{O}}(1/\sqrt n))$，一个数量上界一致的每个字母大小。这表明，当分布基本上预先已知时，分布几乎可以被估计，并且当它们完全预先已知但需要通过自然估计器估计时，分布几乎可以被估计。我们还提供了一个估计，在线性时间内运行，并招致竞争遗憾的$\tilde{\mathcal{O}}(\min(k/n,1/\sqrt n))$，并表明，自然估计，这种竞争遗憾是不可避免的。我们还证明了有效性的竞争力估计使用模拟。
2015-03-27 cs.DS cs.IT cs.LG
Robustness Implies Privacy in Statistical Estimation
本文提出从差分隐私到对抗鲁棒性的黑盒归约，并基于 Sum-of-Squares 高维高斯鲁棒估计器，构造均值与协方差估计的近最优多项式时间私有且鲁棒算法。
2024-06-15 cs.CR cs.DS cs.IT
A Joint Quantile and Expected Shortfall Regression Framework
我们引入了一种新的回归框架，它同时建模的分位数和预期短缺（ES）的响应变量给定一组协变量。该回归基于对分位数和ES的严格一致的损失函数，其允许联合回归参数的M-和Z-估计。在弱正则性条件下，我们证明了这两个估计的相合性和渐近正态性。潜在的损失函数依赖于两个规格函数，其选择影响所得估计量的性质。我们发现Z-估计在数值上是不稳定的，因此，我们依赖于模型参数的M-估计。大量的模拟验证了渐近性质和分析的小样本行为的M-估计不同的规格功能。这个联合回归框架允许各种应用，包括估计，预测和回测ES，这是特别相关的，鉴于最近引入ES到巴塞尔协议。
2017-08-08 math.ST q-fin.RM q-fin.ST
Sample-Optimal Density Estimation in Nearly-Linear Time
MIT（麻省理工学院）
我们设计了一个新的，快速的算法不可知学习单变量概率分布的密度很好地近似分段多项式函数。设$f$是任意一元分布的密度函数，并假设$f$是$\mathrm{OPT}$ -在$L_1$ -距离上接近于一个未知的分段多项式函数，该分段多项式函数具有$t$区间片和次数$d$ .我们的算法从$f$中提取$n = O(t(d+1)/ε^2)$样本，在时间$\tilde{O}(n \cdot \mathrm{poly}(d))$中运行，并且概率至少$9/10$输出$O(t)$ -分段度- $d$假设$h$，其是接近$f$的$4 \cdot \mathrm{OPT} +ε$。我们的一般算法产生（近）样本最优和近线性的时间估计为广泛的结构化分布族在连续和离散域在一个统一的方式。对于我们的大多数应用程序，这些是第一个样本最佳和近线性时间估计在文献中。因此，我们的工作解决了一个广泛的推理任务类的样本和计算的复杂性，通过一个单一的“元算法”。此外，我们的实验表明，我们的算法在实践中表现得很好。我们的算法包括三个“层次”：（i）在最高层次，我们采用迭代贪婪算法找到一个很好的分割的真正的线成一个分段多项式的片段。(ii)对于每一块，我们发现，找到一个很好的多项式适合当前区间的子问题，可以有效地解决与分离预言方法。(iii)我们把寻找分离超平面的问题归结为一个组合问题，并给出了一个有效的算法。结合这三个过程给出了…
2015-06-01 cs.DS cs.IT cs.LG
Improved maximum likelihood estimators in a heteroskedastic errors-in-variables model
本文发展了一个多元异方差变量误差模型的偏差校正方案。该模型的适用性是合理的，在天体物理学，流行病学和分析化学，其中变量受到测量误差和方差随观测而变化的领域。我们进行了蒙特卡罗模拟，以调查的性能的校正估计。数值结果表明，偏差校正方案产生接近无偏估计。我们也给出了一个实际数据集的应用。
2015-08-26 stat.ME
Optimal Rates for Nonparametric Density Estimation under Communication Constraints
我们考虑当每个样本被量化到只有有限数量的比特时，Besov空间的密度估计。我们提供了一个非交互式的自适应估计，利用小波基的稀疏性，随着一个模拟和推断技术的参数估计通信约束下。我们表明，我们的估计是近速率最优的推导极小极大下界，即使在交互式协议是允许的。有趣的是，虽然我们的基于小波的估计器对于索伯列夫空间也几乎是速率最优的，但尚不清楚标准傅立叶基是否可以用于实现相同的性能。
2021-07-21 cs.DS cs.IT math.IT
On nearly assumption-free tests of nominal confidence interval coverage for causal parameters estimated by machine learning
Harvard T. H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）
对于许多感兴趣的因果效应参数，双稳健机器学习（DRML）估计器$\hatψ_{1}$是最先进的，它结合了机器学习的良好预测性能;双稳健估计器的偏差降低;以及交叉拟合样本分裂的分析易处理性和偏差降低。尽管如此，即使在不存在未测量因素的混杂的情况下，标称$(1 - α)$ Wald置信区间$\hatψ_{1} \pm z_{α/ 2} \widehat{\mathsf{se}} [\hatψ_{1}]$即使在大样本中也可能仍然是隐蔽的，因为$\hatψ_{1}$的偏倚可能与其$n^{-1/2}$阶标准误差具有相同或甚至更大的阶数。在本文中，我们介绍了基本上无干扰的测试，（i）可以伪造的零假设，即$\hatψ_{1}$的偏差是小于其标准误差的顺序，（ii）可以提供一个上界的真实覆盖率的Wald间隔的置信度，（iii）是有效的零下没有光滑/稀疏假设的滋扰参数。这些检验（我们称之为\underline{A}消耗\underline{F}无\underline{E}有效期\underline{C}过量\underline{T}测试（AFECT）基于估计$\hatψ_{1}$部分偏倚的U统计量。
2020-07-12 cs.LG math.ST stat.ME
Asymptotic behavior of CLS estimators for unstable INAR(2) models
本文讨论了不稳定整值自回归过程$X_k = α\circ X_{k-1} + β\circ X_{k-2} + \vare_k$（$k \in \NN$）的自回归参数$(α,β)$、稳定性参数$\varrho := α+ β$和新息$\vare_k$的均值$μ$的条件最小二乘估计的渐近性态.极限分布和比例因子根据以下三种情况而不同：（i）可分解，（ii）不可分解但不是正正则的，以及（iii）正正则的模型。
2013-07-30 math.PR math.ST stat.TH
The asymptotic structure of nearly unstable non-negative integer-valued AR(1) models
本文考虑了自回归参数接近于1的非负整数值自回归过程。我们认为这种“近单位根”的情况下的渐近性。得到了该模型的似然比的局部渐近结构，表明极限试验是Poissonian的。为了说明统计后果，我们讨论了有效的自回归参数估计和有效的单位根测试。
2009-06-11 math.ST stat.TH
Evaluating LLMs When They Do Not Know the Answer: Statistical Evaluation of Mathematical Reasoning via Comparative Signals
Rutgers University（罗格斯大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出一种统计高效的方法，通过结合标准结果与成对比较信号，提升LLM数学推理能力评估的准确性和稳定性。
2026-07-21 cs.AI cs.LG math.ST
Improved estimators in beta prime regression models
本文研究了最近由\cite{bour18}提出的β素数回归模型，该模型适用于响应连续且仅限于正实数且具有偏尾和长尾的情形，且回归结构包含回归变量和未知参数.我们考虑两种不同的策略的偏差校正的最大似然估计的参数，指数模型。特别是，我们讨论了模型的均值和离散参数的偏差校正估计。此外，作为替代的两个分析偏差校正估计讨论，我们考虑的偏差校正机制的基础上的参数自助。数值结果表明，偏差校正方案产生接近无偏估计。给出了一个实际数据的例子并进行了讨论。
2020-08-26 stat.ME
Spectral Universality of Regularized Linear Regression with Nearly Deterministic Sensing Matrices
该研究针对加性高斯噪声下线性回归的凸正则化最小二乘估计器，通过确定性条件定义感知矩阵普适性类，证明同类矩阵的近端梯度下降动力学及估计器性能渐近一致，可借助旋转不变系综表征有限随机结构化矩阵的回归性能。
2023-07-20 cs.IT math.IT math.PR
The Horseshoe Estimator: Posterior Concentration around Nearly Black Vectors
在均值向量在近黑意义下稀疏的情形下，考虑了Carvalho，Polson和Scott（2010）关于多元正态均值模型的马蹄估计.我们假设频率论框架，其中数据根据固定的均值向量生成。我们表明，如果非零参数的均值向量的数量是已知的，马蹄估计达到极小极大$\ell_2$风险，可能高达一个乘法常数。我们提供的条件下，马蹄估计结合经验贝叶斯估计的非零手段的数量仍然产生极大极小风险。我们还证明了一个上界的收缩率的后验分布周围的马蹄估计，和一个下界的后验方差。这些界限表明，马蹄先验的后验分布可能比其他单分量先验（包括Lasso）的信息量更大。
2014-12-15 math.ST stat.TH
A Mathai-type Multivariate Nakagami-$m$ Distribution: Density, Closed-form Estimators, and Asymptotic Efficiency
Konkuk University（建国大学）
本文提出一种具有闭式密度的多元Nakagami-$m$分布，并基于一步修正构造渐近有效的闭式估计量，其性能接近数值最大似然估计且优于初始估计量。
2026-09-15 stat.ME
Discussion of "On nearly assumption-free tests of nominal confidence interval coverage for causal parameters estimated by machine learning"
我们祝贺作者发表了一篇激动人心的论文，该论文介绍了一种评估因果估计中估计偏差的新想法。双稳健估计量现在是因果推断中标准工具集的一部分，但典型的分析仅限于估计量和置信区间。作者给出了一种独特类型的模型检查方法，允许用户检查偏差相对于标准误是否足够小，这通常是置信区间可靠所需的。
2020-06-17 stat.ME
Nearly Minimax Optimal Reinforcement Learning for Linear Markov Decision Processes
University of California, Los Angeles（加州大学洛杉矶分校）
本研究针对线性马尔可夫决策过程的强化学习问题，提出基于带特殊权重的加权线性回归、结合新型方差估计器的计算高效算法，首次达到接近极小极大最优的悔界，为该领域最优RL问题提供完整解答。
2023-11-04 cs.LG math.OC stat.ML
Moderate deviations in a class of stable but nearly unstable processes
我们考虑一个稳定的，但几乎不稳定的自回归过程的任何顺序。稳定性和不稳定性之间的桥梁表示为时变友矩阵$A_{n}$，其谱半径$ρ(A_{n}) < 1$满足$ρ(A_{n}) \rightarrow 1$。在此框架下，我们通过$1-ρ(A_{n})$建立了仅依赖于$A_{n}$元素的经验协方差的中等偏差原理，并且作为副产品，当过程的重正化渐近方差$Γ$可逆时，我们建立了OLS估计的中等偏差原理。最后，当$Γ$是奇异的，我们还提供了一个妥协的形式，一个适度的偏差原则的惩罚版本的估计。我们的证明基本上依赖于$m_{n}$依赖序列的截断和偏差，具有无界速率$(m_{n})$。
2019-10-16 math.PR math.ST stat.TH
Fused Lasso Nearly Isotonic Signal Approximation in General Dimensions
本文介绍并研究融合套索近等渗信号逼近，它是融合套索和广义近等渗回归的结合。我们展示了这三个估计是如何相互关联的，得到解决的一般问题，表明它是计算上可行的，并提供了分段单调性，稀疏性和拟合优度之间的权衡。此外，我们推导出一个无偏估计的自由度的近似。
2022-11-20 math.ST stat.TH
Estimating Piecewise Monotone Signals
研究了分段单调向量的估计问题。这个问题可以看作是保序回归的一个推广，它允许少量的违反顺序的变点。我们主要关注Tibshirani等人（2011）提出的近保序回归的性能。我们得到的风险界的近保序回归估计，是适应分段单调信号。在较弱的假设条件下，该估计器在某些类型的分段单调信号上达到了近似极小极大收敛速度。此外，我们提出了一个算法，可以应用到一般的加权图的近保序型估计。仿真结果表明，近保序回归的表现以及理想的估计，知道变点的真实位置。
2020-03-07 math.ST stat.TH
Robustness of semiparametric efficiency in nearly-true models for two-phase samples
我们研究的性能有效的和AIPW估计下双重抽样时，完全数据模型几乎正确指定，在这个意义上，错误是不可靠的检测数据的任何可能的诊断或测试。这些接近真实的模型的渐近结果是通过将它们表示为与正确指定的模型相互邻接的错误指定的模型的序列来获得的。我们发现，对于最不利的方向的模型误设定的偏差在有效的估计诱导可以媲美额外的变异性在AIPW估计，使有效的估计的均方误差不再较低。当模型错误指定的最大功效检验仍具有中等功效时，可能会发生这种情况。我们验证了理论结果与模拟在三个例子：一个简单的信息抽样模型的正态均值，逻辑斯谛回归在经典的病例对照设计，和线性回归在两阶段设计。
2017-07-19 math.ST stat.TH
