Robust Best Subset Selection via Fast Approximate MM-Estimation
The University of Sydney(悉尼大学);Macquarie University(麦考瑞大学)
提出FAMM方法,通过全数据MM估计的权重进行加权最小二乘拟合,在保持模型选择性能的同时大幅降低计算成本。
2026-07-27 stat.ME
Adaptive Higher-order Spectral Estimators
许多应用涉及从噪声数据矩阵估计信号矩阵。在这种情况下,已经观察到,当信号矩阵具有近似低秩时,收缩或截断数据矩阵的奇异值的估计器表现良好。在这篇文章中,我们将这种方法推广到从噪声张量数据中估计参数张量。我们开发了新的估计类,收缩或阈值的模式特定的奇异值从高阶奇异值分解。这些类的估计指标的调整参数,我们自适应地选择从数据中最小化斯坦的无偏风险估计。特别地,该过程提供了一种估计潜在信号张量的多线性秩的方法。在各种条件下使用模拟研究,我们表明,我们的估计表现良好时,平均张量具有近似低的多线性秩,并执行竞争力时,信号张量不具有近似低的多线性秩。我们说明了使用这些方法在应用程序中的多变量关系数据。
2017-02-22 stat.ME
Minimum Risk Equivariant Estimation of the Parameters of the General Half-Normal Distribution by Means of a Monte Carlo Method to Approximate Conditional Expectations
本文研究一般半正态分布的参数估计问题。也就是说,研究了参数的最小风险等变(MRE)估计量的确定问题.仿真研究实现了极大似然估计和无偏估计量,这些估计的行为进行比较。一个自然的蒙特卡罗方法来计算条件期望被用来近似MRE估计的位置参数,因为它的表达式涉及两个条件期望不容易计算。所使用的蒙特卡罗方法是合理的贝西科维奇定理的措施微分,并已略有修改,以解决一种“灾难的维数”的问题出现在这个参数的估计。这种方法在过去几年中一直被隐含地用于ABC(近似贝叶斯计算)方法。
2015-04-04 stat.ME
Ensemble approximate control variate estimators: Applications to multi-fidelity importance sampling
最近的增长,在多保真度的不确定性量化已经引起了一个大的集合的方差减少技术,利用信息从模型集成提供方差减少估计的高保真模型的统计。在本文中,我们提供了两个贡献:(1)我们利用系综估计占近似控制变量(ACV)的方法的最佳权重的不确定性,并推导出下限所需的样本数量,以保证方差减少;(2)我们扩展了现有的多保真度重要性抽样(MFIS)计划,以利用控制变量。因此,我们取得了重大进展,例如,通过考虑导频样本$-$的影响,并使用多保真度方法更有效地估计低概率事件,从而提高了近似控制变量$-$的实用性。数值结果表明,我们的混合MFIS-ACV估计实现了高达50%的改进,在方差减少现有的国家的最先进的MFIS估计,这已经表现出出色的收敛速度相比,蒙特卡罗方法,对计算力学的几个问题。
2021-01-07 stat.CO stat.ME
A Bayesian Framework for Regularized Estimation in Multivariate Models Integrating Approximate Computing Concepts
本文在贝叶斯框架下统一了多变量模型的正则化估计,连接贝叶斯推断与近似计算,提出均值收缩和正则化LDA的新算法,并通过数值实验验证。
2025-09-12 stat.ME
Covariance Expressions for Multi-Fidelity Sampling with Multi-Output, Multi-Statistic Estimators: Application to Approximate Control Variates
本文推导了多保真度采样中多输出、多统计量估计量的协方差表达式,并在approximate control variate方案中证明利用多输出能显著降低估计量方差。
2024-06-28 stat.CO stat.ME
Robust Covariance Estimation for Approximate Factor Models
本文研究了带观测因子的近似因子模型下的抗差协方差估计。我们提出了一个新的框架,首先估计的初始联合协方差阵的观测数据和因素,然后使用它来恢复的协方差阵的观测数据。我们证明,一旦初始矩阵估计是足够好,以保持元素明智的最优速率,整个过程将产生一个估计的协方差与所需的属性。对于只有有界四阶矩的数据,我们建议使用Huber损失最小化来给出初始的联合协方差估计。这种方法适用于更广泛的分布,包括亚高斯分布和椭圆分布。我们还提出了一个渐近结果的Huber的M-估计与发散参数。通过大量的模拟和实际数据分析,证明了结论。
2016-02-01 stat.ME
Efficient Maximum Approximated Likelihood Inference for Tukey's g-and-h Distribution
Tukey的$g$ -和- $h$发行版自推出以来一直是数据探索和建模的强大工具。然而,两个长期存在的挑战与这个分布家庭仍然没有解决,直到今天:如何找到一个最佳的估计过程,以及如何使有效的统计推断的未知参数。为了克服这两个挑战,一个计算效率高的估计过程的基础上最大化的Tukey的$g$和$h$分布的近似似然函数的提出,并示出具有相同的估计效率的极大似然估计在温和的条件下。该估计量的渐近分布的推导和一系列的近似似然比检验统计量进行假设检验,涉及两个形状参数的Tukey的$g$ -和- $h$分布。模拟实例和空气污染数据的分析被用来证明所提出的估计和测试程序的有效性。
2015-06-02 stat.ME
RESAPLE: An Approximate One-Step Restricted Likelihood Estimator of Spatial Dependence for Exploratory Spatial Analysis
University of Toronto(多伦多大学)
提出RESAPLE,一种基于REML残差的一步近似限制最大似然估计量,用于估计空间误差模型的空间依赖参数ρ,在中等空间依赖下计算廉价且准确,优于Moran's I和APLE。
2026-07-01 stat.AP stat.ME
On the Asymptotic Efficiency of Approximate Bayesian Computation Estimators
许多统计应用涉及的模型,很难评估的可能性,但它是相对容易的样本。近似贝叶斯计算是在这种情况下实现贝叶斯推断的无似然方法。我们目前的结果估计的渐近方差使用近似贝叶斯计算在大数据限制。我们的关键假设是,数据是由一个固定维的汇总统计,服从中心极限定理。我们证明了近似贝叶斯计算后验均值的渐近正态性。这个结果还表明,在渐近方差方面,我们应该使用与参数向量p维数相同的汇总统计量;并且任何更高维数的汇总统计量都可以通过线性变换以仅能减少后验均值的渐近方差的方式减少到维数p。我们看看如何蒙特卡罗误差的重要性抽样算法的样本从近似贝叶斯计算后影响估计的准确性。我们给出了重要性抽样建议分布的条件,使得估计量的方差与基于汇总统计量的极大似然估计量的方差为同一阶。这表明了一个迭代的重要性抽样算法,我们经验评估的随机波动率模型。
2017-11-28 math.ST stat.ME stat.TH
$γ$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所先进智能项目中心)
近似贝叶斯计算(ABC)是一种无似然性的推理方法,已在各种应用中采用。然而,如果数据差异度量选择不当,ABC可能对离群值敏感。在本文中,我们建议使用最近邻为基础的$γ$ -分歧估计作为数据差异的措施。我们表明,我们的估计具有一个合适的理论鲁棒性的属性称为降序属性。此外,我们的估计享有各种理想的属性,如高灵活性,渐近无偏性,几乎必然收敛,线性时间的计算复杂度。通过实验,我们证明了我们的方法实现了显着更高的鲁棒性比现有的差异措施。
2021-03-05 cs.LG stat.CO stat.ME
Asymptotic equivalence of Principal Components and Quasi Maximum Likelihood estimators in Large Approximate Factor Models
本文研究了近似因子模型的拟极大似然估计,证明了当截面维度趋于无穷大时,其因子载荷估计量与主成分估计量及不可行的普通最小二乘估计量渐近等价,且协方差矩阵亦等价,揭示了因子模型的维度祝福特性。
2024-06-27 econ.EM stat.ME
Sparse Approximate Factor Estimation for High-Dimensional Covariance Matrices
提出了一种基于$l_1$正则化近似因子模型的协方差矩阵估计方法。我们的稀疏近似因子(SAF)协方差估计允许弱因子的存在,因此放松了标准近似因子模型通常采用的普遍性假设。我们证明了协方差矩阵估计在Frobenius范数下的相合性以及因子载荷和因子的相合性。我们的蒙特卡罗模拟表明,SAF协方差估计具有优越的性能,在有限样本的低,高维和不同的协方差矩阵的设计。此外,在样本外的投资组合预测应用的估计一致优于替代的投资组合策略的基础上,替代协方差估计方法和建模策略,包括$1/N$ -战略。
2019-06-13 econ.EM math.ST q-fin.PM
Causal Inference Under Approximate Neighborhood Interference
研究了网络干扰下随机实验中的因果推断。通常使用的干扰模型认为,分配给改变的治疗超出了自我的一定网络距离,对自我的反应没有影响。然而,这一假设在社会互动的常见模型中被违反了。我们提出了一个基本上较弱的“近似邻域干扰”(ANI)模型,在该模型下,分配给改变进一步从自我的治疗有一个较小的,但潜在的非零,对自我的反应的影响。我们正式验证,ANI持有知名的社会互动模型。根据ANI,网络拓扑结构的限制,和渐近下,网络的大小增加,我们证明了标准的逆概率加权估计一致估计有用的曝光效果,是近似正常的。对于推理,我们考虑一个网络HAC方差估计。在有限总体模型下,我们证明了估计量是有偏的,但这种偏置可以解释为单位水平暴露效应的方差。这推广了内曼的著名结果保守方差估计设置干扰。
2021-11-02 econ.EM stat.ME
Complete Subset Averaging with Many Instruments
University of New South Wales(新南威尔士大学);McMaster University(麦克马斯特大学)
本文提出一种基于完整子集平均的两阶段最小二乘法估计量,通过优化子集大小提升估计精度,实验证明在工具变量相关时具有更优性能。
2020-08-26 econ.EM stat.ME
Neural Bayes Estimators for Irregular Spatial Data using Graph Neural Networks
本研究提出基于图神经网络的神经贝叶斯估计器,突破现有方法仅适用于规则网格空间数据的限制,可处理任意空间位置的参数估计,兼具计算效率与快速不确定性量化能力,并在海表温度数据集上验证了有效性。
2025-01-12 stat.ME stat.ML
Efficient class of estimators for population median using auxiliary information
本文利用辅助变量给出了研究变量总体中位数的一类有效估计。得到了这类估计量的偏差和均方误差的渐近表达式。研究了渐近最优估计量及其近似均方误差。我们已经证明,提出的估计量比Srivastava(1967),Gross(1980),Kuk和Mak(1989)Singh et al.(2003 b),Al和Chingi(2009)以及Singh和Solanki(2013)考虑的估计量更有效。此外,理论研究结果支持的实证研究的基础上,两个人口显示的优越性,构建的估计比别人。
2014-02-23 math.ST stat.ME stat.TH
Approximate $l_0$-penalized estimation of piecewise-constant signals on graphs
我们研究了图上分段常数信号的恢复问题,通过最小化一个$l_0$ -边惩罚目标的估计来实现。虽然精确的最小化这个目标可能是计算上棘手的,我们表明,相同的统计风险保证实现的$α$ -扩展算法,计算近似极小在多项式时间。我们建立了小的平均顶点度的图,这些保证是最小最大速率最优的边缘稀疏信号类。对于空间上不均匀的图形,我们提出了一个边缘加权目标的最小化,其中每个边缘是加权其有效电阻或另一种措施,其贡献的图形的连通性。我们建立相应的边加权稀疏类的最小极大最优估计。我们从理论上表明,这些风险保证并不总是通过估计最小化$l_1$ /总变差松弛来实现的,并且根据经验,基于$l_0$的估计在高信噪比设置中更准确。
2017-09-28 math.ST stat.CO stat.ME
Asymptotic confidence bands for the histogram regression estimator
Universität Hamburg(汉堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文提出了一种适用于异方差噪声下多变量非参数回归模型的直方图估计器渐近置信带构造方法,能够处理Hölder正则性低于一的不光滑回归函数。
2026-02-27 math.ST stat.ME stat.TH
A unifying approach for doubly-robust $\ell_1$ regularized estimation of causal contrasts
We consider inference about a scalar parameter under a non-parametric model based on a one-step estimator computed as a plug in estimator plus the empirical mean of an estimator of the parameter's influence function . We focus on a class of parameters that have influence function which depends on two infinite dimensional nuisance functions and such that the bias of the one-step estimator of the parameter of interest is the expectation of the product of the estimation errors of the two nuisance functions. Our class includes many important treatment effect contrasts of interest in causal inferen…
2019-06-05 math.ST stat.ME stat.ML
Asymptotic normality of the time-domain generalized least squares estimator for linear regression models
在线性模型中,当误差相关的结构已知时,广义最小二乘(GLS)估计是适用的。当它是未知的,这种结构必须近似和估计的方式,可能会导致错误的规格。不正确指定的GLS(IGLS)估计量的大样本分析需要仔细的渐近操作。当在频域中进行估计时,在所谓的Grenander假设下,IGLS估计量的渐近正态性已被证明适用于广泛的一类误差相关模型。在相同的假设下,时域IGLS估计量的渐近正态性结果仅适用于有限类误差结构。我们证明了对于一般的相依模型,时域IGLS估计是渐近正态的。
2019-02-09 math.ST stat.ME stat.TH
A Generalized Framework for Approximate Co-Sufficient Sampling
本文提出近似共充分抽样的广义框架,支持非线性正则化、稳健与非参数估计及加权抽样,并首次证明其在高维设置下的有效性与功效最优性。
2025-06-14 math.ST stat.ME stat.TH
The Maximal Eigengap Estimator for Acoustic Vector-Sensor Processing
本文介绍了一种利用单矢量传感器确定宽带声信号波达方向的最大特征间隙估计器。我们表明,在这种设置中,窄带交叉谱密度矩阵可以结合在一个最佳的加权,近似最大化的信号-噪声比在一个宽的频段。从窄带功率矩阵的最佳组合产生的信号子空间定义了最大特征间隙估计。我们讨论了最大本征间隙估计器相对于竞争方法的优势,并使用2019年从蒙特雷湾部署的声学矢量传感器收集的信号,展示了其在实际数据应用中的实用性。
2021-07-07 eess.SP stat.AP stat.ME
On approximate validation of models: A Kolmogorov-Smirnov based approach
经典的拟合检验通常会拒绝足够大的真实数据样本的模型。相比之下,在统计实践中,一个模型通常提供了对数据的良好描述,即使它不是“真正的”随机生成器。我们考虑一个更灵活的方法,基于污染的模型周围的邻域。使用修剪方法和Kolmogorov度量,我们引入了一个功能统计量测量偏离污染模型和相关的估计对应的样本版本。我们展示了这个估计如何允许测试适合的(轻微)污染模型与明智的偏差,与均匀指数小I型和II型错误概率。我们还讨论了估计的渐近行为,在适当的正则性条件下,它渐近表现为高斯过程的上确界。作为一个应用,我们探讨了基于模型虚假性范式的描述性模型之间的比较方法。我们还包括我们的方法与错误发现率设置的一些连接,在估计污染水平时显示出竞争行为,尽管适用于更广泛的框架。
2019-03-20 math.ST stat.ME stat.TH
Profiled Transfer Learning for High Dimensional Linear Model
本文提出了一种基于近似线性假设的高维线性模型迁移学习方法 PTL,通过两步构建估计量并证明其极小极大最优性,模拟与真实数据均验证了方法的有效性。
2024-06-05 math.ST stat.ME stat.TH
Replicated Vector Approximate Message Passing For Resampling Problem
Tokyo Institute of Technology(东京工业大学)
估计量的统计性质是统计推断和集成学习中的重要参数。然而,现有的方法在计算上要求很高,因为需要对每个重新采样的数据重复进行经由数值优化/积分的估计/学习。在这项研究中,我们引入了一个计算效率高的方法来解决这样的问题:复制向量近似消息传递。这是基于统计物理学的复制方法和信息论的向量近似消息传递的精确近似推理算法的结合。该方法提供了易于处理的密度,而无需重复估计/学习,并且密度近似地提供了在实际时间内估计器矩的任意程度。在实验中,我们将所提出的方法应用于稳定性选择方法,这是常用的变量选择问题。数值结果表明,它的快速收敛性和高逼近精度的问题,涉及合成和真实世界的数据集。
2019-05-23 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Asymptotic analysis of estimators of ergodic stochastic differential equations
本文在高频离散数据下,建立了多维随机微分方程扩散参数与漂移参数估计量的一致性和中心极限性质,提出了更一般的框架,适用于更广泛的随机模型。
2024-11-06 math.DS math.PR math.ST
Robustness in sparse linear models: relative efficiency based on robust approximate message passing
University of California, San Diego(加州大学圣迭戈分校)
理解高维线性模型的有效性是一个长期存在的问题。可以追溯到Huber和Bickel的小尺寸问题的经典工作已经说明了有效损失函数的好处。当参数$p$的数量与样本大小$n$、$p \approx n$的数量级相同时,最近建立了一种不同于Huber的效率模式。在这项工作中,我们考虑模型选择的惩罚方法的估计效率的影响。特别是,我们探讨是否稀疏,在新的效率模式时,$p > n$的结果。为了得到正则化M-估计量的渐近均方误差,我们使用了强大的近似消息传递框架。我们提出了一种新的,鲁棒的和稀疏的近似消息传递算法(RAMP),这是自适应的错误分布。我们的算法包括许多非二次和不可微的损失函数。我们推导出它的渐近均方误差,并显示其收敛性,而允许$p, n, s \to \infty$,与$n/p \in (0,1)$和$n/s \in (1,\infty)$。当$p$比$n$大得多时,我们确定了一些惩罚$M$估计的相对效率的新模式。我们表明,经典的信息界不再是可达的,即使是轻尾误差分布。我们证明了惩罚最小绝对偏差估计优于惩罚最小二乘估计,在重尾分布的情况下。对于非零参数$s$的数量的所有选择,$s \leq n$和$s \approx n$,我们都观察到这种模式。在$s =p \approx n$的非惩罚问题中,相反的机制成立。因此,我们发现,模型选择的存在显着改变的效率模式。
2016-12-24 cs.AI cs.LG math.ST