Optimal Subsampling for Large Sample Logistic Regression
对于海量数据，二次抽样算法族是一种常用的算法，可以减小数据量，减少计算负担。现有的研究主要集中在线性回归中普通最小二乘估计的近似，其中统计杠杆分数通常用于定义子采样概率。在本文中，我们提出了快速子采样算法，有效地逼近逻辑斯谛回归的最大似然估计。我们首先建立一致性和渐近正态性的估计从一般的子采样算法，然后推导出最佳子采样概率，最小化的渐近均方误差的估计。另一种最小化准则也提出了进一步降低计算成本。最优子采样概率依赖于全数据估计，因此我们开发了一个两步算法来近似最优子采样过程。该算法计算效率高，与全数据方法相比，计算时间显著减少。本文还建立了两步算法估计量的相合性和渐近正态性。合成和真实数据集被用来评估所提出的方法的实际性能。
2018-03-07 stat.CO stat.ME stat.ML
Sparse cointegration
协整分析用于估计多个时间序列之间的长期均衡关系。这些长期均衡关系的系数就是协整向量。在本文中，我们提供了一个稀疏估计的协整向量。估计技术是稀疏的意义上，一些元素的协整向量将被估计为零。为此，我们结合了惩罚估计过程的向量自回归模型与稀疏降秩回归。稀疏协整过程实现了更高的估计精度比传统的Johansen协整方法中设置的真正的协整向量具有稀疏结构，和/或当样本量是低的相比，时间序列的数量。我们还讨论了一个标准，以确定协整秩，我们说明了它的良好性能在几个模拟设置。在第一个实证应用中，我们调查是否利率期限结构的预期假设，这意味着稀疏协整向量，在实践中成立。在第二个实证应用中，我们表明，在高维系统的预测性能可以提高稀疏估计的协整关系。
2015-01-06 stat.ME
When can Multi-Site Datasets be Pooled for Regression? Hypothesis Tests, $\ell_2$-consistency and Neuroscience Applications
由于后勤或财政限制，生物医学和健康科学的许多研究涉及小样本量。通常，识别一组预测因子和响应之间的弱（但科学上有趣）关联需要汇集来自多个不同实验室或团体的数据集。虽然在统计机器学习方面有丰富的文献来解决多站点数据集中的分布变化和推断，但不太清楚${\it when}$这样的池是否保证有帮助（以及何时没有）-独立于我们使用的推断算法。在本文中，我们提出了一个假设检验来回答这个问题，无论是经典的和高维的线性回归。我们精确地确定了在多个站点之间汇集数据集是明智的制度，以及如何通过在任何数据传输发生之前在每个站点上执行的简单检查来做出这样的政策决定。专注于阿尔茨海默病的研究，我们提出的实证结果表明，在我们的分析所建议的制度，汇集本地数据集与国际研究的数据，提高功率。
2017-09-02 stat.ME stat.ML
Estimation of Partially Linear Regression Model under Partial Consistency Property
本文利用高维统计建模的最新理论成果，提出了一种无模型但计算简单的方法来估计部分线性模型$Y=Xβ+g(Z)+\varepsilon$。受部分一致性现象的启发，我们建议通过附带参数来建模$g(Z)$。通过对$Z$的支持度进行划分，采用简单的局部平均值来估计响应面。所提出的方法旨在取得平衡的计算负担和效率的估计，同时最大限度地减少模型偏差。在计算上，这种方法只涉及最小二乘法。我们证明，给定$g(Z)$的不一致估计量，可以以很小的效率代价获得部分线性模型的参数分量$β$的根$n$相合估计量。此外，在$β$估计的条件下，$g(Z)$的最优估计，然后可以得到使用经典的非参数方法。考虑了$β$的统计推断问题和$g(Z)$的两种群非参数检验问题。我们的结果表明，检验统计量的行为是令人满意的。为了评估我们的方法与其他方法相比的性能，进行了三个模拟研究和一个真实的数据集出生体重的危险因素进行了分析。
2014-01-09 stat.CO stat.ME
Consistency of Extreme Learning Machines and Regression under Non-Stationarity and Dependence for ML-Enhanced Moving Objects
RWTH Aachen University（亚琛工业大学）
分别由极限学习机进行监督学习。研究了具有随机权重的神经网络在非平稳空间-时间采样设计下的性能，该设计特别针对在非平稳空间环境中移动的自主对象收集和分析数据的设置。随机模型特别考虑到空间异质性和弱依赖性。作为有效的和计算成本低的学习方法（无约束）最小二乘法，岭回归和$\ell_s$ -惩罚最小二乘法（包括LASSO）进行了研究。最小二乘和岭回归估计的一致性和渐近正态性，以及相应的一致性结果的$\ell_s$ -罚款弱条件下。结果还涵盖了样本平方预测误差的界限。
2021-09-01 cs.LG math.ST stat.ML
On the strong uniform consistency for relative error of the regression function estimator for censoring times series model
考虑一个随机向量（X，T），其中X是d维的，T是一维的。我们假设随机变量T服从随机右截尾且满足$α$ -混合性质。本文研究了相对误差回归核估计的性质，并建立了它与率的一致几乎必然相合性。此外，我们强调了衡量依赖性的协方差项。仿真研究表明，在不同的情况下，所提出的估计器对有限样本量表现良好。
2019-10-04 math.ST stat.AP stat.CO
Strong consistency of the nonparametric local linear regression estimation under censorship model
引入并研究了删失模型的局部线性非参数回归估计。本文的主要目的是建立紧集上新估计的一致几乎必然相合结果。为了支持我们的理论结果，模拟研究已经做了与经典的回归估计进行比较。
2020-04-06 math.ST stat.TH
Rates of strong uniform consistency for the $k$-nearest neighbors kernel estimators of density and regression function
本文探讨了多元情形下密度与回归函数的 $k$-最近邻核估计量的一致性问题，并在特定假设下推导出这些估计量在整个空间 $\mathbb{R}^p$ 上的强一致一致性的收敛速率。
2024-08-22 math.ST stat.TH
The consistency of estimator under fixed design regression model with NQD errors
本文基于NQD样本，研究了固定设计非参数回归模型，其中误差为两两NQD随机误差，设计点固定，函数未知。引入非参数加权估计并研究其相合性。作为特例，得到了模型加权核估计的相合性结果。这将以前关于独立随机误差和相关随机误差的工作推广到NQD情形。
2013-12-03 math.ST stat.TH
Asymptotic normality and strong consistency of kernel regression estimation in q-calculus
本文基于q-微积分构造非参数核回归估计量，并在适当假设下证明了其渐近正态性与强相合性。
2025-03-10 math.ST stat.TH
Statistical Inference after Kernel Ridge Regression Imputation under item nonresponse
插补是处理缺失数据的常用技术。我们考虑一个非参数方法填补使用核岭回归技术，并提出一致的方差估计。建议的方差估计是基于一个线性化的方法，采用熵的方法来估计密度比。当在核岭回归插补中利用Sobolev空间时，建立了插补估计的根-n相合性，从而使我们能够发展所提出的方差估计。合成数据实验证实了我们的理论。
2021-01-29 stat.ME stat.ML
Existence and consistency of weighted maximum likelihood estimator for extreme quantile regression
针对极端条件分位数估计中的非线性与尾部外推难题，本文结合块最大值理论与广义随机森林，提出加权最大似然估计法，并证明其存在性与一致性，在模拟和股票投资组合损失数据上验证了有效性。
2026-10-07 stat.ME
Strong Consistency of the SIMEX Estimator in Linear Regression with a Conditionally Poisson Covariate
针对带条件泊松型测量误差协变量的线性回归估计问题，本文提出拓展至条件泊松场景的POI-SIMEX算法，无需内部验证数据即可稳健校正误差，并证明了该估计量的强相合性。
2025-09-04 math.ST stat.TH
Strong consistency of kernel estimator in a semiparametric regression model
与Li \cite{sir}引入的半参数回归模型相关的有效降维（EDR）空间的估计是基于给定响应的预测因子向量的条件期望的协方差阵$Λ$的估计。Zhu和Fang提出了基于核方法的$Λ$的估计量\cite{Asymptotics}，并在一定条件下得到了$\sqrt{n}\left(\widehatΛ_n-Λ\right)$的渐近分布为$n\rightarrow +\infty$ .本文在一定条件下得到了$\widehatΛ_n$到$Λ$的几乎必然收敛，即$n\rightarrow +\infty$ .
2018-11-06 math.ST stat.TH
Nonparametric regression on hidden phi-mixing variables: identifiability and consistency of a pseudo-likelihood based estimation procedure
本文概述了一个新的非参数估计过程的不可观测φ-混合过程。假设关于平稳隐藏状态（Xk）的唯一信息由过程（Yk）给出，其中Yk是f（Xk）的噪声观测。本文介绍了一种利用长度为b的观测值块来估计函数f和隐态分布的极大伪似然方法。在特殊情况下，b=1和b=2的模型的可辨识性进行了研究。建立了f的估计量和隐状态的分布的一致性，因为观测的数量增长到无穷大。
2015-08-26 math.ST stat.TH
Quantile Regression Neural Networks: A Bayesian Approach
本文介绍了一个贝叶斯神经网络估计方法的分位数回归假设非对称拉普拉斯分布（ALD）的响应变量。证明了前向神经网络分位数回归的后验分布在错误设定的ALD模型下是渐近相合的。这种一致性证明从密度估计域嵌入问题，并使用包围熵的界限来推导Hellinger邻域上的后验一致性。此一致性结果显示在隐藏节点数量随样本量增长的设置中。贝叶斯实现利用ALD密度的正态指数混合表示。该算法采用马尔可夫链蒙特卡罗（MCMC）模拟技术-- Gibbs抽样结合Metropolis-Hastings算法。我们已经在链收敛、起始值的选择和步长的上下文中解决了与上述MCMC实现相关的复杂性问题。我们已经说明了所提出的方法与模拟研究和实际数据的例子。
2020-09-28 math.ST stat.ME stat.TH
Change-point in stochastic design regression and the bootstrap
在本文中，我们研究了不同的bootstrap程序的一致性，以构建置信区间（CI）的唯一跳跃间断（变点），否则光滑的回归函数在随机设计设置。这个问题表现出非标准的渐近性，我们认为，在回归的标准引导程序未能提供有效的置信区间的变点。我们提出了一个版本的平滑引导，说明其显着的有限样本性能在我们的模拟研究，并证明了该程序的一致性。$n$引导程序中的$m$也被认为是一致的。我们还提供了充分条件的任何引导程序是一致的，在这种情况下。
2011-01-05 math.ST stat.ME stat.TH
SIMEX Estimation in Parametric Modal Regression with Measurement Error
针对一类具有测量误差的参数模态回归模型，提出了一种估计模态回归系数的模拟外推估计方法。大样本性质的建议估计程序，包括一致性和渐近正态性，进行了深入研究。通过仿真研究，评估了该方法对潜在异常值的鲁棒性和减小由测量误差引起的偏差的有效性。
2019-10-03 stat.ME
Rate optimal multiple testing procedure in high-dimensional regression
在高维回归分析中，当预测变量的数目远大于样本量时，一个重要的问题是如何选择与响应变量相关的重要变量。变量选择和多重检验都是解决这个问题的工具。然而，很少有人讨论这两个领域的联系。当信号强度足够强使得可实现选择一致性时，似乎不需要控制错误发现率。在本文中，我们考虑的制度，信号都是罕见的和弱的选择一致性是无法实现的，并提出了一种方法，控制错误发现率渐近。理论上证明了该方法的假未发现率在最优速率下收敛到零。数值结果证明了所提出的方法的优点。
2023-01-06 stat.ME
Strong consistency of the AIC, BIC, $C_p$ and KOO methods in high-dimensional multivariate linear regression
在多元线性回归中，变量选择对于提高推断和解释能力至关重要。虽然已经提出了一些替代的回归选择标准，最突出和广泛使用的是赤池信息标准（AIC），贝叶斯信息标准（BIC），马洛的$C_p$，及其修改。然而，对于高维数据，经验表明，这些经典准则的性能并不总是令人满意的。本文首先给出了高维AIC、BIC和$C_p$强一致性的充要条件（NSC），并在此基础上分析了它们性能不佳的原因.具体地说，我们证明了在某些温和的高维条件下，如果BIC是强一致的，那么AIC是强一致的，但反之亦然。这个结果与传统的理解相矛盾。此外，我们考虑了Zhao等（1986）和Nishii等（1988）提出的高维kick-one-out（KOO）方法的强相合性。在此基础上，我们提出了两种基于KOO方法的一般方法，并证明了它们的强相合性。所提出的一般方法去除了惩罚，同时减少了回归量的维度和大小的条件。仿真研究支持我们的一致性结论，并表明，收敛速度的两个建议的一般KOO方法是远远快于原来的方法。
2020-01-05 math.ST stat.TH
Optimal subsampling algorithm for composite quantile regression with distributed data
对于存储在多台机器上的海量数据，我们提出了一种分布式子抽样的复合分位数回归方法。通过建立一般二次抽样算法下复合分位数回归估计的相合性和渐近正态性，得到了L-最优准则下的最优二次抽样概率和最优分配量.一个两步算法近似的最佳子采样过程的发展。通过模拟和真实数据集上的数值实验说明了所提出的方法。
2023-01-06 stat.CO
Strong uniform consistency and asymptotic normality of a kernel based error density estimator in functional autoregressive models
估计新息概率密度是任何回归分析中的一个重要问题。本文主要研究函数自回归模型。提出了一种基于残差的新息密度核估计方法。该估计量的渐近性质依赖于泛函自回归函数的平均预测误差。研究了核密度估计的强一致相合性和渐近正态性的充分条件。
2010-05-06 stat.ME
Heterogeneous Overdispersed Count Data Regressions via Double Penalized Estimations
本文研究了非均匀过度分散计数数据的双正则化$\ell_1$的非渐近性质。在限制特征值条件下，利用经验过程的集中不等式，首次证明了两个偏回归系数的Lasso估计的预言不等式。此外，由预言不等式导出的估计量的相合性和收敛速度是进一步统计推断的理论保证。最后，仿真和实际数据分析表明，新方法是有效的。
2022-02-07 econ.EM math.ST stat.ME
Nonparametric Regression under Cluster Sampling
本文在聚类依赖且聚类规模异质可增长的条件下，为非参数核回归建立了渐近理论，揭示了异质聚类规模引入的新方差项，并提出聚类稳健的带宽选择与推断方法，通过模拟和实证数据验证其有效性。
2024-12-28 econ.EM stat.ME
Asymptotic properties of a Nadaraya-Watson type estimator for regression functions of infinite order
考虑一类非参数时间序列回归模型，其中回归变量取值于序列空间。阻碍这些模型理论进步的技术挑战包括缺乏相关的勒贝格密度和自回归框架中依赖结构的选择方面的困难。本文提出了一个无穷维的Nadaraya-Watson型估计，并详细研究了它在静态回归和自回归背景下的渐近性质，旨在回答Linton和Santetta（2009）留下的问题.首先，我们证明了在一组温和的正则条件下估计的逐点相合性。进一步证明了估计量的渐近正态性，并证明了估计量关于$α$ -混合样本和NED样本的一致强相合性.我们指定的显式收敛速度的Lambert W函数，并表明，最佳的速度是对数阶，确认存在的灾难的无穷维。
2016-04-21 stat.ME
Topological consistency via kernel estimation
我们引入了一个一致的估计的同源性（代数结构表示连通组件和循环）的密度和回归函数的水平集。我们的方法是基于核估计。我们应用这个过程中的两个问题：（1）推断的同源结构的流形从嘈杂的意见，（2）推断的持久的同源性（多尺度扩展的同源性）的密度或回归函数。我们证明了这两个问题的一致性。除了理论上的结果，我们证明了这些方法对模拟数据的二元回归和聚类应用。
2016-09-29 math.AT math.PR math.ST
Statistical consistency and asymptotic normality for high-dimensional robust M-estimators
我们研究了正则化稳健M-估计的理论性质，适用于当数据来自稀疏高维线性模型，并被重尾分布和/或离群值的附加误差和协变量污染时。我们首先在误差分布相当温和的条件下建立了惩罚回归估计的局部统计相合性的一种形式：当损失函数的导数有界且满足局部限制曲率条件时，在真实回归向量的恒定半径内的所有平稳点都以具有亚高斯误差的Lasso所享有的minimax速率收敛.当一个适当的非凸正则化的地方使用的l_1-罚款，我们表明，这样的驻点实际上是唯一的，等于当地的甲骨文解决方案与正确的支持-因此，结果渐近正态性在低维的情况下进行立即到高维设置。这对正则化非凸M-估计的效率有重要的影响，当误差是重尾的。当鲁棒回归函数和/或正则化函数是非凸的并且目标函数在局部区域外具有固定点时，我们对损失函数的局部曲率的分析对于优化也具有有用的后果。我们表明，只要一个复合梯度下降算法初始化的真实回归向量的恒定半径内，连续的迭代将以线性速度收敛到一个固定的点在局部区域内。此外，可以使用凸正则化鲁棒回归函数的全局最优值来获得合适的初始化。其结果是一个新的两步程序，使用凸M-估计，以实现一致性和非凸M-估计，以提高效率。
2015-01-01 cs.IT math.IT math.ST
Shape-constrained Estimation in Functional Regression with Bernstein Polynomials
Shape restrictions on functional regression coefficients such as non-negativity, monotonicity, convexity or concavity are often available in the form of a prior knowledge or required to maintain a structural consistency in functional regression models. A new estimation method is developed in shape-constrained functional regression models using Bernstein polynomials. Specifically, estimation approaches from nonparametric regression are extended to functional data, properly accounting for shape-constraints in a large class of functional regression models such as scalar-on-function regression (SO…
2022-09-09 math.ST stat.AP stat.ME
Testing exogeneity in the functional linear regression model
提出了一种新的检验统计量来检验函数线性回归模型的外生性。与有限维线性回归设置中的Hausman型检验相反，不可能直接扩展到函数线性回归模型。相反，我们提出了一个检验统计量的基础上的两个估计量的预测的平方差的总和，用于检验功能线性回归模型中的外生性的原假设。我们得到了零值下的渐近正态性和一般替代下的相合性。此外，我们证明了剩余的自举程序的自举一致性结果。在模拟中，我们研究了有限样本性能的测试方法，并说明了基于引导的方法的优越性。特别是，自助方法变得更加强大的正则化参数的选择。
2022-08-14 math.ST stat.TH
Uniform in bandwidth consistency of conditional U-statistics
1991年，Stute提出了一类称为条件U-统计量的估计量。它们可以被看作是Nadaraya-Watson估计的推广，Stute在同一篇论文中得到了它们对一般回归函数的强逐点相合性。最近，Gine和Mason引入了局部U-过程的概念，推广了局部经验过程的概念，并得到了这类U-过程的中心极限定理和重对数律.我们应用Einmahl和Mason（2005）以及Gine和Mason（2007 a，b）开发的方法，对Stute提出的估计量的一般回归函数建立带宽一致性。
2007-02-23 math.PR math.ST stat.TH
Uniform Bahadur Representation for Local Polynomial Estimates of M-Regression and Its Application to The Additive Model
本文利用局部多项式拟合估计强混合平稳过程$\{(Y_{i},\underline{X}_{i})\}$的非参数M-回归函数.我们建立了回归函数及其导数估计量的Bahadur表示的强一致相合率。这些结果是基本的统计推断和应用程序，涉及插入到其他功能的估计，需要一些控制高阶项。我们将我们的结果应用到可加M-回归模型的估计。
2007-11-29 math.ST stat.ME stat.TH
Estimation of harmonic component in regression with cyclically dependent errors
本文讨论了具有周期相依平稳噪声的非线性回归模型的隐周期估计问题。建立了最小二乘估计的一致性和渐近正态性。
2013-06-23 math.ST stat.TH
Dynamical multiple regression in function spaces, under kernel regressors, with ARH(1) errors
在时间相关误差下，建立了函数空间中的线性多元回归模型。这个公式涉及核回归。本文导出了广义最小二乘回归参数估计量。在适当的条件下，得到了它的渐近正态性和强相合性.相关分析基于残差自相关算子的分量估计。当函数误差项的相依结构未知时，给出了一种插入式广义最小二乘回归参数估计器。并证明了其强相合性。仿真研究进行说明所提出的方法的性能，在不同的规则性条件下。金融面板数据的应用程序也被认为是。
2018-08-05 math.ST stat.TH
Asymptotic Normality of an M-estimator of regression function for truncated-censored data under alpha-mixing condition
本文针对左截断右删失模型，在α混合相依观测下建立了回归函数M估计量的弱相合性与渐近正态性，并推广至核回归估计，同时给出乘积限估计量的均匀收敛速度，模拟验证了有限样本表现。
2023-05-07 math.ST stat.TH
A Robbins Monro algorithm for nonparametric estimation of NAR process with Markov-Switching: consistency
本文考虑马尔可夫切换下的泛函自回归过程的非参数估计。首先，我们研究的情况下，完整的数据是可用的，即当我们观察马尔可夫切换制度。然后，我们估计的回归函数在每个政权使用Nadaraya-Watson型估计。其次，我们介绍了隐马尔可夫切换制度的情况下，非参数递归算法。我们的算法通过Monte-Carlo步骤恢复丢失的数据，并通过Robbins-Monro步骤估计回归函数。在这两种情况下，估计的一致性证明。最后，我们提出了一些模拟数据的数值实验，说明我们的非参数估计过程的性能。
2015-03-17 math.ST stat.TH
Approximation by log-concave distributions, with applications to regression
研究了对数凹密度分布对$d$维空间上任意分布$P$的逼近.近似意味着最小化Kullback-Leibler型泛函。我们证明了这样一个近似存在的充要条件是$P$具有有限的一阶矩，并且不被某些超平面所支持。此外，我们表明，这种近似连续依赖于$P$关于Malows距离$D_1(\cdot,\cdot)$。这一结果意味着在相当一般的条件下对数凹密度的极大似然估计的相合性。它还允许我们证明在回归模型中估计的存在性和相容性与响应$Y=μ(X)+ε$，其中$X$和$ε$是独立的，$μ(\cdot)$属于某类回归函数，而$ε$是一个随机误差，具有对数凹密度和均值为零。
2011-05-11 math.PR math.ST stat.ME
Learning Theory for Distribution Regression
École Polytechnique（巴黎综合理工学院）；University College London（伦敦大学学院）；Pennsylvania State University（宾夕法尼亚州立大学）；Carnegie Mellon University（卡内基梅隆大学）
我们专注于分布回归问题：从概率测度回归到向量值输出。许多重要的机器学习和统计任务都适合这个框架，包括多实例学习和没有解析解的点估计问题（如超参数或熵估计）。尽管文献中有大量可用的相似性，但问题固有的两阶段采样性质使得理论分析相当具有挑战性，因为在实践中，只有来自采样分布的样本是可观察的，并且估计必须依赖于点集之间计算的相似性。据我们所知，唯一现有的技术与一致性保证分布回归需要内核密度估计作为中间步骤（这往往在实践中表现不佳），和域的分布是紧凑的欧几里德。在本文中，我们研究了一个简单的，分析可计算的，基于岭回归的替代分布回归，其中我们嵌入的分布到一个再生核希尔伯特空间，并学习从嵌入的回归输出。我们的主要贡献是证明该方案在温和条件下（在富含核的可分离拓扑域上）在两阶段采样设置中是一致的：我们提出了一个精确的计算-统计效率权衡分析，表明我们的估计量能够匹配一阶段采样极大极小最优速率[Caponnetto和De Vito，2007; Steinwart等人，2009年]。这个结果回答了一个17年前的开放问题，建立了经典集核的一致性[Haussler，1999; Gaertner et. [2002]回归。我们还涵盖了最近的分布内核的一致性，包括那些由于[Christmann和Steinwart，2010]。
2016-10-21 cs.LG math.FA math.ST
Continuity and differentiability of regression M functionals
本文研究了一类线性和非线性回归的高崩溃M估计（包括S和MM估计）所对应的估计泛函的Fisher相合性、弱连续性和可微性。定义了一种限制型的可微性，称为弱可微性，它足以证明基于泛函的估计的渐近正态性。这种方法允许证明的一致性，渐近正态性和定性的稳健性的M估计在更一般的条件下，比标准的方法所需的。特别地，我们证明了回归MM-估计是渐近正态时的观察是$ϕ$ -混合。
2012-11-23 math.ST stat.TH
Moment-based Estimation of Mixtures of Regression Models
回归模型的有限混合为许多现象提供了灵活的建模框架。使用矩为基础的估计的回归参数，我们开发无偏估计的混合成分的假设最少。特别地，只需要混合模型中的一个分量的平均回归模型，并且对分布没有要求。估计量的一致性和渐近分布推导和所提出的方法是通过一系列的模拟研究进行验证，并被证明是高度准确的。我们说明了使用的时刻为基础的混合回归模型与应用程序的葡萄酒质量数据。
2019-05-15 math.ST stat.AP stat.ME
Generalized ridge estimator and model selection criterion in multivariate linear regression
在多元线性回归中，基于广义岭估计在平方风险和Kullback-Leibler风险下优于极大似然估计，提出了新的模型选择准则.我们的模型选择标准有以下最喜欢的属性：一致性，无偏性，一致最小方差。在渐近结构$\frac{p}{n}\to c$下证明了一致性，其中$n$是样本量，$p$是响应变量的参数维数。特别是，我们提出的估计类占主导地位的平方风险下的最大似然估计，即使模型不包括真正的模型。实验结果表明，我们的模型选择标准的风险是小于的最大似然估计的基础上，我们提出的标准指定的真实模型在一定条件下。
2016-04-07 math.ST stat.TH
On the Whittle estimator for linear random noise spectral density parameter in continuous-time nonlinear regression models
研究了一类具有Lévy驱动线性噪声过程的连续时间非线性回归模型。本文给出了噪声谱密度参数的Whittle估计的相合性和渐近正态性的充分条件。
2019-09-23 math.PR math.ST stat.TH
Dimension reduction in spatial regression with kernel SAVE method
我们考虑平滑版本的切片平均方差估计（SAVE）降维方法处理空间相关的数据，是一个强混合随机场场的意见。我们提出了兴趣矩阵和有效降维（EDR）空间的核估计，并证明了它们的一致性。
2019-09-22 math.ST stat.TH
Single index regression models with randomly left-truncated data
本文基于Ould-Said和Lemdani（Ann. Instit.中央集权主义者Math.2006），我们发展了一些新的广义M-估计程序的单指标回归模型的左截断响应。我们的估计量的相合性和渐近正态性也得到了证明。一些模拟研究调查有限样本性能的估计。
2018-01-19 math.PR math.ST stat.TH
On estimation of skewed stable linear regression
针对偏斜稳定误差的线性回归，提出两阶段估计法：差分后使用柯西拟极大似然估计回归系数，再基于残差矩估计稳定参数，计算高效且可作极大似然优化的初值。
2025-06-24 math.ST stat.TH
Asymptotic distribution and sparsistency for l1-penalized parametric M-estimators with applications to linear SVM and logistic regression
由于其早期使用的最小二乘回归问题，变量选择的l1-惩罚框架已与广泛的损失函数，包括回归，分类和生存分析。虽然一个发达的理论存在的l1-惩罚最小二乘估计，很少有结果关注的一般损失函数的l1-惩罚估计的行为。在本文中，我们得到了两个结果，惩罚估计的惩罚和损失函数的广泛阵列。我们的第一个结果刻画了经典情形（固定p大n）下惩罚参数M-估计在损失和罚函数的较弱条件下的渐近分布.我们的第二个结果explanarized必要和充分的广义不可表示性（GI）条件l1-惩罚参数M-估计一致地选择一个模型的组件（稀疏性）以及他们的符号（符号一致性）。一般而言，GI条件取决于风险函数在未知参数的真实值处的Hessian。在高斯预测下，我们得到了一组条件，在这些条件下，GI条件可以仅仅用预测的二阶矩来重新表示。我们应用我们的理论来对比l1-惩罚SVM和逻辑斯谛回归分类器，并找到条件下，他们有相同的行为，在他们的模型选择的一致性（稀疏性和符号的一致性）。最后，我们提供了仿真证据的理论基础上，这些分类的例子。
2009-08-13 math.ST stat.TH
The Hannan-Quinn Proposition for Linear Regression
研究了线性回归中的变量选择问题。假设我们有一组随机变量$X_1,...,X_m,Y,ε$使得$Y=\sum_{k\in π}α_kX_k+ε$，其中$π\subseteq \{1,...,m\}$和$α_k\in {\mathbb R}$未知，并且$ε$独立于$X_1,...,X_m$的任何线性组合。给定从$(X_1,...,X_m, Y)$发射的实际发射的$n$示例$\{(x_{i,1}...,x_{i,m},y_i)\}_{i=1}^n$，我们希望使用$H+(k/2)d_n$形式的信息准则来估计真实的$π$，其中$H$是关于$π$的似然性乘以-1，并且$\{d_n\}$是正实数序列。如果$d_n$太小，我们不能获得一致性，因为高估。对于自回归，Hannan-Quinn证明了，在他们的$H$和$k$设置中，速率$d_n=2\log\log n$是满足强一致性的最小值。本文也解决了线性回归的肯定命题，但设置完全不同。
2010-12-20 math.ST stat.TH
Two-step estimation in linear regressions with adaptive learning
弱的一致性和渐近正态性的普通最小二乘法估计的线性回归与自适应学习时，导出的关键，所谓的，“增益”参数估计在第一步由非线性最小二乘法从辅助模型。两步估计量的奇异极限分布是正态分布，并且通常受第一步抽样不确定性的影响。然而，这种“生成回归量”的问题在某些参数组合中消失了。
2022-11-02 econ.EM stat.AP
Robust Estimators in Partly Linear Regression Models on Riemannian Manifolds
在部分线性模型下，当预测变量取值于黎曼流形上时，研究了回归参数和回归函数的一类稳健估计。我们得到了估计量的相合性和渐近正态性。此外，我们考虑了一个强大的交叉验证过程来选择平滑参数。仿真和实际数据的应用表明，我们的建议下的小样本和污染的性能。
2011-05-25 math.ST stat.TH
Comparing regression curves -- an $L^1$-point of view
在本文中，我们比较两个回归曲线，通过测量它们之间的差异的两条曲线，由它们的$L^1$距离表示的面积。我们为这一测量和统计检验开发了渐近置信区间，以研究两条曲线的相似性/等效性。为了得到具有良好有限样本性质的等价性检验程序，本文提出了一种Bootstrap方法，并严格证明了该方法的一致性。有限样本的性质进行了研究，通过一个小的模拟研究。
2023-02-02 math.ST stat.TH
Consistency of Honest Decision Trees and Random Forests
University of Copenhagen（哥本哈根大学）
本文研究了回归设置中诚实决策树和随机森林的不同一致性类型，通过简单证明和经典平滑方法的论证，建立了诚实树和诚实森林平均值对真实回归函数的弱一致性和几乎必然收敛，并在紧致协变量域上获得一致收敛。该框架自然支持基于分层采样的集成变体和两阶段bootstrap采样方案，简化了现有分析并恢复了多个结果。
2026-05-20 stat.ME stat.ML
Determination of the effective cointegration rank in high-dimensional time-series predictive regressions
本文提出基于降秩回归的两步预测框架，用PCA识别高维单位根序列的协整向量并估计有效协整秩，结合LASSO或降秩方法处理高维情形，理论与实证验证其股票收益预测效果。
2023-04-25 econ.EM stat.ME
Variable Selection Consistency of Gaussian Process Regression
贝叶斯非参数回归下的重标高斯过程先验提供了平滑自适应函数估计与近极小极大最优差错率。这种方法的分层扩展，配备了随机变量选择，也适应于未知的内在尺寸的稀疏真正的回归函数。但目前还不清楚这种扩展是否提供了变量选择的一致性，即，如果重要变量的真实子集可以从数据中一致地学习。它在这里示出，变量的一致性确实可以实现与这样的模型，至少当真正的回归函数具有有限的平滑度，以引起一个多项式更大的惩罚列入假阳性预测。我们的结果涵盖了高维渐近设置的预测维度是允许增长的样本量。证明利用施瓦茨理论建立错误选择的后验概率渐近消失。一个必要的和具有挑战性的技术发展涉及提供尖锐的上限和下界小球概率在所有重新缩放水平的高斯过程之前，一个结果，可能是独立的利益。
2020-12-12 math.ST stat.ME stat.TH
The Loss Rank Criterion for Variable Selection in Linear Regression Analysis
Lasso和其他正则化过程是变量选择的有吸引力的方法，但要适当选择收缩参数。给定一组由正则化算法产生的潜在子集，提出了一个一致的模型选择准则，以选择这个预选集中的最佳一个。该方法导致变量选择的快速和有效的程序，特别是在高维设置。当协变量个数d固定时，证明了所建议准则的模型选择一致性。模拟研究表明，当d远大于样本量时，该准则仍然具有模型选择的一致性。模拟还表明，我们的方法变量选择的作品令人惊讶的是，与现有的竞争对手相比。该方法也适用于一个真实的数据集。
2010-11-05 stat.ME stat.ML
Joint Bayesian Variable and DAG Selection Consistency for High-dimensional Regression Models with Network-structured Covariates
考虑了高维回归模型中协变量的回归系数和协变量的协方差阵的联合稀疏估计问题，其中预测变量既与响应变量相关，又通过高斯有向无圈图（DAG）模型在函数上相互关联.高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性，而稀疏性模式又对应于对基础预测变量的特定条件独立性假设。近年来已经开发了各种方法贝叶斯推理在确定这样的网络结构的预测回归设置，但这些模型的重要稀疏性选择属性还没有得到彻底的研究。本文研究了一类在回归系数上具有spike和slab先验的递阶模型和一类在逆协方差阵的Cholesky因子上具有多个形状参数的灵活且一般的DAG-Wishart分布.在温和的规律性假设下，我们建立了联合选择一致性的变量和潜在的DAG的协变量时，预测的维度允许增长远远大于样本量。我们证明了我们的方法优于现有的方法在选择网络结构的预测在几个模拟设置。
2020-04-20 math.ST stat.ME stat.TH
