Least Squares Estimator for Vasicek Model Driven by Sub-fractional Brownian Processes from Discrete Observations
本文研究了亚分数布朗过程驱动的Vasicek模型的参数估计问题，设{S_t^H，t>=0}表示Hurst参数1/2<H<1的亚分数布朗运动.研究内容如下：首先，利用最小二乘法对模型中的两个未知参数进行了估计。其次，分别研究了估计量的强相合性和渐近分布。最后，通过数值模拟验证了我们的估计方法.
2020-07-03 math.ST stat.TH
A new kernel estimator of hazard ratio and its asymptotic mean squared error
本文提出一种基于Ćwik和Mielniczuk方法改进的风险比核估计量，通过渐近均方误差比较，新估计量方差更小，且采用偏差减少方法保证非负性，并展示数值改进。
2016-12-10 math.ST stat.TH
Regression estimators for the tail index
对上尾为正则变化的分布函数，提出了一类尾指标的加权最小二乘估计。我们的方法是基于由\cite{Holan2010}开发的方法的Parzen尾指数。证明了估计量的渐近正态性。通过模拟研究，这些和以前的估计进行了比较，在Pareto和霍尔模型使用的均方误差为标准。结果表明，加权最小二乘估计优于其他估计。
2020-02-28 math.ST stat.TH
On comparison of estimators for proportional error nonlinear regression models in the limit of small measurement error
本文比较了比例误差非线性回归模型的极大似然（ML）、拟似然（QL）和加权最小二乘（WLS）估计。热释光沉积测年的文献揭示了另一种类似于加权最小二乘法的估计，但观察到的反应用作权重。我们称之为数据加权最小二乘（DWLS）的估计量也包含在比较中。我们发现，在顺序$σ, $所有四个估计的行为类似于普通的最小二乘估计标准的线性回归模型。在$σ^2, $的阶上，估计量有偏差。在小的测量误差的限制下是有效的公式推导出的偏差和方差的四个估计。最大似然估计比拟似然估计具有更小的偏差。条件下，加权最小二乘和最大似然估计有类似的偏差。在$σ^ {2} $阶上，所有估计量具有相似的标准误差。在高阶$σ$上，当随机误差的前四阶矩与正态分布相同时，极大似然估计比拟似然估计具有更小的方差.最大似然和拟似然估计方程是无偏的。在大样本下，这两个估计量服从多元正态分布。加权最小二乘和数据加权最小二乘的估计方程是有偏的。然而，在$σ\to 0$和$n \to \infty, $的极限下，如果$ n^ {1/2} σ$保持有界，则这两个估计量也服从多元正态分布。模拟研究证明了适用性的推导公式中存在的测量误差典型的沉积数据。结果表明，从热释光沉积测年的数据集。
2019-11-21 math.ST stat.TH
Correcting the estimator for the mean vectors in a multivariate errors-in-variables regression model
当多元回归中的因变量和自变量都存在测量误差时，多元变量误差回归模型适用。在这种情况下，长期以来一直认为，传统的最小二乘法估计模型参数是有偏差的和不一致的。广义最小二乘、普通最小二乘和最大似然估计（在高斯误差假设下）在Gleser（1981）的开创性论文中导出。然而，均值向量的普通最小二乘和最大似然估计量推导错误。在这篇简短的论文中，我们修改了这个错误，提出了正确的估计的均值向量。
2015-10-13 math.ST stat.TH
Nonparametric Least Squares Estimators for Interval Censoring
Delft Institute of Applied Mathematics（代尔夫特应用数学研究所）
本文研究了区间删失数据中非参数最小二乘估计器的极限分布，探讨了其一致性及模拟结果，指出在多个观测时间情况下，非参数MLE与最小二乘估计器不再等价。
2026-02-10 math.ST stat.TH
Nonlinear Least Squares Estimator for Discretely Observed Reflected Stochastic Processes
研究了由标准布朗运动驱动的反射随机过程的参数估计问题。估计器是基于离散观测过程的非线性最小二乘方法得到的。在一定的条件下，得到了估计量的相合性，并给出了估计量的渐近分布。此外，我们简要地指出，我们的方法可以推广到单边反射随机过程自发。数值研究表明，所提出的估计是足够的实际应用。
2022-04-30 math.ST stat.ME stat.TH
Convergence of least squares estimators in the adaptive Wynn algorithm for a class of nonlinear regression models
本文继续了作者在非线性回归模型中的自适应Wynn算法的工作。本文证明了当均值响应函数满足Pronzato \cite{Pronzato}提出的“饱和可辨识性”条件时，自适应最小二乘估计是强相合的.该条件表明回归参数在任何饱和设计下都是可识别的，即，在任何$p$不同设计点处的平均响应函数的值唯一地确定参数点，其中通常，$p$是回归参数向量的维数。进一步的基本假设是实验区域和参数空间的紧性以及一些自然连续性假设。若真参数点是参数空间的内点，则在一定的光滑性假设和随机误差的渐近同方差下，得到了自适应最小二乘估计的渐近正态性.
2019-09-09 math.ST stat.TH
Local convergence rates of the nonparametric least squares estimator with applications to transfer learning
本文研究了非参数最小二乘估计在加权一致范数下的局部收敛速率，证明其极小极大最优性，并将所得速率应用于协变量偏移下的迁移学习分析。
2023-12-29 math.ST stat.TH
Asymptotic normality of element-wise weighted total least squares estimator in a multivariate errors-in-variables model
考虑了多变量测量误差模型$AX \approx B$。这里，$A$和$B$是测量的输入和输出矩阵，而$X$是要估计的固定大小的矩形矩阵。$[A,B]$中的错误是逐行独立的，但在每行内，错误可能相关。某些列被观察到没有误差，并且误差协方差阵可能因行而异。误差的总协方差结构已知为标量因子。研究了$X$的完全加权总体最小二乘估计。我们给出的估计量的渐近正态性的条件，在$A$的行数是增加。我们提供了有限高斯随机矩阵的协方差结构是非奇异的。
2017-03-15 math.ST stat.TH
Normalized least-squares estimation in time-varying ARCH models
研究了时变扰动过程。结果表明，该模型可以描述金融时间序列中常见的收益率平方样本自相关的慢衰减现象，这为进一步研究该模型的参数估计方法提供了依据。由于参数随时间变化，因此成功的估计器需要在小样本情况下表现良好。我们提出了一个核归一化最小二乘（Kernel-NLS）估计，它具有一个封闭的形式，从而优于以前提出的核准最大似然（Kernel-QML）估计小样本。核-NLS估计器简单，在温和的矩假设下工作，并且避免了核-QML估计器施加的一些参数空间限制。理论证据表明，核NLS估计具有相同的收敛速率的核QML估计。由于核-NLS估计的计算容易，可以使用计算密集的程序。提出了一种基于预测的交叉验证方法来选择核NLS估计器的带宽。此外，我们使用基于残差的自举方案来引导tvcash过程。Bootstrap样本用于获得核-NLS估计量的逐点置信区间。它表明，使用自助和“真”的tvestimator估计的分布渐近重合。我们说明了我们的估计方法对各种货币汇率和股票指数的数据，我们得到了良好的拟合数据和准确的预测。
2008-04-04 math.ST stat.TH
Asymptotic normality of the time-domain generalized least squares estimator for linear regression models
在线性模型中，当误差相关的结构已知时，广义最小二乘（GLS）估计是适用的。当它是未知的，这种结构必须近似和估计的方式，可能会导致错误的规格。不正确指定的GLS（IGLS）估计量的大样本分析需要仔细的渐近操作。当在频域中进行估计时，在所谓的Grenander假设下，IGLS估计量的渐近正态性已被证明适用于广泛的一类误差相关模型。在相同的假设下，时域IGLS估计量的渐近正态性结果仅适用于有限类误差结构。我们证明了对于一般的相依模型，时域IGLS估计是渐近正态的。
2019-02-09 math.ST stat.ME stat.TH
A new estimator for LARCH processes
本文的目的是提供一个新的估计Linguistic $(\infty)$过程，从而也Linguistic $(p)$或GLinguistic $(p,q)$过程的参数。该估计器的结果，从最小化的对比，导致最小二乘估计的绝对值的过程。强一致性和渐近正态性，收敛速度$\sqrt n$以及在短期或长期记忆的情况下发生。数值实验证实了理论结果，并表明，这种新的估计显着优于平滑准极大似然估计或加权最小二乘估计通常用于此类过程。
2023-03-24 math.ST stat.TH
Least square estimators in linear regression models under negatively superadditive dependent random observations
本文研究了基于随机观测的线性回归模型中最小二乘估计的渐近性质。我们提供了温和的假设的时刻和依赖结构的随机间隔的观察和残差下的估计是强一致的。特别是，我们考虑的观察实例是负超加性相互依赖的，而对于残差，我们只是假设它们是由一些连续函数产生的。此外，我们证明了收敛速率是成比例的采样率$N$，我们补充我们的研究结果与模拟研究提供的见解有限的样本属性。
2021-10-06 math.PR math.ST stat.TH
Least squares estimators for discretely observed stochastic processes driven by small Levy noises
研究了由加性小Lévy噪声驱动的离散可观测随机过程的参数估计问题。我们不对驱动Lévy过程施加任何矩条件。在漂移函数满足一定的正则性条件下，得到了当离散系数$\varepsilon \to 0$和$n \to \infty$同时存在时漂移参数的最小二乘估计的相合性和收敛速率.在我们的一般设置中的LSE的渐近分布被证明是一个正态分布和一个与Lévy过程的跳跃部分相关的分布的卷积。
2012-05-21 math.PR math.ST stat.TH
Asymptotic distribution of least squares estimators for linear models with dependent errors : regular designs
本文考虑了一般的线性回归模型，其中假设误差过程是严格平稳的。我们使用Hannan的一个结果，Hannan在一般条件下证明了通常的最小二乘估计量在设计和误差过程中的中心极限定理。我们证明了对于一大类设计，渐近协方差阵与独立同分布的情况一样简单。然后，我们估计的协方差阵使用估计的谱密度的一致性证明在非常温和的条件下。
2019-06-15 math.PR math.ST stat.AP
Weighted least squares estimation for the subcritical Heston process
我们同时估计的四个参数的亚临界赫斯顿过程。我们并不局限于随机波动率过程永远不会达到零的情况。为了避免使用难以处理的停时和自然但棘手的估计，我们建议使用加权最小二乘估计。我们建立了这个估计量的强相合性和渐近正态性。还提供了数值模拟，说明我们的估计过程的良好性能。
2016-06-14 math.PR math.ST stat.TH
Asymptotic distribution of least square estimators for linear models with dependent errors
本文考虑了一般的线性回归模型，其中假设误差过程是严格平稳的。我们使用Hannan（1973）的一个结果，他证明了在设计和误差过程的一般条件下，通常的最小二乘估计量的一个中心极限定理。无论设计满足汉南的条件，我们都定义了协方差阵的估计量，并在非常温和的条件下证明了其一致性。作为一个应用程序，我们将展示如何修改通常的测试在此相关的上下文中的线性模型，在这样一种方式，类型I的差错率保持渐近正确的，我们说明了这个过程中通过不同的模拟集的性能。
2019-06-15 math.PR math.ST stat.AP
Asymptotic normality of least squares estimators to stochastic differential equations driven by fractional Brownian motions
我们将考虑下面的随机微分方程（EMM）：\begin{equation} X_t=X_0+\int_0^tb(X_s,θ_0)ds+σB_t,~~~t\in(0,T], \end{equation}其中$\{B_t\}_{t\ge 0}$是具有Hurst指标$H\in(1/2,1)$的分数布朗运动，$θ_0$是包含有界和开凸子集$Θ\subset\mathbb{R}^d$的参数，$\{b(\cdot,θ),θ\inΘ\}$是具有$b(\cdot,θ):\mathbb{R}\rightarrow\mathbb{R}$的漂移系数族，并且假定$σ\in\mathbb{R}$是已知的扩散系数。
2021-12-23 math.PR math.ST stat.TH
Least squares estimator of fractional Ornstein Uhlenbeck processes with periodic mean
本文首先研究了具有周期均值的分数阶Ornstein-Uhlenbeck过程（f）对每个$\frac{1}{2}<H<1$的漂移参数估计。更确切地说，我们一方面将\cite{DFW}对$\frac{1}{2}<H<\frac{3}{4}$的相合性证明推广到对任何$\frac{1}{2}<H<1$的强相合性，另一方面也讨论了\cite{DFW}的渐近正态性.本文的第二部分研究了任意$\frac{1}{2}<H<1$的第二类具有周期均值的泛函的强相合性和渐近正态性。
2016-09-26 math.PR math.ST stat.TH
Asymptotic properties of Bernstein estimators on the simplex
Bernstein估计以避免传统核估计的边界偏差问题而闻名。这些估计的理论性质在紧区间和超立方体上得到了广泛的研究，但从未在单纯形上得到过，除了Tenbusch（1994）中的密度估计的均方误差，当$d = 2$。单纯形是一个重要的情况，因为它是组成数据的自然域。本文证明了$d$维单形上累积分布函数和密度函数的Bernstein估计的几个渐近结果（偏差、方差、均方误差（MSE）、均积分方误差（MISE）、渐近正态性、一致强相合性）.我们的结果推广了Leblanc（2012）和Babu et al.（2002）的结果，他们处理了$d = 1$的病例，并显著扩展了Tenbusch（1994）的结果。特别是，我们的收敛速度的MSE和MISE是最佳的。
2021-06-23 math.PR math.ST stat.TH
A Reduced-Bias Weighted least square estimation of the Extreme Value Index
在本文中，我们提出了一个减少偏差估计的EVI的Pareto型尾（重尾）分布。这是使用加权最小二乘法得出的。证明了该估计在二阶条件下是无偏的、相合的和渐近正态的。有限样本性质的估计进行了研究，通过模拟研究。结果表明，该方法在偏差和均方误差方面都优于已有的极值指数估计。此外，它产生估计的$γ>0$，是不太敏感的顶部-顺序统计量的数量，因此，可以用于选择一个最佳的尾部分数。建议的估计进一步说明使用实际的数据集从土壤化学和保险。
2022-04-10 math.ST stat.AP stat.ME
Equivariant adjusted least squares estimator in two-line fitting model
我们考虑双线拟合问题。真点位于两条直线上，在高斯扰动下观察。对于每个观测点，不知道对应的真实点位于哪条线上。对谱线的参数进行了估计。该模型是二次曲线拟合模型的一个限制，因为两条直线的耦合是退化的二次曲线。构造了圆锥曲线拟合模型中调整最小二乘估计的两个投影、正交回归估计、高斯模型中参数极大似然估计和正则最佳渐近正态矩估计。给出了调整最小二乘估计投影的相合性和渐近正态性的条件。本文所构造的估计量都是等变的。估计值进行了数值比较。
2016-04-06 math.PR stat.ME
Provable More Data Hurt in High Dimensional Least Squares Estimator
Southern University of Science and Technology（南方科技大学）；Fudan University（复旦大学）
本文研究了高维最小二乘估计的有限样本预测风险。当样本量和特征数都趋于无穷大时，我们推导出了预测风险的中心极限定理。给出了预测风险的有限样本分布和置信区间。我们的理论结果证明了预测风险的样本非单调性，并证实了“更多的数据伤害”现象。
2020-08-14 cs.LG stat.AP stat.ML
Lower Bounds and a Near-Optimal Shrinkage Estimator for Least Squares using Random Projections
在这项工作中，我们认为使用随机投影的确定性优化作为一个统计估计问题，其中从估计器的预测和真正的解决方案之间的平方距离是误差度量。在近似解决一个大规模的最小二乘问题，使用高斯草图，我们表明，草图的解决方案有一个条件高斯分布的真正的解决方案作为其平均值。首先，紧最坏情况下的误差下界与显式常数推导出任何估计使用高斯草图，和经典草图是最佳无偏估计。对于有偏估计量，下界也包含了关于真解的先验知识。其次，我们使用James-Stein估计器，推导出一个改进的估计器，用于使用高斯草图的最小二乘解。该估计的期望误差的上界，这是小于的任何给定的数据的经典高斯草图解决方案的错误。当已知真实解的SNR较小且数据矩阵条件良态时，上界和下界匹配。经验上，该估计器在模拟和真实数据集上实现了较小的误差，并且也适用于其他常见的草图绘制方法。
2020-06-15 cs.IT math.IT math.OC
A continuous updating weighted least squares estimator of tail dependence in high dimensions
基于似然的过程是估计尾部相关参数的常用方法。然而，它们不适用于不可微模型，例如最近的最大线性结构方程模型。此外，它们在更高的维度上很难计算。一个自适应加权最小二乘程序匹配非参数估计的稳定的尾部依赖函数与相应的值的参数指定的建议产生一种新的最小距离估计。该估计量易于计算，适用于广泛的抽样方案和尾部相关模型。在大样本中，它是渐近正态的，具有显式和可估计的协方差阵。获得的最小距离形成拟合优度统计量的基础，其渐近分布是卡方。广泛的蒙特卡罗模拟证实了出色的有限样本性能的估计，并证明它是一个强大的竞争对手，目前可用的方法。估计，然后应用到解开在欧洲股票市场的尾部依赖的来源。
2016-01-19 stat.ME
Efficient estimation in the Topp-Leone distribution
本文考虑Topp-Leone分布的概率密度函数和累积分布函数的估计。我们导出了下列估计：极大似然估计，一致最小方差无偏估计量，百分位估计，最小二乘估计和加权最小二乘估计。仿真研究表明，极大似然估计比其它估计更有效。
2017-01-13 stat.AP stat.ME
Some estimators of the PDF and CDF of the Lindley Distribution
本文讨论了林德利分布的概率密度函数（PDF）和累积分布函数（CDF）的不同估计方法。考虑了以下估计方法：一致最小方差无偏估计量（UMVUE），极大似然估计（MLE），百分位估计（PCE），最小二乘估计（LSE），加权最小二乘估计（WLSE），Cramér-von-Mises估计（CVME），Anderson-Darling估计（ADE）。蒙特卡罗模拟进行比较所提出的估计方法的性能。
2016-04-21 stat.AP stat.ME
Transformed Naive Ratio and Product Based Estimators for Estimating Population Mode in Simple Random Sampling
本文提出了一种基于变换朴素比和乘积的估计方法，用于无替换简单随机抽样下总体模型的估计。在一定的自然总体和人工生成的数据集上，研究了所提出的变换朴素比率型估计量的性能的偏差、均方误差、相对效率、均方误差的精确值与模拟均方误差的比值以及置信区间.我们已经证明，建议的转换朴素比估计是更有效的比朴素估计和朴素比估计的人口模式。
2019-07-01 stat.ME
Some estimators of the PMF and CDF of the Logarithmic Series Distribution
本文讨论对数级数分布的概率质量函数（PMF）和累积分布函数（CDF）的不同估计方法。考虑了以下估计方法：一致最小方差无偏估计量（UMVUE）、极大似然估计量（MLE）、百分位估计量（PCE）、最小二乘估计量（LSE）、加权最小二乘估计量（WLSE）。蒙特卡罗模拟进行比较所提出的估计方法的性能。
2016-05-31 stat.AP
Exact mean integrated squared error and bandwidth selection for kernel distribution function estimators
对于任意阶高斯核函数，导出了正态混合累积分布函数核估计的均方误差（MISE）的一个精确的、封闭的、易于计算的表达式.比较了经验分布函数的MISE、核估计的不可行最小MISE和渐近最优二阶一致核。结果提供了直接的扩展到其他类的核函数和分布。分析还提供了一个指导时，使用高阶内核的分布函数估计。基于正态混合对未知分布的非渐近逼近，提出了一种同时选择最优带宽和核阶数的简单插入式方法。仿真研究表明，该方法在有限的样本，从而提供了一个可行的替代现有的带宽选择程序。
2018-07-24 stat.ME
New algorithms for computing the least trimmed squares estimator
与经典的最小二乘（LS）方法不同，Schloseuw（1984）提出了最小化$n$（$n/2 \leq h < n$）最小残差平方和的方法，得到的估计量称为最小截尾平方（LTS）。LTS的思想很简单，但它的计算是具有挑战性的，因为没有LS型的分析计算公式存在了。自其出现以来，已经进行了尝试，可行解算法（Hawkins（1994）），fastlts.f（Risseeuw和Van Driessen（1999））和FAST-LTS（Risseeuw和Van Driessen（2006））等都是有希望的近似算法。后两者已由Valentin Todorov并入R函数ltsReg。这些算法利用组合或子采样方法。LTS具有良好的软件可访问性和快速的计算速度，具有许多理想的性质，已成为多学科中最受欢迎的稳健回归估计器之一。本文提出了分析方法-采用目标函数的一阶导数（梯度）和二阶导数（Hessian矩阵）。我们的近似算法的LTS审查合成和真实数据的例子。与ltsReg -稳健回归的基准和众所周知的速度相比，我们的算法在速度和精度标准方面是相当的（有时甚至是有利的）。其他主要贡献包括：（i）分别在经验和总体设置下产生唯一性和强和Fisher一致性;（ii）在一般设置下推导影响函数;（iii）用整洁和一般的方法重新建立估计量的渐近正态性（因此是根-n一致性）。
2022-10-12 stat.CO
A Robust Adaptive Modified Maximum Likelihood Estimator for the Linear Regression Model
在线性回归中，如果误差服从正态分布，则最小二乘（LS）估计具有一定的最优性。这一假设在实践中经常被违反，部分原因是数据离群值。稳健估计可以很好地解决这一问题，因此在实际中得到了广泛的应用。回归稳健估计的一个例子是自适应修正极大似然（AMML）估计（Donmez，2010）。然而，它们对$x$离群值（所谓的杠杆点）不稳健。在这项研究中，我们提出了一个新的回归估计，通过采用适当的加权方案的AMML估计方法。由此产生的估计被称为鲁棒AMML（RAMML），因为它不仅对y离群值是鲁棒的，而且对x离群值是鲁棒的。通过仿真研究，比较了RAMML估计与MM、最小截尾平方（LTS）和S。结果表明，根据均方误差（MSE）准则，RAMML估计在大多数情况下是优选的。两个数据集从文献中也进行了分析，以显示RAMML估计方法的实施。
2020-06-30 stat.ME
Relative Efficiency of Higher Normed Estimators Over the Least Squares Estimator
在这篇文章中，我们研究了最小化$L_{2k}- $阶损失函数的估计器的性能（对于$ k \ge \; 2 )$，相对于最小化$L_2-$阶损失函数的估计器（或最小二乘估计器））。常见的例子说明了基于$L_{2k}$和$L_2 -$的估计器之间的效率差异。我们推导出一个经验可检验的条件下，$L_{2k}$估计是更有效的最小二乘估计。我们构造了一个简单的决策规则来选择$L_{2k}$和$L_2$估计。重点研究了$L_{4}$估计量。详细的仿真研究验证了该决策规则的有效性。此外，$L_{2k}$估计的优效性在现实生活中的数据集证明。
2019-03-19 math.ST stat.TH
Equality between two general ridge estimators and equivalence of their residual sums of squares
本文研究一般线性模型中两个广义岭估计量相等的充分必要条件，并进一步给出其残差平方和相等的等价条件。
2025-03-10 math.ST stat.TH
Mixing Least-Squares Estimators when the Variance is Unknown
我们提出了一个过程来处理高斯回归问题时，方差是未知的。我们根据Leung和Barron（2007）启发的程序混合来自各种模型的最小二乘估计。我们表明，在某些情况下，由此产生的估计是一个简单的收缩估计。然后，我们将此程序应用于各种统计设置，如线性回归或自适应估计Besov空间。我们的结果提供了非渐近风险界的估计的欧氏风险。
2007-11-02 math.ST stat.TH
On a Projection Least Squares Estimator for Jump Diffusion Processes
本文针对跳跃扩散过程，提出投影最小二乘估计漂移函数，并建立风险界及数值验证。
2023-07-25 math.ST stat.TH
Least squares estimators for discretely observed stochastic processes driven by small fractional noise
研究了小分数噪声驱动的离散观测随机微分方程的参数估计问题。在一定条件下，得到了小离差系数收敛于0和样本量收敛于infty时最小二乘估计的强相合性和收敛速率。
2022-01-20 math.ST stat.TH
Concentration behavior of the penalized least squares estimator
考虑标准非参数回归模型，并将惩罚最小二乘函数作为估计量。在这篇文章中，我们研究了接近真实函数和估计的复杂性惩罚之间的权衡，其中复杂性由一类函数的函数描述。首先，我们提出了一个指数浓度不等式，揭示了集中行为的权衡惩罚最小二乘估计周围的非随机量，这样的数量取决于所考虑的问题。然后，在一定的条件下，适当地选择调谐参数，我们得到了这个非随机量的界。我们说明我们的结果与一些例子，包括平滑样条估计。
2016-10-19 math.ST stat.TH
Profile least squares estimators in the monotone single index model
考虑单指标回归模型$Y=ψ(α^T X)+ε$中有限回归参数$α$的最小二乘估计，其中$X$是$d$维随机向量，$\E(Y|X)=ψ(α^T X)$，其中$ψ$是单调的.已经建议通过轮廓最小二乘估计器来估计$α$，在单位球的边界$S_{d-1}$上最小化单调$ψ$和$α$上的$\sum_{i=1}^n(Y_i-ψ(α^T X_i))^2$。虽然这个建议已经存在了很长一段时间，它仍然是未知的估计是否是$\sqrt{n}$收敛。我们发现，配置文件最小二乘估计，使用相同的逐点最小二乘估计固定$α$，但使用不同的全球平方和，是$\sqrt{n}$收敛和渐近正态。研究了相应的损失函数之间的差异，并与其他方法进行了比较。
2023-01-30 math.ST stat.TH
Consistency of a nonparametric least squares estimator in integer-valued GARCH models
我们考虑计数的时间序列的整数值GARCH（1，1）模型的非参数版本。在递归的方差的链接函数是不指定的有限维参数，但我们施加非参数光滑条件。我们提出了一个最小二乘估计这个函数，并表明它是一致的，我们猜想是接近最佳的速率。
2021-08-31 math.ST stat.TH
Estimation of the weighted integrated square error of the Grenander estimator by the Kolmogorov-Smirnov statistic
本文考虑了区间[0; 1]上无界非增密度的Grenander估计，没有任何光滑性假设.对于固定数量n的i.i.d.随机变量X1; X2;:::;Xn，值在[0; 1]和非增密度函数f（x），0 < x < 1，利用经典的Kolmogorov-Smirnov统计量证明了概率为1的Grenander估计的加权积分平方误差的一个不等式.进一步，我们考虑了后一个不等式的一些有趣的含义
2018-10-08 math.ST stat.TH
Technical report: Adaptivity and optimality of the monotone least squares estimator for four different models
本文考虑单调回归（或密度）函数在不动点上的最小二乘（Grenander）估计。我们将证明，这个估计是完全自适应的，在这个意义上，达到的速率是由一个函数关系，使用基础函数$f_0$，而不是由一些平滑参数，并认为这个速率是最佳的，当考虑类的所有单调函数，在这个意义上，存在一个序列的替代单调函数$f_1$，使得没有其它估计器可以获得用于$f_0$和$f_1$两者的更好速率。我们还表明，在温和的条件下，估计达到相同的速度在$L^q$意义上，我们给出了一般条件，我们可以计算（非标准）的极限分布的估计。
2009-09-11 math.ST stat.TH
Square-root nuclear norm penalized estimator for panel data models with approximately low-rank unobserved heterogeneity
本文考虑了具有交互效应的面板数据模型的核范数惩罚估计。低秩交互效应可以是近似模型，最佳逼近的秩未知，并随样本量增长。该估计器是一个结构良好的凸优化问题的解，可以在多项式时间内求解。我们得到的收敛速度，研究低秩性质的估计，估计的秩和零化子矩阵的时间段的数量增长时的样本量。两阶段估计量可以渐近正态。这些程序都不需要知道误差的方差。
2019-05-03 math.ST stat.TH
On a Class of Parameters Estimators in Linear Models Dominating the Least Squares one, Based on Compressed Sensing Techniques
本文考虑了线性模型中的参数估计问题，假设噪声具有有限的二阶顺序统计量，在给定的确定性基中可以用随机系数表示。然后考虑一个扩展的欠定设计矩阵，并提出了一个估计的扩展参数的最小$l_1$范数。证明了当噪声方差大于一个阈值时，该阈值依赖于未知参数和扩展的设计矩阵，则在均方误差意义下，原参数的估计优于最小二乘估计.一个小的模拟说明了所提出的估计的行为。此外，实验表明，即使设计矩阵是未知的，但只有一个估计可以使用所提出的估计可以是方便的。此外，噪声基最终可以用于在估计过程中引入一些先验信息。这些点说明了模拟使用建议的估计解决一个困难的逆不适定问题有关的原子复测度的复杂时刻。
2014-05-05 math.ST stat.TH
Nonparametric Least Squares Estimation of a Multivariate Convex Regression Function
本文讨论了预测变量为多维时凸回归函数的最小二乘估计的相合性。我们的特点和讨论这样的估计通过某些二次和线性规划的解决方案的计算。温和的充分条件的一致性，这个估计和它的次微分在固定和随机设计回归设置。我们还考虑了一个回归函数，这是已知的凸和分量非增，并讨论其最小二乘估计的特征，计算和一致性。
2012-02-28 math.ST stat.TH
Oscillation of adaptative Metropolis-Hasting and simulated annealing algorithms around penalized least squares estimator
在这项工作中，我们研究，随着温度趋于零，振荡的大都市-黑斯廷斯的算法周围的基追踪去噪解决方案。我们推导出新的标准，选择的建议分布和温度的大都市Hasting的算法。最后，我们应用这些结果比较大都市哈斯汀的和模拟退火算法。
2014-03-19 math.ST stat.TH
On the Asymptotic Optimality of Cross-Validation based Hyper-parameter Estimators for Regularized Least Squares Regression Problems
渐近最优性（a.o.）文献中研究了正则化最小二乘回归问题中各种超参数估计的最优性准则。估计器包括例如，最大（边际）似然方法、$C_p$统计和广义交叉验证方法，以及最优性准则基于例如，无效率、期望无效率和风险。本文考虑了参数个数固定的正则化最小二乘回归问题，基于风险选择了最优性准则，并研究了最优性准则的a. o。对几种基于交叉验证（CV）的超参数估计方法，包括留$k$ -out CV方法、广义CV方法、$r$ -fold CV方法和hold out CV方法进行了研究。我们发现前三种方法都是可行的。在温和的假设下，但不是最后一个，我们使用蒙特卡罗模拟来说明我们的研究结果的有效性。
2021-04-27 math.ST stat.TH
Bounds on the prediction error of penalized least squares estimators with convex penalty
本文研究了具有任意凸罚的罚最小二乘估计。当观测噪声为高斯噪声时，我们证明了预测误差是一个集中在其中值附近的亚高斯随机变量。我们应用这个浓度属性，得到尖锐的预言不等式的预测误差的LASSO，组LASSO和斜率估计，无论是在概率和期望。与以前的工作LASSO型方法相比，我们的预言不等式的概率得到在任何置信水平的调整参数，不依赖于置信水平的估计。这也是为什么我们能够建立稀疏预言界的预期LASSO型估计，而以前已知的技术不允许控制的预期风险。此外，我们还证明了预言不等式中的集中率比以前通常理解的要好。
2016-09-21 math.ST stat.TH
Oracle inequalities for square root analysis estimators with application to total variation penalties
通过对分析估计量的直接研究，我们通过调整Dalalyan，Hebiri和Lederer（2017）涉及投影的参数，推导出具有快速和慢速的预言不等式。然后，我们将理论推广到平方根分析估计。最后，我们专注于（平方根）的全变差正则化估计图，并获得常数友好的速率，其中，对数项，匹配熵计算得到的结果。我们还得到了循环图上的（平方根）全变差正则化估计的一个预言不等式。
2019-12-14 math.ST stat.ML stat.TH
On the risk of convex-constrained least squares estimators under misspecification
我们考虑的问题估计的平均值的噪声向量。当均值位于凸约束集时，随机向量在约束集上的最小二乘投影是一个自然的估计量。这个估计的风险的性质，如其渐近行为的噪声趋于零，已经得到了很好的研究。相反，我们研究的行为，这个估计下的误指定，也就是说，没有假设的意思是在约束集。对于适当定义的概念的风险在错误的设置，我们证明了一个概括的低噪声表征的风险，由于Oymak和Hassibi的情况下的多面体约束集。我们的研究结果的一个有趣的结果是，在错误指定的设置比在良好指定的设置的风险可以小得多。我们还讨论了我们的结果保序回归的后果。
2017-06-13 math.ST stat.TH
On the shrinkage behavior of partial least squares regression
本文给出了偏最小二乘回归估计量的收缩因子的一个公式，并推导出了收缩因子的一些性质，特别是已知的一些收缩因子>1的事实。我们研究收缩因子对线性估计的均方误差的影响，并说明我们不能将结果推广到非线性估计。特别是，收缩因子>1不会自动导致较差的均方误差。我们根据经验调查偏最小二乘收缩因子的绝对值为1的影响。
2005-03-23 math.ST stat.TH
GEP-MSCRA for computing the group zero-norm regularized least squares estimator
本文研究了群零范数正则化最小二乘估计，根据零范数的变分特征，它可以由带平衡约束的数学规划（MPEC）得到.通过开发的全球精确惩罚的MPEC，这种估计所产生的精确惩罚问题，不仅具有良好的双线性结构，但也意味着一个配方，提供等效的DC估计，如SCAD和MCP估计。我们提出了一种多阶段凸松弛方法（GEP-MSCRA）来计算该估计，并在设计矩阵的强凸性假设下，建立了其理论保证，包括迭代到真系数向量的误差界的减小以及有限步后的迭代与oracle估计的一致性.最后，我们实现了GEP-MSCRA与半光滑牛顿增广拉格朗日方法（ALM）解决的子问题，并比较其性能与SLEP和MALSAR，求解加权$\ell_{2,1}$范数正则化估计，合成组稀疏回归问题和真正的多任务学习问题。数值比较表明，GEP-MSCRA在减小误差和获得更好的稀疏性方面比SLEP和MALSAR有明显的优势。
2018-04-26 math.ST stat.TH
Stable convergence of conditional least squares estimators for supercritical continuous state and continuous time branching processes with immigration
本文证明了基于离散时间观测的带移民超临界连续状态与连续时间分支过程漂移参数的条件最小二乘估计量具有稳定收敛性。
2024-07-20 math.PR math.ST stat.TH
