PAC-Bayesian bounds for the Gram matrix and least squares regression with a random design
本文讨论的问题来源于由n个独立样本构成的随机向量的Gram矩阵的估计。它们包括协方差阵的估计和随机设计的最小二乘回归研究。我们提出了四种类型的结果，基于非渐近PAC-贝叶斯推广界：一个新的鲁棒估计的革兰氏矩阵协方差阵，经验革兰氏矩阵的新成果，新的鲁棒最小二乘估计和普通最小二乘估计的新成果，包括其确切的收敛速率多项式矩假设下。
2016-03-16 math.ST stat.TH
Partial least squares for dependent data
考虑了相关数据实现的偏最小二乘算法。从理论和仿真两方面研究了忽略相关性对算法性能的影响。结果表明，忽略某些非平稳的相关结构，导致不一致的估计。对相依数据的偏最小二乘算法提出了一个简单的修正，并证明了相应估计量的相合性。蛋白质动力学的一个真实数据的例子说明了一个优越的预测能力的方法和实际相关的问题。
2016-03-03 math.ST stat.TH
Shuffled total least squares
在许多对应性恢复问题中，出现了具有混洗标签和具有噪声潜在设计矩阵的线性回归。我们提出了一个总的最小二乘方法来估计潜在的真置换的问题，并提供了一个上界的归一化Procrustes二次损失的估计。我们还提供了一个迭代算法来近似估计，并证明其性能的模拟数据。
2022-09-02 math.ST stat.TH
Nonparametric Least Squares Estimation of a Multivariate Convex Regression Function
本文讨论了预测变量为多维时凸回归函数的最小二乘估计的相合性。我们的特点和讨论这样的估计通过某些二次和线性规划的解决方案的计算。温和的充分条件的一致性，这个估计和它的次微分在固定和随机设计回归设置。我们还考虑了一个回归函数，这是已知的凸和分量非增，并讨论其最小二乘估计的特征，计算和一致性。
2012-02-28 math.ST stat.TH
Asymptotic normality of the least sum of squares of trimmed residuals estimator
为了增强残差估计的经典最小二乘和（LS）的鲁棒性，Zuo（2022）引入了最小二乘和（LST）残差估计。LST具有许多期望的特性，并且作为LS的稳健替代品。它的渐近性质，包括强和root-n的一致性，已被建立，而渐近正态性是未解决的。本文解决了这一遗留问题。
2022-04-01 math.ST stat.TH
Weighted least squares estimators for the Parzen tail index
重尾分布尾指数的估计及其应用在许多研究领域中是必不可少的。提出了Parzen尾指数的一类加权最小二乘估计。我们的方法是基于\cite{Holan2010}开发的方法。我们研究了WLS估计的相合性和渐近正态性。通过模拟研究，我们与Hill，Pickands，DEdH（Dekkers，Einmahl和de Haan）以及以均方误差为准则的普通最小二乘（OLS）估计进行了比较。结果表明，在约束模型中，WLS估计的某些成员与Pickands，DEdH和OLS估计是竞争性的。
2020-02-28 math.ST stat.TH
Profile least squares estimators in the monotone single index model
考虑单指标回归模型$Y=ψ(α^T X)+ε$中有限回归参数$α$的最小二乘估计，其中$X$是$d$维随机向量，$\E(Y|X)=ψ(α^T X)$，其中$ψ$是单调的.已经建议通过轮廓最小二乘估计器来估计$α$，在单位球的边界$S_{d-1}$上最小化单调$ψ$和$α$上的$\sum_{i=1}^n(Y_i-ψ(α^T X_i))^2$。虽然这个建议已经存在了很长一段时间，它仍然是未知的估计是否是$\sqrt{n}$收敛。我们发现，配置文件最小二乘估计，使用相同的逐点最小二乘估计固定$α$，但使用不同的全球平方和，是$\sqrt{n}$收敛和渐近正态。研究了相应的损失函数之间的差异，并与其他方法进行了比较。
2023-01-30 math.ST stat.TH
Consistency of least squares estimation to the parameter for stochastic differential equations under distribution uncertainty
在分布不确定条件下，基于离散数据，研究了随机微分方程（SDE）参数的最小二乘估计（LSE）的相合性，其中噪声的特征为$G$布朗运动.为了得到参数估计相合性的主要结果，利用次线性期望的随机微积分理论，给出了一些引理.结果表明，在一定的正则性条件下，基于分布不确定的最小二乘估计具有强相合性.讨论了一个说明性的例子。
2019-04-29 math.ST stat.TH
The Degrees of Freedom of Partial Least Squares Regression
偏最小二乘回归的统计性质的推导是一项具有挑战性的任务。原因是预测变量的潜在成分的构建也取决于响应变量。虽然这通常会在实践中产生良好的性能和可解释的模型，但它会使统计分析更加复杂。在这项工作中，我们研究了偏最小二乘回归的内在复杂性。我们的贡献是它的自由度的无偏估计。它被定义为拟合值的一阶导数的迹线，被视为响应的函数。我们建立了两个等价的表示依赖于偏最小二乘矩阵分解和Krylov子空间技术的密切联系。我们证明了自由度依赖于预测变量的共线性：共线性越低，自由度越高。特别是，它们通常高于将自由度定义为组件数量的简单方法。此外，我们说明了自由度的方法可以用于不同的回归方法的比较。在实验部分，我们表明，我们的自由度估计结合信息标准是有用的模型选择。
2011-02-09 math.ST stat.ME stat.ML
Consistency of a nonparametric least squares estimator in integer-valued GARCH models
我们考虑计数的时间序列的整数值GARCH（1，1）模型的非参数版本。在递归的方差的链接函数是不指定的有限维参数，但我们施加非参数光滑条件。我们提出了一个最小二乘估计这个函数，并表明它是一致的，我们猜想是接近最佳的速率。
2021-08-31 math.ST stat.TH
Dimension-free PAC-Bayesian bounds for matrices, vectors, and linear least squares regression
在弱多项式矩假设下，考虑重尾样本分布，研究了无量纲PAC贝叶斯边界。它涵盖了向量或矩阵的平均值的估计，以及最小二乘线性回归的应用。特别的努力致力于估计的格拉姆矩阵，由于其突出的作用，在高维数据分析。
2017-12-31 math.ST stat.TH
Approximating the Span of Principal Components via Iterative Least-Squares
在上个世纪的过程中，主成分分析（PCA）已经成为现代科学方法的支柱之一。虽然PCA通常被视为一种统计工具，旨在寻找方差最大化的正交方向，但Pearson在1901年首次引入PCA是通过定义一个非线性最小二乘最小化问题来完成的，该问题将平面拟合到分散的数据点。因此，PCA和线性最小二乘回归在某种程度上是相关的，因为它们都旨在将平面拟合到数据点。在本文中，我们提出了两种方法之间的连接。具体来说，我们提出了一种迭代线性最小二乘方法，产生一系列子空间，它收敛到由领先的主成分（即，主空间）。
2019-07-28 math.ST stat.TH
Alternating Least-Squares for Low-Rank Matrix Reconstruction
针对低秩矩阵的欠采样重构问题，提出了一种基于最小二乘估计的迭代算法。虽然该算法可以用于任何低秩矩阵，它也能够利用矩阵结构的先验知识。特别地，我们考虑线性结构矩阵，如汉克尔和Toeplitz，以及正半定矩阵。该算法的性能，称为交替最小二乘（ALS），通过模拟和Cramér-Rao界限进行评估。
2012-06-12 math.ST stat.TH
Refined Least Squares for Support Recovery
研究了基于噪声观测的精确支持度恢复问题，提出了改进的最小二乘（RLS）方法。给定一组噪声测量值$$ \myvec{y} = \myvec{X}\myvecθ^* + \myvecω,$$和$\myvec{X} \in \mathbb{R}^{N \times D}$，其中$\myvec{X} \in \mathbb{R}^{N \times D}$是（已知的）高斯矩阵，$\myvecω \in \mathbb{R}^N$是（未知的）高斯噪声向量，我们的目标是恢复（未知的）稀疏向量$\myvecθ^* \in \left\{-1,0,1\right\}^D$的支持。为了恢复对$\myvecθ^*$的支持，我们使用多个最小二乘解的平均值，每个最小二乘解都是基于整个方程组的子集计算的。通过识别平均最小二乘解的最显著系数来估计支持度。我们证明，在各种各样的设置，我们的方法优于国家的最先进的支持恢复算法。
2021-03-19 math.ST stat.TH
Methodology and theory for partial least squares applied to functional data
偏最小二乘方法最初用于估计多变量参数模型中的斜率参数。最近，它在函数数据文献中流行起来。在那里，斜率的偏最小二乘估计量用于构建线性预测模型，或作为将数据投影到一维量上的工具，用于进一步的统计分析。虽然偏最小二乘方法通常被认为是一个有吸引力的替代方案，预测到主成分的基础上，其属性是不太为人所知的比后者，主要是因为它的迭代性质。我们开发了一个明确的配方偏最小二乘函数数据，从而导致有见地的结果，并激发新的理论，证明一致性和建立收敛速度。
2012-05-29 math.ST stat.TH
On a Projection Least Squares Estimator for Jump Diffusion Processes
本文针对跳跃扩散过程，提出投影最小二乘估计漂移函数，并建立风险界及数值验证。
2023-07-25 math.ST stat.TH
Two-stage least squares with a randomly right censored outcome
本文发展了一个简单的两阶段最小二乘（2SLS）方法，用于估计线性模型中某些内生回归变量对随机右删失结果的因果效应。该提案用加权最小二乘回归取代了标准2SLS的通常普通最小二乘回归。权重对应于截尾的逆概率。证明了估计量的相合性和渐近正态性。该估计器具有良好的有限样本性能的模拟。
2021-10-11 econ.EM math.ST stat.TH
Trust, but verify: benefits and pitfalls of least-squares refitting in high dimensions
最小二乘重构广泛用于高维回归以减少l1惩罚估计量的预测偏差（例如，Lasso和Square-Root Lasso）。我们提出的理论和数值结果，提供了新的见解的好处和陷阱的最小二乘改装。特别是，我们考虑预测和估计，我们密切关注相关性的影响，在线性回归模型的设计矩阵，因为这些相关性-虽然经常被忽视-是至关重要的线性回归的上下文中，特别是在高维环境。首先，我们证明了最小二乘改装的好处在很大程度上取决于所考虑的设置和任务：最小二乘改装可以是有益的，即使是高度相关的设计矩阵的设置，但不建议所有的设置，和最小二乘改装可以是有益的估计，但更好地进行预测。最后，我们介绍了一个标准，表明是否最小二乘改装是可取的一个特定的设置和正在考虑的任务，我们进行了一个彻底的模拟研究，包括套索，以显示这个标准的实用性。
2013-06-01 math.ST stat.ME stat.TH
Stable convergence of conditional least squares estimators for supercritical continuous state and continuous time branching processes with immigration
本文证明了基于离散时间观测的带移民超临界连续状态与连续时间分支过程漂移参数的条件最小二乘估计量具有稳定收敛性。
2024-07-20 math.PR math.ST stat.TH
A Fast Coordinate Descent Method for High-Dimensional Non-Negative Least Squares using a Unified Sparse Regression Framework
本文构建统一稀疏回归理论，证明多面体约束最小二乘在高维下存在局部唯一稀疏解，并据此提出高维 NNLS 坐标下降求解器，较现有最优方法加速至少 5 倍。
2024-10-28 math.ST stat.CO stat.TH
Least squares estimation for the subcritical Heston model based on continuous time observations
证明了基于连续时间观测的次临界Heston模型的最小二乘估计的强相合性和渐近正态性。我们还提出了一些数值说明我们的结果。
2018-08-08 math.ST q-fin.ST stat.TH
The Shape of the Noncentral Chi-square Density
如果自由度nu>=2，则非中心卡方密度是对数凹的。我们补充这个已知的结果表明，对于每个0<nu<2，存在lambda_nu>0，这样的卡方与nu自由度和非中心参数lambda有一个递减的密度，如果lambda <= lambda_nu，否则是双峰。临界λ_nu的特征在于一个方程，涉及修改的贝塞尔函数的比率。当一个内部模式存在，我们推导出精确的边界上的位置。
2011-06-26 math.CA math.ST stat.TH
A least square-type procedure for parameter estimation in stochastic differential equations with additive fractional noise
研究了Hurst参数H>1/2的加性分数阶噪声下随机微分方程漂移系数中未知参数的最小二乘估计。该估计是基于离散时间观测的随机微分方程，并利用遍历论和随机分析的工具，我们得到了它的强相合性。
2011-11-08 math.PR math.ST stat.TH
On conditional least squares estimation for affine diffusions based on continuous time observations
研究了基于连续时间观测的两因子仿射扩散模型漂移参数的条件最小二乘估计的渐近性质。我们区分三种情况：亚临界，临界和超临界。对于所有的漂移参数，在亚临界和超临界情况下，证明了渐近正态性和渐近混合正态性，而在临界情况下，描述了非标准的渐近行为。
2017-07-26 math.PR math.ST stat.TH
Combinatorics of least squares trees
在遗传学的最小二乘方法中，一个反复出现的主题是发现了用于边长的最小二乘估计的优雅组合公式。这些公式已被证明是有用的有效算法的发展，也有重要的了解流行的遗传算法之间的联系。例如，邻居连接算法的选择标准现在可以用Pauplin估计树长的组合公式来理解。我们强调了一个遗传学所需的属性，加权最小二乘方法应该满足，并提供了一个完整的表征的方法，满足属性。该充要条件是方差矩阵需要满足的乘性四点条件。证明是基于观察到的拉格朗日乘子的高斯-马尔可夫定理的证明是树加性。我们的结果推广和完成以前的工作，普通最小二乘，平衡最小进化和分类加权方差模型。它们还提供了一个时间最优的计算算法。
2008-02-17 math.CO math.ST stat.TH
On the least squares estimator in a nearly unstable sequence of stationary spatial AR models
研究了平稳空间自回归过程的一个近似不稳定序列，当自回归系数的绝对值之和趋于1时。结果表明，经过适当的规范，这些系数的最小二乘估计有一个正常的极限分布。如果没有一个参数等于零，则典型的收敛速率为n。
2008-03-17 math.PR math.ST stat.TH
Weighted least squares estimation for the subcritical Heston process
我们同时估计的四个参数的亚临界赫斯顿过程。我们并不局限于随机波动率过程永远不会达到零的情况。为了避免使用难以处理的停时和自然但棘手的估计，我们建议使用加权最小二乘估计。我们建立了这个估计量的强相合性和渐近正态性。还提供了数值模拟，说明我们的估计过程的良好性能。
2016-06-14 math.PR math.ST stat.TH
Tutorial on Asymptotic Properties of Regularized Least Squares Estimator for Finite Impulse Response Model
在本文中，我们给出了一个教程的最小二乘（LS）和正则化最小二乘（RLS）估计的有限冲激响应模型与过滤白噪声输入的渐近性质。我们给出了三种观点：几乎必然收敛、分布上的依分布收敛和概率上的有界性。一方面，这些性质加深了我们对LS和RLS估计量的理解。另一方面，我们可以用它们作为工具来研究其他估计的渐近性质，如各种超参数估计。
2021-12-30 cs.SY eess.SY math.ST
On Suboptimality of Least Squares with Application to Estimation of Convex Bodies
Massachusetts Institute of Technology（麻省理工学院）；UC Berkeley（加州大学伯克利分校）
我们开发了一种技术，建立下界的样本复杂性最小二乘（或经验风险最小化）的大类功能。作为一个应用，我们解决了一个公开的问题，最小二乘最优估计的凸集从噪音的支撑函数的测量尺寸$d\geq 6$。具体来说，我们建立最小二乘法是最小最大次优的，并实现了$\tildeΘ_d(n^{-2/(d-1)})$的速率，而最小最大速率是$Θ_d(n^{-4/(d+3)})$。
2020-06-07 cs.CG cs.LG math.MG
Least Squares Importance Sampling for Monte Carlo Security Pricing
我们描述了一个简单的重要性抽样策略的蒙特卡罗模拟的基础上最小二乘优化过程。与几个数值例子，我们表明，这种最小二乘重要性采样（LSIS）提供的效率增益相比，最先进的技术，当后者被称为执行良好。然而，与传统方法相比，LSIS不限于确定高斯采样分布的最佳均值。因此，当调整采样分布的高阶矩或处理非高斯或多模态密度的能力对于实现方差减小至关重要时，它优于其他方法。
2007-03-18 cond-mat.other math.ST physics.comp-ph
