Regression on fixed-rank positive semidefinite matrices: a Riemannian approach
University of Liège（列日大学）；Mines ParisTech（巴黎矿业学院）
本文讨论了由固定秩半正定矩阵参数化的回归模型的学习问题。重点是非线性性质的搜索空间和高维问题的可扩展性。数学的发展依赖于适应于黎曼几何的梯度下降算法的理论，黎曼几何是固定秩半正定矩阵的基础。与文献中以前的贡献相比，学习矩阵的范围空间上没有任何限制。由此产生的算法保持线性复杂度的问题大小，并享有重要的不变性。我们提出的算法学习的问题，由一个半正定矩阵参数化的距离函数。在经典基准测试中观察到良好的性能。
2011-01-31 cs.LG
Criteria and Bias of Parameterized Linear Regression under Edge of Stability Regime
Yale University（耶鲁大学）
该研究针对稳定边缘（EoS）现象，通过参数化线性回归任务从理论和实验证明二次损失下也可出现EoS，揭示了大步长下对角线性网络的隐式偏差，拓展了EoS相关研究的适用模型范围。
2024-12-11 cs.LG math.OC stat.ML
The Generalization Error of the Minimum-norm Solutions for Over-parameterized Neural Networks
Princeton University（普林斯顿大学）；Stanford University（斯坦福大学）
研究了随机特征模型、两层神经网络模型和残差网络模型三种过参数化机器学习模型的最小范数解的泛化性质。我们证明了，对于所有三个模型，最小范数解的推广误差与蒙特卡罗速率相当，直到一些对数项，只要模型充分过参数化。
2021-01-28 cs.LG math.ST stat.ML
Optimal rates of approximation by shallow ReLU$^k$ neural networks and applications to nonparametric regression
Department of Mathematics, City University of Hong Kong（香港城市大学数学系）；School of Mathematics and Statistics, University of Sydney（悉尼大学数学与统计学院）
本文研究了浅层 ReLU$^k$ 神经网络变分空间的逼近能力，证明了其在神经元数量上的最优逼近速率，并推导出非参数回归中的极小化极大最优或近最优收敛速率。
2024-01-09 cs.LG stat.ML
Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks
University of Warwick（华威大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
本文研究了具有有界范数的过参数化两层神经网络的合适函数空间，证明了路径范数能获得与宽度无关的样本复杂度，推导出改进的度量熵界限，并建立了更锐利的泛化界限。
2024-06-25 cs.LG stat.ML
Gradient Descent with Projection Finds Over-Parameterized Neural Networks for Learning Low-Degree Polynomials with Nearly Minimax Optimal Rate
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；VecML Inc.（VecML公司）
本文研究了通过训练过参数化的两层神经网络学习低次球面多项式的问题，提出了一种改进的梯度下降与投影算法，实现了近最优的学习率，且在未知真实次数时能自适应选择最优参数。
2026-03-22 cs.LG math.ST stat.ML
Sharp Generalization for Nonparametric Regression in Interpolation Space by Over-Parameterized Neural Networks Trained with Preconditioned Gradient Descent and Early Stopping
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；VecML Inc.（VecML公司）
本文针对插值空间下的非参数回归问题，提出带早停的预处理梯度下降算法训练过参数化两层神经网络，通过RKHS分解与局部Rademacher复杂度分析，证明其获得了优于现有近似最优速率与标准NTK机制下核回归速率的锐化泛化速率。
2026-10-27 cs.LG math.ST stat.ML
Gradient Descent can Learn Less Over-parameterized Two-layer Neural Networks on Classification Problems
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；ENSAE（法国国家统计与经济管理学院）；CREST（法国国家经济统计与管理研究中心）
最近，一些研究已经证明了梯度下降法在双层ReLU网络中的全局收敛性和泛化能力。除少数研究外，大多数研究都集中在平方损失函数的回归问题上，并指出了神经切核的正性的重要性。另一方面，使用逻辑损失函数的分类问题的梯度下降的性能还没有得到很好的研究，进一步研究这个问题的结构是可能的。在这项工作中，我们证明了使用神经正切模型的可分性假设比神经正切核的正性条件更合理，并提供了一个精细的收敛分析的梯度下降的两层网络与光滑激活。我们的结果的一个值得注意的点是，我们的收敛性和泛化界有更好的依赖于网络的宽度相比，相关的研究。因此，我们的理论提供了一个泛化保证较少的过参数化的两层网络，而大多数研究需要更高的过参数化。
2020-03-18 cs.LG stat.ML
$L_1$-norm Regularized Indefinite Kernel Logistic Regression
School of Statistics and Data Science, Qufu Normal University（统计与数据科学学院，曲阜师范大学）；Dongfang College, ShanDong University of Finance and Economics（东方学院，山东财经大学）
核逻辑斯谛回归（KLR）是一种功能强大的分类方法，广泛应用于不同的领域。在许多现实世界的场景中，不定核比正定核捕获更多的特定于域的结构信息。提出了一种新的$L_1$ -范数正则化不定核逻辑斯谛回归（RIKLR）模型，该模型通过引入$L_1$ -范数惩罚函数来扩展已有的IKLR框架.这种正则化的引入增强了可解释性和推广性，同时将非光滑性和非凸性引入优化领域。为了解决这些挑战，理论上接地和计算效率的近端线性化算法的开发。在多个基准数据集上的实验结果表明，该方法在准确性和稀疏性方面都具有优异的性能。
2025-10-30 cs.LG stat.ML
How Many Pretraining Tasks Are Needed for In-Context Learning of Linear Regression?
UC Berkeley（加州大学伯克利分校）；The University of Hong Kong（香港大学）；UCLA（加州大学洛杉矶分校）；Rice University（莱斯大学）；Google DeepMind（谷歌DeepMind）
本文研究线性回归中上下文学习所需的预训练任务数量，证明少量独立任务即可有效预训练线性注意力模型，且其性能接近贝叶斯最优的岭回归。
2024-03-15 cs.LG stat.ML
Quasi-Likelihood Analysis for Stochastic Regression Models with Nonsynchronous Observations
研究了含有随机微分方程的参数化随机回归模型的非同步采样问题。构造了一个拟似然函数，证明了当非同步数据的采样频率变大时，拟极大似然估计与Bayes型估计是相合的，且渐近混合正态.
2012-12-20 math.ST stat.TH
Robust Linear Regression: Phase-Transitions and Precise Tradeoffs for General Norms
Meta – FAIR（元宇宙公司——基础人工智能研究）；Microsoft Research（微软研究院）
本文研究了线性回归模型在测试时对抗攻击下的表现，定量揭示了对抗鲁棒性与标准准确率之间的基本权衡，并给出了适用于任意特征协方差矩阵和攻击范数的精确相变刻画。
2023-08-01 cs.LG stat.ML
Generalization bounds for regression and classification on adaptive covering input domains
本文分别探讨了回归与分类任务的泛化界，证明了泛化界与网络参数数量的多项式成反比，强调了过参数化网络的优势并阐明了良性过拟合的条件。
2024-07-29 cs.LG stat.ML
A Limit Theorem in Singular Regression Problem
Precision and Intelligence Laboratory（精密智能实验室）；Tokyo Institute of Technology（东京工业大学）
在统计问题中，一组参数化的概率分布被用来估计真实的概率分布。如果真实分布下的Fisher信息矩阵是奇异的，那么我们从随机样本中能估计出真实分布的多少是未知的。本文研究了一类奇异回归问题，证明了一个极限定理，该定理表明了奇异回归问题与两个双有理不变量、一个实对数正则阈值和一个奇异波动之间的关系。所得到的定理有一个重要的应用统计，因为它使我们能够估计泛化误差的训练误差，没有任何知识的真实概率分布。
2009-01-16 cs.LG
Mode connectivity in the loss landscape of parameterized quantum circuits
Taylor University（泰勒大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
参数化量子线路（PQC）的变分训练支持在近期噪声中间尺度量子（NISQ）设备上采用的许多工作流程。它是一种混合量子经典方法，最小化相关的成本函数，以便训练参数化的模拟器。在本文中，我们采用定性损失景观表征神经网络中引入\cite{goodfellow2014qualitatively,li2017visualizing}和测试中使用的连接\cite{draxler2018essentially}研究损失景观功能在PQC训练。我们目前的结果PQC训练一个简单的回归任务，使用双层电路animator，它由交替层的参数化旋转门和纠缠门。多个电路使用$3$不同的批量梯度优化器进行训练：随机梯度下降，量子自然梯度和Adam。我们确定了景观中的大特征，这些特征可以导致训练工作流程的更快收敛。
2021-11-09 cs.LG quant-ph
Learning Policies through Quantile Regression
ETH Zurich（苏黎世联邦理工学院）
结合神经网络的基于策略梯度的强化学习算法已经在无模型连续动作空间控制设置中成功地学习复杂策略。然而，显式参数化策略受到所选参数概率分布范围的限制。我们表明，替代的可能性为基础的策略梯度，相关的目标可以通过优势加权分位数回归优化。我们的方法在网络中隐式地对策略进行建模，这使得代理可以自由地近似每个动作维度中的任何分布，而不会将其功能限制在常用的单峰高斯参数化。这种更广泛的政策，使我们的算法适用于问题的高斯政策不能适合的最佳政策。此外，我们在MuJoCo物理模拟器基准测试上的结果与最先进的政策方法相当或更好。
2019-09-27 cs.AI cs.LG stat.ML
Stochastic Low-Rank Kernel Learning for Regression
CNRS（法国国家科学研究中心）；Aix-Marseille Université（艾克斯-马赛大学）；Université du Sud-Toulon-Var（南土伦瓦尔大学）
我们提出了一种新的方法来学习基于核的回归函数。它是基于useof圆锥组合的数据为基础的参数化内核和一个新的随机凸优化程序，我们建立收敛保证。整个学习过程具有良好的性质，a）学习的圆锥组合被自动设计为执行手头的回归任务，以及b）优化过程所涉及的更新非常便宜。为了阐明我们的学习策略的恰当性，我们提出了在各种基准数据集上进行实验的经验结果。
2012-01-11 cs.LG
Minnorm training: an algorithm for training over-parameterized deep neural networks
Harvard University（哈佛大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
在这项工作中，我们提出了一种新的训练方法，在过参数化神经网络（NN）中寻找最小权范数解。该方法通过将神经网络的训练问题归结为一个约束优化问题，在满足训练数据精确拟合的约束条件下，使网络各层权值的范数之和最小化，从而提高训练速度和泛化性能。它的灵感来自支持向量机（SVM），这是能够很好地推广，尽管往往有一个无限数量的自由参数在其原始形式，并从最近的理论泛化界的神经网络，这表明较低的范数解决方案推广得更好。为了解决这个约束优化问题，我们的方法采用拉格朗日乘子，作为训练误差的积分器，并识别类似“支持向量”的例子。该方法可以实现为基于梯度的方法的包装器，并使用来自NN的标准反向传播梯度用于算法的回归和分类版本。我们提供了理论上的理由，该算法的有效性相比，早期停止和$L_2$正则化使用简单，易于分析的设置。特别是，我们在浅层网络中更快地收敛到最大边际超平面（与香草梯度下降相比）;在线性链中更快地收敛到最小范数解（与$L_2$正则化相比）;以及在深层线性网络中独立于初始化的泛化性能。最后，使用MNIST数据集，我们证明了该算法可以提高测试精度，并识别现实世界数据集中的困难示例。
2018-06-21 cs.LG cs.NE stat.ML
Approximation bounds for norm constrained neural networks with applications to regression and GANs
Wuhan University（武汉大学）；The Hong Kong University of Science and Technology（香港科技大学）
研究了权值具有范数约束的ReLU神经网络的逼近能力。我们证明了这些网络的光滑函数类的逼近误差的上界和下界。下界是通过神经网络的Rademacher复杂性导出的，这可能是独立的兴趣。我们应用这些近似界来分析使用范数约束神经网络的回归和GANs的分布估计的收敛性。特别是，我们得到了过参数化神经网络的收敛速度。研究还表明，当神经网络是一个适当选择的范数约束神经网络时，GANs可以达到最优的学习概率分布率。
2023-03-30 cs.LG cs.NA math.NA
Tensor-on-Tensor Regression: Riemannian Optimization, Over-parameterization, Statistical-computational Gap, and Their Interplay
Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）
本文研究未知秩张量对张量回归，提出黎曼梯度下降和黎曼高斯-牛顿方法，证明其在秩过度参数化下仍能线性或二次收敛到统计最优估计，并揭示高阶张量场景中适度过度参数化在样本量上几乎零成本。
2024-01-15 cs.LG math.OC math.ST
A New One Parameter Unit Distribution: Median Based Unit Rayleigh (MBUR): Parametric Quantile Regression Model
本文提出了一种名为MBUR的单参数单位瑞利新分布，构建了参数化分位数回归模型，通过重新参数化的极大似然函数进行参数估计，并结合真实数据集验证了推断与拟合优度。
2025-10-11 math.PR stat.ME
The phase transition for the existence of the maximum likelihood estimate in high-dimensional logistic regression
本文严格地证明了高斯协变量的高维逻辑斯谛回归模型的最大似然估计（MLE）的存在性经历了一个急剧的“相变”.我们引入一个显式边界曲线$h_{\text{MLE}}$，它由两个标量参数化，测量回归系数的未知序列的整体大小，具有以下性质：在限制大样本量$n$和特征数$p$以这样一种方式成比例，即$p/n \rightarrow κ$，我们表明，如果问题是足够高的维度在这个意义上，$κ> h_{\text{MLE}}$，则MLE不存在的概率为1。相反，如果是$κ< h_{\text{MLE}}$，则MLE以概率1渐进存在。
2018-04-25 stat.ME stat.ML
Memorizing without overfitting: Bias, variance, and interpolation in over-parameterized models
Boston University（波士顿大学）
偏差-方差权衡是监督学习中的一个核心概念。在经典统计学中，增加模型的复杂性（例如，参数的数量）减少了偏差，但也增加了方差。直到最近，人们普遍认为，最佳性能是在中间模型复杂性，达到偏差和方差之间的平衡。现代深度学习方法无视这一教条，使用“过度参数化模型”实现最先进的性能，其中拟合参数的数量足够大，可以完美拟合训练数据。因此，理解过度参数化模型中的偏差和方差已经成为机器学习中的一个基本问题。在这里，我们使用统计物理学的方法来推导出两个最小的过参数化模型（线性回归和具有非线性数据分布的双层神经网络）中偏差和方差的解析表达式，使我们能够解开模型架构和数据随机采样的属性。在这两个模型中，增加拟合参数的数量会导致一个相变，其中训练误差变为零，而测试误差由于方差而发散（而偏差保持有限）。超过这个阈值，由于\emph{both}的偏差和方差的单调减少，两层神经网络的测试误差减少，与经典的偏差-方差权衡。我们还表明，与经典的直觉，过度参数化的模型可以过拟合，即使在没有噪声和表现出偏见，即使学生和教师的模型匹配。我们综合这些结果，构建一个整体的理解泛化误差和偏置方差权衡过参数化模型，并将我们的结果与随机矩阵理论。
2022-02-24 cond-mat.dis-nn cs.LG stat.ML
Active Linear Regression for $\ell_p$ Norms and Beyond
UMass Amherst（马萨诸塞大学阿默斯特分校）；NYU（纽约大学）；CMU（卡内基梅隆大学）
我们研究了线性回归的主动抽样算法，其目的是只查询一个目标向量$b\in\mathbb R^n$的几个条目，并输出一个接近极小值的$\min_{x\in\mathbb R^d} \|Ax-b\|$，设计矩阵$A\in\mathbb R^{n \times d}$和损失$\|\cdot\|$。对于任何$0<p<\infty$的$p$范数回归，我们给出了一个基于Lewis权重采样的算法，该算法仅使用$\tilde O(d/ε^2)$查询来输出$(1+ε)$近似解，$b$用于$p\in(0,1)$，$\tilde{O}(d/ε)$查询用于$1<p<2$，以及$\tilde{O}(d^{p/2}/ε^p)$查询用于$2<p<\infty$。对于$0<p<2$，我们的边界是最佳的对数因子，解决了这个范围内的查询复杂性。对于$2<p<\infty$，我们对$d$的依赖性是最优的，而我们对$ε$的依赖性最多偏离$ε$，达到对数因子。我们的结果解决了[CD 21]的一个悬而未决的问题，他给出了$1$范数的接近最优的界限，但需要$d^2/ε^2$样本进行$\ell_p$回归与$1<p<2$，并且没有给出$2<p<\infty$或$0<p<1$的界限。我们还给出了$O(d^{\max\{1,p/2\}}\log^2n)$对$p$次多项式增长损失函数的第一全灵敏度界，改进了[TMF 20]的一个结果.通过…
2022-09-26 cs.DS cs.LG stat.ML
Optimistic Rates: A Unifying Theory for Interpolation Learning and Regularization in Linear Regression
University of Chicago（芝加哥大学）；Simons Institute, University of California at Berkeley（加州大学伯克利分校西蒙斯研究所）；University of British Columbia（不列颠哥伦比亚大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们研究了高斯数据线性回归的一致收敛的局部概念，称为“乐观率”（Panchenko 2002; Srebro et al. 2010）。我们的精细分析避免了现有结果中的隐藏常数和对数因子，这些因子在高维环境中至关重要，特别是对于理解插值学习。作为一种特殊情况，我们的分析恢复了Koehler et al.（2021）的保证，该保证严格描述了良性过拟合条件下低范数插值器的总体风险。然而，我们的乐观率界也分析了具有任意训练误差的预测器。这使我们能够恢复一些经典的随机设计下的岭和LASSO回归的统计保证，并帮助我们获得一个精确的理解过度参数化制度的过度风险的近插值。
2021-12-08 cs.LG math.ST stat.ML
The Geometry of Over-parameterized Regression and Adversarial Perturbations
Boston University（波士顿大学）
经典回归有一个简单的几何描述，将训练标签投影到设计矩阵的列空间上。然而，对于过度参数化的模型-其中拟合参数的数量足够大，可以完美地拟合训练数据-这种情况变得没有信息。在这里，我们提出了一个替代的几何解释回归，适用于下和过参数化模型。与发生在训练标签空间中的经典图片不同，我们的新图片驻留在输入特征空间中。这种新的基于特征的视角在偏差和方差的背景下提供了对双下降现象的自然几何解释，解释了为什么即使在没有标签噪声的情况下也会发生双下降现象。此外，我们表明，对抗性扰动-小扰动的输入功能，导致标签值的大变化-是一个通用的偏置模型的功能，从底层的几何形状。我们证明了这些想法，通过分析三个最小模型的过参数化的线性最小二乘回归：没有基函数（输入功能等于模型功能）和线性或非线性基函数（两层神经网络与线性或非线性激活函数，分别）。
2021-04-23 cond-mat.dis-nn cs.LG stat.ML
A Generalized Weighted Optimization Method for Computational Learning and Inversion
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Columbia University（哥伦比亚大学）；ETH Zürich（苏黎世联邦理工学院）
各种机器学习模型的泛化能力在欠参数化和过参数化状态下表现出不同的现象。在本文中，我们专注于回归模型，如特征回归和核回归，并分析了一种广义加权最小二乘优化方法的计算学习和反演与噪声数据。所提出的框架的亮点是，我们允许在参数空间和数据空间加权。加权方案编码关于要学习的对象的先验知识和在损失函数中加权不同数据点的贡献的策略。在这里，我们的加权方案的学习方法，我们推导出明确的泛化误差的随机傅立叶特征模型在下和过参数化制度的泛化误差的影响。对于更一般的特征映射，基于特征矩阵的奇异值提供误差界。我们证明，适当的加权先验知识可以提高学习模型的泛化能力。
2022-03-11 cs.LG cs.NA math.NA
On the sample complexity of parameter estimation in logistic regression with normal design
Columbia University（哥伦比亚大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文研究逻辑回归在标准正态设计下参数估计的样本复杂度，发现其随逆温度变化存在两个变点，清晰划分低、中、高温三个区域。
2024-05-23 cs.IT cs.LG math.IT
Estimation of the $l_2$-norm and testing in sparse linear regression with unknown variance
本文研究了方差未知的稀疏线性回归的$l_2$ -范数和平方$l_2$ -范数的估计问题，以及在$l_2$分离的稀疏替代下回归参数为零的假设检验问题.我们建立了这三个问题的最优估计率（分别为检验率）。
2020-10-26 math.ST stat.TH
Rethinking Gauss-Newton for learning over-parameterized models
Université Paris-Saclay（巴黎萨克雷大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
该研究探究平均场情形下过参数化单隐层网络优化中Gauss-Newton法的全局收敛性与隐式偏差，证明其收敛快于梯度下降，发现小方差随机初始化加小步长可带来良好泛化，揭示了收敛速度与泛化能力的权衡关系。
2023-12-12 cs.LG math.OC
Asymptotic normality for estimators of the additive regression components under random censorship
在随机删失情形下，建立了可加回归分量估计的渐近正态性。为了建立我们的估计量，我们将边际积分方法（Newey（1994））与Carbonez et al.（1995）和Kohler et al.（2002）引入的多元删失回归函数的初始逆删失概率加权估计量相结合。渐近置信带来自我们的结果。
2008-03-07 math.ST stat.TH
Least Squares Regression Can Exhibit Under-Parameterized Double Descent
Yale University（耶鲁大学）；Boston College（波士顿学院）
本文研究最小二乘回归中的双重下降现象，提出峰值位置取决于样本协方差的谱与特征向量性质，并用两个可证明的简单示例展示欠参数化区间也会出现双重下降。
2024-10-24 cs.LG math.ST stat.ML
Asymptotic normality of kernel estimates in a regression model for random fields
当误差由一个相依随机变量组成的域给出时，我们在固定设计下建立了回归估计的渐近正态性。该结果适用于鞅差或强混合随机场。在此基础上，还提出了一种可用于图像分析的统计检验方法。
2009-07-09 math.ST stat.TH
Variable selection in convex quantile regression: L1-norm or L0-norm regularization?
维数灾难是非参数估计中公认的挑战。本文提出了一种新的L0-范数正则化方法，用于凸分位数和期望回归的子集变量选择。我们展示了如何使用混合整数规划来解决实践中提出的L0范数正则化方法，并建立了一个链接到常用的L1范数正则化方法。利用蒙特卡罗方法比较了L0-惩罚凸分位数和期望回归方法与L1-范数正则化方法在有限样本下的性能。该方法进一步应用于衡量OECD国家的可持续发展绩效，并实证分析了变量降维的准确性。仿真和应用结果表明，在多维空间中，L0范数正则化方法比L1范数正则化方法能更有效地解决维数灾难问题.
2021-07-07 stat.AP stat.ME
Generalized High-Dimensional Trace Regression via Nuclear Norm Regularization
本文研究了回归系数矩阵接近低秩的广义迹回归，推广了回归系数向量稀疏性的概念。具体地，给定矩阵协变量$X$，概率密度函数$f(Y\vert X)=c(Y)\exp{(ϕ^{-1}\left[-Yη^* + b(η^*)\right])}$，其中$η^*=tr({Θ^*}^TX)$。该模型可容纳各种类型的响应，并包含许多重要的问题设置，例如降秩回归，矩阵回归，可容纳一组回归量，矩阵完成等。我们通过最小化经验负对数似然加上核范数惩罚来估计$Θ^*$。我们首先建立了一个一般的理论，然后对于每个特定的问题，我们推导出明确的统计率的估计。它们都匹配线性迹回归中的极小极大率，直到对数因子。数值研究证实了我们建立的速率，并证明了广义迹回归的优势，线性迹回归时的响应是二分的。我们还展示了将核范数正则化用于动态股票收益预测和图像分类的好处。
2017-10-23 stat.ME
Asymptotic Normality of the Additive Regression Components for Continuous Time Processes
在多元回归估计中，收敛的收敛速率取决于回归变量的维数。这个事实，被称为维度的诅咒，激发了几个作品。Stone（10）引入的加法模型为这个问题提供了一个有效的解决方案。在连续时间过程的情形下，利用边际积分方法，得到了可加模型各分量的平方收敛速率和渐近正态性。
2008-02-23 math.ST stat.TH
On the Asymptotic Normality of the Conditional Maximum Likelihood Estimators for the Truncated Regression Model and the Tobit Model
本文研究了截断截尾回归模型和Tobit模型的条件极大似然估计的渐近正态性。我们证明了在Hayashi（2000）\footnote{see page 516, and page 520 of Hayashi (2000).}关于这两个模型的条件ML估计的渐近正态性的证明是正确的，即充分条件是$\mathbf{x_tx'_t}$的非奇异性.
2008-02-05 math.PR math.ST stat.TH
A New Bootstrap Goodness-of-Fit Test for Normal Linear Regression Models
本文通过分析似然信息准则中拟合优度项的分布性质，提出了一种基于非参数自助法的正态线性回归模型拟合优度检验，并通过模拟研究验证了其相对于现有方法的优势。
2023-09-19 stat.AP stat.ME
Regression and Classification with Single-Qubit Quantum Neural Networks
National Laboratory of Scientific Computing (LNCC)（国家科学计算实验室）
该研究提出单量子比特量子神经网络（SQQNN），结合新型数据上传技术，分别采用梯度下降与多项式回归启发的训练方法，在回归和分类任务中表现优异，适用于近期量子设备。
2026-08-12 cs.AI cs.LG quant-ph
Extrapolation Estimation for Parametric Regression with Normal Measurement Error
对于协变量含有正态测量误差的一般参数回归模型，本文提出了一种经典模拟外推算法的加速版本来估计回归函数中的未知参数。通过将条件期望直接应用于目标函数，所提出的算法成功地消除了模拟步骤，通过生成一个估计方程，无论是立即使用或外推，从而显着减少了计算时间。讨论了估计量的大样本性质，包括相合性和渐近正态性。潜在的广泛应用所提出的估计程序的例子，模拟研究，以及一个真实的数据分析。
2021-07-10 stat.ME
Asymptotic normality and strong consistency of kernel regression estimation in q-calculus
本文基于q-微积分构造非参数核回归估计量，并在适当假设下证明了其渐近正态性与强相合性。
2025-03-10 math.ST stat.TH
The Zero Pattern of a Design Matrix Drives Multiple Descent in Over-parameterized Regression
University of Warwick（华威大学）；Harvard University（哈佛大学）
研究过参数化线性回归，放宽协变量独立且协方差矩阵非退化的假设，推导预测风险的确定性等价物，证明协方差矩阵退化和依赖性会导致多重下降，用新图形表示及相关分解刻画峰值位置和方差奇异配置。
2026-10-15 cs.LG math.ST stat.ML
l1-norm quantile regression screening rule via the dual circumscribed sphere
当高维数据集存在离群值或重尾误差时，l1范数分位数回归是一种常见的选择。然而，当数据的特征尺寸超高时，解决这个问题在计算上是昂贵的。据我们所知，现有的筛选规则不能加快计算的l1-范数分位数回归，这是由于不可微的分位数函数/弹球损失。本文引入了对偶外切球技术，提出了一种新的l1范数分位数回归筛选规则。我们的规则表示为给定数据的封闭形式的函数，并消除了不活跃的功能，计算成本低。在模拟数据和真实数据集上的数值实验表明，该筛选规则可以有效地消除几乎所有的非活动特征。此外，该规则可以帮助减少高达23倍的计算时间，与没有我们的筛选规则的计算相比。
2020-12-17 math.OC stat.ME
Using mixtures in seemingly unrelated linear regression models with non-normal errors
引入了误差分布为有限高斯混合的看似无关的线性回归模型。提供了可识别性条件。导出了分数向量和Hessian矩阵。采用极大似然法进行参数估计，并开发了期望最大化算法。所提出的方法和数值评估其属性的有用性说明通过一个真实的数据集的分析。
2014-03-17 stat.ME
Asymptotic Normality of an M-estimator of regression function for truncated-censored data under alpha-mixing condition
本文针对左截断右删失模型，在α混合相依观测下建立了回归函数M估计量的弱相合性与渐近正态性，并推广至核回归估计，同时给出乘积限估计量的均匀收敛速度，模拟验证了有限样本表现。
2023-05-07 math.ST stat.TH
Asymptotic normality in linear regression with approximately sparse structure
本文研究了高维线性回归的渐近正态性。我们专注于回归变量的协方差阵具有KMS结构的情况下，在渐近设置的预测，$p$，是成比例的观察，$n$的数量。本文的主要结果是推导出预测矩阵$\mathbb{X}$和结果变量$Y$的乘积的适当中心化和归一化平方范数的精确渐近分布，即统计量$\|\mathbb{X}'Y\|_{2}^{2}$。此外，我们考虑一个特定的情况下，近似稀疏的模型参数向量$β$，并进行蒙特卡罗模拟研究。模拟结果表明，统计量接近极限分布相当快，即使在高变量的多重相关和相对较少的观察，建议可能的应用程序的建设的统计检验程序的现实世界的数据和相关问题。
2022-03-08 math.PR math.ST stat.TH
High-dimensional linear regression inference via $\ell^2$ weak convergence
Faculty of Economics and Law, Shinshu University（信州大学经济与法学院）；Faculty of Mathematics, Kyushu University（九州大学数学系）
本文研究了高维线性回归中估计量的渐近正态性，通过弱收敛性证明，允许非零系数数量增长并提供插值临界值方法。
2026-10-22 math.ST stat.TH
Semiparametric Mixture Regression with Unspecified Error Distributions
在混合线性回归模型的拟合中，传统的方法是采用正态假设来建立误差模型，然后用极大似然估计来估计回归参数。如果违反了正常假设，则此程序无效。为了放松误差分布的正态假设，从而降低建模偏差，我们提出了具有未知误差分布的半参数混合线性回归模型。在比已有结果更弱的条件下，我们建立了一个更一般的可辨识性结果，构造了一类新的估计量，并建立了它们的渐近性质。这些渐近结果也适用于许多现有的半参数混合回归估计的渐近性质仍然未知，由于在获得它们的固有困难。利用模拟研究，我们证明了所提出的估计的优越性超过极大似然估计时，违反了正常的错误假设和可比性时，错误是正常的。对2017年新收集的马传染性贫血病毒数据进行分析，以说明新估计量的有效性。
2018-11-02 stat.ME
On the Unbiased Asymptotic Normality of Quantile Regression with Fixed Effects
具有固定个体效应的非线性面板数据模型为描述微观计量经济学数据提供了一套重要的工具。在一大类这样的模型中（包括概率单位、比例风险和分位数回归，仅举几例），不可能区分出个体效应，推断通常在“大n大T”渐近框架中是合理的。然而，目前在平滑评分函数（如概率单位和比例风险）和分位数回归模型中施加的假设类型存在相当大的差距。在本文中，我们表明，这一差距可以被弥合，并建立渐近无偏正态的分位数回归面板的n，T的条件下，是非常接近通常假设在标准的非线性面板。我们的结果大大改进了现有的理论，并表明，分位数回归适用于相同类型的面板数据（在n，T）作为其他常用的非线性面板数据模型。数值实验证实了我们的理论研究结果。
2020-02-06 econ.EM math.ST stat.TH
On Asymptotic Normality of the Local Polynomial Regression Estimator with Stochastic Bandwidths
非参数密度和回归估计通常依赖于带宽。这些估计的渐近性质已被广泛研究时，带宽是非随机的。然而，在实践中，为了提高有限样本的性能，这些估计，带宽选择的数据驱动的方法，如交叉验证或插件程序。因此，非参数估计量通常使用随机带宽构造。本文建立了随机和非随机带宽下局部多项式回归估计的概率渐近等价性。我们的结果扩展了Boente和Fraiman（1995）和Ziegler（2004）的工作。
2014-08-29 math.ST stat.TH
Random Norming Aids Analysis of Non-linear Regression Models with Sequential Informative Dose Selection
两阶段自适应优化设计是提高临床试验效率的一个有吸引力的选择。在这些设计中，基于中期数据，选择局部最佳剂量用于进一步探索，这引起来自两个阶段的数据之间的依赖性。在一个试验性研究中，当第一阶段样本容量固定，第二阶段样本量较大时，在具有独立正态误差的非线性回归模型下使用极大似然估计时，由于相关性，费舍尔信息不能使估计量渐近地充分标准化。在这种情况下，我们提出了三种替代的随机信息措施，并表明它们提供更好的归一化的MLE渐近。在模拟研究中研究了随机信息测度的性能，结果表明，当样本量较小时，观测信息的性能最好。
2019-05-23 stat.AP stat.ME
Robust censored regression with l1-norm regularization
研究了带有随机右删失和异常值的线性回归模型中的推断问题。离群值的数量可以随着样本量的增加而增加，而它们的比例趋于零。该模型是半参数的，我们只做非常温和的假设误差项的分布，与文献中大多数其他现有的方法。本文提出了对删失线性回归的Stute估计进行l1-范数惩罚的方法。我们得到的收敛速度和建立渐近正态性态估计的回归系数。在无异常值的删失线性模型中，我们的估计量与Stute的估计量具有相同的渐近方差.因此，不存在由于鲁棒性而导致的效率损失。因此，测试和置信集可以依赖于Stute开发的理论。概述的过程在计算上也是有利的，因为它相当于求解凸优化程序。我们还提出了第二个估计，它使用建议的惩罚Stute估计作为第一步，以检测离群值。它具有相似的理论性质，但在有限样本中的性能更好，通过模拟评估。
2021-10-05 math.ST stat.TH
Efficient and Robust Estimation of Linear Regression with Normal Errors
具有正态分布误差的线性回归-包括诸如ANOVA、学生t检验或位置尺度推断的特定情况-是广泛使用的统计程序。在这种情况下，普通最小二乘估计具有显着的性质，但对异常值非常敏感。已经提出了几个强有力的替代方案，但仍有很大的改进余地。因此，本文提出了一种原始的估计方法，提供了最佳的效率，同时在存在和不存在离群值，无论是对回归系数和尺度参数的估计。该方法首先包括在扩大的正常假设的错误的混合物的正常和过滤的对数帕累托（FLP），一个原始的分布，旨在代表离群值。期望最大化（EM）算法，然后适应，我们得到的N-FLP估计的回归系数，尺度参数和比例的离群值，以及概率的每个观察是离群值。的N-FLP估计的性能进行了比较，在广泛的蒙特卡罗模拟的最佳选择。本文论证了这种估计方法也可用于完整的稳健推断，包括置信区间、假设检验和模型选择。
2019-09-17 math.ST stat.ME stat.TH
Asymptotic normality of the time-domain generalized least squares estimator for linear regression models
在线性模型中，当误差相关的结构已知时，广义最小二乘（GLS）估计是适用的。当它是未知的，这种结构必须近似和估计的方式，可能会导致错误的规格。不正确指定的GLS（IGLS）估计量的大样本分析需要仔细的渐近操作。当在频域中进行估计时，在所谓的Grenander假设下，IGLS估计量的渐近正态性已被证明适用于广泛的一类误差相关模型。在相同的假设下，时域IGLS估计量的渐近正态性结果仅适用于有限类误差结构。我们证明了对于一般的相依模型，时域IGLS估计是渐近正态的。
2019-02-09 math.ST stat.ME stat.TH
