Explanation of multicollinearity using the decomposition theorem of ordinary linear regression models
在多元线性回归模型中，分解定理的代数公式用几何学解释了一元回归系数和偏回归系数之间的关系。结果表明，一元回归系数可按最小二乘法分解为各自的偏回归系数。利用分解定理分析了复共线性。研究还表明，重要解释变量的偏回归系数不显著是一种样本现象，但符号期望偏离的原因可能是被解释变量与解释变量之间的总体结构或样本选择的结果。目前诊断多重共线性的一些方法只考虑了解释变量之间的相关性，因此这些方法基本上是不可靠的，在没有区分原因之前，处理多重共线性是盲目的。样本量的增加可以帮助识别多重共线性的原因，差分法可以起到辅助作用。
2021-04-30 stat.ME
Linear regression for numeric symbolic variables: an ordinary least squares approach based on Wasserstein Distance
本文提出了一种模态符号数据的线性回归模型。根据符号数据分析框架中给出的定义，观察变量是直方图变量，并且使用经典的最小二乘法估计模型的参数。引入了一个适当的度量，以测量观测分布和预测分布之间的误差。特别地，提出了瓦瑟斯坦距离。利用这种度量的一些属性来预测响应变量作为其他独立直方图变量的直接线性组合。拟合优度的措施进行了讨论。实际数据的应用证实了所提出的方法。
2012-07-20 stat.ME stat.OT
Simultaneous Mean-Variance Regression
我们提出了同时均值-方差回归的线性估计和近似的条件均值函数。在未知形式的异方差的存在下，我们的方法通过使用与平均回归参数共同确定的权重来解释在条件变量的支持下回归结果的不同分散度。同时性生成保证改善普通最小二乘法预测误差的结果预测，以及自动有效的相应参数标准误差。根据形状误指定的条件均值和方差函数，我们建立的存在性和唯一性的近似和表征其形式的解释和鲁棒性。特别是，我们表明，相应的均值-方差回归位置尺度模型弱主导的普通最小二乘法的位置模型下的Kullback-Leibler措施的分歧，严格改善的异方差的存在。同时均值-方差回归损失函数是全局凸的，相应的估计量易于实现。我们建立了它的一致性和渐近正态性下的误设定，提供强大的推理方法，并提出了数值模拟，表现出很大的改进普通和加权最小二乘在有限样本的估计和推断。我们进一步说明了我们的方法与两个实证应用，以估计1500年和今天的经济繁荣之间的关系，并在美国的汽油需求。
2019-01-02 econ.EM math.ST stat.ME
Harnessing the Power of Infinitely Wide Deep Nets on Small-data Tasks
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；Carnegie Mellon University（卡内基梅隆大学）
最近的研究表明，以下两个模型是等效的：（a）无限宽神经网络（NN），通过具有无限小学习率的梯度下降在l2损失下训练;（b）关于所谓的神经切线核（NTK）的核回归（Jacot et al.，2018年）。一种计算NTK及其卷积对应物的有效算法出现在Arora et al.（2019 a）中，该算法允许在CIFAR-10等数据集上研究无限宽网络的性能。然而，内核方法的超二次运行时间使它们最适合小数据任务。我们报告的结果表明，神经切线核在低数据任务上表现强劲。1.在UCI数据库的分类/回归任务的标准测试平台上，NTK SVM击败了以前的黄金标准随机森林（RF）以及相应的有限网络。2.在具有10 - 640个训练样本的CIFAR-10上，卷积NTK始终击败ResNet-34 1% -3%。3.在具有迁移学习的ImageNet上的Few-Shot图像分类任务的VOC 07测试平台上（Goyal等人，2019年），用卷积NTK SVM取代目前使用的线性SVM，不断提高性能。4.将NTK的性能与其所源自的有限宽度网进行比较，NTK行为开始于比理论分析所建议的更低的网宽度（Arora等人，2019年a）。NTK的功效可以追溯到较低的输出方差。
2019-10-27 cs.LG stat.ML
Algebraic and Statistical Properties of the Partially Regularized Ordinary Least Squares Interpolator
本文研究部分正则化OLS插值器的代数与统计性质，扩展Cochran公式与留一残差公式，提出同方差方差估计量，并通过模拟验证其有限样本性能。
2024-11-10 math.ST stat.ME stat.TH
Linear shrinkage for predicting responses in large-scale multivariate linear regression
我们提出了一种新的预测方法的多变量线性回归问题的特征数量小于样本量，但结果的数量是非常大的。许多流行的程序，如惩罚回归程序，需要参数调整，这是计算上无法在这样的大规模问题。我们采取了不同的方法，从同步估计问题的想法，执行普通的最小二乘参数估计线性收缩的动机。我们的方法是非常计算效率和调谐自由。我们表明，它可以渐近优于普通最小二乘，而无需对真实回归系数进行任何结构假设，并说明其在模拟和单细胞RNA-seq数据分析中的良好性能。
2021-04-18 stat.ME
Nonparametric regression using over-parameterized shallow ReLU neural networks
City University of Hong Kong（香港城市大学）；University of Sydney（悉尼大学）
本文证明在适当约束或正则化权重且网络宽度足够大时，过参数化浅层 ReLU 神经网络在非参数回归中可实现极大化极小最优收敛速度，并推导出局部 Rademacher 复杂度的新界限。
2024-05-15 cs.LG math.ST stat.ML
An Asymptotic Result of Conditional Logistic Regression Estimator
在集群特定的研究，普通逻辑斯谛回归和条件逻辑斯谛回归的二元结果提供最大似然估计（MLE）和条件最大似然估计（CMLE），分别。在本文中，我们表明，CMLE渐近接近MLE时，每个单独的数据点被复制无限次。我们的理论推导是基于这样的观察，即出现在条件平均对数似然函数中的项是多项式的系数，因此可以通过柯西微分公式转化为复积分。复积分的渐近分析，然后可以使用经典的最速下降法最速下降法。我们的结果意味着，CMLE可以是有偏见的，如果个人的权重乘以一个常数，我们应该谨慎分配权重集群特定的研究。
2020-05-13 math.ST stat.TH
Functional linear instrumental regression under second order stationarity
考虑函数线性工具回归中斜率参数的估计问题，其中在存在工具W的情况下，外生随机函数，标量响应Y依赖于内生随机函数X建模。在X和W均为二阶平稳的假设下，基于（Y，X，W）的n个样本，给出了函数斜率参数及其导数的非参数估计.本文在假定斜率参数属于著名的周期函数的索伯列夫空间的条件下，导出了估计量的极小极大最优收敛速率。本文讨论了与随机函数X和W相关的互协方差算子是光滑的、无穷的或以某种一般形式光滑的情形。
2016-03-04 math.ST stat.TH
EM Converges for a Mixture of Many Linear Regressions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究了具有任意个数$k$的混合线性回归的期望最大化算法的收敛性。我们表明，只要信号噪声比（SNR）是$\tildeΩ(k)$，良好的初始化EM收敛到真正的回归参数。$k \geq 3$的先前结果仅建立了无噪声设置的局部收敛，即，其中SNR无限大。我们的结果扩大了范围的环境噪声，值得注意的是，我们建立了一个统计出错率，是独立的范数（或成对距离）的回归参数。特别是，我们的研究结果意味着确切的恢复$σ\rightarrow 0$，与大多数以前的局部收敛结果EM，其中的统计误差缩放与规范的参数。标准的矩量法方法可以用来保证我们在局部收敛保证适用的区域。
2019-11-26 cs.LG stat.ML
On the Equivalence between Neural Network and Support Vector Machine
University of California San Diego（加州大学圣迭戈分校）；University of Technology Sydney（悉尼科技大学）；IBM Research（IBM研究院）
最近的研究表明，通过梯度下降训练的无限宽神经网络（NN）的动力学可以用神经切线核（NTK）\citep{jacot2018neural}来表征。在平方损失下，通过具有无限小学习率的梯度下降训练的无限宽度NN等价于具有NTK \citep{arora2019exact}的核回归。然而，等价性目前只知道岭回归\citep{arora2019harnessing}，而NN和其他核机器（KM），如支持向量机（SVM）之间的等价性，仍然是未知的。因此，在这项工作中，我们建议建立NN和SVM之间的等价性，特别是通过软间隔损失训练的无限宽NN和通过次梯度下降训练的NTK的标准软间隔SVM。我们的主要理论结果包括建立神经网络和广泛的$\ell_2$正则KM族之间的等价关系，这些正则KM族具有有限宽度的界限，这是以前的工作无法处理的，并表明每个有限宽度的神经网络训练这样的正则损失函数近似是一个KM。此外，我们证明了我们的理论可以实现三个实际应用，包括（i）\textit{non-vacuous}泛化界的NN通过相应的KM;（ii）\textit{non-trivial}鲁棒性证书的无限宽度NN（而现有的鲁棒性验证方法将提供空洞的界限）;（iii）本质上更强大的无限宽度NN比以前的核回归。我们的实验代码可在\url{https://github.com/leslie-CH/equiv-nn-svm}上…
2022-07-07 cs.CV cs.LG math.OC
Smoothed Rank-Based Regression Estimation Using Wilcoxon Score Functions
Western Illinois University（西伊利诺伊大学）
提出用平滑秩代替整数秩的Wilcoxon秩回归估计，通过核分布函数近似指示函数，在保持稳健性的同时提高重尾误差下的效率并处理结数据，推导了Wald检验并证明渐近正态性。
2026-06-12 stat.ME
Robust linear regression under latent group heterogeneity
Shandong University（山东大学）；Shandong University-Zhong Tai Securities Institute for Financial Studies, Shandong University（山东大学-中泰证券金融研究院）
本文提出EMMB方法，用于在存在潜在组异质性时进行稳健线性回归，通过理论分析和实证研究证明其在截距异质性和估计准确性上的优势。
2026-04-27 math.ST stat.TH
Two-step estimation in linear regressions with adaptive learning
弱的一致性和渐近正态性的普通最小二乘法估计的线性回归与自适应学习时，导出的关键，所谓的，“增益”参数估计在第一步由非线性最小二乘法从辅助模型。两步估计量的奇异极限分布是正态分布，并且通常受第一步抽样不确定性的影响。然而，这种“生成回归量”的问题在某些参数组合中消失了。
2022-11-02 econ.EM stat.AP
The Interplay Between Interpolation and Aggregation in Regression: Optimal Sample Complexity
Department of Computer Science, Aarhus University（奥胡斯大学计算机科学系）；Department of Statistics, University of Oxford（牛津大学统计学系）
本文从理论上研究回归中插值与聚合的相互作用，证明γ-图维度刻画了广泛自然聚合过程的可学习性，并发现通过中位数聚合三个插值假设的简单过程在所有聚合过程中最优，且严格强于恰当学习。
2026-07-28 cs.LG
Robust Regularized Low-Rank Matrix Models for Regression and Classification
University of Central Florida（中佛罗里达大学）；State University of New York at Albany（纽约州立大学奥尔巴尼分校）
虽然矩阵变量回归模型已经在许多现有的工作中进行了研究，经典的统计和计算方法的分析的回归系数估计的高度影响高维和噪声矩阵值的预测。为了解决这些问题，本文提出了一个基于秩约束的矩阵变量回归模型框架，向量正则化（例如，稀疏性），以及考虑了三种特殊情况的一般损失函数：普通矩阵回归、稳健矩阵回归和矩阵逻辑斯谛回归。我们还提出了一个交替投影梯度下降算法。通过对有界曲率流形上目标函数的分析，证明了算法的收敛性，迭代的所有聚点都有$O(1/\sqrt{n})$阶的估计误差，且渐近地达到极大极小率.我们的理论分析可以应用到一般的优化问题的流形上有界曲率，可以被认为是一个重要的技术贡献，这项工作。我们通过仿真研究和实际图像数据的例子验证了所提出的方法。
2022-05-14 cs.LG stat.ML
Nonparametric smoothing for extremal quantile regression with heavy tailed distributions
在几个不同的领域，人们对分析底层分布的上尾或下尾分位数而不是平均值或中心分位数感兴趣。然而，尾部分位数的调查是困难的，因为数据稀疏。在本文中，我们试图发展极值分位数水平的非参数分位数回归。在极值分位数回归中，分位数水平的收敛阶有两种技术条件：中间阶和极值阶。对于中间阶分位数，使用普通的非参数估计。另一方面，对于极阶分位数，我们通过外推中阶分位数估计，给出了一个新的估计。渐近理论和极值理论保证了估计量的性能。结果证明了非参数分位数回归估计的渐近正态性和收敛速率。一个模拟，以确认所提出的估计的行为。数据应用也得到了评估。
2019-03-20 math.ST stat.TH
Generalized Ridge Regression: Biased Estimation for Multiple Linear Regression Models
本文针对多元线性回归中回归变量非正交导致普通最小二乘估计不佳的问题，系统研究了广义岭回归的估计、均方误差、拟合优度及自助法推断。
2024-07-02 stat.ME
Uncoupled Regression from Pairwise Comparison Data
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
非耦合回归是从未标记数据和目标值集合中学习模型的问题，而它们之间的对应关系是未知的。在预测涉及敏感信息的匿名化目标时出现这种情况，一个人的年收入。由于现有的解耦回归方法往往需要对真正的目标函数进行强假设，因此，它们的应用范围是有限的，我们引入了一个新的框架，不需要这样的假设在本文中。我们的关键思想是利用成对比较数据，它由成对的未标记数据组成，我们知道哪一个具有更大的目标值。这样的成对比较数据很容易收集，就像在学习排名场景中通常讨论的那样，并且不会破坏数据的匿名性。我们提出了两个实用的方法，从成对比较数据的非耦合回归，并证明了学习的回归模型收敛到最优模型的最佳参数收敛速度时，目标变量均匀分布。此外，我们的经验表明，对于线性模型，所提出的方法是普通的监督回归与标记数据。
2019-06-03 cs.LG stat.ML
Lattice Designs in Standard and Simple Implicit Multi-linear Regression
统计学家通常使用普通最小二乘来最小化受试者响应中相对于独立解释变量的随机误差。然而，Wooten展示了如何使用普通最小二乘法来最小化系统中的随机误差，而无需定义受试者响应。Wooten利用格点设计证明了无响应分析是多元线性回归中随机变量与参数估计之间金字塔关系的一种较优的替代旋转。简单线性共线性的无响应分析和简单线性回归中的旋转分析挑战了固定效应的概念;统一性作为随机度量（变量）包含在内。使用格点的插图设计了一个均值算子，该算子生成标准均值和自加权均值以及其他具有随机权重的点估计值;还设计了一个连接，该连接说明了方差和协方差;并开发了称为内部协方差和基方差的方差度量。这些概念用于说明如何使用这些措施来评估标准简单线性回归和简单隐式回归（无响应和旋转）中的参数估计值。这些格点设计的分析结果显示，标准简单线性回归通过将一个方向的方差视为与两个相邻协方差（标准和内部）相关来限制关系，而无响应分析则根据内部协方差和基础方差来定义关系。
2016-03-25 stat.ME
A Novel Approach in Solving Stochastic Generalized Linear Regression via Nonconvex Programming
本文提出一种基于非凸规划、聚类和分位数估计的随机广义线性回归求解方法，在F1、精确率和召回率上比普通逻辑回归提升1至2个百分点。
2024-01-16 math.OC stat.ML
Two-stage least squares with a randomly right censored outcome
本文发展了一个简单的两阶段最小二乘（2SLS）方法，用于估计线性模型中某些内生回归变量对随机右删失结果的因果效应。该提案用加权最小二乘回归取代了标准2SLS的通常普通最小二乘回归。权重对应于截尾的逆概率。证明了估计量的相合性和渐近正态性。该估计器具有良好的有限样本性能的模拟。
2021-10-11 econ.EM math.ST stat.TH
Asymptotic Inference for Infinitely Imbalanced Logistic Regression
在本文中，我们扩展了Owen（2007）的工作，推导了逻辑斯谛回归中斜率参数的二阶展开式，当多数类的大小是无界的，少数类是有限的。更确切地说，我们证明了二阶项收敛到一个正态分布，并明确计算其方差，这令人惊讶地再次只取决于少数类点的平均值，而不是他们的安排下温和的规律性假设。在多数类是正态分布的情况下，我们说明了极限斜率的方差指数依赖于少数类的点相对于多数类的分布的平均值的z分数。我们证实了我们的Monte Carlo模拟结果。
2022-04-27 math.ST stat.ML stat.TH
Asymptotic properties in the Probit-Zero-inflated Binomial regression model
零膨胀回归模型近年来得到了广泛的应用，并被证明在建模具有许多零的数据时是有用的。零膨胀二项分布（ZIB）回归模型是普通二项分布的推广，它考虑了零的过剩。在比较的概率单位模型的逻辑模型，许多作者认为，在大多数情况下，涉及二进制响应选择一个配方在其他几乎没有理论依据。Logit模型被认为在计算上更简单，但它基于一个更严格的误差独立性假设，尽管许多其他概括也处理了这个假设。相比之下，概率单位模型假设随机误差服从多元正态分布。这个假设使得概率单位模型具有吸引力，因为正态分布提供了许多其他分布的良好近似。本文给出了两个分量都具有概率单位连接函数的零膨胀二项回归模型参数的极大似然估计方法。我们建立了估计量的相合性和渐近正态性。
2021-05-02 math.ST stat.TH
Richer priors for infinitely wide multi-layer perceptrons
The University of Queensland（昆士兰大学）
多层感知器（MLP）参数的零均值iid先验分布所诱导的函数的分布在较弱的条件下收敛于高斯过程（GP）。我们首先将这一结果扩展到具有一般零或非零均值的独立先验，其次扩展到一个部分可交换先验族，该族概括了iid先验。我们讨论了如何自然产生的第二个先验时，考虑等价类的功能在MLP和通过训练过程，如随机梯度下降。由部分可交换先验得到的模型是GP，在先验和后验预测分布需要超参数边缘化的意义上具有额外的推断水平。我们推导出的内核的限制GP在深MLP，经验表明，这些内核避免某些病理存在于先前研究的先验。我们凭经验评估我们的索赔收敛测量有限宽度模型和限制模型之间的最大平均差异。我们比较我们的新的限制模型的性能，一些以前讨论过的模型合成回归问题。我们观察到随着模型深度的增加，边际似然和超后验的病态越来越严重，与有限宽度网络相似，这需要众所周知的优化技巧。
2019-11-29 cs.LG stat.ML
Distributed High-dimensional Regression Under a Quantile Loss Function
New York University（纽约大学）；Shanghai Jiao Tong University（上海交通大学）；Fundan University（复旦大学）
研究了重尾噪声下高维线性回归模型的分布估计和支持度恢复问题。对于方差可能无穷大的重尾噪声，我们采用分位数回归损失函数代替常用的平方损失函数。然而，非光滑分位数损失对高维分布估计的计算和理论发展提出了新的挑战。为了解决这个问题，我们对响应变量进行了变换，并在分位数回归和普通线性回归之间建立了一种新的联系。然后，我们提供了一个分布式的估计，这是计算和通信效率，只有梯度信息在每次迭代进行通信。理论上，我们表明，经过一个常数的迭代次数，所提出的估计实现了近预言收敛速度，没有任何限制的机器数量。为支架回收提供了理论保证。仿真分析证明了该方法的有效性。
2020-09-18 cs.LG stat.ME stat.ML
Towards Practical Robustness Auditing for Linear Regression
MIT（麻省理工学院）
研究寻找或证伪移除后能反转OLS回归系数符号的数据小子集的实用算法，提出混合整数优化、贪心与谱方法，显著优于现有技术并指出了高维计算瓶颈。
2023-07-30 cs.LG econ.EM stat.ME
Birnbaum-Saunders nonlinear regression models
本文首次介绍了一类新的Birnbaum-Saunders非线性回归模型，它在寿命数据分析中具有潜在的应用价值。该类推广了Rieck和Nedelman [1991，A log-线性模型for the Birnbaum-Saunders distribution，Technometrics，33，51-60]描述的回归模型。我们讨论了模型参数的极大似然估计，并给出了这些估计的二阶偏差的封闭表达式。我们的公式很容易计算为普通的线性回归，然后用来定义偏差校正的最大似然估计。一些模拟结果表明，偏差校正方案产生几乎无偏估计，而不增加的均方误差。我们也给出了一个应用程序的一个真正的疲劳数据集。
2009-04-24 stat.ME
Robust Linear Regression: A Review and Comparison
线性模型的普通最小二乘（OLS）估计量对设计空间中的异常值或y值中的离群值非常敏感。即使是一个单一的非典型值也可能对参数估计值产生很大影响。本文旨在回顾和描述一些可用的和流行的鲁棒技术，包括一些最近开发的，并比较它们的故障点和效率。此外，我们还使用模拟研究和实际数据的应用程序来比较现有的鲁棒方法在不同的情况下的性能。
2014-04-24 stat.ME
Approximate maximum likelihood estimators for linear regression with design matrix uncertainty
在本文中，我们考虑在运营商或设计矩阵的任意噪声的回归问题。这种表征适当地模拟了许多回归量中具有不确定性的物理现象。虽然这个问题已经被广泛研究了普通/总最小二乘，并通过模型，隐含或明确地假设高斯，较少注意到改善估计的回归问题下的一般不确定性的设计矩阵。为了解决在处理随机变量和的分布时遇到的困难，我们依靠鞍点方法来估计密度，并形成近似的对数似然最大化。我们表明，所提出的方法与其他经典方法相比表现良好。
2021-04-07 cs.NA math.NA math.OC
Elastic Net Regularization Paths for All Generalized Linear Models
Lasso和弹性网是监督学习中常用的正则化回归模型。Friedman，Hastie，and Tibshirani（2010）介绍了一种计算效率高的算法，用于计算普通最小二乘回归、逻辑斯谛回归和多项逻辑斯谛回归的弹性网正则化路径，而Simon，Friedman，Hastie，and Tibshirani（2011）将这项工作扩展到右删失数据的Cox模型。我们进一步扩展了弹性网正则化回归的范围到所有的广义线性模型家族，Cox模型（开始，停止）数据和地层，和一个简化版本的放松套索。我们还讨论了方便的效用函数来衡量这些拟合模型的性能。
2021-03-05 stat.CO stat.ME
Linear Regression under Special Relativity
本文研究了在狭义相对论的特定背景下，用普通最小二乘法（OLS）估计简单线性回归的参数所带来的问题，其中自变量被限制在一个开区间（-c，c）内。研究发现，斜率系数的OLS估计在洛仑兹速度变换下不是不变的。在此基础上，提出了狭义相对论下线性回归参数的另一种估计。该估计量可以被认为是狭义相对论下OLS估计量的推广;当c趋于无穷大时，该估计量及其方差分别收敛于OLS估计量及其方差。该估计量的方差大于OLS估计量的方差，这意味着在狭义相对论下，使用OLS估计量及其方差进行假设检验可能导致宽松的检验.
2020-05-28 stat.OT
A Risk Comparison of Ordinary Least Squares vs Ridge Regression
我们比较风险的岭回归的一个简单的变种普通最小二乘，其中一个简单的项目的数据到一个有限维的子空间（指定的主成分分析），然后执行一个普通的（非正则化）最小二乘回归在这个子空间。该注释表明，这种普通最小二乘法的风险在岭回归风险的一个常数因子（即4）内。
2013-05-31 stat.ML
A Propagation Framework for Network Regression
School of Economics and Management, Beihang University（北京航空航天大学经济管理学院）；Department of Applied Mathematics, Hong Kong Polytechnic University（香港理工大学应用数学系）
本文提出网络传播回归框架，通过传播协变量捕捉网络中的直接和间接效应，适用于多种数据类型，并在模拟中优于传统方法。
2026-01-15 stat.ME
Page's Sequential Procedure for Change-Point Detection in Time Series Regression
在各种不同的设置累积和（Cumulative Sum）程序已被应用于顺序检测随机模型的参数中的结构突变。然而，它们的表现在很大程度上取决于变化的时间，在早期变化的情况下最好。对于后来的变化，他们的有限样本行为是相当值得怀疑的。因此，我们提出了修改后的CRACUUM程序检测的突然变化的回归参数的多个时间序列回归模型，表现出更高的稳定性，相对于普通的CRACUUM程序的变化时间。给出了检验统计量的渐近分布和程序的一致性。在模拟研究中，它表明，所提出的程序表现良好，在有限的样本。最后，该程序适用于一组资本资产定价数据相关的Fama法国扩展的资本资产定价模型。
2013-08-06 stat.ME
Parametric Modeling of Quantile Regression Coefficient Functions with Longitudinal Data
在普通的分位数回归中，不同阶数的分位数一次估计一个。另一种方法称为分位数回归系数建模（QRCM），将分位数回归系数建模为分位数阶数的参数函数。在本文中，我们描述了QRCM范式可以应用于纵向数据。我们引入了一个两水平分位数函数，其中使用两个不同的分位数回归模型来描述受试者内反应和个体效应的（条件）分布。我们提出了一种新型的惩罚固定效应估计，并讨论了它的优势，标准的方法的基础上$\ell_1$和$\ell_2$惩罚。我们提供了模型的可识别性条件，推导出渐近性质，描述拟合优度的措施和模型选择标准，目前的模拟结果，并讨论了应用。该方法已在R软件包qrcm中实现。
2020-05-30 econ.EM stat.ME
A note on centering in subsample selection for linear regression
居中是线性回归分析中常用的技术。使用响应和协变量的中心数据，可以从没有截距的模型计算斜率参数的普通最小二乘估计量。如果从居中的完整数据中选择子样本，则子样本通常不居中。在这种情况下，在没有截距的情况下拟合模型仍然合适吗？答案是肯定的，我们表明，最小二乘估计的斜率参数从一个模型没有截距是无偏的，它有一个较小的方差协方差阵的Loewner顺序比从一个模型的截距。我们进一步表明，对于非信息加权子采样时，使用加权最小二乘估计，使用全数据加权均值重新定位子样本提高了估计效率。
2022-09-30 stat.CO stat.ME
Overlapping group logistic regression with applications to genetic pathway selection
在全基因组表达分析中，发现解释感兴趣表型的重要基因长期以来一直具有挑战性。分析，如基因集富集分析（GSEA），纳入途径信息已成为假设检验中广泛使用，但基于途径的方法已在很大程度上缺席回归方法，由于处理重叠途径的挑战和由此产生的缺乏可用的软件。R包grpreg被广泛用于拟合组套索和其他组惩罚回归模型;在本研究中，我们开发了一个扩展grpregOverlap，以允许使用Jacob等人提出的潜在变量方法重叠组结构。我们比较这种方法的普通套索和GSEA使用模拟和真实的数据。我们发现，纳入先前的途径信息大大提高了基因表达分类器的准确性，我们揭示了几种方法，其中假设检验方法，如GSEA不同于回归方法的途径数据的分析。
2016-09-13 stat.ME
Improving Estimations in Quantile Regression Model with Autoregressive Errors
一个重要的问题是，呼吸道死亡率可能是空气污染的结果，空气污染可以通过以下变量来测量：温度、相对湿度、一氧化碳、二氧化硫、二氧化氮、碳氢化合物、臭氧和颗粒物。通常的方法是使用普通最小二乘回归来拟合模型，它对回归模型的误差项表示白噪声过程有一些假设，也称为高斯-马尔可夫假设。然而，在许多应用中，特别是对于本示例，这些假设并不满足。因此，在本研究中，采用分位数回归方法，使用上述解释变量对呼吸死亡率进行建模。此外，改进的估计技术，如初步测试和收缩策略时，误差是自回归的。通过蒙特卡罗模拟实验，对Lasso、Ridge和弹性网等分位数惩罚估计方法进行了性能评估。最后给出了所列估计量的理论风险。
2017-07-04 stat.AP
Non-parametric Quantile Regression and Uniform Inference with Unknown Error Distribution
本文研究了协变量存在未知分布测量误差时的条件分位数回归函数非参数估计与一致推断，提出反卷积核估计量构建一致置信带，并通过模拟与实际数据验证了方法的有效性。
2025-04-02 econ.EM stat.ME
Multivariate linear regression without prior assumptions
Indian Institute of Technology Madras（印度马德拉斯理工学院）
本文提出QZ-IPCA迭代广义特征值算法，无需先验假设即可从含噪数据同时恢复多元线性系统的噪声划分、方差、关系数和回归系数，实验证明其优于传统最小二乘方法。
2026-09-10 cs.SY eess.SY stat.AP
Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift
Columbia University（哥伦比亚大学）；University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）；Google Research（谷歌研究院）；University of Toronto（多伦多大学）
针对回归任务中的协变量偏移问题，本文通过特征谱分解分析OLS风险，提出轻量级谱自适应方法调整预训练模型末层权重，提升分布外性能。
2023-12-29 cs.LG stat.ML
Ordinary Least Squares as an Attention Mechanism
Université du Québec à Montréal（魁北克大学蒙特利尔分校）
将普通最小二乘法解释为一种注意力机制，通过变换回归空间中的相似性方法，重新定义OLS的优化目标，连接注意力机制与时间序列计量经济学。
2026-10-06 cs.LG econ.EM math.ST
Time varying regression with hidden linear dynamics
我们重新审视时变线性回归模型，假设未知参数根据线性动力系统演变。反直觉地，我们表明，当基本的动态是稳定的，这个模型的参数可以估计从数据相结合的只是两个普通的最小二乘估计。我们提供了一个有限的样本保证我们的方法的估计误差，并讨论了一定的优势，它比期望最大化（EM），这是以前的工作提出的主要方法。
2021-12-29 math.OC math.ST stat.ML
Random design analysis of ridge regression
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）；Rutgers University（罗格斯大学）
这项工作在对协变量/响应分布的温和假设下，在随机设计环境中同时分析了普通最小二乘估计量和岭回归估计量。特别是，分析提供了尖锐的结果，对“样本外”的预测误差，而不是“样本内”（固定设计）的错误。该分析还揭示了估计协方差结构中的误差效应以及建模误差效应，这两种效应均不存在于固定设计设置中。主要结果的证明是基于一个简单的分解引理结合随机向量和矩阵的集中不等式。
2014-03-25 cs.AI cs.LG math.ST
A selective review of sufficient dimension reduction for multivariate response regression
本文综述了多元响应的充分降维估计。广泛的SDR方法的特点是逆回归SDR估计或正向回归SDR估计。逆回归族包括混合边际估计、投影回归估计和基于距离的估计。普通最小二乘，偏最小二乘，半参数SDR估计，另一方面，讨论作为估计从正向回归家庭。
2022-02-02 stat.CO stat.ME stat.ML
Transport Analysis of Infinitely Deep Neural Network
RIKEN AIP（理化学研究所先进智能项目中心）；Waseda University（早稻田大学）
我们通过跟踪传输图来研究深度神经网络（DNN）内部的特征图。我们对深度的作用感兴趣（为什么DNN比浅模型表现更好？）和DNN的解释（中间层做什么？）尽管DNN的应用发展迅速，但由于隐藏层是嵌套的，参数不可靠，DNN仍然无法解析。受浅神经网络的积分表示（宽度的连续极限或隐藏单元数）的启发，我们开发了DNN的流表示和传输分析。流表示是深度或隐藏层数的连续极限，并且它由具有向量场的常微分方程指定。我们将普通DNN解释为传输映射或流的欧拉折线近似。从技术上讲，动态系统是嵌套特征映射的自然模型。此外，它通过避免DNN的冗余参数化，为DNN的无坐标处理开辟了一条新的途径。本文从Wasserstein几何学的角度出发，从动力系统、连续性方程和Wasserstein梯度流三个方面对流动进行了分析。一个关键的发现是，我们指定了一系列去噪自动编码器（DAE）的传输映射。本文从浅层DAE出发，发展了三个主题：深层DAE的输运映射，堆积DAE与DAE合成之间的等价性，以及流表示的双连续极限或积分表示的发展。作为研究问题的部分答案，我们发现更深的DAE收敛更快，提取的特征更好;此外，深高斯DAE传输质量以降低数据分布的香农熵。
2018-10-31 cs.LG stat.ML
Implicit Bias of Mirror Flow for Shallow Neural Networks in Univariate Regression
该研究分析单变量回归下浅层神经网络镜像流的隐式偏差，证明宽网络下镜像流的惰性训练特性，刻画ReLU网络的偏差形式，引入缩放势并揭示其对偏差的调控作用，拓展了已有梯度流相关结论。
2025-03-19 cs.LG stat.ML
Provably Auditing Ordinary Least Squares in Low Dimensions
MIT（麻省理工学院）
测量从普通最小二乘线性回归得出的结论的稳定性是至关重要的，但大多数度量要么只测量局部稳定性（即针对数据中的无穷小变化），要么只能在统计假设下解释。最近的工作提出了一个简单的，全局的，有限样本的稳定性度量：需要删除的样本的最小数量，以便重新运行分析推翻结论，特别是意味着估计回归量的特定系数的符号发生变化。然而，除了平凡指数时间算法之外，计算该度量的唯一方法是在合理的、可验证的假设下缺乏可证明的保证的贪婪启发式;启发式提供了一个松散的上限的稳定性，也不能证明它的下限。我们表明，在低维制度的协变量的数量是一个常数，但样本的数量是大的，存在用于可证明地估计该度量（的分数版本）的有效算法。将我们的算法应用于Boston Housing数据集，我们展示了回归分析，在回归分析中，我们可以估计比贪婪启发式更好的$3$的稳定性，并且分析我们可以证明即使是大多数样本的稳定性。
2022-06-05 cs.DS cs.LG econ.EM
Risk Convergence of Centered Kernel Ridge Regression with Large Dimensional Data
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本文对一种称为\emph{centered kernel ridge regression}（CKRR）的核岭回归的变体进行了高维分析，在文献中也称为带偏移的核岭回归。这种改进的技术是通过考虑回归问题中的偏差而获得的，该偏差导致旧核岭回归，但具有\emph{centered}核。分析是在假设数据来自高斯分布并严重依赖随机矩阵理论（RMT）工具的情况下进行的。在数据维数和训练规模以固定比例无限大的制度下，并在一些温和的假设下控制数据统计，我们表明，经验和预测风险收敛到一个确定性的数量，以封闭的形式描述CKRR的性能的数据统计和尺寸。受这一理论结果的启发，我们随后基于训练数据构建了预测风险的相合估计量，从而可以最佳地调整设计参数。所提出的分析的一个关键见解是这样一个事实，即渐近一大类内核实现相同的最小预测风险。这一见解得到了合成数据和真实数据的验证。
2019-04-19 cs.LG stat.ML
Physics-Informed Regression: Parameter Estimation in Parameter-Linear Nonlinear Dynamic Models
本文提出物理信息回归（PIR）方法，利用正则化普通最小二乘法对参数线性非线性动态模型进行高效参数估计，并在ODE、PDE及丹麦COVID-19疫情数据上验证其优于物理信息神经网络（PINN）。
2025-07-25 cs.LG math.DS stat.ME
