Distribution free testing for linear regression. Extension to general parametric regression
最近，\cite{Khm13, Khm16, Khm17}提出了一种基于酉变换的检验参数假设的无分布方法，并在\cite{Ngu17}和\cite{Rob19}中进行了进一步的研究。本文证明了在线性回归的分布自由检验中，变换的形式是极其简单的。然后将其推广到向量值协变量的一般参数回归。
2020-02-07 math.ST stat.ME stat.TH
A Mixture of Linear-Linear Regression Models for Linear-Circular Regression
我们介绍了一种新的方法，线性循环回归问题，涉及多个线性预测的循环响应。我们遵循一个包裹的正态分布，描述角变量和角分布的建模方法，并提出了一个线性-圆形回归分析。以往的一些工作将圆形变量建模为二元高斯随机向量在单位正方形上的投影，并且所得到的模型的统计推断涉及复杂的采样步骤。该模型将圆形响应视为对未观测到的线性响应进行取模运算的结果。所得到的模型是多个线性-线性回归模型的混合。本文给出了混合模型极大似然估计的两种期望最大化算法，一种用于参数模型，另一种用于非参数模型。估计算法提供了一个很大的计算和估计精度之间的权衡，这是用五个数值例子数值显示。所提出的方法被应用到一个问题，估计风向，通常表现出复杂的模式与大的变化和圆形。
2019-09-15 stat.ME
$p$-adic Linear Regression for Random Sampling with Digitwise Noise
本文提出一种新的概率算法，用于在存在逐位噪声的情况下进行$p$-adic线性回归，包括新的模$p$线性回归算法。
2026-05-15 math.NT math.ST stat.CO
Linear Regression without computing pseudo-inverse matrix
我们提出了一种基于Gram-Schmidt正交投影的线性回归方法，该方法不计算伪逆矩阵。这在我们为了模拟的目的想要用随机数据向量进行几次回归时很有用。
2013-11-06 math.ST stat.CO stat.TH
Generalized Ridge Regression: Applications to Nonorthogonal Linear Regression Models
本文研究广义岭回归在缓解多元线性回归多重共线性中的应用，推导了估计方差、变异系数、相关系数、方差膨胀因子和条件数的表达式，并用两个数值例子验证结果。
2025-04-08 stat.ME
A Comparison Between Quantile Regression and Linear Regression on Empirical Quantiles for Phenological Analysis in Migratory Response to Climate Change
这是公认的，候鸟一般提前他们的到达时间在春天，在本文中，我们探讨潜在的方法，提高在未来的物候分析的细节水平。我们进行单以及多个物种的分析，使用线性模型的经验分位数，非参数分位数回归和基于似然的参数分位数回归与非对称拉普拉斯分布的误差项。我们的结论是，非参数分位数回归似乎最适合于单一以及多个物种的分析。
2022-02-07 stat.AP
Scalar-on-function local linear regression and beyond
对随机函数的标量响应进行回归是当今常见的情况。在非参数情况下，本文为基于投影方法的局部线性回归成为解决这类回归问题的突出方法铺平了道路。我们的渐近结果表明，功能的局部线性回归优于其功能的局部常数对应。除了回归算子本身的估计之外，局部线性回归也是预测回归算子的函数导数的有用工具，其本身是一个有前途的数学对象。局部线性估计的功能衍生物被证明是一致的。在模拟数据集上，我们说明了这两种方法良好的有限样本特性。在一个单函数指数模型的实际数据例子中，我们指出了回归算子的函数导数如何提供了一种原始的、快速的、广泛适用的估计方法。
2019-07-18 math.ST stat.ME stat.TH
Confidence Sets for a level set in linear regression
回归建模是统计学的主要工具，有大量关于回归函数估计的文献。近年来人们认识到，在回归分析中，最终目标可能是估计回归函数的水平集，而不是估计回归函数本身。已发表的工作估计水平集迄今主要集中在非参数回归，特别是点估计。本文考虑了线性回归水平集置信集的构造问题。特别是，$1-α$水平的上限，下限和双侧置信集的正态误差线性回归构建。结果表明，这些置信集可以很容易地从相应的$1-α$水平的同时置信带构造。本文还指出，该构造方法同样适用于均值响应通过单调连接函数依赖于线性预测量的其它参数回归模型，包括广义线性模型、线性混合模型和广义线性混合模型。因此，本文提出的方法具有广泛的适用性。最后给出了实例说明该方法。
2022-07-26 stat.ME
Correlation Estimation System Minimization Compared to Least Squares Minimization in Simple Linear Regression
在简单的线性回归中，对于正态数据的参数估计，相对于最小二乘法，本文给出了一种利用相关系数和顺序统计量的最小化方法。
2018-02-07 stat.ME
Empirical likelihood inference for partial functional linear regression models based on B spline
本文将经验似然方法应用于基于B样条的部分泛函线性回归模型中回归参数的推断。我们证明了回归参数的经验对数似然比收敛于独立χ 2分布的加权和的规律，并运行模拟来评估我们的方法的有限样本性能。
2017-10-31 stat.ME
Varying-coefficient functional linear regression
函数线性回归分析旨在对包含函数预测因子的回归关系进行建模。在传统的多变量或多响应线性回归模型中的回归参数向量或矩阵的类似物是具有一个或两个自变量的回归参数函数。如果，此外，一个标量预测，经常是纵向研究的应用程序中的情况下，出现的问题是如何将这些纳入一个功能回归模型。我们研究了变系数方法，其中标量协变量建模为回归参数函数的附加参数。函数线性回归模型的这种扩展类似于传统线性回归模型到变系数模型的扩展，并且具有其优点，例如增加的灵活性;然而，这种扩展的细节在函数情况下更具挑战性。我们的方法结合了平滑方法与正则化截断在有限数量的功能主成分。一个实用的版本，并显示出比功能线性回归的纵向数据进行更好的。研究了变系数泛函线性回归的渐近性质，建立了其相合性。
2011-02-25 math.ST stat.TH
PLS Generalized Linear Regression and Kernel Multilogit Algorithm (KMA) for Microarray Data Classification
本文将Bastien等人（2005）提出的偏最小二乘广义线性回归（PLSGLR）与逻辑斯谛回归和线性判别分析相结合，得到偏最小二乘广义线性回归-逻辑斯谛回归模型（PLSGLR-log）和偏最小二乘广义线性回归-线性判别分析模型（PLSGLRDA）。这两种分类方法，然后与经典的方法，如k-近邻（KNN），线性判别分析（LDA），偏最小二乘判别分析（PLSDA），岭偏最小二乘（RPLS），和支持向量机（SVM）进行比较。此外，我们实现了Dalmau等人的核多对数算法（KMA）。（2015）并将其性能与其他分类器进行了比较。结果表明，对于未经预处理和预处理的数据，KMA具有最低的分类错误率。
2019-06-19 stat.CO stat.ME
Admissibility of the usual confidence interval in linear regression
考虑具有独立同态分布随机误差的线性回归模型。假设感兴趣的参数是回归参数的指定线性组合。我们证明，通常的置信区间为这个参数是容许的广泛的一类置信区间。
2010-01-18 math.ST stat.TH
On relationship between coefficients of the different dimensions linear regression models
本文证明了给定响应变量在完整预测变量集和子集下的两个线性回归模型系数之间存在线性关系，并探讨了该定理的推论。
2011-09-14 cs.NA math.NA math.ST
Minimax rates of $\ell_p$-losses for high-dimensional linear regression models with additive measurement errors over $\ell_q$-balls
本文研究了在$\ell_p\ (1\leq p<\infty)$ -损失下具有可加误差的高维线性回归的极小极大速率，其中回归参数具有弱稀疏性。我们的下限和上界同意常数因子，这意味着所提出的估计是最小最大最优的。
2019-11-19 math.ST stat.TH
Analysis of Least square estimator for simple Linear Regression with a uniform distribution error
本文在简单线性回归的框架下，研究了线性模型的偏差项$\varepsilon$服从均匀分布时的最小二乘估计.特别地，我们给出了这种估计的规律，并证明了一些收敛性质。
2021-11-04 math.ST stat.TH
Linear shrinkage for predicting responses in large-scale multivariate linear regression
我们提出了一种新的预测方法的多变量线性回归问题的特征数量小于样本量，但结果的数量是非常大的。许多流行的程序，如惩罚回归程序，需要参数调整，这是计算上无法在这样的大规模问题。我们采取了不同的方法，从同步估计问题的想法，执行普通的最小二乘参数估计线性收缩的动机。我们的方法是非常计算效率和调谐自由。我们表明，它可以渐近优于普通最小二乘，而无需对真实回归系数进行任何结构假设，并说明其在模拟和单细胞RNA-seq数据分析中的良好性能。
2021-04-18 stat.ME
Strong consistency of the nonparametric local linear regression estimation under censorship model
引入并研究了删失模型的局部线性非参数回归估计。本文的主要目的是建立紧集上新估计的一致几乎必然相合结果。为了支持我们的理论结果，模拟研究已经做了与经典的回归估计进行比较。
2020-04-06 math.ST stat.TH
Bootstrapping for multivariate linear regression models
多元线性回归模型是研究多个响应变量和多个预测变量之间关系的重要工具。主要的兴趣是关于未知的回归系数矩阵的推断。我们提出多元自助技术作为一种手段，使未知的回归系数矩阵的推断。这些自举技术是Freedman（1981）中开发的技术的扩展，其仅适用于单变量响应。对多元线性回归模型的扩展是在没有证明的情况下进行的。我们形式化的扩展，并证明其有效性。一个真实的数据例子和两个模拟数据的例子，提供了一些有限的样本验证我们的理论结果。
2017-09-12 math.ST stat.ME stat.TH
Markov-Modulated Linear Regression
经典的线性回归被认为是回归参数依赖于外部随机环境的情况下。最后一个被描述为一个具有有限状态空间的连续时间马尔可夫链。在这里，在不同状态下的预期逗留时间是额外的回归变量。导出了估计回归参数的必要公式。数值例子说明了所得结果。
2019-01-28 stat.ME
Generalized Ridge Regression: Biased Estimation for Multiple Linear Regression Models
本文针对多元线性回归中回归变量非正交导致普通最小二乘估计不佳的问题，系统研究了广义岭回归的估计、均方误差、拟合优度及自助法推断。
2024-07-02 stat.ME
On estimation and prediction in a spatial semi-functional linear regression model
我们解决了估计和预测在非访问站点的空间半功能线性回归模型的衍生物，结合了一个功能的线性模型与非参数回归之一。参数部分由矩量法估计，另一部分由局部线性估计器估计。我们建立了所得到的估计量和预测量的收敛速度。一个模拟研究和应用在非访问站点的臭氧污染预测提出来说明我们的结果。
2022-11-19 math.ST stat.TH
Simultaneous Confidence Tubes for Comparison of Several Multivariate Linear Regression Models
在过去的60多年里，关于多重比较和同时推理的研究大多是针对几个总体均值的比较。Spurrier（1999）似乎是第一个使用同时置信带研究几个简单线性回归线的多重比较的人。本文将Liu等（2004）利用联合置信带对几个单变量线性回归模型进行有限比较的工作推广到利用联合置信管对几个多元线性回归模型进行有限比较。我们展示了如何同时置信管可以构建允许多个多元线性回归模型的比较，比目前的假设检验方法更翔实的推论。用实例说明了这些方法。
2020-05-20 stat.ME
Minimax rate of testing in sparse linear regression
研究了线性回归模型的参数为0的假设检验问题，该问题针对在l2-距离上与0分离的s-稀疏选择。本文证明了在p < n的Gauss线性回归模型中，非渐近Minimax检验率的形式为sqrt（（s/n）log（1 + sqrt（p）/s）），其中p是参数的维数，n是样本量.我们还表明，这是极小极大率估计的l2-范数的回归参数。
2018-10-09 math.ST stat.TH
Testing Multiple Linear Regression Systems with Metamorphic Testing
回归是最常用的统计技术之一。然而，测试回归系统是一个巨大的挑战，因为缺乏测试预言一般。在本文中，我们表明，变形测试是一种有效的方法来测试多个线性回归系统。在此过程中，我们确定内在的数学性质的线性回归，然后提出11个变形关系用于测试。他们的有效性进行检查，使用突变分析与一系列不同的回归程序。我们进一步研究如何以更有效的方式采用测试。我们的工作是适用于检查预测系统的可靠性的基础上回归，已被广泛应用于经济，工程和科学，以及统计用户操纵的回归计算。
2021-08-17 cs.SE stat.ME
Testing exogeneity in the functional linear regression model
提出了一种新的检验统计量来检验函数线性回归模型的外生性。与有限维线性回归设置中的Hausman型检验相反，不可能直接扩展到函数线性回归模型。相反，我们提出了一个检验统计量的基础上的两个估计量的预测的平方差的总和，用于检验功能线性回归模型中的外生性的原假设。我们得到了零值下的渐近正态性和一般替代下的相合性。此外，我们证明了剩余的自举程序的自举一致性结果。在模拟中，我们研究了有限样本性能的测试方法，并说明了基于引导的方法的优越性。特别是，自助方法变得更加强大的正则化参数的选择。
2022-08-14 math.ST stat.TH
Estimation of the $l_2$-norm and testing in sparse linear regression with unknown variance
本文研究了方差未知的稀疏线性回归的$l_2$ -范数和平方$l_2$ -范数的估计问题，以及在$l_2$分离的稀疏替代下回归参数为零的假设检验问题.我们建立了这三个问题的最优估计率（分别为检验率）。
2020-10-26 math.ST stat.TH
On function-on-function linear quantile regression
提出两种函数偏分位数回归算法，通过基展开和投影将无限维函数-on-函数线性分位数回归模型转化为多变量分位数回归模型，在有限样本下表现优于现有方法。
2025-10-12 stat.ME
On the Whittle estimator for linear random noise spectral density parameter in continuous-time nonlinear regression models
研究了一类具有Lévy驱动线性噪声过程的连续时间非线性回归模型。本文给出了噪声谱密度参数的Whittle估计的相合性和渐近正态性的充分条件。
2019-09-23 math.PR math.ST stat.TH
An Intrinsic Treatment of Stochastic Linear Regression
线性回归可能是最流行的统计概念之一，几乎渗透到每一个科学研究领域。由于线性回归的技术简单性和广泛的适用性，注意力几乎总是很快地指向线性回归的算法或计算方面。特别地，随机线性回归本身作为一个实体的基本数学通常得到外围处理或相对深入但特别的处理，这取决于所关注问题的类型;换句话说，与随机线性回归的“导数”（例如最小二乘估计）的数学性质的研究的广泛性相比，随机线性回归本身的数学似乎还没有得到应有的内在处理。除了概念上的重要性之外，对随机线性回归的不充分或可能不准确的理解的后果将是随机线性回归在结构方程建模的重要（和更复杂）背景中的作用的复发被误解或以误导的方式教导。我们相信，当基本概念被正确分类时，这种遗憾是可以纠正的。伴随着一些说明性的，有区别的例子和反例，我们打算铺平了随机线性回归的数学框架，在一个严格的，但非技术性的方式，通过给出新的结果和粘贴在一起的几个基本已知的结果，我们相信，这是启发性和概念上有用的，还没有系统地记录在相关文献中。作为一个小小的贡献，我们安排的基本已知结果将是第一次尝试在相关文献中。
2020-10-08 math.ST stat.TH
Uniform-in-Submodel Bounds for Linear Regression in a Model Free Framework
在过去的二十年里，高维数据和方法在整个文献中激增。然而，线性回归的经典技术并没有失去它在应用中的有用性。事实上，许多高维估计技术可以被视为变量选择，其导致经典线性回归适用的较小的变量集（"子模型“）。我们分析了线性回归估计模型的选择，证明估计误差和线性表示界均匀的子模型集。基于确定性不等式，我们的结果提供了“好”率时，适用于独立和依赖的数据。这些结果是有用的有意义的解释后，探索和减少变量，并在合理的模型选择后的推断得到的线性回归估计。所有结果都是在没有模型假设的情况下得出的，并且在性质上是非渐近的。
2021-05-17 math.ST stat.TH
Best subset selection in linear regression via bi-objective mixed integer linear programming
研究了在给定n个观测值的线性回归中p个特征的最佳子集的选择问题。这个问题自然包含两个目标函数，包括最小化偏差量和最小化预测因子的数量。现有的方法将问题转化为一个单目标优化问题。我们解释了现有方法的主要弱点，并克服其缺点，我们提出了一个双目标混合整数线性规划方法。计算研究表明，所提出的方法的有效性。
2018-04-21 stat.ME
Linear regression model selection using p-values when the model dimension grows
我们考虑一种新的基于准则的方法来选择线性回归中的模型。研究了线性回归模型族基于似然比统计量p值的选择准则的性质。我们证明了这样的程序是一致的，即最小的真模型的选择概率趋于1，即使考虑中的模型的数量缓慢增加的样本量。仿真研究表明，介绍的方法相比，赤池和贝叶斯信息准则执行有前途的。
2012-05-18 math.ST stat.TH
Local linear regression for functional data
研究了一类以函数型数据为输入、标量响应的非线性回归模型。我们提出了一个逐点估计的回归函数映射到一个希尔伯特空间的实直线上的局部线性方法。我们提供了渐近均方误差。计算涉及一个线性逆问题，以及表示的小球概率的数据，并根据在这一领域的最新进展。我们的估计的收敛速率优于那些已经在这个模型的文献。
2007-10-27 math.ST stat.TH
D-optimal designs for the Mitscherlich non-linear regression function
Mitscherlich函数是一种众所周知的三参数非线性回归函数，其量化了刺激或时间变量与响应之间的关系。此函数的最优设计仅针对具有同方差的正态分布响应构建。本文对分布函数为指数族的离散和连续响应构造了D最优设计。我们还证明了与加权线性回归的D-最优性的连接。
2021-04-04 math.ST stat.AP stat.TH
On Linear Regression for Interval-valued Data in $\mathcal{K}_{\mathcal{C}}\left(\mathbb{R}\right)$
研究区间值线性回归已有一段时间了。本文在随机集的框架下研究了区间值数据的线性回归。我们提出的模型推广了一系列现有的模型。我们建立了$\mathbb{R}$的紧凸子集空间中的模型的重要性质，类似于经典的线性回归。此外，我们进行了理论研究，在文献中广泛使用的最小二乘估计。一个模拟研究，支持我们的定理。最后，一个气候数据集的应用程序，以证明我们的模型的适用性。
2015-06-10 stat.ME
Some Counterexamples Concerning Maximal Correlation and Linear Regression
给出了一类关于线性回归与最大相关关系的例子。更确切地说，这些例子表明，如果两个随机变量彼此具有（严格）线性回归，那么它们的最大相关性不一定等于它们的（绝对）相关性。
2012-06-29 math.ST stat.TH
Prediction Error Bounds for Linear Regression With the TREX
TREX是最近引入的稀疏线性回归方法。与大多数众所周知的惩罚回归方法相比，TREX可以在不使用调优参数的情况下进行公式化。在本文中，我们建立了第一个已知的预测误差界的TREX。此外，我们引入扩展的TREX更一般的一类处罚，我们提供了一个约束的预测误差在这个广义的设置。这些结果从理论角度加深了对TREX的理解，并为惩罚回归提供了新的见解。
2018-01-04 math.ST stat.TH
Improving linear quantile regression for replicated data
本文讨论了当协变量的不同值少而重复数多时线性分位数回归的改进问题。通过在分位数回归中使用合适的权值，或简单地对条件样本分位数使用加权最小二乘回归，可以提高回归系数估计的渐近有效性。未加权估计量和加权估计量的渐近方差仅在某些限制性特殊情况下一致，例如，当条件响应的密度在协变量支持度上的感兴趣分位数处具有相同值时。在模拟研究中，并通过对热带气旋数据集的分析，证明了加权估计的优势。
2020-11-27 stat.AP
Robust Estimators in Partly Linear Regression Models on Riemannian Manifolds
在部分线性模型下，当预测变量取值于黎曼流形上时，研究了回归参数和回归函数的一类稳健估计。我们得到了估计量的相合性和渐近正态性。此外，我们考虑了一个强大的交叉验证过程来选择平滑参数。仿真和实际数据的应用表明，我们的建议下的小样本和污染的性能。
2011-05-25 math.ST stat.TH
Functional linear regression with derivatives
我们引入了一个新的线性回归模型的随机功能输入考虑到一阶导数的数据。我们提出了一种估计方法，归结为解决一个特殊的线性反问题。我们的程序通过双重和同步的惩罚来解决这个问题。给出了均方预测误差的渐近展开式。将该模型和方法应用于光谱曲线的基准数据集，并与其他函数模型进行了比较。
2006-10-06 math.ST stat.TH
Robust estimators in a generalized partly linear regression model under monotony constraints
本文考虑观测服从保序广义部分线性模型的情形。在该模型下，响应的平均值通过链接函数建模，线性地在一些协变量上，非参数地在单变量回归量上，以这样的方式，非参数分量被假定为单调函数。定义了单调非参数分量和回归参数的一类与线性分量相关的稳健估计。鲁棒估计是基于样条的方法结合得分函数的界限大值的偏差。作为应用，我们考虑保序部分线性log-Gamma回归模型.通过Monte Carlo研究，我们研究了所提出的估计的性能下的部分线性log-Gamma回归模型的非参数分量增加。
2018-11-29 math.ST stat.TH
Efficient Computation for Centered Linear Regression with Sparse Inputs
稀疏输入的回归是大规模模型的常见主题。针对稀疏输入优化底层线性代数允许更快地估计此类模型。与此同时，集中输入有利于改善模型的解释和收敛。然而，将数据居中自然会使稀疏数据变得密集，从而限制了优化的机会。我们提出了一种有效的策略，估计中心回归，同时利用稀疏结构的数据，提高计算性能和减少内存占用的估计。
2019-10-29 stat.CO
On estimation and prediction in spatial functional linear regression model
考虑空间泛函线性回归，其中标量响应与平方可积〔的〕空间泛函过程有关。我们使用平滑样条估计的功能斜率参数，并建立了有限样本的混合空间依赖下，这种估计的方差界。然后，我们给出了预测误差的界。最后，我们通过模拟来说明我们的结果
2019-08-03 math.ST stat.TH
Asymptotic confidence interval for R2 in multiple linear regression
本文在White稳健多元线性回归框架下，于最小矩条件中构造了多重相关系数R²的渐近置信区间，并给出各R²估计量的渐近联合分布，模拟验证了其稳健性及对计数回归的适用性。
2024-11-21 math.ST stat.TH
QUBO Formulations for Training Machine Learning Models
UT-Battelle, LLC（UT-Battelle有限责任公司）；U.S. Department of Energy（美国能源部）；Oak Ridge Leadership Computing Facility（橡树岭领导计算设施）；DOE Office of Science（美国能源部科学办公室）；Oak Ridge National Laboratory（橡树岭国家实验室）；Auburn University（奥本大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
在经典计算机上训练机器学习模型通常是一个时间和计算密集型过程。随着摩尔定律的终结以及对使用机器学习进行大规模数据分析的需求不断增长，我们必须利用量子计算等非传统计算范式来有效地训练机器学习模型。像D-Wave 2000 Q这样的绝热量子计算机可以近似解决NP-难优化问题，例如二次无约束二进制优化（QUBO），比经典计算机更快。由于许多机器学习问题也是NP难的，我们相信绝热量子计算机可能有助于在后摩尔定律时代有效地训练机器学习模型。为了解决绝热量子计算机上的问题，必须将其表述为QUBO问题，这本身就是一项具有挑战性的任务。在本文中，我们制定了三个机器学习模型的训练问题-线性回归，支持向量机（SVM）和等大小的k-means聚类-作为QUBO问题，使他们能够有效地在绝热量子计算机上训练。我们还分析了我们的配方的时间和空间复杂度，并将其与用于训练这些机器学习模型的最先进的经典算法进行比较。我们表明，我们的配方的时间和空间复杂度是更好的（在SVM和大小相等的k-均值聚类的情况下）或等效（在线性回归的情况下），他们的经典同行。
2020-08-05 cs.LG physics.data-an stat.ML
Secure multi-party linear regression at plaintext speed
Broad Institute of MIT and Harvard（麻省理工学院与哈佛大学博德研究所）
我们详细介绍了分布式算法的可扩展性，安全的多方线性回归和特征选择在基本上相同的速度作为明文回归。虽然核心的几何思想很简单，但认识到它们在组合时的广泛用途是新颖的。我们的方案为跨多个生物库的高效和安全的全基因组关联研究打开了大门。
2019-07-10 cs.CR cs.LG stat.ML
A Log-Linear Time Sequential Optimal Calibration Algorithm for Quantized Isotonic L2 Regression
我们研究了在一个量化的保序L2回归设置的估计的顺序校准。我们首先表明，最佳校准量化估计可以从传统的保序L2回归解决方案。我们修改了传统的PAVA算法创建校准的量化保序回归问题的批量和顺序优化。我们的算法可以更新的最佳量化单调映射到目前为止观察到的样本在线性空间和对数时间每新的无序样本。
2022-06-01 cs.LG math.OC stat.ML
Symbolic Regression Algorithms with Built-in Linear Regression
最近，出现了几种符号回归（SR）算法，它们采用一种形式的多元线性回归（LR）来产生广义线性模型。LR的使用允许算法从搜索开始就以相对较小的误差创建模型;因此，这种算法被声称比基于香草遗传编程的SR算法快（有时是数量级）。然而，这些算法在一组常见的问题上的系统比较仍然缺失。在本文中，我们从概念上和实验上比较几个代表这样的算法（GPTIPS，FFX和EFS）。它们作为现成的、即用型技术应用，主要使用其默认设置。几个合成和现实世界的SR基准问题的方法进行了比较。它们的性能也与三种传统的机器学习算法--多元回归、随机森林和支持向量回归的性能有关。
2017-03-10 cs.LG
Private Linear Regression with Differential Privacy and PAC Privacy
Carmel High School（卡梅尔高中）；Department of Computer Science Purdue University（计算机科学系 Purdue 大学）
本文比较了差分隐私和PAC隐私在真实世界数据集上的线性回归性能，揭示了两者在隐私保护下的表现差异。
2025-12-30 cs.CR cs.LG
Are Latent Factor Regression and Sparse Regression Adequate?
Princeton University（普林斯顿大学）
我们提出了因子增广稀疏线性回归模型（FARM），它不仅包含了潜在因子回归和稀疏线性回归的特殊情况，而且将降维和稀疏回归联系在一起。我们分别在亚高斯噪声和重尾噪声（具有有界的（1+x）阶矩，对于所有x>0）的存在下，为我们的模型的估计提供了理论保证。此外，现有的监督学习的工作往往假设潜在的因素回归或稀疏线性回归是真正的基础模型，而没有证明其充分性。为了填补这一重要空白，我们还利用我们的模型作为替代模型来测试潜在因子回归和稀疏线性回归模型的充分性。为了实现这些目标，我们分别提出了因子调整去偏检验（FabTest）和两阶段方差分析类型检验。我们还进行了大规模的数值实验，包括合成和FRED宏观经济数据，以证实我们的方法的理论特性。数值结果表明，我们的模型对潜在的因素回归和稀疏线性回归模型的鲁棒性和有效性。
2022-03-02 cs.LG math.ST stat.ME
Evaluation of Tree Based Regression over Multiple Linear Regression for Non-normally Distributed Data in Battery Performance
电池性能数据集通常是非正态和多重共线性的。外推这些数据集进行模型预测需要注意这些特征。本研究探讨了数据正态性对构建机器学习模型的影响。在这项工作中，基于树的回归模型和多元线性回归模型分别建立了一个高度偏斜的非正态数据集与多重共线性和比较。有几种技术是必要的，如数据转换，以实现一个良好的多元线性回归模型与此数据集，最有用的技术进行了讨论。使用这些技术，最佳多元线性回归模型达到了R^2 = 81.23%，并且对于本研究中使用的数据集没有表现出多重共线性效应。基于树的模型在此数据集上表现更好，因为它们是非参数的，能够处理变量之间的复杂关系，并且不受多重共线性的影响。我们表明，装袋，在使用随机森林，减少过拟合。我们最好的基于树的模型达到了R^2 = 97.73%的准确率。这项研究解释了为什么基于树的回归承诺作为一个机器学习模型的非正态分布，多共线性数据。
2021-11-03 cs.AI cs.LG
Differentially Private Linear Regression over Fully Decentralized Datasets
Tencent（腾讯）
本文提出了一种分散式线性回归学习的差分私有算法。在该算法下，从理论上推导了隐私预算，并证明了解的误差对于$O(1/t)$下降步长为$O(t)$有界，对于$O(t^{-e})$下降步长为$O(\exp(t^{1-e}))$有界.
2020-04-16 cs.CR cs.LG
Comparison of decision trees with Local Interpretable Model-Agnostic Explanations (LIME) technique and multi-linear regression for explaining support vector regression model in terms of root mean square error (RMSE) values
本文在5个数据集上比较决策树、LIME与多元线性回归对支持向量回归模型的解释能力，发现决策树在87%运行中RMSE更低且结果显著。
2024-04-10 cs.AI cs.LG
