Constrained least squares simplicial-simplicial regression
针对响应和预测变量均为成分数据的单纯形-单纯形回归问题，提出约束最小二乘模型，该模型免变换、支持多数据集与权重、能自然处理零值且计算高效，并通过模拟与真实数据验证了其性能。
2024-12-23 stat.ME
Recycled Least Squares Estimation in Nonlinear Regression
本文考虑了非线性回归模型参数估计的一种修正方案。我们提供了一个估计过程，通过随机加权，相关的参数估计，以构建各种估计的抽样分布的相合估计。我们建立了渐近正态性的重采样估计，并证明了回收方法的适用性，在一个小的模拟研究和通过例子。
2018-12-14 math.ST stat.AP stat.ME
Linear regression for numeric symbolic variables: an ordinary least squares approach based on Wasserstein Distance
本文提出了一种模态符号数据的线性回归模型。根据符号数据分析框架中给出的定义，观察变量是直方图变量，并且使用经典的最小二乘法估计模型的参数。引入了一个适当的度量，以测量观测分布和预测分布之间的误差。特别地，提出了瓦瑟斯坦距离。利用这种度量的一些属性来预测响应变量作为其他独立直方图变量的直接线性组合。拟合优度的措施进行了讨论。实际数据的应用证实了所提出的方法。
2012-07-20 stat.ME stat.OT
Analysis of Least square estimator for simple Linear Regression with a uniform distribution error
本文在简单线性回归的框架下，研究了线性模型的偏差项$\varepsilon$服从均匀分布时的最小二乘估计.特别地，我们给出了这种估计的规律，并证明了一些收敛性质。
2021-11-04 math.ST stat.TH
Parallel square-root statistical linear regression for inference in nonlinear state space models
本文提出一种用于非线性非高斯状态空间模型状态与参数估计的并行时间方法，结合统计线性回归与迭代后验线性化范式，通过平方根形式重写提升数值稳定性并保持并行能力，利用固定点结构实现对数时间复杂度的似然参数估计，并在GPU实验中验证了性能。
2023-04-05 cs.DC stat.CO
Generalized Ridge Regression: Biased Estimation for Multiple Linear Regression Models
本文针对多元线性回归中回归变量非正交导致普通最小二乘估计不佳的问题，系统研究了广义岭回归的估计、均方误差、拟合优度及自助法推断。
2024-07-02 stat.ME
Identifiability and improper solutions in the probabilistic partial least squares regression with unique variance
本文提出通过规范约束解决概率PLS回归中的不恰当解和不可识别性问题，并通过实验验证其有效性。
2025-12-05 physics.data-an stat.ME
Exact expressions for the weights used in least-squares regression estimation for the log-logistic and Weibull distribution
对数逻辑分布和韦布尔分布的估计可使用概率绘图所用的方程进行。该方程导致高度异方差回归。推导出残差方差的精确表达式，可用于进行加权回归。在大样本情况下，最大似然估计的性能最好，但在小样本情况下，加权回归在偏差和均方误差方面优于极大似然估计。
2014-06-25 math.ST stat.TH
Numerically robust square root implementations of statistical linear regression filters and smoothers
针对基于 Cholesky 降级更新的滤波与平滑方法易受舍入误差影响的问题，本文提出采用 QR 分解的统计线性回归滤波器和平滑器平方根实现，并通过双、单精度下的病态问题实验证明其数值更稳健。
2024-06-18 cs.NA math.NA stat.ME
On Least Squares Linear Regression Without Second Moment
如果X和Y是实值随机变量，使得X，Y和XY的一阶矩存在，并且给定X的Y的条件期望是X的仿射函数，则条件期望的截距和斜率等于最小二乘线性回归函数的截距和斜率，即使Y可能没有有限的二阶矩。因此，条件期望和零协方差的X形式的仿射意味着均值独立。
2017-10-18 math.ST stat.TH
Model-free Study of Ordinary Least Squares Linear Regression
普通最小二乘（OLS）线性回归是数据分析中最基本的统计技术之一。在主流文献和统计教育中，对线性回归的研究通常局限于协变量固定、误差为均值零且方差与（固定）协变量无关的情况。尽管早在20世纪60年代，OLS就在错误规范下进行了研究，但其含义尚未赶上主流文献和应用科学。本文是一个统一的观点，使各种影响的错误规范站出来的尝试。
2018-09-27 math.ST stat.TH
Sparse Linear Regression via Generalized Orthogonal Least-Squares
University of Texas at Austin（德克萨斯大学奥斯汀分校）
稀疏线性回归需要找到欠定线性方程组的稀疏解，可以正式表示为$l_0$约束最小二乘问题。正交最小二乘（OLS）算法顺序地选择特征（即，系数矩阵的列）来粗略地找到近似稀疏解。在本文中，一个推广的正交最小二乘依赖于最优解的组件之间的递归关系，选择L功能在每一步，并解决由此产生的超定方程组提出。仿真结果表明，广义OLS算法是计算效率和实现性能优于现有的贪婪算法广泛使用的文献。
2016-07-28 cs.IT cs.LG math.IT
Hypothesis Testing in Nonlinear Function on Scalar Regression with Application to Child Growth Study
提出了一种基于核机器的非线性标量函数回归模型的假设检验方法。我们的研究是由新生儿表观遗传学研究（NEST）的动机，其中感兴趣的问题是是否在9个差异甲基化区域（DMR）的任何一个预先指定的有毒金属或甲基化组与儿童生长相关。我们把儿童的生长轨迹作为功能反应，并使用非线性函数联合建模有毒金属测量。我们使用一个核机器的方法来模拟未知的功能和转换的假设没有影响到一个适当的方差分量测试。我们证明了我们提出的方法，使用模拟研究，并将其应用于分析NEST数据。
2021-06-30 stat.AP stat.ME
Asymptotic normality of the time-domain generalized least squares estimator for linear regression models
在线性模型中，当误差相关的结构已知时，广义最小二乘（GLS）估计是适用的。当它是未知的，这种结构必须近似和估计的方式，可能会导致错误的规格。不正确指定的GLS（IGLS）估计量的大样本分析需要仔细的渐近操作。当在频域中进行估计时，在所谓的Grenander假设下，IGLS估计量的渐近正态性已被证明适用于广泛的一类误差相关模型。在相同的假设下，时域IGLS估计量的渐近正态性结果仅适用于有限类误差结构。我们证明了对于一般的相依模型，时域IGLS估计是渐近正态的。
2019-02-09 math.ST stat.ME stat.TH
Convergence of least squares estimators in the adaptive Wynn algorithm for a class of nonlinear regression models
本文继续了作者在非线性回归模型中的自适应Wynn算法的工作。本文证明了当均值响应函数满足Pronzato \cite{Pronzato}提出的“饱和可辨识性”条件时，自适应最小二乘估计是强相合的.该条件表明回归参数在任何饱和设计下都是可识别的，即，在任何$p$不同设计点处的平均响应函数的值唯一地确定参数点，其中通常，$p$是回归参数向量的维数。进一步的基本假设是实验区域和参数空间的紧性以及一些自然连续性假设。若真参数点是参数空间的内点，则在一定的光滑性假设和随机误差的渐近同方差下，得到了自适应最小二乘估计的渐近正态性.
2019-09-09 math.ST stat.TH
On the Whittle estimator for linear random noise spectral density parameter in continuous-time nonlinear regression models
研究了一类具有Lévy驱动线性噪声过程的连续时间非线性回归模型。本文给出了噪声谱密度参数的Whittle估计的相合性和渐近正态性的充分条件。
2019-09-23 math.PR math.ST stat.TH
Correcting the estimator for the mean vectors in a multivariate errors-in-variables regression model
当多元回归中的因变量和自变量都存在测量误差时，多元变量误差回归模型适用。在这种情况下，长期以来一直认为，传统的最小二乘法估计模型参数是有偏差的和不一致的。广义最小二乘、普通最小二乘和最大似然估计（在高斯误差假设下）在Gleser（1981）的开创性论文中导出。然而，均值向量的普通最小二乘和最大似然估计量推导错误。在这篇简短的论文中，我们修改了这个错误，提出了正确的估计的均值向量。
2015-10-13 math.ST stat.TH
Least square estimators in linear regression models under negatively superadditive dependent random observations
本文研究了基于随机观测的线性回归模型中最小二乘估计的渐近性质。我们提供了温和的假设的时刻和依赖结构的随机间隔的观察和残差下的估计是强一致的。特别是，我们考虑的观察实例是负超加性相互依赖的，而对于残差，我们只是假设它们是由一些连续函数产生的。此外，我们证明了收敛速率是成比例的采样率$N$，我们补充我们的研究结果与模拟研究提供的见解有限的样本属性。
2021-10-06 math.PR math.ST stat.TH
Consistency of Extreme Learning Machines and Regression under Non-Stationarity and Dependence for ML-Enhanced Moving Objects
RWTH Aachen University（亚琛工业大学）
分别由极限学习机进行监督学习。研究了具有随机权重的神经网络在非平稳空间-时间采样设计下的性能，该设计特别针对在非平稳空间环境中移动的自主对象收集和分析数据的设置。随机模型特别考虑到空间异质性和弱依赖性。作为有效的和计算成本低的学习方法（无约束）最小二乘法，岭回归和$\ell_s$ -惩罚最小二乘法（包括LASSO）进行了研究。最小二乘和岭回归估计的一致性和渐近正态性，以及相应的一致性结果的$\ell_s$ -罚款弱条件下。结果还涵盖了样本平方预测误差的界限。
2021-09-01 cs.LG math.ST stat.ML
Distribution-free properties of isotonic regression
众所周知，保序最小二乘估计量被刻画为随机游动的最大凸子式的导数。只要行走有可交换的增量，我们证明了最大的凸从属的斜率分布的顺序统计量的移动平均值。这一结果意味着一个确切的非渐近公式的平方误差风险的最小二乘保序回归时，真序列是常数，适用于每一个可交换的误差分布。
2018-12-11 math.PR math.ST stat.TH
Estimation in a simple linear regression model with measurement error
本文讨论了简单线性回归模型中斜率参数的估计问题，其中自变量具有函数测量误差。众所周知，自变量的测量误差会导致普通最小二乘估计量的偏倚。在有限样本情形下，给出了一种减小偏差的一般方法，并给出了一些精确的减小偏差的估计量。此外，它表明，某些截断程序改善了普通最小二乘和偏差减少估计的均方误差。
2018-04-09 math.ST stat.TH
Limit theorems for a class of martingale arrays with applications in nonlinear cointegrating regression
The University of Sydney（悉尼大学）
本文提出一类鞅阵列的极限定理，扩展了现有鞅渐近理论，将其应用于含非平稳时间序列的非线性回归模型，为非线性最小二乘估计量的渐近推断提供了严谨框架。
2026-08-25 math.ST stat.TH
Time-varying nonlinear regression models: Nonparametric estimation and model selection
本文考虑一类非参数时间序列回归模型，其中回归函数可以是时间依赖的。建立了时变回归函数估计的渐近理论。对于这类一般的模型，在实践中的一个重要问题是解决建模的回归函数作为非线性和时变的必要性。为了解决这个问题，我们提出了一个信息准则，并证明其选择一致性。结果应用于美国财政部利率数据。
2015-03-18 math.ST stat.TH
Nonparametric estimation of mean-squared prediction error in nested-error regression models
嵌套误差回归模型被广泛用于分析聚类数据。例如，它们经常用于两阶段抽样调查，以及生物学和计量经济学。预测通常是这种分析的主要目标，预测误差的均方是衡量预测性能的主要方法。在本文中，我们提出了一种新的方法来估计均方预测误差。我们引入了一个匹配的时刻，双引导算法，使臭名昭著的低估天真的均方误差估计，以大大减少。我们的方法不需要对误差分布进行具体假设。此外，它简单且易于应用。这是通过使用蒙特卡罗模拟来隐式地开发公式来实现的，在更传统的方法中，这些公式将通过数学论证费力地推导出来。
2006-11-15 math.ST stat.TH
Iterative Least Trimmed Squares for Mixed Linear Regression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
给定线性回归设置，迭代最小二乘（ILTS）涉及在（a）选择具有最低电流损耗的样本子集与（b）仅在该子集上重新拟合线性模型之间交替。这两个步骤都非常快速和简单。在本文中，我们分析ILTS设置的混合线性回归与腐败（MLR-C）。我们首先建立确定性条件（关于特征等）。在此条件下，ILTS的最小值线性收敛到最接近的混合分量。我们还提供了一个全球性的算法，使用ILTS作为一个子程序，完全解决混合线性回归腐败。然后，我们评估它的广泛研究设置的各向同性高斯特征，并建立我们匹配或更好的样本复杂性方面的现有结果。最后，我们提供了一个ODE分析的梯度下降的ILTS变体，具有最佳的时间复杂度。我们的研究结果提供了初步的理论证据，迭代拟合样本的最佳子集-一个潜在的广泛适用的想法-可以证明在坏的训练数据设置提供最先进的性能。
2019-11-12 cs.LG stat.ML
Asymptotic properties of one-step $M$-estimators based on nonidentically distributed observations with applications to nonlinear regression problems
我们研究的渐近行为的一步$M$ -估计的基础上，从不一定同分布的随机变量阵列的样本，并表示显式逼近相应的一致$M$ -估计。这些估计推广Fisher的一步近似一致的最大似然估计。因此，我们考虑一些非线性回归问题，其中所提到的程序允许我们构造显式渐近最优估计。我们还考虑了一步估计程序所需的初始估计量的构造问题。
2016-04-11 math.ST stat.TH
Regression estimators for the tail index
对上尾为正则变化的分布函数，提出了一类尾指标的加权最小二乘估计。我们的方法是基于由\cite{Holan2010}开发的方法的Parzen尾指数。证明了估计量的渐近正态性。通过模拟研究，这些和以前的估计进行了比较，在Pareto和霍尔模型使用的均方误差为标准。结果表明，加权最小二乘估计优于其他估计。
2020-02-28 math.ST stat.TH
Estimation in nonlinear regression with Harris recurrent Markov chains
本文在Harris递归马尔可夫链框架下研究了参数非线性回归。我们首先考虑了同方差情形下参数的非线性最小二乘估计，并建立了估计量的渐近理论。结果表明，估计量的收敛速度不仅依赖于非线性回归函数的性质，而且依赖于Harris回归马尔可夫链的再生次数.此外，我们还讨论了条件波动率函数中参数向量的估计，并将我们的结果应用于具有$I(1)$过程的非线性回归，得到了一个与Park和Phillips [Econometrica 69（2001）117-161]相当的渐近分布理论.提供了一些包括模拟和经验应用在内的数值研究来检验所提出的方法和结果的有限样本性能。
2016-09-14 math.ST stat.TH
Recycled Two-Stage Estimation in Nonlinear Mixed Effects Regression Models
我们考虑一种重新抽样方案，用于估计混合效应非线性回归模型中的总体参数，例如用于临床药代动力学。我们提供了一个估计过程，{ \it recles}，通过随机加权，相关的两阶段参数估计，以构建各种估计的抽样分布的相合估计。我们建立了渐近一致性和渐近正态性的重采样估计，并证明了适用性的{ \it回收}的方法在一个小的模拟研究，并通过例子。
2019-02-03 math.ST stat.TH
Two-stage least squares with a randomly right censored outcome
本文发展了一个简单的两阶段最小二乘（2SLS）方法，用于估计线性模型中某些内生回归变量对随机右删失结果的因果效应。该提案用加权最小二乘回归取代了标准2SLS的通常普通最小二乘回归。权重对应于截尾的逆概率。证明了估计量的相合性和渐近正态性。该估计器具有良好的有限样本性能的模拟。
2021-10-11 econ.EM math.ST stat.TH
Two-step estimation in linear regressions with adaptive learning
弱的一致性和渐近正态性的普通最小二乘法估计的线性回归与自适应学习时，导出的关键，所谓的，“增益”参数估计在第一步由非线性最小二乘法从辅助模型。两步估计量的奇异极限分布是正态分布，并且通常受第一步抽样不确定性的影响。然而，这种“生成回归量”的问题在某些参数组合中消失了。
2022-11-02 econ.EM stat.AP
Sparse Nonlinear Regression: Parameter Estimation and Asymptotic Inference
Princeton University（普林斯顿大学）；Israel Institute of Technology（以色列理工学院）；Rutgers University（罗格斯大学）
研究稀疏非线性回归的参数估计和渐近推断。更具体地说，我们假设数据由$y = f( x^\top β^* ) + ε$给出，其中$f$是非线性的。为了恢复$β^*$，我们提出了一个$\ell_1$正则化最小二乘估计。与经典的线性回归不同，由于$f$的非线性，相应的优化问题是非凸的。尽管非凸性，我们证明了在温和的条件下，目标的每一个稳定点享有最佳的统计收敛速度。此外，我们提供了一个有效的算法，可证明收敛到一个稳定点。我们还访问所获得的估计的不确定性。具体而言，基于任何平稳点的目标，我们构造有效的假设检验和置信区间的高维参数$β^*$的低维组件。详细的数值结果支持我们的理论。
2015-11-14 cs.IT cs.LG math.IT
Scalable approximation of the transformation-free linear simplicial-simplicial regression via constrained iterative reweighted least squares
本文提出了一种基于约束迭代加权最小二乘法的可扩展变换自由线性单纯形-单纯形回归方法，显著提升了计算效率并保持了估计精度。
2025-12-23 stat.CO stat.ME
Robust Numerical Methods for Nonlinear Regression
本文提出一种逐步程序，用于为非线性回归模型指定参数化、初始值、诊断及先验等细节，从而构建数值稳健的拟合算法，并通过疲劳数据示例验证。
2024-03-19 stat.CO stat.ME
Score Engineered Robust Least Squares Regression
在其他FICO技术论文中，我已经展示了如何使用应用于B样条分量函数的二次规划来拟合具有形状约束的广义可加模型（GAM）。本文将该方法推广到稳健最小二乘回归。
2020-03-02 stat.ME
Computation of least squares trimmed regression--an alternative to least trimmed squares regression
本文研究 LST 稳健回归的实现与计算，提出新算法，证明其稳健性与 LTS 相当、效率更高，且在同方差有限方差误差下可媲美甚至超过 LS，计算速度也可快于 LTS。
2023-12-08 stat.ME
Least trimmed squares regression with missing values and cellwise outliers
University of Antwerp（安特卫普大学）；KU Leuven（荷语鲁汶大学）
本文提出了一种能够处理案例异常值、单元异常值和缺失值的鲁棒回归方法，并展示了其在模拟和实际数据中的应用效果。
2026-08-04 stat.CO stat.ME
lspartition: Partitioning-Based Least Squares Regression
基于非参数划分的最小二乘回归是实证研究中的一个重要工具。常见的例子包括基于样条、小波和分段多项式的回归。本文讨论了R软件包lspartition的主要方法和数值特性，该软件包实现了基于划分的最小二乘（系列）回归估计的现代估计和推断结果。本文讨论了R软件包lspartition的主要方法和数值特征，该软件包实现了Cattaneo和Farrell（2013）以及Cattaneo，Farrell和Feng（2019）基于分区的最小二乘（系列）回归估计和推断的结果。这些结果包括多元回归函数及其导数。首先，该软件包提供了数据驱动的方法，根据综合均方误差，最佳地选择分区节点的数量，产生最佳的点估计。其次，鲁棒的偏差校正实现结合这个点估计与有效的推断。第三，该软件包提供了对未知函数的估计和推断，包括条件变量的逐点估计和一致估计。特别是，提供了有效的置信带。最后，扩展到两个样本分析，它可以用于治疗对照比较和相关问题
2019-08-08 econ.EM stat.CO stat.ME
A robust scalar-on-function logistic regression for classification
函数上标量逻辑斯谛回归（Scalar-on-function logistic regression）是一种以二元结果为响应，以随机曲线为预测变量的回归方法，已成为研究二元结果与函数预测变量之间线性关系的通用框架。大多数用于估计该模型的方法是基于最小二乘型估计量。然而，最小二乘估计严重阻碍离群值，导致有偏的参数估计和错误分类的概率增加。本文提出了一种稳健的偏最小二乘方法来估计函数标量逻辑斯谛回归中的回归系数函数。采用加权似然法估计泛函偏最小二乘分解表示的回归系数函数，降低了响应和预测值中离群值的影响。通过一系列的蒙特卡罗实验和一个草莓酱数据集的估计和分类性能的评估所提出的方法。从所提出的方法得到的结果相比，与现有的方法毫不逊色。
2022-04-05 stat.CO stat.ME
Group least squares regression for linear models with strongly correlated predictor variables
传统的最小二乘回归主要研究单个预测变量的影响，但强相关变量会产生多重共线性，这使得研究它们的影响变得困难。现有的处理多重共线性的方法，如岭回归是复杂的。为了解决多重共线性问题，而不放弃简单的最小二乘回归，对于预测变量在组内相关性强，但组间相关性弱的情况下，我们建议用组方法研究最小二乘回归的组的影响。使用强相关变量的所有正相关安排，我们首先表征组的影响是有意义的，可以准确地估计。然后，我们提出了组的方法与数值例子，并证明其优势，现有的方法处理多重共线性。我们还解决了一个常见的误解的最小二乘估计模型的预测精度，并通过一个例子讨论了类似的群体效应在广义线性模型。
2022-12-21 stat.ME
Penalized Weighted Least Squares for Outlier Detection and Robust Regression
为了对含有异常值的数据进行回归分析，已经提出了许多同时进行异常值检测和稳健回归的方法，本文提出的方法也是如此。这种新方法被称为“惩罚加权最小二乘”（PWLS）。通过为每个观察分配单独的权重并在权重向量的对数变换上引入套索类型的惩罚，PWLS能够同时执行离群值检测和鲁棒回归。一个贝叶斯的PWLS的观点，它表明，PWLS可以被看作是一个例子的M-估计。提出了两种选择PWLS调谐参数的方法。PWLS的性能通过仿真和实际应用证明。
2016-03-24 stat.ME
A Least Squares Estimation of a Hybrid log-Poisson Regression and its Goodness of Fit for Optimal Loss Reserves in Insurance
在这篇文章中，一个混合的对数-线性模型（对数泊松）的参数估计使用模糊最小二乘（FLS）程序（Celmierkirk，987 a，b，D 'Urso和Gastaldi，2000年，DUrso和Gastaldi，2001年）。为了评估和比较这个新模型和损失准备金框架中的经典对数泊松回归（Mack，1991），已经推导出拟合优度。混合模型及其拟合优度都是在损失准备金数据上进行的。
2018-06-10 stat.ME
Weighted least squares regression with the best robustness and high computability
提出一种按残差大小指数降权的新加权最小二乘回归方法，兼具最高崩溃点稳健性、高于LTS的效率，并用一阶和二阶方法实现快速计算。
2023-12-08 stat.ME
A selective review of sufficient dimension reduction for multivariate response regression
本文综述了多元响应的充分降维估计。广泛的SDR方法的特点是逆回归SDR估计或正向回归SDR估计。逆回归族包括混合边际估计、投影回归估计和基于距离的估计。普通最小二乘，偏最小二乘，半参数SDR估计，另一方面，讨论作为估计从正向回归家庭。
2022-02-02 stat.CO stat.ME stat.ML
A partial least squares approach for function-on-function interaction regression
A partial least squares regression is proposed for estimating the function-on-function regression model where a functional response and multiple functional predictors consist of random curves with quadratic and interaction effects. The direct estimation of a function-on-function regression model is usually an ill-posed problem. To overcome this difficulty, in practice, the functional data that belong to the infinite-dimensional space are generally projected into a finite-dimensional space of basis functions. The function-on-function regression model is converted to a multivariate regression mo…
2020-12-09 stat.AP stat.ME
A Robust Functional Partial Least Squares for Scalar-on-Multiple-Function Regression
标量函数回归模型已成为一种流行的分析工具，探讨标量响应和多个功能预测因子之间的关系。大多数现有的方法来估计这个模型是基于最小二乘估计，这可能会受到严重的影响，在经验数据集的离群值。当数据中存在离群值时，已知基于最小二乘的估计值可能不可靠。本文提出了一种稳健的泛函偏最小二乘方法，用于多函数标量回归模型中回归系数的稳健估计。在我们的方法中，通过偏鲁棒M-回归计算函数偏最小二乘分量。所提出的方法的预测性能进行评估，使用几个蒙特卡罗实验和两个化学计量学数据集：葡萄糖浓度光谱数据和糖加工数据。所提出的方法产生的结果相比，毫不逊色与一些经典的功能或多元偏最小二乘法和功能主成分分析方法。
2022-03-09 stat.AP stat.ME
Sign-constrained least squares estimation for high-dimensional regression
高维回归问题的正则化方案很多。大多数需要使用模型选择标准或交叉验证方案来选择调优参数。我们表明，一个简单的非负或符号约束最小二乘是一个非常简单和有效的正则化技术，为某一类高维回归问题。符号约束必须通过先验知识或初始估计器导出，但不需要进一步的调整或交叉验证。成功取决于在实践中容易检验的条件。我们的结果的一个充分条件是，大多数变量具有相同的符号约束是正相关的。对于稀疏最优预报，证明了回归系数的L1-误差的非渐近界。不使用任何进一步的正则化，只要\log（p）s/n -> 0 for n -> \infty，就可以一致地估计回归向量，其中s是最佳回归向量的稀疏度，p是变量的数量，n是样本量。网络断层扫描被证明是一个应用程序，其中成功的非负最小二乘的必要条件自然满足和经验结果证实了稀疏恢复的符号约束的有效性。
2012-02-04 stat.ME
Nonlinear Regression without i.i.d. Assumption
UniDT
本文考虑了一类无独立同分布假设的非线性回归问题。提出了相应的非线性回归的极小极大问题，并给出了数值算法。这种算法可以应用于回归和机器学习问题，并产生比传统的最小二乘和机器学习方法更好的结果。
2019-04-15 cs.LG stat.ME
Fast implementation of partial least squares for function-on-function regression
人们采用函数对函数回归来模拟两条随机曲线之间的关系。拟合这个模型，广泛使用的策略包括算法落入框架的功能偏最小二乘（通常需要迭代特征分解）。本文介绍了一种基于Krylov子空间的泛函偏最小二乘方法。它可以表示为两种形式，彼此等价（在精确算术中）：一种是非迭代的，具有显式形式的估计量和预测，便于理论推导和潜在的扩展（更复杂的模型）;另一种是稳定的数值输出。在正则条件下，证明了估计量和预测量的相合性.我们的建议是突出，因为它是较少的计算参与。同时，它在估计和预测精度方面具有竞争力。
2020-12-18 stat.ME
Influence diagnostics in Birnbaum-Saunders nonlinear regression models
考虑了在寿命数据分析中有用的Birnbaum-Saunders非线性回归模型中观测值影响的估计问题。我们的结果推广了Galea等人[2004，Influence diagnostics in log-Birnbaum-Saunders regression models. Journal of应用统计学，31，1049-1064]，其局限于Birnbaum-Saunders线性回归模型。讨论了局部影响、个体局部影响和广义杠杆等影响方法。此外，在各种摄动格式下，推导出了局部影响的法曲率。
2009-04-27 stat.ME
Deep Partial Least Squares for Instrumental Variable Regression
针对高维非线性工具变量回归，本文提出结合偏最小二乘降维、特征选择与深度神经网络的方法，并通过合成数据和经典实证应用验证其显著优势。
2023-06-02 stat.ME
A Type of Nonlinear Fréchet Regressions
本文提出一类非线性Fréchet回归，用于在一般度量空间中拟合本质非线性模型并在Hilbert空间中唯一识别非线性结构，具有估计一致性等理论性质且表现显著优于竞争方法。
2024-03-27 stat.ME
Bootstrap Nonlinear Regression Application in a Design of an Experiment Data for Fewer Sample Size
本文报道了Bootstrap非线性回归方法在试验次数较少的试验数据集设计中的应用。使用图形技术增强和验证了具有所需性能的设计。具有所需特性的增广设计有利于所用近似函数的准确性。比较了R语言和SAS在计算非线性函数和Bootstrap方面的计算能力。
2015-09-18 stat.ME
Robust inference for nonlinear regression models from the Tsallis score: application to Covid-19 contagion in Italy
我们讨论了一种拟合稳健非线性回归模型的方法，该模型可用于建模和预测新冠肺炎在意大利的传染动态。重点是使用稳健的剂量-反应曲线分析流行病数据，但该功能适用于任意非线性回归模型。
2020-04-09 stat.AP stat.ME
