Nonlinear Regression without i.i.d. Assumption
UniDT
本文考虑了一类无独立同分布假设的非线性回归问题。提出了相应的非线性回归的极小极大问题，并给出了数值算法。这种算法可以应用于回归和机器学习问题，并产生比传统的最小二乘和机器学习方法更好的结果。
2019-04-15 cs.LG stat.ME
A Stochastic EM Algorithm with Sampling-Importance Resampling for Missing Data in Regression with Nonlinear Predictors
UCLA Department of Statistics & Data Science（加州大学洛杉矶分校统计与数据科学系）
针对非线性预测变量回归中的缺失数据问题，提出基于采样重要性重采样的随机EM算法（SIR-StEM），仅需似然成比例即可处理任意非线性变换，模拟显示低偏差且覆盖率接近名义水平。
2026-09-22 stat.ME
Prediction Measures in Nonlinear Beta Regression Models
非线性模型经常被应用于基于经济和技术因素来确定对给定住宅单元的最佳供应天然气，或者用于拟合生物化学和药物测定非线性数据。本文提出了一类非线性beta回归模型的PRESS统计量和预测系数，即$P^2$统计量.我们的目标是同时使用预测系数和拟合优度作为模型选择标准的方案。在这个意义上，我们介绍了非线性下的贝塔回归模型的使用的模型选择标准的基础上强大的伪$R^2$统计。提供了基于预测的模型选择标准$P^2$和伪$R^2$统计的有限样本行为的蒙特卡罗模拟结果。三个应用程序的实际数据。线性应用涉及巴西圣保罗家庭使用的天然气分配。面对过高或过低估计瓦斯分布的经济风险，构造预测界限已成为必要，选择最佳预测和拟合模型构造最佳预测界限是首次应用的目的。此外，所提出的两个非线性应用还强调了考虑竞争模型的预测优度和拟合优度的重要性。
2017-05-22 stat.ME
Robust inference for nonlinear regression models from the Tsallis score: application to Covid-19 contagion in Italy
我们讨论了一种拟合稳健非线性回归模型的方法，该模型可用于建模和预测新冠肺炎在意大利的传染动态。重点是使用稳健的剂量-反应曲线分析流行病数据，但该功能适用于任意非线性回归模型。
2020-04-09 stat.AP stat.ME
Nonlinear quantile mixed models
在回归应用中，观测值之间存在的非线性和相关性不仅在最小二乘回归等传统设置中带来了计算挑战，而且（尤其是）在目标函数为非光滑时（如分位数回归）也带来了计算挑战。在本文中，我们开发的非线性条件分位数函数的建模和估计的方法时，数据聚集在两个水平的嵌套设计。这项工作代表了Geraci和Bottai的线性分位数混合模型的扩展（2014，统计和计算）。我们开发了一种新的算法，这是一个混合的平滑算法的分位数回归和二阶拉普拉斯近似的非线性混合模型。为了评估所提出的方法，我们提出了一个模拟研究和两个应用程序，一个在药代动力学和一个相关的农业生长曲线建模。
2019-06-07 stat.ME
Optimal designs for nonlinear regression models with respect to non-informative priors
在非线性回归模型中，费舍尔信息依赖于模型的参数。因此，最大化信息矩阵的某些功能的最优设计不能直接实现，但需要一些关于未知参数的初步知识。贝叶斯最优性准则为这个问题提供了一个有吸引力的解决方案。这些标准敏感地依赖于模型参数的先验分布的合理规范，这可能不是在所有应用中都可用的。本文研究了无信息先验分布下的贝叶斯最优性准则。特别是，我们研究了Jeffreys和Berger-Bernardo先验，其相应的最优性准则不一定是凹的。几个例子进行了研究，最优设计相对于新的标准进行计算和比较贝叶斯最优设计的基础上统一和功能统一的先验。
2013-11-04 stat.ME
Robust Numerical Methods for Nonlinear Regression
本文提出一种逐步程序，用于为非线性回归模型指定参数化、初始值、诊断及先验等细节，从而构建数值稳健的拟合算法，并通过疲劳数据示例验证。
2024-03-19 stat.CO stat.ME
Nonlinear Regression Analysis
本文介绍非线性回归的理论与统计推断方法，涵盖最小二乘、极大似然、Wald置信区域及处理方差异质性的技术，并通过模拟数据示例说明其性质。
2024-02-08 stat.CO stat.ME
First derivatives at the optimum analysis (\textit{fdao}): An approach to estimate the uncertainty in nonlinear regression involving stochastically independent variables
优化分析的一个重要问题是当参数如$ \{θ_j\}_{j=1,\, \dots \,,k }$，确定一个函数$ y=f(x\given\{θ_j\}) $，必须从一组可观测量$ \{ x_i,y_i\}_{i=1,\, \dots \,,m} $中估计出来时。其中$ \{x_i\} $是假设为无不确定性的自变量。众所周知，如果$ y=f(x\givenθ_j) $是$ \{θ_{j=1,\, \dots \,,k} \}.$的线性组合，则解析解是可能的。这里提出，如果参数是\textit{stochastically independent}，则可以从最优的导数$ \tfrac{\partial f(x \given \{θ_j\})}{\partial θ_j} $来确定不是\textit{linearly independent}的参数的不确定性。
2021-06-21 stat.ME
Thinking inside the bounds: Improved error distributions for indifference point data analysis and simulation via beta regression using common discounting functions
本文提出非线性 beta 回归模型以改进无差异点数据分析与模拟，自动捕捉非恒定方差、遵循数据自然边界，并通过尺度-位置-截断技巧处理零一值，且贴现率估计与标准非线性回归高度一致。
2024-06-06 stat.ME
Semiparametric copula-based quantile regression for semicontinuous outcomes with application to healthcare data
Department of Mathematics and Statistics, University of Windsor（温莎大学数学与统计系）
本文提出了一种半参数化copula基础的两阶段分位数回归框架，用于分析具有零点质量和连续正部分的半连续结果，通过copula条件分布链接发生和幅度过程，展示非线性依赖和协变量效应的灵活性，且在非线性依赖和显著零膨胀情况下优于logistic/线性回归。
2026-03-14 stat.ME
Bayesian Quantile Deep Echo State Networks for Nonlinear Time Series
University of California, Santa Cruz（加州大学圣克鲁兹分校）
针对高维非线性时间序列的贝叶斯分位数回归难题，提出基于深度回声状态网络固定特征的Q-DESN模型，采用多种似然与先验，并通过MCMC或变分推断实现，实验证明其能提升有限网格分位数评分。
2026-09-17 stat.ME
A Simple Approach for Local and Global Variable Importance in Nonlinear Regression Models
本文提出GOALS算子，作为一种简单后验方法，可在非线性模型中同时评估局部与全局特征重要性，并通过高斯过程回归模拟和真实数据验证其优于现有方法。
2023-08-10 stat.ME
Likelihood Ratio Tests for a Dose-Response Effect using Multiple Nonlinear Regression Models
我们考虑的问题，测试的剂量相关效应的基础上的一组候选人（通常是非线性的）剂量反应模型使用似然比检验。对于所考虑的模型，这简化为评估这些非线性回归模型中的斜率参数是否为零。一个技术问题是零分布（当斜率为零时）取决于不可识别的参数，因此似然比检验的分布的标准渐近结果不再适用。这个问题的渐近解已在文献中广泛讨论。然而，得到的近似值不是简单的形式，需要模拟来计算渐近分布。此外，对于小样本量的情况，其适当性可能值得怀疑。由于某些参数的不可识别性，直接模拟近似零分布在数值上是不稳定的。本文给出了多模型下正态分布数据的似然比检验的精确近似分布的数值算法。该算法使用微分几何方法，可用于评价原假设下的分布，但也允许计算功效和样本量。我们比较了建议的测试方法的MCP-Mod方法和替代方法的剂量相关的趋势，在剂量发现的例子数据集和模拟测试。
2015-10-21 stat.ME
Nonlinear Causal Discovery via Kernel Anchor Regression
Tsinghua University（清华大学）；University of Oxford（牛津大学）
学习因果关系是科学中的一个基本问题。锚回归已经被开发来解决这个问题的一个大类的因果图模型，虽然变量之间的关系被假设为线性的。在这项工作中，我们解决了非线性设置，提出核锚回归（KAR）。除了使用经典的两阶段最小二乘估计的自然配方，我们还研究了一个改进的变种，涉及非参数回归在三个不同的阶段。我们提供了建议的KAR估计的收敛性结果和KAR学习非线性结构方程模型（SEM）的可识别性条件。实验结果表明，所提出的KAR估计优于现有的基线性能。
2022-10-30 cs.LG stat.ME stat.ML
A Flexible Partially Linear Single Index Proportional Hazards Regression Model for Multivariate Survival Data
本文提出一种扩展比例风险模型的灵活部分线性单指标模型，用于多元生存数据，通过分段常数基线、copula关联和样条单指标处理非线性效应，并采用全似然推断，模拟和实际数据验证其有效性。
2025-10-15 stat.ME
Hypothesis Testing in Nonlinear Function on Scalar Regression with Application to Child Growth Study
提出了一种基于核机器的非线性标量函数回归模型的假设检验方法。我们的研究是由新生儿表观遗传学研究（NEST）的动机，其中感兴趣的问题是是否在9个差异甲基化区域（DMR）的任何一个预先指定的有毒金属或甲基化组与儿童生长相关。我们把儿童的生长轨迹作为功能反应，并使用非线性函数联合建模有毒金属测量。我们使用一个核机器的方法来模拟未知的功能和转换的假设没有影响到一个适当的方差分量测试。我们证明了我们提出的方法，使用模拟研究，并将其应用于分析NEST数据。
2021-06-30 stat.AP stat.ME
Linear spline index regression model: Interpretability, nonlinearity and dimension reduction
本文提出线性样条指数回归模型，兼具线性可解释性、非参数非线性拟合和单指数降维能力，并通过惩罚与卷积方法在节点数未知且可随样本量发散的情况下实现参数估计和节点识别。
2024-09-02 stat.ME
A Double Regression Method for Graphical Modeling of High-dimensional Nonlinear and Non-Gaussian Data
图模型作为一种在大量随机变量之间推断条件独立关系的工具，在统计学中已经研究了很长时间。现有的图形建模工作主要集中在数据为高斯分布或混合分布以及变量线性相关的情况下。本文提出了一种在高维非线性和非高斯背景下学习图模型的双重回归方法，并证明了该方法在较弱的条件下是相容的.所提出的方法通过执行一系列非参数条件独立性检验。每个测试的条件集通过双回归过程减少，其中可以采用无模型确定独立性筛选过程或稀疏深度神经网络。数值结果表明，该方法对高维非线性和非高斯数据具有良好的效果。
2022-12-08 stat.CO stat.ME
BooST: Boosting Smooth Trees for Partial Effect Estimation in Nonlinear Regressions
Columbia University（哥伦比亚大学）；Pontifical Catholic University of Rio de Janeiro (PUC-Rio)（里约热内卢天主教大学）；University of California, Irvine（加州大学尔湾分校）
在本文中，我们介绍了一种新的机器学习（ML）模型的非线性回归称为提升平滑过渡回归树（BooST），这是一个组合的提升算法与平滑过渡回归树。BooST模型的主要优点是可以估计非常一般的非线性模型的导数（部分效应）。因此，与其他基于树的模型（如随机森林）相比，该模型可以提供更多关于协变量和因变量之间映射的解释。我们提出了几个例子，模拟和真实的数据。
2020-07-28 cs.LG econ.EM stat.ME
Recycled Least Squares Estimation in Nonlinear Regression
本文考虑了非线性回归模型参数估计的一种修正方案。我们提供了一个估计过程，通过随机加权，相关的参数估计，以构建各种估计的抽样分布的相合估计。我们建立了渐近正态性的重采样估计，并证明了回收方法的适用性，在一个小的模拟研究和通过例子。
2018-12-14 math.ST stat.AP stat.ME
Tree-based Regression for Interval-valued Data
近年来，区间数据的回归方法得到了越来越多的研究。由于大多数现有的工作集中在线性模型，它是重要的是要注意，在实践中的许多问题是非线性的性质，因此开发的非线性回归工具的区间值数据是至关重要的。本文提出了一种基于树的区间数据回归方法，该方法适用于线性和非线性问题。与线性回归模型通常需要额外的约束来确保预测区间长度的正性不同，所提出的方法以非参数的方式估计回归函数，因此预测长度在没有任何约束的情况下自然是正的。进行模拟研究，比较我们的方法流行现有的回归模型的区间值数据下的线性和非线性设置。最后，通过一个实际数据的例子，我们应用我们的方法来分析道琼斯工业平均指数及其成分股的价格区间数据。
2022-01-09 stat.CO stat.ME
Nonlinear Regression with Residuals: Causal Estimation with Time-varying Treatments and Covariates
针对时变处理与协变量下标准回归调整因果估计不一致的问题，提出带共线性调整的回归估计量，属于参数化g-formula，将带残差回归拓展至多种非线性模型，估计一致且易实现。
2024-03-10 stat.CO stat.ME
Bayesian Variable Selection in Multivariate Nonlinear Regression with Graph Structures
高斯图模型（GGM）是使用精度矩阵进行依赖结构概率探索的成熟工具。我们开发了一种贝叶斯方法，将协变量信息在这个GGM设置在一个非线性看似无关的回归框架。我们提出了一个联合预测器和图选择模型，并开发了一个有效的折叠吉布斯采样算法来搜索联合模型空间。此外，我们研究了它的理论变量选择性质。我们证明了我们的方法对各种模拟数据，最后从TCPA项目的真实数据集。
2021-07-31 math.ST stat.ME stat.TH
Total robustness in Bayesian Nonlinear Regression
University of Warwick（华威大学）；University College London（伦敦大学学院）
本文提出首个针对非线性回归中协变量测量误差、模型误设和误差分布误设的总稳健性贝叶斯非参数学习框架，通过联合狄利克雷过程先验和后验伪样本实现推断校准，建立泛化界并证明在非退化测量误差下的收敛性与一致性。
2026-03-24 stat.ME stat.ML
Nonlinear function-on-function regression by RKHS
提出了一个非线性函数对函数回归模型，其中协变量和响应都是随机函数。非线性回归分两步进行：首先构建Hilbert空间以容纳功能协变量和功能响应，然后为协变量构建第二层Hilbert空间以捕获非线性。第二层空间被假定为再生核希尔伯特空间，其由$X$的第一层希尔伯特空间的内积确定的正定核生成-这种结构被称为嵌套希尔伯特空间。我们开发的估计程序来实现所提出的方法，它允许在不同的时间点观察不同的主题的功能数据。此外，我们建立了我们的估计的收敛速度，以及在Hilbert空间中的预测响应的弱收敛。数值研究，包括模拟和数据应用进行调查我们的估计在有限样本的性能。
2022-07-17 math.ST stat.ME stat.TH
Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression
The University of Tokyo（东京大学）
本文在贝叶斯框架下引入考虑数据谱结构的自适应先验，证明广义线性与单神经元非线性回归的后验收缩及预测一致性，并通过模拟和真实数据验证其准确预测与不确定性估计能力。
2024-06-15 cs.LG stat.ME stat.ML
Using relative weight analysis with residualization to detect relevant nonlinear interaction effects in ordinary and logistic regressions
相对权重分析是检测模型中的一个变量或交互作用是否相关的经典工具。在这项研究中，我们专注于使用限制三次样条构造非线性相互作用的相对权重。我们的目标是提供一个可访问的方法来分析一个多变量模型，并确定一个子集与最具代表性的变量集。此外，我们开发了一个程序，同时处理控制，固定，自由和相互作用项的剩余重量分析。交互作用相对于其主效应适当地残差化，以在模型中保持其真实效应。我们使用两个模拟的例子来测试这种方法。
2021-08-27 stat.CO stat.ME
Simultaneous Sieve Inference for Time-Inhomogeneous Nonlinear Time Series Regression
本文研究了一般局部平稳时间序列的非时齐非线性时间序列回归问题。一方面，我们提出了时变回归函数的筛分非参数估计，它可以达到最小-最大最优速率。另一方面，我们发展了一个统一的同时推理理论，可以用来进行结构和精确形式的功能测试。我们提出的统计是强大的，即使在当地弱的替代品。我们还提出了一个乘法器自举程序的实际实施。我们的方法和理论不需要对回归函数进行任何结构假设，并且我们还允许函数在无界域中得到支持。我们还建立了无界区域上二维函数的筛逼近论和高维局部平稳时间序列的仿射型和二次型的高斯逼近结果，这些结果是独立的.数值模拟和一个真实的财务数据分析提供了支持我们的结果。
2021-12-16 math.ST stat.ME stat.TH
Stochastic tree ensembles for regularized nonlinear regression
City University of Hong Kong（香港城市大学）；Arizona State University（亚利桑那州立大学）
本文提出了一种新的随机树集成方法，用于非线性回归，我们称之为XBART，简称加速贝叶斯加性回归树。通过将贝叶斯建模的正则化和随机搜索策略与递归分区方法的计算效率技术相结合，新方法获得了最先进的性能：在许多设置中，它比广泛使用的XGBoost算法更快，更准确。通过仔细的模拟研究，我们证明了我们的新方法提供了平均函数的精确逐点估计，并且比流行的替代方案（如BART，XGBoost和神经网络（使用Keras））更快。我们还证明了一些基本的理论结果，包括单树版本的模型的一致性和平稳性的马尔可夫链产生的集成版本。此外，我们表明，初始化标准贝叶斯加性回归树马尔可夫链蒙特卡罗（MCMC）在XBART拟合树大大提高了可信区间覆盖率，减少总运行时间。
2021-06-03 cs.LG stat.ME stat.ML
Iterative Estimation of Solutions to Noisy Nonlinear Operator Equations in Nonparametric Instrumental Regression
University of Göttingen（哥廷根大学）；UCL（天主教鲁汶大学）；University Mannheim（曼海姆大学）；Universite de Toulouse（图卢兹大学）
本文提出一种正则化牛顿型迭代方法，用于解决噪声积分核下的非线性积分方程，特别强调在工具回归模型中使用更强的独立性假设，以正确估计非参数回归函数。
2013-07-25 cs.NA math.NA math.ST
Softplus Regressions and Convex Polytopes
为了构造灵活的非线性预测分布，本文介绍了一个家庭的softplus函数为基础的回归模型，卷积，堆叠，或结合这两种操作通过卷积可数无限堆叠Γ分布，其规模取决于协变量。广义逻辑斯谛回归使用单个超平面将协变量空间划分为两半，softplus回归使用多个超平面来构建一个有限空间，该有限空间与由多个半空间的交集或多个凸多面体的并集定义的单个凸多面体相关，以将一个类与另一个类分开。引入伽马过程以支持可数无限（堆叠）协变量依赖的Γ分布的卷积。对于贝叶斯推断，使用经由新颖的数据增强和边缘化技术导出的吉布斯抽样来对高度复杂的非线性预测分布进行去卷积和/或去混合。实例结果表明，softplus回归提供灵活的非线性决策边界，实现分类精度相媲美的内核支持向量机，同时需要显着减少计算的样本预测。
2016-08-23 stat.ME stat.ML
Selecting the Derivative of a Functional Covariate in Scalar-on-Function Regression
本文提出了测试，正式选择回归模型之间使用不同的衍生工具的功能协变量在标量函数回归。我们证明了对于线性回归，使用不同导数的模型可以嵌套在一个模型中，该模型在观察函数的端点处包括点影响效应。然后可以使用对比来测试不同衍生物的规格。当定义非线性回归模型时，我们应用$J$检验来确定函数协变量和标量响应之间的非线性结构的统计显著性。这些方法的有限样本性能在模拟中得到了验证，并使用化学计量学数据集证明了它们的实际应用。
2020-08-18 stat.CO stat.ME
Densely connected neural networks for nonlinear regression
School of Mathematical and Statistical Sciences, Clemson University（克莱姆森大学数学与统计科学学院）；Faculty of Engineering, Monash University（莫纳什大学工程学院）；Faculty of Information Technology, Monash University（莫纳什大学信息技术学院）；Institute of Atmospheric Physics, Chinese Academy of Sciences（中国科学院大气物理研究所）
密集连接卷积网络（DenseNet）在图像处理中表现良好。然而，对于回归任务，卷积DenseNet可能会丢失来自独立输入特征的基本信息。为了解决这个问题，我们提出了一种新的DenseNet回归模型，其中卷积和池化层被完全连接的层取代，并且保留了原始的连接快捷方式以重用该功能。为了研究深度和输入尺寸的影响，所提出的模型进行了仔细的验证，通过广泛的数值模拟。结果给出了最佳深度（19），并建议有限的输入尺寸（低于200）。与支持向量回归、决策树回归和残差回归等基线模型相比，最优深度模型的性能最好。最后，将DenseNet回归应用于相对湿度的预测，结果显示与观测值的相关性很高（0.91），这表明我们的模型可以促进环境数据分析。
2021-07-29 cs.LG physics.ao-ph physics.data-an
The M-estimator in a multi-phase random nonlinear model
本文研究了在未知时刻具有多个变点的非线性回归模型的M-估计。多阶段随机设计回归模型在每个变点处不连续，具有任意误差$ε$。在已知跳数的情况下，研究了突变点位置和回归参数的M-估计。这些估计是相容的，回归参数估计的分布是高斯分布。每个变点的估计量以速率$n^{-1}$收敛到独立复合Poisson过程的最小极小值。这些结果对一大类误差分布都是有效的。
2008-09-22 math.PR math.ST stat.ME
Variable selection for nonlinear Cox regression model via deep learning
Biogen（百健）
研究非线性Cox回归模型的变量选择问题。在生存分析中，一个主要目标是识别与发生关注事件的风险相关的协变量。Cox比例风险模型在生存分析中广泛用于研究生存时间和协变量之间的关系，该模型假设协变量对风险函数具有对数线性效应。然而，这种线性假设在实践中可能并不满足。为了提取具有代表性的特征子集，已经提出了各种变量选择方法用于线性Cox模型下的生存数据。然而，很少有文献对非线性Cox模型的变量选择。为了打破这一差距，我们将最近开发的基于深度学习的变量选择模型LassoNet扩展到生存数据。仿真结果验证了该方法的有效性和可行性。最后，我们应用所提出的方法来分析弥漫性大B细胞淋巴瘤的真实数据集。
2022-11-17 cs.LG stat.ME stat.ML
Nonlinear Granger Causality using Kernel Ridge Regression
本文提出名为 mlcausality 的新型算法及 Python 库，利用灵活插件架构识别非线性 Granger 因果关系。在采用径向基函数核岭回归时，该方法在模拟数据上取得了具竞争力的 AUC 分数、更精细的 p 值及更高准确率，且计算时间比现有算法缩短了一个数量级。
2023-09-10 cs.LG econ.EM stat.ME
Nonlinear regression models to forecast PM$_{2.5}$ concentration
提出基于非线性回归的PM$_{2.5}$浓度预测模型，包括单值和区间预测，结合NCEP CFS2提高精度，在武汉数据上验证有效。
2026-06-16 stat.AP stat.ME
Functional Uniform Priors for Nonlinear Modelling
本文研究了当统计模型的一个主要组成部分依赖于一个非线性函数时，求先验分布的问题。利用在一般度量空间中构造均匀分布的结果，我们提出了一个在非线性函数的函数形状空间中均匀分布的先验分布，然后通过逆变换得到原模型参数的先验分布.本文中考虑的主要应用是非线性回归，但这个想法可能会超出这种情况。对于非线性回归，这样构造的先验的优点是它们是参数化不变的，并且不违反似然原理，而不是参数或Jeffrey先验的均匀分布。通过一个真实的数据实例和模拟，在临床剂量探索试验中的非线性回归建模的背景下，证明了所提出的先验的效用。此外，建议的先验被用于计算最优贝叶斯设计。
2011-10-19 stat.CO stat.ME
No Universal Winner in Model Selection: Regression versus Representational Similarity Analysis
School of Psychology, Nanjing Normal University（南京师范大学心理学系）；Adolescent Education and Intelligence Support Lab of Nanjing Normal University, Laboratory of Philosophy and Social Sciences at Universities in Jiangsu Province（南京师范大学青少年教育与智力支持实验室，江苏省高校哲学社会科学实验室）；The Joint Research Institute for Brain Science and Mental Health, Nanjing Normal University and Taizhou Fifth People's Hospital（南京师范大学与泰州市第五人民医院脑科学与心理健康联合研究所）；Scientific and Statistical Computing Core, National Institute of Mental Health（美国国家精神卫生研究所科学统计计算核心）；Department of Psychology, University of South Carolina（南卡罗来纳大学心理学系）；Institute for Mind and Brain, University of South Carolina（南卡罗来纳大学心智与大脑研究所）
本文系统评估了回归、表征相似性分析(RSA)和模式成分建模(PCM)在不同数据生成机制下的模型选择性能，发现线性假设下回归和PCM优于RSA，非线性保序变换下基于秩的RSA更具优势。
2026-11-10 stat.CO stat.ME
State-domain Change Point Detection for Nonlinear Time Series Regression
时间序列中的变化点检测已经引起了人们的极大兴趣，但是现有的大多数结果都集中在检测时域中的变化点。本文研究非线性时间序列在状态域中存在潜在变点的情况。我们应用密度加权反对称核函数的状态域，因此提出了一个非参数的程序来测试存在的变化点。当变点的存在是肯定的，我们进一步介绍了一个算法来估计的变点的数量和它们的位置。给出了所提出的检测和估计过程的理论结果，并使用一个真实的数据集来说明我们的方法。
2021-11-19 eess.SP math.ST stat.ME
Simultaneous Sieve Estimation and Inference for Time-Varying Nonlinear Time Series Regression
本文研究局部平稳时间序列的时变非线性回归，提出具有一致收敛性的筛非参数估计量，发展了统一的同时推断理论及乘子自助法，并开发了R包SIMle辅助实现。
2025-06-29 math.ST stat.ME stat.TH
Cubature-based uncertainty estimation for nonlinear regression models
针对非线性回归模型参数校准后的不确定性问题，提出基于稀疏网格求积公式的回归结果方差计算方法，求积点数量接近理论最小值，经基准对比验证后应用于NRTL模型的预测不确定性估算。
2024-09-13 cs.NA math.NA stat.ME
Nonlinear global Fréchet regression for random objects via weak conditional expectation
针对对象值预测变量的对象值响应回归，提出基于弱条件Fréchet均值和RKHS嵌入的全局非线性Fréchet回归模型，统一并扩展了现有方法。
2023-10-11 math.ST stat.ME stat.TH
Regularized Nonlinear Regression with Dependent Errors and its Application to a Biomechanical Model
针对生物力学模型中非线性函数参数估计与选择问题，提出改进的惩罚加权最小二乘估计器，可处理乘性或加性时间相关误差，模拟与实证均优于现有方法。
2023-10-11 math.ST stat.ME stat.TH
Linearized Binary Regression
1934年，Bliss首次提出概率回归来研究昆虫的死亡率。从那时起，大量的工作已经在许多应用和领域中分析和使用probit或相关的二元回归方法（如逻辑斯谛回归）。本文提供了一个新的角度，这样建立良好的二元回归方法。具体地说，我们证明了线性化的概率模型与线性估计的组合执行与国家的最先进的非线性回归方法，如后验均值或最大后验估计，为广泛的现实世界的回归问题。我们推导出精确的，封闭的形式，和非渐近表达式的均方误差的线性估计，这清楚地将它们从非线性回归方法，通常是难以分析。我们展示了我们的方法和结果的有效性，为一些合成和现实世界的数据集，这表明，线性二进制回归发现在各种推理，估计，信号处理和机器学习应用程序，处理二进制值的观察或测量的潜在用途。
2018-02-01 math.ST stat.ME stat.ML
Bayesian Approximate Kernel Regression with Variable Selection
非线性核回归模型常用于统计学和机器学习，因为它们比线性模型更准确。核回归模型的变量选择是一个挑战，部分原因是，与线性回归设置不同，回归系数的效应量没有明确的概念。在本文中，我们提出了一个新的框架，提供了一个效果大小模拟贝叶斯核回归模型的每个解释变量时，内核是平移不变的-例如，高斯内核。我们使用移位不变再生核希尔伯特空间（RKHS）的函数分析性质来定义一个线性向量空间，该线性向量空间：（i）捕获非线性结构，（ii）可以投影到原始解释变量上。对原始解释变量的投影作为效应量的模拟。我们使用的特定函数分析性质是，移位不变核函数可以通过随机傅立叶基来近似。基于随机傅立叶展开，我们提出了一类计算效率高的贝叶斯近似核回归（BAKR）模型的非线性回归和二进制分类，可以计算模拟的效果大小。我们通过研究统计遗传学中的两个重要问题来说明BAKR的实用性：基因组选择（即表型预测）和关联映射（即推断显著的变体或位点）。用于基因组选择和关联作图的现有技术方法分别基于核回归和线性模型。BAKR是第一种在这两种情况下都具有竞争力的方法。
2017-06-10 q-bio.QM stat.AP stat.ME
Sparse Partitioning: Nonlinear regression with binary or tertiary predictors, with application to association studies
本文介绍了稀疏分割，贝叶斯方法识别预测，无论是单独或与其他影响响应变量的组合。该方法是专为回归问题，涉及二元或三元预测，并允许预测的数量超过样本的大小，两个属性，使其非常适合关联研究。稀疏划分与其他回归方法不同，它对预测因子如何影响响应没有限制。为了弥补这种普遍性，稀疏划分实现了一种探索模型空间的新方法。它搜索预测器集合的高后验概率分区，其中每个分区定义共同影响响应的预测器组。其结果是一个强大的方法，不需要真正的预测-响应关系的先验知识。对模拟数据的测试表明，稀疏分区通常会在遵守现有方法模型假设的数据集上匹配现有方法的性能。当违反这些假设时，稀疏分区通常会提供更好的性能。
2011-08-30 q-bio.QM stat.AP stat.ME
On spike-and-slab priors for Bayesian equation discovery of nonlinear dynamical systems via sparse linear regression
本文介绍了使用钉板（SS）先验发现非线性结构动力系统的运动微分方程。发现控制方程的问题被转换为从预定的基变量字典中选择相关变量的问题，并通过稀疏贝叶斯线性回归来解决。SS先验，这属于一类离散混合先验，并被称为其强大的稀疏（或收缩）属性，诱导稀疏的解决方案和选择相关的变量。三种不同的变体的SS先验进行探索贝叶斯方程发现。由于具有SS先验的后验是解析上难以处理的，采用基于马尔可夫链蒙特卡罗（MCMC）的Gibbs采样器提取模型参数的后验样本，并将后验样本用于方程发现中的变量选择和参数估计.所提出的算法已被应用到四个系统的工程利益，其中包括基线线性系统，和系统的立方刚度，二次粘性阻尼，库仑阻尼。结果表明，有效的SS先验识别系统中的非线性的存在和类型。此外，与使用Student's t先验的相关向量机（RVM）的比较表明，SS先验可以实现更好的模型选择一致性，减少错误发现，并导出具有更高预测精度的模型。最后，利用Silverbox实验基准对所提出的方法进行了验证.
2020-12-07 cs.SY eess.SY stat.AP
