Coefficient-based Regularized Distribution Regression
Zhejiang University（浙江大学）；Fudan University（复旦大学）
本文考虑再生核Hilbert空间（RKHS）上基于系数的正则化分布回归，其目的是从概率测度回归到实值响应，其中系数被正则化，核被假定为不确定的.该算法包括两个阶段的采样，第一阶段的样本由分布和第二阶段的样本从这些分布获得。研究了该算法在回归函数不同正则范围内的渐近行为，并通过积分算子技术推导出了学习率。在一定的条件下，得到了与一阶段抽样minimax最优速率相匹配的最优速率。与已有的分布回归的核方法相比，该算法不要求核是对称的和半正定的，从而为设计不确定的核方法提供了一个简单的范例，丰富了分布回归的研究内容.据我们所知，这是第一个不确定核分布回归的结果，我们的算法可以改善饱和效应。
2022-08-26 cs.LG stat.ML
Multiview Hessian regularized logistic regression for action recognition
China University of Petroleum (East China)（中国石油大学（华东））
随着社会化媒体共享的快速发展，人们经常需要管理日益增长的多媒体数据，如大规模的视频分类和注释，特别是对那些包含人类活动的视频进行组织。最近，流形正则化半监督学习（SSL），探索内在的数据概率分布，然后提高泛化能力，只有少量的标记数据，已成为一个有前途的范例半自动视频分类。此外，人类动作视频通常具有多模态内容和不同的表示。为了解决上述问题，在本文中，我们提出了多视图Hessian正则化逻辑回归（merging）的人体动作识别。与现有的工作相比，merging的优点在于：（1）merging结合了多个Hessian正则化，每个Hessian正则化都是从实例的特定表示中获得的，以利用局部几何的探索;（2）merging自然地处理具有多个表示的多视图实例;（3）merging使用平滑的损失函数，然后可以有效地优化。我们仔细进行了广泛的实验上的非结构化社会活动属性（USAA）数据集和实验结果表明，提出的多视图Hessian正则化逻辑回归的有效性，人类动作识别。
2014-03-03 cs.CV cs.LG stat.ML
Asymptotic Confidence Sets for General Nonparametric Regression and Classification by Regularized Kernel Methods
正则化的核方法，例如，支持向量机和最小二乘支持向量回归构成了机器学习中一类重要的标准学习算法。近年来，关于渐近性质的理论研究主要集中在收敛速度上，而关于统计推断的结果却很少且有限。由于这是一个严重的限制，他们在数理统计中的使用，本文的目标是填补这一空白。基于这些方法的渐近正态性，本文导出了极限正态分布的未知协方差阵的强相合估计量。通过这种方式，我们获得了渐近正确的置信集$ψ(f_{P,λ_0})$其中$f_{P,λ_0}$表示再生核Hilbert空间$H$中正则化风险的最小值，并且$ψ:H\rightarrow\mathds{R}^m$是任何Hadamard可微泛函。应用包括$f_{P,λ_0}$值的（多变量）逐点置信集和梯度、积分和范数的置信集。
2012-03-20 stat.ML
M-Power Regularized Least Squares Regression
ENS Cachan（巴黎高等师范学校卡尚分校）；CNRS（法国国家科学研究中心）；Université Paris-Saclay（巴黎萨克雷大学）；Aix Marseille Univ（艾克斯-马赛大学）
正则化用于找到既适合数据又足够平滑的解决方案，因此对于设计和改进学习算法非常有效。但其指数的影响仍然知之甚少。特别是再生核Hilbert空间~（RKHS）正则化项的指数如何影响基于核的学习算法的精度和效率还不清楚。在这里，我们考虑正则化最小二乘回归（RLSR），RKHS正则化提升到m的幂，其中m是可变实指数。我们设计了一个有效的算法来解决相关的最小化问题，我们提供了一个理论分析，其稳定性，我们比较它的优势，相对于计算复杂性，收敛速度和预测精度的经典核岭回归算法的正则化指数m固定为2。我们的研究结果表明，m-幂RLSR问题可以有效地解决，并支持的建议，可以使用一个正则化项，增长显着慢于标准的二次增长在RKHS范数。
2016-12-14 cs.LG math.PR stat.ML
Analysis of regularized Nyström subsampling for regression functions of low smoothness
Fudan University（复旦大学）；Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机研究所）；Medical University of Innsbruck（因斯布鲁克医科大学）
本文研究了一种Nyström型欠采样方法在错误指定情况下的大核学习方法，其中目标函数不被假设为属于由底层核生成的再生核Hilbert空间.尽管这一案件具有重要的实际意义，但人们对它的了解却较少。为了模拟这样的情况下，目标函数的平滑度描述的一般源条件。令人惊讶的是，几乎对于整个范围的源条件，描述错误指定的情况下，相应的学习率界可以实现只有一个值的正则化参数。这种观察允许制定温和的条件下，平原Nyström子采样可以实现次二次成本保持保证的学习率。
2018-06-03 cs.LG stat.ML
Transfer Learning for Moderate-Dimensional Ridge-Regularized Robust Linear Regression
University of Science and Technology of China（中国科学技术大学）
本文研究了中等维度下岭正则化稳健线性回归的迁移学习，提出Trans-RR方法结合源研究的稳健岭估计器和目标研究的稳健岭修正，证明了迁移学习能提升估计精度。
2026-04-12 stat.ME
Regularized Exponentially Tilted Empirical Likelihood for Bayesian Inference
The Ohio State University（俄亥俄州立大学）
本文提出正则化指数倾斜经验似然方法，通过引入连续指数族分布和正则化技术，解决后验域为原参数空间子集的问题，提升有限样本性能。
2026-10-05 stat.ME
Split Regularized Regression
我们提出了一种拟合线性回归模型的方法，该方法将协变量集分成组。通过最小化目标函数来执行将变量最优地分成组和回归系数的正则化估计，该目标函数鼓励每组内的稀疏性和它们之间的多样性。然后将估计的系数合并在一起以形成最终拟合。我们的过程在给定的惩罚线性回归估计器（例如，Lasso，弹性网），通过将其拟合到可能重叠的特征组，鼓励这些组之间的多样性，以减少相应预测的相关性。对于弹性网罚函数和正交预测函数两组情形，我们给出了每组中回归系数的封闭形式解。我们建立了我们的方法的一致性，预测因子的数量可能会随着样本量的增加而增加。一个广泛的模拟研究和实际数据的应用表明，在一般情况下，所提出的方法提高了预测精度的基础估计程序中使用。GLM和其他模型的可能扩展进行了讨论。本文的补充材料，可在线获得，包含我们的理论结果的证明和我们的模拟研究的全部结果。
2019-12-12 stat.ME
Feature Selection via Block-Regularized Regression
识别具有内部结构的非常高维特征空间中的共变因果元素，例如，在统计学习中，具有多达数百万个线性排序特征的空间（如在诸如全基因组关联（WGA）映射的问题中通常遇到的）仍然是一个开放的问题。我们提出了一个用于高维空间中稀疏变量选择的块正则化回归模型，其中协变量是线性排序的，并且可能受到局部统计联系（例如，块结构）。我们的目标是确定相关协变量的一个小子集，这些协变量不仅来自排序中的随机位置，而且来自大量有序协变量的连续块。在一个典型的线性回归框架之间的功能和响应，我们提出的模型采用了稀疏执行拉普拉斯先验的回归系数，增强了一阶马尔可夫过程沿特征序列，“激活”的回归系数在一个耦合的方式。我们描述了一个基于采样的学习算法，并证明了我们的方法在模拟和生物数据下的标记识别WGA的性能。
2012-06-13 stat.ME
Implicit Copulas from Bayesian Regularized Regression Smoothers
我们展示了如何从带有高斯扰动的贝叶斯正则化回归平滑器中提取响应向量的隐式copula。Copula可以用来比较采用不同收缩先验和函数基的平滑器。我们说明了三个流行的选择收缩先验-成对先验，马蹄铁先验和g先验增强与一个点质量作为贝叶斯变量选择-和单变量和多变量函数的基础。隐式copula是高维的，具有灵活的依赖结构，远离高斯copula，并且在封闭形式中不可用。然而，我们展示了如何通过首先构建正则化参数的高斯Copula条件，然后在这些条件下进行积分来评估它们。结合非参数边界，正则化平滑器可用于以协变量为条件对非高斯单变量响应的分布进行建模。有效的马尔可夫链蒙特卡罗计划评估Copula的情况下。使用模拟和真实数据，我们展示了这样的Copula平滑模型如何提高所得函数估计和预测分布的质量。
2018-05-14 stat.ME
Principal Covariate Regression with Nuclear Norm Penalty
Unit Methodology and Statistics, Institute of Psychology（方法学与统计单元，心理学研究所）；Leiden University（莱顿大学）
提出PcovRnnp方法，通过核范数惩罚同时实现高维数据中的降维和正则化回归，避免传统方法分步选择的缺陷。
2026-06-23 stat.ME
Adaptive group-regularized logistic elastic net regression
针对高维数据下纳入特征外部信息提升回归效果的难题，提出名为gren的组正则化逻辑弹性网回归方法，用近似经验变分贝叶斯框架估计参数，实验验证其在特征划分有信息时可提升分类和特征选择性能。
2018-05-01 stat.ME
Ridge Regularized Estimation of VAR Models for Inference
本文研究VAR模型估计推断中的岭回归方法，分析各向异性惩罚影响、渐近分布与交叉验证性质，通过蒙特卡洛模拟评估脉冲响应估计并对比多种方法。
2023-07-06 stat.ME
Model-assisted sensitivity analysis for treatment effects under unmeasured confounding via regularized calibrated estimation
考虑使用敏感性分析估计未测量混杂情况下的平均处理效应，假设满足边际敏感性模型。在人口水平上，我们提供了新的表示尖锐的人口界和双重强大的估计功能，最近来自多恩，郭和Kallus。我们还根据加权线性结果分位数回归推导出新的、宽松的种群界限。在样本水平上，我们开发了新的方法和理论，不仅获得双重稳健的点估计的放松人口界相对于误指定的倾向得分模型或结果均值回归模型，但也模型辅助的置信区间是有效的，如果正确指定的倾向得分模型，但结果分位数和均值回归模型可能被误指定。如果正确指定了结果分位数回归，则放松的总体边界减少到锐边界。对于线性结果均值回归模型，置信区间也具有双重稳健性。我们的方法涉及正则化校准估计，Lasso惩罚，但精心选择的损失函数，拟合倾向得分和结果的平均值和分位数回归模型。我们提出了一个模拟研究和实证应用的观察性研究的影响，右心导管插入术。
2022-09-23 stat.ME
Regularized Regression by Composition: Identifiability, Structured Penalization, and Statistical Guarantees for Multi-Flow Distributional Models
Al-Muthanna University（穆萨纳大学）
本文提出通过组合方法实现正则化回归，解决多流分布模型中的非可识别问题，通过结构化惩罚提升估计稳定性，并在不同样本规模下验证了方法的有效性。
2026-03-26 stat.ME
Regularized joint mixture models
正则化回归模型已得到充分研究，并且在适当的条件下，可以提供快速且统计上可解释的结果。然而，在许多应用程序中的大数据是异构的，在这个意义上隐藏的潜在组之间的分布差异。然后，给定特征X的响应Y的条件分布对于所有样本都相同的假设可能不成立。此外，在科学应用中，特征的协方差结构可能包含重要的信号，其学习也受到潜在群体结构的影响。我们提出了一类配对数据（X，Y）的混合模型，它将X的分布（使用稀疏图模型）和条件Y的分布耦合在一起，|X（使用稀疏回归模型）。回归和图形模型是特定于潜在组的，并且模型参数是联合估计的（因此称为“正则化联合混合”）。这允许特征分布和回归模型中的任一个或两者中的信号通知潜在结构的学习，并提供对这种结构的混淆的自动控制。估计是通过一个期望最大化算法，其收敛性建立在理论上。我们通过实证的例子来说明关键的想法。R包可在https://github.com/k-perrakis/regjmix上获得。
2022-10-22 stat.ME
A New Family of Error Distributions for Bayesian Quantile Regression
我们为基于模型的分位数回归提出了一系列新的误差分布，该分布是通过正态分布的结构化混合构造的。该构造使得能够固定分布的特定顶点，同时允许变化的模式、偏度和尾部行为。因此，它克服了非对称拉普拉斯分布的严重限制-参数分位数回归最常用的误差模型-其中，当特定百分位数固定时，误差密度的偏度完全指定。我们提出了一个贝叶斯公式的建议分位数回归模型，包括条件套索正则化的分位数回归的基础上的分层拉普拉斯先验的回归系数，和Tobit分位数回归模型。后验推理通过马尔可夫链蒙特卡罗方法实现。通过模型的相关性质研究了新模型相对于非对称Laplace分布的灵活性，并通过模拟实验比较了正则化分位数回归中两种误差分布。此外，线性分位数回归，正则化分位数回归和Tobit分位数回归的模型性能与数据的例子，以前已经考虑在文献中说明。
2017-02-09 stat.ME
Better prediction by use of co-data: Adaptive group-regularized ridge regression
对于许多高维研究，变量的其他信息，如（基因组）注释或外部p值，是可用的。在二元和连续预测的背景下，我们开发了一种自适应组正则化（逻辑）岭回归的方法，该方法结构性地使用这种“协数据”。这里，“组”是指根据协数据对变量的分区。我们推导出特定于组的惩罚的经验贝叶斯估计，它具有几个很好的特性：i）它们是分析性的; ii）它们适应手头数据的协数据的信息性; iii）只有一个全局惩罚参数需要通过交叉验证进行调整。此外，该方法允许使用多种类型的协数据，只需很少的额外计算工作量。我们表明，特定于组的处罚可能会导致更大的区别“接近零”和相对较大的回归参数，这有利于事后变量的选择。该方法被称为GRridge，在一个易于使用的R-包中实现。这是证明了两个癌症基因组学研究，这两个关注的癌前宫颈病变的正常宫颈组织使用甲基化微阵列数据的歧视。对于这两个例子，GRridge明显提高了普通逻辑岭回归和组套索的预测性能。此外，我们表明，对于第二项研究，当只选择42个变量时，保持了相对较好的预测性能。
2015-05-18 stat.ME
Consistent information criteria for regularized regression and loss-based learning problems
本文提出一种广义信息准则（IC）框架，用于一致估计基于损失的学习问题，并针对广义线性模型（GLM）回归提出一致估计方法，将模型集扩展至不可数集合，同时提供了有限样本下的计算程序并通过模拟验证。
2024-04-26 stat.ME
Regularized Reduced Rank Regression for mixed predictor and response variables
University of Naples Federico II（那不勒斯费德里科二世大学）；Leiden University（莱顿大学）
本文提出GMR4模型，通过正则化技术提升高维数据下的回归性能，适用于混合类型预测和响应变量，实现稀疏且可解释的解决方案。
2025-12-15 stat.ME
Local shrinkage rules, Levy processes, and regularized regression
我们使用Levy过程来生成联合先验分布，因此罚函数，为一个位置参数，随着p变大。这概括了类的局部-全局收缩规则的基础上规模混合的法线，照亮不同的方法之间的新的连接，并导致新的结果计算后的手段和模式下广泛的类先验。我们将这个框架扩展到大规模的正则化回归问题，其中p>n，并提供与其他方法的比较。
2011-04-23 math.ST stat.ME stat.TH
Exact Coordinate Descent for High-Dimensional Regularized Huber Regression
University of Alabama（阿拉巴马大学）；University of Cambridge（剑桥大学）；Cornell University（康奈尔大学）
提出一种精确坐标下降算法求解弹性网惩罚的高维Huber回归，通过自适应变量筛选规则加速收敛，在重尾噪声和高相关预测变量下保持稳定高效。
2026-08-17 stat.ME
Regression Adjustment for Noncrossing Bayesian Quantile Regression
针对分位数回归中多个分位数的拟合曲线可能交叉的问题，提出了一种两阶段的方法。在第一阶段应用标准贝叶斯分位数回归模型，然后进行高斯过程回归调整，该调整使分位数函数单调化，同时从附近的分位数借用强度。两阶段方法在计算上是高效的，并且比现有技术更通用。该方法被证明是具有竞争力的替代方法，通过其性能在模拟的例子。
2015-02-04 stat.ME
Simulation-based Regularized Logistic Regression
在本文中，我们开发了一个基于模拟的框架，正则化逻辑斯谛回归，利用两个新的结果，规模混合的法线。通过仔细选择一种类型的混合物的似然分层模型，并与另一个实施正则化，我们得到新的MCMC计划与不同的效率取决于数据类型（二进制与二项式，说）和所需的估计（极大似然，最大后验概率，后验均值）。我们的综合方法的优点包括灵活性，计算效率，p >> n设置中的适用性，不确定性估计，变量选择和评估最佳正则化程度。我们将我们的方法与合成和真实数据的现代替代品进行比较。CRAN上有一个名为reglogit的R包。
2012-01-07 stat.CO stat.ME
Bayes Regularized Graphical Model Estimation in High Dimensions
在过去的十年中，贝叶斯图模型估计方法得到了很大的发展-然而，大多数现有的方法仅限于中等尺寸。我们提出了一种新的方法，适用于高维设置，通过解耦模型拟合和协方差选择。首先，基于完全图的完整模型在精度矩阵元素上的新型连续收缩先验下拟合，这在与基于Cholesky的正则化等价的情况下引起收缩，同时实现整个精度矩阵的共轭更新。随后，我们提出了一个后拟合的图形模型估计步骤，该步骤使用惩罚联合可信区域进行邻域选择顺序为每个节点。后验计算使用直接的完全吉布斯抽样进行，并且该方法可扩展到高维。所提出的方法被证明是渐近一致的估计固定$p$的图形结构时，真相是一个高斯图形模型。仿真结果表明，我们的方法相比，无论是在图形模型估计和计算效率方面的贝叶斯竞争对手。我们将我们的方法应用于癌症基因组学中的高维基因表达和microRNA数据集。
2013-08-19 stat.ME
Tuning parameter selection for the adaptive nuclear norm regularized trace regression
针对自适应核范数正则化迹回归，本文提出基于自由度无偏估计的 BIC 调优参数选择方法，并证明其秩一致性。
2024-05-11 math.OC stat.ME
Bias-Aware Inference in Regularized Regression Models
University of Southern California（南加州大学）；Princeton University（普林斯顿大学）；Brown University（布朗大学）
本文研究控制系数受约束时标量回归系数的推断问题，提出基于正则化倾向得分回归的偏差感知估计量和置信区间，证明其在有限样本中近最优，并给出高维渐近下的最优收敛速率。
2026-10-22 econ.EM stat.ME
Regularized regression on compositional trees with application to MRI analysis
合成树是指一组随机变量上的树结构，其中每个随机变量是一个节点，并且合成发生在树的每个非叶节点处。作为组成数据的概括，组成树处理随机变量之间更复杂的关系，出现在许多学科中，例如脑成像、基因组学和金融学。我们考虑与组合树相关的数据的稀疏回归问题，并提出了一种基于无变换树的正则化回归方法用于组件选择。正则化惩罚是基于树结构设计的，并鼓励稀疏树表示。我们证明了我们所提出的回归系数的估计是相容的和模型选择相容的。在仿真研究中，我们的方法显示出更高的精度比竞争的方法在不同的情况下。通过分析来自阿尔茨海默病研究的脑成像数据集，我们的方法确定了记忆衰退与大脑区域体积之间的有意义的关联，这与目前的理解是一致的。
2021-04-16 stat.AP stat.ME
Tuning parameter calibration for $\ell_1$-regularized logistic regression
特征选择是理解和建模高维分类数据的标准方法，但相应的统计方法取决于难以校准的调优参数。特别是，现有的校准方案中的逻辑斯谛回归框架缺乏任何有限的样本保证。在本文中，我们介绍了一种新的校准方案$\ell_1$惩罚逻辑斯谛回归。它是基于简单的测试沿调谐参数路径，并配备了最佳的保证功能选择。它还适合简单有效的实现，并且在模拟和真实数据应用中与现有方法相媲美或优于现有方法。
2019-02-28 math.ST stat.ME stat.ML
CR-Lasso: Robust cellwise regularized sparse regression
针对逐单元异常值污染下的稀疏回归问题，提出 CR-Lasso，通过联合最小化回归损失与逐单元偏离度量实现稳健特征选择，并在模拟比较和骨密度真实数据中验证其竞争力。
2024-03-01 stat.CO stat.ME
Regularized Parameter Estimation in Mixed Model Trace Regression
提出混合模型迹回归MMTR，结合lasso、低秩Kronecker协方差结构与group lasso秩选择，并通过稳定EM算法估计参数，在模拟和图像数据上表现优异。
2025-03-18 stat.CO stat.ME
Regularized Multivariate Regression for Identifying Master Predictors with Application to Integrative Genomics Study of Breast Cancer
在本文中，我们提出了一种新的方法remMap -正则化多元回归识别MAster预测-在高维低样本设置下拟合多元响应回归模型。remMap的动机是基于多种类型的高维基因组数据来研究不同生物分子之间的调控关系。特别是，我们有兴趣研究DNA拷贝数的改变对RNA转录水平的影响。为此，我们通过多变量线性回归来模拟RNA表达水平对DNA拷贝数的依赖性，并利用适当的正则化来处理高维数以及合并所需的网络结构。本文还讨论了调谐参数的选择准则。所提出的方法的性能说明通过广泛的仿真研究。最后，将remMap应用于乳腺癌研究，其中测量了172个肿瘤样本的全基因组RNA转录水平和DNA拷贝数。我们在细胞带17 q12-q21中确定了一个trans-hub区域，该区域的扩增影响了30多个非连锁基因的RNA表达水平。这些发现可能有助于更好地了解乳腺癌病理学。
2009-06-19 stat.AP stat.ME
Regularized Matrix Regression
现代技术正在产生大量具有复杂结构的数据。例如，在二维数字成像、流式细胞术和脑电图中，当针对两个基础变量的每个组合获得测量值时，经常出现矩阵型协变量。为了解决这些数据产生的科学问题，需要将矩阵作为协变量的新回归方法，并且由于矩阵数据的多维性和复杂结构，稀疏性或其他形式的正则化至关重要。流行的套索和相关的正则化方法取决于真实信号的非零系数的数量的稀疏性。然而，对于矩阵数据，真实信号通常是低秩结构，或者可以很好地近似于低秩结构。因此，稀疏性通常是以矩阵参数的低秩的形式，这可能严重违反经典套索的假设。本文提出了一类基于谱正则化的正则矩阵回归方法。提出了一种高效、可扩展的估计算法，推导了沿正则化路径进行模型选择的自由度公式，并通过仿真和实际算例验证了该方法的优越性能。
2012-04-15 stat.CO stat.ME
Total Variation Regularized Tensor-on-scalar Regression
在本文中，我们提出了全变差正则化张量标量回归（TVTR），一种新的方法，用于估计张量结果（一维或多维数组）和标量预测之间的关联。虽然这里提出的统计发展的动机是大脑映射和活动跟踪，该方法的设计和提出的一般性，适用于许多其他领域的科学研究。估计量是惩罚回归问题的解决方案，其中目标是所有受试者的预测平均值的平方误差加上总变差（TV）正则化的总和。提出了一种适用于分布式计算平台的高效、可扩展的参数估计算法。通过一个预言不等式证明了算法的收敛性和估计量的统计相合性。我们提出了一维和二维仿真结果，并证明TVTR优于现有的方法在大多数情况下。我们还证明了该方法的一般适用性的两个真实的数据的例子，包括分析的1D加速度子样本的一个大型的基于社区的研究情绪障碍和分析的3D MRI数据的注意力缺陷/多动障碍（ADHD）200财团。
2018-12-09 stat.AP stat.ME
Safe subspace screening for the adaptive nuclear norm regularized trace regression
针对自适应核范数正则化迹回归的计算加速问题，提出基于矩阵分解与最优条件的安全子空间筛选规则，嵌入交替方向乘子法，通过消除非活跃子空间降维提速，经模拟与真实数据集实验验证了有效性。
2024-04-15 math.OC stat.ME
Regularized zero-inflated Bernoulli regression model
针对高维场景下二分类数据零值过多导致传统Logistic回归估计不准的问题，提出结合Ridge和Lasso的正则化零膨胀伯努利回归模型，证明了估计量的统计性质，通过模拟和真实数据验证了其有效性。
2025-02-23 math.ST stat.ME stat.TH
$σ$-Ridge: group regularized ridge regression via empirical Bayes noise level cross-validation
预测模型中的特征是不可交换的，但常见的监督模型将其视为可交换的。在这里，我们研究岭回归时，分析师可以划分到$K$组的基础上外部边信息的功能。例如，在高通量生物学中，特征可以表示基因表达、蛋白质丰度或临床数据，因此每个特征组表示不同的模态。分析人员的目标是选择最佳的正则化参数$λ= (λ_1, \dotsc, λ_K)$ --每组一个。在这项工作中，我们研究的影响$λ$的预测风险的组正则化岭回归通过推导极限风险公式下的高维随机效应模型与$p\asymp n$作为$n \to \infty$。此外，我们提出了一个数据驱动的方法来选择$λ$，达到最佳的渐近风险：关键的想法是解释残余噪声方差$σ^2$，作为一个正则化参数，通过交叉验证选择。经验贝叶斯构造将一维参数$σ$映射到正则化参数的$K$维向量，即，$σ\mapsto \widehatλ(σ)$。除了理论上的最优性，该方法是实用的，运行速度快的交叉验证岭回归没有功能组（$K=1$）。
2021-03-04 math.ST stat.ME stat.TH
Stochastic tree ensembles for regularized nonlinear regression
City University of Hong Kong（香港城市大学）；Arizona State University（亚利桑那州立大学）
本文提出了一种新的随机树集成方法，用于非线性回归，我们称之为XBART，简称加速贝叶斯加性回归树。通过将贝叶斯建模的正则化和随机搜索策略与递归分区方法的计算效率技术相结合，新方法获得了最先进的性能：在许多设置中，它比广泛使用的XGBoost算法更快，更准确。通过仔细的模拟研究，我们证明了我们的新方法提供了平均函数的精确逐点估计，并且比流行的替代方案（如BART，XGBoost和神经网络（使用Keras））更快。我们还证明了一些基本的理论结果，包括单树版本的模型的一致性和平稳性的马尔可夫链产生的集成版本。此外，我们表明，初始化标准贝叶斯加性回归树马尔可夫链蒙特卡罗（MCMC）在XBART拟合树大大提高了可信区间覆盖率，减少总运行时间。
2021-06-03 cs.LG stat.ME stat.ML
Readouts for Echo-state Networks Built using Locally Regularized Orthogonal Forward Regression
回声状态网络（ESN）被看作是一个时间非正交扩展与伪随机参数。这种扩展自然会产生与教师输出相关的各种回归变量。我们说明，往往只有一定数量的生成的回声回归有效地解释教师输出的方差，也是唯一的局部正则化是无法提供深入的信息，所生成的回归的重要性。因此，通过使用局部正则化正交前向回归（LROFR）算法联合计算个体方差贡献和贝叶斯相关性来确定重要性。该信息可以有利地以各种方式用于深入分析ESN结构及其与潜在问题的未知动态相关的状态空间参数。我们提出了使用LROFR构建的局部正则化线性读出。读出可以具有与ESN模型本身不同的维度，并且除了提高ESN的鲁棒性和准确性之外，它还将回波回归量与训练数据的不同特征相关联，并且可以确定什么类型的附加读出适合于手头的任务。此外，由于线性读出的灵活性有局限性，有时可能不足以满足某些任务，我们还提出了一个径向基函数（RBF）读出使用LROFR。它是一个灵活的和吝啬的读出具有良好的泛化能力，是一个可行的替代读出基于前馈神经网络（FFNN）或RBF网络建立使用相关向量机（RVM）。
2012-07-02 stat.ME stat.ML
Low-rank matrix estimation via nonconvex spectral regularized methods in errors-in-variables matrix regression
针对协变量含噪或缺失的变量含误差矩阵回归，提出基于非凸谱正则化的低秩估计统一框架，给出平稳点恢复界与多项式时间收敛保证，并通过矩阵压缩感知推论和数值实验验证性能。
2024-03-05 math.ST stat.ME stat.TH
Efficient regularized isotonic regression with application to gene--gene interaction search
Tel Aviv University（特拉维夫大学）
提出基于递归划分的正则化保序回归算法IRP，通过控制模型复杂度解决高维过拟合问题，并应用于基因-基因交互搜索。
2012-03-20 cs.SY eess.SY math.OC
Sparse Regression with Multi-type Regularized Feature Modeling
在统计和机器学习文献中，正则化技术通常用于构建稀疏（预测）模型。大多数正则化策略仅适用于所有预测变量都被同等对待的数据，例如Lasso回归用于将（连续）预测变量视为线性效应。然而，许多预测问题涉及不同类型的预测器，需要定制的正则化项。我们提出了一个多类型的Lasso惩罚，作用于目标函数作为subpenalties的总和，每种类型的预测。因此，我们允许预测器选择和预测器内的水平融合在数据驱动的方式，同时与参数估计过程。我们开发了一个新的估计策略，凸预测模型与这种多类型的惩罚。使用邻近算子的理论，我们的估计过程是计算高效的，将整体优化问题划分为更容易解决的子问题，具体针对每个预测器类型及其相关的惩罚。早期的研究将近似应用于不可微的惩罚来解决优化问题。所提出的SMuRF算法消除了近似的需要，并实现了更高的精度和计算效率。这是证明了一个广泛的模拟研究和保险定价分析的案例研究的分析。
2020-10-01 stat.CO stat.ME
Factor-Augmented Regularized Model for Hazard Regression
高维数据的一个普遍特征是协变量之间的相关性，当协变量高度相关时，模型选择具有挑战性。为了对高维考克斯比例风险模型在协变量具有因子结构的情况下进行模型选择，提出了一种新的风险回归因子增广正则化模型（Factor-Augmented Regularized Model for Hazard Regression，FarmHazard），该模型建立在驱动协变量依赖的潜在因子之上，扩展了Cox模型.这个新的模型生成的程序，通过从高维协变量向量中学习因子和特质成分，然后将它们用作新的预测因子，分两步操作。Cox模型是一种广泛用于生存分析的半参数模型，其中删失数据和时间依赖性协变量带来了额外的技术挑战。在较弱的条件下证明了模型选择相合性和估计相合性。我们还开发了一个因子增广变量筛选程序来处理超高维问题中的强相关性。大量的模拟和真实数据实验表明，该方法具有良好的性能，在模型选择、样本外C指数和筛选等方面都优于其他方法.
2022-10-03 math.ST stat.AP stat.ME
Total Variation Regularized Fréchet Regression for Metric-Space Valued Data
在数据应用中，越来越多地遇到使用标量预测器（例如时间）索引的非欧几里德数据，而针对此类随机对象的统计方法学和理论尚未得到很好的发展。为了解决这一领域对新方法的需求，我们开发了一种用于非参数Fréchet回归的全变差正则化技术，它是指回归设置，其中位于度量空间中的响应与标量预测因子配对，目标是条件Fréchet均值。具体来说，我们试图近似一个未知的度量空间值函数的估计，最小化最小二乘的Fréchet版本，并在同一时间有小的总变差，适当地定义为度量空间值的对象。我们表明，由此产生的估计是由一个分段常数函数表示，并建立了极小极大收敛速度的度量数据对象，居住在Hadamard空间的估计。我们说明了模拟和真实数据，包括度量空间的对称正定矩阵的仿射不变的距离，概率分布与瓦瑟斯坦距离，和系统发育树的Billera-Holmes-Vogtmann度量的方法的数值性能。
2021-08-22 math.ST stat.ME stat.TH
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；UMR CNRS LMNO（法国国家科学研究中心LMNO联合研究单位）
混合专家模型（Mixture of Experts，MoE）是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合，因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题，并提出了一个正则化的极大似然估计的方法，鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE，所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法：期望-优化-最大化（EM/MM）算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案，而无需阈值，并避免矩阵求逆，允许单变量参数更新。实验研究表明，该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
Analysis of overfitting in the regularized Cox model
Institute for Mathematical and Molecular Biomedicine, King’s College London（伦敦国王学院数学与分子生物医学研究所）；King’s College London（伦敦国王学院）；Saddle Point Science Ltd（鞍点科学有限公司）
考克斯比例风险模型在至事件发生时间数据的分析中普遍存在。然而，当数据维度p与样本量$N$相当时，已知其回归参数的最大似然估计会因过拟合而出现偏倚或完全崩溃。这促使了所谓的正则化Cox模型的引入。本文利用统计物理学中的副本方法，研究了在p和N都很大但p/N ~ O（1）的情况下，正则化多元Cox回归中L2正则化的真实回归参数与推断回归参数之间的关系。因此，我们将最近的研究从极大似然推广到最大后验推理。我们还建立了最佳正则化参数和p/N之间的关系，允许在时间-事件分析中进行简单的过拟合校正。
2019-07-25 cond-mat.dis-nn cs.LG math.ST
Regularized Nonlinear Regression with Dependent Errors and its Application to a Biomechanical Model
针对生物力学模型中非线性函数参数估计与选择问题，提出改进的惩罚加权最小二乘估计器，可处理乘性或加性时间相关误差，模拟与实证均优于现有方法。
2023-10-11 math.ST stat.ME stat.TH
The Choice of Normalization Influences Shrinkage in Regularized Regression
Department of Mathematical Sciences, University of Copenhagen（哥本哈根大学数学科学系）；Department of Statistics, Lund University（吕勒欧大学统计系）
本文首次系统研究归一化方法对套索、岭和弹性网络回归的影响，发现二值特征的类别平衡会干扰系数估计，并提出按方差/标准差缩放特征或惩罚权重以缓解该问题。
2025-07-03 cs.LG stat.ME stat.ML
Probabilistic Symbolic Regression for Equation Discovery via Operator-induced and Regularized Symbolic Forests
Texas A&M University（德克萨斯农工大学）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
该研究针对符号回归现有方法不足，引入概率符号回归框架，用符号树集合表示数学表达式，通过正则化先验和后验摘要控制复杂性与捕获不确定性，在理论上得出相关集中保证，实验显示其在多方面表现优越。
2026-08-31 cs.LG cs.SC math.ST
