Tuning parameter selection for the adaptive nuclear norm regularized trace regression
针对自适应核范数正则化迹回归,本文提出基于自由度无偏估计的 BIC 调优参数选择方法,并证明其秩一致性。
2024-05-11 math.OC stat.ME
Split Regularized Regression
我们提出了一种拟合线性回归模型的方法,该方法将协变量集分成组。通过最小化目标函数来执行将变量最优地分成组和回归系数的正则化估计,该目标函数鼓励每组内的稀疏性和它们之间的多样性。然后将估计的系数合并在一起以形成最终拟合。我们的过程在给定的惩罚线性回归估计器(例如,Lasso,弹性网),通过将其拟合到可能重叠的特征组,鼓励这些组之间的多样性,以减少相应预测的相关性。对于弹性网罚函数和正交预测函数两组情形,我们给出了每组中回归系数的封闭形式解。我们建立了我们的方法的一致性,预测因子的数量可能会随着样本量的增加而增加。一个广泛的模拟研究和实际数据的应用表明,在一般情况下,所提出的方法提高了预测精度的基础估计程序中使用。GLM和其他模型的可能扩展进行了讨论。本文的补充材料,可在线获得,包含我们的理论结果的证明和我们的模拟研究的全部结果。
2019-12-12 stat.ME
Feature Selection via Block-Regularized Regression
识别具有内部结构的非常高维特征空间中的共变因果元素,例如,在统计学习中,具有多达数百万个线性排序特征的空间(如在诸如全基因组关联(WGA)映射的问题中通常遇到的)仍然是一个开放的问题。我们提出了一个用于高维空间中稀疏变量选择的块正则化回归模型,其中协变量是线性排序的,并且可能受到局部统计联系(例如,块结构)。我们的目标是确定相关协变量的一个小子集,这些协变量不仅来自排序中的随机位置,而且来自大量有序协变量的连续块。在一个典型的线性回归框架之间的功能和响应,我们提出的模型采用了稀疏执行拉普拉斯先验的回归系数,增强了一阶马尔可夫过程沿特征序列,“激活”的回归系数在一个耦合的方式。我们描述了一个基于采样的学习算法,并证明了我们的方法在模拟和生物数据下的标记识别WGA的性能。
2012-06-13 stat.ME
Principal Covariate Regression with Nuclear Norm Penalty
Unit Methodology and Statistics, Institute of Psychology(方法学与统计单元,心理学研究所);Leiden University(莱顿大学)
提出PcovRnnp方法,通过核范数惩罚同时实现高维数据中的降维和正则化回归,避免传统方法分步选择的缺陷。
2026-06-23 stat.ME
Implicit Copulas from Bayesian Regularized Regression Smoothers
我们展示了如何从带有高斯扰动的贝叶斯正则化回归平滑器中提取响应向量的隐式copula。Copula可以用来比较采用不同收缩先验和函数基的平滑器。我们说明了三个流行的选择收缩先验-成对先验,马蹄铁先验和g先验增强与一个点质量作为贝叶斯变量选择-和单变量和多变量函数的基础。隐式copula是高维的,具有灵活的依赖结构,远离高斯copula,并且在封闭形式中不可用。然而,我们展示了如何通过首先构建正则化参数的高斯Copula条件,然后在这些条件下进行积分来评估它们。结合非参数边界,正则化平滑器可用于以协变量为条件对非高斯单变量响应的分布进行建模。有效的马尔可夫链蒙特卡罗计划评估Copula的情况下。使用模拟和真实数据,我们展示了这样的Copula平滑模型如何提高所得函数估计和预测分布的质量。
2018-05-14 stat.ME
Tuning parameter calibration for $\ell_1$-regularized logistic regression
特征选择是理解和建模高维分类数据的标准方法,但相应的统计方法取决于难以校准的调优参数。特别是,现有的校准方案中的逻辑斯谛回归框架缺乏任何有限的样本保证。在本文中,我们介绍了一种新的校准方案$\ell_1$惩罚逻辑斯谛回归。它是基于简单的测试沿调谐参数路径,并配备了最佳的保证功能选择。它还适合简单有效的实现,并且在模拟和真实数据应用中与现有方法相媲美或优于现有方法。
2019-02-28 math.ST stat.ME stat.ML
Adaptive group-regularized logistic elastic net regression
针对高维数据下纳入特征外部信息提升回归效果的难题,提出名为gren的组正则化逻辑弹性网回归方法,用近似经验变分贝叶斯框架估计参数,实验验证其在特征划分有信息时可提升分类和特征选择性能。
2018-05-01 stat.ME
Ridge Regularized Estimation of VAR Models for Inference
本文研究VAR模型估计推断中的岭回归方法,分析各向异性惩罚影响、渐近分布与交叉验证性质,通过蒙特卡洛模拟评估脉冲响应估计并对比多种方法。
2023-07-06 stat.ME
Bias-Aware Inference in Regularized Regression Models
University of Southern California(南加州大学);Princeton University(普林斯顿大学);Brown University(布朗大学)
本文研究控制系数受约束时标量回归系数的推断问题,提出基于正则化倾向得分回归的偏差感知估计量和置信区间,证明其在有限样本中近最优,并给出高维渐近下的最优收敛速率。
2026-10-22 econ.EM stat.ME
Model-assisted sensitivity analysis for treatment effects under unmeasured confounding via regularized calibrated estimation
考虑使用敏感性分析估计未测量混杂情况下的平均处理效应,假设满足边际敏感性模型。在人口水平上,我们提供了新的表示尖锐的人口界和双重强大的估计功能,最近来自多恩,郭和Kallus。我们还根据加权线性结果分位数回归推导出新的、宽松的种群界限。在样本水平上,我们开发了新的方法和理论,不仅获得双重稳健的点估计的放松人口界相对于误指定的倾向得分模型或结果均值回归模型,但也模型辅助的置信区间是有效的,如果正确指定的倾向得分模型,但结果分位数和均值回归模型可能被误指定。如果正确指定了结果分位数回归,则放松的总体边界减少到锐边界。对于线性结果均值回归模型,置信区间也具有双重稳健性。我们的方法涉及正则化校准估计,Lasso惩罚,但精心选择的损失函数,拟合倾向得分和结果的平均值和分位数回归模型。我们提出了一个模拟研究和实证应用的观察性研究的影响,右心导管插入术。
2022-09-23 stat.ME
Efficient regularized isotonic regression with application to gene--gene interaction search
Tel Aviv University(特拉维夫大学)
提出基于递归划分的正则化保序回归算法IRP,通过控制模型复杂度解决高维过拟合问题,并应用于基因-基因交互搜索。
2012-03-20 cs.SY eess.SY math.OC
CR-Lasso: Robust cellwise regularized sparse regression
针对逐单元异常值污染下的稀疏回归问题,提出 CR-Lasso,通过联合最小化回归损失与逐单元偏离度量实现稳健特征选择,并在模拟比较和骨密度真实数据中验证其竞争力。
2024-03-01 stat.CO stat.ME
Regularized Regression by Composition: Identifiability, Structured Penalization, and Statistical Guarantees for Multi-Flow Distributional Models
Al-Muthanna University(穆萨纳大学)
本文提出通过组合方法实现正则化回归,解决多流分布模型中的非可识别问题,通过结构化惩罚提升估计稳定性,并在不同样本规模下验证了方法的有效性。
2026-03-26 stat.ME
Regularized joint mixture models
正则化回归模型已得到充分研究,并且在适当的条件下,可以提供快速且统计上可解释的结果。然而,在许多应用程序中的大数据是异构的,在这个意义上隐藏的潜在组之间的分布差异。然后,给定特征X的响应Y的条件分布对于所有样本都相同的假设可能不成立。此外,在科学应用中,特征的协方差结构可能包含重要的信号,其学习也受到潜在群体结构的影响。我们提出了一类配对数据(X,Y)的混合模型,它将X的分布(使用稀疏图模型)和条件Y的分布耦合在一起,|X(使用稀疏回归模型)。回归和图形模型是特定于潜在组的,并且模型参数是联合估计的(因此称为“正则化联合混合”)。这允许特征分布和回归模型中的任一个或两者中的信号通知潜在结构的学习,并提供对这种结构的混淆的自动控制。估计是通过一个期望最大化算法,其收敛性建立在理论上。我们通过实证的例子来说明关键的想法。R包可在https://github.com/k-perrakis/regjmix上获得。
2022-10-22 stat.ME
Regularized Parameter Estimation in Mixed Model Trace Regression
提出混合模型迹回归MMTR,结合lasso、低秩Kronecker协方差结构与group lasso秩选择,并通过稳定EM算法估计参数,在模拟和图像数据上表现优异。
2025-03-18 stat.CO stat.ME
Factor-Augmented Regularized Model for Hazard Regression
高维数据的一个普遍特征是协变量之间的相关性,当协变量高度相关时,模型选择具有挑战性。为了对高维考克斯比例风险模型在协变量具有因子结构的情况下进行模型选择,提出了一种新的风险回归因子增广正则化模型(Factor-Augmented Regularized Model for Hazard Regression,FarmHazard),该模型建立在驱动协变量依赖的潜在因子之上,扩展了Cox模型.这个新的模型生成的程序,通过从高维协变量向量中学习因子和特质成分,然后将它们用作新的预测因子,分两步操作。Cox模型是一种广泛用于生存分析的半参数模型,其中删失数据和时间依赖性协变量带来了额外的技术挑战。在较弱的条件下证明了模型选择相合性和估计相合性。我们还开发了一个因子增广变量筛选程序来处理超高维问题中的强相关性。大量的模拟和真实数据实验表明,该方法具有良好的性能,在模型选择、样本外C指数和筛选等方面都优于其他方法.
2022-10-03 math.ST stat.AP stat.ME
A New Family of Error Distributions for Bayesian Quantile Regression
我们为基于模型的分位数回归提出了一系列新的误差分布,该分布是通过正态分布的结构化混合构造的。该构造使得能够固定分布的特定顶点,同时允许变化的模式、偏度和尾部行为。因此,它克服了非对称拉普拉斯分布的严重限制-参数分位数回归最常用的误差模型-其中,当特定百分位数固定时,误差密度的偏度完全指定。我们提出了一个贝叶斯公式的建议分位数回归模型,包括条件套索正则化的分位数回归的基础上的分层拉普拉斯先验的回归系数,和Tobit分位数回归模型。后验推理通过马尔可夫链蒙特卡罗方法实现。通过模型的相关性质研究了新模型相对于非对称Laplace分布的灵活性,并通过模拟实验比较了正则化分位数回归中两种误差分布。此外,线性分位数回归,正则化分位数回归和Tobit分位数回归的模型性能与数据的例子,以前已经考虑在文献中说明。
2017-02-09 stat.ME
Better prediction by use of co-data: Adaptive group-regularized ridge regression
对于许多高维研究,变量的其他信息,如(基因组)注释或外部p值,是可用的。在二元和连续预测的背景下,我们开发了一种自适应组正则化(逻辑)岭回归的方法,该方法结构性地使用这种“协数据”。这里,“组”是指根据协数据对变量的分区。我们推导出特定于组的惩罚的经验贝叶斯估计,它具有几个很好的特性:i)它们是分析性的; ii)它们适应手头数据的协数据的信息性; iii)只有一个全局惩罚参数需要通过交叉验证进行调整。此外,该方法允许使用多种类型的协数据,只需很少的额外计算工作量。我们表明,特定于组的处罚可能会导致更大的区别“接近零”和相对较大的回归参数,这有利于事后变量的选择。该方法被称为GRridge,在一个易于使用的R-包中实现。这是证明了两个癌症基因组学研究,这两个关注的癌前宫颈病变的正常宫颈组织使用甲基化微阵列数据的歧视。对于这两个例子,GRridge明显提高了普通逻辑岭回归和组套索的预测性能。此外,我们表明,对于第二项研究,当只选择42个变量时,保持了相对较好的预测性能。
2015-05-18 stat.ME
Consistent information criteria for regularized regression and loss-based learning problems
本文提出一种广义信息准则(IC)框架,用于一致估计基于损失的学习问题,并针对广义线性模型(GLM)回归提出一致估计方法,将模型集扩展至不可数集合,同时提供了有限样本下的计算程序并通过模拟验证。
2024-04-26 stat.ME
Regularized Reduced Rank Regression for mixed predictor and response variables
University of Naples Federico II(那不勒斯费德里科二世大学);Leiden University(莱顿大学)
本文提出GMR4模型,通过正则化技术提升高维数据下的回归性能,适用于混合类型预测和响应变量,实现稀疏且可解释的解决方案。
2025-12-15 stat.ME
Regularized zero-inflated Bernoulli regression model
针对高维场景下二分类数据零值过多导致传统Logistic回归估计不准的问题,提出结合Ridge和Lasso的正则化零膨胀伯努利回归模型,证明了估计量的统计性质,通过模拟和真实数据验证了其有效性。
2025-02-23 math.ST stat.ME stat.TH
Regularized Matrix Regression
现代技术正在产生大量具有复杂结构的数据。例如,在二维数字成像、流式细胞术和脑电图中,当针对两个基础变量的每个组合获得测量值时,经常出现矩阵型协变量。为了解决这些数据产生的科学问题,需要将矩阵作为协变量的新回归方法,并且由于矩阵数据的多维性和复杂结构,稀疏性或其他形式的正则化至关重要。流行的套索和相关的正则化方法取决于真实信号的非零系数的数量的稀疏性。然而,对于矩阵数据,真实信号通常是低秩结构,或者可以很好地近似于低秩结构。因此,稀疏性通常是以矩阵参数的低秩的形式,这可能严重违反经典套索的假设。本文提出了一类基于谱正则化的正则矩阵回归方法。提出了一种高效、可扩展的估计算法,推导了沿正则化路径进行模型选择的自由度公式,并通过仿真和实际算例验证了该方法的优越性能。
2012-04-15 stat.CO stat.ME
Exact Coordinate Descent for High-Dimensional Regularized Huber Regression
University of Alabama(阿拉巴马大学);University of Cambridge(剑桥大学);Cornell University(康奈尔大学)
提出一种精确坐标下降算法求解弹性网惩罚的高维Huber回归,通过自适应变量筛选规则加速收敛,在重尾噪声和高相关预测变量下保持稳定高效。
2026-08-17 stat.ME
$σ$-Ridge: group regularized ridge regression via empirical Bayes noise level cross-validation
预测模型中的特征是不可交换的,但常见的监督模型将其视为可交换的。在这里,我们研究岭回归时,分析师可以划分到$K$组的基础上外部边信息的功能。例如,在高通量生物学中,特征可以表示基因表达、蛋白质丰度或临床数据,因此每个特征组表示不同的模态。分析人员的目标是选择最佳的正则化参数$λ= (λ_1, \dotsc, λ_K)$ --每组一个。在这项工作中,我们研究的影响$λ$的预测风险的组正则化岭回归通过推导极限风险公式下的高维随机效应模型与$p\asymp n$作为$n \to \infty$。此外,我们提出了一个数据驱动的方法来选择$λ$,达到最佳的渐近风险:关键的想法是解释残余噪声方差$σ^2$,作为一个正则化参数,通过交叉验证选择。经验贝叶斯构造将一维参数$σ$映射到正则化参数的$K$维向量,即,$σ\mapsto \widehatλ(σ)$。除了理论上的最优性,该方法是实用的,运行速度快的交叉验证岭回归没有功能组($K=1$)。
2021-03-04 math.ST stat.ME stat.TH
Safe subspace screening for the adaptive nuclear norm regularized trace regression
针对自适应核范数正则化迹回归的计算加速问题,提出基于矩阵分解与最优条件的安全子空间筛选规则,嵌入交替方向乘子法,通过消除非活跃子空间降维提速,经模拟与真实数据集实验验证了有效性。
2024-04-15 math.OC stat.ME
Stochastic tree ensembles for regularized nonlinear regression
City University of Hong Kong(香港城市大学);Arizona State University(亚利桑那州立大学)
本文提出了一种新的随机树集成方法,用于非线性回归,我们称之为XBART,简称加速贝叶斯加性回归树。通过将贝叶斯建模的正则化和随机搜索策略与递归分区方法的计算效率技术相结合,新方法获得了最先进的性能:在许多设置中,它比广泛使用的XGBoost算法更快,更准确。通过仔细的模拟研究,我们证明了我们的新方法提供了平均函数的精确逐点估计,并且比流行的替代方案(如BART,XGBoost和神经网络(使用Keras))更快。我们还证明了一些基本的理论结果,包括单树版本的模型的一致性和平稳性的马尔可夫链产生的集成版本。此外,我们表明,初始化标准贝叶斯加性回归树马尔可夫链蒙特卡罗(MCMC)在XBART拟合树大大提高了可信区间覆盖率,减少总运行时间。
2021-06-03 cs.LG stat.ME stat.ML
Singular ridge regression with homoscedastic residuals: generalization error with estimated parameters
本文描述了有限样本岭回归估计的条件分布特性,并使用该结果来评估总的回归和泛化误差,包括在参数估计时所犯的不准确性。文中给出了这些误差的显式计算公式。与其他经典的参考文献在此设置,我们的结果发生在一个完全奇异的设置,不假设存在一个解决方案的非正则化回归问题。作为交换,我们对正则化回归残差调用条件同方差假设,这在我们的发展中至关重要。
2016-05-29 stat.ME stat.ML
Nearly Optimal Learning using Sparse Deep ReLU Networks in Regularized Empirical Risk Minimization with Lipschitz Loss
该研究提出带Lipschitz损失的正则化经验风险最小化下的稀疏深度ReLU网络估计器,推导其非渐近超额风险界,得到近最优收敛速率,可少参数深网络实现回归估计并缓解过拟合。
2024-12-09 stat.ME
Low-rank matrix estimation via nonconvex spectral regularized methods in errors-in-variables matrix regression
针对协变量含噪或缺失的变量含误差矩阵回归,提出基于非凸谱正则化的低秩估计统一框架,给出平稳点恢复界与多项式时间收敛保证,并通过矩阵压缩感知推论和数值实验验证性能。
2024-03-05 math.ST stat.ME stat.TH
Regularized High-Dimensional Additive Tensor Autoregressive Model
Indian Institute of Management Udaipur(印度管理学院乌代浦尔分校);Indian Institute of Management Ahmedabad(印度管理学院艾哈迈达巴德分校)
针对高维时间序列分析,提出正则化可加张量自回归模型,通过交替块极小化算法估计参数,在合成与真实数据上验证其有效性,兼具可解释性与低计算负担。
2026-08-28 stat.ME
Semi-supervised empirical Bayes group-regularized factor regression
本文提出一种半监督经验贝叶斯组正则化因子回归方法,利用特征先验信息与未标记数据提升高维生物医学预测性能,并通过模拟及流感疫苗效力和口腔癌转移预测应用验证其有效性。
2021-04-06 stat.ME
Readouts for Echo-state Networks Built using Locally Regularized Orthogonal Forward Regression
回声状态网络(ESN)被看作是一个时间非正交扩展与伪随机参数。这种扩展自然会产生与教师输出相关的各种回归变量。我们说明,往往只有一定数量的生成的回声回归有效地解释教师输出的方差,也是唯一的局部正则化是无法提供深入的信息,所生成的回归的重要性。因此,通过使用局部正则化正交前向回归(LROFR)算法联合计算个体方差贡献和贝叶斯相关性来确定重要性。该信息可以有利地以各种方式用于深入分析ESN结构及其与潜在问题的未知动态相关的状态空间参数。我们提出了使用LROFR构建的局部正则化线性读出。读出可以具有与ESN模型本身不同的维度,并且除了提高ESN的鲁棒性和准确性之外,它还将回波回归量与训练数据的不同特征相关联,并且可以确定什么类型的附加读出适合于手头的任务。此外,由于线性读出的灵活性有局限性,有时可能不足以满足某些任务,我们还提出了一个径向基函数(RBF)读出使用LROFR。它是一个灵活的和吝啬的读出具有良好的泛化能力,是一个可行的替代读出基于前馈神经网络(FFNN)或RBF网络建立使用相关向量机(RVM)。
2012-07-02 stat.ME stat.ML
Sparse Regression with Multi-type Regularized Feature Modeling
在统计和机器学习文献中,正则化技术通常用于构建稀疏(预测)模型。大多数正则化策略仅适用于所有预测变量都被同等对待的数据,例如Lasso回归用于将(连续)预测变量视为线性效应。然而,许多预测问题涉及不同类型的预测器,需要定制的正则化项。我们提出了一个多类型的Lasso惩罚,作用于目标函数作为subpenalties的总和,每种类型的预测。因此,我们允许预测器选择和预测器内的水平融合在数据驱动的方式,同时与参数估计过程。我们开发了一个新的估计策略,凸预测模型与这种多类型的惩罚。使用邻近算子的理论,我们的估计过程是计算高效的,将整体优化问题划分为更容易解决的子问题,具体针对每个预测器类型及其相关的惩罚。早期的研究将近似应用于不可微的惩罚来解决优化问题。所提出的SMuRF算法消除了近似的需要,并实现了更高的精度和计算效率。这是证明了一个广泛的模拟研究和保险定价分析的案例研究的分析。
2020-10-01 stat.CO stat.ME
Analysis of overfitting in the regularized Cox model
Institute for Mathematical and Molecular Biomedicine, King’s College London(伦敦国王学院数学与分子生物医学研究所);King’s College London(伦敦国王学院);Saddle Point Science Ltd(鞍点科学有限公司)
考克斯比例风险模型在至事件发生时间数据的分析中普遍存在。然而,当数据维度p与样本量$N$相当时,已知其回归参数的最大似然估计会因过拟合而出现偏倚或完全崩溃。这促使了所谓的正则化Cox模型的引入。本文利用统计物理学中的副本方法,研究了在p和N都很大但p/N ~ O(1)的情况下,正则化多元Cox回归中L2正则化的真实回归参数与推断回归参数之间的关系。因此,我们将最近的研究从极大似然推广到最大后验推理。我们还建立了最佳正则化参数和p/N之间的关系,允许在时间-事件分析中进行简单的过拟合校正。
2019-07-25 cond-mat.dis-nn cs.LG math.ST
Total Variation Regularized Fréchet Regression for Metric-Space Valued Data
在数据应用中,越来越多地遇到使用标量预测器(例如时间)索引的非欧几里德数据,而针对此类随机对象的统计方法学和理论尚未得到很好的发展。为了解决这一领域对新方法的需求,我们开发了一种用于非参数Fréchet回归的全变差正则化技术,它是指回归设置,其中位于度量空间中的响应与标量预测因子配对,目标是条件Fréchet均值。具体来说,我们试图近似一个未知的度量空间值函数的估计,最小化最小二乘的Fréchet版本,并在同一时间有小的总变差,适当地定义为度量空间值的对象。我们表明,由此产生的估计是由一个分段常数函数表示,并建立了极小极大收敛速度的度量数据对象,居住在Hadamard空间的估计。我们说明了模拟和真实数据,包括度量空间的对称正定矩阵的仿射不变的距离,概率分布与瓦瑟斯坦距离,和系统发育树的Billera-Holmes-Vogtmann度量的方法的数值性能。
2021-08-22 math.ST stat.ME stat.TH
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);UMR CNRS LMNO(法国国家科学研究中心LMNO联合研究单位)
混合专家模型(Mixture of Experts,MoE)是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合,因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题,并提出了一个正则化的极大似然估计的方法,鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE,所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法:期望-优化-最大化(EM/MM)算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案,而无需阈值,并避免矩阵求逆,允许单变量参数更新。实验研究表明,该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
Elastic Net Regularization Paths for All Generalized Linear Models
Lasso和弹性网是监督学习中常用的正则化回归模型。Friedman,Hastie,and Tibshirani(2010)介绍了一种计算效率高的算法,用于计算普通最小二乘回归、逻辑斯谛回归和多项逻辑斯谛回归的弹性网正则化路径,而Simon,Friedman,Hastie,and Tibshirani(2011)将这项工作扩展到右删失数据的Cox模型。我们进一步扩展了弹性网正则化回归的范围到所有的广义线性模型家族,Cox模型(开始,停止)数据和地层,和一个简化版本的放松套索。我们还讨论了方便的效用函数来衡量这些拟合模型的性能。
2021-03-05 stat.CO stat.ME
Regularized Zero-Variance Control Variates
零方差控制变量(ZV-CV)是一种使用对数目标的导数来减小期望的蒙特卡罗估计的方差的后处理方法。一旦导数可用,唯一的额外计算工作在于解决线性回归问题。在低维的例子中,这种方法已经实现了显着的方差减少,但回归中的协变量的数量随着目标的维数迅速增加。在本文中,我们提出了令人信服的经验证据,使用惩罚回归技术在高维控制变量的选择提供了性能增益超过经典的最小二乘法。另一种类型的正则化的基础上使用的衍生物,或先验正则化,因为我们在本文中提到的,也提出了减少计算和存储的要求。给出了几个例子,说明正则化ZV-CV用于贝叶斯推断的实用性和局限性。本文提出的方法可以通过R软件包ZVCV访问。
2022-08-16 stat.CO stat.ME
Regularized Nonlinear Regression with Dependent Errors and its Application to a Biomechanical Model
针对生物力学模型中非线性函数参数估计与选择问题,提出改进的惩罚加权最小二乘估计器,可处理乘性或加性时间相关误差,模拟与实证均优于现有方法。
2023-10-11 math.ST stat.ME stat.TH
The Choice of Normalization Influences Shrinkage in Regularized Regression
Department of Mathematical Sciences, University of Copenhagen(哥本哈根大学数学科学系);Department of Statistics, Lund University(吕勒欧大学统计系)
本文首次系统研究归一化方法对套索、岭和弹性网络回归的影响,发现二值特征的类别平衡会干扰系数估计,并提出按方差/标准差缩放特征或惩罚权重以缓解该问题。
2025-07-03 cs.LG stat.ME stat.ML
Robust Dual-Regularized Variable Selection under Outlier Contamination
Case Western Reserve University(凯斯西储大学);University of North Dakota(北达科他大学);CNRS UMR 6205, Univ Bretagne Sud(法国国家科学研究中心联合研究实验室第6205号,南布列塔尼大学)
针对外点污染下单指标模型的变量选择问题,提出两阶段稀疏中位数梯度外积(smOPG)方法,结合中位数回归与局部加权实现鲁棒性,模拟与实证均优于现有方法。
2026-09-21 stat.CO stat.ME stat.ML
Community Detection for Hypergraph Networks via Regularized Tensor Power Iteration
到目前为止,社会网络分析主要集中在成对的相互作用。通过超图网络对高阶相互作用的研究带来了新的见解。我们研究超图网络中的社区发现。一种流行的方法是将超图投影到图上,然后应用图网络的社区检测方法,但我们表明这种方法可能会导致不必要的信息丢失。我们提出了一种新的方法,直接对超图的社区检测。我们方法的核心是正则化高阶正交迭代(reg-HOOI)算法,该算法计算网络邻接张量的近似低秩分解。与现有的张量分解方法,如HOSVD和香草HOOI相比,reg-HOOI产生更好的性能,特别是当超图是稀疏的。给定张量分解的输出,我们然后将社区检测方法SCORE(Jin,2015)从图网络推广到超图网络。我们将新方法称为Tensor-SCORE。在理论上,我们引入了超图的度校正块模型(hDCBM),并证明了Tensor-SCORE对广泛的网络稀疏性和度异质性产生一致的社区检测。作为一个副产品,我们得到的reg-HOOI估计主子空间的收敛速度,不同的初始化,包括我们提出的两个新的初始化方法,对角删除HOSVD和随机图投影。我们将我们的方法应用到几个真正的超图网络,产生令人鼓舞的结果。这表明,探索高阶交互提供了图形表示中看不到的额外信息。
2020-01-02 math.ST stat.ME stat.TH
Community Detection on Mixture Multi-layer Networks via Regularized Tensor Decomposition
Hong Kong University of Science and Technology(香港科技大学)
我们研究了多层网络中的社区发现问题,其中节点对可以以多种方式相关。我们引入一个总体框架,即,混合多层随机块模型(MMSBM),它包括许多早期的模型作为特例。我们提出了一个基于张量的算法(TWIST)来揭示节点的全局/局部成员资格和层的成员资格。我们表明,TWIST过程可以准确地检测社区的节点和/或层数的增加,具有小的误分类错误。数值研究证实了我们的理论发现。据我们所知,这是第一个系统的研究混合多层网络使用张量分解。该方法被应用到两个真实的数据集:全球贸易网络和疟疾寄生虫基因网络,产生新的和有趣的发现。
2020-02-10 cs.IT cs.LG cs.SI
Probabilistic Symbolic Regression for Equation Discovery via Operator-induced and Regularized Symbolic Forests
Texas A&M University(德克萨斯农工大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
该研究针对符号回归现有方法不足,引入概率符号回归框架,用符号树集合表示数学表达式,通过正则化先验和后验摘要控制复杂性与捕获不确定性,在理论上得出相关集中保证,实验显示其在多方面表现优越。
2026-08-31 cs.LG cs.SC math.ST