Group descent algorithms for nonconvex penalized linear and logistic regression models with grouped predictors
惩罚回归是变量选择问题的一个有吸引力的框架。通常，变量具有分组结构，相关的选择问题是选择组，而不是单个变量。群体套索是将套索的思想扩展到群体选择问题的一种方法。SCAD和MCP等非凸罚函数已经被提出，并显示出比套索有几个优点;这些罚函数也可以扩展到组选择问题，从而产生组SCAD和组MCP方法。在这里，我们描述的算法，以适应这些模型稳定和有效。此外，我们提出了模拟结果和实际数据的例子比较和对比这些方法的统计特性。
2013-08-23 stat.CO stat.ML
Optimization with Sparsity-Inducing Penalties
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）；University of California（加利福尼亚大学）
稀疏估计方法旨在使用或获得数据或模型的简约表示。它们最初致力于线性变量选择，但现在已经出现了许多扩展，例如结构化稀疏或内核选择。事实证明，许多相关的估计问题可以通过用适当的非光滑范数正则化经验风险来转化为凸优化问题。本文的目标是从一个一般的角度来介绍专门用于这种稀疏诱导处罚的优化工具和技术。我们涵盖近端方法，块坐标下降，重新加权$\ell_2$惩罚技术，工作集和同伦方法，以及非凸配方和扩展，并提供了一个广泛的实验，从计算的角度来看，各种算法进行比较。
2011-11-22 cs.LG math.OC stat.ML
Regularisation Paths for Conditional Logistic Regression: the clogitL1 package
我们将Friedman，Hastie和Tibshirani（2010）的循环坐标下降算法应用于具有lasso（$\ell_1$）和弹性网惩罚的条件逻辑斯谛回归模型的拟合。Tibshirani等人（2012）的顺序强规则也用于算法中，并且表明这些规则比具有热启动的标准坐标下降算法提供了相当大的速度。一旦实施，该算法用于模拟研究，比较变量的选择和预测性能的条件逻辑斯谛回归模型对它的无条件（标准）对应。我们发现，条件模型表现令人钦佩的数据集从一个合适的条件分布，优于其无条件的变量选择。条件模型也适合一个小的真实世界数据集，展示了我们如何获得模型参数的正则化路径，以及我们如何在自然无条件预测规则难以获得的情况下对该方法应用交叉验证。
2014-05-14 stat.ME
Gap Safe screening rules for sparsity enforcing penalties
在高维回归设置中，稀疏强制惩罚已被证明有助于正则化数据拟合项。最近引入的一种称为筛选规则的技术建议忽略优化中的一些变量，利用解决方案的预期稀疏性，从而导致更快的求解器。当过程保证不会错误地丢弃变量时，这些规则被称为安全的。在这项工作中，我们提出了一个统一的框架，广义线性模型正则化与标准的稀疏执行处罚，如$\ell_1$或$\ell_1/\ell_2$规范。我们的技术允许安全地丢弃比以前认为的安全规则更多的变量，特别是对于低正则化参数。我们提出的间隙安全规则（所谓的，因为它们依赖于对偶间隙计算）可以应付任何迭代求解器，但特别适合（块）坐标下降方法。应用于许多标准学习任务，Lasso，稀疏组Lasso，多任务Lasso，二进制和多项式逻辑斯谛回归等，我们在所有测试数据集上报告了与先前提出的安全规则相比的显著加速。
2017-12-27 cs.LG math.OC stat.CO
Computational Sufficiency, Reflection Groups, and Generalized Lasso Penalties
我们在Vu（2018，arXiv：1807.05985）引入的计算充分性框架内研究了具有广义套索惩罚的估计量。通过表示这些处罚的支撑函数zonotopes和更一般的Minkowski总和的线段和射线，我们表明，有一个自然的反射组相关的基本最优化问题。这种观点的一个结果是，对于共享相同惩罚的大类估计量，惩罚最小二乘估计量在计算上是最小的。这意味着所有这样的估计量都可以通过优化最小二乘情况下任何算法的输出来计算。一个有趣的技术组件是我们对对偶问题的坐标下降的分析。一个关键的见解是，迭代是通过反射和平均获得的，因此它们收敛到对偶可行集的一个元素，该元素相对于与惩罚相关联的组引起的排序是最小的。我们的主要应用是融合套索/全变差去噪和保序回归任意图。在那些情况下，相关联的群是置换群。
2018-09-08 math.ST stat.CO stat.TH
Learning Multi-Attribute Differential Graphs with Non-Convex Penalties
Auburn University（奥本大学）
针对两个结构相似的多属性 GGM，本文提出带 log-sum 与 SCAD 非凸惩罚的 D-trace 差分图估计方法，并用近端梯度优化，给出高维理论保证与实验验证。
2025-05-14 cs.LG eess.SP stat.ML
Probabilistic Best Subset Selection via Gradient-Based Optimization
在高维统计中，变量选择从所有可能的协变量组合中恢复潜在的稀疏模式。本文提出了一种新的优化方法来解决精确的L0-正则化回归问题，这也被称为最佳子集选择。我们重新制定的优化问题从一个离散的空间到一个连续的概率重新参数化。新的目标函数是可微的，但它的梯度往往不能计算在一个封闭的形式。然后，我们提出了一个家庭的无偏梯度估计优化的最佳子集选择目标的随机梯度下降。在这个家庭中，我们确定一致最小方差的估计。在理论上，我们研究了保证该方法按期望收敛到地面真值的一般条件。该方法可以在几秒钟内从数千个协变量中找到真正的回归模型。在各种各样的合成和半合成数据，所提出的方法优于现有的变量选择工具的基础上放松处罚，坐标下降，混合整数优化稀疏模式恢复和样本预测。
2022-06-01 stat.ME
Multicategory vertex discriminant analysis for high-dimensional data
为了应对数据挖掘的挑战，判别分析作为统计学的一个重要分支不断发展。我们最近引入的顶点判别分析（VDA）方法非常适合处理多个类别和训练案例中过多的预测因子。本文探讨了一种同时进行分类和变量选择的VDA阐述。向VDA损失函数添加lasso（$\ell_1$ -范数）和欧几里德罚分可消除不必要的预测因子。Lasso罚分分别应用于每个预测因子系数; Euclidean罚分将单个预测因子的集体系数分组。有了这些惩罚，循环坐标下降加速了所有系数的估计。我们对模拟和基准真实数据的测试证明了惩罚VDA在高维环境中建模和预测的优点。
2011-01-05 stat.AP
Coordinate descent algorithms for nonconvex penalized regression, with applications to biological feature selection
已经提出了一些涉及非凸罚函数的变量选择方法。这些方法，其中包括平滑剪切绝对偏差（SCAD）罚款和极小极大凹罚（MCP），已被证明具有吸引人的理论属性，但模型拟合不是一个简单的任务，并且所得的解决方案可能是不稳定的。在这里，我们展示了坐标下降算法拟合这些模型的潜力，建立理论收敛特性，并证明它们比竞争方法快得多。此外，我们证明了凸性诊断的效用，以确定区域的参数空间中的目标函数是局部凸的，即使惩罚不是。我们的模拟研究和数据的例子表明，像MCP和SCAD的非凸处罚是值得的替代套索在许多应用中。特别是，我们的数值结果表明，MCP是三种方法中的首选方法。
2011-04-14 stat.AP
Matrix Completion via Nonconvex Regularization: Convergence of the Proximal Gradient Algorithm
Shanghai Jiao Tong University（上海交通大学）
在过去的十年中，矩阵完备化在机器学习和计算机视觉中引起了人们的极大兴趣。对于矩阵完备化中的低秩提升，核范数罚因其凸性而方便，但存在偏差问题。近年来，人们提出了各种使用非凸罚函数的算法，其中最有效的算法之一是近端梯度下降算法。对于非凸PGD算法，它是否收敛于局部极小点及其收敛速度还不清楚。本文对非凸情形下的PGD算法进行了非平凡分析。除了收敛到一个稳定点的广义非凸处罚，我们提供了更深入的分析一类流行的和重要的非凸处罚，具有不连续的阈值功能。对于这种惩罚，我们建立了PGD算法的有限秩收敛性，收敛到严格限制的局部极小点，并最终线性收敛速度。同时，收敛到一个局部极小值已被证明为硬阈值惩罚。我们的结果是第一次表明，非凸正则矩阵完备化只存在严格限制的局部极小点，并且PGD算法在一定条件下能够以最终线性速度收敛到这样的极小点。还通过实验对PGD算法进行了说明。代码可在https://github.com/FWen/nmc上获得。
2019-03-02 cs.LG math.OC stat.ML
High-Dimensional Sparse Additive Hazards Regression
删失生存数据的高维稀疏建模具有重要的实际意义，例如在高通量基因组数据分析和信用风险分析中的现代应用。本文结合非凹惩罚似然方法和伪得分方法，提出了一类可加风险模型中同时变量选择和估计的正则化方法.在一个高维的设置中，维度可以快速增长，多项式或非多项式，与样本量，我们建立了弱预言性质和预言性质下温和的，可解释的条件，从而提供了强有力的性能保证所提出的方法。此外，我们表明，$L_1$方法所需的正则条件大大放宽了一定的一类稀疏诱导凹处罚。因此，凹惩罚，如平滑剪切绝对偏差（SCAD），最小最大凹惩罚（MCP），和计数和绝对偏差的平滑积分（SICA）可以显着改善的$L_1$方法，并产生更稀疏的模型具有更好的预测性能。我们提出了一个坐标下降算法的有效实施，并严格调查其收敛性。仿真研究和实际数据的例子证明了所提出的方法的实用性和有效性。
2012-12-26 math.ST stat.ME stat.TH
Signal Lasso with Non-Convex Penalties for Efficient Network Reconstruction and Topology Inference
针对网络重构中凸惩罚 signal lasso 调参耗时的问题，提出两种非凸惩罚与坐标下降算法，可在少量观测下快速推断拓扑。
2025-08-30 math.ST stat.TH
Proximal Algorithms in Statistics and Machine Learning
University of Chicago（芝加哥大学）；University of Texas at Austin（得克萨斯大学奥斯汀分校）
在本文中，我们开发了统计学习的近似方法。邻近点算法在统计学和机器学习中用于获得复合函数的优化解是有用的。我们的方法利用封闭形式的解决方案的近端运营商和包络表示的基础上莫罗，向前向后，道格拉斯-Rachford和半二次包络。包络表示导致新的近端算法的复合目标函数，其中包括非光滑和非凸目标的统计优化。我们用正则化的Logistic和Poisson回归以及具有融合套索范数的非凸桥惩罚来说明我们的方法。我们提供了一个讨论的收敛性的非下降算法的加速和非凸函数。最后，我们为未来的研究提供了方向。
2015-05-30 cs.LG stat.ME stat.ML
Fast Best Subset Selection: Coordinate Descent and Local Combinatorial Optimization Algorithms
$L_0$ -正则化最小二乘问题（也称为最佳子集）是稀疏统计学习的核心，并且在更广泛的统计、机器学习和优化社区中引起了极大的关注。最近的工作表明，现代混合整数优化（MIO）求解器可以用来解决这个问题的小到中等的情况。尽管基于$L_0$的估计器和通用MIO求解器是有用的，但是当与流行的稀疏学习算法（例如，基于$L_1$正则化）。在本文中，我们的目标是推动计算的前沿的一个家庭的$L_0$ -正则化的问题，额外的凸处罚。我们提出了一个新的层次的必要的最优性条件，这些问题。我们开发快速算法，基于坐标下降和局部组合优化，保证收敛到满足这些最优性条件的解决方案。从统计学的角度来看，一个有趣的故事出现了。当信号强度高时，我们的组合优化算法在具有挑战性的统计设置中具有优势。当信号较低时，纯$L_0$受益于额外的凸正则化。我们的经验表明，我们的家庭$L_0$为基础的估计可以优于国家的最先进的稀疏学习算法的预测，估计和变量选择指标的组合在各种制度（例如，不同的信号强度、特征相关性、样本和特征的数量）。我们新的开源稀疏学习工具包L0 Learn（在CRAN和Github上可用）与竞争工具包（如glmnet和ncvreg）相比，速度提高了三倍（$p$高达$10^6$）。
2020-01-25 math.OC stat.CO stat.ML
PLUTO: Penalized Unbiased Logistic Regression Trees
我们提出了一个新的算法称为PLUTO建立逻辑斯谛回归树的二进制响应数据。PLUTO通过对样本空间的递归划分，可以捕捉到杂乱数据中的非线性和交互模式。它在每个分区中拟合简单或多重线性逻辑斯谛回归模型。PLUTO采用循环坐标下降法估计多个线性逻辑斯谛回归模型，并加入弹性网惩罚，这使得它能够有效地处理高维数据。树结构包括数据的图形描述。与逻辑斯谛回归模型一起，它提供了一个准确的分类器以及“成功”概率的分段平滑估计。PLUTO通过以下方式控制选择偏差：（1）将分离变量选择与分离点选择分开;（2）应用调整后的卡方检验来找到分离变量，而不是穷举搜索。采用自举校准技术来进一步校正选择偏差。在真实数据集上的比较表明，平均而言，多线性PLUTO模型比其他算法预测更准确。
2014-11-25 stat.ME stat.ML
The Bernstein Function: A Unifying Framework of Nonconvex Penalization in Sparse Estimation
本文利用Bernstein函数研究了非凸惩罚问题。由于Bernstein函数在原点处是凹的和非光滑的，它可以诱导出一类高维稀疏估计问题的非凸函数。我们推导了一个基于Bernstein罚的阈值函数，并给出了它在稀疏建模中的数学性质。我们表明，坐标下降算法是特别适合惩罚回归问题的伯恩斯坦罚款。此外，我们证明了Bernstein函数可以定义为一个$φ$ -发散的凹共轭，并开发了一个共轭最大化算法寻找稀疏的解决方案。最后，我们基于一个广义Gamma测度特别构造了一类Bernstein非凸罚函数，并对这类罚函数进行了实证分析。
2013-12-17 stat.ML
Nonconvex Penalization in Sparse Estimation: An Approach Based on the Bernstein Function
本文利用一阶导数完全单调的Bernstein函数研究非凸惩罚问题。Bernstein函数可以导出一类高维稀疏估计问题的非凸罚函数。我们推导了一个基于Bernstein惩罚的阈值函数，并讨论了稀疏建模中的一些重要数学性质。我们表明，坐标下降算法是特别适合的回归问题的惩罚伯恩斯坦函数。我们还考虑了Bernstein惩罚在分类问题中的应用，并设计了一个近似交替线性化最小化方法。基于Kurdyka-Lojasiewicz不等式理论，我们对这些交替迭代过程进行了收敛性分析。我们特别构造了一类基于广义Gamma测度的Bernstein非凸罚函数，并对这类罚函数进行了实证分析.
2015-10-29 stat.ML
On Fast Convergence of Proximal Algorithms for SQRT-Lasso Optimization: Don't Worry About Its Nonsmooth Loss Function
University of Minnesota（明尼苏达大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Northwestern University（西北大学）；Georgia Institute of Technology（佐治亚理工学院）
许多机器学习技术牺牲了方便的计算结构来获得估计鲁棒性和建模灵活性。然而，通过探索建模结构，我们发现这些“牺牲”并不总是需要更多的计算工作。为了揭示这种“免费午餐”现象，我们研究了平方根Lasso（SQRT-Lasso）型回归问题。具体来说，我们表明，非光滑的损失函数的SQRT-Lasso型回归缓解调整工作和增益自适应非均匀噪声，但不一定比Lasso在计算上更具挑战性。我们可以直接应用近似算法（例如近似梯度下降，近似牛顿和近似拟牛顿算法），而无需担心损失函数的非光滑性。理论上，我们证明了邻近算法结合路径优化计划享有快速收敛保证高概率。数值结果支持我们的理论。
2019-04-14 cs.LG math.OC stat.ML
Sparse estimation via nonconcave penalized likelihood in a factor analysis model
考虑因子分析模型中的稀疏估计问题。一个传统的估计过程中使用的是以下两个步骤的方法：模型估计的极大似然方法，然后旋转技术是用来找到稀疏因子加载。然而，当变量的数目远大于观测的数目时，不能获得最大似然估计。此外，即使最大似然估计是可用的，旋转技术通常不产生足够稀疏的解决方案。为了处理这些问题，本文介绍了一种惩罚似然过程，对因子载荷施加非凸惩罚。我们发现，惩罚似然过程可以被视为传统的两步方法的推广，所提出的方法可以产生稀疏的解决方案比旋转技术。一个新的算法，通过期望最大化算法随着坐标下降被引入到计算整个解决方案的路径，它允许应用到各种各样的凸和非凸处罚。蒙特卡罗模拟进行调查我们的建模策略的性能。最后给出了一个实际数据的例子来说明我们的方法。
2013-03-15 stat.CO stat.ME stat.ML
Likelihood Adaptively Modified Penalties
针对一般回归模型中的模型选择问题，提出了一种新的惩罚函数族。它是通过假设回归参数的某些类型的先验分布而自然产生的。为了研究惩罚极大似然估计的稳定性，定义了两类渐近稳定性。在适当的正则条件下，建立了参数估计的一致性、模型选择的一致性和渐近稳定性等理论性质。提出了一种有效的坐标下降算法。仿真结果和实际数据分析表明，该方法具有竞争力的性能相比，现有的。
2013-08-23 math.ST stat.ME stat.ML
Regularized M-estimators with nonconvexity: Statistical and algorithmic theory for local optima
我们提供了新的理论结果，局部最优的正则化$M$估计，允许非凸性损失和罚函数。在损失的约束强凸性和惩罚的适当正则性条件下，证明了复合目标函数的\emph{any stationary point}将落在底层参数向量的统计精度范围内.我们的理论涵盖了许多感兴趣的非凸目标函数，包括变量误差线性模型的校正Lasso;具有非凸惩罚的广义线性模型的回归，如SCAD，MCP和capped- $\ell_1$ ;以及高维图形模型估计。我们量化统计准确性，通过提供界限上的$\ell_1$ -，$\ell_2$ -，和预测误差之间的固定点和人口水平的最佳。我们还提出了一个简单的修改复合梯度下降，可以用来获得一个接近全局最优的统计精度$ε$内的$\log(1/ε)$步骤，这是最快的速度任何一阶方法。我们提供模拟研究，说明我们的理论结果的清晰度。
2015-01-01 cs.IT math.IT math.ST
A comprehensive guideline for regularization-path variable selection in high-dimensional Gaussian linear regression
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；INRAE（法国国家农业、食品和环境研究所）；Nantes Université（南特大学）；CEA（法国原子能和替代能源委员会）；Institut de Biologie Intégrative de la Cellule (UMR 9198)（整合细胞生物学研究所 (UMR 9198)）；Université Evry（埃夫里大学）；Université Paris Cité（巴黎西岱大学）；AgroParisTech（巴黎农艺学院）
该研究全面比较高维高斯线性回归中基于正则化路径的变量选择程序，通过模拟给出不同评估标准和数据场景下各方法表现，指出弹性网络结合LARS算法提供最可靠正则化路径，还强调了非渐近设置下新进展及未来工作方向。
2026-07-24 stat.AP stat.ME
Fast Robust Kernel Regression through Sign Gradient Descent with Early Stopping
KTH Royal Institute of Technology（瑞典皇家理工学院）
本文提出KRR的等价目标函数，利用 $\ell_\infty$ 和 $\ell_1$ 惩罚项实现鲁棒和稀疏核回归，并将其分别与符号梯度下降和坐标下降的早停解建立联系，提出高效计算方法，在五个数据集上速度快一到两个数量级且不损失精度。
2025-03-07 cs.LG math.OC stat.ME
Network-regularized Sparse Logistic Regression Models for Clinical Risk Prediction and Biomarker Discovery
State Key Laboratory of Software Engineering, School of Computer, Wuhan University（武汉大学计算机学院软件工程国家重点实验室）；National Center for Mathematics and Interdisciplinary Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院国家数学与交叉科学中心）
分子谱数据（例如，基因表达）已用于临床风险预测和生物标记物发现。然而，有必要整合其他先验知识，如生物学途径或基因相互作用网络，以提高生物标志物的预测能力和生物学可解释性。在这里，我们首先介绍一个带有正则化项$λ\|\bm{w}\|_1 + η\bm{w}^T\bm{M}\bm{w}$的通用正则化逻辑回归（LR）框架，它可以减少到不同的惩罚，包括Lasso，弹性网络和具有不同$\bm{M}$的网络正则化项。该框架可以通过循环坐标下降算法以统一的方式轻松求解，该算法可以避免逆矩阵运算并加快计算速度。然而，如果这些估计的$\bm{w}_i$和$\bm{w}_j$具有相反的符号，则传统的网络正则化惩罚可能不能很好地执行。为了解决这个问题，我们引入了一个新的网络正则化稀疏LR模型，一个新的惩罚$λ\|\bm{w}\|_1 + η|\bm{w}|^T\bm{M}|\bm{w}|$考虑系数的绝对值之间的差异。最后，我们用模拟数据和实际数据对本文提出的方法进行了测试，并与相关的算法进行了比较，验证了算法的有效性。
2016-09-21 cs.LG q-bio.GN stat.ML
High-Dimensional Penalized Bernstein Support Vector Machines
Université du Québec À Montréal（魁北克大学蒙特利尔分校）；Cadi Ayyad University（卡迪·阿亚德大学）；Faculty of Sciences Semlalia（塞姆拉利亚理学院）
支持向量机（SVM）是一种功能强大的分类器，用于二进制分类，以提高预测精度。然而，SVM铰链损失函数的不可微性会导致高维设置中的计算困难。为了克服这个问题，我们依靠伯恩斯坦多项式，并提出了一个新的平滑版本的SVM铰链损失称为伯恩斯坦支持向量机（BernSVM），这是适合于高维$p >> n$政权。由于BernSVM的目标损失函数是$C^2$类，我们提出了两个有效的算法计算惩罚BernSVM的解决方案。第一个算法是基于坐标下降与最大化优化（MM）原则和第二个是IRLS型算法（迭代重加权最小二乘）。在标准假设下，我们推导出锥条件和限制强凸性，建立加权Lasso BernSVM估计的上界。使用局部线性近似，我们将后者的结果扩展到惩罚BernSVM与非凸处罚SCAD和MCP。我们的边界保持高概率，并实现了顺序$\sqrt{s\log(p)/n}$的速率，其中$s$是活动特征的数量。仿真研究被认为是说明BernSVM的预测精度，它的竞争对手，也比较两种算法的计算时间和误差估计方面的性能。通过三个大规模的实际数据的例子分析所提出的方法的使用说明。
2023-03-16 cs.LG stat.ML
Stein Unbiased GrAdient estimator of the Risk (SUGAR) for multiple parameter selection
求解不适定反问题的变分正则化算法通常涉及依赖于连续参数集合的算子。当这些算子具有某种（局部）规律性时，可以使用所谓的Stein无偏风险估计（SURE）来选择这些参数。虽然这种选择通常是通过穷举搜索进行的，但我们在这项工作中解决了使用SURE有效地优化模型的连续参数集合的问题。当考虑非光滑正则化，如流行的l1范数对应于软阈值映射，SURE是一个不连续的函数的参数，防止使用梯度下降优化技术。相反，我们专注于基于有限差分的SURE的近似，如（Ramani等人，2008年）。在估计映射的温和假设下，我们证明了这种近似是一个弱可微函数的参数和它的弱梯度，创造了Stein无偏梯度估计的风险（SUGAR），提供了一个渐近（相对于数据维）无偏估计的梯度的风险。此外，在软阈值的特殊情况下，它也被证明是一个一致的估计。然后，该梯度估计可以用作执行拟牛顿优化的基础。SUGAR的计算依赖于非光滑函数的闭合形式（弱）微分。我们提供了一个大类的迭代法，包括近端分裂的表达，并将我们的策略，涉及非光滑凸结构的处罚正则化。各种图像恢复和矩阵完成问题的例子。
2014-08-09 math.ST stat.AP stat.TH
Censored broken adaptive ridge rank regression via induced smoothing
School of Mathematics, Statistics and Data Science, Sungshin Women’s University（成均馆大学数学、统计与数据科学学院）；Sungshin Women’s University（诚信女子大学）；Department of Biostatistics, Virginia Commonwealth University（弗吉尼亚联邦大学生物统计系）；Virginia Commonwealth University（弗吉尼亚联邦大学）；Center for Data Science, Sungshin Women’s University（诚信女子大学数据科学中心）
提出一种针对右删失加速失效时间模型的BAR惩罚线性秩回归方法，通过诱导平滑处理非光滑Gehan型秩估计函数，并开发循环坐标下降算法，实现变量选择和分组效应，扩展至多元部分区间删失数据。
2026-07-01 stat.ME
Main and Interaction Effects Selection for Quadratic Discriminant Analysis via Penalized Linear Regression
判别分析是一种有效的分类方法。在高维环境下，判别分析的变量选择变得越来越重要。本文研究二次判别分析中主效应和互作效应选择的二元类问题。提出了一种新的惩罚二次判别分析（QDA）用于二元分类的变量选择。在相关变量的稀疏性假设下，我们进行了惩罚线性回归，通过插入模型中的主效应和交互效应来获得稀疏QDA。然后利用复合绝对罚函数（CAP）将QDA问题转化为惩罚稀疏最小二乘优化问题。提出了一种求解凸惩罚最小二乘问题的坐标下降算法.惩罚线性回归可同时选择主效应和交互效应，并进行分类。与现有的QDA变量选择方法相比，大量的仿真研究和两个实际数据分析表明，本文提出的方法在变量选择和分类性能上具有良好的鲁棒性。
2017-02-15 stat.ME
A Sharper Computational Tool for $\text{L}_2\text{E}$ Regression
本文针对 $\ ext{L}_2\ ext{E}$ 稳健结构化回归，提出基于 MM 的更锐利系数更新算法、精度重参数化与非凸距离约束惩罚，提升了收敛速度、估计及结构恢复性能。
2022-08-24 stat.CO stat.ME
Estimation of oblique structure via penalized likelihood factor analysis
我们考虑了因子分析模型中的稀疏估计问题，通过拉索型惩罚似然过程。通常，模型估计是在公共因子正交（不相关）的假设下进行的。然而，基于正交模型的拉索型惩罚方法往往可以估计一个完全不同的模型与真实的因素结构时，共同的因素是相关的。为了克服这个问题，我们建议将一个因素的相关性的模型，并估计因素的相关性以及参数包括在正交模型的最大惩罚似然过程。一个完整的解决方案的路径计算的期望最大化算法与坐标下降，它允许应用到各种各样的凸和非凸的处罚。该方法可以提供足够稀疏的解，并适用于变量数大于观测数的数据。蒙特卡罗模拟进行调查我们的建模策略的有效性。结果表明，基于正交模型的套索型惩罚往往不能近似真实的因素结构，而我们的方法在各种情况下表现良好。通过对实际数据的分析，也说明了所提出的程序的实用性。
2013-02-22 stat.CO stat.ME
