Structured sparsity through convex optimization
INRIA（法国国家信息与自动化研究所）；University of California, Berkeley（加州大学伯克利分校）
稀疏估计方法旨在使用或获得数据或模型的简约表示。虽然自然地转换为组合优化问题，但变量或特征选择通过$\ell_1$ -范数的正则化允许凸松弛。在本文中，我们考虑的情况下，我们不仅感兴趣的稀疏性，但一些结构先验知识是可用的。我们表明，$\ell_1$规范，然后可以扩展到结构化的规范建立在不相交或重叠的变量组，导致一个灵活的框架，可以处理各种结构。我们目前的应用程序无监督学习，结构稀疏主成分分析和层次字典学习，并在非线性变量选择的背景下，监督学习。
2012-04-20 cs.LG stat.ML
Exclusive Group Lasso for Structured Variable Selection
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)（加泰罗尼亚电信技术中心（CTTC/CERCA））
针对组内稀疏的结构化变量选择问题，提出基于原子范数的互斥组稀疏复合范数及近端、主动集优化算法，并证明其带符号支撑集恢复的渐近一致性。
2023-11-02 cs.LG eess.SP stat.ML
Structured Pruning of Recurrent Neural Networks through Neuron Selection
University of Electronic Science and Technology of China（电子科技大学）；The Chinese University of Hong Kong（香港中文大学）；Peng Cheng Lab（鹏城实验室）
循环神经网络（RNN）最近在许多应用中取得了显著的成功。然而，这些模型的巨大尺寸和计算负担使得它们难以在边缘设备上部署。一种实际有效的方法是通过网络修剪技术来降低RNN的总体存储和计算成本。尽管基于Lasso的剪枝方法得到了成功的应用，但它们要么在权重矩阵中产生不规则的稀疏模式，这对实际加速没有帮助。为了解决这些问题，我们提出了结构化修剪方法，通过神经元选择，可以减少RNN的基本结构的大小。更具体地说，我们引入了两组二进制随机变量，它们可以被解释为输入神经元和隐藏神经元的门或开关。我们证明了相应的优化问题可以通过最小化权矩阵的L0范数来解决。最后，在语言建模和机器阅读理解任务上的实验结果表明，与现有的剪枝算法相比，该方法具有明显的优势.特别是，在Penn TreeBank数据集上，语言模型在推理过程中实现了近20倍的实际加速，而没有损失性能，表明所提出的方法具有良好的性能
2019-12-08 cs.LG cs.NE stat.ML
Information criteria for structured parameter selection in high dimensional tree and graph models
Université libre de Bruxelles（布鲁塞尔自由大学）
本文针对高维模型中参数选择易产生假阳性过估计的问题，提出在假阳性和假阴性间取得平衡的改进信息准则，为无收缩估计量开发了适用于树和图模型结构化选择的校正Mallows's Cp准则。
2023-06-24 cs.LG math.ST stat.TH
Bayesian Cox model with graph-structured variable selection priors for multi-omics biomarker identification
本研究提出带图结构选择先验的惩罚半参数贝叶斯Cox模型，利用MRF先验结合生物学图实现多组学特征稀疏识别，在仿真中表现出更稳定可靠的变量选择与不劣的生存预测，且对部分正确的图具鲁棒性，已应用于TCGA乳腺癌数据。
2025-03-17 q-bio.GN stat.AP stat.ME
A general framework for formulating structured variable selection
本文提出一个通用数学框架来形式化结构化变量选择中的选择规则，证明任意规则可由构造运算组合表示并推导选择字典，同时指导惩罚回归中的变量分组，并为基于l0范数的新方法奠定基础。
2024-01-15 stat.ME
Scalable Bayesian Variable Selection for Structured High-dimensional Data
基于已知图的结构协变量的选择问题是一个由实际应用驱动的问题，并且已经成为一个越来越受关注的话题。然而，大多数现有的方法可能无法扩展到高维设置，涉及成千上万的变量躺在已知的途径，如在基因组学研究的情况下。我们提出了一种自适应贝叶斯收缩方法，它通过平滑图中连接变量的收缩参数，使相应的系数具有相似的收缩程度，从而结合了先验网络信息。我们通过一个计算效率高的期望最大化算法来拟合我们的模型，该算法可扩展到高维设置（p~ 100，000）。固定以及增加的维度的理论属性的建立，即使当变量的数量增加快于样本量。我们通过模拟研究证明了我们的方法在变量选择，预测和计算可扩展性方面的优势，并将该方法应用于癌症基因组学研究。
2016-04-26 stat.ME
Generalized Information Criteria for Structured Sparse Models
本文提出一种考虑稀疏模式的广义信息准则（GIC），用于高维正则化M估计的模型选择与正则化参数选择，并给出非渐近界及一致性条件，在广义线性回归和低秩矩阵回归中验证其有效性。
2023-09-04 econ.EM stat.ME stat.ML
Structured Learning in Time-dependent Cox Models
针对时间依赖Cox模型在高维变量选择中无法灵活设定稀疏结构的问题，提出一种适应任意分组结构的变量选择框架，并开发了基于网络流算法的sox包以实现高效计算与准确估计。
2024-01-06 stat.AP stat.CO stat.ME
Structured variable selection and estimation
在具有相关预测变量的线性回归问题中，期望通过保持预测变量之间的层次或结构关系来进行变量选择和估计。在本文中，我们提出了非负绞喉的方法，可以自然地将这种关系定义通过效果遗传原则或边缘性原则。我们表明，该方法是非常容易计算，并享有良好的理论性质。我们还表明，该方法可以很容易地扩展到处理更一般的回归问题，如广义线性模型。仿真和实例验证了所提方法的有效性。
2010-11-02 stat.AP
Structured Lasso for convex nonparametric least squares: An application to Swedish electricity distribution networks
Faculty of Business and Management, Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院商业管理学院）；Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）
针对凸非参数最小二乘中传统Lasso变量选择效率低的问题，结合次梯度结构提出融合ℓ₁与ℓ∞范数的结构化Lasso及其松弛版本，经仿真和瑞典配电网数据验证，性能更优。
2025-10-30 econ.EM stat.ME
Sparse Variable Selection on High Dimensional Heterogeneous Data with Tree Structured Responses
针对高维异质数据中混杂因素导致Lasso假发现多的问题，提出树引导稀疏线性混合模型，利用响应间依赖关系进行变量选择，实验证明其ROC面积优于现有方法。
2024-04-19 stat.ME
Variable selection and regression analysis for graph-structured covariates with an application to genomics
图表和网络是描述生物信息的常用方法。在生物学中，许多不同的生物过程都用图来表示，如调控网络、代谢途径和蛋白质-蛋白质相互作用网络。这种先验使用的图形是一个有用的补充标准的数值数据，如微阵列基因表达数据。本文考虑协变量在图上相连时的回归分析和变量选择问题。我们研究了一个图约束正则化过程及其理论性质的回归分析，考虑到邻域信息的变量测量图。该过程涉及对被定义为与图相关联的拉普拉斯矩阵的二次形式的系数的平滑性惩罚。我们建立了估计和模型选择的一致性结果，并提供了估计界的固定和分散的参数在回归模型。我们通过模拟和真实的数据集证明，所提出的方法可以导致更好的变量选择和预测比现有的方法，忽略与协变量相关的图形信息。
2010-11-15 stat.AP
Multivariate Bayesian structured variable selection for pharmacogenomic studies
针对药物基因组学中药物敏感性与多组学数据关联分析需求，提出带MRF先验和随机效应的多变量贝叶斯结构化变量选择模型，经模拟和GDSC数据集验证，可提升变量选择与预测性能。
2023-02-13 stat.ME
High-dimensional iterative variable selection for accelerated failure time models
针对加速失效时间模型的高维生存数据，提出基于结构化筛选与选择框架及非局部先验贝叶斯模型选择的迭代变量选择方法，并在R包GWASinlps中实现，评估显示其有效性。
2025-03-02 stat.ME
Iterative variable selection for high-dimensional data with binary outcomes
我们提出了一个迭代变量选择方案的高维数据与二元结果。该方案采用了结构化的筛选框架，并在同一框架内使用非局部先验贝叶斯模型选择。结构化筛选是基于自变量与结果的关联，该结果以最大边际似然估计量来衡量。与几个著名的方法在真阳性率和错误发现率方面的性能比较表明，我们提出的方法是一个有竞争力的替代稀疏高维变量选择与二进制结果。该方法已在R包GWASinlps中实现。
2022-11-06 stat.ME
Structured Dimension-Matched Joint Variational Transdimensional Inference
Department of Statistics and Data Science, Southern University of Science and Technology（南方科技大学统计与数据科学学院）
针对有限可枚举模型空间，提出SM-VTI方法，通过构造图与条件流定义联合变分分布，在15模型受控任务及128模型变量选择任务中，其模型质量恢复与联合精度表现优于或媲美对比方法。
2026-08-07 stat.CO stat.ME stat.ML
Combining heterogeneous subgroups with graph-structured variable selection priors for Cox regression
癌症研究中的重要目标是基于分子测量（例如基因表达数据）和新的预后生物标志物（例如基因）的鉴定来预测患者的风险。在临床实践中，这通常是具有挑战性的，因为患者队列通常很小，并且可能是异质的。在经典的亚组分析中，仅使用一个特定队列的数据拟合单独的预测模型。但是，当样本量较小时，这可能导致功效损失。另一方面，简单地合并所有队列可能会导致有偏差的结果，特别是当队列是异质性的时候。对于这种情况，我们提出了一种新的贝叶斯方法，适用于连续的分子测量和生存结果，确定重要的预测因子，并为每个队列提供一个单独的风险预测模型。它允许在队列之间共享信息，以通过假设一个连接不同队列内和跨不同队列的预测因子的图来增加功效。该图有助于识别功能相关基因和在不同队列中同时具有预后的基因的途径。结果表明，我们提出的方法是优于标准的方法在预测性能和增加的功率在变量选择时，样本量是小的。
2020-04-16 stat.AP stat.ME
Structured Screen-and-Select for Ultra-High-Dimensional Variable Selection
The University of Texas at El Paso（德克萨斯大学埃尔帕索分校）
针对超高维变量选择中边际筛选可能遗漏弱信号活跃预测因子的问题，提出结构化筛选与选择（S3VS）迭代框架，结合结果筛选与相关局部集，在多种模型下实现，模拟和卵巢癌数据表明其可改善变量恢复或预测。
2026-09-22 stat.ME
Hypergraph Variable Selection with False Discovery Rate Control
Dalhousie University（达尔豪斯大学）
针对预测变量复杂依赖结构导致变量选择方法功效降低的问题，提出基于超图的选择方法，在控制错误发现率的同时提高选择功效。
2026-06-19 stat.ME
Variable selection and structure identification for varying coefficient Cox models
我们考虑高维协变量的变系数Cox模型。我们应用组Lasso方法对这些模型，并提出了一个变量选择程序。我们的程序同时处理从高维变系数模型到半变系数模型的变量选择和结构识别。我们推导出一个预言不等式，并仔细检查限制性特征值条件。本文给出了时变系数Cox模型的详细结果。变量选择的理论结果可以很容易地推广到其他一些重要的模型，我们简要地提到这些模型，因为这些模型可以以同样的方式处理。本文考虑的模型是结构非参数回归模型中最流行的模型。一个小的数值研究的结果也给出了。
2016-07-19 math.ST stat.TH
Feature selection guided by structural information
在具有大量特征的广义线性回归问题中，对回归系数施加$\ell^1$ -约束的拉索型正则化已成为一种广泛建立的技术。在某些情况下，套索的防御，特别是强相关设计，被揭露时，邹和Hastie [J.罗伊。中央集权主义者Soc.Ser.B67（2005）301- 320]介绍了弹性网。在本文中，我们提出了扩展的弹性网，承认一般非负二次约束作为第二种形式的正则化。广义脊型约束通常利用特征的已知关联结构，例如，通过使用时间或空间接近度。我们研究了“结构弹性网“回归估计过程的性质，包括基本渐近性和模型选择一致性问题。在这种情况下，我们提供了一个类似的所谓的“不可表示的条件”，其中持有的套索。此外，我们概述了算法解决方案的结构弹性网内的广义线性模型家庭。通过模拟和真实世界的数据，重点是信号回归说明了我们的方法的原理和性能。
2010-11-10 stat.AP
Spatially Structured Regression for Non-conformable Spaces: Integrating Pathology Imaging and Genomics Data in Cancer
针对跨肿瘤活检样本联合建模存在的空间不可适配与高维问题，提出贝叶斯框架下的DreameSpase空间结构化回归模型，经仿真和335份黑色素瘤数据验证有效，还配套了免费高效的实现软件。
2024-06-24 stat.AP
Bootstrapped Adaptive Threshold Selection for Statistical Model Selection and Estimation
神经科学的一个中心目标是了解神经系统的活动如何与外部世界的特征或神经系统本身的特征相关。一种常见的方法是将神经反应建模为外部特征的加权组合，反之亦然。模型权重的结构可以提供对神经表示的洞察。通常，神经输入-输出关系是稀疏的，只有少数输入对输出有贡献。部分地考虑到这种稀疏性，结构化正则化器被并入模型拟合优化中。然而，通过施加先验，结构化正则化器可能难以解释学习的模型参数。在这里，我们研究了一个简单的，结构最小的模型估计方法，精确的，无偏估计稀疏模型的基础上引导自适应阈值选择，其次是普通最小二乘改装（BoATS）。通过广泛的数值研究，我们表明，这种方法往往表现良好相比，L1和L2正则化。特别是，对于各种模型分布和噪声水平，BoATS更准确地恢复稀疏模型的参数，从而导致输出的更简洁的解释。最后，我们将此方法应用于从ECoG记录解码人类语音产生的任务。
2015-05-13 stat.ML
Learning Attribute Patterns in High-Dimensional Structured Latent Attribute Models
结构化潜属性模型（Structured Latent Attribute Models，SLAM）是一类特殊的离散潜变量模型，广泛应用于社会科学和生物科学领域。本文考虑了从潜在的高维配置的潜在属性的SLAM学习显着的属性模式的问题。我们解决了理论上的可识别性问题，提出了一种惩罚似然方法的属性模式的选择，并进一步建立选择一致性在这样一个过拟合SLAM与发散的潜在模式的数量。仿真研究和两个真实的教育评估数据集说明了所提出的方法的良好性能。
2019-06-06 stat.ME stat.ML
Learning Index Selection with Structured Action Spaces
University of Cambridge（剑桥大学）
计算机系统的配置空间对于传统的和自动的调整策略来说是具有挑战性的。将任务特定的知识注入到用于任务的调谐器中可以允许更有效地探索候选配置。我们将这个想法应用到索引集选择任务中，以加速数据库工作负载。索引集选择已经适合于最近的vanilla deep RL应用，但真正的部署仍然遥不可及。在本文中，我们探讨了如何学习索引的选择，可以加强与特定任务的归纳偏见，特别是通过编码这些归纳偏见更好的动作结构。索引选择特定的动作表示出现时，问题是重新制定的排列学习，我们依靠最近的工作学习RL的政策排列。通过这种方法，我们建立了一个索引代理，能够实现改进的索引和验证其行为与特定任务的统计。早期的实验表明，与其他方法相比，我们的代理可以在相同的延迟水平下找到最多小40%的配置，并指示更直观的索引行为。
2019-09-16 cs.DB cs.LG stat.ML
Sparse Bayesian Deep Functional Learning with Structured Region Selection
School of Statistics and Data Science, Shanghai University of Finance and Economics（上海金融学院统计与数据科学学院）；School of Statistics（统计学院）；Data Science, Shanghai University of Finance（金融大学数据科学学院）；Department of Biostatistics, Yale School of Public Health（耶鲁大学公共卫生学院生物统计学系）
提出稀疏贝叶斯函数深度神经网络（sBayFDNN），通过深度贝叶斯架构学习自适应函数嵌入以捕捉复杂非线性关系，并利用结构化先验实现具有量化不确定性的可解释区域选择，理论上首次为贝叶斯深度函数模型提供了近似误差界、后验一致性和区域选择一致性的严格保证。
2026-06-03 cs.LG stat.AP stat.ML
Structured model selection via $\ell_1-\ell_2$ optimization
本文提出一种基于非凸 $\ell_1-\ell_2$ 稀疏优化的学习方法，用于从欠采样含噪时空数据中识别结构化动力系统，并通过理论分析和数值实验验证了其稳定恢复与计算效率。
2023-05-30 cs.IT cs.LG math.IT
Subset selection for linear mixed models
线性混合模型（Linear mixed models，LMM）用于具有结构化相关性的回归分析，如分组、聚类或多级数据。然而，在考虑这种结构性依赖的同时，在协变量中进行选择仍然是一个挑战。我们介绍了一个贝叶斯决策分析的子集选择与LIFE。使用Mahalanobis损失函数，其中包括结构化的依赖，我们得到最佳的线性系数（i）任何给定的变量子集和（ii）满足基数约束的所有变量子集。至关重要的是，这些估计继承了基础贝叶斯模型的收缩或正则化和不确定性量化，并适用于任何指定的贝叶斯LMM。更广泛地说，我们的决策分析策略不再强调单个“最佳”子集的作用，而倾向于一组接近最佳的子集，因为单个“最佳”子集通常不稳定且信息量有限。此集合按关键成员子集和特定于变量的重要性度量进行汇总。定制的子集搜索和样本外近似算法提供了更可扩展的计算。这些工具应用于模拟数据和纵向身体活动数据集，并表现出出色的预测，估计和选择能力。
2022-04-18 stat.CO stat.ME stat.ML
Efficient Model Selection for Predictive Pattern Mining Model by Safe Pattern Pruning
Nagoya Institute of Technology（名古屋工业大学）；RIKEN（理化学研究所）；Nagoya University（名古屋大学）；The University of Tokyo（东京大学）
本研究提出安全模式剪枝（SPP）方法，以解决预测模式挖掘中模式数量随数据复杂性指数增长的问题，并通过在集合、图和序列上的回归与分类实验验证其有效性。
2023-06-23 cs.LG stat.ML
A multi-class structured dictionary learning method using discriminant atom selection
FICH（FICH学院）；UNL（国立拉普拉塔大学）；CONICET（阿根廷国家科学与技术研究理事会）；FIQ（FIQ学院）
在过去的十年中，传统的字典学习方法已经成功地应用于各种模式分类任务。虽然这些方法产生对失真和丢失数据鲁棒的信号的稀疏表示，但是如果最终目标是信号分类，则这种表示经常被证明是不合适的。为了克服或至少减弱这样的弱点，近年来出现了几种新的方法，这些方法将判别信息引入稀疏诱导模型。特别是，判别式字典学习的方法已被证明比传统的方法更准确（在信号分类方面），传统的方法只专注于最小化总表示误差。在这项工作中，我们提出了一种新的多类判别措施和创新的字典学习方法。对于一个给定的字典，这种新的措施，它不仅考虑到当一个特定的原子被用于表示来自某个类的信号和其相应的表示系数的大小，而且这种原子在总的表示误差的影响，是能够有效地量化的程度的可辨别性的每一个原子。另一方面，新的字典构造方法产生的字典是非常适合多类分类任务。我们的方法进行了测试，广泛使用的数据库的手写数字识别，并与三个国家的最先进的分类方法进行比较。结果表明，我们的方法显着优于其他三个实现良好的识别率，此外，降低了分类器的计算成本。
2018-12-04 cs.CV cs.LG stat.ML
