An Online Sparse Streaming Feature Selection Algorithm
Southwest University（西南大学）；University of Chinese Academy of Sciences（中国科学院大学）
在线流特征选择（OSFS）是一种在线进行特征选择的方法，在高维数据处理中起着重要的作用。在许多实际应用中，例如智能医疗平台，流媒体功能总是有一些缺失的数据，这对进行OSFS提出了关键挑战，即，如何建立稀疏流特征和标签之间的不确定关系。遗憾的是，现有的OSFS算法没有考虑这种不确定的关系。为了填补这一空白，我们在本文中提出了一个在线稀疏流特征选择与不确定性（OS 2FSU）算法。OS 2FSU主要包括两个部分：1）在进行特征选择之前，利用潜在因子分析对稀疏流特征中的缺失数据进行预估计; 2）在进行特征选择时，利用模糊逻辑和邻域粗糙集来消除估计的流特征与标签之间的不确定性。在实验中，OS 2FSU与五个国家的最先进的OSFS算法在六个真实的数据集进行了比较。结果表明，OS 2FSU优于其竞争对手时，在OSFS中遇到丢失的数据。
2022-08-03 cs.LG
Efficient Sparse Group Feature Selection via Nonconvex Optimization
Arizona State University（亚利桑那州立大学）；The Biodesign Institute, Arizona State University（亚利桑那州立大学生物设计研究所）；University of Minnesota（明尼苏达大学）
稀疏特征选择已被证明是有效的，在处理高维数据。虽然有前途，大多数现有的作品使用凸的方法，这可能是次优的特征选择和参数估计的准确性方面。在本文中，我们扩展了一个非凸的范例稀疏组特征选择，这是出于应用程序，需要确定底层组结构，同时执行特征选择。本文的主要贡献有两个方面：（1）在统计上，我们引入了一个非凸稀疏群特征选择模型，它可以重构Oracle估计量。因此，一致的特征选择和参数估计可以实现;（2）计算上，我们提出了一个有效的算法，适用于大规模的问题。数值结果表明，所提出的非凸方法相比，毫不逊色于它的竞争对手的合成数据和现实世界的应用，从而实现了预期的目标，提供高性能。
2013-01-18 cs.LG stat.ML
Automatically Redundant Features Removal for Unsupervised Feature Selection via Sparse Feature Graph
Stony Brook University（石溪大学）；General Electric Global Research（通用电气全球研究中心）
高维数据中存在的冗余特征往往会影响学习和挖掘算法的性能。如何检测和去除它们是机器学习和数据采掘研究中的一个重要研究课题。在本文中，我们提出了一个基于图的方法来自动发现和删除这些冗余的功能，高维数据。在基于稀疏学习的无监督特征选择框架的基础上，引入稀疏特征图（SFG）来描述特征间的冗余，揭示特征组间的组冗余。利用SFG，我们可以将整个特征分成不同的组，并通过去除检测到的冗余特征来改善数据的内在结构。通过精确的数据结构，可以获得质量指标向量，从而提高现有无监督特征选择算法如多聚类特征选择（MCFS）的学习性能。我们在基准数据集上的实验结果表明，所提出的SFG和特征冗余去除算法可以提高无监督特征选择算法的性能一致。
2017-06-30 cs.LG
Sparse Feature Selection in Kernel Discriminant Analysis via Optimal Scoring
Texas A&M University（德克萨斯A&M大学）
我们考虑两组分类问题，并提出了一个基于最佳评分框架的核分类器。与以往的方法不同，我们提供了理论保证的方法的预期风险的一致性。我们还允许通过使用加权内核施加结构化稀疏性来进行特征选择。我们提出了全自动的方法来选择所有的调整参数，特别是适应核收缩的想法，脊参数选择。数值研究表明，所提出的方法相比，现有的非参数分类器的优越的分类性能。
2019-02-12 cs.LG stat.ML
ControlBurn: Feature Selection by Sparse Forests
Cornell University（康奈尔大学）
树集合在相关特征组之间均匀地分配特征重要性。相关组的平均特征排序被抑制，这降低了可解释性并使特征选择复杂化。在本文中，我们提出了ControlBurn，一个特征选择算法，使用加权LASSO为基础的特征选择方法修剪不必要的功能，从树系综，就像低强度火灾减少过度生长的植被。像线性LASSO一样，ControlBurn将相关特征组的所有特征重要性分配给单个特征。此外，与基于迭代包装器的特征选择方法不同，该算法高效且仅需要一次训练迭代即可运行。我们表明，ControlBurn的性能大大优于特征选择方法，在具有相关特征的数据集上具有可比的计算成本。
2021-07-01 cs.LG stat.ME
Adversarial LassoNet: Robust Feature Selection via Stability-Driven Sparse Learning
Beijing University of Technology（北京工业大学）；The First Affiliated Hospital of Zhejiang University School of Medicine（浙江大学医学院附属第一医院）；Peking University First Hospital（北京大学第一医院）
针对高维机器学习中传统方法在噪声下不稳定的问题，提出对抗拉索网络，集成对抗扰动与拉索网络分层稀疏机制及一阶近似，实验表明其提升了分布外鲁棒性与特征支持再现性。
2026-07-07 cs.LG
Unveiling the Power of Sparse Neural Networks for Feature Selection
University of Twente（特温特大学）；University of Cambridge（剑桥大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Luxembourg（卢森堡大学）
本文系统分析了基于动态稀疏训练的稀疏神经网络在特征选择中的表现，并提出一种新的特征重要性度量指标，证明其能在显著降低内存和计算开销的同时提升所选特征质量。
2024-08-08 cs.AI cs.LG
Online Sparse Streaming Feature Selection Using Adapted Classification
Southwest University（西南大学）
传统的特征选择需要在学习之前知道特征空间，而在线流特征选择（OSFS）被提出来动态地处理流特征。现有方法在不丢失数据的情况下将特征分为相关和不相关，删除不相关特征可能导致信息丢失。基于此，本文重点研究了流特征矩阵的构造和特征相关性的划分，提出了基于自适应分类的在线稀疏流特征选择算法（OS 2FS-AC）。本研究使用潜在因素分析（LFA）来预估缺失数据。此外，我们使用自适应的方法来获得阈值，将特征分为强相关，弱相关和不相关的特征，然后再划分弱相关与更多的信息。在10个真实数据集上的实验结果表明，OS 2FS-AC的性能优于现有算法。
2023-02-25 cs.AI cs.LG
Online Sparse Feature Selection in Data Streams via Differential Evolution
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）
本文提出了一种基于微分进化的在线稀疏特征选择方法，通过潜在因子分析插补缺失数据并评估特征重要性，以提升数据流中特征选择的性能。
2025-11-24 cs.AI cs.LG
Quick and Robust Feature Selection: the Strength of Energy-efficient Sparse Training for Autoencoders
University of Twente（特文特大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Jyväskylä（于韦斯屈莱大学）
主要的并发症来自最近高维数据量的增加，包括高计算成本和内存需求。特征选择识别数据集的最相关和信息量最大的属性，已被引入作为此问题的解决方案。大多数现有的特征选择方法在计算上是低效的;低效的算法导致高能量消耗，这对于具有有限计算和能量资源的设备是不期望的。本文提出了一种新颖灵活的无监督特征选择方法。该方法将稀疏神经网络中神经元的强度作为特征重要性的度量标准，称为快速选择。该标准与稀疏进化训练过程训练的稀疏连接去噪自动编码器混合，同时导出所有输入特征的重要性。我们实现QuickSelection在一个纯粹的稀疏的方式，而不是使用一个二进制掩码连接来模拟稀疏的典型方法。它导致了相当大的速度增加和内存减少。当测试在几个基准数据集，包括五个低维和三个高维数据集，所提出的方法是能够实现最佳的分类和聚类精度，运行时间和最大内存使用量的权衡，广泛使用的方法之间的特征选择。此外，我们提出的方法需要最少的能量之间的国家的最先进的自动编码器为基础的特征选择方法。
2021-09-13 cs.LG stat.ML
SLM: End-to-end Feature Selection via Sparse Learnable Masks
Google Cloud AI Research（谷歌云人工智能研究院）
提出SLM（稀疏可学习掩码）端到端特征选择方法，通过可学习稀疏掩码最大化特征与标签的互信息，并利用sparsemax精确控制特征数量，在八个基准数据集上取得SOTA表现。
2023-04-06 cs.LG
Global and Local Structure Preserving Sparse Subspace Learning: An Iterative Approach to Unsupervised Feature Selection
University of Electronic Science and Technology of China（电子科技大学）；University of Alberta（阿尔伯塔大学）；University of Waterloo（滑铁卢大学）
由于我们的目标是减轻高维灾难，子空间学习变得越来越流行。现有的方法使用的是关于数据的全局或局部结构的信息，很少有研究同时关注全局和局部结构，因为它们都包含重要的信息。本文提出了一种全局和局部结构保持的稀疏子空间学习（GLoSS）模型，用于无监督特征选择。该模型可以同时实现特征选择和子空间学习。此外，我们开发了一个贪心算法来建立一个通用的组合模型，并使用基于加速块坐标下降的迭代策略来解决GLoSS问题。给出了该迭代算法的全序列收敛性分析。在真实数据集上进行了大量的实验，以显示所提出的方法优于几种最先进的无监督特征选择方法。
2015-10-19 cs.LG
Sparse Linear Centroid-Encoder: A Convex Method for Feature Selection
Colorado State University（科罗拉多州立大学）
本研究提出一种用于特征选择的两步凸优化方法SLCE，通过线性变换结合ℓ₁范数惩罚筛选特征，单模型可处理多类数据，在多数据集尤其是高维生物数据上表现出优于部分前沿神经网络特征选择方法的性能。
2023-06-09 cs.LG
Random Manifold Sampling and Joint Sparse Regularization for Multi-label Feature Selection
Northeastern University（东北大学）；Shandong University（山东大学）
多标签学习通常用于挖掘特征和标签之间的相关性，特征选择可以通过少量的特征保留尽可能多的信息。$\ell_{2,1}$正则化方法可以得到稀疏的系数矩阵，但不能有效解决多重共线性问题。本文提出的模型通过求解$\ell_{2,1}$和$\ell_{F}$正则化的联合约束优化问题来获得最相关的少数特征。在流形正则化中，我们实现了基于联合信息矩阵的随机游动策略，得到了一个高度鲁棒的邻域图。此外，给出了求解该模型的算法，并证明了算法的收敛性，在真实数据集上的对比实验表明，该方法优于其他方法。
2023-03-30 cs.LG stat.ML
Adaptive Feature Selection: Computationally Efficient Online Sparse Linear Regression under RIP
Google Research（谷歌研究院）；Amazon（亚马逊）；University of Chicago（芝加哥大学）；Yahoo Research（雅虎研究院）
在线稀疏线性回归是一个在线问题，其中算法重复选择一个坐标子集以在反向选择的特征向量中进行观察，进行实值预测，接收真实标签，并产生平方损失。目标是设计一个在线学习算法，具有次线性遗憾的最佳稀疏线性预测后见之明。在没有任何假设的情况下，这个问题在计算上是难以处理的。在本文中，我们假设数据矩阵满足限制等距性质，并表明，这一假设导致计算效率的算法与次线性遗憾的两个变种的问题。在第一种变体中，根据具有加性高斯噪声的稀疏线性模型生成真实标签。在第二种情况下，真正的标签被对立地选择。
2017-06-14 cs.LG
Factorization Machines with Regularization for Sparse Feature Interactions
Hokkaido University（北海道大学）
因式分解机（FM）是基于二阶特征交互的机器学习预测模型，具有稀疏正则化的FM被称为稀疏FM。这样的正则化使得能够进行特征选择，其选择最相关的特征以进行准确的预测，因此它们可以有助于提高模型的准确性和可解释性。然而，由于FM使用二阶特征交互，特征的选择通常会导致结果模型中许多相关特征交互的丢失。在这种情况下，具有专门为尝试实现交互级稀疏性的特征交互选择而设计的正则化的FM可能是优选的，而不是仅用于尝试实现特征级稀疏性的特征选择的FM。在本文中，我们提出了一个新的正则化计划的功能模块中的功能交互选择。所提出的正则化算子是特征交互矩阵的$\ell_1$正则化算子的上界，该特征交互矩阵是从FM的参数矩阵计算的。对于特征交互选择，我们提出的正则化器使特征交互矩阵稀疏，而不限制现有方法所施加的稀疏模式。我们还描述了有效的邻近算法，建议FM和现有的理论分析和新的正则化。此外，我们将讨论如何将我们的想法应用或扩展到更准确的特征选择和其他相关模型，如高阶FM和全子集模型。在人工数据集和真实数据集上的分析和实验结果表明了所提方法的有效性。
2021-04-01 cs.LG stat.ML
ControlBurn: Nonlinear Feature Selection with Sparse Tree Ensembles
MIT（麻省理工学院）；Cornell（康奈尔大学）；Stanford（斯坦福大学）
ControlBurn是一个Python包，用于构建支持非线性特征选择和可解释的机器学习的特征稀疏树集合。该软件包中的算法首先构建大型树集合，优先考虑具有少量特征的基函数，然后使用加权套索优化标准选择这些基函数的特征稀疏子集。该软件包包括可视化来分析集合选择的特征及其对预测的影响。因此，ControlBurn提供了树集成模型的准确性和灵活性以及稀疏广义可加模型的可解释性。ControlBurn具有可扩展性和灵活性：例如，它可以使用热启动延续来计算具有数万个样本和数百个特征的数据集的正则化路径（任何数量的选定特征的预测误差）。对于较大的数据集，运行时在样本和特征的数量上线性缩放（最多为对数因子），并且包支持使用草图加速。此外，ControlBurn框架还支持特性成本、特性分组和基于$\ell_0$的正则化器。该软件包是用户友好的和开源的：它的文档和源代码出现在https://pypi.org/project/ControlBurn/和https://github.com/udellgroup/controlburn/上。
2022-07-08 cs.LG stat.ML
Sparse PCA via $l_{2,p}$-Norm Regularization for Unsupervised Feature Selection
Air Force Engineering University（空军工程大学）；Northwestern Polytechnical University（西北工业大学）
在数据采掘领域，如何处理高维数据是一个不可避免的问题。无监督特征选择由于不依赖于标签而受到越来越多的关注。基于谱的无监督方法的性能取决于构造的相似性矩阵的质量，该矩阵用于描述数据的内在结构。然而，现实世界中的数据包含大量的噪声样本和特征，使得由原始数据构造的相似度矩阵不能完全可靠。更糟糕的是，随着样本数量的增加，相似度矩阵的大小迅速膨胀，使得计算成本显著增加。受主成分分析的启发，我们提出了一种简单有效的无监督特征选择方法，通过结合重建误差和$l_{2,p}$ -范数正则化。投影矩阵用于特征选择，通过在稀疏约束下最小化重建误差来学习。然后，我们提出了一个有效的优化算法来解决所提出的无监督模型，并从理论上分析了算法的收敛性和计算复杂性。最后，在真实数据集上的实验证明了该方法的有效性。
2020-12-29 cs.LG stat.ML
Sparse and geometry-aware generalisation of the mutual information for joint discriminative clustering and feature selection
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Maasai Team（马赛团队）；CHU de Québec Research Centre（魁北克大学中心医院研究中心）；Laval University（拉瓦尔大学）
本文提出稀疏GEMINI，一种基于几何感知互信息推广的判别聚类模型，通过l1惩罚实现联合聚类与特征选择，在合成及大规模数据上表现优异，无需先验假设。
2024-07-18 cs.AI cs.LG stat.CO
Naive Feature Selection: a Nearly Tight Convex Relaxation for Sparse Naive Bayes
UC Berkeley（加州大学伯克利分校）；CNRS（法国国家科学研究中心）；École Normale Supérieure（巴黎高等师范学院）
本文提出稀疏朴素贝叶斯特征选择方法，通过 Shapley-Folkman 定理给出近乎紧的凸松弛界，在保持统计效果的同时实现比 LASSO 等方法快数个数量级的特征选择。
2025-03-12 cs.LG stat.ML
CS Sparse K-means: An Algorithm for Cluster-Specific Feature Selection in High-Dimensional Clustering
Carnegie Mellon University（卡内基梅隆大学）
特征选择是高维聚类中一项重要而又具有挑战性的任务。例如，在基因组学中，可能只有少量基因差异表达，这对整个聚类结构是有信息的。现有的特征选择方法，如稀疏K-means，很少解决只能分离聚类子集的会计特征的问题。在基因组学中，一个基因很可能只能定义一个亚型，而不能区分所有其他亚型，或者只能区分一对亚型。在本文中，我们提出了一种基于K-均值的聚类算法，发现信息的功能，以及集群对可分离的每个选定的功能。该方法本质上是一种期望最大化算法，在M步中对每个簇对引入套索约束，通过最大化原始簇间距离而不是最小化簇内距离来实现E步.结果在模拟数据和白血病基因表达数据集上得到证实。
2019-10-03 cs.LG stat.ME stat.ML
SAE-FiRE: Enhancing Earnings Surprise Predictions Through Sparse Autoencoder Feature Selection
Georgia Institute of Technology（佐治亚理工学院）；New Jersey Institute of Technology（新泽西理工学院）
针对财务文档冗长且含行业术语导致盈利意外预测困难的问题，提出SAE-FiRE框架，利用稀疏自编码器分解表征并结合统计特征选择，在三个数据集上显著提升预测性能。
2025-10-07 cs.CL cs.LG q-fin.CP
Accelerated Bayesian parameter estimation and model selection for gravitational waves with normalizing flows
Mullard Space Science Laboratory（穆拉德空间科学实验室）；University College London（伦敦大学学院）；Utrecht University（乌得勒支大学）；Nikhef（荷兰国家亚原子物理研究所）；Center for Computational Astrophysics（计算天体物理中心）；Flatiron Institute（弗拉蒂伦研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）；Alan Turing Institute（阿兰·图灵研究所）
本研究提出结合Jim归一化流增强MCMC采样器与学习型调和均值估计器的加速流水线，实现引力波贝叶斯参数估计与模型选择，在单GPU上达到16核CPU传统方法的精度，计算速度最高提升15倍，且代码开源可复现。
2024-10-31 astro-ph.HE astro-ph.IM cs.LG
Normalizing Flows for Knockoff-free Controlled Feature Selection
University of Michigan（密歇根大学）
受控特征选择旨在发现响应所依赖的特征，同时将错误发现率（FDR）限制在预定义的水平。最近，已经提出了多种基于深度学习的方法来通过Model-X敲除框架执行受控特征选择。然而，我们证明，这些方法往往无法控制FDR有两个原因。首先，这些方法通常学习不准确的特征模型。第二，仿冒品有效所需的“互换”属性通常没有得到很好的执行。我们提出了一个新的程序称为FlowSelect进行控制功能选择，不遭受这两个问题。为了更准确地对特征进行建模，FlowSelect使用归一化流，这是用于密度估计的最先进方法。FlowSelect没有强制执行“交换”属性，而是使用一种新颖的基于MCMC的过程来直接计算每个特征的p值。渐进地，FlowSelect计算有效的p值。从经验上讲，FlowSelect始终控制合成和半合成基准上的FDR，而竞争的基于仿制品的方法则没有。FlowSelect还在这些基准测试中展示了更强大的功能。此外，FlowSelect还能从GWAS数据中正确推断出与特定大豆性状相关的遗传变异。
2022-10-21 cs.LG stat.ML
Nonlinear Isometric Manifold Learning for Injective Normalizing Flows
Forschungszentrum Jülich GmbH（于利希研究中心）；RWTH Aachen University（亚琛工业大学）；KU Leuven（荷语鲁汶大学）；JARA-ENERGY（JARA能源研究所）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
本研究针对单射归一化流的流形数据建模问题，提出用等距自编码器设计带显式逆的嵌入，分离流形学习与密度估计，简化模型调优，在平坦流形数据集上实现高质量数据生成。
2023-05-08 cs.LG
Uniform-in-Phase-Space Data Selection with Iterative Normalizing Flows
National Renewable Energy Laboratory（国家可再生能源实验室）；Princeton University（普林斯顿大学）
计算和实验能力的提高正在迅速增加常规生成的科学数据量。在受内存和计算强度限制的应用程序中，过大的数据集可能会阻碍科学发现，使数据简化成为数据驱动方法的关键组成部分。数据集在两个方向上增长：数据点的数量和它们的维度。虽然降维通常旨在描述低维空间上的每个数据样本，但这里的重点是减少数据点的数量。提出了一种选择数据点的策略，使它们均匀地跨越数据的相空间。所提出的算法依赖于估计数据的概率图，并使用它来构造接受概率。当仅使用数据集的小子集来构建概率图时，使用迭代法来精确地估计稀有数据点的概率。代替将相空间分箱以估计概率图，其函数形式近似于归一化流。因此，该方法自然地扩展到高维数据集。所提出的框架被证明是一个可行的途径，使数据高效的机器学习时，丰富的数据。该方法的实现可以在配套的存储库（https：//github.com/Number/Phase-space-sampling）中获得。
2023-02-27 cs.AI cs.LG physics.comp-ph
Pivotal Auto-Encoder via Self-Normalizing ReLU
Technion（以色列理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文将稀疏自编码器形式化为变换学习问题，提出基于平方根lasso的枢轴自编码器架构，使预训练模型对测试时噪声水平不变，并在去噪任务中验证了其稳定性显著优于常用架构。
2024-06-23 cs.LG eess.SP stat.ML
Region Invariant Normalizing Flows for Mobility Transfer
IIT Delhi（德里印度理工学院）
不同区域的移动数据量存在很大的差异性，这会降低依赖于特定区域数据的空间推荐系统的性能。在本文中，我们提出了一种新的迁移学习框架称为REFORMD，连续时间的位置预测与稀疏检入数据的区域。具体来说，我们使用标记时间点过程（MTPP）与规范化流程来学习检查时间和地理分布的区域中的特定于用户的检查序列建模。之后，我们将在数据丰富的原始区域上训练的空间和时间流的模型参数转移到具有稀缺检入数据的目标区域中进行下一次检入和时间预测。我们通过最大化下一次检入的联合可能性，利用三个通道（1）检入类别预测，（2）检入时间预测和（3）旅行距离预测，来捕获MTPP和时空流的不断发展的特定于区域的检入动态。在美国和日本的不同用户移动数据集上进行的广泛实验表明，我们的模型在建模连续时间序列方面明显优于最先进的方法。此外，我们还表明，REFORMD可以很容易地适应产品的建议，即，没有任何空间成分的序列。
2021-09-13 cs.LG
Data-Driven Sparse Structure Selection for Deep Neural Networks
TuSimple（图森未来）
深度卷积神经网络在各种任务上解放了其非凡的力量。然而，由于其高计算复杂性，将最先进的模型部署到实际应用中仍然是非常具有挑战性的。在没有大量实验和专业知识的情况下，我们如何设计一个紧凑而有效的网络？在本文中，我们提出了一个简单有效的框架，以端到端的方式学习和修剪深度模型。在我们的框架中，一种新的类型的参数-缩放因子被引入到缩放特定结构的输出，如神经元，组或剩余块。然后，我们添加这些因素的稀疏正则化，并解决这个优化问题的一个修改的随机加速邻近梯度（APG）方法。通过将某些因子强制为零，我们可以安全地删除相应的结构，从而修剪CNN中不重要的部分。与其他可能需要数千次试验或迭代微调的结构选择方法相比，我们的方法在一次训练中完全端到端地训练，没有花里胡哨。我们评估了我们的方法，稀疏结构选择与几个最先进的CNN，并展示了非常有前途的结果与自适应深度和宽度选择。
2018-09-05 cs.CV cs.LG cs.NE
Leveraging exploration in off-policy algorithms via normalizing flows
McGill University（麦吉尔大学）；Mila -- Quebec AI Institute（米拉-魁北克人工智能研究所）；Université Laval（拉瓦尔大学）；Facebook AI Research（脸书人工智能研究院）；Microsoft Research Montreal（微软研究院蒙特利尔分院）；Université de Montréal（蒙特利尔大学）
在具有稀疏奖励的域中发现近似最优策略的能力对于在许多现实场景中应用强化学习（RL）至关重要。诸如神经密度模型和连续探索（例如，Go-Explore）来保持找到高性能和可推广策略所需的高探索率。软行动者-批评者（SAC）是另一种改进探索的方法，旨在通过关闭策略更新结合有效的学习，同时最大化策略熵。在这项工作中，我们将SAC扩展到更丰富的概率分布类别（例如，多模态）通过规范化流（NF），并表明这通过加速发现好的策略，同时使用更小的策略表示，显着提高性能。我们的方法，我们称之为SAC-NF，是一个简单，高效，易于实现的修改和改进SAC的连续控制基线，如MuJoCo和PyBullet Roboschool域。最后，SAC-NF这样做，同时是显着的参数效率，使用少至5.5%的等效SAC模型的参数。
2019-09-24 cs.LG stat.ML
Normalizing the Normalizers: Comparing and Extending Network Normalization Schemes
University of Toronto（多伦多大学）；Baylor College of Medicine（贝勒医学院）；Canadian Institute for Advanced Research (CIFAR)（加拿大高等研究院（CIFAR））
规范化技术最近才开始在监督学习任务中使用。批量归一化利用小批量统计来归一化激活。这被证明可以加快训练速度并产生更好的模型。然而，在处理递归神经网络时，它的成功非常有限。另一方面，层归一化对层内所有活动的激活进行归一化。这被证明在经常性环境中工作良好。在本文中，我们提出了一个统一的规范化技术，作为分裂规范化的形式，其中包括层和批量归一化的特殊情况。我们的第二个贡献是发现，这些规范化方案的一个小的修改，结合稀疏正则化的激活，导致显着的好处超过标准的规范化技术。我们在卷积神经网络和递归神经网络的背景下证明了我们的统一分裂归一化框架的有效性，在图像分类，语言建模以及超分辨率方面显示了基线的改进。
2017-03-06 cs.LG stat.ML
Hierarchical Data Selection via Manifold Coverage and Sparse Feature Coverage in LLM Post-training
本文提出MASS算法，将LLM后训练的数据选择建模为分层覆盖问题，在Vision Flan与LLaVA-CoT上仅用少量数据即可达到或超过全量训练效果，且优于现有基线方法。
2026-08-19 cs.CV cs.LG
Emulating compact binary population synthesis simulations with uncertainty quantification and model comparison using Bayesian normalizing flows
Center for Interdisciplinary Exploration and Research in Astrophysics（跨学科天体物理探索与研究中心）；Northwestern University（西北大学）；The NSF-Simons AI Institute for the Sky (NSF-Simons SkAI)（NSF-模拟斯诺人工智能天空研究所）
本研究提出基于贝叶斯归一化流的紧致双星族合成模拟方法，可量化并边缘化模拟不确定性，在双黑洞族模拟中验证了效果，可应用于引力波星表推断与特征预测场景。
2025-09-03 astro-ph.HE cs.LG gr-qc
C2S2: Cost-aware Channel Sparse Selection for Progressive Network Pruning
本文描述了一种简化深度神经网络的通道选择方法。具体来说，我们提出了一种新型的通用网络层，称为修剪层，以无缝地增强给定的预训练模型进行压缩。包括$1 \times 1$深度方向内核的每个修剪层用双重格式表示：一个是实值，另一个是二进制。前者使网络修剪的两阶段优化过程能够与端到端可微分网络一起操作，而后者产生用于信道选择的掩码信息。我们的方法逐步执行修剪任务逐层，并根据稀疏性标准实现通道选择，以利于修剪更多的通道。我们还开发了一个成本感知机制，以防止压缩牺牲预期的网络性能。我们在图像分类和语义分割上压缩几个基准深度网络的结果与最先进的结果相当。
2019-04-06 cs.CV cs.LG
Clustering and Feature Selection using Sparse Principal Component Analysis
Princeton University（普林斯顿大学）
本文研究了稀疏主成分分析（PCA）在聚类和特征选择问题中的应用。稀疏PCA寻求稀疏因子或数据变量的线性组合，解释数据中的最大方差量，同时只有有限数量的非零系数。PCA通常被用作一种简单的聚类技术，稀疏因子允许我们在这里用一组减少的变量来解释聚类。我们从稀疏PCA的简要介绍和动机开始，并详细介绍我们在d'Aspremont等人（2005）中实现的算法。然后，我们将这些结果应用到一些经典的聚类和生物学中出现的特征选择问题。
2008-10-08 cs.AI cs.LG cs.MS
Sparse Flows: Pruning Continuous-depth Models
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
连续深度学习架构能够学习灵活的概率模型，用于神经常微分方程（ODE）的预测建模，以及用于连续归一化流的生成建模。在这项工作中，我们设计了一个框架，通过修剪它们的网络架构来破译这些连续深度模型的内部动态。我们的实证结果表明，修剪提高了生成建模中神经常微分方程的泛化能力。我们的经验表明，改进是因为修剪有助于避免模式崩溃和平坦的损失表面。此外，修剪可以找到有效的神经ODE表示，与原始网络相比，参数减少了98%，而不会损失准确性。我们希望我们的研究结果将激励进一步研究现代连续深度模型的性能-大小权衡。
2021-11-18 cs.AI cs.LG
Sparse Learning for Variable Selection with Structures and Nonlinearities
Université de Genève（日内瓦大学）
在这篇论文中，我们讨论了机器学习方法执行自动变量选择学习稀疏预测模型。在预测模型中促进稀疏性有多种原因。通过依赖于有限的输入变量集，模型自然地抵消了从有限的训练点集学习时普遍存在的过拟合问题。稀疏模型用于预测的成本更低，它们通常需要更低的计算资源，并且通过依赖较小的输入集可以降低数据汇集和存储的成本。稀疏模型也有助于更好地理解所研究的现象，因为它们比完整模型更容易解释。
2019-03-26 cs.LG stat.ML
Key point selection and clustering of swimmer coordination through Sparse Fisher-EM
Université de Rouen（鲁昂大学）；INSA de Rouen（鲁昂国立应用科学学院）
为了回答最佳游泳运动员学习/教学策略的存在，这项工作引入了两级聚类，以分析蛙泳运动学习的时间动态。每个级别都是通过Sparse Fisher-EM执行的，Sparse Fisher-EM是一个无监督的框架，可以有效地应用于大型相关数据集。引入的稀疏性在没有任何先验知识的情况下选择协调阶段的关键点。
2014-01-07 cs.CV cs.LG physics.data-an
Subset selection in sparse matrices
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）
在子集选择中，我们搜索涉及一小部分变量的最佳线性预测器。从计算复杂性的角度来看，子集选择是NP难的，并且已知很少有类可以在多项式时间内求解。主要使用离散几何的工具，我们表明，原始数据矩阵的一些稀疏性条件，使我们能够在多项式时间内解决这个问题。
2020-02-06 cs.CC cs.LG math.OC
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University（西安交通大学）；State Key Laboratory of Management and Control for Complex Systems（复杂系统管理与控制国家重点实验室）
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量，稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择，这通常具有很高的计算代价。近年来，提出了许多改进的近似子集选择方法。然而，非近似的子集选择方法却很少受到关注，而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题，给出了条件不相关性的计算公式。在此基础上，提出了一种有效的非近似子集选择方法，该方法不需要计算回归方程中的任何系数。通过该方法，稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大，因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
Canonical normalizing flows for manifold learning
ETH Zürich（苏黎世联邦理工学院）
提出一种规范流形学习流方法，通过最小化非对角流形度量元素的 $\ell_1$-范数来学习稀疏且正交的规范内在基，从而实现更紧凑的潜在空间表示并提升目标分布的近似效果。
2025-03-05 cs.LG math.DG stat.CO
Explicit Sparse Transformer: Concentrated Attention Through Explicit Selection
Peking University（北京大学）
基于自注意的Transformer在许多自然语言处理任务中表现出了最先进的性能。自我注意能够对长期依赖进行建模，但它可能会受到提取上下文中不相关信息的影响。为了解决这个问题，我们提出了一个新的模型称为\textbf{Explicit Sparse Transformer}。显式稀疏Transformer能够通过显式选择最相关的片段来提高对全局上下文的注意力集中。在一系列自然语言处理和计算机视觉任务（包括神经机器翻译、图像描述和语言建模）上的大量实验结果都证明了显式稀疏Transformer在模型性能上的优势。我们还表明，我们提出的稀疏注意力方法比以前的稀疏注意力方法取得了相当或更好的结果，但显着减少了训练和测试时间。例如，推理速度是Transformer模型中sparsemax的两倍。代码将在\url{https://github.com/lancopku/Explicit-Sparse-Transformer}上提供
2019-12-25 cs.CL cs.LG
Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection
University of Southern California（南加州大学）
针对统计严谨的简单模型与深度神经网络的性能差距问题，提出基于特征交互检测的稀疏交互加性网络SIAN，在多个大规模表格数据集上达到SOTA性能，实现建模能力与泛化性的最优平衡。
2023-11-07 cs.LG stat.ML
Learning sparse gradients for variable selection and dimension reduction
University of California, Irvine（加州大学欧文分校）
变量选择和降维是两种常用的高维数据分析方法，但传统上被分开处理。在这里，我们提出了一个集成的方法，称为稀疏梯度学习（SGL），变量选择和降维通过学习梯度的预测函数直接从样本。通过对梯度施加稀疏约束，通过选择对应于非零偏导数的变量来实现变量选择，并且基于导出的稀疏经验梯度协方差阵的特征向量来提取有效维度。给出了误差分析的估计梯度收敛到真正的欧氏和流形设置。我们还开发了一个有效的前向-后向分裂算法来解决SGL问题，使得该框架实际上可扩展到中型或大型数据集。明确给出了SGL在变量选择和特征提取方面的实用性，并通过人工数据和真实世界的示例进行了说明。我们的方法的主要优点包括变量选择的线性和非线性预测，有效的降维与稀疏加载，和一个有效的算法，大p，小n的问题。
2010-07-01 cs.LG stat.ME stat.ML
Max-Margin Stacking and Sparse Regularization for Linear Classifier Combination and Selection
Sabanci University（萨班哲大学）
堆叠泛化（或堆叠）的主要原理是使用第二级泛化器将基本分类器的输出组合在一起。在本文中，我们研究不同的组合类型下的堆叠框架，即加权和（WS），类依赖加权和（CWS）和线性堆叠推广（LSG）。为了学习权重，我们建议使用正则化的经验风险最小化与铰链损失。此外，我们建议使用组稀疏性进行正则化，以方便分类器的选择。我们使用两种不同的集合设置进行实验，在8个真实世界的数据集上进行不同的分类。结果显示了具有铰链损失函数的正则化学习的能力。使用稀疏正则化，我们能够在不牺牲准确性的情况下减少所选分类器的数量。对于非多样性集成，我们甚至通过使用稀疏正则化来获得平均精度。
2011-06-08 cs.LG
Good pivots for small sparse matrices
Johannes Kepler University（约翰内斯·开普勒大学）
对于稀疏矩阵的大小$8 \times 8$，我们确定最佳的选择，在高斯消除枢轴选择。事实证明，它们比流行的枢轴选择策略选择的枢轴略好，因此还有一些改进的空间。然后，我们使用机器学习创建了一个主元选择策略，并发现与经典策略相比，它确实带来了一个小的改进。
2020-07-29 cs.LG cs.SC
Learning to Construct Knowledge through Sparse Reference Selection with Reinforcement Learning
Department of Electrical and Computer Engineering, University of Minnesota, Twin City, MN（电气与计算机工程系，明尼苏达大学，双城，MN）
针对科学文献中稀疏参考选择难题，提出深度强化学习框架模拟人类知识构建，在药物-基因关系发现中仅用标题和摘要即实现有效知识构建。
2025-09-07 cs.AI cs.IR cs.LG
Towards Hybrid-grained Feature Interaction Selection for Deep Sparse Network
McGill University（麦吉尔大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；City University of Hong Kong（香港城市大学）；FiT, Tencent（腾讯FiT）
本文提出混合粒度特征交互选择方法OptFeature，同时从特征域和特征值两个粒度高效选择特征交互，并在三个大规模真实数据集上验证了其准确性与效率。
2023-10-30 cs.IR cs.LG
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications（电气通信大学）
针对高真实秩下降秩回归系数估计失效的问题，提出基于稀疏正则化与流形优化的同时秩与变量选择算法，实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
Knot Selection in Sparse Gaussian Processes
Iowa State University（爱荷华州立大学）
基于节点的稀疏高斯过程作为全高斯过程的可扩展近似已经取得了相当大的成功。然而，当通过优化边际似然来进行节点选择时，可能会出现问题。例如，边缘似然曲面是高度多峰的，这可能导致次优节点放置，其中一些节点实际上不起作用。当使用的节点比必要的多得多时，这尤其是一个问题，导致额外的计算成本，而精度几乎没有提高。我们提出了一个一次一个节点选择算法来选择节点的数量和位置。我们的算法使用贝叶斯优化来有效地提出可能是好的结，并在很大程度上避免了使用边际似然作为目标函数时遇到的病态。我们提供的实证结果表明，提高了准确性和速度比目前的标准方法。
2020-02-21 cs.LG stat.ML
Knot Selection in Sparse Gaussian Processes with a Variational Objective Function
Iowa State University（爱荷华州立大学）
稀疏的，基于节点的高斯过程已经取得了相当大的成功，作为可扩展的近似全高斯过程。某些稀疏模型可以通过对真实后验的特定变分近似来导出，并且可以选择节点以最小化近似后验和真实后验之间的库尔贝克-莱布勒散度。虽然这是一种成功的方法，但由于要优化的参数的数量，同时优化节点可能会很慢。此外，已经提出了一些方法来选择节点的数量，并没有实验结果存在于文献中。我们提出了一种基于贝叶斯优化的节点选择算法来选择节点的数量和位置。我们展示了这种方法的竞争力的性能相对于同时优化的结在三个基准数据集，但在一小部分的计算成本。
2020-04-13 cs.LG stat.ML
Sparse Portfolio Selection via Topological Data Analysis based Clustering
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Swiss Finance Institute（瑞士金融研究所）；Indian Institute of Technology Ropar（罗帕尔印度理工学院）
该研究提出结合拓扑数据分析与聚类的稀疏投资组合选股策略，通过新的拓扑距离度量选股，经标普指数实证验证，在多市场场景下显著提升组合性能。
2024-12-13 cs.LG q-fin.PM q-fin.ST
Grouping effects of sparse CCA models in variable selection
University of Pennsylvania（宾夕法尼亚大学）
稀疏典型相关分析（SCCA）是一种双多变量关联模型，它可以找到两组变量的稀疏线性组合，这些变量彼此之间的相关性最大。除了标准的SCCA模型之外，简化的SCCA准则由于其计算简单而在文献中广泛使用，该准则最大化一对典型变量之间的互协方差而不是它们的互相关性。然而，这两个模型的解的行为/性质在理论上仍然未知。本文分析了标准SCCA模型和简化SCCA模型在变量选择上的分组效应。在高维环境中，变量通常形成具有高组内相关性和低组间相关性的组。我们的理论分析表明，对于分组变量选择，简化SCCA联合选择或取消选择一组变量在一起，而标准SCCA随机选择几个主导变量从每个相关组的相关变量。对人工合成数据和真实成像遗传学数据的实验结果验证了我们的理论分析结果。
2020-08-07 cs.LG stat.ME
Misam: Using ML in Dataflow Selection of Sparse-Sparse Matrix Multiplication
University of Maryland（马里兰大学）
本文提出一种基于机器学习的方法，利用决策树和深度强化学习为不同稀疏模式的SpGEMM任务自适应选择最优数据流方案，相比传统启发式方法可获得高达28倍的性能提升。
2024-08-29 cs.LG
