Unveiling the Unborn: Advancing Fetal Health Classification through Machine Learning
研究针对胎儿健康分类难题，利用综合数据集训练LightGBM分类器，结合多特征进行评估，准确率达98.31%，为胎儿健康评估提供新方法，有望改善早期检测与治疗。
2026-07-07 cs.AI cs.LG
Supervised Feature Selection with Neuron Evolution in Sparse Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）
特征选择从数据中选择信息丰富的变量子集，不仅增强了模型的可解释性和性能，而且减少了资源需求。近年来，利用神经网络进行特征选择受到越来越多的关注。然而，现有的方法通常遭受高的计算成本时，应用于高维数据集。在本文中，进化过程的启发，我们提出了一种新的资源有效的监督特征选择方法，使用稀疏神经网络，命名为\enquote{NeuroFS}。通过从从头开始训练的稀疏神经网络的输入层逐渐修剪无信息特征，NeuroFS有效地导出特征的信息子集。通过对不同类型的$11$低维和高维真实世界基准进行几次实验，我们证明了NeuroFS在所考虑的最先进的监督特征选择模型中获得了最高的基于排名的分数。代码可以在GitHub上找到。
2023-03-14 cs.AI cs.LG cs.NE
Particle swarm optimization for online sparse streaming feature selection under uncertainty
Chongqing University of Posts and Telecommunications（重庆邮电大学）；Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究院）
针对在线稀疏流式特征选择中特征-标签关系不确定和数据不完整问题，提出融合粒子群优化与三支决策的POS2FS框架，在六个真实数据集上验证其优于现有OSFS和OS2FS方法。
2025-08-24 cs.AI cs.LG cs.NE
An Online Sparse Streaming Feature Selection Algorithm
Southwest University（西南大学）；University of Chinese Academy of Sciences（中国科学院大学）
在线流特征选择（OSFS）是一种在线进行特征选择的方法，在高维数据处理中起着重要的作用。在许多实际应用中，例如智能医疗平台，流媒体功能总是有一些缺失的数据，这对进行OSFS提出了关键挑战，即，如何建立稀疏流特征和标签之间的不确定关系。遗憾的是，现有的OSFS算法没有考虑这种不确定的关系。为了填补这一空白，我们在本文中提出了一个在线稀疏流特征选择与不确定性（OS 2FSU）算法。OS 2FSU主要包括两个部分：1）在进行特征选择之前，利用潜在因子分析对稀疏流特征中的缺失数据进行预估计; 2）在进行特征选择时，利用模糊逻辑和邻域粗糙集来消除估计的流特征与标签之间的不确定性。在实验中，OS 2FSU与五个国家的最先进的OSFS算法在六个真实的数据集进行了比较。结果表明，OS 2FSU优于其竞争对手时，在OSFS中遇到丢失的数据。
2022-08-03 cs.LG
Efficient Sparse Group Feature Selection via Nonconvex Optimization
Arizona State University（亚利桑那州立大学）；The Biodesign Institute, Arizona State University（亚利桑那州立大学生物设计研究所）；University of Minnesota（明尼苏达大学）
稀疏特征选择已被证明是有效的，在处理高维数据。虽然有前途，大多数现有的作品使用凸的方法，这可能是次优的特征选择和参数估计的准确性方面。在本文中，我们扩展了一个非凸的范例稀疏组特征选择，这是出于应用程序，需要确定底层组结构，同时执行特征选择。本文的主要贡献有两个方面：（1）在统计上，我们引入了一个非凸稀疏群特征选择模型，它可以重构Oracle估计量。因此，一致的特征选择和参数估计可以实现;（2）计算上，我们提出了一个有效的算法，适用于大规模的问题。数值结果表明，所提出的非凸方法相比，毫不逊色于它的竞争对手的合成数据和现实世界的应用，从而实现了预期的目标，提供高性能。
2013-01-18 cs.LG stat.ML
Automatically Redundant Features Removal for Unsupervised Feature Selection via Sparse Feature Graph
Stony Brook University（石溪大学）；General Electric Global Research（通用电气全球研究中心）
高维数据中存在的冗余特征往往会影响学习和挖掘算法的性能。如何检测和去除它们是机器学习和数据采掘研究中的一个重要研究课题。在本文中，我们提出了一个基于图的方法来自动发现和删除这些冗余的功能，高维数据。在基于稀疏学习的无监督特征选择框架的基础上，引入稀疏特征图（SFG）来描述特征间的冗余，揭示特征组间的组冗余。利用SFG，我们可以将整个特征分成不同的组，并通过去除检测到的冗余特征来改善数据的内在结构。通过精确的数据结构，可以获得质量指标向量，从而提高现有无监督特征选择算法如多聚类特征选择（MCFS）的学习性能。我们在基准数据集上的实验结果表明，所提出的SFG和特征冗余去除算法可以提高无监督特征选择算法的性能一致。
2017-06-30 cs.LG
Adversarial LassoNet: Robust Feature Selection via Stability-Driven Sparse Learning
Beijing University of Technology（北京工业大学）；The First Affiliated Hospital of Zhejiang University School of Medicine（浙江大学医学院附属第一医院）；Peking University First Hospital（北京大学第一医院）
针对高维机器学习中传统方法在噪声下不稳定的问题，提出对抗拉索网络，集成对抗扰动与拉索网络分层稀疏机制及一阶近似，实验表明其提升了分布外鲁棒性与特征支持再现性。
2026-07-07 cs.LG
Feature Selection via Sparse Approximation for Face Recognition
Institute of Information Science and Engineering, Central South University（中南大学信息科学与工程学院）
受生物视觉系统的启发，具有巨大基数的过完备局部特征在人脸识别中的应用越来越广泛。因此，特征选择变得越来越重要，在人脸数据描述和识别中起着至关重要的作用。本文提出了一种基于正则化框架的可训练特征选择人脸识别算法。通过在最小平方误差（MSE）准则下引入稀疏惩罚项，将特征选择问题转化为组合稀疏逼近问题，并利用贪婪算法或凸松弛算法求解.此外，基于同一框架，我们提出了一个稀疏Ho-Kashyap（HK）过程，同时获得最佳稀疏解和相应的边际向量的MSE准则。该方法用于选择最具信息量的人脸图像的Gabor特征进行识别，在基准人脸数据库上的实验结果证明了该方法的有效性。
2011-02-14 cs.AI cs.CV
Sparse Feature Selection in Kernel Discriminant Analysis via Optimal Scoring
Texas A&M University（德克萨斯A&M大学）
我们考虑两组分类问题，并提出了一个基于最佳评分框架的核分类器。与以往的方法不同，我们提供了理论保证的方法的预期风险的一致性。我们还允许通过使用加权内核施加结构化稀疏性来进行特征选择。我们提出了全自动的方法来选择所有的调整参数，特别是适应核收缩的想法，脊参数选择。数值研究表明，所提出的方法相比，现有的非参数分类器的优越的分类性能。
2019-02-12 cs.LG stat.ML
SLM: End-to-end Feature Selection via Sparse Learnable Masks
Google Cloud AI Research（谷歌云人工智能研究院）
提出SLM（稀疏可学习掩码）端到端特征选择方法，通过可学习稀疏掩码最大化特征与标签的互信息，并利用sparsemax精确控制特征数量，在八个基准数据集上取得SOTA表现。
2023-04-06 cs.LG
Global and Local Structure Preserving Sparse Subspace Learning: An Iterative Approach to Unsupervised Feature Selection
University of Electronic Science and Technology of China（电子科技大学）；University of Alberta（阿尔伯塔大学）；University of Waterloo（滑铁卢大学）
由于我们的目标是减轻高维灾难，子空间学习变得越来越流行。现有的方法使用的是关于数据的全局或局部结构的信息，很少有研究同时关注全局和局部结构，因为它们都包含重要的信息。本文提出了一种全局和局部结构保持的稀疏子空间学习（GLoSS）模型，用于无监督特征选择。该模型可以同时实现特征选择和子空间学习。此外，我们开发了一个贪心算法来建立一个通用的组合模型，并使用基于加速块坐标下降的迭代策略来解决GLoSS问题。给出了该迭代算法的全序列收敛性分析。在真实数据集上进行了大量的实验，以显示所提出的方法优于几种最先进的无监督特征选择方法。
2015-10-19 cs.LG
ControlBurn: Feature Selection by Sparse Forests
Cornell University（康奈尔大学）
树集合在相关特征组之间均匀地分配特征重要性。相关组的平均特征排序被抑制，这降低了可解释性并使特征选择复杂化。在本文中，我们提出了ControlBurn，一个特征选择算法，使用加权LASSO为基础的特征选择方法修剪不必要的功能，从树系综，就像低强度火灾减少过度生长的植被。像线性LASSO一样，ControlBurn将相关特征组的所有特征重要性分配给单个特征。此外，与基于迭代包装器的特征选择方法不同，该算法高效且仅需要一次训练迭代即可运行。我们表明，ControlBurn的性能大大优于特征选择方法，在具有相关特征的数据集上具有可比的计算成本。
2021-07-01 cs.LG stat.ME
Feature Selection Based on Sparse Neural Network Layer with Normalizing Constraints
Technical University of Košice（科希策技术大学）
特征选择是机器学习中的一个重要步骤，因为它可以提高预测精度，同时降低高维数据的维数灾难。神经网络在解决许多非线性学习问题方面取得了巨大的成功。在这里，我们提出了新的基于神经网络的特征选择方法，该方法引入了两个约束，满足这两个约束会导致稀疏FS层。我们已经进行了广泛的实验，合成和真实世界的数据，以评估性能的建议FS。在实验中，我们专注于高维，低样本量的数据，因为这些代表了特征选择的主要挑战。实验结果表明，提出的基于规范化约束稀疏神经网络层的特征选择方法（SNEL-FS）能够有效地选择重要特征，并且与其他传统的FS方法相比具有更好的性能。
2021-07-12 cs.CV cs.LG cs.NE
Sparse Linear Centroid-Encoder: A Convex Method for Feature Selection
Colorado State University（科罗拉多州立大学）
本研究提出一种用于特征选择的两步凸优化方法SLCE，通过线性变换结合ℓ₁范数惩罚筛选特征，单模型可处理多类数据，在多数据集尤其是高维生物数据上表现出优于部分前沿神经网络特征选择方法的性能。
2023-06-09 cs.LG
Unveiling Gamer Archetypes through Multi modal feature Correlations and Unsupervised Learning
本研究提出一个整合心理测量、行为分析和机器学习的数据驱动框架，通过特征工程、关联网络与无监督聚类分析250名参与者的多模态数据，成功识别出四种玩家原型，为自适应游戏设计提供了可复现的分析流程。
2025-10-11 cs.AI cs.CY cs.HC
Quick and Robust Feature Selection: the Strength of Energy-efficient Sparse Training for Autoencoders
University of Twente（特文特大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Jyväskylä（于韦斯屈莱大学）
主要的并发症来自最近高维数据量的增加，包括高计算成本和内存需求。特征选择识别数据集的最相关和信息量最大的属性，已被引入作为此问题的解决方案。大多数现有的特征选择方法在计算上是低效的;低效的算法导致高能量消耗，这对于具有有限计算和能量资源的设备是不期望的。本文提出了一种新颖灵活的无监督特征选择方法。该方法将稀疏神经网络中神经元的强度作为特征重要性的度量标准，称为快速选择。该标准与稀疏进化训练过程训练的稀疏连接去噪自动编码器混合，同时导出所有输入特征的重要性。我们实现QuickSelection在一个纯粹的稀疏的方式，而不是使用一个二进制掩码连接来模拟稀疏的典型方法。它导致了相当大的速度增加和内存减少。当测试在几个基准数据集，包括五个低维和三个高维数据集，所提出的方法是能够实现最佳的分类和聚类精度，运行时间和最大内存使用量的权衡，广泛使用的方法之间的特征选择。此外，我们提出的方法需要最少的能量之间的国家的最先进的自动编码器为基础的特征选择方法。
2021-09-13 cs.LG stat.ML
Sparse and geometry-aware generalisation of the mutual information for joint discriminative clustering and feature selection
Université Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Maasai Team（马赛团队）；CHU de Québec Research Centre（魁北克大学中心医院研究中心）；Laval University（拉瓦尔大学）
本文提出稀疏GEMINI，一种基于几何感知互信息推广的判别聚类模型，通过l1惩罚实现联合聚类与特征选择，在合成及大规模数据上表现优异，无需先验假设。
2024-07-18 cs.AI cs.LG stat.CO
Where to Pay Attention in Sparse Training for Feature Selection?
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特温特大学）
基于神经网络的特征选择研究是近年来出现的一个新领域。尽管它优于经典方法，但它需要许多训练迭代来收敛和检测信息特征。对于具有大量样本或非常高维特征空间的数据集，计算时间变得非常长。在本文中，我们提出了一种新的有效的无监督的特征选择方法的基础上稀疏自编码器。特别是，我们提出了一种新的稀疏训练算法，在训练过程中优化模型的稀疏拓扑，以快速关注信息特征。稀疏拓扑的基于注意力的自适应使得能够在几次训练迭代之后快速检测信息特征。我们在10个不同类型的数据集上进行了广泛的实验，包括图像，语音，文本，人工和生物。它们涵盖了广泛的特征，例如低维和高维特征空间，以及少量和大量的训练样本。我们提出的方法在选择信息特征方面优于最先进的方法，同时大大减少了训练迭代和计算成本。此外，实验表明，我们的方法在非常嘈杂的环境中的鲁棒性。
2022-11-26 cs.CV cs.LG
Random Manifold Sampling and Joint Sparse Regularization for Multi-label Feature Selection
Northeastern University（东北大学）；Shandong University（山东大学）
多标签学习通常用于挖掘特征和标签之间的相关性，特征选择可以通过少量的特征保留尽可能多的信息。$\ell_{2,1}$正则化方法可以得到稀疏的系数矩阵，但不能有效解决多重共线性问题。本文提出的模型通过求解$\ell_{2,1}$和$\ell_{F}$正则化的联合约束优化问题来获得最相关的少数特征。在流形正则化中，我们实现了基于联合信息矩阵的随机游动策略，得到了一个高度鲁棒的邻域图。此外，给出了求解该模型的算法，并证明了算法的收敛性，在真实数据集上的对比实验表明，该方法优于其他方法。
2023-03-30 cs.LG stat.ML
Large-scale Online Feature Selection for Ultra-high Dimensional Sparse Data
Singapore Management University（新加坡管理大学）；Microsoft Research（微软研究院）
大规模高维数据的特征选择在机器学习和数据采掘中具有重要的意义和挑战性。在线特征选择是一种比批处理特征分割方法更有效、更可扩展的新方法，但现有的在线特征选择方法与批处理方法相比往往效率较低。在本文中，我们提出了一种新的二阶在线特征选择计划，是简单而有效的，非常快速和极具可扩展性，以处理大规模的超高维稀疏数据流。其基本思想是改进现有的一阶在线特征选择方法，利用二阶信息选择具有高置信度权重的重要特征子集。然而，不像许多二阶学习方法，往往遭受额外的高计算成本，我们设计了一种新的智能算法二阶在线特征选择使用基于MaxHeap的方法，这不仅是更有效的比现有的一阶方法，但也显着更有效和可扩展的大规模特征选择与超高维稀疏数据，从我们广泛的实验验证。令人印象深刻的是，在一个十亿规模的合成数据集（10亿个维度，10亿个非零特征和100万个样本）上，我们的新算法在一台PC上只花了8分钟，比传统的批处理方法快了几个数量级。\url{http://arxiv.org/abs/1409.7794}
2015-11-19 cs.CV cs.LG
First AI for deep super-resolution wide-field imaging in radio astronomy: unveiling structure in ESO 137--006
Heriot-Watt University（赫瑞-瓦特大学）；University of Edinburgh（爱丁堡大学）；Rhodes University（罗兹大学）；South African Radio Astronomy Observatory（南非射电天文台）
首个基于AI的深度超分辨率宽场射电干涉成像框架，通过即插即用去噪正则化与并行算法实现大规模数据可扩展性，在ESO 137-006观测中比CLEAN揭示更多结构与细节。
2023-01-17 astro-ph.GA astro-ph.IM cs.LG
Sparse Centroid-Encoder: A Nonlinear Model for Feature Selection
Colorado State University（科罗拉多州立大学）
自编码器作为一种非线性降维工具被广泛应用。虽然自动编码器不利用标签信息，但质心编码器（CE）\cite{ghosh2022supervised}在其学习过程中使用类标签。在这项研究中，我们提出了一个稀疏优化使用质心编码器架构，以确定一个最小的功能，区分两个或两个以上的类。由此产生的算法，稀疏质心编码器（SCE），提取歧视性的功能组使用稀疏诱导$\ell_1$ -范数，同时映射一个点到它的类质心。SCE的一个关键属性是它可以从多模态数据集中提取信息特征，即，数据集的类似乎有多个集群。该算法被应用到各种各样的现实世界的数据集，包括单细胞数据，高维生物数据，图像数据，语音数据，和加速度计传感器数据。我们将我们的方法与各种最先进的特征选择技术进行了比较，包括监督式混凝土自动编码器（SCAE），特征选择网络（FsNet），深度特征选择（DFS），随机门（STG）和LassoNet。我们的经验表明，SCE特征在隔离测试集中通常比其他方法产生更好的分类准确性。
2022-06-28 cs.CV cs.LG
HySparse: A Hybrid Sparse Attention Architecture with Oracle Token Selection and KV Cache Sharing
Xiaomi（小米）
HySparse通过利用完整注意力层作为oracle进行令牌选择和KV缓存共享，提高了稀疏注意力机制的效率和性能。
2026-02-03 cs.AI cs.CL
HSR: L1/2 Regularized Sparse Representation for Fast Face Recognition using Hierarchical Feature Selection
Ocean University of China（中国海洋大学）；The University of Iowa（爱荷华大学）
在本文中，我们提出了一种新的方法，用于快速人脸识别称为L1/2正则稀疏表示使用分层特征选择（HSR）。通过采用分层特征选择，可以压缩全局字典的规模和维数，这直接有助于减少稀疏表示的计算开销，而稀疏表示正是本文方法的基础。它由Gabor小波和极端学习机自动编码器（ELM-AE）分层。对于Gabor小波部分，可以在多个尺度和方向上提取局部特征，形成基于Gabor特征的图像，从而提高识别率。此外，当人脸图像被遮挡时，基于Gabor特征的遮挡字典存在冗余，可以相应地压缩全局字典的规模。对于ELM-AE部分，基于Gabor特征的全局字典的维数可以被压缩，因为高维的人脸图像可以被快速地表示为低维的特征。通过引入L1/2正则化，我们的方法可以产生更稀疏和更强大的表示相比，正则化稀疏表示基于分类（SRC），这也有助于减少稀疏表示的计算成本。在多种人脸数据库上的实验结果表明，与SRC和基于Gabor特征的SRC（GSRC）等相关工作相比，该方法在计算量方面具有很大的优势。此外，我们还实现了近似甚至更好的识别率。
2014-09-23 cs.CV cs.LG
Factorization Machines with Regularization for Sparse Feature Interactions
Hokkaido University（北海道大学）
因式分解机（FM）是基于二阶特征交互的机器学习预测模型，具有稀疏正则化的FM被称为稀疏FM。这样的正则化使得能够进行特征选择，其选择最相关的特征以进行准确的预测，因此它们可以有助于提高模型的准确性和可解释性。然而，由于FM使用二阶特征交互，特征的选择通常会导致结果模型中许多相关特征交互的丢失。在这种情况下，具有专门为尝试实现交互级稀疏性的特征交互选择而设计的正则化的FM可能是优选的，而不是仅用于尝试实现特征级稀疏性的特征选择的FM。在本文中，我们提出了一个新的正则化计划的功能模块中的功能交互选择。所提出的正则化算子是特征交互矩阵的$\ell_1$正则化算子的上界，该特征交互矩阵是从FM的参数矩阵计算的。对于特征交互选择，我们提出的正则化器使特征交互矩阵稀疏，而不限制现有方法所施加的稀疏模式。我们还描述了有效的邻近算法，建议FM和现有的理论分析和新的正则化。此外，我们将讨论如何将我们的想法应用或扩展到更准确的特征选择和其他相关模型，如高阶FM和全子集模型。在人工数据集和真实数据集上的分析和实验结果表明了所提方法的有效性。
2021-04-01 cs.LG stat.ML
Unveiling the Significance of Toddler-Inspired Reward Transition in Goal-Oriented Reinforcement Learning
Seoul National University（首尔大学）；AI Institute of Seoul National University (AIIS)（首尔大学人工智能研究院）
本研究受幼儿学习启发，探讨强化学习中从稀疏到密集奖励的转换，发现S2D转换能提升样本效率、成功率，并平滑损失景观以增强泛化。
2024-03-18 cs.AI cs.LG
From Sparse Dependence to Sparse Attention: Unveiling How Chain-of-Thought Enhances Transformer Sample Efficiency
Stanford University（斯坦福大学）；IIIS, Tsinghua University（清华大学信息科学技术学院（IIIS））；Amazon（亚马逊公司）；Shanghai AI Lab（上海人工智能实验室）；Shanghai Qizhi Institute（上海智慧研究院）
本文通过奇偶校验学习证明，即使表示能力充足，CoT也能使Transformer的样本需求从指数级降至多项式级，其核心机制在于引入稀疏序列依赖并产生稀疏注意力，从而提升样本效率。
2025-03-05 cs.CL cs.LG stat.ML
Unveiling Hidden Convexity in Deep Learning: a Sparse Signal Processing Perspective
Department of Electrical Engineering, Stanford University（斯坦福大学电气工程系）
本文从稀疏信号处理角度探讨深度学习中隐藏的凸性，通过分析ReLU网络的凸等价关系，解决训练和理解神经网络的挑战。
2026-03-25 cs.LG eess.SP stat.ML
Unveiling Latent Knowledge in Chemistry Language Models through Sparse Autoencoders
Independent researcher（独立研究者）；Department of Oncology, University of Oxford（牛津大学肿瘤学系）；Department of Chemistry, University of Oxford（牛津大学化学系）
通过稀疏自编码器揭示化学语言模型中的潜在知识，分析其在不同分子数据集上的激活模式，揭示化学概念的丰富景观。
2025-12-08 cs.LG physics.chem-ph
Unveiling Instruction-Specific Neurons & Experts: An Analytical Framework for LLM's Instruction-Following Capabilities
The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
本研究提出SPARCOM分析框架，通过分离和分析指令特异性稀疏组件（神经元与MoE专家），揭示了微调如何重构大语言模型的计算机制，并证明这些组件在指令执行中的关键作用，为可信LLM社区提供了深刻见解。
2025-05-27 cs.CL cs.LG
Can Large Language Models Beat Wall Street? Unveiling the Potential of AI in Stock Selection
本文提出MarketSenseAI框架，利用GPT-4结合思维链与上下文学习分析多源数据选股，实证显示其在S&P 100上15个月内获10%-30%超额Alpha及最高72%累计回报，突显大模型在金融决策中的变革潜力。
2024-04-04 cs.AI cs.CE cs.CL
Unveiling the Potential of Robustness in Selecting Conditional Average Treatment Effect Estimators
The Hong Kong Polytechnic University（香港理工大学）；City University of Hong Kong（香港城市大学）
针对现有CATE估计器选择方法需拟合nuisance参数、未聚焦鲁棒性选择的问题，本文提出无nuisance依赖的分布鲁棒指标DRM，可有效选出对协变量偏移、隐藏混杂引发的分布偏移鲁棒的CATE估计器。
2024-10-31 cs.AI cs.LG econ.EM
Unveiling Options with Neural Decomposition
Amii（阿米研究院）；University of Alberta（阿尔伯塔大学）
本文提出一种基于神经网络分解的强化学习算法，将策略网络分解为可重用子策略并转化为 options，通过最小化 Levin loss 的选择机制识别有用 options，加速相关任务的学习。
2024-10-15 cs.AI cs.LG
Learning to Construct Knowledge through Sparse Reference Selection with Reinforcement Learning
Department of Electrical and Computer Engineering, University of Minnesota, Twin City, MN（电气与计算机工程系，明尼苏达大学，双城，MN）
针对科学文献中稀疏参考选择难题，提出深度强化学习框架模拟人类知识构建，在药物-基因关系发现中仅用标题和摘要即实现有效知识构建。
2025-09-07 cs.AI cs.IR cs.LG
Unveiling Intrinsic Dimension of Texts: from Academic Abstract to Creative Story
本研究针对大语言模型分析中文本内在维度的决定因素不明的问题，结合交叉编码器、语言学特征与稀疏自编码器开展分析，明确了内在维度的特性、体裁分层规律与因果影响特征，为内在维度的应用与解读提供指导。
2025-11-19 cs.AI cs.CL cs.LG
Frequency Regularization: Unveiling the Spectral Inductive Bias of Deep Neural Networks
School of Artificial Intelligence（人工智能学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本研究通过频域正则化揭示深度神经网络对低频结构的归纳偏置，展示L2正则化在抑制高频能量和提升鲁棒性方面的优势。
2025-12-20 cs.LG
A Unified Dynamic Approach to Sparse Model Selection
Peking University（北京大学）；Hong Kong University of Science and Technology（香港科技大学）
稀疏模型选择是普遍存在的从线性回归到图形模型，其中正则化路径，作为一族估计的正则化参数变化，计算时，正则化参数是未知的或数据自适应决定。传统的计算方法依赖于解决一组优化问题，其中正则化参数固定在可能效率低下的网格上。在本文中，我们引入了一个简单的迭代正则化路径，它遵循稀疏镜像下降算法或具有非线性损失的线性化Bregman迭代的推广的动态。其性能与\texttt{glmnet}相比具有竞争力，并进一步降低了偏差。提出了一种路径一致性理论，在约束强凸性（RSC）和不可表示条件（IRR）下，路径首先在一个子空间中演化，且不出现假阳性，最后到达一个符号一致或极小极大最优$\ell_2$错误率的估计.需要提前停止正则化以防止过拟合。应用实例给出稀疏逻辑斯谛回归和伊辛模型的NIPS合作。
2018-10-08 cs.AI cs.LG stat.ML
Sparse Learning for Variable Selection with Structures and Nonlinearities
Université de Genève（日内瓦大学）
在这篇论文中，我们讨论了机器学习方法执行自动变量选择学习稀疏预测模型。在预测模型中促进稀疏性有多种原因。通过依赖于有限的输入变量集，模型自然地抵消了从有限的训练点集学习时普遍存在的过拟合问题。稀疏模型用于预测的成本更低，它们通常需要更低的计算资源，并且通过依赖较小的输入集可以降低数据汇集和存储的成本。稀疏模型也有助于更好地理解所研究的现象，因为它们比完整模型更容易解释。
2019-03-26 cs.LG stat.ML
Max-Margin Stacking and Sparse Regularization for Linear Classifier Combination and Selection
Sabanci University（萨班哲大学）
堆叠泛化（或堆叠）的主要原理是使用第二级泛化器将基本分类器的输出组合在一起。在本文中，我们研究不同的组合类型下的堆叠框架，即加权和（WS），类依赖加权和（CWS）和线性堆叠推广（LSG）。为了学习权重，我们建议使用正则化的经验风险最小化与铰链损失。此外，我们建议使用组稀疏性进行正则化，以方便分类器的选择。我们使用两种不同的集合设置进行实验，在8个真实世界的数据集上进行不同的分类。结果显示了具有铰链损失函数的正则化学习的能力。使用稀疏正则化，我们能够在不牺牲准确性的情况下减少所选分类器的数量。对于非多样性集成，我们甚至通过使用稀疏正则化来获得平均精度。
2011-06-08 cs.LG
Fractal Gaussian Networks: A sparse random graph model based on Gaussian Multiplicative Chaos
National University of Singapore（新加坡国立大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；Brunel University（布鲁内尔大学）
我们提出了一种新的随机网络模型，称为分形高斯网络（FGN），体现了良好的定义和易于分析的分形结构。这样的分形结构已经在不同的应用中经验性地观察到。FGN在流行的纯随机几何图（也称为泊松布尔网络），以及具有越来越多分形行为的随机图。事实上，它们形成了一个稀疏随机几何图形的参数族，这些图形由一个分形参数来参数化，该分形参数决定了分形结构的强度。FGN由高斯乘性混沌（GMC）的潜在空间几何驱动，高斯乘性混沌（GMC）本身就是一种典型的分形模型。我们渐近地描述了FGN中的边、三角形、集团和轴辐图案的预期数量，揭示了它们随网络大小参数缩放的独特模式。然后，我们研究自然的问题，检测分形的存在和参数估计的问题，根据观察到的网络数据，除了作为一个随机图模型的FGN的基本属性。我们还探讨分形社区结构中揭示了一个自然的随机块模型设置的FGN。最后，我们证实了我们的研究结果与现象学分析的FGN在现有的科学文献的背景下分形网络，包括应用到现实世界中的海量网络数据。
2022-01-13 cond-mat.dis-nn cs.LG math.PR
Conditional Uncorrelation and Efficient Non-approximate Subset Selection in Sparse Regression
Xi’an Jiaotong University（西安交通大学）；State Key Laboratory of Management and Control for Complex Systems（复杂系统管理与控制国家重点实验室）
给定$m$ $d$ -维响应变量和$n$ $d$ -维预测变量，稀疏回归为线性近似$1\leq k \leq d-1$的每个响应变量找到最多$k$预测变量.稀疏回归中的关键问题是子集选择，这通常具有很高的计算代价。近年来，提出了许多改进的近似子集选择方法。然而，非近似的子集选择方法却很少受到关注，而这对于数据分析中的许多问题是非常必要的。本文从相关性的角度考虑稀疏回归问题，给出了条件不相关性的计算公式。在此基础上，提出了一种有效的非近似子集选择方法，该方法不需要计算回归方程中的任何系数。通过该方法，稀疏回归中每个候选子集的计算复杂性从$O(\frac{1}{6}{k^3}+mk^2+mkd)$降低到$O(\frac{1}{6}{k^3}+\frac{1}{2}mk^2)$。由于维数$d$一般为观测或实验的个数且足够大，因此该方法可以大大提高非近似子集选择的效率。
2020-11-24 cs.LG stat.ML
Explicit Sparse Transformer: Concentrated Attention Through Explicit Selection
Peking University（北京大学）
基于自注意的Transformer在许多自然语言处理任务中表现出了最先进的性能。自我注意能够对长期依赖进行建模，但它可能会受到提取上下文中不相关信息的影响。为了解决这个问题，我们提出了一个新的模型称为\textbf{Explicit Sparse Transformer}。显式稀疏Transformer能够通过显式选择最相关的片段来提高对全局上下文的注意力集中。在一系列自然语言处理和计算机视觉任务（包括神经机器翻译、图像描述和语言建模）上的大量实验结果都证明了显式稀疏Transformer在模型性能上的优势。我们还表明，我们提出的稀疏注意力方法比以前的稀疏注意力方法取得了相当或更好的结果，但显着减少了训练和测试时间。例如，推理速度是Transformer模型中sparsemax的两倍。代码将在\url{https://github.com/lancopku/Explicit-Sparse-Transformer}上提供
2019-12-25 cs.CL cs.LG
Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection
University of Southern California（南加州大学）
针对统计严谨的简单模型与深度神经网络的性能差距问题，提出基于特征交互检测的稀疏交互加性网络SIAN，在多个大规模表格数据集上达到SOTA性能，实现建模能力与泛化性的最优平衡。
2023-11-07 cs.LG stat.ML
Subset selection in sparse matrices
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Georgia Institute of Technology（佐治亚理工学院）；ETH Zürich（苏黎世联邦理工学院）
在子集选择中，我们搜索涉及一小部分变量的最佳线性预测器。从计算复杂性的角度来看，子集选择是NP难的，并且已知很少有类可以在多项式时间内求解。主要使用离散几何的工具，我们表明，原始数据矩阵的一些稀疏性条件，使我们能够在多项式时间内解决这个问题。
2020-02-06 cs.CC cs.LG math.OC
Learning sparse gradients for variable selection and dimension reduction
University of California, Irvine（加州大学欧文分校）
变量选择和降维是两种常用的高维数据分析方法，但传统上被分开处理。在这里，我们提出了一个集成的方法，称为稀疏梯度学习（SGL），变量选择和降维通过学习梯度的预测函数直接从样本。通过对梯度施加稀疏约束，通过选择对应于非零偏导数的变量来实现变量选择，并且基于导出的稀疏经验梯度协方差阵的特征向量来提取有效维度。给出了误差分析的估计梯度收敛到真正的欧氏和流形设置。我们还开发了一个有效的前向-后向分裂算法来解决SGL问题，使得该框架实际上可扩展到中型或大型数据集。明确给出了SGL在变量选择和特征提取方面的实用性，并通过人工数据和真实世界的示例进行了说明。我们的方法的主要优点包括变量选择的线性和非线性预测，有效的降维与稀疏加载，和一个有效的算法，大p，小n的问题。
2010-07-01 cs.LG stat.ME stat.ML
Good pivots for small sparse matrices
Johannes Kepler University（约翰内斯·开普勒大学）
对于稀疏矩阵的大小$8 \times 8$，我们确定最佳的选择，在高斯消除枢轴选择。事实证明，它们比流行的枢轴选择策略选择的枢轴略好，因此还有一些改进的空间。然后，我们使用机器学习创建了一个主元选择策略，并发现与经典策略相比，它确实带来了一个小的改进。
2020-07-29 cs.LG cs.SC
Towards Hybrid-grained Feature Interaction Selection for Deep Sparse Network
McGill University（麦吉尔大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；City University of Hong Kong（香港城市大学）；FiT, Tencent（腾讯FiT）
本文提出混合粒度特征交互选择方法OptFeature，同时从特征域和特征值两个粒度高效选择特征交互，并在三个大规模真实数据集上验证了其准确性与效率。
2023-10-30 cs.IR cs.LG
Knot Selection in Sparse Gaussian Processes
Iowa State University（爱荷华州立大学）
基于节点的稀疏高斯过程作为全高斯过程的可扩展近似已经取得了相当大的成功。然而，当通过优化边际似然来进行节点选择时，可能会出现问题。例如，边缘似然曲面是高度多峰的，这可能导致次优节点放置，其中一些节点实际上不起作用。当使用的节点比必要的多得多时，这尤其是一个问题，导致额外的计算成本，而精度几乎没有提高。我们提出了一个一次一个节点选择算法来选择节点的数量和位置。我们的算法使用贝叶斯优化来有效地提出可能是好的结，并在很大程度上避免了使用边际似然作为目标函数时遇到的病态。我们提供的实证结果表明，提高了准确性和速度比目前的标准方法。
2020-02-21 cs.LG stat.ML
Knot Selection in Sparse Gaussian Processes with a Variational Objective Function
Iowa State University（爱荷华州立大学）
稀疏的，基于节点的高斯过程已经取得了相当大的成功，作为可扩展的近似全高斯过程。某些稀疏模型可以通过对真实后验的特定变分近似来导出，并且可以选择节点以最小化近似后验和真实后验之间的库尔贝克-莱布勒散度。虽然这是一种成功的方法，但由于要优化的参数的数量，同时优化节点可能会很慢。此外，已经提出了一些方法来选择节点的数量，并没有实验结果存在于文献中。我们提出了一种基于贝叶斯优化的节点选择算法来选择节点的数量和位置。我们展示了这种方法的竞争力的性能相对于同时优化的结在三个基准数据集，但在一小部分的计算成本。
2020-04-13 cs.LG stat.ML
Sparse Reduced-Rank Regression for Simultaneous Rank and Variable Selection via Manifold Optimization
The University of Electro-Communications（电气通信大学）
针对高真实秩下降秩回归系数估计失效的问题，提出基于稀疏正则化与流形优化的同时秩与变量选择算法，实现准确估计并验证有效性。
2019-11-01 cs.LG stat.ME stat.ML
Hierarchical Data Selection via Manifold Coverage and Sparse Feature Coverage in LLM Post-training
本文提出MASS算法，将LLM后训练的数据选择建模为分层覆盖问题，在Vision Flan与LLaVA-CoT上仅用少量数据即可达到或超过全量训练效果，且优于现有基线方法。
2026-08-19 cs.CV cs.LG
Grouping effects of sparse CCA models in variable selection
University of Pennsylvania（宾夕法尼亚大学）
稀疏典型相关分析（SCCA）是一种双多变量关联模型，它可以找到两组变量的稀疏线性组合，这些变量彼此之间的相关性最大。除了标准的SCCA模型之外，简化的SCCA准则由于其计算简单而在文献中广泛使用，该准则最大化一对典型变量之间的互协方差而不是它们的互相关性。然而，这两个模型的解的行为/性质在理论上仍然未知。本文分析了标准SCCA模型和简化SCCA模型在变量选择上的分组效应。在高维环境中，变量通常形成具有高组内相关性和低组间相关性的组。我们的理论分析表明，对于分组变量选择，简化SCCA联合选择或取消选择一组变量在一起，而标准SCCA随机选择几个主导变量从每个相关组的相关变量。对人工合成数据和真实成像遗传学数据的实验结果验证了我们的理论分析结果。
2020-08-07 cs.LG stat.ME
Sparse Portfolio Selection via Topological Data Analysis based Clustering
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Swiss Finance Institute（瑞士金融研究所）；Indian Institute of Technology Ropar（罗帕尔印度理工学院）
该研究提出结合拓扑数据分析与聚类的稀疏投资组合选股策略，通过新的拓扑距离度量选股，经标普指数实证验证，在多市场场景下显著提升组合性能。
2024-12-13 cs.LG q-fin.PM q-fin.ST
PSI-SINDy: Post-Selection Inference for Sparse Identification of Nonlinear Dynamics
本研究针对SINDy存在的选择偏差、测量误差及共享噪声问题，提出定制化后选择推断方法PSI-SINDy，通过数据细分分解轨迹，经理论验证和数值实验证实其有效性。
2026-10-09 cs.LG stat.ML
