Online Sparse Linear Regression
Amazon(亚马逊);Yahoo Research(雅虎研究院);Goldman Sachs(高盛)
我们考虑在线稀疏线性回归问题,这是顺序进行预测的问题,在每一轮中只观察有限数量的特征,以最大限度地减少对最佳稀疏线性回归的遗憾,其中预测精度由平方损失来衡量。我们给出了一个效率低下的算法,获得$T$预测轮后的$\tilde{O}(\sqrt{T})$有界的遗憾。我们补充这一结果表明,没有算法运行在多项式时间内,每次迭代可以实现遗憾的$O(T^{1-δ})$任何常数$δ> 0$,除非$\text{NP} \subseteq \text{BPP}$。这个计算硬度结果解决了COLT 2014(Kale,2014)中提出的一个开放问题,也是Zolghadr等人提出的。(2013)。即使算法被允许访问比最佳稀疏线性回归器更多的特征,直到维度中的对数因子,这个硬度结果也成立。
2016-03-07 cs.LG
Measuring Feature Sparsity in Language Models
MIT(麻省理工学院);Stanford University(斯坦福大学);University of Oxford(牛津大学)
本文提出度量标准评估语言模型激活的稀疏编码效果,验证线性与稀疏假设,发现激活可被稀疏线性组合准确建模,且首尾层最稀疏。
2023-10-13 cs.LG
Max-Margin Stacking and Sparse Regularization for Linear Classifier Combination and Selection
Sabanci University(萨班哲大学)
堆叠泛化(或堆叠)的主要原理是使用第二级泛化器将基本分类器的输出组合在一起。在本文中,我们研究不同的组合类型下的堆叠框架,即加权和(WS),类依赖加权和(CWS)和线性堆叠推广(LSG)。为了学习权重,我们建议使用正则化的经验风险最小化与铰链损失。此外,我们建议使用组稀疏性进行正则化,以方便分类器的选择。我们使用两种不同的集合设置进行实验,在8个真实世界的数据集上进行不同的分类。结果显示了具有铰链损失函数的正则化学习的能力。使用稀疏正则化,我们能够在不牺牲准确性的情况下减少所选分类器的数量。对于非多样性集成,我们甚至通过使用稀疏正则化来获得平均精度。
2011-06-08 cs.LG
PopArt: Efficient Sparse Regression and Experimental Design for Optimal Sparse Linear Bandits
University of Arizona(亚利桑那大学)
本文提出高效稀疏线性估计方法PopArt及凸实验设计准则,推导出改进regret上界的稀疏线性bandit算法,并在数据匮乏场景下证明了匹配下界。
2023-11-17 cs.LG stat.ML
Linear Spatial Pyramid Matching Using Non-convex and non-negative Sparse Coding for Image Classification
Center for Information in BioMedicine(生物医学信息中心);China Center for Applied Mathematics(中国应用数学中心)
近年来,稀疏编码在图像分类中取得了巨大的成功,这主要是由于它能够结合图像表示的稀疏性。本文提出了一种基于线性空间金字塔匹配(SPM)和尺度不变特征变换(SIFT)描述子的稀疏编码模型。新颖之处在于同时将非凸和非负特征加入到稀疏编码模型中。我们的数值实验表明,使用非凸和非负稀疏编码的改进方法优于原始的ScSPM[1]在几个典型的数据库。
2015-04-27 cs.CV cs.LG
Leveraging Sparse Linear Layers for Debuggable Deep Networks
MIT(麻省理工学院)
我们展示了如何在学习到的深度特征表示上拟合稀疏线性模型,从而产生更可调试的神经网络。这些网络保持高度准确,同时也更适合人类的解释,正如我们通过数值和人类实验定量证明的那样。我们进一步说明了稀疏的解释如何有助于识别虚假的相关性,解释错误分类,并诊断模型偏见的视觉和语言任务。我们的工具包代码可以在www.example.com上找到。
2021-05-11 cs.LG stat.ML
Towards Neural Sparse Linear Solvers
ZURU Tech(ZURU科技)
由于有限元法的广泛应用,大型稀疏对称线性方程组出现在科学和工程的许多分支中。最快的稀疏线性求解器实现混合迭代法。这些方法基于启发式算法来排列行和列或找到预处理矩阵。此外,它们本质上是顺序的,这使得它们无法完全利用GPU的处理能力。我们提出了神经稀疏线性求解器,这是一个深度学习框架,用于学习稀疏对称线性系统的近似求解器。我们的方法依赖于将稀疏对称线性系统表示为无向加权图。这样的图表示是固有的置换等变和尺度不变的,它可以成为一个图神经网络训练回归的解决方案的输入。我们在结构工程的静态线性分析问题上测试神经稀疏线性求解器。我们的方法是不准确的,比经典的算法,但它是硬件无关的,快速的GPU上,并适用于通用稀疏对称系统,没有任何额外的假设。虽然仍然存在许多限制,这项研究表明了一种通用的方法来解决问题,涉及稀疏对称矩阵使用图神经网络。
2022-03-14 cs.LG cs.NA math.NA
Follow The Approximate Sparse Leader for No-Regret Online Sparse Linear Approximation
IIT (ISM) Dhanbad(印度理工学院(达姆达德印度矿业学院))
针对在线稀疏线性逼近问题,提出 Follow-The-Approximate-Sparse-Leader 元策略,并证明其静态遗憾具有从对数到平方根范围的依赖数据次线性界,仿真验证了有效性。
2025-01-07 cs.LG math.OC
Robust and Sparse Estimation of Linear Regression Coefficients with Heavy-tailed Noises and Covariates
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学)
研究了线性回归系数的抗差稀疏估计。本文所解决的情况是,协变量和噪声是从重尾分布中采样的,并且协变量和噪声被恶意离群值污染。我们的估计量可以有效地计算。此外,估计的误差界是接近最优的。
2022-10-09 cs.LG stat.ML
SLA2: Sparse-Linear Attention with Learnable Routing and Quantization-aware Training
Tsinghua University(清华大学)
SLA2通过可学习路由和量化感知训练,提升稀疏-线性注意力的效率和性能
2026-10-20 cs.AI cs.CV cs.LG
Learning sparse linear dynamic networks in a hyper-parameter free setting
KTH Royal Institute of Technology(KTH皇家理工学院)
我们解决的问题,估计稀疏线性动态网络的拓扑结构和动态的超参数自由设置。我们提出了一种方法来估计网络动态的计算效率和参数调谐的迭代框架称为SPICE(稀疏迭代协方差估计)。估计的动态直接揭示了底层的拓扑结构。我们的方法并不假设网络是无向的,即使在网络模块之间存在不同的噪声水平,也是适用的。我们也不假设任何明确的网络动力学的先验知识。数值实验与现实的动态网络说明了我们的方法的实用性。
2019-11-26 cs.LG stat.ML
Hardness and Algorithms for Robust and Sparse Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
我们探索稀疏优化问题的算法和限制,如稀疏线性回归和鲁棒线性回归。稀疏线性回归问题的目标是识别少量的关键特征,而鲁棒线性回归问题的目标是识别少量的错误测量。具体地,稀疏线性回归问题寻找$k$ -稀疏向量$x\in\mathbb{R}^d$以最小化$\|Ax-b\|_2$,给定输入矩阵$A\in\mathbb{R}^{n\times d}$和目标向量$b\in\mathbb{R}^n$,而稳健线性回归问题寻找忽略至多$k$行的集合$S$和向量$x$以最小化$\|(Ax-b)_S\|_2$。我们首先展示了基于[OWZ 15]的工作建立的稳健回归的近似的双准则,NP-硬度,这意味着稀疏回归的类似结果。我们进一步显示细粒度的硬度强大的回归,通过减少从最小重量$k$ -集团猜想。在积极的一面,我们给出了一个鲁棒回归算法,实现任意精确的附加误差,并使用运行时间,密切匹配的下限从细粒度的硬度结果,以及稀疏回归算法具有类似的运行时间。我们的上界和下界都依赖于我们引入的从稳健线性回归到稀疏回归的一般减少。我们的算法,灵感来自3SUM问题,使用近似最近邻数据结构,并可能是独立的利益解决稀疏优化问题。例如,我们证明了我们的技术也可以用于研究稀疏PCA问题。
2022-06-29 cs.DS cs.LG
Recovery of binary sparse signals from compressed linear measurements via polynomial optimization
从少量的线性测量中恢复具有有限值分量的信号是一个具有广泛应用和有趣的数学特性的问题。在压缩感知框架中,最近已经提出了定制的方法来处理有限值稀疏信号的情况。在这项工作中,我们专注于二进制稀疏信号,我们提出了一种新的配方,基于多项式优化。这种方法进行了分析和比较,最先进的二进制压缩传感方法。
2019-05-30 cs.LG eess.SP math.OC
Fast Methods for Recovering Sparse Parameters in Linear Low Rank Models
在本文中,我们研究的恢复稀疏的权重向量(参数向量)从一组噪声的线性组合。然而,只有关于表示线性组合的矩阵的部分信息可用。假设矩阵具有低秩结构,一个自然的解决方案是首先对数据应用矩阵补全,然后解决由此产生的压缩感知问题。在大规模MIMO和医疗数据等大数据应用中,矩阵完成步骤会带来巨大的计算负担。在这里,我们建议通过忽略稀疏向量中对应于零元素的列来降低完成任务的计算成本。为此,我们采用了一种技术,最初近似的稀疏向量的支持。我们进一步建议将部分矩阵完备化和稀疏向量恢复统一为一个扩展的四步问题。仿真结果表明,增强的方法实现了最佳的性能,而这两种方法优于自然的两步技术,大大减少了计算需求。
2016-11-17 cs.LG stat.ML
Neural Generators of Sparse Local Linear Models for Achieving both Accuracy and Interpretability
Chiba Institute of Technology(千叶工业大学);RIKEN AIP(理化学研究所革新智能综合研究中心);NTT Communication Science Laboratories(NTT通信科学实验室)
对于可靠性,重要的是由机器学习方法做出的预测是人类可解释的。一般来说,深度神经网络(DNN)可以提供准确的预测,尽管很难解释为什么DNN会获得这样的预测。另一方面,线性模型的解释很容易,尽管它们的预测性能会很低,因为现实世界的数据通常本质上是非线性的。为了将DNN的高预测性能和线性模型的高可解释性结合到单个模型中,我们提出了稀疏局部线性模型(NGSLL)的神经生成器。稀疏局部线性模型具有很高的灵活性,因为它们可以近似非线性函数。NGSLL使用DNN为每个样本生成稀疏线性权重,DNN采用每个样本的原始表示(例如,字序列)及其简化表示(例如,词袋)作为输入。通过从原始表示中提取特征,权重可以包含丰富的信息以实现高预测性能。此外,预测是可解释的,因为它是通过简化表示和稀疏权重之间的内积获得的,其中只有少量的权重由我们的NGSLL中的门模块选择。在现实世界的数据集的实验中,我们证明了NGSLL的有效性定量和定性评估预测性能和可视化生成的图像和文本分类任务的权重。
2020-03-13 cs.LG stat.ML
SEA: Sparse Linear Attention with Estimated Attention Mask
School of Computing(计算机学院);Graduate School of AI(人工智能研究生院)
提出SEA方法,通过基于核的线性注意力估计矩阵并结合top-k选择执行稀疏注意力,在节省内存的同时超越OPT-1.3B基线困惑度并保持可解释性。
2024-03-25 cs.CL cs.LG
Optimal Sparse Linear Auto-Encoders and Sparse PCA
Yahoo Labs(雅虎实验室)
主成分分析(PCA)是数据的最佳线性自动编码器,通常用于构造特征。在主成分上实施稀疏性可以促进更好的泛化,同时提高特征的可解释性。我们研究了构造最优稀疏线性自编码器的问题。在这样的设置中,两个自然的问题是:i)给定稀疏性水平,可以实现的PCA的最佳近似是什么?ii)是否有低阶多项式时间算法,可以渐近实现稀疏性和近似质量之间的最佳权衡?在这项工作中,我们回答了这两个问题,给出了有效的低阶多项式时间算法构造渐近\emph{optimal}线性自动编码器(特别是,稀疏功能与近PCA重建误差),并证明了我们的算法在真实数据上的性能。
2015-02-23 cs.AI cs.IT cs.LG
Fast Sparse Classification for Generalized Linear and Additive Models
Duke University(杜克大学);University of British Columbia(不列颠哥伦比亚大学)
我们提出了稀疏广义线性和加法模型的快速分类技术。这些技术可以在几分钟内处理数千个特征和数千个观察结果,即使存在许多高度相关的特征。对于快速稀疏逻辑回归,我们的计算速度比其他最佳子集搜索技术要快,这要归功于逻辑损失的线性和二次替代切割,这使我们能够有效地筛选要消除的特征,以及使用优先级队列,有利于更均匀地探索特征。作为一种替代的逻辑损失,我们提出了指数损失,它允许在每次迭代的线搜索的解析解。我们的算法通常比以前的方法快2到5倍。它们生成可解释的模型,其准确性可与具有挑战性的数据集上的黑盒模型相媲美。
2022-10-30 cs.LG stat.ML
A linear approach for sparse coding by a two-layer neural network
Ghent University(根特大学);University of Naples Federico II(那不勒斯费德里科二世大学)
最近文献中提出了许多通过特征变换将非线性分类问题转化为线性分类问题的方法。这些方法主要包括稀疏编码方法和深度神经网络。然而,这些方法中的许多方法需要在呈现看不见的数据输入向量时重复应用学习过程,或者涉及使用大量的参数和超参数,这些参数和超参数必须通过交叉验证来选择,从而显著增加运行时间。在本文中,我们提出并实验研究了一种新的方法,以克服这两种限制的目的。所提出的方法利用了一个线性自联想网络(称为SCNN),只有一个隐藏层。该架构与要最小化的特定误差函数的组合使得能够学习计算稀疏码的线性编码器,该稀疏码被证明尽可能类似于通过重新训练神经网络获得的稀疏编码。重要的是,SCNN的线性度和误差函数的选择允许在学习阶段实现减少的运行时间。建议的架构进行评估的基础上,两个标准的机器学习任务。它的性能进行了比较,最近提出的非线性自联想神经网络。总体结果表明,线性编码器可以有利地用于获得稀疏的数据表示的上下文中的机器学习问题,提供了一个适当的误差函数在学习阶段。
2015-07-06 cs.LG physics.data-an
Information Directed Sampling for Sparse Linear Bandits
Deepmind(深度思维);Purdue University(普渡大学)
随机稀疏线性强盗模型为高维在线决策问题提供了一个实用的模型,并具有丰富的信息后悔结构。在这项工作中,我们探讨了使用信息导向抽样(IDS),自然平衡的信息遗憾权衡。我们开发了一类信息理论贝叶斯遗憾界,几乎匹配现有的各种问题的情况下的下限,证明了自适应的IDS。为了有效地实现稀疏入侵检测系统,我们提出了一个经验贝叶斯稀疏后验抽样方法使用尖峰和板高斯拉普拉斯先验。数值结果表明显着的遗憾减少稀疏IDS相对于几个基线。
2021-05-29 cs.LG math.ST stat.ML
A Smoothed Analysis of Online Lasso for the Sparse Linear Contextual Bandit Problem
University of Colorado, Boulder(科罗拉多大学博尔德分校);University of Virginia(弗吉尼亚大学)
研究了参数$θ$为稀疏的线性上下文强盗问题.为了减轻采样效率低下,我们利用“扰动对手”的上下文产生adversarilly,但小的随机非自适应扰动。我们证明了简单的在线Lasso支持稀疏线性上下文强盗遗憾界$\mathcal{O}(\sqrt{kT\log d})$,即使当$d \gg T$,其中$k$和$d$是有效和周围的维数,分别。与Sivakumar等人(2020)最近的工作相比,我们的分析不依赖于前提条件处理,自适应扰动(自适应扰动违反i.i.d扰动设置)或误差集的截断。此外,我们的结果中的特殊结构明确地描述了扰动如何影响探测长度,指导扰动的设计和扰动方法的基本性能限制。数值实验是对理论分析的补充。
2020-07-16 cs.LG stat.ML
Alleviating Forgetfulness of Linear Attention by Hybrid Sparse Attention and Contextualized Learnable Token Eviction
Idiap Research Institute(Idiap研究机构);Ecole Polytechnique Fédérale de Lausanne(瑞士联邦理工学院)
针对线性注意力模型因有限内存导致的遗忘问题,本文提出结合稀疏注意力与可学习令牌驱逐的混合方法,在保持线性复杂度下提升检索性能。
2025-10-24 cs.CL cs.LG
An Efficient Approach to Sparse Linear Discriminant Analysis
提出了一种新的稀疏线性判别分析(LDA)的公式化和解析方法。我们的建议是基于惩罚最佳评分。它与惩罚LDA完全等价,与目前提出的基于类指标回归的多类方法相反。稀疏性是通过group-Lasso惩罚获得的,该惩罚在所有判别方向上选择相同的特征。我们的实验表明,这种方法生成非常简约的模型,而不影响预测性能。除了预测之外,所得到的稀疏判别方向也适用于数据的低维表示。我们的算法是非常有效的中到大量的变量,因此特别适合于基因表达数据的分析。
2012-06-27 cs.LG stat.ML
Linear Mode Connectivity in Sparse Neural Networks
Modern Intelligence(现代智能公司)
针对稀疏神经网络,研究发现蒸馏数据与迭代幅度剪枝(IMP)结合得到的合成子网络,在真实数据上对SGD噪声更稳定、训练至相同最小值(具线性模式连通性),且仅需传统IMP 1/150的训练点数即可匹配性能。
2023-10-28 cs.AI cs.LG
Non-linear, Sparse Dimensionality Reduction via Path Lasso Penalized Autoencoders
University of Gothenburg(哥德堡大学);Chalmers University of Technology(查尔姆斯理工大学)
高维数据集通常通过构建潜在的低维空间来分析和探索,这使得方便的可视化和有效的预测建模或聚类成为可能。对于复杂的数据结构,像PCA这样的线性降维技术可能不够灵活,无法实现低维表示。非线性降维技术,如核PCA和自动编码器,遭受损失的可解释性,因为每个潜在变量是依赖于所有的输入尺寸。为了解决这个限制,我们在这里提出了路径套索惩罚自动编码器。这种结构化正则化通过惩罚从输入到潜在变量的编码器的每条路径来增强可解释性,从而限制每个潜在维度中表示多少输入变量。我们的算法使用组套索惩罚和非负矩阵分解来构建稀疏的,非线性的潜在表示。我们比较路径套索正则化的自动编码器PCA,稀疏PCA,自动编码器和稀疏自动编码器的真实和模拟数据集。我们表明,该算法表现出低得多的重建误差比稀疏PCA和参数明智的套索正则化低维表示的自编码器。此外,路径套索表示提供了更准确的重建匹配,即保留原始空间和重建空间中的对象之间的相对距离。
2021-10-20 cs.LG stat.ME
Sparse Linear Regression With Missing Data
Wisconsin Institutes for Discovery(威斯康星发现研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出了一种在有缺失数据的情况下进行稀疏回归的快速、准确的方法。底层统计模型封装了不完整数据矩阵的低维结构和回归系数的稀疏性,所提出的算法联合学习数据的低维结构和具有稀疏系数的线性回归器。建议的随机最优化方法,稀疏线性回归与缺失数据(SLRM),执行交替最小化过程和规模以及与问题的大小。大偏差不等式揭示了各种问题相关参数对学习回归量的预期平方损失的影响。在合成数据集和真实数据集上进行的大量仿真表明,SLRM在各种情况下都优于竞争算法。
2015-03-28 cs.LG stat.ME stat.ML
An adaptive shortest-solution guided decimation approach to sparse high-dimensional linear regression
Renmin University of China(中国人民大学);Institute of Theoretical Physics, Chinese Academy of Sciences(中国科学院理论物理研究所);University of Chinese Academy of Sciences(中国科学院大学);MinJiang University(闽江学院)
高维线性回归模型是处理高维数据的最常用的统计模型,但要得到稀疏的回归系数集是一个相当具有挑战性的任务。在本文中,我们提出了一个简单的启发式算法来构建稀疏的高维线性回归模型,这是适应于最短解引导抽取算法,被称为ASSD。该算法在递归抽取线性方程组的最小二乘解的指导下构造回归系数的支持度,并应用早停准则和第二阶段阈值化过程来细化该支持度。我们大量的数值结果表明,ASSD优于LASSO,向量近似消息传递,和其他两个代表性的贪心算法的解决方案的准确性和鲁棒性。ASSD特别适用于现实应用中遇到的具有高度相关测量矩阵的线性回归问题。
2022-11-28 cs.LG stat.CO
Sparse Linear Regression via Generalized Orthogonal Least-Squares
University of Texas at Austin(德克萨斯大学奥斯汀分校)
稀疏线性回归需要找到欠定线性方程组的稀疏解,可以正式表示为$l_0$约束最小二乘问题。正交最小二乘(OLS)算法顺序地选择特征(即,系数矩阵的列)来粗略地找到近似稀疏解。在本文中,一个推广的正交最小二乘依赖于最优解的组件之间的递归关系,选择L功能在每一步,并解决由此产生的超定方程组提出。仿真结果表明,广义OLS算法是计算效率和实现性能优于现有的贪婪算法广泛使用的文献。
2016-07-28 cs.IT cs.LG math.IT
Sparse linear regression with compressed and low-precision data via concave quadratic programming
我们考虑的问题,从压缩的线性测量数据时,被破坏的量化噪声的k-稀疏向量的恢复。当测量的数目不是足够大时,不同的$k$稀疏解可能存在于可行集中,并且经典的l1方法可能是不成功的。为此,我们提出了一种非凸二次规划方法,利用先验信息的大小的非零参数。这导致更有效的支持恢复。我们提供了成功恢复的充分条件和数值模拟,以说明所提出的方法的实际可行性。
2019-09-09 cs.LG math.OC stat.ML
Adaptive Block Sparse Regularization under Arbitrary Linear Transform
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所革新智能统合研究中心)
提出一种适用于任意线性变换下未知块结构的凸快速信号重建方法,推导了迭代算法及收敛条件,并通过数值实验验证了其有效性。
2024-02-13 cs.LG eess.SP
Onsager-corrected deep learning for sparse linear inverse problems
The Ohio State University(俄亥俄州立大学)
深度学习由于在许多推理问题上的广泛成功而获得了极大的普及。我们考虑将深度学习应用于压缩感知中遇到的稀疏线性逆问题,其中寻求从少量噪声线性测量中恢复稀疏信号。在本文中,我们提出了一种新的神经网络架构,它以近似消息传递(AMP)算法在迭代过程中消除预测误差的相同方式跨层消除预测误差:通过Onsager校正。数值实验表明,我们的“学习AMP”网络显着提高了Gregor和LeCun的“学习ISTA”网络的准确性和复杂性。
2016-07-20 cs.IT cs.LG math.IT
Fundamental limits and algorithms for sparse linear regression with sublinear sparsity
University of Cambridge(剑桥大学)
本文为次线性稀疏度机制下的稀疏线性回归建立了精确的归一化互信息和MMSE渐近表达式,通过推广自适应插值方法并提出改进的AMP算法以严格分析了其状态演化,证明了传统线性假设对稀疏信号并非必要。
2023-04-08 cs.IT cs.LG math.IT
Sparse Recovery With Non-Linear Fourier Features
Uppsala University(乌普萨拉大学)
随机非线性傅立叶特征最近在广泛的回归和分类应用中表现出显着的性能。受此成功的启发,本文重点介绍了稀疏非线性傅立叶特征(NFF)模型。我们提供了足够数量的数据点,保证完美的恢复未知参数的高概率的表征。特别是,我们展示了足够数量的数据点如何依赖于与输入数据的概率分布函数相关联的核矩阵。我们比较我们的结果与有界正交系统的可恢复性界,并提供示例说明稀疏恢复下的NFF模型。
2020-02-12 cs.IT cs.LG eess.SP
Homotopy Parametric Simplex Method for Sparse Learning
Princeton University(普林斯顿大学);Tencent AI Lab(腾讯人工智能实验室);Northwestern University(西北大学);Georgia Tech(佐治亚理工学院)
高维稀疏学习给大规模数据分析带来了巨大的计算挑战。在本文中,我们感兴趣的稀疏学习方法制定为线性规划参数化的{ \em正则化因子},并解决他们的参数单纯形法(PSM)。我们的参数单纯形方法提供了显着的优势比其他竞争的方法:(1)PSM自然地获得完整的解决方案路径的所有值的正则化参数;(2)PSM提供了一个高精度的双证书停止标准;(3)PSM通过很少的迭代产生稀疏的解决方案,解决方案的稀疏性显着降低每次迭代的计算成本。特别是,我们证明了PSM优于各种稀疏学习方法,包括稀疏线性回归的Dantzig选择器,稀疏鲁棒线性回归的LAD-Lasso,稀疏精度矩阵估计的CLIME,稀疏差分网络估计和稀疏线性规划判别(LPD)分析。然后,我们提供了充分的条件下,PSM总是输出稀疏的解决方案,使其计算性能可以显着提高。通过数值实验验证了PSM方法的优越性。
2017-11-27 cs.LG math.OC stat.ML
Quantum Sparse Support Vector Machines
Virginia Commonwealth University(弗吉尼亚联邦大学)
我们分析了量子稀疏支持向量机的计算复杂性,量子稀疏支持向量机是一种线性分类器,它最大限度地减少了铰链损失和特征权重向量的$L_1$范数,并依赖于量子线性规划求解器而不是经典求解器。稀疏SVM导致在决策中仅使用一小部分输入特征的稀疏模型,并且当特征的总数$p$接近或超过训练样本的数量$m$时特别有用。我们证明了一个$Ω(m)$最坏情况下的计算复杂性的任何量子训练算法依赖于黑盒访问训练样本的下限;量子稀疏SVM至少有线性最坏情况的复杂性。然而,我们证明,有现实的情况下,稀疏线性分类器预计具有高精度,可以在次线性时间训练的训练样本的数量和功能的数量。
2022-04-23 cs.LG quant-ph stat.ML
Conditional Sparse Linear Regression
Washington University in St. Louis(圣路易斯华盛顿大学)
机器学习和统计学通常专注于构建捕获绝大多数数据的模型,可能会忽略一小部分数据作为“噪音”或“离群值”。“相比之下,在这里我们考虑联合识别一个重要的(但可能很小的)群体部分的问题,其中有一个高度稀疏的线性回归拟合,以及线性拟合的系数。我们认为,这些任务是有趣的,因为模型本身可能能够在这种特殊情况下实现更好的预测,但也因为它们可以帮助我们理解的数据。我们给这样的问题的算法下的超级规范,当这个未知的部分人口描述的k-DNF条件和回归拟合是s-稀疏常数k和s。对于回归拟合不太稀疏或使用期望误差时该问题的变体,我们也给出了初步的算法,并强调该问题是未来工作的挑战。
2016-08-18 cs.DS cs.LG stat.ML
Sparse PCA from Sparse Linear Regression
MIT(麻省理工学院);Two Sigma(双西格玛公司)
稀疏主成分分析(Sparse Principal Component Analysis,SPCA)和稀疏线性回归(Sparse Linear Regression,SLR)作为高维统计问题的典型代表,在过去的二十年里得到了广泛的应用和关注。各种各样的算法已经提出了SPCA和SLR,但两者之间没有明确的联系。我们展示了如何有效地将SLR的黑箱求解器转换为SPCA算法:假设SLR求解器满足现有有效算法(如基于Lasso的算法)所实现的预测误差保证,则SPCA算法可以实现最先进的保证,用于测试和支持恢复单个尖峰协方差模型,如通过当前最好的polynomialtime算法获得的。我们的减少不仅突出了这两个问题之间的内在相似性,而且,从实用的角度来看,允许一个收集的算法SPCA直接从已知的算法SLR。我们提供的模拟数据比较我们提出的框架,其他算法的SPCA的实验结果。
2018-11-25 cs.LG math.ST stat.ML
Finding a sparse vector in a subspace: Linear sparsity using alternating directions
Columbia University(哥伦比亚大学)
用$\mathrm{dim}(\mathcal{S})= n < p$在通用子空间$\mathcal{S} \subseteq \mathbb{R}^p$中找到稀疏向量(方向)是否可能?这个问题可以被认为是稀疏恢复问题的同质变体,并发现与稀疏字典学习,稀疏PCA以及信号处理和机器学习中的许多其他问题的联系。在本文中,我们专注于一个 ** 种植稀疏模型 ** 的子空间:目标稀疏向量嵌入在一个随机的子空间。当目标稀疏向量中的非零条目的分数大大超过$O(1/\sqrt{n})$时,用于该种植恢复问题的简单凸算法可证明地失效。相比之下,我们展示了一个相对简单的非凸方法的基础上交替的方向,证明成功,即使当非零条目的分数是$Ω(1)$。据我们所知,这是第一个在种植稀疏模型下实现线性缩放的实用算法。从经验上讲,我们提出的算法在更具有挑战性的数据模型中也取得了成功,例如,稀疏字典学习
2016-07-20 cs.CV cs.IT cs.LG
The Contextual Lasso: Sparse Linear Models via Deep Neural Networks
University of New South Wales(新南威尔士大学);BIMLOGIQ
针对稀疏线性模型灵活性不足的问题,提出contextual lasso,利用深度神经网络根据上下文特征动态调整解释特征的稀疏模式和系数,在保持透明性的同时实现比常规lasso更稀疏且不损失预测能力。
2024-01-02 cs.LG stat.ME stat.ML
Are Latent Factor Regression and Sparse Regression Adequate?
Princeton University(普林斯顿大学)
我们提出了因子增广稀疏线性回归模型(FARM),它不仅包含了潜在因子回归和稀疏线性回归的特殊情况,而且将降维和稀疏回归联系在一起。我们分别在亚高斯噪声和重尾噪声(具有有界的(1+x)阶矩,对于所有x>0)的存在下,为我们的模型的估计提供了理论保证。此外,现有的监督学习的工作往往假设潜在的因素回归或稀疏线性回归是真正的基础模型,而没有证明其充分性。为了填补这一重要空白,我们还利用我们的模型作为替代模型来测试潜在因子回归和稀疏线性回归模型的充分性。为了实现这些目标,我们分别提出了因子调整去偏检验(FabTest)和两阶段方差分析类型检验。我们还进行了大规模的数值实验,包括合成和FRED宏观经济数据,以证实我们的方法的理论特性。数值结果表明,我们的模型对潜在的因素回归和稀疏线性回归模型的鲁棒性和有效性。
2022-03-02 cs.LG math.ST stat.ME
High-Dimensional Sparse Linear Bandits
Deepmind;Princeton University(普林斯顿大学)
具有高维稀疏特征的随机线性强盗模型是包括个性化医疗和在线广告在内的各种领域的实用模型。我们推导出一个新的$Ω(n^{2/3})$无量纲极大极小遗憾下界稀疏线性土匪在数据贫乏的制度,地平线小于周围的尺寸和特征向量承认一个良好的条件下的勘探分布。这是由一个几乎匹配的上限的探索,然后提交算法表明,$Θ(n^{2/3})$是最佳的数据贫乏的制度。这些结果补充了数据丰富制度的现有界限,并提供了另一个例子,其中仔细平衡信息和遗憾之间的权衡是必要的。最后,我们证明了一个无量纲的$O(\sqrt{n})$遗憾的上限下的一个额外的假设信号的大小相关功能。
2021-09-04 cs.LG math.ST stat.ML
Distributed Bayesian Piecewise Sparse Linear Models
NEC System Platform Research Laboratories(NEC系统平台研究所);NEC Data Science Research Laboratories(NEC数据科学研究所)
由于新兴的企业预测分析、数据隐私的威胁、人工智能在社会中的责任等,机器学习模型的可解释性的重要性日益增加。它们通常会产生与最先进的非线性方法相比具有竞争力的准确性。此外,他们的陈述(即,基于规则的分割加上稀疏线性公式)通常被领域专家所偏好。然而,这样的模型的一个缺点是,同时确定的“件”和基数的每个线性预测,这限制了它们的适用性中等规模的数据集的计算成本高。提出了一种基于分布式存储结构的分段稀疏线性模型学习的分布式因子分解渐近贝叶斯(FAB)推理方法。分布式FAB推理解决了同时模型选择问题,而无需传送$O(N)$数据,其中N是训练样本的数量,并实现了相对于CPU核数量的线性横向扩展。实验结果表明,分布式FAB推理具有较高的预测精度和性能的可扩展性与合成和基准数据。
2017-11-07 cs.AI cs.DC cs.LG
Thompson Sampling for High-Dimensional Sparse Linear Contextual Bandits
University of Michigan(密歇根大学)
本文研究了具有高维特征的随机线性上下文强盗问题。我们使用特殊类别的稀疏诱导先验(例如,尖峰和平板),以模拟未知参数,并提供一个接近最佳的上限预期的累积遗憾。据我们所知,这是第一个工作,提供了理论保证的汤普森采样在高维和稀疏的上下文土匪。为了提高计算速度,我们使用变分推断代替马尔可夫链蒙特卡罗(MCMC)来近似后验分布。大量的模拟表明,我们提出的算法比现有的性能有所改善。
2023-01-28 cs.LG math.ST stat.ME