Multi-dimensional sparse structured signal approximation using split Bregman iterations
本文重点研究了使用过完备表示的信号稀疏近似,以保持多维信号的(先验)结构。使用多维分裂Bregman优化方法来解决基本的优化问题。一个广泛的实证评估表明,所提出的方法相比,最先进的信号特征。
2015-03-10 cs.DS stat.ML
Sparse Stochastic Zeroth-Order Optimization with an Application to Bandit Structured Prediction
Amazon Research(亚马逊研究院);Heidelberg University(海德堡大学)
随机零阶(SZO)或无梯度优化允许仅依赖于参数扰动下的函数评估来优化任意函数,然而,SZO方法的迭代复杂度与扰动函数的维数成比例。我们表明,在结构化预测应用中具有自然稀疏模式的情况下,该因子可以减少到输入输出对上的活动特征的预期数量。我们给出了一个一般的证明,适用于稀疏SZO优化Lipschitz连续,非凸,随机目标,并提出了一个实验评估线性强盗结构预测任务与稀疏字为基础的特征表示,证实我们的理论结果。
2020-11-10 cs.CL cs.LG stat.ML
A Structured Variational Auto-encoder for Learning Deep Hierarchies of Sparse Features
在这篇文章中,我们提出了一个自然图像的生成模型,该模型由深层的潜在随机变量层组成,每个变量都遵循一种新的分布类型,我们称之为整流高斯分布。这些整流高斯单位允许尖峰和板型稀疏,同时保留有效的随机梯度变分推断所需的可微性。为了学习新模型的参数,我们用变分自动编码器近似隐变量的后验。然而,编码器参数化了一种新型的结构化变分近似,而不是进行通常的平均场假设,该结构化变分近似保留了生成模型的先验依赖性。使用这种结构化的后验近似,我们能够对具有多层潜在随机变量的深度模型进行联合训练,而不必求助于堆叠或其他逐层训练过程。
2016-02-28 cs.LG stat.CO stat.ML
Spatio-Temporal Structured Sparse Regression with Hierarchical Gaussian Process Priors
University of Sheffield(谢菲尔德大学);University of Oxford(牛津大学)
本文介绍了一种新的稀疏时空结构的高斯过程回归的在线和离线贝叶斯推断框架。这是第一个框架,它给出了感兴趣的稀疏信号的分量之间的相互依赖性的时间演化表示。一个分层的高斯过程描述了这样的结构和相互依赖性表示通过先验分布的协方差阵。该推断基于期望传播法,并给出了后验分布的理论推导。的推理框架进行了全面评估合成,真实的视频和脑电图(EEG)数据的时空演变模式需要重建高精度。与乘子交替方向法、时空稀疏贝叶斯学习法和单层高斯过程模型相比,该方法的F测度提高了15%。此外,所提出的算法所需的内存是小于在一级高斯过程模型。这种结构化的稀疏回归框架具有广泛的适用性,源定位和目标检测问题与稀疏信号。
2018-07-15 cs.LG stat.ML
Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators
Stanford University(斯坦福大学)
本文研究了CNN的结构化稀疏训练,采用逐步修剪技术,在一定数量的epoch之后产生固定的稀疏权重矩阵。我们简化了强制稀疏性的结构,以减少正则化引起的开销。所提出的训练方法Campfire在卷积核和滤波器内探索粒度修剪。我们研究了修剪持续时间,稀疏水平,和学习率配置方面的各种权衡。我们表明,我们的方法在完整的ImageNet上创建了ResNet-50和ResNet-50 v1.5的稀疏版本,同时保持在可忽略的<1%的准确性损失范围内。为了确保这种类型的稀疏训练不会损害网络的鲁棒性,我们还演示了网络在存在对抗攻击的情况下的行为。我们的研究结果表明,与70%的目标稀疏,超过75%的前1的准确性是可以实现的。
2020-01-13 cs.LG stat.ML
Low-Rank and Structured Sparse Tensor Decomposition for Anomaly Detection in Multivariate Functional Data
Georgia Institute of Technology(佐治亚理工学院)
针对多元函数数据异常检测,提出ES-CP和FG-Lasso两种无监督稀疏张量分解方法,通过低秩CP分解和结构化稀疏惩罚,在模拟与锻造案例中显著提升检测与定位性能。
2026-10-07 cs.LG stat.AP stat.CO
Structured Priors for Sparse-Representation-Based Hyperspectral Image Classification
The Johns Hopkins University(约翰斯·霍普金斯大学);U.S. Army Research Laboratory(美国陆军研究实验室)
逐像素分类是高光谱图像分析中最重要的步骤之一,其中每个像素被分配到一个预定义的类。稀疏表示分类器(SRC)通过将测试像素表示为标记像素的一个小子集的线性组合,与传统的分类器如支持向量机(SVM)相比,给出了更合理的结果。最近,通过加入额外的结构稀疏先验,第二代SRC出现在文献中,并报告进一步提高HSI的性能。这些先验是基于利用相邻像素之间的空间依赖性,字典的固有结构,或两者兼而有之。在本文中,我们回顾和比较几个结构化的先验稀疏表示为基础的HSI分类。我们还提出了一个新的结构先验称为低秩组先验,它可以被认为是低秩先验的修改。此外,我们将研究不同的结构先验如何改善HSI分类的结果。
2014-01-16 cs.CV cs.LG stat.ML
Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery
Iowa State University(爱荷华州立大学);New York University(纽约大学);Duke University(杜克大学)
本文从稀疏恢复方法的角度研究了神经网络自动设计中的两个重要问题--超参数优化(Hyper parameter Optimization,HPO)和神经结构搜索(Neural Architecture Search,NAS)。在本文的第一部分,我们建立了一个新的连接HPO和结构化稀疏恢复。特别是,我们表明,一个特殊的编码的超参数空间,使一个自然的组稀疏恢复制定,这与HyperBand(多臂强盗策略)时,导致改善现有的超参数优化方法。在CIFAR-10等图像数据集上的实验结果证实了我们方法的优点。在本文的第二部分,我们建立了NAS和结构化稀疏恢复之间的联系。基于NAS中的“一次性”方法,我们提出了一种新的算法,我们称之为CoNAS,通过将一次性方法的思想与学习低次稀疏布尔多项式的技术相结合。我们提供了理论分析的验证误差测量的数量。最后,我们在几个数据集上验证了我们的方法,并发现了迄今为止尚未报道的新架构,与现有的NAS方法相比,在性能和搜索时间方面都取得了有竞争力(或更好)的结果。
2020-07-07 cs.LG stat.ML
Smoothing proximal gradient method for general structured sparse regression
Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题估计高维回归模型正则化的结构化稀疏诱导惩罚编码的输入或输出变量的先验结构信息。我们考虑两种广泛采用的这类惩罚作为激励的例子:(1)一般的群套索惩罚,从群套索惩罚推广;(2)图引导的融合套索惩罚,从融合套索惩罚推广。对于这两种类型的惩罚,由于其不可分离性和非光滑性,开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中,我们提出了一种通用的优化方法,平滑邻近梯度(SPG)方法,它可以解决结构稀疏回归问题的任何光滑凸损失下的结构稀疏诱导罚款的广泛频谱。我们的方法结合了一个有效的近端梯度方法的平滑技术。它的收敛速度明显快于标准的一阶方法,次梯度方法,并且比最广泛使用的邻域点方法更具可扩展性。我们的方法的效率和可扩展性的模拟实验和真实的遗传数据集上证明。
2012-06-29 cs.LG math.OC stat.AP
Tractable downfall of basis pursuit in structured sparse optimization
Technion – Israel Institute of Technology(以色列理工学院)
研究结构矩阵中基追踪失效的条件,提供稀疏解的确定性保证,并通过最优控制问题验证结果,连接压缩感知与几何建模。
2026-03-14 math.OC stat.ML
Sparse Gaussian Processes: Structured Approximations and Power-EP Revisited
Australian National University(澳大利亚国立大学);Google DeepMind(谷歌DeepMind)
本文提出块对角缩放矩阵改进稀疏变分高斯过程,并将结构化近似后验引入 Power-EP 框架,在保持计算成本的同时提升回归性能,为实践者提供灵活替代方案。
2025-07-03 cs.LG stat.ML
Sparse Bayesian Deep Functional Learning with Structured Region Selection
School of Statistics and Data Science, Shanghai University of Finance and Economics(上海金融学院统计与数据科学学院);School of Statistics(统计学院);Data Science, Shanghai University of Finance(金融大学数据科学学院);Department of Biostatistics, Yale School of Public Health(耶鲁大学公共卫生学院生物统计学系)
提出稀疏贝叶斯函数深度神经网络(sBayFDNN),通过深度贝叶斯架构学习自适应函数嵌入以捕捉复杂非线性关系,并利用结构化先验实现具有量化不确定性的可解释区域选择,理论上首次为贝叶斯深度函数模型提供了近似误差界、后验一致性和区域选择一致性的严格保证。
2026-06-03 cs.LG stat.AP stat.ML
A Regularized Framework for Sparse and Structured Neural Attention
Cornell University(康奈尔大学);NTT Communication Science Laboratories(NTT通信科学实验室)
现代神经网络通常增加了注意力机制,它告诉网络在输入中关注哪里。在本文中,我们提出了一个新的框架,稀疏和结构化的注意,建立在一个平滑的最大算子。我们表明,该算子的梯度定义了一个映射,从实际值的概率,适合作为一个注意力机制。我们的框架包括softmax和最近提出的sparsemax作为特例的轻微推广。然而,我们还展示了我们的框架如何结合现代结构化的惩罚,从而产生更可解释的注意力机制,专注于输入的整个部分或组。我们推导出有效的算法来计算我们的注意力机制的向前和向后传递,使其能够在用反向传播训练的神经网络中使用。为了展示它们作为现有替代品的潜力,我们在三个大规模任务上评估了我们的注意力机制:文本蕴涵,机器翻译和句子摘要。我们的注意力机制在不牺牲性能的情况下提高了可解释性;值得注意的是,在文本蕴涵和摘要方面,我们优于基于softmax和sparsemax的标准注意力机制。
2019-02-23 cs.CL cs.LG stat.ML
Dependent relevance determination for smooth and structured sparse regression
在许多问题设置中,参数向量不仅是稀疏的,而且以非零系数倾向于聚集在一起的方式依赖。我们将这种依赖形式称为“区域稀疏性”。经典的稀疏回归方法,如套索和自动相关性确定(ARD),它们将参数建模为先验独立的,因此不利用这种依赖关系。在这里,我们介绍了一个分层模型的光滑,区域稀疏的权重向量和张量在线性回归设置。我们的方法代表了一个层次的相关性确定框架的扩展,在那里我们添加了一个转换后的高斯过程模型回归权重的先验方差之间的依赖关系。我们将其与傅立叶系数的先验方差的结构化模型相结合,从而消除了不必要的高频。由此产生的先验知识鼓励权重同时在两个不同的基中是区域稀疏的。我们发展了拉普拉斯近似和蒙特卡罗马尔可夫链(MCMC)采样,以提供有效的推断后验。此外,一个两阶段的凸松弛的拉普拉斯近似的方法也提供放松不可避免的非凸优化过程中。最后,我们显示了实质性的改进,从大脑成像的模拟和真实数据集的可比方法。
2019-01-24 stat.ML
Group selection and shrinkage: Structured sparsity for semiparametric additive models
针对统计与机器学习中的组结构稀疏问题,提出结合组子集选择与收缩、支持组任意重叠的结构化稀疏估计器,构建优化框架并给出误差界,在半参数可加建模等任务中表现更优,且提供grpsel开源实现。
2024-03-08 stat.ME stat.ML
Infinite Sparse Structured Factor Analysis
矩阵分解方法将多变量观测分解为潜在特征向量的线性组合。Indian Buffet Process(IBP)提供了一种方法来对正则化重建误差方面的良好近似所需的潜在特征的数量进行建模。以前的工作集中在独立条目的潜在特征向量。我们扩展了模型,包括非对角潜在的协方差结构表示的特性,如平滑度。这是由。使用模拟,我们证明了在适当的条件下,平滑先验有助于恢复真正的潜在特征,同时更准确地去噪。我们在一个真实的神经成像数据集上展示了我们的方法,其中计算的易处理性是一个足够的挑战,这里提出的有效策略是必不可少的。
2017-04-13 stat.ML
Information Projection and Approximate Inference for Structured Sparse Variables
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Stanford University(斯坦福大学)
通过信息投影的近似推理最近被引入作为一种通用的方法,用于有效的概率推理给定稀疏变量。这份手稿超越了经典的稀疏性,提出了有效的算法,通过信息投影的近似推理,适用于任何结构的变量集,承认枚举使用\emph{matroid}。我们表明,由此产生的信息投影可以减少到组合子模优化拟阵约束。此外,利用最新的子模块优化的进展,我们提供了一个有效的贪婪算法,具有强大的优化理论的保证。可以用这种方式表达的概率模型的类别是相当广泛的,正如我们所展示的,包括组稀疏回归,组稀疏主成分分析和稀疏典型相关分析等。此外,模拟数据和高维神经成像数据的实证结果突出了信息投影方法的优越性能相比,建立的基线的概率模型的范围。
2016-07-12 cs.LG stat.ML
RadiX-Net: Structured Sparse Matrices for Deep Neural Networks
MIT(麻省理工学院);MIT Lincoln Laboratory(麻省理工学院林肯实验室)
深度神经网络(DNN)的规模正在迅速增长,超过了硬件存储和训练它们的能力。过去几十年的研究已经探索了在训练之前、期间和之后通过从底层拓扑中修剪边缘来稀疏化DNN的前景。得到的神经网络被称为稀疏神经网络。最近的工作已经证明了某些稀疏DNN可以以较低的运行时间和存储成本训练到与密集DNN相同的精度的显著结果。这些稀疏DNN中的一个有趣的类别是X-Net,它们在稀疏拓扑上进行初始化和训练,既不参考父密集DNN,也不进行后续修剪。我们提出了一种确定性地生成RadiX-Nets的算法:稀疏DNN拓扑结构,作为一个整体,比X-Net拓扑结构更加多样化,同时保留了X-Nets所需的特性。我们进一步提出了一个基于长期观察的功能分析猜想,即稀疏神经网络拓扑结构可以获得与密集拓扑结构相同的表达能力
2019-04-30 cs.LG stat.ML
Graph-Sparse LDA: A Topic Model with Structured Sparsity
Harvard University(哈佛大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
主题建模最初是为了对文本进行建模而设计的,现在已经成为揭示医学、金融和视觉等领域潜在结构的强大工具。模型的目标根据应用而有所不同:在某些情况下,发现的主题可能用于预测或其他下游任务。在其他情况下,专题本身的内容可能具有内在的科学意义。不幸的是,即使使用现代稀疏技术,由于底层空间的高维性,所发现的主题通常也难以解释。为了提高主题的可解释性,我们引入了Graph-Sparse LDA,这是一种分层主题模型,它利用了单词之间关系的知识(例如,如由本体编码的)。在我们的模型中,主题总结了一些潜在的概念词从底层图,解释观察到的话。Graph-Sparse LDA在两个真实世界的生物医学数据集上恢复稀疏的、可解释的摘要,同时匹配最先进的预测性能。
2014-11-21 cs.CL cs.LG stat.ML
Tight Measurement Bounds for Exact Recovery of Structured Sparse Signals
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
标准压缩感测结果表明,为了精确地恢复R ^p中的s稀疏信号,需要O(s)。log(p))测量。虽然这个界限在实践中非常有用,但现实世界的信号往往不仅稀疏,而且还表现出稀疏模式的结构。本文主要研究群体结构模式。在该模型下,信号系数组一起是活动的(或非活动的)。组是预定义的,但是活动的组的特定集合(即,在信号支持中)必须从测量中学习。我们表明,利用知识的群体,可以进一步减少所需的精确信号恢复测量的数量,并推导出所需的测量数量的普遍界限。这个界限是普遍的,因为它只取决于所考虑的群体的数量,而不取决于群体的具体情况(例如,组成、大小、范围、重叠等)。实验表明,我们的结果适用于各种重叠群配置。
2011-10-18 cs.LG stat.ML
Smoothing Proximal Gradient Method for General Structured Sparse Learning
School of Computer Science, Carnegie Mellon University(卡内基梅隆大学计算机科学学院);Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院)
我们研究的问题,学习高维回归模型正则化的结构稀疏诱导惩罚编码的输入或输出侧的先验结构信息。我们考虑两种广泛采用的惩罚类型作为我们的激励示例:1)基于l1/l2混合范数惩罚的重叠组套索惩罚,以及2)图引导融合惩罚。对于这两种类型的惩罚,由于其不可分离性,开发一个有效的优化方法仍然是一个具有挑战性的问题。在本文中,我们提出了一个通用的优化方法,称为平滑邻近梯度方法,它可以解决结构稀疏回归问题的光滑凸损失和广泛的结构稀疏诱导惩罚。我们的方法是基于Nesterov的一般平滑技术。它实现了比标准的一阶方法,次梯度方法更快的收敛速度,并且比最广泛使用的邻域点方法更具可扩展性。数值结果表明,所提出的方法的效率和可扩展性。
2012-02-14 cs.LG stat.ML
Sparse Linear Regression via Generalized Orthogonal Least-Squares
University of Texas at Austin(德克萨斯大学奥斯汀分校)
稀疏线性回归需要找到欠定线性方程组的稀疏解,可以正式表示为$l_0$约束最小二乘问题。正交最小二乘(OLS)算法顺序地选择特征(即,系数矩阵的列)来粗略地找到近似稀疏解。在本文中,一个推广的正交最小二乘依赖于最优解的组件之间的递归关系,选择L功能在每一步,并解决由此产生的超定方程组提出。仿真结果表明,广义OLS算法是计算效率和实现性能优于现有的贪婪算法广泛使用的文献。
2016-07-28 cs.IT cs.LG math.IT
TRACE: Retrospective Streaming Generation of Physical Fields under Sparse Structured Sensing
Zhejiang University(浙江大学)
本文提出TRACE框架,针对结构化感知下的物理场重构问题,通过近似贝叶斯推理、卡尔曼滤波与回溯式平滑提升重构质量,在多类物理场实验中表现优于或匹配基线方法。
2026-08-28 cs.LG stat.ML
Structured Sparse Regression via Greedy Hard-Thresholding
Microsoft Research(微软研究院);Technicolor R & I(汤姆逊研发中心);University of Texas at Austin(德克萨斯大学奥斯汀分校)
一些学习应用程序需要解决高维回归问题,其中相关特征属于少量(重叠)组。对于非常大的数据集和标准稀疏性约束下,硬阈值方法已被证明是非常有效的,但这种方法需要NP硬投影时,处理重叠的群体。在本文中,我们表明,这种NP难预测不仅可以避免呼吁子模块优化,但这样的方法来与强有力的理论保证,即使在存在条件不佳的数据(即当两个功能有相关性$\geq 0.99$),现有的分析无法处理。这些方法表现出一个有趣的计算精度的权衡,并可以扩展到显着困难的问题,如稀疏重叠组。真实和合成数据上的实验验证了我们的主张,并表明所提出的方法比其他贪婪和凸松弛技术学习组结构稀疏的速度快几个数量级。
2016-05-27 cs.LG stat.ML
i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery
Rice University(莱斯大学)
提出了一种新的神经网络结构化剪枝算法--迭代稀疏结构化剪枝算法(i-SpaSP)。受稀疏信号恢复思想的启发,i-SpaSP通过迭代识别更大的重要参数组(例如,过滤器或神经元),然后基于较小的、预定义的修剪比率对这些组进行阈值化。对于具有ReLU激活的两层和多层网络架构,我们显示了i-SpaSP修剪引起的误差多项式衰减,其中该多项式的次数根据密集网络隐藏表示的稀疏性变得任意大。在我们的实验中,i-SpaSP在各种数据集上进行了评估(即,MNIST、ImageNet和XNLI)和架构(即,前馈网络,ResNet 34,MobileNetV 2,和BERT),其中它被证明发现高性能的子网络,并提高了几个数量级的可证明的基线方法的修剪效率。简而言之,i-SpaSP易于使用自动微分实现,获得了强有力的经验结果,具有理论收敛保证,并且效率高,因此成为少数几个计算效率高,实用且可证明的修剪算法之一。
2022-03-29 cs.AI cs.LG math.OC
On The Complexity of Sparse Label Propagation
Aalto University(阿尔托大学)
本文研究了最近提出的用于处理网络结构化数据的稀疏标签传播算法的计算复杂度。稀疏标签传播相当于一个凸优化问题,可以被认为是从稀疏向量到网络结构数据集的基追踪的扩展。使用一个标准的一阶预言机模型,我们的特点稀疏标签传播的迭代次数,以达到规定的精度。特别是,我们推导出达到一定精度所需的迭代次数的上限,并表明该上限对于具有链结构的数据集是尖锐的(例如,时间序列)。
2018-05-29 cs.LG stat.ML
Structured Inverted-File k-Means Clustering for High-Dimensional Sparse Data
NTT Communication Science Laboratories(NTT通信科学实验室);Kanagawa University(神奈川大学)
针对大规模高维稀疏数据集,提出了一种结构友好的k均值聚类算法SIVF。算法在时间上的效率通常由诸如相似性计算之类的高成本操作的数量来衡量。然而,在实践中,它在很大程度上取决于该算法如何适应的计算机系统的架构,它是executedon.We建议SIVF采用不变的基于质心对的过滤器(ICP),以减少数据对象和质心的所有集群之间的相似性计算的数量。为了最大限度地提高ICP性能,SIVF利用一个质心集的一个倒置的文件,结构,以减少管道的危险。我们证明在我们的实验中,真正的大规模文档数据集,SIVF操作速度更高,内存消耗比现有的算法。我们的性能分析表明,SIVF实现了更高的速度,通过抑制性能下降的因素,而不是更少的相似性计算的高速缓存未命中和分支误预测的数量。
2021-03-30 cs.AR cs.LG stat.ML
Structured Sparse Principal Components Analysis with the TV-Elastic Net penalty
主成分分析(PCA)是一种广泛用于数据分析的探索性工具,用于揭示群体内的主要变异模式。尽管它能够在低维空间中表示数据集,但PCA的可解释性仍然有限。然而,在神经影像学中,发现临床上可解释的表型标记物是至关重要的,这些标记物可以解释人群脑图像的主要变异性。最近,已经提出了标准PCA方法的一些替代方案,例如稀疏PCA,其目的是限制组件的密度。然而,稀疏性本身并不能完全解决可解释性问题,因为它可能产生分散和不稳定的成分。我们假设,有关数据结构的先验信息的结合可能会导致改善大脑模式的相关性和可解释性。因此,我们提出了一个简单的扩展流行的PCA框架,增加了结构化的稀疏性惩罚的加载向量,以确定在大脑图像中占大多数的变异性的几个稳定的区域。这种结构化稀疏性可以通过组合l1和总变差(TV)惩罚来获得,其中TV正则化对关于数据结构的高阶信息进行编码。本文提出了结构化稀疏PCA(表示为SPCA-TV)优化框架及其解决方案。我们证明了效率和多功能性的SPCA-TV三个不同的数据集。SPCA-TV相对于非结构化方法的收益是显著的,因为SPCA-TV以易于解释的可理解的大脑模式的形式揭示了数据集内的可变性,并且在不同的样本中更稳定。
2016-09-14 stat.ML
Learning Sparse Structured Ensembles with SG-MCMC and Network Pruning
Speech Processing and Machine Intelligence (SPMI) Lab(语音处理与机器智能(SPMI)实验室);Tsinghua University(清华大学)
已知神经网络的集合比单个网络更鲁棒和准确,然而通常在训练和测试中具有线性增加的成本。在这项工作中,我们提出了一个两阶段的方法来学习稀疏结构集成(SSE)的神经网络。在第一阶段中,我们运行具有组稀疏先验的SG-MCMC,以从网络参数的后验分布中提取样本的集合。在第二阶段,我们对每个采样网络进行权重修剪,然后对剩余的连接进行再训练。在这种使用SG-MCMC和修剪学习SSE的方式中,由于SG-MCMC增强了对模型参数空间的探索,我们不仅实现了高预测精度,而且在神经网络集成的训练和测试中显着降低了内存和计算成本。这在学习FNN和LSTM的SSE集成的实验中得到了彻底的评估。例如,在基于LSTM的语言建模(LM)中,我们通过学习4个大型LSTM模型的SSE,与基线大型LSTM LM相比,它总共只有30%的模型参数和70%的计算,从而获得了21%的LM困惑相对减少。据我们所知,这项工作是第一个方法和实证研究集成SG-MCMC,组稀疏先验和网络修剪一起学习NN集成。
2018-05-23 cs.LG stat.ML
Structured Local Optima in Sparse Blind Deconvolution
盲反卷积是从两个未知信号的卷积中恢复它们的普遍问题。不幸的是,这通常是一个不适定问题。本文研究了{ \em短稀疏}盲反卷积问题,其中一个未知信号是短的,另一个是稀疏随机支持的。这种变体在几个重要的应用中捕获未知信号的结构。我们假设短信号具有单位$\ell^2$范数,并将盲反卷积问题转化为球面上的非凸优化问题。我们证明了(i)在球体的某个区域中,每个局部最优值接近于地面真值的一些移位截断,以及(ii)对于长度为$k$的一般短信号,当激活信号的稀疏性$θ\lesssim k^{-2/3}$和测量次数$m\gtrsim poly(k)$,一个简单的初始化方法,连同下降算法,逃避严格的鞍点恢复近移位截断的地面真理内核
2019-07-21 cs.IT eess.SP math.IT
Do algorithms and barriers for sparse principal component analysis extend to other structured settings?
National University of Singapore(新加坡国立大学);Georgia Institute of Technology(佐治亚理工学院)
在 spiked Wishart 模型下研究 union-of-subspace 结构的主成分分析,建立依赖几何特性的基本极限,证明 projected power method 的局部收敛性,并通过对 path 和 tree sparsity 的分析展示计算难度证据。
2023-12-31 cs.LG stat.ML
AdaEnsemble: Learning Adaptively Sparse Structured Ensemble Network for Click-Through Rate Prediction
Credit Karma
在推荐系统和广告排名中,学习特征交互对于大规模CTR预测的成功至关重要。研究人员和实践者广泛提出了各种神经网络架构,用于搜索和建模特征交互。然而,我们观察到不同的数据集有利于不同的神经网络架构和特征交互类型,这表明不同的特征交互学习方法可能有自己独特的优势。受此观察的启发,我们提出AdaEntrance:一个稀疏门控混合专家(SparseMoE)架构,可以利用异构特征交互专家的优势,并自适应地学习路由到每个示例的稀疏专家组合,使我们能够构建不同类型和顺序的特征交互的动态层次结构。为了进一步提高预测精度和推理效率,我们采用了动态提前退出机制进行特征交互深度选择。AdaEntrance可以自适应地选择特征交互深度,并找到相应的SparseMoE堆叠层以退出并计算预测。因此,我们提出的架构继承了SparseMoE层内稀疏门控专家的指数组合的优势,并进一步动态选择最佳特征交互深度,而无需执行更深的层。我们实现了建议的AdaEntrance,并评估其在真实世界的数据集上的性能。大量的实验结果证明了AdaEntrance的效率和有效性超过国家的最先进的模型。
2023-01-06 cs.AI cs.IR cs.LG
Efficient Adaptive Compressive Sensing Using Sparse Hierarchical Learned Dictionaries
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
压缩感知(CS)中的最近突破性结果已经确立,许多高维对象可以从相对少量的非自适应线性投影观测中准确地恢复,只要对象在某种基础上具有稀疏表示。随后的努力表明,CS的性能可以通过利用非零信号系数的位置中的结构(结构化稀疏性)或在感测过程中使用某种形式的在线测量聚焦(自适应性)来改善。在本文中,我们研究了这两种技术的强大的混合体。首先,我们描述了一个简单的自适应传感过程,并表明它是一个可证明的有效方法,用于获取稀疏信号,表现出结构稀疏性特征的基于树的系数依赖关系。接下来,采用稀疏层次字典学习的技术,我们表明,表现出适当形式的结构化稀疏的表示可以从训练数据的集合中学习。这些技术的组合导致有效且高效的自适应压缩采集过程。
2011-11-29 cs.CV cs.IT math.IT
Fast Sparse Least-Squares Regression with Non-Asymptotic Guarantees
本文研究了{ \it大规模高维}稀疏最小二乘回归问题的一种快速逼近方法,该方法利用Johnson-Lindenstrauss(JL)变换将一组高维向量嵌入到低维空间中.特别是,我们建议将JL变换应用到数据矩阵和目标向量,然后用{ \it稍大的正则化参数}解决压缩数据上的稀疏最小二乘问题。在理论上,我们建立了两种不同稀疏诱导正则化器的学习模型的优化误差界,即,弹性网和$\ell_1$范数。与以往的相关工作相比,我们的分析是{ \it非渐近的,并展示了更多的见解}上界,样本复杂性和正则化。作为示例,我们还提供了{ \it Dantzig选择器}在JL变换下的误差界。
2015-07-18 cs.CC math.ST stat.ML
Sparse recovery via Orthogonal Least-Squares under presence of Noise
我们考虑的正交最小二乘(OLS)算法的恢复$m$维$k$稀疏信号从少量的噪声线性测量。在信号非零元素满足一定条件的情况下,建立了有界噪声环境下OLS的精确恢复条件。新的结果也改善了现有的保证正交匹配追踪(OMP)算法。此外,该框架还可以为系数矩阵是根据高斯分布或伯努利分布随机抽取的情况提供概率保证,其中我们利用了一些集中性质。结果表明,在一定条件下,OLS在$k$迭代中以很高的概率恢复真实支持度。这又证明了${\cal O}\left(k\log m\right)$测量足以通过OLS精确恢复稀疏信号。
2016-08-08 cs.IT math.IT stat.ML