Optimal Sparse Recovery with Decision Stumps
University of Maryland（马里兰大学）
决策树以其低计算成本、良好的预测性能和评估特征重要性的能力而被广泛使用。虽然在实践中经常用于特征选择，但这些方法的理论保证并没有得到很好的理解。我们在这里得到一个紧有限样本界的特征选择问题，线性回归使用单深度决策树。我们检查这些“决策树桩”的统计特性，从$p$总功能，其中$s \ll p$的$s$活动功能的恢复。我们的分析提供了严格的样本性能保证高维稀疏系统对齐有限样本界的$O(s \log p)$获得拉索，提高了以前的界限的中位数和最佳分裂准则。我们的研究结果扩展到非线性制度以及任意的亚高斯分布，表明基于树的方法在各种各样的设置下获得强大的特征选择特性，并进一步阐明这些方法在实践中的成功。作为我们的分析的副产品，我们表明，我们可以证明，即使当活跃功能$s$的数量是未知的，保证恢复。我们进一步验证我们的理论结果和证明方法，使用计算实验。
2023-03-08 cs.DS cs.LG stat.ML
Learning Sparse Distributions using Iterative Hard Thresholding
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California at Berkeley（加州大学伯克利分校）；Rice University（莱斯大学）
迭代硬阈值（IHT）是一种投影梯度下降算法，已知可实现广泛的结构化估计问题（如稀疏推理）的最新性能。在这项工作中，我们认为IHT作为学习稀疏离散分布的问题的解决方案。我们研究了在测度空间上使用IHT的困难性。作为一个实际的替代方案，我们提出了一个贪婪的近似投影，同时捕捉适当的概念分布稀疏，同时满足单纯形约束，并调查所产生的程序在各种设置的收敛行为。我们的研究结果表明，无论是在理论和实践中，IHT可以达到最先进的结果学习稀疏分布。
2020-01-31 cs.LG math.OC stat.ML
Provable Methods for Training Neural Networks with Sparse Connectivity
University of Southern California（南加州大学）
我们提供了新的保证方法来训练前馈神经网络与稀疏连接。我们利用以前开发的学习线性网络的技术，并表明它们也可以有效地用于学习非线性网络。我们对涉及输入的标签和得分函数的矩进行操作，并证明了它们的因子分解可证明在温和的条件下产生深度网络第一层的权重矩阵。在实践中，我们的方法的输出可以作为有效的初始化梯度下降。
2015-04-28 cs.LG cs.NE stat.ML
Group-Sparse Signal Denoising: Non-Convex Regularization, Convex Optimization
Polytechnic Institute of New York University（纽约大学理工学院）
具有稀疏促进凸正则化的凸优化是用于估计噪声中的稀疏信号的标准方法。为了比凸正则化更强地促进稀疏性，采用非凸优化也是标准实践。在本文中，我们采用第三种方法。我们利用一个非凸的正则化项，这样总成本函数（包括数据一致性和正则化项）是凸的。因此，稀疏性比标准凸公式更强有力地促进，但不会牺牲凸优化的吸引人的方面（唯一的最小值，鲁棒算法等）。我们使用这个想法，以改善最近开发的“重叠组收缩”（OGS）算法的去噪组稀疏信号。该算法应用于语音增强问题，在信噪比和感知质量方面都取得了良好的效果。
2013-11-30 cs.CV cs.LG stat.ML
Gradient Descent for Sparse Rank-One Matrix Completion for Crowd-Sourced Aggregation of Sparsely Interacting Workers
Boston University（波士顿大学）；Google DeepMind（谷歌DeepMind）
我们考虑了单个硬币Dawid-Skene众包模型的工人技能估计。在实践中，技能估计是具有挑战性的，因为工人的分配是稀疏和不规则的，由于工人的任意和不受控制的可用性。我们制定技能估计作为一个秩一相关矩阵完成问题，其中观察到的组件对应于观察到的工人之间的标签相关性。我们表明，相关矩阵可以成功地恢复和技能是可识别的，当且仅当采样矩阵（观察到的组件）没有一个二分连接组件。然后，我们提出了一个预计的梯度下降计划，并表明技能估计收敛到所需的全局最优值，这样的采样矩阵。我们的证明是原创的，而且考虑到即使是加权一阶矩阵分解问题通常也是NP难的这一事实，结果也令人惊讶。接下来，我们推导出采样矩阵的无符号拉普拉斯算子的谱特性方面的样本复杂度界。我们提出的方案在许多现实世界的数据集上实现了最先进的性能。
2020-07-23 cs.HC cs.LG stat.ML
Butterfly-Net: Optimal Function Representation Based on Convolutional Neural Networks
Duke University（杜克大学）
深度网络，特别是卷积神经网络（CNN），已成功应用于机器学习的各个领域以及其他科学和工程领域的挑战性问题。本文介绍了Butterfly-Net，一种具有结构化和稀疏交叉通道连接的低复杂度CNN，以及用于网络族的Butterfly初始化策略。理论分析表明，蝶形网对输入数据傅立叶表示的逼近能力随深度的增加而呈指数衰减。将蝶形网与全连接神经网络相结合，证明了一大类问题可以很好地近似，网络复杂度取决于有效频率带宽而不是输入维数。在我们的分析中，常规的CNN被作为一个特殊的案例。数值实验验证了泊松方程的傅里叶核和能量泛函近似的解析结果。此外，所有实验都支持Butterfly初始化的训练优于随机初始化的训练。此外，添加剩余的跨通道连接，虽然显著增加了参数数量，但并没有太大提高训练后的准确性，并且对数据分布更敏感。
2020-04-30 cs.LG cs.NA math.NA
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
最近的理论研究证明，通过在一定稀疏性约束下最小化经验风险获得的深度神经网络（DNN）估计量可以获得回归和分类问题的最佳收敛速度。然而，稀疏性约束要求知道真实模型的某些属性，这在实践中是不可用的。此外，由于稀疏约束的离散性质，计算是困难的。在本文中，我们提出了一种新的惩罚估计方法稀疏DNN，解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险，并推导出几个学习任务的收敛速度。特别是，我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算，我们开发了一个有效的基于梯度的优化算法，保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
Functional Nonlinear Sparse Models
University of Pennsylvania（宾夕法尼亚大学）；Weizmann Institute of Science（魏茨曼科学研究所）
信号处理在本质上是连续的，通常是非线性的应用，如光谱估计，光学成像和超分辨率显微镜，其中稀疏性在获得最先进的结果中起着关键作用。处理这些问题的无穷维和非凸性通常涉及离散化和凸松弛，例如，使用原子规范。然而，网格失配和其他相干性问题通常导致稀疏信号的离散化版本不是稀疏的。即使它们是，使用凸松弛恢复稀疏解需要假设，可能很难满足在实践中。更重要的是，问题涉及非线性测量仍然是非凸的，即使放松稀疏性目标。我们解决这些问题，直接解决连续的，非线性问题铸造作为一个稀疏的功能优化程序。我们证明了当这些问题是非原子的，他们没有对偶间隙，因此可以有效地解决使用对偶和~（随机）凸优化方法。我们说明了这种方法的广泛应用，制定和解决问题的非线性谱估计和鲁棒分类。
2020-03-20 cs.LG eess.SP math.OC
Dimension Mixer: Group Mixing of Input Dimensions for Efficient Function Approximation
NAAMII；School of Natural and Computing Sciences at the University of Aberdeen（阿伯丁大学自然与计算科学学院）
本研究从维度混合视角统一解读多种神经架构，泛化蝶形结构提出Butterfly MLP与Butterfly Attention，实验验证其高效性与扩展性，还提出Patch-Only MLP-Mixer实现新的二维信号维度混合策略。
2024-10-10 cs.LG
Simple, Efficient, and Neural Algorithms for Sparse Coding
Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）；Massachusetts Institute of Technology（麻省理工学院）
稀疏编码是包括信号处理、神经科学和机器学习在内的许多领域中的基本任务，其中目标是学习能够实现给定数据集的稀疏表示的基础（如果存在的话）。它的标准公式是作为一个非凸优化问题，在实践中解决交替最小化的基础上的启发式。最近的工作已经产生了几个算法的稀疏编码与可证明的保证，但有些令人惊讶的是，这些都优于简单的交替最小化算法。在这里，我们给出了一个通用的框架来理解交替最小化，我们利用它来分析现有的算法，并设计新的可证明的保证。其中一些算法似乎可以在简单的神经架构上实现，这是Olshausen和Field（1997 a）引入稀疏编码的最初动机。我们还给出了第一个有效的算法稀疏编码，工程几乎达到信息理论的限制稀疏恢复不相干字典。所有以前的算法，接近或超过这个限制运行在时间指数的一些自然参数。最后，我们的算法改进了现有方法的样本复杂度。我们相信，我们的分析框架将在其他设置中使用简单的迭代算法的应用。
2015-03-02 cs.DS cs.LG cs.NE
High-Dimensional Simulation Optimization via Brownian Fields and Sparse Grids
Texas A&M University（德克萨斯农工大学）；The University of Hong Kong（香港大学）
高维仿真优化是众所周知的挑战。我们提出了一种新的采样算法，收敛到一个全局最优解，并遭受最小的灾难的维度。该算法包括两个阶段。首先，我们采取稀疏网格试验设计的样本和近似的响应面通过核岭回归与布朗场内核。其次，我们遵循预期的改进策略-通过关键的修改来提高算法的采样效率-从稀疏网格的下一级迭代采样。在响应面光滑性和模拟噪声条件较好的情况下，建立了无噪声和有噪声模拟样本的收敛速度上界。这些上界在可行集的维度上仅略微恶化，并且如果已知目标函数具有高阶光滑性，则可以改进这些上界。大量的数值实验表明，该算法显着优于典型的替代品在实践中。
2021-07-20 cs.LG math.OC stat.ME
Compressive Sensing Approaches for Sparse Distribution Estimation Under Local Privacy
Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）；Tencent（腾讯）
近年来，许多网络服务提供商，如Google \cite{erlingsson2014rappor}，Apple \cite{apple2017privacy}和Microsoft \cite{bolin2017telemetry}，都采用了本地差分隐私（LDP）来私下收集和分析用户数据。本文考虑局部差分隐私约束下的离散分布估计问题。分布估计是最基本的估计问题之一，在非私有和私有环境下都得到了广泛的研究。在局部模型中，已知具有可证明的最优样本复杂度的私有机制。然而，它们只是在最坏的情况下才是最优的;它们的样本复杂度与整个宇宙的大小成正比，在实践中可能是巨大的。在本文中，我们考虑稀疏或近似稀疏（例如\高度偏斜）分布，并表明所需的样本数量可以显着减少。最近\cite{acharya2021estimating}对这个问题进行了研究，但他们只考虑了严格的稀疏分布和高隐私机制。我们提出了基于压缩感知的新的私有化机制。我们的方法适用于近似稀疏分布和中等隐私，并具有最佳的样本和通信复杂性。
2022-03-12 cs.CR cs.IT cs.LG
Learning Fast Algorithms for Linear Transforms Using Butterfly Factorizations
Stanford University（斯坦福大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
快速线性变换在机器学习中无处不在，包括离散傅立叶变换、离散余弦变换和其他结构化变换，如卷积。所有这些变换都可以用密集矩阵向量乘法来表示，但每一个都有一个专门的高效（次二次）算法。我们问到什么程度手工制作这些算法和实现是必要的，他们编码的结构先验，以及需要多少知识来自动学习一个快速算法提供的结构化变换。出于对稀疏矩阵的产品的快速矩阵向量乘法的表征，我们引入了一个参数化的分而治之的方法，是能够代表一大类的变换。这种通用公式可以自动学习许多重要变换的有效算法;例如，它可以将$O(N \log N)$ Cooley-Tukey FFT算法恢复到机器精度，尺寸$N$高达$1024$。此外，我们的方法可以作为通用矩阵的轻量级替代纳入机器学习管道中，以学习高效和可压缩的变换。在压缩单个隐藏层网络的标准任务中，我们的方法超过了CIFAR-10上无约束矩阵的分类精度3.9个点-这是结构化方法首次做到这一点-推理速度快4倍，参数少40倍。
2020-12-29 cs.LG stat.ML
Approximation Algorithms for Sparse Principal Component Analysis
Purdue University（普渡大学）；Carnegie Mellon University（卡内基梅隆大学）
主成分分析（PCA）是机器学习和多元统计中广泛使用的降维技术。为了提高PCA的可解释性，已经提出了各种方法来获得稀疏主方向载荷，这被称为稀疏主成分分析（SPCA）。在本文中，我们提出的阈值作为一个可证明准确的，多项式时间，近似算法的SPCA问题，而不施加任何限制性的假设输入协方差矩阵。我们使用奇异值分解的第一个阈值算法在概念上很简单;比当前最先进的算法更快;并且在实践中表现良好。在消极的一面，我们的（新的）理论界限并不能准确地预测这种方法的强大的实际性能。第二个算法解决了一个著名的半定规划松弛，然后使用一种新的，两步，确定性阈值计划计算稀疏的主向量。它在实践中运行良好，值得注意的是，我们的理论界限准确地预测了这种坚实的实际性能，这比当前最先进的理论界限更好地弥合了理论与实践之间的差距。
2021-06-04 cs.DS cs.LG
Simultaneous Grouping and Denoising via Sparse Convex Wavelet Clustering
University of Florida Informatics Institute（佛罗里达大学信息学研究所）；Rice University（莱斯大学）
聚类是数据科学和信号处理中普遍存在的问题。在我们观察噪声信号的许多应用中，通常的做法是首先对数据进行降噪，可能使用小波降噪，然后应用聚类算法。在本文中，我们开发了一种稀疏凸小波聚类方法，同时去噪和发现群体。我们的方法利用凸融合的罚款，以实现凝聚和组稀疏的罚款去噪，通过稀疏在小波域。与通常的去噪然后聚类的做法相反，我们的方法是一个统一的，凸的方法，同时执行。我们的方法产生去噪（小波稀疏）聚类质心，既提高了可解释性和数据压缩。我们证明了我们的方法在合成的例子和NMR光谱的应用。
2021-03-04 cs.LG eess.SP stat.ME
Sparse Hashing for Scalable Approximate Model Counting: Theory and Practice
National University of Singapore（新加坡国立大学）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）
给定n个变量的CNF公式F，模型计数或#SAT的问题是计算F的满足赋值的数量。模型计数是计算机科学中的一个基本而又困难的问题，有着广泛的应用。近年来，人们对开发有效的算法技术进行了大量的努力，这些技术将经典的2-universal hashing与过去十年中SAT求解的显着进步相结合。这些技术增加了CNF公式F与随机XOR约束，并调用NP预言反复对所得CNF-XOR公式。在实践中，对NP oracle调用的调用被SAT求解器取代，SAT求解器的运行时性能受到XOR约束的大小的不利影响。2-通用散列函数的标准构造选择概率p = 1/2的每个变量，从而导致期望大小为n/2的XOR约束。因此，挑战在于设计稀疏散列函数，其中可以以较小的概率选择变量并导致较小大小的XOR约束。在本文中，我们从理论和实践的角度来应对这一挑战。首先，我们正式放松的通用散列，称为集中散列，并建立一个新的和美丽的连接，这些散列函数的浓度措施和布尔超立方体上的等周不等式。这允许我们获得方差和分散指数的（log m）紧界，并表明p = O（log（m）/m）足以设计从{0，1}^n到{0，1}^m的稀疏散列函数。然后，我们使用稀疏散列函数属于这个集中的哈希家庭开发新的近似计数算法。我们的算法在1893基准测试的综合实验评估表明，稀疏散列函数的使用可以导致显着的加速。
2020-04-30 cs.DS cs.LG cs.LO
Tight Measurement Bounds for Exact Recovery of Structured Sparse Signals
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
标准压缩感测结果表明，为了精确地恢复R ^p中的s稀疏信号，需要O（s）。log（p））测量。虽然这个界限在实践中非常有用，但现实世界的信号往往不仅稀疏，而且还表现出稀疏模式的结构。本文主要研究群体结构模式。在该模型下，信号系数组一起是活动的（或非活动的）。组是预定义的，但是活动的组的特定集合（即，在信号支持中）必须从测量中学习。我们表明，利用知识的群体，可以进一步减少所需的精确信号恢复测量的数量，并推导出所需的测量数量的普遍界限。这个界限是普遍的，因为它只取决于所考虑的群体的数量，而不取决于群体的具体情况（例如，组成、大小、范围、重叠等）。实验表明，我们的结果适用于各种重叠群配置。
2011-10-18 cs.LG stat.ML
A Theoretical View on Sparsely Activated Networks
Google Research（谷歌研究院）
如今，深度和广度的神经网络成功地拟合了非常复杂的函数，但密集模型的推理成本开始高得令人望而却步。为了缓解这种情况，一个有希望的方向是激活网络的稀疏子图的网络。子图由数据相关路由功能选择，强制执行输入到子网络的固定映射（例如，开关Transformers中混合专家模型（MoE）范例）。然而，以前的工作主要是经验性的，而现有的路由功能在实践中工作良好，他们不导致近似能力的理论保证。我们的目标是为稀疏网络的力量提供理论解释。作为我们的第一个贡献，我们提出了一个正式的数据依赖稀疏网络模型，捕捉流行的架构的突出方面。然后，我们介绍了一个路由功能的基础上局部敏感哈希（LSH），使我们能够推理稀疏网络如何近似目标函数。在用我们的模型表示基于LSH的稀疏网络之后，我们证明了稀疏网络可以匹配稠密网络对Lipschitz函数的逼近能力。在输入向量上应用LSH意味着专家在输入空间的不同子区域内插目标函数。为了支持我们的理论，我们定义了基于Lipschitz目标函数的各种数据集，我们表明稀疏网络在活动单元数量和近似质量之间提供了有利的权衡。
2022-08-08 cs.LG stat.ML
Learning Neural Networks with Sparse Activations
Google Research（谷歌研究院）；University of California, Los Angeles（加州大学洛杉矶分校）
本文研究神经网络中MLP层激活稀疏现象，通过PAC学习理论证明其计算与统计优势，旨在推动实际应用。
2024-06-26 cs.LG stat.ML
DeltaCNN: End-to-End CNN Inference of Sparse Frame Differences in Videos
Graz University of Technology（格拉茨技术大学）；Meta Reality Labs（Meta现实实验室）
本文提出DeltaCNN框架，通过稀疏帧差分更新和端到端稀疏传播，在不重训练的情况下实现视频CNN推理高达7倍加速，精度损失极小。
2023-09-02 cs.CV cs.LG
Redistribution-based Cost Inference Improves Sparse Safe Offline RL
University of the Witwatersrand（威特沃特斯兰德大学）
针对安全离线强化学习中稀疏轨迹级停止反馈问题，提出RCI框架转换为密集每步代价，经理论证明转换无损，实验在两类任务上违规率更低且鲁棒性好。
2026-08-13 cs.AI cs.LG
Sparse Polynomial Optimization: Theory and Practice
多项式不等式组上的多项式极小化问题是一个NP难的非凸问题。由于强大的结果，从真正的代数几何，人们可以将这个问题转化为嵌套序列的有限维凸问题。在相关层次的每一步，需要解决一个固定大小的半定程序，这可以反过来解决有效的数值工具。然而，在实践方面，没有免费的午餐，这样的最优化方法通常包含严重的可伸缩性问题。幸运的是，对于许多应用程序，我们可以用眼睛来看待问题，并利用描述问题的成本和约束（例如稀疏性或对称性）所产生的固有数据结构。这本书提出了几个研究工作，以解决这一科学挑战与重要的计算影响，并提供了替代的优化方案，规模以及在计算复杂性方面的发展，至少在一些确定类的问题。本书中提出的算法框架主要利用输入数据的稀疏结构来解决大规模多项式最优化问题。我们提出了稀疏开发层次的松弛，无论是无约束或约束的问题。与稠密层次结构相比，它们在实践中提供了更快的近似解，但也具有相同的理论收敛保证。我们的框架不限于静态多项式优化，我们暴露层次的近似值所产生的利益分析的动力系统。我们还提出了各种扩展的问题，涉及非交换变量，例如，任意大小的矩阵或量子算符。
2022-08-25 cs.LG math.AG math.OA
Pattern-Coupled Sparse Bayesian Learning for Recovery of Block-Sparse Signals
University of Electronic Science and Technology of China（电子科技大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Schlumberger-Doll Research Center（斯伦贝谢多尔研究中心）
我们考虑的问题，恢复块稀疏信号的结构是未知的\emph{a priori}。块稀疏信号与非零系数发生在集群自然出现在许多实际情况。然而，在实践中，对块结构的知识通常是不可用的。在本文中，我们开发了一个新的稀疏贝叶斯学习方法恢复块稀疏信号与未知的聚类模式。具体地说，模式耦合的分层高斯先验模型被引入来表征系数之间的统计依赖性，其中一组超参数被用来控制信号系数的稀疏性。与传统的稀疏贝叶斯学习框架中每个单独的超参数独立地与每个系数相关联不同，在本文中，每个系数的先验不仅涉及其自身的超参数，而且还涉及其近邻的超参数。通过这种方式，相邻系数的稀疏模式彼此相关，并且分层模型具有鼓励结构化稀疏解决方案的潜力。超参数以及稀疏信号通过期望最大化（EM）算法最大化其后验概率来学习。数值实验结果表明，该算法与现有方法相比具有一致的优越性。
2013-11-09 cs.IT cs.LG math.IT
Structured Inverted-File k-Means Clustering for High-Dimensional Sparse Data
NTT Communication Science Laboratories（NTT通信科学实验室）；Kanagawa University（神奈川大学）
针对大规模高维稀疏数据集，提出了一种结构友好的k均值聚类算法SIVF。算法在时间上的效率通常由诸如相似性计算之类的高成本操作的数量来衡量。然而，在实践中，它在很大程度上取决于该算法如何适应的计算机系统的架构，它是executedon.We建议SIVF采用不变的基于质心对的过滤器（ICP），以减少数据对象和质心的所有集群之间的相似性计算的数量。为了最大限度地提高ICP性能，SIVF利用一个质心集的一个倒置的文件，结构，以减少管道的危险。我们证明在我们的实验中，真正的大规模文档数据集，SIVF操作速度更高，内存消耗比现有的算法。我们的性能分析表明，SIVF实现了更高的速度，通过抑制性能下降的因素，而不是更少的相似性计算的高速缓存未命中和分支误预测的数量。
2021-03-30 cs.AR cs.LG stat.ML
Very Sparse Stable Random Projections, Estimators and Tail Bounds for Stable Random Projections
本文将着重从三个不同的方面来改进目前的稳定随机投影方法。首先，我们提出{ \em非常稀疏稳定的随机投影}，以显着降低处理和存储成本，通过用对称$α$ -Pareto分布（概率为$β$，$0<β\leq1$）和原点点质量（概率为$1-β$）的混合物替换$α$ -稳定分布。这导致小$β$的显著$\frac{1}β$倍加速。其次，我们提供了一个改进的估计恢复原来的$l_α$规范从投影数据。标准估计量基于（绝对）样本中位数，而我们建议使用几何平均值。我们提出的几何平均估计是严格无偏的，并且更容易研究。而且几何平均估计更精确，特别是非渐近的。第三，我们提供了一个充分的答案，需要多少投影（样本），以达到一些预先指定的精度水平的基本问题。\cite{Proc:Indyk_FOCS00,Article:Indyk_TKDE03}未提供可用于实践的标准。我们提出的几何平均估计允许我们推导出尖尾界，它可以用显式给出的常数以指数形式表示。
2006-12-01 cs.DS cs.IT cs.LG
Continuous Field Reconstruction from Sparse Observations with Implicit Neural Networks
Brookhaven National Laboratory（布鲁克海文国家实验室）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
本文提出基于INR与分离变量的连续物理场重建方法，从稀疏不规则观测中学习时空基函数，并在气候模拟和超高分辨率海温数据上取得优于近期INR方法的重建效果。
2024-01-21 cs.LG
SONIC: A Sparse Neural Network Inference Accelerator with Silicon Photonics for Energy-Efficient Deep Learning
Colorado State University（科罗拉多州立大学）
稀疏神经网络可以极大地促进神经网络在资源受限平台上的部署，因为它们提供紧凑的模型大小，同时保持推理准确性。由于参数矩阵的稀疏性，稀疏神经网络原则上可以在加速器架构中被利用，以改善能量效率和延迟。然而，为了在实践中实现这些改进，需要探索稀疏感知的软硬件协同设计。在本文中，我们提出了一种新的硅光子学为基础的稀疏神经网络推理加速器称为SONIC。我们的实验分析表明，与最先进的稀疏电子神经网络加速器相比，SONIC可以实现高达5.8倍的每瓦性能和8.4倍的每比特能量;与最知名的光子神经网络加速器相比，可以实现高达13.8倍的每瓦性能和27.6倍的每比特能量。
2021-09-09 cs.AR cs.LG cs.NE
Learning in Matrix Games can be Arbitrarily Complex
University of Colorado Boulder（科罗拉多大学博尔德分校）；Singapore University of Technology and Design（新加坡科技设计大学）
越来越多的机器学习架构，如生成对抗网络，依赖于通过纳什均衡实现所需功能的游戏设计。在实践中，这些博弈具有隐含的复杂性（例如，来自底层数据集和所使用的深度网络），这使得直接计算纳什均衡不切实际或不可能。出于这个原因，已经开发了许多学习算法，其目标是迭代地收敛到纳什均衡。不幸的是，学习过程产生的动态可能非常复杂，训练失败的情况很难解释。在本文中，我们表明，在很强的意义上，这种动态的复杂性是固有的游戏。具体来说，我们证明了复制动力学，乘法权重更新的连续时间模拟，即使在一个非常有限的一类游戏-被称为有限矩阵游戏-是足够丰富的，能够近似任意的动态系统。我们的结果是积极的，因为它们显示了当前机器学习实践的几乎无限的动态建模能力，但也暗示这些能力可能以可解释性为代价。作为一个具体的例子，我们展示了如何复制动力学可以有效地复制著名的奇怪的吸引Lonrenz动力学（“蝴蝶效应”），同时实现没有遗憾。
2021-03-05 cs.GT cs.LG math.DS
Truly Sparse Neural Networks at Scale
Eindhoven University of Technology（埃因霍温理工大学）；University of Twente（特文特大学）
最近，稀疏训练方法已经开始被确立为人工神经网络中训练和推理效率的事实上的方法。然而，这种效率只是在理论上。在实践中，每个人都使用二进制掩码来模拟稀疏性，因为典型的深度学习软件和硬件都针对密集矩阵运算进行了优化。在本文中，我们采取正交的方法，我们表明，我们可以训练真正稀疏的神经网络收获他们的全部潜力。为了实现这一目标，我们介绍了三个新的贡献，专门为稀疏神经网络设计：（1）一个并行训练算法和相应的稀疏实现从头开始，（2）一个激活函数与非可训练的参数，有利于梯度流，和（3）一个隐藏的神经元的重要性度量，以消除冗余。总而言之，我们能够打破记录，并训练有史以来最大的神经网络的代表性力量-达到蝙蝠大脑的大小。结果表明，我们的方法具有最先进的性能，同时为环境友好的人工智能时代开辟了道路。
2022-07-12 cs.LG cs.NE
Mixture of Sparse Attention: Content-Based Learnable Sparse Attention via Expert-Choice Routing
KAUST, AI Initiative（KAUST人工智能计划）；Stanford University（斯坦福大学）
针对自注意力二次方计算成本过高的问题，提出基于专家选择路由的稀疏注意力混合方法MoSA，通过动态选择token将复杂度降至O(k^2+T)，在相同预算下实现更高专业化，不仅超越稠密基线且显著降低资源消耗。
2025-05-01 cs.CL cs.LG
Scalable Training of Artificial Neural Networks with Adaptive Sparse Connectivity inspired by Network Science
Eindhoven University of Technology（埃因霍温理工大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Derby（德比大学）
通过深度学习在各个领域的成功，人工神经网络目前是最常用的人工智能方法之一。从生物神经网络的网络特性（例如稀疏性、无标度性）中获得灵感，我们认为（与一般实践相反）人工神经网络也不应该具有完全连接的层。在这里，我们提出了人工神经网络的稀疏进化训练，在学习过程中，将两个连续神经元层的初始稀疏拓扑（Erdens-Rényi随机图）进化为无标度拓扑的算法。我们的方法取代人工神经网络全连接层与稀疏的训练前，减少了二次参数的数量，而不降低精度。我们在15个数据集上证明了我们对限制玻尔兹曼机，多层感知器和卷积神经网络的无监督和监督学习的要求。我们的方法有可能使人工神经网络的规模超过目前的可能。
2018-06-20 cs.AI cs.LG cs.NE
Efficient Cross-Validation for Sparse Linear Regression
Department of Analytics, Marketing and Operations, Imperial Business School, London, UK（分析、营销与运营系，帝国商务学院，伦敦，英国）；Department of Industrial and Systems Engineering, Viterbi School of Engineering, University of Southern California, CA（工业与系统工程系，维特比工程学院，美国南加州大学，CA）
针对高维协变量矩阵和响应向量的稀疏线性回归，为选超参数常用k折交叉验证，但计算成本高。本文推导k折交叉验证损失的易处理松弛形式，减少计算量，结果表明其与成熟软件包有竞争力。
2026-07-07 cs.LG math.OC stat.ME
Trust Your Robots! Predictive Uncertainty Estimation of Neural Networks with Sparse Gaussian Processes
German Aerospace Center (DLR)（德国航空航天中心）；Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）；Technical University of Munich (TUM)（慕尼黑工业大学）；ETH Zürich (ETHZ)（苏黎世联邦理工学院）
本文提出了一个概率框架，以获得可靠和快速的不确定性估计与深度神经网络（DNN）的预测。我们的主要贡献是DNN与稀疏高斯过程（GP）的实用和原则性组合。我们从理论上证明，DNN可以被看作是一个特殊的情况下，稀疏GP，即GP专家的混合物（MoE-GP），我们设计了一个学习算法，将派生的理论付诸实践。在实验中，从两个不同的机器人任务-逆动力学的机械手和目标检测的微型飞行器（MAV）-我们展示了我们的方法的有效性方面的预测不确定性，提高可扩展性，和运行时的效率Jetson TX 2。因此，我们认为，我们的方法可以铺平道路，可靠和快速的机器人学习系统的不确定性意识。
2021-09-21 cs.AI cs.CV cs.LG
Sparse Array Selection Across Arbitrary Sensor Geometries with Deep Transfer Learning
Duzce University（杜兹切大学）；The University of Iowa（爱荷华大学）
稀疏传感器阵列选择出现在许多工程应用中，其中必须从有限数量的阵列元素获得最大的空间分辨率。最近的研究表明，通过用深度学习网络代替传统的优化和贪婪搜索方法，可以降低阵列选择的计算复杂度。然而，在实践中，足够的和良好校准的标记训练数据是不可用的，更是如此，对于任意阵列配置。为了解决这个问题，我们采用了深度迁移学习（TL）方法，其中，我们利用校准数据容易获得的源传感器阵列的数据来训练深度卷积神经网络（CNN），并将该预先训练的CNN重新用于不同的、数据不足的目标阵列几何形状以执行稀疏阵列选择。均匀矩形和圆形阵列的数值实验表明，TL-CNN在目标模型上的性能比用来自相同模型的不足数据训练的CNN增强。特别是，我们的TL框架提供了约20%的传感器选择精度和10%的改进方向的到达估计误差。
2020-06-02 cs.IT cs.LG eess.SP
