Spartan: Differentiable Sparsity via Regularized Transportation
Meta AI
我们提出了Spartan，一种用于训练稀疏神经网络模型的方法，该模型具有预定的稀疏度。Spartan基于两种技术的组合：（1）通过正则化的最优传输问题对低幅度参数进行软top-k掩蔽，以及（2）在前向传递中使用硬稀疏化的基于双平均的参数更新。该方案实现了探索-利用权衡：在训练早期，学习者能够探索各种稀疏模式，并且随着软top-k近似在训练过程中逐渐锐化，平衡转向相对于固定稀疏掩码的参数优化。斯巴达是足够灵活，以适应各种稀疏分配政策，包括非结构化和块结构稀疏，以及一般的成本敏感的稀疏分配介导的线性模型的每参数成本。在ImageNet-1 K分类上，Spartan生成了95%的稀疏ResNet-50模型和90%的块稀疏ViT-B/16模型，而与完全密集训练相比，绝对top-1准确率损失不到1%。
2022-10-17 cs.LG
On Implicit Filter Level Sparsity in Convolutional Neural Networks
MPI For Informatics（马克斯·普朗克信息学研究所）；UNIST（蔚山科学技术院）；Saarland Informatics Campus（萨尔兰信息学园区）
我们研究了卷积神经网络（CNN）中出现的滤波器级稀疏性，CNN采用批量归一化和ReLU激活，并使用自适应梯度下降技术和L2正则化或权重衰减进行训练。我们进行了广泛的实验研究铸造我们的初步研究结果的假设和结论的机制，潜在的紧急过滤器水平稀疏。这项研究允许新的洞察性能之间的差距obeserved自适应和非自适应梯度下降方法在实践中。此外，分析训练策略和超参数对稀疏性的影响，为设计CNN训练策略提供了实用建议，使我们能够探索特征选择性、网络容量和泛化性能之间的权衡。最后，我们表明，隐式稀疏性可以利用神经网络加速在平价或更好地比显式稀疏/修剪方法，而不需要修改典型的训练管道。
2019-04-05 cs.CV cs.LG eess.SP
Understanding Sparse JL for Feature Hashing
Harvard University（哈佛大学）
特征散列和其他随机投影方案通常用于降低特征向量的维数。我们的目标是有效地将生活在$\mathbb{R}^n$中的高维特征向量投影到低得多的维度空间$\mathbb{R}^m$中，同时近似地保持欧几里德范数。这些方案可以使用稀疏随机投影来构建，例如使用稀疏Johnson-Lindenstrauss（JL）变换。由Weinberger et. al（ICML '09）分析了稀疏度为1的稀疏JL在具有小的$\ell_\infty$与$\ell_2$范数比的特征向量上的准确性。最近，Freksen，Kamma和Larsen（NeurIPS '18）通过证明具有稀疏性$1$的稀疏JL的$\ell_\infty$与$\ell_2$范数比和准确性之间的紧密权衡来结束这一工作。在本文中，我们证明了在特征向量上的稀疏JL中使用稀疏$s$大于$1$的好处。我们的主要结果是$\ell_\infty$到$\ell_2$的范数比和一般稀疏$s$的准确性之间的紧密权衡，显着推广的结果Freksen等。我们的结果从理论上证明，稀疏的JL与$s > 1$可以有显着更好的范数保存属性的特征向量比稀疏的JL与$s = 1$，我们也实证证明了这一发现。
2020-03-26 cs.DS cs.LG math.PR
On Sparsity in Overparametrised Shallow ReLU Networks
UCLA（加州大学洛杉矶分校）；Courant Institute of Mathematical Sciences, New York University（纽约大学柯朗数学科学研究所）；Center for Data Science, New York University（纽约大学数据科学中心）；Institute for Advanced Study（普林斯顿高等研究院）
神经网络训练超出其线性化制度的分析仍然是一个悬而未决的问题，即使在一个单一的隐藏层的最简单的设置。无限宽网络的极限提供了一条通过平均场视角向前推进的有吸引力的路线，但一个关键的挑战是将学习保证带回到有限神经元设置中，在那里实际算法可以运行。为了缩小这一差距，并专注于浅神经网络，在这项工作中，我们研究了不同的正则化策略的能力，以捕获只需要有限数量的神经元的解决方案，即使在无限宽的政权。具体来说，我们考虑（i）通过将噪声注入训练目标获得的隐式正则化形式[Blanc et al. 19]，和（ii）变分范数正则化[巴赫~17]，兼容的平均场标度。在对激活函数的温和假设下（例如满足ReLU），我们建立了两种方案都是由只有有限数量的神经元的函数最小化的，而不管过度参数化的量。我们研究的后果，这种属性和描述的设置，其中一种形式的正规化是有利的其他。
2020-06-18 cs.LG stat.ML
Two Sparsities Are Better Than One: Unlocking the Performance Benefits of Sparse-Sparse Networks
Numenta（Numenta公司）
原则上，稀疏神经网络应该比传统的密集网络更有效。大脑中的神经元表现出两种类型的稀疏性;它们稀疏地相互连接和稀疏地活跃。这两种类型的稀疏性，称为权重稀疏性和激活稀疏性，当结合在一起时，提供了将神经网络的计算成本降低两个数量级的潜力。尽管有这种潜力，但今天的神经网络仅使用权重稀疏性仅提供适度的性能优势，因为传统的计算硬件无法有效地处理稀疏网络。在这篇文章中，我们介绍了互补稀疏，一种新的技术，显着提高现有硬件上的双稀疏网络的性能。我们证明了我们可以实现高性能的运行权重稀疏网络，我们可以通过结合激活稀疏性来增加这些加速比。使用互补稀疏性，我们在FPGA上执行推理时，吞吐量和能效提高了100倍。我们分析了ResNet-50和MobileNetV 2等商业卷积网络典型内核的可扩展性和资源权衡。我们对互补稀疏性的研究结果表明，权重加上激活稀疏性可以成为有效扩展未来AI模型的有效组合。
2021-12-27 cs.AI cs.AR cs.LG
Sparrow: Sparse Rollout for Stable and Efficient Long-context RL of Large Language Models
Carnegie Mellon University（卡内基梅隆大学）；Cornell University（康奈尔大学）；Intel（英特尔）；Amazon AGI（亚马逊AGI）
针对RLVR中长上下文rollout计算昂贵的问题，提出Sparrow方法，通过动态稀疏度调度保持token级策略失配的下尾统计量稳定，在Qwen3系列模型上实现2.0-2.4倍加速，并推广到更大模型和编程领域。
2026-06-07 cs.AI cs.LG
Studying the Consistency and Composability of Lottery Ticket Pruning Masks
MIT EECS（麻省理工学院电气工程与计算机科学系）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
幅度修剪是一种常用的，有效的技术，以识别稀疏的子网在很小的成本精度。在这项工作中，我们问一个特定的架构的准确性，稀疏性权衡是否可以通过组合修剪信息在多个运行的训练。从共享的ResNet-20初始化开始，我们使用CIFAR-10上的不同SGD数据命令训练几个网络副本（\emph{siblings}）。虽然兄弟姐妹的修剪掩码并不比偶然性更相似，但在几个共享预训练时期后开始兄弟姐妹训练会显着增加修剪重叠。然后，我们选择一个子网络，要么（1）在任何兄弟（掩码联合）中接受所有幸存的修剪权重，要么（2）只接受所有兄弟（掩码交集）中幸存的修剪权重。得到的子网络被重新训练。引人注目的是，我们发现并集和交集掩码的表现非常相似。这两种方法都匹配单次幅度修剪基线的准确性-稀疏性权衡，即使当我们组合来自多达$k = 10$兄弟的掩码时。
2021-04-30 cs.CV cs.LG
Learning with Neural Tangent Kernels in Near Input Sparsity Time
Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
神经切线核（NTK）通过梯度下降来表征在最小二乘损失下训练的无限宽神经网络的行为。然而，尽管它的重要性，内核方法的超二次运行时间限制了NTK在大规模学习任务中的使用。为了用NTK加速核机器，我们提出了一种近输入稀疏时间算法，该算法将输入数据映射到随机化的低维特征空间，使得变换后的数据的内积近似于其NTK评估。我们的变换通过绘制反余弦核的多项式展开来工作。此外，我们提出了一个特征映射来近似NTK的卷积对应物，它可以使用仅在像素数量上呈线性的运行时来变换任何图像。我们表明，在标准的大规模回归和分类任务中，在我们的特征上训练的线性回归器优于训练的神经网络和NTK内核的Nystrom近似。
2021-07-27 cs.AI cs.DS cs.LG
Sparse PointPillars: Maintaining and Exploiting Input Sparsity to Improve Runtime on Embedded Systems
University of Pennsylvania（宾夕法尼亚大学）
鸟瞰视图（BEV）是一种用于处理3D点云的流行表示方法，并且其本质上是稀疏的。受移动机器人平台的计算限制的影响，我们创建了一个快速，高性能的BEV 3D对象检测器，该检测器保持并利用这种输入稀疏性来减少非稀疏基线的运行时间，并避免伪图像区域和运行时间之间的权衡。我们目前的结果KITTI，一个典型的3D检测数据集，和Matterport-Chair，一个新的Matterport 3D衍生的椅子检测数据集，从场景中的真实家具的家庭。我们使用桌面GPU，嵌入式ML加速器和机器人CPU评估运行时特性，证明我们的方法可以显著提高嵌入式系统的检测速度（2倍或更高），而检测质量仅略有下降。我们的工作为从业者提供了一种新的方法，通过在整个管道中维护和利用输入稀疏性来优化嵌入式系统的模型，以减少运行时间和资源使用，同时保持检测性能。
2022-03-01 cs.CV cs.LG
A Fast deflation Method for Sparse Principal Component Analysis via Subspace Projections
School of Mathematics and Information Sciences, Yantai University（烟台大学数学与信息科学学院）；Department of Mathematics, Shandong Normal University（山东师范大学数学学院）
在高维数据集上实现传统的稀疏主成分分析（SPCA）已成为一项耗时的工作。本文利用Household QR分解有效地构造了一系列子空间投影。利用这些子空间投影，提出了一种快速收缩的SPCA方法，称为SPCA-SP。该方法在稀疏性、正交性、解释方差、稀疏性平衡和计算成本等各种标准之间保持了良好的权衡。在基准数据集上的对比实验证实了该方法的有效性。
2019-12-06 cs.LG stat.ML
Campfire: Compressible, Regularization-Free, Structured Sparse Training for Hardware Accelerators
Stanford University（斯坦福大学）
本文研究了CNN的结构化稀疏训练，采用逐步修剪技术，在一定数量的epoch之后产生固定的稀疏权重矩阵。我们简化了强制稀疏性的结构，以减少正则化引起的开销。所提出的训练方法Campfire在卷积核和滤波器内探索粒度修剪。我们研究了修剪持续时间，稀疏水平，和学习率配置方面的各种权衡。我们表明，我们的方法在完整的ImageNet上创建了ResNet-50和ResNet-50 v1.5的稀疏版本，同时保持在可忽略的<1%的准确性损失范围内。为了确保这种类型的稀疏训练不会损害网络的鲁棒性，我们还演示了网络在存在对抗攻击的情况下的行为。我们的研究结果表明，与70%的目标稀疏，超过75%的前1的准确性是可以实现的。
2020-01-13 cs.LG stat.ML
Optimal Sparse Linear Auto-Encoders and Sparse PCA
Yahoo Labs（雅虎实验室）
主成分分析（PCA）是数据的最佳线性自动编码器，通常用于构造特征。在主成分上实施稀疏性可以促进更好的泛化，同时提高特征的可解释性。我们研究了构造最优稀疏线性自编码器的问题。在这样的设置中，两个自然的问题是：i）给定稀疏性水平，可以实现的PCA的最佳近似是什么？ii）是否有低阶多项式时间算法，可以渐近实现稀疏性和近似质量之间的最佳权衡？在这项工作中，我们回答了这两个问题，给出了有效的低阶多项式时间算法构造渐近\emph{optimal}线性自动编码器（特别是，稀疏功能与近PCA重建误差），并证明了我们的算法在真实数据上的性能。
2015-02-23 cs.AI cs.IT cs.LG
Fast as CHITA: Neural Network Pruning with Combinatorial Optimization
MIT（麻省理工学院）；Google Research（谷歌研究院）
现代神经网络的庞大规模使得模型服务成为一个严重的计算挑战。一种流行的压缩技术通过修剪或稀疏化预训练网络的权重来克服这一挑战。虽然有用，这些技术往往面临严重的计算要求和压缩质量之间的权衡。在这项工作中，我们提出了一种新的基于优化的修剪框架，认为修剪（和更新）的组合效果的稀疏约束下的多个权重。我们的方法，CHITA，扩展了经典的最佳脑外科医生框架，并在速度，内存和性能方面显着改善现有的基于优化的网络修剪方法。CHITA的主要主力对损失函数的局部二次近似的内存友好表示进行组合优化更新。在预训练模型和数据集的标准基准上，CHITA比竞争方法具有更好的稀疏性-准确性权衡。例如，对于仅保留2%权重的MLPNet，我们的方法相对于最先进的方法将准确度提高了63%。此外，当与微调SGD步骤结合使用时，我们的方法实现了比最先进方法显著的准确度增益。
2023-02-28 cs.CV cs.LG math.OC
Sparsity-Aware Communication for Distributed Graph Neural Network Training
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley Nat. Laboratory（劳伦斯伯克利国家实验室）
本文针对分布式GNN训练中SpMM通信瓶颈，提出稀疏性感知通信算法，通过仅通信必要元素、图划分重排序和负载均衡划分减少通信量，并结合1.5D并行SpMM，在256个GPU上实现最高14倍加速，甚至接近无通信并行训练。
2025-04-07 cs.LG
Celty: SpMSpV GPU Kernel and SIMT Co-Design for Efficient Dual-Sparse LLM Inference
Yale University（耶鲁大学）；University of Southern California（南加州大学）
针对双稀疏LLM推理中spMspV workload处理低效问题，提出协同设计的Celty稀疏格式、GPU内核与SIMT微架构，实现最高5.3倍加速。
2026-09-09 cs.AR cs.LG
Adaptive Sparsity Level during Training for Efficient Time Series Forecasting with Transformers
University of Twente（特文特大学）；Eindhoven University of Technology（埃因霍温理工大学）；University of Luxembourg（卢森堡大学）
本文提出 PALS，在训练中通过动态收缩、扩展或稳定机制自适应确定稀疏度，使 Transformer 等 DNN 在保持预测性能的同时大幅降低参数与计算成本。
2024-06-12 cs.LG
Matrix-wise $\ell_0$-constrained Sparse Nonnegative Least Squares
University of Mons（蒙斯大学）
多右端非负最小二乘问题（MNNLS）出现在依赖于加法线性组合的模型中。特别是，它们是大多数非负矩阵分解算法的核心，并有许多应用。已知非负性约束自然有利于稀疏性，即具有很少非零项的解。然而，进一步增强这种稀疏性通常是有用的，因为它提高了结果的可解释性，并有助于减少噪声，从而导致稀疏MNNLS问题。在本文中，相对于大多数以前的作品，执行稀疏列或行明智的，我们首先介绍了一种新的制定稀疏MNNLS，矩阵明智的稀疏约束。然后，我们提出了一个两步算法来解决这个问题。第一步将稀疏MNNLS划分为子问题，原始问题的每列一个。然后，它使用不同的算法来产生，精确或近似，帕累托前每个子问题，也就是说，产生一组代表重建误差和稀疏性之间的不同权衡的解决方案。第二步在这些Pareto前沿中选择解决方案，以构建使重构误差最小化的稀疏约束矩阵。我们在面部和高光谱图像上进行了实验，结果表明，我们提出的两步方法比列式和全局应用的最先进的稀疏编码算法提供了更准确的结果。
2022-06-22 cs.LG stat.ML
Sparse Convex Optimization via Adaptively Regularized Hard Thresholding
MIT（麻省理工学院）；Yahoo! Research（雅虎研究院）
稀疏凸优化的目标是在稀疏性约束$s\leq s^*γ$下优化凸函数$f$，其中$s^*$是可行解（稀疏性）中非零条目的目标数量，$γ\geq 1$是近似因子。已经有大量的工作来分析各种算法（LASSO，正交匹配追踪（OMP），迭代硬保序（IHT））的稀疏性保证的限制条件数$κ$。最著名的算法保证找到具有$γ= O\left(κ\min\left\{\log \frac{f(x^0)-f(x^*)}ε, κ\right\}\right)$的稀疏界的值$f(x^*)+ε$的近似解，其中$x^*$是目标解。我们提出了一个新的自适应正则化硬约束保持（ARHT）算法，使这个问题上的显着进展，使约束下降到$γ=O(κ)$，这已被证明是紧的一般类算法，包括LASSO，OMP，和IHT。与已知的最快算法相比，这是在没有显著牺牲运行时效率的情况下实现的。我们还提供了一个新的分析OMP与替换（OMPR）一般$f$，条件$s > s^* \frac{κ^2}{4}$下，这会产生压缩感知下的限制等距属性（RIP）的界限。当与其他压缩感知方法相比时，它具有在RIP条件和解稀疏性之间提供强折衷的优点，同时适用于满足RIP条件的任何通用函数$f$。
2020-06-25 cs.DS cs.LG stat.ML
Gradual Capacity Growth for Sparse Network Discovery
Georgia Institute of Technology（佐治亚理工学院）；The Cyprus Institute（塞浦路斯研究所）
提出渐进容量增长（GCG）框架，通过路径增长规则在训练中逐步分配网络容量，无需预训练或预设稀疏度，以较低成本发现接近稠密性能的稀疏网络。
2026-06-23 cs.LG
Variational Garrote for Sparse Inverse Problems
Department of Science Education（科学教育系）；Center for Theoretical Physics and Artificial Intelligence Institute（理论物理与人工智能研究所）；School of Computational Sciences（计算科学学院）
本文比较了传统L1正则化与变分Garrote方法在稀疏反问题中的性能，发现VG在强欠定情况下能提供更优的稳定性与更小的泛化误差。
2026-03-13 cs.CV cs.LG stat.ML
Sparse Principal Component Analysis via Rotation and Truncation
Zhejiang University（浙江大学）
稀疏主成分分析（Sparse PCA）的目的是寻找一个稀疏基，以提高PCA稠密基的可解释性，同时稀疏基应尽可能覆盖数据子空间。与现有的大多数工作通过在PCA的各个目标上添加一些稀疏性惩罚来处理这个问题相比，在本文中，我们提出了一种新的方法SPCArt，其动机是找到一个旋转矩阵和一个稀疏基，使得稀疏基近似旋转后的PCA基。SPCArt算法由三个交替的步骤组成：旋转PCA基，截断小条目，更新旋转矩阵。并给出了其性能界。SPCArt是高效的，每次迭代都与数据维度线性缩放。由于其明确的物理解释，在SPCArt中选择参数很容易。此外，我们给出了一个统一的看法，现有的几种稀疏PCA方法，并讨论了与SPCArt的联系。将SPCArt中的一些思想推广到GPower算法中，克服了GPower算法的不足。实验结果表明，SPCArt达到了最先进的性能。它还实现了一个很好的折衷之间的各种标准，包括稀疏性，解释方差，正交性，负载之间的稀疏性的平衡，和计算速度。
2014-05-01 cs.CV cs.LG stat.ML
Maxwell's Demon at Work: Efficient Pruning by Leveraging Saturation of Neurons
Mila, Université de Montréal（蒙特利尔大学Mila实验室）；Université de Montréal（蒙特利尔大学）；Google DeepMind（谷歌DeepMind）；Samsung – SAIL Montreal（三星-SAIL蒙特利尔）
本文提出DemP方法，通过噪声注入和正则化策略控制神经元死亡，实现更高效的模型剪枝和加速训练。
2025-12-30 cs.AI cs.LG
Can Neural Networks Achieve Optimal Computational-statistical Tradeoff? An Analysis on Single-Index Model
Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；Department of Statistics, University of Chicago（芝加哥大学统计系）；Department of Management Science and Engineering, Stanford University（斯坦福大学管理科学与工程系）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
提出统一梯度算法训练两层神经网络，在多项式时间内学习高斯单指标模型，样本复杂度匹配SQ下界，并扩展到稀疏情形。
2026-06-16 cs.DS cs.LG math.ST
Logic Shrinkage: Learned FPGA Netlist Sparsity for Efficient Neural Network Inference
Imperial College London（帝国理工学院）；Cornell University（康奈尔大学）
使用原生LUT作为独立可训练推理算子的FPGA特定DNN架构已被证明可以实现有利的面积精度和能量精度权衡。这一领域的第一个工作是LUTNet，它在标准DNN基准测试中表现出了最先进的性能。在本文中，我们提出了这种基于LUT的拓扑结构的学习优化，从而比直接使用现成的手工设计的网络效率更高。这类架构的现有实现需要手动指定每个LUT的输入数量K。选择适当的K先验是具有挑战性的，并且即使在高粒度下（例如，每层）这样做也是一个耗时且容易出错的过程，这使得FPGA的空间灵活性未得到充分利用。此外，先前的工作看到LUT输入随机连接，这不能保证网络拓扑的良好选择。为了解决这些问题，我们提出了逻辑收缩，一个细粒度的网表修剪方法，使K自动学习的每一个LUT在一个神经网络的FPGA推理为目标。通过去除确定为低重要性的LUT输入，我们的方法提高了所得加速器的效率。我们的GPU友好型LUT输入去除解决方案能够在训练期间处理大型拓扑，速度可以忽略不计。通过逻辑收缩，我们将CNV网络分类CIFAR-10的最佳LUTNet实现的面积和能效分别提高了1.54倍和1.31倍，同时匹配其准确性。这种实现也达到了同样准确，严重修剪BNN的面积效率的2.71倍。在采用Bi-Real Net架构的ImageNet上，采用逻辑收缩导致合成后面积比LUTNet减少2.67倍，从而实现了以前在当今最大的FPGA上不可能实现的实现。
2022-01-02 cs.AR cs.LG
Statistical-Computational Tradeoffs in Mixed Sparse Linear Regression
University of Cambridge（剑桥大学）
本文研究双分量混合稀疏线性回归的统计-计算权衡，通过低次多项式方法证明其仅在极窄的对称参数区域内计算困难，并给出样本复杂度与运行时间的平滑权衡，同时提出一种简单阈值算法在困难区域之外以 O(np) 时间达到最优样本复杂度。
2023-07-06 cs.IT cs.LG math.IT
On the fly Deep Neural Network Optimization Control for Low-Power Computer Vision
本文提出AdaptiveActivation技术，通过引入超参数动态调整激活函数输出范围，实现在运行时无需重训练即可控制DNN的稀疏性和精度，以适应不同边缘设备需求，实验表明准确性损失在1.5%以内且内存节省10%-38%。
2023-09-04 cs.CV cs.LG
Pixelated Butterfly: Simple and Efficient Sparse training for Neural Network Models
Stanford University（斯坦福大学）；SambaNova Systems, Inc（SambaNova系统公司）；Peking University（北京大学）；Adobe Research（Adobe研究院）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
过参数化神经网络泛化能力很好，但训练成本很高。理想情况下，人们希望在保持其泛化优势的同时降低其计算成本。稀疏模型训练是实现这一目标的一种简单而有前途的方法，但由于现有方法存在精度损失、训练运行时间缓慢或难以稀疏化所有模型组件等问题，因此仍然存在挑战。其核心问题是在一组离散的稀疏矩阵上搜索稀疏掩码是困难和昂贵的。为了解决这个问题，我们的主要观点是优化具有固定结构的稀疏矩阵的连续超集，称为蝴蝶矩阵的积。由于蝶形矩阵不是硬件有效的，我们提出了简单的蝶形（块和平面）的变种，以利用现代硬件。我们的方法（像素化蝴蝶）使用基于平坦块蝴蝶和低秩矩阵的简单固定稀疏模式来稀疏大多数网络层（例如，注意，MLP）。我们通过经验验证，Pixelated Butterfly比Butterfly快3倍，并加快了训练速度，以实现有利的准确性-效率权衡。在ImageNet分类和WikiText-103语言建模任务中，我们的稀疏模型的训练速度比密集的MLP-Mixer，视觉Transformer和GPT-2介质快2.5倍，准确性没有下降。
2022-05-11 cs.LG
Deformable Butterfly: A Highly Structured and Sparse Linear Transform
The University of Hong Kong（香港大学）；United Microelectronics Centre (Hong Kong) Limited（联华电子（香港）有限公司）
我们介绍了一种新的线性变换命名为变形蝴蝶（DeBut），推广了传统的蝴蝶矩阵，可以适应各种输入输出尺寸。它继承了传统蝴蝶从细到粗的可学习层次结构，当部署到神经网络时，DeBut层中的突出结构和稀疏性构成了网络压缩的新方法。我们应用DeBut作为标准全连接和卷积层的直接替代，并展示了其在神经网络神经网络中的优越性，并使其具有良好的特性，如重量轻，推理复杂度低，而不影响准确性。DeBut层的无数变形所产生的自然复杂性-准确性权衡也为分析和实践研究开辟了新的空间。这些准则和附录可在https://github.com/ruilin0212/DeBut上公开查阅。
2022-03-25 cs.CV cs.LG
Proceedings of the second "international Traveling Workshop on Interactions between Sparse models and Technology" (iTWIST'14)
iTWIST'14聚焦稀疏范式理论与应用，通过演讲、海报和讨论促进国际协作，涵盖稀疏数据传感、子空间联合、非线性逆问题等主题。
2014-10-09 cs.CV cs.IT cs.LG
Infinite Recommendation Networks: A Data-Centric Approach
University of California, San Diego（加州大学圣地亚哥分校）；Meta AI
我们利用神经切线核及其训练无限宽神经网络的等价性来设计$\infty$ -AE：一个具有无限宽瓶颈层的自动编码器。结果是一个高度表达但简单的推荐模型，具有单个超参数和封闭形式的解决方案。利用$\infty$ -AE的简单性，我们还开发了Distill-CF，用于合成微小的高保真数据摘要，该摘要从非常大和稀疏的用户-项目交互矩阵中提取最重要的知识，用于高效和准确的后续数据使用，如模型训练，推理，架构搜索等。其中，我们的目标是独立于学习算法，提高用于后续建模的记录的用户反馈数据的质量。我们特别利用可微Gumbel采样的概念来处理固有的数据异构性，稀疏性和半结构化，同时可扩展到具有数亿用户-项目交互的数据集。我们提出的两种方法都显著优于各自的最新技术水平，当一起使用时，我们观察到$\infty$ -AE在完整数据集上的96-105%的性能，只有原始数据集大小的0.1%，这让我们探索了一个反直觉的问题：您需要更多的数据来获得更好的推荐吗？
2022-10-12 cs.IR cs.LG
Dynamic Network Adaptation at Inference
Stanford University（斯坦福大学）
机器学习（ML）推理是一种实时工作负载，必须符合严格的服务水平目标（SLO），包括延迟和准确性目标。不幸的是，由于固有的模型准确性-延迟权衡、跨应用领域和应用领域内的SLO多样性、SLO随时间的演变、不可预测的查询模式和共址干扰，确保在推理服务系统中不违反SLO是具有挑战性的。在本文中，我们观察到神经网络在推理过程中表现出高度的每输入激活稀疏性。.因此，我们提出了SLO感知神经网络，它根据指定的SLO优化目标和机器利用率，动态地丢弃每个推理查询的节点，从而调整执行的计算量。SLO感知神经网络实现了$1.3-56.7\times$的平均加速，几乎没有精度损失（小于0.3%）。当精度受限时，SLO感知神经网络能够以相同的训练模型以低延迟为一系列精度目标提供服务。当延迟受限时，SLO感知神经网络可以主动缓解由于共址干扰而导致的延迟降级，同时保持高精度以满足延迟约束。
2022-04-18 cs.LG cs.PF
Revisiting Deep Information Propagation: Fractal Frontier and Finite-size Effects
MathLab, International School for Advanced Studies (SISSA)（数学实验室，国际先进研究学院（SISSA））；Biomedical Imaging Group, École Polytechnique Fédérale de Lausanne（生物医学成像组，瑞士联邦理工学院）；Laboratoire de Physique de l’ENS Lyon, CNRS UMR 5672（Lyon 大学物理实验室，CNRS UMR 5672）
本研究揭示了深度神经网络中信息传播的分形结构，指出有限尺寸网络对分离与鲁棒性权衡的重要性。
2026-01-16 cs.LG
Deep Nonparametric Estimation of Operators between Infinite Dimensional Spaces
Hong Kong Baptist University（香港浸会大学）；Purdue University（普渡大学）；Georgia Tech（佐治亚理工学院）
无限维空间之间的算子学习是机器学习、成像科学、数学建模与仿真等领域中的一个重要学习任务，本文研究了基于深度神经网络的Lipschitz算子的非参数估计。在适当选择的网络类的经验风险最小化的推广误差的非渐近上界。在假设目标算子具有低维结构的情况下，我们的误差界随着训练样本量的增加而衰减，并且在我们的估计中具有取决于内在维度的有吸引力的快速速率。我们的假设涵盖了实际应用中的大多数场景，我们的结果通过利用低维数据结构在运营商估计中产生快速速率。我们还研究了网络结构的影响（例如，网络宽度、深度和稀疏性）对神经网络估计器的泛化误差的影响，并提出了关于网络结构选择的一般建议，以定量地最大化学习效率。
2022-01-01 cs.LG stat.ML
Counting Substructures with Higher-Order Graph Neural Networks: Possibility and Impossibility Results
CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
本文提出一种新的局部邻域递归池化技术，使GNN能计数大小为k的子图，克服低阶GNN局限，并利用稀疏性降低计算复杂度，同时给出信息论与时间复杂度的下界。
2021-10-11 cs.LG
Scaling Neural Tangent Kernels via Sketching and Random Features
Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Yale University（耶鲁大学）；Tel Aviv University（特拉维夫大学）；KAIST（韩国科学技术院）
神经切线核（NTK）通过梯度下降来表征在最小平方损失下训练的无限宽神经网络的行为。最近的工作还报告说，NTK回归可以优于在小规模数据集上训练的有限宽神经网络。然而，核方法的计算复杂性限制了其在大规模学习任务中的应用。为了加速NTK的学习，我们通过绘制反余弦内核的多项式展开，为NTK设计了一个近输入稀疏时间近似算法：我们的NTK卷积对应物（CNTK）草图可以使用像素数的线性运行时间来转换任何图像。此外，我们证明了NTK矩阵的谱近似保证，通过结合随机特征（基于杠杆分数采样）的反余弦内核与草图算法。我们在各种大规模回归和分类任务上对我们的方法进行了基准测试，并表明在我们的CNTK特征上训练的线性回归器与CIFAR-10数据集上精确CNTK的准确性相匹配，同时实现了150倍的加速。
2021-12-08 cs.CV cs.DS cs.LG
Proceedings of the third "international Traveling Workshop on Interactions between Sparse models and Technology" (iTWIST'16)
本文探讨了稀疏模型与技术的相互作用，涵盖数据传感、非凸逆问题、概率推断、机器学习等领域，通过演讲和讨论促进国际科研合作。
2016-09-14 cs.CV cs.IT cs.LG
Low-Memory Neural Network Training: A Technical Report
Stanford University（斯坦福大学）
在训练神经网络模型时，内存越来越成为瓶颈。尽管如此，技术，以降低整体的记忆要求的培训已不太广泛的研究相比，大量的文献减少推理的记忆要求。在本文中，我们研究一个基本问题：实际上需要多少内存来训练一个神经网络？为了回答这个问题，我们在两个代表性的深度学习基准测试中分析了训练的整体内存使用情况-用于图像分类的WideResNet模型和用于机器翻译的DynamicConv Transformer模型-并全面评估了四种标准技术，以减少训练内存需求：（1）对模型施加稀疏性，（2）使用低精度，（3）微处理器，以及（4）梯度检查点。我们将探索这些技术中的每一种单独如何影响训练的峰值内存使用和最终模型的质量，并探索结合这些技术时所产生的内存，准确性和计算权衡。使用这些技术的适当组合，我们表明，可以将在CIFAR-10上训练WideResNet-28-2所需的内存减少多达60.7倍，准确度损失0.4%，并将在IWAR 14德语到英语翻译上训练DynamicConv模型所需的内存减少多达8.7倍，BLEU分数下降0.15。
2022-04-08 cs.LG stat.ML
