FastPersist: Accelerating Model Checkpointing in Deep Learning
Microsoft DeepSpeed（微软DeepSpeed）
针对深度学习训练优化重计算轻I/O导致检查点写入慢的问题，提出FastPersist框架，通过NVMe优化、多SSD并行写入及计算重叠技术，实现最高116倍的检查点加速与近乎零开销的逐迭代检查点保存。
2024-06-19 cs.AI cs.DC cs.LG
Accelerating Deep Learning Classification with Error-controlled Approximate-key Caching
HUAWEI Technologies（华为技术有限公司）
虽然深度学习（DL）技术是解决映射到分类任务的网络问题的有前途的工具，但相对于实时流量测量要求，其计算复杂性仍然太高。为了降低DL推理成本，我们提出了一种新的缓存模式，我们命名为近似键缓存，它返回近似结果的基础上缓存的DL推理结果的选定输入的查找。虽然近似缓存命中减轻了DL推理工作负载并增加了系统吞吐量，但它们引入了近似误差。因此，我们将近似键缓存与纠错原则算法相结合，我们称之为自动刷新。我们分析模型我们的缓存系统的性能为经典的LRU和理想的缓存，我们执行跟踪驱动的预期性能的评估，我们比较我们提出的方法与国家的最先进的相似性缓存的好处-证明我们的建议的实际利益。
2022-01-11 cs.AI cs.NI
Accelerating GPU Inference of Large Language Models with Moderately Unstructured Sparse Weight Matrices
National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
研究大语言模型推理成本挑战，提出含稀疏张量核层等的三层矩阵存储格式，设计联合稀疏张量核与CUDA核的SpMM内核，实现了在现代GPU上超越密集矩阵乘法，取得显著加速。
2026-07-13 cs.AI cs.AR cs.LG
Accelerating Large-Scale Reasoning Model Inference with Sparse Self-Speculative Decoding
SparseSpec通过自推测解码框架和稀疏注意力机制，显著提升了大规模推理模型的推理效率和内存利用率。
2025-12-01 cs.AI cs.LG
Hardware/Software Co-Design of RISC-V Extensions for Accelerating Sparse DNNs on FPGAs
Department of Computer Science, Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（计算机科学系，埃朗根-纽伦堡弗里德里希-亚历山大大学）
本文提出了一种新颖的RISC-V扩展硬件/软件协同设计，通过利用FPGA位级可配置性跳过计算及可变周期乘加单元，有效加速半结构化和非结构化稀疏DNN，在TinyML应用上实现高达5倍加速且占用极少硬件资源。
2025-04-28 cs.AI cs.AR cs.LG
Fill in the Blanks: Accelerating Q-Learning with a Handful of Demonstrations in Sparse Reward Settings
Faculty of Engineering University of Freiburg（工程学院弗赖堡大学）
针对稀疏奖励环境下强化学习反馈不足的难题，提出利用少量成功演示初始化价值函数、再通过在线交互优化的混合方法，可降低探索负担、提升样本效率并加速收敛，效果优于标准基线。
2025-10-28 cs.LG
Accelerating Prefilling for Long-Context LLMs via Sparse Pattern Sharing
OPPO Research Institute（OPPO研究院）；Zhejiang University（浙江大学）；Shanghai Jiaotong University（上海交通大学）
针对长上下文预填充阶段，提出基于跨头相似性共享精确注意力模式的稀疏注意力方法，仅对少量头做全注意力计算，实现高精度与高速度兼得。
2025-05-26 cs.AI cs.CL cs.LG
SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference
Massachusetts Institute of Technology（麻省理工学院）
近年来，在深度神经网络修剪和压缩方面有一系列的研究。早期的方法单独修剪权重。然而，在现代硬件（如GPU）上很难利用由此产生的非结构化稀疏模式。因此，在权重中施加稀疏结构的修剪策略变得更加流行。然而，这些结构化修剪方法通常导致比非结构化修剪更高的准确性损失。在本文中，我们介绍了SparseRT，这是一个代码生成器，它利用非结构化稀疏性来加速GPU上深度学习推理中的稀疏线性代数运算。对于1x 1卷积和全连接层，当在深度学习中对数百个测试用例进行评估时，我们证明了在90%稀疏度下等效密集计算的加速比为3.4倍，在95%稀疏度下为5.4倍的几何平均值。对于稀疏3x 3卷积，我们在ResNet-50中的用例中显示了超过5倍的加速。
2020-08-26 cs.LG stat.ML
Accelerating Sparse Graph Neural Networks with Tensor Core Optimization
Virginia Tech（弗吉尼亚理工大学）
针对图数据稀疏性导致GNN计算效率低的问题，提出FTC-GNN框架，通过协同利用CUDA和张量核心及稀疏到密集转换策略，在GCN和AGNN上分别实现最高7.10倍和5.32倍加速。
2025-02-23 cs.AR cs.LG
SAC: Accelerating and Structuring Self-Attention via Sparse Adaptive Connection
Zhejiang University（浙江大学）
虽然自我注意力机制已被广泛应用于各种各样的任务中，但它具有关于输入长度的二次成本的不幸属性，这使得难以处理长输入。在本文中，我们提出了一种加速和构造自注意力的方法：稀疏自适应连接（SAC）。在SAC中，我们将输入序列视为一个图，并在链接节点之间执行注意操作。与先前的具有预定义结构（边）的自我注意模型相比，该模型学习构造注意边以提高特定任务的性能。通过这种方式，该模型能够选择最显著的节点，并降低二次复杂度，而不管序列长度如何。基于SAC，我们证明了自注意模型的先前变体是它的特殊情况。通过对神经机器翻译、语言建模、图表示学习和图像分类的大量实验，我们证明了SAC与最先进的模型相比具有竞争力，同时显著降低了内存成本。
2020-09-29 cs.CL cs.LG
Balance is Essence: Accelerating Sparse Training via Adaptive Gradient Correction
North Carolina State University（北卡罗来纳州立大学）；Purdue University（普渡大学）；Texas A&M University（德克萨斯农工大学）
本文提出自适应梯度校正方法，通过平衡当前与先前梯度来加速并稳定稀疏训练，在相同轮数下准确率最高提升5.0%，达到相同准确率最多减少52.1%的训练轮数。
2023-12-05 cs.AI cs.CV cs.LG
Sparse Logit Sampling: Accelerating Knowledge Distillation in LLMs
Samsung Research（三星研究院）
针对预训练场景下知识蒸馏缓存教师 logits 成本高的问题，提出基于重要性采样的 Random Sampling Knowledge Distillation，以无偏方式估计教师分布并在 300M–3B 模型上保持接近完整蒸馏的性能。
2025-07-24 cs.AI cs.CL cs.LG
EmbRace: Accelerating Sparse Communication for Distributed Training of NLP Neural Networks
National University of Defense Technology（国防科技大学）；Xiamen University（厦门大学）
分布式数据并行训练已被广泛用于深度神经网络（DNN）模型。虽然目前的深度学习（DL）框架可以很好地扩展图像分类模型等密集模型，但我们发现这些DL框架对于具有高度稀疏嵌入表的自然语言处理（NLP）模型等稀疏模型的可扩展性相对较低。大多数现有的作品忽略了模型参数的稀疏性，从而遭受显着的，但不必要的通信开销。在本文中，我们提出了EmbRace，一个有效的通信框架，以加速稀疏模型的分布式训练的通信。EmbRace引入了稀疏感知混合通信，将AlltoAll和模型并行集成到数据并行训练中，以减少高度稀疏参数的通信开销。为了有效地将稀疏通信与向后和向前计算重叠，EmbRace进一步设计了一种2D通信调度方法，该方法优化了模型计算过程，放松了嵌入的依赖性，并使用优先级队列调度每个嵌入行的稀疏通信。我们已经实现了一个基于PyTorch和Horovod的EmbRace原型，并对四个代表性的NLP模型进行了全面的评估。实验结果表明，与最先进的分布式训练基线相比，EmbRace实现了高达2.41倍的加速比。
2022-06-27 cs.LG cs.MA
An Algorithm-Hardware Co-Optimized Framework for Accelerating N:M Sparse Transformers
Nanjing University（南京大学）；SenseTime（商汤科技）
Transformer一直是深度学习中不可或缺的主食。然而，对于现实生活中的应用，这是非常具有挑战性的部署高效的Transformers由于巨大的参数和操作的模型。为了减轻这种负担，利用稀疏性是加速Transformers的有效方法。新兴的Ampere GPU利用2：4稀疏模式来实现模型加速，但它很难满足部署模型时的各种算法和硬件约束。相比之下，我们提出了一个算法硬件协同优化的框架，灵活，有效地加速Transformers，利用一般的N：M稀疏模式。(1)从算法的角度，我们提出了一个稀疏继承机制，随着继承的动态修剪（IDP）的方法，以获得一系列的N：M稀疏候选Transformers迅速。进一步提出了一种模型压缩方案，大大降低了部署所需的存储空间。(2)从硬件的角度来看，我们提出了一个灵活和高效的硬件架构，即STA，实现显着的加速时，部署N：M稀疏Transformers。STA不仅具有统一稀疏-密集和密集-密集矩阵乘法的计算引擎，具有高计算效率，而且具有可扩展的softmax模块，消除了中间片外数据通信的延迟。实验结果表明，与其他方法相比，使用IDP生成的N：M稀疏Transformers在训练效率较高的情况下，准确率平均提高了6.7%。此外，与Intel i9- 9900 X和NVIDIA RTX 2080 Ti相比，STA可以分别实现14.47倍和11.33倍的加速比，并且执…
2022-08-12 cs.AR cs.LG
Accelerating Sparse Ternary GEMM for Quantized ML on Apple Silicon
Department of Computer Science ETH Zurich, Switzerland（计算机科学系 乙太苏黎世学院，瑞士）
针对苹果M系列处理器，提出架构感知优化（块交错稀疏格式、ILP提升、NEON SIMD）的稀疏三元GEMM内核，标量实现较TCSC基线最高提速5.98倍，向量化实现最高提速5.59倍。
2025-10-13 cs.LG cs.PF
SparseLoRA: Accelerating LLM Fine-Tuning with Contextual Sparsity
University of Toronto（多伦多大学）；MIT（麻省理工学院）；Google DeepMind（谷歌DeepMind）
提出SparseLoRA，利用上下文稀疏性动态选择权重子集计算损失和梯度，加速LLM微调，降低计算成本最多2.2倍，实测加速1.6倍，保持下游任务准确性。
2025-06-19 cs.LG
Accelerating LLM Inference with Flexible N:M Sparsity via A Fully Digital Compute-in-Memory Accelerator
Georgia Institute of Technology（佐治亚理工学院）；Intel Labs（英特尔实验室）；Intel Corporation（英特尔公司）
针对固定N:M稀疏性限制LLM表达力的问题，提出FLOW方法灵活选择逐层N:M值，并设计FlexCiM数字存内计算架构以低开销支持多样稀疏模式，实现最高36%准确率提升及1.75倍延迟和1.5倍能耗降低。
2025-04-19 cs.AI cs.AR cs.LG
GST: Group-Sparse Training for Accelerating Deep Reinforcement Learning
KAIST（韩国科学技术院）
深度强化学习（DRL）在顺序决策问题中取得了显着的成功，但要获得如此良好的性能需要很长的训练时间。许多并行和分布式DRL训练方法已经被提出来解决这个问题，但它是很难利用它们在资源有限的设备。为了加速真实世界边缘设备中的DRL，必须解决由于大权重事务而导致的内存带宽瓶颈。然而，以前的迭代修剪不仅在训练开始时显示出较低的压缩比，而且使DRL训练不稳定。为了克服这些缺点，我们提出了一种新的权重压缩方法，称为组稀疏训练（GST）的DRL训练加速。GST选择性地利用块循环压缩来在DRL训练的所有迭代期间保持高权重压缩比，并通过奖励感知修剪来动态适应目标稀疏性以进行稳定训练。由于这些特性，GST在具有TD 3训练的Mujoco Halfcheetah-v2和Mujoco humanoid-v2环境中实现了比没有奖励下降的迭代修剪方法高25 \%p $\sim$ 41.5 \%p的平均压缩比。
2021-01-24 cs.LG
Accelerating Hierarchical Sparse Predictive Coding with Hybrid Amortized Inference
Department of Clinical Engineering, Komatsu University（小松大学临床工程系）
针对层次稀疏预测编码中迭代推理成本高的问题，提出混合摊销推理方法，结合LISTA式编码器快速初始化与少量能量校正步骤，在保持稀疏性和重建质量的同时显著降低延迟。
2026-07-28 cs.LG
Accelerating Sparse Transformer Inference on GPU
SSSLab, Dept. of CST China University of Petroleum-Beijing Beijing China（SSSLab，计算机科学与技术系中国石油大学（北京）北京中国）；Baidu Inc. Beijing China（百度公司北京中国）；School of Computer Science Shanghai Jiao Tong University Shanghai China（计算机科学学院上海交通大学上海中国）；China University of Petroleum-Beijing Beihang University Beijing China（中国石油大学（北京）北京航空航天大学北京中国）；China University of Petroleum-Beijing（中国石油大学（北京））；Beihang University（北京航空航天大学）；Baidu Inc.（百度公司）；Shanghai Jiao Tong University（上海交通大学）
针对稀疏Transformer推理加速问题，提出STOF框架，通过分析建模将多头注意力映射为行式或块式核并采用独特存储格式，结合两阶段搜索的算子融合方案，在GPU上实现高达1.6倍的多头注意力计算加速和1.4倍的端到端推理加速。
2026-05-28 cs.LG
ReLATE: Accelerating Tensor Decomposition via Safe and Efficient Learning of Sparse Encodings
Intel Corporation（英特尔公司）；University of Erlangen-Nürnberg（埃尔兰根-纽伦堡大学）；University of Oregon（俄勒冈大学）
ReLATE是一种学习增强框架，通过混合强化学习算法发现安全高效的稀疏编码，可在低开销下加速张量分解，在真实稀疏张量上较专家设计格式最高提速2倍。
2026-08-28 cs.DC cs.LG cs.PF
Enterprise-Scale Search: Accelerating Inference for Sparse Extreme Multi-Label Ranking Trees
Stanford University（斯坦福大学）；Amazon Search（亚马逊搜索）
基于树的模型由于其次线性推理时间而支撑许多现代语义搜索引擎和推荐系统。在工业应用中，这些模型在极端规模下运行，其中每一点性能都至关重要。在极端尺度下的内存限制也要求模型是稀疏的，因此基于树的模型通常由稀疏矩阵代数例程后端处理。然而，目前还没有专门为稀疏结构设计的稀疏矩阵技术，在基于树的模型中遇到极端的多标签排名/分类（XMR/XMC）问题。为了解决这个问题，我们提出了屏蔽稀疏块乘法（MSCM）技术，一个稀疏矩阵技术专门为XMR树。MSCM易于实现，可并行化，并免费为任何现有的树推理流水线提供显着的性能提升。我们进行了一个全面的研究MSCM应用到几个不同的稀疏推理方案和基准我们的方法上的通用极端多标签排名框架。我们观察到MSCM在在线和批量推理设置、单线程和多线程设置以及许多不同的树模型和数据集上都提供了一致的显著加速。为了证明其在工业应用中的实用性，我们将MSCM应用于具有1亿种产品的企业级语义产品搜索问题，并在单个线程上实现了每次查询0.88 ms的亚毫秒延迟-延迟比香草推理技术减少了8倍。MSCM技术绝对不需要牺牲模型精度，因为它给出了与标准稀疏矩阵技术完全相同的结果。因此，我们相信MSCM将使XMR树的用户能够以非常小的成本在其推理管道中节省大量的计算资源。
2022-02-23 cs.LG
Accelerating Training of Deep Neural Networks via Sparse Edge Processing
University of Southern California（南加州大学）
我们提出了一种可重构的硬件架构，用于能够在线训练和推理的深度神经网络（DNN），它使用算法预定的结构化稀疏性来显著降低内存和计算需求。这种新颖的架构引入了边缘处理的概念，以提供灵活性，并结合连接流水线和操作并行化，以加快训练。总体效果是将网络复杂性降低高达30倍，训练时间相对于GPU减少高达35倍，同时保持推理结果的高保真度。这有可能使广泛的参数搜索和DNN的基本上未开发的理论基础的发展。该架构自动适应不同的网络规模给定的可用硬件资源。作为概念的证明，我们展示了不同位宽的结果。
2017-11-03 cs.LG cs.NE
iSpLib: A Library for Accelerating Graph Neural Networks using Auto-tuned Sparse Operations
Indiana University Bloomington（印第安纳大学伯明顿分校）
提出基于PyTorch的C++库iSpLib，通过自动调优稀疏操作和启用缓存的反向传播加速GNN训练，仅需两行代码即可集成，在CPU上实现高达27倍训练加速。
2024-03-21 cs.DC cs.LG cs.PF
Predict, Reuse, and Repair: Accelerating Dynamic Sparse Attention for Long-Context LLM Decoding
University of Pittsburgh（匹兹堡大学）；HPE Labs（HPE实验室）
提出PRR运行时系统，利用动态稀疏注意力选择的时间局部性，通过预测、推测和增量修复来减少解码延迟，最高可降低40%的每令牌延迟，同时保持下游任务精度。
2026-06-29 cs.LG
RAPNet: Accelerating Algebraic Multigrid with Learned Sparse Corrections
Institute for Interdisciplinary Computational Sciences, Faculty of Computer and Information Science, Ben-Gurion University of the Negev, Be'er Sheva, Israel（交叉学科计算科学研究所，计算机与信息科学学院，内盖夫本·古里安大学，以色列贝尔谢瓦）；Department of Mathematics and Computer Science, Emory University, Atlanta, GA, USA（数学与计算机科学系，埃默里大学，美国亚特兰大，GA）
提出图神经网络框架RAPNet，通过从稀疏代数系统中学习生成稀疏且鲁棒的粗网格算子，解决了代数多重网格中稀疏性与收敛质量之间的权衡问题，并采用逐层训练策略实现大规模泛化。
2026-08-03 cs.LG
SIKA-GP: Accelerating Gaussian Process Inference with Sparse Inducing Kernel Approximations for Bayesian Deep Learning
Department of Electrical；Computer Engineering, Texas A\&M University, College Station, US；Department of Industrial；Systems Engineering, Texas A\&M University, College Station, US
提出SIKA-GP方法，通过基于二元有序模板基的稀疏诱导核近似，将高斯过程推断的计算复杂度降低至O(log M)，并实现高效张量化GPU计算，可自然嵌入贝叶斯神经网络，在视觉和Transformer语言基准上显著加速训练和推断而不牺牲预测性能。
2026-05-26 cs.LG math.PR stat.CO
MMInference: Accelerating Pre-filling for Long-Context VLMs via Modality-Aware Permutation Sparse Attention
University of Surrey（萨里大学）；Microsoft Corporation（微软公司）
针对长上下文视觉语言模型预填充阶段计算开销大的问题，提出模态感知置换稀疏注意力方法MMInference，利用视频输入的网格稀疏模式并动态构建稀疏分布，无需修改模型即可实现高达8.3倍加速，同时保持准确性。
2025-05-23 cs.CV cs.LG
db-SP: Accelerating Sparse Attention for Visual Generative Models with Dual-Balanced Sequence Parallelism
Tsinghua University（清华大学）
db-SP通过双平衡序列并行技术提升视觉生成模型的稀疏注意力效率，实现端到端加速1.25倍。
2025-11-28 cs.CV cs.LG
WINA: Weight Informed Neuron Activation for Accelerating Large Language Model Inference
Microsoft（微软）；Renmin University of China（中国人民大学）；South China University of Technology（华南理工大学）
WINA提出一种无需训练的稀疏激活框架，通过结合隐藏状态大小和权重矩阵列向量ℓ2范数，提升大语言模型推理性能。
2026-02-18 cs.AI cs.LG
Accelerating Exploration with Unlabeled Prior Data
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Meta
本文研究利用无标签先验数据加速稀疏奖励任务的探索，提出通过在线学习奖励模型为无标签数据赋予乐观奖励，并与在线数据并行优化策略，在多个挑战性领域实现快速探索。
2023-11-21 cs.AI cs.LG stat.ML
SpargeAttention: Accurate and Training-free Sparse Attention Accelerating Any Model Inference
Dept. of Comp. Sci. and Tech., Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint ML Center, Tsinghua University（计算机科学与技术系，人工智能研究所，BNRist中心，THBI实验室，清华-博世联合机器学习中心，清华大学）；Institute for Interdisciplinary Information Sciences, Tsinghua University（交叉信息学院，清华大学）；EECS, University of California, Berkeley（电子工程与计算机科学系，加州大学伯克利分校）
针对现有稀疏注意力方案通用性不足的问题，本文提出无需训练的通用稀疏量化注意力SpargeAttn，通过两阶段在线过滤器跳过冗余计算，可在不损失性能的前提下加速多类模型推理。
2025-11-19 cs.AI cs.CV cs.LG
CSAttention: Centroid-Scoring Attention for Accelerating LLM Inference
Department of Computer Science, Rutgers University（罗格斯大学计算机科学系）
本文提出CSAttention，一种无需训练的稀疏注意力方法，通过离线预填和在线解码策略提升大语言模型的推理速度和准确性，在高稀疏度和长上下文设置下表现优异。
2026-03-30 cs.AI cs.LG
Sparse VideoGen: Accelerating Video Diffusion Transformers with Spatial-Temporal Sparsity
University of California, Berkeley（加利福尼亚大学伯克利分校）；MIT（麻省理工学院）；NVIDIA（英伟达公司）；Tsinghua University（清华大学）
针对视频扩散Transformer计算成本高的问题，提出免训练框架Sparse VideoGen，利用3D全注意力中的时空稀疏性并结合定制内核，在保持生成质量的同时实现显著端到端加速。
2025-04-27 cs.CV cs.LG
Assessing and Accelerating Coverage in Deep Reinforcement Learning
University of Michigan（密歇根大学）
当前的深度强化学习（DRL）算法利用模拟环境中的随机性来假设状态空间中的完全覆盖。然而，特别是在高维度中，依赖于随机性可能导致训练的DRL神经网络模型的覆盖范围中的缺口，这进而可能导致剧烈的并且通常是致命的现实世界情况。据作者所知，目前的研究文献中缺乏对日间行车线覆盖率的评估。因此，在本文中，一种新的措施，近似伪覆盖率（APC），提出了评估的覆盖在日间行车灯应用。我们建议通过将高维状态空间投影到低维流形上并量化所占用的空间来计算APC。此外，我们利用一个探索开发策略，覆盖率最大化使用快速探索随机树（RRT）。评估的有效性和覆盖的加速在标准任务上得到了证明，例如Cartpole，highway-env。
2020-12-01 cs.AI cs.LG
Accelerating Policy Gradient by Estimating Value Function from Prior Computation in Deep Reinforcement Learning
Purdue University（普渡大学）
本文研究了在强化学习中使用先验计算来估计价值函数以提高基于策略的策略梯度方法的样本效率。我们的方法是从先前的计算中估计价值函数，例如从DQN中学习的Q网络或为不同但相关的环境训练的价值函数。特别是，我们学习一个新的价值函数的目标任务，同时结合它与价值估计从先前的计算。最后，将结果价值函数用作策略梯度方法中的基线。基线的这种使用具有减少梯度计算中的方差并因此提高样本效率的理论特性。实验表明，成功地使用先验值估计在各种设置和提高样本效率在几个任务。
2023-02-02 cs.AI cs.LG
SparAMX: Accelerating Compressed LLMs Token Generation on AMX-powered CPUs
Cornell University（康奈尔大学）；Intel Labs（英特尔实验室）
针对大语言模型推理解码阶段的内存受限问题，提出SparAMX方法，利用Intel CPU的AMX扩展与非结构化稀疏性优化线性层和注意力计算，在不损失准确性的情况下，实现PyTorch中压缩LLMs token生成延迟降低1.14-1.42倍，提升CPU运行LLMs的效率。
2025-02-18 cs.AI cs.AR cs.LG
MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention
Microsoft Corporation（微软公司）；University of Surrey（萨里大学）
针对长上下文大语言模型预填充阶段计算效率低的问题，提出MInference动态稀疏注意力方法，利用三种注意力模式优化GPU计算，无需微调即可将预填充延迟最高降低10倍并维持准确率。
2024-10-30 cs.CL cs.LG
Layer Pruning for Accelerating Very Deep Neural Networks
Cloudwalk Technology（云从科技）
在本文中，我们提出了一种自适应修剪方法。该方法能够自适应地截断信道和层。自适应地学习待切割的层和通道的比例。本文提出的剪枝方法可以减少一半的参数，并且精度不会下降甚至高于基线。
2019-10-28 cs.CV cs.LG
Accelerating Deep Learning with Shrinkage and Recall
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
深度学习是一种非常强大的机器学习模型。深度学习需要为多个层训练大量参数，当数据规模大、架构规模大时，速度非常慢。受支持向量机（SVM）算法中用于加速计算的收缩技术和LASSO中用于筛选的技术的启发，提出了一种带召回的收缩深度学习（sDLr）方法来加速深度学习的计算。我们在4个数据集上使用深度神经网络（DNN）、深度信念网络（DBN）和卷积神经网络（CNN）进行了具有召回的深度学习（sDLr）收缩实验。结果表明，使用具有召回的收缩深度学习（sDLr）的加速比可以达到2.0以上，同时仍然提供有竞争力的分类性能。
2016-09-19 cs.CV cs.LG cs.NE
Accelerating SGD for Distributed Deep-Learning Using Approximated Hessian Matrix
University of Southern California（南加州大学）
我们介绍了一种新的方法来计算一个秩$m$近似的海森矩阵的逆在分布式政权。通过利用多个Workers的梯度和参数的差异，我们能够有效地实现Newton-Raphson方法的分布式近似。我们还提出了初步的结果，强调大型随机优化问题的二阶方法的优势和挑战。特别是，我们的工作表明，结合梯度的新策略提供了损失表面的进一步信息。
2017-09-15 cs.LG
Plasticine: Accelerating Research in Plasticity-Motivated Deep Reinforcement Learning
HK PolyU（香港理工大学）；SJTU（上海交通大学）；EIT, Ningbo（宁波工程学院）；NTU（National University of Technology）；HKU（香港大学）；INFIFORCE
Plasticine是首个开源框架，用于评估深度强化学习中的塑性优化，提供多种缓解方法和评估指标，帮助研究者系统量化塑性损失并分析动态。
2026-02-10 cs.AI cs.LG
Accelerating Sinkhorn Algorithm with Sparse Newton Iterations
Stanford University（斯坦福大学）；Amazon（亚马逊）
本文提出 Sinkhorn-Newton-Sparse（SNS），通过提前停止矩阵缩放并引入稀疏 Hessian 的 Newton 型第二阶段，在保持每轮 $O(n^2)$ 复杂度的同时显著加快最优传输求解。
2024-01-20 cs.LG math.OC stat.ML
M$^2$DQN: A Robust Method for Accelerating Deep Q-learning Network
UniDT；Research Institute of Intelligent Complex Systems, Fudan University（复旦大学智能复杂系统研究院）；Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学类脑智能科学与技术研究院）
深度Q学习网络（Deep Q-learning Network，DQN）是将强化学习与深度神经网络相结合的一种成功方法，它使强化学习得到了广泛的应用。当将DQN或其他强化学习算法应用于现实世界问题时，一个具有挑战性的问题是数据汇集。因此，如何提高数据效率是强化学习研究的重要问题之一。在本文中，我们提出了一个使用深度Q网络中的最大平均损失（M $^2$ DQN）的框架。在训练步骤中，我们不是对一批经验进行采样，而是从经验回放中采样几批经验，并更新参数，以使这些批次的最大TD误差最小化。该方法可以通过替换损失函数与DQN算法中的大多数现有技术相结合。我们验证了这个框架的有效性与最广泛使用的技术之一，双DQN（DDQN），在几个健身房游戏。结果表明，我们的方法导致学习速度和性能的大幅改善。
2022-09-16 cs.AI cs.LG
Accelerating Deep Unsupervised Domain Adaptation with Transfer Channel Pruning
University of Chinese Academy of Sciences（中国科学院大学）；Columbia University（哥伦比亚大学）
深度无监督领域自适应（UDA）近年来受到越来越多的研究者的关注。然而，现有的方法是计算密集的，由于计算成本的卷积神经网络（CNN）采用的大多数工作。到目前为止，还没有有效的网络压缩方法来加速这些模型。在本文中，我们提出了一个统一的传输通道修剪（TCP）的方法来加速UDA模型。TCP能够通过修剪不太重要的通道来压缩深度UDA模型，同时通过减少跨域分布发散来学习可转移特征。因此，它减少了负迁移的影响，保持了目标任务的竞争力。据我们所知，TCP是第一种旨在加速深度UDA模型的方法。TCP在两个基准交换机Office-31和ImageCLEF-DA上进行了验证，两个基准交换机具有两个公共骨干网络VGG 16和ResNet 50。实验结果表明，TCP实现可比或更好的分类精度比其他比较方法，同时显着降低计算成本。更具体地说，在VGG 16中，我们在修剪26%的浮点运算（FLOPs）后获得了更高的准确率;在ResNet 50中，我们在修剪12%的FLOPs后也获得了一半的任务的更高准确率。我们希望TCP将为未来加速迁移学习模型的研究打开一扇新的大门。
2019-03-25 cs.CV cs.LG
Chain-NN: An Energy-Efficient 1D Chain Architecture for Accelerating Deep Convolutional Neural Networks
Graduate School of Information, Production and Systems, Waseda University（早稻田大学信息生产系统研究生院）
深度卷积神经网络（CNN）在许多计算机视觉任务中表现出了良好的性能。然而，CNN的高计算复杂性涉及在计算处理器核和占据主要功耗的存储层次结构之间的大量数据移动。本文介绍了Chain-NN，一种用于加速深度CNN的新型节能1D链架构。Chain-NN由专用的双通道进程引擎（PE）组成。在Chain-NN中，卷积由一组相邻PE组成的1D收缩基元完成。这些脉动基元，连同所提出的列式扫描输入模式，可以完全重用输入操作数，以减少内存带宽的要求，以节省能源。此外，1D链架构允许根据特定的CNN参数以更少的设计复杂度容易地重新配置脉动基元。Chain-NN的综合和布局是在台积电28 nm工艺下完成的。它的成本为3751 k逻辑门和352 KB片上存储器。结果表明，576-PE Chain-NN可以扩展到700 MHz。这实现了806.4GOPS的峰值吞吐量和567.5mW，并能够以326.2fps的帧速率加速AlexNet中的五个卷积层。1421.0GOPS/W的功率效率至少是最先进产品的2.5至4.1倍。
2017-03-04 cs.AR cs.LG
Accelerating Frank-Wolfe via Averaging Step Directions
Frank-Wolfe方法因其快速的每次迭代复杂度而成为稀疏约束优化中的一种流行方法。然而，折衷是其最坏情况下整体收敛相对较慢，并且重要的是，从根本上慢于其流率--也就是说，收敛速度被离散化误差抑制。在这项工作中，我们考虑修改后的弗兰克-沃尔夫的步骤方向是一个简单的加权平均过去的甲骨文调用。这种方法需要非常少的内存和计算开销，并证明衰减这个离散化误差项。数值上，我们表明，这种方法提高了收敛速度在几个问题，特别是在稀疏流形已被检测。理论上，我们证明了该方法具有$O(1/k^p)$的整体收敛速度，其中$0< p < 1$ ;流形识别后，该速度加快到$O(1/k^{3p/2})$。我们还观察到，该方法从很早的阶段就实现了这种加速率，这表明这一系列方法的加速模式很有前途。
2022-05-24 cs.LG math.OC
Accelerating Deep Neuroevolution on Distributed FPGAs for Reinforcement Learning Problems
IBM Almaden Research Center（IBM阿尔马登研究中心）
由深度神经网络的表征能力增强的强化学习在高维问题上显示出有希望的结果，例如游戏和机器人控制。然而，这些问题的连续性对计算效率提出了根本性的挑战。最近，进化策略和深度神经进化等替代方法在分布式CPU内核上表现出更快的训练时间。在这里，我们报告了Atari 2600游戏使用分布式FPGA实现的深度神经进化的创纪录训练时间（每秒约100万帧）。将游戏控制台、图像预处理和神经网络的硬件实现结合在优化的流水线中，乘以系统级并行性，实现了加速。这些结果是IBM神经计算机上的第一个应用演示，这是一个定制设计的系统，由432个Xilinx FPGA以3D网状网络拓扑互连组成。除了高性能外，实验还显示，与CPU实现的相同算法相比，所有游戏的准确性都有所提高。
2020-05-10 cs.AI cs.AR cs.DC
CoreInfer: Accelerating Large Language Model Inference with Semantics-Inspired Adaptive Sparse Activation
Duke University（杜克大学）；Ohio State University（俄亥俄州立大学）
针对现有 token 级稀疏激活预测带来的频繁调度开销，提出 CoreInfer，利用句子语义在预填充阶段确定并固定核心神经元，实现无需 MLP 的零成本稀疏推理，最高较 PowerInfer 加速 2.72 倍。
2024-10-23 cs.CL cs.LG
IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse
Tsinghua University（清华大学）
IndexCache通过跨层索引复用减少75%的计算量，提升预填和解码速度，有效优化稀疏注意力效率。
2026-03-12 cs.CL cs.LG
Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
Tokyo Institute of Technology（东京工业大学）
本文提出将深度展开技术融入 Stein 变分梯度下降，通过可训练方式学习其内部参数以加速收敛，并在高斯混合采样、贝叶斯逻辑回归和贝叶斯神经网络任务中验证了其优于传统 SVGD 变体的收敛性能。
2024-02-23 cs.LG stat.ML
Empirically Accelerating Scaled Gradient Projection Using Deep Neural Network For Inverse Problems In Image Processing
UNIST（蔚山国立科学技术院）
最近，深度神经网络（DNN）在加速优化算法方面显示出优势。一种方法是展开传统优化算法的有限次迭代，并学习算法中的参数。然而，这些都是向前的方法，实际上既不是迭代的，也不是收敛的。在这里，我们提出了一种新的基于DNN的收敛迭代算法，可以加速传统的优化算法。我们训练一个DNN来产生尺度梯度投影方法中的参数。到目前为止，这些参数的选择是严格的，但已被证明是至关重要的良好的经验表现。仿真结果表明，对于图像处理中的各种大规模反问题，该方法的经验收敛速度明显优于传统的优化方法.
2021-04-22 cs.CV cs.LG stat.ML
Towards a learning-based performance modeling for accelerating Deep Neural Networks
University of Perugia（佩鲁贾大学）；Free University of Bozen-Bolzano（博尔扎诺自由大学）
新兴的应用程序，如深度学习，通常是数据驱动的，因此基于自动调谐器的传统方法在实践中使用的广泛输入范围内性能不佳。在本文中，我们开始研究基于机器学习技术的预测模型，以优化卷积神经网络（CNN）。作为一个用例，我们重点介绍ARM计算库，它提供了三种不同数值精度的卷积运算符的实现。从基准测试的整理开始，我们建立和验证决策树和朴素贝叶斯分类器学习的模型。在基于Midgard的ARM Mali GPU上的初步实验表明，我们的预测模型优于库手动选择的所有卷积运算符。
2022-12-09 cs.LG
Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data
EPFL（洛桑联邦理工学院）
深度学习模型的分散式训练是通过网络实现数据隐私和设备上学习的关键要素。在现实的学习场景中，不同客户端的本地数据集之间的异质性的存在提出了优化的挑战，并可能严重恶化泛化性能。在本文中，我们调查和确定几个分散的优化算法的局限性，不同程度的数据异构性。我们提出了一种新的基于动量的方法来减轻这种分散训练的困难。我们在各种CV/NLP数据集（CIFAR-10，ImageNet和AG News）和几种网络拓扑（Ring和Social Network）上进行了广泛的实证实验，结果表明，我们的方法对客户端数据的异质性比其他现有方法更鲁棒，测试性能（$1\% \!-\! 20\%$）有显着提高。我们的代码是公开的。
2021-06-18 cs.LG
