Deep Learning Empowered Sub-Diffraction Terahertz Backpropagation Single-Pixel Imaging
Sun Yat-sen University(中山大学)
提出一种深度学习赋能的亚衍射太赫兹反向传播单像素成像技术,通过未训练神经网络和物理传播模型,以1.5625%超低采样率实现λ0/7分辨率,无需超薄光调制器。
2025-08-03 cs.AI eess.IV
Advancing Direct Training for Spiking Neural Networks with Circulate-Firing Neurons and Learnable Gradients
School of Artificial and Intelligence, Tianjin University(人工智能学院,天津大学)
提出一种包含循环发放神经元、逐时间步可学习代理梯度和正负平衡损失函数的直接训练算法,以提升脉冲神经网络的信息表示能力和梯度传播精度,在多个数据集上取得竞争性性能并泛化至Transformer架构。
2026-05-14 cs.AI cs.LG cs.NE
SparseProp: Efficient Sparse Backpropagation for Faster Training of Neural Networks
IST Austria(奥地利科学技术研究所);ETH Zurich(苏黎世联邦理工学院);Neural Magic, Inc.(Neural Magic公司)
我们提供了一个新的有效版本的反向传播算法,专门用于正在训练的神经网络的权重是稀疏的情况。我们的算法是通用的,因为它适用于任意(非结构化)稀疏和常见的层类型(例如,卷积的或线性的)。我们在商用CPU上提供了一个快速的矢量化实现,并表明它可以在端到端的运行时实验中产生加速,无论是在使用已经稀疏化的网络的迁移学习中,还是在从头开始训练稀疏网络中。因此,我们的研究结果为商品硬件上的稀疏训练提供了第一个支持。
2023-02-09 cs.LG
Dynamic Sparse Training: Find Efficient Sparse Network From Scratch With Trainable Masked Layers
The University of Hong Kong(香港大学);City University of Hong Kong(香港城市大学)
我们提出了一种新的网络剪枝算法称为动态稀疏训练,可以共同找到最佳的网络参数和稀疏网络结构在一个统一的优化过程中与可训练的修剪阈值。这些阈值可以通过反向传播动态地进行细粒度的逐层调整。我们证明了我们的动态稀疏训练算法可以很容易地训练非常稀疏的神经网络模型,使用相同数量的训练时期的密集模型的性能损失很小。与其他稀疏训练算法相比,动态稀疏训练在各种网络架构上实现了最先进的性能。此外,我们有几个令人惊讶的观察结果,为我们的算法的有效性和效率提供了强有力的证据。这些观察揭示了传统的三阶段剪枝算法的根本问题,并提出了潜在的指导,我们的算法提供更紧凑的网络架构的设计。
2020-05-14 cs.LG stat.ML
Advancing Training Efficiency of Deep Spiking Neural Networks through Rate-based Backpropagation
College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息与电子工程学院);ZJU-UIUC Institute, Zhejiang University(浙江大学-伊利诺伊大学厄巴纳-香槟分校联合学院)
本文提出基于速率的反向传播方法,通过利用速率编码表示简化计算图,在保持与BPTT相当性能的同时显著降低深度脉冲神经网络训练的内存和计算开销。
2024-10-22 cs.LG cs.NE
Architecture Agnostic Neural Networks
California Institute of Technology(加州理工学院)
在本文中,我们探索了另一种方法来合成神经网络架构,灵感来自大脑的随机突触修剪。在人的一生中,许多不同的神经元结构负责执行相同的任务。这表明生物神经网络在某种程度上是结构不可知的。然而,人工网络依赖于其微调的权重和手工制作的架构来实现其卓越的性能。这种对比引出了一个问题:我们能否构建人工架构不可知的神经网络?为了使这项研究有基础,我们利用了稀疏的二进制神经网络来平行大脑的电路。在这种稀疏的二进制范式中,我们对许多二进制架构进行采样,以创建不通过反向传播训练的架构不可知神经网络家族。这些高性能网络家族共享相同的稀疏性和二进制权重分布,并在静态和动态任务中取得成功。总之,我们创建了一个架构流形搜索过程来发现家族或架构不可知的神经网络。
2020-12-11 cs.AI cs.LG
Partitioning sparse deep neural networks for scalable training and inference
University of Warwick(华威大学)
最先进的深度神经网络(DNN)具有显著的计算和数据管理要求。训练数据和模型的大小都在持续增加。稀疏化和修剪方法被证明是有效的,在DNN中删除大部分连接。由此产生的稀疏网络提出了独特的挑战,以进一步提高深度学习中训练和推理的计算效率。用于训练稀疏DNN的随机梯度下降(SGD)算法中的前馈(推断)和反向传播步骤都涉及连续的稀疏矩阵向量乘法(SpMV)。我们首先介绍了一个分布式内存并行SpMV为基础的SGD算法的解决方案,以提高其可扩展性。并行化方法是基于权值矩阵的逐行划分,权值矩阵表示连续层之间的神经元连接。然后,我们提出了一种新的超图模型划分权重矩阵,以减少总的通信量,并确保处理器之间的计算负载平衡。在稀疏DNN上进行的实验表明,所提出的解决方案是高效和可扩展的。通过利用所提出的矩阵划分方案,我们的解决方案的性能进一步显着提高。
2021-04-23 cs.AI cs.DC cs.LG
Memorized Sparse Backpropagation
Peking University(北京大学)
神经网络学习通常是耗时的,因为反向传播需要计算完整的梯度并将其反向传播到多个层。尽管其成功的现有的作品在加速传播通过稀疏,相关的理论特征仍然研究不足,实证研究发现,他们遭受的损失,包含在未传播的梯度的信息。为了解决这些问题,本文提出了一个统一的稀疏反向传播框架,并提供了详细的分析其理论特性。分析表明,当应用于多层感知器时,我们的框架基本上使用与真实梯度足够相似的估计梯度执行梯度下降,从而在某些条件下概率收敛。此外,一个简单而有效的算法命名为记忆稀疏反向传播(MSBP),提出了通过存储未传播的梯度在内存中的学习,在接下来的步骤中,以弥补信息丢失的问题。实验结果表明,所提出的MSBP是有效的,以减轻传统的稀疏反向传播的信息损失,同时实现可比的加速。
2020-10-27 cs.LG stat.ML
FastLRNR and Sparse Physics Informed Backpropagation
Telepix;Department of Computer Science, Arizona State University(亚利桑那州立大学计算机科学系);School of Computing, Korea Advanced Institute of Science and Technology(韩国科学技术院计算机科学学院);Department of Mathematics, Washington University in St. Louis(圣路易斯华盛顿大学数学系);Department of Mathematics, University of Central Florida(中央佛罗里达大学数学系)
SPInProp通过构建更小的FastLRNR网络,加速了低秩神经表示架构的反向传播,从而提高了物理信息神经网络求解参数化偏微分方程的效率。
2024-10-05 cs.AI cs.LG cs.NA
Adaptive Spatial Goodness Encoding: Advancing and Scaling Forward-Forward Learning Without Backpropagation
本文提出自适应空间良质编码方法,通过无需反向传播的前-前学习框架,提升CNNs的训练性能,实现大规模数据集上的高效训练和高准确率。
2026-01-22 cs.LG
pyFAST: A Modular PyTorch Framework for Time Series Modeling with Multi-source and Sparse Data
College of Computer Engineering, Jimei University(嘉应大学计算机工程学院);Chengyi College, Jimei University(嘉应大学 Chengyi 学院);Department of Technology, Management and Economics, Technical University of Denmark(丹麦技术大学技术、管理与经济系)
pyFAST是一个模块化PyTorch框架,通过解耦数据处理与模型计算,支持多源和稀疏数据的时间序列建模,集成了多种模型和训练工具,促进快速实验。
2025-08-26 cs.AI cs.LG
Learning sparse transformations through backpropagation
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
深度学习架构中的许多转换都是稀疏连接的。当这种转换无法手工设计时,它们可以学习,甚至通过简单的反向传播,例如在注意力机制中。然而,在学习过程中,这种稀疏结构通常以密集形式表示,因为我们事先不知道哪些元素最终会变成非零。我们介绍了自适应,稀疏超层,学习稀疏变换的方法,paramatrized稀疏:作为索引元组与相关值。为了克服这种离散结构缺乏梯度的问题,我们引入了一种随机采样连接的方法,并在随机连接的计算图上进行反向传播。为了证明这种方法允许我们在真实数据上训练具有竞争力的模型,我们使用它来构建两个架构。第一,视觉分类的注意机制。其次,我们实现了一种可微排序的方法:具体来说,学习对未标记的MNIST数字进行排序,只给出正确的顺序。
2018-10-22 cs.LG stat.ML
SparseProp: Efficient Event-Based Simulation and Training of Sparse Recurrent Spiking Neural Networks
Zuckerman Mind Brain Behavior Institute, Columbia University(哥伦比亚大学祖克曼心智脑行为研究所);Max Planck Institute for Dynamics and Self-Organization(马克斯·普朗克动力学与自组织研究所);Göttingen Campus Institute for Dynamics of Biological Networks(哥廷根校区生物网络动力学研究所)
本文提出SparseProp,一种利用网络稀疏性的事件驱动算法,将脉冲神经网络模拟与训练的前向和反向计算成本从O(N)降至O(log(N)),实现百万LIF神经元网络的精确高效训练,加速超四个数量级。
2023-12-28 cs.AI cs.LG cs.NE
SALVE: Sparse Autoencoder-Latent Vector Editing for Mechanistic Control of Neural Networks
Group Research and Development, DNV(1 研究与发展组,DNV)
SALVE通过稀疏自编码和潜在向量编辑,实现神经网络的机理控制与可解释性,提升模型的可控性和鲁棒性。
2026-03-07 cs.AI cs.CV cs.LG
Lottery Tickets in Evolutionary Optimization: On Sparse Backpropagation-Free Trainability
Technical University Berlin(柏林工业大学);Science of Intelligence Cluster of Excellence(智能科学卓越集群)
本文研究彩票现象是否适用于进化优化,提出融合损失曲率的信噪比迭代剪枝方法,发现ES可获得更稀疏的可训练初始化,并揭示其可迁移性及与GD不同的局部最优和连通性特征。
2023-05-31 cs.AI cs.LG cs.NE
DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale
Microsoft(微软)
由于巨型密集模型的训练触及了当今硬件资源的可用性和能力的边界,混合专家模型(MoE)模型成为最有前途的模型架构之一,因为与质量等效的密集模型相比,它们显著降低了训练成本。它的训练成本节省从编码器-解码器模型(以前的作品)到自动攻击语言模型的5倍节省(这项工作与并行探索一起)。然而,由于更大的模型大小和独特的架构,如何提供快速的MoE模型推理仍然是具有挑战性的和未解决的,限制了其实际应用。为了解决这个问题,我们提出了DeepSpeed-MoE,这是一个端到端的MoE训练和推理解决方案,作为DeepSpeed库的一部分,包括新颖的MoE架构设计和模型压缩技术,可将MoE模型大小减少多达3.7倍,以及高度优化的推理系统,与现有的MoE推理解决方案相比,延迟和成本降低了7.3倍。DeepSpeed-MoE提供了前所未有的规模和效率,可为大规模MoE模型提供服务,与质量相当的密集模型相比,推理速度快4.5倍,成本低9倍。我们希望我们的创新和系统有助于在大型模型领域开辟一条充满希望的新方向,从密集到稀疏的MoE模型,在这种情况下,用更少的资源训练和部署更高质量的模型变得更加可能。
2022-07-21 cs.AI cs.DC cs.LG
GRIN: GRadient-INformed MoE
Microsoft(微软公司)
针对MoE模型离散专家路由阻碍梯度优化的问题,提出GRIN梯度感知训练方法,结合稀疏梯度估计与防令牌丢弃的并行策略,构建的小激活参数MoE模型性能匹配更大规模稠密模型,多基准测试表现优异。
2024-09-18 cs.AI cs.CL cs.LG
Unified Complex-valued Neural Network: A Magnitude-Phase Computational Model for Event-Driven Neuromorphic Learning
提出统一复数神经元模型,通过幅度编码信号强度、相位控制事件生成,结合BP和BPTT训练,实现连续与脉冲计算的统一,在目标跟踪和洛伦兹吸引子学习中展现准确稳定的时空学习能力。
2026-06-27 cs.AI cs.NE
PockEngine: Sparse and Efficient Fine-tuning in a Pocket
MIT(麻省理工学院);UCSD(加州大学圣迭戈分校);MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);NVIDIA(英伟达)
PockEngine提出面向边缘设备的稀疏高效微调引擎,通过稀疏反向传播、编译优先策略和训练图优化,在保持模型质量的同时实现最高15倍加速和5.6倍内存节省,并支持在Jetson AGX Orin上以550 tokens/s微调LLaMav2-7B。
2023-10-26 cs.LG
Dithered backprop: A sparse and quantized backpropagation algorithm for more efficient deep neural network training
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
深度神经网络是成功的,但计算成本很高的学习系统。时间和能量消耗的主要来源之一是众所周知的反向传播(backprop)算法,其大致占训练的计算复杂性的2/3。在这项工作中,我们提出了一种方法,以减少计算成本的backprop,我们命名为抖动backprop。它包括将随机量化方案应用于该方法的中间结果。特定的量化方案,称为非减法抖动(NSD),诱导稀疏性,可以利用计算有效的稀疏矩阵乘法。在流行的图像分类任务上的实验表明,与最先进的方法相比,它在广泛的模型集合中平均产生92%的稀疏性,而准确性没有下降或可以忽略不计,从而显着降低了向后传递的计算复杂性。此外,我们证明了我们的方法与最先进的训练方法完全兼容,这些方法将训练的位精度降低到8位,因此能够进一步降低计算要求。最后,我们讨论并展示了在分布式训练环境中应用抖动反向传播的潜在好处,其中通信和计算效率都可以随着参与节点的数量同时增加。
2020-04-16 cs.LG stat.ML
The Art of Not Forgetting
Arkadhi Labs(阿卡迪实验室)
研究提出CMP架构,通过局部、无梯度更新学习,测试其抵御灾难性遗忘能力。在文本域实验中,CMP反向转移比Transformer好15 - 19倍,还报告了与基线差距等结果,表明该架构在特定条件下抗灾难性遗忘效果优于反向传播。
2026-07-21 cs.AI cs.LG
Sparse Attentive Backtracking: Long-Range Credit Assignment in Recurrent Networks
MILA, Université de Montréal(蒙特利尔大学 MILA);Polytechnique Montréal(蒙特利尔理工学院);HEC Montréal(蒙特利尔高等商学院)
时间反向传播(BPTT)的一个主要缺点是学习长期依赖性的困难,这是因为必须通过向前计算的每单步的向后传播信用信息。这使得BPTT在计算上不切实际,在生物学上也不可信。由于这个原因,通过时间的完全反向传播很少用于长序列,通过时间的截断反向传播被用作启发式。然而,这通常会导致对梯度的有偏估计,其中忽略了长期依赖性。为了解决这个问题,我们提出了一种替代算法,稀疏注意回溯,这也可能与大脑学习长期依赖关系的原则有关。稀疏注意回溯在过去的隐藏状态上学习注意力机制,并选择性地通过具有高注意力权重的路径反向传播。这允许模型学习长期依赖关系,同时仅回溯少量时间步,不仅从最近的过去,而且从相关的过去状态。
2017-11-07 cs.AI cs.LG cs.NE
Sparse In-Network Learning via Shortest-Path Backpropagation and Finite-Rate Gating
Nice, France(法国尼斯)
提出Dijkstra剪枝网内学习(D-INL),通过保留融合节点处的容量感知最短路径树移除非树链接,并建模有限速率随机门控以平衡稀疏性与预测信息,在分布式分类实验中减少70.4%的训练交换量且保持精度。
2026-05-22 cs.IT cs.LG math.IT
A Truly Sparse and General Implementation of Gradient-Based Synaptic Plasticity
Peter Grünberg Institute(彼得·格伦贝格研究所);FZ Jülich(于利希研究中心);RWTH Aachen(亚琛工业大学)
提出一种自定义自动微分流水线,实现稀疏且在线的基于梯度的突触可塑性规则,可推广至任意神经元模型,兼具编程简便与内存高效,并在合成任务和音频分类基准上验证了梯度一致性与内存扩展优势。
2025-01-20 cs.AI cs.LG cs.NE
Direct Feedback Alignment with Sparse Connections for Local Learning
Georgia Institute of Technology(佐治亚理工学院)
深度神经网络(DNN)的最新进展将其成功归功于使用反向传播和梯度下降的训练算法。反向传播虽然在冯诺依曼架构上非常有效,但在扩展到大型网络时变得低效。通常被称为权重传输问题,每个神经元对位于网络深处的权重和错误的依赖性需要详尽的数据移动,这是提高机器学习硬件性能和能效的关键问题。在这项工作中,我们提出了一个生物合理的替代反向传播借鉴反馈对齐算法的进步,其中在一个单一的突触的误差计算减少到三个标量值的产品。使用稀疏的反馈矩阵,我们表明,神经元只需要一小部分的信息,以前使用的反馈对齐算法。因此,存储器和计算可以被分区和分布,无论哪种方式产生最有效的前向传递,只要单个错误可以被传递到每个神经元。我们的研究结果表明,数量级的改善,数据移动和$2\times$改善乘法和累加操作的反向传播。与以前的工作一样,我们观察到反馈对齐的任何变体在深度卷积神经网络上的分类准确性都会遭受重大损失。通过转移训练的卷积层并使用直接反馈对齐训练全连接层,我们证明了直接反馈对齐可以获得与反向传播竞争的结果。此外,我们观察到,使用一个非常稀疏的反馈矩阵,而不是一个密集的,结果在一个小的精度下降,同时产生硬件优势。所有的代码和结果都可以在https://github.com/bcrafton/ssdfa上找到。
2019-05-09 cs.LG cs.NE stat.ML
A Practical Sparse Approximation for Real Time Recurrent Learning
DeepMind(深度思维);Google(谷歌);University College London(伦敦大学学院)
目前用于训练递归神经网络的方法是基于通过时间的反向传播,这需要存储网络状态的完整历史,并且禁止“在线”更新权重(在每个时间步之后)。实时的递归学习(RTRL)消除了对历史存储的需要,并允许在线权重更新,但这样做的代价是状态大小的四次方的计算成本。这使得RTRL训练对于除了最小的网络之外的所有网络都是棘手的,即使是高度稀疏的网络。我们将稀疏n步近似(SnAp)引入RTRL影响矩阵,该矩阵仅保留递归核心的n步内的非零条目。SnAp(n=1)并不比反向传播更昂贵,我们发现它大大优于其他RTRL近似,成本相当,如无偏在线递归优化。对于高度稀疏的网络,n=2的SnAp仍然是易于处理的,并且在在线更新时,在学习速度方面可以超过反向传播。当n很大时,SnAp变得等同于RTRL。
2020-06-12 cs.LG cs.NE stat.ML
Advancing MRI Reconstruction: A Systematic Review of Deep Learning and Compressed Sensing Integration
Department of Radiation Oncology(放射肿瘤科);Winship Cancer Institute(Winship癌症研究所);Emory University(埃默里大学)
本文系统综述了深度学习与压缩感知融合的MRI重建方法,涵盖端到端、展开优化和联邦学习等技术,总结了关键结果与趋势,并提供了公开资源以推动医学成像发展。
2025-02-01 cs.AI cs.CV physics.med-ph
PropNEAT -- Efficient GPU-Compatible Backpropagation over NeuroEvolutionary Augmenting Topology Networks
School of Computer Science(计算机学院);University of Auckland(奥克兰大学)
PropNEAT通过双向基因组图到层架构映射,实现NEAT的高效GPU反向传播,在58个数据集上性能仅次于随机森林,训练时间随深度线性增长,可扩展至强化学习与卷积网络,并发现更稀疏的小网络。
2024-11-06 cs.AI cs.LG cs.NE
SENNS: Sparse Extraction Neural NetworkS for Feature Extraction
Obafemi Awolowo University(奥巴费米·阿沃洛沃大学)
通过借鉴优化理论,人工神经网络(ANN),图嵌入和稀疏表示的思想,我开发了一种新的技术,称为SENNS(稀疏提取神经网络),旨在解决特征提取问题。所提出的方法使用(优选地深)ANN用于将输入属性向量投影到输出空间,其中对于属于不同类的向量,成对距离被最大化,但是对于属于同一类的向量,成对距离被最小化,同时对ANN输出执行稀疏性。从投影产生的向量然后可以用作任何选择的分类器中的特征。在数学上,我将所提出的方法表述为目标函数的最小化,在ANN输出空间中,该目标函数可以被解释为属于不同类别的输出向量之间成对距离平方和的负因子,加上属于相同类别的输出向量之间成对距离平方和的正因子,加上稀疏性和权重衰减项。为了通过梯度下降推导出最小化目标函数的算法,我使用多变量版本的链式规则来获得函数相对于ANN权重和偏置的偏导数,并发现每个所需的偏导数可以表示为六项之和。事实证明,这六项中的四项可以使用标准反向传播算法计算;第五项可以通过对标准反向传播算法的轻微修改来计算;而第六项可以通过简单的算术计算。最后,我提出了实验的阿拉伯数字和字母的阿拉伯语语料库,CMU PIE数据库的面孔,MNIST数字数据库,和其他标准的机器学习数据库。
2014-12-21 cs.AI cs.CV cs.NE
Variational EP with Probabilistic Backpropagation for Bayesian Neural Networks
University of Milano-Bicocca(米兰比可卡大学)
提出了一种新的非线性逻辑斯谛回归方法,该方法使用两层神经网络(NN)模型结构,网络权重具有分层先验。我提出了一个混合的期望传播称为变分期望传播方法(VEP)的权重,先验和zeta的层次尺度参数的后验分布的近似积分。使用因式分解后验近似,我得出一个计算效率高的算法,其复杂性尺度类似于一个独立的稀疏逻辑模型的合奏。该方法可以扩展到标准激活函数和NN模型结构之外,以从多个稀疏线性模型形成灵活的非线性二元预测器。我考虑了一个分层贝叶斯模型与逻辑斯谛回归似然和高斯先验分布的参数称为权重和超参数。分别从E步和M步的角度计算近似后验和利用计算出的后验更新参数。
2023-03-02 cs.LG stat.ML
Can a Hebbian-like learning rule be avoiding the curse of dimensionality in sparse distributed data?
INESC-ID(INESC-ID(葡萄牙系统与计算机工程研究所));Instituto Superior Técnico(里斯本高等理工学院);University of Lisbon(里斯本大学)
一般认为,大脑使用类似于稀疏分布表示的东西。然而,这些表示是高维的,因此它们由于"维数灾难"而影响传统机器学习模型的分类性能。在有大量标记数据的任务中,深度网络似乎通过许多层和非Hebbian反向传播算法解决了这个问题。然而,大脑似乎能够用很少的层次来解决问题。在这项工作中,我们假设这是通过使用Hebbian学习来实现的。实际上,受限玻尔兹曼机的类赫布学习规则是不对称地学习输入模式的。它专门学习非零值之间的相关性,并忽略代表绝大多数输入维度的零。通过忽略零,可以避免“维数灾难”问题。为了验证我们的假设,我们生成了几个稀疏数据集,并将受限玻尔兹曼机分类器的性能与一些Backprop训练的网络进行了比较。使用这些代码的实验证实了我们最初的直觉,因为受限玻尔兹曼机显示出良好的泛化性能,而用反向传播算法训练的神经网络过拟合训练数据。
2022-07-20 cs.AI cs.LG cs.NE
Advancing Self-supervised Monocular Depth Learning with Sparse LiDAR
Clemson University(克莱姆森大学);The City University of New York(纽约市立大学);Carnegie Mellon University(卡内基梅隆大学)
自监督单目深度预测提供了一种具有成本效益的解决方案来获得每个像素的3D位置。然而,现有的方法通常会导致不满意的精度,这是至关重要的自主机器人。在本文中,我们提出了FusionDepth,这是一种新型的两阶段网络,通过利用低成本稀疏(例如4束)LiDAR来推进自监督单目密集深度学习。与现有的主要以耗时的迭代后处理方式使用稀疏LiDAR的方法不同,我们的模型融合了单目图像特征和稀疏LiDAR特征来预测初始深度图。然后,进一步设计了一个高效的前馈精化网络,以实时校正伪3D空间中这些初始深度图中的误差。大量的实验表明,我们提出的模型在自监督单目深度预测和完成任务方面明显优于所有最先进的自监督方法以及基于稀疏激光雷达的方法。凭借准确的密集深度预测,我们的模型在KITTI排行榜上的下游任务单目3D目标检测中比最先进的基于稀疏LiDAR的方法(伪LiDAR ++)的性能高出68%以上。代码可在https://github.com/AutoAILab/FusionDepth上获得
2021-11-29 cs.CV cs.LG
ZO-SAM: Zero-Order Sharpness-Aware Minimization for Efficient Sparse Training
Clemson University(克莱姆森大学);University of Arizona(亚利桑那大学)
本文提出ZO-SAM,通过整合零阶优化提升稀疏训练效率,降低计算成本并提高鲁棒性。
2026-03-13 cs.LG
Rethinking Deep Learning: Propagating Information in Neural Networks without Backpropagation and Statistical Optimization
Ehime University(爱媛大学)
本文提出不依赖反向传播或权重更新的阶跃激活全连接网络,通过训练类别平均输出向量与测试输出的相似度完成MNIST识别,最高约80%准确率,证明神经网络可仅凭前馈传播信息。
2024-08-18 cs.LG
Exploring the Design Space of Reward Backpropagation for Flow Matching
Westlake University(西湖大学);Tencent Hunyuan(腾讯混元);University of Sydney(悉尼大学);The Hong Kong University of Science and Technology(香港科技大学)
针对文本到图像流匹配模型,提出统一代理轨迹框架FlowBP,通过设计反向轨迹(稀疏重建、桥耦合、拉格朗日积分)解决直接奖励反向传播中的内存和梯度爆炸问题,在多个模型和指标上优于基线。
2026-06-09 cs.LG
Explicitly Trained Spiking Sparsity in Spiking Neural Networks with Backpropagation
Purdue University(普渡大学);Nanoelectronics Research Laboratory(纳米电子学研究实验室)
脉冲神经网络(SNN)正在探索其潜在的能源效率,从稀疏,事件驱动的计算。许多最近的工作已经证明了有效的反向传播的深度脉冲神经网络(SNN)的梯度近似不连续的神经元尖峰或发射事件。这些替代梯度尖峰反向传播算法的有益副作用是,触发附加计算的尖峰现在可以在梯度计算中直接考虑。我们提出了一个明确的包括尖峰计数的损失函数,以及传统的错误损失,导致反向传播学习算法,以优化权重参数的准确性和尖峰稀疏。现有的过参数神经网络理论支持,存在许多具有有效等效精度的解状态。因此,在该多目标优化过程中,在训练期间对两个损失目标进行适当加权可以在不显著损失准确性的情况下提高尖峰稀疏性。此外,我们还探索了一种模拟退火启发的损失加权技术,随着训练时间的增加,增加稀疏性的权重。我们对Cifar-10数据集的初步结果显示,与仅针对准确性训练的等效SNN相比,具有等准确性的尖峰活动减少了70.1%,并且如果允许分类准确性降低1%的权衡,尖峰活动减少了73.3%。
2020-03-02 cs.LG cs.NE
High-Order Tensor Regression in Sparse Convolutional Neural Networks
本文提出一种面向卷积的通用高阶张量方法,构建稀疏卷积神经网络的理性回归理论框架,并据此重新定义以最简单通用形式呈现的反向传播算法。
2025-08-28 cs.LG
Efficient Exact Gradient Update for training Deep Networks with Very Large Sparse Targets
Université de Montréal(蒙特利尔大学);CIFAR(加拿大高等研究院)
一类重要的问题涉及训练具有非常高维D的稀疏预测目标的深度神经网络。这些自然发生在例如神经语言模型或词嵌入的学习中,通常被设定为预测大小为D(例如200 000)的词汇表中的下一个词的概率。从合理维度d(例如,500)的最后隐藏层计算同样大但通常非稀疏的D维输出向量对于每个示例都导致令人望而却步的O(Dd)计算成本,更新D × d输出权重矩阵并计算反向传播到先前层所需的梯度也是如此。虽然有效处理大型稀疏网络输入是微不足道的,但大型稀疏目标的情况并非如此,因此迄今为止,在训练期间,诸如分层softmax或基于采样的近似之类的近似替代方案一直被回避。在这项工作中,我们开发了一个原始的算法方法,对于一个包括平方误差和球形softmax的损失函数族,可以计算精确的损失,输出权重的梯度更新,以及反向传播的梯度,每个示例的时间复杂度都是O(d^2)而不是O(Dd),而无需计算D维输出。所提出的算法产生D/4d的加速比,即对于典型大小的两个数量级,对于在这种网络架构中通常支配训练时间的计算的关键部分。
2015-07-14 cs.CL cs.LG cs.NE
Embodied Neuromorphic Vision with Event-Driven Random Backpropagation
FZI Research Center For Information Technology(FZI信息技术研究中心);University of California Irvine(加州大学欧文分校)
生物神经元之间基于尖峰的通信是稀疏且不可靠的。这使大脑能够有效地处理来自眼睛的视觉信息。从生物学中获得灵感,人工脉冲神经网络与硅视网膜相结合,试图模拟这些计算。机器学习的最新发现允许推导出一系列强大的突触可塑性规则,这些规则近似于尖峰网络的反向传播。这些规则能够处理真实世界的视觉感官数据吗?在本文中,我们评估了事件驱动的随机反向传播(eRBP)的性能,从动态视觉传感器(DVS)提供的事件流中学习表示。首先,我们证明了eRBP在DvsGesture数据集上具有最先进的性能,并添加了一个简单的隐蔽注意力机制。通过相对于运动中心重新映射视觉感受野,与卷积相比,这种注意力机制以低计算成本提供平移不变性。其次,我们成功地将eRBP集成到一个真正的机器人设置中,其中机器人手臂根据检测到的视觉启示来抓取物体。在这种设置中,视觉信息由安装在机器人头部上的DVS主动感测,执行微扫视眼球运动。我们表明,我们的方法可以在微跳视开始后100 ms内对示能进行分类,这与行为研究中报告的人类表现相当。我们的研究结果表明,神经形态技术和可塑性规则的进步,使自主机器人的发展,在高速和低能耗的操作。
2019-05-06 cs.AI cs.LG cs.NE
The State of Sparse Training in Deep Reinforcement Learning
Google Research(谷歌研究院);Adept AI(Adept人工智能公司)
近年来,稀疏神经网络的使用得到了快速增长,特别是在计算机视觉中。它们的吸引力很大程度上源于训练和存储所需的参数数量的减少,以及学习效率的提高。有些令人惊讶的是,很少有人在深度强化学习(DRL)中探索它们的用途。在这项工作中,我们进行了系统的调查,将一些现有的稀疏训练技术应用于各种DRL代理和环境。我们的研究结果证实了在计算机视觉领域进行稀疏训练的结果-在DRL领域,对于相同的参数计数,稀疏网络的性能优于密集网络。我们提供了详细的分析如何在DRL的各种组件的影响,使用稀疏网络,并得出结论,建议有前途的途径,以提高稀疏训练方法的有效性,以及推进其在DRL的使用。
2022-06-17 cs.AI cs.LG
From Softmax to Sparsemax: A Sparse Model of Attention and Multi-Label Classification
Unbabel Lda(Unbabel有限公司);Instituto de Telecomunicações (IT)(电信研究所(IT));Instituto Superior Técnico(高等技术学院);Instituto de Engenharia de Sistemas e Computadores (INESC-ID)(系统与计算机工程研究所(INESC-ID))
我们提出了sparsemax,一个新的激活函数类似于传统的softmax,但能够输出稀疏的概率。在推导出它的属性之后,我们展示了如何有效地计算它的雅可比矩阵,使其能够在用反向传播训练的网络中使用。然后,我们提出了一个新的光滑和凸的损失函数,这是稀疏的模拟逻辑损失。我们揭示了一个意想不到的这种新的损失和Huber分类损失之间的联系。我们在多标签分类问题和基于注意力的神经网络自然语言推理中获得了有希望的实证结果。对于后者,我们实现了与传统softmax类似的性能,但具有选择性,更紧凑,注意力集中。
2016-02-08 cs.CL cs.LG stat.ML
Emergent representations in networks trained with the Forward-Forward algorithm
University of Trieste(的里雅斯特大学);AREA Science Park(AREA科学园);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
本研究发现,使用 Forward-Forward 算法训练的网络能自发形成类似大脑皮层的高稀疏性类别特定表征,且该现象也可在采用相同目标的 Backpropagation 训练中出现。
2025-03-31 cs.LG cs.NE
SpikeGrad: An ANN-equivalent Computation Model for Implementing Backpropagation with Spikes
CEA, LIST(法国原子能与替代能源委员会 信息技术与系统实验室)
基于事件的神经形态系统通过对尖峰事件的低功耗稀疏和异步操作来取代密集矩阵上昂贵的浮点操作,从而有望降低深度学习任务的能耗。虽然这些系统可以使用反向传播算法的近似来训练得越来越好,但这些实现通常需要高精度的训练误差,因此与神经形态电路的典型通信基础设施不兼容。在这项工作中,我们分析了如何梯度可以离散成尖峰事件时,训练脉冲神经网络。为了加速我们的模拟,我们表明,使用一个特殊的实现的集成和消防神经元允许我们描述的累积激活和错误的脉冲神经网络在一个等效的人工神经网络,使我们能够大大加快训练相比,一个明确的模拟所有尖峰事件。通过这种方式,我们能够证明,即使对于深度网络,如果梯度被适当地重新缩放,梯度也可以被足够好地离散化。这种形式的基于尖峰的反向传播使我们能够在MNIST和CIFAR10数据集上实现与使用全精度梯度训练的最先进的脉冲神经网络相当或更好的精度。该算法,我们称之为SpikeGrad,是基于积累和比较操作,可以自然地利用稀疏性的梯度计算,这使得它成为一个有趣的选择尖峰神经形态系统与片上学习能力。
2019-06-03 cs.LG cs.NE
Contribute to balance, wire in accordance: Emergence of backpropagation from a simple, bio-plausible neuroplasticity rule
Johns Hopkins University(约翰斯·霍普金斯大学)
针对反向传播(BP)的生物合理性争议,提出一种基于E-I平衡和逆行信号、在三个时间尺度运行的神经可塑性规则,数学证明其可精确复制分层网络BP,模拟显示能诱导不同群落结构,为BP的生物实现提供框架。
2025-04-14 cs.LG cs.NE q-bio.NC
RoSA: Rotational Sparse Adaptation for Memory-Efficient Fine-Tuning
Saarland University(萨尔兰大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
RoSA通过旋转稀疏适配层子集,减少内存占用,同时保持微调性能,可与PEFT结合。
2026-10-06 cs.LG
Deep inference of latent dynamics with spatio-temporal super-resolution using selective backpropagation through time
Emory University(埃默里大学);Georgia Tech(佐治亚理工学院);The University of Chicago(芝加哥大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);NC State University(北卡罗来纳州立大学)
现代神经接口允许访问大脑回路中多达100万个神经元的活动。然而,带宽限制通常会在更大的空间采样(更多通道或像素)和采样的时间频率之间进行权衡。在这里,我们表明,它是可能的,以获得时空超分辨率神经元的时间序列,利用神经元之间的关系,嵌入在潜在的低维种群动力学。我们的新型神经网络训练策略,通过时间选择性反向传播(SBTT),能够从数据中学习潜在动态的深度生成模型,其中观察变量集在每个时间步都发生变化。由此产生的模型能够通过将观察结果与学习到的潜在动态相结合来推断缺失样本的活动。我们测试SBTT应用于顺序自动编码器,并展示了更有效和更高保真的表征神经群体动力学的电生理和钙成像数据。在电生理学中,SBTT能够以较低的接口带宽准确推断神经元群体动态,为植入的神经电子接口提供了显著节能的途径。在双光子钙成像的应用中,SBTT准确地揭示了神经群体活动的高频时间结构,大大优于当前最先进的水平。最后,我们证明了通过使用有限的高带宽采样来预训练动态模型,然后使用SBTT来适应这些模型稀疏采样数据,可以进一步提高性能。
2021-10-29 cs.LG q-bio.NC
Exact gradient updates in time independent of output size for the spherical loss family
Université de Montréal(蒙特利尔大学)
一类重要的问题涉及训练具有非常高维D的稀疏预测目标的深度神经网络。这些自然发生在例如神经语言模型或词嵌入的学习中,通常被设定为预测大小为D(例如200,000)的词汇表中的下一个词的概率。从合理维度d(例如,500)的最后隐藏层计算同样大但通常非稀疏的D维输出向量对于每个示例导致令人望而却步的O(Dd)计算成本,更新$D \times d$输出权重矩阵和计算反向传播到先前层所需的梯度也是如此。虽然有效处理大型稀疏网络输入是微不足道的,但大型稀疏目标的情况并非如此,因此迄今为止,在训练期间,诸如分层softmax或基于采样的近似之类的近似替代方案一直被回避。在这项工作中,我们开发了一个原始的算法方法,对于一个家庭的损失函数,包括平方误差和球形softmax,可以计算精确的损失,梯度更新的输出权重,和梯度的反向传播,所有在$O(d^{2})$每个例子,而不是$O(Dd)$,显着没有计算的D维输出。所提出的算法产生高达$D/4d$的加速比,即对于典型大小的两个数量级,对于在这种网络架构中通常支配训练时间的计算的关键部分。
2016-06-26 cs.LG cs.NE
Exploiting Activation based Gradient Output Sparsity to Accelerate Backpropagation in CNNs
The Pennsylvania State University(宾夕法尼亚州立大学)
基于机器/深度学习(ML/DL)的技术正在成为许多尖端技术背后的驱动力,实现了计算机视觉工作负载的高精度,如图像分类和目标检测。然而,训练这些涉及大参数的模型既耗时又耗能。在这方面,一些先前的工作已经提倡稀疏性来加速DL训练,更重要的是,推理阶段。这项工作开始于观察,在训练过程中,稀疏的向前和向后传递是相关的。在这种情况下,我们调查两种类型的稀疏性(输入和输出类型)固有的梯度下降为基础的优化算法,并提出了一个硬件微架构,以利用相同的。我们的实验结果在Imagenet数据集上使用了五个最先进的CNN模型,与密集基线执行相比,反向传播加速范围为1.69 $\times$至5.43 $\times$。通过在向前和向后传递中利用稀疏性,与稀疏性无关的基线执行相比,加速改进的范围从1.68 $\times$到3.30 $\times$。我们的工作还实现了训练迭代时间的显着减少,在几个以前提出的密集以及稀疏加速器为基础的平台,除了实现数量级的能源效率提高基于GPU的执行。
2021-09-16 cs.CV cs.LG
Stable and Interpretable Unrolled Dictionary Learning
Harvard University(哈佛大学);School of Engineering and Applied Sciences(工程与应用科学学院)
字典学习问题将数据表示为几个原子的组合,长期以来一直是统计和信号处理中学习表示的流行方法。最流行的字典学习算法交替稀疏编码和字典更新的步骤,和丰富的文献已经研究了其理论收敛性。字典学习的成功依赖于对字典的“良好”初始估计的访问以及稀疏编码步骤提供代码的无偏估计的能力。展开稀疏编码网络的日益普及导致了经验发现,通过这种网络进行字典学习的反向传播。我们通过PUDLE(一种可证明的展开式词典学习方法)对这些实证结果进行了理论分析。我们提供的网络初始化和数据分布足以恢复和保存的支持的潜在代码的条件。此外,我们还解决了两个挑战:第一,香草展开稀疏编码计算有偏的代码估计,第二,反向传播学习过程中的梯度可能变得不稳定。我们展示了减少前向传递中代码估计偏差和后向传递中字典估计偏差的方法。我们提出的策略,以解决学习不稳定的调整网络参数和修改的损失函数。总的来说,我们强调了损失,展开和反向传播对收敛的影响。我们通过合成和图像去噪实验来补充我们的发现。最后,我们通过建立网络权重、输出和训练集之间的数学关系,展示了PUDLE的可解释性,这是基于迭代优化设计深度网络的驱动因素。
2022-08-02 cs.LG eess.SP stat.ML
Sparse Spiking Gradient Descent
Imperial College London(帝国理工学院)
在类脑计算设备上仿真脉冲神经网络(SNN)由于其低能耗而受到越来越多的关注。最近的进展已经允许训练SNN到一个点,在准确性方面,它们开始与传统的人工神经网络(ANN)竞争,同时在神经形态硬件上运行时是节能的。然而,训练SNN的过程仍然基于最初为ANN开发的密集张量运算,其不利用SNN的时空稀疏性质。我们在这里提出了第一个稀疏SNN反向传播算法,它实现了与当前最先进的方法相同或更好的精度,同时速度更快,内存效率更高。我们展示了我们的方法在不同复杂度的真实数据集(Fashion-MNIST,Neuromophic-MNIST和Spiking Heidelberg Digits)上的有效性,在向后传递中实现了高达150倍的加速,并且内存效率提高了85%,而不会失去准确性。
2022-01-13 cs.ET cs.LG cs.NE
Sparse-firing regularization methods for spiking neural networks with time-to-first spike coding
Chiba Institute of Technology(千叶工业大学);The University of Tokyo(东京大学);RIKEN(理化学研究所);NEC Corporation(日本电气股份有限公司)
针对TTFS编码的脉冲神经网络低发放频率下信息处理能力研究不足的问题,提出M-SSR和F-SSR两种稀疏发放正则化方法,在多个数据集和网络结构上验证了降低发放频率的效果。
2023-07-24 cs.LG cs.NE
A Regularized Framework for Sparse and Structured Neural Attention
Cornell University(康奈尔大学);NTT Communication Science Laboratories(NTT通信科学实验室)
现代神经网络通常增加了注意力机制,它告诉网络在输入中关注哪里。在本文中,我们提出了一个新的框架,稀疏和结构化的注意,建立在一个平滑的最大算子。我们表明,该算子的梯度定义了一个映射,从实际值的概率,适合作为一个注意力机制。我们的框架包括softmax和最近提出的sparsemax作为特例的轻微推广。然而,我们还展示了我们的框架如何结合现代结构化的惩罚,从而产生更可解释的注意力机制,专注于输入的整个部分或组。我们推导出有效的算法来计算我们的注意力机制的向前和向后传递,使其能够在用反向传播训练的神经网络中使用。为了展示它们作为现有替代品的潜力,我们在三个大规模任务上评估了我们的注意力机制:文本蕴涵,机器翻译和句子摘要。我们的注意力机制在不牺牲性能的情况下提高了可解释性;值得注意的是,在文本蕴涵和摘要方面,我们优于基于softmax和sparsemax的标准注意力机制。
2019-02-23 cs.CL cs.LG stat.ML
Gradients of unitary optical neural networks using parameter-shift rule
IEIT SYSTEMS Co., Ltd(IEIT SYSTEMS有限公司);IEIT SYSTEMS (Beijing) Co., Ltd(IEIT SYSTEMS(北京)有限公司)
针对反向传播在光神经网络中受物理约束难以实现的问题,本文提出将参数平移规则适配于马赫-曾德尔干涉仪网格构建的酉光神经网络,利用光学干涉的傅里叶特性从硬件测量得到精确解析梯度,为光计算系统的硬件化训练提供新方案。
2025-06-13 cs.ET cs.LG physics.optics
DNS: Determinantal Point Process Based Neural Network Sampler for Ensemble Reinforcement Learning
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
集成神经网络的应用正在成为推进深度强化学习算法的最新技术的一个迫在眉睫的工具。然而,在集成中训练这些大量的神经网络具有极高的计算成本,这可能成为训练大规模系统的障碍。在本文中,我们提出了DNS:一个基于确定性点过程的神经网络采样器,专门使用k-dpp在每个训练步骤中对神经网络的子集进行采样,从而显着减少了训练时间和计算成本。我们在REDQ中集成了DNS,用于连续控制任务,并在MuJoCo环境中进行了评估。我们的实验表明,DNS增强的REDQ优于基线REDQ的平均累积奖励,并实现这一目标时,使用不到50%的计算测量的FLOPS。
2022-05-17 cs.LG