Sparse Communication for Training Deep Networks
EPFL(洛桑联邦理工学院)
同步随机梯度下降(SGD)是用于深度学习模型的分布式训练的最常见方法。在该算法中,每个工人与其他工人共享其局部梯度,并使用所有工人的平均梯度更新参数。虽然分布式训练减少了计算时间,但与梯度交换相关联的通信开销形成了算法的可扩展性瓶颈。有许多压缩技术被提出来减少需要传送的梯度的数量。然而,压缩梯度又引入了另一个问题的开销。在这项工作中,我们研究了几种压缩方案,并确定三个关键参数如何影响性能。我们还提供了一组关于如何提高性能的见解,并介绍了一种简单的稀疏化方案,即随机块稀疏化,它减少了通信,同时保持性能接近标准SGD。
2020-09-19 cs.DC cs.LG stat.ML
DeepHoyer: Learning Sparser Neural Network with Differentiable Scale-Invariant Sparsity Measures
Duke University(杜克大学)
在寻求稀疏和有效的神经网络模型,许多以前的工作研究强制执行L1或L0正则化,以鼓励在训练过程中的权重稀疏。L0正则化器直接测量参数稀疏性,并且对参数值的缩放是不变的,但它不能提供有用的梯度,因此需要复杂的优化技术。L1正则化子几乎处处可微,并且可以很容易地用梯度下降进行优化。然而,它不是尺度不变的,导致所有参数的收缩率相同,这在增加稀疏性方面是低效的。受传统压缩感知问题中使用的Hoyer测度(L1和L2范数之间的比值)的启发,我们提出了DeepHoyer,这是一组稀疏诱导正则化器,几乎处处可微,并且具有尺度不变性。我们的实验表明,在相同的精度水平下,强制执行DeepHoyer正则化器可以产生比以前的作品更稀疏的神经网络模型。我们还表明,DeepHoyer可以应用于元素和结构修剪。
2020-01-19 cs.LG stat.ML
SAL: Selective Adaptive Learning for Backpropagation-Free Training with Sparsification
ROCK AI(ROCK人工智能)
SAL通过选择性参数激活与自适应区域划分,实现无反向传播的高效训练,提升分类性能并适用于大规模深度模型。
2026-01-29 cs.AI cs.LG
Differentiable Deep Clustering with Cluster Size Constraints
CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室);Google Brain(谷歌大脑)
聚类是一种基本的无监督学习方法。许多聚类算法(如$k$ -means)依赖于欧氏距离作为相似性度量,而欧氏距离通常不是图像等高维数据的最相关度量。因此,学习可以更好地反映数据集几何形状的低维嵌入有助于提高性能。我们提出了一种新的方法来完成这项任务,其中嵌入是由一个可微的模型,如深神经网络。通过重写的$k$ -均值聚类算法作为一个最佳的运输任务,并添加一个熵正则化,我们得到一个完全可微的损失函数,可以最小化的嵌入参数和集群参数通过随机梯度下降。我们表明,这种新的配方概括了最近提出的国家的最先进的方法的基础上软- $k$ -意味着通过增加集群大小的限制。对图像分类基准的经验评估表明,与最先进的方法相比,我们的最佳基于运输的方法提供了更好的无监督准确性,并且不需要预训练阶段。
2019-10-20 cs.LG stat.ML
MiCRO: Near-Zero Cost Gradient Sparsification for Scaling and Accelerating Distributed DNN Training
Ajou University(明知大学)
MiCRO通过梯度分区分配和基于压缩比误差最小化的阈值估计,实现近零成本的梯度稀疏化,从而提升分布式DNN训练的可扩展性和加速效果。
2024-02-20 cs.DC cs.LG
Rethinking gradient sparsification as total error minimization
KAUST(阿卜杜拉国王科技大学);University of Kansas(堪萨斯大学)
梯度压缩是解决大型深度神经网络(DNN)分布式训练中的通信瓶颈的广泛建立的补救措施。在错误反馈框架下,Top-$k$稀疏化(有时$k$与梯度大小的$0.1\%$一样小)使得能够针对类似的迭代计数训练到与未压缩情况相同的模型质量。从优化的角度来看,我们发现,顶部$k$是通信最佳稀疏给定的每迭代$k$元素预算。我们认为,为了进一步发挥梯度稀疏化的优势,特别是对于DNN,需要一个不同的视角--从每次迭代的最优性转向考虑整个训练的最优性。我们确定总误差-所有迭代的压缩误差之和-在整个训练过程中封装了稀疏化。然后,我们提出了一个通信复杂性模型,使整个训练的通信预算下的总误差最小化。我们发现,硬阈值稀疏,顶部的$k$稀疏与$k$由一个恒定的硬阈值确定的变体,是该模型的最佳稀疏。出于这一动机,我们提供凸和非凸收敛分析的硬阈值稀疏误差反馈。与$k$稀疏算子不同,我们证明了硬阈值在凸情形下具有与SGD相同的渐近收敛性和线性加速比性质,并且在非凸情形下对数据的异质性没有影响.我们在各种DNN和逻辑回归模型上的各种实验表明,硬阈值稀疏器比Top- $k$更有效。
2021-08-02 cs.DC cs.LG math.OC
A Distributed Synchronous SGD Algorithm with Global Top-$k$ Sparsification for Low Bandwidth Networks
Hong Kong Baptist University(香港浸会大学);Shenzhen District Block Technology Co., Ltd.(深圳区块科技有限公司)
分布式同步随机梯度下降(S-SGD)已被广泛用于训练大规模深度神经网络(DNN),但它通常需要计算工作者之间非常高的通信带宽(例如,GPU)迭代地交换梯度。最近,已经提出了$k$稀疏化技术以减少要在工作者之间交换的数据量。顶部- $k$稀疏化可以在不影响模型收敛的情况下将梯度的重要部分归零。然而,稀疏梯度必须以其不规则的索引进行传输,这使得稀疏梯度聚集困难。使用AllGather来累积稀疏梯度的当前方法具有$O(kP)$的通信复杂性,其中$P$是工作者的数量,这在具有大量工作者的低带宽网络上是低效的。我们观察到,并不是所有的顶部- $k$梯度从$P$工人需要的模型更新,因此,我们提出了一种新的全球顶部- $k$(gTop- $k$)稀疏化机制来解决这个问题。具体来说,我们从$P$工作者中选择全局最大的$k$梯度绝对值,而不是累积所有局部最大的$k$梯度来在每次迭代中更新模型。基于gTop- $k$稀疏化的梯度聚合方法将通信复杂性从$O(kP)$降为$O(k\log P)$。通过在不同DNN上的大量实验,我们验证了gTop- $k$ S-SGD与S-SGD具有几乎一致的收敛性能,并且在泛化性能上只有轻微的下降。在扩展效率方面,我们评估了gTop- $k$的集群与32 GPU机器互连1 Gbps以太网。实验结果表明,该方法实现了$2.7-12\times$比S-SGD更高的缩放效率,而…
2019-04-17 cs.DC cs.LG
Deep Differentiable Logic Gate Networks
Stanford University(斯坦福大学);University of Konstanz(康斯坦茨大学);University of Salzburg(萨尔茨堡大学);University of Frankfurt(法兰克福大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
最近,研究越来越多地集中在开发高效的神经网络架构上。在这项工作中,我们探索逻辑门网络的机器学习任务,通过学习逻辑门的组合。这些网络包括诸如“AND”和“XOR”的逻辑门,其允许非常快速的执行。学习逻辑门网络的困难在于它们通常是不可微的,因此不允许用梯度下降进行训练。因此,为了进行有效的训练,我们提出了可微分逻辑门网络,这是一种结合了实值逻辑和网络的连续参数化松弛的架构。所得离散化逻辑门网络实现快速推理速度,例如,在单个CPU核心上每秒超过一百万个MNIST图像。
2022-10-15 cs.LG
The Convergence of Sparsified Gradient Methods
IST Austria(奥地利科学技术研究所);ETH Zurich(苏黎世联邦理工学院);KTH(瑞典皇家理工学院)
通过随机梯度下降(SGD)对大规模机器学习模型(特别是深度神经网络)进行分布式训练正变得越来越普遍。已经提出了几种减少通信的方法,如量化、大批量方法和梯度稀疏化。到目前为止,梯度稀疏化方法-其中每个节点按大小对梯度进行排序,并且只传递分量的子集,在本地累积其余分量-被称为产生一些最大的实际收益。这种方法可以将每步的通信量减少多达三个数量级,同时保持模型的准确性。然而,这一系列的方法目前还没有理论依据。这就是我们在本文中要解决的问题。我们证明,在分析假设下,稀疏梯度的幅度与局部误差校正提供了收敛保证,凸和非凸光滑的目标,数据并行SGD。主要的见解是,稀疏化方法隐式地保持了陈旧更新的最大影响的界限,这要归功于按大小选择。我们的分析和实证验证也表明,这些方法确实需要分析条件收敛良好,证明现有的算法。
2018-09-27 cs.DC cs.LG stat.ML
Differentiable Projection for Constrained Deep Learning
University of Tokyo(东京大学)
深度神经网络(DNN)在解决各个领域的不同任务方面取得了非凡的性能。然而,传统的DNN模型通过损失反向传播稳定地接近地面实况值。在某些应用中,可以容易地获得一些先验知识,例如地面实况观测所遵循的约束。在这里,我们试图给出一种通用的方法来结合这些约束的信息,以提高DNN的性能。从理论上讲,我们可以将这类问题表示为KKT条件可以解决的约束优化问题。在本文中,我们建议在DNN中使用可微投影层,而不是直接求解耗时的KKT条件。所提出的投影方法是可微的,并且不需要大量的计算。最后,我们还使用随机生成的合成数据集和使用PASCAL VOC数据集的图像分割任务进行了一些实验,以评估所提出的投影方法的性能。实验结果表明,投影方法是充分的,优于基线方法。
2021-11-21 cs.LG
Near-Optimal Sparse Allreduce for Distributed Deep Learning
Department of Computer Science, ETH Zurich(计算机科学系,苏黎世联邦理工学院)
本文提出 O$k$-Top$k$ 方案,通过渐近最优的稀疏 allreduce 算法与去中心化 SGD 结合,并利用阈值估计高效选择 top-$k$ 梯度,在保持模型精度的同时显著提升分布式深度学习训练吞吐量和可扩展性。
2025-08-21 cs.DC cs.LG
Differentiable Turbulence: Closure as a partial differential equation constrained optimization
Carnegie Mellon University(卡内基梅隆大学);Pennsylvania State University(宾夕法尼亚州立大学);University of Michigan(密歇根大学);Argonne National Laboratory(阿贡国家实验室)
本文提出可微湍流框架,利用端到端可微求解器与物理启发的深度学习架构学习二维湍流SGS闭合模型,证明小尺度非局部特征最关键,且该方法在精度、效率和泛化性上优于离线先验学习。
2024-03-27 cs.LG physics.flu-dyn
Bayesian Sparsification Methods for Deep Complex-valued Networks
随着不断的小型化,在嵌入式系统中可以发现越来越多的深度学习应用,其中通常会遇到具有自然复域表示的数据。为此,我们扩展稀疏变分辍学复值神经网络和验证所提出的贝叶斯技术进行了大量的数值研究的性能压缩权衡的C值网络上的两个任务:图像识别MNIST类和CIFAR 10数据集和音乐转录MusicNet。我们在MusicNet上复制了Trabelsi等人[2018]的最新结果,其中复值网络被压缩了50- 100倍,性能损失很小。
2020-06-28 cs.LG stat.ML
Differentiable Learning of Generalized Structured Matrices for Efficient Deep Neural Networks
University of Michigan(密歇根大学)
针对高效DNN权重矩阵结构难确定、现有结构化矩阵多为手工设计的问题,提出通用可微框架,通过近端梯度下降学习广义结构化矩阵参数,在图像和语言任务上实现更优的复杂度与性能平衡。
2024-03-08 cs.AI cs.CV cs.LG
Optimal Auctions through Deep Learning: Advances in Differentiable Economics
DeepMind(深度思维);Shanghai University of Finance and Economics(上海财经大学)
设计一个激励相容的拍卖,最大限度地提高预期收入是一个复杂的任务。1981年,迈尔森在一项开创性的工作中解决了单一项目的情况,但40多年后,对于两个或更多项目的设置,对最佳设计的全面分析理解仍然难以捉摸。在这项工作中,我们开始探索使用深度学习的工具来自动设计最优拍卖。我们将拍卖建模为多层神经网络,将最优拍卖设计框架为约束学习问题,并展示了如何使用标准机器学习管道解决该问题。除了提供推广的界限,我们提出了广泛的实验结果,恢复基本上所有已知的解决方案,来自最优拍卖设计问题的理论分析,并获得新的机制设置中的最优机制是未知的。
2022-10-14 cs.AI cs.GT cs.LG
A Generic Graph Sparsification Framework using Deep Reinforcement Learning
University of Memphis(孟菲斯大学)
现代图的相互联系和相互依赖性变得越来越复杂,导致用于处理,存储,通信和决策这些图的巨大资源。在这项工作中,我们专注于任务图稀疏化:产生一个边缘减少的图的结构类似于原始图,而各种用户定义的图形度量在很大程度上被保留。现有的图稀疏化方法大多是基于采样的,这引入了较高的计算复杂度,一般缺乏灵活性,为不同的约简目标。我们提出了SparRL,这是第一个通过深度强化学习实现的通用且有效的图稀疏化框架。SparRL可以很容易地适应不同的约简目标,并保证图大小无关的复杂性。大量的实验表明,SparRL在产生涉及各种目标的高质量稀疏图方面优于所有流行的稀疏化方法。
2023-01-12 cs.LG
Power Control with QoS Guarantees: A Differentiable Projection-based Unsupervised Learning Framework
York University(约克大学)
针对多用户干扰信道中带QoS与功率约束的功率控制问题,提出基于可微投影的无监督DIPNet和DEPNet框架,并结合FW优化,实现零约束违反、更高速率与更低计算时间。
2023-05-31 cs.AI cs.LG cs.NI
Bayesian sparsification for deep neural networks with Bayesian model reduction
Technische Universität Dresden(德累斯顿工业大学);University College London(伦敦大学学院);Wellcome Centre for Human Neuroimaging(惠康人类神经成像中心);Queen Square Institute of Neurology(皇后广场神经病学研究所);VERSES AI Research Lab(VERSES AI研究实验室);Centre for Tactile Internet with Human-in-the-Loop (CeTI)(以人为中心的触觉互联网中心)
针对深度神经网络贝叶斯稀疏化中模型反演计算量大的问题,提出使用贝叶斯模型归约(BMR)作为更高效的权重修剪替代方案,在多种架构上展现了优于分层马蹄先验等方法的性能。
2023-10-27 cs.CV cs.LG stat.ML
Growing Efficient Deep Networks by Structured Continuous Sparsification
University of Chicago(芝加哥大学);TTI-Chicago(芝加哥丰田技术研究所)
提出一种从种子架构出发、结合连续松弛与稀疏子网络采样的结构化生长与剪枝方法,在多种视觉和语言任务上显著降低训练及推理 FLOPs 并保持精度。
2023-06-06 cs.LG stat.ML
Preserving Near-Optimal Gradient Sparsification Cost for Scalable Distributed Deep Learning
ETRI(韩国电子通信研究院);Ajou University(明知大学)
针对分布式训练中梯度稀疏化可扩展性差、负载不均和稀疏度控制不足的问题,提出ExDyna方案,通过独占分区、动态拓扑调整和在线阈值缩放,在保持高精度的同时实现近最优稀疏化成本并提升训练速度。
2024-02-21 cs.DC cs.LG
Winning the Lottery with Continuous Sparsification
TTI-Chicago(芝加哥丰田技术研究院);University of Alberta(阿尔伯塔大学);University of Chicago(芝加哥大学)
寻找高效、稀疏的深度神经网络模型最主要的方法是修剪:训练一个密集的、过度参数化的网络,然后删除参数,通常是通过手工制作的启发式算法。此外,最近的彩票假说认为,对于一个典型大小的神经网络,有可能找到一个小型的子网络,当在相当的预算下从头开始训练时,它的性能与原始的密集网络相匹配。我们重新审视修剪算法的基本方面,指出以前的方法中缺少的成分,并开发了一种方法,连续稀疏化,搜索稀疏网络的基础上一个新的近似的一个棘手的$\ell_0$正则化。我们比较了主要的基于神经网络的方法,包括修剪和门票搜索-找到可以从早期的训练中成功重新训练的稀疏子网络。实证结果表明,我们在模型和数据集上都超越了这两个目标的最先进水平,包括在CIFAR-10上训练的VGG和在ImageNet上训练的ResNet-50。除了为修剪设定新的标准外,连续稀疏化还提供了快速的并行彩票搜索,为彩票假说的新应用打开了大门。
2021-01-11 cs.LG stat.ML
Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification
Duke University(杜克大学);Tsinghua University(清华大学);University of Nevada, Reno(内华达大学里诺分校);Newport High School(纽波特高中)
现代深度神经网络(DNN)通常需要高内存消耗和大计算负载。为了在边缘或移动设备上有效地部署DNN算法,已经探索了一系列DNN压缩算法,包括因子分解方法。分解方法通过两个或多个低秩矩阵的乘法来近似DNN层的权重矩阵。然而,在训练过程中很难测量DNN层的等级。以往的工作主要是通过隐式近似或通过昂贵的奇异值分解(SVD)过程中的每一个训练步骤诱导低秩。前一种方法通常导致高精度损失,而后者具有低效率。在这项工作中,我们提出了SVD训练,这是第一种在训练过程中显式实现低秩DNN的方法,而无需在每一步都应用SVD。SVD训练首先将每一层分解成其满秩SVD的形式,然后直接对分解后的权重进行训练。在奇异向量上加入正交正则化,保证了奇异值分解的有效形式,避免了梯度消失/爆炸。通过在每层的奇异值上应用稀疏诱导正则化器来鼓励低秩。奇异值修剪应用在最后显式地达到低秩模型。我们的经验表明,SVD训练可以显着降低DNN层的秩,并在相同的精度下实现更高的计算负载减少,不仅与以前的因式分解方法相比,而且与最先进的过滤器修剪方法相比。
2020-04-20 cs.LG stat.ML
Towards Lightweight Graph Neural Network Search with Curriculum Graph Sparsification
Tsinghua University(清华大学);Lanzhou University(兰州大学)
针对现有图神经架构搜索未适配资源受限场景的问题,提出结合图稀疏化与网络剪枝的轻量搜索方法GASSIP,通过双模块迭代优化实现性能相当但参数更少、图更稀疏的轻量GNN搜索。
2024-06-24 cs.AI cs.LG cs.SI
Triple Sparsification of Graph Convolutional Networks without Sacrificing the Accuracy
Indiana University Bloomington(印第安纳大学伯明顿分校)
图神经网络(GNN)被广泛用于在图上执行不同的机器学习任务。随着图的大小增加,GNN变得更深,除了内存需求外,训练和推理时间也变得昂贵。因此,在不牺牲准确性的情况下,图稀疏化或模型压缩成为图学习任务的可行方法。一些现有的技术只研究图和GNN模型的稀疏化。在本文中,我们开发了一个SparseGCN管道来研究GNN中所有可能的稀疏化。我们提供了一个理论分析和经验表明,它可以增加高达11.6%的额外稀疏嵌入矩阵,而不牺牲常用的基准图数据集的准确性。
2022-08-06 cs.LG cs.PF
Optimal Policy Sparsification and Low Rank Decomposition for Deep Reinforcement Learning
Detroit Country Day School(底特律乡村日校)
针对深度强化学习稠密策略算力消耗高、易过拟合、推理受限的问题,提出基于最优稀疏映射的$L_0$范数正则化技术,可在保证奖励不衰减的前提下实现策略稀疏化与低秩压缩,在多环境验证效果优异。
2024-03-10 cs.AI cs.LG
The State of Sparsity in Deep Neural Networks
Google Brain(谷歌大脑);DeepMind(深度思维)
我们严格评估了三种最先进的技术,用于在两个大规模学习任务中诱导深度神经网络的稀疏性:在WMT 2014英语到德语上训练的Transformer和在ImageNet上训练的ResNet-50。通过数千次实验,我们证明了复杂的技术(Molchanov等人,2017; Louizos等人,2017年b)显示,在较小的数据集上产生高压缩率的性能不一致,并且简单的幅度修剪方法可以实现相当或更好的结果。此外,我们重复了(Frankle & Carbin,2018)和(Liu et al.,2018年),并表明通过修剪学习的非结构化稀疏架构不能从头开始训练到与联合稀疏化和优化训练的模型相同的测试集性能。总之,这些结果强调了在模型压缩领域需要大规模基准。我们开源了我们的代码,最高性能的模型检查点,以及所有超参数配置的结果,为未来的压缩和稀疏化工作建立严格的基线。
2019-02-25 cs.LG stat.ML
Theoretical Learning Performance of Graph Neural Networks: The Impact of Jumping Connections and Layer-wise Sparsification
Department of Electrical, Computer, and Systems Engineering(电气、计算机与系统工程系);Rensselaer Polytechnic Institute(伦塞拉尔理工大学);Department of Electrical and Systems Engineering(电气与系统工程系);University of Pennsylvania(宾夕法尼亚大学)
本文首次从理论上分析了带跳跃连接和图稀疏化的GCN的学习动力学与泛化性能,证明稀疏化在保留关键边时不影响泛化,并揭示跳跃连接导致不同层对稀疏化要求不同。
2025-07-07 cs.LG
Deep differentiable forest with sparse attention for the tabular data
Department of Electronic Science, Xiamen University(厦门大学电子科学系)
我们提出了一个一般的深可微森林的结构和它的稀疏注意力机制。可微森林兼有树和神经网络的优点。它的结构是一个简单的二叉树,易于使用和理解。它具有完全可微性,所有变量都是可学习的参数。采用基于梯度的优化方法对其进行训练,在深度CNN的训练中显示出强大的威力。我们发现并分析了可微森林中的注意力机制。也就是说,每个决定只取决于少数几个重要的特征,其他的则无关紧要。注意力总是稀疏的。在此基础上,我们通过数据感知初始化来提高其稀疏性。我们使用属性的重要性来初始化注意力权重。然后学习的权重比随机初始化的权重稀疏得多。通过对大规模表格数据集的实验表明,可微森林算法比GBDT算法具有更高的准确率。源代码可在https://github.com/closest-git/QuantumForest上获得
2020-02-29 cs.LG stat.ML
Structural sparsification for Far-field Speaker Recognition with GNA
Intel(英特尔)
近年来,深度神经网络在说话人识别领域得到了广泛的应用。为了实现快速响应时间和高精度,对硬件资源的要求迅速增加。然而,由于说话人识别应用通常在移动设备上实现,因此有必要在远场条件下保持高精度的同时保持低计算成本。在本文中,我们将结构稀疏化应用于时延神经网络(TDNN),以消除冗余结构并加速执行。在我们的目标硬件上,我们的模型可以删除60%的参数,仅将等错误率(EER)略微提高0.18%,而我们的结构稀疏模型可以实现超过1.5倍的加速比。
2020-02-14 cs.LG eess.AS
The Flip Side of the Reweighted Coin: Duality of Adaptive Dropout and Regularization
Rice University(莱斯大学)
稀疏化深度(神经)网络最成功的方法之一是在整个训练过程中自适应地屏蔽网络权重。通过检查这种掩蔽,或辍学,在线性的情况下,我们发现这种自适应方法和正则化之间的对偶性,通过所谓的“$η$技巧”,铸造作为迭代重新加权优化。我们表明,任何辍学策略,适应的权重在单调的方式对应于一个有效的次二次正则化惩罚,因此导致稀疏的解决方案。我们得到了几个流行的稀疏化策略,这是非常相似的经典的惩罚稀疏优化中常用的有效的处罚。考虑变分dropout作为案例研究,我们在深度网络稀疏化任务上展示了自适应dropout方法和经典方法之间类似的经验行为,验证了我们的理论。
2022-01-03 cs.LG stat.ML
Invariance Learning in Deep Neural Networks with Differentiable Laplace Approximations
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Imperial College London(帝国理工学院);University of Cambridge(剑桥大学)
数据增强通常用于提高深度学习的性能,方法是强制执行对输入的某些转换保留输出的知识。目前,数据增强参数是通过人工努力和昂贵的交叉验证来选择的,这使得应用于新数据集变得很麻烦。我们开发了一种方便的基于梯度的方法,用于在深度神经网络的训练期间选择没有验证数据的数据增强。我们的方法依赖于措辞数据增强作为神经网络函数的先验分布的不变性,这允许我们使用贝叶斯模型选择来学习它。这已被证明在高斯过程中有效,但尚未用于深度神经网络。我们提出了一个可微的克罗内克因子的拉普拉斯近似的边际似然作为我们的目标,它可以优化没有人的监督或验证数据。我们表明,我们的方法可以成功地恢复数据中存在的不变性,这提高了图像数据集的泛化和数据效率。
2022-10-13 cs.LG stat.ML
Towards Sparsification of Graph Neural Networks
University of Connecticut(康涅狄格大学);University of Rochester(罗切斯特大学);George Mason University(乔治梅森大学)
随着现实世界的图规模扩大,部署了具有数十亿参数的更大的GNN模型。这种模型中的高参数计数使得图上的训练和推理昂贵且具有挑战性。为了减少GNN的计算和存储成本,通常采用诸如修剪输入图中的冗余节点和边的优化方法。然而,直接以模型层的稀疏化为目标的模型压缩主要限于用于诸如图像分类和目标检测之类的任务的传统深度神经网络(DNN)。在本文中,我们利用两种最先进的模型压缩方法(1)训练和修剪(2)稀疏训练用于GNN中权重层的稀疏化。我们评估和比较这两种方法的准确性,训练稀疏性和训练FLOPs在现实世界中的图形的效率。我们的实验结果表明,在ia-email,wiki-talk和stackoverflow数据集上进行链接预测,具有低得多的训练FLOP的稀疏训练与训练和修剪方法实现了相当的准确性。在用于节点分类的大脑数据集上,稀疏训练使用较低数量的FLOP(小于训练和修剪方法的1/7 FLOP),并且在极端模型稀疏度下保持更好的准确性性能。
2023-02-24 cs.LG
Differentiable programming: Generalization, characterization and limitations of deep learning
CNRS(法国国家科学研究中心)
在过去的几年里,深度学习模型已经成功地应用于几个认知任务。这些模型最初受到神经科学的启发,是可微程序的具体例子。在本文中,我们定义和激励微分规划,以及指定一些程序的特点,使我们能够将结构的问题在一个微分程序。我们分析了不同类型的可微程序,从更一般到更具体,并针对具有图数据集的特定问题,使用这些特征的多个可微程序来评估其结构和知识。最后,我们讨论了深度学习和可微分程序的一些固有局限性,这些局限性是推进人工智能的关键挑战,然后分析了可能的解决方案
2022-05-13 cs.LG
Optimized Architectures for Kolmogorov-Arnold Networks
Mathematics & Statistics, University of Vermont(佛蒙特大学数学与统计学系);Vermont Complex Systems Center, University of Vermont(佛蒙特复杂系统中心);Computer Science, University of Vermont(佛蒙特大学计算机科学系)
本文提出通过过度配置架构结合稀疏化、深度监督和深度选择,学习紧凑且可解释的KANs,同时保持准确性。
2026-04-20 cs.LG cs.NE physics.data-an
Effective Sparsification of Neural Networks with Global Sparsity Constraint
The Hong Kong University of Science and Technology(香港科技大学)
权重修剪是一种有效的技术,可以减少现实世界部署中深度神经网络的模型大小和推理时间。然而,由于权重的大小和相对重要性对于神经网络的不同层是非常不同的,现有的方法依赖于手动调整或手工制作的启发式规则来单独地为每一层找到适当的修剪率。这种方法通常导致次优性能。在本文中,通过直接工作的概率空间,我们提出了一个有效的网络稀疏化方法称为{ \it概率掩蔽}(ProbMask),它解决了一个自然的稀疏化公式下的全局稀疏性约束。关键思想是使用概率作为所有层的全局标准来衡量权重重要性。ProbMask的一个吸引人的特点是,权重冗余的数量可以通过我们的约束自动学习,从而避免了为网络中的不同层单独调整修剪率的问题。在CIFAR-10/100和ImageNet上的大量实验结果表明,我们的方法是非常有效的,并且可以明显优于以前的最先进的方法,特别是在高剪枝率的情况下。值得注意的是,我们的ProbMask和现有方法之间的Top-1准确度的差距可以高达10%。作为副产品,我们表明ProbMask在识别超级掩码方面也非常有效,超级掩码是随机加权密集神经网络中具有高性能的子网络。
2021-05-03 cs.LG
Dep-$L_0$: Improving $L_0$-based Network Sparsification via Dependency Modeling
Georgia State University(佐治亚州立大学)
使用$L_0$正则化训练深度神经网络是网络修剪或稀疏化的主要方法之一。该方法通过鼓励权重精确地变为零来在训练期间修剪网络。然而,Gale等人最近的工作表明,尽管这种方法在较小的数据集上产生了很高的压缩率,但它在大规模学习任务上的表现并不一致,例如ImageNet上的ResNet 50。我们通过变分推理的镜头来分析这种现象,发现这可能是由于二进制门的独立建模,即平均场近似,这在贝叶斯统计中因其粗糙近似而表现不佳而闻名。为了缓解这一不足,我们提出了一个依赖建模的二进制门,它可以有效地建模为一个多层感知器(MLP)。我们称我们的算法Dep- $L_0$,因为它通过依赖性使能的$L_0$正则化来修剪网络。在CIFAR 10,CIFAR 100和ImageNet上使用VGG 16,ResNet 50,ResNet 56进行的大量实验表明,我们的Dep- $L_0$明显优于Louizos等人的原始$L_0$ -HC算法,特别是在ImageNet上。与最先进的网络稀疏化算法相比,我们的依赖建模使得基于$L_0$的稀疏化在大规模学习任务上再次非常有竞争力。我们的源代码可以在https://github.com/leo-yangli/dep-l0上找到。
2021-06-30 cs.CV cs.LG
Towards Deeper Graph Neural Networks with Differentiable Group Normalization
Texas A&M University(德克萨斯农工大学);The Hong Kong Polytechnic University(香港理工大学);Samsung Research America(三星美国研究院)
图神经网络(GNNs)通过聚合其邻居来学习节点的表示,已成为下游应用中的有效计算工具。随着层数的增加,过度平滑是限制GNN性能的关键问题之一。这是因为堆叠的聚合器会使节点表示收敛到不可区分的向量。已经进行了几次尝试,通过使链接的节点对接近和未链接的对不同来解决这个问题。然而,他们往往忽视了内在的社区结构,并会导致次优性能。同一社区/类内的节点的表示需要相似以便于分类,而不同的类期望在嵌入空间中分离。为了弥补这一差距,我们引入了两个过平滑度量和一种新的技术,即,可微群归一化(DGN)。它独立地规范化同一组内的节点以增加其平滑度,并分离不同组之间的节点分布以显著减轻过度平滑问题。在真实世界数据集上的实验表明,DGN使GNN模型对过度平滑更具鲁棒性,并在更深的GNN上实现更好的性能。
2020-06-12 cs.LG stat.ML
Learnt Sparsification for Interpretable Graph Neural Networks
L3S Research Center(L3S研究中心)
图神经网络(GNN)在需要关系建模的各种任务和领域取得了巨大成功。GNN使用图结构聚合节点特征作为归纳偏差,从而产生灵活而强大的模型。然而,GNN仍然很难解释,因为节点特征和图结构之间的相互作用只是隐式学习的。在本文中,我们提出了一种新的方法,称为Kedge显式稀疏的基础图,通过删除不必要的邻居。我们的主要思想是基于一种易于处理的稀疏化方法,使用Hard Kumaraswamy分布,可以与任何GNN模型结合使用。Kedge以模块化的方式学习边缘掩码,使用任何GNN进行训练,允许以端到端的方式进行基于梯度的优化。我们通过大量的实验证明,我们的模型Kedge可以修剪很大比例的边缘,只有一个很小的影响测试精度。具体来说,在PubMed数据集中,Kedge学习丢弃超过80%的边,准确率仅下降2%,这表明与节点特征相比,图结构的贡献很小。最后,我们还表明,Kedge通过随着GNN层的增加而保持良好的任务性能,有效地对抗了深度GNN中的过度平滑现象。
2021-06-23 cs.LG
Uncovering a Winning Lottery Ticket with Continuously Relaxed Bernoulli Gates
本文提出了一种完全可微的SLT发现方法,通过连续放松伯努利门实现端到端优化,实现更高的稀疏性与更小的准确率损失。
2026-03-09 cs.AI cs.LG
Deep Forest
Nanjing University(南京大学)
当前的深度学习模型大多建立在神经网络上,即,多层参数化可微非线性模块,可以通过反向传播进行训练。在本文中,我们探索了基于不可微模块构建深度模型的可能性。我们推测,深层神经网络成功背后的奥秘在很大程度上归功于三个特征,即,逐层处理、模型内特征转换和足够的模型复杂度。我们提出了gcForest方法,它生成持有这些特征的\textit{deep forest}。这是一种决策树集成方法,比深度神经网络具有更少的超参数,并且其模型复杂度可以以数据依赖的方式自动确定。实验表明,它的性能对超参数设置具有相当强的鲁棒性,因此在大多数情况下,即使跨来自不同域的不同数据,使用相同的默认设置也能够获得出色的性能。该研究打开了基于不可微模块的深度学习的大门,展示了在不使用反向传播的情况下构建深度模型的可能性。
2020-07-06 cs.LG stat.ML
Deep linear neural networks with arbitrary loss: All local minima are global
Loyola Marymount University(洛约拉马利蒙特大学);California State University, Long Beach(加州州立大学长滩分校)
我们考虑具有任意凸可微损失的深度线性网络。我们提供了一个简短而基本的证明,证明了如果隐藏层1)至少与输入层一样宽,或者2)至少与输出层一样宽,则所有局部极小值都是全局极小值。这个结果在以下意义上是最强的:如果损失是凸的和Lipschitz但不可微的,那么深度线性网络可以有次优的局部极小值。
2018-07-24 cs.LG stat.ML
Recurrent Deep Differentiable Logic Gate Networks
本文首次提出递归深度可微分逻辑门网络(RDDLGN),将布尔运算与递归架构结合用于序列到序列学习,在WMT'14英德翻译上接近GRU性能,证明逻辑递归计算的可行性。
2025-08-08 cs.LG
Spatio-Temporal Sparsification for General Robust Graph Convolution Networks
Central South University(中南大学)
图神经网络(GNN)因其在各种图结构数据上的成功应用而引起越来越多的关注。然而,最近的研究表明,对抗攻击正在威胁GNN的功能。虽然已经提出了许多工作,以防止对抗攻击从不同的角度来看,他们中的大多数可以是强大的攻击,只有在特定的情况下。为了解决这种鲁棒泛化的不足,我们提出通过在GNN隐藏节点表示上应用时空稀疏化(称为ST稀疏)来防御对GNN的对抗攻击。ST-Sparse在精神上类似于Dropout正则化。通过对GCN作为目标GNN模型的深入实验评估,我们发现ST-Sparse的优点如下:(1)ST-Sparse在大多数情况下表现出防御性能的改善,因为它可以有效地提高鲁棒精度,最高可提高6%;(2)ST-Sparse通过与现有的防御方法相结合,展示了其强大的泛化能力,类似于将Dropout集成到各种深度学习模型中作为标准正则化技术;(3)ST-Sparse在干净数据集上也表现出普通的泛化能力,(ST-Sparse与原GCN的融合)的性能甚至优于原GCN,而其他三种代表性的防御方法都不如原GCN。
2021-03-23 cs.AI cs.LG
Fantastic Four: Differentiable Bounds on Singular Values of Convolution Layers
University of Maryland(马里兰大学)
在深度神经网络中,层的雅可比矩阵的谱范数限制了信号的范数在前向/后向传播期间改变的因子。谱范数正则化已被证明可以提高深度学习方法的泛化、鲁棒性和优化。计算卷积层的谱范数的现有方法要么依赖于计算效率高但缺乏保证的算法,要么理论上合理但计算昂贵。在这项工作中,我们获得了最好的两个世界推导{ \it four}可证明的上界的频谱范数的标准2D多通道卷积层。这些边界是可微的,并且可以在训练期间以可忽略的开销有效地计算。这些界限之一实际上是Miyato等人的流行的探试法(乘以取决于过滤器大小的常数因子)。这四个边界中的每一个都可以根据卷积滤波器实现最紧的间隙。因此,我们建议使用这四个边界的最小值作为卷积层的谱范数的紧的、可微的和有效的上界。我们表明,我们的谱界是一个有效的正则化,可以用来绑定的Lipschitz常数或曲率值(Hessian的特征值)的神经网络。通过在MNIST和CIFAR-10上的实验,我们证明了我们的谱界在提高深度网络的泛化能力和可证明的鲁棒性方面的有效性。
2021-06-12 cs.LG stat.ML
Learning Deep Nearest Neighbor Representations Using Differentiable Boundary Trees
DeepMind
最近邻(kNN)方法已经获得普及,近年来在硬件和算法的效率的进步。今天有太多的方法可供选择,每种方法都有自己的优点和缺点。所有基于kNN的方法之间共享的一个要求是需要良好的表示和样本之间的距离度量。我们引入了一种称为可微边界树的新方法,它允许学习深度kNN表示。我们建立在最近提出的边界树算法,允许有效的最近邻分类,回归和检索。通过将树中的遍历建模为随机事件,我们能够形成与树的预测相关联的可微成本函数。使用深度神经网络来转换数据并通过树进行反向传播,使我们能够学习kNN方法的良好表示。我们证明了我们的方法能够学习合适的表示,允许非常有效的树具有清晰的可解释的结构。
2017-02-28 cs.LG
DBQ: A Differentiable Branch Quantizer for Lightweight Deep Neural Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Texas Instruments Inc(德州仪器公司)
深度神经网络已经在各种计算机视觉任务上实现了最先进的性能。然而,它们在资源受限设备上的部署由于其高计算和存储复杂性而受到阻碍。虽然各种复杂性降低技术,如轻量级网络架构设计和参数量化,已经成功地降低了实现这些网络的成本,但这些方法通常被认为是正交的。实际上,现有的量化技术无法在轻量级架构(如MobileNet)上复制其成功。为此,我们提出了一种新的完全可微的非均匀量化器,可以无缝地映射到有效的基于三进制的点积引擎。我们在CIFAR-10,ImageNet和Visual Wake Words数据集上进行了全面的实验。建议的量化器(DBQ)成功地解决了艰巨的任务,积极量化轻量级网络,如MobileNetV 1,MobileNetV 2和ShuffleNetV 2。DBQ以最小的训练开销实现了最先进的结果,并提供了最佳(帕累托最优)的准确性-复杂性权衡。
2020-07-19 cs.CV cs.LG stat.ML
SATNet: Bridging deep learning and logical reasoning using a differentiable satisfiability solver
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
在深度学习架构中集成逻辑推理一直是现代AI系统的主要目标。在本文中,我们通过引入可微分(平滑)最大可满足性(MAXSAT)求解器来实现这一目标,该求解器可以集成到更大的深度学习系统的循环中。我们的(近似)求解器是基于一个快速的坐标下降的方法来解决半定规划(SDP)与MAXSAT问题。我们展示了如何通过这个SDP的解决方案来解析区分,并有效地解决相关的向后传递。我们证明,通过将此求解器集成到端到端学习系统中,我们可以以最小监督的方式学习具有挑战性的问题的逻辑结构。特别是,我们证明了我们可以使用单比特监督来学习奇偶校验函数(传统上对深度网络来说是一项艰巨的任务),并仅从示例中学习如何玩9x9数独。我们还解决了一个“视觉数独”的问题,映射图像的数独谜题,以其相关的逻辑解决方案相结合,我们的MAXSAT求解器与传统的卷积架构。因此,我们的方法在深度学习中集成逻辑结构方面表现出了希望。
2019-05-29 cs.AI cs.LG stat.ML
Differentiable Optimization Layers for Guaranteed Fairness in Deep Learning
Department of Statistics \& Data Science, University of California, Los Angeles, USA;Department of Mathematics, University of California, Los Angeles, USA;Max Planck Institute for Mathematics in the Sciences, Leipzig, Germany
本文提出了一种称为'公平性层'的可微优化层,该层可确保在神经网络中集成时满足所选的输出平等性概念,并介绍了一个在线对偶推理算法,为流式预测提供可证明的公平性保证,即使使用任意小的批量大小。
2026-05-16 cs.LG stat.CO stat.ML
Learning Unsplit-field-based PML for the FDTD Method by Deep Differentiable Forest
Institute of Microscale Optoelectronics, Shenzhen University(深圳大学微尺度光电研究院);Department of Electronic Science, Xiamen University(厦门大学电子科学系)
基于深可微森林理论,提出了一种基于非分裂场的时域有限差分(FDTD)吸收边界条件(ABC)算法。在时域有限差分法(FDTD)的计算过程中,引入深度可微森林(DDF)模型来代替传统的完全匹配层(PML)ABC。采用传统PML接口上的现场元件数据对基于DDF的PML模型进行训练。DDF兼有树和神经网络的优点。它的树结构易于使用和解释的数值PML数据。它像神经网络一样具有完全可微性。DDF可以通过深度学习的强大技术进行训练。与传统的PML实现相比,该方法由于采用了只涉及边界层单胞厚度的新模型,大大减小了FDTD物理域的尺寸,降低了FDTD的计算复杂度。数值模拟已经进行了基准所提出的方法的性能。数值结果表明,该方法不仅可以方便地取代传统的PML,而且可以集成到FDTD计算过程中,具有良好的数值精度和与FDTD的兼容性。
2020-04-07 cs.LG
Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective
University of Science and Technology of China(中国科学技术大学);Eindhoven University of Technology(埃因霍温理工大学);University of Exeter(埃克塞特大学);Michigan State University(密歇根州立大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);MIT(麻省理工学院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Harvard University(哈佛大学)
本文提出 VPNs 框架,从数据-模型协同设计视角利用视觉提示联合优化输入与网络拓扑,在3种架构和8个数据集上提升剪枝性能并增强子网络迁移性。
2024-09-05 cs.CV cs.LG
Partially-Connected Differentiable Architecture Search for Deepfake and Spoofing Detection
EURECOM(欧洲通信系统工程学院)
本文报告了可区分架构搜索(DARTS)方法在深度伪造和欺骗检测问题中的首次成功应用。作为神经架构搜索的一个例子,DARTS在连续的、可微分的搜索空间上操作,这使得架构和参数都能够通过梯度下降来优化。基于部分连接DARTS的解决方案在搜索空间中使用随机通道掩蔽,以减少GPU时间,并自动学习和优化由卷积运算和残差块组成的复杂神经架构。尽管学习速度很快,几乎没有人力投入,但由此产生的网络与文献中报道的最佳性能系统相比具有竞争力。有些也远没有那么复杂,包含的参数比Res2Net竞争对手少85%。
2021-06-30 cs.LG cs.SD eess.AS
Deep Incentive Design with Differentiable Equilibrium Blocks
本文提出基于可微均衡块的深度激励设计框架,通过统一管道和DEB训练神经网络,解决多智能体交互中的激励设计问题,涵盖合同设计、机器调度和逆向均衡等任务。
2026-03-12 cs.GT cs.LG
Design Target Achievement Index: A Differentiable Metric to Enhance Deep Generative Models in Multi-Objective Inverse Design
Massachusetts Institute of Technology(麻省理工学院)
深度生成机器学习模型在设计界越来越受欢迎,这要归功于它们学习和模拟复杂数据分布的能力。虽然早期的工作是有希望的,进一步的进步将取决于解决几个关键的考虑因素,如设计质量,可行性,新颖性和有针对性的逆向设计。我们提出了设计目标实现指数(DTAI),一个可区分的,可调的指标,得分设计的能力,实现设计师指定的最低性能目标。我们证明了DTAI在直接用作深度生成模型中的训练损失时可以大大提高生成设计的性能。我们将DTAI损失应用于性能增强的多样性GAN(PaD GAN),并与一组基线深度生成模型(包括多目标PaD GAN和专用表格生成算法,如条件表格GAN(CT GAN))相比,表现出卓越的生成性能。我们进一步增强PaDGAN与辅助可行性分类器,以鼓励可行的设计。为了评估方法,我们提出了一套全面的评估指标的生成方法,专注于可行性,多样性和满意度的设计性能目标。方法进行测试的一个具有挑战性的基准问题:FRAMED自行车车架设计数据集具有混合数据类型的参数数据,严重偏斜和多模态分布,和十个竞争的性能目标。
2022-05-06 cs.LG
Differentiable SLAM Helps Deep Learning-based LiDAR Perception Tasks
IIT Delhi(印度理工学院德里分校);McGill University(麦吉尔大学);MILA(米拉研究所);BITS Pilani(皮拉尼 Birla 理工学院);Université Laval(拉瓦尔大学)
本文提出以可微SLAM架构作为自监督训练信号来训练基于LiDAR的深度学习模型,并在分类、回归及SLAM任务中验证了其提升性能的有效性。
2023-09-17 cs.CV cs.LG cs.RO