Layer-wise Quantization for Quantized Optimistic Dual Averaging
National University of Singapore (NUS)(新加坡国立大学);EPFL(洛桑联邦理工学院);Neural Magic;University of Oslo (UiO)(奥斯陆大学);Integreat, Norwegian Centre for Knowledge-driven Machine Learning(挪威知识驱动机器学习中心);Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所)
针对深度神经网络层间异质性问题,提出带严格界的通用逐层量化框架,结合分布式变分不等式提出自适应学习率的QODA算法,实现有竞争力的收敛率,训练Wasserstein GAN时端到端速度最高比基线快150%。
2025-05-20 cs.LG math.OC
State-space Models with Layer-wise Nonlinearity are Universal Approximators with Exponential Decaying Memory
National University of Singapore(新加坡国立大学)
本文证明堆叠带逐层非线性激活的状态空间模型可通用逼近任意连续序列映射,同时指出其仍存在指数衰减记忆问题,并通过数值实验验证。
2023-11-01 cs.AI cs.LG math.DS
Different Layers, Different Manifolds: Module-Wise Weight-Space Geometry in Transformer Optimization
School of Engineering Science, The University of Osaka(大阪大学工程科学学院)
研究Transformer不同模块偏好不同流形几何,提出为注意力层和MLP层分别分配Stiefel和DGram约束,在GPT-2预训练中取得最佳性能。
2026-06-12 cs.AI cs.LG
Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding
University of Oxford(牛津大学);Peking University(北京大学);Yale University(耶鲁大学);Tencent AI Lab(腾讯人工智能实验室)
在序列到序列学习中,例如,在自然语言生成中,解码器依赖于注意力机制来有效地从编码器提取信息。虽然通常的做法是仅从最后一个编码器层提取信息,但最近的工作提出了使用来自不同编码器层的表示来获得不同级别的信息。尽管如此,解码器仍然仅获得源序列的单个视图,这可能由于层级绕过问题而导致编码器层堆栈的训练不足。在这项工作中,我们提出逐层多视图解码,其中对于每个解码器层,连同来自最后一个编码器层的表示,其作为全局视图,来自其他编码器层的表示被补充用于源序列的立体视图。系统的实验和分析表明,我们成功地解决了层次结构绕过问题,几乎可以忽略不计的参数增加,并大大提高了序列到序列学习的性能与五个不同的任务,即,机器翻译、抽象概括、图像描述、视频描述、医疗报告生成和释义生成。特别是,我们的方法在10个基准数据集上取得了新的最先进的结果,包括一个低资源的机器翻译数据集和两个低资源的医疗报告生成数据集。
2022-08-29 cs.CL cs.LG
Layer-wise and Dimension-wise Locally Adaptive Federated Learning
Baidu Research(百度研究院)
在联邦学习(FL)的新兴范例中,大量的客户端,如移动设备,用于训练可能的高维模型在其各自的数据。将(维度方面)自适应梯度方法(例如Adam,AMSGrad)与FL相结合一直是一个积极的方向,在许多情况下,这被证明优于传统的基于SGD的FL。在本文中,我们专注于训练联邦深度神经网络的问题,并提出了一种新的FL框架,该框架进一步引入了逐层自适应局部模型更新。我们的框架可以应用于局部自适应FL方法,包括最近的两个算法,Mime和Fed-AMS。从理论上讲,我们提供了一个收敛性分析,我们的逐层FL方法,创造Fed-LAMB和Mime-LAMB,它匹配的收敛速度的状态的最先进的结果在FL和表现出线性加速的工人的数量。在IID和非IID局部数据设置下,在各种数据集和模型上的实验结果表明,与最近的各种自适应FL方法相比,Fed-LAMB和Mime-LAMB都具有更快的收敛速度和更好的泛化性能。
2022-06-23 cs.LG
Layer-wise Adaptive Graph Convolution Networks Using Generalized Pagerank
The University of Tokyo(东京大学);RIKEN(理化学研究所)
我们研究了深度GCN模型中的自适应逐层图卷积。我们提出AdaGPR学习广义Pagerank在每一层的GCNII网络,以诱导自适应卷积。我们证明了AdaGPR的广义界是由归一化邻接矩阵的特征值谱的多项式的广义Pagerank系数的数量的顺序。通过分析推广的界限,我们表明,过平滑依赖于两个卷积的高阶归一化邻接矩阵和深度的模型。我们使用基准真实数据对节点分类进行了评估,结果表明,与现有的图卷积网络相比,AdaGPR提供了更高的精度,同时证明了对过平滑的鲁棒性。此外,我们证明了逐层广义Pageranks的系数分析,使我们能够定性地理解卷积在每一层,使模型的解释。
2022-07-17 cs.LG
Layer-wise Linear Mode Connectivity
Ruhr University Bochum(鲁尔大学波鸿分校);EPFL(洛桑联邦理工学院);IKIM UK Essen(埃森大学医院IKIM研究所);Monash University(莫纳什大学)
本文提出逐层线性连通性概念,通过实证和理论分析表明深度网络在逐层平均参数时不存在障碍,为模型融合提供了新视角。
2024-03-19 cs.LG
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Viterbi School of Engineering(维特比工程学院);University of Southern California(南加州大学)
在联邦学习中,跨客户端聚合本地模型的常用方法是定期对完整模型参数进行平均。然而,已知神经网络的不同层可以具有跨客户端的不同程度的模型差异。传统的全聚合方案没有考虑这种差异,而是一次性地对整个模型参数进行调整,导致网络带宽消耗效率低下。聚集在客户端之间相似的参数不会取得有意义的训练进展,同时会增加通信成本。我们提出了FedLAMA,一个分层的模型聚合方案,可扩展的联邦学习。FedLAMA自适应地调整聚合间隔在一个逐层的方式,联合考虑模型的差异和通信成本。分层聚合方法能够精细地控制聚合间隔,以放松聚合频率,而不会对模型精度产生显著影响。我们的实证研究表明,FedLAMA降低了高达60%的IID数据和70%的非IID数据的通信成本,同时实现了可比的准确性FedAvg。
2022-01-03 cs.LG
Calibrate and Debias Layer-wise Sampling for Graph Convolutional Networks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
该研究针对图卷积网络逐层采样方法存在的次优采样概率和无放回采样偏差问题,提出新的采样概率构建原则与高效去偏算法,经方差分析和基准实验验证了改进效果,且代码已开源。
2023-06-15 cs.LG
Element-wise Modulation of Random Matrices for Efficient Neural Layers
通过元素级调制随机矩阵,提出PRP层以高效减少全连接层的计算开销,同时保持模型精度。
2025-12-15 cs.LG
LoaQ: Layer-wise Output Approximation Quantization
Wangxuan Institute of Computer Technology, Peking University(计算机技术研究所,北京大学)
LoaQ通过引入输出匹配因素,改进了基于层级的后训练量化方法,提升了模型量化质量并具有简洁的闭式解。
2026-01-27 cs.LG
Layer-wise training of deep networks using kernel similarity
TCS Innovation Labs(TCS创新实验室)
深度学习已经在许多机器学习应用中显示出有希望的结果。由深度网络构建的分层特征表示可以实现数据的紧凑和精确编码。对训练后的深度网络的内核分析表明,使用更深的层,可以获得更简单、更准确的数据表示。在本文中,我们提出了一种用于监督分类任务的深度网络分层训练方法。每层的变换矩阵通过求解旨在更好的表示的优化来获得,其中后续层在由前一层产生的特征的顶部上构建其表示。我们将我们的方法的性能与使用反向传播训练的DNN进行了比较,后者具有与我们相同的架构。在真实图像数据集上的实验结果证明了该方法的有效性。我们还对层表示进行了内核分析,以验证更好的特征编码的说法。
2017-03-21 cs.LG
FedLAM: Low-latency Wireless Federated Learning via Layer-wise Adaptive Modulation
Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology(电子与计算机工程系,香港科技大学)
针对无线联邦学习中高维DNN参数传输导致的通信延迟问题,提出逐层自适应调制方案,根据层重要性自动分配最优调制级别,最多节省73.9%延迟。
2025-10-09 cs.LG
Faster learning of deep stacked autoencoders on multi-core systems using synchronized layer-wise pre-training
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
深度神经网络能够通过分层捕获数据的不同抽象级别来对高度非线性函数进行建模。在训练深度网络时,首先通过贪婪的逐层无监督预训练将系统初始化到一个良好的最佳值附近。然而,随着数据的迅速增长和体系结构维度的增加,这种方法的时间复杂度变得非常巨大。此外,层的贪婪预训练通常会变得有害,因为过度训练一层会导致它与网络的其余部分失去和谐。本文提出了一种在多核机器上预训练深度网络的同步并行算法。不同的层由运行在不同内核上的并行线程进行训练,并定期同步。因此,预训练过程变得更快,并且减少了过度训练的机会。这是实验验证使用堆叠自动编码器的维数减少MNIST手写数字数据库。该算法实现了26%的速度相比,贪婪的逐层预训练,实现相同的重建精度,证实其作为一种替代的潜力。
2016-03-09 cs.LG
Investigating Learning in Deep Neural Networks using Layer-Wise Weight Change
University of Nebraska(内布拉斯加大学);University of Nebraska-Lincoln(内布拉斯加大学林肯分校);Georgia Institute of Technology(佐治亚理工学院);Ford R&A(福特研究与创新中心);German University in Cairo(开罗德国大学)
理解深度神经网络的每层学习动态具有重要意义,因为它可以深入了解神经网络如何学习以及更好的训练方案的潜力。我们通过测量训练时层的相对权重变化来研究深度卷积神经网络(CNN)中的学习。在各种计算机视觉分类任务的各种CNN架构中出现了几个有趣的趋势,包括与早期层相比,后期层的相对权重变化的总体增加。
2020-12-01 cs.LG
FedLWS: Federated Learning with Adaptive Layer-wise Weight Shrinking
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);International Center of Future Science, Jilin University(吉林大学未来科学国际中心)
针对联邦学习中的全局权重收缩效应,提出自适应逐层权重收缩策略FedLWS,以逐层方式设计收缩因子,避免代理数据集优化,实验证明其优于现有方法。
2025-03-28 cs.LG
Federated Layer-Wise Exchange for Cross-Client Money Laundering Pattern Detection
Delft University of Technology, Department of Software Technology(代尔夫特理工大学软件技术系)
本文提出一种分层嵌入交换框架,通过客户端在前向传递中同步中间节点表示,弥补分布式图中子图模式识别的表示等价缺口,实验表明嵌入交换与联邦参数聚合互补而非可互换。
2026-10-14 cs.LG
Improving Layer-wise Adaptive Rate Methods using Trust Ratio Clipping
National University of Singapore(新加坡国立大学)
大批量训练神经网络对深度学习具有基础性意义。大批量训练显著减少了训练时间,但难以保持准确性。最近的工作提出了优化方法,如LARS和LAMB,通过自适应分层优化使用信任比来解决这个问题。虽然流行,这样的方法被观察到仍然遭受不稳定和极端的信任比,降低性能。在本文中,我们提出了一个新的LAMB的变种,称为LAMBC,它采用信任比裁剪,以稳定其幅度和防止极端值。我们对ImageNet和CIFAR-10等图像分类任务进行了实验,我们的实证结果表明,在不同的批量大小下,都有很好的改进。
2020-11-27 cs.LG
Determining Layer-wise Sparsity for Large Language Models Through a Theoretical Perspective
Xiamen University(厦门大学);Institute of Artificial Intelligence, Xiamen University(厦门大学人工智能研究院)
针对大语言模型稀疏化中重构误差爆炸导致性能下降的问题,提出基于单调递增等差数列的层级稀疏度分配方法,仅需确定单个公差超参数,在多种模型与任务上显著提升稀疏模型性能与推理速度。
2025-02-20 cs.LG
PLayer-FL: A Principled Approach to Personalized Layer-wise Cross-Silo Federated Learning
研究非IID数据联邦学习中客户端性能问题,提出PLayer-FL方法,通过系统分析分层泛化动态,计算联邦敏感性度量选择最佳分割点,在多任务中性能具竞争力,能更公平分配收益并减少客户端回归。
2026-07-21 cs.LG
Block-wise Training of Residual Networks via the Minimizing Movement Scheme
LIP6(利皮6实验室);Criteo AI Lab(Criteo人工智能实验室);Criteo(Criteo公司);Theresis lab(泰雷兹研究实验室);Thales(泰雷兹公司)
针对端到端反向传播的内存与锁定问题,论文提出受最小化运动方案启发的 ResNets 分块训练方法,通过块级动能正则化缓解停滞并提升顺序或并行训练的测试准确率。
2023-06-06 cs.LG
Scalable Model Merging with Progressive Layer-wise Distillation
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);School of Computer Science, Beijing Institute of Technology(北京理工大学计算机学院);Shanghai Qizhi Institute(上海启智研究院)
本文提出渐进式逐层蒸馏算法 ProDistill,通过理论证明数据必要性并利用逐层师生蒸馏,在少样本模型合并中实现最优性能,显著提升可扩展性。
2025-05-27 cs.LG
Layer-wise training for self-supervised learning on graphs
Universitat Politècnica de Catalunya - BarcelonaTech (UPC)(加泰罗尼亚理工大学-巴塞罗那理工)
本文提出逐层正则化图信息最大化算法,通过解耦特征传播与变换,实现自监督逐层训练GNN,在保持性能的同时提升效率并避免过平滑。
2023-09-04 cs.LG
LAYA: Layer-wise Attention Aggregation for Interpretable Depth-Aware Neural Networks
Department of Computer Science University of Bari Aldo Moro(计算机科学系巴里大学Aldo Moro)
该研究提出LAYA分层注意力聚合器,通过动态聚合神经网络各层特征实现可解释深度感知,在图像分类任务中兼具竞争力性能与直观层贡献解释。
2026-08-04 cs.LG
Detecting LLM Hallucination Through Layer-wise Information Deficiency: Analysis of Ambiguous Prompts and Unanswerable Questions
University of Oxford(牛津大学)
本文提出一种测试时方法,通过分析跨层信息动态($\mathcal{L}$I)检测大语言模型在模糊或不可回答问题上的幻觉,无需额外训练,为模型可靠性提供稳健指标。
2025-10-04 cs.LG
Rethinking Layer-wise Model Merging through Chain of Merges
AImageLab, Department of Engineering, University of Modena and Reggio Emilia(AImageLab,工程系,摩德纳和雷吉奥艾米利亚大学)
本文提出Chain of Merges(CoM)方法,通过分层合并和更新激活统计,解决层间依赖问题,提升模型合并效果。
2026-11-03 cs.LG
Layer-wise Update Aggregation with Recycling for Communication-Efficient Federated Learning
Inha University(延世大学);University of Southern California(南加州大学)
FedLUAR通过分层更新聚合与回收技术,在保持模型准确性的同时显著降低联邦学习的通信成本。
2026-02-10 cs.LG
Learn Layer-wise Connections in Graph Neural Networks
Paradigm Inc.(第四范式公司);Lenovo(联想集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
近年来,图神经网络(GNN)在现实世界数据集的各种应用中表现出卓越的性能。为了提高模型容量和缓解过度平滑问题,提出了几种通过逐层连接来合并中间层的方法。然而,由于高度多样化的图形类型,现有方法的性能在不同的图形上变化,导致需要数据特定的逐层连接方法。为了解决这个问题,我们提出了一个新的框架LLC(学习逐层连接)的基础上神经架构搜索(NAS)学习自适应连接GNN中间层之间。LLC包含一个新的搜索空间,它由3种类型的块和可学习的连接,和一个可微的搜索算法,使有效的搜索过程。在五个真实数据集上进行了大量的实验,结果表明,搜索的逐层连接不仅可以提高性能,而且可以缓解过度平滑问题。
2021-12-27 cs.AI cs.LG
Deep Layer-wise Networks Have Closed-Form Weights
Northeastern University(东北大学);University College London(伦敦大学学院)
目前,神经科学界对大脑执行反向传播(BP)的可能性存在争议。为了更好地模拟大脑,已经提出了一种仅使用“单次向前传递”来训练网络$\textit{one layer at a time}$的方法,作为绕过BP的替代方案;我们将这些网络称为“逐层”网络。我们通过回答两个悬而未决的问题来继续分层网络的工作。首先,$\textit{do they have a closed-form solution?}$其次,$\textit{how do we know when to stop adding more layers?}$这项工作证明了内核均值嵌入是实现网络全局最优的封闭形式权重,同时驱动这些网络收敛到一个高度理想的内核进行分类;我们称之为$\textit{Neural Indicator Kernel}$。
2022-02-09 cs.LG stat.ML
Unlocking Layer-wise Relevance Propagation for Autoencoders
Oracle Labs(甲骨文实验室)
自动编码器是一种功能强大且用途广泛的工具,通常用于各种问题,如异常检测,图像处理和机器翻译。然而,他们的重建并不总是微不足道的解释。因此,我们提出了一个快速的可解释性解决方案,通过扩展的分层相关传播方法的帮助下,深泰勒分解框架。此外,我们引入了一种新的验证技术,在缺少地面实况数据的情况下,将我们的可解释性方法与基线方法进行比较。我们的研究结果突出了计算以及定性的优势,建议的可解释性解决方案相对于现有的方法。
2023-03-21 cs.AI cs.LG
Towards Layer-Wise Personalized Federated Learning: Adaptive Layer Disentanglement via Conflicting Gradients
Pusan National University(釜山国立大学);Hanoi University of Technology(河内工业大学);University of Sydney(悉尼大学);Trinity College of Dublin(都柏林圣三一学院);Zhejiang University(浙江大学)
针对个性化联邦学习中数据异质性导致的梯度发散、更新退化问题,提出基于层级梯度冲突的FedLAG方法,按梯度冲突程度分配个性化层、排除冲突层参与全局聚合,理论和实验证明其收敛性与性能更优且易集成。
2024-10-03 cs.AI cs.LG
Stochastic Gradient Methods with Layer-wise Adaptive Moments for Training of Deep Networks
NVIDIA(英伟达)
我们提出了NovoGrad,自适应随机梯度下降方法与逐层梯度归一化和解耦的权重衰减。在我们对用于图像分类、语音识别、机器翻译和语言建模的神经网络进行的实验中,它的性能与使用动量和Adam或AdamW进行良好调整的SGD相当或更好。此外,NovoGrad(1)对学习率和权重初始化的选择具有鲁棒性,(2)在大批量设置中工作良好,(3)内存占用比Adam小两倍。
2020-02-06 cs.LG stat.ML
Layer-wise Representation Dynamics: An Empirical Investigation Across Embedders and Base LLMs
The Hong Kong University of Science and Technology(香港科技大学)
本文提出LRD框架,通过三种逐层测量家族分析语言模型的层间表示动态,揭示架构和任务层面差异,并应用于模型选择和层间剪枝。
2026-05-12 cs.CL cs.LG
Improving Reliability of Fine-tuning with Block-wise Optimisation
University of Sunderland(桑德兰大学)
微调可以通过转移知识来处理特定领域的任务。以前关于微调的研究集中在只调整特定任务分类器的权重,或者使用新的任务数据重新优化预训练模型的所有层。第一种方法不能缓解预训练模型和新任务数据之间的不匹配,第二种方法在处理数据有限的任务时容易导致过拟合。为了探索微调的有效性,我们提出了一种新的分块优化机制,该机制适应预训练模型的一组层的权重。在我们的工作中,层选择可以用四种不同的方式完成。第一种是逐层自适应,其目的是根据分类性能搜索最显著的单层。第二种方法是基于第一种方法,联合调整少量排名靠前的层,而不是使用单个层。第三种是基于块的分割,其中深度网络的层通过非加权层(例如MaxPooling层和Activation层)分割成块。最后一种是使用固定长度的滑动窗口逐块对层进行分组。为了识别哪组图层最适合进行微调,搜索从目标端开始,并通过冻结除选定图层和分类图层之外的其他图层来进行。根据分类性能确定最突出的层组。在我们的实验中,通过分别微调五个典型的预训练模型VGG 16,MobileNet-v1,MobileNet-v2,MobileNet-v3和ResNet 50 v2,在常用数据集Tf_flower上测试了所提出的方法。所得到的结果表明,使用我们提出的分块的方法可以实现更好的性能比两个基线方法和分层的方法。
2023-01-15 cs.CV cs.LG
Towards Understanding Epoch-wise Double descent in Two-layer Linear Neural Networks
Linköping University(林雪平大学)
本文研究两层线性神经网络中的逐轮双下降,推导梯度流并识别除输入方差外,输入-输出协方差矩阵奇异值作为新影响因素,向深度模型理论分析迈进一步。
2024-09-19 cs.LG stat.ML
Layer-wise Conditioning Analysis in Exploring the Learning Dynamics of DNNs
Inception Institute of Artificial Intelligence(起源人工智能研究院)
条件分析通过探索曲率矩阵的频谱来揭示优化目标的景观。这在线性模型的理论上已经得到了很好的探索。我们将这种分析扩展到深度神经网络(DNN),以研究它们的学习动态。为此,我们提出了逐层条件分析,它独立地探索每一层的优化景观。这样的分析在理论上是支持的温和的假设,在实践中大致成立。基于我们的分析,我们表明,批量归一化(BN)可以稳定的训练,但有时会导致局部最小值的假象,这对学习有不利影响。此外,我们通过实验观察到BN可以改善优化问题的逐层条件。最后,我们发现一个非常深的残差网络的最后一个线性层显示病态行为。我们通过在最后一个线性层之前仅添加一个BN层来解决这个问题,这比原始和预激活的残差网络实现了更好的性能。
2020-07-29 cs.CV cs.LG
SqueezeAttention: 2D Management of KV-Cache in LLM Inference via Layer-wise Optimal Budget
School of Computer Science, Peking University(北京大学计算机学院);Geoming AI(格明人工智能)
针对现有KV缓存压缩算法对所有层分配相同预算的次优问题,本研究提出SqueezeAttention,从序列和层两个维度联合优化KV缓存,实现显著的内存减少与吞吐量提升。
2024-10-10 cs.CL cs.LG
Understanding Layer-wise Contributions in Deep Neural Networks through Spectral Analysis
IIT Kanpur(印度理工学院坎普尔分校);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
谱分析是一个强大的工具,它可以将任何函数分解成更简单的部分。在机器学习中,默瑟定理推广了这一思想,为任何核和输入分布提供了频率递增函数的自然基础。最近,一些工作已经通过神经切线核的框架将这种分析扩展到深度神经网络。在这项工作中,我们分析了深层神经网络的逐层谱偏置,并将其与不同层在降低给定目标函数的泛化误差方面的贡献联系起来。我们利用厄米多项式和球谐函数的性质来证明,初始层表现出更大的偏向于单位球上定义的高频函数。我们进一步提供了在深度神经网络的高维数据集中验证我们的理论的经验结果。
2022-01-07 cs.LG stat.ML
Enhancing Adversarial Robustness in Network Intrusion Detection: A Layer-wise Adaptive Regularization Approach
National Cyber Security Academy (NCSA)(国家安全学院(NCSA));Air University(空军大学);School of Science(科学学院)
本文提出LARAR方法,通过分层漏洞分析和自适应加权提升网络入侵检测系统对抗鲁棒性,实现95.01%的准确率并有效防御FGSM、PGD等攻击。
2026-05-09 cs.CR cs.LG
Exploring Neural Networks Quantization via Layer-Wise Quantization Analysis
Hailo Technologies(Hailo科技)
量化是高效部署深度学习模型的重要步骤,因此是一个越来越受欢迎的研究主题。在当前文献中没有解决的一个重要的实际方面是如何分析和修复使用量化导致过度降级的失败情况。在本文中,我们提出了一个简单的分析框架,将整体退化分解为每层贡献。我们分析了许多常见的网络,并观察到一个层的贡献是由内在(本地)因素-层的权重和激活的分布-和外在(全局)因素与其他层的相互作用。现有量化方案的逐层分析揭示了现有技术的局部故障情况,这些故障情况在检查其整体性能时没有反映出来。作为一个例子,我们考虑ResNext 26,SoTA后训练量化方法在其上表现不佳。我们发现,几乎所有的退化源于一个单一的层。相同的分析还允许局部修复-仅对该层应用公共权重裁剪启发式算法将降级降至最低,而全局应用相同的启发式算法会导致高度降级。更一般地说,逐层分析允许对量化如何影响网络进行更细致的检查,从而能够设计出性能更好的方案。
2020-12-15 cs.LG stat.ML
LEA-Net: Layer-wise External Attention Network for Efficient Color Anomaly Detection
Kyushu Institute of Technology(九州工业大学)
利用异常的先验知识是异常检测的一个重要问题。最近,视觉注意力机制已经成为一种很有前途的方法来提高CNN的性能,用于一些计算机视觉任务。在本文中,我们提出了一种新的模型称为分层外部注意力网络(LEA-Net)的有效的图像异常检测。其核心思想依赖于通过视觉注意力机制集成无监督和监督异常检测器。我们的战略如下:(i)关于异常的先验知识被表示为通过正常实例的无监督学习生成的异常图,(ii)异常图被外部网络转换为注意力图,(iii)注意力图然后被并入异常检测网络的中间层。值得注意的是,这种逐层的外部注意力可以以端到端的训练方式应用于任何CNN模型。对于试点研究,我们验证LEA-Net的颜色异常检测任务。通过对PlantVillage,MVTec AD和Cloud数据集的广泛实验,我们证明了所提出的逐层视觉注意力机制始终提高了现有CNN模型的异常检测性能,即使在不平衡的数据集上也是如此。此外,我们表明,我们的注意力机制成功地提高了几个CNN模型的性能。
2021-09-12 cs.CV cs.LG
Exploring a Layer-Wise Design Space for KV Cache Eviction
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
针对长上下文大模型推理中KV缓存压缩问题,提出PolyKV框架,通过层级别信号为每层选择合适压缩策略并分配非均匀缓存预算,实验表明在固定预算下显著恢复性能差距。
2026-09-18 cs.AI cs.LG
LPCD: Unified Framework from Layer-Wise to Submodule Quantization
Fujitsu Limited(富士通株式会社);RIKEN Center for AIP(理化学研究所AIP研究中心);Institute of Science Tokyo(东京科学研究所);Tokai University(东海大学)
LPCD提出了一种统一的后训练量化框架,通过优化子模块和投影层量化器,提升复杂子模块的量化效率和兼容性。
2025-12-01 cs.AI cs.CL cs.LG
Layer-wise Weight Selection for Power-Efficient Neural Network Acceleration
Shanghai Jiao Tong University(上海交通大学);Technical University of Darmstadt(达姆斯塔特技术大学);Stevens Institute of Technology(斯蒂文斯理工学院)
本文提出了一种分层权重选择框架,通过优化能耗准确度和分层调度,实现CNN加速器的高效能压缩,实验显示能耗降低达58.6%且准确率仅下降2-3%。
2025-12-16 cs.AR cs.LG
SliceGX: Layer-wise GNN Explanation with Model-slicing
Zhejiang University(浙江大学);Case Western Reserve University(凯斯西储大学);Bowling Green State University(布里奇沃特州立大学)
SliceGX是一种通过分层分析生成图神经网络解释的方法,能够逐步构建并维护子图以解释模型输出。
2026-01-26 cs.DB cs.LG
GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning
National University of Defense Technology(国防科技大学);Information Support Force Engineering University(信息支援部队工程大学)
GRASS提出一种基于梯度的自适应层级重要性采样方法,通过动态调整层采样概率和优化器状态卸载机制,在降低内存使用的同时提升微调性能,实验显示其在多个模型和基准测试中均优于现有方法。
2026-04-09 cs.CL cs.LG
Train Feedfoward Neural Network with Layer-wise Adaptive Rate via Approximating Back-matching Propagation
Micorosoft Research Asia(微软亚洲研究院)
随机梯度下降(SGD)在训练深度神经网络方面取得了巨大成功,其中梯度是通过反向传播计算的。然而,不同层的反向传播值差异很大。这种跨不同层的梯度幅度的不一致性使得具有单一学习率的深度神经网络的优化成问题。我们引入了反向匹配传播,它通过匹配层输出上的反向值来计算层参数和输入上的反向值。这导致解决一堆最小二乘问题,这需要很高的计算成本。然后,我们减少了近似的后匹配传播,并提出了一种算法,变成了定期SGD与逐层自适应学习率策略。这使得我们的算法在当前的机器学习框架配备了自动微分容易实现。我们将我们的算法应用于训练现代深度神经网络,并取得了优于SGD的结果。
2018-02-27 cs.LG stat.ML
Scalable Bayesian neural networks by layer-wise input augmentation
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
我们介绍了隐式贝叶斯神经网络,这是一种用于深度学习中不确定性表示的简单且可扩展的方法。深度学习的标准贝叶斯方法需要对数百万个参数的后验分布进行不切实际的推断。相反,我们建议通过用潜变量增加每层的输入来诱导一个分布,该分布捕获神经网络上的不确定性。我们提出了适当的输入分布,并展示了最先进的性能,在大规模,数百万参数的图像分类任务的校准,鲁棒性和不确定性特征。
2020-10-26 cs.LG stat.ML
Quantification and Analysis of Layer-wise and Pixel-wise Information Discarding
Southern University of Science and Technology(南方科技大学);Shanghai Jiao Tong University(上海交通大学)
提出了一种解释深度神经网络(DNN)中每个输入变量的信息在前向传播过程中如何被逐渐丢弃的方法,为解释DNN提供了新的视角。我们定义了两种类型的基于熵的度量,即(1)丢弃前向传播中使用的逐像素信息,以及(2)输入重建的不确定性,以从两个角度测量特定层包含的输入信息。与以前的属性度量不同,所提出的度量确保了不同DNN的不同层之间比较的公平性。我们可以使用这些指标来分析DNN中信息处理的效率,这与DNN的性能有很强的联系。我们以像素级的方式来分析信息丢弃,这与信息瓶颈理论测量特征信息w.r.t.样本分布。实验表明,我们的指标在分析经典DNN和解释现有深度学习技术方面是有效的。
2022-06-13 cs.CV cs.LG stat.ML
Type-IV Code Clone Detection via Layer-Wise Non-Contrastive Representation Learning
Université de Montréal(蒙特利尔大学)
针对Type-IV代码克隆检测,提出基于VICReg框架的非对比分层表示学习方法LWVIC4Code,通过跨层一致性正则化与深度加权生成鲁棒表示,在多个数据集上取得优于或媲美对比学习及大模型的性能。
2026-09-16 cs.LG cs.SE
Information-Theoretic Greedy Layer-wise Training for Traffic Sign Recognition
本文通过信息论分析CNN逐层收敛特性,提出基于DIB和Rényi熵的贪婪逐层训练方法,在CIFAR和交通标志识别任务中表现优于现有基线且媲美SGD。
2025-10-31 cs.AI cs.LG
ROSA: Robust and Energy-Efficient Microring-Based Optical Neural Networks via Optical Shift-and-Add and Layer-Wise Hybrid Mapping
ShanghaiTech University(上海科技大学)
ROSA通过光学移位-加法模块和层间混合映射策略提升光学神经网络的鲁棒性和能效,优化微环阵列尺寸和数据流,减少64%和26%的综合能量-延迟积,同时提升CIFAR-10准确率8.3%。
2026-04-24 cs.AR cs.LG
Layer-Wise Partitioning and Merging for Efficient and Scalable Deep Learning
Manchester Metropolitan University(曼彻斯特城市大学);University of Sheffield(谢菲尔德大学);Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
深度神经网络(DNN)模型通常从一层到另一层顺序训练,这会导致前向、后向和更新锁定的问题,导致训练时间方面的性能较差。现有的并行策略,以减轻这些问题提供次优的运行时性能。在这项工作中,我们提出了一种新的逐层划分和合并,向前和向后传递并行框架,以提供更好的训练性能。所提出的工作的新颖性包括:1)分层分区和合并模型,可以最大限度地减少设备之间的通信开销,而无需在训练过程中使用现有策略的内存成本; 2)前向传递和后向传递并行化和优化,以解决更新锁定问题并最大限度地减少总训练成本。对真实用例的实验评估表明,该方法在训练速度方面优于最先进的方法;并且在不影响非并行方法的准确性性能的情况下,实现了几乎线性的加速比。
2022-07-22 cs.DC cs.LG
Layer-wise Curriculum Learning for Efficient LLM Compression
Ajou University(亚洲大学)
本文提出逐层课程学习压缩LLM,通过分段知识迁移与特征缓存,在BERT和GPT-2上减少超50%GPU内存和训练时间,并在LLaMA和Qwen上超越其他剪枝方法。
2026-09-18 cs.AI cs.LG