An Adaptive Empirical Bayesian Method for Sparse Deep Learning
Purdue University（普渡大学）
我们提出了一种新的自适应经验贝叶斯方法用于稀疏深度学习，其中稀疏性通过一类自适应尖峰和板先验来确保。所提出的方法的工作原理是交替采样自适应分层后验分布使用随机梯度马尔可夫链蒙特卡罗（MCMC）和平滑优化超参数使用随机逼近（SA）。在较弱的条件下，我们进一步证明了该方法收敛于渐近正确的分布。所提出的方法的经验应用导致最先进的性能MNIST和时尚MNIST与浅卷积神经网络和最先进的压缩性能CIFAR10与残差网络。该方法还提高了对对抗性攻击的抵抗力。
2020-04-13 cs.LG stat.ME stat.ML
CALM: A CKA-Guided Adaptive Layer-Wise Modularization Framework for LLM Quantization
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）
CALM提出一种基于CKA的自适应层级模块化框架，通过独立评估各层最佳量化策略，提升LLM量化效果。
2026-01-08 cs.AI cs.LG
LAARA: Layer-Aware Adaptive Rank Allocation for Parameter-Efficient Fine-Tuning
Indian Institute of Technology, Patna（印度理工学院巴特那分校）
研究针对低秩自适应中各层适应需求不同但现有方法统一分配适配器秩的问题，提出LAARA框架，利用轻量级对角Fisher估计动态分配秩，结合多种机制，实验表明其在少参数情况下性能优于现有方法，为自适应参数高效微调提供基础。
2026-07-23 cs.AI cs.LG
Lightweight Adaptive ReduNet via Hyperspherical Manifold Learning
Southwest Jiaotong University（西南交通大学）
该研究针对ReduNet参数存储量大的问题，提出轻量型自适应LA-ReduNet，采用超球面流形学习和自适应步长，仅需约1/29的参数存储即可使MCR²目标稳定，且保持相当分类准确率。
2026-08-24 cs.AI cs.LG
MixQuant: Adaptive Mixed-Precision Quantization for Large Language Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究针对大语言模型量化中预算变化及层敏感度评估问题，提出MixQuant自适应框架，通过边缘化失真获与预算无关分数、校准参数并惩罚不合理分配，在多种模型上优于基线，提升准确率并降低困惑度。
2026-07-28 cs.AI cs.LG
Layers Matter: Why Continual Learning Regularization Should Be Layer-Adaptive
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））；RPTU University Kaiserslautern-Landau（凯撒斯劳滕-兰道工业大学（RPTU））
该研究针对持续学习正则化的层自适应问题，提出保护早期层、允许深层移动的准则，应用于EWC和SLCA后提升了平均性能与遗忘指标。
2026-08-18 cs.AI cs.LG
GroupMask: Layer-Adaptive Group-wise Sparsity for Semi-Structured LLM Pruning
Florida State University（佛罗里达州立大学）；University of Connecticut（康涅狄格大学）；College of William & Mary（威廉与玛丽学院）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
提出GroupMask，通过超网络生成层自适应分组稀疏比，在半结构化剪枝中优于均匀N:M模式，在LLaMA-2-7B上降低困惑度并提升零样本准确率。
2026-09-29 cs.AI cs.LG
Puppet-CNN: Continuous Parameter Dynamics for Input-Adaptive Convolutional Networks
Puppet-CNN通过连续参数动态实现输入自适应卷积网络，减少存储参数并提升预测性能。
2026-03-07 cs.AI cs.LG
Learning Effective and Efficient Embedding via an Adaptively-Masked Twins-based Layer
Alibaba Group（阿里巴巴集团）
分类特征的嵌入学习对于基于深度学习的推荐模型（DLRM）至关重要。每个特征值通过嵌入学习过程映射到嵌入向量。传统的方法为来自同一特征字段的所有特征值配置固定且统一的嵌入大小。然而，这样的配置不仅对于嵌入式学习是次优的，而且存储器昂贵。现有的方法，试图解决这些问题，无论是基于规则或神经架构搜索（NAS）的基础上，需要大量的人力设计或网络训练的努力。它们在嵌入尺寸选择或基于热启动的应用中也不灵活。在本文中，我们提出了一种新的和有效的嵌入大小选择方案。具体来说，我们在标准嵌入层后面设计了一个基于自适应掩码双胞胎的层（AMTL）。AMTL生成一个掩码向量来屏蔽每个嵌入向量的不需要的维度。掩码向量带来了选择维度的灵活性，并且可以轻松地将所提出的层添加到未经训练或经过训练的DLRM中。大量的实验评估表明，所提出的计划优于竞争基准上的所有基准任务，也是内存效率，节省60%的内存使用，而不影响任何性能指标。
2021-08-24 cs.AI cs.LG
Layer-wise Adaptive Graph Convolution Networks Using Generalized Pagerank
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
我们研究了深度GCN模型中的自适应逐层图卷积。我们提出AdaGPR学习广义Pagerank在每一层的GCNII网络，以诱导自适应卷积。我们证明了AdaGPR的广义界是由归一化邻接矩阵的特征值谱的多项式的广义Pagerank系数的数量的顺序。通过分析推广的界限，我们表明，过平滑依赖于两个卷积的高阶归一化邻接矩阵和深度的模型。我们使用基准真实数据对节点分类进行了评估，结果表明，与现有的图卷积网络相比，AdaGPR提供了更高的精度，同时证明了对过平滑的鲁棒性。此外，我们证明了逐层广义Pageranks的系数分析，使我们能够定性地理解卷积在每一层，使模型的解释。
2022-07-17 cs.LG
Adaptive Layer Selection for Layer-Wise Token Pruning in LLM Inference
NEC Corporation（日本电报电话株式会社）；Osaka University（大阪大学）；Nagoya University（名古屋大学）
本文提出ASL方法，通过自适应选择KV缓存中的层，平衡不同任务性能并满足KV预算要求，优于现有分层令牌剪枝方法。
2026-04-16 cs.AI cs.CL cs.LG
Spiking Layer-Adaptive Magnitude-based Pruning
Sichuan University-Pittsburgh Institute（四川大学匹兹堡研究院）；Sichuan University（四川大学）；College of Computer Science（计算机科学学院）
本文提出SLAMP框架，通过时间扭曲约束优化实现时间感知层重要性评分，有效减少连接和脉冲操作，保持精度，实现高效可部署的SNN推理。
2026-03-16 cs.LG
Adaptive Large Language Models By Layerwise Attention Shortcuts
Stanford University（斯坦福大学）
本文提出通过注意力机制为类似LLM的架构引入自适应计算捷径，允许最终层关注所有中间层，使架构深度和上下文具有自适应性，在声学token、自然语言和符号音乐数据集上实现了卓越性能。
2024-09-17 cs.AI cs.CL cs.LG
Layer-adaptive sparsity for the Magnitude-based Pruning
KAIST（韩国科学技术院）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
神经网络修剪的最新发现表明，通过精心选择的逐层稀疏性，简单的基于幅度的修剪实现了稀疏性和性能之间的最先进的权衡。然而，由于没有对“如何选择”达成明确的共识，分层稀疏性大多是逐个算法选择的，通常采用手工算法或广泛的超参数搜索。为了填补这一空白，我们提出了一种新的重要性分数全局修剪，铸造层自适应幅度为基础的修剪（LAMP）分数，分数是一个重新缩放版本的权重幅度，结合模型级$\ell_2$失真所产生的修剪，并不需要任何超参数调整或繁重的计算。在各种图像分类设置下，LAMP始终优于流行的现有分层稀疏选择方案。此外，我们观察到，即使在权重重绕设置中，LAMP的性能也继续优于基线，而在这种情况下，面向连接性的逐层稀疏性（总体上最强的基线）的性能比简单的基于全局幅度的修剪更差。代码：https://github.com/jaeho-lee/layer-adaptive-sparsity
2021-05-09 cs.LG
FedLAM: Low-latency Wireless Federated Learning via Layer-wise Adaptive Modulation
Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology（电子与计算机工程系，香港科技大学）
针对无线联邦学习中高维DNN参数传输导致的通信延迟问题，提出逐层自适应调制方案，根据层重要性自动分配最优调制级别，最多节省73.9%延迟。
2025-10-09 cs.LG
Layer Flexible Adaptive Computational Time
Texas A&M University（德克萨斯农工大学）；Northwestern University（西北大学）
深度递归神经网络在序列数据上表现良好，是首选模型。然而，这是一个艰巨的任务，以决定网络的结构，即层数，特别是考虑到不同的计算需求的序列。提出了一种具有自适应计算时间的分层柔性递归神经网络，并将其扩展为序列到序列模型。不同于自适应计算时间模型，我们的模型具有一个动态的传输状态的数量，随着步骤和顺序而变化。我们评估模型的金融数据集和维基百科的语言建模。实验结果表明，该模型的性能提高了7%~ 12%，并具有随计算步数动态改变层数的能力。
2021-01-04 cs.LG stat.ML
QTALE: Quantization-Robust Token-Adaptive Layer Execution for LLMs
Department of Semiconductor Systems Engineering, Sungkyunkwan University（成均馆大学半导体系统工程系）
提出QTALE框架，通过多样化训练路径和后训练调整机制，实现令牌自适应层执行与量化的无缝集成，在保持精度的同时降低计算和内存开销。
2026-07-03 cs.LG
LayeredDoc: Domain Adaptive Document Restoration with a Layer Separation Approach
Computer Vision Center（计算机视觉中心）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
针对传统文档修复方法域适配性差的问题，提出分层框架LayeredDoc，通过文本-图形层分离提升域自适应能力，在新数据集LayeredDocDB上验证了强泛化性。
2024-06-12 cs.AI cs.CV cs.LG
Improving Layer-wise Adaptive Rate Methods using Trust Ratio Clipping
National University of Singapore（新加坡国立大学）
大批量训练神经网络对深度学习具有基础性意义。大批量训练显著减少了训练时间，但难以保持准确性。最近的工作提出了优化方法，如LARS和LAMB，通过自适应分层优化使用信任比来解决这个问题。虽然流行，这样的方法被观察到仍然遭受不稳定和极端的信任比，降低性能。在本文中，我们提出了一个新的LAMB的变种，称为LAMBC，它采用信任比裁剪，以稳定其幅度和防止极端值。我们对ImageNet和CIFAR-10等图像分类任务进行了实验，我们的实证结果表明，在不同的批量大小下，都有很好的改进。
2020-11-27 cs.LG
Layer-wise and Dimension-wise Locally Adaptive Federated Learning
Baidu Research（百度研究院）
在联邦学习（FL）的新兴范例中，大量的客户端，如移动设备，用于训练可能的高维模型在其各自的数据。将（维度方面）自适应梯度方法（例如Adam，AMSGrad）与FL相结合一直是一个积极的方向，在许多情况下，这被证明优于传统的基于SGD的FL。在本文中，我们专注于训练联邦深度神经网络的问题，并提出了一种新的FL框架，该框架进一步引入了逐层自适应局部模型更新。我们的框架可以应用于局部自适应FL方法，包括最近的两个算法，Mime和Fed-AMS。从理论上讲，我们提供了一个收敛性分析，我们的逐层FL方法，创造Fed-LAMB和Mime-LAMB，它匹配的收敛速度的状态的最先进的结果在FL和表现出线性加速的工人的数量。在IID和非IID局部数据设置下，在各种数据集和模型上的实验结果表明，与最近的各种自适应FL方法相比，Fed-LAMB和Mime-LAMB都具有更快的收敛速度和更好的泛化性能。
2022-06-23 cs.LG
AdaBFL: Multi-Layer Defensive Adaptive Aggregation for Bzantine-Robust Federated Learning
College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics（南京航空航天大学计算机科学与技术学院）；MIIT Key Laboratory of Pattern Analysis and Machine Intelligence（信息产业部模式分析与机器智能重点实验室）
本文提出AdaBFL，一种多层防御自适应聚合方法，用于对抗联邦学习中的拜占庭攻击，通过自适应调整防御算法权重提升鲁棒性，并在非iid数据下证明了收敛性。
2026-04-30 cs.AI cs.CR cs.LG
SSBNet: Improving Visual Recognition Efficiency by Adaptive Sampling
The Hong Kong University of Science and Technology（香港科技大学）
下采样被广泛采用，以实现视觉识别的准确性和延迟之间的良好权衡。不幸的是，通常使用的池化层没有学习，因此不能保留重要信息。作为另一种降维方法，自适应采样对与任务相关的区域进行加权和处理，从而能够更好地保留有用信息。然而，自适应采样的使用仅限于某些层。在本文中，我们证明了在深度神经网络的构建块中使用自适应采样可以提高其效率。特别是，我们提出了SSBNet，它是通过将采样层重复插入现有网络（如ResNet）来构建的。实验结果表明，该SSBNet在ImageNet和COCO数据集上均能实现具有竞争力的图像分类和目标检测性能.例如，SSB-ResNet-RS-200在ImageNet数据集上实现了82.6%的准确率，比基线ResNet-RS-152高出0.6%，具有类似的复杂性。可视化显示了SSBNet在允许不同层聚焦于不同位置方面的优势，消融研究进一步验证了自适应采样优于统一方法的优势。
2022-07-23 cs.AI cs.CV cs.LG
Noise-Adaptive Layerwise Learning Rates: Accelerating Geometry-Aware Optimization for Deep Neural Network Training
George Mason University（乔治·玛斯纳大学）
本文提出了一种基于几何感知优化的噪声自适应分层学习率方案，通过动态调整学习率提升深度神经网络训练效率。
2026-02-02 cs.LG
Layer-wise Adaptive Model Aggregation for Scalable Federated Learning
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）
在联邦学习中，跨客户端聚合本地模型的常用方法是定期对完整模型参数进行平均。然而，已知神经网络的不同层可以具有跨客户端的不同程度的模型差异。传统的全聚合方案没有考虑这种差异，而是一次性地对整个模型参数进行调整，导致网络带宽消耗效率低下。聚集在客户端之间相似的参数不会取得有意义的训练进展，同时会增加通信成本。我们提出了FedLAMA，一个分层的模型聚合方案，可扩展的联邦学习。FedLAMA自适应地调整聚合间隔在一个逐层的方式，联合考虑模型的差异和通信成本。分层聚合方法能够精细地控制聚合间隔，以放松聚合频率，而不会对模型精度产生显著影响。我们的实证研究表明，FedLAMA降低了高达60%的IID数据和70%的非IID数据的通信成本，同时实现了可比的准确性FedAvg。
2022-01-03 cs.LG
Adaptive Cross-Layer Attention for Image Restoration
Arizona State University（亚利桑那州立大学）；Kuaishou Technology（快手科技）
针对传统非局部注意力忽略跨层特征关联的问题，本文提出ACLA模块，通过自适应选择注意力关键并搜索模块插入位置，在多项图像复原任务上实现高效且紧凑的性能提升。
2023-04-18 cs.CV cs.LG eess.IV
Adaptive Multi-layer Contrastive Graph Neural Networks
PLA Strategy Support Force Information Engineering University（中国人民解放军战略支援部队信息工程大学）
本文提出自适应多层对比图神经网络AMC-GNN，通过注意力机制自适应融合多层嵌入并引入辅助编码器进行自监督对比学习，在多个图基准数据集上持续提升分类准确率。
2021-09-29 cs.LG
ANS: Adaptive Network Scaling for Deep Rectifier Reinforcement Learning Models
National Taiwan University（国立台湾大学）；RIKEN-AIP（理化学研究所人工智能研究中心）
这项工作提供了一个深入的研究如何奖励缩放可以影响深度强化学习代理的性能。特别是，我们想回答这样一个问题：奖励缩放如何影响RL中的非饱和ReLU网络？这个问题很重要，因为ReLU是深度学习模型中最有效的激活函数之一。我们还提出了一个自适应网络缩放框架，在学习过程中找到合适的奖励规模，以获得更好的性能。我们进行了实证研究，以证明解决方案。
2018-10-31 cs.AI cs.LG stat.ML
Stochastic Gradient Methods with Layer-wise Adaptive Moments for Training of Deep Networks
NVIDIA（英伟达）
我们提出了NovoGrad，自适应随机梯度下降方法与逐层梯度归一化和解耦的权重衰减。在我们对用于图像分类、语音识别、机器翻译和语言建模的神经网络进行的实验中，它的性能与使用动量和Adam或AdamW进行良好调整的SGD相当或更好。此外，NovoGrad（1）对学习率和权重初始化的选择具有鲁棒性，（2）在大批量设置中工作良好，（3）内存占用比Adam小两倍。
2020-02-06 cs.LG stat.ML
Layer-Specific Adaptive Learning Rates for Deep Networks
University of Maryland（马里兰大学）；US Naval Academy（美国海军学院）
深度学习架构的复杂性不断增加，导致训练时间需要数周甚至数月。这种缓慢的训练部分是由于梯度消失，其中反向传播使用的梯度对于连接深层（靠近输出层的层）的权重非常大，而对于浅层（靠近输入层）的权重非常小;这导致浅层的学习缓慢。此外，还表明在高度非凸问题中，例如深度神经网络，存在高误差低曲率鞍点的扩散，这大大减慢了学习速度。在本文中，我们试图通过提出一种用于训练深度神经网络的优化方法来克服上述两个问题，该方法使用学习率，该学习率既特定于网络中的每一层，又自适应于函数的曲率，增加低曲率点处的学习率。这使我们能够加快网络浅层的学习速度，并快速摆脱高误差低曲率鞍点。我们在MNIST、CIFAR 10和ImageNet等标准图像分类数据集上测试了我们的方法，并证明了我们的方法比标准算法提高了准确性，同时减少了所需的训练时间。
2015-10-15 cs.AI cs.CV cs.LG
Layer Pruning for Accelerating Very Deep Neural Networks
Cloudwalk Technology（云从科技）
在本文中，我们提出了一种自适应修剪方法。该方法能够自适应地截断信道和层。自适应地学习待切割的层和通道的比例。本文提出的剪枝方法可以减少一半的参数，并且精度不会下降甚至高于基线。
2019-10-28 cs.CV cs.LG
OUIDecay: Adaptive Layer-wise Weight Decay for CNNs Using Online Activation Patterns
Universitat Politècnica de València（瓦伦西亚理工大学）；Universitat Jaume I（Jaime I 大学）；Openchip & Software Technologies S.L.（Openchip 及软件技术公司）
OUIDecay通过在线激活模式动态调整CNN各层权重衰减系数，利用OUI指标提升泛化能力，实验证明其在多个数据集上优于固定衰减和梯度自适应方法。
2026-05-11 cs.LG
Dynamic Layer Normalization for Adaptive Neural Acoustic Modeling in Speech Recognition
MILA（米拉研究所）；Université de Montréal（蒙特利尔大学）；Samsung Advanced Institute of Technology（三星先进技术研究院）
层归一化是最近引入的一种技术，用于对深度神经网络中的神经元活动进行归一化，以提高训练速度和稳定性。在本文中，我们介绍了一种新的层归一化技术称为动态层归一化（DLN）的自适应神经声学建模在语音识别。通过在层归一化中动态生成缩放和移位参数，DLN使神经声学模型适应于由诸如扬声器、信道噪声和环境等各种因素引起的声学变化。与其他自适应声学模型不同，我们提出的方法不需要额外的自适应数据或扬声器信息，如i向量。此外，模型大小是固定的，因为它动态地生成自适应参数。我们将我们提出的DLN应用于深度双向LSTM声学模型，并在大词汇量ASR实验的两个基准数据集上进行评估：WSJ和TED-LIUM版本2。实验结果表明，我们的DLN提高了神经声学模型的转录准确性，通过动态适应各种扬声器和环境。
2017-07-19 cs.CL cs.LG
LARV: Data-Free Layer-wise Adaptive Rescaling Veneer for Model Merging
University of Connecticut（康奈尔大学）；University of Georgia（佐治亚大学）
LARV通过层间自适应重标量技术提升模型合并性能，无需训练或修改现有合并器，有效抑制浅层干扰并增强深层特征对齐。
2026-02-10 cs.AI cs.CV cs.LG
GRASP: Replace Redundant Layers with Adaptive Singular Parameters for Efficient Model Compression
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））
GRASP通过自适应奇异参数替代冗余层，实现高效模型压缩并保持高性能。
2026-02-22 cs.CL cs.LG
SpecBound: Adaptive Bounded Self-Speculation with Layer-wise Confidence Calibration
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology, Chinese Academy of Sciences（智能信息处理重点实验室，计算技术研究所，中国科学院）；State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（人工智能安全国家重点实验室，计算技术研究所，中国科学院）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国）
本文提出一种新型自适应自我猜测框架，通过层间温度退火抑制虚假置信，根据token解码难度动态限制猜测长度，提升大语言模型的自回归推理效率。
2026-04-14 cs.AI cs.CL cs.LG
Evaluating Deep Learning in SystemML using Layer-wise Adaptive Rate Scaling(LARS) Optimizer
Arizona State University（亚利桑那州立大学）
增加深度学习模型的批量大小是一项具有挑战性的任务。虽然它可能有助于在模型的训练阶段充分利用可用的系统内存，但它通常会导致测试准确性的显著损失。LARS通过为深度学习模型的每一层引入自适应学习率来解决这个问题。然而，人们对流行的分布式机器学习系统（如SystemML或MLlib）如何使用此优化器表示怀疑。在这项工作中，我们将LARS优化器应用于使用SystemML实现的深度学习模型。我们使用各种批量大小进行实验，并将LARS优化器的性能与\textit{Stochastic Gradient Descent}进行比较。我们的实验结果表明，LARS优化器的性能显着优于随机梯度下降大批量，即使与分布式机器学习框架，SystemML。
2021-02-05 cs.LG
Train Feedfoward Neural Network with Layer-wise Adaptive Rate via Approximating Back-matching Propagation
Micorosoft Research Asia（微软亚洲研究院）
随机梯度下降（SGD）在训练深度神经网络方面取得了巨大成功，其中梯度是通过反向传播计算的。然而，不同层的反向传播值差异很大。这种跨不同层的梯度幅度的不一致性使得具有单一学习率的深度神经网络的优化成问题。我们引入了反向匹配传播，它通过匹配层输出上的反向值来计算层参数和输入上的反向值。这导致解决一堆最小二乘问题，这需要很高的计算成本。然后，我们减少了近似的后匹配传播，并提出了一种算法，变成了定期SGD与逐层自适应学习率策略。这使得我们的算法在当前的机器学习框架配备了自动微分容易实现。我们将我们的算法应用于训练现代深度神经网络，并取得了优于SGD的结果。
2018-02-27 cs.LG stat.ML
Prediction of Deep Ice Layer Thickness Using Adaptive Recurrent Graph Neural Networks
Lehigh University（理海大学）
本文提出一种基于自适应循环图卷积网络的机器学习模型，利用机载雷达数据获取的近年积雪量预测历史积雪量，在深层冰层厚度预测上优于非时间、非几何和非自适应模型。
2023-06-22 cs.LG eess.SP
GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning
National University of Defense Technology（国防科技大学）；Information Support Force Engineering University（信息支援部队工程大学）
GRASS提出一种基于梯度的自适应层级重要性采样方法，通过动态调整层采样概率和优化器状态卸载机制，在降低内存使用的同时提升微调性能，实验显示其在多个模型和基准测试中均优于现有方法。
2026-04-09 cs.CL cs.LG
ADMN: A Layer-Wise Adaptive Multimodal Network for Dynamic Input Noise and Compute Resources
Electrical and Computer Engineering University of California, Los Angeles（电气与计算机工程大学加州大学洛杉矶分校）；DEVCOM Army Research Laboratory（国防部陆军研究实验室）；University of California, Los Angeles（加州大学洛杉矶分校）；Amazon（亚马逊）
针对多模态系统在动态场景下计算资源波动、输入质量起伏的问题，提出逐层自适应多模态网络ADMN，可按资源约束和模态质量动态分配层资源，在精度持平的情况下最高减少75%的浮点运算。
2025-10-28 cs.AI cs.CV cs.LG
Semantic Image Synthesis with Spatially-Adaptive Normalization
UC Berkeley（加州大学伯克利分校）；NVIDIA（英伟达）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
我们提出了空间自适应规范化，一个简单但有效的层，用于合成逼真的图像给定的输入语义布局。以前的方法直接将语义布局作为输入提供给深度网络，然后通过卷积、归一化和非线性层堆栈进行处理。我们表明，这是次优的规范化层往往“洗掉”语义信息。为了解决这个问题，我们建议使用输入布局，通过空间自适应的学习转换来调节归一化层中的激活。在几个具有挑战性的数据集上的实验表明，所提出的方法优于现有的方法，在视觉保真度和对齐与输入布局。最后，我们的模型允许用户控制语义和风格。代码可在https://github.com/NVlabs/SPADE上获得。
2019-11-05 cs.AI cs.CV cs.GR
Deep Latent Dirichlet Allocation with Topic-Layer-Adaptive Stochastic Gradient Riemannian MCMC
针对深度离散潜变量模型（LVMs）开发基于随机梯度的可扩展推理是具有挑战性的，这是由于不仅难以计算梯度，而且难以使步长适应不同的潜在因子和隐藏层。对于泊松伽马信念网络（PGBN），最近提出的深度离散LVM，我们推导出一种替代表示，被称为深度潜在狄利克雷分配（DLDA）。利用数据增广和边缘化技术，我们推导出一个块对角费舍尔信息矩阵和它的逆单形约束的全球模型参数的DLDA。利用费舍尔信息矩阵与随机梯度MCMC，我们提出了主题层自适应随机梯度黎曼（TLASGR）MCMC，共同学习单纯形约束的全局参数在所有层和主题，主题和层特定的学习率。在大数据集上展示了最先进的结果。
2017-06-06 cs.LG stat.CO stat.ML
FedLWS: Federated Learning with Adaptive Layer-wise Weight Shrinking
School of Artificial Intelligence, Jilin University（吉林大学人工智能学院）；International Center of Future Science, Jilin University（吉林大学未来科学国际中心）
针对联邦学习中的全局权重收缩效应，提出自适应逐层权重收缩策略FedLWS，以逐层方式设计收缩因子，避免代理数据集优化，实验证明其优于现有方法。
2025-03-28 cs.LG
Convolutional Networks with Adaptive Inference Graphs
Google Research（谷歌研究院）；Cornell University（康奈尔大学）
卷积网络真的需要固定的前馈结构吗？如果在识别图像的高级概念之后，网络可以直接移动到可以区分细粒度差异的层，那会怎么样？目前，一个网络首先需要执行数百个中间层，这些中间层专门处理不相关的方面。理想情况下，网络对图像的了解越多，就越能更好地决定下一步要计算哪一层。在这项工作中，我们提出了具有自适应推理图（ConvNet-AIG）的卷积网络，该网络根据输入图像自适应地定义其网络拓扑。遵循类似于残差网络（ResNets）的高级结构，ConvNet-AIG为每个输入图像动态决定需要哪些层。在ImageNet上的实验中，我们证明了ConvNet-AIG可以为不同的类别学习不同的推理图。具有50层和101层的ConvNet-AIG都优于ResNet，同时分别减少了20%和38%的计算量。通过将参数分组到相关类的层中并仅执行相关层，ConvNet-AIG提高了效率和整体分类质量。最后，我们还研究了自适应推理图对对抗性示例敏感性的影响。我们观察到ConvNet-AIG比ResNets具有更高的鲁棒性，补充了其他已知的防御机制。
2020-05-08 cs.CV cs.LG
Spectral clustering via adaptive layer aggregation for multi-layer networks
Columbia University（哥伦比亚大学）；Michigan State University（密歇根州立大学）；New York University（纽约大学）
网络分析中的一个基本问题是发现多层网络中的社团结构，其中每一层代表节点之间的一种边信息。我们提出了基于有效凸层聚合的综合谱聚类方法。我们的聚合方法的强烈动机是一个微妙的渐近分析的频谱嵌入加权邻接矩阵和下游$k$ -手段聚类，在一个具有挑战性的制度，社区检测一致性是不可能的。事实上，该方法被示出来估计最优凸聚集，该最优凸聚集在一些专门的多层网络模型下使误聚类误差最小化。我们的分析进一步表明，使用高斯混合模型的聚类一般优于常用的$k$ -均值谱聚类。大量的数值研究表明，我们的自适应聚合技术，再加上高斯混合模型聚类，使新的谱聚类显着的竞争力相比，几个常用的方法。
2022-10-06 cs.LG cs.SI math.ST
Layer-wise Adaptive Step-Sizes for Stochastic First-Order Methods for Deep Learning
本文提出利用深度神经网络 Hessian 对角块中的逐层曲率信息为每层自适应计算学习率，使带动量的 SGD 和 AdamW 无需手动调参即可在多种深度模型上取得优于精细调参和主流优化算法的性能。
2023-07-05 cs.LG math.OC
Adaptive Integrated Layered Attention (AILA)
Northeastern University（东北大学）
本文提出融合密集跳跃连接与自适应层间复用机制的 AILA 架构，并通过金融预测、CIFAR-10 和 IMDB 任务验证其以更低计算成本匹敌 LSTM、Transformer 与 ResNet。
2025-05-12 cs.AI cs.CL cs.CV
Batch Clipping and Adaptive Layerwise Clipping for Differential Private Stochastic Gradient Descent
University of Connecticut（康涅狄格大学）；IBM Research（IBM研究院）；CWI Amsterdam（阿姆斯特丹国家数学与计算机科学研究所）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；eBay（易贝）
针对传统个体裁剪的DPSGD无法使用批量归一化层、现有自适应逐层裁剪无严格差分隐私证明的问题，提出批量裁剪与新的自适应逐层裁剪方法，给出严格DP证明，实验验证其在CIFAR-10的resnet-18任务上可实现收敛。
2023-07-21 cs.LG
Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation
University of Nevada, Reno（内华达大学雷诺分校）
本文提出层自适应稀疏化模型聚合方法LASA，通过预聚合稀疏化和逐层自适应过滤提升联邦学习对拜占庭攻击的鲁棒性，并在多种数据集上验证其有效性。
2024-09-02 cs.CR cs.DC cs.LG
EDGE-LLM: Enabling Efficient Large Language Model Adaptation on Edge Devices via Layerwise Unified Compression and Adaptive Layer Tuning and Voting
Georgia Institute of Technology（佐治亚理工学院）；University of Minnesota, Twin Cities（明尼苏达大学双城分校）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对边缘设备上大语言模型适配的计算与内存开销过高问题，提出含分层统一压缩、自适应层调优投票及硬件调度的Edge-LLM框架，实现2.92倍加速与4倍内存降低且精度相当。
2024-06-22 cs.DC cs.LG
Layer-Wise Adaptive Updating for Few-Shot Image Classification
AIbee（爱笔）；MiningLamp（明略科技）
Few-Shot图像分类（FSIC）是一种通过对少量图像的学习来识别新类别的方法，受到了广泛的关注。最近，基于元学习的方法已被证明是FSIC的一个有前途的方向。通常，他们训练元学习器（元学习模型）来学习容易微调的权重，并且当解决FSIC任务时，元学习器通过在任务的几个图像上更新自身来有效地将自身微调到特定于任务的模型。在本文中，我们提出了一种新的基于元学习的分层自适应更新（LWAU）方法FSIC。LWAU的灵感来自于一个有趣的发现，即与常见的深度模型相比，元学习器在从少量图像中学习时，更注重更新其顶层。根据这一发现，我们假设元学习器可能更喜欢更新其顶层而不是更新其底层，以获得更好的FSIC性能。因此，在LWAU中，元学习器被训练为不仅学习容易微调的模型，而且学习其喜欢的逐层自适应更新规则，以提高其学习效率。大量的实验表明，与逐层自适应更新规则，建议LWAU：1）优于现有的Few-Shot分类方法具有明确的利润率; 2）在解决FSIC时，从少数图像中学习的效率至少是现有元学习器的5倍。
2020-07-16 cs.CV cs.LG eess.IV
Stochastic Deep Model Reference Adaptive Control
University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出了一种基于随机深度神经网络的模型参考自适应控制。在我们的工作“深度模型参考自适应控制“的基础上，我们通过使用贝叶斯深度神经网络（DNN）来表示不确定性和模型非线性来扩展控制器的能力。随机深度模型参考自适应控制使用基于Lyapunov的方法来实时调整DNN模型的输出层权重，同时使用数据驱动的监督学习算法来更新内层参数。这种异步网络更新确保有界性和保证跟踪性能与基于学习的实时反馈控制器。DNN学习的贝叶斯方法有助于避免过度拟合数据，并提供预测的置信区间。控制器的随机特性也确保了“激励的诱导持续性”，从而导致整个系统信号的收敛。
2021-08-04 cs.AI cs.LG cs.RO
Layer-Adaptive State Pruning for Deep State Space Models
POSTECH（浦项科技大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对深度状态空间模型高状态维度计算成本高的问题，提出层自适应状态剪枝方法LAST，通过$\mathcal{H}_{\infty}$范数评分实现跨层剪枝，平均剪枝33%状态且准确率仅降0.52%。
2025-01-31 cs.LG cs.SY eess.SY
Dense Adaptive Cascade Forest: A Self Adaptive Deep Ensemble for Classification Problems
Southwest Jiaotong University（西南交通大学）；University of Electronic Science and Technology of China（电子科技大学）；Rutgers University（罗格斯大学）
最近的研究表明，与一般的集成学习方法相比，深度森林集成在分类精度上有了相当大的提高，特别是在训练集较小的情况下。在本文中，我们利用深森林集成，并介绍了密集自适应级联森林（daForest）。我们的模型有一个更好的性能比原来的级联森林有三个主要特点：首先，我们应用SAMME.R boosting算法来提高模型的性能。随着层数的增加，它保证了改进。其次，我们的模型以前馈方式将每一层连接到后续层，这增强了模型抵抗性能退化的能力。第三，我们在第一个分类层之前添加了一个超参数优化层，使我们的模型花费更少的时间来建立和找到最佳的超参数。实验结果表明，daForest的性能非常好，在某些情况下，甚至优于神经网络，并达到了最先进的结果。
2019-05-14 cs.LG stat.ML
