Aggregated Learning: A Deep Learning Framework Based on Information-Bottleneck Vector Quantization
National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）；Beihang University（北京航空航天大学）
基于信息瓶颈（IB）的概念，我们制定了一个量化问题称为“IB量化”。我们表明IB量化等效于基于IB原则的学习。在这种等价性下，标准神经网络模型可以被看作是标量（单样本）IB量化器。从传统的率失真理论可知，标量量化器劣于矢量（多样本）量化器。这样的缺陷，然后启发我们开发一种新的学习框架，AgrLearn，对应于矢量IB量化器的学习与神经网络。与标准网络不同，AgrLearn同时针对多个数据样本进行优化。我们通过实验验证了AgrLearn在应用于当前几种用于图像识别和文本分类的深度学习架构时可以带来显著的改进。我们还通过经验证明，AgrLearn可以减少ResNet训练所需的训练样本的80%。
2019-02-12 cs.AI cs.IT cs.LG
Adaptive Training of Random Mapping for Data Quantization
Qingdao University（青岛大学）；Macau University of Science and Technology（澳门科技大学）
数据量化学习具有特定要求的数据的编码结果，并为数据处理的许多实际应用提供了广阔的前景。然而，编码器的结果通常限于随机映射的多变量输入，并且二进制码的边信息很难尽可能地描述原始数据模式。在文献中，基于余弦的随机量化由于其固有的有界结果而引起了广泛的关注。然而，它通常遭受不确定的输出，和原始数据的信息不能完全保留在减少码。在这项工作中，一种新的二进制嵌入方法，称为自适应训练量化（ATQ），提出了学习随机编码器的理想变换，其中余弦随机映射的限制得到解决。作为一种自适应学习思想，利用数据组的思想自适应地计算约简映射，同时改进随机变换的偏差，以保持最多的匹配信息。实验结果表明，与其他随机量化方法相比，该方法能够获得优异的性能。
2017-05-26 cs.AI cs.LG
CALM: A CKA-Guided Adaptive Layer-Wise Modularization Framework for LLM Quantization
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）
CALM提出一种基于CKA的自适应层级模块化框架，通过独立评估各层最佳量化策略，提升LLM量化效果。
2026-01-08 cs.AI cs.LG
AdaQAT: Adaptive Bit-Width Quantization-Aware Training
Univ. Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（法国雷恩信息与自动化研究所）；CNES（法国国家太空研究中心）
提出AdaQAT方法，通过梯度下降在训练中自动优化权重和激活的位宽，实现高效的混合精度量化，在从头训练和微调场景中均表现优异。
2024-04-22 cs.AI cs.LG
MixQuant: Adaptive Mixed-Precision Quantization for Large Language Models
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
研究针对大语言模型量化中预算变化及层敏感度评估问题，提出MixQuant自适应框架，通过边缘化失真获与预算无关分数、校准参数并惩罚不合理分配，在多种模型上优于基线，提升准确率并降低困惑度。
2026-07-28 cs.AI cs.LG
APreQEL: Adaptive Mixed Precision Quantization For Edge LLMs
Lab-STICC, CNRS UMR 6285 , ENSTA, Institut Polytechnique de Paris（法国巴黎理工学院STICC实验室、CNRS UMR 6285、ENSTA）；National Taiwan University（台湾国立台湾大学）
本文提出了一种适应性混合精度量化方法，通过分析层间贡献和硬件平台行为，优化边缘部署中的内存、延迟和精度平衡。
2026-03-24 cs.AI cs.LG
Quantization-Based Regularization for Autoencoders
KTH Royal Institute of Technology（瑞典皇家理工学院）；Research Institutes of Sweden（瑞典研究机构）
自动编码器及其变体提供了无监督模型，用于学习下游任务的低维表示。如果没有适当的正则化，自动编码器模型容易受到过拟合问题和所谓的后验崩溃现象的影响。在本文中，我们在自动编码器模型的瓶颈阶段引入了一个基于量化的正则化器来学习有意义的潜在表示。我们结合了矢量量化-变分自编码器（VQ-VAE）和神经网络的经典去噪正则化方法。我们将量化器解释为正则化器，其约束潜在表示，同时在编码器处促进保持相似性的映射。在量化之前，我们对潜在代码施加噪声，并使用贝叶斯估计器来优化基于量化器的表示。引入的瓶颈贝叶斯估计器输出的后验均值的质心的解码器，因此，正在执行软量化的噪声潜在的代码。我们表明，我们提出的正则化方法相比，使用其他瓶颈结构的自动编码器，在改进的潜在表示的监督学习和集群下游任务。
2020-01-22 cs.LG stat.ML
Data-Free Quantization with Accurate Activation Clipping and Adaptive Batch Normalization
College of Biomedical Engineering & Instrument Science（生物医学工程与仪器科学学院）；Zhejiang University（浙江大学）
无数据量化是一种在不访问原始训练数据的情况下将神经网络压缩到低位宽的任务。现有的无数据量化方法由于激活限幅范围和量化误差的不准确，特别是对于低比特宽度，会导致严重的性能下降。在本文中，我们提出了一个简单而有效的无数据量化方法，准确的激活裁剪和自适应批量归一化。精确激活裁剪（AAC）通过利用来自全精度模型的精确激活信息来提高模型精度。自适应批量归一化首先提出通过自适应地更新批量归一化层来解决来自分布变化的量化误差。大量的实验表明，所提出的无数据量化方法可以产生令人惊讶的性能，在ImageNet数据集上达到ResNet 18的64.33%的top-1准确率，比现有的最先进的方法有3.7%的绝对改进。
2022-06-22 cs.AI cs.CV cs.LG
DAdaQuant: Doubly-adaptive quantization for communication-efficient Federated Learning
University of Cambridge（剑桥大学）
联邦学习（FL）是一种强大的技术，用于以隐私保护的方式使用来自多个客户端的数据在服务器上训练模型。在FL中，服务器将模型发送给每个客户端，然后客户端在本地训练模型并将其发送回服务器。服务器聚合更新的模型并重复该过程几轮。FL会产生很大的通信成本，特别是在将更新的本地模型从客户端传输回服务器时。最近提出的算法优化模型参数，以有效地压缩FL通信。这些算法通常具有控制压缩因子的量化级别。我们发现，动态适应的量化级别可以提高压缩，而不牺牲模型的质量。首先，我们引入了一种时间自适应量化算法，随着训练的进行，该算法增加了量化级别。其次，我们引入了一种客户端自适应量化算法，该算法在每一轮为每个客户端分配最佳量化级别。最后，我们将这两种算法结合成DAdaQuant，双自适应量化算法。我们的实验表明，DAdaQuant始终提高客户端$\rightarrow$服务器压缩，性能优于最强的非自适应基线高达$2.8\times$。
2021-10-31 cs.LG
HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization
BRAIn Lab（BRAIn实验室）
提出HARP，一种可学习的结构化双正交处理器，替代固定随机哈达玛变换，通过自适应旋转基来改善极端低位量化中的激活异常值和各向异性权重曲率问题，在2-4比特设置下提升困惑度和零样本准确率，并保持部署效率。
2026-09-04 cs.AI cs.LG
VP-VAE: Rethinking Vector Quantization via Adaptive Vector Perturbation
Xi'an Jiaotong University, China（西安交通大学）
VP-VAE通过自适应向量扰动方法解耦表示学习与离散化，提升生成模型的稳定性与重建保真度。
2026-02-19 cs.AI cs.LG
AMS-QUANT: Adaptive Mantissa Sharing for Floating-point Quantization
Huawei Inc.（华为公司）
本文提出 AMS-Quant，通过尾数比特共享和自适应搜索实现非整数位宽浮点量化，并以 CUDA 内核在可忽略精度损失下获得最高 3.2 倍解码加速。
2025-10-16 cs.AI cs.LG
SpecQuant: Spectral Decomposition and Adaptive Truncation for Ultra-Low-Bit LLMs Quantization
Shanghai Jiao Tong University（上海交通大学）
本文提出SpecQuant框架，通过频域分解和自适应截断实现超低比特LLM量化，提升模型压缩效率与精度，实现4比特量化，准确率损失仅1.5%，推理速度提升2倍，内存使用降低3倍。
2026-04-08 cs.AI cs.LG
GANQ: GPU-Adaptive Non-Uniform Quantization for Large Language Models
The University of Hong Kong（香港大学）
本文提出 GANQ，一种面向 GPU、基于查找表 mpGEMM 的逐层训练后非均匀量化框架，以无需训练的自适应优化降低量化误差，并在 3/4-bit 设置下改善困惑度、实现最高 2.57× 推理加速。
2025-06-09 cs.AI cs.LG math.OC
Significance-aware Information Bottleneck for Domain Adaptive Semantic Segmentation
School of Computer Science & Technology, HUST（华中科技大学计算机科学与技术学院）；CAI, UTS（悉尼科技大学人工智能中心）
在无监督的领域自适应问题中，通过对抗学习在潜在特征空间中对齐两个领域的策略在图像分类中取得了很大的进展，但在潜在表示过于复杂的语义分割任务中通常失败。在这项工作中，我们为对抗网络配备了“重要性感知信息瓶颈（SIB）”，以解决上述问题。新的网络结构称为SIBAN，在对抗适应之前实现了重要性感知的特征纯化，这简化了特征对齐并稳定了对抗训练过程。在两个领域自适应任务中，即，GTA5 -> Cityscapes和SYNTHIA -> Cityscapes，我们验证了所提出的方法可以产生领先的结果相比，其他特征空间的替代品。此外，SIBAN甚至可以匹配最先进的输出空间方法的分割精度，而后者通常被认为是更好的选择域自适应分割任务。
2019-04-01 cs.AI cs.CV cs.LG
Model-Preserving Adaptive Rounding
Department of Computer Science, Cornell University（康奈尔大学计算机科学系）
提出一种直接考虑网络输出误差的自适应舍入量化算法YAQA，通过理论分析给出首个端到端误差界，并利用Kronecker分解近似Hessian矩阵，在无推理开销下实现优于GPTQ/LDLQ约30%的误差降低。
2026-06-03 cs.AI cs.LG
QTALE: Quantization-Robust Token-Adaptive Layer Execution for LLMs
Department of Semiconductor Systems Engineering, Sungkyunkwan University（成均馆大学半导体系统工程系）
提出QTALE框架，通过多样化训练路径和后训练调整机制，实现令牌自适应层执行与量化的无缝集成，在保持精度的同时降低计算和内存开销。
2026-07-03 cs.LG
RAMP: Reinforcement Adaptive Mixed Precision Quantization for Efficient On Device LLM Inference
RAMP通过强化学习动态调整各层位宽，优化精度与效率平衡，在LLaMA 2 7B上实现更小模型体积和更高推理质量。
2026-03-18 cs.AI cs.LG
DQT: Dynamic Quantization Training via Dequantization-Free Nested Integer Arithmetic
DQT通过嵌套整数表示和定制整数运算，实现无需去量化和再量化的动态混合精度量化，提升效率与精度。
2025-08-07 cs.AI cs.LG
Channel Pruning In Quantization-aware Training: An Adaptive Projection-gradient Descent-shrinkage-splitting Method
University of California, Irvine（加利福尼亚大学尔湾分校）；Department of Mathematics（数学系）
我们提出了一种自适应投影-梯度下降-收缩分裂方法（APGDSSM），将基于惩罚的通道修剪集成到量化感知训练（QAT）中。APGDSSM同时在量化子空间和稀疏子空间中搜索权重。APGDSSM使用收缩算子和分裂技术来创建稀疏权重，以及组Lasso惩罚来将权重稀疏性推到通道稀疏性。此外，我们提出了一种新的互补变换l1惩罚，以稳定极端压缩的训练。
2022-04-09 cs.AI cs.CV cs.LG
A Convergence Analysis of Adaptive Optimizers under Floating-point Quantization
The University of Hong Kong（香港大学）；Renmin University of China（中国人民大学）
本文提出理论框架分析自适应优化器在浮点量化下的收敛性，揭示Adam和Muon在不同量化下的表现差异，通过实验验证理论结果。
2026-03-01 cs.AI cs.LG stat.ML
Distribution Adaptive INT8 Quantization for Training CNNs
Machine Intelligence Technology Lab, Alibaba Group（阿里巴巴集团机器智能技术实验室）
研究表明，低位宽（例如，INT8）量化可以用来加速推理过程。这使得梯度量化非常有前途，因为反向传播需要大约两倍以上的计算比前向一个。由于梯度分布的可变性和不确定性，已经提出了许多方法来获得训练稳定性。然而，他们中的大多数忽略了通道的梯度分布和不同大小的梯度的影响，导致最终精度的下降。本文提出了一种新的卷积神经网络的INT 8量化训练框架来解决上述问题。具体地说，我们采用梯度矢量量化的基础上，观察到逐层梯度包含沿通道维度的多个分布的梯度。在此基础上，引入幅度感知的限幅策略，在最小化量化误差时考虑梯度的幅度，并给出了不同分布下的量化参数的理论推导。广泛的计算机视觉任务，如图像分类，目标检测和视频分类的实验结果表明，所提出的分布自适应INT8量化训练方法已经实现了几乎无损的训练精度为不同的骨干，包括ResNet，MobileNetV2，InceptionV3，VGG和AlexNet，这是优于国家的最先进的技术。此外，我们进一步实现了在最新的图灵架构下可以加速训练迭代超过200%的INT 8内核，即，我们的方法在训练精度和速度上都很出色。
2021-02-09 cs.AI cs.CV cs.LG
Adaptive Test-Time Intervention for Concept Bottleneck Models
Columbia University（哥伦比亚大学）；UC Berkeley（加州大学伯克利分校）
针对概念瓶颈模型（CBM）中概念使用存在黑箱或性能牺牲的问题，提出FIGS-BD方法，通过二元蒸馏将CBM的概念-目标部分转化为可解释树模型，保持性能的同时实现归因解释，并在4个数据集上通过自适应测试时干预显著提升人在环场景的性能。
2025-04-14 cs.LG
Learning Representations for CSI Adaptive Quantization and Feedback
Technische Universität München（慕尼黑工业大学）；Imperial College London（伦敦帝国理工学院）
针对FDD系统中现有CSI压缩量化方法重构误差高的问题，提出训练后量化和自编码器训练中生成码本两种自适应量化方法，均优于标准量化技术。
2022-07-13 cs.LG eess.SP
ANT: Exploiting Adaptive Numerical Data Type for Low-bit Deep Neural Network Quantization
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Microsoft Research（微软研究院）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；University of Rochester（罗切斯特大学）
量化是一种减少DNN模型计算和内存成本的技术，DNN模型变得越来越大。现有的量化解决方案使用定点整数或浮点类型，其优点有限，因为两者都需要更多的位来保持原始模型的准确性。另一方面，可变长度量化对正常值使用低比特量化，对一小部分异常值使用高精度量化。尽管这类工作带来了算法上的好处，但由于可变长度的编码和解码，它也引入了显著的硬件开销。在这项工作中，我们提出了一个固定长度的自适应数值数据类型称为ANT，以实现低比特量化与微小的硬件开销。我们的数据类型ANT利用两个关键创新来利用DNN模型中的张量内和张量间自适应机会。首先，我们提出了一种特殊的数据类型flint，它结合了float和int的优点，以适应张量中不同值的重要性。其次，我们提出了一个自适应框架，根据其分布特性为每个张量选择最佳类型。我们为ANT设计了一个统一的处理元素架构，并展示了其与现有DNN加速器集成的便利性。我们的设计结果在2.8 $\times$的加速比和2.5 $\times$能源效率的改善，在国家的最先进的量化加速器。
2022-08-30 cs.LG
UniQL: Unified Quantization and Low-rank Compression for Adaptive Edge LLMs
UniQL通过统一量化与低秩压缩技术，实现边缘LLM的高效部署，支持多种模型结构，提升内存效率与吞吐量，保持高精度。
2026-02-26 cs.AI cs.LG
Inner Product Aware Quantization: Provably Fast, Accurate, and Adaptive Algorithms
University of Pennsylvania（宾夕法尼亚大学）
本文提出内积感知量化方法，通过优化目标函数并利用自适应随机量化（ASQ）理论，开发出快速且无偏的量化算法，在保证质量的同时比现有方法快2-10倍。
2026-05-29 cs.DS cs.LG
HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization
Department of Engineering, King’s College London（伦敦国王学院工程系）；Advanced Technology Group, Ericsson Inc.（爱立信公司先进科技组）；Institute for Digital Communication, Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学数字通信研究所）
针对联邦微调 LLM 的资源、异构性、带宽与聚合难题，提出 HAFLQ，通过自适应量化、参数截断冻结、带宽感知精度调整和秩-1矩阵聚合，显著降本增效并提升准确率。
2025-05-16 cs.AI cs.DC cs.LG
Adaptive Gradient Quantization for Data-Parallel SGD
University of Toronto（多伦多大学）；Vector Institute；IST Austria（奥地利科学技术研究所）；NeuralMagic
SGD的许多通信高效变体使用梯度量化方案。这些方案通常是启发式的，并且在训练过程中是固定的。我们根据经验观察到，深度模型的梯度统计数据在训练过程中会发生变化。出于这种观察，我们介绍了两种自适应量化方案，ALQ和AMQ。在这两种方案中，处理器通过有效地计算参数分布的足够的统计量来并行地更新它们的压缩方案。在具有挑战性的低成本通信设置中，我们在CIFAR-10上将验证准确性提高了近2%，在ImageNet上提高了1%。我们的自适应方法对超参数的选择也更加鲁棒。
2020-10-23 cs.LG stat.ML
Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach
Seoul National University（首尔国立大学）
具有自适应位宽的深度神经网络量化由于易于在具有不同资源预算的各种平台上部署模型而受到越来越多的关注。在本文中，我们提出了一个元学习的方法来实现这一目标。具体来说，我们提出了MEBQAT，一种简单而有效的位宽自适应量化感知训练（QAT）的方法，其中通过重新定义元学习任务来合并位宽，将元学习有效地与QAT相结合。在平台上部署后，MEBQAT允许（Meta）训练模型被量化为任何候选位宽，然后帮助进行推理，而不会因量化而降低准确性。此外，在少样本学习场景下，MEBQAT还可以通过添加传统优化或基于度量的元学习来使模型适应任何位宽以及任何看不见的目标类。我们设计MEBQAT的变体以支持（1）位宽自适应量化场景和（2）新的少样本学习场景，其中量化位宽和目标类都被联合适配。我们的实验证明了他们的有效性，在多个QAT计划。通过比较它们的性能（位宽专用）QAT，现有的位宽自适应QAT和香草元学习，我们发现，合并到元学习任务的位宽实现了更高水平的鲁棒性。
2022-07-20 cs.CV cs.LG
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich（苏黎世联邦理工学院）；Singapore Management University（新加坡管理大学）
我们通过将其权重和激活量化为多个二进制基（称为多位网络（MBN））来研究深度神经网络的压缩，这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化（ALQ），一个新的MBN量化流水线，能够实现平均位宽低于一位，而不会显着损失的推理精度。与先前的MBN量化解决方案（其通过最小化误差来训练量化器以重构全精度权重）不同，ALQ直接最小化损失函数上的量化引起的误差，其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略，以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明，ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
Differentiable Dynamic Quantization with Mixed Precision and Adaptive Resolution
The Chinese University of Hong Kong（香港中文大学）；SenseBrain, Ltd（SenseBrain有限公司）；Shanghai AI Lab（上海人工智能实验室）；The University of Hong Kong（香港大学）
由于许多繁琐的超参数，如精度（位宽），动态范围（最小和最大离散值）和步长（离散值之间的间隔），模型量化具有挑战性。与仔细调整这些值的现有技术不同，我们提出了一种完全可微的方法来学习所有这些值，称为可微动态量化（DDQ），它有几个好处。(1)DDQ能够解决像MobileNets这样具有挑战性的轻量级架构，其中不同的层喜欢不同的量化参数。(2)DDQ是硬件友好的，可以很容易地实现使用低精度矩阵向量乘法，使它能够在许多硬件，如ARM。（3）广泛的实验表明，DDQ优于现有技术在许多网络和基准测试，特别是当模型已经是高效和紧凑的。例如，在一个实施例中，DDQ是第一种在ImageNet上为MobileNetV2实现无损4位量化的方法。
2021-07-07 cs.LG
MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization
Peng Cheng Laboratory（鹏城实验室）
本文提出MARR，一种模块自适应残差重建方法，通过为每个模块分配特定的缩放系数，平衡残差相关的HA偏差和累积误差校正，从而在低比特量化中提升性能。
2026-05-18 cs.AI cs.CV cs.LG
CafeQ: Calibration-free Quantization via Learned Transformations and Adaptive Rounding
Google（谷歌）；University of Wisconsin Madison（威斯康星大学麦迪逊分校）；University of California Los Angeles（加州大学洛杉矶分校）
CafeQ通过学习变换和自适应四舍五入方法，在无需校准数据的情况下提升大语言模型的量化效果，实现更高效的推理性能。
2025-11-24 cs.LG
Adaptive Binary-Ternary Quantization
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
神经网络模型需要大量的资源。很难在资源有限的设备上部署这种深度网络，如智能可穿戴设备，手机，无人机和自动驾驶汽车。诸如二进制和三进制量化之类的低位量化是减轻这种资源需求的常用方法。三进制量化提供了一个更灵活的模型，并在精度方面优于二进制量化，但内存占用加倍，并增加了计算成本。与这些方法相反，混合量化模型允许在精度和内存占用之间进行权衡。在这样的模型中，量化深度通常是手动选择的，或者使用单独的优化例程进行调整。后者需要多次训练量化的网络。在这里，我们提出了一种二进制和三进制量化的自适应组合，即智能量化（SQ），其中量化深度直接通过正则化函数进行修改，因此模型只训练一次。我们的实验结果表明，所提出的方法成功地适应量化深度，同时保持模型精度高MNIST和CIFAR 10基准测试。
2021-09-13 cs.CV cs.LG stat.ML
Entropy-Constrained Adaptive Stochastic Quantization
University College London（伦敦大学学院）；VMware Research by Broadcom（博通旗下VMware研究院）；Harvard University（哈佛大学）
本文针对自适应随机量化未考虑后续熵编码的精度损失问题，提出ECASQ方法，给出最优与GPU友好近似动态规划方案，实验表明其精度接近最优且速度优势显著。
2026-08-20 cs.AI cs.DS cs.IT
Optimal and Near-Optimal Adaptive Vector Quantization
UCL（伦敦大学学院）；VMware Research（VMware研究）；Harvard University（哈佛大学）
针对最优自适应量化方法运行与内存开销高、不可行的问题，该研究重新探究自适应矢量量化问题，提出了复杂度渐近优化的最优算法及面向大输入的快速近似最优算法，为其在更多机器学习场景的应用铺路。
2025-07-31 cs.DS cs.IT cs.LG
Information-Ordered Bottlenecks for Adaptive Semantic Compression
Institut d’Astrophysique de Paris（巴黎天体物理研究所）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Tsinghua University（清华大学）；Flatiron Institute（熨斗研究所）；Institut Lagrange de Paris（巴黎拉格朗日研究所）
提出信息有序瓶颈（IOB）层，通过似然最大化自适应压缩数据为有序潜变量，支持任意宽度截断，实现近最优压缩与语义排序，并在图像文本压缩及全局内在维度估计中达到SOTA表现。
2023-05-18 cs.LG
OAC: Output-adaptive Calibration for Accurate Post-training Quantization
Huawei Noah’s Ark Lab（华为诺亚实验室）；Department of Mathematics and Statistics, McGill University（麦吉尔大学数学与统计学系）
本文提出输出自适应校准OAC，将模型输出交叉熵损失纳入训练后量化误差，利用近似输出自适应Hessian更新权重并检测敏感权重，在2比特和二进制等极低精度量化下优于SpQR和BiLLM。
2025-05-05 cs.CL cs.LG
Adaptive Quantization of Model Updates for Communication-Efficient Federated Learning
Carnegie Mellon University（卡内基梅隆大学）；Weizmann Institute of Science（魏茨曼科学研究所）
客户端节点和中央聚合服务器之间的模型更新通信是联邦学习的主要瓶颈，特别是在带宽有限的设置和高维模型中。梯度量化是减少传送每个模型更新所需的比特数的有效方式，尽管代价是由于随机梯度的较高方差而具有较高的错误平层。在这项工作中，我们提出了一种自适应量化策略，称为AdaQuantFL，旨在实现通信效率，以及通过在训练过程中改变量化级别的数量低的错误地板。训练深度神经网络的实验表明，与固定量化级别设置相比，我们的方法可以在更少的通信比特中收敛，对训练和测试精度几乎没有影响。
2021-02-08 cs.DC cs.LG stat.ML
Adaptive Quantization for Deep Neural Network
Singapore University of Technology and Design（新加坡科技设计大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
近年来，深度神经网络（DNN）在各种应用中得到了快速发展，同时架构也越来越复杂。这些DNN的性能增益通常伴随着高计算成本和大内存消耗，这对于移动平台来说可能是负担不起的。深度模型量化可以用于减少DNN的计算和内存成本，并在移动设备上部署复杂的DNN。在这项工作中，我们提出了一个深度模型量化的优化框架。首先，我们提出了一种测量方法来估计各个层中的参数量化误差对整体模型预测精度的影响。然后，我们提出了一个优化过程，基于此测量为每一层找到最佳量化位宽。本文首次从理论上分析了各层参数量化误差与模型精度的关系。我们的新量化算法优于以前的量化优化方法，并实现了20-40%的压缩率相比，在相同的模型预测精度的等位宽量化。
2017-12-04 cs.LG stat.ML
FedAQ: Communication-Efficient Federated Edge Learning via Joint Uplink and Downlink Adaptive Quantization
Hong Kong University of Science and Technology（香港科技大学）
针对联邦学习在无线网络中通信开销大的问题，本文提出FedAQ框架，通过联合上下行自适应量化策略优化比特长度，实现最高66.7%的通信能量节省。
2024-06-26 cs.DC cs.LG cs.NI
Communication-Efficient Split Learning via Adaptive Feature-Wise Compression
POSTECH（浦项科技大学）；Purdue University（普渡大学）
本文提出SplitFC框架，通过自适应特征级dropout和量化压缩中间特征与梯度向量，在保持高准确率的同时显著降低拆分学习的通信开销。
2025-01-03 cs.AI cs.DC cs.LG
Rate-Adaptive Quantization: A Multi-Rate Codebook Adaptation for Vector Quantization-based Generative Models
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出速率自适应量化（RAQ）框架，通过数据驱动方法从单一基线VQ模型生成多速率码本，实现压缩与重建保真度的灵活权衡，并支持无需重训练的聚类适配，有效提升了基于向量量化生成模型的多比特率适应能力。
2025-01-31 cs.CV cs.LG eess.IV
Efficient Adaptive Activation Rounding for Post-Training Quantization
Shanghai Jiao Tong University（上海交通大学）；Microsoft（微软）
针对训练后激活量化的舍入次优及运行时开销问题，提出AQuant框架，通过自适应激活舍入边界函数降低输出误差，采用粗粒度版本控开销，在2位量化下显著提升ResNet-18等模型准确率。
2023-08-24 cs.CV cs.LG
Efficient and Robust Quantization-aware Training via Adaptive Coreset Selection
Hong Kong University of Science and Technology (HKUST)（香港科技大学）；Meta Reality Lab（元宇宙实验室）
提出基于误差向量得分和分歧得分的自适应核心集选择方法，用于量化感知训练，仅用10%数据即可在ImageNet-1K上提升4.24%准确率，并增强鲁棒性。
2024-08-20 cs.AI cs.CV cs.LG
Breaking the Activation Function Bottleneck through Adaptive Parameterization
University of Manchester（曼彻斯特大学）；The Alan Turing Institute（艾伦·图灵研究所）
标准的神经网络架构是非线性的，仅仅依靠一个简单的逐元素激活函数，使它们既脆弱又过大。在本文中，我们考虑的方法，使前馈层更灵活，同时保持其基本结构。我们开发了简单的下拉式替代，学习适应他们的参数化条件的输入，从而显着提高统计效率。我们提出了一个自适应LSTM，它可以提高Penn Treebank和WikiText-2单词建模任务的最新水平，同时使用更少的参数，并在不到一半的迭代次数内收敛。
2018-11-22 cs.LG cs.NE stat.ML
MoBiQuant: Mixture-of-Bits Quantization for Token-Adaptive Any-Precision LLM
University of Arizona（亚利桑那大学）；Duke University（杜克大学）；Sungkyunkwan University（成均馆大学）；Panasonic AI Lab（松下人工智能实验室）；Korea Advanced Institute of Science and Technology（韩国科学技术院）
针对动态运行时约束下大语言模型任意精度量化的泛化性问题，提出基于令牌敏感度的混合比特量化框架MoBiQuant，通过多合一递归残差量化和令牌感知路由器实现灵活推理，在匹配或超越前沿单精度PTQ的同时显著节省内存并提升吞吐量。
2026-11-03 cs.AI cs.CL cs.LG
Adaptive Concept Bottleneck for Foundation Models Under Distribution Shifts
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出自适应概念瓶颈框架，通过仅利用目标域无标签数据动态调整概念向量库与预测层，解决基础模型在分布偏移下的失败模式，提升可解释性与准确率。
2024-12-18 cs.AI cs.CV cs.LG
Adaptive Mesh-Quantization for Neural PDE Solvers
QUVA Lab University of Amsterdam（阿姆斯特丹大学QUVA实验室）；AMLAB University of Amsterdam（阿姆斯特丹大学AMLAB实验室）；FunAI Lab University of Technology Nuremberg（纽伦堡技术大学FunAI实验室）
本研究提出自适应网格量化方法，通过动态调整位宽优化神经PDE求解器的资源分配，提升复杂物理问题的求解效率。
2025-11-23 cs.LG
AAAC: Activation-Aware Adaptive Codebooks for 4-bit LLM Weight Quantization
University of Waterloo（滑铁卢大学）
提出AAAC方法，通过每层两个小型学习码本（64字节）替代固定标量码本，以激活加权重建误差最小化选择码本，实现零额外存储开销的4位权重量化，在3-30分钟内完成量化，精度优于现有方法。
2026-06-05 cs.CL cs.LG
A High-Performance Adaptive Quantization Approach for Edge CNN Applications
National Tsing-Hua University（清华大学）
最近的卷积神经网络（CNN）开发继续推进各种应用的最新模型精度。然而，增强的准确性是以大量的内存带宽和存储要求以及苛刻的计算资源为代价的。尽管在过去，量化方法有效地降低了边缘设备的部署成本，但在处理当代CNN的有偏激活时，它会遭受显著的信息损失。因此，在本文中，我们引入了一种自适应高性能量化方法，通过根据任务丢失动态调整缩放和移位因子来解决有偏激活的问题。我们提出的方法已经在使用ImageNet数据集的图像分类模型（ResNet-18/34/50，MobileNet-V2，EfficientNet-B 0），使用COCO数据集的目标检测模型（YOLO-V4）以及使用PTB数据集的语言模型上进行了广泛的评估。结果表明，我们的4位整数（INT 4）量化模型比最先进的4位模型实现了更好的精度，在某些情况下，甚至超过了黄金全精度模型。最终设计已成功部署到资源极其有限的边缘设备上，用于许多实际应用。
2021-07-18 cs.CV cs.LG
HAS-VQ: Hessian-Adaptive Sparse Vector Quantization for High-Fidelity LLM Compression
Independent Researcher（独立研究者）
HAS-VQ通过Hessian自适应稀疏向量量化实现大语言模型的高保真压缩，优于整数基线并实现无损压缩。
2026-01-11 cs.LG
LLM-PQ: Serving LLM on Heterogeneous Clusters with Phase-Aware Partition and Adaptive Quantization
University of Hong Kong（香港大学）；ByteDance Inc.（字节跳动公司）
针对异构 GPU 集群上 LLM 服务成本高、现有方案仅适合同构设备的问题，本文提出 LLM-PQ，通过自适应混合精度量化、阶段感知划分和微批次设置，在满足质量目标下最高提升推理吞吐量 2.88 倍。
2024-03-02 cs.AI cs.DC cs.LG
