Causal-DFQ: Causality Guided Data-free Network Quantization
Illinois Institute of Technology（伊利诺伊理工学院）；Cisco Research（思科研究院）
针对无数据网络量化缺乏训练数据的问题，本文构建因果图并提出 Causal-DFQ，通过内容—风格解耦生成与干预分布对齐实现量化，实验验证了其有效性。
2023-09-24 cs.CV cs.LG
Genie: A new, fast, and outlier-resistant hierarchical clustering algorithm
Systems Research Institute, Polish Academy of Sciences（波兰科学院系统研究所）；Faculty of Mathematics and Information Science, Warsaw University of Technology（华沙理工大学数学与信息科学学院）；Institute of Computer Science, Polish Academy of Sciences（波兰科学院计算机科学研究所）
应用层次聚类算法所需的时间通常由成对相异性度量的计算次数决定。对于较大的数据集，这样的约束使除了单一联系标准之外的所有经典联系标准的使用处于不利地位。然而，已知的是，单链接聚类算法对离群值非常敏感，产生高度偏斜的树状图，因此通常不反映真实的底层数据结构--除非聚类被很好地分离。为了克服它的局限性，我们提出了一个新的层次聚类链接标准称为精灵。也就是说，我们的算法以这样一种方式链接两个集群，即选择的经济不公平度量（例如，集群大小的基尼或邦弗朗尼指数）不会急剧增加到给定阈值以上。所提出的基准测试表明，所介绍的方法具有很高的实用性：它往往优于沃德或平均链接的聚类质量，同时保持单一的链接的速度。Genie算法很容易并行化，因此可以在多个线程上运行，以进一步加快其执行速度。它的内存开销很小：不需要预先计算完整的距离矩阵来执行计算以获得期望的聚类。它可以应用于配备有相异性度量的任意空间，例如，该算法的参考实现已包含在R的开源'genie'包中。另请参阅https://genieclust.gagolewski.com以获得新的实现（genieclust）-可用于R和Python。
2022-09-13 cs.LG stat.ML
Bit Efficient Quantization for Deep Neural Networks
Latent AI；SRI International（SRI国际）
深度神经网络的量化为边缘设备提供了模型，这些边缘设备使用更少的板载内存并实现高效的低功耗推理。在本文中，我们提出了一个模型参数驱动的量化方法，可以实现低至3位的精度，而不影响精度的比较。训练后量化方法是无数据的，并且所得权重值与模型已收敛到最优的数据集分布密切相关。我们使用ImageNet等大型数据集展示了一些最先进的深度神经网络（DNN）的量化结果。为了更好地分析量化结果，我们描述了通过各种量化方案提供的值的整体范围和局部稀疏性。我们展示了使用对象类聚类降低比特精度超过量化限制的方法。
2019-10-07 cs.CV cs.LG cs.PF
Hybrid and Non-Uniform quantization methods using retro synthesis data for efficient inference
Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
现有的量化感知训练方法试图通过利用训练数据来补偿量化损失，像大多数训练后量化方法一样，并且也是耗时的。这两种方法对于隐私约束应用都不是有效的，因为它们与训练数据紧密耦合。相比之下，本文提出了一种数据独立的后训练量化方案，消除了对训练数据的需要。这是通过从FP 32模型层统计生成人造数据集（以下称为逆合成数据）并进一步将其用于量化来实现的。这种方法优于最先进的方法，包括但不限于ZeroQ和DFQ，在ImageNet和CIFAR-10数据集上具有和不具有批次归一化层的模型上，分别具有8位、6位和4位精度。我们还介绍了后训练量化方法的两种未来变体，即混合量化和非均匀量化
2020-12-26 cs.CV
Data-Free Quantization with Accurate Activation Clipping and Adaptive Batch Normalization
College of Biomedical Engineering & Instrument Science（生物医学工程与仪器科学学院）；Zhejiang University（浙江大学）
无数据量化是一种在不访问原始训练数据的情况下将神经网络压缩到低位宽的任务。现有的无数据量化方法由于激活限幅范围和量化误差的不准确，特别是对于低比特宽度，会导致严重的性能下降。在本文中，我们提出了一个简单而有效的无数据量化方法，准确的激活裁剪和自适应批量归一化。精确激活裁剪（AAC）通过利用来自全精度模型的精确激活信息来提高模型精度。自适应批量归一化首先提出通过自适应地更新批量归一化层来解决来自分布变化的量化误差。大量的实验表明，所提出的无数据量化方法可以产生令人惊讶的性能，在ImageNet数据集上达到ResNet 18的64.33%的top-1准确率，比现有的最先进的方法有3.7%的绝对改进。
2022-06-22 cs.AI cs.CV cs.LG
Data-Free Network Quantization With Adversarial Knowledge Distillation
Samsung Semiconductor Inc.（三星半导体公司）；DGIST（大邱庆北科学技术院）
网络量化是深度学习中在移动或边缘平台上开发高效定点推理模型的重要过程。然而，随着数据集变得越来越大，隐私法规变得越来越严格，用于模型压缩的数据共享变得越来越困难和受限。在本文中，我们考虑无数据网络量化与合成数据。合成数据由生成器生成，而在训练生成器和量化中不使用数据。为此，我们提出了无数据的对抗性知识蒸馏，它最大限度地减少了教师和（量化）学生的输出之间的最大距离的任何对抗性样本从发电机。为了生成与原始数据相似的对抗样本，我们还提出了来自教师中生成数据和原始数据的批量归一化层的匹配统计。此外，我们还展示了使用多个生成器和多个学生生成不同对抗样本的好处。我们的实验展示了SVHN、CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上（宽）残差网络和MobileNet的最新无数据模型压缩和量化结果。与使用原始数据集相比，精度损失非常小。
2020-05-08 cs.CV cs.LG cs.NE
Qimera: Data-free Quantization with Synthetic Boundary Supporting Samples
Yonsei University（延世大学）
模型量化被认为是压缩深度神经网络的一种有前途的方法，特别是对于轻量级移动或边缘设备上的推理。然而，模型量化通常需要访问原始训练数据以保持全精度模型的准确性，这在现实世界的安全和隐私问题中通常是不可行的。在不访问原始数据的情况下执行量化的一种流行方法是使用基于批量归一化统计或对抗学习的合成生成的样本。然而，这种方法的缺点是它们主要依赖于输入到生成器的随机噪声来获得合成样本的多样性。我们发现这通常不足以捕捉原始数据的分布，特别是在决策边界周围。为此，我们提出了Qimera，一种使用叠加潜在嵌入来生成合成边界支持样本的方法。为了使叠加嵌入更好地反映原始分布，我们还建议使用额外的解纠缠映射层并从全精度模型中提取信息。实验结果表明，Qimera实现了国家的最先进的性能为各种设置的无数据量化。代码可在https://github.com/iamkanghyunchoi/qimera上获得。
2021-11-04 cs.AI cs.CV cs.LG
Infrared Domain Adaptation with Zero-Shot Quantization
Graduate School of Informatics, Middle East Technical University（中东技术大学信息学研究生院）
本文提出一种针对红外域目标检测模型的零样本量化框架，利用批量归一化统计数据蒸馏校准数据，在无训练数据条件下有效实现模型量化。
2024-08-25 cs.CV
PrismServe: Efficient LLM Serving on Heterogeneous Accelerator Clusters
Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；North University of China（北方大学）
本文提出基于 MoE 架构的 MoQE 量化推理框架，通过多个量化专家和面向 CV/NLP 的轻量结构感知路由器动态处理输入，在 ResNet、LLaMA、Qwen 上达到接近 SOTA 的性能且延迟增加很小。
2026-11-03 cs.AI cs.CV cs.LG
Quadapter: Adapter for GPT-2 Quantization
Qualcomm AI Research（高通人工智能研究院）
Transformer语言模型（如GPT-2）很难建模，因为激活中的异常值会导致较大的量化误差。为了适应错误，必须使用量化感知训练，这需要基于与原始模型相同的数据集和训练管道进行微调。然而，预训练的语言模型通常不允许访问其数据集和训练管道，迫使我们依赖任意的模型进行微调。在这种情况下，可以观察到量化感知训练使模型过度拟合微调数据。对于没有过拟合的量化，我们引入了一个量化适配器（Quadapter），这是一个小的参数集，可以通过按通道缩放来使激活量化友好。保持模型参数不变。通过将我们的方法应用于量化GPT-2的挑战性任务，我们证明了它有效地防止了过拟合，提高了量化性能。
2022-11-30 cs.LG
Diverse Sample Generation: Pushing the Limit of Generative Data-free Quantization
Beihang University（北京航空航天大学）；Zhongguancun Laboratory（中关村实验室）；Tsinghua University（清华大学）
生成式无数据量化作为一种实用的压缩方法出现，它将深度神经网络量化为低位宽，而无需访问真实数据。该方法利用全精度网络的批量归一化（BN）统计数据生成数据，以优化网络。然而，在实际应用中，该算法面临着精度下降的严峻挑战。我们首先给出了一个理论分析，合成样本的多样性是至关重要的无数据量化，而在现有的方法，合成数据完全约束BN统计实验表现出严重的均匀性在分布和样本水平。本文提出了一种通用的多样性样本生成（DSG）方案的生成数据的量化，以减轻有害的均匀化。我们首先放松BN层中特征的统计对齐以放松分布约束。然后，我们加强了特定BN层对不同样本的损失影响，并抑制了生成过程中样本之间的相关性，分别从统计和空间角度使样本多样化。综合实验表明，对于大规模图像分类任务，DSG在不同的神经网络结构上都能保持一致的量化性能，特别是在超低位宽的情况下。我们的DSG导致的数据多样化为各种量化感知训练和训练后量化方法带来了普遍的收益，证明了它的通用性和有效性。
2022-10-20 cs.CV
Zero-shot Adversarial Quantization
East China Normal University（华东师范大学）
模型量化是压缩深度神经网络和加速推理的一种很有前途的方法，使其可以部署在移动和边缘设备上。为了保持全精度模型的高性能，大多数现有的量化方法都集中在通过假设训练数据集是可访问的来微调量化模型。然而，由于数据隐私和安全问题，这种假设有时在实际情况下并不满足，从而使这些量化方法不适用。为了在不访问训练数据的情况下实现零短模型量化，少数量化方法采用训练后量化或批量归一化算法指导的数据生成进行微调。然而，这两种方法都不可避免地受到性能低下的影响，因为前者过于经验，缺乏对超低精度量化的训练支持，而后者不能完全恢复原始数据的特性，并且对于不同的数据生成通常效率低下。为了解决上述问题，我们提出了一个zero-shot对抗量化（ZAQ）框架，促进有效的差异估计和知识转移从全精度模型到其量化模型。这是通过一种新颖的两级差异建模来实现的，该模型驱动生成器合成信息丰富的多样化数据示例，以对抗性学习的方式优化量化模型。我们对三个基本的视觉任务进行了广泛的实验，证明了ZAQ在强zero-shot基线上的优越性，并验证了其主要组件的有效性。代码可在<https://git.io/Jqc0y>上获得。
2021-03-30 cs.CV
Binary Quadratic Quantization: Beyond First-Order Quantization for Real-Valued Matrix Compression
Institute of Science Tokyo（东京科学研究所）；Waseda University（早稻田大学）
该研究提出二元二次量化（BQQ）方法，利用二元二次表达式提升矩阵压缩效果，在矩阵压缩基准和Vision Transformer的2比特训练后量化实验中，性能均优于传统方法，验证了该表达式在高效矩阵近似与神经网络压缩中的有效性。
2025-10-21 cs.AI cs.CV cs.LG
Genie: Achieving Human Parity in Content-Grounded Datasets Generation
IBM Israel Research Lab（IBM以色列研究院）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；MIT（麻省理工学院）
本文提出三阶段数据生成方法 Genie，通过内容准备、任务示例生成与质量过滤，为 LFQA、摘要和信息抽取构建高质量合成数据，并证明其训练效果达到或超过人工数据。
2024-01-25 cs.AI cs.CL cs.LG
Deep Hashing with Triplet Quantization Loss
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体创新中心）
随着图像数据库的爆炸式增长，深度哈希（学习图像的紧凑二进制描述符）已成为快速图像检索的关键。许多现有的深度哈希方法利用量化损失，定义为量化前后特征之间的距离，以减少二值化特征的误差。虽然最小化量化损失保证了量化对检索精度的影响最小，但不幸的是，即使在量化之前，它也会显着降低特征的表现力。在本文中，我们表明，上述定义的量化损失是过于限制，事实上没有必要保持高检索精度。因此，我们提出了一种新形式的量化损失测量的三重态。三元组量化损失的核心思想是学习有区别的实值描述符，从而使量化后的检索精度损失最小。在两个广泛使用的不同规模的基准数据集CIFAR-10和In-shop上进行的大量实验表明，所提出的方法优于最先进的深度哈希方法。此外，我们表明，紧凑的二进制描述符与三重量化损失导致量化后的性能下降非常小。
2017-10-31 cs.CV
GenQ: Quantization in Low Data Regimes with Generative Synthetic Data
Yale University（耶鲁大学）；Intel Labs（英特尔实验室）
针对低数据场景下深度神经网络量化依赖训练数据的难题，提出GenQ方法，通过生成式AI合成高保真数据并结合过滤与真实数据引导机制，在无数据/少数据量化任务上准确率和效率均超现有方法，刷新基准。
2024-09-17 cs.CV
Patch Similarity Aware Data-Free Quantization for Vision Transformers
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
视觉Transformer最近在各种计算机视觉任务上取得了巨大成功;然而，它们的高模型复杂性使得在资源受限的设备上部署具有挑战性。量化是降低模型复杂度的有效方法，而无数据量化能够解决模型部署过程中的数据隐私和安全问题，受到了广泛的关注。不幸的是，所有现有的方法，例如BN正则化，都是为卷积神经网络设计的，并且不能应用于具有显著不同的模型架构的视觉Transformer。在本文中，我们提出了PSAQ-ViT，一个补丁相似性感知无数据量化框架的视觉变换器，使“现实”的样本的生成基于Vision Transformer的独特属性校准的量化参数。具体来说，我们分析了自我注意模块的属性，并揭示了一般的差异（补丁相似性）在其处理高斯噪声和真实图像。上述见解指导我们设计一个相对值度量来优化高斯噪声以近似真实图像，然后利用该相对值度量来校准量化参数。在各种基准上进行了大量的实验和消融研究，以验证PSAQ-ViT的有效性，它甚至可以优于真实数据驱动的方法。代码可从以下网址获得：https://github.com/zkkli/PSAQ-ViT。
2023-01-05 cs.CV
Adaptive Dataset Quantization: A New Direction for Dataset Pruning
National University of Singapore, Singapore（新加坡国立大学）；PetroChina Company Limited, Cangzhou, China（中国石油公司）
本文提出了一种自适应数据集量化方法，通过减少样本内部冗余实现数据集压缩，同时保持模型训练性能，优于传统方法。
2025-11-28 cs.AI cs.CV
ZeroQ: A Novel Zero Shot Quantization Framework
Peking University（北京大学）；University of California, Berkeley（加州大学伯克利分校）
量化是减少神经网络的推理时间和内存占用的一种很有前途的方法。然而，大多数现有的量化方法需要访问原始训练数据集，以便在量化期间进行再训练。对于具有敏感或专有数据的应用程序，这通常是不可能的，例如，出于隐私和安全考虑现有的zero-shot量化方法使用不同的算法来解决这个问题，但它们导致性能差，特别是当量化到超低精度时。在这里，我们提出了ZeroQ，一种新的zero-shot量化框架来解决这个问题。ZeroQ支持混合精度量化，无需访问任何训练或验证数据。这是通过优化蒸馏数据集来实现的，蒸馏数据集被设计为在网络的不同层上匹配批量归一化的统计数据。ZeroQ支持均匀和混合精度量化。对于后者，我们引入了一种新的基于Pareto边界的方法来自动确定所有层的混合精度位设置，而不需要手动搜索。我们在各种模型上广泛测试了我们提出的方法，包括ImageNet上的ResNet 18/50/152，MobileNetV 2，ShuffleNet，SqueezeNext和InceptionV 3，以及Microsoft COCO数据集上的RetinaNet-ResNet 50。特别是，我们表明，ZeroQ可以实现1.71%的精度更高的MobileNetV 2，相比最近提出的DFQ方法。重要的是，ZeroQ的计算开销非常低，它可以在不到30秒的时间内完成整个量化过程（ImageNet上ResNet 50一个e…
2020-01-01 cs.CV
Diversifying Sample Generation for Accurate Data-Free Quantization
Beihang University（北京航空航天大学）；Yale University（耶鲁大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Shen Yuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）
量化已经成为压缩和加速神经网络的最流行的方法之一。最近，无数据量化作为一种实用且有前途的解决方案得到了广泛的研究。该方法根据FP32量化模型的批量归一化（BN）统计量合成数据进行量化模型的标定，大大减轻了传统量化方法对真实训练数据的严重依赖。不幸的是，我们发现，在实践中，合成数据相同约束BN统计遭受严重的均匀化在分布水平和样本水平，并进一步导致量化模型的性能显着下降。我们提出了多样的样本生成（DSG）计划，以减轻均匀化所造成的不利影响。具体来说，我们放松BN层中特征统计的对齐，以放松分布级别的约束，并设计逐层增强，以针对不同的数据样本增强特定的层。我们的DSG方案是通用的，甚至能够应用于最先进的后训练量化方法，如AdaRound。我们在大规模图像分类任务上评估了DSG方案，并在各种网络架构和量化方法上始终如一地获得了显着改进，特别是当量化到较低比特时（例如，在W4A4上提高22%）。此外，受益于增强的多样性，由合成数据校准的模型的性能接近由真实数据校准的模型，甚至在W4A4上优于它们。
2021-12-01 cs.CV
Improving Bilayer Product Quantization for Billion-Scale Approximate Nearest Neighbors in High Dimensions
Yandex（Yandex（央捷科斯））；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）
用于十亿级高维近似最近邻（ANN）搜索的性能最好的系统都基于两层架构，包括索引结构和压缩数据点层。索引结构是至关重要的，因为它允许避免穷举搜索，而需要有损数据压缩来将数据集放入RAM。几个最成功的系统使用乘积量化（PQ）用于索引和数据集压缩层。然而，这些系统在它们利用在这些系统的不同阶段发生的产物量化过程的相互作用的方式上是有限的。在这里，我们介绍和评估两个近似最近邻搜索系统，都利用协同产品的量化过程中更有效的方式。第一个系统称为快速双层乘积量化（FBPQ），它将基线系统（Multi-D-ADC）的运行时间加快了数倍，同时实现了相同的精度。第二个系统，分层双层产品量化（HBPQ）提供了一个显着更好的召回相同的运行时间在小内存占用增加的成本。对于十亿个SIFT描述符的BIGANN数据集，观察到Recall@1增加了10%，Recall@10增加了17%。
2014-04-07 cs.CV
Post-Training Quantization for Vision Transformer
Peking University（北京大学）；Huawei Technologies（华为技术有限公司）；Peng Cheng Laboratory（鹏城实验室）
最近，Transformer在各种计算机视觉应用中取得了显著的性能。与主流的卷积神经网络相比，视觉Transformer通常具有用于提取强大特征表示的复杂架构，这在移动设备上更难开发。在本文中，我们提出了一个有效的后训练量化算法，以减少内存存储和计算成本的视觉Transformer。基本上，量化任务可以被视为分别为权重和输入找到最佳低位量化间隔。为了保持注意力机制的功能，我们在传统的量化目标中引入了排名损失，旨在保持量化后自注意力结果的相对顺序。此外，我们深入分析了不同层的量化损失和特征多样性之间的关系，并探索了一种混合精度的量化方案，利用每个注意力图和输出特征的核范数。在几个基准模型和数据集上验证了该方法的有效性，其性能优于最先进的后训练量化算法。例如，我们可以在ImageNet数据集上使用DeiT-B模型获得81.29\%的top-1准确率，约为8位量化。
2021-06-27 cs.CV
Towards Feature Distribution Alignment and Diversity Enhancement for Data-Free Quantization
Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；National University of Singapore（新加坡国立大学）
为了获得深度神经网络的更低推理延迟和更少的存储器占用，通过将浮点转换为低精度整数，模型量化已被广泛用于深度模型部署中。然而，以前的方法（如量化感知训练和后训练量化）需要原始数据来进行量化模型的微调或校准，这使得它们不适用于由于隐私或安全而无法访问原始数据的情况。这就产生了具有合成数据生成的无数据量化方法。然而，目前的无数据量化方法仍然遭受严重的性能下降时，量化模型到较低的位，造成低的类间分离度的语义特征。为此，我们提出了一种新的和有效的无数据的量化方法，称为QuantiterQ，它利用合成数据生成的特征分布对齐。为了获得语义特征的高类间可分性，我们聚类和对齐的特征分布统计，以模仿真实数据的分布，从而减轻性能下降。此外，我们将多样性增强解决类明智的模式坍塌。我们还采用指数移动平均更新每个聚类的质心，以进一步改善特征分布。基于不同深度模型的广泛实验（例如，ResNet-18和MobileNet-V2）在ImageNet数据集上的测试表明，我们提出的QuarterQ模型获得了最先进的性能。
2022-12-19 cs.CV
Beyond Neighbourhood-Preserving Transformations for Quantization-Based Unsupervised Hashing
University of Waterloo（滑铁卢大学）；Vector Institute（向量研究所）
一个有效的无监督哈希算法导致紧凑的二进制代码尽可能多地保留数据的邻域结构。无监督哈希的最成熟的方案之一是减少数据的维度，然后找到一个刚性（邻域保持）变换来减少量化误差。虽然采用刚性变换是有效的，但我们可能无法将量化损失降低到极限。同样，在两个单独的步骤中降低维度和量化损失似乎是次优的。出于这些缺点，我们建议同时采用刚性和非刚性变换来减少量化误差和维数。我们放松的正交约束的投影PCA制定和正则化的量化项。我们表明，非刚性投影矩阵和旋转矩阵有助于最大限度地减少量化损失，但在不同的方式。提出了一种可扩展的嵌套坐标下降方法来优化这个混合整数优化问题。我们在五个公共基准数据集上评估了所提出的方法，这些数据集提供了近50万张图像。比较结果表明，该方法主要优于最先进的线性方法，并与端到端的深度解决方案。
2021-10-01 cs.CV
Dataset Quantization with Active Learning based Adaptive Sampling
Illinois Institute of Technology（伊利诺伊理工大学）
针对深度学习大规模数据集训练成本高的问题，提出基于主动学习的自适应采样策略DQAS及新型数据集量化流水线，通过非均匀样本分布优化选择，在多个数据集上性能超越现有最优压缩方法。
2024-07-09 cs.CV
Post-training 4-bit quantization of convolution networks for rapid-deployment
Intel – Artificial Intelligence Products Group (AIPG)（英特尔——人工智能产品集团（AIPG））；Technion – Israel Institute of Technology（以色列理工学院）
除了大量的计算资源之外，卷积神经网络还需要大量的内存带宽和存储用于中间计算。神经网络量化在减少中间结果的数量方面具有显著的好处，但它通常需要完整的数据集和耗时的微调来恢复量化后损失的精度。本文介绍了第一种实用的4位后训练量化方法：它不涉及训练量化模型（微调），也不需要完整数据集的可用性。我们的目标是量化的激活和权重，并建议三个互补的方法，最大限度地减少量化误差在张量水平，其中两个人获得了封闭形式的解析解。结合这些方法，我们的方法实现了精度，在广泛的卷积模型中，精度仅比最先进的基线低几个百分点。复制所有实验的源代码可在GitHub上获得：\url{https://github.com/submission2019/cnn-quantization}。
2019-05-29 cs.CV
Post Training Quantization for Efficient Dataset Condensation
本文提出基于补丁的训练后量化方法，通过局部量化和聚类减少存储成本，提升压缩数据的表示质量，实验显示在极端压缩下测试准确率提升近一倍。
2026-03-07 cs.AI cs.CV
EasyQuant: An Efficient Data-free Quantization Algorithm for LLMs
Tencent（腾讯）
针对现有LLM量化方法依赖训练数据影响泛化的问题，提出无需训练、无数据依赖的EasyQuant纯权重量化算法，通过保留少量离群值、优化量化范围实现近无损量化，速度超数据依赖方法10倍。
2024-03-05 cs.AI cs.LG
Learning from Loss Landscape: Generalizable Mixed-Precision Quantization via Adaptive Sharpness-Aware Gradient Aligning
针对现有混合精度量化方法需在大规模数据集上高成本搜索策略的问题，提出结合锐度感知最小化、隐式梯度对齐与自适应扰动半径的新方法，仅用小数据集搜索策略即可泛化到大规模数据集，大幅降低成本并提升效率。
2025-05-08 cs.AI cs.CV
Fast Color Quantization Using Weighted Sort-Means Clustering
Louisiana State University（路易斯安那州立大学）
颜色量化是图形学和图像处理中的一个重要运算，有着广泛的应用。大多数量化方法基本上是基于数据聚类算法。然而，尽管它作为一种通用聚类算法的流行，k-means并没有得到太多的尊重，在颜色量化文献，因为它的高计算要求和敏感性的初始化。提出了一种基于k均值的快速颜色量化方法。该方法涉及几个修改传统的（批量）k-means算法，包括数据减少，样本加权，并使用三角不等式，以加快最近邻搜索。不同的图像集上的实验表明，与建议的修改，k均值变得非常有竞争力的国家的最先进的颜色量化方法的有效性和效率。
2010-10-30 cs.CV cs.GR
Pairwise Quantization
Yandex（扬德克斯）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）；INRIA（法国国家信息与自动化研究所）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
我们考虑通过量化对高维向量进行有损压缩的任务。我们提出的方法，学习量化参数的标量积和点对之间的平方距离的失真最小化。这是在对比以前的作品，通过最小化的重建误差的各个点获得这些参数。所提出的方法通过找到数据的线性变换来进行，该线性变换有效地将成对失真的最小化降低到个体重建误差的最小化。在这样的变换之后，可以使用任何先前提出的量化方法。尽管这种变换的简单性，实验表明，它实现了相当大的减少的成对失真相比，直接应用量化的未变换的数据。
2016-06-05 cs.CV cs.IR
Attention Round for Post-Training Quantization
Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）；University of Chinese Academy of Sciences（中国科学院大学）
目前，神经网络模型的量化方法主要分为后训练量化（PTQ）和量化感知训练（QAT）。后训练量化只需要一小部分数据就可以完成量化过程，但其量化模型的性能不如量化感知训练。本文提出了一种新的量化方法称为注意轮。该方法使参数w有机会被映射到所有可能的量化值，而不仅仅是量化过程中w附近的两个量化值。被映射到不同量化值的概率与量化值与w之间的距离负相关，并以高斯函数衰减。此外，本文以有损编码长度为度量，为模型的不同层分配位宽，解决了混合精度量化问题，有效避免了求解组合优化问题。本文还对不同的模型进行了定量实验，实验结果证实了该方法的有效性。对于ResNet 18和MobileNetV 2，本文提出的后训练量化方法只需要1,024个训练数据和10分钟就可以完成量化过程，可以达到与量化感知训练相当的量化性能。
2022-07-07 cs.AI cs.LG
On Sampling Collaborative Filtering Datasets
University of California, San Diego（加州大学圣迭戈分校）；Facebook AI Research（Facebook 人工智能研究院）
我们研究了数据集抽样策略对推荐算法排名性能的实际影响。推荐系统通常在较大数据集的样本上进行训练和评估。样本通常以简单或特别的方式获取：例如通过随机采样数据集或通过选择具有许多交互的用户或项目。正如我们所展示的，常用的数据采样方案可以对算法性能产生重大影响。根据这一观察，本文做出了三个主要贡献：（1）从算法和数据集特性（例如稀疏特性、序列动态特性等）方面描述采样对算法性能的影响; (2)设计SVP-CF，这是一种数据特定的采样策略，旨在保持采样后模型的相对性能，特别适合于长尾交互数据;（3）开发一个oracle，Data-Genie，它可以建议最有可能保持给定数据集模型性能的采样方案。Data-Genie的主要好处是，它将允许推荐系统从业者快速建立原型并比较各种方法，同时保持对算法性能的信心，一旦算法被重新训练并部署在完整的数据上。详细的实验表明，使用Data-Genie，我们可以在相同的性能水平下丢弃多达5倍的数据，而不是任何采样策略。
2022-01-13 cs.IR cs.LG
Regularized Residual Quantization: a multi-layer sparse dictionary learning approach
University of Geneva（日内瓦大学）
残差量化（RQ）框架被重新审视，其中量化失真在多层中被连续减少。受率失真理论中的反向注水范例的启发，引入了对码字方差的有效正则化，其允许针对非常大量的层以及针对高维数据扩展RQ，而不会过度训练。所提出的正则化残差量化（RRQ）导致额外稀疏的多层字典，这要归功于当应用于方差衰减数据时正则化的软阈值性质，方差衰减数据可以由应用于相关数据的去相关变换引起。此外，我们还提出了一个通用的预处理自然图像，使他们适合这样的量化。RRQ框架首先在合成方差衰减数据上进行测试，以显示其在高维数据量化方面的效率。接下来，我们在面部图像数据库的超分辨率中使用RRQ，其中示出了来自测试集的低分辨率面部图像，该测试集使用在来自训练集的高分辨率图像上训练的码本量化，当使用这些码本重建时，显示出相关的高频内容。
2017-05-01 cs.CV cs.LG
Zero-Shot Learning of a Conditional Generative Adversarial Network for Data-Free Network Quantization
Samsung Semiconductor Inc.（三星半导体公司）
本文提出了一种新的不使用训练数据训练条件生成对抗网络（CGAN）的方法，称为CGAN的零样本学习（Z-CGAN）。条件生成器的零样本学习只需要预先训练的判别（分类）模型，而不需要任何训练数据。具体地，条件生成器被训练以通过使用存储在预训练模型的批量归一化层中的统计数据来产生其特性模仿原始训练数据的标记的合成样本。我们展示了EST-CGAN在深度神经网络的无数据量化中的有用性。我们实现了在ImageNet数据集上训练的ResNet和MobileNet分类模型的最先进的无数据网络量化。无数据的量化使用EST-CGAN显示出最小的损失相比，通过传统的数据相关的量化获得的精度。
2022-10-26 cs.CV cs.LG cs.NE
Data-Free Quantization Through Weight Equalization and Bias Correction
Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）；Qualcomm Technologies Netherlands B.V.（荷兰高通技术有限公司）
我们引入了一种用于深度神经网络的无数据量化方法，该方法不需要微调或超参数选择。它在常见的计算机视觉架构和任务上实现了接近原始模型的性能。8-位定点量化对于现代深度学习硬件上的有效推理是必不可少的。然而，量化模型以8位运行是一项重要的任务，通常会导致显著的性能降低或花费工程时间来训练网络以适应量化。我们的方法依赖于均衡网络中的权重范围，通过利用激活函数的尺度等方差属性。此外，该方法校正在量化期间引入的误差中的偏差。这提高了量化精度性能，并且可以通过直接的API调用应用于许多常见的计算机视觉架构。对于常见的架构，如MobileNet系列，我们实现了最先进的量化模型性能。我们进一步表明，该方法也扩展到其他计算机视觉架构和任务，如语义分割和目标检测。
2019-11-25 cs.CV cs.LG stat.ML
Training Dynamics Impact Post-Training Quantization Robustness
ELLIS Institute Tübingen（图宾根ELLIS研究所）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）；Tübingen AI Center（图宾根人工智能中心）
研究发现训练动态中的学习率衰减会影响量化鲁棒性，通过调整训练超参数可提升大规模量化效果。
2026-01-30 cs.LG
Data Generation for Hardware-Friendly Post-Training Quantization
Sony Semiconductor Israel（索尼半导体以色列公司）
本文提出DGH方法，通过联合优化全部合成图像、模拟数据增强预处理和分布拉伸损失，解决硬件友好型零样本量化中合成数据与真实数据的分布差距，在分类与检测任务上准确率最高提升30%。
2025-02-05 cs.LG
Quantamination: Dynamic Quantization Leaks Your Data Across the Batch
University of Cambridge（剑桥大学）；Google DeepMind（谷歌DeepMind）
本文揭示动态量化中存在关键漏洞，攻击者可通过量化策略窃取同一批数据中的敏感信息，主要贡献是发现4种主流框架存在数据泄露风险。
2026-04-29 cs.CR cs.LG
ANT: Exploiting Adaptive Numerical Data Type for Low-bit Deep Neural Network Quantization
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Microsoft Research（微软研究院）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；University of Rochester（罗切斯特大学）
量化是一种减少DNN模型计算和内存成本的技术，DNN模型变得越来越大。现有的量化解决方案使用定点整数或浮点类型，其优点有限，因为两者都需要更多的位来保持原始模型的准确性。另一方面，可变长度量化对正常值使用低比特量化，对一小部分异常值使用高精度量化。尽管这类工作带来了算法上的好处，但由于可变长度的编码和解码，它也引入了显著的硬件开销。在这项工作中，我们提出了一个固定长度的自适应数值数据类型称为ANT，以实现低比特量化与微小的硬件开销。我们的数据类型ANT利用两个关键创新来利用DNN模型中的张量内和张量间自适应机会。首先，我们提出了一种特殊的数据类型flint，它结合了float和int的优点，以适应张量中不同值的重要性。其次，我们提出了一个自适应框架，根据其分布特性为每个张量选择最佳类型。我们为ANT设计了一个统一的处理元素架构，并展示了其与现有DNN加速器集成的便利性。我们的设计结果在2.8 $\times$的加速比和2.5 $\times$能源效率的改善，在国家的最先进的量化加速器。
2022-08-30 cs.LG
Binary and Ternary Quantization Can Enhance Feature Discrimination
School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学）；Key Laboratory of Machine Intelligence and System Control, Ministry of Education（机器智能与系统控制重点实验室，教育部）；Zhongtai Securities Institute for Financial Studies, Shandong University（中泰证券金融研究学院，山东大学）；National Center for Applied Mathematics in Shandong（山东省应用数学中心）
本文发现二值与三值量化能增强而非降低原始数据的特征判别力，通过直接分析特征判别力而非量化误差，解释了低精度量化数据在分类任务中表现优异的现象。
2025-07-11 cs.LG
FAQ: Mitigating Quantization Error via Regenerating Calibration Data with Family-Aware Quantization
Alibaba Cloud Computing（阿里云计算）
FAQ通过家庭感知量化方法生成高保真校准数据，有效减少量化误差，实验表明其在多个模型系列中将准确性损失降低28.5%。
2026-01-16 cs.AI cs.LG
Data Quality-aware Mixed-precision Quantization via Hybrid Reinforcement Learning
Xi’an Jiaotong University（西安交通大学）；The Hong Kong Polytechnic University（香港理工大学）
由于非差分位宽采样过程，混合精度量化主要在实际训练之前预先确定模型位宽设置，从而获得次优性能。更糟糕的是，传统的静态质量一致的训练设置，即，假设所有数据在训练和推断中具有相同的质量，忽略了现实世界应用中的数据质量变化，这可能导致量化模型的鲁棒性差。在本文中，我们提出了一种新的数据质量感知的混合精度量化框架，称为DQMQ，动态适应量化位宽不同的数据质量。自适应是基于可以与量化训练联合学习的位宽决策策略。具体地说，DQMQ被建模为一个混合强化学习（RL）任务，结合了基于模型的策略优化与监督量化训练。通过将离散位宽采样放松为用很少的可学习参数编码的连续概率分布，DQMQ是可微分的，并且可以直接端到端地优化，其中混合优化目标考虑任务性能和量化益处。在混合质量的图像数据集上训练，DQMQ可以在面对不均匀的输入质量时隐式地为每个层选择最合适的位宽。在各种基准数据集和网络上进行的大量实验证明了DQMQ相对于现有固定/混合精度量化方法的优越性。
2023-02-09 cs.AI cs.LG
Adaptive Training of Random Mapping for Data Quantization
Qingdao University（青岛大学）；Macau University of Science and Technology（澳门科技大学）
数据量化学习具有特定要求的数据的编码结果，并为数据处理的许多实际应用提供了广阔的前景。然而，编码器的结果通常限于随机映射的多变量输入，并且二进制码的边信息很难尽可能地描述原始数据模式。在文献中，基于余弦的随机量化由于其固有的有界结果而引起了广泛的关注。然而，它通常遭受不确定的输出，和原始数据的信息不能完全保留在减少码。在这项工作中，一种新的二进制嵌入方法，称为自适应训练量化（ATQ），提出了学习随机编码器的理想变换，其中余弦随机映射的限制得到解决。作为一种自适应学习思想，利用数据组的思想自适应地计算约简映射，同时改进随机变换的偏差，以保持最多的匹配信息。实验结果表明，与其他随机量化方法相比，该方法能够获得优异的性能。
2017-05-26 cs.AI cs.LG
Learning under Quantization for High-Dimensional Linear Regression
The University of Hong Kong（香港大学）
本文研究了在高维线性回归中量化对学习性能的影响，通过分析不同量化方式的噪声放大和谱扭曲，提出了精确的风险界并比较了加法与乘法量化的效果。
2026-02-16 cs.AI cs.LG stat.ML
Regularized Classification-Aware Quantization
University of Toronto（多伦多大学）
传统上，量化被设计为最小化数据源的重构误差。当考虑下游分类任务时，其他失真度量可能是感兴趣的;例如0-1分类损失。此外，理想的是，这些量化器的性能不会恶化，一旦它们被部署到生产中，因为重新学习的方案在线并不总是可能的。在这项工作中，我们提出了一类学习分布式量化方案的二进制分类任务的算法。我们的方法在看不见的数据上表现良好，并且比以前的方法更快，与数据集大小的二次项成比例。它的工作原理是用重建误差正则化0-1损失。我们目前的实验合成混合和双变量高斯数据和比较训练，测试和泛化误差与一个家庭的基准量化方案的文献。我们的方法被称为正则化分类感知量化。
2021-07-12 cs.LG eess.SP
RaanA: A Fast, Flexible, and Data-Efficient Post-Training Quantization Algorithm
Computer Science and Engineering, University of Michigan（密歇根大学计算机科学与工程系）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算机科学与数据科学学院）；Physics of Artificial Intelligence Group, NTT Research, Inc.（NTT研究所人工智能物理组）
本文提出统一PTQ框架RaanA，结合RaBitQ-H量化变体与AllocateBits位宽分配算法，在仅需极少校准数据且支持灵活位分配的情况下，实现了与最先进方法相媲美的性能，有效平衡了效率与准确性。
2025-10-31 cs.AI cs.LG
Universal Supervised Learning for Individual Data
School of Electrical Engineering, Tel Aviv University（特拉维夫大学电气工程学院）
通用监督学习是从信息理论的角度考虑的，遵循通用预测方法，参见Merhav和Feder（1998）。我们考虑标准的监督“批”学习，其中一旦观察到整个训练数据，就对测试样本进行预测，以及单独设置，其中训练和测试中的特征和标签都是特定的个体量。信息论方法自然使用自信息损失或对数损失。我们的研究结果提供了通用的学习方案，与“精灵”（或参考），知道真正的测试标签竞争。特别是，它表明，主要提出的计划，称为预测归一化最大似然（pNML），是一个强大的学习解决方案，优于目前领先的方法的基础上经验风险最小化（ERM）。此外，pNML构造提供了针对特定测试挑战的可学习性的逐点指示，该特定测试挑战具有给定的训练样本
2018-12-22 cs.IT cs.LG math.IT
SQuant: On-the-Fly Data-Free Quantization via Diagonal Hessian Approximation
Shanghai Jiao Tong University（上海交通大学）；Shanghai Qi Zhi Institute（上海齐智研究所）；Microsoft Research（微软研究院）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；University of Rochester（罗切斯特大学）
深度神经网络（DNN）的量化已被证明可有效压缩和加速DNN模型。无数据量化（DFQ）是一种在隐私敏感和机密场景下不需要原始数据集的有前途的方法。然而，当前的DFQ解决方案降低了精度，需要合成数据来校准网络，并且耗时且成本高。本文提出了一种具有亚秒级量化时间的动态DFQ框架，称为SQuant，它可以在仅推理的设备上以较低的计算和内存要求来对网络进行建模。通过对DNN任务损失的二阶信息的理论分析，我们将基于Hessian的优化目标分解和近似为三个对角子项，这些子项具有对应于权重张量的三个维度的不同区域：元素方向，内核方向和输出通道方向。然后，我们逐步组成子项，并在离散域中提出一种新的无数据优化目标，最小化误差的约束绝对和（或简称CASE），令人惊讶的是，它不需要任何数据集，甚至不知道网络架构。我们还设计了一个有效的算法，没有反向传播，以进一步降低目标求解器的计算复杂度。最后，在没有微调和合成数据集的情况下，SQuant将无数据量化过程加速到亚秒级，与现有的无数据后训练量化工作相比，精度提高了>30%，评估模型采用4位量化。我们在https://github.com/clevercool/SQuant上开源了SQuant框架。
2022-02-14 cs.AI cs.LG
Dataflow-based Joint Quantization of Weights and Activations for Deep Neural Networks
A ⋆ STAR（新加坡科技研究局）；MILA（米拉魁北克人工智能研究院）；IVADO（魁北克数据 valorization 研究所）；IME A ⋆ STAR（新加坡科技研究局材料研究与工程研究所）；School of CSE NTU（南洋理工大学计算机科学与工程学院）
本文解决了一个具有挑战性的问题-如何在推理阶段部署深度神经网络（DNN）时降低能耗而不会导致性能下降。为了减轻计算和存储负担，我们提出了一种新的基于卷积的联合量化方法，假设较少的量化操作将导致较少的信息丢失，从而提高最终的性能。它首先介绍了一种有效的比特移位和舍入操作的量化方案，以表示网络参数和激活在低精度。然后对网络结构进行重构，形成统一的模块，在量化模型上进行优化。在ImageNet和KITTI上进行的大量实验验证了我们模型的有效性，证明了这种量化模型可以实现各种任务的最先进结果。此外，我们设计并综合了一个RTL模型来衡量各种量化方法的硬件成本。对于每个量化操作，与强基线相比，它将面积成本降低约15倍，能耗降低约9倍。
2019-01-04 cs.LG stat.ML
Effect of Weight Quantization on Learning Models by Typical Case Analysis
The University of Tokyo（东京大学）；The Institute of Statistical Mathematics（统计数理研究所）；RIKEN AIP（理化学研究所革新智能统合研究中心）
针对大模型量化超参数选择研究不足的问题，采用统计物理典型案例分析的复本法探究超参数对简单学习模型量化的影响，得出三项关键结论并通过近似消息传递算法验证。
2024-01-30 cs.LG stat.ML
OptRot: Mitigating Weight Outliers via Data-Free Rotations for Post-Training Quantization
CISPA Helmholtz Center for Information Security, Germany（CISPA信息安全研究中心）；Microsoft Research, Cambridge, UK（微软研究院）
OptRot通过数据无关旋转技术提升训练后量化效果，优于现有方法并改进激活量化性能。
2026-01-12 cs.AI cs.CL cs.LG
Probabilistic Learning Vector Quantization on Manifold of Symmetric Positive Definite Matrices
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institutes for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造创新研究院）；University of Chinese Academy of Sciences（中国科学院大学）；University of Birmingham（伯明翰大学）；Beijing Normal University（北京师范大学）；Zhejiang University（浙江大学）
在本文中，我们开发了一种新的分类方法的流形值数据的概率学习矢量量化的框架。在许多分类场景中，数据可以自然地由对称正定矩阵表示，这些矩阵本质上是存在于弯曲黎曼流形上的点。由于黎曼流形的非欧几何性，传统的欧几里德机器学习算法在这类数据上的效果很差。在本文中，我们推广的概率学习矢量量化算法的数据点生活在流形上的对称正定矩阵配备黎曼自然度量（仿射不变度量）。利用导出的黎曼距离，推导出概率学习的黎曼空间量化算法，通过黎曼梯度下降得到学习规则。对合成数据、图像数据和运动想象脑电数据的实证研究证明了所提出方法的优越性能。
2021-02-01 cs.LG stat.ML
Adaptive Gradient Quantization for Data-Parallel SGD
University of Toronto（多伦多大学）；Vector Institute；IST Austria（奥地利科学技术研究所）；NeuralMagic
SGD的许多通信高效变体使用梯度量化方案。这些方案通常是启发式的，并且在训练过程中是固定的。我们根据经验观察到，深度模型的梯度统计数据在训练过程中会发生变化。出于这种观察，我们介绍了两种自适应量化方案，ALQ和AMQ。在这两种方案中，处理器通过有效地计算参数分布的足够的统计量来并行地更新它们的压缩方案。在具有挑战性的低成本通信设置中，我们在CIFAR-10上将验证准确性提高了近2%，在ImageNet上提高了1%。我们的自适应方法对超参数的选择也更加鲁棒。
2020-10-23 cs.LG stat.ML
