FracBits: Mixed Precision Quantization via Fractional Bit-Widths
US AI Lab, ByteDance Inc.（美国人工智能实验室，字节跳动公司）；Northeastern University（东北大学）
模型量化有助于减少深度神经网络的模型大小和延迟。混合精度量化是有利的定制硬件支持算术运算在多个位宽，以实现最大的效率。我们提出了一种新的基于学习的算法，在目标计算约束和模型大小下，端到端地推导混合精度模型。在优化过程中，模型中每层/核的位宽处于连续两个位宽的分数状态，可以逐渐调整。利用可微正则化项，可以在量化感知训练期间满足资源约束，从而得到优化的混合精度模型。此外，我们的方法可以自然地与通道修剪相结合，以更好地分配计算成本。我们的最终模型在ImageNet数据集上的不同资源约束下，在MobilenetV 1/V2，ResNet 18上实现了与以前的量化方法相当或更好的性能。
2020-12-03 cs.CV eess.IV
Performance Analysis of Post-Training Quantization for CNN-based Conjunctival Pallor Anemia Detection
Computer Science and Engineering , University of Puerto Rico at Mayagüez（计算机科学与工程，佛罗里达大西洋大学马亚瓜兹分校）
本文研究基于MobileNet和CP-AnemiC数据集的结膜苍白贫血检测，通过训练后量化分析不同位宽对模型性能的影响，为移动医疗边缘部署提供依据。
2025-07-20 cs.AI cs.CV eess.IV
Q-HyViT: Post-Training Quantization of Hybrid Vision Transformers with Bridge Block Reconstruction for IoT Systems
KAIST（韩国科学技术院）
针对现有ViT训练后量化方法应用于高效混合Transformer时精度骤降的问题，提出带桥接块重构的Q-HyViT量化方法，首次实现多类高效混合ViT的量化，8位和6位量化精度较现有方法平均提升17.73%和29.75%，适用于物联网系统。
2024-05-17 cs.AI cs.CV
FrostNet: Towards Quantization-Aware Network Architecture Search
Sogang University（西江大学）；NAVER Corporation（NAVER公司）
INT 8量化已经成为在边缘设备上部署卷积神经网络（CNN）以减少内存和计算资源使用的标准技术之一。通过分析现有的移动目标网络架构的量化性能，我们可以提出一个问题，网络架构的重要性，最佳的INT 8量化。在本文中，我们提出了一个新的网络架构搜索（NAS）过程，以找到一个网络，保证全精度（FLOAT 32）和量化（INT 8）的性能。首先，我们提出了关键但简单的优化方法，使量化感知训练（QAT）：浮点统计辅助（StatAssist）和随机梯度提升（GradBoost）。通过将基于梯度的NAS与StatAssist和GradBoost集成，我们发现了一个量化高效的网络构建块，Frost瓶颈。此外，我们使用Frost瓶颈作为硬件感知NAS的构建块，以获得量化效率高的网络FrostNets，与其他移动目标网络相比，它显示出更好的量化性能，同时保持有竞争力的FLOAT 32性能。我们的FrostNet比现有的CNN在量化时具有更高的识别准确率，由于更高的延迟减少率（平均65%）。
2020-11-30 cs.CV cs.LG stat.ML
Once Quantization-Aware Training: High Performance Extremely Low-bit Architecture Search
Sensetime Research（商汤科技研究院）；University of Oxford（牛津大学）；The University of Sydney（悉尼大学）
量化神经网络（QNN）由于其高效性而受到广泛关注。为了提高量化精度，现有的工作主要集中在设计先进的量化算法，但仍然没有达到令人满意的结果，在极低比特的情况下。在这项工作中，我们采取架构的角度来研究高性能QNN的潜力。因此，我们建议将网络架构搜寻方法与量化结合，以发挥两者的优点。然而，一个简单的组合不可避免地面临不可接受的时间消耗或不稳定的训练问题。为了缓解这些问题，我们首先提出了一个共享的步长的架构和量化的联合训练，以获得大量的量化模型。然后引入比特继承机制，将量化后的模型转移到较低的比特位，进一步减少了时间开销，同时提高了量化精度。配备了这个整体框架，被称为一次量化感知训练~（OQAT），我们搜索的模型家族，OQATNets，实现了一个新的国家的最先进的不同位宽下的各种架构相比。特别是，OQAT-2bit-M实现了61.6%的ImageNet Top-1准确率，比2位的MobileNet V3高出9%，计算成本降低了10%。一系列量化友好的体系结构很容易识别，可以进行广泛的分析，以总结量化和神经体系结构之间的相互作用。代码和模型发布于https://github.com/LaVieEnRoseSMZ/OQA
2021-09-28 cs.CV eess.IV
ZeroQ: A Novel Zero Shot Quantization Framework
Peking University（北京大学）；University of California, Berkeley（加州大学伯克利分校）
量化是减少神经网络的推理时间和内存占用的一种很有前途的方法。然而，大多数现有的量化方法需要访问原始训练数据集，以便在量化期间进行再训练。对于具有敏感或专有数据的应用程序，这通常是不可能的，例如，出于隐私和安全考虑现有的zero-shot量化方法使用不同的算法来解决这个问题，但它们导致性能差，特别是当量化到超低精度时。在这里，我们提出了ZeroQ，一种新的zero-shot量化框架来解决这个问题。ZeroQ支持混合精度量化，无需访问任何训练或验证数据。这是通过优化蒸馏数据集来实现的，蒸馏数据集被设计为在网络的不同层上匹配批量归一化的统计数据。ZeroQ支持均匀和混合精度量化。对于后者，我们引入了一种新的基于Pareto边界的方法来自动确定所有层的混合精度位设置，而不需要手动搜索。我们在各种模型上广泛测试了我们提出的方法，包括ImageNet上的ResNet 18/50/152，MobileNetV 2，ShuffleNet，SqueezeNext和InceptionV 3，以及Microsoft COCO数据集上的RetinaNet-ResNet 50。特别是，我们表明，ZeroQ可以实现1.71%的精度更高的MobileNetV 2，相比最近提出的DFQ方法。重要的是，ZeroQ的计算开销非常低，它可以在不到30秒的时间内完成整个量化过程（ImageNet上ResNet 50一个e…
2020-01-01 cs.CV
Joint Neural Architecture Search and Quantization
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Horizon Robotics（地平线机器人）
设计神经架构是深度学习应用的基础步骤。作为一种伙伴技术，神经网络上的模型压缩已被广泛研究，以适应深度学习算法可以在移动设备上利用有限的计算资源运行的需求。目前，架构设计和模型压缩的任务都需要专业技巧和繁琐的试验。在本文中，我们将这两个任务集成到一个统一的框架，使联合架构搜索与量化（压缩）政策的神经网络。这个方法被命名为JASQ。在这里，我们的目标是自动找到一个紧凑的神经网络模型，具有高性能，适用于移动设备。在技术上，引入多目标进化搜索算法，在模型规模和性能精度之间取得平衡。在实验中，我们发现我们的方法优于只搜索架构或只搜索量化策略的方法。1)具体来说，给定现有网络，我们的方法可以为它们提供基于学习的量化策略，并且优于它们的2位、4位、8位和16位对应物。它可以产生比浮动模型更高的精度，例如，在MobileNet-v1上的精度高出1.02%以上。2)在模型规模和性能精度的平衡下，通过对结构和量化策略的联合搜索，得到了两个模型：高精度模型和小模型，JASQNet和JASQNet-Small，在CIFAR-10上以0.9 MB的数据实现了2.97%的出错率。
2018-11-23 cs.CV cs.LG
Auto-tuning Neural Network Quantization Framework for Collaborative Inference Between the Cloud and Edge
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，深度神经网络（DNN）在移动智能应用中得到了广泛的应用。DNN的推理通常在云中执行。然而，它导致了通过无线网络传输数据的大量开销。在本文中，我们展示了云边协同推理与量化的优势。通过分析DNN各层的特点，提出了一种用于协同推理的自调整神经网络量化框架。我们使用ImageNet数据集研究了最先进的DNN的混合精度协作推理的有效性。实验结果表明，我们的框架可以产生合理的网络分区，减少移动设备上的存储与微小的损失的准确性。
2018-12-16 cs.AI cs.CV cs.DC
Low Power Inference for On-Device Visual Recognition with a Quantization-Friendly Solution
Qualcomm Inc.（高通公司）；Purdue University（普渡大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Duke University（杜克大学）；Google Inc.（谷歌公司）
IEEE低功耗图像识别挑战赛（LPIRC）是一项始于2015年的年度竞赛，旨在鼓励为低延迟和低功耗的计算机视觉系统提供联合硬件和软件解决方案。2018年竞赛的第一轨道侧重于具有固定推理引擎和硬件的软件解决方案的创新。这一决定允许参与者在线提交模型，而不必担心在现场构建和带来定制硬件，这吸引了历史上大量的提交。在众多解决方案中，获胜的解决方案为MobileNets提出了一个量化友好的框架，该框架在Google Pixel2手机的单个CPU核心上实现了72.67%的准确率，平均延迟为27毫秒，优于当时最好的实时MobileNet模型。
2019-03-12 cs.CV
QKD: Quantization-aware Knowledge Distillation
Seoul National University（首尔国立大学）；Qualcomm AI Research（高通人工智能研究院）；Qualcomm Technologies, Inc.（高通技术公司）
量化和知识蒸馏（KD）方法被广泛用于减少深度神经网络（DNN）的存储器和功耗，特别是对于资源受限的边缘设备。虽然它们的组合很有希望满足这些要求，但它可能不会如所期望的那样工作。这主要是因为KD的正则化效应进一步减少了量化模型已经降低的表示能力。为了解决这个问题，我们提出了量化感知的知识蒸馏（QKD），其中量化和KD在三个阶段中仔细协调。首先，自学习（SS）阶段微调一个量化的低精度学生网络，没有KD，以获得一个良好的初始化。第二，合作学习（CS）阶段试图对教师进行训练，使其比固定教师更量化、更强大。最后，辅导（TU）阶段将知识从受过培训的教师转移到学生。我们在ImageNet和CIFAR-10/100数据集上对我们的方法进行了广泛的评估，并对具有标准卷积和深度可分离卷积的网络进行了消融研究。所提出的QKD优于现有的最先进的方法（例如，在使用W 4A 4的ResNet-18上提高1.3%，在使用W 4A 4的MobileNetV 2上提高2.6%）。此外，QKD可以在ResNet上的W3 A3量化和MobilenetV 2上的W 6A 6量化下恢复全精度精度。
2019-11-28 cs.CV cs.LG
Weight Equalizing Shift Scaler-Coupled Post-training Quantization
Samsung Research, Samsung Electronics Co.（三星电子 三星研究院）
后训练，逐层量化是优选的，因为它无需再训练并且是硬件友好的。然而，当神经网络模型具有每个输出通道的权重范围的大的差异时，发生了准确性降低。特别是，MobileNet家族在ImageNet数据集上的top-1准确率在8位权重量化后从70.60% ~ 71.87%下降到0.1%。为了减轻这种显着的准确性降低，我们提出了一个新的权重均衡移位缩放器，即通过4位二进制移位重新缩放每个通道的权重范围，然后逐层量化。为了恢复原始输出范围，逆二进制移位被有效地融合到定制神经处理单元的固定计算卷积运算符中的现有每层尺度复合。二进制移位是我们算法的一个关键特性，它在不影响内存占用的情况下显着提高了精度性能。结果表明，该方法在MobileNets中的top-1准确率为69.78% ~ 70.96%，并且在不同的网络模型和任务中表现出鲁棒性，这与信道量化结果具有竞争力。
2020-08-13 cs.CV cs.LG stat.ML
DRIFT: Deep Restoration, ISP Fusion, and Tone-mapping
Samsung Research America（三星美国研究院）
本文提出DRIFT方法，通过多帧处理网络和深度学习色调映射实现高效移动相机流水线，生成高质量RGB图像，验证了其在性能和效率上的优势。
2026-04-12 cs.CV eess.IV
Effective and Fast: A Novel Sequential Single Path Search for Mixed-Precision Quantization
Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education（教育部智能感知与图像理解重点实验室）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
由于模型量化有助于减少模型大小和计算延迟，因此它已成功应用于移动电话，嵌入式设备和智能芯片的许多应用中。混合精度量化模型可以根据不同层的敏感度匹配不同的量化比特精度，以获得更好的性能。然而，根据一些约束（例如，硬件资源、能耗、模型大小和计算延迟）。针对这一问题，本文提出了一种新的混合精度量化的顺序单路径搜索（SSPS）方法，该方法在损失函数中引入给定的约束条件来指导搜索过程.一个单一的路径搜索单元被用来组合一个完全可微的超网，它可以通过基于梯度的算法进行优化。此外，我们根据选择函数顺序地确定候选精度，以指数形式减小搜索空间，加快搜索过程的收敛速度。实验表明，该方法可以有效地搜索不同体系结构的混合精度模型（例如，ResNet-20、18、34、50和MobileNet-V2）和数据集（例如，CIFAR-10，ImageNet和COCO）在给定的约束下，我们的实验结果验证了SSPS显着优于他们的统一同行。
2021-03-04 cs.AR cs.CV
Differentiable Soft Quantization: Bridging Full-Precision and Low-Bit Neural Networks
Beihang University（北京航空航天大学）；SenseTime Group Limited（商汤集团有限公司）；Beijing Institute of Technology（北京理工大学）
硬件友好的网络量化（例如，二进制/均匀量化）可以有效地加速推理，同时减少深度神经网络的存储器消耗，这对于资源有限的设备（如移动电话）上的模型部署至关重要。然而，由于低比特量化的离散性，现有的量化方法往往面临着不稳定的训练过程和严重的性能下降。为了解决这个问题，在本文中，我们提出了微分软量化（DSQ），以弥合全精度和低比特网络之间的差距。DSQ可以在训练过程中自动进化，以逐渐接近标准量化。由于DSQ的可微性，它可以在后向传播过程中精确地追求梯度，并在前向传播过程中通过适当的限幅来减小量化损失。在几种流行的网络结构上进行的大量实验表明，使用DSQ训练低比特神经网络可以始终优于最先进的量化方法。此外，我们的第一个有效的实现部署2至4位DSQ与ARM架构的设备上实现了高达1.7 $\times$的速度相比，开源的8位高性能推理框架NCNN。[三十一]
2019-08-14 cs.CV cs.LG eess.IV
Data-Free Network Quantization With Adversarial Knowledge Distillation
Samsung Semiconductor Inc.（三星半导体公司）；DGIST（大邱庆北科学技术院）
网络量化是深度学习中在移动或边缘平台上开发高效定点推理模型的重要过程。然而，随着数据集变得越来越大，隐私法规变得越来越严格，用于模型压缩的数据共享变得越来越困难和受限。在本文中，我们考虑无数据网络量化与合成数据。合成数据由生成器生成，而在训练生成器和量化中不使用数据。为此，我们提出了无数据的对抗性知识蒸馏，它最大限度地减少了教师和（量化）学生的输出之间的最大距离的任何对抗性样本从发电机。为了生成与原始数据相似的对抗样本，我们还提出了来自教师中生成数据和原始数据的批量归一化层的匹配统计。此外，我们还展示了使用多个生成器和多个学生生成不同对抗样本的好处。我们的实验展示了SVHN、CIFAR-10、CIFAR-100和Tiny-ImageNet数据集上（宽）残差网络和MobileNet的最新无数据模型压缩和量化结果。与使用原始数据集相比，精度损失非常小。
2020-05-08 cs.CV cs.LG cs.NE
DNQ: Dynamic Network Quantization
Shanghai Jiao Tong University（上海交通大学）；Qualcomm AI Research（高通人工智能研究院）
网络量化是在内存和能量受限的移动设备上部署神经网络的有效方法。在本文中，我们提出了一个动态网络量化（DNQ）框架，它是由两个模块：一个位宽控制器和量化器。与大多数现有的量化方法，使用一个通用的量化位宽为整个网络，我们利用策略梯度训练代理学习的位宽控制器的每一层。该控制器可以在精度和压缩比之间进行权衡。在给定量化位宽序列的情况下，量化器采用量化距离作为量化过程中权值重要性的判断标准。我们广泛验证了各种主流神经网络的方法，并获得了令人印象深刻的结果。
2018-12-06 cs.CV cs.LG
Towards Efficient Training for Neural Network Quantization
ByteDance Inc.（字节跳动公司）
量化降低了神经网络的计算成本，但遭受性能退化。这种精度下降是由于量化过程中的容量减少还是训练效率低下？通过将权值和中间激活视为随机变量来研究神经网络的梯度传播过程，我们发现了有效训练的两个关键规则。目前的量子化方法违反了这两个规则，导致退化收敛。为了解决这个问题，我们提出了一种简单而有效的技术，称为尺度调整训练（SAT），以遵守发现的规则，并促进有效的训练。我们还分析了量化误差引入计算的梯度在流行的参数化裁剪激活（PACT）技术。通过SAT和梯度校准PACT，量化模型获得了与全精度模型相当甚至更好的性能，实现了最先进的精度，并在包括MobileNet-V1/V2和PreResNet-50在内的各种模型上比以前的量化方法有了一致的改进。
2019-12-21 cs.CV
R2 Loss: Range Restriction Loss for Model Compression and Quantization
Apple（苹果公司）
本文提出范围限制损失（R2-Loss），通过在预训练阶段移除权重异常值并限制其范围，构建低比特量化与压缩友好模型，显著提升了PTQ、QAT及模型压缩在极低比特下的准确率。
2024-02-11 cs.CV cs.LG cs.PF
Survey of Quantization Techniques for On-Device Vision-based Crack Detection
Department of Computer and Electrical Engineering（计算机与电气工程系）；Mid Sweden University（中瑞典大学）
本文系统评估了MobileNetV1x0.25和MobileNetV2x0.5在TensorFlow、PyTorch及ONNX平台上采用动态量化、PTQ和QAT三种技术的表现，发现QAT在保持接近浮点精度的同时实现高效资源利用，为无人机实时低功耗裂缝检测提供了最优方案。
2025-02-04 cs.CV cs.LG
FLIQS: One-Shot Mixed-Precision Floating-Point and Integer Quantization Search
Cornell University（康奈尔大学）；Google（谷歌公司）
本文提出FLIQS，首个无需重新训练的混合精度量化搜索方法，可同时搜索整数与低精度浮点量化方案，并在多个模型上以相似成本显著提升ImageNet精度。
2024-05-01 cs.CV cs.LG
Weight Normalization based Quantization for Deep Neural Network Compression
Nanjing University（南京大学）
随着深度神经网络的发展，网络模型的规模越来越大。模型压缩已经成为将这些网络模型部署到移动或嵌入式设备的迫切需要。模型量化是一种典型的模型压缩技术。虽然已经提出了许多量化方法，但是其中许多遭受由网络权重的长尾分布引起的高量化误差。在本文中，我们提出了一种用于模型压缩的新型量化方法，称为基于权重归一化的量化（WNQ）。WNQ采用权值归一化来避免网络权值的长尾分布，从而减小量化误差。在CIFAR-100和ImageNet上的实验表明，WNQ可以超越其他基线，实现最先进的性能。
2019-07-01 cs.CV cs.LG stat.ML
Post-Training Quantization for Vision Transformer
Peking University（北京大学）；Huawei Technologies（华为技术有限公司）；Peng Cheng Laboratory（鹏城实验室）
最近，Transformer在各种计算机视觉应用中取得了显著的性能。与主流的卷积神经网络相比，视觉Transformer通常具有用于提取强大特征表示的复杂架构，这在移动设备上更难开发。在本文中，我们提出了一个有效的后训练量化算法，以减少内存存储和计算成本的视觉Transformer。基本上，量化任务可以被视为分别为权重和输入找到最佳低位量化间隔。为了保持注意力机制的功能，我们在传统的量化目标中引入了排名损失，旨在保持量化后自注意力结果的相对顺序。此外，我们深入分析了不同层的量化损失和特征多样性之间的关系，并探索了一种混合精度的量化方案，利用每个注意力图和输出特征的核范数。在几个基准模型和数据集上验证了该方法的有效性，其性能优于最先进的后训练量化算法。例如，我们可以在ImageNet数据集上使用DeiT-B模型获得81.29\%的top-1准确率，约为8位量化。
2021-06-27 cs.CV
CSMPQ:Class Separability Based Mixed-Precision Quantization
Xiamen University（厦门大学）；Jiangxi Academy of Sciences（江西省科学院）；Kunming University of Science and Technology（昆明理工大学）
混合精度量化因其能够减少计算量和加快推理速度而受到越来越多的关注。现有的方法通常集中在不同的网络层的敏感性，这需要一个耗时的搜索或训练过程。为此，提出了一种新的混合精度量化方法，称为CSMPQ。具体地说，TF-IDF度量，被广泛用于自然语言处理（NLP），以衡量类可分性逐层特征映射。此外，一个线性规划问题的设计，以获得最佳的比特配置为每一层。在没有任何迭代过程的情况下，所提出的CSMPQ实现了比最先进的量化方法更好的压缩折衷。具体而言，CSMPQ在ResNet-18上实现了73.03 $\%$ Top-1 acc，而QAT只有59 G BOP，在MobileNetV 2上实现了71.30 $\%$ top-1 acc，而PTQ只有1.5 Mb。
2022-12-20 cs.CV
Mixed Precision Quantization of ConvNets via Differentiable Neural Architecture Search
UC Berkeley（加州大学伯克利分校）；Facebook（脸书）
最近在网络量化方面的工作大大降低了神经网络推理的时间和空间复杂度，使其能够在计算和存储资源有限的嵌入式和移动设备上部署。然而，现有的量化方法通常以相同的精度（位宽）表示所有权重和激活。在本文中，我们探索了一个新的维度的设计空间：量化不同的层与不同的位宽。我们将此问题表示为神经结构搜索问题，并提出了一种新的可微分神经结构搜索（DNAS）框架，以有效地探索其指数搜索空间与基于梯度的优化。实验表明，我们在CIFAR-10和ImageNet上超过了ResNet的最先进压缩。我们的量化模型具有21.1倍更小的模型大小或103.9倍更低的计算成本，仍然可以优于基线量化甚至全精度模型。
2018-11-30 cs.CV
Quantization Effects on Neural Networks Perception: How would quantization change the perceptual field of vision models?
Université d'Orléans（奥尔良大学）；IULM University（IULM大学）
本文基于 ImageNet 的 10,000 张图像，系统评估量化对六种 CNN 架构类激活图与显著物体图对齐的影响，揭示不同架构对量化的敏感度差异，为部署高效可解释模型提供见解。
2024-10-18 cs.CV
Composite Quantization
Microsoft Research（微软研究院）
本文研究了压缩编码的近似最近邻搜索方法。我们介绍了一个复合量化框架。它使用几个（$M$）元素的组合，每个元素从不同的字典中选择，以精确地近似$D$维向量，从而产生精确的搜索，并通过由相应字典中所选元素的索引组成的短代码来表示数据向量。我们的主要贡献在于引入了一个近正交约束，这使得搜索效率得到保证的距离计算的成本从$O(D)$通过距离查表计划减少到$O(M)$。由此产生的方法被称为近正交复合量化。我们从理论上证明了近正交复合量化和最小化一个函数的上界之间的等价性，该函数是根据广义三角不等式联合考虑量化误差和搜索成本而形成的。我们经验表明，所提出的方法在几个基准数据集的有效性。此外，我们展示了其他三个应用程序的优越性能：结合倒排多索引，量化的查询移动搜索，和内积相似性搜索。
2017-12-04 cs.CV
Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding
Stanford University（斯坦福大学）；Tsinghua University（清华大学）；NVIDIA（英伟达）
神经网络是计算密集型和存储密集型的，这使得它们难以在硬件资源有限的嵌入式系统上部署。为了解决这一限制，我们引入了“深度压缩”，这是一个三级管道：修剪，训练量化和霍夫曼编码，它们共同工作，将神经网络的存储需求减少了35倍至49倍，而不影响其准确性。我们的方法首先通过只学习重要的连接来修剪网络。接下来，我们对权重进行加权以加强权重共享，最后，我们应用霍夫曼编码。在前两步之后，我们重新训练网络，以微调剩余的连接和量化的质心。修剪将连接的数量减少了9倍到13倍;量化则将表示每个连接的位数从32减少到5。在ImageNet数据集上，我们的方法将AlexNet所需的存储空间减少了35倍，从240 MB减少到6.9MB，而不损失准确性。我们的方法将VGG-16的大小从552 MB减少到11.3MB，并且没有损失准确性。这允许将模型适配到片上SRAM缓存中，而不是片外DRAM存储器中。我们的压缩方法也有利于复杂的神经网络在移动应用程序中的应用程序的大小和下载带宽的限制。以CPU、GPU和移动GPU为基准，压缩网络具有3倍至4倍的分层加速和3倍至7倍的能效。
2016-02-15 cs.CV cs.NE
Cluster Regularized Quantization for Deep Networks Compression
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
深度神经网络（DNN）在计算机视觉领域取得了巨大的成功，但由于其高存储和计算成本，在移动设备上的应用受到限制。已经投入了很多努力来压缩DNN。在本文中，我们提出了一种简单而有效的深度网络压缩方法，称为聚类正则化量化（CRQ），它可以将全精度模型的表示精度降低到三进制值，而不会显着降低精度。特别是，所提出的方法旨在通过引入聚类正则化项来减少量化误差，该聚类正则化项施加在全精度权重上，使它们自然地集中在目标值周围。通过在重训练阶段显式正则化权值，全精度模型可以实现向低比特模型的平滑过渡。在基准数据集上的综合实验证明了该方法的有效性。
2019-02-27 cs.CV
Direct Quantization for Training Highly Accurate Low Bit-width Deep Neural Networks
Singapore University of Technology and Design（新加坡科技设计大学）；University of Liverpool（利物浦大学）；University of Dayton（戴顿大学）
本文提出了两种新的技术来训练具有低位宽权重和激活的深度卷积神经网络。首先，为了获得低位宽权重，大多数现有方法通过对全精度网络权重执行量化来获得量化权重。然而，这种方法会导致一些不匹配：梯度下降更新全精度权重，但它不更新量化权重。为了解决这个问题，我们提出了一种新的方法，使{直接}更新的量化权重{可学习的量化水平}，以最小化成本函数使用梯度下降。第二，为了获得低位宽激活，现有的工程考虑所有渠道平等。然而，激活量化器可能偏向于具有高方差的少数通道。为了解决这个问题，我们提出了一种方法，考虑到各个通道的量化误差。通过这种方法，我们可以学习在大多数通道中最小化量化误差的激活量化器。实验结果表明，我们提出的方法在CIFAR-100和ImageNet数据集上使用AlexNet，ResNet和MobileNetV 2架构在图像分类任务上实现了最先进的性能。
2020-12-26 cs.CV
n-hot: Efficient bit-level sparsity for powers-of-two neural network quantization
Sony Corporate（索尼公司）
2的幂（PoT）量化减少了深度神经网络在资源受限的硬件上的位操作的数量。然而，PoT量化由于其有限的表示能力而触发严重的准确性下降。由于DNN模型已经被应用于相对复杂的任务（例如，大数据集的分类和目标检测），需要提高PoT量化方法的准确度。虽然一些先前的工作试图提高PoT量化的准确性，但没有工作以存储器高效的方式平衡准确性和计算成本。为了解决这个问题，我们提出了一个有效的PoT量化方案。引入了位级稀疏性;权重（或激活）被舍入为可以通过乘法中的n次移位运算计算的值。我们还允许不仅加法，而且减法作为每个操作。此外，我们使用两阶段的微调算法来恢复的精度下降，是由引入比特级稀疏触发。在COCO数据集上的目标检测模型（CenterNet，MobileNet-v2 backbone）上的实验结果表明，与统一方法相比，我们提出的方法最多可以抑制0.3%的准确率下降，同时减少了约75%的操作次数和11.5%的模型大小。
2021-03-22 cs.CV
Zero-shot Adversarial Quantization
East China Normal University（华东师范大学）
模型量化是压缩深度神经网络和加速推理的一种很有前途的方法，使其可以部署在移动和边缘设备上。为了保持全精度模型的高性能，大多数现有的量化方法都集中在通过假设训练数据集是可访问的来微调量化模型。然而，由于数据隐私和安全问题，这种假设有时在实际情况下并不满足，从而使这些量化方法不适用。为了在不访问训练数据的情况下实现零短模型量化，少数量化方法采用训练后量化或批量归一化算法指导的数据生成进行微调。然而，这两种方法都不可避免地受到性能低下的影响，因为前者过于经验，缺乏对超低精度量化的训练支持，而后者不能完全恢复原始数据的特性，并且对于不同的数据生成通常效率低下。为了解决上述问题，我们提出了一个zero-shot对抗量化（ZAQ）框架，促进有效的差异估计和知识转移从全精度模型到其量化模型。这是通过一种新颖的两级差异建模来实现的，该模型驱动生成器合成信息丰富的多样化数据示例，以对抗性学习的方式优化量化模型。我们对三个基本的视觉任务进行了广泛的实验，证明了ZAQ在强zero-shot基线上的优越性，并验证了其主要组件的有效性。代码可在<https://git.io/Jqc0y>上获得。
2021-03-30 cs.CV
Adaptive Loss-aware Quantization for Multi-bit Networks
ETH Zurich（苏黎世联邦理工学院）；Singapore Management University（新加坡管理大学）
我们通过将其权重和激活量化为多个二进制基（称为多位网络（MBN））来研究深度神经网络的压缩，这加速了推理并减少了在低资源移动和嵌入式平台上部署的存储。我们提出了自适应损失感知量化（ALQ），一个新的MBN量化流水线，能够实现平均位宽低于一位，而不会显着损失的推理精度。与先前的MBN量化解决方案（其通过最小化误差来训练量化器以重构全精度权重）不同，ALQ直接最小化损失函数上的量化引起的误差，其既不涉及梯度近似也不涉及全精度维持。ALQ还利用了自适应位宽、平滑位宽减少和迭代训练量化等策略，以允许更小的网络大小而不损失准确性。在流行的图像数据集上的实验结果表明，ALQ在存储和准确性方面优于最先进的压缩网络。代码可在https://github.com/zqu1992/ALQ上获得
2020-07-04 cs.CV cs.LG
Differentiable Fine-grained Quantization for Deep Neural Network Compression
Duke University（杜克大学）；University of Nevada, Reno（内华达大学雷诺分校）；Nanjing University（南京大学）
神经网络在认知任务中表现出了很好的性能。当在资源有限的移动设备上部署网络模型时，权重量化已被广泛采用。二进制量化获得最高的压缩，但通常会导致大的精度下降。实际上，通常使用8位或16位量化，目的是保持与原始32位精度相同的精度。我们观察到不同的层具有不同的量化精度敏感性。因此，明智地为不同的层/结构选择不同的精度可以通过在精度和压缩率之间取得更好的平衡，潜在地产生比传统量化方法更有效的模型。在这项工作中，我们提出了一种细粒度的量化方法，深度神经网络压缩放松量化位宽的搜索空间从离散到连续域。所提出的方法应用基于梯度下降的优化来生成混合精度的量化方案，该方案在相同的压缩率下优于传统量化方法的精度。
2018-11-13 cs.AI cs.CV
In-Hindsight Quantization Range Estimation for Quantized Training
Qualcomm AI Research（高通人工智能研究院）
应用于深度神经网络的推理的量化技术使得能够在资源受限的设备上快速高效地执行。量化在推理过程中的成功促使学术界探索完全量化的训练，即量化反向传播。然而，有效的梯度量化仍然是一个悬而未决的问题。向量是无界的，它们的分布在训练过程中会发生显著变化，这导致需要动态量化。正如我们所展示的，动态量化可能会导致显着的内存开销和额外的数据流量减慢训练。我们提出了一个简单的替代动态量化，在事后范围估计，使用量化范围估计在以前的迭代，以保证目前。我们的方法可以快速静态量化梯度和激活，同时只需要最小的硬件支持，从神经网络加速器，以保持跟踪输出统计数据在一个在线的方式。它旨在作为估计量化范围的替代品，并可与量化训练中的其他进步结合使用。我们将我们的方法与现有的量化训练文献中的范围估计方法进行比较，并在图像分类基准测试（Tiny ImageNet和ImageNet）上使用一系列架构（包括MobileNetV2）证明其有效性。
2021-05-10 cs.AI cs.CV cs.LG
Enable Deep Learning on Mobile Devices: Methods, Systems, and Applications
Massachusetts Institute of Technology（麻省理工学院）
深度神经网络（DNN）在人工智能（AI）领域取得了前所未有的成功，包括计算机视觉、自然语言处理和语音识别。然而，它们的卓越性能是以相当大的计算复杂性为代价的，这极大地阻碍了它们在许多资源受限设备中的应用，例如移动电话和物联网（IoT）设备。因此，为了实现众多边缘AI应用，迫切需要能够在保持DNN高精度的同时提升效率瓶颈的方法和技术。本文概述了高效的深度学习方法、系统和应用。首先介绍了当前流行的模型压缩方法，包括剪枝、因子分解、量化以及压缩模型设计。为了降低这些手动解决方案的巨大设计成本，我们讨论了每个解决方案的AutoML框架，例如神经架构搜索（NAS）和自动修剪和量化。然后，我们涵盖了有效的设备上的培训，以实现基于移动设备上的本地数据的用户定制。除了一般的加速技术，我们还展示了几个特定于任务的点云，视频和自然语言处理的加速，利用他们的空间稀疏性和时间/令牌冗余。最后，为了支持所有这些算法的进步，我们从软件和硬件的角度介绍了高效的深度学习系统设计。
2022-04-25 cs.CL cs.CV cs.LG
RAPQ: Rescuing Accuracy for Power-of-Two Low-bit Post-training Quantization
Peking University（北京大学）
本文介绍了一种用于深度神经网络的二次幂低比特训练后量化（PTQ）方法，该方法满足硬件要求并且不需要长时间的再训练。二次幂量化可以将量化和反量化引入的乘法转换为比特移位，许多高效的加速器都采用这种方法。然而，2的幂比例因子具有较少的候选值，这导致更多的舍入或限幅误差。我们提出了一种新的Power-of-Two PTQ框架，称为RAPQ，它动态地调整整个网络的Power-of-Two尺度，而不是静态地逐层确定它们。理论上它可以平衡整个网络的舍入误差和削波误差。同时，RAPQ中的重建方法是基于每个单元的BN信息。在ImageNet上的大量实验证明了我们所提出的方法的优异性能。在没有花哨的情况下，RAPQ可以在ResNet-18和MobileNetV 2上分别达到65%和48%的准确率，并使用权重INT 2激活INT 4。本文首次提出了一种约束更严格、硬件友好的二次幂量化方案，并证明了它可以达到与SOTA PTQ方法几乎相同的精度。代码被释放了。
2022-09-25 cs.CV
LG-LSQ: Learned Gradient Linear Symmetric Quantization
National Tsing Hua University（国立清华大学）；Industrial Technology Research Institute（工业技术研究院）
在推理时具有较低精度权重和操作的深度神经网络在存储空间和加速器功率的成本方面具有优势。与量化算法相关联的主要挑战是在低比特宽度下保持精度。我们提出了学习梯度线性对称量化（LG-LSQ）作为一种方法，量化权重和激活函数，以低位宽的高精度整数神经网络处理器。首先，我们介绍了缩放模拟梯度（SSG）的方法来确定适当的梯度的线性量化器的缩放因子在训练过程中。其次，我们介绍了反正切软舍入（ASR）方法，它不同于直通估计（STE）方法的能力，以防止梯度变为零，从而解决了舍入过程中所造成的离散问题。最后，为了弥合全精度和低比特量化网络之间的差距，我们提出了最小化离散化误差（MDE）方法来确定反向传播中的准确梯度。ASR+MDE方法是STE方法的简单替代方案，并且对于在不同的均匀量化方法中使用是实用的。在我们的评估中，所提出的量化器在各种3位网络（包括ResNet 18，ResNet 34和ResNet 50）中实现了全精度基线精度，并且在MobileNetV 2和ShuffleNetV 2等轻量级模型中，4位权重和4位激活的量化精度下降不到1%。
2022-02-18 cs.CV
Learning to Quantize Deep Networks by Optimizing Quantization Intervals with Task Loss
Samsung Advanced Institute of Technology (SAIT)（三星先进技术研究院（SAIT））；Korea Advanced Institute of Science and Technology (KAIST)（韩国高等科学技术研究院（KAIST））
减少深度网络的激活和权重的位宽可以有效地计算和存储它们，这对于它们部署到资源有限的设备（如移动电话）至关重要。然而，随着量化而减小的比特宽度通常会产生急剧降低的精度。为了解决这个问题，我们建议通过一个可训练的量化器来学习对激活和权重进行转换和离散化。具体来说，我们参数化的量化区间，并获得其最佳值，直接最小化网络的任务损失。这种量化间隔学习（QIL）允许量化网络保持位宽低至4位的全精度（32位）网络的精度，并通过进一步的位宽减小（即，3和2位）。此外，我们的量化器可以在异构数据集上进行训练，因此可以用于在不访问其训练数据的情况下对预训练网络进行量化。我们在具有各种网络架构（如ResNet-18，-34和AlexNet）的ImageNet数据集上证明了我们的可训练量化器的有效性，它在实现最先进精度方面优于现有方法。
2018-11-23 cs.CV
Effective Quantization Approaches for Recurrent Neural Networks
University of Dayton（代顿大学）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）
深度学习，特别是循环神经网络（RNN），在包括机器翻译、语言理解和电影帧生成在内的各种任务中表现出卓越的准确性。然而，这些深度学习方法在计算方面非常昂贵。在大多数情况下，图形处理单元（GPU）用于大规模实现。同时，提出了能量高效的RNN方法，用于在包括现场编程门阵列（FPGA）和移动平台的专用硬件上部署解决方案。在本文中，我们提出了一种有效的量化方法，用于循环神经网络（RNN）技术，包括长短期记忆（LSTM），门控循环单元（GRU）和卷积长短期记忆（ConvLSTM）。我们已经实现了不同的量化方法，包括二进制连接{-1，1}，三进制连接{-1，0，1}，和四进制连接{-1，-0.5，0.5，1}。这些方法在不同的数据集上进行评估，用于IMDB上的情感分析和移动MNIST数据集上的视频帧预测。将实验结果与LSTM、GRU和ConvLSTM的全精度版本进行比较。它们在情感分析和视频帧预测方面都表现出了良好的效果。
2018-02-07 cs.CV
RPFQ-ViT: Rotated Phase-Frame Quantization for Extremely Low-Bit Weights in Vision Transformers
Peking University（北京大学）
RPFQ-ViT提出旋转相位帧量化方法，在二维相位平面量化成对通道，以极低比特权重保留ViT投影方向，在ImageNet上达到高精度，模型压缩5.4-7.1倍，延迟降低1.4-1.6倍。
2026-10-06 cs.CV
A High-Performance Adaptive Quantization Approach for Edge CNN Applications
National Tsing-Hua University（清华大学）
最近的卷积神经网络（CNN）开发继续推进各种应用的最新模型精度。然而，增强的准确性是以大量的内存带宽和存储要求以及苛刻的计算资源为代价的。尽管在过去，量化方法有效地降低了边缘设备的部署成本，但在处理当代CNN的有偏激活时，它会遭受显著的信息损失。因此，在本文中，我们引入了一种自适应高性能量化方法，通过根据任务丢失动态调整缩放和移位因子来解决有偏激活的问题。我们提出的方法已经在使用ImageNet数据集的图像分类模型（ResNet-18/34/50，MobileNet-V2，EfficientNet-B 0），使用COCO数据集的目标检测模型（YOLO-V4）以及使用PTB数据集的语言模型上进行了广泛的评估。结果表明，我们的4位整数（INT 4）量化模型比最先进的4位模型实现了更好的精度，在某些情况下，甚至超过了黄金全精度模型。最终设计已成功部署到资源极其有限的边缘设备上，用于许多实际应用。
2021-07-18 cs.CV cs.LG
MRQ:Support Multiple Quantization Schemes through Model Re-Quantization
Amazon Lab126（亚马逊Lab126）
提出MRQ模型重新量化方法，通过权重校正和舍入误差折叠算法，将现有量化模型快速转换为不同量化方案，避免重新训练，在MobileNetV2上实现小于0.64的精度损失并成功部署于边缘设备。
2023-08-04 cs.CV cs.LG
Pruning Ternary Quantization
针对深度模型压缩中难以同时优化推理时间、模型大小和准确率的问题，提出融合L2归一化、剪枝与权重衰减的PTQ对称三值量化方法，在分类、检测和分割任务上实现高准确率与高压缩率。
2023-07-14 cs.AI cs.CV
SQuantizer: Simultaneous Learning for Both Sparse and Low-precision Neural Networks
Movidius（摩维迪乌斯）；AIPG（人工智能产品组）；Intel（英特尔）
深度神经网络已经在广泛的计算机视觉、语音识别和机器翻译任务中实现了最先进的准确性。然而，内存带宽和计算能力的限制限制了能够部署这些现代网络的设备的范围。为了解决这个问题，我们提出了S量化器，一种新的训练方法，联合优化稀疏和低精度神经网络，同时保持高精度，并提供高压缩率。这种方法将稀疏化和低比特量化带入单个训练通道，以被证明是最佳的顺序采用这些技术。我们的方法使用ResNet 18，MobileNet-v2和ResNet 50的4位和2位精度实现了最先进的精度，即使具有高度的稀疏性。ResNet 18的压缩率为18倍，ResNet 50的压缩率为17倍，MobileNet-v2的压缩率为9倍，当SQuantifying ResNets和MobileNet-v2的权重和激活分别在1%和2%的准确度损失内时。将这些技术扩展到目标检测也证明了YOLO-v3的高精度。此外，我们的方法允许快速单遍训练，这对于快速原型和神经架构搜索技术非常重要。最后，这种同时训练方法的广泛结果使我们能够对稀疏性和量化的相对优点有一些有用的见解。
2019-03-23 cs.AI cs.CV
MetaMix: Meta-state Precision Searcher for Mixed-precision Activation Quantization
Google（谷歌公司）
针对高效网络混合精度激活量化中的比特选择不稳定问题，提出两阶段 MetaMix，通过混合精度感知权重更新与固定权重比特搜索实现快速高质量选位，并在 ImageNet 上超越 SOTA。
2024-04-09 cs.CV cs.LG
Qimera: Data-free Quantization with Synthetic Boundary Supporting Samples
Yonsei University（延世大学）
模型量化被认为是压缩深度神经网络的一种有前途的方法，特别是对于轻量级移动或边缘设备上的推理。然而，模型量化通常需要访问原始训练数据以保持全精度模型的准确性，这在现实世界的安全和隐私问题中通常是不可行的。在不访问原始数据的情况下执行量化的一种流行方法是使用基于批量归一化统计或对抗学习的合成生成的样本。然而，这种方法的缺点是它们主要依赖于输入到生成器的随机噪声来获得合成样本的多样性。我们发现这通常不足以捕捉原始数据的分布，特别是在决策边界周围。为此，我们提出了Qimera，一种使用叠加潜在嵌入来生成合成边界支持样本的方法。为了使叠加嵌入更好地反映原始分布，我们还建议使用额外的解纠缠映射层并从全精度模型中提取信息。实验结果表明，Qimera实现了国家的最先进的性能为各种设置的无数据量化。代码可在https://github.com/iamkanghyunchoi/qimera上获得。
2021-11-04 cs.AI cs.CV cs.LG
Trained Quantization Thresholds for Accurate and Efficient Fixed-Point Inference of Deep Neural Networks
Xilinx Inc.（赛灵思公司）；Stanford University（斯坦福大学）
提出了一种基于标准反向传播和梯度下降的均匀对称量化器量化阈值训练方法。与以前的工作相反，我们表明，通过阈值梯度的直通估计的仔细分析，允许一个自然的范围精度权衡，从而获得更好的最优值。我们的量化器被限制为使用2的幂的比例因子和每张量缩放的权重和激活，使其适合硬件实现。我们为我们的方法的一般鲁棒性提供了分析支持，并在ImageNet分类的各种CNN上进行了经验验证。我们能够在传统上困难的网络（如MobileNets）上实现接近浮点的精度，而量化（8位）再训练不到5个历元。最后，我们介绍了Graffitist，这是一个能够为TQT自动量化TensorFlow图的框架（可在https://github.com/Xilinx/graffitist上获得）。
2020-02-28 cs.AI cs.CV cs.LG
OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization
Institute for Infocomm Research, Agency for Science, Technology and Research（新加坡科技研究局资讯通信研究院）；College of Computer Science, Sichuan University（四川大学计算机学院）；Nanyang Technological University（南洋理工大学）
由于深度神经网络（DNN）通常被过度参数化并且具有数百万个权重参数，因此将这些大型DNN模型部署在资源受限的硬件平台上是具有挑战性的，例如，智能手机许多网络压缩方法如修剪和量化被提出来显著减小模型大小，其中关键是找到合适的压缩分配（例如，修剪稀疏性和量化码本）。现有的解决方案以迭代/手动的方式获得压缩分配，同时微调压缩模型，因此存在效率问题。与现有技术不同的是，本文提出了一种新的单次剪枝量化（OPQ）算法，该算法仅使用预先训练的权重参数解析地解决了压缩分配问题。在微调期间，压缩模块是固定的，并且仅更新权重参数。据我们所知，OPQ是第一个揭示预训练模型足以同时解决修剪和量化的工作，而无需在微调阶段进行任何复杂的迭代/手动优化。此外，我们提出了一个统一的信道级量化方法，强制每一层的所有通道共享一个共同的码本，这导致低比特率分配，而不会引入传统的信道级量化带来的额外开销。使用AlexNet/MobileNet-V1/ResNet-50在ImageNet上进行的综合实验表明，与现有技术相比，我们的方法提高了准确性和训练效率，同时获得了更高的压缩率。
2022-05-23 cs.CV cs.LG
APQ: Joint Search for Network Architecture, Pruning and Quantization Policy
Massachusetts Institute of Technology（麻省理工学院）；Shanghai Jiao Tong University（上海交通大学）
我们提出了在资源受限的硬件上进行高效深度学习推理的APQ。与以前的方法，分别搜索的神经结构，修剪政策，量化政策，我们优化他们的联合方式。为了处理它带来的更大的设计空间，一种有前途的方法是训练量化感知精度预测器，以快速获得量化模型的精度，并将其馈送到搜索引擎以选择最佳拟合。然而，训练该量化感知准确度预测器需要收集大量量化的<model，accuracy>对，这涉及量化感知微调，因此非常耗时。为了应对这一挑战，我们建议将知识从全精度（即，FP 32）精度预测器到量化感知（即，int 8）精度预测器，大大提高了样本效率。此外，收集fp 32精度预测器的数据集只需要从预先训练的一次性网络中采样来评估神经网络，而无需任何训练成本，这是非常高效的。在ImageNet上进行的大量实验证明了我们的联合优化方法的好处。在相同的准确性下，APQ将延迟/能量降低了2倍/1.3倍于MobileNetV 2 +HAQ。与单独的优化方法（ProxylessNAS+AMC+HAQ）相比，APQ实现了ImageNet精度提高2.3%，同时减少了几个数量级的GPU时间和CO2排放，推动了绿色AI的环保前沿。代码和视频是公开的。
2020-06-15 cs.CV cs.LG stat.ML
Anchor-based Plain Net for Mobile Image Super-Resolution
Nanjing University（南京大学）
随着实际应用的快速发展，对图像超分辨率的精度和效率提出了更高的要求。现有的方法虽然取得了显著的成功，但大多数方法需要大量的计算资源和大量的RAM，因此它们不能很好地应用于移动终端。在本文中，我们的目标是设计高效的8位量化架构，并部署在移动终端。首先，我们通过分解轻量级SR架构来进行关于元节点延迟的实验，这决定了我们可以利用的可移植操作。然后，我们深入研究了什么样的架构有利于8位量化，并提出了基于锚的平面网（ABPN）。最后，我们采用量化感知的训练策略，以进一步提高性能。我们的模型在PSNR方面可以比8位量化的FSRCNN高出近2dB，同时满足现实需求。代码可在https://github.com/NJU- Jet/SR_Mobile_Quantization上获得。
2021-09-25 cs.CV eess.IV
F8Net: Fixed-Point 8-bit Only Multiplication for Network Quantization
Snap Inc.（斯纳普公司）；Northeastern University（东北大学）；Rice University（莱斯大学）
神经网络量化是一种很有前途的压缩技术，可以减少内存占用和节省能耗，从而可能导致实时推理。然而，量化模型和全精度模型之间存在性能差距。为了减少它，现有的量化方法需要高精度INT 32或全精度乘法在推理缩放或反量化。这在存储器、速度和所需能量方面引入了显著的成本。为了解决这些问题，我们提出了F8 Net，这是一种仅由定点8位乘法组成的新型量化框架。为了推导出我们的方法，我们首先讨论了不同格式的定点数的定点乘法的优点，并研究了相关的定点数的统计行为。其次，基于统计和算法分析，我们对不同层的权重和激活应用不同的定点格式。我们引入了一种新的算法来自动确定训练过程中每层的正确格式。第三，我们分析了以前的量化算法-参数化限幅激活（PACT）-并重新制定它使用定点运算。最后，我们统一了最近提出的方法进行量化微调和我们的固定点的方法，以显示我们的方法的潜力。我们在MobileNet V1/V2和ResNet 18/50的ImageNet上验证了F8 Net。我们的方法实现了可比的和更好的性能，相比，不仅与现有的量化技术与INT 32乘法或浮点运算，但也到全精度同行，实现最先进的性能。
2022-02-10 cs.AI cs.AR cs.CV
Cut-FUNQUE: An Objective Quality Model for Compressed Tone-Mapped High Dynamic Range Videos
Meta Video Infrastructure（Meta 视频基础设施）
针对HDR视频在服务器端色调映射与有损压缩下的质量评估问题，提出名为Cut-FUNQUE的新型客观视频质量模型，能准确预测压缩色调映射HDR视频的视觉质量并在大规模众包数据库上达到最先进准确度。
2024-04-20 cs.CV eess.IV
A hue-preserving tone mapping scheme based on constant-hue plane without gamut problem
我们提出了一种新的色调映射方案。迄今为止，人们已经研究了各种色调映射操作，但很少有研究图像色调映射中引起的颜色失真。首先，通过使用传统的色调映射算子（TMOs）从HDR图像产生的LDR图像被指出，由于裁剪和舍入量化处理，在色调值中有一些失真。接下来，我们提出了一种新的方法，它允许LDR图像具有相同的最大饱和色值的HDR的。所提出的方法生成的LDR图像具有较小的色调退化比传统的TMO生成的LDR的。此外，所提出的方法适用于任何TMO。在一个实验中，所提出的方法被证明不仅产生具有小的色调退化的图像，但也保持良好的映射亮度，在三个客观指标：TMQI，色调值在CIEDE2000，和最大饱和度的颜色在恒定色调平面上的RGB颜色空间。
2019-08-19 eess.IV
Unpaired Learning for High Dynamic Range Image Tone Mapping
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
高动态范围（HDR）摄影正变得越来越流行，并通过DSLR和移动电话相机提供。虽然深度神经网络（DNN）已经极大地影响了图像处理的其他领域，但由于缺乏生成训练数据所需的地面实况解决方案的明确概念，它们在HDR色调映射中的使用受到限制。在本文中，我们描述了一种新的色调映射方法的指导下产生低动态范围（LDR）的渲染，最好地再现本地LDR图像的视觉特性的独特目标。这一目标使得能够使用基于不相关的HDR和LDR图像集的非配对对抗训练，这两者都是广泛可用且易于获取的。为了在最低要求下实现有效的培训，我们引入了以下新步骤和组件：（i）范围归一化预处理，其估计并应用不同级别的基于曲线的压缩，（ii）保留输入内容同时允许网络实现其目标的损失，以及（iii）使用更简洁的网络，旨在促进原生LDR拥有的低级属性的再现。评估所产生的网络表明其能够产生逼真的伪影的色调映射图像，和国家的最先进的性能，不同的图像保真度指数和视觉距离。
2021-10-30 cs.CV cs.LG eess.IV
