Rate-Adaptive Quantization: A Multi-Rate Codebook Adaptation for Vector Quantization-based Generative Models
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出速率自适应量化（RAQ）框架，通过数据驱动方法从单一基线VQ模型生成多速率码本，实现压缩与重建保真度的灵活权衡，并支持无需重训练的聚类适配，有效提升了基于向量量化生成模型的多比特率适应能力。
2025-01-31 cs.CV cs.LG eess.IV
Early Quantization Shrinks Codebook: A Simple Fix for Diversity-Preserving Tokenization
National University of Singapore（国立新加坡大学）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究了向量量化中的坍塌问题，发现随机初始化和编码器容量限制导致token和嵌入坍塌，并提出缓解方案，是首次系统探讨该问题。
2026-03-17 cs.AI cs.LG
Pushing Toward the Simplex Vertices: A Simple Remedy for Code Collapse in Smoothed Vector Quantization
Academy of Emerging Sciences（新兴科学学院）；Chubu University（名古屋大学）；Institute for Advanced Research（先进研究所）；Nagoya University（名古屋大学）
本研究提出一种简单正则化方法，通过最小化单纯形顶点与K-近邻平滑量化器的距离，解决平滑向量量化中的代码坍塌问题，提升代码本利用和性能。
2026-09-29 cs.AI cs.LG
Homology-constrained vector quantization entropy regularizer
本文在分析矢量量化（VQ）嵌入的持续同调性的基础上，提出了一种熵正则化项。更高的嵌入熵与更高的码本利用率正相关，减轻了基于矢量量化的自编码器中的身份和码本崩溃的过拟合[1]。我们表明，同源约束正则化是一种有效的方式来增加熵的VQ过程（近似输入熵），同时保持近似的拓扑结构的量化的潜在空间，平均超过小批量。本文进一步探讨了矢量量化所形成的隐子的持久同源图的一些模式。我们实现和测试所提出的算法作为一个模块集成到一个样本VQ-VAE。链接代码库提供了一个功能实现的建议架构，称为同源约束矢量量化（HC-VQ）在这项工作中进一步。
2022-11-25 cs.LG
Learning on a Grassmann Manifold: CSI Quantization for Massive MIMO Systems
Virginia Tech（弗吉尼亚理工大学）
本文重点研究了波束赋形码本的设计，使任何潜在信道分布的平均归一化波束赋形增益最大化。虽然现有技术使用统计信道模型，但我们利用具有机器学习基础的无模型数据驱动方法来生成适应周围传播条件的波束成形码本。关键的技术贡献在于减少码本设计问题的无监督聚类问题的格拉斯曼流形上的集群质心形成有限大小的波束形成码本的信道状态信息（CSI），这可以有效地解决使用K均值聚类。这种方法被扩展到开发一个非常有效的全维（FD）多输入多输出（MIMO）系统与均匀平面阵列（UPA）天线的乘积码本设计过程。仿真结果表明，所提出的设计标准的能力，在学习的码本，减少码本的大小，并产生显着更高的波束形成增益相比，现有的国家的最先进的CSI量化技术。
2020-05-18 cs.IT cs.LG math.IT
The Interpretability of Codebooks in Model-Based Reinforcement Learning is Limited
Georgia Tech Research Institute（佐治亚理工学院研究学院）；Georgia Institute of Technology（佐治亚理工学院）
本文研究了向量量化方法在基于模型的强化学习中是否真正提供可解释性，实验表明其编码存在不一致、非唯一且对概念解耦影响有限等问题，揭示了该方法在模型可解释性上的根本不足。
2024-07-28 cs.AI cs.LG
ReCast: Reliability-aware Codebook Assisted Lightweight Time Series Forecasting
ReCast通过可靠性感知的代码本辅助方法，实现轻量且稳健的时间序列预测，提升预测准确性和适应性。
2026-03-05 cs.LG
RQ-MoE: Residual Quantization via Mixture of Experts for Efficient Input-Dependent Vector Compression
Key Laboratory of Multimedia Trusted Perception（多媒体可信感知关键实验室）；Efficient Computing, Ministry of Education of China, Xiamen University, Xiamen, China（高效计算，中华人民共和国教育部，厦门大学，厦门，中国）
本文提出RQ-MoE框架，结合双层专家混合与双流量化，实现输入依赖的代码本自适应，提升向量量化效率，并在解码速度上优于现有方法。
2026-05-14 cs.AI cs.LG
Balance of Number of Embedding and their Dimensions in Vector Quantization
BeiJing JiaoTong University（北京交通大学）；Indian Institute of Technology（印度理工学院）；National University of Singapore（新加坡国立大学）
本文研究向量量化中码本大小与嵌入维度的平衡问题，提出基于Gumbel-Softmax的自适应动态量化方法，使VQ-VAE能够为每个数据实例自主选择最优码本配置，并在多个基准数据集上验证了其显著性能提升。
2024-07-06 cs.CV cs.LG
PCA-VAE: Differentiable Subspace Quantization without Codebook Collapse
Wake Forest University School of Medicine（威克森林大学医学院）
PCA-VAE通过在线PCA瓶颈替代VQ，实现无需码本的可微子空间量化，提升重建质量并减少潜在位数，同时产生可解释的维度特征。
2026-02-21 cs.CV cs.LG
LGQ: Learnable Geometric Quantization for Image Tokenization
Luddy School of Informatics, Computing and Engineering, Indiana University Bloomington（印第安纳大学布卢明顿分校信息学、计算与工程学院）；Department of Computer Science, University of Illinois Springfield（伊利诺伊大学斯普林菲尔德分校计算机科学系）；College of Science and Engineering, Hamad Bin Khalifa University, Doha, Qatar（哈马德·本·卡伊夫大学多哈校区科学与工程学院）
研究提出可学习几何量化（LGQ），保留可学习码本，通过温度退火进行软到硬分配，用两个低成本项正则化，无需EMA等防止码本崩溃，在图像任务中表现优。
2026-09-09 cs.CV cs.LG
Restructuring Vector Quantization with the Rotation Trick
Stanford University（斯坦福大学）；Google DeepMind（谷歌DeepMind）
针对 VQ-VAE 直通估计丢失量化信息的问题，本文提出用旋转与重缩放线性变换重构量化层，使梯度携带相对大小和角度信息，并在 11 种训练范式中提升重建、码本利用率与量化误差。
2025-03-16 cs.CV cs.LG
VP-VAE: Rethinking Vector Quantization via Adaptive Vector Perturbation
Xi'an Jiaotong University, China（西安交通大学）
VP-VAE通过自适应向量扰动方法解耦表示学习与离散化，提升生成模型的稳定性与重建保真度。
2026-02-19 cs.AI cs.LG
Enhancing Vector Quantization with Distributional Matching: A Theoretical and Empirical Study
University of Toronto（多伦多大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）；Boston College（波士顿学院）；Lehigh University（莱特大学）；Southern University of Science and Technology（南方科技大学）
针对向量量化中的训练不稳定与码本崩溃问题，提出用Wasserstein距离对齐特征与码向量分布，实现近100%码本利用率并降低量化误差，经理论与实证验证。
2025-06-18 cs.CV cs.LG
Is Hierarchical Quantization Essential for Optimal Reconstruction?
Institute for Neural Computation (INI), Faculty of Computer Science, Ruhr University Bochum, Germany（神经计算研究所（INI），计算机科学学院，博德姆鲁尔大学）
本文通过比较双层VQ-VAE和匹配容量的单层模型，探讨单层VQ-VAE在抑制代码书崩溃后能否达到层次结构模型的重建保真度。
2026-03-19 cs.CV cs.LG
Multi-Bitwidth Quantization for LLMs Using Additive Codebooks
University of Toronto（多伦多大学）
提出Drop-by-Drop框架，基于信息论和逐次细化理论，利用加性码本和Matryoshka监督实现单个模型在推理时支持多精度权重控制，降低存储开销并保持性能。
2026-09-29 cs.CL cs.IT cs.LG
Initialisation Determines the Basin: Efficient Codebook Optimisation for Extreme LLM Quantization
University of Sheffield（谢菲尔德大学）
本文提出OA-EM方法，通过Hessian加权马氏距离改进代码本初始化，解决极端LLM量化中初始化不足导致的性能问题，提升压缩模型的优化效果。
2026-04-09 cs.CL cs.LG
QAM-W: Joint 2D Codebook Quantization for LLM Weights via Hadamard Rotation and Activation-Aware Scaling
Independent Research（独立研究）；Institute of Computing Science（计算科学研究所）；Poznan University of Technology（波兹南技术大学）
提出QAM-W方法，通过L2归一化、块哈达玛旋转和2D坐标配对量化，结合激活感知缩放，在约5.5 bpw下使困惑度接近BF16，优于极坐标编码，并在5-6 bpw范围内保持质量。
2026-05-25 cs.CL cs.LG
QuIP#: Even Better LLM Quantization with Hadamard Incoherence and Lattice Codebooks
Cornell University（康奈尔大学）
本文提出QuIP#，一种仅权重的PTQ方法，通过随机化Hadamard变换、基于E8格的向量量化和微调，在每权重$\le$4比特的极端压缩下实现最先进性能，支持快速推理。
2024-06-04 cs.AI cs.CL cs.LG
TurboVec: A Case Study in Cost-Efficient Private Retrieval for Enterprise RAG via Codebook-Oblivious Quantization
研究RAG系统向量检索层挑战，介绍基于TurboQuant的TurboVec开源向量索引。通过实验对比，表明TurboQuant在内存和召回率上有优势，TurboVec部署效果好，码本无关设计提升隐私性，不过存在单一数据集评估等局限。
2026-07-21 cs.AI cs.IR cs.LG
Taming the Entropy Cliff: Variable Codebook Size Quantization for Autoregressive Visual Generation
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；hi-Lab, Xiaohongshu Inc（小红书实验室）
本文提出变量码本大小量化（VCQ），通过动态增加码本大小以解决固定码本设计导致的熵崖问题，提升自回归视觉生成性能。
2026-11-06 cs.AI cs.CV cs.LG
SBVR: Summation of BitVector Representation for Efficient LLM Quantization
Seoul National University（首尔国立大学）
本文提出SBVR量化方法，通过位向量求和实现硬件友好的高斯式非均匀码表示，并设计定制CUDA内核支持免解压矩阵运算，在4位量化下实现最先进精度和2.21-3.04倍端到端生成加速。
2025-09-17 cs.LG
HyperVQ: MLR-based Vector Quantization in Hyperbolic Space
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
提出HyperVQ，将向量量化表述为双曲空间中的MLR问题，利用指数体积增长缓解码本崩溃并提高聚类可分性，在判别性能上超越传统VQ。
2025-04-06 cs.LG eess.IV
SQ-VAE: Variational Bayes on Discrete Representation with Self-annealed Stochastic Quantization
Sony Group Corporation（索尼集团公司）；Sony Corporation of America（美国索尼公司）
矢量量化变分自编码器（VQ-VAE）的一个值得注意的问题是，学习的离散表示仅使用码本的全部容量的一部分，也称为码本塌陷。我们假设VQ-VAE的训练方案，其中涉及一些精心设计的技巧，是这个问题的基础。在本文中，我们提出了一种新的训练方案，扩展了标准的VAE通过新的随机去量化和量化，称为随机量化的变分自编码器（SQ-VAE）。在SQ-VAE中，我们观察到一种趋势，即在训练的初始阶段量化是随机的，但逐渐向确定性量化收敛，我们称之为自退火。我们的实验表明，SQ-VAE提高码本利用率，而不使用常见的算法。此外，我们的经验表明，SQ-VAE是优于VAE和VQ-VAE在视觉和言语相关的任务。
2022-06-09 cs.CV cs.LG
Soft Convex Quantization: Revisiting Vector Quantization with Convex Optimization
UC Berkeley（加州大学伯克利分校）；Microsoft Azure AI（微软Azure人工智能）
针对VQ的码本坍缩、不可微和有损压缩问题，本文提出作为DCO层的软凸量化SCQ及其可扩展松弛，并在多个数据集上证明其显著优于VQ架构。
2023-10-04 cs.AI cs.CV cs.LG
Finite Scalar Quantization: VQ-VAE Made Simple
Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）
本文提出有限标量量化（FSQ）替代VQ-VAE中的向量量化，通过低维标量量化获得隐式码本，在图像生成、深度估计等任务上取得与VQ相当的性能，且无需复杂机制，避免码本崩溃。
2023-10-12 cs.CV cs.LG
Two-Dimensional Quantization for Geometry-Aware Audio Coding
School of Electrical and Computer Engineering, Ben-Gurion University of the Negev, Be’er Sheva, Israel（电气与计算机工程学院，内盖夫本· Gurion大学，贝尔谢巴，以色列）
本文提出了一种二维量化方法Q2D2，通过将特征对投影到结构化的2D网格上，提高了音频压缩效率，同时保持了最先进的重建质量。
2026-05-18 cs.AI cs.IT cs.LG
CodeGEMM: A Codebook-Centric Approach to Efficient GEMM in Quantized LLMs
NAVER Cloud（NAVER云）
CodeGEMM通过预计算内积替代去量化，提高量化LLM的推理效率和内存利用率
2025-12-19 cs.AI cs.LG
BTC-LLM: Efficient Sub-1-Bit LLM Quantization via Learnable Transformation and Binary Codebook
The Hong Kong University of Science and Technology（香港科技大学）；City University of Hong Kong（香港城市大学）；University of Electronic Science and Technology of China（电子科技大学）
BTC-LLM通过二进制模式聚类和权重转换克服传统二值化限制，实现亚1位LLM量化，在极端压缩下达到1.11-0.7 bits的压缩率，同时保持高性能和高效推理。
2026-04-09 cs.AI cs.CV cs.LG
Model compression as constrained optimization, with application to neural nets. Part II: quantization
University of California, Merced（加州大学默塞德分校）
我们考虑通过量化进行深度神经网络压缩的问题：给定一个大的参考网络，我们希望使用具有$K$条目的码本来计算其实值权重，以便量化网络的训练损失最小。对于二值化或三值化方法，码本可以最佳地与网络联合学习，或者固定。以前的工作已经量化了参考网络的权重，或者在反向传播算法中引入了舍入操作，但这并不能保证收敛到损失最优的量化网络。我们描述了一种新的方法的基础上，最近提出的框架模型压缩约束优化\citep{Carreir17a}。这导致了一个简单的迭代“学习-压缩”算法，该算法交替学习连续权重的网络的步骤和量化（或二进制化/三进制化）权重的步骤，并且保证收敛到量化网络的损失的局部最优值。我们开发的自适应码本或（部分）固定码本的算法。后者包括二值化、三值化、二的幂和其他重要的特殊情况。我们的实验表明，我们可以实现更高的压缩率比以前的量化工作（即使只使用1位每重量），可以忽略不计的损失退化。
2017-07-13 cs.LG cs.NE math.OC
The Role of Codeword-to-Class Assignments in Error-Correcting Codes: An Empirical Study
Technion（以色列理工学院）
纠错码（ECC）用于减少多类分类任务的多个二进制分类子问题。在ECC中，类别由二进制矩阵的行表示，对应于码本中的码字。码本通常是预定义的或问题相关的。给定预定义的码本，码字到类的分配传统上被忽视，码字被隐式地任意分配给类。我们的论文表明，这些分配在ECC的性能发挥了重要作用。具体来说，我们研究相似性保持分配，其中类似的码字分配给类似的类。针对现有文献中的争议，我们广泛的实验证实，相似性保持分配诱导更容易的子问题，并优于其他分配政策的泛化性能。我们发现，相似性保持分配预定义的码本成为问题相关的，而不改变其他有利的码本属性。最后，我们表明，我们的研究结果可以改善预定义的码本专用于极端分类。
2023-02-10 cs.LG
Compressing 3D Gaussian Splatting by Noise-Substituted Vector Quantization
Aalto University（阿尔托大学）
本文提出通过噪声替代向量量化技术压缩3D高斯散射，有效减少内存消耗并保持重建质量，适用于实际应用。
2025-04-08 cs.CV cs.LG
Leech Lattice Vector Quantization for Efficient LLM Compression
本文提出Leech晶格向量量化方法，通过高维晶格结构实现高效LLM压缩，优于现有量化方法。
2026-07-08 cs.LG
Pyramid Vector Quantization for LLMs
Imperial College London（帝国理工学院）；Microsoft AI（微软人工智能）；Microsoft Research（微软研究院）
本文针对大语言模型量化，提出结合金字塔向量量化与尺度量化的方法，利用球面几何特性和海森矩阵信息优化量化，在Llama-3 70B模型上实现每权重3.25比特量化且下游任务保留98%准确率，达到帕累托最优性能。
2024-12-04 cs.LG
Hierarchical Vector Quantized Graph Autoencoder with Annealing-Based Code Selection
East China Normal University（华东师范大学）
针对现有图自监督学习依赖扰动易破坏信息、VQ-VAE在图数据应用不足的问题，本文分析向量量化对图自编码器的增强作用，提出退火编码策略和分层码本解决码本利用率低等挑战，模型在链路预测和节点分类任务中优于16种基线方法。
2025-04-17 cs.LG
Price of metric universality in vector quantization is at most 0.11 bit
Massachusetts Institute of Technology（麻省理工学院）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of California, San Diego（加州大学圣地亚哥分校）
本文证明存在一个通用码本，对于所有可能的X统计量，在W为高斯时，其性能至少与速率每维度降低0.11比特的X自适应水填充码本相当。
2026-06-17 cs.IT cs.LG math.IT
GSRQ: Gain-Shape Residual Quantization for Sub-1-bit KV Cache
针对大语言模型KV缓存压缩中向量量化导致的方向保持问题，提出增益-形状K均值（GSKM）替代标准K均值，并构建增益-形状残差量化（GSRQ），在1比特下将LongBench平均准确率从11.34提升至33.54。
2026-07-02 cs.LG
LL-VQ-VAE: Learnable Lattice Vector-Quantization For Efficient Representations
University of Bristol（布里斯托大学）
本文提出LL-VQ-VAE，用可学习的格向量量化替代VQ-VAE中的向量量化层，以结构约束防止码本崩溃，实现高利用率、低重建误差、快训练速度和恒定参数，并在多个数据集上验证其高效性。
2023-10-13 cs.CV cs.LG
Channel-Aware Vector Quantization for Robust Semantic Communication on Discrete Channels
Huazhong University of Science and Technology（华中科技大学）
针对现有离散语义通信方法忽略信道状态导致鲁棒性不足的问题，提出信道感知向量量化算法及VQJSCC框架，通过多码本对齐机制处理阶数不匹配，有效缓解数字悬崖效应，在鲁棒性和效率上优于现有基线。
2025-10-21 cs.LG eess.IV eess.SP
Graph is a Natural Regularization: Revisiting Vector Quantization for Graph Representation Learning
School of Computer Science and Engineering, University of New South Wales, Sydney, Australia（新南威尔士大学计算机科学与工程学院，悉尼，澳大利亚）
针对图向量量化中码本崩溃问题，提出RGVQ框架，通过图拓扑和特征相似性正则化及Gumbel-Softmax软分配，提升码本利用率和令牌多样性。
2026-06-01 cs.AI cs.LG
BRIDLE: Generalized Self-supervised Learning with Quantization
Florida State University（佛罗里达州立大学）；Meta Platforms Inc.（元平台公司）
本研究提出BRIDLE框架，将残差量化融入双向训练，可泛化用于多模态预训练，在音频分类等任务上取得最优结果，优于传统向量量化方法。
2026-08-27 cs.CV cs.LG
EVA: Accelerating LLM Decoding via an Efficient Vector Quantization Architecture
Duke University（杜克大学）
针对大语言模型解码阶段内存瓶颈和计算利用率低的问题，提出EVA架构，将GEMV计算转化为GEMM并消除内存冲突，实现最高11.17倍加速和7.17倍能效提升。
2026-05-22 cs.AR cs.LG
Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior
National University of Singapore（新加坡国立大学）；Indian Institute of Technology Jodhpur（焦特布尔印度理工学院）
本文提出基于高斯混合的向量量化框架GM-VQ，利用隐变量均值与自适应方差捕获复杂数据分布，避免VQ-VAE的启发式假设，并引入ALBO优化目标，有效提升码本利用率并减少信息损失。
2024-10-14 cs.LG stat.ML
XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference
Gemini Stiftung（吉姆米基金会）
XFP通过自适应码本量化和稀疏异常分离技术，实现高质量LLM推理，无需Hessian或校准数据，支持动态调整码本大小和异常预算，提升推理速度和精度。
2026-05-14 cs.AI cs.LG
SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant
University of Southern California（南加州大学）；Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
本研究针对分布式优化中隐私保护与通信成本的矛盾，提出 SSTQ 框架，实现了更优的均方误差缩放，在联邦学习任务中展现出良好效用与通信效率。
2026-09-29 cs.AI cs.LG stat.ML
STAR: Learning Diverse Robot Skill Abstractions through Rotation-Augmented Vector Quantization
School of Computer Science and Technology, Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）计算机科学与技术学院）；Huawei Noah's Ark Lab（华为诺亚方舟实验室）
STAR通过旋转增强的向量量化和因果技能变压器，提升机器人技能学习与组合，实现复杂行为完成，在LIBERO基准和现实任务中表现优越。
2026-04-07 cs.LG cs.RO
ArcVQ-VAE: A Spherical Vector Quantization Framework with ArcCosine Additive Margin
Department of Artificial Intelligence, Chung-Ang University, Seoul, Republic of Korea（韩国首尔 Chung-Ang 大学人工智能系）；SNUAILAB, Seoul, Republic of Korea（韩国首尔 SNUAILAB 实验室）
针对VQ-VAE有限码本容量限制表示能力的问题，提出ArcVQ-VAE框架，通过引入球面角边先验（包括球界范数正则化和反余弦加性边界损失）增强潜在表示的判别性和均匀分散性，提升码本利用率，在图像重建和生成任务上取得竞争性能。
2026-05-27 cs.AI cs.CV cs.LG
Regularized Residual Quantization: a multi-layer sparse dictionary learning approach
University of Geneva（日内瓦大学）
残差量化（RQ）框架被重新审视，其中量化失真在多层中被连续减少。受率失真理论中的反向注水范例的启发，引入了对码字方差的有效正则化，其允许针对非常大量的层以及针对高维数据扩展RQ，而不会过度训练。所提出的正则化残差量化（RRQ）导致额外稀疏的多层字典，这要归功于当应用于方差衰减数据时正则化的软阈值性质，方差衰减数据可以由应用于相关数据的去相关变换引起。此外，我们还提出了一个通用的预处理自然图像，使他们适合这样的量化。RRQ框架首先在合成方差衰减数据上进行测试，以显示其在高维数据量化方面的效率。接下来，我们在面部图像数据库的超分辨率中使用RRQ，其中示出了来自测试集的低分辨率面部图像，该测试集使用在来自训练集的高分辨率图像上训练的码本量化，当使用这些码本重建时，显示出相关的高频内容。
2017-05-01 cs.CV cs.LG
Learning Product Codebooks using Vector Quantized Autoencoders for Image Retrieval
KTH Royal Institute of Technology（KTH皇家理工学院）
矢量量化变分自编码器（VQ-VAE）[1]通过结合矢量量化和自编码器，提供了一种用于学习离散表示的无监督模型。在本文中，我们研究了使用VQ-VAE表示学习的下游任务，如图像检索。我们首先描述的VQ-VAE的信息理论框架的背景下。我们表明，学习表示上的正则化项由训练前嵌入码本的大小决定，它影响模型的泛化能力。因此，我们引入了一个超参数来平衡矢量量化器的强度和重建误差。通过调整超参数，嵌入的瓶颈量化器被用作正则化器，其迫使编码器的输出共享受约束的编码空间，使得学习的潜在特征保持数据空间的相似性关系。此外，我们提供了一个搜索范围，找到最好的超参数。最后，我们将产品量化到VQ-VAE的瓶颈阶段，并提出了一个端到端的图像检索任务的无监督学习模型。乘积量化器具有生成大尺寸码本的优点。快速检索可以通过使用存储任何对子码字之间的距离的查找表来实现。最先进的检索结果是通过学习的码本实现的。
2019-03-04 cs.CV cs.LG eess.IV
A Hardware-Aware, Per-Layer Methodology for Post-Training Quantization of Large Language Models
本文提出了一种面向硬件的分层后训练量化方法，通过优化代码本和硬件效率，实现4.5-6位/权重的近无损精度，展示了小原子块与精心选择的精度可替代传统FP8。
2026-05-14 cs.AR cs.LG
Quantization based Fast Inner Product Search
Google Research（谷歌研究院）
我们提出了一种基于量化的快速近似最大内积搜索（MIPS）方法。每个数据库向量通过一组码本在多个子空间中量化，直接通过最小化内积量化误差来学习。然后，查询到数据库向量的内积近似为与子空间量化器的内积之和。与最近提出的MIPS LSH方法不同，数据库向量和查询不需要在高维特征空间中进行扩充。我们还提供了一个理论分析所提出的方法，包括温和的假设下的浓度结果。此外，如果一个小样本的示例查询是在训练时间，我们提出了一个修改的码本学习过程，进一步提高了准确性。在包括深度神经网络在内的各种数据集上的实验结果表明，所提出的方法显着优于现有的最先进的。
2015-09-04 cs.AI cs.LG stat.ML
TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization
Open Compute Project（开放计算项目）
本文提出TORQ框架，通过优化坐标变换重塑激活空间的几何属性，解决MXFP4激活量化中的精度下降问题，显著提升量化精度。
2026-05-19 cs.AI cs.LG
GPTVQ: The Blessing of Dimensionality for LLM Quantization
Qualcomm AI Research（高通人工智能研究院）
本文提出GPTVQ方法，通过提高量化维度并利用Hessian信息交错更新权重与码本，在LLM上实现了更优的规模-精度权衡，且解压延迟优于4位整数格式。
2025-06-03 cs.CL cs.LG
A Unified Rate-Distortion Perspective on Vector, Product, and Scalar Quantization
University of Toronto（多伦多大学）；Boston College（波士顿学院）
本研究针对离散视觉分词的VQ、PQ、SQ提出统一率-失真视角，明确重建保真度核心目标，确立量化比较公平条件，还原失真层级并证实现代VQ方法失真最低。
2026-09-03 cs.CV cs.LG
