RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache
ETH Zurich(苏黎世联邦理工学院);Tsinghua University(清华大学)
RDKV通过联合优化擦除与量化,提升长序列推理效率,实现9.1%的性能提升和97.81%的准确率恢复。
2026-05-08 cs.AI cs.LG
NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache
Seoul National University(首尔国立大学)
针对大语言模型KV缓存内存密集问题,NSNQuant提出一种无校准向量量化技术,通过三步变换结合哈达玛变换使令牌分布与标准正态分布对齐,在1比特和2比特设置下优于先前方法,提升吞吐量。
2026-07-16 cs.AI cs.LG
PN-Mix: Pair-Norm Guided Mixed-Precision Key Cache Quantization for Efficient Long-Output LLM Inference
Seoul National University(首尔大学)
PN-Mix是一种针对基于RoPE的仅解码器大语言模型的混合精度键缓存量化方法,通过对范数引导分配精度,在更低平均比特下实现更优精度,且性能下降更平缓。
2026-10-15 cs.CL cs.LG
KV-COBRA: KV Cache Compression via Co-Optimized Bit-Rank Allocation
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
KV-COBRA通过按注意力头协同优化秩和位宽分配,在低比特率下实现更优的KV缓存压缩,显著减少精度损失且无额外开销。
2026-09-22 cs.AI cs.LG
HeadGuard: Selective Head Protection for Low-Bit VLM KV-Cache Quantization
CoreAI, Microsoft(微软CoreAI)
HeadGuard通过固定高精度掩码保护约1/8的KV头部,在八个VLM和八个基准上显著恢复低比特量化损失,将2比特判别性平均分从0.436提升至0.580。
2026-09-30 cs.CV cs.LG
H1B-KV: Hybrid One-Bit Caches for Memory-Efficient Large Language Model Inference
Rutgers University(罗格斯大学)
本文提出H1B-KV混合一位缓存,通过键的1位二进制草图和值的4位量化,将70亿参数LLM的8k上下文缓存内存减少70倍,并匹配全精度性能,优于现有量化、驱逐和草图方法。
2025-10-07 cs.CL cs.LG
SVDq: 1.25-bit and 410x Key Cache Compression for LLM Attention
针对大语言模型KV缓存高效压缩需求,提出基于SVD的K缓存混合精度量化方法SVDq,可实现1.25比特等效精度,结合键稀疏化最高达410倍压缩比且性能几乎无损。
2025-02-21 cs.AI cs.CL cs.LG
Bit-Flip Vulnerability of Shared KV-Cache Blocks in LLM Serving Systems
Institute of Science Tokyo(东京科学研究所)
研究揭示LLM服务系统中共享KV缓存块的位翻转漏洞,指出其具有静默分歧、选择性传播和持久累积特性,提出基于校验和的防护措施以限制累积损害。
2026-06-07 cs.AR cs.CR cs.LG
High-accuracy Low-Bit KV-Cache Quantization via Local Distribution Restoration
研究长上下文大语言模型推理中 KV 缓存量化问题,提出局部分布恢复技术,实现 DGAP。该技术可检测高风险步骤并恢复 top-K 候选分布,实验证明在 Llama-3.1-8B 等模型上能提升准确率、降低分布漂移,保持低比特缓存占用。
2026-07-21 cs.AI cs.LG
Kitty: Accurate and Efficient 2-bit KV Cache Quantization with Dynamic Channel-wise Precision Boost
Kitty通过混合精度KV缓存的算法-系统协同设计,实现2位量化在保持高精度的同时显著降低内存占用,提升推理效率。
2025-11-23 cs.AI cs.LG
AsymKV: Enabling 1-Bit Quantization of KV Cache with Layer-Wise Asymmetric Quantization Configurations
Tongyi Lab, Alibaba Group(阿里集团通义实验室);Alibaba Cloud Computing, Alibaba Group(阿里集团阿里云计算)
本文提出 AsymKV 方法,利用键矩阵与值矩阵在量化敏感性上的非对称性,通过逐层差异化配置实现 KV 缓存 1 比特量化,可在量化 75% 解码器层的同时保持与浮点模型相当的性能。
2024-10-17 cs.AI cs.LG
Block-GTQ: RoPE-Block Rate Allocation for KV-Cache Quantization
Hong Kong University of Science and Technology(香港科技大学);The Chinese University of Hong Kong(香港中文大学);MiMo, Xiaomi Corporation(小米集团 MiMo)
针对RoPE下键缓存量化中不同频率块对误差敏感度不同的问题,提出Block-GTQ比特分配器,通过能量评分和贪心分配提升量化精度,在长上下文任务中显著恢复性能。
2026-10-30 cs.CL cs.LG
RoLaQ: Joint Rotation and Range Calibration for 2-Bit KV Caches in Multi-Head Latent Attention
Tsinghua University(清华大学);Baidu Inc.(百度公司)
针对多头潜在注意力的2比特KV缓存误差问题,提出RoLaQ联合旋转与范围校准方法,在多模型基准测试中获最高平均准确率,在DeepSeek-V2-Lite上显著提升KV缓存容量与解码吞吐量。
2026-10-16 cs.LG stat.ML
Tailoring the Quantization Space for 1-Bit KV Cache Compression
Seoul National University(首尔大学);Stanford University(斯坦福大学)
针对长上下文推理中KV缓存的内存瓶颈,提出TaSQ方法,通过查询引导通道加权、跨头归一化和协方差感知通道分组定制VQ量化空间,在1比特压缩下显著优于现有基线,并支持更大批处理与更高吞吐量。
2026-10-05 cs.AI cs.CL cs.LG
ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals
KAIST(韩国科学技术院);Yonsei University(延世大学);Seoul National University(首尔国立大学)
提出ResidualQuant,利用循环Transformer跨循环KV状态相似性,以最终循环为参考量化残差,结合缩放旋转和混合精度,在INT2下保持精度,减少KV存储80.7%,吞吐量提升显著。
2026-10-30 cs.LG
Read What Matters: Query-Adaptive Quantization for KV Caches
Amazon(亚马逊);University of California, Berkeley(加州大学伯克利分校)
该研究提出ReadKV方法,通过查询自适应分配KV缓存的渐进式编码前缀,在降低读取成本的同时保持模型性能,在长上下文任务上延迟显著低于TurboQuant。
2026-10-09 cs.CL cs.LG cs.PF
A JoLT for the KV cache: Near-Lossless KV Cache Compression via Joint Rank-bit Allocation
Universität Trier(特里尔大学);Fachbereich IV, Mathematik, Universität Trier(特里尔大学数学四系)
研究针对KV缓存内存成本高的问题,提出JoLT方法,通过联合塔克分解和JL残差分配压缩缓存,单个拉格朗日对偶分配参数,实现近无损2 - 3倍压缩,随机变体FlashJoLT还加速了压缩时间。
2026-09-25 cs.CL cs.LG math.OC
Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches
Fathom通过逐查询反向注水分配位预算读取KV缓存位平面,在百万token场景下比现有稀疏解码方法更快且更省字节,同时保持与精确top-k相当的准确率。
2026-09-21 cs.CL cs.DC cs.LG
QJL: 1-Bit Quantized JL Transform for KV Cache Quantization with Zero Overhead
New York University(纽约大学);Yale University(耶鲁大学);Adobe Research(奥多比研究机构)
QJL通过JL变换加符号位量化消除量化常数存储开销,实现零开销KV缓存量化,在3比特下减少五倍内存且不损精度。
2024-07-18 cs.AI cs.CL cs.LG
E8 Lattice Key Quantization for Low-Bit KV-Cache Compression
Technical University of Berlin(柏林工业大学)
本研究提出基于E8格的向量量化方法,实现2位密钥和2位值的KV缓存压缩,在保持与标量方法相当吞吐量的同时,压缩比达6倍,且在多数模型-数据集-上下文设置中优于标量k3v2,拓展了长上下文LLM推理的质量-内存边界。
2026-10-14 cs.AI cs.LG
MixKVQ: Query-Aware Mixed-Precision KV Cache Quantization for Long-Context Reasoning
South China University of Technology(南方科技大学);Beihang University(北航);Pazhou Laboratory(琶洲实验室)
MixKVQ通过查询感知的混合精度量化策略,提升长上下文推理性能并降低内存开销。
2025-12-22 cs.AI cs.LG
TurboAngle: Near-Lossless KV Cache Compression via Uniform Angle Quantization
LLMs Research Inc.(LLMs研究公司)
本文提出通过在快速沃尔什- Hadamard域中量化角度来压缩KV缓存条目,采用随机对角旋转使连续元素对在单位圆上近似均匀分布。通过每层早期提升技术,独立配置每层K和V代码本大小,为模型特定的关键层分配更高精度,实现四模型无损压缩和六模型近无损质量压缩。
2026-03-29 cs.AI cs.LG
LogQuant: Log-Distributed 2-Bit Quantization of KV Cache with Superior Accuracy Preservation
Paradigm(4Paradigm)
LogQuant通过基于对数的过滤机制实现KV缓存的2位量化,减少内存占用的同时保持高性能,实验表明其在吞吐量、批处理大小和准确性上均优于现有方法。
2025-03-25 cs.AI cs.CL cs.LG
WUSH-KV: KV Cache Quantization with Data-Adaptive Transforms
Institute of Science Technology Austria (ISTA)(奥地利科学技术学院);Red Hat AI(红帽人工智能);ETH Zürich(苏黎世联邦理工学院)
WUSH-KV通过数据自适应变换对KV缓存进行低位量化,降低内存和带宽成本,在2比特下性能优于或媲美OSCAR变换。
2026-09-30 cs.LG
Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving
Independent Researcher, Milpitas, CA 95035 USA
本文研究发现大语言模型服务中,前缀缓存会引发智能体工具使用轨迹差异,且量化程度越高差异越显著,缓存状态缺失导致实际不可复现,同时发布了相关测试资源。
2026-11-09 cs.DC cs.LG cs.SE
RotateKV: Accurate and Robust 2-Bit KV Cache Quantization for LLMs via Outlier-Aware Adaptive Rotations
Tsinghua University(清华大学);Huawei Technologies Co., Ltd(华为技术有限公司)
提出 RotateKV,一种 2 比特 KV 缓存量化方法,通过离群值感知旋转、Pre-RoPE 分组头旋转和注意力汇聚感知量化,在极低比特位宽下保持准确与鲁棒,显著降低内存并加速解码。
2025-02-02 cs.AI cs.CL cs.LG
NQKV: A KV Cache Quantization Scheme Based on Normal Distribution Characteristics
针对LLM推理中KV缓存内存瓶颈,提出基于正态分布特性的每块分位数量化方案NQKV,在不显著损失精度下支持2倍批大小或4倍上下文长度,吞吐量提升9.3倍。
2025-05-22 cs.AI cs.CL cs.LG
Spend Bits Where Queries Look: KV Cache Vector Quantization with Attention-Preserving Transforms
University of Southern California(南加州大学)
本文提出名为NOVA-KV的KV缓存量化方法,将其建模为变换编码问题,推导闭式最优变换,在每元素2比特时可恢复标量量化方法损失的大部分长上下文检索精度。
2026-08-06 cs.AI cs.IT cs.LG
SKVQ: Sliding-window Key and Value Cache Quantization for Large Language Models
Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);Houmo AI(鸿博AI);Peking University(北京大学);CUHK(香港中文大学)
针对大模型长上下文导致的 KV 缓存内存瓶颈,提出滑动窗口量化策略 SKVQ,通过通道重排、组级动态量化及保留近期窗口高精度,在极低位宽下维持精度并实现 7 倍解码加速。
2024-11-12 cs.CL cs.LG
QuantMLA: Function-Aligned Dual-Path Quantization for Low-Bit MLA KV Caching
The University of Hong Kong(香港大学);Meituan LongCat Team(美团龙猫团队);South China University of Technology(华南理工大学);Harbin Institute of Technology(哈尔滨工业大学)
针对 MLA 缓存随上下文和批大小线性增长的问题,提出 QuantMLA 功能对齐双路径量化框架,实现内容与 RoPE 缓存联合 INT4 量化,最小化精度损失,并提供 3.59 倍压缩和 5.168 倍吞吐提升。
2026-10-01 cs.CL cs.LG
QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院);Microsoft Research(微软研究院);Microsoft(微软);IST Austria(奥地利科学技术研究所);NeuralMagic
本研究提出基于旋转的量化方案QuaRot,可在不改变输出的情况下去除LLM隐藏状态异常值,实现权重、激活、KV缓存的4位端到端量化,在LLaMa2-70B上仅损失最多0.47困惑度,保留99%零样本性能,还可实现无损6/8位量化。
2024-10-29 cs.LG
Understanding Cache Boundness of ML Operators on ARM Processors
Heidelberg University(海德堡大学);Materials Center Leoben(莱奥本材料中心)
像TVM这样的机器学习编译器允许在嵌入式CPU上快速灵活地部署。这使得可以使用非标准运算符,这在ML压缩技术中很常见。但是,有必要了解ML工作负载中典型计算密集型操作员的局限性,以设计适当的解决方案。这是第一次对TVM生成的密集和卷积运算符进行详细分析,与嵌入式ARM处理器的基本硬件限制进行比较。因此,它解释了计算峰值性能之间的差距,理论和测量,和现实世界的最先进的结果,创建与TVM和openBLAS。相反,可以看到单精度通用矩阵乘法(GEMM)和卷积受L1缓存读取带宽的约束。对8位和位串行量化运算符的探索表明,与高速缓存限制的浮点运算符相比,量化可以用于实现相关的加速比。然而,量化运算符的性能高度依赖于数据布局和位打包之间的相互作用。
2021-02-01 cs.AI cs.AR cs.LG
RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory
BA TechWorks (BMW Group)(BA TechWorks(宝马集团));National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
RateQuant利用率-失真理论优化混合精度KV缓存量化,通过为不同重要性头部分配不同位宽,减少内存瓶颈,提升生成性能。
2026-06-29 cs.CL cs.IT cs.LG
ReQAT: Achieving Full-Precision Reasoning Accuracy with 4-bit Floating-Point Quantization-Aware Training
Hanyang University(汉阳大学);Samsung Advanced Institute of Technology(三星综合技术院)
针对大推理模型在低比特量化(W4A4KV4)下推理精度严重下降的问题,提出ReQAT框架,通过迹对齐QAT、选择性熵最小化和量化友好初始化,恢复并超越BF16微调精度,实现最高3.9倍吞吐加速。
2026-06-16 cs.LG
Lynx: Progressive Speculative Quantization for accelerating KV Transfer in Long-Context Inference
University College London(伦敦大学学院);Huawei(华为)
针对长上下文推理中KV缓存传输延迟问题,提出Lynx系统,通过将KV缓存分为高优先级Anchor流和低优先级Residual流,实现渐进式传输和推测解码,在降低首令牌延迟的同时保持高精度。
2026-07-03 cs.DC cs.LG
Not All Bits Are Equal: Scale-Dependent Memory Optimization Strategies for Reasoning Models
KRAFTON;University of Wisconsin–Madison(威斯康星大学麦迪逊分校);UC Berkeley(加州大学伯克利分校);Microsoft Research(微软研究院)
针对推理模型中KV cache主导内存的问题,通过1700个推理场景实验发现内存优化存在规模依赖权衡:小于8-bit 4B的小模型应优先增加权重,大模型应优先延长生成,表明推理模型部署需采用与非推理模型根本不同的内存优化策略。
2025-10-13 cs.LG
KVarN: Variance-Normalized KV-Cache Quantization Mitigates Error Accumulation in Reasoning Tasks
Huawei(华为)
提出KVarN,一种无校准的KV缓存量化方法,通过Hadamard旋转和双尺度方差归一化减少自回归解码中的量化误差累积,在2位精度下达到生成基准测试的最新水平。
2026-06-02 cs.LG
KVLinC : KV Cache Quantization with Hadamard Rotation and Linear Correction
KVLinC通过Hadamard旋转和线性校正适配器,在极低精度KV缓存量化下减少注意力误差,实现更高压缩和最高2.55倍加速推理。
2025-10-06 cs.LG
OSCAR: Offline Spectral Covariance-Aware Rotation for 2-bit KV Cache Quantization
Together AI;University of Sydney(悉尼大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出OSCAR方法,通过离线估计注意力感知的协方差结构,实现2位KV缓存量化的高效和准确,同时开发了可部署的系统,提升了LLM服务框架的性能和效率。
2026-11-13 cs.AI cs.DC cs.LG
KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization
University of California, Berkeley(加州大学伯克利分校);ICSI;LBNL(劳伦斯伯克利国家实验室)
KVQuant 提出多种低精度 KV 缓存量化新方法,在 3-bit 下实现极低困惑度下降,支持千万级上下文推理并带来显著加速。
2025-05-28 cs.LG
OCTOPUS: Optimized KV Cache for Transformers via Octahedral Parametrization Under optimal Squared error quantization
Stability AI
OCTOPUS通过联合量化旋转坐标三元组,优化了Transformer的KV缓存,在保持内存带宽和足迹的同时,通过八面体参数化将方向映射到平方,并利用Lloyd-Max量化来实现非均匀的位分配,从而在各种数据类型中实现了优于现有旋转编码器的性能。
2026-05-20 cs.AI cs.LG
Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression
Massachusetts Institute of Technology, Cambridge, MA, USA(麻省理工学院);IBM Research, Cambridge, MA, USA(IBM研究院);University of Toronto, Toronto, Canada(多伦多大学)
提出一种免校准的Hurwitz四元数乘法量化方法,通过将K/V的4元素块视为四元数并用量化乘积编码,在约5比特下匹配fp16困惑度,实现高达5.05倍KV缓存压缩。
2026-05-26 cs.AI cs.LG
HeadQ: Model-Visible Distortion and Score-Space Correction for KV-Cache Quantization
本文提出HeadQ方法,通过在键侧存储低秩残差侧码并在校准学习的查询基上应用作为加性对数修正,以解决KV缓存量化中的模型可见失真问题,并通过分数空间误差预测注意力KL散度,优于原始键MSE。
2026-05-19 cs.AI cs.LG
Quantize What Counts: More for Keys, Less for Values
Case Western Reserve University(凯斯西储大学);Rice University(Rice大学);Meta
本文提出两项定理,基于Transformer模型的内在几何特性,指导混合精度KV量化。关键投影具有更大的谱范数和Frobenius范数,优先分配精度给关键能减少量化误差并保留准确性。
2025-10-15 cs.LG
CACHE-UK: A Stability-Aware Memory Editor for Sequentially Updated Quantized LLMs in Finance
Indian Institute of Technology Madras(马德拉斯印度理工学院);University of Birmingham(伯明翰大学)
针对动态金融环境中量化大语言模型的顺序内存编辑退化问题,提出CACHE-UK框架,将知识退化降低11%-17%,测试泛化率达28%,提升6个百分点。
2026-07-31 cs.AI cs.CE cs.CL
PatternKV: Flattening KV Representation Expands Quantization Headroom
School of Computer Science, Beijing Institute of Technology(北京理工大学计算机科学学院)
PatternKV通过扁平化KV表示提升低比特量化精度,实现2比特增益,提高测试时扩展精度10%并提升吞吐量1.5倍。
2026-01-31 cs.AI cs.LG
TriAxialKV: Toward Extreme Low-Precision KV-Cache Quantization for Agentic Inference Tasks
University of Cambridge(剑桥大学);Imperial College London(伦敦帝国学院)
本文提出TriAxialKV,一种混合精度的KV缓存量化方案,通过为每个token分配三轴标签,校准每种标签的敏感性,并在固定内存预算下分配INT2/INT4位宽,以提高代理推理任务的效率和吞吐量。
2026-05-16 cs.LG
KVmix: Gradient-Based Layer Importance-Aware Mixed-Precision Quantization for KV Cache
Fei Li, Song Liu, Weiguo Wu, Shiqiang Nie, Jinyu Wang(作者)
KVmix通过基于梯度的重要性分析实现KV缓存的混合精度量化,有效平衡精度与效率,实现低内存高吞吐的LLM推理
2026-02-02 cs.AI cs.LG
UltraQuant: 4-bit KV Caching for Context-Heavy Agents
Advanced Micro Devices(超威半导体);University of California, Los Angeles(加州大学洛杉矶分校);Purdue University(普渡大学)
针对上下文密集型智能体场景,提出UltraQuant方法,通过4位KV缓存压缩、旋转量化和代码本量化,结合AMD GPU优化,在长上下文多轮任务中延迟降低3.47倍,吞吐量提升1.63倍。
2026-09-14 cs.AI cs.LG cs.PF
KVTuner: Sensitivity-Aware Layer-Wise Mixed-Precision KV Cache Quantization for Efficient and Nearly Lossless LLM Inference
Huawei Noah's Ark Lab(华为诺亚实验室);The Chinese University of Hong Kong(香港中文大学);Huawei Computing Product Line(华为计算产品线)
KVTuner通过多目标优化实现高效且接近无损的LLM推理,适用于不同模型和约束条件。
2025-11-20 cs.AI cs.CL cs.LG
KV Pareto: Systems-Level Optimization of KV Cache and Model Compression for Long Context Inference
Georgia Institute of Technology(佐治亚理工学院);Advanced Micro Devices (AMD)(先进微器件(AMD))
KV Pareto通过系统层面优化KV缓存与模型压缩,实现长上下文推理中的内存效率与准确率的平衡。
2025-12-01 cs.LG
Oaken: Fast and Efficient LLM Serving with Online-Offline Hybrid KV Cache Quantization
KAIST(韩国科学技术院);HyperAccel(HyperAccel公司)
本文提出 Oaken,通过离线设定异常值阈值、在线确定量化 scale 的混合 KV cache 量化算法及定制硬件协同设计,在 batch size 256 下较 A100 最高提升 1.58 倍吞吐,平均精度损失仅 0.54%。
2025-05-14 cs.AR cs.LG
Regularize or Localize: When Training-Time KV-Cache Geometry Pays Under Quantization
Auburn University(奥本大学);National Central University(国立中央大学)
研究LeJEPA的\sigreg在语言模型预训练中能否重塑表示及助于KV缓存量化,通过训练1.1亿参数模型发现,\sigreg能降隐藏状态各向异性,对K和V直接正则化可降缓存各向异性,特定配置下训练干预在量化器比例粗时有用,此为首次训练时分布正则化评估。
2026-07-21 cs.LG
HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models
提出HyperQuant统一后训练量化流水线,通过随机Hadamard变换、最优格量化、无损比特剥离和近熵最优Rice编码,在权重和KV缓存上实现率失真最优,优于现有方案。
2026-06-23 cs.AI cs.LG