More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression
Peking University（北京大学）；Huawei Technologies（华为技术有限公司）
本文研究 KV cache 压缩中 token 数量与量化精度的正交权衡，提出 quantized pruning，证明以低精度保留更多 token 可稳定提升长上下文与检索任务表现。
2025-02-20 cs.CL
WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Houmo AI（鸿谋科技）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）
本文提出训练后量化框架WKVQuant，通过过去信息量化、二维KV缓存量化策略及跨块重建正则化，在几乎达到权重-激活量化内存节省的同时，性能接近仅权重量化。
2024-02-20 cs.AI cs.CL cs.LG
BELT : BEhavior-Aligned Low-Rank KV Cache Compression with Learned Top-k Rank Allocation
Peking University（北京大学）；Tencent（腾讯）；BeiHang University（北京航空航天大学）
针对大语言模型长上下文推理的KV缓存内存瓶颈，提出BELT框架，通过学习型秩分配实现高效低秩压缩，在提升模型质量与吞吐量的同时实现显著缓存压缩效果。
2026-10-14 cs.AI cs.LG
SQuat: Subspace-orthogonal KV Cache Quantization
Red Hat AI Innovation（红帽人工智能创新）
针对KV缓存量化误差累积问题，提出无需微调与额外校准数据的SQuat子空间正交量化方法，通过约束量化误差与查询子空间正交降低对注意力的影响，实现内存降低、吞吐量提升及更优基准表现。
2025-07-28 cs.AI cs.CL cs.IT
GlowQ: Group-Shared LOw-Rank Approximation for Quantized LLMs
COGA robotics, Korea（COGA机器人，韩国）
GlowQ通过组共享低秩近似方法优化量化大语言模型，减少延迟和内存开销，同时提升准确率和吞吐量。
2026-04-30 cs.AI cs.LG
Runtime-Certified Bounded-Error Quantized Attention
Independent Researcher（独立研究者）
本文提出了一种分层的KV缓存架构，通过在GPU内存中存储INT8键和INT4值，同时在系统RAM中保留FP16原始数据，实现了运行时认证的注意机制，通过误差分解得到每头每步的误差界，以驱动自适应精度选择和多阶段回退流程，确保在需要时能恢复到精确的密集注意输出。
2026-05-20 cs.AI cs.LG cs.SY
Mask-Guided KV Cache Eviction in Block Diffusion Language Models
提出MaskAhead，一种无需训练的掩码查询排名方法，用于块扩散语言模型的KV缓存选择与驱逐，显著减少内存并加速生成。
2026-10-07 cs.AI cs.CL cs.LG
Interface-Aware KV Cache Quantization for Dense On-Chip NVM in Long-Context LLM Decoding
University of Notre Dame（圣母大学）
针对长上下文LLM解码中KV缓存的内存瓶颈，提出与NVM接口协同设计的量化方案，通过固定码本和低元数据开销，在保持准确性的同时显著降低读取能量。
2026-09-09 cs.AI cs.AR
InnerQ: Hardware-Aware Tuning-Free Quantization of KV Cache for Large Language Models
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出InnerQ，一种面向硬件的KV缓存量化方法，旨在减少解码延迟而不影响评估性能，通过分组量化策略提高数据重用率，从而在Llama和Mistral模型上提升了少样本评估得分。
2026-05-20 cs.CL cs.LG
PolarQuant: Leveraging Polar Transformation for Efficient Key Cache Quantization and Decoding Acceleration
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院）；ShanghaiTech University（上海科技大学）；Meituan（美团）
提出PolarQuant方法，通过将键向量分组为二维子向量并编码为量化半径和极角，解决键缓存量化中的异常值问题，同时通过查表加速解码，保持全精度模型性能。
2026-06-05 cs.CL cs.LG
Efficient and Privacy Aware Edge Cloud Collaborative Inference for Large Language Models
KunlunMeta（昆仑元）
研究大语言模型推理难题，提出基于端点认证键值缓存的边缘云协作推理框架，本地端点与云端分工协作，经优化支持多种设备，评估显示该框架能降延迟和载荷，性能与全云端推理相当。
2026-07-24 cs.AI cs.CR
TurboAttention: Efficient Attention Approximation For High Throughputs LLMs
Microsoft（微软公司）；Georgia Institute of Technology（佐治亚理工学院）
TurboAttention通过FlashQ量化和稀疏Softmax近似，实现注意力高效执行，显著提升吞吐量并压缩缓存，优于现有方法。
2024-12-17 cs.AI cs.AR cs.LG
High-accuracy Low-Bit KV-Cache Quantization via Local Distribution Restoration
研究长上下文大语言模型推理中 KV 缓存量化问题，提出局部分布恢复技术，实现 DGAP。该技术可检测高风险步骤并恢复 top-K 候选分布，实验证明在 Llama-3.1-8B 等模型上能提升准确率、降低分布漂移，保持低比特缓存占用。
2026-07-21 cs.AI cs.LG
ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
Xi'an Jiaotong University, Xi'an, China（西安交通大学）；Qwen Team, Alibaba Group, China（通义实验室）；Harvard University, Cambridge, MA, USA（哈佛大学）；Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（中国科学院计算技术研究所）
提出基于碰撞候选选择和量化内积重排序的GPU原生KV缓存检索框架ParisKV，在百万token上下文中实现低延迟、高吞吐且分布漂移鲁棒的检索，性能优于或持平全注意力。
2026-05-28 cs.CL cs.DB cs.LG
CodeGEMM: A Codebook-Centric Approach to Efficient GEMM in Quantized LLMs
NAVER Cloud（NAVER云）
CodeGEMM通过预计算内积替代去量化，提高量化LLM的推理效率和内存利用率
2025-12-19 cs.AI cs.LG
PolyKV: A Shared Asymmetrically-Compressed KV Cache Pool for Multi-Agent LLM Inference
Independent Researcher（独立研究者）
PolyKV通过非对称压缩技术实现多个并发推理代理共享单一KV缓存池，提升内存效率并减少推理延迟。
2026-04-27 cs.CL cs.DC cs.LG
SiLQ: Simple Large Language Model Quantization-Aware Training
IBM Research（IBM研究院）
提出SiLQ这一简单端到端量化感知训练方法，以不到0.1%的额外训练预算在多个基准上显著超越现有领先量化方法，且兼容不同架构与专用推理加速器。
2025-07-22 cs.AI cs.CL cs.LG
Quantization Hurts Reasoning? An Empirical Study on Quantized Reasoning Models
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Huawei Noah’s Ark Lab（华为诺亚实验室）
本文首次系统研究量化对推理模型的影响，评估多个开源推理模型在不同位宽下权重、KV缓存和激活量化的表现，发现W8A8或W4A16可实现无损量化，并揭示模型规模、来源和任务难度是关键因素。
2025-08-18 cs.AI cs.CL
KVFetch: Temporal Prefetching for the Missing Half of KV Cache Compression
KVFetch提出时间预取通道，通过量化冷层和单调指针检测顺序复制，在不增加注意力成本下恢复KV缓存压缩中的逐字复制，显著提升顺序访问任务性能。
2026-10-08 cs.AI cs.LG
Evaluating Quantized Large Language Models
Tsinghua University（清华大学）；Infinigence AI（智源人工智能）；Shanghai Jiaotong University（上海交通大学）
本文系统评估了训练后量化在权重、激活和KV缓存上对11个LLM家族的影响，涵盖五类任务，并总结量化效果、给出应用建议和未来方向。
2024-06-06 cs.AI cs.CL
AudioTQ: A Data-Oblivious 6-Bit CPU Audio Codec via Randomized Hadamard Rotation and Lloyd-Max Quantization
本文提出AudioTQ，一种基于随机哈达玛旋转与劳埃德-麦克斯韦量化的6位CPU时域音频编解码器，无需硬件加速即可实现实时执行，可将音频文件大小缩减74.4%，SQNR约30 dB。
2026-08-18 cs.AI cs.CR cs.SD
SnapMLA: Efficient Long-Context MLA Decoding via Hardware-Aware FP8 Quantized Pipelining
Meituan LongCat Team（美团LongCat团队）；Tsinghua University（清华大学）
SnapMLA通过硬件感知的FP8量化流水线优化，提升长上下文解码效率，实验显示在长输出解码任务中吞吐量提升达1.91倍，同时在推理和代码生成基准上与BF16基线表现相近。
2026-04-28 cs.CL cs.LG
Few Bits, One Law: Toward W2A4KV2
Meta AI
提出CanonQ统一量化感知训练框架，通过源规范化和任务适应分离，在W2A4KV2联合压缩下显著降低困惑度并提升零样本准确率，同时惠及代码生成与数学推理任务。
2026-10-08 cs.AI cs.CL cs.LG
UltraQuant: 4-bit KV Caching for Context-Heavy Agents
Advanced Micro Devices（超威半导体）；University of California, Los Angeles（加州大学洛杉矶分校）；Purdue University（普渡大学）
针对上下文密集型智能体场景，提出UltraQuant方法，通过4位KV缓存压缩、旋转量化和代码本量化，结合AMD GPU优化，在长上下文多轮任务中延迟降低3.47倍，吞吐量提升1.63倍。
2026-09-14 cs.AI cs.LG cs.PF
Fast Quantized Johnson$-$Lindenstrauss Transforms
National and Kapodistrian University of Athens（雅典国立卡波迪斯特里亚大学）
本文提出两种基于随机哈达玛变换组合的快速量化约翰逊-林登施特劳斯变换构造，证明其具备与快速JL类似的理论保证，可高效压缩大语言模型KV缓存并保留注意力所需内积。
2026-10-14 cs.DS cs.LG
StreamingTOM: Streaming Token Compression for Efficient Video Understanding
StreamingTOM通过双阶段框架解决流式视频视觉-语言模型中预-后LLM瓶颈，实现kv-cache压缩和低延迟，提升实时视频理解效率。
2026-03-14 cs.AI cs.CV
ROMA: a Read-Only-Memory-based Accelerator for QLoRA-based On-Device LLM
Shanghai Jiao Tong University（上海交通大学）；Huixi Intelligence（汇溪智能）；Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）
ROMA是一种基于只读存储器的QLoRA加速器，通过混合存储架构和B-ROM设计，实现高效存储和加速LLM在边缘设备上的部署。
2026-03-02 cs.AI cs.AR
Quantized Keys Steal Attention: Bias Correction for KV-Cache Compression in Video Diffusion
Technical University of Munich（慕尼黑技术大学）；Tensordyne
针对视频扩散模型中KV缓存量化导致注意力权重系统性偏差的问题，提出基于Jensen偏差的在线逐注意力分数校正方法，在INT2量化下恢复接近BF16的视频质量，且内存减半。
2026-05-25 cs.AI cs.CV cs.GR
IntactKV: Improving Large Language Model Quantization by Keeping Pivot Tokens Intact
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；The Chinese University of Hong Kong（香港中文大学）
针对大语言模型量化中性能下降问题，本文发现输入初始枢轴标记是关键异常值，提出IntactKV方法无损生成其KV缓存，可无缝集成现有量化方案，降低量化误差上界，并在多种模型与任务上取得一致提升，达到新最优水平。
2024-05-25 cs.AI cs.CL
MobiEdit: Resource-efficient Knowledge Editing for Personalized On-device LLMs
针对现有知识编辑方法因依赖高资源消耗反向传播难以在移动设备部署的问题，提出MobiEdit框架，用量化仅前向梯度估计适配移动NPU，搭配早停和前缀缓存优化，实现端侧3B参数LLM的高效实时知识编辑。
2025-06-05 cs.AI cs.LG
Low-Discrepancy Dither for Quantized Recurrent State Caches
本文提出使用确定性黄金比例Weyl抖动替代随机舍入来量化Mamba风格模型的循环状态缓存，在多种模型和长序列生成中始终更接近全精度结果，且无需额外成本。
2026-10-01 cs.LG
SpinQuant: LLM quantization with learned rotations
Meta
本文提出 SpinQuant，通过学习可在全精度 Transformer 中保持等价输出的旋转矩阵消除异常值，显著提升 LLM 的权重、激活与 KV 缓存 4 位量化精度。
2025-02-20 cs.AI cs.CL cs.CV
RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models
University of Minnesota（明尼苏达大学）；Amazon Web Services（亚马逊云科技）
本文提出RoSTE算法，将量化感知监督微调与自适应旋转策略相结合，通过优化旋转配置减少激活异常值并降低量化误差，在多种LLM上取得优于现有后训练量化方法的性能。
2025-06-06 cs.AI cs.LG
MorphServe: Efficient and Workload-Aware LLM Serving via Runtime Quantized Layer Swapping and KV Cache Resizing
MorphServe通过运行时量化层交换和KV缓存调整，有效提升动态负载下的LLM服务效率和稳定性。
2026-01-07 cs.DC cs.LG
Heidelberg University（海德堡大学）；Materials Center Leoben（莱奥本材料中心）
Machine Learning compilers like TVM allow a fast and flexible deployment on embedded CPUs. This enables the use of non-standard operators, which are common in ML compression techniques. However, it is necessary to understand the limitations of typical compute-intense operators in ML workloads to design a proper solution. This is the first in-detail analysis of dense and convolution operators, generated with TVM, that compares to the fundamental hardware limits of embedded ARM processors. Thereby it explains the gap between computational peak performance, theoretical and measured, and real-worl…
2021-02-01 cs.AI cs.AR cs.LG
QSpec: Speculative Decoding with Complementary Quantization Schemes
针对大语言模型低精度联合量化在多步推理任务性能下降的问题，提出QSpec量化范式，通过推测解码结合低精度联合量化快速草稿与高精度仅权重量化验证，复用权重和KV缓存实现零成本切换，在无质量损失下获最高1.64倍加速，批量场景超现有方法1.55倍，支持即插即用且泛化性好。
2025-10-02 cs.AI cs.LG
ScaleSweep: Accurate NVFP4 Post-Training Quantization of LLMs via Block Scale Initialization
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
提出ScaleSweep方法，通过扫描可行块尺度候选并选择最小化目标函数的候选，优化NVFP4量化中的尺度初始化，理论推导扫描范围边界，在Llama和Qwen模型上提升量化性能，缩小与全精度的差距。
2026-05-30 cs.AI cs.CV cs.LG
Bridging KV-Cache Quantization and Linear Attention: From Theory to Pretrained Weight Migration
The Chinese University of Hong Kong（香港中文大学）
该研究提出RAM-Net作为连接KV缓存量化与线性注意力的桥梁，实现Transformer到RAM-Net的权重迁移，在9个预训练Transformer模型上以5亿token预算恢复了教师模型87.1%的平均准确率提升。
2026-10-09 cs.CL cs.LG
Agent Memory Below the Prompt: Persistent Q4 KV Cache for Multi-Agent LLM Inference on Edge Devices
本文提出了一种持久化Q4 KV缓存的方法，用于在边缘设备上提高多代理LLM推理效率，通过减少缓存恢复时间，提升模型性能。
2026-02-17 cs.AI cs.LG
TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models
Alibaba Token Hub, Alibaba Group（阿里巴巴集团阿里云Token Hub）；Ohio State University（俄亥俄州立大学）
TRACE通过rollout引导的量化感知训练对齐训练与rollout路径，减少FP4 RL差异，实现MoE模型高效RL训练，性能接近BF16并获5.4倍加速。
2026-10-12 cs.CL cs.LG
Inference Economics of Enterprise Coding Agents: A Case Study of Cloud vs. On-Premise LLMs
PEGAVERSE Pegatron Corporation（PEGAVERSE 联合科技公司）
研究企业编码代理中云与本地大语言模型的权衡，通过案例研究对比两者，发现提示缓存可大幅降低API成本，本地配置缺陷修复负担高，不同场景下各有成本优劣，混合路由网关在成本与质量间有平衡表现。
2026-07-16 cs.AI cs.SE
PrefixQuant: Eliminating Outliers by Prefixed Tokens for Large Language Models Quantization
The University of Hong Kong（香港大学）；Shanghai AI Laboratory（上海人工智能实验室）；Tongji University（同济大学）
PrefixQuant 通过在 KV cache 中前缀化异常值 token 消除 token 级异常值，并引入块级训练补偿量化误差，在多种精度和粒度下显著提升 LLM 量化性能与推理速度。
2025-01-27 cs.CL cs.LG
HyQuant: Hybrid-Precision Quantization for LLM Attention
Xiamen University（厦门大学）；Tencent Penglai Lab（腾讯蓬莱实验室）；Shanghai Jiao Tong University（上海交通大学）；Xi’an Jiaotong University（西安交通大学）
HyQuant是一种面向LLM注意力的混合精度量化框架，通过保留关键区域高精度、量化其余部分，在各类任务上实现近乎无损精度，提升效率。
2026-09-17 cs.AI
Behavioral Capacity Certificates for Quantized Language Models
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文提出行为能力证书（BCC），通过聚合实现质量对量化模型行为收费，支持三步部署流程，并在多个模型上验证了其有效性。
2026-09-30 cs.LG
Speculate Deep and Accurate: Lossless and Training-Free Acceleration for Offloaded LLMs via Substitute Speculative Decoding
National Yang Ming Chiao Tung University（阳明交通大学）；Cornell University（康奈尔大学）
针对LLM参数卸载推理慢的问题，提出免训练无损的SubSpec方法，通过量化替代层构建对齐草稿模型，实现高接受长度，显著加速（7B达9.1倍，32B达12.5倍）。
2025-10-08 cs.CL
KVLinC : KV Cache Quantization with Hadamard Rotation and Linear Correction
KVLinC通过Hadamard旋转和线性校正适配器，在极低精度KV缓存量化下减少注意力误差，实现更高压缩和最高2.55倍加速推理。
2025-10-06 cs.LG
A JoLT for the KV cache: Near-Lossless KV Cache Compression via Joint Rank-bit Allocation
Universität Trier（特里尔大学）；Fachbereich IV, Mathematik, Universität Trier（特里尔大学数学四系）
研究针对KV缓存内存成本高的问题，提出JoLT方法，通过联合塔克分解和JL残差分配压缩缓存，单个拉格朗日对偶分配参数，实现近无损2 - 3倍压缩，随机变体FlashJoLT还加速了压缩时间。
2026-09-25 cs.CL cs.LG math.OC
KV Cache is 1 Bit Per Channel: Efficient Large Language Model Inference with Coupled Quantization
Rice University（莱斯大学）；Stevens Institute of Technology（史蒂文斯理工学院）；ThirdAI Corp.（ThirdAI公司）
针对 KV 缓存成为 LLM 推理显存与延迟瓶颈的问题，提出利用键值通道间相关性的耦合量化 CQ，可在 1 比特 KV 缓存下保持模型质量。
2024-05-07 cs.LG
OCTOPUS: Optimized KV Cache for Transformers via Octahedral Parametrization Under optimal Squared error quantization
Stability AI
OCTOPUS通过联合量化旋转坐标三元组，优化了Transformer的KV缓存，在保持内存带宽和足迹的同时，通过八面体参数化将方向映射到平方，并利用Lloyd-Max量化来实现非均匀的位分配，从而在各种数据类型中实现了优于现有旋转编码器的性能。
2026-05-20 cs.AI cs.LG
Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches
Fathom通过逐查询反向注水分配位预算读取KV缓存位平面，在百万token场景下比现有稀疏解码方法更快且更省字节，同时保持与精确top-k相当的准确率。
2026-09-21 cs.CL cs.DC cs.LG
QuaRot: Outlier-Free 4-Bit Inference in Rotated LLMs
ETH Zurich（苏黎世联邦理工学院）；EPFL（洛桑联邦理工学院）；Microsoft Research（微软研究院）；Microsoft（微软）；IST Austria（奥地利科学技术研究所）；NeuralMagic
本研究提出基于旋转的量化方案QuaRot，可在不改变输出的情况下去除LLM隐藏状态异常值，实现权重、激活、KV缓存的4位端到端量化，在LLaMa2-70B上仅损失最多0.47困惑度，保留99%零样本性能，还可实现无损6/8位量化。
2024-10-29 cs.LG
Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving
Independent Researcher, Milpitas, CA 95035 USA
本文研究发现大语言模型服务中，前缀缓存会引发智能体工具使用轨迹差异，且量化程度越高差异越显著，缓存状态缺失导致实际不可复现，同时发布了相关测试资源。
2026-10-14 cs.DC cs.LG cs.SE
FineServe: Precision-Aware KV Slab and Two-Level Scheduling for Heterogeneous Precision LLM Serving
Cloud Research Team, Samsung SDS（三星SDS云研究团队）
针对量化LLM服务中的内存碎片化和资源调度低效问题，提出混合精度推理框架FineServe，通过精度感知的KV Slab内存管理和两级调度机制，显著提升了SLO达成率与生成吞吐量。
2025-09-15 cs.DC cs.LG
Detecting a Route Flip Is Easier Than Knowing Whether to Fix It: Causal Route-Mediated Damage in Quantized Mixture-of-Experts
该研究针对量化混合专家模型，提出因果分析工具量化路由介导的损伤比例，发现路由器可检测路由翻转但无法区分其利弊，存在收益检测障碍，相关特性具跨模型性且受架构调节。
2026-08-13 cs.AI cs.CL cs.LG
