HiKV: Hierarchical Importance-Aware KV Cache with Hardware Acceleration for LLM Decoding
ESAT-MICAS, KU Leuven（KU莱顿大学ESAT-MICAS）
针对长上下文大语言模型解码时键值缓存的内存瓶颈，HiKV提出算法-硬件协同设计，通过分层重要性感知在两粒度压缩缓存，开发专用加速器统一两阶段加速，在大语言模型上评估实现加速、降能及减少内存访问，优于现有方法。
2026-07-27 cs.AI cs.AR cs.LG
Beyond Speedup -- Utilizing KV Cache for Sampling and Reasoning
Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系）；Huawei Technologies Co., Ltd.（华为技术有限公司）
本文提出将KV缓存作为轻量级表示用于采样与推理，展示了其在链式嵌入和快速/缓慢思考切换任务中的有效性，显著提升了推理效率。
2026-01-28 cs.AI cs.CL cs.LG
Rethinking What to Cache in Few-Step Diffusion Transformers: Solver-Aware Target Selection
针对少步扩散Transformer缓存目标选择问题，提出AutoTarget方法，通过测量候选张量重用误差选择最优缓存，减少计算开销并保持生成质量。
2026-10-05 cs.AI cs.CV
KVmix: Gradient-Based Layer Importance-Aware Mixed-Precision Quantization for KV Cache
Fei Li, Song Liu, Weiguo Wu, Shiqiang Nie, Jinyu Wang（作者）
KVmix通过基于梯度的重要性分析实现KV缓存的混合精度量化，有效平衡精度与效率，实现低内存高吞吐的LLM推理
2026-02-02 cs.AI cs.LG
No Token Left Behind: Reliable KV Cache Compression via Importance-Aware Mixed Precision Quantization
KAIST（韩国科学技术院）；NAVER Cloud（NAVER 云）；POSTECH（浦项科技大学）；AITRICS
本文针对 KV 缓存驱逐导致的安全、幻觉与上下文丢失问题，提出 MiKV 混合精度压缩框架，对重要 KV 高精度保留、被驱逐 KV 低精度留存，实现压缩率与性能的最优权衡。
2024-02-28 cs.AI cs.LG
Refractor Importance Sampling
Florida State University（佛罗里达州立大学）
在本文中，我们介绍折射重要性采样（RIS），一种改进，以减少在贝叶斯网络重要性采样传播证据推理的误差方差。我们证明了证据推理下的最佳重要性函数的重要性函数的集合的存在。基于这一理论结果，我们推导出RIS算法。RIS通过应用局部弧变化来最小化证据调整的重要性函数和最优重要性函数之间的分歧来接近最优重要性函数。RIS的有效性和性能进行了实证检验与一个大的合成贝叶斯网络和两个现实世界的网络。
2012-06-13 cs.AI
An Importance Sampling Algorithm Based on Evidence Pre-propagation
University of Pittsburgh（匹兹堡大学）
贝叶斯网络的随机抽样算法实现的精度通常会在极不可能的证据面前恶化。为了解决这个问题，我们提出了证据预传播重要性采样算法（EPIS-BN），一个重要性采样算法，计算一个近似的重要性函数的探试法：循环的信念传播和e-截止。我们在三个大型真实贝叶斯网络上测试了e-cutoff的性能：ANDES，CPCS和PATHFINDER。我们观察到，在这些网络中的每一个上，EPIS-BN算法都比当前最先进的算法AIS-BN算法有了相当大的改进。此外，它避免了代价高昂的学习阶段的AIS-BN算法。
2012-10-19 cs.AI
ECOKV: Geometry-Aware KV Cache Eviction via Complementary Diversity Metrics
MediaTek Inc.（联发科股份有限公司）；National Taiwan University（台湾大学）
针对多模态大模型KV缓存内存开销问题，提出ECOKV方法，结合欧氏距离与余弦相似度的几何感知复合度量及自适应加权，缩减观察窗口，实现高效缓存驱逐并达到最先进性能。
2026-09-09 cs.AI cs.CL cs.CV
AdaFocus: Adaptive Relevance-Diversity Sampling with Zero-Cache Look-back for Efficient Long Video Understanding
University of Electronic Science and Technology of China（电子科技大学）
本文提出AdaFocus框架，通过自适应相关性-多样性采样和零缓存回溯机制，有效平衡长视频理解中的时间覆盖、视觉细节和计算效率，实验表明其在效率-精度权衡上优于现有方法。
2026-05-13 cs.AI cs.CV
AirCache: Activating Inter-modal Relevancy KV Cache Compression for Efficient Large Vision-Language Model Inference
Alibaba Group（阿里巴巴集团）
本文提出AirCache，通过模态间相关性评估视觉KV缓存重要性并自适应分配逐层预算，在仅保留10%视觉缓存时保持性能，并将解码延迟降低29%至66%。
2025-07-23 cs.AI cs.CV
CoKV: Optimizing KV Cache Allocation via Cooperative Game
Zhejiang University（浙江大学）；Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新区（滨江）区块链与数据安全研究院）
针对KV缓存分配中忽略注意力头间合作的问题，提出基于合作博弈的CoKV方法，通过评估头的贡献优化预算分配，在LongBench上取得最优性能。
2025-02-21 cs.AI cs.LG
TokenButler: Token Importance is Predictable
Cornell University（康奈尔大学）；Intel Labs（英特尔实验室）
TokenButler通过高粒度查询感知预测器识别关键令牌，减少KV缓存瓶颈，提升解码效率与准确性。
2026-05-14 cs.AI cs.CL cs.LG
LookaheadKV: Fast and Accurate KV Cache Eviction by Glimpsing into the Future without Generation
Samsung Research（三星研究院）
LookaheadKV通过无需显式生成未来响应的轻量级框架，实现高效准确的KV缓存淘汰，减少淘汰成本并提升推理速度。
2026-03-11 cs.AI cs.LG
Importance Sampling with Unequal Support
Carnegie Mellon University（卡内基梅隆大学）
重要性采样常用于机器学习中，当训练和测试数据来自不同的分布时。在本文中，我们提出了一个新的变种的重要性采样，可以减少方差的重要性采样为基础的估计数量级时，支持的训练和测试分布不同。在激励和介绍我们的新的重要性采样估计量，我们提供了一个详细的理论分析，其特点是它的偏差和方差相对于普通的重要性采样估计量（在各种设置，其中包括普通的重要性采样是有偏见的情况下，而我们的新的估计量不是，反之亦然）。我们的结论与我们的新的重要性采样估计如何可以用来改善如何以及一个新的糖尿病治疗策略将工作的个人，使用数据时，个人使用以前的治疗策略的估计的一个例子。
2016-11-10 cs.AI cs.LG stat.ML
Low Variance Off-policy Evaluation with State-based Importance Sampling
Agency for Science, Technology and Research（新加坡科技研究局）；Manning College of Information and Computer Sciences（曼宁信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出基于状态的重要性采样方法，通过在计算重要性权重时丢弃部分状态来降低方差，并展示了其在多种离线策略评估估计器中的变体，实验证明该方法能一致降低方差并提升准确性。
2024-05-04 cs.AI cs.LG
Importance Sampling via Variational Optimization
Technion（以色列理工学院）
在由数千个顶点组成的大型贝叶斯网络中计算数据的精确可能性通常是一项困难的任务。当这些模型包含许多确定性的条件概率表时，当观测值极不可能时，即使是变分方法和随机抽样等替代算法也常常表现不佳。提出了一种新的基于变分技术的贝叶斯网络重要性抽样算法。我们使用重要性函数的更新来预测随机抽样是否收敛于真实似然之上或之下，并相应地改变提案分布。该方法的有效性和它的贡献，收敛证明了大型遗传连锁分析任务的硬网络。
2012-06-20 cs.AI stat.CO
Efficient, Simple and Automated Negative Sampling for Knowledge Graph Embedding
Paradigm Inc.（第四范式公司）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
负采样是从知识图谱中未观测到的负三元组中抽取负三元组的过程，是知识图谱嵌入的关键步骤。最近，生成对抗网络（GAN），已被引入负采样。这些方法通过对具有大梯度的负三元组进行采样，避免了梯度消失的问题，从而获得了更好的性能。但是，它们使原始模型更加复杂，训练更加困难。在本文中，由于观察到具有大梯度的负三元组很重要但很少见，我们建议直接用缓存跟踪它们。通过这种方式，我们的方法可以作为以前基于GAN的方法的“蒸馏”版本，它不会浪费额外参数的训练时间来拟合负三元组的完整分布。然而，如何采样和更新缓存是两个关键问题。我们建议通过自动化机器学习技术来解决这些问题。自动化版本还将基于GAN的方法作为特例。理论解释NSCaching也提供了，证明优于固定的抽样方案。此外，我们进一步扩展了NSCaching与skip-gram模型的图嵌入。最后，通过大量的实验表明，该方法在KG嵌入模型和skip-gram模型上都有明显的改进，并且优于现有的负采样方法。
2021-07-14 cs.AI cs.DB cs.LG
Importance Sampling Policy Evaluation with an Estimated Behavior Policy
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑马尔可夫决策过程中的离政策评估问题。政策外评估是评估一个政策的预期回报与不同的，行为政策产生的数据的任务。重要性采样是一种用于政策外评估的技术，该技术重新加权政策外回报，以考虑两个政策之间回报可能性的差异。在本文中，我们研究了重要性采样与估计的行为政策，其中的行为政策估计来自同一组数据用于计算重要性采样估计。我们发现，这种估计往往降低了均方误差的政策评估相比，重要性采样与真正的行为政策或使用的行为政策，估计从一个单独的数据集。直观地，以这种方式估计行为策略校正了由于动作空间中的采样而引起的误差。我们的实证结果也扩展到其他流行的变种的重要性采样，并表明，估计一个非马尔可夫行为的政策，可以进一步降低大样本的均方误差，即使真正的行为政策是马尔可夫。
2019-05-09 cs.AI cs.LG stat.ML
Failure Probability Estimation for Black-Box Autonomous Systems using State-Dependent Importance Sampling Proposals
Stanford University（斯坦福大学）
针对黑盒安全关键自主系统罕见失效难以估计的问题，提出基于状态依赖提议和Markov得分上升的自适应重要性采样算法，在四个序贯系统上显著提升估计精度并开源。
2024-12-03 cs.AI cs.LG cs.RO
