LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
Microsoft Research(微软研究院)
LongRoPE通过识别位置插值中的非均匀性、渐进式扩展策略和短上下文重调整,首次将预训练LLM上下文窗口扩展至2048k token,仅需1k微调步骤且保持短窗口性能。
2024-02-21 cs.CL
Extending Context Window of Large Language Models via Positional Interpolation
Meta Platforms Inc.(元平台公司)
本文提出位置插值(PI)方法,通过线性缩小输入位置索引,以极少的微调将基于RoPE的LLM上下文窗口扩展至32768,且在长上下文任务中表现优异并保持原窗口内的性能。
2023-06-28 cs.AI cs.CL cs.LG
CoCA: Fusing Position Embedding with Collinear Constrained Attention in Transformers for Long Context Window Extending
Ant Group(蚂蚁集团)
本文提出 CoCA 共线约束注意力,通过在 $Q$、$K$ 间加入共线约束融合 RoPE 与自注意力,以低成本实现超长上下文外推,并在 GPT 与 LLaMA-7B 上验证可达 32K。
2024-02-28 cs.AI cs.CL cs.LG
Extending LLMs' Context Window with 100 Samples
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Lab(上海人工智能实验室);Generative AI Research Lab (GAIR)(生成式人工智能研究实验室(GAIR))
本文提出一种结合调整RoPE基频与缩放注意力logits的方法,通过保持注意力熵稳定,仅用100个样本和6步训练便将LLaMA-2-7B-Chat上下文窗口扩展至16,384,并验证了其高效性与鲁棒性。
2024-01-13 cs.CL
LLMZip: Lossless Text Compression using Large Language Models
Texas A&M University(得克萨斯农工大学)
本文利用大型语言模型LLaMA-7B预测下一token,提出了英语熵渐近上界的新估计,并据此设计了一种优于BSC、ZPAQ和paq8h的无损文本压缩算法。
2023-06-26 cs.CL cs.IT cs.LG
PSC: Extending Context Window of Large Language Models via Phase Shift Calibration
HiThink Research(恒生电子研究院)
针对现有基于RoPE的大模型上下文窗口扩展方法难以确定最优基频缩放因子的问题,提出相移校准模块PSC,可有效提升PI、YaRN等多种现有方法的性能,在多模型多任务上具备鲁棒性,且随窗口扩大困惑度下降更显著。
2025-05-18 cs.AI cs.CL
Last But Not Least: Boundary Attention CalibratiON for Multimodal KV Cache Compression
KAIST(韩国科学技术院);Zhejiang Laboratory(之江实验室);The Chinese University of Hong Kong(香港中文大学);National University of Singapore(新加坡国立大学)
针对多模态大语言模型长视觉上下文中KV缓存压缩导致关键证据丢失的问题,提出BACON方法,通过校准观察窗口注意力与最后查询注意力,并利用层内一致性和层间持久性抑制噪声,在激进压缩下平均提升7.5%性能。
2026-10-05 cs.CL cs.CV
WindowKV: Task-Adaptive Group-Wise KV Cache Window Selection for Efficient LLM Inference
Beijing Institute of Technology(北京理工大学);Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院))
提出任务自适应KV缓存窗口选择方法WindowKV,动态选择语义窗口并共享索引,仅用12%缓存保持性能,兼顾效率与效果。
2025-03-27 cs.CL
Where Matters More Than What: Decoding-aligned KV Cache Compression via Position-aware Pseudo Queries
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院)
本文提出DapQ,通过位置感知的伪查询实现解码对齐的KV缓存压缩,有效减少内存占用并提升生成性能。
2026-03-12 cs.CL
More Than a Quick Glance: Overcoming the Greedy Bias in KV-Cache Compression
Indian Institute of Technology, Roorkee(印度理工学院拉胡尔学院)
LASER-KV通过块级累积策略克服KV缓存压缩中的贪婪偏差,实现更稳定的性能和更高的准确性。
2026-02-02 cs.AI cs.CL
Vision-centric Token Compression in Large Language Model
Nanjing University of Science and Technology(南京理工大学);Central South University(中南大学);Nanjing Forestry University(南京林业大学)
Vist通过视觉与语言结合的压缩方法,在减少标记数量的同时保持模型准确性,提升了大语言模型的效率。
2025-12-11 cs.CL cs.CV
TreeKV: Smooth Key-Value Cache Compression with Tree Structures
Shanghai Jiao Tong University(上海交通大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
针对大语言模型KV缓存现有压缩方法的信息遗漏与区域偏差问题,提出无需训练的树结构压缩方法TreeKV,可同时适用于生成与预填充阶段,在多项基准测试中以更低缓存开销实现更优性能。
2025-05-16 cs.CL
LongEmbed: Extending Embedding Models for Long Context Retrieval
Microsoft Corporation(微软公司);School of Computer Science, Peking University(北京大学计算机学院);Jiangsu Normal University(江苏师范大学)
本文提出LongEmbed基准,评估并扩展嵌入模型至32k上下文,免训练策略如位置插值有效,RoPE优于APE,发布模型与基准。
2024-11-07 cs.CL cs.LG
InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing
The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Tencent AI Lab(腾讯AI实验室);Singapore Management University(新加坡管理学院)
InComeS通过整合压缩和选择机制,提升LLMs处理多编辑任务的效率和性能。
2026-09-02 cs.CL
CLEX: Continuous Length Extrapolation for Large Language Models
Sun Yat-sen University(中山大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院);Hupan Lab(湖畔实验室);University of Glasgow(格拉斯哥大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对LLM上下文窗口受限问题,提出连续长度外推方法CLEX,通过常微分方程建模长度缩放因子动态,实现长度外推且不损失性能,在LongBench基准上表现优异。
2024-03-24 cs.CL
StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Kunming University of Science and Technology(昆明理工大学)
针对大语言模型处理长对话的效率与一致性难题,提出基于对话注意力汇聚点的StreamingDialogue方法,通过压缩长对话历史实现长时学习,搭配两种学习策略降低信息损失,在对话任务中性能更优且大幅提升速度、降低内存占用。
2024-11-04 cs.AI cs.CL
VFold: Symmetry-Aware Cross-Layer Value Cache Compression
Johns Hopkins University(约翰斯·霍普金斯大学);George Mason University(乔治梅森大学)
本研究提出感知对称性的值缓存合并策略,可在不损害性能和增加架构开销的前提下压缩LLM的值缓存,还能与其他压缩技术结合实现更高压缩比,为内存受限场景下扩展LLM上下文窗口提供了有效方案。
2026-10-09 cs.CL cs.LG
LongRecipe: Recipe for Efficient Long Context Generalization in Large Language Models
National University of Singapore(新加坡国立大学);Nanjing University(南京大学);University of Toronto(多伦多大学);Mila, Québec AI Institute(魁北克人工智能研究所(Mila));Université de Montréal(蒙特利尔大学);Tencent Inc(腾讯公司);Baidu Inc(百度公司);Nanyang Technological University(南洋理工大学)
LongRecipe通过token分析、位置索引变换和训练优化,仅需目标上下文窗口30%的序列长度和不到15%的计算资源,即可将LLM有效上下文从8k扩展到128k,性能接近GPT-4。
2024-09-04 cs.CL
FlexiGPT: Pruning and Extending Large Language Models with Low-Rank Weight Sharing
Samsung Research America(三星美国研究院);Florida State University(佛罗里达州立大学)
提出基于低秩权重共享的LLM剪枝与扩展方法,通过重要性评分剪除模型块并利用低秩适配器替换,在30%和40%压缩率下实现SOTA,且能以极低参数和训练成本扩展小模型。
2025-01-31 cs.CL cs.LG
Understanding the Physics of Key-Value Cache Compression for LLMs through Attention Dynamics
IIT Delhi, India(德里印度理工学院)
通过分析LLMs中键值缓存压缩的物理机制,揭示了压缩对内部表示和语义可达性的影响,以及不同架构在路由动态上的差异。
2026-03-02 cs.CL
Compactor: Calibrated Query-Agnostic KV Cache Compression with Approximate Leverage Scores
Johns Hopkins University(约翰霍普金斯大学)
Compactor通过近似杠杆分数实现查询无关的KV缓存压缩,减少内存占用并提升性能,适用于多种语言模型部署场景。
2025-12-08 cs.AI cs.CL
Residual Vector-based Reconstruction as Long-Context Recall Regardless of Context Window Size
Korea University(高丽大学)
本文提出一种利用前馈层残差向量重建事实的长上下文召回方法,无需训练即可在保持近恒定GPU内存的同时,于两百万令牌上下文中成功回答单事实问题。
2026-09-14 cs.AI cs.CL
BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection
School of Computer Technology and Application, Qinghai University(青海大学计算机技术与应用学院);Tsinghua University(清华大学);Ant Group Security and Intelligence Laboratory (SIL)(蚂蚁集团安全与智能实验室)
BEAVER通过结构感知的层次提示压缩方法,在不依赖训练的情况下提升长文档理解的效率与效果,实验证明其在多个基准测试中性能优异且效率显著提升。
2026-03-20 cs.CL
Reasoning Path Compression: Compressing Generation Trajectories for Efficient LLM Reasoning
Seoul National University(首尔国立大学);Sungkyunkwan University(成均馆大学)
针对长推理路径导致的内存和吞吐量问题,提出无需训练的推理路径压缩方法,通过保留高重要性KV缓存条目,将QwQ-32B吞吐量提升1.60倍,准确率仅降1.2%。
2025-10-24 cs.CL
Reasoning-Aware Compression: Identifying and Protecting Vulnerable Reasoning Circuits for Energy-Efficient LLM Deployment
Carnegie Mellon University Africa(卡内基梅隆大学非洲校区)
提出推理感知压缩框架,通过识别并保护脆弱推理电路,在五个推理基准上实现比统一量化更优的能耗与精度帕累托最优。
2026-09-09 cs.AI cs.CL cs.PF
Semantic Integrity Matters: Benchmarking and Preserving High-Density Reasoning in KV Cache Compression
The Hong Kong University of Science(香港科学与技术大学);Guangzhou HKUST Fok Ying Tung Research Institute(广州HKUST傅种群研究院)
本文提出KVFundaBench基准测试,揭示了在高密度推理中压缩导致的严重任务依赖性退化问题,并提出ShotKV方法,通过分离prefill和解码阶段以优先保持语义完整性,提升了长上下文生成任务的准确率并降低了延迟。
2026-05-12 cs.AI cs.CL
LightThinker: Thinking Step-by-Step Compression
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Zhejiang University - Ant Group Joint Laboratory of Knowledge Graph(浙江大学-蚂蚁集团知识图谱联合实验室)
LightThinker通过动态压缩中间思考步骤为紧凑gist token并丢弃原始推理链,减少LLM推理时的内存和时间开销,同时保持准确率。
2025-09-23 cs.AI cs.CL cs.IR
Gradual Forgetting: Logarithmic Compression for Extending Transformer Context Windows
Department of Computer Science, Indiana University Bloomington(计算机科学系,印第安纳大学布卢明顿分校);Department of Psychological and Brain Sciences, Indiana University Bloomington(心理学与脑科学系,印第安纳大学布卢明顿分校)
提出一种修改输入表示而非架构的对数压缩方法,受人类记忆模型启发,在WikiText-103和PG-19上降低困惑度,有效扩展Transformer长距离记忆。
2025-10-25 cs.AI cs.CL
Glyph: Scaling Context Windows via Visual-Text Compression
The Conversational Artificial Intelligence (CoAI) Group, Tsinghua University(清华大学对话人工智能(CoAI)小组);Zhipu AI(智谱AI);The Knowledge Engineering Group (KEG), Tsinghua University(清华大学知识工程小组(KEG))
针对长上下文大模型计算内存成本过高的问题,提出Glyph框架将长文本渲染为图像用视觉语言模型处理,结合LLM驱动的遗传搜索优化配置,实现3-4倍token压缩且性能比肩主流LLM,还能加速推理训练并扩展上下文能力。
2025-10-21 cs.CL cs.CV cs.LG
Llamazip: Leveraging LLaMA for Lossless Text Compression and Training Dataset Detection
ML-Labs(ML实验室);Dublin City University(都柏林城市大学);School of Electronic Engineering(电子工程学院)
Llamazip利用LLaMA3实现无损文本压缩和训练数据集检测,通过预测能力优化存储效率并提升数据透明度。
2025-11-16 cs.CL cs.LG
Periscope: Extending Frozen Language Models Beyond Their Context Window
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Edge Hill University(埃奇希尔大学)
Periscope 是一种无需训练的推理方法,通过网格化文本块并利用冻结模型进行局部和跨步探测,以二次方成本扩展上下文窗口,在长文本基准上优于传统窗口读取。
2026-10-06 cs.CL cs.IR cs.LG
Tool-Schema Compression Enables Agentic RAG Under Constrained Context Budgets
Independent Researcher(独立研究者)
针对智能体RAG系统中工具模式与检索上下文竞争资源的问题,提出工具模式压缩方法,在8K上下文预算下将平均精确匹配率提升20.5个百分点,并验证了压缩模式在超过800个工具时仍可运行。
2026-05-24 cs.AI cs.CL cs.SE
GIRAFFE: Design Choices for Extending the Context Length of Visual Language Models
The University of Hong Kong(香港大学)
针对视觉语言模型长上下文能力不足的问题,提出Giraffe,通过数据配方ETVLM、位置扩展方法M-RoPE++及混合分辨率训练,将Qwen-VL扩展至128K长度,在长上下文基准上达到开源最优并媲美GPT-4V。
2024-12-17 cs.AI cs.CL cs.CV
Concise and Precise Context Compression for Tool-Using Language Models
Harbin Institute of Technology(哈尔滨工业大学);Huawei Technologies Co., Ltd(华为技术有限公司)
针对工具文档冗长导致的上下文占用问题,提出选择性压缩与块压缩策略,在 API-Bank 和 APIBench 上最高 16 倍压缩时仍达到接近上界基线的性能。
2024-07-02 cs.CL
An Enhancement of Jiang, Z., et al.s Compression-Based Classification Algorithm Applied to News Article Categorization
Pamantasan ng Lungsod ng Maynila(马尼拉市立大学)
本文改进 Jiang 等人的基于压缩的文本分类算法,通过 unigram 提取与并集式优化压缩提升 NCD 相似性计算,在多数据集上平均提高准确率 5.73%。
2025-02-20 cs.CL
Locality Matters for Training-Free Audio Token Compression in Audio-Language Models
Zhejiang University(浙江大学)
提出局部时间二分图合并(LTBM)方法,通过显式时间窗口约束合并相似邻近音频令牌,实现免训练的编码器空间压缩,并验证了局部性归纳偏置在音频令牌压缩中的任务依赖性优势。
2026-05-24 cs.CL
Beyond RAG: Task-Aware KV Cache Compression for Comprehensive Knowledge Reasoning
SAP Labs(思爱普实验室);EURECOM(欧洲通信研究院);Johns Hopkins University(约翰斯·霍普金斯大学);Samaya AI(萨马亚人工智能公司)
本文提出任务感知KV缓存压缩方法,在零样本或少样本设置下压缩外部知识,使LLMs高效推理全部相关信息,在LongBench v2上以30倍压缩率超越RAG达7个百分点并将推理延迟从0.43秒降至0.16秒。
2025-03-06 cs.AI cs.CL cs.IR
Contextual Compression in Retrieval-Augmented Generation for Large Language Models: A Survey
IBM Watsonx
本文综述RAG中上下文压缩范式的发展,分析其解决上下文窗口、无关信息与处理开销问题的方法,并指出挑战与未来研发方向。
2024-10-02 cs.CL cs.IR
ManifoldKV: Training-Free KV Cache Compression via Euclidean Outlier Detection
Hippocratic AI
ManifoldKV通过欧几里得距离实现无需训练的KV缓存压缩,在多键检索和大上下文场景中提升鲁棒性和准确性。
2026-02-09 cs.AI cs.CL cs.LG
Prompt Compression in the Wild: Measuring Latency, Rate Adherence, and Quality for Faster LLM Inference
ScaDS.AI Dresden/Leipzig, CIDS, TU Dresden(ScaDS.AI 德累斯顿/莱比锡,CIDS,德累斯顿工业大学)
本文研究了提示压缩在实际应用中的延迟、速率遵守和质量影响,通过大规模实验发现,当提示长度、压缩比和硬件容量匹配时,LLMLingua可实现18%的端到端加速,但超出此范围压缩步骤会抵消收益。
2026-04-03 cs.AI cs.CL cs.IR