LongReward: Improving Long-context Large Language Models with AI Feedback
Zhipu AI(智谱AI);Tsinghua University(清华大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出 LongReward,用现成 LLM 从四维度评估长上下文响应并结合 DPO 进行离线强化学习,显著提升模型长上下文与短指令遵循能力。
2024-10-28 cs.CL cs.LG
100-LongBench: Are de facto Long-Context Benchmarks Literally Evaluating Long-Context Ability?
Case Western Reserve University(凯斯西储大学);Texas A&M University(德克萨斯A&M大学);Rice University(里德大学);University of California, Los Angeles(加州大学洛杉矶分校);Meta
针对现有长上下文基准无法分离基线能力与真实长上下文能力、且输入长度固定等问题,提出长度可控的长上下文基准和新指标,以有效评估大语言模型的长上下文能力。
2026-06-02 cs.AI cs.CL cs.LG
Unveiling Simplicities of Attention: Adaptive Long-Context Head Identification
FAIR at Meta(Meta FAIR研究院);ETH Zurich(苏黎世联邦理工学院)
本文发现注意力头在长上下文中的不同关注模式,提出仅用局部键通过二阶矩近似预测对长上下文处理至关重要的注意力头,揭示了注意力简单特性并有望提升效率。
2025-03-05 cs.CL cs.LG
Longer Context, Deeper Thinking: Uncovering the Role of Long-Context Ability in Reasoning
Case Western Reserve University(凯斯西储大学);University of Minnesota - Twin Cities(明尼苏达大学双城分校);Texas A&M University(德克萨斯阿姆大学)
本研究通过实验发现,增强模型的长上下文能力(在监督微调前)能显著提升推理性能,即使对于短输入任务也有泛化收益,表明长上下文建模是推理能力的关键基础。
2026-06-02 cs.AI cs.CL cs.LG
MELODI: Exploring Memory Compression for Long Contexts
Google DeepMind(谷歌DeepMind)
本研究提出新型内存架构MELODI,通过跨层与跨窗口的分层压缩方案实现长文档高效处理,相比Memorizing Transformer基线性能更优且内存占用降至1/8。
2024-10-04 cs.AI cs.LG
Let's (not) just put things in Context: Test-Time Training for Long-Context LLMs
Meta;Harvard University(哈佛大学);Kempner Institute at Harvard(哈佛大学凯普纳研究所);OpenAI
针对长上下文LLM的测试时训练方法通过针对性梯度更新克服静态自注意力限制,显著提升模型性能。
2025-12-15 cs.CL cs.LG
Long Context In-Context Compression by Getting to the Gist of Gisting
Google DeepMind(谷歌DeepMind);University of Oxford(牛津大学)
针对LLM长上下文处理中现有方法架构复杂的问题,分析要点提取(Gisting)在长上下文压缩中的局限性,提出保留其简单性且性能更优的新方法GistPool,提升长上下文压缩任务表现。
2025-04-11 cs.AI cs.LG
LLMSteer: Improving Long-Context LLM Inference by Steering Attention on Reused Contexts
University of Chicago(芝加哥大学)
本文提出无需微调的LLMSteer框架,通过查询无关的注意力引导在重用上下文上改进长上下文LLM推理,将性能差距缩小65.9%并将延迟降低最多4.8倍。
2024-11-21 cs.CL cs.LG
OctoLong: Mid-Training On Cross-Repository Code Contexts Enhances Long-Context Modeling
该研究提出OctoLong流水线,通过跨仓库代码上下文的训练中优化,训练出OctoLong-Instruct长上下文开源LMs,用其替代12%传统语料库可显著提升长上下文相关任务性能及短场景API使用能力。
2026-10-14 cs.AI cs.LG cs.SE
LongAlign: A Recipe for Long Context Alignment of Large Language Models
Tsinghua University(清华大学)
本研究提出大语言模型长上下文对齐方案LongAlign,通过构建长指令数据集、优化训练策略、推出评估基准,提升了模型长上下文任务表现且兼顾短任务能力,并开源相关资源。
2024-01-31 cs.CL cs.LG
A Controlled Study on Long Context Extension and Generalization in LLMs
Shanghai AI Lab(上海人工智能实验室);Massachusetts Institute of Technology(麻省理工学院);Cornell University(康奈尔大学)
本研究在一致基础模型与数据下标准化评估长上下文扩展方法,发现困惑度是长上下文任务的关键指标,近似注意力方法表现不佳,精确微调在扩展范围内有效但外推仍困难。
2024-09-23 cs.CL cs.LG
How to Train Long-Context Language Models (Effectively)
Princeton Language and Intelligence(普林斯顿语言与智能)
ProLong-8B 通过有效利用长上下文数据,实现了在长上下文任务上的卓越性能,尽管训练数据量仅为 Llama-3.1-8B-Instruct 的 5%。
2025-12-03 cs.CL cs.LG
Short Data, Long Context: Distilling Positional Knowledge in Transformers
Meta Reality Labs(Meta现实实验室)
本文通过基于logit的知识蒸馏,在不使用长上下文预训练的情况下,实现了长上下文检索能力的转移,揭示了位置信息在模型中的传播机制及参数更新模式。
2026-04-07 cs.CL cs.LG
What is Wrong with Perplexity for Long-context Language Modeling?
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University(一般人工智能国家重点实验室,智能科学与技术学院,北京大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Alibaba Group(阿里巴巴集团);TUM CIT, MCML, MDSI(技术大学(TUM) CIT、MCML、MDSI);MIT EECS, CSAIL(麻省理工学院电子工程与计算机科学系,计算机科学与人工智能实验室);Institute for Artificial Intelligence, Peking University(人工智能研究院,北京大学)
本文揭示 PPL 因平均所有 token 而忽视关键 token,提出 LongPPL 指标和 LongCE 微调损失,以更准确评估并提升 LLM 长上下文能力。
2025-07-27 cs.CL cs.LG
Long Context RAG Performance of Large Language Models
Databricks Mosaic Research(Databricks Mosaic研究机构)
本研究通过20个LLMs在三个数据集上的实验,系统评估了长上下文对RAG性能的影响,发现仅少数最新模型能在64k以上令牌保持准确性,并识别了失败模式。
2024-11-05 cs.CL cs.LG
Scaling Context, Not Parameters: Training a Compact 7B Language Model for Efficient Long-Context Processing
Amazon Web Services(亚马逊网络服务)
本文提出支持 512K token 上下文的开源 7B 模型 MegaBeam-Mistral-7B,在 HELMET、RULER 和 BABILong 上验证其高效长上下文处理与推理能力。
2025-05-13 cs.CL cs.LG
UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference
Sun Yat-sen University(中山大学);Shenzhen Loop Area Institude(深圳环城区域研究所);Southern University of Science and Technology(南方科技大学)
UT-ACA通过动态调整上下文窗口,减少长上下文推理中的上下文使用量,同时保持生成质量。
2026-08-25 cs.CL cs.LG
LongProLIP: A Probabilistic Vision-Language Model with Long Context Text
NAVER AI Lab(NAVER AI实验室)
本文针对 ProLIP 无法处理超过 64 长度文本的问题,提出支持 256 token 的 LongProLIP 微调方案,在提升长上下文理解的同时尽量保持零样本能力。
2025-03-13 cs.CV cs.LG
Overflow Prevention Enhances Long-Context Recurrent LLMs
Tel Aviv University(特拉维夫大学);IBM Research(IBM研究院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Xero
针对长上下文循环模型记忆利用不足,提出基于分块的推理方法,显著提升多个模型在LongBench及v2上的性能,并质疑其长程依赖能力。
2025-09-08 cs.AI cs.LG
Scaling Long-Horizon LLM Agent via Context-Folding
Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学)
本文提出上下文折叠框架及FoldGRPO强化学习方法,使LLM智能体主动管理上下文,在长程任务中匹配或超越基线且上下文使用量减少10倍。
2025-10-13 cs.CL cs.LG
Long-Context Reasoning Through Proxy-Based Chain-of-Thought Tuning
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
提出ProxyCoT训练框架,通过将短代理上下文中的推理能力迁移到完整长上下文中,以提升大语言模型在长上下文复杂推理任务上的表现。
2026-05-22 cs.AI cs.CL cs.LG
LongEmbed: Extending Embedding Models for Long Context Retrieval
Microsoft Corporation(微软公司);School of Computer Science, Peking University(北京大学计算机学院);Jiangsu Normal University(江苏师范大学)
本文提出LongEmbed基准,评估并扩展嵌入模型至32k上下文,免训练策略如位置插值有效,RoPE优于APE,发布模型与基准。
2024-11-07 cs.CL cs.LG
Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling
AMD
本文提出HyLo方法,通过架构适应与高效Transformer块结合,提升长上下文能力,实现上下文长度扩展32倍,内存消耗降低90%,在混合架构中表现优异。
2026-04-27 cs.CL cs.LG
Michelangelo: Long Context Evaluations Beyond Haystacks via Latent Structure Queries
Google DeepMind(谷歌DeepMind);Google Research(谷歌研究院)
本文提出了Michelangelo长上下文推理评估框架,通过潜在结构查询(LSQ)要求模型剔除无关信息以揭示潜在结构,并在代码和自然语言领域生成三项诊断性评估,验证了其高信号量并揭示了现有模型在长上下文信息综合方面的改进空间。
2024-09-20 cs.CL cs.LG
SEAL: Scaling to Emphasize Attention for Long-Context Retrieval
Department of Convergence IT Engineering(融合IT工程系);Department of Computer Science and Engineering(计算机科学与工程系);Graduate School of Artificial Intelligence(人工智能研究生院)
提出SEAL方法,通过识别并调整与长上下文检索相关的注意力头,利用生成数据增强其强度,显著提升LLM长上下文检索性能,并可扩展上下文限制。
2025-06-23 cs.AI cs.CL cs.LG
LongSpec: Long-Context Lossless Speculative Decoding with Efficient Drafting and Verification
Sea AI Lab(Sea AI实验室);Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
LongSpec通过三种创新解决长上下文场景下的推测解码问题,实现3.26倍速度提升和2.25倍时间减少,适用于长上下文理解任务。
2026-04-08 cs.AI cs.CL cs.LG
Context Recycling for Long-Horizon LLM Inference
Independent Researcher(独立研究员)
提出ContextForge系统,通过结构化查询生成、外部记忆检索和受控合成实现上下文回收,在15轮对话基准中减少令牌消耗并保持回答质量。
2026-06-26 cs.AI cs.CL cs.LG
Latent Context Compilation: Distilling Long Context into Compact Portable Memory
The Chinese University of Hong Kong(香港中文大学)
本文提出潜在上下文编译方法,通过LoRA模块将长上下文压缩为紧凑内存,无需合成数据即可提升LLM部署效率。
2026-01-31 cs.AI cs.CL cs.LG
How Much Temporal Long-Term Context is Needed for Action Segmentation?
University of Bonn(波恩大学);Toyota Motor Europe(丰田汽车欧洲公司);Lamarr Institute for Machine Learning and Artificial Intelligence(拉玛尔机器学习与人工智能研究所)
本文通过引入基于稀疏注意力的transformer模型捕获视频完整上下文,并在50Salads、Breakfast和Assembly101三个数据集上验证了完整上下文建模对时间动作分割最优性能的必要性。
2023-09-25 cs.AI cs.CV cs.LG
Beyond Needle(s) in the Embodied Haystack: Environment, Architecture, and Training Considerations for Long Context Reasoning
University of California, San Diego(加州大学圣地亚哥分校)
本文提出 $\infty$-THOR 框架,通过长上下文推理任务和数据集提升实体 AI 的长期推理能力。
2026-02-19 cs.AI cs.LG cs.RO
How Well Can a Long Sequence Model Model Long Sequences? Comparing Architechtural Inductive Biases on Long-Context Abilities
Mila - Quebec AI Institute & Université de Montréal(魁北克AI研究所 & 蒙特利尔大学)
本文评估长序列模型(如状态空间和线性循环网络)在长上下文任务中的实际表现,发现理论优势与实际能力存在差距,并揭示不同归纳偏置的外推能力不一致,需进一步研究。
2025-05-21 cs.AI cs.CL cs.LG
From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models
NVIDIA(英伟达)
本文提出从128K扩展到4M token的超长上下文LLM高效训练方案,基于Llama3.1-Instruct构建UltraLong-8B,在长上下文基准上取得最优性能并保持短上下文能力。
2025-04-08 cs.AI cs.CL cs.LG
ACER: Automatic Language Model Context Extension via Retrieval
Carnegie Mellon University(卡内基梅隆大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出ACER框架,通过短上下文模型模拟人类有损检索过程构建自动数据合成流水线,利用自生成数据微调模型,使其在真实长上下文任务中超越通用模型及原始检索阅读流水线。
2024-10-11 cs.AI cs.CL cs.IR
LLoCO: Learning Long Contexts Offline
UC Berkeley(加州大学伯克利分校)
LLoCO通过上下文压缩与LoRA域内微调离线学习长上下文,将4k token的LLaMA2-7B扩展至128k token,以30倍更少token实现7.62倍推理加速和11.52倍微调吞吐提升。
2024-10-17 cs.AI cs.CL cs.LG
Challenges in Deploying Long-Context Transformers: A Theoretical Peak Performance Analysis
University of Edinburgh(爱丁堡大学)
本研究提出并发编程框架,定量分析长上下文Transformer因KV缓存庞大引发的四类部署挑战,为相关部署分析提供基础并指明降本方向。
2024-05-14 cs.AI cs.CL cs.DC
MileBench: Benchmarking MLLMs in Long Context
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
针对现有MLLM基准难以覆盖真实长上下文多图像任务的问题,提出多模态长上下文基准MileBench,含两类评估集,测试22个模型发现闭源GPT-4o领先,开源模型长上下文表现差,且图像越多性能差距越大,呼吁加强相关研究。
2024-05-15 cs.AI cs.CL cs.CV
L$^2$M: Mutual Information Scaling Law for Long-Context Language Modeling
NSF AI Institute for Artificial Intelligence and Fundamental Interactions(NSF人工智能与基础相互作用研究院);Massachusetts Institute of Technology(麻省理工学院);Polytechnic University of Catalonia(加泰罗尼亚理工大学);Harvard University(哈佛大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出基于二分互信息缩放定律的通用理论框架,推导长上下文语言建模条件,并在Transformer和状态空间模型上验证,为高效长上下文架构设计提供原则性基础。
2025-10-24 cs.AI cs.CL cs.IT