语言大模型 / LLM

MemAgent: Reshaping Long-Context LLM with Multi-Conv RL-based Memory Agent

MemAgent：基于多轮对话强化学习的记忆智能体重构长上下文大语言模型

Hongli Yu, Tinghong Chen, Jiangtao Feng, Jiangjie Chen, Weinan Dai, Qiying Yu, Ya-Qin Zhang, Wei-Ying Ma, Jingjing Liu, Mingxuan Wang, Hao Zhou

机构 * ByteDance Seed（字节跳动种子期） ； Institute for AI Industry Research (AIR)（人工智能产业研究院） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 该研究提出MemAgent智能体工作流，结合扩展的DAPO算法优化长文本任务，实现从8K到3.5M上下文的高效外推，在RULER测试中表现优异。

Comments Accepted to ICLR 2026 as an Oral presentation. OpenReview: https://openreview.net/forum?id=k5nIOvYGCL Project page: https://memagent-sialab.github.io/

Journal ref International Conference on Learning Representations (ICLR), 2026

Continual Knowledge Updating in LLM Systems: Learning Through Multi-Timescale Memory Dynamics

连续知识更新在大语言模型系统中：通过多时间尺度记忆动态学习

Andreas Pattichis, Constantine Dovrolis

机构 * The Cyprus Institute, Nicosia, Cyprus（塞浦路斯研究所，尼科西亚，塞浦路斯） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出基于多时间尺度动态的记忆机制，通过耦合内部变量实现知识的持续更新与学习，重构外部记忆作为学习的基础 substrates。

Comments Accepted as a poster at the ICML 2026 Workshop "Continual Adaptation at Scale: Towards Sustainable AI" (CATS@ICML 2026). 9 pages, 2 figures

AttriMem: Attribution-Guided Process Feedback for Agent Memory Construction

AttriMem：用于智能体记忆学习的归因引导过程反馈

Qinfeng Li, Yuntai Bao, Xinyan Yu, Hongze Chen, Yanming Liu, Huifeng Zhu, Yier Jin, Jintao Chen, Wenqi Zhang, Xuhong Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 研究针对LLM智能体有效构建记忆难的问题，提出AttriMem框架，通过用token级对最终答案贡献的局部奖励增强全局结果奖励，以学习记忆构建策略，实验表明该框架性能优于多种基线，具有泛化性且稳定了RL优化。

Experience Memory Graph: One-Shot Error Correction for Agents

经验记忆图：智能体的一次性错误纠正

Wenjun Wang, Yuchen Fang, Fengrui Liu, Zibo Liang, Kai Zheng

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体在复杂任务中易出错且难恢复的问题，提出经验记忆图框架，将失败恢复转化为图匹配问题，训练时提取相关子图和路径存储，测试时指导智能体，实验证明其性能优于现有基线且无需测试时反复试验。

Comments 11 pages, 6 figures

SocietyBench: Forecasting Counterfactual Social-World Evolution

SocietyBench：反事实社会世界演化预测

Zhenran Wang, Zhonghan Bian, Jinsong Li, Zhangyang Qi

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文推出SocietyBench基准，通过构建反事实社会世界，测试LLMs预测社会事件的概率校准与时间准确性，发现前沿LLMs表现远逊于基准，智能体框架未提升性能，强调多事件评估的必要性。

Comments Project page: https://co-minder.github.io/Societybench

NEMO: Execution-Aware Optimization Modeling via Autonomous Coding Agents

NEMO: 通过自主编码代理实现执行感知的优化建模

Yang Song, Anoushka Vyas, Zirui Wei, Sina Khoshfetrat Pakazad, Henrik Ohlsson, Graham Neubig

机构 * Language Technologies Institute, School of Computer Science, Carnegie Mellon University, Pittsburgh, PA, USA（语言技术研究所，计算机科学学院，卡内基梅隆大学，匹兹堡，PA，美国） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出NEMO系统，利用自主编码代理将决策问题的自然语言描述转化为可执行的数学优化实现，通过执行感知的架构和协调模式实现最先进的性能。

Comments Accepted at ICML 2026

EntSQL: A Benchmark for Grounding Text-to-SQL in Long-Context Enterprise Knowledge

EntSQL：一个将Text-to-SQL置于长上下文企业知识中的基准

Chengxi Liao, Tao Xu, Zulong Chen, Chuanfei Xu, Yiyan Wang, Xinyun Wang, Yanlong Zhang, Xiaojun Chen, Zhibo Yang, Zeyi Wen

机构 * HKUST (GZ)（香港科技大学（广州）） ； Alibaba Group（阿里巴巴集团） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；分类 cs.CL

AI总结 提出EntSQL基准，通过包含1066个跨五个业务领域的中英文对齐示例，评估LLM在长上下文企业文档中基于私有业务知识生成SQL的能力，最佳系统仅达15.9%准确率。

An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages

面向低资源语言机器翻译的多示例上下文学习的实证研究

Yinhan Lu, Gaganpreet Jhajj, Chen Zhang, Anietie Andy, David Ifeoluwa Adelani

机构 * Mila – Quebec AI Institute（魁北克人工智能研究所） ； McGill University（麦吉尔大学） ； Athabasca University（阿特拉斯大学） ； Peking University（北京大学） ； Howard University（霍华德大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究实证分析多示例上下文学习在低资源语言机器翻译中的效果，发现BM25检索可大幅提升数据效率，且ICL能在微调基础上带来额外增益。

Comments 24 pages, 3 figures, 20 tables

Uncovering Spontaneous Physics Representations in In-Context Learning

揭示上下文学习中自发形成的物理表征

Yeongwoo Song, Jaeyong Bae, Dong-Kyum Kim, Hawoong Jeong

机构 * Department of Physics, KAIST（KAIST物理系） ； MPI for Security and Privacy, Germany（德国安全与隐私研究所） ； Center for Complex Systems, KAIST（KAIST复杂系统中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究以动力学预测为代理任务，发现大语言模型无需物理特定监督，就能在上下文学习中自发形成与能量等物理概念对齐的表征，且该表征对预测有贡献，为ICL机制提供了物理解释。

Comments 15 pages, 10 figures

RepLLM: Toward Automatically Reproducing Network Research Results

RepLLM：迈向自动重现网络研究结果

Yining Jiang, Yunxin Xu, Wenyun Xu, Yufan Zhu, Rui Liu, Tangtang He, Haiying Huang, Letian Zhu, Qingyu Song, Qiang Su, Lizhao You, Lu Tang, Wanjian Feng, Yuchao Zhang, Linghe Kong, Qiao Xiang, Jiwu Shu

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对计算机网络研究结果重现难题，RepLLM提出端到端多智能体框架，通过四个智能体协作及共享内存机制确保一致性，借助特定推理和调试方法解决问题，相比现有框架表现更优，能高效重现基准且减少令牌消耗。

Comments SIGCOMM'26(19 pages, 6 figures, 6 tables)

Kwai Summary Attention Technical Report

快手总结注意力技术报告

Chenglong Chu, Guorui Zhou, Guowang Zhang, Han Li, Hao Peng, Hongtao Cheng, Hui Wang, Jian Liang, Jiangxia Cao, Kun Gai, Lingzhi Zhou, Lu Ren, Qi Zhang, Ruiming Tang, Ruitao Wang, Xinchen Luo, Yi Su, Zhiyuan Liang, Ziqi Wang, Boyang Ding, Chengru Song, Dunju Zang, Jiao Ou, Jiaxin Deng, Jijun Shi, Jinghao Zhang, Junmin Chen, Lejian Ren, Minxuan Lv, Qianqian Wang, Qigen Hu, Shiyao Wang, Siyang Mao, Tao Wang, Xingmei Wang, Zhixin Ling, Ziming Li, Zixing Zhang

机构 * Kuaishou（快手） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究长上下文能力这一重要迭代方向，针对标准softmax注意力在长序列下时间复杂度高的问题，提出新路径，通过将历史上下文压缩为可学习总结令牌降低序列建模成本，即提出快手总结注意力机制。

Comments update related works

Context Tuning for In-Context Optimization

上下文调整用于上下文优化

Jack Lu, Ryan Teehan, Zhenbang Yang, Mengye Ren

机构 * Agentic Learning AI Lab（智能代理学习AI实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 介绍上下文调整方法，利用模型固有上下文学习能力从示例初始化可训练记忆表示并优化，提升少样本适应能力，在多基准测试中表现优于其他方法。

Comments Published at ICML 2026

SAGE: A Novelty Gate for Efficient Memory Evolution in Agentic LLMs

SAGE: 一种用于智能体大语言模型中高效记忆演化的新颖门控机制

Sijia Wang, Dhanajit Brahma, Ricardo Henao

机构 * Duke University（杜克大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出SAGE门控机制，基于von Mises-Fisher密度估计和自适应阈值，将记忆写入控制建模为新奇性检测问题，在LoCoMo上以更低成本实现最优token-F1。

From Volume to Value: Preference-Aligned Memory Construction for On-Device RAG

从体积到价值：面向设备端RAG的偏好对齐记忆构建

Changmin Lee, Jaemin Kim, Taesik Gong

机构 * Department of Computer Science and Engineering, Ulsan National Institute of Science and Technology (UNIST), Ulsan, Republic of Korea（计算机科学与工程系，全州国立科学与技术研究所（UNIST），全州，韩国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出EPIC方法，通过将用户偏好作为紧凑且稳定的个人上下文形式，整合到RAG流程中，以在有限内存下提高检索与用户偏好的对齐度，从而减少内存使用并提升准确性。

Comments Accepted to ICML 2026. Code and data are available at https://github.com/UbiquitousAILab/EPIC

KVEraser: Learning to Steer KV Cache for Efficient Localized Context Erasing

KVEraser: 学习操控KV缓存以实现高效的局部上下文擦除

Mufei Li, Shikun Liu, Dongqi Fu, Haoyu Wang, Yinglong Xia, Hong Li, Hong Yan, Pan Li

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Meta 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG；foundation model(comments)

AI总结 提出KVEraser方法，通过学习操控KV缓存实现局部上下文擦除，避免全局重计算，在长上下文任务中接近全重算性能且延迟仅增加24%。

Comments Oral at the ICML 2026 Workshop on the Impact of Memorization on Trustworthy Foundation Models; Code available at https://github.com/Graph-COM/KVEraser

Position: Modular Memory is the Key to Continual Learning Agents

Position: 模块化记忆是持续学习智能体的关键

Vaggelis Dorovatas, Malte Schwerin, Andrew D. Bagdanov, Lucas Caccia, Antonio Carta, Laurent Charlin, Barbara Hammer, Tyler L. Hayes, Timm Hess, Christopher Kanan, Dhireesha Kudithipudi, Xialei Liu, Vincenzo Lomonaco, Jorge Mendez-Mendez, Darshan Patil, Ameya Prabhu, Elisa Ricci, Tinne Tuytelaars, Gido M. van de Ven, Liyuan Wang, Joost van de Weijer, Jonghyun Choi, Martin Mundt, Rahaf Aljundi

机构 * University of Bremen（不莱梅大学） ； Seoul National University（首尔国立大学） ； Computer Vision Center Barcelona（巴塞罗那计算机视觉中心） ； University of Florence（佛罗伦萨大学） ； Microsoft Research（微软研究院） ； HEC Montreal, Mila--Quebec AI Institute, Canada CIFAR AI Chair（蒙特利尔HEC学院、魁北克人工智能研究所、加拿大CIFAR人工智能 chair） ； Bielefeld University（比勒海姆大学） ； Georgia Institute of Technology（佐治亚理工学院） ； University of Rochester（罗切斯特大学） ； University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） ； Nankai University（南开大学） ； LUISS University（卢西亚诺大学） ； Stony Brook University（石溪大学） ； University of Tübingen（图宾根大学） ； University of Trento, FBK（特伦托大学，FBK） ； Tsinghua University（清华大学） ； University of Groningen（Groningen大学） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract,comments)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过模块化记忆结合权重内学习与上下文学习，解决持续学习中的灾难性遗忘问题，实现大规模持续适应。

Comments ICML 2026 Position Track Spotlight. This work stems from discussions held at the Dagstuhl seminar on Continual Learning in the Era of Foundation Models (October 2025)

Fractal KV-Cache Archives: Lossless Symbolic Storage with In-Place Retrieval for Long-Context LLM Inference

分形KV缓存存档：用于长上下文语言模型推理的带原地检索的无损符号存储

Vladimir Gusev

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.LG

AI总结 研究长上下文语言模型推理中KV缓存的存储问题，提出用分形KV缓存存档方法，该方法无损、线性时间运行且支持随机访问与追加，经实验验证能大幅减少存档缓存，还兼具搜索索引功能，发布代码可重现结果。

Comments 10 pages, 3 figures. Code: https://github.com/eighteight/fractal-kv

Threshold Differential Attention for Sink-Free, Ultra-Sparse, and Non-Dispersive Language Modeling

阈值差分注意力：用于无汇、超稀疏和非分散语言建模

Xingyue Huang, Xueying Ding, Mingxuan Ju, Yozen Liu, Neil Shah, Tong Zhao

机构 * University of Oxford（牛津大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Snap Inc 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.LG

AI总结 本文提出阈值差分注意力机制，解决长上下文下的注意力汇问题，实现超稀疏和鲁棒性提升，无需投影方法或标准注意力的噪声积累。

Journal ref ACL 2026

Cross-Model Memory Transfer via Target-Side Reader Adaptation

通过目标侧读取器适配实现跨模型记忆迁移

Mingyuan Li, Guangsheng Yu, Xu Wang, Shaoxiong Ji

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对大语言模型知识利用的两类方法缺陷，探究Engram式哈希记忆跨模型迁移的关键因素，通过跨模型冻结记忆提取实验，提出双层四分支读取器，实现同模型与跨模型复用差距的缩小，证明Engram可作为可复用外部知识人工制品。

UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference

UT-ACA：基于不确定性触发的自适应上下文分配用于长上下文推理

Lang Zhou, Shuxuan Li, Zhuohao Li, Shi Liu, Zhilin Zhao, Wei-Shi Zheng

机构 * Sun Yat-sen University（中山大学） ； Shenzhen Loop Area Institude（深圳环城区域研究所） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 UT-ACA通过动态调整上下文窗口，减少长上下文推理中的上下文使用量，同时保持生成质量。

Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective

重新思考通过统一信息论目标的KV缓存淘汰

Jiaming Yang, Chenwei Tang, Liangli Zhen, Jiancheng Lv

机构 * College of Computer Science, Sichuan University, Chengdu, China（四川大学计算机学院，成都，中国） ； Institute of High Performance Computing, A STAR, Singapore（高性能计算研究院，新加坡） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出CapKV方法，通过信息论原理优化KV缓存淘汰，提升内存效率与生成质量。

Comments 20 pages, 6 figures

Look Twice: Training-Free Evidence Highlighting for Knowledge-based Visual Question Answering

二次审视：多模态大语言模型中的免训练证据高亮

Marco Morini, Sara Sarto, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Look Twice框架，通过模型注意力模式识别相关视觉区域和文本证据，提升预训练MLLMs在多模态证据利用中的表现，实验显示在多个VQA基准上效果显著。

Comments Project Page: https://aimagelab.github.io/LoT/

Trivium: Temporal Regret as a First-Class Objective for Causal-Memory Controllers

Trivium: 时间遗憾作为因果记忆控制器的一等目标

Edward Y. Chang

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出将长期时间遗憾作为一等目标，与结果遗憾和认知遗憾共同构成因果记忆控制器的可证伪失败分析框架，证明时间校准偏差在对结果遗憾为零时仍线性增长，而基于持久因果日志的探测复杂度为对数级。

Comments Note on version 2 (closure). This version corrects errors in v1. The use of the term "regret'' also caused confusion because the quantities defined here are not standard comparator-based online-learning regret. Subsequent work will use "liability'' or "debt'' to be clear

PersonaTrail: Benchmarking Personalized Web Agents through Browsing Trails

PersonaTrail：通过浏览轨迹对个性化网络代理进行基准测试

Seungbin Yang, Chaewoon Ki, Dohyun Lee, Jaegul Choo, ChaeHun Park

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对用户指令不明确时网络代理需从浏览历史推断上下文的问题，引入PersonaTrail基准及偏好感知上下文记忆框架PACMem，利用浏览轨迹评估代理，实验证明PACMem优于现有基于记忆的基线。

Diagnosing and Mitigating Context Rot in Long-horizon Search

诊断和缓解长视野搜索中的上下文腐烂

Shijie Xia, Yikun Wang, Zhen Huang, Pengfei Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； SII GAIR 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究大语言模型在长视野任务中因上下文过长导致的性能退化（上下文腐烂），通过实验揭示其普遍性，并提出上下文管理和拒绝采样两种缓解策略。

What Makes Position Zero Special? A Mechanistic Study of Position Zero Attention Sinks in LLMs

大语言模型中注意力汇流的出现：可解释性视角

Runyu Peng, Ruixiao Li, Mingshu Chen, Yunhua Zhou, Qipeng Guo, Xipeng Qiu, Yucheng Lu, Chen Zhao

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究从可解释性角度探讨了大语言模型中注意力汇流的形成机制，发现P0汇流回路能无需语义信息在两个transformer块内诱导注意力汇流，并揭示其在训练早期的出现及集中趋势。

HijackKV: New Threat in Position-Independent KV Cache Reuse

HijackKV：位置无关的键值缓存重用中的新威胁

Yichi Zhang, Zhiqi Wang, Huan Zhang, Yuchen Yang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究位置无关的KV缓存重用中的新威胁KV缓存劫持，介绍HIJACKKV攻击框架，该框架可优化攻击者控制的前缀，使受污染的KV在特定条件下劫持模型行为，单次尝试成功率达94%，还为构建安全KV重用系统提供设计见解。

Comments 20 pages, accepted by USENIX Security 2026

Copy Less, Ground More: Overcoming Repetitive Copying in Long-Context Reasoning via Evidence-Aware Reinforcement Learning

少复制，多扎根：通过证据感知强化学习克服长上下文推理中的重复复制

Lizhe Fang, Weizhou Shen, Tianyi Tang, Yisen Wang

机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究长上下文推理中语言模型的重复复制问题，提出GEAR奖励塑造方法，通过区分关键证据和干扰上下文来增强奖励信号，经实验验证该方法能提升模型性能，减少重复复制，凸显准确扎根证据对长上下文推理的重要性。

Stem: Rethinking Causal Information Flow in Sparse Attention

Stem: 重新思考稀疏注意力中的因果信息流

Lin Niu, Xin Luo, Linchuan Xie, Yifu Sun, Guanghua Yu, Jianchen Zhu, S Kevin Zhou

机构 * tencent（腾讯） ； ustc（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Stem通过位置依赖的top-k和输出感知度量，优化稀疏注意力机制，提升LLMs在长上下文处理中的效率与准确性。

Comments Accepted at ICML 2026. Lin Niu and Xin Luo contributed equally to this work. Camera-ready version

Critical attention scaling in long-context transformers

长上下文Transformer中的关键注意力缩放

Shi Chen, Zhengjiang Lin, Yury Polyanskiy, Philippe Rigollet

机构 * Department of Mathematics, Massachusetts Institute of Technology（数学系，麻省理工学院） ； Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（电气工程与计算机科学系，麻省理工学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对长上下文Transformer的注意力秩崩溃问题，通过分析简化模型确定关键缩放因子$\beta_n \backsim \text{log} n$，为YaRN和Qwen的注意力缩放提供理论依据，阐明对数缩放可维持长上下文下的稀疏内容自适应注意力。

Comments 31 pages, 2 figures

Journal ref Proceedings of the Fourteenth International Conference on Learning Representations (ICLR 2026), 2026