语言大模型 / LLM

Telling stories, making Hanzi: AI-assisted co-creation with elderly migrants in urban China

讲述故事，创造汉字：人工智能辅助中国城市老年移民的协同创作

Yunfei Chen, Wen Zhan, Peiyue Lin, Ziqun Hua, Ying Hu

机构 * School of Design, Hunan University（湖南大学设计学院） ； Royal College of Art（皇家艺术学院） ； University of the Arts London, Central Saint Martins（伦敦艺术大学，中央圣马丁学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过协同创作工作坊，结合口述故事、AI辅助和手工制作，让老年移民创造新汉字以记录被忽视的生活故事，揭示参与者的异质性和适应能力，并展示AI作为降低表达门槛的创意启动器。

Comments A version of this manuscript has been submitted to the [IASDR 2025 Conference](https://iasdr2025.org/) and is currently under review

LongSpace: Exploring Long-Horizon Spatial Memory from Perception to Recall in Video

LongSpace: 从感知到回忆的视频长程空间记忆探索

Shiqiang Lang, Jing Liu, Haoyang He, Peiwen Sun, Yuanteng Chen, Tao Liu, Lan Yang, Longteng Guo, Honggang Zhang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Zhongguancun Academy（中关村学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； The Chinese University of Hong Kong（香港中文大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对长视频中空间记忆的挑战，提出LongSpace框架，通过分块建模、3D结构线索注入和层级感知记忆实现长程空间推理，并在LongSpace-Bench等基准上验证其有效性。

EpiEvolve: Self-Evolving Agents for Streaming Pandemic Forecasting under Regime Shifts

EpiEvolve：用于制度转变下流式疫情预测的自演化智能体

Yiming Lu, Sihang Zeng, Zhengxu Tang, Max Lau, Fei Liu, Wei Jin

机构 * Emory University（埃默里大学） ； University of Washington（华盛顿大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 针对流式疫情预测中标签延迟和制度转变问题，提出自演化智能体EpiEvolve，通过层次化情景记忆、延迟标签反思和制度感知检索，在COVID-19住院趋势预测中达到0.629准确率，并将制度转变后的恢复滞后从5周缩短至2周。

Cartridges at Scale: Training Modular KV Caches over Large Document Collections

大规模弹匣：训练模块化KV缓存以处理大型文档集合

Momchil Hardalov, Gonzalo Iglesias, Adrià de Gispert

机构 * Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Cartridges at Scale (CAS)框架，通过动态干扰混合和内存高效预算管理器实现大规模多弹匣训练，在减少预填充开销的同时保持准确性，性能优于单块弹匣10-31点，接近全上下文学习。

Comments 21 pages, 5 figures, 17 tables

Temporal Order Matters for Agentic Memory: Segment Trees for Long-Horizon Agents

时间顺序对智能体记忆至关重要：面向长程智能体的线段树

Yifan Simon Liu, Liam Gallagher, Faeze Moradi Kalarde, Jiazhou Liang, Armin Toroghi, Scott Sanner

机构 * University of Toronto（多伦多大学） ； Vector Institute for Artificial Intelligence（人工智能向量研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出线段树记忆架构SegTreeMem，通过在线右边缘更新规则保持对话历史的时间顺序，结合层次化时间上下文进行检索，在长程记忆基准上优于现有方法。

MemoryDocDataSet: A Benchmark for Joint Conversational Memory and Long Document Reasoning

MemoryDocDataSet: 联合对话记忆与长文档推理的基准测试

Qiyang Xie, Jialun Wu, Xinjie He, Su Liu, Shuai Xiao, Zhiyuan Lin, Weikai Zhou

机构 * Northeastern University（东北大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Columbia University（哥伦比亚大学） ； Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MemoryDocDataSet合成基准，包含50个微世界和1000个QA对，评估系统同时处理多轮对话历史和长文档阅读理解的能力，其中75.1%的问题需要混合推理（先导航对话历史再提取文档答案），实验显示联合检索存在明显差距。

Comments 17 pages, 2 figures, 8 tables. Submitted for peer review

Traj-Evolve: A Self-Evolving Multi-Agent System for Patient Trajectory Modeling in Lung Cancer Early Detection

Traj-Evolve：用于肺癌早期检测中患者轨迹建模的自进化多智能体系统

Sihang Zeng, Matthew Thompson, Ruth Etzioni, Meliha Yetisgen

机构 * University of Washington（华盛顿大学） ； Fred Hutch Cancer Center（Fred Hutch癌症中心） ； Google（谷歌） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出Traj-Evolve，一种结合经验池和多智能体强化学习的自进化多智能体系统，通过检索相似患者和参数优化，在肺癌早期检测中优于9个强基线模型。

WaveFilter: Enhancing the Long-Context Capability of Diffusion LLMs via Wavelet-Guided KV Cache Filtering

WaveFilter: 通过小波引导的KV缓存过滤增强扩散型大语言模型的长上下文能力

Jinnan Yang, Yan Wang, Zhen Bi, Kehao Wu, Xiaojie Li, Jungang Lou, Zechao Li, Jing Liu

机构 * Nanjing University of Science and Technology（南京理工大学） ； Alibaba Group（阿里巴巴集团） ； Huzhou Normal University（湖州师范学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对扩散型大语言模型在长上下文任务中计算开销大和推理延迟高的问题，提出一种无需训练的通用缓存框架WaveFilter，利用小波变换分解长序列以精确识别关键token，构建稀疏KV缓存，从而提升现有KV缓存方法在复杂长上下文任务中的性能。

Comments 8 pages,3 figures

ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution

ForesightKV: 通过学习长期贡献优化推理模型的KV缓存驱逐

Zican Dong, Peiyu Liu, Junyi Li, Zhipeng Chen, Han Peng, Shuo Wang, Wayne Xin Zhao

机构 * Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出ForesightKV框架，通过监督学习和强化学习预测KV对在长文本生成中的重要性，在仅用一半缓存预算下优于现有方法。

Comments ICML 2026

GradMem: Learning to Write Context into Memory with Test-Time Gradient Descent

GradMem: 通过测试时梯度下降将上下文写入记忆

Yuri Kuratov, Matvey Kairov, Aydar Bulatov, Ivan Rodkin, Mikhail Burtsev

机构 * AXXX, Cognitive AI Systems Lab, Moscow, Russia（AXXX认知人工智能系统实验室，莫斯科，俄罗斯） ； London Institute for Mathematical Sciences, London, UK（伦敦数学科学研究所，伦敦，英国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出GradMem方法，利用测试时梯度下降将上下文写入紧凑记忆状态，通过自监督重构损失优化记忆令牌，在键值检索和自然语言任务上优于前向式记忆写入方法。

Comments International Conference on Machine Learning (ICML) 2026

Loong: A Human-Like Long Document Translation Agent with Observe-and-Act Adaptive Context Selection

Loong: 一种类人长文档翻译代理，具有观察与行动的适应性上下文选择

Yutong Wang, Xuebo Liu, Derek F. Wong, Zhilin Li, Rongqing Jiang, Min Zhang, Shimin Tao, Daimeng Wei, Min Zhang

机构 * Institute of Computing and Intelligence, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳研究院） ； NLP 2 CT Lab, Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学学院自然语言处理与CT实验室） ； Huawei Translation Services Center（华为翻译服务中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出Loong代理，通过3E记忆模块和强化学习优化上下文策略，解决长文档翻译中上下文窗口限制和冗余信息问题，在英⇄中、德、法翻译中平均提升13.0分。

Periodic RoPE for Infinite Context LLMs

周期性RoPE：面向无限上下文的大型语言模型

Simin Huo

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出周期性RoPE（P-RoPE）位置编码机制，结合滑动窗口注意力和无位置编码的全局注意力，避免位置耗尽，理论上支持无限上下文窗口。

Comments 5 pages

Attention Sink Forges Native MoE in Attention Layers: Sink-Aware Training to Address Head Collapse

注意力汇聚在注意力层中锻造原生MoE：针对头部坍塌的汇聚感知训练

Zizhuo Fu, Wenxuan Zeng, Runsheng Wang, Meng Li

机构 * Institute for Artificial Intelligence, Peking University, Beijing（人工智能研究院，北京大学，北京） ； School of Integrated Circuits, Peking University, Beijing（集成电路学院，北京大学，北京） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过理论和实证证明注意力汇聚自然构建了注意力层内的混合专家机制，并提出汇聚感知训练算法以缓解头部坍塌问题，提升模型性能。

Comments 2026 International Conference on Machine Learning (ICML)

Krause Synchronization Transformers

Krause同步变换器

Jingkun Liu, Yisong Yue, Max Welling, Yue Song

机构 * Shanghai Qi Zhi Institute（上海启智研究院） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； California Institute of Technology（加州理工学院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出基于有界置信共识动力学的Krause注意力机制，通过局部化稀疏交互替代全局softmax归一化，缓解表示坍缩和注意力汇聚现象，实现线性复杂度并提升性能。

Comments ICML 2026, Project page: https://jingkun-liu.github.io/krause-sync-transformers/

CacheClip: Accelerating RAG with Effective KV Cache Reuse

CacheClip: 通过有效的KV缓存重用加速RAG

Bin Yang, Qiuyu Leng, Jun Zeng, Zhenhua Wu

机构 * Intel Corporation（英特尔公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出CacheClip框架，通过有效利用KV缓存重用，解决了RAG系统中TTFT瓶颈问题，同时保持高质量生成。

Modality-Decoupled Online Recursive Editing

模态解耦的在线递归编辑

Siyuan Li, Youyuan Zhang, Fangming Liu, Jing Li

机构 * Harbin Institute of Technology, Shenzhen, China.（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory, China.（鹏城实验室） ； Huazhong University of Science and Technology, China（华中科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出M-ORE，一种用于持续多模态大语言模型适应的模态解耦在线递归编辑器，通过统一的近端投影公式和Sherman-Morrison递归实现常数级的每编辑开销，从而在保持模块局部统计信息和固定正交低秩编辑子空间的同时，减少长周期干扰，提升可靠性、通用性和局部性。

MTraining: Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training

MTraining: 分布式动态稀疏注意力用于高效超长上下文训练

Wenxuan Li, Chengruidong Zhang, Huiqiang Jiang, Yucheng Li, Yuqing Yang, Lili Qiu

机构 * Microsoft（微软） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出MTraining方法，通过动态稀疏注意力机制解决超长上下文训练中的计算不平衡和通信开销问题，实现了Qwen2.5-3B模型上下文窗口从32K扩展到512K，并在多个下游任务中达到6倍更高的训练吞吐量同时保持模型准确性。

MOCHA: Multi-Objective Chebyshev Annealing for Agent Skill Optimization

MOCHA：多目标切比雪夫退火用于智能体技能优化

Md Mehrab Tanjim, Jayakumar Subramanian, Xiang Chen, Branislav Kveton, Subhojyoti Mukherjee, Anlan Zhang, Sungchul Kim, Somdeb Sarkhel, Sunav Choudhury

机构 * Adobe Research（Adobe研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 该研究提出MOCHA方法，通过切比雪夫标量化和指数退火解决智能体技能优化中的多目标问题，实现更优的帕累托前沿发现和性能提升。

Comments Preprint. 25 pages, 14 figures, 5 tables

Dynamic Skill Lifecycle Management for Agentic Reinforcement Learning

动态技能生命周期管理用于代理强化学习

Junhao Shen, Teng Zhang, Xiaoyan Zhao, Hong Cheng

机构 * Database Group, The Chinese University of Hong Kong（香港中文大学数据库组） ； Lanzhou University（兰州大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出SLIM框架，通过动态优化变量管理代理强化学习中的外部技能集，提升任务性能。

Comments Implementation code is available at https://github.com/ejhshen/SLIM

Supervising the search process produces reliable and generalizable information-seeking agents

通过监督搜索过程产生可靠且可推广的信息寻求代理

Guangzhi Xiong, Qiao Jin, Xiao Wang, Yin Fang, Haolin Liu, Yifan Yang, Fangyuan Chen, Zhixing Song, Dengyu Wang, Minjia Zhang, Zhiyong Lu, Aidong Zhang

机构 * Department of Computer Science, University of Virginia, USA（弗吉尼亚大学计算机科学系） ； National Library of Medicine, National Institutes of Health, USA（美国国立卫生研究院国家医学图书馆） ； Department of Computer Science, University of Illinois Urbana–Champaign, USA（伊利诺伊大学厄巴纳-香槟分校计算机科学系） ； Medical Oncology, Dana–Farber Cancer Institute, USA（达纳-法伯癌症研究所医学肿瘤科） ； Surgery, University of Alabama at Birmingham, USA（阿拉巴马大学伯明翰分校外科系） ； Department of Neurology, Yale School of Medicine, USA（耶鲁医学院神经病学系） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过监督搜索过程来构建更可靠且可推广的信息寻求代理，通过RAG-Gym框架系统研究了架构设计、参数优化和动作评估，发现推理反思是关键能力，Re$^2$Search++在多跳信息检索基准上取得显著提升，尤其在领域外任务中表现更优。

Comments Homepage: https://rag-gym.github.io; Code: https://github.com/RAG-Gym/RAG-Gym

TrainMover: An Interruption-Resilient Runtime for ML Training

TrainMover: 一种具有中断容错能力的机器学习训练运行时

ChonLam Lao, Jiaqi Gao, Jiamin Cao, Zhipeng Zhang, Pengcheng Zhang, Jiangfei Duan, Zhilong Zheng, Yu Guan, Yichi Xu, Yong Li, Zhengping Qian, Aditya Akella, Minlan Yu, Ennan Zhai, Dennis Cai, Jingren Zhou

机构 * Harvard University（哈佛大学） ； Alibaba Group（阿里巴巴集团） ； UT Austin（得克萨斯大学奥斯汀分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 TrainMover通过弹性与备用机器处理中断，实现最小停机时间和零内存开销，减少GPU浪费时间达55%。

Comments 14 pages body, 19 pages total

RAR: Retrieving And Ranking Augmented MLLMs for Visual Recognition

RAR：用于视觉识别的检索与排序增强多模态大语言模型

Ziyu Liu, Zeyi Sun, Yuhang Zang, Wei Li, Pan Zhang, Xiaoyi Dong, Yuanjun Xiong, Dahua Lin, Jiaqi Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； MThreads, Inc.（MThreads公司） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 RAR结合CLIP的检索与MLLM的排序，提升细粒度识别精度，增强少样本和零样本任务表现。

Comments Project: https://github.com/Liuziyu77/RAR

How English Print Media Frames Human-Elephant Conflicts in India

印度人类-大象冲突在英语印刷媒体中的框架分析

Bonala Sai Punith, Salveru Jayati, Garima Shakya, Shubham Kumar Nigam

机构 * Chhattisgarh Forest Department（恰特里什加尔森林部门） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过大规模计算分析研究印度人类-大象冲突在英语媒体中的报道框架，揭示了恐惧和攻击性语言的主导地位，并提出透明可扩展的方法以促进负责任的野生动物报道。

RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache

RDKV: 用于联合擦除和量化KV缓存的率-失真位分配

Junkai Zhang, Hang Guo, Luca Benini, Yawei Li

机构 * ETH Zurich（苏黎世联邦理工学院） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 RDKV通过联合优化擦除与量化，提升长序列推理效率，实现9.1%的性能提升和97.81%的准确率恢复。

In-Context Credit Assignment via the Core

通过核心进行上下文内信用分配

Keegan Harris, Siddharth Prasad, Asher Trockman

机构 * UC Berkeley（伯克利大学） ； Toyota Technological Institute at Chicago（芝加哥丰田技术研究所） ； Google Research（谷歌研究） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出了一种激励对齐的上下文内信用分配机制，基于合作博弈理论中的核心解概念，通过算法近似核心解来稳定分配价值，实验显示其在网页检索任务中效率显著高于其他方法。

The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity

注意力陷阱的结构起源：方差差异、超级神经元和维度不均等

Siquan Li, Kaiqi Jiang, Jiacheng Sun, Tianyang Hu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Huawei Foundation Model Department（华为基础模型部门） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文揭示了大语言模型中注意力陷阱现象的结构成因，通过分析自注意力机制中的方差差异和前馈网络中超级神经元的激活，证明了维度不均等导致注意力陷阱的形成，并提出head-wise RMSNorm架构改进以稳定值聚合。

Comments Accepted to ICML 2026

MEMSAD: Gradient-Coupled Anomaly Detection for Memory Poisoning in Retrieval-Augmented Agents

MEMSAD: 基于梯度耦合的内存污染异常检测用于检索增强型智能体

Ishrith Gowda

机构 * Department of Electrical Engineering and Computer Sciences（电气工程与计算机科学系） ； University of California, Berkeley（加州大学伯克利分校） ； Berkeley AI Research（伯克利人工智能研究） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出MEMSAD，通过梯度耦合定理实现内存污染攻击的检测，证明其在对抗策略下的正确分类保证，并通过实验验证复合防御在所有攻击下的高检测率和低误报率。

Comments 28 pages, 9 figures, 6 theorems. Submitted to NeurIPS 2026

HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

HERMES: KV缓存作为分层内存用于高效视频流理解

Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 HERMES提出一种无需训练的架构，通过将KV缓存视为分层内存框架，实现视频流的实时准确理解，提升处理速度并降低内存消耗。

Comments Accepted to ACL 2026 Main

$How^{2}$: How to learn from procedural How-to questions

$How^{2}$: 如何从过程性如何问题中学习

Gautier Dagan, Frank Keller, Alex Lascarides

机构 * University of Edinburgh（爱丁堡大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出$How^{2}$框架，使智能体能提问、存储并复用如何问题答案，提升长期学习能力。在Plancraft环境中，抽象化答案对任务完成更有效。

Make Your LVLM KV Cache More Lightweight

使大型视觉-语言模型的KV缓存更轻量

Xihao Chen, Yangyang Guo, Roger Zimmermann

机构 * Integrative Sciences and Engineering Programme, National University of Singapore（国立新加坡大学整合科学与工程学程） ； School of Computing, National University of Singapore（国立新加坡大学计算机学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出LightKV方法，通过利用视觉token嵌入的冗余性，减少KV缓存大小，提升解码效率并降低GPU内存消耗。

Comments Accepted to Transactions on Machine Learning Research (TMLR), 2026