语言大模型 / LLM

Query Disambiguation via Answer-Free Context: Doubling Performance on Humanity's Last Exam

通过无答案上下文进行查询消歧：在人类最后一场考试中性能翻倍

Michael Majurski, Cynthia Matuszek

机构 * National Institute of Standards and Technology（国家标准与技术研究院） ； University of Maryland Baltimore County（马里兰大学巴尔的摩县分校） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 通过无答案上下文重写问题以减少歧义，显著提升模型在Humanity's Last Exam上的准确性。

Neural Paging: Learning Context Management Policies for Turing-Complete Agents

神经分页：为图灵完备智能体学习上下文管理策略

Liang Chen, Qi Liu

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出神经分页架构，通过解耦符号推理与信息资源管理，提升图灵完备智能体的上下文处理效率和鲁棒性。

Toward General Semantic Chunking: A Discriminative Framework for Ultra-Long Documents

迈向通用语义分块：一种适用于超长文档的判别框架

Kaifeng Wu, Junyan Wu, Qiang Liu, Jiarui Zhang, Wen Xu

机构 * KingSoft Office Zhuiguang AI Lab（金山办公曙光人工智能实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出基于Qwen3-0.6B的判别分割模型，通过跨窗口上下文融合和重叠滑动窗口策略，实现超长文档的高效段落边界检测，并提升下游检索效率。

ActionEngine: From Reactive to Programmatic GUI Agents via State Machine Memory

ActionEngine: 通过状态机内存实现从响应式到程序化GUI代理的转变

Hongbin Zhong, Fazle Faisal, Luis França, Tanakorn Leesatapornwongsa, Adriana Szekeres, Kexin Rong, Suman Nath

机构 * Microsoft Research（微软研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 ActionEngine通过状态机内存实现从响应式到程序化GUI代理的转变，提升效率和准确性，减少成本和延迟。

Does Socialization Emerge in AI Agent Society? A Case Study of Moltbook

人工智能代理社会中社会化是否会出现？Moltbook案例研究

Ming Li, Xirui Li, Tianyi Zhou

机构 * University of Maryland（马里兰大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Moltbook研究揭示AI代理社会在规模和交互密度下难以形成稳定结构和共识，表明社会化需要更复杂的机制。

Beyond Fact Retrieval: Episodic Memory for RAG with Generative Semantic Workspaces

超越事实检索：具有生成语义工作区的RAG episodic记忆

Shreyas Rajesh, Pavan Holur, Chenda Duan, David Chong, Vwani Roychowdhury

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 GSW通过生成语义工作区提升LLM的长上下文推理能力，实现更高效的记忆管理与时空连贯性。

Comments AAAI 2026 Oral, code available at: https://github.com/roychowdhuryresearch/gsw-memory

Long Context, Less Focus: A Scaling Gap in LLMs Revealed through Privacy and Personalization

长上下文，少关注：通过隐私和个性化揭示LLM中的缩放差距

Shangding Gu

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过PAPerBench基准测试揭示了LLM在长上下文情况下个性化和隐私保护性能下降的缩放差距，分析了注意力稀释的理论机制。

Attention in Constant Time: Vashista Sparse Attention for Long-Context Decoding with Exponential Guarantees

常数时间注意力：Vashista稀疏注意力用于长上下文解码的指数保证

Vashista Nobaub

机构 * Datar Consulting（达特咨询） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Vashista稀疏注意力通过理论保证实现长上下文解码的常数时间效率，平衡精度与计算成本。

Comments 22 pages

When to Memorize and When to Stop: Gated Recurrent Memory for Long-Context Reasoning

何时记忆何时停止：用于长上下文推理的门控循环记忆

Leheng Sheng, Yongtao Zhang, Wenchang Ma, Yaorui Shi, Ting Huang, Xiang Wang, An Zhang, Ke Shen, Tat-Seng Chua

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 GRU-Mem通过引入两个文本控制的门，实现了更稳定和高效的长上下文推理，显著提升了推理速度和性能。

Comments 26 pages

Attention Sinks and Compression Valleys in LLMs are Two Sides of the Same Coin

注意力沉降与压缩山谷是大语言模型中的双面现象

Enrique Queipo-de-Llano, Álvaro Arroyo, Federico Barbero, Xiaowen Dong, Michael Bronstein, Yann LeCun, Ravid Shwartz-Ziv

机构 * University of Oxford（牛津大学） ； AITHYRA ； New York University（纽约大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究揭示了大语言模型中注意力沉降与压缩山谷的联系，提出信息流的Mix-Compress-Refine理论，解释LLM如何通过大规模激活控制注意力和压缩来组织深度计算。

Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning

通过端到端强化学习实现压缩内存中的动态长上下文推理

Zhuoen Chen, Dongfang Li, Meishan Zhang, Baotian Hu, Min Zhang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于端到端强化学习的框架，通过分块压缩和选择性记忆回溯实现高效长上下文推理，提升了多跳推理任务的准确性和效率。

Comments 26 pages, 7 figures. Code and models will be released

From $O(mn)$ to $O(r^2)$: Two-Sided Low-Rank Communication for Adam in Distributed Training with Memory Efficiency

从O(mn)到O(r²)：为分布式训练中的Adam引入双侧低秩通信以提高内存效率

Sizhe Dang, Jiaqi Shao, Xiaodong Zheng, Guang Dai, Yan Song, Haishan Ye

机构 * Xi’an Jiaotong University（西安交通大学） ； SGIT AI Lab（SGIT人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 TSR-Adam通过双侧低秩通信将Adam优化器的通信开销从O(mn)降至O(r²)，在保持低维核心状态的同时减少通信量，提升分布式训练效率。

Echo State Transformer: Attention Over Finite Memories

回声状态变换器：对有限记忆的注意力

Yannis Bendi-Ouis, Xavier Hinaut

机构 * Mnemosyne Centre Inria de l'Université de Bordeaux（Mnemosyne研究中心，Inria波尔多大学研究中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 回声状态变换器通过结合Transformer注意力机制与共振计算节点，实现线性复杂度的高效时间序列处理，优于现有方法。

Double-P: Hierarchical Top-P Sparse Attention for Long-Context LLMs

Double-P: 分层Top-P稀疏注意力机制用于长上下文LLM

Wentao Ni, Kangqi Zhang, Zhongming Yu, Oren Nelson, Mingu Lee, Hong Cai, Fatih Porikli, Jongryool Kim, Zhijian Liu, Jishen Zhao

机构 * ucsd（加州大学圣迭戈分校） ； umich（密歇根大学） ； qualcomm（高通AI研究） ； nvidia 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Double-P通过分层Top-P稀疏注意力机制，优化长上下文LLM的解码效率，实现更高的准确性和更快的处理速度。

CoWork-X: Experience-Optimized Co-Evolution for Multi-Agent Collaboration System

CoWork-X：面向多智能体协作系统的经验优化共进化

Zexin Lin, Jiachen Yu, Haoyang Zhang, Yuzhao Li, Zhonghang Li, Yujiu Yang, Junjie Wang, Xiaoqiang Ji

机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）科学与工程学院） ； School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院） ； Tsinghua University（清华大学） ； AutoGame Research（AutoGame研究） ； Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 CoWork-X通过主动共进化框架，优化多智能体协作系统的实时协调与多轮适应，实现稳定性能提升和降低延迟与令牌消耗。

Avenir-Web: Human-Experience-Imitating Multimodal Web Agents with Mixture of Grounding Experts

Avenir-Web: 人类经验模拟的多模态网络代理与接地专家混合

Aiden Yiliu Li, Xinyue Hao, Shilong Liu, Mengdi Wang

机构 * University College London（伦敦大学学院） ； The University of Edinburgh（爱丁堡大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Avenir-Web通过融合接地专家与经验模仿规划，实现了在复杂网络界面中可靠执行长周期任务的开源网络代理新纪录。

ES-MemEval: Benchmarking Conversational Agents on Personalized Long-Term Emotional Support

ES-MemEval：在个性化长期情感支持中评估对话代理的基准测试

Tiantian Chen, Jiaqi Lu, Ying Shen, Lin Zhang

机构 * Tongji University（同济大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ES-MemEval通过评估长期情感支持中的记忆能力，揭示了显式长期记忆对减少幻觉和提升个性化的重要性，同时指出了检索增强模型在时间动态方面的局限性。

Comments 12 pages, 7 figures. Accepted to The Web Conference (WWW) 2026

RedVisor: Reasoning-Aware Prompt Injection Defense via Zero-Copy KV Cache Reuse

RedVisor: 通过零拷贝KV缓存重用来实现推理感知的提示注入防御

Mingrui Liu, Sixiao Zhang, Cheng Long, Kwok-Yan Lam

机构 * Nanyang Technological University, Singapore（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 RedVisor通过零拷贝KV缓存重用实现推理感知的提示注入防御，结合检测与预防策略，提升安全性和效率。

Comments under review

FreqKV: Key-Value Compression in Frequency Domain for Context Window Extension

FreqKV: 频域中的键值压缩用于上下文窗口扩展

Jushi Kai, Yixuan Wang, Boyi Zeng, Haoli Bai, Bo Jiang, Ziwei He, Zhouhan Lin

机构 * LUMIA Lab, Shanghai Jiao Tong University（上海交通大学LUMIA实验室） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 FreqKV通过频域键值压缩技术，实现长上下文处理，使LLaMA-2-7B的上下文窗口扩展至256K个令牌，同时保持稳定的困惑度。

Comments ICLR 2026

Memento 2: Learning by Stateful Reflective Memory

Memento 2: 通过状态化反思记忆进行学习

Jun Wang

机构 * UCL Centre for Artificial Intelligence（伦敦大学学院人工智能中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 Memento 2通过状态化反思记忆机制，实现无需参数更新的持续学习，提升代理在开放任务中的泛化能力。

Comments 35 pages, four figures

Dep-Search: Learning Dependency-Aware Reasoning Traces with Persistent Memory

Dep-Search: 基于持久记忆的学习依赖意识推理轨迹

Yanming Liu, Xinyue Peng, Zixuan Yan, Yanxin Shen, Wenjie Xu, Yuefeng Huang, Xinyi Wang, Jiannan Cao, Jianwei Yin, Xuhong Zhang

机构 * Zhejiang University（浙江大学） ； Intel Corporation（英特尔公司） ； Tsinghua University（清华大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Dep-Search 通过 GRPO 集成结构化推理、检索和持久记忆，提升 LLM 处理复杂多跳推理任务的能力。

Comments Dep-Search 1st version

Persuasion Tokens for Editing Factual Knowledge in LLMs

说服令牌用于编辑大语言模型中的事实知识

Paul Youssef, Christin Seifert, Jörg Schlötterer

机构 * Marburg University（马尔堡大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出说服令牌技术，通过训练特殊令牌实现高效的大语言模型事实知识编辑，无需依赖长演示，且在多个数据集和模型上表现优异。

Comments Accepted at EACL Main 2026

Sawtooth Wavefront Reordering: Enhanced CuTile FlashAttention on NVIDIA GB10

锯齿波前重排：增强的CuTile FlashAttention on NVIDIA GB10

Yifan Zhu, Yekai Pan, Chen Ding

机构 * University of Rochester（罗切斯特大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出锯齿波前重排技术，通过减少L2缓存缺失提升CuTile FlashAttention在NVIDIA GB10上的性能。

When Sharpening Becomes Collapse: Sampling Bias and Semantic Coupling in RL with Verifiable Rewards

当锐化变成崩溃：可验证奖励强化学习中的采样偏差与语义耦合

Mingyuan Fan, Weiguang Han, Daixin Wang, Cen Chen, Zhiqiang Zhang, Jun Zhou

机构 * School of Data Science\&Engineering, East China Normal University（数据科学与工程学院，东华大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了可验证奖励强化学习中的采样偏差与语义耦合问题，提出逆成功优势校准和分布级校准方法以提升模型泛化能力。

The Imperfect Learner: Incorporating Developmental Trajectories in Memory-based Student Simulation

不完美的学习者：在基于记忆的学生模拟中纳入发展轨迹

Zhengyuan Liu, Stella Xin Yin, Bryan Chen Zhengyu Tan, Roy Ka-Wei Lee, Guimei Liu, Dion Hoe-Lian Goh, Wenya Wang, Nancy F. Chen

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于记忆的学生模拟框架，通过分层记忆机制和结构化知识表示，整合发展轨迹和元认知过程，以更准确地模拟学习者的知识发展和学习困难。

Comments Fixed some grammar and format issues. Added some experimental results

TeleMem: Building Long-Term and Multimodal Memory for Agentic AI

TeleMem: 构建面向代理AI的长期和多模态记忆

Chunliang Chen, Ming Guan, Xiao Lin, Jiaxu Li, Luxi Lin, Qiyi Wang, Xiangyu Chen, Jixiang Luo, Changzhi Sun, Dell Zhang, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TeleMem通过统一的长期和多模态记忆系统，提升代理AI在长对话和多模态任务中的表现，实现更高的准确率、更低的令牌使用和更快的操作速度。

OP-Bench: Benchmarking Over-Personalization for Memory-Augmented Personalized Conversational Agents

OP-Bench：用于内存增强个性化对话代理的过个性化基准测试

Yulin Hu, Zimo Long, Jiahe Guo, Xingyu Sui, Xing Fu, Weixiang Zhao, Yanyan Zhao, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 OP-Bench通过评估多种模型和方法，揭示了内存增强对话代理中过个性化问题的普遍性，并提出Self-ReCheck机制以缓解该问题。

Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction

Judge Q: 用于优化KV缓存淘汰信息保留的可训练查询

Yijun Liu, Yixuan Wang, Yuzhuang Xu, Shiyu Ji, Yang Xu, Qingfu Zhu, Wanxiang Che

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Judge Q通过引入软令牌列表，优化KV缓存淘汰中的信息保留，提升解码质量与性能表现。

Comments Accepted in AAAI 2026

MISA: Memory-Efficient LLMs Optimization with Module-wise Importance Sampling

MISA: 通过模块级重要性采样实现内存高效的LLM优化

Yuxi Liu, Renjia Deng, Yutong He, Xue Wang, Tao Yao, Kun Yuan

机构 * Peking University（北京大学） ； Alibaba DAMO Academy（阿里巴巴达摩院） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 MISA通过模块级重要性采样优化LLM，减少内存需求并提高收敛效率。

Comments This paper is accepted to Neural Information Processing Systems (NeurIPS) 2025

MemoBrain: Executive Memory as an Agentic Brain for Reasoning

MemoBrain: 作为推理代理的执行记忆脑

Hongjin Qian, Zhao Cao, Zheng Liu

机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MemoBrain通过构建依赖感知的记忆模型，实现对长周期推理轨迹的显式认知控制，提升工具增强代理的推理连贯性和任务对齐性。

Comments Our codes are in https://github.com/qhjqhj00/MemoBrain