语言大模型 / LLM

Memory as Asset: From Agent-centric to Human-centric Memory Management

记忆作为资产：从以代理为中心到以人类为中心的记忆管理

Yanqi Pan, Qinghao Huang, Weihao Yang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出以人类为中心的记忆管理范式，通过个人记忆存储、智能进化层和去中心化记忆交换网络，构建持续增长的知识基础架构，推动可扩展的人类中心AGI系统发展。

Long-Context Encoder Models for Polish Language Understanding

长上下文编码器模型用于波兰语言理解

Sławomir Dadas, Rafał Poświata, Marek Kozłowski, Małgorzata Grębowiec, Michał Perełkiewicz, Paweł Klimiuk, Przemysław Boruta

机构 * National Information Processing Institute（国家信息处理研究所） ； PKO Bank Polski（波兰PKO银行） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出了一种能够处理长文档的波兰语言模型，通过两阶段训练和知识蒸馏压缩模型，在25个任务中展现优异的长上下文处理能力。

Where Matters More Than What: Decoding-aligned KV Cache Compression via Position-aware Pseudo Queries

关键-值（KV）缓存中更重要的是什么：通过位置感知的伪查询实现解码对齐的KV缓存压缩

Zhenxu Tian, Yi Su, Juntao Li, Min Zhang

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出DapQ，通过位置感知的伪查询实现解码对齐的KV缓存压缩，有效减少内存占用并提升生成性能。

Try, Check and Retry: A Divide-and-Conquer Framework for Boosting Long-context Tool-Calling Performance of LLMs

尝试、检查并重试：一种提升LLMs长上下文工具调用性能的分而治之框架

Kunfeng Chen, Qihuang Zhong, Juhua Liu, Bo Du, Dacheng Tao

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Tool-DC框架，通过'尝试-检查-重试'范式提升LLMs在长上下文工具调用任务中的性能，实验表明其在多个基准测试中均优于基线方法。

Comments 17 pages, 8 figures

CARROT: A Learned Cost-Constrained Retrieval Optimization System for RAG

CARROT：一种用于RAG的学得式成本约束检索优化系统

Ziting Wang, Haitao Yuan, Wei Dong, Gao Cong, Feifei Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 CARROT通过MCTS和配置代理优化RAG检索，提升检索效率与准确性，实验显示性能提升达30%。

Comments Accepted to ICDE 2026. Updated title (previously "CORAG: A Cost-Constrained Retrieval Optimization System for Retrieval-Augmented Generation")

Omni-Masked Gradient Descent: Memory-Efficient Optimization via Mask Traversal with Improved Convergence

全方位遮蔽梯度下降：通过遮蔽遍历实现内存高效的优化

Hui Yang, Tao Ren, Jinyang Jiang, Wan Tian, Yijie Peng

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 Omni-Masked Gradient Descent通过遮蔽遍历实现内存高效的优化，提供非凸情况下改进的收敛分析和更优的迭代复杂度。

SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving

SwingArena: 用于长上下文GitHub问题解决的竞争性编程竞技场

Wendong Xu, Jing Xiong, Chenyang Zhao, Qiujiang Chen, Haoran Wang, Hui Shen, Zhongwei Wan, Jianbo Dai, Taiqiang Wu, He Xiao, Chaofan Tao, Z. Morley Mao, Ying Sheng, Zhijiang Guo, Hongxia Yang, Bei Yu, Lingpeng Kong, Quanquan Gu, Ngai Wong

机构 * The University of Hong Kong（香港大学） ； University of California Los Angeles（加州大学洛杉矶分校） ； Tsinghua University（清华大学） ； University of Michigan Ann Arbor（密歇根大学安娜堡分校） ； The Ohio State University（俄亥俄州立大学） ； University of Edinburgh（爱丁堡大学） ； The Chinese University of Hong Kong（香港中文大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； LMSYS Org（LMSYS组织） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SwingArena是一个用于评估LLM在真实CI驱动软件开发环境中性能的竞争性编程竞技场，通过模拟软件迭代过程，结合检索增强型代码生成模块，实现对长上下文问题的高效处理。

Comments The paper has been accepted as an oral presentation at ICLR 2026

Enhancing Web Agents with a Hierarchical Memory Tree

通过分层记忆树增强网络代理

Yunteng Tan, Zhi Gao, Xinxiao Wu

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出分层记忆树HMT，通过结构化框架分离逻辑规划与操作执行，提升网络代理在跨网站和跨领域任务中的泛化能力。

The Limits of Long-Context Reasoning in Automated Bug Fixing

长上下文推理在自动化Bug修复中的局限性

Ravi Raju, Mengmeng Ji, Shubhangi Upasani, Bo Li, Urmish Thakker

机构 * SambaNova Systems（SambaNova系统） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究发现长上下文推理在自动化Bug修复中存在显著局限，现有模型在长上下文下的表现远低于预期。

Comments Accepted to ICLR 2026 ICBINB workshop

FlashAttention-4: Algorithm and Kernel Pipelining Co-Design for Asymmetric Hardware Scaling

FlashAttention-4：异构硬件扩展下的算法与内核流水线协同设计

Ted Zadouri, Markus Hoehnerbach, Jay Shah, Timmy Liu, Vijay Thakkar, Tri Dao

机构 * Princeton University（普林斯顿大学） ； Meta ； Colfax Research（Colfax研究公司） ； NVIDIA（NVIDIA公司） ； Georgia Tech（佐治亚理工学院） ； Together AI 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 FlashAttention-4通过异构硬件扩展下的算法与内核流水线协同设计，提升B200 GPU上的注意力计算效率。

SE-Search: Self-Evolving Search Agent via Memory and Dense Reward

SE-Search: 通过记忆和密集奖励实现的自进化搜索代理

Jian Li, Yizhang Jin, Dongqi Liu, Hang Ding, Jiafu Wu, Dongsheng Chen, Yunhang Shen, Yulei Qin, Ying Tai, Chengjie Wang, Xiaotong Yuan, Yabiao Wang

机构 * Nanjing University（南京大学） ； Tencent YoutuLab（腾讯优图实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SE-Search通过记忆净化、原子查询训练和密集奖励提升搜索效率，优于现有基线方法。

Multi-Head Low-Rank Attention

多头低秩注意力

Songtao Liu, Hongwu Peng, Zhiwei Zhang, Zhengyu Chen, Yue Guo

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； University of Connecticut（康涅狄格大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究提出多头低秩注意力机制，通过高效4路张量并行解码，显著提升大型语言模型的解码速度和性能。

Comments Accepted by ICLR 2026

LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards

长上下文强化学习需要可验证的上下文奖励

Guanzheng Chen, Michael Qizhe Shieh, Lidong Bing

机构 * National University of Singapore（国立新加坡大学） ； MiroMind AI ； absolute AI 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 LongRLVR通过引入可验证的上下文奖励，解决长上下文强化学习中因稀疏奖励导致的梯度消失问题，显著提升大语言模型的推理能力。

Comments ICLR 2026

GAM-RAG: Gain-Adaptive Memory for Evolving Retrieval in Retrieval-Augmented Generation

GAM-RAG：基于增益的记忆用于演化检索的检索增强生成

Yifan Wang, Mingxuan Jiang, Zhihao Sun, Yixin Cao, Yicun Liu, Keyang Chen, Guangnan Ye, Hongfeng Chai

机构 * Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 GAM-RAG通过动态更新检索记忆提升检索增强生成的性能，减少计算成本，提高推理效率。

Document Reconstruction Unlocks Scalable Long-Context RLVR

文档重建解锁可扩展的长上下文强化学习验证奖励

Yao Xiao, Lei Wang, Yue Deng, Guanzheng Chen, Ziqi Jin, Jung-jae Kim, Xiaoli Li, Roy Ka-wei Lee, Lidong Bing

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过文档重建提升大型语言模型长上下文能力的方法，无需人工标注或教师模型监督，有效提升模型在RULER和LongBench~v2上的表现。

FASA: Frequency-aware Sparse Attention

FASA: 基于频率的稀疏注意力

Yifei Wang, Yueqi Wang, Zhenrui Yue, Huimin Zeng, Yong Wang, Ismini Lourentzou, Zhengzhong Tu, Xiangxiang Chu, Julian McAuley

机构 * AMAP, Alibaba Group（阿里巴巴集团AMAP） ； UCSD（加州大学圣迭戈分校） ； UIUC（伊利诺伊大学香槟分校） ； Texas A&M University（德克萨斯农工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 FASA通过动态预测令牌重要性，实现基于频率块的稀疏注意力机制，在长上下文任务中表现出色，达到接近全缓存性能且显著提升效率。

Comments Accepted by ICLR 2026

MemEmo: Evaluating Emotion in Memory Systems of Agents

MemEmo：评估智能体记忆系统中的情感

Peng Liu, Zhen Tao, Jihao Zhao, Ding Chen, Yansong Zhang, Cuiping Li, Zhiyu Li, Hong Chen

机构 * School of Information, Renmin University of China（中国人民大学信息学院） ； China Telecom Research Institute（中国电信研究院） ； MemTensor (Shanghai) Technology（MemTensor（上海）科技） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 MemEmo提出情感增强的记忆评估基准，通过HLME数据集评估记忆系统在情感信息处理上的性能，揭示当前系统在处理情感记忆方面的不足。

An Evaluation of Context Length Extrapolation in Long Code via Positional Embeddings and Efficient Attention

通过位置嵌入和高效注意力机制评估长代码中的上下文长度外推

Madhusudan Ghosh, Rishabh Gupta

机构 * Bosch Research and Technology Centre, Bangalore, India（博世研究与技术中心，班加罗尔，印度） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过位置嵌入和高效注意力机制评估长代码中的上下文长度外推，旨在提升代码生成任务的泛化能力。

Structurally Aligned Subtask-Level Memory for Software Engineering Agents

结构对齐的子任务级记忆用于软件工程代理

Kangning Shen, Jingyuan Zhang, Chenxi Sun, Wencong Zeng, Yang Yue

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出结构对齐的子任务级记忆方法，通过与代理功能分解对齐来提升软件工程代理的长周期推理能力，实验表明在多种backbone上均优于传统方法。

Zero-shot Interactive Perception

零样本交互感知

Venkatesh Sripada, Frank Guerin, Amir Ghalamzan

机构 * University of Surrey（萨里大学） ； University of Sheffield（谢菲尔德大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 ZS-IP通过结合多策略操作与基于记忆的视觉语言模型，实现零样本交互感知，提升复杂场景中推操作的性能。

Comments Original manuscript submitted on April 24, 2025. Timestamped and publicly available on OpenReview: https://openreview.net/forum?id=7MhpFcr5Nx

Reinforced Fast Weights with Next-Sequence Prediction

增强型快速权重与下序列预测

Hee Seung Hwang, Xindi Wu, Sanghyuk Chun, Olga Russakovsky

专题命中 长上下文与记忆 ：language model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 REFINE通过强化学习框架在下序列预测目标下训练快速权重模型，提升长上下文建模性能。

Panini: Continual Learning in Token Space via Structured Memory

Panini：通过结构化记忆在令牌空间中实现持续学习

Shreyas Rajesh, Pavan Holur, Mehmet Yigit Turali, Chenda Duan, Vwani Roychowdhury

机构 * ucla（加州大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；分类 cs.AI

AI总结 Panini通过结构化记忆在令牌空间中实现持续学习，提升推理效率和准确性。

Comments 35 pages, code available at: https://github.com/roychowdhuryresearch/gsw-memory

Beyond Context Sharing: A Unified Agent Communication Protocol (ACP) for Secure, Federated, and Autonomous Agent-to-Agent (A2A) Orchestration

超越上下文共享：一种统一的智能体通信协议（ACP）用于安全、联邦化和自主的智能体到智能体（A2A）编排

Naveen Kumar Krishnan

机构 * Naveen Krishnan 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种统一的智能体通信协议（ACP），旨在通过安全、联邦化和自主的智能体到智能体编排，解决跨平台、去中心化和安全交互的挑战，提升智能体协作效率和安全性。

Blind Gods and Broken Screens: Architecting a Secure, Intent-Centric Mobile Agent Operating System

无目神祇与破碎屏幕：构建一个安全的、以意图为中心的移动代理操作系统

Zhenhua Zou, Sheng Guo, Qiuyang Zhan, Lepeng Zhao, Shuo Li, Qi Li, Ke Xu, Mingwei Xu, Zhuotao Liu

机构 * Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出Aura架构，通过结构化交互模型和四项防御支柱，提升移动代理系统的安全性与效率。

Comments 35 pages, 15 figures

AttentionRetriever: Attention Layers are Secretly Long Document Retrievers

AttentionRetriever: 注意力层其实是秘密的长文档检索器

David Jiahao Fu, Lam Thanh Do, Jiayu Li, Kevin Chen-Chuan Chang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AttentionRetriever通过结合注意力机制和实体检索，实现高效长文档检索，优于现有方法并保持高效性能。

UMEM: Unified Memory Extraction and Management Framework for Generalizable Memory

UMEM: 通用记忆的统一记忆提取与管理框架

Yongshi Ye, Hui Jiang, Feihu Jiang, Tian Lan, Yichao Du, Biao Fu, Xiaodong Shi, Qianghuai Jia, Longyue Wang, Weihua Luo

机构 * Xiamen University（厦门大学） ； Alibaba International Digital Commerce（阿里巴巴国际数字商务） ； Tongyi Lab, Alibaba Group（阿里云实验室，阿里巴巴集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 UMEM通过联合优化大语言模型，实现记忆的提取与管理，提升记忆的泛化能力，实验显示在多轮交互任务中表现优于基线模型。

TraceMem: Weaving Narrative Memory Schemata from User Conversational Traces

TraceMem: 从用户对话轨迹编织叙事记忆图式

Yiming Shu, Pei Liu, Tiange Zhang, Ruiyang Gao, Jun Ma, Chen Sun

机构 * The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Nankai University（南开大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 TraceMem通过三阶段流程从用户对话轨迹中编织叙事记忆图式，提升多跳和时间推理能力。

Structured Episodic Event Memory

结构化事件记忆

Zhengxuan Lu, Dongfang Li, Yukun Shi, Beilun Wang, Longyue Wang, Baotian Hu

机构 * Southeast University（东南大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SEEM通过结构化事件记忆框架提升自主代理的叙述连贯性和逻辑一致性。

Agent-Fence: Mapping Security Vulnerabilities Across Deep Research Agents

Agent-Fence: 在深度研究代理中映射安全漏洞

Sai Puppala, Ismail Hossain, Md Jahangir Alam, Yoonpyo Lee, Jay Yoo, Tanzim Ahad, Syed Bahauddin Alam, Sajedul Talukder

机构 * Computer Science Department, Southern Illinois University（索尔坦大学计算机科学系） ； Computer Science Department, University of Texas（德克萨斯大学计算机科学系） ； Hanyang University（翰阳大学） ； The Grainger College of Engineering, Nuclear, Plasma & Radiological Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校格雷格尔工程学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Agent-Fence通过定义14种信任边界攻击类别，评估深度代理的安全性，发现高风险类别如Denial-of-Wallet和Authorization Confusion，揭示代理在持久交互中的安全漏洞。

RRAttention: Dynamic Block Sparse Attention via Per-Head Round-Robin Shifts for Long-Context Inference

RRAttention: 通过每头轮换位移实现动态块稀疏注意力以支持长上下文推理

Siran Liu, Guoxia Wang, Sa Wang, Jinle Zeng, HaoYang Xie, Siyu Lou, JiaBin Yang, DianHai Yu, Haifeng Wang, Chao Yang

机构 * Baidu Inc.（百度公司） ； Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 RRAttention通过轮换位移策略实现动态块稀疏注意力，提升长上下文推理效率，实现99%的完整注意力性能和2.4倍加速。