语言大模型 / LLM

When Does Context Help? Error Dynamics of Contextual Information in Large Language Models

何时上下文有助于？大型语言模型中上下文信息的误差动态

Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che, Yang Deng

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出统一理论框架，分析上下文信息对Transformer模型误差动态的影响，通过几何条件和范数约束揭示上下文校正的必要条件，并通过实验验证提升模型性能。

YaRN: Efficient Context Window Extension of Large Language Models

YaRN: 大语言模型高效上下文窗口扩展

Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

机构 * EleutherAI ； University of Geneva（日内瓦大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 YaRN通过高效方法扩展大语言模型的上下文窗口，实现更长上下文的利用与扩展，超越现有最先进水平。

AMEM4Rec: Leveraging Cross-User Similarity for Memory Evolution in Agentic LLM Recommenders

AMEM4Rec: 利用跨用户相似性促进记忆演化以实现智能大语言模型推荐系统

Minh-Duc Nguyen, Hai-Dang Kieu, Dung D. Le

机构 * Center for AI Research, VinUniversity（越南 Vin 大学人工智能研究中心） ； College of Engineering and Computer Science, VinUniversity（越南 Vin 大学工程与计算机科学学院） ； Computer Science, VinUniversity（越南 Vin 大学计算机科学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 AMEM4Rec通过跨用户记忆演化学习协作信号，提升智能大语言模型推荐系统的性能。

Coarse-to-Fine Grounded Memory for LLM Agent Planning

粗到细的 grounded memory 用于 LLM agent 计划

Wei Yang, Jinwei Xiao, Hongming Zhang, Qingyang Zhang, Yanna Wang, Bo Xu

机构 * National Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institution of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统国家重点实验室，自动化研究所，中国科学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出 Coarse-to-Fine Grounded Memory，通过 LLM 实现粗到细的记忆 grounding，以提升代理在复杂规划任务中的灵活性和适应性。

Comments Accepted to EMNLP 2025 Main Conference;27 pages,15 figures

LOCA-bench: Benchmarking Language Agents Under Controllable and Extreme Context Growth

LOCA-bench: 评估在可控和极端上下文增长下的语言代理

Weihao Zeng, Yuzhen Huang, Junxian He

专题命中 长上下文与记忆 ：language agent(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 LOCA-bench通过可控和极端上下文增长评估语言代理的能力，提供长上下文代理的基准测试平台。

BudgetMem: Learning Selective Memory Policies for Cost-Efficient Long-Context Processing in Language Models

BudgetMem: 为语言模型中的低成本长上下文处理学习选择性记忆策略

Chandra Vamsi Krishna Alla, Harish Naidu Gaddam, Manohar Kommi

机构 * University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 BudgetMem通过学习选择性记忆策略，在语言模型中实现低成本长上下文处理，相比基线RAG节省72.4%内存且F1分数仅下降1.0%。

Comments 11 pages, 3 figures, 5 tables. Evaluated on 700 QA pairs across multiple document lengths

AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management

AgentSys: 通过显式分层内存管理实现安全且动态的LLM代理

Ruoyao Wen, Hao Li, Chaowei Xiao, Ning Zhang

机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 AgentSys通过显式分层内存管理有效防御间接提示注入攻击，显著降低攻击成功率并提升LLM代理的安全性和动态性。

Comments 21 pages, 4 figures

Stateless Yet Not Forgetful: Implicit Memory as a Hidden Channel in LLMs

无状态却非遗忘：隐式记忆作为LLM中的隐藏通道

Ahmed Salem, Andrew Paverd, Sahar Abdelnabi

机构 * Microsoft Security Response Center (MSRC)（微软安全响应中心） ； ELLIS Institute Tübingen and MPI for Intelligent Systems（图宾根ELLIS研究所和智能系统研究所） ； Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 研究提出隐式记忆机制，使LLM在无显式存储的情况下通过输出编码信息实现跨交互状态传递，展示其在时间炸弹等安全问题中的应用及影响。

Comments Accepted at IEEE SaTML 2026

MemPot: Defending Against Memory Extraction Attack with Optimized Honeypots

MemPot：通过优化的陷阱来防御内存提取攻击

Yuhao Wang, Shengfang Zhai, Guanghao Jin, Yinpeng Dong, Linyi Yang, Jiaheng Zhang

机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； Southern University of Science and technology（南方科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MemPot通过优化陷阱文档和理论验证，有效防御内存提取攻击，提升检测性能与效率。

SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning

SkillRL: 通过递归技能增强强化学习进化智能体

Peng Xia, Jianwen Chen, Hanyang Wang, Jiaqi Liu, Kaide Zeng, Yu Wang, Siwei Han, Yiyang Zhou, Xujiang Zhao, Haifeng Chen, Zeyu Zheng, Cihang Xie, Huaxiu Yao

机构 * University of Chicago（芝加哥大学） ； University of California San Diego（加州大学圣地亚哥分校） ； NEC Labs America（NEC美国实验室） ； University of California Berkeley（加州大学伯克利分校） ； University of California Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SkillRL通过递归技能增强强化学习，有效提升智能体在复杂任务中的表现与泛化能力。

Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning

通过端到端强化学习实现压缩内存中的动态长上下文推理

Zhuoen Chen, Dongfang Li, Meishan Zhang, Baotian Hu, Min Zhang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于端到端强化学习的框架，通过分块压缩和选择性记忆回溯实现高效长上下文推理，提升了多跳推理任务的准确性和效率。

Comments 26 pages, 7 figures. Code and models will be released

From $O(mn)$ to $O(r^2)$: Two-Sided Low-Rank Communication for Adam in Distributed Training with Memory Efficiency

从O(mn)到O(r²)：为分布式训练中的Adam引入双侧低秩通信以提高内存效率

Sizhe Dang, Jiaqi Shao, Xiaodong Zheng, Guang Dai, Yan Song, Haishan Ye

机构 * Xi’an Jiaotong University（西安交通大学） ； SGIT AI Lab（SGIT人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 TSR-Adam通过双侧低秩通信将Adam优化器的通信开销从O(mn)降至O(r²)，在保持低维核心状态的同时减少通信量，提升分布式训练效率。

Agent-Fence: Mapping Security Vulnerabilities Across Deep Research Agents

Agent-Fence: 在深度研究代理中映射安全漏洞

Sai Puppala, Ismail Hossain, Md Jahangir Alam, Yoonpyo Lee, Jay Yoo, Tanzim Ahad, Syed Bahauddin Alam, Sajedul Talukder

机构 * Computer Science Department, Southern Illinois University（索尔坦大学计算机科学系） ； Computer Science Department, University of Texas（德克萨斯大学计算机科学系） ； Hanyang University（翰阳大学） ； The Grainger College of Engineering, Nuclear, Plasma & Radiological Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校格雷格尔工程学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Agent-Fence通过定义14种信任边界攻击类别，评估深度代理的安全性，发现高风险类别如Denial-of-Wallet和Authorization Confusion，揭示代理在持久交互中的安全漏洞。

MemAdapter: Fast Alignment across Agent Memory Paradigms via Generative Subgraph Retrieval

MemAdapter：通过生成子图检索实现跨代理记忆范式的快速对齐

Xin Zhang, Kailai Yang, Chenyue Li, Hao Li, Qiyu Wei, Jun'ichi Tsujii, Sophia Ananiadou

机构 * The University of Manchester（曼彻斯特大学） ； Stanford University（斯坦福大学） ； Imperial College London（伦敦帝国理工学院） ； National Institute of Advanced Industrial Science（国家先进工业科学与技术研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MemAdapter通过生成子图检索实现跨代理记忆范式的快速对齐，提升记忆检索灵活性并降低对齐成本，实验显示其性能优于现有系统。

aiXcoder-7B-v2: Training LLMs to Fully Utilize the Long Context in Repository-level Code Completion

aiXcoder-7B-v2: 训练 LLMs 完全利用仓库级代码补全中的长上下文

Jia Li, Hao Zhu, Huanyu Liu, Xianjie Shi, He Zong, Yihong Dong, Kechi Zhang, Siyuan Jiang, Zhi Jin, Ge Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 aiXcoder-7B-v2通过COLA方法提升仓库级代码补全的长上下文利用能力

Comments Camera-ready version for ASE2025

IGMiRAG: Intuition-Guided Retrieval-Augmented Generation with Adaptive Mining of In-Depth Memory

IGMiRAG: 基于直觉引导的检索增强生成与深度记忆适应性挖掘

Xingliang Hou, Yuyan Liu, Qi Sun, haoxiu wang, Hao Hu, Shaoyi Du, Zhiqiang Tian

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 IGMiRAG通过直觉引导的检索增强生成框架，结合超图和演绎路径，提升多粒度知识对齐和深度记忆挖掘，实现更高效有效的生成性能。

Comments 29 pages, Information Retrieval

FLAME: Flow Enhanced Legendre Memory Models for General Time Series Forecasting

FLAME：流增强的Legendre记忆模型用于通用时间序列预测

Xingjian Wu, Hanyin Cheng, Xiangfei Qiu, Zhengyu Li, Jilin Hu, Chenjuan Guo, Bin Yang

机构 * School of Data Science and Engineering, East China Normal University, Shanghai, China（数据科学与工程学院，东华大学，上海，中国） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.LG

AI总结 FLAME通过Legendre记忆和归一化流预测头，实现高效且鲁棒的时间序列预测，展现卓越的零样本性能。

Toward Inherently Robust VLMs Against Visual Perception Attacks

朝向对抗视觉感知攻击的固有鲁棒性VLMs

Pedram MohajerAnsari, Amir Salarpour, Michael Kühr, Siyu Huang, Mohammad Hamad, Sebastian Steinhorst, Habeeb Olufowobi, Bing Li, Mert D. Pesé

机构 * Clemson University（克莱姆森大学） ； Technical Universität München（慕尼黑技术大学） ； University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 本文提出V2LMs，通过固有鲁棒性提升自动驾驶车辆感知对视觉攻击的抗性，实验显示其在对抗攻击下表现优于传统DNNs。

Comments Accepted to the 2026 IEEE Intelligent Vehicles Symposium (IV 2026)

Learning to Continually Learn via Meta-learning Agentic Memory Designs

通过元学习代理记忆设计实现持续学习

Yiming Xiong, Shengran Hu, Jeff Clune

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI

AI总结 本文提出ALMA框架，通过元学习自动设计记忆模块，使代理系统在多样化领域实现持续学习。

Lemon Agent Technical Report

柠檬代理技术报告

Haipeng Jiang, Kailong Ren, Zimo Yin, Zhetao Sun, Xin Gan, Guangyi Lv, Ming He, Peng Wang, Congli Yin, Hong Pan, Changwen Zhang, Shan Tong, Zhengyu Xu, Zeping Chen, Yubin Huangfu, Yanzhi Xu, Xing Su, Qin Feng, Dong An, Jianping Fan

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 柠檬代理是一种基于AgentCortex框架的多代理系统，通过自适应调度和三级上下文管理策略，优化资源利用和任务处理效率，实现复杂场景下的高准确率表现。

Improving Code Localization with Repository Memory

通过仓库记忆提升代码定位

Boshi Wang, Weijian Xu, Yunsheng Li, Mei Gao, Yujia Xie, Huan Sun, Dongdong Chen

专题命中 长上下文与记忆 ：language agent(abstract)；分类 cs.CL

AI总结 通过利用仓库提交历史增强语言代理的记忆，提升代码定位性能，更接近人类开发者经验。

Comments ICLR 2026