语言大模型 / LLM

Selective Memory Retention for Long-Horizon LLM Agents

面向长周期LLM智能体的选择性记忆保留

Pranath Reddy

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出TraceRetain框架，通过可解释特征评分和驱逐机制管理有限外部记忆，在噪声环境下保持任务成功率，验证了选择性记忆保留对长周期智能体的有效性。

Comments Accepted at the International Conference on Machine Learning (ICML) 2026

Less Context, More Accuracy: A Bi-Temporal Memory Engine for LLM Agents Where a Lean Retrieved Context Beats the Full History

更少上下文，更高准确率：一种用于LLM Agent的双时间记忆引擎，其中精简检索上下文优于完整历史

Liuyin Wang

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种双时间记忆引擎Engram，通过混合读取路径从约9.6k token的检索片段中回答，在LongMemEval_S上达到83.6%准确率，比完整历史（79k token）高10.4个百分点，且无错误。

Comments 14 pages, 4 figures, 3 tables. Code, reproducible harness, and raw per-question logs: https://github.com/ly-wang19/engram

RealICU: Do LLM Agents Understand Long-Context ICU Data? A Benchmark Beyond Behavior Imitation

RealICU: 大语言模型能否理解长期上下文ICU数据？一个超越行为模仿的基准测试

Chengzhi Shen, Weixiang Shen, Tobias Susetzky, Chen, Chen, Jun Li, Yuyuan Liu, Xuepeng Zhang, Zhenyu Gong, Daniel Rueckert, Jiazhen Pan

机构 * Technical University of Munich（慕尼黑技术大学） ； TUM University Hospital（TUM大学医院） ； LMU Munich（慕尼黑大学） ； University of Sheffield（谢菲尔德大学） ； University of Oxford（牛津大学） ； Zhongshan Hospital Fudan University（复旦大学中山医院） ； Sun Yat-sen University Cancer Center（中山大学肿瘤中心） ； Imperial College London（伦敦帝国学院） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； relAI – Konrad Zuse School of Excellence in Reliable AI（relAI – 卡诺夫茨卓越可靠人工智能学校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 RealICU通过真实ICU场景评估大语言模型的长期上下文理解能力，提出四个医生驱动任务，揭示现有模型在临床推荐中的召回与安全性的权衡问题。

Absorber LLM: Harnessing Causal Synchronization for Test-Time Training

吸收式大语言模型：利用因果同步进行测试时训练

Zhixin Zhang, Shabo Zhang, Chengcan Wu, Zeming Wei, Meng Sun

机构 * Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Absorber LLM，通过自监督因果同步解决长上下文保留问题，优化模型在测试时的内存和准确率。

TTKV: Temporal-Tiered KV Cache for Long-Context LLM Inference

TTKV：面向长上下文LLM推理的时序分层KV缓存

Gradwell Dzikanyanga, Weihao Yang, Hao Huang, Donglei Wu, Shihao Wang, Wen Xia, Sanjeeb K C

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Guangzhou University（广州大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 TTKV通过时序分层缓存框架优化KV存储，利用HBM和DRAM解耦快慢存储，根据时间接近性分配KV状态，减少跨层通信开销，提升推理效率。

FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning

FOREVER: 基于遗忘曲线的记忆回放用于语言模型连续学习

Yujie Feng, Hao Wang, Jian Li, Xu Chu, Zhaolu Kang, Yiran Liu, Yasha Wang, Philip S. Yu, Xiao-Ming Wu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； ShineMo Ltd., China（中国 ShineMo 公司） ； Solar System of OVB, Tencent, China（腾讯 OVB 太阳系中国） ； Peking University（北京大学） ； University College London（伦敦大学学院） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 FOREVER通过引入遗忘曲线概念，提出了一种基于模型自身时间的连续学习框架，有效缓解了语言模型在持续学习中的灾难性遗忘问题。

Comments ACL 2026 Camera-ready

Serving Chain-structured Jobs with Large Memory Footprints with Application to Large Foundation Model Serving

为具有大内存足迹的链式作业服务而设计的链式结构作业服务

Tingyang Sun, Ting He, I-Hong Hou

专题命中 长上下文与记忆 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究了大基础模型服务中的链式结构作业服务问题，提出了一种基于块放置和缓存分配的新型问题解决方案，通过流水线并行化解决了服务器链组成问题，显著提升了响应时间。

Comments Technical report

Memory Tokens: Large Language Models Can Generate Reversible Sentence Embeddings

记忆令牌：大语言模型可以生成可逆的句子嵌入

Ignacio Sastre, Aiala Rosá

机构 * Instituto de Computación, Facultad de Ingeniería, Universidad de la República（计算机研究所，工程学院，乌拉圭共和国大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,comments)；language model(title,comments)；LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过引入记忆令牌，使大语言模型能够生成可逆的句子嵌入，实现对原始文本的精确重建，展示了LLM在记忆检索与文本生成中的新能力。

Comments This paper will be presented at The First Workshop on Large Language Model Memorization (L2M2) at ACL 2025

Probing the Limits of Compressive Memory: A Study of Infini-Attention in Small-Scale Pretraining

探测压缩记忆的极限：对Infini-Attention在小规模预训练中的研究

Ruizhe Huang, Kexuan Zhang, Yihao Fang, Baifeng Yu

机构 * Huawei Technologies Canada Co., Ltd（华为技术加拿大有限公司） 纠错

专题命中 长上下文与记忆 ：pretraining(title,abstract)；language model(abstract)；small language model(abstract)；SLM(abstract)

AI总结 本研究通过Infini-Attention在小规模预训练中提升SLMs的长上下文能力，验证了其在有限参数下的有效性。

$\text{Memory}^3$: Language Modeling with Explicit Memory

Hongkang Yang, Zehao Lin, Wenjin Wang, Hao Wu, Zhiyu Li, Bo Tang, Wenqiang Wei, Jinbo Wang, Zeyun Tang, Shichao Song, Chenyang Xi, Yu Yu, Kai Chen, Feiyu Xiong, Linpeng Tang, Weinan E

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；pretraining(abstract)

Journal ref Journal of Machine Learning, 3(2024), 300-346

Extract, Define, Canonicalize: An LLM-based Framework for Knowledge Graph Construction

Bowen Zhang, Harold Soh

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 18 pages, 3 figures, Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing

Venn Diagram Prompting : Accelerating Comprehension with Scaffolding Effect

Sakshi Mahendru, Tejul Pandit

专题命中 长上下文与记忆 ：prompting(title,abstract)；LLM(abstract)；large language model(abstract)；language model(abstract)

Comments Preprint. 10 pages, Accepted in 2024 the 6th World Symposium on Artificial Intelligence (WSAI 2024)

AIOS Compiler: LLM as Interpreter for Natural Language Programming and Flow Programming of AI Agents

Shuyuan Xu, Zelong Li, Kai Mei, Yongfeng Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；language agent(abstract)

Comments 12 pages, 6 figures, comments and suggestions are welcome

LazyTrain: Limited-resource Allocation toward Zero-waste Yield Optimization in Large Language Model Training

LazyTrain：面向大语言模型训练零浪费产出优化的有限资源分配方案

Xiaojun Wu, Cehao Yang, Honghao Liu, Xueyuan Lin, Xuhui Jiang, Chengjin Xu, Jia Li, Jian Guo

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； IDEA Research（IDEA研究院） ； DataArcTech Ltd.（DataArcTech有限公司） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 LazyTrain是面向大语言模型训练的优化层，将相关问题建模为混合整数调度问题，结合Hybrid 8位算子，在H800、RTX 3090实验中提升算力、批次大小与准确率。

Comments 18 pages, 8 figures

PRISM-$Δ$: Differential Subspace Steering for Prompt Highlighting in Large Language Models

Prism-$Δ$：用于大语言模型中快速突出的差分子空间操控

Yuyao Ge, Shenghua Liu, Yiwei Wang, Baolong Bi, Lingrui Mei, Jiayu Yao, Jiafeng Guo, Xueqi Cheng

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 PRISM-$Δ$通过差分子空间操控提升大语言模型的提示突出效果，实现更高的生成质量与更低的资源消耗。

Comments 24 pages, 8 figures, 22 tables

Activation-Guided Neuron Intervention to Induce Alzheimer's-Related Computational Language Phenotypes in a Large Language Model

激活引导的神经元干预以在大型语言模型中诱导阿尔茨海默病相关的计算语言表型

Rui He, Ercong Nie, Hong Jiang, Iris E. Sommer, Philipp Homan, Wolfram Hinzen

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本研究基于Qwen3-8B构建激活引导干预框架，通过缩放权重调节AD相关神经元，发现放大该神经元会导致多认知域功能损伤，减弱则多保留性能，为AD计算表型提供了概念验证。

Comments 17 pages, 5 figures, 2 tables

Memory-Augmented Multimodal Large Language Models for Small Object Understanding in Streaming Aerial Videos

用于流式航空视频中小目标理解的内存增强多模态大语言模型

Penglei Sun, Yehua Huang, Zhuoli Tao, Xiang Li, Runwei Guan, Yaoxian Song, Kaiyong Zhao, Henghui Ding, Bo Han, Yang Yang, Xiaowen Chu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Freiburg（弗莱堡大学） ； Hangzhou City University（杭州城市大学） ； XGRIDS（XGRIDS公司） ； Fudan University（复旦大学） ； Hong Kong Baptist University（香港浸会大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究针对流式航空视频中小目标理解难题，提出像素级开放词汇数据集DroneEyes，以及含语义感知令牌路由器和分层内存库的多模态大语言模型SkyAnchor，从数据和方法角度应对挑战。

MemDefrag: Latent Memory Defragmentation for Large Language Models

MemDefrag：大语言模型的潜在内存碎片整理

Ruiyi Yan, Zhuoyuan Mao, Yiwen Guo

机构 * Kyoto University（京都大学） ； LIGHTSPEED ； Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 针对大语言模型潜在内存更新时因编码问题致性能降，提出MemDefrag框架，利用中间层追踪信号整理内存碎片、超容时用信息引导遗忘机制，实验显示其在知识保留等方面优于其他模型且泛化性好。

TuxBot: Semantic-Aware Online OS Tuning with Large Language Models

SemaTune: 基于大语言模型的语义感知在线操作系统调优

Georgios Liargkovas, Mihir Nitin Joshi, Hubertus Franke, Kostis Kaffes

机构 * Columbia University（哥伦比亚大学） ； IBM Research（IBM研究院） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 SemaTune通过语义感知的在线操作系统调优框架，利用大语言模型进行有限制的指导，提升稳定状态下的性能，通过快速和慢速循环更新配置并验证，实现比传统方法更高的性能提升。

Comments 18 pages, 12 figures

Large language model agents accelerate inverse design of metal-organic frameworks for gas separation

大语言模型智能体加速用于气体分离的金属有机框架的逆设计

Zhaolin Hu, Hehe Fan, Wangyihan Guo, Meng Xu, Chenhao Rao, Qiwei Yang, Yi Yang

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究旨在加速金属有机框架用于气体分离的逆设计。提出LEMO智能体框架，结合多种技术，经迭代循环指导搜索。在分离任务中评估，相比基线有优势，丰富候选、提性能、保多样，还经实验筛选实现合成与表征，证明大语言模型智能体可加速MOF发现。

Comments 19 pages,5 figures

When Agents Remember Too Much: Memory Poisoning Attacks on Large Language Model Agents

当智能体记忆过多时：对大语言模型智能体的内存中毒攻击

George Torres, Sharad Shrestha, Satyajayant Misra

机构 * George Torres3（乔治·托雷斯（第三作者）） ； Sharad Shrestha1（沙拉德·什雷斯塔（第一作者）） ； Satyajayant Misra4（萨蒂亚扬特·米什拉（第四作者）） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 研究大语言模型驱动的个人智能体因缺乏内存安全治理存在安全漏洞，提出攻击向量GhostWriter，实现近98%注入率和约60%激活率，还提出AM-Sentry缓解技术，显著降低GhostWriter成功率并保持智能体效用。

Towards Benign Memory Forgetting for Selective Multimodal Large Language Model Unlearning

面向选择性多模态大语言模型遗忘的良性记忆遗忘

Zhen Zeng, Leijiang Gu, Zhangling Duan, Feng Li, Cees G. M. Snoek, Meng Wang, Zenglin Shi

机构 * Hefei University of Technology（合肥工业大学） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 针对多模态大语言模型隐私泄露问题，提出S-MLLMUn Bench基准和SMFA框架，实现精确删除敏感知识同时保持模型基础能力。

Comments Accepted by ECCV 2026

PEARL: Self-Evolving Assistant for Time Management with Reinforcement Learning

PEARL: 基于强化学习的自我进化时间管理助手

Bingxuan Li, Jeonghwan Kim, Cheng Qian, Xiusi Chen, Eitan Anzenberg, Niran Kundapur, Heng Ji

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Viven 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；language agent(abstract)

AI总结 针对日历冲突解决任务，提出PEARL框架，通过外部偏好记忆和逐轮奖励优化，显著降低LLM代理的错误率。

Same question, different history: language, national identity, and credit in large language models

相同问题，不同历史：语言、国家认同与大型语言模型中的归因

William Guey, Pierrick Bougault, Wei Zhang, Vitor D. de Moura, José O. Gomes

机构 * Tsinghua University（清华大学） ； Federal University of Rio de Janeiro（里约热内卢联邦大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 研究大型语言模型在21项有争议的发明/发现中，查询语言如何系统性地影响不同国家主张者的出现频率，揭示语言作为激活不同国家历史版本的开关，产生系统性不同的国家记忆。

Comments 27 pages (main text and Supplementary Information combined), 5 figures, 9 tables

Numerical stability analysis of large language models

大型语言模型的数值稳定性分析

Stanislav Budzinskiy, Wenyi Fang, Longbin Zeng, Philipp Petersen

机构 * Faculty of Mathematics（数学系） ； University of Vienna（维也纳大学） ； Huawei Technologies（华为技术） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文通过混合精度分析推导Transformer推理的条件数和前向误差界，比较LayerNorm与RMSNorm在极端异常值下的稳定性，并量化注意力汇聚对扰动敏感性的影响，发现数值稳定性由权重幅度与残差流增长共同决定。

Comments Major revision

Memory-Augmented Architecture for Long-Term Context Handling in Large Language Models

具有长时上下文处理能力的大型语言模型记忆增强架构

Haseeb Ullah Khan Shinwari, Muhammad Usama

机构 * Newton AI Lab（牛顿AI实验室） ； School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院电气工程学院） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.LG

AI总结 本文提出一种记忆增强架构，通过动态检索、更新和剪枝过去交互信息，提升大型语言模型的长时上下文处理能力，实验表明该方法能有效提高上下文连贯性、降低内存开销并提升响应质量。

Journal ref IEEE Transactions on Artificial Intelligence, 2026

REAL: A Reasoning-Enhanced Graph Framework for Long-Term Memory Management of LLMs

REAL: 一种增强推理的图框架用于LLM的长期记忆管理

Keer Lu, Liwei Chen, Guoqing Jiang, Zhiheng Qin, Yunhuai Liu, Wentao Zhang

机构 * School of Computer Science, Peking University（北京大学计算机科学学院） ； Kuaishou Technology（快手科技） ； Center for Data Science, Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院数据科学中心） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出REAL框架，通过构建时序和置信度感知的有向属性图，采用非破坏性更新和混合束搜索检索，解决LLM长期记忆中的关系缺失、事实覆盖和查询被动问题，平均性能提升22.72%。

Unveiling Privacy Risks in Multi-modal Large Language Models: Task-specific Vulnerabilities and Mitigation Challenges

多模态大语言模型中的隐私风险揭示：任务特定漏洞与缓解挑战

Tiejin Chen, Pingzhi Li, Kaixiong Zhou, Tianlong Chen, Hua Wei

机构 * Arizona State University（亚利桑那州立大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； North Carolina State University（北卡罗来纳州立大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 本研究揭示了多模态大语言模型在处理图像和文本时存在的隐私泄露风险，通过构建MM-Privacy数据集评估了不同任务下的披露风险与保留风险，并强调了任务不一致性对隐私风险的影响。

TrustMargin: Training-Free Arbitration between Parametric Memory and Retrieved Evidence in Large Language Models

TrustMargin: 大语言模型中参数化记忆与检索证据之间的无训练仲裁

Jingyan Xu, Hong Shi, Yi Shan, Penghui Liu, Yunhao Bai, Ningyuan Li, Xueyang Liu

机构 * Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 针对大语言模型在知识问答中参数记忆与检索证据冲突的问题，提出无训练仲裁层TrustMargin，利用模型自身似然度评分选择更可信的答案，无需微调或外部评判。

Comments 13 pages, 6 figures, 9 tables. Code and data are available at https://github.com/mojixu/TrustMargin.git

Personalizing Embodied Multimodal Large Language Model Agents over Long-term User Interactions

个性化具身多模态大语言模型代理在长期用户交互中的应用

Jeongeun Lee, Chanyoung Park, Dongha Lee

机构 * Yonsei University（延世大学） ； KAIST（韩国科学技术院） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

AI总结 提出POLAR框架，通过多模态知识图谱记忆机制增强具身代理在长期交互中的个性化能力，显著提升多步推理和用户上下文跟踪性能。