语言大模型 / LLM

SeDeM: Selective Decompression of Hidden-State Memories for Long-Context Question Answering

SeDeM：面向长上下文问答的隐藏状态记忆选择性解压

Maryam Haghifam, Jason Cong, Yizhou Sun

机构 * University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究针对LLM长上下文推理成本高、证据利用不可靠的问题，提出SeDeM选择性解压框架，通过解耦记忆存储与解码器条件，在1B、3B主干的四个长上下文QA基准上，优于压缩基线及全上下文微调方法，还提升了解码效率。

Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization for LLM Reinforcement Learning

策略滞后下的回滚复用：面向大语言模型强化学习的前缀归一化策略优化

Wenhao Zhang, Yibo Xie, Rui Wang, Jiahua Yang, Lei Jiang, Zibo Yang, Yawei Wang, Jiali Xu, jasperawang, Haoyang Long, Huan Xiong, alantzhao

机构 * Tencent（腾讯） ； Harbin Institute of Technology（哈尔滨工业大学） ； Jinan University（暨南大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型强化学习中回滚复用导致的离策略问题，提出前缀归一化策略优化（PNPO），在4个更新周期时其数学推理性能优于GSPO，可降低更新批次需求。

CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents

CoEvo-Mem：协同演化检索策略与记忆库的大语言模型智能体框架

Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 CoEvo-Mem是协同演化检索策略与记忆库的闭环框架，通过交替更新路由器与记忆库，在七个基准测试中实现了大语言模型智能体的最先进性能。

Learning What to Remember and What to Internalize in LLM Self-Evolution via Adaptive Memory-Parameter Coordination

在大语言模型自进化中通过自适应记忆-参数协调学习该记住什么和该内化什么

Tianyun Ji, Zhenya Huang, Jiayu Liu, Zirui Liu, Yu Su, Hongbin Pei

机构 * University of Science and Technology of China（中国科学技术大学） ； City University of Hong Kong（香港城市大学） ； Hefei Normal University（合肥师范学院） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出 COVE 框架，通过任务感知路由等方式协调大语言模型自进化的记忆与参数通道，解决单通道进化的灵活性与性能权衡问题，在多任务上实现更稳健高效的改进。

ThAME: 3D Memory-Enabled Heterogeneous Accelerator for LLM Mixture of Experts

ThAME：用于大语言模型专家混合的支持3D内存的异构加速器

Pratyush Dhingra, Pramit Kumar Pal, Janardhan Rao Doppa, Partha Pratim Pande

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对传统硬件上MoE推理的瓶颈，提出ThAME这一3D异构多芯片架构，采用特殊内存芯片及计算映射策略，设计优化的片上网络通信主干，实验显示其在加速和能源效率上比现有技术有显著提升。

Comments Accepted for Publication in IEEE/ACM Embedded Systems Week (ESWEEK-26)

OnePred: Next-Query Prediction via Recursive Intent Memory in Multi-Turn Conversations

OnePred: 多轮对话中基于递归意图记忆的下一个查询预测

Jiangwang Chen, Bowen Zhang, Zixin Song, Jiazheng Kang, Xiao Yang, Da Zhu, Guanjun Jiang

机构 * Tsinghua University（清华大学） ； Qwen Applications Business Group of Alibaba（阿里巴巴Qwen应用业务组） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对多轮对话中下一个查询预测任务，提出OnePred模型，通过递归更新的意图记忆代替完整历史，结合两阶段强化学习训练，在NQP-Bench基准上实现高达22倍的每轮token节省且预测质量优于所有基线。

Securing Agentic AI: From Per-Action Checks to Trajectory Assurance

安全智能体AI：从单步行动检查到轨迹保障

Alireza Lotfi, Subangkar Karmaker Shanto, Imtiaz Karim, Elisa Bertino

机构 * Purdue University（普渡大学） ； University of Texas at Dallas（德克萨斯大学达拉斯分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究围绕自主智能体安全领域，梳理了单智能体、多智能体及宏观层面的各类安全挑战，提出安全需成为智能体架构等的可验证属性，为可信自主智能体部署提供路线图。

Comments 6 pages. Accepted to the ACM AI Leadership Summit 2026 (Visionary Track)

Context Compaction Theory

上下文压缩理论

Hayder Tirmazi, Sam Markelon, Allison Bishop, Michael Mitzenmacher

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文对上下文压缩开展形式化研究，构建含两个博弈的框架，证明上下文生成博弈与单向通信复杂性等价，还通过案例评估Anthropic的上下文压缩端点性能。

Comments 21 pages, 2 figures, Preliminary version

TrajWiki: Source-Grounded Memory Trajectories for Long-Horizon Dialogue Agents

TrajWiki：面向长程对话智能体的基于来源的记忆轨迹

Jingyu Sun, Yuyang Xue, Mingyang Li, Zhengtao Yao, Jiachen Li, Yang Cui, Wenhao Cai, Haozhe Liu, Fangying Wang, Magdalene Katharina Montgomery, Syed Murtuza Baker, Hongpeng Zhou

机构 * The University of Manchester（曼彻斯特大学） ； The University of Melbourne（墨尔本大学） ； The University of Edinburgh（爱丁堡大学） ； University of Southern California（南加州大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对长程对话智能体的记忆可追溯性与透明性问题，提出TrajWiki框架，通过轨迹式记忆表示与Memory Wiki中间层提升对话性能及可解释性。

ObjectStream: Latent Objects as Memory Anchors for Streaming Video Understanding

ObjectStream：将潜在对象作为记忆锚点用于流视频理解

Mingkang Dong, Muxin Pu, Jie Li, Bohan Guo, Songruo Chen, Bin Ren, Xu Zheng, Chen Zhao, Tianwen Qian, Mohamed Elhoseiny, Yuqian Fu

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出无需训练的 ObjectStream 框架，以潜在对象为记忆锚点组织流视频证据，使 Video-LLMs 无需改动即可推理对象相关内容，在多基准上实现性能提升且内存与推理效率显著优化。

Comments https://github.com/DMK041218/ObjectStream

DCC: Data-Centric Compilation of Machine Learning Kernels for Processing-In-Memory Architectures

DCC: 面向处理-内存架构的机器学习内核数据驱动编译

Peiming Yang, Sankeerth Durvasula, Ivan Fernandez, Mohammad Sadrosadati, Onur Mutlu, Gennady Pekhimenko, Christina Giannoula

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Barcelona Supercomputing Center（巴塞罗那超级计算中心） ； ETH Zürich（苏黎世联邦理工学院） ； Nvidia（英伟达） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对PIM系统中数据重排与计算代码优化相互依赖的问题，提出数据驱动的编译器DCC，通过统一调优联合优化数据重排与计算代码，在HBM-PIM和AttAcc PIM上分别实现平均2.21倍和3.92倍的加速。

FedWorld: Scope-Aware Federation of Agent World Models

FedWorld：感知范围的智能体世界模型联邦

Yuchao Hou

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 FEDWORLD是一种感知范围的智能体世界模型联邦协议，通过交换结构化抽象转移规则，减少冲突动态下的负迁移，提升智能体任务成功率。

Memory Reward Inflation in Self-Improving LLM Agents

自改进大语言模型智能体中的记忆奖励膨胀

Mohammad Asadolahi, Amir Amini, Samira Talebi, Amirfarhad Farhadi, Azadeh Zamanifar

机构 * University Of North Texas（北得克萨斯大学） ； Edge Hill University（边山大学） ； University of Cincinnati（辛辛那提大学） ； Iran University of Science and Technology（伊朗科技大学） ； Islamic Azad University（伊斯兰阿扎德大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 该研究发现自改进大语言模型智能体存在记忆奖励膨胀的“回声差距”问题，提出误差独立性假设（EIA），并通过LUCID算法在BIRD文本到SQL基准上提升了执行准确率。

CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction

CTR-Sink：用于点击率预测的语言模型中的注意力汇聚点

Zixuan Li, Binzong Geng, Jing Xiong, Yong He, Yuxuan Hu, Jian Chen, Dingwei Chen, Xiyu Chang, Ngai Wong, Liang Zhang, Linjian Mo, Chengming Li, Chuan Yuan, Zhenan Sun

机构 * NLPR, Institute of Automation, Chinese Academy of Sciences（神经信息处理教育部重点实验室，自动化研究所，中国科学院） ； Ant Group（蚂蚁集团） ； The University of Hong Kong（香港大学） ； City University of Hong Kong（香港城市大学） ； Sun Yat-sen University（中山大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 针对用户行为序列与语言模型预训练文本之间的结构差异导致的语义碎片化问题，提出CTR-Sink框架，通过引入行为级注意力汇聚点并动态调节注意力聚合，提升点击率预测性能。

Comments Accepted by the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026). The source code of this paper has been made publicly available at https://github.com/UGUESS-lzx/CTR-SINK

Understanding Sparse Attention Selectivity in Long-Context Foundation Models via Counterfactual Evaluation

通过反事实评估理解长上下文基础模型中的稀疏注意力选择性

Xingyu Ren, Youran Sun, Chugang Yi, Haizhao Yang

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of Maryland（马里兰大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title)；分类 cs.CL、cs.LG

AI总结 该研究通过反事实评估探究长上下文基础模型的稀疏注意力选择性，证实稀疏化会改变内容影响力，提出开放测量框架，相关结果无法通过聚合准确率检测。

V-Mem: Modality-Routed Retrieval for Long-Term Multimodal Agentic Memory

V-Mem：面向多模态智能体长期记忆的模态路由检索

Dingyi Kang, Dongming Jiang, Yi Li, Guanpeng Li, Bingzhe Li

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对多模态智能体记忆的模态与相似性-相关性差距，提出V-Mem系统，通过模态路由检索优化，在Mem-Gallery、LoCoMo数据集上显著提升多模态问答性能。

Comments 19 pages, 2 figures, 16 tables. Code: https://github.com/Dingyi-Kang/V-Mem

What Makes Position Zero Special? A Mechanistic Study of Position Zero Attention Sinks in LLMs

大语言模型中注意力汇流的出现：可解释性视角

Runyu Peng, Ruixiao Li, Mingshu Chen, Yunhua Zhou, Qipeng Guo, Xipeng Qiu, Yucheng Lu, Chen Zhao

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本研究从可解释性角度探讨了大语言模型中注意力汇流的形成机制，发现P0汇流回路能无需语义信息在两个transformer块内诱导注意力汇流，并揭示其在训练早期的出现及集中趋势。

Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study

基于语言模型智能体的长时自主架构研究：一项行为案例研究

Aon Safdar, Mohamed Saadeldin

机构 * University College Dublin（都柏林大学学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究以语言模型智能体为唯一研究者开展长时神经架构设计案例，经三阶段约100次实验改进了视觉Transformer，揭示其生产力阶段结构等四项发现，提出自主研究的未来方向。

Comments This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible

PGMem: Tightly Coupled Persona-Memory Graph for Lifelong Personalized Agents

PGMem：用于终身个性化智能体的紧耦合角色记忆图

Wonjun Choi, Yerim Kim, Yukyung Lee, Susik Yoon

机构 * Korea University（高丽大学） ； Boston University（波士顿大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 该研究针对现有对话智能体记忆系统的角色与事件松散耦合问题，提出PGMem异构角色记忆图，通过溯源边关联角色与事件，在多个基准测试中性能优于多种基线方法。

Salami Attack: Stealthy Collusive Memory Poisoning against OpenClaw

Salami攻击：针对OpenClaw的隐蔽合谋式内存投毒

Zheng Lin, Yuzhe Huang, Zhenxing Niu, Xianmin Ye, Haichang Gao

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对OpenClaw，提出MemCollusion框架，采用Salami策略生成合谋式内存投毒攻击，在48种场景下平均内存保存率81.3%、攻击成功率75.0%，可应对良性内存稀释与内存级防御。

When Memory Updates but Behavior Does Not: Repairing Implicit Stale Dependencies in Personalized Agent Responses

当记忆更新但行为未更新时：修复个性化智能体响应中的隐式陈旧依赖

Haofei Sun, Lin He

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对智能体存在的隐式陈旧依赖问题，提出StateAuditor反向审计方法，在STALE基准上实现显著性能提升，验证了转换机制对修复IPA缺口的有效性。

Comments 9 pages, 4 figures; supplementary material in ancillary files

Linear Multi-Timescale Retention as a Memory-Efficient Vision-Language Bridge

线性多时间尺度保留作为内存高效的视觉-语言桥梁

Ashfak Yeafi, Mehedi Hasan, Md Khairul Islam

专题命中 长上下文与记忆 ：language model(abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 该研究针对视觉-语言模型高分辨率图像处理的内存瓶颈，提出线性多时间尺度保留模块，兼具O(N)复杂度与上下文路由能力，在长序列任务、硬件效率及MME基准上均优于MLP基线。

S$^4$R: Selective Sampling, Subspaces, and Sparse Reconstruction for Compressed Long-Context KV Caching

S$^4$R：用于压缩长上下文KV缓存的选择性采样、子空间与稀疏重构

Jialong Han, You Wu, Kewei Tu

机构 * School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院） ； Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 S$^4$R通过选择性采样token构建低秩子空间、稀疏重构KV表示，在LongBench等数据集上实现最高5倍KV压缩且接近全缓存准确率，兼顾压缩效率与提示词适应性。

Width, Memory, and Delay: A Resource Accounting for the Limits of Flat Multi-Agent Systems

宽度、内存与延迟：扁平多智能体系统的资源限制核算

Oleksandr Kuznetsov, Emanuele Frontoni

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对扁平多智能体系统，构建了基于宽度、内存、延迟的定量资源模型，反驳了其存在不可约因果下限的结论，明确资源不可替代性并给出设计规则。

Towards Autonomous Formulaic Alpha Discovery: An Evolutionary Computation Perspective

面向自主公式化阿尔法发现：进化计算视角

Xinwei Yu, Yiyang Fu, Mingcheng Fan, Enqi Li, Yilin Gao, Shugong Xu

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 本文从进化计算视角，提出自动化公式化阿尔法发现的统一分析与评估框架，为开发可靠的自主阿尔法发现系统奠定基础。

Remember-R1: Mitigating Long-Context Visual Forgetting through Reinforcement Learning

Remember-R1：通过强化学习缓解长上下文视觉遗忘

Jianmin Chen, Jiaqi Tang, Wei Wei, Xiaogang Xu, Jiafei Wu, Zhe Liu, Qianzhou Wang, Yingying Yan, Botong Geng, Yuyang Xia, Lei Zhang, Qifeng Chen

机构 * Northwestern Polytechnical University（西北工业大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 该研究针对多模态大语言模型的长上下文视觉遗忘问题，提出强化学习框架Remember-R1，通过过程级监督优化视觉依赖与注意力，提升了多模态推理性能。

Comments Accepted by ACM Multimedia 2026

MAPLE-Guard: Memory-Aware Link Enforcement Against Memory-Link Poisoning in Multi-Agent Systems

MAPLE-Guard：多智能体系统中针对内存链接投毒的内存感知链接执行防御机制

Wenjun Xiong, Yijin Zhou, Jiaqian Wang, Shangding Gu, Bo Tang, Zhiyu Li, Feiyu Xiong, Ying Wen, Muning Wen

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 MAPLE-Guard通过在多智能体系统内存生命周期的关键环节设置防御关卡，大幅降低内存链接投毒攻击的成功率，提升多智能体防御成功率，填补了现有防御的空白。

Comments 27 pages, 14 figures, 9 tables. Includes examples that may be misleading or harmful. Code: https://github.com/xiong-wenjun/MAPLE-Guard

AgentMemBench: A Systematic Benchmark for Evaluating Long-Term Memory Management Strategies in Conversational AI Agents

AgentMemBench：用于评估对话AI智能体长期记忆管理策略的系统基准

Ahmed Cherif

机构 * Sofrecom（索弗雷科姆） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建了AgentMemBench基准，评估五种记忆策略及两款现有系统，发现外部键值存储（EKV）在长程对话记忆任务中表现最优，但存在内存占用成本，同时公开了全部可复现资源。

Comments 22 pages, 3 figures submitted on Neural Computing and Applications

ECHO: Prune To Act, Trace To Learn With Selective Turn Memory In Agentic RL

ECHO: 在智能体强化学习中通过选择性回合记忆进行剪枝行动与追踪学习

Zijun Xie, Binbin Zheng, Enlei Gong, Jihua Liu, Yuyang You, Lingfeng Liu, Jiayao Tang, Guanqun Zhao, Aoqi Hu, Zeyu Chen

机构 * School of Mathematical Sciences, Peking University（北京大学数学科学学院） ； Baidu Inc.（百度公司） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：language agent(abstract)；分类 cs.AI、cs.LG

AI总结 提出ECHO框架，通过选择性回合记忆和源索引重建解决长程智能体强化学习中的历史崩溃与可追踪学习问题，在BrowseComp-Plus上达到43.4%准确率，优于GRPO和SUPO。

VespaSeg: A Resource-Aware Ground-then-Segment Pipeline for Referring Expression Segmentation

VespaSeg：一种用于指代表达分割的资源感知“先定位后分割”流水线

Savindu Dilshan Wickramasinghe

机构 * University of Moratuwa（莫拉图瓦大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 本文针对指代表达分割中整体式模型部署成本高的问题，提出模块化流水线VespaSeg，采用轻量型视觉-语言模型定位与MobileSAM分割，经适配后在RefCOCO数据集上实现高精度，且内存占用低、推理速度快。

Comments 5 pages, 3 figures. Code and result artifacts: https://github.com/Savidilsh/VespaSeg