语言大模型 / LLM

Grounding Agent Memory in Contextual Intent

在上下文意图中 grounding 代理记忆

Ruozhen Yang, Yucheng Jiang, Yueqi Jiang, Priyanka Kargupta, Yunyi Zhang, Jiawei Han

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 STITCH通过上下文意图索引提升长周期交互的记忆检索能力，有效减少歧义和干扰，实现在动态目标轨迹中的高效检索。

Comments ACL 2026

TiMem: Temporal-Hierarchical Memory Consolidation for Long-Horizon Conversational Agents

TiMem：用于长时域对话代理的时序-层次记忆巩固

Kai Li, Xuanqing Yu, Ziyi Ni, Yi Zeng, Yao Xu, Zheqing Zhang, Xin Li, Jitao Sang, Xiaogang Duan, Xuelei Wang, Chengbao Liu, Jie Tan

机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； School of Artificial Intelligence, UCAS（中国科学技术大学人工智能学院） ； AI Lab, AIGility Cloud Innovation（AIGility云创新AI实验室） ； North China Electric Power University（华北电力大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Gaoling School of Artificial Intelligence, RUC（中国人民大学高陵人工智能学院） ； School of Biomedical Engineering, USTC（中国科学技术大学生物医学工程学院） ； Suzhou Institute for Advance Research, USTC（中国科学技术大学苏州市先进研究院） ； School of Computer Science and Technology, BJTU（北京理工大学计算机科学与技术学院） ； Hunan Central South Intelligent Equipment Co., Ltd.（湖南中南智能装备有限公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 TiMem通过时序记忆树实现对话记忆的系统性巩固，提升长时域个性化效果，实现75.30%和76.88%的基准测试准确率。

Comments ACL 2026 Findings

StratMem-Bench: Evaluating Strategic Memory Use in Virtual Character Conversation Beyond Factual Recall

StratMem-Bench：评估虚拟角色对话中的战略记忆使用超越事实回忆

Yerong Wu, Tianxing Wu, Minghao Zhu, Hangyu Sha, Haofen Wang

机构 * School of Computer Science and Engineering, Southeast University, China（东南大学计算机科学与工程学院，中国） ； Key Laboratory of New Generation Artificial Intelligence Technology and its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及其交叉应用国家重点实验室（东南大学），中华人民共和国教育部，中国） ； College of Design and Innovation, Tongji University, China（同济大学设计与创新学院，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 StratMem-Bench旨在评估虚拟角色对话中战略记忆的使用，通过异构记忆池测试角色在不同记忆类型间的决策能力，提出多种评估指标以衡量记忆整合与利用效果。

Comments 20 pages, accepted by ACL 2026 (main)

Nautile-370M: Spectral Memory Meets Attention in a Small Reasoning Model

Nautile-370M：在小推理模型中融合频谱记忆与注意力

Maixent Chenebaux

专题命中 长上下文与记忆 ：language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

AI总结 Nautile-370M是一款3.7亿参数的小语言模型，通过融合频谱记忆与注意力机制，在有限参数和推理预算下实现高效推理。

SparseBalance: Load-Balanced Long Context Training with Dynamic Sparse Attention

SparseBalance: 基于动态稀疏注意力的负载平衡长上下文训练

Hongtao Xu, Jianchao Tan, Yuxuan Hu, Pengju Lu, Hongyu Wang, Pingwei Sun, Yerui Sun, Yuchen Xie, Xunliang Cai, Mingzhen Li, Weile Jia

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； Meituan（美团） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文提出SparseBalance算法系统协同设计框架，通过动态稀疏调整和稀疏感知批处理策略，解决长上下文训练中的负载不平衡问题，提升模型精度与系统效率。

Knowledge Capsules: Structured Nonparametric Memory Units for LLMs

知识胶囊：用于大语言模型的结构非参数记忆单元

Bin Ju, Shenfeng Weng, Danying Zhou, Rongkai Xu, Kunkai Su

机构 * Zhejiang Angel Medical AI Technology Co., Ltd.（浙江天使医疗人工智能科技有限公司） ； Miti AI Technology Co., Ltd.（米蒂人工智能科技有限公司） ； China-Singapore Belt and Road Joint Laboratory on Translational Infection Biology for Diagnostics and Therapies（中英一带一路联合实验室（转化感染生物学诊断与治疗）） ； State Key Laboratory for Diagnosis and Treatment of Infectious Diseases（传染病诊断与治疗国家重点实验室） ； The First Affiliated Hospital（第一附属医院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出知识胶囊，一种结构化的非参数记忆单元，通过冻结基础模型直接从文档语料构建，采用外部键值注入框架提升外部知识在注意力计算中的参与度，提升长上下文和多跳推理的稳定性和准确性。

Sentipolis: Emotion-Aware Agents for Social Simulations

Sentipolis：用于社交模拟的情感意识代理

Chiyuan Fu, Lyuhao Chen, Yunze Xiao, Weihao Xuan, Carlos Busso, Mona Diab

机构 * Carnegie Mellon University（卡内基梅隆大学） ； The University of Tokyo（东京大学） ； RIKEN AIP（日本研究机构AIP） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 Sentipolis通过整合持续性Pleasure-Arousal-Dominance表示、双速情感动态和情感-记忆耦合，提升社交模拟中情感驱动行为的连续性与沟通能力，其效果依赖于模型容量，且可能影响社交规范的遵守。

Evidence-Augmented Policy Optimization with Reward Co-Evolution for Long-Context Reasoning

增强证据的策略优化用于长上下文推理

Xin Guan, Zijian Li, Shen Huang, Pengjun Xie, Jingren Zhou, Jiuxin Cao

机构 * Tongyi Lab（通义实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出EAPO方法，通过引入组相对证据奖励和适应性奖励-策略共演机制，提升长上下文推理中的证据提取质量，从而增强推理性能。

MegaRAG: Multimodal Knowledge Graph-Based Retrieval Augmented Generation

MegaRAG：基于多模态知识图谱的检索增强生成

Chi-Hsiang Hsiao, Yi-Cheng Wang, Tzung-Sheng Lin, Yi-Ren Yeh, Chu-Song Chen

机构 * Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学计算机科学与信息工程系） ； Department of Mathematics, National Kaohsiung Normal University（高雄师范大学数学系） ； FinTech Center, National Taiwan University（国立台湾大学金融科技中心） ； E.SUN Financial Holding Co., Ltd.（E.SUN财务公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MegaRAG通过引入多模态知识图谱，提升大语言模型在跨模态推理中的内容理解能力，在文本和多模态语料中均优于现有RAG方法。

Comments ACL 2026

MoE-nD: Per-Layer Mixture-of-Experts Routing for Multi-Axis KV Cache Compression

MoE-nD：多轴KV缓存压缩的分层专家路由

Libo Sun, Peixiong He, Po-Wei Harn, Xiao Qin

机构 * Department of Computer Science and Software Engineering, Auburn University, Auburn, AL, USA（计算机科学与软件工程系，阿伯拉罕大学，阿伯丁，阿拉巴马州，美国） ； Department of Information Management, National Central University, Taoyuan, Taiwan（信息管理系，国立中央大学，桃园，台湾） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 本文提出MoE-nD方法，通过分层专家路由实现多轴KV缓存压缩，优化每层的缓存策略以提升模型性能，实验表明其在多个基准测试中表现优异。

Comments 9 pages, 3 figures, 6 tables

LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning

LongAct：利用内在激活模式促进长上下文强化学习

Bowen Ping, Zijun Chen, Tingfeng Hui, Qize Yu, Chenxuan Li, Junchi Yan, Baobao Chang

机构 * Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出LongAct方法，通过利用长上下文推理中的稀疏结构，改进大语言模型的训练，提升长上下文处理能力与泛化性能。

APEX-MEM: Agentic Semi-Structured Memory with Temporal Reasoning for Long-Term Conversational AI

APEX-MEM: 基于时序推理的代理半结构化记忆用于长期对话AI

Pratyay Banerjee, Masud Moshtaghi, Shivashankar Subramanian, Amita Misra, Ankit Chadha

机构 * Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 APEX-MEM通过结合属性图、只追加存储和多工具检索代理，解决大语言模型在长期对话记忆中的可靠性问题，实现88.88%的LOCOMO问答准确率和86.2%的LongMemEval表现。

Comments Accepted to ACL 2026 Mains

AtlasKV: Augmenting LLMs with Billion-Scale Knowledge Graphs in 20GB VRAM

AtlasKV：在20GB VRAM中通过十亿级知识图谱增强大语言模型

Haoyu Huang, Hong Ting Tsang, Jiaxin Bai, Xi Peng, Gong Zhang, Yangqiu Song

机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Theory Lab, Huawei（华为理论实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出AtlasKV，一种通过十亿级知识图谱增强大语言模型的方法，利用子线性时间与内存复杂度实现高效知识整合，无需外部检索模块或长上下文先验。

Comments ICLR 2026

CodaRAG: Connecting the Dots with Associativity Inspired by Complementary Learning

CodaRAG: 通过互补学习启发的关联性连接点

Cheng-Yen Li, Xuanjun Chen, Claire Lin, Wei-Yu Chen, Wenhua Nie, Hung-Yi Lee, Jyh-Shing Roger Jang

机构 * National Taiwan University（国立台湾大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 CodaRAG通过互补学习系统启发，提出了一种将碎片化信息整合为稳定记忆基础，通过多维路径遍历图结构，消除超关联噪声，提升检索和生成精度的框架。

Comments Preprint, Submitted to ACM TIST

MSA: Memory Sparse Attention for Efficient End-to-End Memory Model Scaling to 100M Tokens

MSA：内存稀疏注意力用于高效端到端内存模型扩展至100M标记

Yu Chen, Runkai Chen, Sheng Yi, Xinda Zhao, Xiaohong Li, Jianjin Zhang, Jun Sun, Chuanrui Hu, Yunyun Han, Lidong Bing, Yafeng Deng, Tianqiao Chen

机构 * Evermind ； Shanda Group（盛大集团） ； Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出MSA，一种高效的端到端可训练内存模型框架，通过可扩展稀疏注意力和文档级RoPE实现线性复杂度，支持从16K到100M标记的扩展，同时保持稳定性，且在100M标记推理中实现2xA800 GPU的高效处理。

AR-KAN: Autoregressive-Weight-Enhanced Kolmogorov-Arnold Network for Time Series Forecasting

AR-KAN：用于时间序列预测的自回归权重增强的科莫戈洛夫-阿诺尔德网络

Chen Zeng, Tiehang Xu, Qiao Wang

机构 * School of Information Science and Engineering, Southeast University（东南大学信息科学与工程学院） ； School of Economics and Management, Southeast University（东南大学经济管理学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出AR-KAN，结合自回归模块和KAN，通过理论证明和实验验证，展示了其在时间序列预测中的优越性能。

Improving Sparse Memory Finetuning

改进稀疏记忆微调

Satyam Goyal, Anirudh Kanchi, Garv Shah, Prakhar Gupta

机构 * University of Michigan, Ann Arbor（密歇根大学安娜堡分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出稀疏记忆微调方法，通过局部更新显式内存层参数，解决持续学习中的灾难性遗忘问题，并在消费级硬件上验证了其有效性。

Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding

基于证据的关键帧采样用于基于MLLM的长视频理解

Yiheng Wang, Lichen Zhu, Yueqian Lin, Yudong Liu, Jingyang Zhang, Hai "Helen" Li, Yiran Chen

机构 * Duke University（杜克大学） ； Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于信息瓶颈理论的证据驱动关键帧采样框架，通过最大化选帧与查询的条件互信息，提升长视频理解性能，实验表明在严格token预算下优于现有方法。

Not All News Is Equal: Topic- and Event-Conditional Sentiment from Finetuned LLMs for Aluminum Price Forecasting

并非所有新闻都同等重要：基于微调LLM的专题和事件条件情绪用于铝价预测

Alvaro Paredes Amorin, Andre Python, Christoph Weisser

机构 * International Business School, Zhejiang University（浙江大学国际商学院） ； Center for Data Science, Zhejiang University（浙江大学数据科学中心） ； Centre for Human Genetics, Nuffield Department of Medicine, Oxford University（牛津大学纳菲尔德医学部人类遗传学中心） ； School of Medicine, Zhejiang University（浙江大学医学院） ； Bielefeld School of Business, Hochschule Bielefeld (HSBI) - University of Applied Sciences and Arts（比勒费尔德应用科学大学比勒费尔德商学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了微调LLM在铝价预测中的情绪提取效果，通过整合新闻数据与传统数据，发现LSTM模型在高波动时期表现更优，提升了预测性能和经济价值。

Human-Like Lifelong Memory: A Neuroscience-Grounded Architecture for Infinite Interaction

类人终身记忆：一种基于神经科学的架构，用于无限交互

Diego C. Lerma-Torres

机构 * Universidad de Guanajuato（瓜纳华托大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一种基于神经科学的类人终身记忆架构，通过结合互补学习系统理论、认知行为疗法的信念层级、双进程认知和模糊轨迹理论，解决大语言模型在长期交互和情境敏感检索中的记忆不足问题。

Comments 14 pages, 1 figure. Accepted at the MemAgents Workshop, ICLR 2026

AgentSwing: Adaptive Parallel Context Management Routing for Long-Horizon Web Agents

AgentSwing: 面向长时域网络代理的自适应并行上下文管理路由

Zhaopeng Feng, Liangcai Su, Zhen Zhang, Xinyu Wang, Xiaotian Zhang, Xiaobin Wang, Runnan Fang, Qi Zhang, Baixuan Li, Shihao Cai, Rui Ye, Hui Chen, Jiang Yong, Joey Tianyi Zhou, Chenxiong Qian, Pengjun Xie, Bryan Hooi, Zuozhu Liu, Jingren Zhou

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出AgentSwing框架，通过搜索效率与终端精度两个维度优化长时域网络代理的上下文管理，实验证明其在交互次数更少的情况下性能更优。

Streaming Attention Approximation via Discrepancy Theory

通过偏差理论实现流式注意力近似

Ekaterina Kochetkova, Kshiteej Sheth, Insu Han, Amir Zandieh, Michael Kapralov

机构 * EPFL（苏黎世联邦理工学院） ； KAIST（韩国科学技术院） ； Google Research（谷歌研究） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出BalanceKV算法，基于几何过程选择平衡的Key和Value token，实现流式注意力近似，理论和实验均优于现有方法。

Coding Agents are Effective Long-Context Processors

编码代理是有效的长上下文处理器

Weili Cao, Xunjian Yin, Bhuwan Dhingra, Shuyan Zhou

机构 * Duke University（杜克大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究通过允许编码代理在文件系统中组织文本并使用其原生工具处理长上下文，发现编码代理在长上下文推理、检索增强生成和开放领域问答中表现优异，比现有最佳方法平均提升17.3%。

An experimental study of KV cache reuse strategies in chunk-level caching systems

基于块级缓存系统的KV缓存重用策略实验研究

Samuel Cestola, Tianxiang Xia, Zheng Weiyan, Zheng Pengfei, Diego Didona

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文通过实验探讨块级缓存系统中KV缓存重用策略的局限性与优化方法，提出一种融合现有技术的改进设计以提升准确性。

The $\mathbf{Y}$-Combinator for LLMs: Solving Long-Context Rot with $λ$-Calculus

LLMs的Y-组合子：解决长上下文旋转问题的λ演算

Amartya Roy, Rasul Tutunov, Xiaotong Ji, Matthieu Zimmer, Haitham Bou-Ammar

机构 * The School of Interdisciplinary Research（跨学科研究学院） ； Indian Institute of Technology (IIT) Delhi（印度理工学院德里分校） ； Robert Bosch GmbH, India（德国罗伯特·博世有限公司，印度） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室） ； Huawei Noah’s Ark UCL Centre for Artificial Intelligence（华为诺亚方舟大学伦敦人工智能中心） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出λ-RLM框架，通过类型化的功能运行时替代自由递归代码生成，提升长上下文推理的可靠性与效率。

BenchPreS: A Benchmark for Context-Aware Personalized Preference Selectivity of Persistent-Memory LLMs

BenchPreS：面向持久内存LLM的上下文感知个性化偏好选择性基准

Sangyeon Yoon, Sunkyoung Kim, Hyesoo Hong, Wonje Jeung, Yongil Kim, Wooseok Seo, Heuiyeen Yeen, Albert No

机构 * Yonsei University（延世大学） ； LG AI Research（LG AI研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 BenchPreS评估持久内存LLM在不同通信场景中对用户偏好是否恰当应用，发现前沿模型在上下文敏感应用上存在不足，偏好遵循性强的模型易出现过度应用，推理能力和提示防御无法彻底解决此问题。

Trained Persistent Memory for Frozen Encoder--Decoder LLMs: Six Architectural Methods

为冻结的编码器-解码器语言模型训练持久内存：六种架构方法

Hong Jeong

机构 * Inha University in Tashkent, Uzbekistan（乌兹别克斯坦塔什克ENT的Inha大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了在冻结编码器-解码器语言模型中通过持久内存实现连续潜在空间的可行性，提出六种架构方法，通过训练适配器实现对话学习，验证了容量作为关键设计参数的重要性。

Hit-RAG: Learning to Reason with Long Contexts via Preference Alignment

通过偏好对齐学习长上下文的推理

Junming Liu, Yuqi Li, Shiping Wen, Zhigang Zeng, Tingwen Huang

机构 * Tongji University（同济大学） ； The City University of New York（纽约城市大学） ； University of Technology Sydney（悉尼大学） ； Huazhong University of Science and Technology（华中科技大学） ； Shenzhen University of Advanced Technology（深圳先进技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 Hit-RAG通过多阶段偏好对齐框架解决长上下文推理中的注意力稀释和幻觉问题，提升模型在长上下文场景下的推理能力。

Comments 21 pages, 2 figures, 6 tables

FlashPrefill: Instantaneous Pattern Discovery and Thresholding for Ultra-Fast Long-Context Prefilling

FlashPrefill: ultra-fast long-context prefilling的即时模式发现与阈值处理

Qihang Fan, Huaibo Huang, Zhiying Wu, Juqiu Wang, Bingning Wang, Ran He

机构 * MAIS&NLPR, CASIA（MAIS与NLPR，中国科学院自动化研究所） ； UCAS（中国科学技术大学） ； WeChat, Tencent（微信、腾讯） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 FlashPrefill通过即时模式发现和动态阈值机制，实现超快长上下文prefilling，显著提升效率并保持在不同序列规模下的鲁棒性。

VSPrefill: Vertical-Slash Sparse Attention with Lightweight Indexing for Long-Context Prefilling

VSPrefill：用于长上下文预填充的垂直斜线稀疏注意力与轻量级索引

Chen Guanzhong

机构 * School of Computer Science and Technology（计算机科学与技术学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 VSPrefill通过轻量级索引和垂直斜线结构提升长上下文预填充效率，实现高精度与高速度的平衡。