语言大模型 / LLM

Predicting When Random Low-Dimensional Reparameterizations Train Neural Networks

预测随机低维重参数化何时能训练神经网络

Andrew Cheng, Ali Eslamian, Jie Cheng, Mehdi Zargham, Qiang Cheng

机构 * Tsinghua University（清华大学） ； The University of Manchester（曼彻斯特大学） ； University of Kentucky（肯塔基大学） ； Miami University（迈阿密大学） ； University of Dayton（代顿大学） ； Institute for Biomedical Informatics, University of Kentucky（肯塔基大学生物医学信息学研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对随机低维重参数化训练神经网络的潜在空间规模问题，提出取向分辨二次主公式，引入RaMaN模型，实现内存优化，实验验证其预测与转换跟踪性能优于取向无关近似。

Consolidator: Learning Persistent Routed Memory Across Context Boundaries

Consolidator：学习跨上下文边界的持久路由记忆

Sungwoo Goo, Hwi-yeol Yun, Sangkeun Jung

机构 * College of Pharmacy, Chungnam National University（忠南国立大学药学院） ； Department of Computer Science & Engineering, Chungnam National University（忠南国立大学计算机科学与工程学院） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出Consolidator算子，在冻结骨干与记忆接口的情况下，通过少量可训练参数实现跨上下文边界的持久路由记忆，在两段式模10映射任务中显著提升了更新后映射的召回率。

AgentMemBench: A Systematic Benchmark for Evaluating Long-Term Memory Management Strategies in Conversational AI Agents

AgentMemBench：用于评估对话AI智能体长期记忆管理策略的系统基准

Ahmed Cherif

机构 * Sofrecom（索弗雷科姆） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 该研究构建了AgentMemBench基准，评估五种记忆策略及两款现有系统，发现外部键值存储（EKV）在长程对话记忆任务中表现最优，但存在内存占用成本，同时公开了全部可复现资源。

Comments 22 pages, 3 figures submitted on Neural Computing and Applications

TFGformer: Multivariate Time Series Forecasting via Time-Frequency Graph Learning and Covariate Fusion

TFGformer：基于时频图学习与协变量融合的多变量时间序列预测

Yu Sun, Yuan Chang, Xiaohou Shi, Yan Sun

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 针对异构IoT传感器多变量时间序列预测问题，提出CrossRAG框架，结合SAM、FCC学习与CATF，在7个基准上性能优于仅参数化基线及现有检索增强预测方法。

The Art of Not Forgetting A Local Learning Architecture for Continual Learning

不遗忘的艺术：面向持续学习的局部学习架构

Ashmith Atmuri, Yashaswini Rao Bhogarajula

机构 * Arkadhi Research（阿卡迪研究机构） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出持续学习架构CMP，采用稀疏关系编码、两层竞争记忆与局部更新，在语言建模实验中较参数匹配的Transformer基线表现出更低的灾难性遗忘，为持续学习提供了新方向。

Comments 28 pages, 11 figures

Addressable Recall Compaction for Long Context-Window Control in AI Agents

用于人工智能代理中长上下文窗口控制的可寻址召回压缩

Thang Dang, Yuma Ichikawa, Sakina Fatima, Koichi Shirahata

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长时程语言模型代理上下文窗口超界问题，提出ARC框架，将存档与活动上下文分离，以ID可寻址日志存储工具观察结果，压缩时替换旧观察结果。实验表明该方法能提高信息保留和服务效率。

Comments 20 pages, 2 figures

RSMeM: Knowledge-Enhanced Memory Evolution for Remote Sensing Agents with Systematic Evaluation

RSMeM：用于遥感智能体的知识增强记忆进化及系统评估

Bingxian Wu, Yu Zhang, Zonghao Guo, Tang Liu, Chen Qian, Yuxiang Lu, Xingbo Du, Yanghao Li, Yidan Zhang, Chi Chen, Ling Yao, Maosong Sun

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有遥感智能体问题，提出RSMeM机制，通过分层知识基础和失败感知经验提炼两个组件，迭代吸收领域知识转化为执行经验，经实验验证能提升工具使用性能和答案质量，具有强大知识密度。

Comments Accepted to ACL 2026 Main. Code: https://github.com/AI9Stars/RSMeM

CMI-Mem: Toward Generalizable Long-Term Memory Management via CMI-Augmented Reinforcement Learning

CMI-Mem：通过CMI增强的强化学习实现可泛化的长期内存管理

Yubo Wang, Qiuyu Zhao, Zenghui Sun, Shichao Dong, Jinsong Lan, Xiaoyong Zhu, Haoyang Li, Bo Zheng, Lei Chen

机构 * Alibaba Group（阿里巴巴集团） ； HKUST（香港科技大学） ； PolyU（香港理工大学） ； HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有内存管理器模型局限，提出基于强化学习的CMI-Mem模型，结合下游问答正确性与内在条件互信息CMI作为混合奖励，可评估新输入信息，补充而非取代问答基础，实现可泛化的长期内存管理。

ZifaMem: Structured Memory for Persona, Preference, and Emotional Continuity in AI Companions

ZifaMem：人工智能伴侣中用于人物形象、偏好和情感连续性的结构化记忆

Jingzhe Fang, Guozhi Xu, Yunfan Cui, Xiaochen Yang, Zhangyu Hua

机构 * ZifaCorp（紫发公司） ； University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对人工智能伴侣情感连续性问题，提出结构化记忆系统ZifaMem，通过组织对话形成多种记忆模型。实验表明其能提升情商得分、改善人物形象基础等，多种记忆系统均有改善，且ZifaMem与Mem0在主要偏好端点统计等效，相关工具已开源。

Recursive Harness Self-Improvement

递归工具自我改进

Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Matei Zaharia, Yujin Tang

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 研究在模型-工具协同进化中，通过递归工具自我改进（RHI）优化用户构建工具，以提高执行轨迹质量和智能体性能。RHI将工具表示为提示级规范，经成对反馈迭代改进，在多任务中提升了低推理能力智能体性能，降低推理成本。

Comments This work addresses the first half of the model-harness coevolution loop

xHC: Expanded Hyper-Connections

xHC：扩展超连接

Xiangdong Zhang, Xiaohan Qin, Sunan Zou, Tuo Dai, Xiaoming Shi, Huaijin Wu, Yebin Yang, Zhuo Xia, Shaofeng Zhang, Lin Yao, Yuliang Liu, Yu Cheng, Junchi Yan

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Dots Studio, Xiaohongshu Inc.（小红书公司点点工作室） ； University of Science and Technology of China（中国科学技术大学） ； School of CS, Peking University（北京大学计算机科学学院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对超连接（HC）扩展残差流时的性能瓶颈，提出xHC方法，结合时间特征增强与稀疏残差流架构，实现超越N = 4的有效扩展，在MoE模型上有下游改进，还介绍xHC - Flash减少内存流量，让大N残差流扩展用于语言模型预训练更有效实用。

Comments Technical report. Project page: https://github.com/aHapBean/xHC

MemoHarness: Agent Harnesses That Learn from Experience

MemoHarness：从经验中学习的智能体控制层

Yue Huang, Wenjie Wang, Han Bao, Yuchen Ma, Xiaonan Luo, Yi Nian, Haomin Zhuang, Zheyuan Liu, Yue Zhao, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； LMU Munich（慕尼黑大学） ； University of Southern California（南加州大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对智能体控制层设计影响行为但改进方法窄且多重用单一全局控制层的问题，提出自适应框架MemoHarness，通过分解控制层、存储经验并检索应用，在多基准测试中优于固定控制层，证明执行经验可构建更具适应性的控制层。

MemOps: Benchmarking Lifecycle Memory Operations in Long-Horizon Conversations

MemOps：在长期对话中对生命周期内存操作进行基准测试

Xixuan Hao, Zeyu Zhang, Zehao Lin, Yihang Sun, Ziliang Guo, Xichong Zhang, Yuxuan Liang, Feiyu Xiong, Zhiyu Li

机构 * MemTensor (Shanghai) Technology Co., Ltd.（墨天轮（上海）科技有限公司） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Renmin University of China（中国人民大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长期对话中内存操作评估，引入MemOps基准测试，将对话内存视为操作生命周期，通过可控管道嵌入操作并评估，揭示了当前系统内存操作的问题，推动评估从答案评分转向操作级诊断。

Memory-Conditioned Tool Calling for Camera-First Visual Agents

用于相机优先视觉智能体的内存条件工具调用

Xiaofan Wu, Xi Zeng, Miaoxia Chen, Peishan Chen, Shuyan Li, Jiyun Yao, Hanyong Zhong, Jiahao Zhu

机构 * Chance AI（机遇人工智能公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究在相机优先视觉智能体中个人视觉记忆对工具选择等的影响，采用三层视觉记忆调节大语言模型工具调用循环，通过对800张图像与合成内存块实验发现，移除三层内存块会降低工具查询相关性和端到端效用。

Comments 13 pages, 3 figures, 4 tables. Equal contribution: Xiaofan Wu, Xi Zeng. Corresponding author: xiaofan@chance.vision

Surprise as a Signal for Plasticity and Metacognition

惊喜作为可塑性和元认知的信号

Louis Mouchon

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出预测误差信号可作为可塑性门控和元认知基础，在冻结编码器上实现持续学习与视觉语言模型自适应，实验证明其有效性。

Revocable Learned State via Process Sidecars

通过过程侧边栏实现可撤销的学习记忆

John Sweeney

机构 * Sideplane AI 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出过程侧边栏方法，通过两系数编辑族修正安全训练后的记忆方向，实现记忆撤销，理论证明其二阶精度优于任务算术编辑。

Comments 23 pages, 2 figures, 6 tables

Structure Before Collapse: Transient semantic geometry in next-token prediction

坍塌前的结构：下一词预测中的瞬态语义几何

Yize Zhao, Isabel Papadimitriou, Christos Thrampoulidis

机构 * The University of British Columbia（不列颠哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究下一词预测语言模型在独热标签训练下如何学习语义结构，发现早期训练出现语义聚类但最终会过渡到对称态，通过Gram矩阵分析提出改进模型。

Memory Makes the Difference: Evaluating How Different Memory Roles Shape Conversational Agents

记忆决定差异：评估不同记忆角色如何塑造对话代理

Yuxin Wang, Paul Thomas, Zhiwei Yu, Yuan Gao, Saeed Hassanpour, Soroush Vosoughi, Robert Sim, Nick Craswell

机构 * Dartmouth College（达特茅斯学院） ； Microsoft（微软公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出对话记忆细粒度分类法，通过用户中心评估框架，揭示不同类型记忆（如澄清记忆、无关记忆）对RAG对话系统响应准确性、个性化及主题相关性的差异化影响。

Towards Version-aware Operations and Transaction Memories for Multi-layer MeMo

面向多层MeMo的版本感知操作与事务记忆

Peiran Li

机构 * Freie Universität Berlin（柏林自由大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出版本感知操作层，将替换、回滚等高级操作编译为MeMo原生原语调用，通过版本CMM和事务CMM支持知识更新，减少重训练需求。

Comments Accepted by MeMo Workshop on Mechanistic Interpretability & Neuro-symbolic Approaches by-design, Rome (Italy), 24/6/2026

Energy-Based Transformers as Predictors of Reading Difficulty

基于能量的Transformer作为阅读难度预测器

Jakub Dotlacil, Ece Takmaz

机构 * Utrecht University（乌得勒支大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究提出基于能量的Transformer模型中的能量度量作为阅读时间预测器，在三个语料库上显著优于惊奇度，并在关系从句处理中捕捉主/宾语不对称，可能统一多个互补度量。

SpotAttention: Plug-In Block-Sparse Routing for Pretrained Long-Context Transformers

SpotAttention: 面向预训练长上下文Transformer的即插即用块稀疏路由

Huzama Ahmad, Se-Young Yun

机构 * KAIST（韩国科学技术院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出SpotAttention，一种轻量级选择器，通过KL蒸馏学习估计注意力分布，实现块稀疏路由，在长上下文任务中匹配密集注意力精度并显著加速解码。

Comments 24 pages, 10 figures, 9 tables

Learning the ARTS of Search for Automated Discovery

学习搜索的艺术以实现自动发现

Gurusha Juneja, Arnav Kumar Jain, Deepak Nathani, William Yang Wang, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Université de Montréal and Mila- Quebec AI Institute（蒙特利尔大学和Mila-魁北克人工智能研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出ARTS方法，利用推理语言模型在假设与实验空间中迭代搜索，通过测试时训练解决上下文长度问题，在22个任务上优于现有算法，相对提升超15.3%。

Collaborative Human-Agent Protocol (CHAP)

协作式人机协议 (CHAP)

Arsalan Shahid, Gordon Suttie, Philip Black

机构 * Brightbeam AI 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 提出CHAP协议，通过结构化事件记录（差异、理由、哈希）和可组合配置文件，解决多人类多智能体协作中人类判断信号丢失的问题。

Dual Dimensionality for Local and Global Attention

局部与全局注意力的双重维度

Zhiyuan Wang, Xuan Luo, Sirui Zeng, Xifeng Yan

机构 * UC Santa Barbara（加州大学圣塔芭芭拉分校） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 提出距离自适应表示（DAR），对局部上下文保留全维度表示，对远距离token使用低维表示，在保持性能的同时减少KV缓存。

Long-Context Modeling via GSS-Transformer Hybrid Architecture with Learnable Mixing

基于可学习混合的GSS-Transformer混合架构的长上下文建模

Kuzey Torlak, Hüseyin Arda Arslan, Anıl Dervişoğlu, Beyza Nur Deniz, Onur Boyar

机构 * Kadıköy Anadolu High School（卡德柯伊安纳多卢高中） ； Politecnico di Torino（都灵理工大学） ； Istanbul Technical University（伊斯坦布尔理工大学） ； Boğaziçi University（博阿齐奇大学） ； IBM Research - Tokyo（IBM 东京研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出并行混合架构PHA，通过可学习混合机制融合GSS、GQA和FFN，在长上下文建模中实现Transformer级困惑度与更高效率。

Comments 16 pages, 9 tables, 4 figures

Blurry Window Attention

模糊窗口注意力

Axel Laborieux, Christos Sourmpis, Juan Gabriel Kostelec, Qinghai Guo

机构 * Huawei, Zurich, Switzerland（华为技术有限公司（苏黎世）） ； Huawei Advanced Computing and Storage Lab, Shenzhen, China（华为先进计算与存储实验室（深圳）） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出模糊窗口注意力（BLA），一种基于Dirichlet核插值重构模糊KV历史的有界记忆控制方法，在合成任务中状态效率比滑动窗口注意力高8倍，且随状态增大性能提升。

Tensorizing Engram: Sharing Latents Across N-Gram Embeddings is Beneficial in LLMs

张量化Engram：在N-gram嵌入中共享潜在变量对大型语言模型有益

Wuyang Zhou, Yuxuan Gu, Giorgos Iacovides, Yuning Qiu, Qibin Zhao, Danilo Mandic

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出张量化Engram（TN-gram），通过CP分解共享因子压缩n-gram嵌入，减少参数并避免哈希冲突，在多个任务上匹配或超越现有方法。

EASE-TTT: Evidence-Aligned Selective Test-Time Training for Long-Context Question Answering

EASE-TTT: 面向长上下文问答的基于证据对齐的选择性测试时训练

Xiaopeng Yuan, Zebin Wang, Suwen Wang, Zongxin Yang, Haohan Wang, Yushun Dong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Harvard University（哈佛大学） ； Brion, ASML US LP ； Florida State University（佛罗里达州立大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出EASE-TTT框架，通过将检索到的证据块转化为软注意力监督目标，指导查询侧参数适应，从而在保留完整上下文的情况下提升小模型的长上下文问答性能。

Comments 13 pages, 4 figures, 3 tables

Learning how to Forget: Fine-tuning for Long-Context Sparse Attention

学习如何遗忘：面向长上下文稀疏注意力的微调

Matthias Seeger, Zeyu Zhang, Vihang Patil, Konstantinos Benidis, Sebastian Schelter

机构 * Amazon Web Services（亚马逊网络服务） ； University of Amsterdam（阿姆斯特丹大学） ； Amazon（亚马逊） ； Technical University Berlin（柏林工业大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 本文提出一种适配任意KV缓存策略的稀疏注意力模型微调方法，仅需中等硬件预算，性能优于精确注意力训练模型，还提供H2O稀疏注意力高效实现及开源库KeysAndValues支持。

Comments 39 pages, no figures

StreamSoccer: Event-Driven Memory for Streaming Soccer Commentary

StreamSoccer：用于流式足球解说的事件驱动记忆

Chenxi Shao, Bozhong Wang, Jiaxin Huang, Zhao Liu, Sunwei Zhu, Tianxin Hang, Gaoqi He, Yang Li, Changbo Wang

机构 * Migu Video Technology Co., Ltd.（咪咕视讯科技有限公司） ； South China University of Technology（华南理工大学） ； East China Normal University（华东师范大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 本研究提出StreamSoccer，一种用于流式足球解说的事件驱动系统，通过建模事件生命周期实现多时间范围解说，在数据集评估中取得优异性能且计算开销可控。