语言大模型 / LLM

Cache What Lasts: Token Retention for Memory-Bounded KV Cache in LLMs

缓存什么更持久：用于LLMs中内存受限KV缓存的令牌保留

Ngoc Bui, Shubham Sharma, Simran Lamba, Saumitra Mishra, Rex Ying

机构 * Department of Computer Science, Yale University（耶鲁大学计算机科学系） ； JPMorganChase AI Research（摩根大通人工智能研究） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 TRIM-KV通过学习令牌的内在重要性实现内存受限的KV缓存优化，有效提升LLM在低内存环境下的推理性能。

SideQuest: Model-Driven KV Cache Management for Long-Horizon Agentic Reasoning

SideQuest: 为长时间范围代理推理的模型驱动KV缓存管理

Sanjay Kariyappa, G. Edward Suh

机构 * NVIDIA 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 SideQuest通过利用大型推理模型自身进行KV缓存压缩，有效减少代理任务中的内存使用，同时保持较高的准确性。

Memory Caching: RNNs with Growing Memory

记忆缓存：具有增长记忆的RNNs

Ali Behrouz, Zeman Li, Yuan Deng, Peilin Zhong, Meisam Razaviyayn, Vahab Mirrokni

机构 * Google（谷歌） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Memory Caching技术，通过缓存RNN的记忆状态以增强其记忆容量，实现与Transformer的平衡性能，在长上下文任务中表现优异。

Fast-weight Product Key Memory

快速权重产品键内存

Tianyu Zhao, Llion Jones

机构 * Sakana AI 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 FwPKM是一种稀疏快速权重内存层，通过稀疏梯度下降实现高效存储与检索，有效降低困惑度并提升长上下文处理能力。

FAMOSE: A ReAct Approach to Automated Feature Discovery

FAMOSE：一种用于自动化特征发现的ReAct方法

Keith Burghardt, Jienan Liu, Sadman Sakib, Yuning Hao, Bo Li

机构 * Amazon.com, Inc.（亚马逊公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 FAMOSE通过ReAct方法实现自动化特征发现，显著提升分类和回归任务的性能，展示了AI代理在创新解决方案中的有效性。

Comments 23 pages, 6 figures

Controlled Self-Evolution for Algorithmic Code Optimization

算法代码优化的受控自演进

Tu Hu, Ronghao Chen, Shuo Zhang, Jianghao Yin, Mou Xiao Feng, Jingping Liu, Shaolei Zhang, Wenqi Jiang, Yuqi Fang, Sen Hu, Huacan Wang, Yi Xu

机构 * NJU（南京大学） ； PKU（北京大学） ； Midea-AIRC（美的人工智能研究院） ； ECNU（华东师范大学） ； SYSU（南方科技大学） ； RUC（中国人民大学） ； QuantaAlpha（量子Alpha） ； QuantML（量子机器学习） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 受控自演进通过改进初始化、反馈引导和经验记忆，提升算法代码优化的效率和效果。

Comments 27 pages

Spectra: Rethinking Optimizers for LLMs Under Spectral Anisotropy

Spectra: 重新思考在谱各向异性下大语言模型的优化器

Zhendong Huang, Hengjie Cao, Fang Dong, Ruijun Huang, Mengyi Chen, Yifeng Yang, Xin Zhang, Anrui Chen, Mingzhi Dong, Yujiang Wang, Jinlong Hou, Qin Lv, Robert P. Dick, Yuan Cheng, Fan Yang, Tun Lu, Li Shang

机构 * Fudan University, Shanghai, China（复旦大学） ； University of Bath, Bath, United Kingdom（巴斯大学） ； Oxford Suzhou Centre for Advanced Research, Suzhou, China（牛津苏格兰先进研究中心） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） ； Department of Computer Science, University of Colorado Boulder, Colorado, USA（计算机科学系，科罗拉多大学博尔德分校） ； Department of Electrical Engineering and Computer Science, University of Michigan（电气工程与计算机科学系，密歇根大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 Spectra通过抑制主导低秩尖峰子空间并减少优化器状态内存，提升了大语言模型的训练效率和下游准确率。

Softmax Linear Attention: Reclaiming Global Competition

Mingwei Xu, Xuan Lin, Xinnan Guo, Wanqing Xu, Wanyun Cui

机构 * MoE Key Laboratory of Interdisciplinary Research of Computation and Economics（跨学科计算与经济研究莫艾实验室） ； Shanghai University of Finance and Economics（上海财经大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

Comments 11 pages,4 figures

IterResearch: Rethinking Long-Horizon Agents with Interaction Scaling

IterResearch: 重新思考长视界智能体与交互扩展

Guoxin Chen, Zile Qiao, Xuanzhong Chen, Donglei Yu, Haotian Xu, Wayne Xin Zhao, Ruihua Song, Wenbiao Yin, Huifeng Yin, Liwen Zhang, Kuan Li, Minpeng Liao, Yong Jiang, Pengjun Xie, Fei Huang, Jingren Zhou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； Tongyi Lab, Alibaba Group（阿里集团通义实验室） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.CL、cs.AI

AI总结 IterResearch通过交互扩展范式提升长视界推理能力，实现高效探索与稳定训练，显著提升性能并缩小与前沿系统的差距。

Comments Camera Ready version for ICLR 2026. https://github.com/Chen-GX/IterResearch

From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs

从单个token到单个block：一种为扩散语言模型设计的原理性适应路径

Yuchuan Tian, Yuchen Liang, Shuo Zhang, Yingte Shu, Guangwen Yang, Wei He, Sibo Fang, Tianyu Guo, Kai Han, Chao Xu, Hanting Chen, Xinghao Chen, Yunhe Wang

机构 * Peking University（北京大学） ； Huawei Technologies（华为技术） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种原理性适应路径，将自回归模型适配到扩散语言模型，以提升其长上下文生成能力，并在7B类模型中取得最佳性能。

Comments 14 pages, 5 figures

VideoNSA: Native Sparse Attention Scales Video Understanding

VideoNSA：原生稀疏注意力扩展视频理解

Enxin Song, Wenhao Chai, Shusheng Yang, Ethan Armand, Xiaojun Shan, Haiyang Xu, Jianwen Xie, Zhuowen Tu

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 VideoNSA通过端到端训练提升视频理解，结合原生稀疏注意力实现长视频和时间推理的性能优化

Comments ICLR 2026

Unsupervised Text Segmentation via Kernel Change-Point Detection on Sentence Embeddings

基于句子嵌入的核变化点检测实现无监督文本分段

Mumin Jia, Jairo Diaz-Rodriguez

机构 * Department of Mathematics and Statistics, York University, Toronto, Canada（数学与统计学系，约克大学，多伦多，加拿大） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 基于句子嵌入的核变化点检测实现无监督文本分段，结合理论保证与实际效果，提升文本分割性能。

Comments arXiv admin note: substantial text overlap with arXiv:2510.03437. substantial text overlap with arXiv:2510.03437. substantial text overlap with arXiv:2510.03437. substantial text overlap with arXiv:2510.03437

VibeTensor: System Software for Deep Learning, Fully Generated by AI Agents

VibeTensor：由AI代理完全生成的深度学习系统软件

Bing Xu, Terry Chen, Fengzhe Zhou, Tianqi Chen, Yangqing Jia, Vinod Grover, Haicheng Wu, Wei Liu, Craig Wittenbrink, Wen-mei Hwu, Roger Bringmann, Ming-Yu Liu, Luis Ceze, Michael Lightstone, Humphrey Shi

机构 * NVIDIA 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 VibeTensor是首个由AI代理完全生成的深度学习系统软件，实现了PyTorch风格的张量库及CUDA内存管理，展示了AI辅助软件工程的里程碑进展。

Comments Open-source: https://github.com/NVLabs/vibetensor

AgentSM: Semantic Memory for Agentic Text-to-SQL

AgentSM: 语义记忆用于代理文本到SQL

Asim Biswal, Chuan Lei, Xiao Qin, Aodong Li, Balakrishnan Narayanaswamy, Tim Kraska

机构 * Amazon Web Services（亚马逊网络服务） ； University of California, Berkeley（加州大学伯克利分校） ； Oracle Corporation（甲骨文公司） ； Snowflake Inc.（Snowflake公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 AgentSM通过构建可解释的语义记忆，提升文本到SQL任务的效率和准确性，减少令牌使用和轨迹长度，达到更高执行精度。

TableCache: Primary Foreign Key Guided KV Cache Precomputation for Low Latency Text-to-SQL

TableCache: 基于主外键关系的KV缓存预计算用于低延迟的文本到SQL

Jinbo Su, Yuxuan Hu, Cuiping Li, Hong Chen, Jia Li, Lintao Ma, Jing Zhang

机构 * School of Information, Renmin University of China（中国人民大学信息学院） ； Key Laboratory of Data Engineering and Knowledge Engineering, Beijing, China（数据工程与知识工程重点实验室） ； Engineering Research Center of Database and Business Intelligence, Beijing, China（数据库与商业智能工程研究中心） ； Ant Group, Hangzhou, China（蚂蚁集团） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 TableCache通过预计算主外键关系的KV缓存，提高文本到SQL任务的低延迟性能。

Modeling Language as a Sequence of Thoughts

将语言建模为思想序列

Nasim Borazjanizadeh, James McClelland

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 TG模型通过递归变换器在token和句子级抽象建模语言，提升数据和参数效率，减少关系方向泛化错误。

OS-Symphony: A Holistic Framework for Robust and Generalist Computer-Using Agent

OS-Symphony: 一个用于鲁棒且通用计算机使用代理的综合框架

Bowen Yang, Kaiming Jin, Zhenyu Wu, Zhaoyang Liu, Qiushi Sun, Zehao Li, JingJing Xie, Zhoumianze Liu, Fangzhi Xu, Kanzhi Cheng, Qingyun Li, Yian Wang, Yu Qiao, Zun Wang, Zichen Ding

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； The University of Hong Kong（香港大学） ； CUHK MMLab（香港中文大学MMLab） ； Xi’an Jiaotong University（西安交通大学） ； Nanjing University（南京大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 OS-Symphony通过反思记忆代理和多功能工具代理，提升计算机使用代理在长周期任务和新领域中的鲁棒性和泛化能力。

Comments 31 pages, 11 figures, 12 tables

Nested Learning: The Illusion of Deep Learning Architectures

嵌套学习：深度学习架构的幻觉

Ali Behrouz, Meisam Razaviyayn, Peilin Zhong, Vahab Mirrokni

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出嵌套学习范式，通过多级优化问题设计更高效的学习算法，展示持续学习模块Hope在语言建模等任务中的表现。

Comments A version of this work is published at Neural Information Processing Systems (NeurIPS) 2025

R-Debater: Retrieval-Augmented Debate Generation through Argumentative Memory

R-Debater：通过论证记忆的检索增强辩论生成

Maoyuan Li, Zhongsheng Wang, Haoyuan Li, Jiamou Liu

机构 * Wuhan College of Communication（武汉通信学院） ； Wuhan College of Communication University of Auckland（武汉通信学院奥克兰大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 R-Debater通过整合检索和结构化规划，实现了更忠实、一致且连贯的多轮辩论生成。

Comments Accepteed by AAMAS 2026 full paper

Lattice: Learning to Efficiently Compress the Memory

Lattice: 学习高效压缩内存

Mahdi Karami, Razvan Pascanu, Vahab Mirrokni

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 Lattice通过正交更新机制，高效压缩内存，提升语言建模和联想回忆任务的性能与内存效率。

AI Meets Brain: Memory Systems from Cognitive Neuroscience to Autonomous Agents

AI 与大脑：从认知神经科学到自主代理的记忆系统

Jiafeng Liang, Hao Li, Chang Li, Jiaqi Zhou, Shixin Jiang, Zekun Wang, Changkai Ji, Zhihao Zhu, Runxuan Liu, Tao Ren, Jinlan Fu, See-Kiong Ng, Xia Liang, Ming Liu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； Peking University（北京大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文从认知神经科学到自主代理，系统综合了记忆的跨学科知识，探讨了记忆的定义、功能、分类、存储机制及安全问题，并展望了多模态记忆系统和技能获取的未来研究方向。

Comments 57 pages, 5 figures

Latent learning: episodic memory complements parametric learning by enabling flexible reuse of experiences

潜在学习：情景记忆通过使经验的灵活重用来补充参数学习

Andrew Kyle Lampinen, Martin Engelcke, Yuxuan Li, Arslan Chaudhry, James L. McClelland

机构 * Google DeepMind（谷歌DeepMind） ； Department of Psychology, Stanford University（斯坦福大学心理学系） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出情景记忆可通过灵活重用经验来补充参数学习，提升泛化能力。

Scale-invariant Attention

尺度不变注意力

Ben Anson, Xi Wang, Laurence Aitchison

机构 * School of Mathematics University of Bristol（布里斯托大学数学学院） ； Department of Computer Science Johns Hopkins University（约翰霍普金斯大学计算机科学系） ； School of Computer Science University of Bristol（布里斯托大学计算机科学学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种尺度不变的注意力机制，通过简单的位置依赖变换实现总注意力和稀疏性的尺度不变性，提升了长上下文推理和检索性能。

Comments Accepted at Neurips 2025

Mamba Modulation: On the Length Generalization of Mamba

Mamba 调制：关于 Mamba 的长度泛化

Peng Lu, Jerry Huang, Qiuhao Zeng, Xinyu Wang, Boxing Chen, Philippe Langlais, Yufei Cui

机构 * Université de Montréal（蒙特利尔大学） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； Western University（温莎大学） ； McGill University（麦吉尔大学） ； Noah’s Ark Lab（诺亚实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 Mamba 调制通过调整状态转移矩阵的谱，提升长上下文泛化能力，解决其对上下文长度扩展的敏感性问题。

Comments Accepted to The Thirty-Ninth Annual Conference on Neural Information Processing Systems (NeurIPS) 2025. First two authors contributed equally

KV Cache Recycling to Expand Usable Context Capacity in Low Parameter LLMs

KV缓存回收以扩展低参数LLM的可用上下文容量

Prashant Pandey

机构 * Department of Computer Science \& Engineering, Invertis University 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 通过KV缓存回收技术，在低参数LLM中扩展可用上下文容量，提升推理速度且不影响输出语义。

The Expressive Capacity of State Space Models: A Formal Language Perspective

状态空间模型的表达能力：从形式语言的角度

Yash Sarrof, Yana Veitsman, Michael Hahn

机构 * Saarland University（萨尔兰大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 从形式语言角度研究状态空间模型的表达能力，发现其在特定任务中优于Transformer，并指出当前SSM设计限制其表现。

Comments Published in NeurIPS 2024

Journal ref Advances in Neural Information Processing Systems 37 (2024)

Progressive Code Integration for Abstractive Bug Report Summarization

渐进式代码集成用于抽象式bug报告摘要

Shaira Sadia Karim, Abrar Mahmud Rahim, Lamia Alam, Ishmam Tashdeed, Lutfun Nahar Lota, Md. Abu Raihan M. Kamal, Md. Azam Hossain

机构 * Islamic University of Technology（伊斯兰技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出渐进式代码集成框架，通过整合长代码片段和文本内容，提升基于LLM的bug报告摘要效果，优于现有方法。

Unsupervised Memorability Modeling from Tip-of-the-Tongue Retrieval Queries

从舌尖上的遗忘检索查询中无监督建模可记忆性

Sree Bhattacharyya, Yaman Kumar Singla, Sudhir Yarram, Somesh Kumar Singh, Harini S, James Z. Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Adobe Media and Data Science Research（Adobe媒体与数据科学研究） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出首个大规模无监督数据集，通过舌尖上的遗忘检索查询建模视觉内容的可记忆性，并展示了其在回忆生成和ToT检索任务中的优越表现。

Comments Accepted at WACV 2026

Efficient On-Device Agents via Adaptive Context Management

通过自适应上下文管理实现高效的设备端代理

Sanidhya Vijayvargiya, Rahul Lokesh

机构 * Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学） ； Samsung Research America（三星美国研究） 纠错

专题命中 长上下文与记忆 ：SLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种通过自适应上下文管理实现高效设备端代理的框架，通过动态内存系统、极简序列化格式和即时模式传递机制，显著压缩上下文并提升性能。

Comments 27 pages, 5 figures

Scaffold Diffusion: Sparse Multi-Category Voxel Structure Generation with Discrete Diffusion

Scaffold Diffusion: 通过离散扩散模型生成稀疏多类体素结构

Justin Jung

机构 * Biohub Redwood City, USA（Biohub 红木城，美国） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 Scaffold Diffusion通过离散扩散模型生成稀疏多类3D体素结构，克服稀疏性带来的挑战，生成逼真且连贯的结构。

Comments Accepted at NeurIPS 2025 Structured Probabilistic Inference & Generative Modeling Workshop