语言大模型 / LLM

Critical attention scaling in long-context transformers

长上下文Transformer中的关键注意力缩放

Shi Chen, Zhengjiang Lin, Yury Polyanskiy, Philippe Rigollet

机构 * Department of Mathematics, Massachusetts Institute of Technology（数学系，麻省理工学院） ； Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology（电气工程与计算机科学系，麻省理工学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对长上下文Transformer的注意力秩崩溃问题，通过分析简化模型确定关键缩放因子$\beta_n \backsim \text{log} n$，为YaRN和Qwen的注意力缩放提供理论依据，阐明对数缩放可维持长上下文下的稀疏内容自适应注意力。

Comments 31 pages, 2 figures

Journal ref Proceedings of the Fourteenth International Conference on Learning Representations (ICLR 2026), 2026

PatchWorld: Gradient-Free Optimization of Executable World Models for Agent Environments

PatchWorld：可执行世界模型的免梯度优化

Jiaxin Bai, Yue Guo, Yifei Dong, Jiaxuan Xiong, Tianshi Zheng, Yixia Li, Tianqing Fang, Yufei Li, Yisen Gao, Haoyu Huang, Zhongwei Xie, Hong Ting Tsang, Zihao Wang, Lihui Liu, Jeff Z. Pan, Yangqiu Song

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Independent Researcher（独立研究员） ； HKUST（香港科技大学） ； Beijing Institute of Technology（北京理工大学） ； Southern University of Science and Technology（南方科技大学） ； Wayne State University（韦恩州立大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出 PatchWorld 框架，通过反例引导的代码修复将离线轨迹转化为可执行的 Python 世界模型，实现无需梯度优化的符号信念状态程序，在 AgentGym 环境中达到 76.4% 的宏观成功率。

NVIDIA-labs OO Agents: Native Python Object-Oriented Agents

NVIDIA实验室的OO智能体：原生Python面向对象智能体

Paul Furgale, Severin Klingler, James Nolan, Matt Staats, Gaia Di Lorenzo, Elisa Martinez Abad, Christian Schüller, Razvan Dinu, Alessio Devoto, Pascal Berard, Gal Kaplun, Elad Sarafian, Riccardo Roveri, Leon Derczynski, Ricardo Silveira Cabral

机构 * NVIDIA-labs（英伟达实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究提出NOOA这一Python框架构建可靠AI智能体，采用智能体即Python对象的编程模型，结合六个面向模型的理念，证明当前模型能有效使用此接口并在相关测试中表现良好，为智能体开发提供新途径。

LinearARD: Linear-Memory Attention Distillation for RoPE Restoration

线性记忆注意力蒸馏：用于RoPE修复的线性内存注意力蒸馏

Ning Yang, Hengyu Zhong, Wentao Wang, Baoliang Tian, Haijun Zhang, Jun Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Southwest University（西南大学） ； Dalian University of Technology（大连理工大学） ； University of Science and Technology Beijing（北京科技大学） ； University College London（伦敦大学学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LinearARD，通过冻结的原生RoPE教师模型，利用注意力结构一致性恢复RoPE缩放的学生模型，以线性内存核克服二次内存瓶颈，提升长上下文性能。

SALT: Salience-Aware Lexical Trie for Long-Context Compression

SALT：用于长上下文压缩的显著性感知词汇字典树

Oteo Mamo, Hyunjin Yi, Joydhriti Choudhury, Shangqian Gao, Weikuan Yu

机构 * Florida State University（佛罗里达州立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对大语言模型处理长提示时的计算和内存瓶颈，提出SALT框架，将句子关键词组织成按句子频率排序的字典树，通过多锚点检索等方式保留文档主题，降低长上下文提示的预填充成本，还可与KV缓存方法结合。

RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

RoVE: 旋转值嵌入注意力实现相对位置相关的值路径

Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

机构 * AMLab University of Amsterdam（阿姆斯特丹大学AMLab） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出RoVE方法，通过同时旋转键和值使值对位置敏感，将RoPE注意力转化为注意力卷积，在少样本学习、分布外困惑度和长上下文检索上优于RoPE。

RoboTTT: Context Scaling for Robot Policies

RoboTTT：机器人策略的上下文扩展

Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan

机构 * NVIDIA（英伟达公司） ； Stanford University（斯坦福大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 研究提出RoboTTT，将测试时训练集成到机器人基础模型，通过序列动作强制和截断反向传播扩展视觉运动上下文到8K时间步长，解锁新能力，提升多任务性能，证明上下文长度是机器人基础模型新扩展轴。

Comments Project website: http://research.nvidia.com/labs/gear/robottt/

CatalogAgent: A Supervisor-mediated Self-Learning System Enabling Context Engineering for GenAI Models

CatalogAgent：一种由监督者介导的自学习系统，实现生成式人工智能模型的上下文工程

Zhu Cheng, Zhenming Wang, Yu, Tang, Dan Liu, Bryan Zhang, Athanasios N. Nikolakopoulos, Pranav Souri Itabada, Jing Zhang, Chih-Chi Chou, Peng Gao, Fatemeh Mansoori, Bharat Bojja, Sarath Chander, Sameer Thombare, Umit Batur, Tarik Arici

机构 * Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 研究电商产品目录结构化属性缺失值预测问题，提出CatalogAgent系统，通过监督者调解冲突、记忆库和汇总器实现自学习，经上下文工程将监督者能力转移到生成器和评估器，有效提升其性能。

Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Retrieval, Reasoning, and Hallucination in Long-Context LLMs

并非所有线索都能被发现：事实分布和“不要编造”提示如何影响长上下文语言模型中的检索、推理和幻觉

Amirali Ebrahimzadeh, Seyyed M. Salili

机构 * Department of Electrical Engineering & Computer Science University of Michigan（电气工程与计算机科学系 密歇根大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中事实分布和反幻觉提示对检索、推理及幻觉的影响，通过扩展基准评估多个模型，识别出分布崩溃和安全代价两种失败模式，发现许多失败源于无效上下文利用，强调特定模型稳健性和上下文管理的重要性。

Comments 16 pages, 8 figures, 2 tables. Accepted at the FAGEN Workshop @ ICML 2026

PhysMRV: Physical Memory Retrieval and Verification for Physics Plausibility Reasoning

PhysMRV：用于物理合理性推理的物理内存检索与验证

Wenyuan Wang, Lianyu Hu, Hao Wang, Yang Liu

专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 针对视频语言模型物理合理性推理不可靠的问题，提出免训练的PhysMRV框架，通过将训练视频转化为分层内存库，利用结构化物理证据指导VLM验证物理合理性，在多基准测试中取得一致改进，有效增强该推理能力。

Self-Guided Test-Time Training for Long-Context LLMs

长上下文语言模型的自引导测试时训练

Xinyu Zhu, Zhe Xu, Xiaohan Wei, Yunchen Pu, Fei Tian, Chonglin Sun, Kaushik Rangadurai, Hua Zhi, Frank Shyu, Sandeep Pandey, Luke Simon, Yu Meng, Xi Liu

机构 * Meta AI ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对长上下文语言模型处理中单纯扩窗口不能有效利用长输入、准确率易降的问题，提出自引导测试时训练（S-TTT）方法，通过模型识别证据跨度并仅对选定跨度训练，在两个基准上提升了模型准确率。

REAL: REtrieval-reAsoning and Logic-constructed Attention Behaviors for Long-Context KV Cache Compression

REAL：用于长上下文KV缓存压缩的检索推理和逻辑构建注意力行为

Mengjie Li, Yuan Feng, Xike Xie, William J. Song

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型KV缓存问题，受混淆矩阵启发提出REAL方法，通过注意力行为矩阵全面分析注意力头行为，最大化信噪比，经评估在多模型和基准测试中性能显著，为长上下文建模方法转变提供新思路。

Comments Accepted at ACL 2026 Main Conference

Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

记住重要时刻：用于长期任务智能体的主动记忆智能体

Yifan Wu, Lizhu Zhang, Yuhang Zhou, Mingyi Wang, Bo Peng, Serena Li, Xiangjun Fan, Zhuokai Zhao

机构 * Meta AI 纠错

专题命中 长上下文与记忆 ：SFT(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 研究长期任务中智能体决策时行为状态衰减问题，提出用主动记忆智能体并行干预，更新记忆库并决定是否提醒。该方法在多个基准测试中提升了智能体性能，消融实验证明其优势，还训练模型实现部分迁移。

From Application-Layer Simulation to Native Meta-Architecture: Structural Tension as an Endogenous Driver for Heterogeneous AI Evolution

从应用层模拟到原生元架构：结构张力作为异构人工智能进化的内生驱动因素

Heting Mao

机构 * Shanghai Lixin University of Accounting and Finance（上海立信会计金融大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对大语言模型无状态需应用层模拟的问题，提出理论框架，引入结构张力、离线循环回路、推理时可塑性三种机制，使模型实例能演化出不同拓扑结构，构成异构智能生态，重新定位治理为架构智能主要标准。

Comments 17 pages, 1 equation, no figures

Learning User-Aware Recall: Personalized Retrieval in Long-Term Conversational Memory

学习用户感知的回忆：长期对话记忆中的个性化检索

ZhiShu Jiang, Haibo Liu, Xin Shen, Guanqiang QI, Chenxi Miao, Weikang Li, Liwei Qian, Xin Pei, Jizhou Huang

机构 * Baidu Inc.（百度公司） ； The University of Queensland（昆士兰大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出PPRO框架，通过用户画像引导的排序和基于GRPO的查询重写，实现个性化记忆检索，在LoCoMo和LongMemEval-S上取得一致提升。

Situation Perception: A Necessary Primitive to Artificial Superintelligence

情境感知：通向超级人工智能的必要基础

Ziqin Yuan, Jaymari Chua

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出情境感知（situation perception）是通向超级人工智能的关键缺失能力，包括抽象预测、长期压缩记忆和目标驱动的主动学习，并分析了当前大语言模型的不足及相应测试方法。

Mandol: An Agglomerative Agent Memory System for Long-Term Conversations

Mandol：一种用于长期对话的聚合式智能体记忆系统

Yuhan Zhang, Zhiyuan Guo, Ziheng Zeng, Wei Wang, Wentao Wu, Lijie Xu

机构 * Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； Microsoft Research（微软研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出Mandol聚合式记忆系统，通过统一内存原生架构整合碎片化记忆，结合层次化记忆模型、聚合语义数据结构与量化查询机制，在长期对话基准上取得最佳准确率并实现5.4倍检索加速。

Comments 10 pages, 3 figures

On the Inseparability of Instructions and Data in Shared-Embedding Sequence Models

论共享嵌入序列模型中指令与数据的不可分离性

Dewank Pant, Shruti Lohani, Avijit Kumar

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文证明在共享嵌入架构中，由于缺乏强制控制-数据分离，完美防御提示注入在数学上是不可能的，并提出了语义忠实控制（SFC）的概念，通过三个理论结果揭示了其根本原因，类比冯·诺依曼架构的代码-数据混淆问题。

Comments 18 pages, 1 figure, 2 tables

Information-Aware KV Cache Compression for Long Reasoning

面向长推理的信息感知KV缓存压缩

Jushi Kai, Zhuiri Xiao, Alexandra Birch, Zhouhan Lin

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出InfoKV框架，通过结合预测不确定性与注意力分数进行KV缓存压缩，在长上下文推理中优于现有方法。

Staying In Character: Perspective-Bounded Memory For Book-Based Role-Playing Agents

保持角色：基于书籍的角色扮演智能体的视角受限记忆

Xushuo Tang, Junhe Zhang, Zihan Yang, Yifu Tang, Sichao Li, Longbin Lai, Zhengyi Yang

机构 * UNSW Sydney（新南威尔士大学悉尼分校） ； University of Sydney（悉尼大学） ； Chang’an University（长安大学） ； RAIDS Lab（RAIDS实验室） ； Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出REVERIEMEM三层记忆架构（情节层、语义层、个性层），解决长叙事角色扮演中的事实越界和风格单调问题，在KBF-QA基准上知识边界保真度提升34.6个百分点，在BOOKWORLD中胜率约79%。

Learning What Not to Forget: Long-Horizon Agent Memory from a Few Kilobytes of Learning

学习不忘：从几KB学习的长时程智能体记忆

Nusrat Jahan Lia, Aritra Mazumder

机构 * University of Utah（犹他大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出LRE（学习相关性驱逐）方法，通过轻量级评分器保留历史中的关键信息，在匹配预算下精度优于无驱逐基线，减少峰值上下文大小52%，并解决循环任务。

RIZZ: Routing Interactions to Near Zero-Interference Zones for Continual Adaptation of Black-Box Agents

RIZZ: 将交互路由到近零干扰区域以实现黑盒智能体的持续适应

Sonali Goel, Pranav Vaidhyanathan, Lucas Schorling, Natalia Ares, Maike Osborne

机构 * University of Oxford（牛津大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出RIZZ框架，通过验证器门控记忆、路由和提示编译，实现黑盒语言模型系统在非平稳流数据上的持续适应，有效控制干扰并提升性能。

Comments 20 pages, 2 figures

Multi-Agent Transactive Memory

多智能体交互记忆

To Eun Kim, Xuhong He, Dishank Jain, Ambuj Agrawal, Negar Arabzadeh, Fernando Diaz

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MATM框架，通过共享存储和检索智能体轨迹，实现异构智能体群体间的知识复用，提升下游任务性能并减少交互步骤。

LoRDO: Distributed Low-Rank Optimization with Infrequent Communication

LoRDO: 分布式低秩优化与低频通信

Andrej Jovanović, Alex Iacob, Mher Safaryan, Ionut-Vlad Modoranu, Lorenzo Sani, William F. Shen, Xinchi Qiu, Dan Alistarh, Nicholas D. Lane

机构 * University of Cambridge（剑桥大学） ； Institute of Science and Technology Austria（奥地利科学与技术研究院） ； Lancaster University（兰卡斯特大学） ； Flower Labs（Flower实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LoRDO框架，统一低秩优化与低频同步，通过全秩准双曲更新恢复子空间探索，在125M-720M模型规模下实现与低秩DDP近似的性能，通信量减少约10倍。

Comments Accepted at ICML 2026

AnchorKV: Safety-Aware KV Cache Compression via Soft Penalty with a Refusal Anchor

AnchorKV: 通过拒绝锚点的软惩罚实现安全感知的KV缓存压缩

Ning Ni, Yingjie Lao

机构 * Department of Computer Science, Tufts University（塔夫茨大学计算机科学系） ； Department of Electrical and Computer Engineering, Tufts University（塔夫茨大学电气与计算机工程系） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出AnchorKV，一种通过软惩罚机制调整令牌保留分数以远离有害提示的KV缓存压缩方法，在保持实用性的同时显著提升安全性。

T-Mem: Memory That Anticipates, Not Archives

T-Mem：预测而非归档的记忆

Weidong Guo, Dakai Wang, Zixuan Wang, Hui Liu, Yu Xu

机构 * Tencent（腾讯） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出T-Mem架构，通过写时触发机制覆盖描述性和关联性回忆，解决长对话中语义关联检索问题，在LoCoMo和LoCoMo-Plus上达到SOTA。

PolyKV: Heterogeneous Retention and Allocation for KV Cache Compression

PolyKV: 异构保留与分配用于KV缓存压缩

Chao Fei, Panos Kalnis

机构 * King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对长上下文大模型推理中KV缓存压缩问题，提出PolyKV框架，通过层级别信号为每层选择合适压缩策略并分配非均匀缓存预算，实验表明在固定预算下显著恢复性能差距。

Getting Better at Working With You: Compiling User Corrections into Runtime Enforcement for Coding Agents

与你合作得更好：将用户修正编译为编码代理的运行时强制

Yujun Zhou, Kehan Guo, Haomin Zhuang, Xiangqi Wang, Yue Huang, Zhenwen Liang, Pin-Yu Chen, Tian Gao, Nuno Moniz, Nitesh V. Chawla, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； IBM Research（IBM研究院） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出TRACE方法，通过将用户修正编译为原子规则并在运行时强制执行，显著减少编码代理在后续任务中的偏好违反，优于纯记忆方法。

Dynamic Linear Attention

动态线性注意力

Xin Wang, Hui Shen, Boyuan Zheng, Xueshen Liu, Minkyoung Cho, Zhongwei Wan, Zesen Zhao, Zhuoqing Mao, Shen Yan, Mi Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； University of Michigan（密歇根大学） ； ByteDance Seed（字节跳动Seed） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出DLA框架，通过信息感知动态状态合并和容量受限内存建模，解决多状态线性注意力中固定合并策略导致的错误累积问题，在16个数据集上超越现有方法。

Comments Accepted by ICML 2026

Titans-as-a-Layer: Test-Time Memory for Conversational Speech Emotion Recognition

Titans-as-a-Layer：对话语音情感识别的测试时记忆

Daniel Chen, Qicong Hu, Yang Xiao, Ting Dang, Hong Jia

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Memory-as-a-Layer (MAL)适配器，利用测试时神经记忆为对话语音情感识别提供上下文，在不修改大型音频语言模型的前提下提升性能。

Comments ICML 2026 Workshop on Machine Learning for Audio