语言大模型 / LLM

Multi-Agent Transactive Memory

多智能体交互记忆

To Eun Kim, Xuhong He, Dishank Jain, Ambuj Agrawal, Negar Arabzadeh, Fernando Diaz

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MATM框架，通过共享存储和检索智能体轨迹，实现异构智能体群体间的知识复用，提升下游任务性能并减少交互步骤。

AnchorKV: Safety-Aware KV Cache Compression via Soft Penalty with a Refusal Anchor

AnchorKV: 通过拒绝锚点的软惩罚实现安全感知的KV缓存压缩

Ning Ni, Yingjie Lao

机构 * Department of Computer Science, Tufts University（塔夫茨大学计算机科学系） ； Department of Electrical and Computer Engineering, Tufts University（塔夫茨大学电气与计算机工程系） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出AnchorKV，一种通过软惩罚机制调整令牌保留分数以远离有害提示的KV缓存压缩方法，在保持实用性的同时显著提升安全性。

T-Mem: Memory That Anticipates, Not Archives

T-Mem：预测而非归档的记忆

Weidong Guo, Dakai Wang, Zixuan Wang, Hui Liu, Yu Xu

机构 * Tencent（腾讯） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出T-Mem架构，通过写时触发机制覆盖描述性和关联性回忆，解决长对话中语义关联检索问题，在LoCoMo和LoCoMo-Plus上达到SOTA。

PolyKV: Heterogeneous Retention and Allocation for KV Cache Compression

PolyKV: 异构保留与分配用于KV缓存压缩

Chao Fei, Panos Kalnis

机构 * King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对长上下文大模型推理中KV缓存压缩问题，提出PolyKV框架，通过层级别信号为每层选择合适压缩策略并分配非均匀缓存预算，实验表明在固定预算下显著恢复性能差距。

Getting Better at Working With You: Compiling User Corrections into Runtime Enforcement for Coding Agents

与你合作得更好：将用户修正编译为编码代理的运行时强制

Yujun Zhou, Kehan Guo, Haomin Zhuang, Xiangqi Wang, Yue Huang, Zhenwen Liang, Pin-Yu Chen, Tian Gao, Nuno Moniz, Nitesh V. Chawla, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； IBM Research（IBM研究院） ； Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.LG

AI总结 提出TRACE方法，通过将用户修正编译为原子规则并在运行时强制执行，显著减少编码代理在后续任务中的偏好违反，优于纯记忆方法。

Dynamic Linear Attention

动态线性注意力

Xin Wang, Hui Shen, Boyuan Zheng, Xueshen Liu, Minkyoung Cho, Zhongwei Wan, Zesen Zhao, Zhuoqing Mao, Shen Yan, Mi Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； University of Michigan（密歇根大学） ； ByteDance Seed（字节跳动Seed） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出DLA框架，通过信息感知动态状态合并和容量受限内存建模，解决多状态线性注意力中固定合并策略导致的错误累积问题，在16个数据集上超越现有方法。

Comments Accepted by ICML 2026

Titans-as-a-Layer: Test-Time Memory for Conversational Speech Emotion Recognition

Titans-as-a-Layer：对话语音情感识别的测试时记忆

Daniel Chen, Qicong Hu, Yang Xiao, Ting Dang, Hong Jia

机构 * University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Memory-as-a-Layer (MAL)适配器，利用测试时神经记忆为对话语音情感识别提供上下文，在不修改大型音频语言模型的前提下提升性能。

Comments ICML 2026 Workshop on Machine Learning for Audio

Sanyu Studio: A Multi-Agent System for Art-Historical Narrative Construction

三语工作室：用于艺术史叙事构建的多智能体系统

Zhaoxi Wei, Hongye Yang, Shuyuan Tian

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出Sanyu Studio多智能体系统，将321幅常玉油画建模为具备特定机制的智能体，经7天工作坊验证，其可在历史证据有限时放大人类能动性，为公众提供艺术史解读的交互式入口。

Comments 12 pages, 8 figures, 2 tables

ArborMem: Navigating Interaction States with Memory Forests

ArborMem：用记忆森林导航交互状态

Zongwei Lv, Yuemeng Xu, Yilun Yao, Siyi Ding, Xinyu Tan, Yaoming Li, Guangxiang Zhao, Weihong Lin, Lin Sun, Xiangzheng Zhang, Tong Yang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ArborMem是一种在线记忆框架，将对话表示为可导航的交互状态森林，在LongMemEval等基准上优于最强基线，还引入了分支结构诊断基准BranchMemEval。

Comments 24 pages, 2 figures

Don't Drop the BATON: Long-Horizon Robot Manipulation via Agentic Subtask Exploration and Transition-aware Memory

不要放弃BATON：通过智能体子任务探索和感知转换的记忆实现长程机器人操作

Bingxin Xu, Yuzhang Shang, Emilio Ferrara

机构 * University of Southern California（南加州大学） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对长程机器人操作的误差累积与子任务转换问题，提出BATON方法，通过子任务探索与感知转换记忆，在RoboMemArena基准上提升任务成功率11.6%、累计成功率14.9%。

Noesis: Bidirectional Graph-RAG with Adaptive Parallelism and Cross-Knowledge-Base Semantic Discovery

Noesis：具备自适应并行性与跨知识库语义发现的双向图检索增强生成

Nicola Cogotti

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出具备自适应并行性与跨知识库语义发现的双向图检索增强生成架构Noesis，通过四种算法解决现有Graph-RAG系统的三类局限，在HotpotQA数据集上超越GraphRAG，实现更优性能。

Comments 14 pages, 6 figures, 4 tables. Patent pending

Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents

利用记忆：记忆智能体中记忆载体的整体评估

Wei-Chieh Huang, Weizhi Zhang, Yuchen Wu, Yankai Chen, Eric Hanchen Jiang, Wooseong Yang, Yiwei Yang, Henry Peng Zou, Hanrong Zhang, Ying Nian Wu, Haolun Wu, Kai-Wei Chang, Philip S. Yu, Xue Liu, Aylin Caliskan

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of Washington（华盛顿大学） ； McGill University（麦吉尔大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究评估了记忆智能体的多种记忆载体，发现无通用最优载体，不同载体适配不同场景，为自适应智能体记忆系统设计提供了实证指导。

HERMES: a multi-agent framework for structured knowledge extraction from ultra-long documents in geoscience

HERMES：用于从地球科学超长文档中提取结构化知识的多智能体框架

Ziqi Song, Zongyuan Xiang, James G. Ogg, Bruce S. Lieberman, Gabi Ogg, Natalia López Carranza, Wen Du, Yufei Ye, Shuan Li, Zhong Peng, Shaoqi Yu, Juye Wei, Ying Zhou, Jieping Ye, Jiang Yang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究提出HERMES多智能体框架，可从地球科学超长文档中提取结构化知识，在《无脊椎古生物学论著》上的实验显示其性能稳定、效率高且跨领域迁移性好，为历史文献结构化提供了可行途径。

Comments 31-page main manuscript with 6 figures and 3 tables; supplementary information included

Handover of In-Context Learning State Across Session Boundaries

跨会话边界的上下文学习状态移交

Masahiro Kato, Taka Kato

机构 * Mizuho-DL Financial Technology（瑞穗数字金融科技） ； the University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所人工智能项目） ； Osaka Metropolitan University（大阪公立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对大语言模型应用的会话移交问题，提出三部分记录方法，结合高斯线性与非参数回归，为移交的信息保留及记忆需求提供理论与方法。

A Hierarchical Energy-Based Model for Multimodal Cognition

面向多模态认知的分层能量基模型

Subir Varma

专题命中 长上下文与记忆 ：LLM(abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 该研究提出IM-LEPP多模态能量基模型，扩展单模态LEPP整合视觉与语言，能解释注意现象、复现心理语言学发现，还与Transformer模型形成可证伪对比并提出实验预测。

Comments 48 pages, 14 figures

vToken: Token-Level Virtualization for Reclaimable KV Caches

vToken：用于可回收KV缓存的令牌级虚拟化技术

Yuanhang Gao, Xiangrui Yang, Yuanfeng Chen, Hongjia Chen, Qianru Lv, Wenfei Wu, Dongsheng Li

机构 * National University of Defense Technology（国防科技大学） ； Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 vToken是一种轻量级令牌级虚拟化层，可解耦逻辑令牌活性与物理块放置，在保留PagedAttention兼容性的同时，提升KV缓存回收效率与服务吞吐量，降低策略集成代码量。

StreamFlow: Dynamic Memory Flows for Streaming Video Understanding

StreamFlow：用于流视频理解的动态内存流

Muxin Fu, Yifan Zhang, Wentao Zhang, Fangming Guo, Qian Chen, Guibin Zhang, Shuicheng Yan, Bo An

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 StreamFlow是一种动态视觉内存框架，通过中期内存过滤冗余、长期内存整合潜变量及注意力检索，在流视频理解任务中实现最优性能，同时提升视觉依据性并降低延迟与内存。

From Faulty Memories to Corrected Actions: Dependency-Guided Rollback Repair for Memory-Augmented Agents

从错误记忆到修正行动：记忆增强智能体的依赖引导回滚修复

Caili Yu, Yiqi Wang, Jiaqi Zhang, Yiqun Duan, Mingkai Zheng, Zhangkai Wu, Kaize Shi, Taotao Cai

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对记忆增强智能体的错误记忆问题，提出依赖引导回滚修复方法，在150案例受控基准和50案例改编测试中，均优于对比方法，实现了更优的记忆恢复效果与成本权衡。

TideRL: Boosting Agentic RL Goodput with Readiness-Aware Scheduling

TideRL：通过就绪感知调度提升智能体强化学习的有效吞吐量

Yanyu Ren, Xizheng Wang, Xiao Liu, Bowen Lv, Hanchen Zhang, Shudan Zhang, Hanyu Lai, Shuai Wang, Li Chen, Dan Li, Jie Tang

机构 * Tsinghua University（清华大学） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 TideRL是一种就绪感知弹性RL系统，通过CTB、RA²P和ERS技术，在多轮智能体工作负载上大幅提升RL训练有效吞吐量，同时优化KV缓存命中率、训练时间和等待时间。

Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling

Transformer中的位置编码：从绝对与相对方法到旋转位置嵌入及长上下文扩展

Jiguo Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本技术综述梳理 Transformer 各类位置编码方法，推导 RoPE 原理并对比不同方法特性，研究长上下文扩展方案，明确长上下文泛化能力需多任务评估。

Comments 14 pages, a cookbook for students and junior researchers

Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities

标记化溢价的衡量：服务不足语言社区的成本审计

Avijit Roy, Proma Roy, Hrishitva Patel

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过构建标记化公平审计（TEA）基准，测量了孟加拉语、印地语等5种语言的标记化溢价，发现标记化会给服务不足语言社区带来经济和功能障碍，凸显需重视标记化的公平性。

Comments Accepted at IJCAI 2026 Workshop (https://lm4uc.github.io/)

VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference

VoxZip：面向长上下文音频推理的语义锚定时序KV缓存压缩

Wenxu Jia, Dongjie Fu, Xize Cheng, Fangming Feng, Linjun Li, Wenshi Chen, Yingming Li, Zhou Zhao, Tao Jin

机构 * Zhejiang University（浙江大学） ； Meituan（美团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对语音大语言模型长上下文推理的KV缓存内存瓶颈，提出无训练两阶段语义锚定框架VoxZip，在多音频基准上实现高效压缩，维持高性能并提升推理效率。

Explore, Map, Remember, Decide: Are Embodied VLMs Ready for Safety-Critical Scenarios?

探索、建图、记忆、决策：具身视觉语言模型是否已准备好应对安全关键场景？

Gabriele La Malfa, Nitay Alon, Emanuele La Malfa, Reuth Mirsky, Stefan Sarkadi

专题命中 长上下文与记忆 ：language model(abstract,abstract_cn)；分类 cs.AI

AI总结 本文扩展ToS框架为EMRD流程，评估VLMs在安全关键场景下的空间理解与决策能力，发现其决策依赖文本先验、空间推理受低光照影响，且记忆与人类认知存在根本差异，存在对齐风险。

SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding

SPECTRA：通过谱变换编码将KV缓存推向2比特极限之外

Jiamu Zhang, Liang Wu, Kelly Wan, Hanjie Chen, Liangjie Hong

机构 * Nokia（诺基亚） ； Rice University（莱斯大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SPECTRA是一种无需训练的KV缓存压缩编解码器，通过谱变换编码将比特预算集中于关键通道，在Llama-3.1-8B等模型上实现最高12倍压缩，突破2比特极限，提升长上下文处理能力

Comments 28 pages

MemWM: Memory-Augmented Text-Based World Model

MemWM：记忆增强的基于文本的世界模型

Yujun Wang, Tao Zhang, Jinhe Bi, Aniri, Wenxuan Ye, Boliang Liu, Sikuan Yan, Shuning Wang, Xuebing Zhou, Sören Pirk, Hinrich Schütze, Yunpu Ma

机构 * LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Huawei Heisenberg Research Center（华为海森堡研究中心） ； Zhejiang University（浙江大学） ； Technical University of Munich (TUM)（慕尼黑工业大学） ； TU Berlin（柏林工业大学） ； Kiel University（基尔大学） 纠错

专题命中 长上下文与记忆 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出记忆增强的基于文本的世界模型MemWM，通过引入世界记忆解决世界模型的系统性预测错误，在ALFWorld等基准上提升智能体规划成功率与效率。

Activity Frames: Deterministic Screen-Activity Compilation for Agent Memory and Replay

活动帧：面向智能体记忆与回放的确定性屏幕活动编译

Nossa Iyamu

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出确定性零模型流水线将屏幕活动编译为智能体记忆，可缩小上下文体积、提升问答准确率，还能获取智能体成本模型所需的例程开销比率与重复率等参数，相关资源开源。

Comments 14 pages, 5 figures, 4 tables

Attention, Anomalies! Handling Attention Layers in Unsupervised Federated Outlier Detection

注意力，异常点！处理无监督联邦离群点检测中的注意力层

Mihailo Ilić, Miloš Savić, Vladimir Kurbalija, Mirjana Ivanović, Giancarlo Fortino, Dušan Jakovetić

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究针对联邦学习中记忆增强自编码器缺乏专用聚合技术的问题，提出新颖的引导式聚合方案，在非IID数据集上验证其对无监督异常检测的鲁棒性，可提升浅层自编码器性能并适配资源受限环境。

Comments Submitted to the 4th IEEE International Conference on Federated Learning Technologies and Applications (FLTA 2026)

Caching for the Future: Scrub Jay Episodic Memory Principles for Agent Memory Systems

面向未来的缓存：用于智能体记忆系统的灌丛鸦情景记忆原理

Kartikey Singh Bhandari, Aarya Wadhwani, Dhruv Kumar, Pratik Narang

机构 * Birla Institute of Technology and Science, Pilani（比拉理工学院皮拉尼分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究借鉴灌丛鸦情景记忆原理，提出ScrubJay-MEM智能体记忆系统，通过类型条件时间衰减优化记忆管理，在TGT和MemoryAgentBench任务上取得优于现有方法的效果。

When Memory Lies: An Empirical Study of Spatial Memory Staleness in VLM Agents

当记忆“说谎”：VLM智能体中空间记忆过时的实证研究

Yushi Sun, Yanjie Zhang

机构 * Tencent LIGHTSPEED（腾讯光速工作室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究通过动态FrozenLake测试平台，探究了VLM智能体的空间记忆过时问题，发现文本可解性不代表视觉接地、信任过时记忆存在安全隐患、审核无法完全消除差距，明确了相关核心挑战。

K-EXAONE 2.0 Technical Report

K-EXAONE 2.0 技术报告

Eunbi Choi, Kibong Choi, Sehyun Chun, Seokhee Hong, Junwon Hwang, Hyojin Jeon, Ahra Jo, Hyunjik Jo, Yeonsik Jo, Minhyeok Jung, Doyoung Kim, Heegyu Kim, Joonkee Kim, Seonghwan Kim, Soyeon Kim, Sunkyoung Kim, Yireun Kim, Yongil Kim, Byungoh Ko, Changhun Lee, Dohaeng Lee, Haeju Lee, Jinsik Lee, Kyungmin Lee, Minwoo Lee, Wonkee Lee, Sangha Park, Sungjune Park, Kwangrok Ryoo, Kijung Seo, Minju Seo, Yongwoo Song, Sejong Yang, Heuiyeen Yeen, Stanley Jungkyu Choi, Yemuk Choi, Yongchan Chun, Jiwon Ham, Dasol Hong, Sujeong Im, Kijeong Jeon, Gerrard Jeongwon Jo, Hyeongjun Jo, Yujin Jo, Jiyeon Jung, Naeun Kang, Daeseong Kim, Euisoon Kim, Hayeon Kim, Hyosang Kim, Myoungshin Kim, Unsol Kim, Youchul Kim, Chaeeun Lee, ChaeYoon Lee, Edward Hwayoung Lee, Honglak Lee, Hwansoo Lee, Minkyung Lee, Sangeun Lee, Solji Lim, Woohyung Lim, Chanwoo Moon, Jueun Mun, Jimin Park, Seojeong Park, Yongmin Park, Hyerin Seo, Donghyeon Shin, Donghyun Son, Eunyong Son, Kaehyun Um, Sihoon Yang, Chang En Yea, Sihyuk Yi, Kyungjae Yoo, Chansik Yoon

机构 * LG AI Research（LG AI研究院） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 该报告介绍LG AI Research开发的K-EXAONE 2.0，这是一款7500亿参数的MoE多语言基础模型，经升级前代模型而来，支持25.6万token上下文，在多类评估中表现优异，以Apache 2.0许可发布，助力AI生态发展。