语言大模型 / LLM

Emergence World: A Platform for Evaluating Long-Horizon Multi-Agent Autonomy

Emergence World: 一个用于评估长时域多智能体自主性的平台

Deepak Akkil, Ravi Kokku, Karthik Vikram, Tamer Abuelsaad, Aditya Vempaty, Satya Nitta

机构 * Emergence AI 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 提出一个持续运行的多智能体模拟平台，通过集成实时外部数据、120+工具和持久记忆系统，评估LLM代理在长时域（数周至数月）中的行为漂移、治理和跨模型影响等动态特性。

AdMem: Advanced Memory for Task-solving Agents

AdMem: 面向任务求解智能体的高级记忆

Runzhe Wang, Huilin Lu, Shengjie Liu, Li Dong, Jason Zhu

机构 * Princeton University（普林斯顿大学） ； Amazon（亚马逊） ； Arm 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出一种统一自动记忆框架，集成语义、情节和程序记忆，通过双层级设计和多智能体架构实现自动生成、奖励标注与自适应检索，提升长程多轮任务的鲁棒性和成功率。

Distractor-Aware Truncation: Disentangling Context-Length Effects from Signal Loss in Long-Context LLM Benchmarks

干扰项感知截断：在长上下文大语言模型基准测试中分离上下文长度效应与信号损失

Mohsen Arjmandi

专题命中 长上下文与记忆 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过对比两种截断协议测试长上下文基准，发现朴素截断的性能下降源于信号丢失，干扰项感知截断可保留性能，强调需明确区分信号与干扰项以研究上下文长度效应。

Comments 14 pages, 2 figures. Code and data: https://github.com/evolutionIdGmbH/memoreach

ReToken: One Token to Improve Vision-Language Models for Visual Retrieval

ReToken：用一个标记改进用于视觉检索的视觉-语言模型

Yao Xiao, Reuben Tan, Zhen Zhu, Yuqun Wu, Jianfeng Gao, Derek Hoiem

机构 * University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Microsoft Research（微软研究院） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出轻量级ReToken，通过选择视觉键值缓存中与查询相关的稀疏标记解决长视觉上下文的视觉检索难题，在多基准测试中提升Qwen3VL-8B等模型性能，且可在单H100运行。

Comments Code: https://github.com/avaxiao/ReToken

Mergeable Model-Side Aggregation States for Long-Context Language Models

面向长上下文语言模型的可合并模型侧聚合状态

Dachuan Song, Junyu Yin, Zechen Hu, Xuan Wang

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对长上下文语言模型在非加性集合聚合任务中的性能缺陷，提出带HLL草图状态的模型侧聚合接口，该接口可合并跨段状态，在多任务上较基线方法实现显著性能提升。

ConsistencyGate: Preventing Memory Contamination in LLM Agents via Self-Consistency Admission Control

一致性门控：通过自一致性准入控制防止大语言模型智能体中的内存污染

Yan Zhang, Shibo Li

机构 * Florida State University（佛罗里达州立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型智能体内存污染问题，提出一致性门控方法，在提交候选事实前向模型查询K次获软支持分数，超阈值才准入。该机制与模型无关、无需微调，经实验在四个模型主干上减少了污染，还发布了相关基准和实现。

Comments 24 pages, 2 figures, 6 tables, 1 algorithm; includes appendices

Do Modules Stay in Their Lane? Role Drift in Compound LLM Systems

模块各司其职吗？复合语言模型系统中的角色漂移

Xiaoyang Cao, Siddarth Srinivasan, Michiel A. Bakker

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard University（哈佛大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究复合语言模型系统中模块的角色漂移问题，提出角色锚定正则化方法，通过实验揭示仅准确性无法检测的角色漂移，该方法能以可调成本减轻漂移，且减少与角色漂移方向的对齐，而非简单抑制学习。

AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents

AgentDebugX：用于大语言模型代理中故障可观测性、归因和恢复的开源工具包

Kunlun Zhu, Xuyan Ye, Zhiguang Han, Yuchen Zhao, Bingxuan Li, Weijia Zhang, Muxin Tian, Xiangru Tang, Pan Lu, James Zou, Jiaxuan You, Heng Ji

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Toronto（多伦多大学） ； Google（谷歌公司） ； Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型代理故障调试难题，提出开源框架AgentDebugX，其核心DeepDebug通过多轮诊断定位根源，在基准测试中表现出色，能修复更多失败任务，还通过多种方式公开工作流程并提供错误中心。

Persistent Sparse Autoencoders: Learning Feature Timescales in Language Models

持久稀疏自动编码器：在语言模型中学习特征时间尺度

Haoyan Luo, Mateo Espinosa Zarlenga, Mateja Jamnik

机构 * University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究在语言模型中学习特征时间尺度的问题，提出持久稀疏自动编码器，通过为特征学习持久性系数扩展标准SAEs，实验表明其能保持竞争力的重建质量，为解释和监测语言模型带来新机会。

Cache-Aware Prompt Compression:A Two-Tier Cost Model for LLM API Caching

缓存感知提示压缩：用于大语言模型API缓存的双层成本模型

Yan Song

机构 * PayPal Inc.（贝宝公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究大语言模型API缓存成本，发现现有方法不足。提出缓存感知提示压缩（CAPC），结合查询无关压缩与缓存控制。经实验验证，CAPC在多种配置下成本最低，在生产工作负载中表现出色，验证了交叉模型负投资回报率预测。

Comments 28

Track, Rank, Crack: Epistemic Working Memory Scales Multi-Hop Reasoning in Language Agents

追踪、排序、决断：认知工作记忆对语言智能体中的多跳推理进行衡量

Ning Liu

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究语言智能体多跳推理链变长性能下降问题，提出SLEUTH方法通过结构化认知工作记忆提升推理，经实验优势随难度增加，还发现证据充分性问题及解决办法，表明组织推理方式是扩展多跳推理关键。

Speculate with Memory: Lossless Acceleration for LLM Agents

用记忆进行推测：大语言模型智能体的无损加速

Yu Li, Qinyuan Ye, Prafulla Kumar Choubey, Jiaxin Zhang, Chien-Sheng Wu

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究旨在加速大语言模型智能体，提出为推测器配备三个在线记忆系统，通过从智能体过去轨迹学习提升预测质量。经六个基准测试，记忆增强推测在动作和观察预测上有显著提升，且无损并能跨模型推广。

RCWT: Measuring Task-Budget Displacement from Coordination Content in LLM Calls

RCWT：从大语言模型调用中的协调内容测量任务预算位移

Brenda Lelis, Rodrigo Cabral-Carvalho

机构 * CloudWalk, Inc.（云从科技集团股份有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多智能体和内存增强大语言模型中协调内容占用任务预算的问题，提出RCWT测量协议，通过改变协调内容等控制变量进行实验，发现模型表现受影响，该测试是上下文分配预算测量原语，但非多智能体收益等完整理论。

Comments 10 pages, 1 figure

ResonatorLM: Causal Resonant Field Mixing for Efficient Long-Context Language Modeling

ResonatorLM：用于高效长上下文语言模型的因果共振场混合

Archie Chaudhury

机构 * Axionic Labs（轴子实验室） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对Transformer等模型处理长上下文效率低的问题，提出ResonatorLM机制，将令牌序列视为潜场，用阻尼谐振器因果函数替代注意力点积，在传统架构上实现并测试，取得训练和预填充加速、高解码速度及准确率提升等成果。

Comments 8 Pages. Accepted at ICANN 2026

PatchOptic for Shared-State LLM Workflows with Projected Views and Verified Structured Updates

用于具有投影视图和经过验证的结构化更新的共享状态大语言模型工作流的PatchOptic

Zhaoyu Bai, Jiaqi Cai

机构 * Weizmann Institute of Science（魏茨曼科学研究所） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究共享状态大语言模型工作流问题，提出受光学启发的PatchOptic接口，通过投影读取和验证结构化补丁实现，经PatchBench评估，该设计能减少泄漏和成本，保持输出质量，阻止违规并拒绝受损补丁。

Comments 24 pages, 13 figures, including appendix

From Tensor Buffer to Distributed Memory Hierarchy: A Survey of KV Cache Management for LLM Serving

从张量缓冲区到分布式内存层次结构：大语言模型服务中键值缓存管理综述

Jie Li, Tongyang Wang, Yong Chen

机构 * Texas Tech University Department of Computer Science（德克萨斯理工大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 综述通过四个轴对三十多个键值管理系统和框架分类，揭示五种架构原型，还审计当前评估，找出七个缺失测量，关联容错等开放问题。

Harmonic: Hierarchical State Space Models for Efficient Long-Context Language Modeling

Harmonic: 用于高效长上下文语言建模的分层状态空间模型

Petr Nyoma

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 提出分层状态空间模型Harmonic，通过堆叠三个不同时间尺度的循环层，每层接收下层预测误差而非原始隐藏状态，在长序列上显著优于Transformer和Mamba，并消除了RoPE位置编码限制。

Comments 12 pages, 8 figures. NeurIPS 2024 format

Augmenting Molecular Language Models with Local $n$-gram Memory

增强分子语言模型的局部 $n$-gram 记忆

Xinni Zhang, Zijing Liu, He Cao, Yu Li, Irwin King

机构 * The Chinese University of Hong Kong（香港中文大学） ； International Digital Economy Academy（国际数字经济学院） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 针对SMILES字符串的Transformer模型因字符级分词破坏化学语义的问题，提出MolGram模块，通过条件$n$-gram记忆哈希查找注入局部上下文，在三个任务上以更少参数超越基线。

Overcoming the Impedance Mismatch: A Theoretical Roadmap for Fusing Foundation Models and Knowledge Graphs

克服阻抗不匹配：融合基础模型与知识图谱的理论路线图

Sahil Rajesh Dhayalkar

机构 * Arizona State University（亚利桑那州立大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI

AI总结 本文提出“阻抗不匹配”概念，形式化分析基础模型与知识图谱的结构与几何摩擦，通过三级层次分类揭示现有方法的局限，并给出理论路线图实现真正的语义融合。

Comments 12 pages. Accepted at the ACL 2026 4th Workshop on Towards Knowledgeable Foundation Models (https://openreview.net/forum?id=hXDYsNAq8m)

CogChat: Knowledge Graph-Augmented Conversational AI with Heterogeneous Graph Transformer for Cognitive Grounding in Design Generation

CogChat：结合知识图谱与异构图变换器的对话式人工智能，用于设计生成中的认知接地

Jiin Choi, Kyung Hoon Hyun

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 本研究提出结合异构图变换器的CogChat框架，以设计师专属动态知识图谱为基础，提升设计对话的上下文保留度与意图解读效果，降低认知负荷，为LLM交互的长期上下文管理提供新方法。

HiSparse: Scaling Sparse-Attention Decoding with Hierarchical KV Cache Management

HiSparse：通过分层KV缓存管理扩展稀疏注意力解码

Zhiqiang Xie, Zhangheng Huang, Tingwei Huang, Ziyi Xu, Ruiyang Ma, Christos Kozyrakis

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 HiSparse是一种分层KV缓存，通过将KV历史存主机、GPU设固定缓存等方式，提升长上下文稀疏注意力LLM解码吞吐量达4.7倍，未增加每token成本，已集成到SGLang并在多平台验证。

UniEvo-RS: Omni-Prompt Unified Remote Sensing Segmentation with Representative Exemplar-Driven Prototype Evolution

UniEvo-RS：基于代表性示例驱动原型演化的全提示统一遥感分割

Kunquan Zhang, Peilang Li, Xikun Hu, Yunkai Yang, Yushan Zou, Zhiwei Zhang, Runmin Dong

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；language model(abstract)；prompting(abstract)

AI总结 UniEvo-RS是配备代表性示例驱动原型演化的全提示统一遥感分割框架，通过多指令提示数据集与原型演化机制，在批量标注中对未见过的类别实现无需训练的精度提升，性能达当前最优。

Comments 18 pages, 8 figures, 9 tables

FedWorld: Scope-Aware Federation of Agent World Models

FedWorld：感知范围的智能体世界模型联邦

Yuchao Hou

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 FEDWORLD是一种感知范围的智能体世界模型联邦协议，通过交换结构化抽象转移规则，减少冲突动态下的负迁移，提升智能体任务成功率。

The Fabric Is the Cluster Driver: Cross-Layer eBPF Policies for GPU-CXL Fabrics

Fabric 是集群驱动：面向 GPU-CXL Fabric 的跨层 eBPF 策略

Yiwei Yang, Andi Quinn

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 该研究提出 fabric_ext 中间件编译器与运行时，通过语义移动图实现跨 GPU-CXL Fabric 多层的 eBPF 策略，以处理 LLM 预填充等场景下的跨岛数据流需求。

TileLens: Efficiently Using Large-Granularity Memory Systems with Transparent Two-Dimensional Memory Layout

TileLens：通过透明二维内存布局高效使用大粒度内存系统

Jae Hyung Ju, Euijun Chung, Hritvik Taneja, Anish Saxena, Shinnung Jeong, Hyesoon Kim, Moinuddin K. Qureshi

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 研究大语言模型推理受GPU高带宽内存限制问题，指出大粒度内存系统致 tiled 矩阵乘法性能降。提出用 tile-major 布局缓解读放大，介绍TileLens软硬件扩展，评估显示其能在特定条件下接近HBM性能。

WorldDirector: Building Controllable World Simulators with Persistent Dynamic Memory

WorldDirector: 构建具有持久动态记忆的可控世界模拟器

Hanlin Wang, Hao Ouyang, Qiuyu Wang, Wen Wang, Qingyan Bai, Ka Leong Cheng, Yue Yu, Yixuan Li, Yihao Meng, Zichen Liu, Yanhong Zeng, Yujun Shen, Qifeng Chen

机构 * HKUST（香港科技大学） ； Ant Group（蚂蚁集团） ； ZJU（浙江大学） ； CUHK（香港中文大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 提出WorldDirector框架，通过LLM协调3D轨迹与相机运动作为视频生成控制信号，解耦语义运动编排与视觉生成，实现持久动态对象记忆和自由视角探索。

Comments Project Page: https://worlddirector.github.io/

Minos: A Multi-Agent Collaborative Framework for Provenance-Based Backward Tracking

Minos：一种基于溯源的反向追踪多智能体协作框架

Jiahui Wang, Zhenyuan Li, Zhengkai Wang, Xiangmin Shen, Fan Zhang

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 提出多智能体框架Minos，利用LLM驱动推理进行基于溯源的反向追踪，通过分层上下文管理、检索增强推理和有限状态机协调四个智能体，有效缓解依赖爆炸，在5个数据集上平均召回率0.92、精确率0.64，攻击子图压缩49%。

Comments 20 pages,7 figures, accepted by ESORICS 2026

FeatX: Editing Software by Editing Features for Repository-Level Code Evolution

FeatX: 通过编辑特征来编辑软件以实现仓库级代码演化

Xutian Li, Yifeng Zhu, Xianlin Zhao, Yanzhen Zou, Lu Zhang, Bing Xie

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出特征导向工具FeatX，通过提取层次化史诗-特征结构并调用三阶段演化代理，将特征编辑转化为代码补丁，显著降低认知负荷并提升修改定位F1达42.6%。

Comments 4 pages, Accepted to the Tools and Datasets Track of ASE 2026

Agent-Assisted Side-Channel Attacks on Non-Prefix KV Cache in RAG

代理辅助的非前缀KV缓存侧信道攻击

He Sun, Shinan Liu, Siyuan Ma, Junhao Li, Mingjun Xiao, Wenhao Jiang

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 针对RAG系统中非前缀KV缓存融合的侧信道漏洞，提出SpliceLeak攻击，利用“阶梯波”时序特征提取私有提示长度和语义内容，并设计SpliceDefense防御机制。

Comments 15 pages, 8 figures

MedRLM: Recursive Multimodal Health Intelligence for Long-Context Clinical Reasoning, Sensor-Guided Screening, Evidence-Grounded Decision Support, and Community-to-Tertiary Referral Optimization

MedRLM：用于长上下文临床推理、传感器引导筛查、证据支持决策及社区到三级转诊优化的递归多模态健康智能

Aueaphum Aueawatthanaphisut

机构 * School of Information, Computer ； Communication Technology Sirindhorn International Institute of Technology, Thammasat University Pathum Thani, Thailand 1 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出MedRLM递归多模态健康智能框架，通过递归检查、分解、检索、验证和合成患者信息，协调多个专业代理并引入临床证据图记忆，实现长上下文临床推理和传感器引导筛查。

Comments 9 pages, 3 figures, 3 tables, 1 Algorithm, 29 equations