语言大模型 / LLM

DySCO: Dynamic Attention-Scaling Decoding for Long-Context Language Models

DySCO：动态注意力缩放解码用于长上下文语言模型

Xi Ye, Wuwei Zhang, Fangcong Yin, Howard Yen, Danqi Chen

机构 * Princeton Language and Intelligence, Princeton University（普林斯顿语言与智能，普林斯顿大学） ； Department of Computer Science, New York University（纽约大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 DySCO通过动态调整注意力机制提升长上下文推理能力，利用检索头识别关键token并增强其权重，在多个基准测试中取得25%的性能提升。

Self-Evolving LLM Memory Extraction Across Heterogeneous Tasks

跨异质任务的自演化大语言模型记忆提取

Yuqing Yang, Tengxiao Liu, Wang Bill Zhu, Taiwei Shi, Linxin Song, Robin Jia

机构 * University of Southern California（南加州大学） ； University of California, Santa Barbara（加州大学圣塔芭芭拉分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL

AI总结 本文提出BEHEMOTH基准，通过集群-based策略CluE提升跨异质任务的记忆提取效果，实验显示CluE在异质任务中表现更优。

Diagnosing Retrieval vs. Utilization Bottlenecks in LLM Agent Memory

诊断LLM代理记忆中的检索与利用瓶颈

Boqin Yuan, Yue Su, Kun Yao

机构 * University of California, San Diego（加利福尼亚大学圣迭戈分校） ； Carnegie Mellon University（卡内基梅隆大学） ； University of North Carolina（北卡罗来纳大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文通过3x3实验分析写入策略、检索方法和记忆利用行为对性能的影响，发现检索方法是主要瓶颈，且原始分块存储在无需LLM调用时表现优异。

Comments Accepted at the MemAgents Workshop, ICLR 2026

ClawVM: Harness-Managed Virtual Memory for Stateful Tool-Using LLM Agents

ClawVM: 用于状态ful工具使用的LLM代理的抓取管理虚拟内存

Mofasshara Rafique, Laurent Bindschaedler

机构 * Independent Researcher（独立研究员） ； Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 ClawVM通过管理状态为类型化的页面，实现状态的可靠存储与回写，解决了状态丢失和回写失败的问题，提升了LLM代理的稳定性和可审计性。

Comments 8 pages, 1 figure, 10 tables; accepted at EuroMLSys '26 (6th Workshop on Machine Learning and Systems, co-located with EuroSys 2026)

Quine: Realizing LLM Agents as Native POSIX Processes

Quine：将LLM代理作为原生POSIX进程实现

Hao Ke

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 Quine通过将LLM代理作为原生POSIX进程实现，利用操作系统提供的隔离、调度和通信机制，继承内核的隔离、组合和资源控制能力，支持递归委托和上下文刷新。

Comments Minor revision clarifying exec semantics

Experience Transfer for Multimodal LLM Agents in Minecraft Game

在Minecraft游戏中多模态大语言模型代理的经验迁移

Chenghao Li, Jun Liu, Songbo Zhang, Huadong Jian, Hao Ni, Lik-Hang Lee, Sung-Ho Bae, Guoqing Wang, Yang Yang, Chaoning Zhang

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出Echo框架，通过分解经验为五维，使代理能从历史交互中提取可操作知识，提升复杂环境下的任务解决效率。

Memory Dial: A Training Framework for Controllable Memorization in Language Models

Memory Dial: 一种用于语言模型可控记忆的训练框架

Xiangbo Zhang, Ali Emami

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Emory University（埃默里大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 Memory Dial通过调节记忆压力参数α，控制语言模型的记忆行为，实验显示α能有效调节记忆压力，大模型更敏感，常见序列更易记忆。

Comments Accepted to ACL Findings 2026

Springdrift: An Auditable Persistent Runtime for LLM Agents with Case-Based Memory, Normative Safety, and Ambient Self-Perception

Springdrift：一种可审计的持久运行时用于LLM代理，具备基于案例的记忆、规范安全性和环境自我感知

Seamus Brady

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 Springdrift通过可审计的执行子系统、基于案例的记忆层和规范安全机制，实现了LLM代理在跨会话任务连续性和环境自我感知方面的突破，展示了无显式指令下的自主诊断能力。

A Framework for Formalizing LLM Agent Security

一个形式化大语言模型代理安全性的框架

Vincent Siu, Jingxuan He, Kyle Montgomery, Zhun Wang, Neil Gong, Chenguang Wang, Dawn Song

机构 * UC Santa Cruz（加州大学圣克ruz分校） ； UC Berkeley（加州大学伯克利分校） ； Duke University（杜克大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出一个框架，从情境安全角度系统化现有攻击与防御，定义四个安全属性并引入Oracle函数验证，重新定义攻击和防御，为未来研究提供方向。

Implicit Patterns in LLM-Based Binary Analysis

基于LLM的二进制分析中的隐式模式

Qiang Li, XiangRui Zhang, Haining Wang

机构 * Beijing Jiaotong University（北京交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究揭示了基于LLM的多轮二进制漏洞分析中隐式形成的结构化模式，包括早期剪枝、路径依赖锁定、目标回溯和知识引导优先级，为构建更可靠的分析系统提供了基础。

Comments 18 pages

MEMO: Memory-Augmented Model Context Optimization for Robust Multi-Turn Multi-Agent LLM Games

MEMO: 带记忆的模型上下文优化用于鲁棒的多轮多智能体大语言模型游戏

Yunfei Xie, Kevin Wang, Bobby Cheng, Jianzhu Yao, Zhizhou Sha, Alexander Duffy, Yihan Xi, Hongyuan Mei, Cheston Tan, Chen Wei, Pramod Viswanath, Zhangyang Wang

机构 * Rice University（里士满大学） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Princeton University（普林斯顿大学） ； A*STAR ； Good Start Labs ； TTIC 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 MEMO通过优化推理时的上下文，结合记忆保留和探索，提升了多轮多智能体大语言模型游戏的鲁棒性和性能，显著提高了胜率并降低了运行间方差。

Comments Code has been released https://github.com/openverse-ai/MEMO

RPMS: Enhancing LLM-Based Embodied Planning through Rule-Augmented Memory Synergy

RPMS：通过规则增强的记忆协同提升基于LLM的具身规划

Zhenhang Yuan, Shenghai Yuan, Lihua Xie

机构 * School of Electrical & Electronic Engineering（电子与电气工程学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 本文提出RPMS架构，通过结构化规则检索、轻量信念状态和规则优先仲裁解决LLM在封闭世界具身环境中的失效问题，显著提升任务成功率。

Compiled Memory: Not More Information, but More Precise Instructions for Language Agents

编译记忆：不是更多信息，而是为语言代理提供更精确的指令

James Rhodes, George Kang

机构 * AlphaBitCore, Inc.（AlphaBitCore公司） 纠错

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.AI

AI总结 本文提出Atlas内存内核，通过编译积累的任务经验为语言代理生成指令结构，无需微调、RAG或人工干预，提升GPT-4o和Claude Sonnet~4.5在合同分析和多跳问答任务中的性能。

Adaptive Engram Memory System for Indonesian Language Model: Generative AI Based on TOBA LM for Batak and Minang Language

自适应恩格拉姆记忆系统用于印度尼西亚语言模型：基于TOBA LM的生成式AI用于巴塔克语和minang语

Hokky Situngkir, Kevin Siringoringo, Andhika Bernard Lumbantobing

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 TOBA-LM通过自适应恩格拉姆记忆机制，在有限资源下高效训练多语语言模型，实现快速收敛和降低计算成本。

Comments 8 pages, 5 figures

Arbiter: Detecting Interference in LLM Agent System Prompts

Arbiter：检测LLM代理系统提示中的干扰

Tony Mason

机构 * the University of British Columbia（不列颠哥伦比亚大学） ； the Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 Arbiter通过结合形式评估规则和多模型LLM扫描，检测LLM代理系统提示中的干扰模式，发现152个问题并揭示漏洞类别差异。

Zombie Agents: Persistent Control of Self-Evolving LLM Agents via Self-Reinforcing Injections

僵尸代理：通过自我强化注入实现自我演化大语言模型代理的持续控制

Xianglin Yang, Yufei He, Shuo Ji, Bryan Hooi, Jin Song Dong

机构 * School of Computing National University of Singapore（计算学院新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究提出僵尸代理攻击，通过自我强化注入实现对自我演化大语言模型代理的持续控制，揭示内存演化可将一次间接注入转化为持久妥协，表明单一会话提示过滤防御不足。

Comments Published as a workshop paper in Lifelong Agent @ ICLR 2026

PRAM-R: A Perception-Reasoning-Action-Memory Framework with LLM-Guided Modality Routing for Adaptive Autonomous Driving

PRAM-R：一种具有LLM引导模态路由的感知-推理-行动-记忆框架，用于自适应自动驾驶

Yi Zhang, Xian Zhang, Saisi Zhao, Yinglei Song, Chengdong Wu, Nenad Petrovic, Alois Knoll

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 PRAM-R通过LLM引导的模态路由和分层记忆模块，实现高效自适应的多模态感知，提升自动驾驶的稳定性和效率。

REMem: Reasoning with Episodic Memory in Language Agent

REMem: 在语言代理中进行基于事件记忆的推理

Yiheng Shu, Saisri Padmaja Jonnalagedda, Xiang Gao, Bernal Jiménez Gutiérrez, Weijian Qi, Kamalika Das, Huan Sun, Yu Su

机构 * The Ohio State University（俄亥俄州立大学） ； Intuit AI Research（Intuit AI研究） 纠错

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.AI

AI总结 REMem通过两阶段框架提升语言代理的事件记忆构建与推理能力，显著优于现有系统。

Comments Accepted by The Fourteenth International Conference on Learning Representations (ICLR 2026) as poster

ParamMem: Augmenting Language Agents with Parametric Reflective Memory

ParamMem: 通过参数化反思记忆增强语言代理

Tianjun Yao, Yongqiang Chen, Yujia Zheng, Pan Li, Zhiqiang Shen, Kun Zhang

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.LG

AI总结 ParamMem通过参数化记忆模块提升语言代理的反思多样性，实现更高效的推理和跨任务迁移能力。

Comments 20 pages

AgentLAB: Benchmarking LLM Agents against Long-Horizon Attacks

AgentLAB: 对长周期攻击下LLM代理的基准测试

Tanqiu Jiang, Yuhui Wang, Jiacheng Liang, Ting Wang

机构 * Department of Computer Science, Stony Brook University, Stony Brook, USA（计算机科学系，石溪大学，石溪，美国） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 AgentLAB是一个专门评估LLM代理对长周期攻击易感性的基准，通过五种新型攻击类型和28个现实环境测试，揭示了LLM代理在长周期攻击中的脆弱性。

Logarithmic-time Schedules for Scaling Language Models with Momentum

用于大规模语言模型的对数时间调度

Damien Ferbach, Courtney Paquette, Gauthier Gidel, Katie Everett, Elliot Paquette

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.LG

AI总结 ADANA通过引入对数时间调度和阻尼机制，在大规模语言模型训练中提升性能和效率。

EAA: Automating materials characterization with vision language model agents

EAA: 用视觉语言模型代理自动化材料表征

Ming Du, Yanqi Luo, Srutarshi Banerjee, Michael Wojcik, Jelena Popovic, Mathew J. Cherukara

机构 * Argonne National Laboratory（阿贡国家实验室） ； Advanced Photon Source（先进光子源） ； Data Science and Learning Division（数据科学与学习 division） ； Department of Radiation Oncology（放射肿瘤学系） ； Northwestern University（西北大学） 纠错

专题命中 长上下文与记忆 ：language model(title)；LLM(abstract)；分类 cs.AI

AI总结 EAA利用视觉语言模型代理自动化材料表征，通过多模态推理和工具增强操作提升显微镜实验效率，减少操作负担并降低用户专业门槛。

Harnessing the Unseen: The Hidden Influence of Intrinsic Knowledge in Long-Context Language Models

挖掘未见：内在知识在长上下文语言模型中的隐性影响

Yu Fu, Haz Sameen Shahgir, Hui Liu, Xianfeng Tang, Qi He, Yue Dong

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 本文研究了长上下文语言模型中参数知识的影响，提出混合针在 haystack 测试以评估模型的双重能力，发现 Qwen-2.5 模型在结合多种能力方面表现更优。

Comments 17 pages,11figures (accepted to AAAI 2026)

Exploring Fine-Tuning for In-Context Retrieval and Efficient KV-Caching in Long-Context Language Models

探索针对长上下文语言模型的微调以实现上下文检索和高效的KV缓存

Francesco Maria Molfese, Momchil Hardalov, Rexhina Blloshmi, Bill Byrne, Adrià de Gispert

机构 * Sapienza University of Rome（罗马萨皮恩扎大学） ； Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 本文研究了长上下文语言模型在微调策略下的性能提升及KV缓存压缩下的鲁棒性，展示了领域内和跨领域任务中的不同表现。

Comments European Chapter of the Association for Computational Linguistics EACL 2026

Prometheus Mind: Retrofitting Memory to Frozen Language Models

Prometheus Mind：为冻结语言模型添加记忆

Mark Wind

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 Prometheus Mind通过11个模块化适配器为冻结的Qwen3-4B模型添加记忆，解决提取、训练、注入和隐藏状态崩溃四个问题，实现94.4%的检索准确率。

Comments 28 pages, corrected some inconsistentsies and some edits

Gated Sparse Attention: Combining Computational Efficiency with Training Stability for Long-Context Language Models

门控稀疏注意力：结合计算效率与训练稳定性以长上下文语言模型

Alfred Shen, Aaron Shen

机构 * Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI

AI总结 GSA通过结合门控和稀疏注意力机制，在提升长上下文语言模型计算效率的同时，显著增强了训练稳定性与模型质量。

Comments 15 pages, 1 figure, attention mechanism, sparse attention, gating, long-context

KeyDiff: Key Similarity-Based KV Cache Eviction for Long-Context LLM Inference in Resource-Constrained Environments

KeyDiff: 基于键相似性的KV缓存淘汰方法用于资源受限环境中的长上下文LLM推理

Junyoung Park, Dalton Jones, Matthew J Morse, Raghavv Goel, Mingu Lee, Chris Lott

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 KeyDiff是一种基于键相似性的KV缓存淘汰方法，能够在资源受限环境下高效处理长上下文LLM推理，减少缓存占用并提升响应效率。

Comments 37 pages, 19 figures, NeurIPS 2025

Investigating LLM Capabilities on Long Context Comprehension for Medical Question Answering

探究大语言模型在医疗问答中的长上下文理解能力

Feras AlMannaa, Talia Tseriotou, Jenny Chim, Maria Liakata

机构 * Istanbul Aydın University（伊斯坦布尔阿迪兰大学） ； Queen Mary University of London（伦敦女王学院） ； The Alan Turing Institute（艾伦·图灵研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL

AI总结 本研究探讨大语言模型在医疗问答中处理长上下文任务的能力，分析了模型大小、记忆问题及RAG方法的效果，揭示了其在不同任务中的优势与限制。

When KV Cache Reuse Fails in Multi-Agent Systems: Cross-Candidate Interaction is Crucial for LLM Judges

当KV缓存复用在多智能体系统中失效：跨候选者交互对LLM判断者至关重要

Sichu Liang, Zhenglin Wang, Jiajia Chu, Pengfei Xia, Hui Zang, Deyu Zhou

机构 * Southeast University（东南大学） ； Huawei Technologies Ltd（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL

AI总结 本研究揭示了在多智能体系统中KV缓存复用的失效模式，指出跨候选者交互对LLM判断者的重要性，强调了以判断者为中心的推理需要专门设计。

LLMs Can't Play Hangman: On the Necessity of a Private Working Memory for Language Agents

LLMs无法玩井字游戏：关于语言代理所需私人工作记忆的必要性

Davide Baldelli, Ali Parviz, Amal Zouaq, Sarath Chandar

机构 * Mila – Quebec AI Institute（魁北克人工智能研究所） ； Polytechnique Montréal（蒙特利尔大学） ； University of California, San Diego（加州大学圣地亚哥分校） ； LAMA-WeST Lab（LAMA-WeST实验室） ； Chandar Research Lab（Chandar研究实验室） 纠错

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.CL

AI总结 本文提出私人状态交互任务（PSITs）并证明标准LLMs无法在交互任务中保持秘密和一致性，提出包含显式私人工作记忆的架构以恢复一致性。