语言大模型 / LLM

MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning

MILES：用于自我改进的语言模型推理的具有可学习选择的模块化指令内存

Ruilin Tong, Dong Gong

机构 * University of New South Wales（新南威尔士大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对LLMs测试时推理问题，提出MILES框架，通过动态扩展内存及正确性优化的内存组合，利用模块化内存单元与可学习选择头实现粗到细检索机制，实验表明该框架在性能、效率及权衡上表现出色。

RUTA: Principled Visual Token Allocation via Rate-Utility Optimization

RUTA：基于率-效用优化的原则性视觉令牌分配方法

Jian Zou, Xiaoyu Xu, Zhihua Wang, Yilin Wang, Balu Adsumilli, Kede Ma

机构 * City University of Hong Kong（香港城市大学） ； Google Inc.（谷歌公司） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对视觉语言模型因长视觉令牌序列导致的LLM侧计算和内存成本过高问题，提出RUTA方法，仅用2.0%、4.2%的视觉令牌，分别在LLaVA-NeXT-7B、Qwen3-VL-8B上保留88.2%、94.4%的任务性能。

Formal Verification of an Out-of-Order Multiprocessor against an In-Order Weak-Memory ISA

针对顺序弱内存ISA的乱序多处理器形式验证

Janggun Lee, Jeehoon Kang

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究针对顺序弱内存ISA的乱序多处理器验证问题，核心方法是设计核心规范并分两步证明，主要贡献是首次实现此类形式验证，借助核心规范简化证明，且利用LLM代理自动编写证明。

From Blind Search to Memory-Aware Evolution: Efficient DBMS Tuning via Collaborative Diagnosis and Utility-Aware Retrieval

从盲目搜索到内存感知进化：通过协作诊断和效用感知检索实现高效数据库管理系统调优

Zhaoyan Hong, Yishen Sun, Xinyi Zhang, Zhentao Han, Jinhao Dong, Wei Lu, Kai Xu, Liu Tang, Qi Liu, Xiaoyong Du

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对多组件DBMS调优难题，EvoTune框架通过协作诊断定位高影响子空间，引入效用感知检索策略，将调优反馈组织成层次化内存，无需LLM微调，实验证明其性能优于现有基线，能快速提升查询性能。

General Non-Clairvoyant KV-Cache Scheduling via Regime-Aware Routing

通过状态感知路由实现通用的非先知式键值缓存调度

Yiding Feng, Siyu Liu, Zonghan Yang, Yuhao Zhang

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究硬KV缓存内存预算下批量LLM推理的非先知式调度，提出基于状态感知路由框架的常数竞争算法，能处理任意提示和响应长度，对完工时间和总完成时间有常数竞争保证。

Seeing and Reflecting: Multimodal Memory-Enhanced Agent Collaboration for Recommendation

视觉与反思：用于推荐的多模态记忆增强智能体协作

Hao Cong, Huizu Lin, Zihan Wang, Chengkai Huang, Quan Z. Sheng, Lina Yao

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对基于LLM的推荐系统局限，提出MMEACR框架，采用双轨记忆架构，通过属性引导机制更新记忆，构建多模态嵌入记忆，经加权倒数排名融合两轨道，实验证明其在多领域表现出色，尤其视觉推荐场景有显著提升。

Agentao: A Governed Local-First Runtime for Tool-Using LLM Agents

Agentao：面向使用工具的大语言模型智能体的受管控本地优先运行时

Bo Jin, Qiang Jiao, Xin Tong

机构 * The Third Research Institute of the Ministry of Public Security（公安部第三研究所） ； Bureau of Science and Technology Information Ministry of Public Security of the People’s Republic of China（中华人民共和国公安部科技信息局） ； School of Information and Cyber Security People’s Public Security University of China（中国人民公安大学信息与网络安全学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 针对工具使用型LLM智能体的安全管控需求，提出Agentao运行时，通过分层架构分离动作提案与授权执行，将权限等构建为显式抽象，提升智能体可管控性与可检查性。

Comments The code is publicly available at Github. We are conducting testing and analysis of this framework, and will provide experimental results and examples in future versions

Interpreting Language Model Hidden States at Scale

大规模语言模型隐藏状态的解释

Jordan Pettyjohn, Mansi Sakarvadia, Nathaniel Hudson, Daniel McKenzie, Kyle Chard, Ian Foster

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.AI

AI总结 研究人员提出OmniLens，一种可适配任意模型宽度激活的Lens方法，通过低秩翻译器和Subset-KL技术降低成本，在LLaMA-3.3-70B上构建482个Lens集成，以更低成本复现提示注入检测等案例研究的关键结果。

RIS-Kernel: A Model-Agnostic Architecture for Long-Context LLM Inference via Sparse Attention

RIS-Kernel：一种通过稀疏注意力实现长上下文语言模型推理的模型无关架构

Anderson R. Santos

机构 * Federal University of Uberlândia (UFU)（乌贝兰迪亚联邦大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对大语言模型全自注意力复杂度高限制长上下文分析的问题，提出RIS-Kernel模型无关架构，通过稀疏随机几何降低复杂度，经实验验证其在不同设置下的有效性及在普通CPU服务器上实现长上下文推理的可行性。

Comments 20 pages, 9 figures, 5 tables

BatchDAG: LLM-Planned Execution Graphs for Scalable Ad-Hoc Analysis Over Enterprise Data

BatchDAG：用于企业数据上可扩展即席分析的大语言模型规划执行图

Anupreet Walia

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对企业数据跨实体分析问题，提出BatchDAG系统，大语言模型生成操作DAG，经确定性引擎评估。通过实体感知批处理优化，减少大语言模型调用。实验显示其质量高、溯源性好，能高效处理查询，是通用编排层替代手工工作流程。

Comments 9 pages, 2 figures, 9 tables

Artificial Intelligence Models Can Predict and Collaboratively Modulate Human Memory Search

人工智能模型可预测并协同调节人类的记忆搜索

Eric Lacosse, Mariana Duarte, Graham Todd, Peter M. Todd, Daniel C. McNamee

机构 * Champalimaud Research（尚帕利莫德研究院） ； Champalimaud Centre for Restorative Neurotechnology（尚帕利莫德修复神经技术中心） ； New York University Tandon（纽约大学坦登工程学院） ； Indiana University（印第安纳大学） 纠错

专题命中 长上下文与记忆 ：SFT(abstract,abstract_cn)；LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 该研究探索LLMs在语义记忆搜索中追踪增强人类心理轨迹的能力，通过语义流畅性任务验证，发现LLMs追踪预测人类记忆轨迹的能力优于其他人类。

Comments 18 pages, 5 figures; includes Supplementary Information

Mitigating Over-Personalization in LLMs via Structured Memory

通过结构化内存缓解大型语言模型（LLM）中的过度个性化问题

Hakeem Hannoon, Andrew Zhao, Mihir Narayan, Sharvin Goyal, Ivaxi Sheth

机构 * University of Saskatchewan（萨斯喀彻温大学） ； University of California–Irvine（加州大学欧文分校） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Obra D. Tompkins High School（奥布拉·D.汤普金斯高中） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.AI

AI总结 该研究针对内存增强LLM的跨域泄漏和内存诱导谄媚问题，提出推理时按领域划分内存的结构化呈现方法，在PersistBench七个模型上平均降低8.8%跨域泄漏且保持实用性。

Learning Dynamic User Personas from Implicit Interaction Streams via Iterative Refinement

通过迭代优化从隐式交互流中学习动态用户画像

Haifeng Wu

机构 * PayPal（贝宝） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 针对现有个性化LLM依赖显式偏好监督的局限，提出IRIS框架，通过隐式交互流迭代优化用户画像，在Reddit AITA数据上的100位作者测试中，其决策预测准确率达61.0%，优于多种基线方法。

Comments 23 pages, 1 figure, 3 tables

Reality Monitoring in Large Language Models: Self-Knowledge That Transforms with Conversation Memory

大语言模型中的现实监测：随对话记忆而转变的自我认知

Saurabh Ranjan, Konstantina Sokratous, Brian Odegaard

机构 * University of Florida（佛罗里达大学） ； University of Missouri（密苏里大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中现实监测能力，通过两个实验和六个模型发现来源归因依赖对话记忆结构，反馈揭示模型存在内部外部判断互换、置信度与正确性脱钩等问题，表明评估模型知识时追踪来源很重要。

Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models

大规模提示设计：格式、指令数量和上下文长度如何影响大语言模型中的指令遵循和幻觉

Netanel Eliav

机构 * Machine Human Intelligence Lab (MHIL)（机器人类智能实验室） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究大语言模型提示设计中格式、指令数量和上下文长度对指令遵循及幻觉的影响，通过在合成语料库上的两个控制实验评估五个模型，揭示了不同因素下的表现及规律，还发布了相关工具和结果。

Comments 21 pages, 6 figures. Code and data: https://github.com/iNetanel/veyrabench

PARTREP: Learning What to Repeat for Decoder-only LLMs

PARTREP: 学习在仅解码器LLM中重复什么

Andikawati P Widjaja, Yongjun Kim, Hyounghun Kim, Jaeho Lee

机构 * Bandung Institute of Technology（万隆理工学院） ； Pohang University of Science and Technology（浦项科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.LG

AI总结 针对仅解码器LLM因果注意力导致的信息流不对称问题，提出PartRep方法，通过选择最不可预测的token进行重复，在保留大部分性能提升的同时显著降低KV缓存和预计算开销。

Comments 15 pages and 7 figures (including appendix)

G-Long: Graph-Enhanced Memory Management for Efficient Long-Term Dialogue Agents

G-Long：面向高效长期对话代理的图增强记忆管理

Minjun Choi, Yoonjin Jang, Sangwon Youn, Youngjoong Ko

机构 * Sungkyunkwan University（成均馆大学） 纠错

专题命中 长上下文与记忆 ：SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 提出G-Long框架，利用微调小语言模型进行结构化三元组提取和关联检索，并引入注意力感知重要性评分机制，在降低计算开销的同时，在响应生成和记忆检索上达到最优性能。

Comments 22 pages, 8 figures, 14 tables

Heterogeneous LLM Serving with General-Purpose Processing-Near-Memory for Retrieval-Based Sparse Attention

面向基于检索的稀疏注意力的通用近内存处理异构大语言模型服务

Hyungkyu Ham, Junhyeong Bae, Seungheon Lee, Myeongjae Jeon, Gwangsun Kim

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 本文针对前沿LLM的基于检索的稀疏注意力需求，提出异构解码服务系统KARAT，结合PNM与OFMS、CMR优化，大幅提升吞吐量与每TDP性能。

Isolated but Exposed: Persistence-Based Memory Extraction Attack on LLM Agents

孤立但暴露：基于持久性的大语言模型智能体内存提取攻击

Xinyu Gao, Wenyu Chen, Xiangtao Meng, Li Wang, Chuanchao Zang, Jianing Wang, Zheng Li, Shanqing Guo

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的智能体内存提取攻击，提出SPORE攻击方法，通过解耦对抗命令与检索锚点、优化覆盖空间及持久化有效载荷，突破内存隔离，实现高提取率，揭示仅靠内存隔离不足，需重审工具端信任边界。

Leveraging Resolved Incident History for LLM-Assisted Software Bug Diagnosis

利用已解决的事件历史进行大语言模型辅助的软件错误诊断

Boyuan Guan, Hailu Xu, Jamie Rogers

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究利用已解决事件历史进行软件错误诊断，提出OM-RAG方法，将问题索引为三元组并单跳嵌入检索先例，为大语言模型管理员提供支持，实验表明该方法在诊断准确率和修复正确性上优于其他方法。

Comments 6 pages, 3 figures, accepted at IEEE SMC 2026

Co-LMLM: Continuous-Query Limited Memory Language Models

Co-LMLM：连续查询有限记忆语言模型

Yair Feldman, Linxi Zhao, Nathan Godey, Dongyoung Go, Yilun Hua, Kilian Q. Weinberger, Jennifer J. Sun, Yoav Artzi

机构 * Department of Computer Science Cornell University（计算机科学系 哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出连续查询有限记忆语言模型CO-LMLM，通过将知识库的键与文本知识值配对，以低成本生成灵活向量查询，整合检索知识。经多数据集预训练和多模型规模测试，在困惑度和事实精度上优于同类模型。

Comments preprint

Training Hybrid Block Diffusion Language Models with Partial Bidirectionality

使用部分双向性训练混合块扩散语言模型

Pranshu Chaturvedi, Parth Shroff, Tarun Suresh, Hangoo Kang, Kaiyue Wen

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对大语言模型高吞吐量长上下文生成挑战，提出BDLM Mamba-attention混合模型，通过限制反向Mamba扫描到活动去噪块解决缓存问题，在长上下文推理中吞吐量有显著提升。

Comments 16 pages, 3 figures

VoiceMem: Streaming Dual-Brain Memory for Real-Time Interaction

VoiceMem：用于实时交互的双脑流式记忆系统

Zhifei Xie, Jiaqi Lang, Ze An, Yifan Zhao, Dongchao Yang, Kai Li, Ziyang Ma, Mingbao Lin, Chunyan Miao, Shuicheng Yan

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长上下文与记忆 ：SLM(summary_cn,abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出VoiceMem双脑流式记忆架构，构建完整流水线实现记忆感知SLM的训练、评估与部署，其在准确性、情感个性化及实时性上优势显著，为实时语音交互提供实用记忆基础。

Comments 18 pages, 9 figures, 6 tables

Nexus: Depth-Adaptive KV-Cache Splicing and Retrieval-Decoupled Tool Routing for Agentic LLMs on Unified Memory

Nexus：面向统一内存上智能体大语言模型的深度自适应KV缓存拼接与检索解耦工具路由

Mustafa Arslan

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Nexus针对MCP智能体LLM工具模式预填充主导TTFT的问题，通过检索解耦路由与预填充成本，结合深度自适应KV缓存拼接技术，实现了工具选择与参数生成的高效处理，提升了首token生成速度与上下文利用率。

Steganalysis of Adaptive Covert Collusion in Tool-Using Agent Populations: A Black-Box, Cross-Principal Approach

使用工具的智能体群体中自适应隐式合谋的隐写分析：一种黑盒跨主体方法

Mohamed Chahine Ghanem

机构 * Keele University（基尔大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对使用工具的LLM智能体群体的自适应隐式合谋，构建结合多类方法的黑盒隐写分析检测器，开展红蓝对抗实验，绘制检测容量边界并发现新的规避手段。

Comments 10 pages

Understanding Is Done Early: A Depth Division of Labor in Large Language Models and Its Use for Unbounded-Context Memory

理解在早期完成：大语言模型的深度分工及其在无界上下文记忆中的应用

Hanzuo Liu, Xuan Qi, Chunyu Liu, Haotian Zhong, Yulong Wang, Rayying, Key, Alex Lamb, Mingyu Gao

机构 * Tsinghua University（清华大学） ； Tencent（腾讯） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL

AI总结 该研究提出CoMem方法，利用大语言模型的深度分工构建无界上下文记忆，在RULER、LoCoMo等基准上性能优于全上下文KV-Direct，内存占用低、预填充速度快，证明长上下文记忆可沿层轴组织。

Comments 19 pages, 4 figures, 27 tables. Submitted to ACL Rolling Review

Back from the Future: Key-Value Cache Management by Counter-Causal Surprise

从未来回溯：基于反事实惊奇的键值缓存管理

Stephen Gould, Anton van den Hengel

机构 * Metacognition AI（元认知人工智能） ； Australian National University（澳大利亚国立大学） ； Adelaide University（阿德莱德大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 该研究针对LLM的KV缓存内存占用问题，提出基于反事实惊奇的KV驱逐方案及快速单层近似方法，在基准测试中性能优于或可与现有最优方法竞争。

Comments 17 pages, 5 figures

MedLoCoMo: A Long-Context Multi-Session Medical Dialogue Benchmark for Large Language Models

MedLoCoMo：用于大语言模型的长上下文多会话医学对话基准

Zeyu Zhang, Ziqing Wang, Kaize Ding

机构 * Northwestern University（西北大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.AI

AI总结 研究针对大语言模型在多入院医学对话临床推理方面的不足，构建MedLoCoMo基准，通过特定方法生成问答项目，含100个患者时间线，发现跨入院推理比局部证据使用难，提供代码和基准供使用与复现。

RAVEN: Agentic RAG for Automated Vulnerability Repair

RAVEN：用于自动化漏洞修复的智能体检索增强生成框架

Varun Gadey, Zijie Liu, Alexandra Dmitrienko

机构 * University of Duisburg-Essen（杜伊斯堡- Essen大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出RAVEN框架，集成智能体RAG管道与可控迭代修复，利用开源LLM实现跨类型、跨语言的自动化漏洞修复，在160个真实CVE上达到83.13%修复成功率。

Comments 17 Pages, 4 figures. Under review

Position: Hippocampal Explicit Memory Is the Cornerstone for AGI

立场：海马体显式记忆是通用人工智能的基石

Sangjun Park

机构 * Sangjun Park 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文主张，将显式记忆整合到大语言模型中是迈向通用人工智能的关键，因为LLM的学习机制类似人类内隐记忆，而高阶认知功能依赖海马体显式记忆。

Comments Accepted to ICML 2026 (Position Paper Track)