语言大模型 / LLM

Corrigendum and Supplement to "Improve Language Modelling for Code Completion through Learning General Token Repetition of Source Code (with Optimized Memory)"

Yixiao Yang

专题命中 长上下文与记忆 ：language model(title)

Comments This paper contains the supplement to the implementation details of the origin paper

Search for bottleneck effects in Penna ageing and Schulze language model

Krzysztof Malarz, Dietrich Stauffer

专题命中 长上下文与记忆 ：language model(title)

Comments RevTeX4, 2 pages, 2 figures with 3 eps files

Journal ref Adv. Complex Syst. 11 (2008) 165

Meta-Ctrl: Guaranteed Plan Generation by Decoupling Syntactic and Semantic Constraints

Meta-Ctrl：通过分离句法与语义约束实现带保证的规划生成

Gwen Yidou-Weng, Edward Sun, Tianyi Ma, Metin Alp Dogan, Benjie Wang, Allen Peng, Guy Van den Broeck, Yuchen Cui

机构 * Michigan State University（密歇根州立大学） ； University of California Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 Meta-Ctrl是一种约束解码框架，通过引入元标记分离句法与语义约束，在保证规划满足约束的同时保留语言模型的规划质量，在WAH-NL数据集和真实桌面机器人上均取得优于GPT-4的效果。

PuzzleKV: Page-Wise Low-Rank Decomposition for KV Cache Compression

PuzzleKV：用于KV缓存压缩的按页低秩分解

Zizhong Wang, Jieying Wang, Zhao Zhang, Jiajia Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 PuzzleKV将KV缓存划分为固定长度逻辑页，以页为独立压缩单元，在匹配存储预算下实现高压缩率与近似完整KV的性能，在RULER、LongBench等基准上表现优于Global SVD。

The Compaction Cliff in Long-Running AI Agent Memory

长期运行AI智能体记忆中的压缩 cliff

Saber Zerhoudi, Jelena Mitrovic, Michael Granitzer

机构 * University of Passau（帕绍大学） ； IT:U 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对AI智能体记忆压缩时安全规则保留率骤降的压缩cliff问题，提出Knowledge Triage框架，通过三类算子优化上下文管理，在多基准测试中优于现有方法，并发布了相关数据集与工具。

Journal ref Proceedings of the 35th ACM International Conference on Information and Knowledge Management (CIKM 2026)

Context as an Environment: Programmatic Context Management for Long-Horizon Agents

上下文作为环境：面向长程智能体的程序化上下文管理

Yin Lin, Elaine Ang, Erkang Zhu, Bolin Ding, Jingren Zhou

机构 * Alibaba Group（阿里巴巴集团） ； Columbia University（哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出名为Scroll的上下文管理器，将智能体会话视为可执行环境，结合事件日志与Python内核实现程序化上下文管理，在多个长程智能体基准测试中大幅超越现有最优系统。

SDAD: Spec-Driven Agentic Development for the AI-Native SDLC

SDAD：面向AI原生软件开发生命周期的规范驱动智能体开发

Vu Hung Nguyen, Thanh Nguyen

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究提出规范驱动智能体开发（SDAD）模型，对比传统敏捷开发，扩展团队角色、量化治理等，论证智能体开发需将工程规范转移至上游规范环节。

MemWM: Memory-Augmented Text-Based World Model

MemWM：记忆增强的基于文本的世界模型

Yujun Wang, Tao Zhang, Jinhe Bi, Aniri, Wenxuan Ye, Boliang Liu, Sikuan Yan, Shuning Wang, Xuebing Zhou, Sören Pirk, Hinrich Schütze, Yunpu Ma

机构 * LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Huawei Heisenberg Research Center（华为海森堡研究中心） ； Zhejiang University（浙江大学） ； Technical University of Munich (TUM)（慕尼黑工业大学） ； TU Berlin（柏林工业大学） ； Kiel University（基尔大学） 纠错

专题命中 长上下文与记忆 ：SFT(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出记忆增强的基于文本的世界模型MemWM，通过引入世界记忆解决世界模型的系统性预测错误，在ALFWorld等基准上提升智能体规划成功率与效率。

Comments Accepted to EMNLP 2026 (Main Conference)

Significant Other AI: Identity, Memory, and Emotional Regulation as Long-Term Relational Intelligence

重要他人AI：身份、记忆与情绪调节作为长期关系智能

Sung Park

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SO-AI作为关系AI的新领域，旨在通过身份、记忆和情绪调节等功能，增强人与AI的长期关系稳定性。

Journal ref 2026 7th International Conference on Machine Learning and Human-Computer Interaction (MLHMI), pp. 151-155, 2026

The First Drop of Ink: Nonlinear Impact of Distracting Information in Long-Context Reasoning

第一滴墨水：误导信息在长上下文推理中的非线性影响

Muhan Gao, Zih-Ching Chen, Kuan-Hao Huang

机构 * Department of Computer Science ； Engineering, Texas A\&M University, College Station, TX, USA ； NVIDIA AI Technology Center, NVIDIA Corporation, Santa Clara, CA, USA 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究探讨了误导信息在长上下文推理中的非线性影响，发现误导信息比例增加时，性能在初期急剧下降，后续变化较小。通过理论和实证分析，揭示了误导信息对注意力的 disproportionate 影响，并指出过滤收益主要来自减少上下文长度而非去除误导信息。

Sanyu Studio: A Multi-Agent System for Art-Historical Narrative Construction

三语工作室：用于艺术史叙事构建的多智能体系统

Zhaoxi Wei, Hongye Yang, Shuyuan Tian

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出Sanyu Studio多智能体系统，将321幅常玉油画建模为具备特定机制的智能体，经7天工作坊验证，其可在历史证据有限时放大人类能动性，为公众提供艺术史解读的交互式入口。

Comments 12 pages, 8 figures, 2 tables

ContextSniper: AntTrail's Token-Efficient Code Memory for Repository-Level Program Repair

ContextSniper: AntTrail的令牌高效代码记忆用于仓库级程序修复

Chiwang Luk, Matin Mohammad Najafi, Zhifeng Jia, Wei Yang, Xiuchang Li, Jinwei Zhu, Yang Ren, Lei Chen, Gao Cong

机构 * Huawei（华为） ； HKUST(GZ)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ContextSniper，一种令牌高效的代码记忆层，通过精准证据选择、混合检索排序和意图感知上下文门控，在SWE-bench Lite上减少51.5%令牌使用和36.4%成本，修复率仅轻微下降。

ArborMem: Navigating Interaction States with Memory Forests

ArborMem：用记忆森林导航交互状态

Zongwei Lv, Yuemeng Xu, Yilun Yao, Siyi Ding, Xinyu Tan, Yaoming Li, Guangxiang Zhao, Weihong Lin, Lin Sun, Xiangzheng Zhang, Tong Yang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 ArborMem是一种在线记忆框架，将对话表示为可导航的交互状态森林，在LongMemEval等基准上优于最强基线，还引入了分支结构诊断基准BranchMemEval。

Comments 24 pages, 2 figures

Don't Drop the BATON: Long-Horizon Robot Manipulation via Agentic Subtask Exploration and Transition-aware Memory

不要放弃BATON：通过智能体子任务探索和感知转换的记忆实现长程机器人操作

Bingxin Xu, Yuzhang Shang, Emilio Ferrara

机构 * University of Southern California（南加州大学） ； University of Central Florida（中佛罗里达大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对长程机器人操作的误差累积与子任务转换问题，提出BATON方法，通过子任务探索与感知转换记忆，在RoboMemArena基准上提升任务成功率11.6%、累计成功率14.9%。

Noesis: Bidirectional Graph-RAG with Adaptive Parallelism and Cross-Knowledge-Base Semantic Discovery

Noesis：具备自适应并行性与跨知识库语义发现的双向图检索增强生成

Nicola Cogotti

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出具备自适应并行性与跨知识库语义发现的双向图检索增强生成架构Noesis，通过四种算法解决现有Graph-RAG系统的三类局限，在HotpotQA数据集上超越GraphRAG，实现更优性能。

Comments 14 pages, 6 figures, 4 tables. Patent pending

Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents

利用记忆：记忆智能体中记忆载体的整体评估

Wei-Chieh Huang, Weizhi Zhang, Yuchen Wu, Yankai Chen, Eric Hanchen Jiang, Wooseong Yang, Yiwei Yang, Henry Peng Zou, Hanrong Zhang, Ying Nian Wu, Haolun Wu, Kai-Wei Chang, Philip S. Yu, Xue Liu, Aylin Caliskan

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； University of Washington（华盛顿大学） ； McGill University（麦吉尔大学） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； University of California, Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究评估了记忆智能体的多种记忆载体，发现无通用最优载体，不同载体适配不同场景，为自适应智能体记忆系统设计提供了实证指导。

When Your Agent Opens the Chat App: Agent-Controlled Search over Raw Chat Logs Rivals Structured Memory

当你的智能体打开聊天应用时：智能体控制的原始聊天日志搜索可与结构化记忆相媲美

Ruizhe Li, Licheng Zhang, Benfeng Xu, Mingxuan Du, Zheren Fu, Weidong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； MetaStone Technology（MetaStone科技公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究提出无语义结构的智能体控制搜索界面ReFind，在MemoryAgentBench等任务上，其检索准确率优于HippoRAG 2等结构化记忆系统，证明可控词汇检索可替代复杂记忆结构实现高效会话记忆任务。

HERMES: a multi-agent framework for structured knowledge extraction from ultra-long documents in geoscience

HERMES：用于从地球科学超长文档中提取结构化知识的多智能体框架

Ziqi Song, Zongyuan Xiang, James G. Ogg, Bruce S. Lieberman, Gabi Ogg, Natalia López Carranza, Wen Du, Yufei Ye, Shuan Li, Zhong Peng, Shaoqi Yu, Juye Wei, Ying Zhou, Jieping Ye, Jiang Yang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究提出HERMES多智能体框架，可从地球科学超长文档中提取结构化知识，在《无脊椎古生物学论著》上的实验显示其性能稳定、效率高且跨领域迁移性好，为历史文献结构化提供了可行途径。

Comments 31-page main manuscript with 6 figures and 3 tables; supplementary information included

Handover of In-Context Learning State Across Session Boundaries

跨会话边界的上下文学习状态移交

Masahiro Kato, Taka Kato

机构 * Mizuho-DL Financial Technology（瑞穗数字金融科技） ； the University of Tokyo（东京大学） ； RIKEN AIP（理化学研究所人工智能项目） ； Osaka Metropolitan University（大阪公立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究针对大语言模型应用的会话移交问题，提出三部分记录方法，结合高斯线性与非参数回归，为移交的信息保留及记忆需求提供理论与方法。

Decoding Student Minds: Leveraging Conversational Agents for Psychological and Learning Analysis

解码学生心智：利用对话代理进行心理和学习分析

Nour El Houda Ben Chaabene, Hamza Hammami, Laid Kahloul

机构 * STIH Laboratory, Sorbonne University（索邦大学STIH实验室） ； LIPAH-LR11ES14, National Engineering School of Tunis（突尼斯国家工程学院LIPAH-LR11ES14） ； Faculty of Sciences of Tunis（突尼斯科学学院） ； LINFI Laboratory（LINFI实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种结合多模态数据和语义推理的对话代理，用于实时分析学生认知和情感状态，提升学习表现和情感福祉。

A Hierarchical Energy-Based Model for Multimodal Cognition

面向多模态认知的分层能量基模型

Subir Varma

专题命中 长上下文与记忆 ：LLM(abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 该研究提出IM-LEPP多模态能量基模型，扩展单模态LEPP整合视觉与语言，能解释注意现象、复现心理语言学发现，还与Transformer模型形成可证伪对比并提出实验预测。

Comments 48 pages, 14 figures

vToken: Token-Level Virtualization for Reclaimable KV Caches

vToken：用于可回收KV缓存的令牌级虚拟化技术

Yuanhang Gao, Xiangrui Yang, Yuanfeng Chen, Hongjia Chen, Qianru Lv, Wenfei Wu, Dongsheng Li

机构 * National University of Defense Technology（国防科技大学） ； Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 vToken是一种轻量级令牌级虚拟化层，可解耦逻辑令牌活性与物理块放置，在保留PagedAttention兼容性的同时，提升KV缓存回收效率与服务吞吐量，降低策略集成代码量。

Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

变压器动力学中的红外组织与临界认知场形成

Byung Gyu Chae

机构 * Electronics and Telecommunications Research Institute（电子和电信研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究大语言模型中Transformer动力学集体行为的物理机制，利用Pythia语言模型提取弛豫谱，定量测量相关指标，发现其动力学受红外集体组织支配，红外慢模式组织是普遍集体原则。

Comments 55 pages, 47 figures

StreamFlow: Dynamic Memory Flows for Streaming Video Understanding

StreamFlow：用于流视频理解的动态内存流

Muxin Fu, Yifan Zhang, Wentao Zhang, Fangming Guo, Qian Chen, Guibin Zhang, Shuicheng Yan, Bo An

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 StreamFlow是一种动态视觉内存框架，通过中期内存过滤冗余、长期内存整合潜变量及注意力检索，在流视频理解任务中实现最优性能，同时提升视觉依据性并降低延迟与内存。

From Faulty Memories to Corrected Actions: Dependency-Guided Rollback Repair for Memory-Augmented Agents

从错误记忆到修正行动：记忆增强智能体的依赖引导回滚修复

Caili Yu, Yiqi Wang, Jiaqi Zhang, Yiqun Duan, Mingkai Zheng, Zhangkai Wu, Kaize Shi, Taotao Cai

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对记忆增强智能体的错误记忆问题，提出依赖引导回滚修复方法，在150案例受控基准和50案例改编测试中，均优于对比方法，实现了更优的记忆恢复效果与成本权衡。

TideRL: Boosting Agentic RL Goodput with Readiness-Aware Scheduling

TideRL：通过就绪感知调度提升智能体强化学习的有效吞吐量

Yanyu Ren, Xizheng Wang, Xiao Liu, Bowen Lv, Hanchen Zhang, Shudan Zhang, Hanyu Lai, Shuai Wang, Li Chen, Dan Li, Jie Tang

机构 * Tsinghua University（清华大学） ； Zhongguancun Laboratory（中关村实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 TideRL是一种就绪感知弹性RL系统，通过CTB、RA²P和ERS技术，在多轮智能体工作负载上大幅提升RL训练有效吞吐量，同时优化KV缓存命中率、训练时间和等待时间。

Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling

Transformer中的位置编码：从绝对与相对方法到旋转位置嵌入及长上下文扩展

Jiguo Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本技术综述梳理 Transformer 各类位置编码方法，推导 RoPE 原理并对比不同方法特性，研究长上下文扩展方案，明确长上下文泛化能力需多任务评估。

Comments 14 pages, a cookbook for students and junior researchers

Blast Radius

爆炸半径

MY Pitsane, Hope Mogale

机构 * Algorithm Reconnaissance Division（算法侦察部） ； Mankind Research Labs（人类研究实验室） ； North-West University（西北大学） ； University of Pretoria（比勒陀利亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对智能体编码的令牌浪费问题，提出Blast Radius内存管理层，结合NECROPHORESIS与RDM实现可逆上下文驱逐，在7个OpenAI模型上降低令牌消耗17%-26%，提升编码可持续性。

Memory-Augmented Reinforcement Learning Agent for CAD Generation

具有记忆增强的强化学习代理的CAD生成

Yin Xiaolong, Liu Yu, Shen Jiahang, Lu Xingyu, Ni Jingzhe, Fan Fengxiao, Sang Fan

机构 * Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种记忆增强的强化学习框架，用于生成CAD模型，通过引入强化学习进行检索和策略优化，有效避免了检索陷阱，提高了复杂CAD模型生成的成功率和几何一致性。

Comments We are withdrawing this manuscript because we have identified issues in the current analysis that require substantial revision. Until these issues are resolved, we do not consider the present version suitable for citation

Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities

标记化溢价的衡量：服务不足语言社区的成本审计

Avijit Roy, Proma Roy, Hrishitva Patel

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过构建标记化公平审计（TEA）基准，测量了孟加拉语、印地语等5种语言的标记化溢价，发现标记化会给服务不足语言社区带来经济和功能障碍，凸显需重视标记化的公平性。

Comments Accepted at IJCAI 2026 Workshop (https://lm4uc.github.io/)