语言大模型 / LLM

Dual-Layer Agentic Memory with Fast Write Routing and Slow Consolidation

带有快速写入路由与慢速整合的双层智能体记忆

Wenzhi Li, Dong Nie, Rui Lan, Tongtong Lyu, Peiyao Wang, Lingzi Hong, Weihang Pan, Boyuan Pan, Yao Hu

机构 * Zhejiang University（浙江大学） ； Xiaohongshu（小红书） ； University of North Texas（北得克萨斯大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 该研究针对LLM智能体动态环境下的记忆管理问题，提出双层智能体记忆框架，通过成本感知路由与周期性整合实现高效记忆处理，在保留高检索性能的同时减少冗余。

RIBOSPAN: A Long-Context RNA Foundation Model for Versatile RNA Modeling

RIBOSPAN：用于多功能RNA建模的长上下文RNA基础模型

Ziyuan Wang, Bohao Tang, Fei Zhang, Shuo Han, Pengfei Liu

机构 * Shanghai Innovation Institute（上海创新研究院） ； Center for Excellence in Molecular Cell Science, CAS（中国科学院分子细胞科学卓越创新中心） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本研究提出支持10240nt上下文的长RNA基础模型RIBOSPAN，结合多种技术实现高分辨率长RNA建模，在多任务评估中达最优性能，并开发基于其主干的mRNA生成与优化框架。

Comments 21 pages, 5 figures

Don' t Box Me In: Dynamic Cultural Adaptation and Cognitive Tracking for Social Understanding

不要限制我：面向社会理解的动态文化适应与认知跟踪

Chongyuan Dai, Yaling Shen, Shengeng Tang, Hui Ma, Jinpeng Hu

机构 * Hefei University of Technology（合肥工业大学） ； Monash University（莫纳什大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract,abstract_cn)；language model(abstract,abstract_cn)；分类 cs.CL

AI总结 本文针对现有LLMs将文化建模为静态属性的局限，提出无需训练的DyCAC框架，结合动态文化适应与心理理论驱动的认知跟踪，在多元文化互动基准上展现出更优社会智能与适应性。

Comments EMNLP 2026 Findings

IDP AutoOpt: Agent-Driven Optimization of Document Processing Pipeline Configurations

IDP AutoOpt：智能文档处理流水线配置的智能体驱动优化

David Kaleko, Sergey Ivanov, Md Mofijul Islam

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 IDP AutoOpt是自主LLM智能体，通过闭环流程优化IDP流水线配置，在多领域任务上性能优于人类专家且成本更低，还可扩展至RAG等其他企业AI系统。

Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner

面向多模态智能体学习者的双粒度智能体记忆与Shapley上下文归因

Jieke Wang, Tiancheng Shen, Yibo Yang, Ming-Hsuan Yang

机构 * UC Merced（加州大学默塞德分校） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 针对多模态大模型推理不足的问题，提出双粒度智能体记忆框架DG-Mem，结合Shapley上下文归因，在多个数学多模态推理数据集上实现性能提升，且无需参数更新即可适配各类骨干模型。

Prime Agent: A Self-Improving RLM Harness

Prime Agent：一种自改进的RLM管控框架

Seth Karten, Alex L. Zhang, Kevin Thomas, Sebastian Müller, Elie Bakouch, Daniel Auras, Mika Senghaas, Fares Obeid, Konstantin Dunas, Johannes Hagemann, Sami Jaghouar

机构 * Princeton University（普林斯顿大学） ； MIT（麻省理工学院） ； Prime Intellect 纠错

专题命中 长上下文与记忆 ：language model(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 Prime Agent是一款开源RLM管控框架，通过标准化流程提升模型长周期能力，在ARC-AGI-3等任务中大幅提升性能，支持编码等工作流与并行化任务。

Comments 16 pages, 10 figures. Technical report. Code: https://github.com/PrimeIntellect-ai/prime-agent

DiaRelay: Relaying Dialogue Context with a Constant-Size Memory for Emotion Recognition in Conversation

DiaRelay：使用固定大小内存传递对话上下文以实现对话中的情感识别

Zihao Zhou, Bin Yang, Jinghui Qin, Kebing Jin

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出基于LoRA的轻量适配器DiaRelay，通过新增两个内存组件解决现有ERC方法的局限，在MELD、IEMOCAP数据集上取得良好效果，验证了其有效性与通用性。

A Physical Response-and-Memory Model for Muon Optimization

用于Muon优化器的物理响应-记忆模型

Yinze Hu, Hongjun Xiang, Xingao Gong, Hongyu Yu

机构 * School of Physics Science and Engineering, Tongji University（同济大学物理科学与工程学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文构建训练权重矩阵的物理响应-记忆模型，解释Muon优化器半正交化方向的有效性，提出Bi-Maxwell优化器，其双时间尺度记忆核可减少大型语言模型训练步数。

Comments 44 pages, 8 figures

Soft-NBCE: Entropy-Weighted Chunk Fusion for Long-Context

Soft-NBCE: 基于熵加权分块融合的长上下文处理

Shihao Ji, Mingyu Li, Zihui Song

机构 * Beijing Normal University（北京师范大学） ； Chunjiang Intelligence（春江智能） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对长上下文推理中硬选择策略导致语义碎片化的问题，提出Soft-NBCE，通过熵加权软融合和一致性蒸馏，在保持检索精度的同时提升多跳推理性能。

Comments Withdrawn due to serious concerns regarding the authenticity and accuracy of the listed authorship. The identity of one or more listed authors cannot presently be verified, and the author list may not represent distinct contributors. The manuscript is withdrawn pending institutional review

UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference

UT-ACA：基于不确定性触发的自适应上下文分配用于长上下文推理

Lang Zhou, Shuxuan Li, Zhuohao Li, Shi Liu, Wei-Shi Zheng, Zhilin Zhao

机构 * Sun Yat-sen University（中山大学） ； Shenzhen Loop Area Institude（深圳环城区域研究所） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 UT-ACA通过动态调整上下文窗口，减少长上下文推理中的上下文使用量，同时保持生成质量。

The Compaction Cliff in Long-Running AI Agent Memory

长期运行AI智能体记忆中的压缩 cliff

Saber Zerhoudi, Jelena Mitrovic, Michael Granitzer

机构 * University of Passau（帕绍大学） ； IT:U 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对AI智能体记忆压缩时安全规则保留率骤降的压缩cliff问题，提出Knowledge Triage框架，通过三类算子优化上下文管理，在多基准测试中优于现有方法，并发布了相关数据集与工具。

Journal ref Proceedings of the 35th ACM International Conference on Information and Knowledge Management (CIKM 2026)

Meta-Ctrl: Guaranteed Plan Generation by Decoupling Syntactic and Semantic Constraints

Meta-Ctrl：通过分离句法与语义约束实现带保证的规划生成

Gwen Yidou-Weng, Edward Sun, Tianyi Ma, Metin Alp Dogan, Benjie Wang, Allen Peng, Guy Van den Broeck, Yuchen Cui

机构 * Michigan State University（密歇根州立大学） ； University of California Los Angeles（加利福尼亚大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 Meta-Ctrl是一种约束解码框架，通过引入元标记分离句法与语义约束，在保证规划满足约束的同时保留语言模型的规划质量，在WAH-NL数据集和真实桌面机器人上均取得优于GPT-4的效果。

Context as an Environment: Programmatic Context Management for Long-Horizon Agents

上下文作为环境：面向长程智能体的程序化上下文管理

Yin Lin, Elaine Ang, Erkang Zhu, Bolin Ding, Jingren Zhou

机构 * Alibaba Group（阿里巴巴集团） ； Columbia University（哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出名为Scroll的上下文管理器，将智能体会话视为可执行环境，结合事件日志与Python内核实现程序化上下文管理，在多个长程智能体基准测试中大幅超越现有最优系统。

CodeMechanic: Bug-Property-Guided Program Mitigation

CodeMechanic：基于漏洞属性引导的程序缓解方案

Han Zheng, Rafaila Galanopoulou, Ilia Shumailov, Tianqi Fan, Aiden Hall, Dominik Maier, Mathias Payer

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 本文提出CodeMechanic系统，通过重构内存安全属性、插入故障停止保护等方法，在101个ARVO漏洞上生成更多合理且语义等价的补丁，同时降低token使用量。

Ludi${}_{\scriptscriptstyle 0.1}$: An Agentic System for Socially Intelligent Robots

Ludi₀.₁：面向社交智能机器人的智能体系统

Wooseong Chung, William Cong, Jakub Dworakowski, Ethan Ewer, Tri Wahyu Guntara, Yeonwoo Jeong, Tianchong Jiang, Chaewon Kim, Hyunseo Kim, Jinwoo Kim, Jinyeon Kim, Yea-Seul Kim, Jack Kunde, Kangwook Lee, Sangheon Lee, Robert Nowak, Junha Roh

机构 * Ludo Robotics（乐动机器人） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；foundation model(abstract)

AI总结 该研究提出Ludi₀.₁智能体系统，集成多技能与微调视觉语言模型，为社交智能机器人提供可行的人机协作方案，还可生成相关交互轨迹用于开发更融合的机器人基础模型。

OptiMAS: Automatically Optimize Multi-Agent System

OptiMAS：自动优化多智能体系统

Yuxin Cheng, Chang Liu, Hanxin Yu, Haochen Tan, Taiqiang Wu, Weiqiang Jin, Jie Ran, Kaibo Wang, Xiaoguang Li, Haoli Bai, Graziano Chesi, Ngai Wong

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 针对现有多智能体系统演化方法的权衡问题，提出基于ReAct的OptiMAS优化器，通过双轨记忆机制在四类基准上优于或媲美手工系统与现有演化方法，为自动化MAS演化奠定里程碑。

Comments EMNLP 2026

MemMark: State-Evolution Attribution Watermarking for Agent Long-Term Memory Systems

MemMark: 面向智能体长期记忆系统的状态演化归属水印

Haobo Zhang, Xutao Mao, Guangyuan Dong, Ziwei Li, Xuanbo Su, Kaijie Chen, Jing Yang, Zheng Lin

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 提出MemMark水印方法，通过嵌入所有者控制的信号到潜在记忆写入决策中，实现无需日志、可见输出或可信元数据的快照归属，并在多个基准上保持记忆效用。

Comments Accepted to findings of EMNLP 2026

SurgTEMP: Temporal-Aware Surgical Video Question Answering with Text-guided Visual Memory for Laparoscopic Cholecystectomy

SurgTEMP：基于文本引导的视觉记忆的时序感知手术视频问答系统用于腹腔镜胆囊切除术

Shi Li, Vinkle Srivastav, Nicolas Chanel, Saurav Sharma, Nabani Banik, Lorenzo Arboit, Kun Yuan, Pietro Mascagni, Nicolas Padoy

机构 * University of Strasbourg（斯特拉斯堡大学） ； CNRS（法国国家科学研究中心） ； INSERM（法国国家健康与医学研究院） ； ICube, UMR7357（ICube实验室，UMR7357） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)

AI总结 SurgTEMP通过文本引导的视觉记忆和时序感知模块，提升手术视频问答的性能，其核心方法是构建层次化的视觉记忆并采用手术能力进步训练方案，从而在复杂手术场景中实现更准确的问答与评估。

Comments 29 pages, 14 figures, 9 tables

Sigmoid Attention as a Better Substrate for Learned KV Cache Eviction

Sigmoid注意力作为学习型KV缓存驱逐的更优基础

Isaac, Li

机构 * University of Pittsburgh（匹兹堡大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG；foundation model(comments)

AI总结 本文探究注意力基础对学习型KV缓存驱逐软-硬转换的影响，通过2×2×2对比实验发现，Sigmoid注意力经学习型硬驱逐后，其门控模型删除KV条目时PPL变化可忽略，且比H₂O、KeyDiff等方法表现更优。

Comments Accepted at the ICML 2026 Workshop on Resource-Adaptive Foundation Model Inference (AdaptFM)

RSMeM: Knowledge-Enhanced Memory Evolution for Remote Sensing Agents with Systematic Evaluation

RSMeM：用于遥感智能体的知识增强记忆进化及系统评估

Bingxian Wu, Yu Zhang, Zonghao Guo, Tang Liu, Chen Qian, Yuxiang Lu, Xingbo Du, Yanghao Li, Yidan Zhang, Chi Chen, Ling Yao, Maosong Sun

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有遥感智能体问题，提出RSMeM机制，通过分层知识基础和失败感知经验提炼两个组件，迭代吸收领域知识转化为执行经验，经实验验证能提升工具使用性能和答案质量，具有强大知识密度。

Comments Accepted to ACL 2026 Main. 18 pages. Added links to the GitHub repository and ModelScope Studio below the title; technical content and results remain unchanged. Code: https://github.com/AI9Stars/RSMeM. Demo: https://modelscope.cn/studios/wbx929/RSMeM

CMI-Mem: Toward Generalizable Long-Term Memory Management via CMI-Augmented Reinforcement Learning

CMI-Mem：通过CMI增强的强化学习实现可泛化的长期内存管理

Yubo Wang, Qiuyu Zhao, Zenghui Sun, Shichao Dong, Jinsong Lan, Xiaoyong Zhu, Haoyang Li, Bo Zheng, Lei Chen

机构 * Alibaba Group（阿里巴巴集团） ； HKUST（香港科技大学） ； PolyU（香港理工大学） ； HKUST(GZ)（香港科技大学（广州）） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对现有内存管理器模型局限，提出基于强化学习的CMI-Mem模型，结合下游问答正确性与内在条件互信息CMI作为混合奖励，可评估新输入信息，补充而非取代问答基础，实现可泛化的长期内存管理。

ProxyFormer: A Dual-Stream Proxy Architecture for Ultra-Long Context and High-Resolution Generation

ProxyFormer：用于超长上下文和高分辨率生成的双流代理架构

Zhongpan Tang

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 ProxyFormer通过双流代理架构缓解超长上下文与高分辨率生成的注意力二次增长瓶颈，可扩展可训练序列长度至0.7M，在多针检索任务中保持高准确率，初步验证了其在图像生成中的可行性。

HERO: Human-profile Enhanced Retrieval Optimization Framework for Long-term Agent Memory

HERO：面向智能体长期记忆的人像增强检索优化框架

Yuanhua Lin, Yile Li, Zhiyuan Zhao, Jing Shang, Jian Sun

机构 * China Mobile Information Technology Co., Ltd.（中国移动信息技术有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI

AI总结 本研究提出HERO框架，通过异构记忆图保留原始对话文本，结合人像优化检索，在两个基准数据集上提升了智能体的事实与个性化推理性能。

Query-Driven Multimodal Information Extraction from Long Documents

面向长文档的查询驱动多模态信息抽取

Yikai Gao, Ding Xia, Xi Yang

机构 * School of Artificial Intelligence, Jilin University（吉林大学人工智能学院） ； Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 针对现有多模态长文档信息抽取范式的不足，本文提出查询驱动的图像-文本联合抽取任务，构建基准ITJoint并设计多智能体框架Q2IT，实验显示Q2IT性能显著优于独立VLMs但仍有提升空间。

MegaMem: A Retrieval Solution for Ultra-Large Context Windows

MegaMem：面向超大规模上下文窗口的检索解决方案

Xinyuan Song, Bowen Zhu, Hasibul Haque, Liang Zhao

机构 * Emory University（埃默里大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 MegaMem是一种双视图检索系统，可在有限生成上下文下实现数亿至10亿token的超大规模内存检索，在EnterpriseRAG-Bench上总体指标达82.26、正确性达86.50。

SkillEffect: Checked Lowering for Memory-Bounded Agent Tools

SkillEffect：面向内存受限智能体工具的经校验的降阶机制

Yinuo Wang, Yiyu Shi

机构 * Sichuan University（四川大学） ； University of Notre Dame（圣母大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出SkillEffect架构，通过经校验降阶运行时与独立校验器，在智能体工具调度时强制实施异构内存关系，可降低峰值内存并提升固定内存上限下的任务完成率。

FinAcumen: Financial Multimodal Reasoning via Self-Evolving Experience Memory Harness

FinAcumen: 通过自演化经验记忆实现的金融多模态推理

Pianran Guo, Pengcheng Zhou, Yucheng Jian, Shuhua Chen, Zhongliang Yang, Linna Zhou

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 提出FinAcumen框架，通过选择性经验记忆机制增强工具增强型多模态推理，在四个金融基准上持续提升冻结的8B视觉语言模型性能。

Do Value Vectors in Deep Layers Need Context from the Residual Stream?

深层中的值向量是否需要来自残差流的上下文？

Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

机构 * Independent（独立） ； Drexel University（德雷塞尔大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL

AI总结 研究通过提出Bank of Values（BoV）方法，在深层注意力层中使用无上下文的值向量来保留原始token信息，从而提升模型性能并减少计算和内存开销。

Comments 13 pages, 5 figures. Code: https://github.com/RiddleHe/nanochat

UniMem: Unifying Multimodal Memory and Control for Vision-Language-Action Models

UniMem：统一视觉-语言-动作模型的多模态记忆与控制

Lars Osterberg, Maggie Wang, Mac Schwager

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)

AI总结 UniMem 是统一多模态记忆与控制的视觉-语言-动作模型框架，通过事件分类器、关键帧编码器等技术，在模拟和硬件任务中性能优于基线，推理更快、训练流程更简单。

Benchmarking Retrieval-Augmented Generation Strategies for Large Language Model-Based Travel Mode Choice Prediction

面向基于大语言模型的出行方式选择预测的检索增强生成策略基准测试

Yiming Xu, Junfeng Jiao

机构 * School of Architecture, The University of Texas at Austin（德克萨斯大学建筑学院） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究开发将RAG集成到LLM出行方式选择预测的模块化框架，测试四种检索策略在三款LLM上的表现，发现结合均衡检索与交叉编码器重排序的GPT-4o准确率达80.8%，优于传统基线模型。