语言大模型 / LLM

Critic Experience Bank: Self-Evolving Step-Level Confidence Estimation for LLM Agents

评论家经验库：大语言模型智能体的自进化步骤级置信度估计

Yaopei Zeng, Congchao Wang, JianHang Chen, Nan Wang, Yurui Chang, Lu Lin

机构 * Pennsylvania State University（宾夕法尼亚州立大学） ； Virginia Tech（弗吉尼亚理工大学） ； Purdue University（普渡大学） ； Amazon AGI（亚马逊通用人工智能） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 研究大语言模型智能体的步骤级置信度估计问题，提出自进化评论家框架CEB，其通过积累自身过去判断及后果证据来估计置信度，无需训练和真实步骤标签，在多个基准和主干上校准和排名表现最佳。

Global Merger-Arbitrage Forecasting with Language Models

使用语言模型进行全球并购套利预测

Hinal Jajal, Michal Mucha, Charles Sweat, Chris Pulman, Charlie Flanagan, Peter Anderson

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL

AI总结 研究使用语言模型预测并购套利结果，结合专家指导上下文工程与基于事后推理痕迹的微调，在超400笔跨国大交易的样本外数据集上性能最佳，证明该方法在专业长上下文金融工作流中成功，相关因素起关键作用。

Comments Accepted to ICML 2026

ProfileFoundry: A Synthetic Person-Object Substrate for Privacy, Memory, and Tool-Use Evaluation in LLM Agent

ProfileFoundry: 用于LLM智能体隐私、记忆和工具使用评估的合成人物-对象基底

Sriram Selvam, Anneswa Ghosh

机构 * NVIDIA Corporation（英伟达公司） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出ProfileFoundry，一个确定性生成器，发布10万个合成成人人物对象，包含快照、家庭、雇主等字段及事件、关系边，用于下游基础模型评估中的记忆、隐私等任务。

Forget to Improve: On-Device LLM-Agent Continual Learning via Budget-Curated Memory

遗忘以改进：通过预算策划内存的设备端LLM智能体持续学习

Beining Wu, Zihao Ding, Jun Huang, Yanxiao Zhao

机构 * Apple（苹果） ； Google（谷歌） ； Microsoft（微软） ； Meta ； Alibaba（阿里巴巴） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.LG

AI总结 提出净价值每字节评分机制，在设备端智能体内存中权衡价值与危害，实现预算约束下的记忆保留、共享与信任决策，降低内存和上行带宽并防御注入攻击。

Prefilling-dLLM: Predictive Prefilling for Long-Context Inference in Diffusion Language Models

Prefilling-dLLM: 扩散语言模型中长上下文推理的预测性预填充

Jing Xiong, Qi Han, Shansan Gong, Yunta Hsieh, Chengyue Wu, Chaofan Tao, Chenyang Zhao, Ngai Wong

机构 * The University of Hong Kong（香港大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） ； LMSYS Org（LMSYS组织） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 针对扩散语言模型在长上下文中因重复编码前缀导致计算量二次增长的问题，提出Prefilling-dLLM框架，通过分块缓存KV表示并基于稀疏性选择相关块，实现高效解码，在LongBench等基准上达到最先进加速效果。

Comments Technical Report

Can Agent Memory Systems Track Evolving State?

智能体记忆系统能否追踪演化状态？

Xinyi Fan, Miri Liu, Ruozhen Yang, Siru Ouyang, Jiawei Han

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 该研究针对LLM智能体记忆系统的状态追踪能力不足问题，构建StateMemBench基准，提出StateMem方法，可显著提升当前状态准确率，且作为轻量包装器适配现有系统。

ERSkill: Evolving for Skill-Guided Adaptive Memory Retrieval

ERSkill：面向技能引导的自适应记忆检索的演化框架

Haolong Chen, Liang Zhang, Zhuo Li, Lei Xue, Guanrxu Zhu

机构 * Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Shenzhen Loop Area Institute（深圳河套学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 ERSkill是一个以检索为核心的自演化技能引导记忆访问框架，通过协同演化技能集与路由器，在多个智能体记忆基准上大幅超越基线，在两款模型上分别实现31.3%、28.1%的指标提升。

RippleKV: Cross-Layer KV Cache Allocation via Perturbation Propagation

RippleKV：基于扰动传播的跨层KV缓存分配

Dongjie Xu, Kai Qian, Julius, Weijie Shi, Yuxuan Sun, Minghua Tang, Fenglei Jin, Hanchi Dong, Jiajie Xu

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 针对长上下文LLM推理的KV缓存分配问题，提出RippleKV方法，通过层值缓存扰动敏感性分配预算，在LongBench上的匹配缓存预算下实现了最高平均性能。

LatticeMind: A Conflict-Aware Memory Primitive for Multi-Agent Systems

LatticeMind：面向多智能体系统的冲突感知记忆原语

Heng Zhou, Lian Zhang, Yutao Fan, Tiancheng He, Siki Chen, Hejia Geng, Philip Torr, Zhenfei Yin

机构 * University of Science and Technology of China（中国科学技术大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Shanghai AI Laboratory（上海人工智能实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Oxford（牛津大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出冲突感知记忆原语LatticeMind，解决多智能体LLM系统的主张信任决策问题，在ConflictBank评估中准确率达0.97，显著优于基线， ablation验证了其核心组件的重要性。

PalmClaw: A Native On-Device Agent Framework for Mobile Phones

PalmClaw：一种用于手机的原生设备上代理框架

Hongru Cai, Yongqi Li, Ran Wei, Wenjie Li

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Hangzhou Diagens Biotechnology Co., Ltd.（杭州迪基因生物技术有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究针对移动设备上代理框架存在的问题，提出PalmClaw开源框架，能在手机上原生运行并管理相关要素，将设备能力以工具形式呈现，实验显示该框架提升了任务成功率、缩短完成时间且降低设置负担。

AutoMem: Automated Learning of Memory as a Cognitive Skill

AutoMem：自动化学习记忆作为认知技能

Shengguang Wu, Hao Zhu, Yuhui Zhang, Xiaohan Wang, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 提出AutoMem框架，通过双循环自动优化LLM的记忆管理结构和使用能力，在长时域任务中提升性能约2-4倍。

Comments Project Website: https://autolearnmem.github.io/

The Token Tax of Epistemic Accuracy: Comparing RAG and Long-Context Architectures for Document-Grounded Generative AI Applications

认知准确性的Token税：比较RAG与长上下文架构在文档基础生成式AI应用中的表现

Austin Hamilton, Ryan Singh, Michael Wise, Ibrahim Yousif, Arthur Carvalho, Zhe Shan, Mohammad Mayyas, Lora A. Cavuoto, Fadel M. Megahed

机构 * Miami University（迈阿密大学） ； University at Buffalo（布法罗大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；small language model(abstract)；prompting(abstract)

AI总结 研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡，发现长上下文虽准确率更高（73.1% vs 65.4%），但Token成本增加26倍。

Comments 10 pages, 3 figures

Graph Grounded Cross Attention Transformer Neural Network for Structurally Constrained Full Event Sequence Generation in Predictive Process Monitoring

基于图锚定交叉注意力Transformer神经网络的预测过程监控中结构约束完整事件序列生成

Fang Wang, Ernesto Damiani

机构 * Department of Computer Science, University of Milan（米兰大学计算机科学系） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI、cs.LG

AI总结 提出图锚定交叉注意力Transformer（GGATN），通过全局过程图作为结构化记忆、Transformer自注意力编码序列位置、图锚定交叉注意力注入过程拓扑，结合维特比式图约束解码，一次性生成完整事件序列，在六个基准日志上优于LLM基线。

Comments 40 pages

Control-Plane Placement Shapes Forgetting: An Architectural Study of Agent Memory Across Thirteen System Configurations

控制平面放置塑造遗忘：跨十三种系统配置的智能体记忆架构研究

Dongxu Yang

机构 * DeepLethe 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究LLM在智能体记忆管道中的位置（控制平面 vs 召回平面）对遗忘失败模式的影响，通过13种配置在385例对抗测试集上的实验，揭示了三种放置机制的互补覆盖范围，并提出了ForgetEval评估套件。

Comments 25 pages including appendices. Code, benchmark, and adapters released under MIT at https://github.com/deeplethe/lethe

Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings

注意力扩展：利用注意力增强的上下文嵌入提升长文档关键短语提取

Roberto Martínez-Cruz, Alvaro J. López-López, José Portela

机构 * Institute for Research in Technology, ICAI School of Engineering, Comillas Pontifical University（技术研究所，ICAI工程学院，科米利亚斯宗座大学） ； DD-AIM, Senior Machine Learning Researcher（DD-AIM，高级机器学习研究员） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出注意力扩展机制，通过预训练词嵌入增强PLM的上下文表示，在不增加计算成本的情况下扩展有效上下文范围，显著提升长文档关键短语提取性能。

MetaEvo: A Meta-Optimization Framework for Experience-Driven Agent Evolution

MetaEvo：一种基于经验驱动的智能体进化的元优化框架

Bowen Ren, Heyan Huang, Yinghao Li, Yang Gao

机构 * School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） ； Beijing Institute of Technology Southeast Academy of Information Technology（北京理工大学东南信息技术研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MetaEvo两阶段框架，通过偏好优化增强模型从任务经验中抽象原则的能力，并在模块化架构中积累复用，持续提升推理性能。

ParaASR: Multi-Token Prediction for Fast and Long-Context LLM-Based Speech Recognition

ParaASR：面向快速长上下文基于大语言模型的语音识别的多令牌预测

Qingjian Lin, Yuxin Li, Haoyang Zhang, Jun Chen, Yechang Huang, Feng Tian, Xie Li, Xiangyu Tony Zhang, Daijiao Liu, Yuxin Zhang, Jinglan Gong, Bo Zhao, Fei Tian, Xuerui Yang, Gang Yu, Xiangyu Zhang, Daxin Jiang

机构 * StepFun（阶跃星辰） ； NTU（南洋理工大学） ； PKU（北京大学） ； UNSW（新南威尔士大学） ； SJTU（上海交通大学） ； USTC（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；language model(abstract)

AI总结 ParaASR是一款基于大语言模型的ASR系统，通过多令牌预测技术，在保持低错误率、低延迟的同时，支持32K长上下文及30分钟音频的快速转录，兼顾识别质量、速度与上下文长度。

Comments 14 pages, 3 figures, 4 tables

Food Image Segmentation with LLM-Derived Ingredient Labels and Multimodal Fusion

基于大语言模型衍生成分标签和多模态融合的食品图像分割

Jui-Feng Chi, Wei-Ta Chu, Sheng-Long Lin

机构 * National Cheng Kung University（国立成功大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 针对现有食品图像分割模型在相似成分和罕见类别上表现不佳的问题，提出两个多模态模块LIM-F和LIM-Q，利用大语言模型衍生标签提升分割性能，在FoodSeg103基准测试中取得领先，且内存消耗增加适度，为细粒度食品理解提供实用方案。

KaPilot: LLM-Assisted Generation of Kani Specifications for Unsafe Rust Verification

KaPilot：用于不安全Rust验证的大语言模型辅助Kani规范生成

Minghua Wang, Yuxi Ling, Mingzhi Gao, Yuwei Liu, Lin Huang

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 研究针对不安全Rust内存安全验证规范编写难题，提出KaPilot多智能体框架，经轻量级分析、智能体协作及循环优化、策略筛选确定最佳规范，评估显示其在规范生成成功率和质量上优于AutoSpec。

Auditing Forgetting in Limited Memory Language Models

审计有限记忆语言模型中的遗忘

Arya Raeesi, Hanna Roed

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出因果审计框架，通过改变推理时数据库状态分解删除后行为，发现参数泄漏接近零，残留主要来自近邻检索，遗忘边界主要由数据库管理员决定。

Comments 17 pages, 7 figures, 6 tables

Tapered Language Models

锥形语言模型

Reza Bayat, Ali Behrouz, Aaron Courville

机构 * Mila ； Cornell University（康奈尔大学） ； Université de Montréal（蒙特利尔大学） ； CIFAR AI Chair（CIFAR人工智能教席） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对现有语言模型各层参数均匀分配的问题，提出锥形语言模型（TLM），在固定预算下单调递减层容量，实验表明MLP宽度按余弦调度锥形化可提升困惑度和下游性能。

PROSE: Training-Free Egocentric Scene Registration with Vision-Language Models

PROSE: 基于视觉语言模型的无训练自我中心场景配准

Zhiang Chen, Nahyuk Lee, Boyang Sun, Taein Kwon, Marc Pollefeys, Zuria Bauer, Sunghwan Hong

机构 * ETH Zurich（苏黎世联邦理工学院） ； VGG, University of Oxford（牛津大学VGG实验室） ； ETH AI Center（苏黎世联邦理工学院人工智能中心） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；foundation model(abstract)

AI总结 提出PROSE方法，利用预训练视觉语言模型将RGB序列提升为对象级3D场景图，通过对象高度先验和相同/不同查询匹配实例，无需训练或深度传感器即可实现自我中心场景配准，在Aria基准上超越几何和场景图基线。

Comments Project page: https://rckola.github.io/prose/

Selection Integrity for LLM Graph Memory: An Accumulability Criterion for Information-Flow-Blind Retrieval

LLM图记忆的选择完整性：面向信息流盲检索的可累积性准则

Zeming Fei, Hongming Fei, Xiaoyang Wang, Yang yang, Prosanta Gope, Biplab Sikdar, Ying Zhang

专题命中 长上下文与记忆 ：LLM(title,title_cn)

AI总结 针对图记忆检索中信息流控制盲区，提出可累积性准则，证明无源结构写入可导致不可逆转账被误导，并通过重分配性而非依赖性预测漏洞，提出认证子图重计算防御。

Bounded Context Management for Tabular Foundation Models on Stream Learning

表格基础模型在流学习中的有界上下文管理

Jinmo Lee, Doyun Choi, Moongi Choi, Jaemin Yoo

机构 * Seoul National University（首尔大学） ； KAIST（韩国科学技术院） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 针对表格流学习中分布漂移问题，提出上下文管理策略CURE，通过不确定性门控准入和冗余感知驱逐管理上下文，在七个流上相对提升最高27.0%。

Comments Accepted as a spotlight oral (top 5%) at the 2nd ICML Workshop on Foundation Models for Structured Data (FMSD@ICML2026)

Tuning the Stochastic Machine: A Systems Engineer's Operating Model for Human-AI Engineering

调优随机机器：面向人机工程的系统工程师运营模型

George Andrikopoulos

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 本文将LLM栈映射到系统工程师熟悉的机器组件，针对其运营机制缺失问题提出七项核心运营规范，结合实践案例与测量框架，为解决LLM纠正仅在会话内生效的问题提供方案。

Comments 8 pages, 3 figures. Experience report and operating model

CABLE: Extending the Reach of Memory Retrieval via Complementary Antecedent-Based Linking and Expansion

CABLE：通过基于互补前项的链接与扩展扩展记忆检索的覆盖范围

Zheling Tan, Jin Gao, Dequan Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL

AI总结 CABLE是一种插件式记忆检索增强模块，通过构建互补关联扩展检索覆盖范围，在多个模型和数据集上的系统级评估中提升了证据可及性的LLM评判分数。

Comments Accepted by COLM 2026

Demystifying Agent Skills: Why They Work-Until They Don't

揭秘智能体技能：为何它们有效——直至失效

Zhiyuan Jiang, Fangrui Huang, Hanwen Xing, Xander Wu, Yipeng Gao, Rui Cao, Mengdi Wang, Shilong Liu, Yijiang Li

机构 * Princeton University（普林斯顿大学） ； UC San Diego（加州大学圣迭戈分校） ； Stanford University（斯坦福大学） ； University of Southern California（南加利福尼亚大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 该研究探究 LLM 智能体技能的有效与失效原因，通过对比实验与轨迹分析揭示技能的作用机制，发现其主要靠程序锚定稳定动作，还指出检索瓶颈等问题，为智能体评估与优化提供指导。

Retry, Switch, or Abstain? Learning Strategy-Aware Tool-Use Policies via Controlled Error Injection

重试、切换还是弃权？通过受控错误注入学习策略感知的工具使用策略

Chaoran Chen, Vy Nguyen, Ziji Zhang, Abhinav Gullapalli, Ziyi Wang, Yuxuan Lu, Dakuo Wang, Jing Huang, Zhou Yu, Jin Lai

机构 * Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 该研究提出BENCH2ROBUST框架，结合BTM与课程强化学习，提升LLM智能体在工具故障下的稳健性，在零售任务中BTM可提稳健性16.8个百分点，二者结合达40.8-45.5%。

LinearKV: One Cached State Suffices for Position-Independent Caching in Hybrid LLMs

LinearKV：混合大语言模型中与位置无关缓存仅需一个缓存状态

Yirui Liu, Ruoling Qi, Longwen Wang, Xuaner Wu, Jian Chen, Yuxin Jin, Jiawei Shao, Xuelong Li

机构 * Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI）） ； Shanghai Jiao Tong University（上海交通大学） ； University at Buffalo（纽约州立大学布法罗分校） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 LinearKV 是一种无需训练的混合大语言模型与位置无关缓存框架，仅需单个缓存状态初始化，在三类混合模型、三类选择器上均优于或等效于同期的 HYPIC 方案，可大幅提升 LLM 服务效率。

EvoMem: Memory-Augmented Evolution for Code Optimization

EvoMem：用于代码优化的记忆增强进化算法

Viktor Volkov, Valentin Khrulkov, Andrey V. Galichin, Danil Sivtsov, Nikita Glazkov, Olga Volkova, Konstantin Pchelin, Iaroslav Bespalov, Dmitry V. Dylov, Petr Anokhin, Ivan Oseledets

机构 * AXXX ； Lomonosov Moscow State University（莫斯科罗蒙诺索夫国立大学） ； Applied AI Institute（应用人工智能研究院） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.AI

AI总结 EvoMem是用于LLM驱动的进化程序搜索的持久记忆架构，可捕获复用变异知识，在多任务基准测试中提升了目标指标或搜索速度，减少冗余探索。