RippleKV: Cross-Layer KV Cache Allocation via Perturbation Propagation
RippleKV:基于扰动传播的跨层KV缓存分配
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI、cs.LG
AI总结 针对长上下文LLM推理的KV缓存分配问题,提出RippleKV方法,通过层值缓存扰动敏感性分配预算,在LongBench上的匹配缓存预算下实现了最高平均性能。
AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
RippleKV:基于扰动传播的跨层KV缓存分配
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI、cs.LG
AI总结 针对长上下文LLM推理的KV缓存分配问题,提出RippleKV方法,通过层值缓存扰动敏感性分配预算,在LongBench上的匹配缓存预算下实现了最高平均性能。
LatticeMind:面向多智能体系统的冲突感知记忆原语
机构 * University of Science and Technology of China(中国科学技术大学) ; University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) ; Shanghai AI Laboratory(上海人工智能实验室) ; Beijing University of Posts and Telecommunications(北京邮电大学) ; University of Oxford(牛津大学)
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.CL、cs.AI
AI总结 本研究提出冲突感知记忆原语LatticeMind,解决多智能体LLM系统的主张信任决策问题,在ConflictBank评估中准确率达0.97,显著优于基线, ablation验证了其核心组件的重要性。
PalmClaw:一种用于手机的原生设备上代理框架
机构 * The Hong Kong Polytechnic University(香港理工大学) ; Hangzhou Diagens Biotechnology Co., Ltd.(杭州迪基因生物技术有限公司)
专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI
AI总结 研究针对移动设备上代理框架存在的问题,提出PalmClaw开源框架,能在手机上原生运行并管理相关要素,将设备能力以工具形式呈现,实验显示该框架提升了任务成功率、缩短完成时间且降低设置负担。
AutoMem:自动化学习记忆作为认知技能
机构 * Stanford University(斯坦福大学)
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.CL、cs.AI
AI总结 提出AutoMem框架,通过双循环自动优化LLM的记忆管理结构和使用能力,在长时域任务中提升性能约2-4倍。
Comments Project Website: https://autolearnmem.github.io/
认知准确性的Token税:比较RAG与长上下文架构在文档基础生成式AI应用中的表现
机构 * Miami University(迈阿密大学) ; University at Buffalo(布法罗大学)
专题命中 长上下文与记忆 :large language model(abstract);language model(abstract);small language model(abstract);prompting(abstract)
AI总结 研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡,发现长上下文虽准确率更高(73.1% vs 65.4%),但Token成本增加26倍。
Comments 10 pages, 3 figures
基于图锚定交叉注意力Transformer神经网络的预测过程监控中结构约束完整事件序列生成
机构 * Department of Computer Science, University of Milan(米兰大学计算机科学系)
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI、cs.LG
AI总结 提出图锚定交叉注意力Transformer(GGATN),通过全局过程图作为结构化记忆、Transformer自注意力编码序列位置、图锚定交叉注意力注入过程拓扑,结合维特比式图约束解码,一次性生成完整事件序列,在六个基准日志上优于LLM基线。
Comments 40 pages
控制平面放置塑造遗忘:跨十三种系统配置的智能体记忆架构研究
机构 * DeepLethe
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.CL、cs.AI
AI总结 研究LLM在智能体记忆管道中的位置(控制平面 vs 召回平面)对遗忘失败模式的影响,通过13种配置在385例对抗测试集上的实验,揭示了三种放置机制的互补覆盖范围,并提出了ForgetEval评估套件。
Comments 25 pages including appendices. Code, benchmark, and adapters released under MIT at https://github.com/deeplethe/lethe
注意力扩展:利用注意力增强的上下文嵌入提升长文档关键短语提取
机构 * Institute for Research in Technology, ICAI School of Engineering, Comillas Pontifical University(技术研究所,ICAI工程学院,科米利亚斯宗座大学) ; DD-AIM, Senior Machine Learning Researcher(DD-AIM,高级机器学习研究员)
专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI
AI总结 提出注意力扩展机制,通过预训练词嵌入增强PLM的上下文表示,在不增加计算成本的情况下扩展有效上下文范围,显著提升长文档关键短语提取性能。
MetaEvo:一种基于经验驱动的智能体进化的元优化框架
机构 * School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院) ; Beijing Institute of Technology Southeast Academy of Information Technology(北京理工大学东南信息技术研究院)
专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG
AI总结 提出MetaEvo两阶段框架,通过偏好优化增强模型从任务经验中抽象原则的能力,并在模块化架构中积累复用,持续提升推理性能。
ParaASR:面向快速长上下文基于大语言模型的语音识别的多令牌预测
机构 * StepFun(阶跃星辰) ; NTU(南洋理工大学) ; PKU(北京大学) ; UNSW(新南威尔士大学) ; SJTU(上海交通大学) ; USTC(中国科学技术大学)
专题命中 长上下文与记忆 :LLM(title,abstract);language model(abstract)
AI总结 ParaASR是一款基于大语言模型的ASR系统,通过多令牌预测技术,在保持低错误率、低延迟的同时,支持32K长上下文及30分钟音频的快速转录,兼顾识别质量、速度与上下文长度。
Comments 14 pages, 3 figures, 4 tables
基于大语言模型衍生成分标签和多模态融合的食品图像分割
机构 * National Cheng Kung University(国立成功大学)
专题命中 长上下文与记忆 :LLM(title);large language model(abstract);language model(abstract)
AI总结 针对现有食品图像分割模型在相似成分和罕见类别上表现不佳的问题,提出两个多模态模块LIM-F和LIM-Q,利用大语言模型衍生标签提升分割性能,在FoodSeg103基准测试中取得领先,且内存消耗增加适度,为细粒度食品理解提供实用方案。
KaPilot:用于不安全Rust验证的大语言模型辅助Kani规范生成
专题命中 长上下文与记忆 :LLM(title);large language model(abstract);language model(abstract)
AI总结 研究针对不安全Rust内存安全验证规范编写难题,提出KaPilot多智能体框架,经轻量级分析、智能体协作及循环优化、策略筛选确定最佳规范,评估显示其在规范生成成功率和质量上优于AutoSpec。
审计有限记忆语言模型中的遗忘
机构 * University of California, Berkeley(加州大学伯克利分校)
专题命中 长上下文与记忆 :language model(title,abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 提出因果审计框架,通过改变推理时数据库状态分解删除后行为,发现参数泄漏接近零,残留主要来自近邻检索,遗忘边界主要由数据库管理员决定。
Comments 17 pages, 7 figures, 6 tables
锥形语言模型
机构 * Mila ; Cornell University(康奈尔大学) ; Université de Montréal(蒙特利尔大学) ; CIFAR AI Chair(CIFAR人工智能教席)
专题命中 长上下文与记忆 :language model(title,abstract);分类 cs.CL、cs.AI、cs.LG
AI总结 针对现有语言模型各层参数均匀分配的问题,提出锥形语言模型(TLM),在固定预算下单调递减层容量,实验表明MLP宽度按余弦调度锥形化可提升困惑度和下游性能。
PROSE: 基于视觉语言模型的无训练自我中心场景配准
机构 * ETH Zurich(苏黎世联邦理工学院) ; VGG, University of Oxford(牛津大学VGG实验室) ; ETH AI Center(苏黎世联邦理工学院人工智能中心)
专题命中 长上下文与记忆 :language model(title,abstract);foundation model(abstract)
AI总结 提出PROSE方法,利用预训练视觉语言模型将RGB序列提升为对象级3D场景图,通过对象高度先验和相同/不同查询匹配实例,无需训练或深度传感器即可实现自我中心场景配准,在Aria基准上超越几何和场景图基线。
Comments Project page: https://rckola.github.io/prose/
LLM图记忆的选择完整性:面向信息流盲检索的可累积性准则
专题命中 长上下文与记忆 :LLM(title,title_cn)
AI总结 针对图记忆检索中信息流控制盲区,提出可累积性准则,证明无源结构写入可导致不可逆转账被误导,并通过重分配性而非依赖性预测漏洞,提出认证子图重计算防御。
表格基础模型在流学习中的有界上下文管理
机构 * Seoul National University(首尔大学) ; KAIST(韩国科学技术院)
专题命中 长上下文与记忆 :foundation model(title,abstract);分类 cs.AI、cs.LG
AI总结 针对表格流学习中分布漂移问题,提出上下文管理策略CURE,通过不确定性门控准入和冗余感知驱逐管理上下文,在七个流上相对提升最高27.0%。
Comments Accepted as a spotlight oral (top 5%) at the 2nd ICML Workshop on Foundation Models for Structured Data (FMSD@ICML2026)
PolyMemDB:一款面向AI记忆管理的多语言数据库系统
机构 * University of Helsinki(赫尔辛基大学)
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI
AI总结 针对现有智能体记忆系统的存储碎片化与事实冲突问题,推出PolyMemDB多语言数据库系统,通过多语言存储架构与概率推理引擎管理智能体记忆,以减少LLM幻觉并提升个性化体验。
企业MCP网关的混合语义工具发现:架构与实现
专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI
AI总结 针对企业MCP网关的上下文饱和与工具发现难题,提出SCOUT方案,通过混合检索的MCP元工具实现优化,在PayPal生产环境中大幅降低工具令牌消耗与推理成本。
不要限制我:面向社会理解的动态文化适应与认知跟踪
机构 * Hefei University of Technology(合肥工业大学) ; Monash University(莫纳什大学)
专题命中 长上下文与记忆 :large language model(abstract,abstract_cn);language model(abstract,abstract_cn);分类 cs.CL
AI总结 本文针对现有LLMs将文化建模为静态属性的局限,提出无需训练的DyCAC框架,结合动态文化适应与心理理论驱动的认知跟踪,在多元文化互动基准上展现出更优社会智能与适应性。
Comments EMNLP 2026 Findings
PrimeAgentOrchestrator:用于个人AI基础设施的内存初始化智能体生成器
机构 * Peak Summit Labs(峰汇实验室)
专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI
AI总结 该研究提出PrimeAgentOrchestrator系统,生成预加载用户个人数据库相关记忆的Claude Code实例,并行查询两类记忆后端融合结果,管理智能体全生命周期,经四个月部署记录相关机制与工程权衡。
Comments 10 pages, 15 references, experience report
调优随机机器:面向人机工程的系统工程师运营模型
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI
AI总结 本文将LLM栈映射到系统工程师熟悉的机器组件,针对其运营机制缺失问题提出七项核心运营规范,结合实践案例与测量框架,为解决LLM纠正仅在会话内生效的问题提供方案。
Comments 8 pages, 3 figures. Experience report and operating model
CABLE:通过基于互补前项的链接与扩展扩展记忆检索的覆盖范围
机构 * Shanghai Jiao Tong University(上海交通大学) ; Shanghai Innovation Institute(上海创新研究院)
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.CL
AI总结 CABLE是一种插件式记忆检索增强模块,通过构建互补关联扩展检索覆盖范围,在多个模型和数据集上的系统级评估中提升了证据可及性的LLM评判分数。
Comments Accepted by COLM 2026
揭秘智能体技能:为何它们有效——直至失效
机构 * Princeton University(普林斯顿大学) ; UC San Diego(加州大学圣迭戈分校) ; Stanford University(斯坦福大学) ; University of Southern California(南加利福尼亚大学) ; Johns Hopkins University(约翰斯·霍普金斯大学)
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI
AI总结 该研究探究 LLM 智能体技能的有效与失效原因,通过对比实验与轨迹分析揭示技能的作用机制,发现其主要靠程序锚定稳定动作,还指出检索瓶颈等问题,为智能体评估与优化提供指导。
重试、切换还是弃权?通过受控错误注入学习策略感知的工具使用策略
机构 * Amazon(亚马逊)
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI
AI总结 该研究提出BENCH2ROBUST框架,结合BTM与课程强化学习,提升LLM智能体在工具故障下的稳健性,在零售任务中BTM可提稳健性16.8个百分点,二者结合达40.8-45.5%。
LinearKV:混合大语言模型中与位置无关缓存仅需一个缓存状态
机构 * Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI)) ; Shanghai Jiao Tong University(上海交通大学) ; University at Buffalo(纽约州立大学布法罗分校)
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI
AI总结 LinearKV 是一种无需训练的混合大语言模型与位置无关缓存框架,仅需单个缓存状态初始化,在三类混合模型、三类选择器上均优于或等效于同期的 HYPIC 方案,可大幅提升 LLM 服务效率。
EvoMem:用于代码优化的记忆增强进化算法
机构 * AXXX ; Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学) ; Applied AI Institute(应用人工智能研究院)
专题命中 长上下文与记忆 :LLM(summary_cn,abstract);分类 cs.AI
AI总结 EvoMem是用于LLM驱动的进化程序搜索的持久记忆架构,可捕获复用变异知识,在多任务基准测试中提升了目标指标或搜索速度,减少冗余探索。
智能体路由器:一种基于执行的带记忆的持续学习方法
机构 * Zhejiang University(浙江大学) ; Zhejiang Lab(之江实验室) ; State Grid Hebei Electric Power Co., Ltd.(国网河北省电力有限公司) ; Macau University of Science and Technology(澳门科技大学)
专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.AI
AI总结 该研究针对CLI-based SONiC操作,提出基于执行的双路径后果感知智能体,通过生成动作、预测后果、重排序选择,提升可行动作覆盖度与执行成功率,两条路径互补增益。
迈向元认知少样本间接提示注入:基于结果条件反射的策略抽象
专题命中 长上下文与记忆 :LLM(abstract,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL
AI总结 本文提出SAVOR方法,将攻击适配转向离线策略蒸馏,仅需一次目标智能体查询,在多基准与模型上攻击成功率显著优于现有方法,且记忆可跨防御迁移。
每个缓存条目都有其位置:KV缓存压缩的分辨率与覆盖范围的全局分配
专题命中 长上下文与记忆 :LLM(summary_cn);large language model(abstract);language model(abstract);分类 cs.LG
AI总结 针对LLM长上下文处理的KV缓存瓶颈,提出无需额外训练的GraceKV方法,通过全局资源分配平衡缓存的分辨率与覆盖范围,在32项实验设置中24项排名第一,128倍压缩仍稳健。