语言大模型 / LLM

Towards robust long-context understanding of large language model via active recap learning

通过主动回顾学习实现大语言模型长上下文理解的鲁棒性

Chenyu Hui

机构 * School of Microelectronics（微电子学院） ； Xi'an Jiaotong University（西安交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

AI总结 本文提出主动回顾学习方法，通过生成和利用回顾性总结提升大语言模型对长上下文的理解能力，在RULER和LongBench上分别取得26.8%和9.44%的提升。

Comments 5 pages

LLM-as-RNN: A Recurrent Language Model for Memory Updates and Sequence Prediction

LLM-as-RNN: 一种用于内存更新和序列预测的循环语言模型

Yuxing Lu, J. Ben Tamo, Weichen Zhao, Nan Sun, Yishan Zhong, Wenqi Shi, Jinzhuo Wang, May D. Wang

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Peking University（北京大学） ； Shandong University（山东大学） ； Huazhong University of Science and Technology（华中科技大学） ； UT Southwestern Medical Center（西南医学中心） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 LLM-as-RNN通过将冻结的LLM转化为循环预测器，利用自然语言记忆实现在线学习，有效提升序列预测精度并生成可解释的学习轨迹。

Comments 17 pages, 5 figures, 6 tables

A Unified Variational Imputation Framework for Electric Vehicle Charging Data Using Retrieval-Augmented Language Model

基于检索增强语言模型的统一变分填补框架用于电动汽车充电数据

Jinhao Li, Hao Wang

机构 * Department of Data Science and AI, Faculty of IT and Monash Energy Institute, Monash University（数据科学与人工智能系，信息科技学院和莫纳什能源研究所，莫纳什大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PRAIM框架，利用检索增强语言模型和变分神经架构，提升电动汽车充电数据填补的准确性和统计分布保留能力，从而提高预测性能。

Comments 15 pages

Journal ref IEEE Transactions on Smart Grid, 2026

Context Discipline and Performance Correlation: Analyzing LLM Performance and Quality Degradation Under Varying Context Lengths

上下文学科与性能相关性：分析在不同上下文长度下LLM性能及质量退化

Ahilan Ayyachamy Nadar Ponnusamy, Karthic Chandran, M Maruf Hossain

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了不同上下文长度下LLM性能与质量退化的关系，发现KV缓存增长导致性能非线性退化，并揭示了MoE架构在高token体积时受基础设施瓶颈影响的问题。

Comments 22 pages, 6 figures

ContiguousKV: Accelerating LLM Prefill with Granularity-Aligned KV Cache Management

ContiguousKV: 通过粒度对齐的KV缓存管理加速LLM预填

Jing Zou, Shangyu Wu, Hancong Duan, Qiao Li, Chun Jason Xue

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)

AI总结 ContiguousKV通过粒度对齐的KV缓存管理，提升LLM预填效率，实现3.85倍加速并保持输出质量。

KeyDiff: Key Similarity-Based KV Cache Eviction for Long-Context LLM Inference in Resource-Constrained Environments

KeyDiff: 基于键相似性的KV缓存淘汰方法用于资源受限环境中的长上下文LLM推理

Junyoung Park, Dalton Jones, Matthew J Morse, Raghavv Goel, Mingu Lee, Chris Lott

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI

AI总结 KeyDiff是一种基于键相似性的KV缓存淘汰方法，能够在资源受限环境下高效处理长上下文LLM推理，减少缓存占用并提升响应效率。

Comments 37 pages, 19 figures, NeurIPS 2025

Industry-Aligned Granular Topic Modeling

面向行业的细粒度主题建模

Sae Young Moon, Myeongjun Erik Jang, Haoyan Luo, Chunyang Xiao, Antonios Georgiadis, Fran Silavong

机构 * J.P. Morgan Chase（摩根大通） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出TIDE框架，基于大语言模型实现细粒度主题建模，并提供业务应用支持功能，实验表明其在工业场景中表现优异。

Gated Differentiable Working Memory for Long-Context Language Modeling

具有门控可微工作记忆的长上下文语言模型

Lingrui Mei, Shenghua Liu, Yiwei Wang, Yuyao Ge, Baolong Bi, Jiayu Yao, Jun Wan, Ziling Yin, Jiafeng Guo, Xueqi Cheng

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of California, Merced（加州大学梅尔塞德斯分校） ； UBS AG（UBS集团） 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.CL

AI总结 Gdwm通过门控可微工作记忆框架，在有限计算下优化长上下文语言模型的测试时间适应，提升效率与性能。

OP-Bench: Benchmarking Over-Personalization for Memory-Augmented Personalized Conversational Agents

OP-Bench：用于内存增强个性化对话代理的过个性化基准测试

Yulin Hu, Zimo Long, Jiahe Guo, Xingyu Sui, Xing Fu, Weixiang Zhao, Yanyan Zhao, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 OP-Bench通过评估多种模型和方法，揭示了内存增强对话代理中过个性化问题的普遍性，并提出Self-ReCheck机制以缓解该问题。

ARC: Active and Reflection-driven Context Management for Long-Horizon Information Seeking Agents

ARC：面向长周期信息检索代理的主动与反思驱动上下文管理

Yilun Yao, Shan Huang, Elsie Dai, Zhewen Tan, Zhenyu Duan, Shousheng Jia, Yanbing Jiang, Tong Yang

机构 * Peking University（北京大学） ； Beihang University（北京航空航天大学） ； Qiyuan Tech（启元科技） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 ARC 通过主动和反思驱动的上下文管理方法，提升了长周期信息检索代理的性能，显著提高了准确性。

Comments 15 pages, 5 figures

CauScientist: Teaching LLMs to Respect Data for Causal Discovery

CauScientist: 教授大语言模型尊重数据进行因果发现

Bo Peng, Sirui Chen, Lei Xu, Chaochao Lu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Tongji University（同济大学） ； École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 CauScientist通过结合大语言模型与概率统计，提升因果发现的准确性与可靠性，实现显著的F1分数提升和召回率提高。