语言大模型 / LLM

Enhancing few-shot time series forecasting with LLM-guided diffusion

通过LLM引导扩散增强少样本时间序列预测

Haonan Shi, Dehua Shuai, Liming Wang, Xiyang Liu, Long Tian

机构 * School of Computer Science and Technology, Xidian University（西安电子科技大学计算机科学与技术学院） ； Hangzhou Institute of Technology, Xidian University（西安电子科技大学杭州研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 LTSM-DIFF通过结合大语言模型与扩散模型，提升少样本时间序列预测的泛化能力和鲁棒性。

Extending Audio Context for Long-Form Understanding in Large Audio-Language Models

在大型音频-语言模型中扩展音频上下文以实现长形式理解

Yuatyong Chaichana, Pittawat Taveekitworachai, Warit Sirichotedumrong, Potsawee Manakul, Kunat Pipatanakul

机构 * Chulalongkorn University（朱拉隆功大学） ； SCB 10X ； SCBX Group（SCBX集团） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出Partial YaRN和VLAT，通过扩展音频上下文提升大型音频-语言模型对长形式音频的理解能力。

Comments EACL 2026. Code and dataset are available at: https://github.com/yophis/partial-yarn

A Unified Variational Imputation Framework for Electric Vehicle Charging Data Using Retrieval-Augmented Language Model

基于检索增强语言模型的统一变分填补框架用于电动汽车充电数据

Jinhao Li, Hao Wang

机构 * Department of Data Science and AI, Faculty of IT and Monash Energy Institute, Monash University（数据科学与人工智能系，信息科技学院和莫纳什能源研究所，莫纳什大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PRAIM框架，利用检索增强语言模型和变分神经架构，提升电动汽车充电数据填补的准确性和统计分布保留能力，从而提高预测性能。

Comments 15 pages

Journal ref IEEE Transactions on Smart Grid, 2026

Context Discipline and Performance Correlation: Analyzing LLM Performance and Quality Degradation Under Varying Context Lengths

上下文学科与性能相关性：分析在不同上下文长度下LLM性能及质量退化

Ahilan Ayyachamy Nadar Ponnusamy, Karthic Chandran, M Maruf Hossain

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了不同上下文长度下LLM性能与质量退化的关系，发现KV缓存增长导致性能非线性退化，并揭示了MoE架构在高token体积时受基础设施瓶颈影响的问题。

Comments 22 pages, 6 figures

Adaptive Focus Memory for Language Models

自适应聚焦记忆用于语言模型

Christopher Cruz

机构 * Purdue University（普渡大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 自适应聚焦记忆通过动态分配保真度级别，实现多轮对话中有效约束保持，无需修改模型权重或外部检索系统。

A Comprehensive Survey on Long Context Language Modeling

对长上下文语言模型的全面综述

Jiaheng Liu, Dawei Zhu, Zhiqi Bai, Yancheng He, Huanxuan Liao, Haoran Que, Zekun Wang, Chenchen Zhang, Ge Zhang, Jiebin Zhang, Yuanxing Zhang, Zhuo Chen, Hangyu Guo, Shilong Li, Ziqiang Liu, Yong Shan, Yifan Song, Jiayi Tian, Wenhao Wu, Zhejian Zhou, Ruijie Zhu, Junlan Feng, Yang Gao, Shizhu He, Zhoujun Li, Tianyu Liu, Fanyu Meng, Wenbo Su, Yingshui Tan, Zili Wang, Jian Yang, Wei Ye, Bo Zheng, Wangchunshu Zhou, Wenhao Huang, Sujian Li, Zhaoxiang Zhang

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文综述了长上下文语言模型的最新进展，涵盖模型构建、训练部署及评估分析，为研究人员和工程师提供全面的资源。

Hierarchical Token Prepending: Enhancing Information Flow in Decoder-based LLM Embeddings

Xueying Ding, Xingyue Huang, Mingxuan Ju, Liam Collins, Yozen Liu, Leman Akoglu, Neil Shah, Tong Zhao

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Oxford（牛津大学） ； Snap Inc（Snap公司） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Eguard: Defending LLM Embeddings Against Inversion Attacks via Text Mutual Information Optimization

Tiantian Liu, Hongwei Yao, Feng Lin, Tong Wu, Zhan Qin, Kui Ren

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

ViReSkill: Vision-Grounded Replanning with Skill Memory for LLM-Based Planning in Lifelong Robot Learning

Tomoyuki Kagaya, Subramanian Lakshmi, Anbang Ye, Thong Jing Yuan, Jayashree Karlekar, Sugiri Pranata, Natsuki Murakami, Akira Kinose, Yang You

机构 * Panasonic Connect Co., Ltd.（松下电器（株式会社）） ； Panasonic R&D Center（松下研发中心） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Dynamic Parameter Memory: Temporary LoRA-Enhanced LLM for Long-Sequence Emotion Recognition in Conversation

Jialong Mai, Xiaofen Xing, Yawei Li, Weidong Chen, Zhipeng Li, Jingyuan Xing, Xiangmin Xu

机构 * South China University of Technology, China（华南理工大学） ； MiniMax, China（MiniMax） ； The Chinese University of Hong Kong, China（香港中文大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments submitted to ICLR 2026

Punctuation and Predicates in Language Models

Sonakshi Chauhan, Maheep Chaudhary, Koby Choy, Samuel Nellessen, Nandi Schoots

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression

Payman Behnam, Yaosheng Fu, Ritchie Zhao, Po-An Tsai, Zhiding Yu, Alexey Tumanov

机构 * NVIDIA, Santa Clara, USA（NVIDIA公司） ； Georgia Institute of Technology, Atlanta, USA（佐治亚理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments ICML 2025

Core Context Aware Transformers for Long Context Language Modeling

Yaofo Chen, Zeng You, Shuhai Zhang, Haokun Li, Yirui Li, Yaowei Wang, Mingkui Tan

机构 * South China University of Technology（华南理工大学） ； Peng Cheng Laboratory（鹏城实验室） ； Pazhou Laboratory（琶洲实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Key Laboratory of Big Data and Intelligent Robot, Ministry of Education（教育部大数据与智能机器人重点实验室） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted for publication at ICML 2025

What is Wrong with Perplexity for Long-context Language Modeling?

Lizhe Fang, Yifei Wang, Zhaoyang Liu, Chenheng Zhang, Stefanie Jegelka, Jinyang Gao, Bolin Ding, Yisen Wang

机构 * State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（一般人工智能国家重点实验室，智能科学与技术学院，北京大学） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Alibaba Group（阿里巴巴集团） ； TUM CIT, MCML, MDSI（技术大学（TUM） CIT、MCML、MDSI） ； MIT EECS, CSAIL（麻省理工学院电子工程与计算机科学系，计算机科学与人工智能实验室） ； Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

MIRIX: Multi-Agent Memory System for LLM-Based Agents

Yu Wang, Xi Chen

机构 * MIRIX AI 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

CitySim: Modeling Urban Behaviors and City Dynamics with Large-Scale LLM-Driven Agent Simulation

Nicolas Bougie, Narimasa Watanabe

机构 * Woven by Toyota（丰田织造） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Breaking Quadratic Barriers: A Non-Attention LLM for Ultra-Long Context Horizons

Andrew Kiruluta, Preethi Raju, Priscilla Burity

机构 * School of Information UC Berkeley（信息学院 UC 伯克利） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Do Language Models Understand the Cognitive Tasks Given to Them? Investigations with the N-Back Paradigm

Xiaoyang Hu, Richard L. Lewis

机构 * Brown University（布朗大学） ； University of Michigan（密歇根大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments ACL 2025 Findings

Procedural Memory Is Not All You Need: Bridging Cognitive Gaps in LLM-Based Agents

Schaun Wheeler, Olivier Jeunen

机构 * aampe 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted to the workshop on Hybrid AI for Human-Centric Personalization (HyPer), co-located with ACM UMAP '25

ResearchCodeAgent: An LLM Multi-Agent System for Automated Codification of Research Methodologies

Shubham Gandhi, Dhruv Shah, Manasi Patwardhan, Lovekesh Vig, Gautam Shroff

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Journal ref AI4Research Workshop @ AAAI 2025

SlimPipe: Memory-Thrifty and Efficient Pipeline Parallelism for Long-Context LLM Training

Zhouyang Li, Yuliang Liu, Wei Zhang, Tailing Yuan, Bin Chen, Chengru Song, Di Zhang

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

FactGuard: Leveraging Multi-Agent Systems to Generate Answerable and Unanswerable Questions for Enhanced Long-Context LLM Extraction

Qian-Wen Zhang, Fang Li, Jie Wang, Lingfeng Qiao, Yifei Yu, Di Yin, Xing Sun

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Parameters vs. Context: Fine-Grained Control of Knowledge Reliance in Language Models

Baolong Bi, Shenghua Liu, Yiwei Wang, Yilong Xu, Junfeng Fang, Lingrui Mei, Xueqi Cheng

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Cut Your Losses in Large-Vocabulary Language Models

Erik Wijmans, Brody Huval, Alexander Hertzberg, Vladlen Koltun, Philipp Krähenbühl

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Comments To appear in ICLR 2025 (Oral). Code is available at https://github.com/apple/ml-cross-entropy

HELMET: How to Evaluate Long-Context Language Models Effectively and Thoroughly

Howard Yen, Tianyu Gao, Minmin Hou, Ke Ding, Daniel Fleischer, Peter Izsak, Moshe Wasserblat, Danqi Chen

专题命中 长上下文与记忆 ：language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

Comments ICLR 2025. Project page: https://princeton-nlp.github.io/HELMET/

Deconstructing What Makes a Good Optimizer for Language Models

Rosie Zhao, Depen Morwani, David Brandfonbrener, Nikhil Vyas, Sham Kakade

专题命中 长上下文与记忆 ：language model(title,abstract)；prompting(abstract)；分类 cs.AI、cs.LG

Comments 21 pages, ICLR 2025

Cognitive networks highlight differences and similarities in the STEM mindsets of human and LLM-simulated trainees, experts and academics

Edith Haim, Lars van den Bergh, Cynthia S. Q. Siew, Yoed N. Kenett, Daniele Marinazzo, Massimo Stella

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Keywords: cognitive network science; mindset measurement; associative knowledge; artificial intelligence; simulated participants

Data Wrangling Task Automation Using Code-Generating Language Models

Ashlesha Akella, Krishnasuri Narayanam

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted at AAAI 2025 Demo

Position: Stop Acting Like Language Model Agents Are Normal Agents

Elija Perrier, Michael Timothy Bennett

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments Under review

CarMem: Enhancing Long-Term Memory in LLM Voice Assistants through Category-Bounding

Johannes Kirmayr, Lukas Stappen, Phillip Schneider, Florian Matthes, Elisabeth André

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted for presentation at the International Conference on Computational Linguistics (COLING 2025)