语言大模型 / LLM

LooGLE v2: Are LLMs Ready for Real World Long Dependency Challenges?

Ziyuan He, Yuxuan Wang, Jiaqi Li, Kexin Liang, Muhan Zhang

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； National Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2025 Datasets and Benchmarks Track

DocFinQA: A Long-Context Financial Reasoning Dataset

Varshini Reddy, Rik Koncel-Kedziorski, Viet Dac Lai, Michael Krumdick, Charles Lovering, Chris Tanner

机构 * Kensho Technologies（肯斯霍技术公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 13 pages

Not All Heads Matter: A Head-Level KV Cache Compression Method with Integrated Retrieval and Reasoning

Yu Fu, Zefan Cai, Abedelkadir Asi, Wayne Xiong, Yue Dong, Wen Xiao

机构 * University of California, Riverside（加州大学河滨分校） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Microsoft（微软公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ICLR2025

AMLA: MUL by ADD in FlashAttention Rescaling

Qichen Liao, Chengqiu Hu, Fangzheng Miao, Bao Li, Yiyang Liu, Junlong Lyu, Lirui Jiang, Jun Wang, Lingchao Zheng, Jun Li, Yuwei Fan

机构 * Huawei（华为） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 21 pages, 11 figures

FlexLink: Boosting your NVLink Bandwidth by 27% without accuracy concern

Ao Shen, Rui Zhang, Junping Zhao

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

SNOO: Step-K Nesterov Outer Optimizer - The Surprising Effectiveness of Nesterov Momentum Applied to Pseudo-Gradients

Dominik Kallusky, Vinay Rao, Vishal Nandavanam, Hao-Jun Michael Shi

机构 * Meta Platforms, Inc.（Meta平台公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

HIPPD: Brain-Inspired Hierarchical Information Processing for Personality Detection

Guanming Chen, Lingzhi Shen, Xiaohao Cai, Imran Razzak, Shoaib Jameel

机构 * School of Electronics and Computer Science University of Southampton（电子与计算机科学学院 英国南安普顿大学） ； Department of Computational Biology Mohamed bin Zayed University of Artificial Intelligence（计算生物学系 摩洛哥本·扎耶德人工智能大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Training Long-Context, Multi-Turn Software Engineering Agents with Reinforcement Learning

Alexander Golubev, Maria Trofimova, Sergei Polezhaev, Ibragim Badertdinov, Maksim Nekrashevich, Anton Shevtsov, Simon Karasik, Sergey Abramov, Andrei Andriushchenko, Filipp Fisin, Sergei Skvortsov, Boris Yangel

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

OWL: Overcoming Window Length-Dependence in Speculative Decoding for Long-Context Inputs

Jaeseong Lee, seung-won hwang, Aurick Qiao, Gabriele Oliaro, Ye Wang, Samyam Rajbhandari

机构 * Snowflake AI Research（Snowflake AI研究院） ； Seoul National University（首尔国立大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

COSMIR: Chain Orchestrated Structured Memory for Iterative Reasoning over Long Context

Naman Gupta, Shreeyash Gowaikar, Arun Iyer, Kirankumar Shiragur, Ramakrishna B Bairi, Rishikesh Maurya, Ritabrata Maiti, Sankarshan Damle, Shachee Mishra Gupta

机构 * Microsoft（微软） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Muon Outperforms Adam in Tail-End Associative Memory Learning

Shuche Wang, Fengzhuo Zhang, Jiaxiang Li, Cunxiao Du, Chao Du, Tianyu Pang, Zhuoran Yang, Mingyi Hong, Vincent Y. F. Tan

机构 * National University of Singapore（新加坡国立大学） ； University of Minnesota（明尼苏达大学） ； Sea AI Lab（Sea AI 实验室） ； Yale University（耶鲁大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

CEMTM: Contextual Embedding-based Multimodal Topic Modeling

Amirhossein Abaskohi, Raymond Li, Chuyuan Li, Shafiq Joty, Giuseppe Carenini

专题命中 长上下文与记忆 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments EMNLP 2025

In-Context Learning can Perform Continual Learning Like Humans

Liuwang Kang, Fan Wang, Shaoshan Liu, Hung-Chyun Chou, Chuan Lin, Ning Ding

机构 * Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人社会研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Graph of Agents: Principled Long Context Modeling by Emergent Multi-Agent Collaboration

Taejong Joo, Shu Ishida, Ivan Sosnovik, Bryan Lim, Sahand Rezaei-Shoshtari, Adam Gaier, Robert Giaquinto

机构 * Department of Industrial Engineering & Management Sciences, Northwestern University（工业工程与管理科学系，西北大学） ； Autodesk Research（Autodesk研究） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Preprint

LongLLaVA: Scaling Multi-modal LLMs to 1000 Images Efficiently via a Hybrid Architecture

Xidong Wang, Dingjie Song, Shunian Chen, Junyin Chen, Zhenyang Cai, Chen Zhang, Lichao Sun, Benyou Wang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Lehigh University（莱斯利大学） ； Meituan（美团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to EMNLP 2025 Findings

Does quantization affect models' performance on long-context tasks?

Anmol Mekala, Anirudh Atmakuru, Yixiao Song, Marzena Karpinska, Mohit Iyyer

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments to appear in EMNLP 2025

A Layered Multi-Expert Framework for Long-Context Mental Health Assessments

Jinwen Tang, Qiming Guo, Wenbo Sun, Yi Shang

机构 * Texas A\&M University-Corpus Christi（德克萨斯A&M大学-科珀斯克里斯蒂） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Journal ref Proc. 2025 IEEE Conference on Artificial Intelligence (CAI), Santa Clara, CA, USA, 2025, pp. 435-440

Q-ROAR: Outlier-Aware Rescaling for RoPE Position Interpolation in Quantized Long-Context LLMs

Ye Qiao, Sitao Huang

专题命中 长上下文与记忆 ：LLM(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

GATEAU: Selecting Influential Samples for Long Context Alignment

Shuzheng Si, Haozhe Zhao, Gang Chen, Yunshui Li, Kangyang Luo, Chuancheng Lv, Kaikai An, Fanchao Qi, Baobao Chang, Maosong Sun

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； Peking University（北京大学） ； DeepLang AI ； Institute for AI, Tsinghua University（清华大学人工智能研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025

Avoiding Knowledge Edit Skipping in Multi-hop Question Answering with Guided Decomposition

Yi Liu, Xiangrong Zhu, Xiangyu Liu, Wei Wei, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国） ； National Institute of Healthcare Data Science, Nanjing University, China（医疗数据科学国家研究院，南京大学，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted in EMNLP Findings 2025

CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing

Yixuan Wang, Haoyu Qiao, Lujun Li, Qingfu Zhu, Wanxiang Che

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 10 pages, 5 figures

Explicit v.s. Implicit Memory: Exploring Multi-hop Complex Reasoning Over Personalized Information

Zeyu Zhang, Yang Zhang, Haoran Tan, Rui Li, Xu Chen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 15 pages, 13 figures, 3 tables

Sparse Attention across Multiple-context KV Cache

Ziyi Cao, Qingyi Si, Jingbin Zhang, Bingquan Liu

机构 * Huawei（华为） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Bridging Context Gaps: Leveraging Coreference Resolution for Long Contextual Understanding

Yanming Liu, Xinyue Peng, Jiannan Cao, Yanxin Shen, Tianyu Du, Sheng Cheng, Xun Wang, Jianwei Yin, Xuhong Zhang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments ICLR 2025 camera ready version, with second updated metadata

Curse of High Dimensionality Issue in Transformer for Long-context Modeling

Shuhai Zhang, Zeng You, Yaofo Chen, Zhiquan Wen, Qianyue Wang, Zhijie Qiu, Yuanqing Li, Mingkui Tan

机构 * South China University of Technology（华南理工大学） ； Peng Cheng Laboratory（鹏城实验室） ； Pazhou Laboratory（Pazhou实验室） ； Key Laboratory of Big Data（大数据重点实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted at ICML 2025

Many-Turn Jailbreaking

Xianjun Yang, Liqiang Xiao, Shiyang Li, Faisal Ladhak, Hyokun Yun, Linda Ruth Petzold, Yi Xu, William Yang Wang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Logic layer Prompt Control Injection (LPCI): A Novel Security Vulnerability Class in Agentic Systems

Hammad Atta, Ken Huang, Manish Bhatt, Kamal Ahmed, Muhammad Aziz Ul Haq, Yasir Mehmood

机构 * Qorvex Consulting（Qorvex咨询公司） ； Roshan Consulting（Roshan咨询公司） ； OWASP Top 10 for LLMs（OWASP顶级LLM列表） ； NIST GenAI PWG（NIST生成AI工作组） ； Deloitte Enterprise Risk | Internal Audit | Technology GRC（德勤企业风险管理|内部审计|技术治理与合规） ； Reykjavik University（雷克雅未克大学） ； Nokia, Technology Center, Ulm, Germany（诺基亚技术中心，德国乌尔姆） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Long Story Generation via Knowledge Graph and Literary Theory

Ge Shi, Kaiyu Huang, Guochen Feng

机构 * Beijing Jiaotong University（北京交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

CompressKV: Semantic Retrieval Heads Know What Tokens are Not Important Before Generation

Xiaolin Lin, Jingcun Wang, Olga Kondrateva, Yiyu Shi, Bing Li, Grace Li Zhang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

In Prospect and Retrospect: Reflective Memory Management for Long-term Personalized Dialogue Agents

Zhen Tan, Jun Yan, I-Hung Hsu, Rujun Han, Zifeng Wang, Long T. Le, Yiwen Song, Yanfei Chen, Hamid Palangi, George Lee, Anand Iyer, Tianlong Chen, Huan Liu, Chen-Yu Lee, Tomas Pfister

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ACL 2025