语言大模型 / LLM

SWE-Pruner Pro: The Coder LLM Already Knows What to Prune

SWE-Pruner Pro：编码语言模型已知道该修剪什么

Yuhang Wang, Yuling Shi, Shaoqiu Zhang, Jialiang Liang, Shilin He, Siyu Ye, Yuting Chen, Kai Cai, Xiaodong Gu

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL

AI总结 研究针对编码代理长上下文修剪问题，提出SWE-Pruner Pro，利用代理内部表示直接修剪工具输出。在多基准测试中节省令牌，保持任务质量，在MiMo-V2-Flash上提升解决率和准确率。

Comments Project page: https://github.com/Ayanami1314/swe-pruner-pro

MemPoison: Uncovering Persistent Memory Threats and Structural Blind Spots in LLM Agents

MemPoison：揭示大语言模型智能体中持久内存威胁和结构盲点

Jifeng Gao, Kang Xia, Yi Zhang, Xiaobin Hong, Mingkai Lin, Xingshen Wei, Wenzhong Li, Sanglu Lu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； NARI Group Corporation/State Grid Electric Power Research Institute, China（国网电力研究院/国电电力集团） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

AI总结 研究大语言模型智能体持久内存安全漏洞，提出MemPoison框架，含1227个案例，涵盖多种攻击类型等并评估多个模型系列。引入分类法，揭示防御边界及盲点，主张转向自适应、上下文敏感的内存防御策略。

Threshold Differential Attention for Sink-Free, Ultra-Sparse, and Non-Dispersive Language Modeling

阈值差分注意力：用于无汇、超稀疏和非分散语言建模

Xingyue Huang, Xueying Ding, Mingxuan Ju, Yozen Liu, Neil Shah, Tong Zhao

机构 * University of Oxford（牛津大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Snap Inc 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.LG

AI总结 本文提出阈值差分注意力机制，解决长上下文下的注意力汇问题，实现超稀疏和鲁棒性提升，无需投影方法或标准注意力的噪声积累。

Journal ref ACL 2026

STaR-KV: Spatio-Temporal Adaptive Re-weighting for KV Cache Compression in GUI Vision-Language Models

STaR-KV: 面向GUI视觉语言模型的时空自适应KV缓存压缩重加权方法

Yuhang Han, Wenzheng Yang, Yujie Chen, Xiangqi Jin, Yaojie Zhang, Siteng Huang, Linfeng Zhang

机构 * EPIC Lab, SJTU（上海交通大学EPIC实验室） ； HKUST (GZ)（香港科技大学（广州）） ； The University of Sydney（悉尼大学） ； UESTC（电子科技大学） ； ZJU（浙江大学） 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.AI

AI总结 提出STaR-KV，一种无需训练的KV缓存压缩框架，通过子空间感知评分、时间稳定性折扣和熵驱动温度三个维度自适应校准令牌重要性，在GUI任务中实现高精度和近40%的峰值GPU内存节省。

Multitask Multimodal Fusion with Tabular Foundation Models for Peak and Durability Prediction of Pertussis Booster Response

多任务多模态融合：基于表格基础模型的百日咳加强针反应峰值和持续性预测

Divya Sitani

机构 * Berlin, Germany（柏林，德国） 纠错

专题命中 长上下文与记忆 ：foundation model(title)；分类 cs.LG

AI总结 本文提出多任务对比多模态融合架构，用于预测百日咳加强针反应的峰值和持续性，通过结合冻结的TabPFN-v2模态编码器、双标签监督对比损失、模态dropout和缺失性掩码注意力融合，实现了对两个任务的联合预测。

Comments 22 pages, 8 figures, 4 tables. Code available at https://github.com/Divya1205/cmi-pb-multitask

Web2BigTable: A Bi-Level Multi-Agent LLM System for Internet-Scale Information Search and Extraction

Web2BigTable: 一种用于互联网级信息搜索与提取的双层多智能体大语言模型系统

Yuxuan Huang, Yihang Chen, Zhiyuan He, Yuxiang Chen, Ka Yiu Lee, Huichi Zhou, Weilin Luo, Meng Fang, Jun Wang

机构 * University of Liverpool（利物浦大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； University College London（伦敦大学学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

AI总结 Web2BigTable通过双层架构实现互联网级信息搜索与提取，结合任务分解与并行执行，提升深度推理和结构化聚合能力，达到新的性能标准。

Multi-Layered Memory Architectures for LLM Agents: An Experimental Evaluation of Long-Term Context Retention

多层记忆架构用于LLM代理：长期上下文保留的实验评估

Sunil Tiwari, Payal Fofadiya

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

AI总结 本文提出多层记忆框架，通过分解对话历史为工作、事件和语义层，提升长期上下文保留与推理稳定性，实验显示在LOCOMO等数据集上性能提升，同时降低虚假记忆率和上下文使用率。

Toward a Theory of Hierarchical Memory for Language Agents

迈向语言智能体的分层记忆理论

Yashar Talebirad, Ali Parsaee, Csongor Y. Szepesvari, Amirhossein Nadiri, Osmar Zaiane

机构 * University of Alberta（阿尔伯塔大学） ； York University（约克大学） 纠错

专题命中 长上下文与记忆 ：language agent(title)；分类 cs.AI

AI总结 本文提出分层记忆理论，通过三个操作符统一描述语言智能体的上下文处理机制，分析代表函数的自足谱并展示其在不同系统中的应用。

D-Mem: A Dual-Process Memory System for LLM Agents

D-Mem：一种用于LLM代理的双过程记忆系统

Zhixing You, Jiachen Yuan, Jason Cai

机构 * Einstein Institute of Mathematics（爱因斯坦数学研究所） ； The Hebrew University of Jerusalem（耶路撒冷希伯来大学） ； AWS AI（AWS人工智能） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

AI总结 本文提出D-Mem双过程记忆系统，通过轻量向量检索与全面深入模块结合，提升长期推理准确性，实验表明其在LoCoMo基准上F1得分达53.5，优于传统方法。

WAVE++: Capturing Within-Task Variance for Continual Relation Extraction with Adaptive Prompting

WAVE++: 通过自适应提示捕捉任务内方差以实现连续关系抽取

Bao-Ngoc Dao, Minh Le, Quang Nguyen, Luyen Ngo Dinh, Nam Le, Linh Ngo Van

机构 * Hanoi University of Science and Technology（河内科学技术大学） 纠错

专题命中 长上下文与记忆 ：prompting(title)；分类 cs.CL

AI总结 WAVE++通过自适应提示捕捉任务内方差，提升连续关系抽取的鲁棒性与准确性。

Comments Accepted in Neurocomputing, Elsevier

LLM Multi-Agent Systems: Challenges and Open Problems

大语言模型多智能体系统：挑战与开放问题

Shanshan Han, Qifan Zhang, Weizhao Jin, Zhaozhuo Xu

机构 * University of California, Irvine, CA, USA（加州大学尔湾分校） ； University of Southern California, Los Angeles, CA, USA（南加州大学） ； Stevens Institute of Technology, Hoboken, NJ, USA（史蒂文斯理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

AI总结 本文研究了多智能体系统在任务分配、推理增强和内存管理方面的挑战，并探讨其在区块链中的应用潜力。

Gated Differentiable Working Memory for Long-Context Language Modeling

具有门控可微工作记忆的长上下文语言模型

Lingrui Mei, Shenghua Liu, Yiwei Wang, Yuyao Ge, Baolong Bi, Jiayu Yao, Jun Wan, Ziling Yin, Jiafeng Guo, Xueqi Cheng

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of California, Merced（加州大学梅尔塞德斯分校） ； UBS AG（UBS集团） 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.CL

AI总结 Gdwm通过门控可微工作记忆框架，在有限计算下优化长上下文语言模型的测试时间适应，提升效率与性能。

LLM-Centric RAG with Multi-Granular Indexing and Confidence Constraints

Xiaofan Guo, Yaxuan Luan, Yue Kang, Xiangchen Song, Jinxu Guo

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL

Understanding and Enhancing Mamba-Transformer Hybrids for Memory Recall and Language Modeling

Hyunji Lee, Wenhao Yu, Hongming Zhang, Kaixin Ma, Jiyeon Kim, Dong Yu, Minjoon Seo

机构 * UNC Chapel Hill ； Tencent AI Lab（腾讯AI实验室） ； KAIST AI Work（韩国科学技术院AI研究） 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.CL

AUGUSTUS: An LLM-Driven Multimodal Agent System with Contextualized User Memory

Jitesh Jain, Shubham Maheshwari, Ning Yu, Wen-mei Hwu, Humphrey Shi

机构 * Adobe（Adobe公司） ； Netflix Eyeline Studios（Netflix Eyeline工作室） ； UIUC（伊利诺伊大学香槟分校） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

Comments LAW 2025 Workshop at NeurIPS 2025. Work done from late 2023 to early 2024

OmniBal: Towards Fast Instruction-Tuning for Vision-Language Models via Omniverse Computation Balance

Yongqiang Yao, Jingru Tan, Feizhao Zhang, Jiahao Hu, Yazhe Niu, Xin Jin, Bo Li, Pengfei Liu, Ruihao Gong, Dahua Lin, Ningyi Xu

机构 * Shanghai Jiao Tong University（上海交通大学） ； SenseTime Research（商汤科技研究院） ； Central South University（中南大学） ； Tongji University（同济大学） ； Beihang University（北航） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.AI

Comments Accepted in ICML 2025

FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management

Xiang Liu, Hong Chen, Xuming Hu, Xiaowen Chu

机构 * The Hong Kong University of Science and Technology(Guangzhou)（香港科技大学（广州）） 纠错

专题命中 长上下文与记忆 ：large language model(abstract,comments)；language model(abstract,comments)；分类 cs.CL

Comments NeurIPS 2025 Workshop on Multi-Turn Interactions in Large Language Models

Triangulating LLM Progress through Benchmarks, Games, and Cognitive Tests

Filippo Momentè, Alessandro Suglia, Mario Giulianelli, Ambra Ferrari, Alexander Koller, Oliver Lemon, David Schlangen, Raquel Fernández, Raffaella Bernardi

机构 * University of Trento（特伦托大学） ； ILCC University of Edinburgh（爱丁堡大学ILCC学院） ； UCL（伦敦大学学院） ； Saarland University（萨尔兰大学） ； Heriot-Watt University（赫瑞-瓦特大学） ； University of Potsdam（波茨坦大学） ； DFKI（德国达姆施塔特研究所） ； University of Amsterdam（阿姆斯特丹大学） ； Faculty of Engineering, Free University of Bozen-Bolzano（博兹纳-博尔扎诺自由大学工程学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL

Comments Accepted at EMNLP 2025 (Findings)

Can Memory-Augmented LLM Agents Aid Journalism in Interpreting and Framing News for Diverse Audiences?

Leyi Ouyang

机构 * South China Agriculture University Zhujiang College（华南农业大学珠江学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

Comments 9 pages, 4 figures, 5 tables

KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization

Coleman Hooper, Sehoon Kim, Hiva Mohammadzadeh, Michael W. Mahoney, Yakun Sophia Shao, Kurt Keutzer, Amir Gholami

机构 * University of California, Berkeley（加州大学伯克利分校） ； ICSI ； LBNL（劳伦斯伯克利国家实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.LG

Comments NeurIPS 2024

UniFlow: A Foundation Model for Unified Urban Spatio-Temporal Flow Prediction

Yuan Yuan, Jingtao Ding, Chonghua Han, Zhi Sheng, Depeng Jin, Yong Li

专题命中 长上下文与记忆 ：foundation model(title)；分类 cs.LG

A Language Model With Million Context Length For Raw Audio

Prateek Verma

专题命中 长上下文与记忆 ：language model(title)；分类 cs.LG

Comments 5 pages, 1 figure. Technical Report at Stanford University

Is One GPU Enough? Pushing Image Generation at Higher-Resolutions with Foundation Models

Athanasios Tragakis, Marco Aversa, Chaitanya Kaul, Roderick Murray-Smith, Daniele Faccio

专题命中 长上下文与记忆 ：foundation model(title)；分类 cs.AI

Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective

Can Jin, Tianjin Huang, Yihua Zhang, Mykola Pechenizkiy, Sijia Liu, Shiwei Liu, Tianlong Chen

专题命中 长上下文与记忆 ：prompting(title)；分类 cs.LG

Collage: Light-Weight Low-Precision Strategy for LLM Training

Tao Yu, Gaurav Gupta, Karthick Gopalswamy, Amith Mamidala, Hao Zhou, Jeffrey Huynh, Youngsuk Park, Ron Diamant, Anoop Deoras, Luke Huan

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.LG

Comments ICML 2024

Leveraging BERT Language Model for Arabic Long Document Classification

Muhammad AL-Qurishi

专题命中 长上下文与记忆 ：language model(title)；分类 cs.CL

Using Language Model to Bootstrap Human Activity Recognition Ambient Sensors Based in Smart Homes

Damien Bouchabou, Sao Mai Nguyen, Christophe Lohr, Benoit Leduc, Ioannis Kanellos

专题命中 长上下文与记忆 ：language model(title)；分类 cs.LG

Journal ref Electronics, MDPI, 2021, 10 (20), pp.2498

Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention

Soo Hyun Ryu, Richard L. Lewis

专题命中 长上下文与记忆 ：language model(title)；分类 cs.CL

Comments CMCL 2021

N-gram and Neural Language Models for Discriminating Similar Languages

Andre Cianflone, Leila Kosseim

专题命中 长上下文与记忆 ：language model(title)；分类 cs.CL

Comments 8 pages

Journal ref Proceedings of the Third Workshop on NLP for Similar Languages, Varieties and Dialects (VarDial3). A workshop of the 26th International Conference on Computational Linguistics (COLING 2016, Osaka, Japan), pp 243-250 (2016)

AEL: Evolving Agent Harness in Open-Ended Environments

AEL：开放环境中演化的智能体 harness

Wujiang Xu, Jiaojiao Han, Minghao Guo, Kai Mei, Xi Zhu, Han Zhang, Dimitris N. Metaxas

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 本研究提出双时间尺度框架AEL，将记忆使用转化为在线策略选择，在顺序投资组合和支持工单路由任务中均显著优于多种基线方法，性能提升具有因果性。

Comments EMNLP 2026 Findings