语言大模型 / LLM

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

通过可扩展查找实现条件记忆：大语言模型稀疏性的新轴

Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Zhang, Yixu Wei, M. Y Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

机构 * Peking University（北京大学） ； DeepSeek-AI 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 研究针对Transformer缺乏知识查找原语的问题，引入条件记忆及Engram模块，通过制定稀疏分配问题发现U形缩放定律，扩展Engram至27B参数，在多领域提升性能，揭示其优势，为下一代稀疏模型提供重要建模原语。

PARTREP: Learning What to Repeat for Decoder-only LLMs

PARTREP: 学习在仅解码器LLM中重复什么

Andikawati P Widjaja, Yongjun Kim, Hyounghun Kim, Jaeho Lee

机构 * Bandung Institute of Technology（万隆理工学院） ； Pohang University of Science and Technology（浦项科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.LG

AI总结 针对仅解码器LLM因果注意力导致的信息流不对称问题，提出PartRep方法，通过选择最不可预测的token进行重复，在保留大部分性能提升的同时显著降低KV缓存和预计算开销。

Comments 15 pages and 7 figures (including appendix)

Sub-Token Routing for KV Cache Compression

子令牌路由用于KV缓存压缩

Wei Jiang, Wei Wang

机构 * Futurewei Technologies（未来智科） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出子令牌路由方法，在保留令牌内对值向量分组并选择性保留，与令牌级压缩互补，在LLM和VLM中提升压缩性能。

Comments 17 pages, 8 tables, 2 figures

G-Long: Graph-Enhanced Memory Management for Efficient Long-Term Dialogue Agents

G-Long：面向高效长期对话代理的图增强记忆管理

Minjun Choi, Yoonjin Jang, Sangwon Youn, Youngjoong Ko

机构 * Sungkyunkwan University（成均馆大学） 纠错

专题命中 长上下文与记忆 ：SLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 提出G-Long框架，利用微调小语言模型进行结构化三元组提取和关联检索，并引入注意力感知重要性评分机制，在降低计算开销的同时，在响应生成和记忆检索上达到最优性能。

Comments 22 pages, 8 figures, 14 tables

AMA-Bench: Evaluating Long-Horizon Memory for Agentic Applications

AMA-Bench：评估智能体应用的长时记忆

Yujie Zhao, Boqin Yuan, Junbo Huang, Haocheng Yuan, Zhongming Yu, Haozhou Xu, Lanxiang Hu, Abhilash Shankarampeta, Zimeng Huang, Wentao Ni, Yuandong Tian, Jishen Zhao

机构 * UCSD（加州大学圣塔克拉拉分校） ； Recursive 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出AMA-Bench基准，通过真实与合成轨迹评估LLM智能体的长时记忆，并基于因果图与工具增强检索提出AMA-Agent系统，在基准上提升11.16%准确率。

Failure Modes in Multi-Hop QA: The Weakest Link Effect and the Recognition Bottleneck

多跳问答中的故障模式：最弱链接效应与识别瓶颈

Meiru Zhang, Zaiqiao Meng, Nigel Collier

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 研究揭示多跳问答中LLM因位置偏见导致的识别与综合失败机制，提出MFAI方法解决识别瓶颈，提升低可见性位置准确率，并展示系统2推理模型在长上下文中的有效性。

Comments Accepted at ACL 2026

Every Token Counts: Generalizing 16M Ultra-Long Context in Large Language Models

每个token都重要：在大语言模型中推广1600万超长上下文

Xiang Hu, Zhanchao Zhou, Ruiqi Liang, Zehuan Li, Wei Wu, Jianguo Li

机构 * Ant Group（蚂蚁集团） ； Westlake University（西湖大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

AI总结 本文提出了一种新型的分层稀疏注意力机制，用于在大语言模型中实现对超长上下文的有效建模，并在多个任务中展示了其处理1600万长度上下文的能力。

StreamBridge: Turning Your Offline Video Large Language Model into a Proactive Streaming Assistant

Haibo Wang, Bo Feng, Zhengfeng Lai, Mingze Xu, Shiyu Li, Weifeng Ge, Afshin Dehghan, Meng Cao, Ping Huang

机构 * Apple（苹果公司） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Comments Accepted by NeurIPS 2025

HoPE: Hyperbolic Rotary Positional Encoding for Stable Long-Range Dependency Modeling in Large Language Models

Chang Dai, Hongyu Shan, Mingyang Song, Di Liang

机构 * Peking University（北京大学） ； Tianjin University（天津大学） ； Tencent（腾讯） ； Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Autonomous Structural Memory Manipulation for Large Language Models Using Hierarchical Embedding Augmentation

Derek Yotheringhay, Alistair Kirkland, Humphrey Kirkbride, Josiah Whitesteeple

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Comments arXiv admin note: This paper has been withdrawn by arXiv due to disputed and unverifiable authorship

Self-Taught Agentic Long Context Understanding

Yufan Zhuang, Xiaodong Yu, Jialian Wu, Ximeng Sun, Ze Wang, Jiang Liu, Yusheng Su, Jingbo Shang, Zicheng Liu, Emad Barsoum

机构 * AMD ； UC San Diego（加州大学圣地亚哥分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

Comments Published at ACL 2025 Main Conference

Malware Classification from Memory Dumps Using Machine Learning, Transformers, and Large Language Models

Areej Dweib, Montaser Tanina, Shehab Alawi, Mohammad Dyab, Huthaifa I. Ashqar

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.LG

Enhancing textual textbook question answering with large language models and retrieval augmented generation

Hessa Abdulrahman Alawwad, Areej Alhothali, Usman Naseem, Ali Alkhathlan, Amani Jamal

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Journal ref Pattern Recognition, Volume 162, 2025, Article 111332

Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models

Changjiang Gao, Jixing Li, Jiajun Chen, Shujian Huang

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；分类 cs.CL、cs.AI

Comments Accepted by ACL 2024 (main conference, long paper)

Evolving Skill-Structured Attack Memory Enhances LLM Jailbreaking

演化技能结构攻击记忆增强大语言模型越狱

Junke Zhang, Jianwei Wang, Sishuo Chen, Yizhang He, Qingshuai Feng, Zhengyi Yang

专题命中 长上下文与记忆 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 提出MemAttack框架，通过技能结构化的攻击记忆建模、生命周期驱动的记忆演化和探索-利用平衡的记忆选择，实现高效的黑盒越狱攻击，在AdvBench上达到98.00%攻击成功率。

Comments Under review

Heterogeneous LLM Serving with General-Purpose Processing-Near-Memory for Retrieval-Based Sparse Attention

面向基于检索的稀疏注意力的通用近内存处理异构大语言模型服务

Hyungkyu Ham, Junhyeong Bae, Seungheon Lee, Myeongjae Jeon, Gwangsun Kim

专题命中 长上下文与记忆 ：LLM(title,summary_cn)

AI总结 本文针对前沿LLM的基于检索的稀疏注意力需求，提出异构解码服务系统KARAT，结合PNM与OFMS、CMR优化，大幅提升吞吐量与每TDP性能。

Isolated but Exposed: Persistence-Based Memory Extraction Attack on LLM Agents

孤立但暴露：基于持久性的大语言模型智能体内存提取攻击

Xinyu Gao, Wenyu Chen, Xiangtao Meng, Li Wang, Chuanchao Zang, Jianing Wang, Zheng Li, Shanqing Guo

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究基于大语言模型的智能体内存提取攻击，提出SPORE攻击方法，通过解耦对抗命令与检索锚点、优化覆盖空间及持久化有效载荷，突破内存隔离，实现高提取率，揭示仅靠内存隔离不足，需重审工具端信任边界。

When Sinks Help or Hurt: Unified Framework for Attention Sink in Large Vision-Language Models

当汇点帮助或伤害：面向大视觉-语言模型的注意力汇点统一框架

Jiho Choi, Jaemin Kim, Sanghwan Kim, Seunghoon Hong, Jin-Hwi Park

机构 * KAIST（韩国科学技术院） ； Chung-Ang University（中央大学） ； Technical University of Munich（慕尼黑工业大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 本文研究了大视觉-语言模型中注意力汇点的影响，提出统一框架分析其作为冗余 artifacts 或全局先验的作用，并通过 Layer-wise Sink Gating 模块平衡全局推理与局部证据。

Comments Acknowledgments updated

Leveraging Resolved Incident History for LLM-Assisted Software Bug Diagnosis

利用已解决的事件历史进行大语言模型辅助的软件错误诊断

Boyuan Guan, Hailu Xu, Jamie Rogers

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 研究利用已解决事件历史进行软件错误诊断，提出OM-RAG方法，将问题索引为三元组并单跳嵌入检索先例，为大语言模型管理员提供支持，实验表明该方法在诊断准确率和修复正确性上优于其他方法。

Comments 6 pages, 3 figures, accepted at IEEE SMC 2026

Co-LMLM: Continuous-Query Limited Memory Language Models

Co-LMLM：连续查询有限记忆语言模型

Yair Feldman, Linxi Zhao, Nathan Godey, Dongyoung Go, Yilun Hua, Kilian Q. Weinberger, Jennifer J. Sun, Yoav Artzi

机构 * Department of Computer Science Cornell University（计算机科学系 哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出连续查询有限记忆语言模型CO-LMLM，通过将知识库的键与文本知识值配对，以低成本生成灵活向量查询，整合检索知识。经多数据集预训练和多模型规模测试，在困惑度和事实精度上优于同类模型。

Comments preprint

Training Hybrid Block Diffusion Language Models with Partial Bidirectionality

使用部分双向性训练混合块扩散语言模型

Pranshu Chaturvedi, Parth Shroff, Tarun Suresh, Hangoo Kang, Kaiyue Wen

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对大语言模型高吞吐量长上下文生成挑战，提出BDLM Mamba-attention混合模型，通过限制反向Mamba扫描到活动去噪块解决缓存问题，在长上下文推理中吞吐量有显著提升。

Comments 16 pages, 3 figures

LLM-based Multi-Agent System for Intelligent Refactoring of Haskell Code

基于大型语言模型的多智能体系统用于Haskell代码的智能重构

Shahbaz Siddeeq, Muhammad Waseem, Zeeshan Rasheed, Md Mahade Hasan, Jussi Rasku, Mika Saari, Henri Terho, Kalle Makela, Kai-Kristian Kemell, Pekka Abrahamsson

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出基于LLM的多智能体系统，用于自动化Haskell代码重构，通过代码分析、重构执行、验证和调试等角色，提升代码质量与性能。

Comments arXiv admin note: text overlap with arXiv:2502.07928

Journal ref International Conference on Product-Focused Software Process Improvement (PROFES 2025)

Human-Inspired Memory Architecture for LLM Agents

受人类启发的记忆架构用于大语言模型代理

Doga Kerestecioglu, Alexei Robsky, Clemens Vasters, Anshul Sharma, Yitzhak Kesselman

机构 * Microsoft（微软） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种受生物启发的记忆架构，通过六个认知机制解决内存积累问题，并引入合成校准方法提升评估准确性。

Comments 10 pages, 4 tables. Preprint; comments welcome

C2RustXW: Program-Structure-Aware C-to-Rust Translation via Program Analysis and LLM

C2RustXW: 通过程序分析和LLM实现的程序结构感知的C到Rust翻译

Yanyan Yan, Yang Feng, Jiangshan Liu, Di Liu, Zixi Liu, Hao Teng, Baowen Xu

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 本文提出C2RustXW工具，通过程序分析与LLM结合，实现结构感知的C到Rust翻译，提高代码正确性和可维护性，实验显示在CodeNet和GitHub上达到高语法正确率和代码压缩效果。

Evoking User Memory: Personalizing LLM via Recollection-Familiarity Adaptive Retrieval

唤起用户记忆：通过回忆-熟悉度适应检索个性化LLM

Yingyi Zhang, Junyi Li, Wenlin Zhang, Penyue Jia, Xianneng Li, Yichao Wang, Derong Xu, Yi Wen, Huifeng Guo, Yong Liu, Xiangyu Zhao

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 RF-Mem通过双路径记忆检索实现个性化LLM，结合回忆与熟悉度机制提升记忆检索效率和准确性。

Comments Accepted by ICLR 2026

Your Agent May Misevolve: Emergent Risks in Self-evolving LLM Agents

你的代理可能误进化：自我进化大语言模型代理中的新兴风险

Shuai Shao, Qihan Ren, Chen Qian, Boyi Wei, Dadi Guo, Jingyi Yang, Xinhao Song, Linfeng Zhang, Weinan Zhang, Dongrui Liu, Jing Shao

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了自我进化代理中因自我进化偏离导致的误进化风险，揭示了其广泛存在及对安全对齐的影响，并提出缓解策略。

Comments Published in ICLR 2026

MioHint: LLM-assisted Mutation for Whitebox API Testing

MioHint: 利用大语言模型进行白盒API测试

Jia Li, Jiacheng Shen, Yuxin Su, Michael R. Lyu

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 MioHint利用大语言模型提升白盒API测试效率，实现更高的代码覆盖和突变准确性

Comments Accepted by ICSE 2026 (research track)

AssemMate: Graph-Based LLM for Robotic Assembly Assistance

AssemMate：基于图的LLM用于机器人装配辅助

Qi Zheng, Chaoran Zhang, Zijian Liang, EnTe Lin, Shubo Cui, Qinghongbing Xie, Zhaobo Xu, Long Zeng

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University, Shenzhen, China（清华大学深圳国际研究生院，清华大学，深圳，中国） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 AssemMate是一种基于图的LLM，通过知识图谱问答和视觉增强策略提升机器人装配任务的精度和效率。

FAST-Prefill: FPGA Accelerated Sparse Attention for Long Context LLM Prefill

FAST-Prefill：FPGA加速的长上下文LLM预填充稀疏注意力

Rakshith Jayanth, Viktor Prasanna

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 FAST-Prefill是首个基于FPGA的长上下文LLM预填充加速器，通过动态稀疏注意力技术提升计算效率和能效。

MemAscend: System Memory Optimization for SSD-Offloaded LLM Fine-Tuning

MemAscend: 为SSD卸载的LLM微调优化系统内存

Yong-Cheng Liaw, Shuo-Han Chen

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

AI总结 MemAscend通过优化系统内存管理，减少SSD卸载LLM微调中的内存消耗，提升模型规模和训练效率。

Comments Accepted by Transactions on Emerging Topics in Computing (TETC)