语言大模型 / LLM

Analysis of LLM Vulnerability to GPU Soft Errors: An Instruction-Level Fault Injection Study

LLM对GPU软错误的脆弱性分析：一项指令级故障注入研究

Duo Chai, Zizhen Liu, Shuhuai Wang, Songwei Pei, Cheng Liu, Huawei Li, Shangguang Wang

机构 * School of Computer Science (National Pilot Software Engineering School), Beijing University of Posts and Telecommunications（计算机学院（国家试点软件工程学院），北京邮电大学） ； State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（处理器国家重点实验室，中国科学院计算技术研究所） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过指令级故障注入研究，分析了LLM对GPU软错误的脆弱性，揭示了模型架构、参数规模和任务复杂性对可靠性的影响，为设计更有效的容错机制提供了新见解。

Comments 14 pages, 13 figures

Reducing Hallucinations in Language Model-based SPARQL Query Generation Using Post-Generation Memory Retrieval

通过生成后记忆检索减少基于语言模型的SPARQL查询生成中的幻觉

Aditya Sharma, Christopher J. Pal, Amal Zouaq

机构 * Polytechnique Montréal（蒙特利尔理工学院） ； Mila - Quebec AI Institute（魁北克人工智能研究院） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能 chair） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

AI总结 本文提出PGMR框架，通过生成后记忆检索减少语言模型生成SPARQL查询时的URI幻觉，提升查询准确性和系统鲁棒性。

S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference

S$^3$-Attention：基于注意力对齐的内源检索用于内存受限的长上下文推理

Qingsen Ma, Dianyun Wang, Yaoye Wang, Lechen Ning, Sujie Zhu, Xiaohang Zhang, Jiaming Lyu, Linhao Ren, Zhenbo Xu, Zhaofeng He

机构 * bupt（北京邮电大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

AI总结 S3-Attention通过内存优先的内源检索方法，解决长上下文推理中的内存和噪声效率问题，提升模型在信息密集场景下的鲁棒性。

MemCtrl: Using MLLMs as Active Memory Controllers on Embodied Agents

MemCtrl: 使用 MLLMs 作为具身智能体的主动内存控制器

Vishnu Sashank Dorbala, Dinesh Manocha

机构 * University of Maryland, College Park（马里兰大学 College Park分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI

AI总结 MemCtrl 通过使用 MLLMs 的可训练内存头 μ 实现在线内存修剪，提升具身智能体在复杂指令下的任务完成能力。

Are LLMs Really Not Knowledgeable? Mining the Submerged Knowledge in LLMs' Memory

LLMs真的不具有知识性吗？挖掘LLMs记忆中的潜藏知识

Xingjian Tao, Yiwei Wang, Yujun Cai, Zhicheng Yang, Jing Tang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； University of California, Merced（加州大学默塞德分校） ； The University of Queensland（昆士兰大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 本文研究LLMs在问答任务中保留潜藏知识的现象，提出Hits@k指标评估潜在知识保留，发现LLMs实际知识量远超标准QA准确率，揭示提示策略对正确答案的抑制效应。

LLM Multi-Agent Systems: Challenges and Open Problems

大语言模型多智能体系统：挑战与开放问题

Shanshan Han, Qifan Zhang, Weizhao Jin, Zhaozhuo Xu

机构 * University of California, Irvine, CA, USA（加州大学尔湾分校） ； University of Southern California, Los Angeles, CA, USA（南加州大学） ； Stevens Institute of Technology, Hoboken, NJ, USA（史蒂文斯理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

AI总结 本文研究了多智能体系统在任务分配、推理增强和内存管理方面的挑战，并探讨其在区块链中的应用潜力。

Memory Retrieval in Transformers: Insights from The Encoding Specificity Principle

Transformer中的记忆检索：来自编码特异性原理的见解

Viet Hung Dinh, Ming Ding, Youyang Qu, Kanchana Thilakarathna

机构 * University of Sydney（悉尼大学） ； Data61 CSIRO（Data61澳大利亚联邦科学与工业研究组织） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究基于编码特异性原理，探讨了Transformer中注意力层的记忆机制，并通过实验验证了关键词作为提示的假设，为隐私保护机器无学习提供了新思路。

Beyond Speedup -- Utilizing KV Cache for Sampling and Reasoning

超越加速 -- 利用KV缓存进行采样与推理

Zeyu Xing, Xing Li, Hui-Ling Zhen, Mingxuan Yuan, Sinno Jialin Pan

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出将KV缓存作为轻量级表示用于采样与推理，展示了其在链式嵌入和快速/缓慢思考切换任务中的有效性，显著提升了推理效率。

Comments Accepted by ICLR26