语言大模型 / LLM

KV-CAR: KV Cache Compression using Autoencoders and KV Reuse in Large Language Models

KV-CAR: 使用自编码器和KV重用的KV缓存压缩

Sourjya Roy, Shrihari Sridharan, Surya Selvam, Anand Raghunathan

机构 * Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, IN（电气与计算机工程系，普渡大学，西拉法叶，印第安纳州） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.LG

AI总结 KV-CAR通过自编码器和KV重用技术，有效压缩KV缓存，减少内存占用，提升大语言模型推理效率。

Evaluating Long-Term Memory for Long-Context Question Answering

评估长期记忆以实现长上下文问答

Alessandra Terranova, Björn Ross, Alexandra Birch

机构 * School of Informatics, The University of Edinburgh（信息学院，爱丁堡大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；prompting(abstract)

AI总结 本文评估了增强记忆方法在长上下文问答任务中的效果，发现通过RAG和事件记忆可显著减少令牌使用并保持准确性。

Comments Accepted as a poster at Metacognition in Generative AI EurIPS workshop

Grounding Long-Context Reasoning with Contextual Normalization for Retrieval-Augmented Generation

通过上下文归一化增强长上下文推理用于检索增强生成

Jiamin Chen, Yuchen Li, Xinyu Ma, Xinran Chen, Xiaokun Zhang, Shuaiqiang Wang, Chen Ma, Dawei Yin

机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 通过上下文归一化策略提升RAG在长上下文推理中的鲁棒性和稳定性

Supporting Our AI Overlords: Redesigning Data Systems to be Agent-First

支持我们的AI主宰者：重新设计数据系统以面向代理

Shu Liu, Soujanya Ponnapalli, Shreya Shankar, Sepanta Zeighami, Alan Zhu, Shubham Agarwal, Ruiqi Chen, Samion Suwito, Shuo Yuan, Ion Stoica, Matei Zaharia, Alvin Cheung, Natacha Crooks, Joseph E. Gonzalez, Aditya G. Parameswaran

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出重新设计数据系统以更原生支持代理工作负载，通过代理推测的特点探索新的架构机会。

Block Sparse Flash Attention

块稀疏Flash注意力

Daniel Ohayon, Itay Lamprecht, Itay Hubara, Israel Cohen, Daniel Soudry, Noam Elata

机构 * Technion -- Israel Institute of Technology, Haifa, Israel（技术离子-以色列理工学院, 海法, 以色列） ； Intel -- Habana Labs, Tel Aviv, Israel（英特尔 -- Habana实验室, 特拉维夫, 以色列） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 块稀疏Flash注意力通过精确计算查询-键相似性，提升长上下文推理效率并保持高准确性。

Comments 10 pages, 5 figures. Code: https://github.com/Danielohayon/Block-Sparse-Flash-Attention

OSVBench: Benchmarking LLMs on Specification Generation Tasks for Operating System Verification

OSVBench：用于操作系统验证的大型语言模型规范生成基准测试

Shangyu Li, Juyong Jiang, Tiancheng Zhao, Jiasi Shen

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 OSVBench通过长上下文任务评估LLMs在操作系统验证中的规范生成能力，揭示现有模型在复杂代码生成任务中的性能差异。

Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs

超越现实：旋转位置嵌入的虚数扩展用于长上下文LLM

Xiaoran Liu, Yuerong Song, Zhigeng Liu, Zengfeng Huang, Qipeng Guo, Zhaoxiang Liu, Shiguo Lian, Ziwei He, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Lab（上海人工智能实验室） ； China Unicom（中国联合网络通信集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过复数扩展提升旋转位置嵌入，以增强长上下文LLM对位置信息的建模能力。

Comments 20 pages, 6 figures, under review

Rhea: Role-aware Heuristic Episodic Attention for Conversational LLMs

Rhea: 以角色意识的启发式片段注意力用于对话大语言模型

Wanyang Hong, Zhaoning Zhang, Yi Chen, Libo Zhang, Baihui Liu, Linbo Qiao, Zhiliang Tian, Dongsheng Li

机构 * National Key Laboratory of Parallel and Distributed Computing（平行与分布式计算国家重点实验室） ； College of Computer Science and Technology（计算机科学与技术学院） ； National University of Defense Technology（国防科学技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Rhea通过角色意识启发式片段注意力框架，有效缓解多轮对话中上下文衰减问题，提升对话模型的准确性和指令一致性。

PersonaMem-v2: Towards Personalized Intelligence via Learning Implicit User Personas and Agentic Memory

PersonaMem-v2：通过学习隐式用户人设和代理记忆实现个性化智能

Bowen Jiang, Yuan Yuan, Maohao Shen, Zhuoqun Hao, Zhangchen Xu, Zichen Chen, Ziyi Liu, Anvesh Rao Vijjini, Jiashu He, Hanchao Yu, Radha Poovendran, Gregory Wornell, Lyle Ungar, Dan Roth, Sihao Chen, Camillo Jose Taylor

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Washington（华盛顿大学） ； University of California Santa Barbara（加州大学圣巴巴拉分校） ； Meta ； University of Southern California（南加州大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Microsoft Corporation（微软公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 PersonaMem-v2通过学习隐式用户人设和代理记忆提升LLM个性化能力，实验显示强化微调使模型在隐式个性化任务中准确率达53%。

Comments Data is available at https://huggingface.co/datasets/bowen-upenn/PersonaMem-v2

VLM-Assisted Continual learning for Visual Question Answering in Self-Driving

基于视觉语言模型的持续学习用于自动驾驶中的视觉问答

Yuxin Lin, Mengshi Qi, Liang Liu, Huadong Ma

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 本文提出结合视觉语言模型与持续学习的方法，以提升自动驾驶中视觉问答系统的性能和可靠性。