语言大模型 / LLM

HyperOffload: Graph-Driven Hierarchical Memory Management for Large Language Models on SuperNode Architectures

HyperOffload: 图驱动的分层内存管理用于超节点架构上的大型语言模型

Fangxin Liu, Qinghua Zhang, Hanjing Shen, Zhibo Liang, Li Jiang, Haibing Guan, Chong Bao, Xuefeng Jin

机构 * Shanghai Jiao Tong University（上海交通大学） ； Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI

AI总结 HyperOffload通过图驱动的编译器方法优化超节点架构上的LLM内存管理，减少峰值内存使用并提升计算效率。

Comments Technical Report

video-SALMONN S: Memory-Enhanced Streaming Audio-Visual LLM

视频-SALMONN S：内存增强的流式音频视觉大语言模型

Guangzhi Sun, Yixuan Li, Xiaodong Wu, Yudong Yang, Wei Li, Zejun Ma, Chao Zhang

机构 * Tsinghua University（清华大学） ； University of Cambridge（剑桥大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 视频-SALMONN S通过引入测试时训练机制，实现高效流式视频理解，显著提升长视频任务的性能和准确性。

Experience-Driven Multi-Agent Systems Are Training-free Context-aware Earth Observers

基于经验的多智能体系统是无需训练的上下文感知地球观测者

Pengyu Dai, Weihao Xuan, Junjue Wang, Hongruixuan Chen, Jian Song, Yafei Ou, Naoto Yokoya

机构 * The University of Tokyo（东京大学） ； RIKEN AIP（日本理化学研究所AIP） ； Hokkaido University（北海道大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 GeoEvolver通过结构化交互使LLM代理无需训练即可获得地球观测专业知识，提升复杂任务的成功率。

Comments 21 pages, 6 figures

PRISM: Deriving a White-Box Transformer as a Signal-Noise Decomposition Operator via Maximum Coding Rate Reduction

PRISM：通过最大编码率减少原理推导出白盒变换器作为信号-噪声分解算子

Dongchen Huang

机构 * Institute of Physics, Chinese Academy of Sciences（中国科学院物理研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Prism通过几何构造实现白盒变换器，通过信号-噪声分解提升模型可解释性与性能

Comments 12 pages, 6 figures. Derives Transformer as a signal-noise decomposition operator via Maximizing Coding Rate Reduction. Identifies 'Attention Sink' as spectral resonance (Arnold Tongues) and proposes $π$-RoPE for dynamical stability

Hand3R: Online 4D Hand-Scene Reconstruction in the Wild

Hand3R: 在线4D手-场景重建

Wendi Hu, Haonan Zhou, Wenhao Hu, Gaoang Wang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 Hand3R通过结合预训练手专家和4D场景基础模型，实现了在线4D手-场景重建，无需离线优化，提升了手部和场景的联合重建性能。

MemoryFormer: Minimize Transformer Computation by Removing Fully-Connected Layers

MemoryFormer: 通过移除全连接层来减少Transformer计算

Ning Ding, Yehui Tang, Haochen Qin, Zhenli Zhou, Chao Xu, Lin Li, Kai Han, Heng Liao, Yunhe Wang

机构 * State Key Lab of General AI, School of Intelligence Science and Technology, Peking University（人工智能国家重点实验室，智能科学与技术学院，北京大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Huawei HiSilicon（华为海思） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 MemoryFormer通过移除全连接层，利用内存查找表和哈希算法替代线性投影，显著降低Transformer计算复杂度并提升效率。

Comments NeurIPS 2024. Code available at https://github.com/ningding-o/MemoryFormer

KVzap: Fast, Adaptive, and Faithful KV Cache Pruning

KVzap：快速、自适应和忠实的KV缓存修剪

Simon Jegou, Maximilian Jeblick

机构 * NVIDIA（英伟达） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 KVzap通过快速且自适应的KV缓存修剪方法，在保持高精度的同时实现显著的缓存压缩，适用于长上下文和推理任务。

ENGRAM: Effective, Lightweight Memory Orchestration for Conversational Agents

ENGRAM: 有效的、轻量级的内存编排用于对话代理

Daivik Patel, Shrenik Patel

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 ENGRAM通过轻量级内存编排实现对话代理的长周期一致性，利用类型化内存和密集检索在多个基准测试中取得优异成绩。

No time to train! Training-Free Reference-Based Instance Segmentation

没有时间训练！基于参考的实例分割（无需训练）

Miguel Espinosa, Chenhongyi Yang, Linus Ericsson, Steven McDonagh, Elliot J. Crowley

机构 * School of Engineering, University of Edinburgh, Scotland, UK（爱丁堡大学工程学院） ； School of Computing Science, University of Glasgow, Scotland, UK（格拉斯哥大学计算科学学院） ； Meta 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)

AI总结 本研究提出一种无需训练的实例分割方法，利用语义先验和多阶段流程，通过参考图像生成分割掩码，提升分割性能。

Comments Preprint