语言大模型 / LLM

AI Compute Architecture and Evolution Trends

人工智能计算架构与演进趋势

Bor-Sung Liang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出七层人工智能计算架构模型，分析了大型语言模型演进的三个阶段及各层技术发展与影响。

Comments 33 pages, 17 figures, 2 Tables

Training-free Context-adaptive Attention for Efficient Long Context Modeling

无需训练的上下文自适应注意力：用于高效长上下文建模

Zeng You, Yaofo Chen, Shuhai Zhang, Zhijie Qiu, Tingyu Wu, Yingjian Li, Yaowei Wang, Mingkui Tan

机构 * School of Future Technology, South China University of Technology, Guangzhou, China（未来技术学院，华南理工大学，广州，中国） ； Pengcheng Laboratory, Shenzhen, China（鹏城实验室，深圳，中国） ； School of Software Engineering, South China University of Technology, Guangzhou, China（软件学院，华南理工大学，广州，中国） ； Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学，深圳，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出无需训练的上下文自适应注意力机制，通过轻量级阶段实现高效长上下文推理，减少内存占用并提升速度。

LoongFlow: Directed Evolutionary Search via a Cognitive Plan-Execute-Summarize Paradigm

LoongFlow：通过认知计划-执行-总结范式实现定向进化搜索

Chunhui Wan, Xunan Dai, Zhuo Wang, Minglei Li, Yanpeng Wang, Yinan Mao, Yu Lan, Zhiwen Xiao

机构 * Baidu Inc（百度公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 LoongFlow通过认知计划-执行-总结范式实现高效进化搜索，提升算法发现与流水线优化的性能。

Audited Skill-Graph Self-Improvement for Agentic LLMs via Verifiable Rewards, Experience Synthesis, and Continual Memory

通过可验证奖励、经验合成和持续记忆对代理LLM进行审计化技能图自改进

Ken Huang, Jerry Huang

机构 * OWASP Fairfax, VA, USA ； Kleiner Perkins 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出ASG-SI框架，通过可验证奖励、经验合成和持续记忆实现代理LLM的审计化技能图自改进，以提升安全性和可追溯性。

Comments 11 pages, 4 figures. Includes a complete runnable reference implementation and audit logging framework

Context as a Tool: Context Management for Long-Horizon SWE-Agents

上下文作为工具：长周期SWE代理的上下文管理

Shukai Liu, Jian Yang, Bo Jiang, Yizhi Li, Jinyang Guo, Xianglong Liu, Bryan Dai

机构 * Beihang University（北航大学） ； Manchester（曼彻斯特） ； Ubiquant 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 CAT通过整合上下文管理工具，提升SWE代理的长周期推理能力，实验表明其在SWE-Bench-Verified上达到57.6%的解决率，显著优于现有方法。

T5Gemma 2: Seeing, Reading, and Understanding Longer

T5Gemma 2: 视觉、阅读与理解更长内容

Biao Zhang, Paul Suganthan, Gaël Liu, Ilya Philippov, Sahil Dua, Ben Hora, Kat Black, Gus Martins, Omar Sanseviero, Shreya Pathak, Cassidy Hardin, Francesco Visin, Jiageng Zhang, Kathleen Kenealy, Qin Yin, Xiaodan Song, Olivier Lacombe, Armand Joulin, Tris Warkentin, Adam Roberts

机构 * Google（谷歌） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；post-training(abstract)；分类 cs.CL

AI总结 T5Gemma 2通过改进的编码器-解码器架构，实现了多模态和长上下文处理能力，同时在预训练和微调性能上优于Gemma 3。

Comments technical report

CAKE: Cascading and Adaptive KV Cache Eviction with Layer Preferences

CAKE：基于层优先级的级联和自适应KV缓存淘汰

Ziran Qin, Yuchen Cao, Mingbao Lin, Wen Hu, Shixuan Fan, Ke Cheng, Weiyao Lin, Jianguo Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 CAKE通过级联和自适应机制优化KV缓存淘汰，提升低内存下的模型性能和解码效率。

Comments Accepted by ICLR 2025

Synthesizing Procedural Memory: Challenges and Architectures in Automated Workflow Generation

生成程序记忆：自动化工作流生成中的挑战与架构

Nishant Gaurav, Adit Akarsh, Ankit Ranjan, Manoj Bajaj

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出通过科学方法自主生成工作流技能，解决自动化技能生成中的四个结构性瓶颈。

Comments 7 pages

Memory as Resonance: A Biomimetic Architecture for Infinite Context Memory on Ergodic Phonetic Manifolds

记忆作为共振：一种仿生架构，用于在周期性语音流形上实现无限上下文记忆

Tarik Houichime, Abdelghani Souhar, Younes El Amrani

机构 * System Research & Development Laboratory（系统研究与开发实验室） ； EME AXE LLC（5EME AXE公司） ； Faculty of Science, Mohammed V University In Rabat（穆罕默德五世大学科学学院） ； Computer Science Research Laboratory (LaRI)（计算机科学研究实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出语音轨迹记忆架构，通过神经符号方法实现无限上下文记忆，利用周期性流形上的连续路径实现高压缩比和低延迟检索。

Graph-based Nearest Neighbors with Dynamic Updates via Random Walks

通过随机游走实现的基于图的最近邻搜索与动态更新

Nina Mishra, Yonatan Naamad, Tal Wagner, Lichen Zhang

机构 * Amazon（亚马逊公司） ； Tel Aviv University（特拉维夫大学） ； MIT（麻省理工学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种基于随机游走的图结构，用于实现支持动态更新的近似最近邻搜索，并通过实验验证了其在效率和性能上的优势。

Comments 37 pages, 23 figures

Memory Backdoor Attacks on Neural Networks

神经网络中的记忆后门攻击

Eden Luzon, Guy Amit, Roy Weiss, Torsten Kraub, Alexandra Dmitrienko, Yisroel Mirsky

机构 * Ben-Gurion University, Institute of Software Systems and Security（本·加隆大学软件系统与安全研究所） ； University of Würzburg（魏泽堡大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种神经网络的记忆后门攻击方法，通过恶意服务器系统性地提取客户端训练样本，揭示了联邦学习中的隐私安全漏洞。

Learning to Wait: Synchronizing Agents with the Physical World

学习等待：与物理世界同步智能体

Yifei She, Ping Zhang, He Liu, Yanmin Jia, Yang Jing, Zijun Liu, Peng Sun, Xiangbin Li, Xiaohe Hu

机构 * Infrawaves ； Shanghai Qiji Zhifeng Co., Ltd.（上海启智风有限公司） ； Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种智能体侧方法，使大语言模型通过预测等待时间实现与物理世界的同步，解决了异步环境中动作延迟的问题。

Characterizing Mamba's Selective Memory using Auto-Encoders

利用自编码器表征Mamba的选择性记忆

Tamanna Hossain, Robert L. Logan, Ganesh Jagadeesan, Sameer Singh, Joel Tetreault, Alejandro Jaimes

机构 * University of California, Irvine（加州大学尔湾分校） ； Dataminr Inc.（Dataminr公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本文通过自编码器研究Mamba模型在处理长序列时对特定类型信息的遗忘特性，发现数学相关和组织实体等标记更易被遗忘。

Comments AACL 2025. Oral Presentation

CTkvr: KV Cache Retrieval for Long-Context LLMs via Centroid then Token Indexing

CTkvr: 通过聚类然后标记索引实现长上下文LLM的KV缓存检索

Kuan Lu, Shuhang Lin, Sai Wu, Yichen Yao, Junhan Yang, Huan Li, Wei Chu, Xu Yinghui, Yuan Qi, Gang Chen

机构 * Zhejiang University（浙江大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 CTKVR通过聚类和标记索引方法提升长上下文LLM的KV缓存检索效率与准确性，实现性能优化和吞吐量提升。

Unifying Dynamic Tool Creation and Cross-Task Experience Sharing through Cognitive Memory Architecture

通过认知记忆架构统一动态工具创建与跨任务经验共享

Jiarun Liu, Shiyue Xu, Yang Li, Shangkun Liu, Yongli Yu, Peng Cao

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SMITH通过认知记忆架构统一动态工具创建与跨任务经验共享，实现代理能力的持续扩展和高效适应。

Executable Epistemology: The Structured Cognitive Loop as an Architecture of Intentional Understanding

可执行的元认知：结构化认知循环作为意图理解的架构

Myung Ho Kim

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出结构化认知循环（SCL）作为可执行的元认知框架，通过定义智能为持续的循环过程，重新定义智能为重构自身知识状态的能力，并在哲学、人工智能和认识论领域产生影响。

Comments v4: Clarified the structural role of 'Regulation' as a governing constraint distinct from the loop cycle. Revised Figures 1 and 2 for better architectural clarity and unified terminology

Episodic Memory Verbalization using Hierarchical Representations of Life-Long Robot Experience

基于长期机器人经验的分层表示的事件记忆语言化

Leonard Bärmann, Chad DeChant, Joana Plewnia, Fabian Peller-Konrad, Daniel Bauer, Tamim Asfour, Alex Waibel

机构 * Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（人机学与机器人研究所，卡尔斯鲁厄理工学院） ； Computer Science Department, Columbia University（计算机科学系，哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于分层表示的机器人长期经验语言化方法，利用大规模预训练模型实现零样本学习，通过构建树状数据结构实现事件记忆的自然语言抽象，提升人机交互能力。

Comments Humanoids 2025. Code, data and demo videos at https://hierarchical-emv.github.io

Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs

超越现实：旋转位置嵌入的虚数扩展用于长上下文LLM

Xiaoran Liu, Yuerong Song, Zhigeng Liu, Zengfeng Huang, Qipeng Guo, Zhaoxiang Liu, Shiguo Lian, Ziwei He, Xipeng Qiu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Lab（上海人工智能实验室） ； China Unicom（中国联合网络通信集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出通过复数扩展提升旋转位置嵌入，以增强长上下文LLM对位置信息的建模能力。

Comments 20 pages, 6 figures, under review

Rhea: Role-aware Heuristic Episodic Attention for Conversational LLMs

Rhea: 以角色意识的启发式片段注意力用于对话大语言模型

Wanyang Hong, Zhaoning Zhang, Yi Chen, Libo Zhang, Baihui Liu, Linbo Qiao, Zhiliang Tian, Dongsheng Li

机构 * National Key Laboratory of Parallel and Distributed Computing（平行与分布式计算国家重点实验室） ； College of Computer Science and Technology（计算机科学与技术学院） ； National University of Defense Technology（国防科学技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 Rhea通过角色意识启发式片段注意力框架，有效缓解多轮对话中上下文衰减问题，提升对话模型的准确性和指令一致性。

MemOS: A Memory OS for AI System

MemOS：人工智能系统中的内存操作系统

Zhiyu Li, Chenyang Xi, Chunyu Li, Ding Chen, Boyu Chen, Shichao Song, Simin Niu, Hanyu Wang, Jiawei Yang, Chen Tang, Qingchen Yu, Jihao Zhao, Yezhaohui Wang, Peng Liu, Zehao Lin, Pengyuan Wang, Jiahao Huo, Tianyi Chen, Kai Chen, Kehang Li, Zhen Tao, Huayi Lai, Hao Wu, Bo Tang, Zhengren Wang, Zhaoxin Fan, Ningyu Zhang, Linfeng Zhang, Junchi Yan, Mingchuan Yang, Tong Xu, Wei Xu, Huajun Chen, Haofen Wang, Hongkang Yang, Wentao Zhang, Zhi-Qin John Xu, Siheng Chen, Feiyu Xiong

机构 * MemTensor (Shanghai) Technology Co., Ltd.（MemTensor（上海）科技有限公司） ； Institute for Advanced Algorithms Research, Shanghai（上海先进算法研究所） ； Research Institute of China Telecom（中国电信研究院） ； Tongji University（同济大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； Peking University（北京大学） ； Renmin University of China（中国人民大学） ； Beihang University（北航） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 MemOS是一种面向人工智能系统的内存操作系统，通过统一管理不同类型的内存资源，提升长上下文推理和持续个性化的能力。

Comments 36 pages, 10 figures, 5 tables

SpecPV: Improving Self-Speculative Decoding for Long-Context Generation via Partial Verification

SpecPV：通过部分验证改进长上下文生成的自我推测解码

Zhendong Tan, Xingjun Zhang, Chaoyi Hu, Junjie Peng, Kun Xia

机构 * School of Computer Science and Technology, Xi'an Jiaotong University, Xi'an, China（计算机科学与技术学院，西安交通大学，西安，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SpecPV通过部分验证和周期性完整验证提升长上下文生成效率，实现6倍解码加速

Solving Context Window Overflow in AI Agents

解决AI代理中的上下文窗口溢出

Anton Bulle Labate, Valesca Moura de Sousa, Sandro Rama Fiorini, Leonardo Guerreiro Azevedo, Raphael Melo Thiago, Viviane Torres da Silva

机构 * IBM Research（IBM研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种方法，使LLMs能够处理任意长度的工具响应，避免上下文窗口溢出问题，减少令牌使用并提升执行效率。

Strong Memory, Weak Control: An Empirical Study of Executive Functioning in LLMs

强记忆，弱控制：对大语言模型执行功能的实证研究

Karin de Langis, Jong Inn Park, Bin Hu, Khanh Chi Le, Andreas Schramm, Michael C. Mensink, Andrew Elfenbein, Dongyeop Kang

机构 * Department of Computer Science and Engineering, University of Minnesota（计算机科学与工程系，明尼苏达大学） ； Department of Linguistics, Hamline University（语言学系，哈姆林大学） ； Department of Psychology, University of Wisconsin-Stout（心理学系，威斯尼斯托大学） ； Department of English, University of Minnesota（英语系，明尼苏达大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究发现大语言模型在工作记忆方面表现优异，但执行功能和问题解决能力存在不足，提示需进一步改进注意力控制和认知灵活性。

How LLMs are Shaping the Future of Virtual Reality

大型语言模型如何塑造虚拟现实的未来

Süeda Özkaya, Santiago Berrezueta-Guzman, Stefan Wagner

机构 * Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文探讨了大型语言模型如何通过增强叙事生成、NPC互动和个性化来塑造虚拟现实的未来，并提出了多模态AI和伦理保障等未来研究方向。

Comments Pre-print

MoE-CAP: Benchmarking Cost, Accuracy and Performance of Sparse Mixture-of-Experts Systems

MoE-CAP：稀疏专家混合系统成本、准确率和性能的基准测试

Yinsicheng Jiang, Yao Fu, Yeqi Huang, Ping Nie, Zhan Lu, Leyang Xue, Congjie He, Man-Kit Sit, Jilong Xue, Li Dong, Ziming Miao, Dayou Du, Tairan Xu, Kai Zou, Edoardo Ponti, Luo Mai

机构 * University of Edinburgh（爱丁堡大学） ； Microsoft Research（微软研究院） ； Peking University（北京大学） ； NVIDIA Co-leading authors（NVIDIA） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 MoE-CAP通过引入CAP雷达图和稀疏性能指标，系统性地评估稀疏混合专家系统在成本、准确率和性能之间的权衡。

Agent-SAMA: State-Aware Mobile Assistant

Linqiang Guo, Wei Liu, Yi Wen Heng, Tse-Hsun, Chen, Yang Wang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Accepted to AAAI-26 (Main Technical Track)

LongReason: A Synthetic Long-Context Reasoning Benchmark via Context Expansion

Zhan Ling, Kang Liu, Kai Yan, Yifan Yang, Weijian Lin, Ting-Han Fan, Lingfeng Shen, Zhengyin Du, Jiecao Chen

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Whose Narrative is it Anyway? A KV Cache Manipulation Attack

Mukkesh Ganesh, Kaushik Iyer, Arun Baalaaji Sankar Ananthan

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 7 pages, 10 figures

GCAgent: Long-Video Understanding via Schematic and Narrative Episodic Memory

Jeong Hun Yeo, Sangyun Chung, Sungjune Park, Dae Hoe Kim, Jinyoung Moon, Yong Man Ro

机构 * Integrated Vision and Language Lab., School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（整合视觉与语言实验室，电气工程学院，韩国科学技术院（KAIST）） ； Visual Intelligence Research Section, Superintelligence Creative Research Laboratory, Electronics and Telecommunications Research Institute (ETRI)（视觉智能研究部，超智能创意研究实验室，电子电信研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Unlearning Imperative: Securing Trustworthy and Responsible LLMs through Engineered Forgetting

James Jin Kang, Dang Bui, Thanh Pham, Huo-Chong Ling

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Comments 14 pages, 4 figures, 4 tables