语言大模型 / LLM

PatchWorld: Gradient-Free Optimization of Executable World Models for Agent Environments

PatchWorld：可执行世界模型的免梯度优化

Jiaxin Bai, Yue Guo, Yifei Dong, Jiaxuan Xiong, Tianshi Zheng, Yixia Li, Tianqing Fang, Yufei Li, Yisen Gao, Haoyu Huang, Zhongwei Xie, Hong Ting Tsang, Zihao Wang, Lihui Liu, Jeff Z. Pan, Yangqiu Song

机构 * Hong Kong Baptist University（香港 Baptist 大学） ； Independent Researcher（独立研究员） ； HKUST（香港科技大学） ； Beijing Institute of Technology（北京理工大学） ； Southern University of Science and Technology（南方科技大学） ； Wayne State University（韦恩州立大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出 PatchWorld 框架，通过反例引导的代码修复将离线轨迹转化为可执行的 Python 世界模型，实现无需梯度优化的符号信念状态程序，在 AgentGym 环境中达到 76.4% 的宏观成功率。

LinearARD: Linear-Memory Attention Distillation for RoPE Restoration

线性记忆注意力蒸馏：用于RoPE修复的线性内存注意力蒸馏

Ning Yang, Hengyu Zhong, Wentao Wang, Baoliang Tian, Haijun Zhang, Jun Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Southwest University（西南大学） ； Dalian University of Technology（大连理工大学） ； University of Science and Technology Beijing（北京科技大学） ； University College London（伦敦大学学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LinearARD，通过冻结的原生RoPE教师模型，利用注意力结构一致性恢复RoPE缩放的学生模型，以线性内存核克服二次内存瓶颈，提升长上下文性能。

RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

RoVE: 旋转值嵌入注意力实现相对位置相关的值路径

Alejandro García-Castellanos, Maurice Weiler, Erik J Bekkers

机构 * AMLab University of Amsterdam（阿姆斯特丹大学AMLab） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出RoVE方法，通过同时旋转键和值使值对位置敏感，将RoPE注意力转化为注意力卷积，在少样本学习、分布外困惑度和长上下文检索上优于RoPE。

Not All Needles Are Found: How Fact Distribution and Don't Make It Up Prompts Shape Retrieval, Reasoning, and Hallucination in Long-Context LLMs

并非所有线索都能被发现：事实分布和“不要编造”提示如何影响长上下文语言模型中的检索、推理和幻觉

Amirali Ebrahimzadeh, Seyyed M. Salili

机构 * Department of Electrical Engineering & Computer Science University of Michigan（电气工程与计算机科学系 密歇根大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究大语言模型中事实分布和反幻觉提示对检索、推理及幻觉的影响，通过扩展基准评估多个模型，识别出分布崩溃和安全代价两种失败模式，发现许多失败源于无效上下文利用，强调特定模型稳健性和上下文管理的重要性。

Comments 16 pages, 8 figures, 2 tables. Accepted at the FAGEN Workshop @ ICML 2026

REAL: REtrieval-reAsoning and Logic-constructed Attention Behaviors for Long-Context KV Cache Compression

REAL：用于长上下文KV缓存压缩的检索推理和逻辑构建注意力行为

Mengjie Li, Yuan Feng, Xike Xie, William J. Song

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 针对大语言模型KV缓存问题，受混淆矩阵启发提出REAL方法，通过注意力行为矩阵全面分析注意力头行为，最大化信噪比，经评估在多模型和基准测试中性能显著，为长上下文建模方法转变提供新思路。

Comments Accepted at ACL 2026 Main Conference

LoRDO: Distributed Low-Rank Optimization with Infrequent Communication

LoRDO: 分布式低秩优化与低频通信

Andrej Jovanović, Alex Iacob, Mher Safaryan, Ionut-Vlad Modoranu, Lorenzo Sani, William F. Shen, Xinchi Qiu, Dan Alistarh, Nicholas D. Lane

机构 * University of Cambridge（剑桥大学） ； Institute of Science and Technology Austria（奥地利科学与技术研究院） ； Lancaster University（兰卡斯特大学） ； Flower Labs（Flower实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出LoRDO框架，统一低秩优化与低频同步，通过全秩准双曲更新恢复子空间探索，在125M-720M模型规模下实现与低秩DDP近似的性能，通信量减少约10倍。

Comments Accepted at ICML 2026

Telling stories, making Hanzi: AI-assisted co-creation with elderly migrants in urban China

讲述故事，创造汉字：人工智能辅助中国城市老年移民的协同创作

Yunfei Chen, Wen Zhan, Peiyue Lin, Ziqun Hua, Ying Hu

机构 * School of Design, Hunan University（湖南大学设计学院） ； Royal College of Art（皇家艺术学院） ； University of the Arts London, Central Saint Martins（伦敦艺术大学，中央圣马丁学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 通过协同创作工作坊，结合口述故事、AI辅助和手工制作，让老年移民创造新汉字以记录被忽视的生活故事，揭示参与者的异质性和适应能力，并展示AI作为降低表达门槛的创意启动器。

Comments A version of this manuscript has been submitted to the [IASDR 2025 Conference](https://iasdr2025.org/) and is currently under review

RoboStream: Weaving Spatio-Temporal Reasoning with Memory in Vision-Language Models for Robotics

RoboStream: 用记忆融合时空推理提升视觉语言模型在机器人中的应用

Yuzhi Huang, Jie Wu, Weijue Bu, Ziyi Xiong, Gaoyang Jiang, Ye Li, Kangye Ji, Shuzhao Xie, Yue Huang, Chenglei Wu, Jingyan Jiang, Zhi Wang

机构 * Shenzhen International Graduate School, Tsinghua University（深圳国际研究生院，清华大学） ； YXGN Robotics（YXGN机器人） ； China University of Mining and Technology（中国矿业大学） ； Shenzhen Technology University（深圳技术大学） ； Huazhong University of Science and Technology（华中科技大学） ； Xiamen University（厦门大学） 纠错

专题命中 长上下文与记忆 ：language model(title)

AI总结 RoboStream通过时空融合令牌和因果时空图实现持久记忆，解决机器人长时间任务中的几何锚定和状态追踪问题，提升长期任务表现。

Comments Accepted by ECCV 2026

The First Drop of Ink: Nonlinear Impact of Distracting Information in Long-Context Reasoning

第一滴墨水：误导信息在长上下文推理中的非线性影响

Muhan Gao, Zih-Ching Chen, Kuan-Hao Huang

机构 * Department of Computer Science ； Engineering, Texas A\&M University, College Station, TX, USA ； NVIDIA AI Technology Center, NVIDIA Corporation, Santa Clara, CA, USA 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究探讨了误导信息在长上下文推理中的非线性影响，发现误导信息比例增加时，性能在初期急剧下降，后续变化较小。通过理论和实证分析，揭示了误导信息对注意力的 disproportionate 影响，并指出过滤收益主要来自减少上下文长度而非去除误导信息。

ContextSniper: AntTrail's Token-Efficient Code Memory for Repository-Level Program Repair

ContextSniper: AntTrail的令牌高效代码记忆用于仓库级程序修复

Chiwang Luk, Matin Mohammad Najafi, Zhifeng Jia, Wei Yang, Xiuchang Li, Jinwei Zhu, Yang Ren, Lei Chen, Gao Cong

机构 * Huawei（华为） ； HKUST(GZ)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出ContextSniper，一种令牌高效的代码记忆层，通过精准证据选择、混合检索排序和意图感知上下文门控，在SWE-bench Lite上减少51.5%令牌使用和36.4%成本，修复率仅轻微下降。

When Your Agent Opens the Chat App: Agent-Controlled Search over Raw Chat Logs Rivals Structured Memory

当你的智能体打开聊天应用时：智能体控制的原始聊天日志搜索可与结构化记忆相媲美

Ruizhe Li, Licheng Zhang, Benfeng Xu, Mingxuan Du, Zheren Fu, Weidong Chen

机构 * University of Science and Technology of China（中国科学技术大学） ； MetaStone Technology（MetaStone科技公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究提出无语义结构的智能体控制搜索界面ReFind，在MemoryAgentBench等任务上，其检索准确率优于HippoRAG 2等结构化记忆系统，证明可控词汇检索可替代复杂记忆结构实现高效会话记忆任务。

Decoding Student Minds: Leveraging Conversational Agents for Psychological and Learning Analysis

解码学生心智：利用对话代理进行心理和学习分析

Nour El Houda Ben Chaabene, Hamza Hammami, Laid Kahloul

机构 * STIH Laboratory, Sorbonne University（索邦大学STIH实验室） ； LIPAH-LR11ES14, National Engineering School of Tunis（突尼斯国家工程学院LIPAH-LR11ES14） ； Faculty of Sciences of Tunis（突尼斯科学学院） ； LINFI Laboratory（LINFI实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种结合多模态数据和语义推理的对话代理，用于实时分析学生认知和情感状态，提升学习表现和情感福祉。

Infrared Organization and Critical Cognitive Field Formation in Transformer Dynamics

变压器动力学中的红外组织与临界认知场形成

Byung Gyu Chae

机构 * Electronics and Telecommunications Research Institute（电子和电信研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究大语言模型中Transformer动力学集体行为的物理机制，利用Pythia语言模型提取弛豫谱，定量测量相关指标，发现其动力学受红外集体组织支配，红外慢模式组织是普遍集体原则。

Comments 55 pages, 47 figures

Blast Radius

爆炸半径

MY Pitsane, Hope Mogale

机构 * Algorithm Reconnaissance Division（算法侦察部） ； Mankind Research Labs（人类研究实验室） ； North-West University（西北大学） ； University of Pretoria（比勒陀利亚大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对智能体编码的令牌浪费问题，提出Blast Radius内存管理层，结合NECROPHORESIS与RDM实现可逆上下文驱逐，在7个OpenAI模型上降低令牌消耗17%-26%，提升编码可持续性。

Memory-Augmented Reinforcement Learning Agent for CAD Generation

具有记忆增强的强化学习代理的CAD生成

Yin Xiaolong, Liu Yu, Shen Jiahang, Lu Xingyu, Ni Jingzhe, Fan Fengxiao, Sang Fan

机构 * Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种记忆增强的强化学习框架，用于生成CAD模型，通过引入强化学习进行检索和策略优化，有效避免了检索陷阱，提高了复杂CAD模型生成的成功率和几何一致性。

Comments We are withdrawing this manuscript because we have identified issues in the current analysis that require substantial revision. Until these issues are resolved, we do not consider the present version suitable for citation

ConMem: Contribution-Aware Memory for Long-Horizon Manufacturing Inspection Logs

ConMem：面向长周期制造检查日志的贡献感知记忆

Bingchen Liu, Yuanyuan Fang, Lei Liu, Guangyuan Dong, Xing Fu, Yuanyuan Gao, Shuyue Wei, Xin Li, Xiangtian Meng

机构 * Shandong University（山东大学） ； Boston University（波士顿大学） ； North China Electric Power University（华北电力大学） ； National University of Singapore（新加坡国立大学） ； Joint SDU-NTU Centre for Artificial Intelligence Research (C-FAIR), Shandong University（山东大学-南洋理工大学人工智能联合研究中心（C-FAIR）） ； Rizhao Steel Holding Group Co., Ltd.（日照钢铁控股集团有限公司） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对长周期制造检查日志的早期风险筛查需求，提出ConMem贡献感知记忆框架，通过Shapley风格评估保留高价值证据，在真实数据集上实现76.0% QA准确率，大幅减少输入token数与响应时间，可有效保留弱早期信号并提供预警。

How to Build Marcus's Algebraic Mind: Algebro-Deterministic Substrate over Galois Fields

如何构建马库斯的代数心智：基于伽罗瓦域的代数确定性介质

Hiroyuki Chuma, Kanji Otsuk, Yoichi Sato

机构 * Institute of Innovation Research, Hitotsubashi University（立命馆大学创新研究所） ； Meisei University（立命馆大学） ； Shuhari System（Shuhari系统） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出了一种基于伽罗瓦域的代数确定性介质，实现了马库斯提出的三种认知架构核心要素，并展示了该架构在逻辑推理和语义区分方面的应用。

Comments 26 pages

InfMem: Learning System-2 Memory Control for Long-Context Agent

InfMem: 面向长上下文智能体的系统2记忆控制

Xinyu Wang, Mingze Li, Peng Lu, Xiao-Wen Chang, Lifeng Shang, Jinping Li, Fei Mi, Prasanna Parthasarathi, Yufei Cui

机构 * McGill University（麦吉尔大学） ； Noah's Ark Lab（诺亚实验室） 纠错

专题命中 长上下文与记忆 ：SFT(abstract,abstract_cn)；分类 cs.CL

AI总结 InfMem通过预思考-检索-写作协议实现系统2风格的控制，有效提升超长文档推理的准确率并减少推理时间。

Comments Accepted to COLM 2026

Trace Only What You Need: Structure-Aware On-Demand Hypergraph Memory for Long-Document Question Answering

仅追踪所需：面向长文档问答的结构感知按需超图记忆

Xiangjun Zai, Xingyu Tan, Chen Chen, Xiaoyang Wang, Wenjie Zhang

机构 * University of New South Wales（新南威尔士大学） ； CSIRO（澳大利亚联邦科学与工业研究组织） ； University of Wollongong（伍伦贡大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出DocTrace，一种多智能体RAG框架，通过查询触发的知识组织、文档结构感知和经验引导推理，解决长文档问答中知识组织成本高、结构利用不足和推理经验无法复用的问题，在三个数据集上取得最佳性能。

When Memory Becomes Authority: Benchmarking Authority Collapse at the Memory Consolidation Boundary

当记忆成为权威：在记忆整合边界处对权威崩溃进行基准测试

Qiuyang Zhan, Rui Zhang, Sheng Guo, Lepeng Zhao, Zhuotao Liu

机构 * Tsinghua University（清华大学） ； East China Normal University（华东师范大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究推出AuthMem-Bench基准，发现智能体记忆整合存在权威崩溃问题，自动保留权威标签可大幅降低未授权动作率，证明记忆适配需同时保留权威信息。

Comments 38 pages, 2 figures

AIvilization v0: Toward Large-Scale Artificial Social Simulation with a Unified Agent Architecture and Adaptive Agent Profiles

AIvilization v0：迈向大规模人工社会模拟的统一代理架构与自适应代理档案

Wenkai Fan, Shurui Zhang, Xiaolong Wang, Haowei Yang, Tsz Wai Chan, Xingyan Chen, Junquan Bi, Zirui Zhou, Jia Liu, Kani Chen

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Bauhinia AI 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 AIvilization v0通过统一代理架构和自适应代理档案，实现大规模人工社会模拟，解决目标稳定性与反应正确性矛盾，支持长周期自主性和多目标环境下的稳健性。

Comments v2: major revision. Agent architecture and environment consolidated into self-contained sections; new problem-setting section formalizing the asynchronous event model; evaluation reorganized by experiment with results reported alongside each protocol; added action-simulator audit, and human-steering analyses; other sections rewritten

Functional Cache Grafting: Robust and Rapid Code-Policy Synthesis for Embodied Agents

功能缓存嫁接：具身智能体的鲁棒且快速代码策略合成

Saehun Chun, Wonje Choi, Sera Choi, Sanghyun Ahn, Honguk Woo

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出FCGraft框架，通过维护函数级验证代码骨架及其键值缓存，对新任务进行缓存嫁接（拼接和修补），减少预填充计算并复用验证结构，实现更鲁棒和快速的策略合成。

Comments Accepted at ICML 2026

LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention

LiteTopK：利用维度诅咒设计长上下文稀疏注意力中的融合索引器 - TopK 内核

Ziqi Yin, Jianyang Gao, Peiqi Yin, Jiangneng Li, Gao Cong

机构 * Nanyang Technological University（南洋理工大学） ； ETH Zurich（苏黎世联邦理工学院） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究针对现有 GPU 索引器 - TopK 内核效率低的问题，利用维度诅咒设计 LITETOPK 内核，通过采样估计得分范围划分候选结果桶，降低内存开销，在实际部署中加速 GLM 5.2 预填充阶段，提升了效率。

No Subspace to Track: Non-Identifiability and Optimizer State in Low-Rank Training

无迹可循：低秩训练中的不可识别性与优化器状态

Noel Thomas

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究低秩训练中优化器子空间不可识别性问题，发现不同小批量计算的子空间估计差异大，平均无法恢复其余方向。提出将刷新视为坐标变化，如LDAdam表现良好，还明确了GaLore有效原因及相关检查要点在于可重现秩k*。

Comments 21 pages, 5 figures, under review at ICOMP2026

Psy-Chronicle:A Structured Pipeline for Synthesizing Long-Horizon Campus Psychological Counseling Dialogues

Psy-Chronicle: 一个用于合成长周期校园心理辅导对话的结构化流水线

Chaogui Gou

机构 * University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出Psy-Chronicle，一种结构化数据生成框架，用于合成长周期校园心理辅导对话，通过生成学期跨度的时间压力事件图和学生与辅导员代理的交互模拟，构建了包含100个学生档案和9万条对话的CPCD数据集，并通过CPCD-Bench评估模型的长周期校园辅导能力，实验结果表明CPCD有效提升了模型的会话级响应生成和长周期记忆召回能力。

VTC: DNN Compilation with Virtual Tensors for Data Movement Elimination

VTC: 基于虚拟张量的DNN编译以消除数据移动

Muyan Hu, Ahan Gupta, Jiachen Yuan, Vima Gupta, Taeksang Kim, Xin Xu, Janardhan Kulkarni, Ofer Dekel, Vikram Adve, Charith Mendis

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Georgia Institute of Technology（佐治亚理工学院） ； Microsoft（微软） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 VTC通过引入虚拟张量概念，首次实现消除所有不必要的数据移动，提升DNN编译效率，减少内存占用。

Comments Accepted to OSDI'26

AOI: Context-Aware Multi-Agent Operations via Dynamic Scheduling and Hierarchical Memory Compression

AOI：通过动态调度和分层内存压缩实现的上下文感知多智能体操作

Zishan Bai, Hanxuan Chen, Jiayi Gu, Wenqian Weng, Enze Ge, Jiacheng Shi, Yichao Zhang, Zhimo Han, Riyang Bao, Xinyuan Song, Jacqueline Pang, Junfeng Hao

机构 * Columbia University（哥伦比亚大学） ； Hunan University（湖南大学） ； Central University of Finance and Economics（中央财经大学） ； Chongqing University（重庆大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； AI Agent Lab, Vokram Group（Vokram集团人工智能代理实验室） ； College of William and Mary（威廉与玛丽学院） ； University of Texas（得克萨斯大学） ； Zhengzhou University of Light Industry（郑州轻工业大学） ； Emory University（埃默里大学） ； Department of Nephrology, Affiliated Hospital of Guangdong Medical University（广东医科大学附属医院肾病科） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出AOI框架，通过动态任务调度和分层内存压缩，提升复杂IT基础设施的自主运维能力，实现72.4%的上下文压缩和94.2%的任务成功率。

Comments new revision

CompLLM: Compression for Long Context Q&A

CompLLM：长上下文问答的压缩方法

Gabriele Berton, Jayakrishnan Unnikrishnan, Son Tran, Mubarak Shah

机构 * Amazon（亚马逊） ； Center For Research in Computer Vision, University of Central Florida（计算机视觉研究中心，中央佛罗里达大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究针对大语言模型处理长上下文的计算挑战，提出CompLLM软压缩技术。核心方法是将上下文分段独立压缩，具有效率、可扩展性和可重用性。贡献是提升处理速度、减小缓存大小且性能可比甚至超越未压缩情况。

Simplified Sparse Attention via Gist Tokens

遗忘，然后回忆：通过概要稀疏注意力实现可学习的压缩与选择性展开

Yuzhen Mao, Michael Y. Li, Emily B. Fox

机构 * Stanford University（斯坦福大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出一种通过概要稀疏注意力实现可学习的压缩与选择性展开机制，结合紧凑的全局表示与目标访问细粒度证据，提升长上下文大语言模型的效率与性能。

A Systematic Analysis of Hybrid Linear Attention

混合线性注意力机制的系统分析

Dustin Wang, Rui-Jie Zhu, Steven Abreu, Yong Shan, Taylor Kergan, Yuqi Pan, Yuhong Chou, Zheng Li, Jibin Wu, Ge Zhang, Wenhao Huang, Jason Eshraghian

机构 * UC Santa Cruz（加州大学圣克鲁兹分校） ； ByteDance Seed（字节跳动种子） ； University of Groningen（格罗宁根大学） ； CASIA（中国科学院自动化研究所） ； PolyU ； M-A-P 纠错

专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)；分类 cs.CL

AI总结 系统评估六种线性注意力变体在独立和混合架构下的性能，发现独立性能优越的模型在混合中不一定表现好，推荐HGRN-2或GatedDeltaNet以3:1至6:1的线性-全注意力比例达到Transformer级召回率。