AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
线性注意力中的海马体：为循环状态遗忘的内容提供精确记忆
机构 * Shanghai University of Finance and Economics（上海金融学院）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 针对线性注意力模型因固定大小循环状态导致早期事实被覆盖、精确回忆退化的问题，提出海马体线性注意力（HOLA），通过添加有界精确KV缓存作为互补记忆系统，实现半参数化测试时记忆，在多项基准上取得显著提升。
Comments 12 pages
Set Diffusion: 在自回归与扩散之间插值令牌顺序以实现快速灵活的解码
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG
AI总结 提出Set Diffusion模型，通过将似然参数化为灵活位置和长度的令牌集，并设计集因果扩散架构，支持任意顺序解码和KV缓存更新，在数学推理、摘要和无条件生成上优于先前的扩散语言模型。
Comments ICML 2026. We provide the code at https://github.com/kuleshov-group/setdlms
先擦除后增量注意力：在Delta规则线性注意力中解耦擦除与写入地址
机构 * Qwen Team（Qwen团队） ； Nanjing University（南京大学） ； Zhejiang University（浙江大学）
专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL
AI总结 提出Erase-then-Delta Attention (EDA)，通过解耦擦除和写入地址，在Delta规则基础上增加选择性擦除步骤，提升循环记忆模型的记忆管理能力，在2.5B密集和MoE 25B-A2.8B模型上取得最优性能。
代码不是内存：编码代理中的结构化代码库索引
机构 * TransformerOptimus
专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI
AI总结 通过消融实验和跨框架对比，研究在固定编码代理框架中增加结构化代码库索引对成本与解决率的影响，发现索引能显著提升定位和解决率且不增加成本。
Comments Code and data: https://github.com/TransformerOptimus/supercoder-eval
GEOPHYS: 物理合理性的几何学
机构 * Bielefeld University（比勒费尔德大学） ； University of Oxford（牛津大学） ； Cold Spring Harbor Laboratory（冷泉港实验室） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Independent（独立作者） ； Honda Research Institute EU（本田欧洲研究院） ； New York University（纽约大学） ； Flatiron Institute, Simons Foundation（西蒙斯基金会熨斗研究所）
专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI
AI总结 提出GEOPHYS方法，利用冻结图像编码器的每帧嵌入的五个几何特征检测视频中的物理不合理性，在物理违反检测上达到SOTA，并作为验证器提升视频生成模型的物理一致性。
用户作为印迹：将每用户记忆内化为局部参数编辑
机构 * Pine AI
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 提出User as Engram方法，将用户事实存储为Engram模型的哈希键控记忆表中的局部编辑，推理技能共享一个适配器，实现高精度间接推理且内存占用极小。
变宽Transformer
机构 * MIT（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL
AI总结 提出一种中间窄、两端宽的变宽Transformer架构，通过无参数残差缩放机制实现非均匀容量分配，在语言模型困惑度、FLOPs和KV缓存上优于均匀宽度基线。
EvolveNav: 用于零样本目标导航的主动预反思与自进化记忆
机构 * HKUST(GZ)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） ； Xi’an Jiaotong University（西安交通大学） ； XGRIDS（深圳格物智联）
专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI
AI总结 提出自进化零样本目标导航框架，通过从历史轨迹提取规则并基于置信上界检索，结合记忆引导预反思模块，减少无效探索，成功率提升10.1%。
AnchorEdit: 通过因果记忆在多轮图像编辑中保持时间一致性
机构 * University of Science and Technology of China（中国科学技术大学） ； JD Explore Academy（京东探索研究院）
专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.AI
AI总结 提出首个自回归扩散框架AnchorEdit，通过因果记忆机制和自展开策略解决多轮编辑中的身份漂移和误差累积问题，在10轮以上交互中保持高保真度。
Comments Code: https://github.com/xuhang07/AnchorEdit
MemVenom：网络代理中多模态记忆的触发式投毒
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG
AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。
Comments Preprint. 27 pages, 6 figures, 6 tables
Still: 单次前向传递中的摊销KV缓存压缩
机构 * Baseten
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG
AI总结 提出Still方法，通过单次前向传递的轻量级Perceiver层实现KV缓存压缩，在8×至200×压缩比和8k至128k上下文长度下兼顾速度与质量，长上下文任务超越最强基线8-22分。
M$^3$Exam: 面向真实用户-智能体交互的多模态记忆基准
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Beijing University of Chemical Technology（北京化工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Beijing Institute of Technology (Zhuhai)（北京理工大学（珠海）） ； Tencent Hy（腾讯（深圳）） ； Peng Cheng Laboratory（鹏城实验室）
专题命中 长上下文与记忆 ：language agent(abstract)；分类 cs.CL
AI总结 提出M$^3$Exam基准，用于评估多模态大语言模型在真实用户-智能体交互中的跨模态推理和隐式信息推断能力，并设计M$^3$Proctor方法通过按需处理视觉源提升准确率13%，同时降低索引构建时间和检索token超70%。
BIT-Nav: 具身导航的脑启发轨迹记忆
机构 * Johns Hopkins University（约翰霍普金斯大学） ； DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
专题命中 长上下文与记忆 ：language model(abstract)；LLM(comments)
AI总结 提出BIT-Nav框架，通过轻量级学习轨迹记忆增强冻结的视觉-语言模型导航，解决长序列中帧采样稀疏问题，以恒定token成本编码结构化运动历史。
Comments Accepted to CVPR 2026: 2nd Workshop on 3D-LLM/VLA: Bridging Language, Vision and Action in 3D Environments
用于手术器械分割的SAM分层原型-记忆适应方法
机构 * Beihang University（北京航空航天大学） ； Image Processing Center（图像处理中心）
专题命中 长上下文与记忆 ：foundation model(abstract)
AI总结 针对SAM适配手术器械分割时的鲁棒性与尺度耦合问题，本文提出HPMA框架，通过分层原型记忆与尺度匹配耦合机制，在EndoVis2017/2018数据集上取得最优性能。
UniMem：统一视觉-语言-动作模型的多模态记忆与控制
机构 * Stanford University（斯坦福大学）
专题命中 长上下文与记忆 ：pretraining(abstract)
AI总结 UniMem 是统一多模态记忆与控制的视觉-语言-动作模型框架，通过事件分类器、关键帧编码器等技术，在模拟和硬件任务中性能优于基线，推理更快、训练流程更简单。
DB-SpMSpV：面向动态GPU工作负载的双视角分块稀疏矩阵-稀疏向量乘法
专题命中 长上下文与记忆 ：LLM(abstract_cn)
AI总结 本文提出面向动态GPU工作负载的双视角分块SpMSpV框架DB-SpMSpV，集成至DB-BFS和DB-Decoding后，在A100和RTX 4090上相比现有方法实现了显著加速。
Comments 11 pages, 10 figures, Accepted by ICPP 2026;
量子SWITCH诱导的非马尔可夫性并非完全量子
专题命中 长上下文与记忆 ：prompting(abstract)
AI总结 本研究通过分析离散时间演化和开放量子系统动力学映射两个场景，证明量子SWITCH产生的记忆效应并非真正量子非马尔可夫性，需重新审视不定因果序框架的量子优势来源。
Comments 9 pages, 7 figures, Comments are welcome!
VespaSeg：一种用于指代表达分割的资源感知“先定位后分割”流水线
机构 * University of Moratuwa（莫拉图瓦大学）
专题命中 长上下文与记忆 ：language model(abstract)
AI总结 本文针对指代表达分割中整体式模型部署成本高的问题，提出模块化流水线VespaSeg，采用轻量型视觉-语言模型定位与MobileSAM分割，经适配后在RefCOCO数据集上实现高精度，且内存占用低、推理速度快。
Comments 5 pages, 3 figures. Code and result artifacts: https://github.com/Savidilsh/VespaSeg
VisualRouter：面向长视频理解的查询驱动视觉采样
机构 * Tongji University（同济大学） ； University of Electronic Science and Technology of China（电子科技大学）
专题命中 长上下文与记忆 ：language model(abstract)
AI总结 本文提出无训练即插即用框架VisualRouter，通过将查询分为全局或局部并采用对应采样策略，提升了大型视觉语言模型的长视频理解性能，在多个基准数据集上优于均匀采样及现有无训练方法。
VPR-Evolve：用于FPGA布局布线的多智能体驱动算法进化
专题命中 长上下文与记忆 ：LLM(abstract)
AI总结 研究针对CAD工具固定算法在不同电路设计效果不佳的问题，提出VPR-Evolve多智能体框架，通过进化VPR源代码优化布局布线。经实验，相比原始VPR和超参数调整基线，该框架在关键路径延迟、布线线长和工具运行时等方面有显著提升。
注意力的记忆：通过视觉-语言-运动地图进行语言条件下的重新感知
专题命中 长上下文与记忆 ：language model(abstract)
AI总结 研究携带行为注释地图的机器人的规划问题，通过将重新感知视为注意力决策，利用持久地图的记忆实现资源分配优化，在语言条件任务中表现出色，证明地图能指导机器人关注重点，而非空间导航。
一试即优：用于跨情节探索摊销的去冗余过程记忆
机构 * Tsinghua University（清华大学） ； DISCOVER Robotics（DISCOVER机器人公司） ； Northeast Agricultural University（东北农业大学）
专题命中 长上下文与记忆 ：language model(abstract)
AI总结 研究如何让机器人避免重复探测隐藏状态物体，提出面向实例的记忆框架IOM，用视觉语言模型实例化，在多任务中减少操纵操作，提升效率且不降低成功率，即使过程错误也能成功。
Comments 8 pages, 3 figures, 3 tables
用于异构人工智能工作负载的智能CPU-GPU调度
专题命中 长上下文与记忆 ：LLM(abstract)
AI总结 研究异构人工智能工作负载的调度问题，提出将设备调度制定为三种选项，识别影响延迟的因素，构建智能调度器，该调度器在多种场景下达到最优映射，精度与经典基线匹配且无需离线训练，性能优于其他策略。
Comments 15 pages, 5 figures
VLN-AVP：用于自动代客泊车的基于混合长短时记忆的零样本视觉语言导航
机构 * Shanghai Jiao Tong University（上海交通大学） ； Yinwang Intelligent Technology Co., Ltd.（银望智能科技有限公司）
专题命中 长上下文与记忆 ：language model(abstract)
AI总结 研究针对自主代客泊车依赖预建地图限制可扩展性问题，提出VLN-AVP零样本导航框架，结合BEV模型与VLM，引入混合记忆系统，构建数据集和基准，实验证明该方法在模拟和实际车辆实验中均有良好效果，提升了成功率。
用于无训练测试时医学图像分割的内存支持协同适应
机构 * School of Computer Science, University of Nottingham（诺丁汉大学计算机科学学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） ； Information Systems Technology and Design Pillar, Singapore University of Technology and Design（新加坡科技设计大学信息系统技术与设计支柱）
专题命中 长上下文与记忆 ：language model(abstract)
AI总结 研究针对医学图像分割中测试时适应的挑战，提出内存支持协同适应（MSSA）框架，不更新模型参数，通过构建在线内存、文本引导语义先验及跨图像结构对齐实现稳健适应，实验证明其优于现有方法。
Comments 18 pages, ECCV 2026
HyperDCM：用于跨场景连续机器人导航的双曲空间动态集群记忆回放
机构 * Software Engineering Institute, East China Normal University（华东师范大学软件工程学院） ； School of Geospatial Information, Information Engineering University（信息工程大学地理空间信息学院） ； University of Shanghai for Science and Technology（上海理工大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 长上下文与记忆 ：language model(abstract)
AI总结 针对视觉导航持续学习难题，提出HyperDCM，通过场景图建模和记忆回放增强导航。利用视觉语言模型提取三元组，经R-GCN编码投影到双曲空间，采用动态聚类等策略。实验证明其在保留导航能力和泛化性上优于基线。
SkillNav：用于零样本对象目标导航的分数级技能干预
机构 * D-Robotics（D-机器人公司） ； HAI Center, University of Technology Sydney（悉尼科技大学HAI中心） ； School of Computer Science, Wuhan University（武汉大学计算机科学学院）
专题命中 长上下文与记忆 ：language model(abstract)
AI总结 研究针对VLM智能体零样本对象目标导航存在的问题，提出SkillNav框架，通过分层技能设计及双表示设计，无需训练，在多个数据集上提升成功率，建立新最优成绩。
[AAFLOW+] 用于多智能体工作流的具有零拷贝分布式键值缓存编排的有状态算子抽象
专题命中 长上下文与记忆 ：LLM(abstract)
AI总结 研究多智能体语言模型系统文本中心问题，提出AAFLOW+扩展，构建通信感知图并提供多种算子，实现零拷贝执行，通过分析成本模型验证，大幅降低TTFT、计算成本、键值内存并提高吞吐量，提升多智能体系统效率
Comments 21 pages, 10 Figures, 12 Tables
REBASE：用于无训练上下文分割的参考背景子空间消除
机构 * CamCom Technologies Private Limited（卡姆康技术私人有限公司）
专题命中 长上下文与记忆 ：foundation model(abstract)
AI总结 研究无训练上下文分割问题，提出REBASE框架，通过识别参考图像低秩背景特征子空间并投影特征，结合相似性加权最远点采样等生成正点提示，在多个数据集上取得无训练方法新成果，有效提升一次性定位效果。
历史监狱镇压记录的对话检索与实时知识建模
专题命中 长上下文与记忆 ：language model(abstract)
AI总结 针对历史数字图书馆管理，提出支持实时知识建模的文档分析系统，通过图结构存储事实，经专业交互实现跨源检索，可处理复杂查询，生成更丰富全面信息。
Comments Accepted at ICDAR2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈