AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
探索性与同化性反思：用于长期记忆的反思性回忆循环
专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI
AI总结 研究基于大语言模型的自主智能体外部记忆问题，提出探索性 - 同化性反思（EAR）框架，结合探索性反思与同化性反思两种机制，提高初始检索性能和样本效率，在长期对话基准上比基线检索器提升检索率达 17.9%，且样本效率高、抗噪声反馈。
SynH-Rank：通过多样化数据合成和分层排序训练实现质量感知代码搜索
机构 * College of Computer Science and Technology（计算机科学与技术学院） ； The State Key Laboratory of Blockchain and Data Security（区块链与数据安全国家重点实验室） ； Zhejiang University（浙江大学） ； Hangzhou City University（杭州市城市大学） ； Zhejiang University and Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（浙江大学和杭州高新区（滨江）区块链与数据安全研究院）
专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL
AI总结 研究针对代码搜索中重排器忽视非功能质量的问题，提出SynH-Rank框架，结合大语言模型数据合成与分层排序训练，采用三级标注方案及新指标，有效提升了代码搜索质量，在多方面取得优于传统方法的性能。
用于主动具身安全的自进化即时记忆
机构 * Huazhong University of Science and Technology（华中科技大学） ； Tsinghua University（清华大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG
AI总结 研究视觉语言模型在闭环交互中应对动态危险的问题，提出自进化即时记忆框架，含RSG、事实记忆和经验记忆，并通过自动测试-验证-写入循环完善元技能，实验证明该框架大幅提升安全成功率且不阻碍任务进展。
智能体是否会梦到虚假记忆？对多模态人工智能智能体长期记忆的黑盒视觉攻击
机构 * University of California, Irvine（加州大学尔湾分校）
专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.LG
AI总结 研究针对多模态人工智能智能体长期记忆的黑盒视觉攻击，提出Lucid框架，通过制作扰动实现记忆中毒和注入两种攻击模式，在多种对话领域和架构上评估，揭示了多模态记忆管道的结构漏洞。
Comments 34 pages, 5 figures, 15 tables
OpsMem：用于故障诊断的具有跨内存共振的双内存推理
机构 * Huawei（华为）
专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI
AI总结 针对现代软件系统故障诊断中缺乏协调诊断状态与操作经验机制的问题，提出双内存框架OpsMem，通过跨内存共振等进行多智能体诊断，实验表明其在华为微服务故障诊断数据集上优于基线，提升了匹配度和相关性。
Comments 6 pages, 5 figures
用于安全开放式探索的异构智能体群组及运行时约束记忆
机构 * Google DeepMind（谷歌DeepMind）
专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI
AI总结 研究针对语言模型智能体安全与探索困境，提出将关注点分离到专门角色，通过蒙特卡洛树搜索编译失败为‘伤疤’约束补丁，在空间语义沙盒实验中，该方法能到达远程目标、防止违规、减少令牌消耗，还能在资源约束下降低成本。
Comments 12 pages, 1 figure, 12 tables
人工智能小镇：与你的数字分身交友并赚钱
机构 * INSAIT, Sofia University “St. Kliment Ohridski”（INSAIT，索非亚大学“圣克莱门特·奥赫里德斯基”分校） ； Newcastle University（纽卡斯尔大学） ； Linköping University（林雪平大学）
专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.AI
AI总结 研究针对现有方法不足，提出AI YOU框架，结合多种技术进行角色推断，通过记忆机制保持一致性，实验显示其在共形覆盖、不确定性校准等方面表现良好，提升了角色保真度，AI YOU Town原型可用于未来交互。
Comments 28 pages
通过自我发现的规范进行智能体上下文学习
机构 * University of Southern California（南加州大学） ； University of Florida（佛罗里达大学） ； Emory University（埃默里大学） ； Adobe Research（Adobe研究院） ； The Ohio State University（俄亥俄州立大学） ； National Taiwan University（国立台湾大学）
专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.AI
AI总结 研究上下文学习困难的原因，发现其不仅需内容获取还需规范获取。设计PSCI干预措施，提取并强化局部规范，在多个模型上取得显著提升，验证了规范获取的重要性，表明上下文学习依赖内容与规范获取。
SAGEAgent：用于多模态生存预测中成本感知模态获取的自进化智能体
机构 * Vanderbilt University（范德堡大学） ； Vanderbilt University Medical Center（范德堡大学医学中心）
专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI
AI总结 研究多模态生存预测中如何平衡预测准确性与临床侵入性，提出基于自进化大语言模型的SAGEAgent，通过多种记忆和工具为患者决定诊断方式，实验证明其能在胶质瘤队列中降低获取负担并保持竞争力。
WAM-TTT：在测试时通过观察人类行为来引导世界行动模型
机构 * Peking University（北京大学） ； Galbot ； CASIA（中国科学院自动化所） ； Tsinghua University（清华大学）
专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI
AI总结 研究旨在解决引导机器人基础模型的难题，提出WAM-TTT框架，通过自监督视频预测吸收人类视频到自适应内存，经元训练阶段对齐人机行为，测试时仅用未标记人类视频，实现高效可重复引导且优于基线。
数据如何塑造RoPE频率使用：从位置尺度匹配到长度泛化
机构 * MIT IDSS（麻省理工学院信息系统与决策科学实验室） ； IIIS, Tsinghua University（清华大学交叉信息研究院）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG
AI总结 研究RoPE频率使用不均匀的原因，提出数据诱导依赖决定频率使用，最佳频率与1/W成比例，该原则解释了相关观察，还将频率选择与长度泛化联系，表明自然语言有自相似性，长上下文泛化取决于两种尺度匹配。
深度交织-KV：用于长上下文键值缓存压缩的令牌自适应跨层残差分解
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 研究长上下文语言模型键值缓存压缩问题，提出DepthWeave-KV方法，通过跨层残差分解、令牌条件深度路由及在线误差跟踪实现自适应压缩，在多个基准测试中降低内存使用并提升任务质量。
Comments 9 pages, 2 figures
CompactionRL：面向长视界智能体的带上下文压缩强化学习
机构 * Tsinghua University（清华大学）
专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.LG
AI总结 针对长视界大语言模型智能体受上下文窗口限制的问题，提出结合上下文压缩的强化学习方法，联合优化任务执行与摘要生成，在智能体编码任务上取得显著性能提升。
内存编排语义系统（MOSS）：一种可审计的智能记忆架构
机构 * Faculté de musique, Université Laval, Québec, Canada（加拿大魁北克拉瓦尔大学音乐学院） ； Faculté des sciences et de génie, Université Laval, Québec, Canada（加拿大魁北克拉瓦尔大学理工学院）
专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL
AI总结 研究针对AI智能体长期记忆的弱点，提出MOSS架构，通过在结构化关系数据库上驱动检索，具有模型、存储、API无关性，检索可审计且从语料库派生概念词汇，报告了在个人学者工作语料库上的长期部署。
Comments 22 pages, 2 figures
AGL-1：作为可信企业智能控制平面的企业人工智能治理层
机构 * Independent Researcher（独立研究员）
专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI
AI总结 研究企业人工智能从实验走向运营面临的治理挑战，介绍AGL-1企业人工智能治理层这一参考模型，基于相关原则将治理问题从检索控制扩展到全执行路径治理，定义七个治理领域。
Comments 16 pages, 1 figure; independent technical report
线性注意力中的海马体：为循环状态遗忘的内容提供精确记忆
机构 * Shanghai University of Finance and Economics（上海金融学院）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 针对线性注意力模型因固定大小循环状态导致早期事实被覆盖、精确回忆退化的问题，提出海马体线性注意力（HOLA），通过添加有界精确KV缓存作为互补记忆系统，实现半参数化测试时记忆，在多项基准上取得显著提升。
Comments 12 pages
Set Diffusion: 在自回归与扩散之间插值令牌顺序以实现快速灵活的解码
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG
AI总结 提出Set Diffusion模型，通过将似然参数化为灵活位置和长度的令牌集，并设计集因果扩散架构，支持任意顺序解码和KV缓存更新，在数学推理、摘要和无条件生成上优于先前的扩散语言模型。
Comments ICML 2026. We provide the code at https://github.com/kuleshov-group/setdlms
先擦除后增量注意力：在Delta规则线性注意力中解耦擦除与写入地址
机构 * Qwen Team（Qwen团队） ； Nanjing University（南京大学） ； Zhejiang University（浙江大学）
专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL
AI总结 提出Erase-then-Delta Attention (EDA)，通过解耦擦除和写入地址，在Delta规则基础上增加选择性擦除步骤，提升循环记忆模型的记忆管理能力，在2.5B密集和MoE 25B-A2.8B模型上取得最优性能。
代码不是内存：编码代理中的结构化代码库索引
机构 * TransformerOptimus
专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI
AI总结 通过消融实验和跨框架对比，研究在固定编码代理框架中增加结构化代码库索引对成本与解决率的影响，发现索引能显著提升定位和解决率且不增加成本。
Comments Code and data: https://github.com/TransformerOptimus/supercoder-eval
GEOPHYS: 物理合理性的几何学
机构 * Bielefeld University（比勒费尔德大学） ； University of Oxford（牛津大学） ； Cold Spring Harbor Laboratory（冷泉港实验室） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Independent（独立作者） ； Honda Research Institute EU（本田欧洲研究院） ； New York University（纽约大学） ； Flatiron Institute, Simons Foundation（西蒙斯基金会熨斗研究所）
专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI
AI总结 提出GEOPHYS方法，利用冻结图像编码器的每帧嵌入的五个几何特征检测视频中的物理不合理性，在物理违反检测上达到SOTA，并作为验证器提升视频生成模型的物理一致性。
FinAcumen: 通过自演化经验记忆实现的金融多模态推理
机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Queen Mary University of London（伦敦玛丽女王大学）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 提出FinAcumen框架，通过选择性经验记忆机制增强工具增强型多模态推理，在四个金融基准上持续提升冻结的8B视觉语言模型性能。
用户作为印迹：将每用户记忆内化为局部参数编辑
机构 * Pine AI
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 提出User as Engram方法，将用户事实存储为Engram模型的哈希键控记忆表中的局部编辑，推理技能共享一个适配器，实现高精度间接推理且内存占用极小。
变宽Transformer
机构 * MIT（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL
AI总结 提出一种中间窄、两端宽的变宽Transformer架构，通过无参数残差缩放机制实现非均匀容量分配，在语言模型困惑度、FLOPs和KV缓存上优于均匀宽度基线。
EvolveNav: 用于零样本目标导航的主动预反思与自进化记忆
机构 * HKUST(GZ)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） ； Xi’an Jiaotong University（西安交通大学） ； XGRIDS（深圳格物智联）
专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI
AI总结 提出自进化零样本目标导航框架，通过从历史轨迹提取规则并基于置信上界检索，结合记忆引导预反思模块，减少无效探索，成功率提升10.1%。
AnchorEdit: 通过因果记忆在多轮图像编辑中保持时间一致性
机构 * University of Science and Technology of China（中国科学技术大学） ； JD Explore Academy（京东探索研究院）
专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.AI
AI总结 提出首个自回归扩散框架AnchorEdit，通过因果记忆机制和自展开策略解决多轮编辑中的身份漂移和误差累积问题，在10轮以上交互中保持高保真度。
Comments Code: https://github.com/xuhang07/AnchorEdit
MemVenom：网络代理中多模态记忆的触发式投毒
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG
AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。
Comments Preprint. 27 pages, 6 figures, 6 tables
Still: 单次前向传递中的摊销KV缓存压缩
机构 * Baseten
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG
AI总结 提出Still方法，通过单次前向传递的轻量级Perceiver层实现KV缓存压缩，在8×至200×压缩比和8k至128k上下文长度下兼顾速度与质量，长上下文任务超越最强基线8-22分。
M$^3$Exam: 面向真实用户-智能体交互的多模态记忆基准
机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Beijing University of Chemical Technology（北京化工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Beijing Institute of Technology (Zhuhai)（北京理工大学（珠海）） ； Tencent Hy（腾讯（深圳）） ； Peng Cheng Laboratory（鹏城实验室）
专题命中 长上下文与记忆 ：language agent(abstract)；分类 cs.CL
AI总结 提出M$^3$Exam基准，用于评估多模态大语言模型在真实用户-智能体交互中的跨模态推理和隐式信息推断能力，并设计M$^3$Proctor方法通过按需处理视觉源提升准确率13%，同时降低索引构建时间和检索token超70%。
BIT-Nav: 具身导航的脑启发轨迹记忆
机构 * Johns Hopkins University（约翰霍普金斯大学） ； DEVCOM Army Research Laboratory（DEVCOM陆军研究实验室）
专题命中 长上下文与记忆 ：language model(abstract)；LLM(comments)
AI总结 提出BIT-Nav框架，通过轻量级学习轨迹记忆增强冻结的视觉-语言模型导航，解决长序列中帧采样稀疏问题，以恒定token成本编码结构化运动历史。
Comments Accepted to CVPR 2026: 2nd Workshop on 3D-LLM/VLA: Bridging Language, Vision and Action in 3D Environments
DB-SpMSpV：面向动态GPU工作负载的双视角分块稀疏矩阵-稀疏向量乘法
专题命中 长上下文与记忆 ：LLM(abstract_cn)
AI总结 本文提出面向动态GPU工作负载的双视角分块SpMSpV框架DB-SpMSpV，集成至DB-BFS和DB-Decoding后，在A100和RTX 4090上相比现有方法实现了显著加速。
Comments 11 pages, 10 figures, Accepted by ICPP 2026;
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈