语言大模型 / LLM

Learning the ARTS of Search for Automated Discovery

学习搜索的艺术以实现自动发现

Gurusha Juneja, Arnav Kumar Jain, Deepak Nathani, William Yang Wang, Xin Eric Wang

机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； Université de Montréal and Mila- Quebec AI Institute（蒙特利尔大学和Mila-魁北克人工智能研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出ARTS方法，利用推理语言模型在假设与实验空间中迭代搜索，通过测试时训练解决上下文长度问题，在22个任务上优于现有算法，相对提升超15.3%。

Collaborative Human-Agent Protocol (CHAP)

协作式人机协议 (CHAP)

Arsalan Shahid, Gordon Suttie, Philip Black

机构 * Brightbeam AI 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.CL、cs.AI

AI总结 提出CHAP协议，通过结构化事件记录（差异、理由、哈希）和可组合配置文件，解决多人类多智能体协作中人类判断信号丢失的问题。

Dual Dimensionality for Local and Global Attention

局部与全局注意力的双重维度

Zhiyuan Wang, Xuan Luo, Sirui Zeng, Xifeng Yan

机构 * UC Santa Barbara（加州大学圣塔芭芭拉分校） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 提出距离自适应表示（DAR），对局部上下文保留全维度表示，对远距离token使用低维表示，在保持性能的同时减少KV缓存。

Long-Context Modeling via GSS-Transformer Hybrid Architecture with Learnable Mixing

基于可学习混合的GSS-Transformer混合架构的长上下文建模

Kuzey Torlak, Hüseyin Arda Arslan, Anıl Dervişoğlu, Beyza Nur Deniz, Onur Boyar

机构 * Kadıköy Anadolu High School（卡德柯伊安纳多卢高中） ； Politecnico di Torino（都灵理工大学） ； Istanbul Technical University（伊斯坦布尔理工大学） ； Boğaziçi University（博阿齐奇大学） ； IBM Research - Tokyo（IBM 东京研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出并行混合架构PHA，通过可学习混合机制融合GSS、GQA和FFN，在长上下文建模中实现Transformer级困惑度与更高效率。

Comments 16 pages, 9 tables, 4 figures

Blurry Window Attention

模糊窗口注意力

Axel Laborieux, Christos Sourmpis, Juan Gabriel Kostelec, Qinghai Guo

机构 * Huawei, Zurich, Switzerland（华为技术有限公司（苏黎世）） ； Huawei Advanced Computing and Storage Lab, Shenzhen, China（华为先进计算与存储实验室（深圳）） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出模糊窗口注意力（BLA），一种基于Dirichlet核插值重构模糊KV历史的有界记忆控制方法，在合成任务中状态效率比滑动窗口注意力高8倍，且随状态增大性能提升。

Tensorizing Engram: Sharing Latents Across N-Gram Embeddings is Beneficial in LLMs

张量化Engram：在N-gram嵌入中共享潜在变量对大型语言模型有益

Wuyang Zhou, Yuxuan Gu, Giorgos Iacovides, Yuning Qiu, Qibin Zhao, Danilo Mandic

机构 * University of California, Berkeley（加州大学伯克利分校） ； University of Cambridge（剑桥大学） ； University of Toronto（多伦多大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出张量化Engram（TN-gram），通过CP分解共享因子压缩n-gram嵌入，减少参数并避免哈希冲突，在多个任务上匹配或超越现有方法。

Capacity-Controlled Global Attention for Graph Transformers

具有容量控制的全局注意力用于图变换器

Yang Liu, Dongxin Guo, Tom Zheng, Siu Ming Yiu, Liam Ning, Jikun Wu

机构 * Brain Investing Limited ； The University of Hong Kong（香港大学） ； Stellaris AI Limited 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SigGate-GT，通过在图变换器中引入可学习的sigmoid门来缓解全局注意力的保守约束，从而解决过平滑、低秩瓶颈和训练不稳定等问题，提升了多个基准测试的性能。

Comments 13 pages, 2 figures, 15 tables

EASE-TTT: Evidence-Aligned Selective Test-Time Training for Long-Context Question Answering

EASE-TTT: 面向长上下文问答的基于证据对齐的选择性测试时训练

Xiaopeng Yuan, Zebin Wang, Suwen Wang, Zongxin Yang, Haohan Wang, Yushun Dong

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Harvard University（哈佛大学） ； Brion, ASML US LP ； Florida State University（佛罗里达州立大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出EASE-TTT框架，通过将检索到的证据块转化为软注意力监督目标，指导查询侧参数适应，从而在保留完整上下文的情况下提升小模型的长上下文问答性能。

Comments 13 pages, 4 figures, 3 tables

Overview of the EReL@MIR 2025 Multimodal Document Retrieval Challenge (Track 1)

EReL@MIR 2025 多模态文档检索挑战赛（赛道1）概述

Jingbiao Mei

机构 * University of Cambridge（剑桥大学） ； Cambridge United Kingdom（剑桥英国） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文介绍了EReL@MIR 2025多模态文档检索挑战赛（赛道1）的设计、数据集、评估协议、最终排名及前三名获胜系统的分析，所有系统均基于Qwen2-VL系列解码器多模态大语言模型嵌入器。

Comments MDR Challenge Report at WWW2025

SaliMory: Orchestrating Cognitive Memory for Conversational Agents

SaliMory: 为对话代理编排认知记忆

Kai Zhang, Xinyuan Zhang, Hongda Jiang, Shiun-Zu Kuo, Hyokun Yun, Ejaz Ahmed, Shereen Oraby, Ziyun Li, Sanat Sharma, Ann Lee, Ahmed A Aly, Anuj Kumar, Raffay Hamid, Xin Luna Dong

机构 * Meta Reality Labs（Meta现实实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出SALIMORY框架，通过层级阶段过程奖励和奖励分解对比优化，端到端训练单一语言模型管理认知结构记忆，显著降低记忆相关错误并提升个性化表现。

PhotoCraft: Agentic Reasoning with Hierarchical Self-Evolving Memory for Deep Image Search

PhotoCraft: 具有层次自进化记忆的深度图像搜索代理推理

Kailin Lyu, Zhiqiang Yuan, Jianwei He, Qiwei Yan, Xuanbo Su, Nanxing Hu, Yang Liu, Ce Hao, Shengqian Qin, Lianyu Hu, Jinchao Zhang, Jie Zhou

机构 * Pattern Recognition Center, WeChat AI, Tencent Inc.（微信AI模式识别中心，腾讯公司） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院） ； Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 提出PhotoCraft，一种无需训练的分层记忆系统，通过工作、情景和语义记忆增强多模态大语言模型，实现深度图像搜索中的多步推理和知识迁移，在DISBench上提升检索性能达18.5%。

Beyond the Aggregation Dilemma: Prior-Retaining Decoupled Learning for Multimodal Graphs

超越聚合困境：多模态图的先验保持解耦学习

Hao Yan, Xuanru Wang, Jun Yin, Shirui Pan, Senzhang Wang, Chengqi Zhang

机构 * School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院） ； Department of Data Science and Artificial Intelligence, The Hong Kong Polytechnic University（香港理工大学数据科学与人工智能系） ； School of Information and Communication Technology, Griffith University（格里菲斯大学信息与通信技术学院） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态属性图学习中强制聚合导致性能反转的聚合困境，提出解耦双路径架构SUPRA，通过保持先验特征的独立性和轻量级共享GNN捕获结构协同，并辅以深度监督缓解梯度饥饿，实现SOTA性能且显著降低计算开销。

The Model Is Not the Product: A Dual-Pillar Architecture for Local-First Psychological Coaching

模型并非产品：面向本地优先心理辅导的双支柱架构

Alexander Mihalcea

机构 * iOS application（iOS应用） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Psych LM，一种基于本地优先架构的iOS应用，通过自动记忆语料库和检索增强生成实现近无限上下文窗口，在移动设备上提供可靠的上下文感知心理辅导。

Comments 10 pages, 3 figures

Tensor Cache: Eviction-conditioned Associative Memory for Transformers

Tensor Cache: 基于驱逐条件的Transformer联想记忆

Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, Antonio Torralba

机构 * Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院） ； IBM Research, Cambridge, MA, USA（IBM研究院） ； University of Toronto, Toronto, Canada（多伦多大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出Tensor Cache，一种双层缓存结构，将滑动窗口注意力作为L1缓存，将窗口驱逐的KV对压缩为外积快速权重记忆作为L2缓存，通过门控融合和端到端训练，在有限状态基线中提升记忆-质量边界。

MedExpMem: Adapting Experience Memory for Differential Diagnosis

MedExpMem：适应经验记忆用于鉴别诊断

Qianhan Feng, Zhongzhen Huang, Yakun Zhu, Yannian Gu, Winnie Chiu Wing Chu, Xiaofan Zhang, Qi Dou

机构 * The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出MedExpMem经验记忆框架，通过存储和利用诊断失败中的判别经验，增强医学视觉语言模型的鉴别诊断能力，在放射学基准上最高提升7.0%准确率。

Comments MICCAI 2026 Early Accept. Submission Version

EntmaxKV: Support-Aware Decoding for Entmax Attention

EntmaxKV: 基于支持的解码方法用于Entmax注意力

Gonçalo Duarte, Miguel Couceiro, Marcos V. Treviso

机构 * Instituto Superior Técnico, Universidade de Lisboa（里斯本大学理工学院） ； ELLIS Unit Lisbon（里斯本ELLIS单位） ； INESC-ID ； Instituto de Telecomunicações（电信研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出EntmaxKV，一种基于支持的解码框架，利用熵最大注意力的稀疏性在KV页面加载前进行稀疏解码，通过查询感知的页面评分、支持感知的候选选择和稀疏熵最大注意力，减少概率质量丢失，提高长上下文语言模型的效率。

Retrieval-Augmented Long-Context Translation for Cultural Image Captioning: Gators submission for AmericasNLP 2026 shared task

基于检索的长上下文翻译用于文化图像描述：佛罗里达大学Gators参加2026年美洲自然语言处理共享任务的提交

Aashish Dhawan, Christopher Driggers-Ellis, Dzmitry Kasinets, Daisy Zhe Wang, Christan Grant

机构 * University of Florida（佛罗里达大学） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于检索的长上下文翻译方法，用于文化图像描述，通过两阶段流程生成西班牙语中间描述，再利用检索增强的多示例提示生成目标语言描述，显著提升了Bribri、Guaraní和Orizaba Nahuatl语言的描述生成性能，并在共享任务中获得冠军。

Flash PD-SSM: Memory-Optimized Structured Sparse State-Space Models

Flash PD-SSM: 一种内存优化的结构稀疏状态空间模型

Aleksandar Terzić, Francesco Carzaniga, Nicolas Menet, Yannick Biehl, Michael Hersche, Thomas Hofmann, Abbas Rahimi

机构 * IBM Research – Zurich（IBM瑞士研究中心） ； Department of Computer Science, ETH Zürich（苏黎世联邦理工学院计算机科学系） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Flash PD-SSM，一种内存优化的结构稀疏状态空间模型，通过在保持高效的同时提升表达能力，实现了与传统结构化状态空间模型相当的吞吐量，并在多个任务中展示了更高的准确性和效率。

MiniGPT: Rebuilding GPT from First Principles

MiniGPT：从第一原理重新构建GPT

Jibin Joseph

机构 * Department of Computer Science（计算机科学系） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出MiniGPT，一个基于PyTorch从头实现的GPT风格自回归语言模型，旨在在研究nanoGPT设计后，从第一原理重新构建GPT核心流程，同时保持模型和训练代码独立编写。MiniGPT实现了词嵌入、位置嵌入、因果多头自注意力、预层归一化Transformer块、残差连接、前馈MLP层、下一词交叉熵训练（教师强制）、验证跟踪、检查点选择和自回归文本生成。

Comments 13 pages, 2 figures

Long Context Modeling with Ranked Memory-Augmented Retrieval

长上下文建模与排名记忆增强检索

Ghadir Alselwi, Hao Xue, Shoaib Jameel, Basem Suleiman, Flora D. Salim, Imran Razzak

机构 * University of New South Wales（新南威尔士大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； University of Southampton（南安普顿大学） ； Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种增强的排名记忆增强检索框架，通过动态排名记忆条目和学习到的排名技术，提升语言模型在长上下文任务中的性能和可扩展性。

Phasor Memory Networks: Stable Backpropagation Through Time for Scalable Explicit Memory

相位记忆网络：用于可扩展显式记忆的稳定反向传播通过时间

Sungwoo Goo, Hwi-yeol Yun, Sangkeun Jung

机构 * College of Pharmacy（药学院） ； Chungnam National University（Chungnam国立大学） ； Department of Computer Science & Engineering（计算机科学与工程系） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Phasor Memory Network，通过相位动力学和分层可学习锚点解决显式记忆的稳定性问题，实验证明其在Copy-Paste任务中达到高精确度，且在参数规模上超越了Mamba模型。

Beyond RAG for Agent Memory: Retrieval by Decoupling and Aggregation

超越RAG的代理记忆：通过解耦与聚合进行检索

Zhanghao Hu, Qinglin Zhu, Runcong Zhao, Di Liang, Hanqi Yan, Yulan He, Lin Gui

机构 * King’s College London（伦敦国王学院） ； Tencent, Yuanbao Team（腾讯元宝团队） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL、cs.AI

AI总结 本文提出xMemory，通过解耦与聚合原则优化代理记忆检索，提升答案质量和推理效率。

Comments Project Address: https://zhanghao-xmemory.github.io/Academic-project-page-template/; Code Address: https://github.com/HU-xiaobai/xMemory

Continual Harness: Online Adaptation for Self-Improving Foundation Agents

持续Harness：面向自我改进基础代理的在线适应

Seth Karten, Joel Zhang, Tersoo Upaa, Ruirong Feng, Wenzhe Li, Chengshuai Shi, Chi Jin, Kiran Vodrahalli

机构 * Princeton University（普林斯顿大学） ； ARISE Foundation（ARISE基金会） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出持续Harness，一种无需人工干预的自我改进机制，通过在线适应提升具身代理在长视界部分可观察决策中的表现，实验证明其在Pokémon游戏中显著降低操作成本并接近专家水平。

Comments 28 pages, 19 figures, 5 tables

The Trap of Trajectory: Towards Understanding and Mitigating Spurious Correlations in Agentic Memory

轨迹的陷阱：朝着理解并缓解代理记忆中的虚假相关性

Luoxi Tang, Rupali Rajendra Vaje, Yuqiao Meng, Sakshi Sunil Narkar, Weicheng Ma, Zeyu Ding, Dazheng Zhang, Zhaohan Xi

机构 * Binghamton University, State University of New York（宾夕法尼亚州立大学） ； Oakland University（奥克兰大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 本文研究代理记忆中的虚假相关性问题，通过基准测试揭示记忆在清洁输入下提升推理但放大虚假模式依赖性，并提出CAMEL方法在写入和检索时减少对虚假模式的依赖，同时保持性能。

MIDUS: Memory-Infused Depth Up-Scaling

MIDUS：记忆融合深度上采样

Taero Kim, Hoyoon Byun, Youngjun Choi, Sungrae Park, Kyungwoo Song

机构 * Yonsei University（延世大学） ； Upstage AI 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出MIDUS，通过将复制的FFN分支替换为记忆层，利用轻量级检索残差能力提升模型性能与效率，引入Head-wise Memory Layer和HIVE实现头条件残差扩展。

Adaptive Memory Decay for Log-Linear Attention

自适应记忆衰减的对数线性注意

Yaxita Amin, Helen Zichen Li, Mengfan Zhang, Samet Ayhan

机构 * University of Maryland（马里兰大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过轻量级两层MLP学习记忆衰减参数λ，实现按内容自适应的衰减，提升长距离记忆任务性能。

Comments 19 pages, 13 figures. Preprint

Belief Memory: Agent Memory Under Partial Observability

信念记忆：在部分可观测性下的智能体记忆

Junfeng Liao, Qizhou Wang, Jianing Zhu, Bo Du, Rui Yan, Xiuying Chen

机构 * MBZUAI ； RIKEN AIP ； UT Austin ； Wuhan University（武汉大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出BeliefMem，通过保留多个候选结论及其概率，解决智能体在部分可观测环境中记忆的不确定性问题，实验证明其在LoCoMo和ALFWorld基准上表现优异。

Bayesian Attention Mechanism: A Probabilistic Framework for Positional Encoding and Context Length Extrapolation

贝叶斯注意机制：一种用于位置编码和上下文长度外推的概率框架

Arthur S. Bianchessi, Yasmin C. Aguirre, Rodrigo C. Barros, Lucas S. Kupssinskü

机构 * MALTA – Machine Learning Theory and Applications Lab, PUCRS – Porto Alegre, Brazil（MALTA机器学习理论与应用实验室，PUCRS-波士顿实验室，巴西） ； Kunumi Institute, Brazil（昆米研究所，巴西） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出贝叶斯注意机制，通过概率模型将位置编码作为先验，统一了现有方法并改进了长上下文泛化能力，在500倍训练上下文长度下实现更准确的信息检索。

Comments Accepted to ICLR 2026

SkillOS: Learning Skill Curation for Self-Evolving Agents

SkillOS: 为自演化代理学习技能编目

Siru Ouyang, Jun Yan, Yanfei Chen, Rujun Han, Zifeng Wang, Bhavana Dalvi Mishra, Rui Meng, Chun-Liang Li, Yizhu Jiao, Kaiwen Zha, Maohao Shen, Vishy Tirumalashetty, George Lee, Jiawei Han, Tomas Pfister, Chen-Yu Lee

机构 * Google Cloud AI Research（谷歌云人工智能研究） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 SkillOS通过经验驱动的强化学习方法，解决自演化代理中复杂长期技能编目的学习问题，优于记忆-free和强记忆基线，在效果和效率上均表现优异，技能库逐步演变成更丰富的Markdown文件。

Comments 11 pages, 6 figures, 3 tables

Pro-KLShampoo: Projected KL-Shampoo with Whitening Recovered by Orthogonalization

Pro-KLShampoo：利用正交化恢复白化过程的投影KL-Shampoo

Ruotong Sun, Ermin Wei

机构 * Department of Electrical & Computer Engineering, Northwestern University（电气与计算机工程系，西北大学） ； Department of Industrial Engineering & Management Sciences, Northwestern University（工业工程与管理科学系，西北大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出Pro-KLShampoo，通过正交化恢复白化过程，改进了KL-Shampoo的Kronecker预置器结构，实验证明其在预训练任务中表现更优。