语言大模型 / LLM

Parallel Decoder Transformer: Planner-Conditioned Latent Coordination for Model-Intrinsic Parallel Generation

并行解码器Transformer：规划引导的潜在协调用于同步并行解码

Logan Robbins

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 并行解码器Transformer通过规划引导的潜在协调机制，实现模型内部的同步并行解码，提升多任务生成效率。

Comments Note: Updated to reflect revised architecture

Learn to Memorize: Scalable Continual Learning in Semiparametric Models with Mixture-of-Neighbors Induction Memory

学习记忆：基于邻居混合归纳记忆的半参数模型中的可扩展持续学习

Guangyue Peng, Tao Ge, Wen Luo, Wei Li, Houfeng Wang

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机科学学院，北京大学） ； Microsoft（微软公司） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究半参数语言模型中记忆缺乏学习能力的问题，提出将非参数记忆重新概念化为可学习的邻居混合归纳记忆（MoNIM），融入模型信息流，经实验验证其能提升半参数语言模型的可扩展性和持续学习性能。

Comments 15 pages, 5 figures

Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 28517-28531, Vienna, Austria. Association for Computational Linguistics, 2025

Capacity-Controlled Global Attention for Graph Transformers

具有容量控制的全局注意力用于图变换器

Yang Liu, Dongxin Guo, Tom Zheng, Siu Ming Yiu, Liam Ning, Jikun Wu

机构 * Brain Investing Limited ； The University of Hong Kong（香港大学） ； Stellaris AI Limited 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SigGate-GT，通过在图变换器中引入可学习的sigmoid门来缓解全局注意力的保守约束，从而解决过平滑、低秩瓶颈和训练不稳定等问题，提升了多个基准测试的性能。

Comments 13 pages, 2 figures, 15 tables

Every Picture Tells a Dangerous Story: Memory-Augmented Multi-Agent Jailbreak Attacks on VLMs

每幅画都讲述一个危险的故事：基于内存增强的多智能体 jailbreak 攻击 VLMs

Jianhao Chen, Shiqin Wang, Haoyang Chen, Hanjie Zhao, Haozhe Liang, Zheng Wang, Tieyun Qian

机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） ； Tianjin University（天津大学） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出MemJack框架，通过视觉语义引导多智能体协作，利用迭代空域投影过滤器提升对VLMs的攻击成功率，实验表明其在COCO数据集上达到71.48%的攻击成功率。

Comments This work was accepted by WISE2026. 15 pages, 2 figures

H$^{2}$MT: Semantic Hierarchy-Aware Hierarchical Memory Transformer

H$^{2}$MT: 语义层次感知的层次记忆Transformer

Maryam Haghifam, Zifan He, Jason Cong, Yizhou Sun

机构 * University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL

AI总结 提出H$^{2}$MT模型，通过离线构建语义层次结构并利用自底向上的后序聚合计算记忆嵌入，在推理时实现从粗到细的查询路由，从而在长上下文推理中实现质量与效率的权衡。

Do Value Vectors in Deep Layers Need Context from the Residual Stream?

深层中的值向量是否需要来自残差流的上下文？

Muyu He, Yuchen Liu, Qingya Huang, Li Zhang

机构 * Independent（独立） ； Drexel University（德雷塞尔大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL

AI总结 研究通过提出Bank of Values（BoV）方法，在深层注意力层中使用无上下文的值向量来保留原始token信息，从而提升模型性能并减少计算和内存开销。

Comments 13 pages, 5 figures. Code: https://github.com/RiddleHe/nanochat

Private Etymology: Designing Relational Reuse of Shared Symbols in Long-Term Human-AI Interaction

私人词源：设计长期人机交互中共享符号的关系性复用

Miki Ueno

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 该论文提出Private Etymology关系溯源模型，整合现有思路形成持久可修正的人机关系符号单元，以支持对话智能体在长期人机交互中安全复用特定二元组的符号表达。

Comments Added a link to the Apple Watch prototype "MikasaWatch" demonstration video on 10 page

DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts

DualKV: 面向高效RL训练的共享提示Flash注意力机制，支持大规模展开和长上下文

Jiading Gai, Shuai Zhang, Xiang Song, Bernie Wang, George Karypis

机构 * Amazon Web Services（亚马逊网络服务） ； Google（谷歌） ； University of Minnesota（明尼苏达大学） 纠错

专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.LG

AI总结 针对RL训练中共享提示重复计算问题，提出DualKV内核，通过融合CUDA前向/反向核和veRL数据流水线重排，消除提示复制，实现1.63-3.82倍策略更新加速。

Berkeley and Heiserman as an Unexhausted Architecture for Embodied Machine Intelligence

伯克利和海斯曼作为具身机器智能的未穷尽架构

Christopher A. Tucker

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 本文以伯克利的《符号逻辑与智能机器》及海斯曼的工作为研究对象，探讨其在具身机器智能方面贡献。他们将逻辑与硬件、行为等联系，超越静态逻辑形式，为具身机器人认知架构方法提供思路，不应被视为历史终点。

Maglev: Sliding Recurrent Memory

Maglev：滑动循环记忆

Bo Liu, Qiang Liu

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.LG

AI总结 本文提出Maglev，一种带固定记忆的循环Transformer架构，通过耦合模型与记忆一致性损失实现训练可并行性，在验证损失及下游预训练基准上优于基线，参数共享可减少内存。

Comments Neural Architecture Research

Calibrating Transformer Attention via Task-Space Sensitivity Feedback

从虚假焦点到真实精确：基于混淆的对抗性注意力学习在Transformer中

Yawei Liu

机构 * Chinese Academy of Sciences, Computer Network Information Center（中国科学院计算机网络信息中心） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 本文提出AFA机制，通过对抗性训练优化Transformer模型的注意力分布，提升情感分析任务的准确性。

Comments 9 pages, 3 figures

OR-Agent: Bridging Evolutionary Search and Structured Research for Automated Algorithm Discovery

OR-Agent：连接进化搜索与结构化研究以实现自动化算法发现

Qi Liu, Ruochen Hao, Can Li, Wanjing Ma

机构 * Key Laboratory of Road and Traffic Engineering of the Ministry of Education（教育部道路与交通工程重点实验室） ； College of Transportation, Tongji University（同济大学交通运输学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 OR-Agent通过结构化树形工作流和进化-系统化构想机制，实现自动化算法发现的高效探索与科学发现。

StateRAG: Typed State Contracts for Complex Retrieval-Augmented Generation

EfficientGraph-RAG：面向跨任务检索增强生成的结构化检索状态管理

Miaohe Niu, Pengxiang Li, Jingbo Zhu, Tong Xiao

机构 * School of Computer Science and Engineering, Northeastern University, China（东北大学计算机科学与工程学院） ； Tsinghua University, China（清华大学） ； Kunming University of Science and Technology, China（昆明理工大学） ； NiuTrans Research, Shenyang, China（沈阳NiuTrans研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 提出EfficientGraph-RAG框架，通过显式定义检索状态（TAM、MARS、SMP三个机制）实现结构化状态管理，在多个基准上提升答案质量并降低大模型token消耗。

Dense Local Dependencies Induce Attention-Logit Explosion and Training Instability During Long-Sequence Transformer Training

密集局部依赖会在长序列Transformer训练期间引发注意力对数爆炸和训练不稳定性

Suvadeep Hajra

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 本研究揭示长序列Transformer训练中注意力对数爆炸的主因是密集局部依赖，经实验验证该增长由依赖密度驱动，提出显式建模密集局部依赖的长上下文Transformer设计原则。

MemTX: Transactional Belief Commit for Stateful Agent Memory

MemTX：用于有状态智能体内存的事务性信念提交

Xiaoyang Li, Yiqi Wang, Haohui Lu, Zhi Chen, Mo Li, Pingan Song, Mingkai Zheng, Taotao Cai

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体通过共享内存协调时内存写入问题，提出事务性信念提交协议MemTX，通过携带多种信息、在事务中暂存写入等方式，经机器检查确保不变量，在多主干上领先基线且无下游危害。

Comments Preprint

LazyMem: Retrieve Broadly, Construct Selectively for Efficient Long-Term Agent Memory

LazyMem：广泛检索，按需构建以实现高效长期智能体记忆

Jing Yu, Yibo Zhao, Jiaming Zhang, Xiang Li

机构 * School of Data Science and Engineering, East China Normal University（数据科学与工程学院，华东师范大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 研究针对大语言模型智能体长期记忆中原始对话历史的问题，提出LazyMem方法，将记忆构建推迟到查询时，通过轻量级模型处理候选池，经特定训练方式，在基准测试中取得高准确率，减少记忆令牌数和延迟。

Comments 29 pages, under review

VTM-Nav: Harnessing Cross-Episode Experience for Object-Goal Navigation with Hierarchical Visual-Topological Memory

VTM-Nav：用于跨情节对象目标导航的分层视觉拓扑记忆

Xiaoran Xu, Yupeng Wu, Tianyu Xue, Yifan Xu, Xuanran Dong, Xiaoshan Yang, Changsheng Xu

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室） ； School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学交叉科学学院） ； Tsinghua University（清华大学） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 研究跨情节对象目标导航问题，提出无训练的VLM导航框架\method，其带有分层视觉拓扑记忆，通过粗到细匹配检索经验，在三个基准测试中性能最佳，证明跨数据集结构化视觉拓扑经验复用有效且鲁棒。

XALPHA: A Memory-Driven AI Quant Researcher for Hypothesis-to-Code Alpha Discovery

XALPHA：一个用于从假设到代码的阿尔法发现的内存驱动人工智能量化研究员

Fengyuan Liu, Yuchen Fu, Yuqi Wang, Qi Liu

机构 * School of Computing and Data Science, The University of Hong Kong（计算与数据科学学院，香港大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 针对金融市场难以发现交易信号问题，介绍内存驱动的XAlpha人工智能量化研究员，它通过多源研究内存系统，实现从假设到代码的闭环阿尔法发现过程，实验表明其比基线有更强的阿尔法发现性能。

Ruby: Unmasking Unsafe Rust in Stripped Binaries via Machine Learning

Ruby：通过机器学习揭示剥离二进制文件中的不安全Rust

Xiang Cheng, Sangdon Park, HyungSeok Han, Xiaokuan Zhang, Taesoo Kim

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Pohang University of Science and Technology（釜山科学技术大学） ； Microsoft（微软公司） ； George Mason University（乔治·梅奥大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.LG

AI总结 研究旨在揭示Rust二进制文件中的不安全区域，核心方法是用机器学习工具Ruby捕获二进制指令差异，主要贡献为识别大部分不安全区域且误报率低，应用于指导符号执行和模糊测试有显著速度提升并帮助修复安卓库漏洞。

Comments Accepted to DSN 2026

Platonic Representations for Poverty Mapping: Unified Vision-Language Codes or Agent-Induced Novelty?

贫困地图绘制的柏拉图式表示：统一的视觉语言代码还是智能体诱导的新颖性？

Satiyabooshan Murugaboopathy, Connor T. Jerzak, Adel Daoud

机构 * AI and Global Development Lab（人工智能与全球发展实验室） ； Institute for Analytical Sociology（分析社会学研究所） ； Institute of Computer Science（计算机科学研究所） ； Department of Government（政府系） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 研究社会经济指标在卫星图像和网络文本中的信息印记，开发多模态框架经五条管道预测家庭财富，贡献包括融合视觉与文本提升预测、发现部分表示对齐证据、发布大规模多模态数据集。

Comments ICSC 2026

Dynamic Symmetric Point Tracking: Tackling Non-ideal Reference in Analog In-memory Training

动态对称点跟踪：解决模拟内存训练中的非理想参考问题

Quan Xiao, Jindan Li, Zhaoxian Wu, Tayfun Gokmen, Tianyi Chen

机构 * Department of Electrical and Computer Engineering, Cornell University, New York, NY（康奈尔大学电气与计算机工程系） ； IBM T. J. Watson Research Center, Yorktown Heights, NY（IBM 沃森研究中心） ； Rensselaer Polytechnic Institute, Troy, NY（伦塞拉尔理工学院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 针对模拟内存计算中非理想器件导致的权重更新偏向对称点问题，提出动态对称点估计方法，在训练中跟踪对称点并保证收敛，结合数字信号处理技术增强性能。

MemBuilder: Reinforcing LLMs for Long-Term Memory Construction via Attributed Dense Rewards

MemBuilder: 通过具有属性的密集奖励强化LLMs以进行长期记忆构建

Zhiyu Shen, Ziming Wu, Fuming Lai, Shaobing Lian, Yanghui Rao

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Tencent Inc.（腾讯公司） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.CL

AI总结 MemBuilder通过具有属性的密集奖励强化LLMs，解决长期对话中保持一致性的挑战，提升多维记忆构建能力，实验表明其在长期对话基准测试中表现优异。

Comments 19 pages (9 main + 10 appendix), 7 figures, 3 tables

Look Clearly Before Answering: Mitigating Hallucinations in LVLMs via Saliency-Driven Perceptual Realignment

回答前看清楚：通过显著性驱动的感知重新对齐减轻LVLMs中的幻觉

Pengxu Chen, Yao Zhu, Guangming Zhu, Jun Sheng, Jincai Huang, Xiangyang Ji, Liang Zhang

机构 * Xidian University（西安电子科技大学） ； Tsinghua University（清华大学） ； Shanghai Road Transport Development Center（上海市道路运输发展中心） ； Hunan Institute of Advanced Technology（湖南先进技术研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 研究针对LVLMs易产生幻觉问题，提出无需训练的SDPR框架，通过显著性驱动注意力重新分配、缓存对齐及先验约束对比解码，整体对齐视觉意识，在多基准测试中优于现有方法，无需额外训练且开销小。

Comments Accepted by ACM Multimedia 2026

Hierarchical Fast-Slow ReAct Agent for Zero-Shot Object-Goal Navigation

用于零样本物体目标导航的分层快慢ReAct智能体

Zhaochen Lan, Zhi Yang, Yuxiang Fu, Mengxiang Lin

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 该研究针对零样本物体目标导航，提出分层快慢ReAct智能体，结合价值图控制器与坐标锚定记忆及VLM，在HM3D、MP3D验证集上取得零样本方法最高成功率，远前沿审议可提升性能。

Comments 11 pages, 6 figures

SPFinder: Improving the Context Length and Scalability for Tracing Known Vulnerability Patches

SPFinder：提升已知漏洞补丁追踪的上下文长度与可扩展性

Jiangrui Zheng, Xueqing Liu, Guanqun Yang, Siyan Wen, Qiushi Liu, Xiaoyin Wang

专题命中 长上下文与记忆 ：LLM(abstract)

AI总结 SPFinder是一种用于追踪已知漏洞补丁的可扩展检索框架，通过分层嵌入和三阶段检索解决长上下文与可扩展性问题，在多数据集评估中优于现有方法，可实用关联CVE补丁。

Text Template Tokens Are Implicit Semantic Registers in Diffusion Transformers

文本模板令牌是扩散Transformer中的隐式语义寄存器

Maohua Li, Qirui Li, Yanke Zhou, Yiduo Li, Zhaosheng Chi, Chao Xu, Cuifeng Shen, Yixuan Xu, Hanlin Tang, Kan Liu, Tao Lan, Lin Qu, Shao-Qun Zhang

机构 * Nanjing University（南京大学） ； Alibaba Group（阿里巴巴集团） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)

AI总结 研究文本到图像扩散Transformer中内部计算，引入因果可解释性框架，发现结构模板令牌充当隐式语义寄存器，据此设计剪枝规则，还揭示其生成计算组织方式，提供了DiTs内部机制的因果视图。

DisDP: Disaggregating Compute, Network, and Storage for Model-Sharded Data-Parallel Training

DisDP：用于模型分片数据并行训练的计算、网络和存储解耦

Mo Sun, Zihan Yang, Changyue Liao, Yingtao Li, Jie Zhang, Kaiqi Chen, Fei Wu, Zeke Wang

专题命中 长上下文与记忆 ：LLM(abstract)

AI总结 研究针对模型分片数据并行训练中网络通信开销大问题，提出DisDP架构，通过将计算、网络和存储解耦，把集合操作卸载到智能网卡和交换机，存储卸载到增强型参数服务器，提升了GPU利用率，实验验证了该方法的高效性。

Comments Accepted by ISCA 2026

Closing the Loop: Training-Free Revisit Consistency for Autoregressive Generative Rendering

闭环：自回归生成渲染的无训练重访一致性

Wenchao Ma, Changran Liu, Sharon X. Huang, Haomiao Jiang

机构 * Roblox（罗布乐思） ； The Pennsylvania State University（宾夕法尼亚州立大学） 纠错

专题命中 长上下文与记忆 ：post-training(abstract)

AI总结 研究自回归生成渲染中相机重访位置时的不一致问题，利用3D引擎提供的时间和空间对应关系，将姿态匹配的历史潜在块检索到KV缓存，并使注意力偏向对应区域，在相关数据集上实验，提升了重访一致性且不损失视频质量。

Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting

通过置信感知加权提高零样本CLIP的对抗鲁棒性

Nikoo Naghavian, Mostafa Tavassolipour

机构 * School of ECE, College of Engineering University of Tehran（电子工程学院，工程学院，伊朗塔里哈大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 研究如何提高零样本CLIP的对抗鲁棒性，提出置信感知加权方法，该方法含置信感知损失和特征对齐正则化两个关键组件，实验证明其在强对抗攻击下优于现有方法且内存效率更高。

Comments Preprint

ME-IQA: Memory-Enhanced Image Quality Assessment via Re-Ranking

ME-IQA: 通过重新排序增强的记忆图像质量评估

Kanglong Fan, Tianhe Wu, Wen Wen, Jianzhao Liu, Le Yang, Yabin Zhang, Yiting Liao, Junlin Li, Li Zhang

机构 * City University of Hong Kong（香港城市大学） ； ByteDance Inc.（字节跳动公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 ME-IQA通过构建记忆库和利用推理摘要检索语义和感知对齐的邻居，将VLM重构为概率比较器，并通过门控反思和记忆巩固提升未来决策，从而实现更密集的失真敏感预测，缓解离散崩溃问题。

Comments Published as a conference paper at ECCV 2026