Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.LG
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 长上下文与记忆 4797 篇
ID-RAG: Identity Retrieval-Augmented Generation for Long-Horizon Persona Coherence in Generative Agents
机构 * Flybits Labs, Creative Ai Hub（Flybits实验室，创意人工智能中心） ； Toronto Metropolitan University（多伦多 Metropolitan 大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Stanford University（斯坦福大学）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI；LLM(comments)
Comments Accepted to LLAIS 2025: Workshop on LLM-Based Agents for Intelligent Systems, at ECAI 2025, 12 pages, 3 figures
Learning how to Forget: Fine-tuning for Long-Context Sparse Attention
学习如何遗忘：面向长上下文稀疏注意力的微调
机构 * Amazon Web Services（亚马逊网络服务） ； University of Amsterdam（阿姆斯特丹大学） ； Amazon（亚马逊） ； Technical University Berlin（柏林工业大学）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL
AI总结 本文提出一种适配任意KV缓存策略的稀疏注意力模型微调方法，仅需中等硬件预算，性能优于精确注意力训练模型，还提供H2O稀疏注意力高效实现及开源库KeysAndValues支持。
Comments 39 pages, no figures
StreamSoccer: Event-Driven Memory for Streaming Soccer Commentary
StreamSoccer：用于流式足球解说的事件驱动记忆
机构 * Migu Video Technology Co., Ltd.（咪咕视讯科技有限公司） ； South China University of Technology（华南理工大学） ； East China Normal University（华东师范大学）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL
AI总结 本研究提出StreamSoccer，一种用于流式足球解说的事件驱动系统，通过建模事件生命周期实现多时间范围解说，在数据集评估中取得优异性能且计算开销可控。
Every Picture Tells a Dangerous Story: Memory-Augmented Multi-Agent Jailbreak Attacks on VLMs
每幅画都讲述一个危险的故事：基于内存增强的多智能体 jailbreak 攻击 VLMs
机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） ； Tianjin University（天津大学） ； University of the Chinese Academy of Sciences（中国科学院大学）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 本文提出MemJack框架，通过视觉语义引导多智能体协作，利用迭代空域投影过滤器提升对VLMs的攻击成功率，实验表明其在COCO数据集上达到71.48%的攻击成功率。
Comments This work was accepted by WISE2026. 15 pages, 2 figures
Infrared Universality of Collective Dynamics across Transformer and State-Space Architectures
Transformer与状态空间架构间集体动力学的红外普适性
机构 * Electronics and Telecommunications Research Institute（电子通信研究院）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG
AI总结 本研究发现Transformer与Mamba架构虽微观机制不同，却存在相近的近边际慢模动力学，其集体红外组织具有普适性，为认知场理论提供了独立验证。
Comments 31 pages, 12 figures
Q-Interference: Memory-Efficient Phase-Aware Quantum-Inspired Attention
Q-干涉：内存高效的相位感知量子启发注意力机制
机构 * Kennesaw State University（肯尼索州立大学） ； Miami University（迈阿密大学） ； Georgia State University（佐治亚州立大学）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL
AI总结 本研究提出Q-Interference，一种内存高效的相位感知量子启发注意力机制，通过精确三角分解避免大型中间张量，适配GPT架构，在基准实验中训练稳定且内存优势显著。
Comments Preprint
Authorization Before Context: A Model-Neutral Audience Boundary Against Cross-Audience Memory Leakage in Agentic Systems
上下文之前的授权：一种针对智能体系统中跨受众记忆泄露的模型无关受众边界
专题命中 长上下文与记忆 ：language agent(abstract)；分类 cs.AI
AI总结 本研究针对智能体系统的跨受众记忆泄露问题，提出模型无关的受众边界方法，通过反单调授权规则确保未授权事实不进入上下文，在合成数据集上验证了其有效性。
Comments 13 pages, 3 figures. Author preprint. Accepted for presentation at AdvML-Frontiers x CoTMA, a non-archival workshop at COLM 2026
SkillEffect: Checked Lowering for Memory-Bounded Agent Tools
SkillEffect：面向内存受限智能体工具的经校验的降阶机制
机构 * Sichuan University（四川大学） ； University of Notre Dame（圣母大学）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 本文提出SkillEffect架构，通过经校验降阶运行时与独立校验器，在智能体工具调度时强制实施异构内存关系，可降低峰值内存并提升固定内存上限下的任务完成率。
H$^{2}$MT: Semantic Hierarchy-Aware Hierarchical Memory Transformer
H$^{2}$MT: 语义层次感知的层次记忆Transformer
机构 * University of California, Los Angeles（加州大学洛杉矶分校）
专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL
AI总结 提出H$^{2}$MT模型，通过离线构建语义层次结构并利用自底向上的后序聚合计算记忆嵌入，在推理时实现从粗到细的查询路由，从而在长上下文推理中实现质量与效率的权衡。
Bridging the Gap between Labeled and Unlabeled Data via Unified Flow with Feature Memory Bank
通过带特征记忆库的统一流缩小标注数据与未标注数据之间的差距
机构 * City University of Macau（澳门城市大学） ； Southeast University（东南大学） ； Ocean University of China（中国海洋大学） ； Nantes Université（南特大学） ； Ecole Centrale Nantes（南特中央理工学院） ； CAPACITES SAS ； CNRS（法国国家科学研究中心） ； LS2N（南特数字科学实验室）
专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI
AI总结 针对半监督语义分割中伪标签质量差的问题，提出带特征记忆库的统一流方法，结合视觉基础模型与遥感领域教师优化标注与未标注数据，在遥感数据集上优于当前最优方法。
MicroVerse: An Instrument for Measuring Self-Authored Identity Drift in Long-Horizon Multi-Agent Language-Model Simulations
MicroVerse：用于测量长 horizon 多智能体语言模型模拟中自我构建身份漂移的工具
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL
AI总结 MicroVerse 是测量长 horizon 多智能体 LM 模拟中身份漂移的工具，通过 50×50 环境等设计开展实验，发现反自我欺骗自发出现且系统对阈值鲁棒。
Intent-Driven Situation Tracking for User-Centric Multi-Turn Agents
面向以用户为中心的多轮智能体的意图驱动情境跟踪
机构 * University of Electronic Science and Technology of China（电子科技大学） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）
专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI
AI总结 该研究针对以用户为中心的多轮智能体，提出无需训练的IDSS框架，通过维护明确情境状态提升任务完成度等性能，为智能体情境跟踪提供有效方案。
GraphLoom: Reliability-Calibrated Graph Evidence Routing for Multimodal KG-RAG
GraphLoom：面向多模态KG-RAG的可靠性校准图证据路由
机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Aristotle University（亚里士多德大学） ； Dashub（达舒布）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 提出GraphLoom框架，通过可靠性校准的图证据路由实现多模态KG-RAG，在ScienceQA等数据集上提升了答案质量与证据忠实度。
On the Principles Behind Neural Network Optimizers
神经网络优化器背后的原理
机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.LG
AI总结 本论文为优化器Adam建立了有原则的基础，通过海森矩阵结构分析其在Transformer上优于SGD的原因，提出内存减半且性能不变的新优化器Adam-mini，还为其他NN优化器提供了新见解。
Do Value Vectors in Deep Layers Need Context from the Residual Stream?
深层中的值向量是否需要来自残差流的上下文？
机构 * Independent（独立） ； Drexel University（德雷塞尔大学）
专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.CL
AI总结 研究通过提出Bank of Values（BoV）方法，在深层注意力层中使用无上下文的值向量来保留原始token信息，从而提升模型性能并减少计算和内存开销。
Comments 13 pages, 5 figures. Code: https://github.com/RiddleHe/nanochat
The End of Transformers? On Challenging Attention and the Rise of Sub-Quadratic Architectures
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL
Comments 21 pages, 2 figures, 2 tables
When Local Variance Optimality Is Not Enough: RoPE-Aligned Q/K Rotations for Dynamic 4-Bit Quantisation
当局部方差最优性不足时：用于动态4比特量化的RoPE对齐Q/K旋转
专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.LG
AI总结 本文针对动态4比特量化，研究RoPE对齐的Q/K旋转，推导了相关旋转角度，发现结构化代理最优性在与量化器尺度统计量不匹配时无法降低量化误差。
Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence
空间记忆智能体：用于空间智能的基于经验的过程记忆
机构 * Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院）
专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.AI
AI总结 该研究提出SMA框架，让冻结VLM智能体无需外部空间工具，通过无参数更新自进化提升空间推理，在多基准和模型上表现最优，提供了空间自进化的实用路径。
Comments Under Review
Governed Persistent Memory: Source-Bound State Semantics and Fail-Closed Release for Long-Horizon Agents
受控持久内存：长程智能体的源绑定状态语义与故障关闭式释放
机构 * Qingdao Guodongxiansheng Network Technology Co., Ltd.（青岛果动先生网络科技有限公司）
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 本文针对长程智能体内存的矛盾记录问题，提出受控持久内存（GPM）模型，经多组基准测试与服务评估，其在GPM-ReleaseBench、中英文指令分支等场景均实现零不匹配，修复大量基线故障且无退化。
Comments 23 pages, 2 figures, 11 tables. Includes a sealed end-to-end governed-memory service evaluation with an ungoverned local Qwen2.5-7B comparison
MARCH: Scaling Recurrent Memory with Content-Routed State Anchors
MARCH：通过内容路由状态锚点扩展循环记忆
机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Tsinghua University（清华大学） ； Fudan University（复旦大学）
专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.LG
AI总结 本文提出MARCH架构，通过内容路由状态锚点扩展循环记忆，在长序列上保持计算效率，经预训练后在多个长程任务中优于线性注意力变体，增强了循环长程记忆能力。
Private Etymology: Designing Relational Reuse of Shared Symbols in Long-Term Human-AI Interaction
私人词源：设计长期人机交互中共享符号的关系性复用
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 该论文提出Private Etymology关系溯源模型，整合现有思路形成持久可修正的人机关系符号单元，以支持对话智能体在长期人机交互中安全复用特定二元组的符号表达。
Comments Added a link to the Apple Watch prototype "MikasaWatch" demonstration video on 10 page
Reinforcement Learning based DBMS Buffer Pool Auto-Tuning for Optimal Memory Utilization
基于强化学习的数据库管理系统缓冲池自动调优以实现最优内存利用
专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.AI
AI总结 该研究提出基于强化学习的MicroTune系统，用于DBMS缓冲池自动调优，可在保障SLA合规的同时减少内存浪费，性能优于基线方法。
Cracks in the Foundation: Seemingly Minor Architectural Choices Impact Long Context Extension
基础的裂痕：看似微小的架构选择会影响长上下文扩展
机构 * Ai2 ； Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学）
专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL
AI总结 该研究发现，Olmo、Llama、Qwen等稠密模型系列的四个微小架构决策会复合降低长上下文性能，结合三个及以上选择可使性能降47%，经17万余GPU小时训练发布OlmPool，其部分模型长上下文性能优于Llama 3。
Comments 29 pages; accepted to COLM 2026
Quantum Coordination Advantages in AI State-Tracking Tasks: Semantic Compilation and Latent Memory
人工智能状态跟踪任务中的量子协调优势：语义编译与潜在记忆
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 该研究证明AI状态跟踪任务存在推理阶段量子协调优势，提出边界保持语义编译定理，通过问答、需求审计、稳定器对话等应用展示量子与经典方法的内存及协调分离。
Comments Comments and suggestions are welcome on alphaXiv
RotaryQuant: Fitting 120B MoE Models on Consumer Hardware via Fused Compressed-Space Attention
RotaryQuant：通过融合压缩空间注意力在消费级硬件上运行1200亿参数的混合专家模型
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG
AI总结 RotaryQuant通过三轴压缩系统及IsoQuant等技术，在消费级硬件上实现1200亿参数MoE模型的高效运行，内存占用低且性能损失极小。
Comments 9 Pages, 9 Tables, Initial submission into NeurIPS 2026
Locating Failure in Multi-Page Visually Rich Document Understanding: An Empirical Attribution
多页视觉丰富文档理解中的故障定位：实证归因
机构 * The University of Western Australia（西澳大利亚大学） ； The University of Melbourne（墨尔本大学） ； Weill Cornell Medicine（威尔康奈尔医学院）
专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.AI
AI总结 该研究针对MP-VRDU的错误答案，分离出表示、选择、推理三种故障模式，发现视觉信息不可替代、缺失页面影响准确率等结果，给出固定计算预算下的系统构建指导。
Adversarial Attacks on Deep OCR Systems
针对深度OCR系统的对抗攻击
专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI
AI总结 本文提出首个针对生成式OCR视觉语言模型的纯黑盒对抗攻击，将其转化为零阶优化问题，在Deep-OCR上验证了攻击有效性并揭示解码器故障，还表明可控有目标改写更难实现。
DualKV: Shared-Prompt Flash Attention for Efficient RL Training with Large Rollouts and Long Contexts
DualKV: 面向高效RL训练的共享提示Flash注意力机制，支持大规模展开和长上下文
机构 * Amazon Web Services（亚马逊网络服务） ； Google（谷歌） ； University of Minnesota（明尼苏达大学）
专题命中 长上下文与记忆 ：post-training(abstract)；分类 cs.LG
AI总结 针对RL训练中共享提示重复计算问题，提出DualKV内核，通过融合CUDA前向/反向核和veRL数据流水线重排，消除提示复制，实现1.63-3.82倍策略更新加速。
ConWriter: Transition-Constrained Stateful Long-Form Story Generation with Lightweight Neuro-Symbolic Consistency Control
ConWriter：基于轻量级神经符号一致性控制的带状态长文本故事生成，受过渡约束
专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.CL
AI总结 针对现有长故事生成方法易累积各类错误的问题，提出无训练框架ConWriter，通过维护故事状态、验证叙事过渡并结合风险信号实现一致性控制，在ConStory-Bench上完成多模型多任务评估。
