语言大模型 / LLM

Model-Native Computing Architecture: Envisioning Future System Architecture Through the Lens of Computer Architecture

模型原生计算架构：通过计算机架构的视角展望未来系统架构

Hai Lin, Hoilam Pao, Shaoxiong Zhan, Hai-Tao Zheng

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Pengcheng Laboratory, Shenzhen, China（深圳鹏城实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过类比计算机架构，提出模型原生计算的概念，并设计了一个六层智能计算架构模型（ICAM），以统一解决大语言模型在系统层面面临的缓存、上下文、调度等问题。

LLM Capability Limits: Static Emergence and Dynamic Boundary Control

涌现不变性：从符号化思维到结构控制

Yi Liu

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究形式化了语言为核心的智能的限制，提出动态边界控制框架，通过DeepSeek V4-Flash实验验证其可提升大语言模型的推理性能，组织了大语言模型的涌现限制。

ATMA: Long-Context Language Modeling via Polar Attention and Gated-Delta Compression Memory

ATMA: 通过极坐标注意力与门控-增量压缩记忆实现长度不变的语言建模

Habibullah Akbar

机构 * Kreasof AI 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出ATMA混合卷积-注意力架构，通过极坐标注意力三通道分解和门控-增量递归压缩记忆，解决长上下文语言建模中注意力稀释和性能崩溃问题，实现训练长度32倍外推下90%以上检索准确率和单调递减困惑度。

Time-Series Foundation Model Embeddings for Remaining Useful Life Estimation

用于剩余使用寿命估计的时间序列基础模型嵌入

Amir El-Ghoussani, Michele De Vita, Ronald Naumann, Vasileios Belagiannis

机构 * University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学） ； Siemens AG（西门子股份公司） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出冻结预训练时间序列基础模型Chronos-2作为骨干，结合轻量回归头进行剩余寿命预测，在工业传感器数据上优于多种基线方法。

Comments Accepted to EUSIPCO 2026, 4 pages, 2 figures, 2 tables

Layer-wise Positional Bias in Short-Context Language Modeling

分层位置偏倚在短上下文语言建模中的表现

Maryam Rahimi, Mahdi Nouri, Yadollah Yaghoobzadeh

机构 * Tehran Institute for Advanced Studies, Khatam University, Iran（德黑兰高级研究院，卡坦大学，伊朗） ； School of Electrical and Computer Engineering, University of Tehran, Iran（德黑兰理工大学电气与计算机工程学院，伊朗） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究提出一种基于归因的框架，分析短上下文语言建模中各层的位置偏倚，发现深度增加时近期偏倚增强，首次偏倚减弱，且早期层更倾向内容词。

Metis: Memory Foundation Model

Metis：记忆基础模型

Zeyu Zhang, Ziliang Guo, Yihang Sun, Xichong Zhang, Xixuan Hao, Zehao Lin, Yang Zhang, Xiaoyan Zhao, Tong Shen, Bo Tang, Zhi-Qin John Xu, Junchi Yan, Haofen Wang, Xu Chen, Feiyu Xiong, Zhiyu Li, Tat-Seng Chua

机构 * MemTensor (Shanghai) Technology Co., Ltd.（墨芯（上海）科技有限公司） ； Renmin University of China（中国人民大学） ； National University of Singapore（新加坡国立大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tongji University（同济大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.CL、cs.LG

AI总结 该研究提出首个记忆基础模型原型Metis，赋予基础模型原生记忆能力，通过新架构与优化目标实现，经实验验证其具备原生记忆能力并发布相关资源。

Comments 46 pages, 11 figures, 16 tables

One mechanism for many mental spaces: a shared router over a value slot in language models

一种机制用于多种心理空间：语言模型中基于值槽的共享路由器

Oliver Steele, Jiangtao Wen, Yuxing Han

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究Transformer语言模型实现何种心理空间构建机制，发现其采用共享路由器和值槽格式，一种空间类型子空间训练能控制其他类型，确立跨类型通用性，还表明该机制驱动推理和组合。

Comments 26 pages, 5 figures, 9 tables. v2: cite the released Mental Spaces Corpus (dataset DOI); switch to ACL bibliography style; minor copy-editing. No change to results

Memory in the Loop: In-Process Retrieval as Extended Working Memory for Language Agents

循环中的记忆：进程内检索作为语言智能体的扩展工作记忆

Yusuf Khan, Carlo Lipizzi

机构 * Stevens（史蒂文斯理工学院） 纠错

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究语言智能体中记忆进入循环的情况，通过对比网络存储和进程内存储的延迟，利用扩展思维理论提出进程内检索可作扩展工作记忆，经实验验证能提升召回率，还重新定位了操作瓶颈。

Sparse Layers are Critical to Scaling Looped Language Models

稀疏层对扩展循环语言模型至关重要

Ryan Lee, Jacob Biloki, Edward J. Hu, Jonathan May

机构 * USC Information Sciences Institute（美国南加州大学信息科学研究所） ； Netflix（netflix公司） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 研究比较了带循环和不带循环的MoE和标准Transformer，发现循环MoE模型在扩展性上优于标准模型，且循环模型在计算质量权衡中具有更好的早退性能。

TS-Memory: Plug-and-Play Memory for Time Series Foundation Models

TS-Memory: 时间序列基础模型的即插即用记忆模块

Sisuo Lyu, Siru Zhong, Tiegang Chen, Weilin Ruan, Qingxiang Liu, Taiqiang Lv, Qingsong Wen, Raymond Chi-Wing Wong, Yuxuan Liang

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Tencent（腾讯） ； Squirrel Ai Learning ； The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 提出参数化记忆蒸馏方法TS-Memory，通过轻量级记忆适配器增强冻结的时间序列基础模型，在分布偏移下实现无检索的高效零样本预测，显著提升点预测和概率预测性能。

Polynomial Context-Truncation Sensitivity in Autoregressive Language Models: Sequential Wyner-Ziv Bounds for KV Cache Compression

自回归语言模型中的多项式上下文截断敏感性：KV缓存压缩的序列Wyner-Ziv界

Munsik Kim

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究自回归语言模型中在线KV缓存压缩的率失真极限，将其建模为序列Wyner-Ziv信源编码，发现下一词分布对上下文截断的敏感性呈多项式衰减，并推导了仅后缀缓存策略的每词内存需求。

Human-like fleeting memory improves language learning but impairs reading time prediction in transformer language models

类人短暂记忆提升语言学习但损害变压器语言模型的阅读时间预测

Abishek Thamma, Micha Heilbron

机构 * University of Amsterdam, Amsterdam Brain and Cognition（阿姆斯特丹大学，阿姆斯特丹脑与认知中心） ； Vrije Universiteit Amsterdam, Department of Informatics（阿姆斯特丹自由大学，信息学院） ； Max Planck Institute for Psycholinguistics（马克斯·普朗克心理学语言学研究所） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL；LLM(comments)

AI总结 研究探讨了短暂记忆对语言学习和阅读时间预测的影响，发现短暂记忆提升语言学习但损害阅读时间预测，挑战了传统认知科学观点。

Comments v2: Revised after peer review. Accepted for publication in Transactions of the Association for Computational Linguistics v3: Added link to code repository. Code: https://github.com/drhanjones/fmt-llm

Journal ref Transactions of the Association for Computational Linguistics 14 (2026) 877-892

Is Bitcoin A Hedge Against Central Banking? Evidence from AI-Driven Monetary Policy Expectations

比特币是否是中央银行的对冲工具？来自AI驱动的货币政策预期的证据

Maxime L. D. Nicolas, François Sicard, Marion Laboure, Zixin Sun, Anahí Rodríguez-Martínez

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文研究货币政策叙事对比特币价格的传导作用，区分前瞻性预期与事后利率实施的影响。通过高频率货币政策预期指数揭示比特币对央行信号的敏感性，显示前瞻性鹰派叙事对价格有持续负面影响。

AgentWatcher: A Rule-based Prompt Injection Monitor

AgentWatcher: 一种基于规则的提示注入监控

Yanting Wang, Wei Zou, Runpeng Geng, Jinyuan Jia

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文提出AgentWatcher，通过聚焦短文本片段和定义明确的规则，解决提示注入检测中上下文长度影响和规则不明确的问题，实现可扩展且可解释的检测方法。

Comments The code is available at https://github.com/wang-yanting/AgentWatcher

When Does Belief-Based Agent Memory Help? Reliability-Conditional Updating and Provenance-Capped Poisoning Defense

Nous：一种用于长期智能体记忆的预测世界模型

Pranav Singh

机构 * Indian Institute of Technology Ropar（印度理工学院罗巴尔分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Nous记忆架构，基于知识即预测而非存储的原则，通过贝叶斯更新维护概率分布，以信息论惊喜度评分并记录信念变化，在LoCoMo基准上取得优于对比方法的F1分数。

Comments Preprint. 10 pages, 1 figure, 6 tables

OOPS: Automated generation of REST API specification via LLMs

OOPS: 通过大语言模型自动生成REST API规范

Hao Chen, Yunchun Li, Chen Chen, Fengxu Lin, Wei Li

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)

AI总结 提出OOPS方法，利用LLM对服务器代码进行静态分析，通过端点方法提取和OAS生成两步工作流，自动生成高质量OpenAPI规范，无需技术特定规则或人工干预。

Journal ref Journal of Systems and Software 239 (2026) 112914

Rethinking Genomic Modeling Through Optical Character Recognition

通过光学字符识别重新思考基因组建模

Hongxin Xiang, Pengsen Ma, Yunkang Cao, Di Yu, Haowen Chen, Xinyu Yang, Xiangxiang Zeng

机构 * National University of Singapore（新加坡国立大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出OpticalDNA框架，将DNA渲染为视觉布局，利用视觉语言模型进行OCR式基因组理解，实现高保真压缩和长序列高效处理，在450k碱基序列上以近20倍更少有效token超越基线模型。

Comments Accepted by ICML 2026

Patch-based Memory Gate Model in Time Series Foundation Model

MOMEMTO：基于补丁的记忆门模型在时间序列基础模型中的应用

Samuel Yoon, Jongwon Kim, Juyoung Ha, Young Myoung Ko

机构 * Pohang University of Science and Technology（浦项科学技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.LG

AI总结 MOMEMTO通过基于补丁的记忆模块改进时间序列基础模型，有效缓解过度泛化问题，提升异常检测性能，尤其在少样本学习中表现突出。

Comments Published in Transactions on Machine Learning Research (TMLR), 2026

Journal ref Transactions on Machine Learning Research (TMLR), 2026

TEPA: Revoking Stale Memories for Conflict-Robust Language Agents

TEPA：撤销过时记忆以构建冲突鲁棒的语言智能体

Yan Zhou, Yue Ouyang, Kaiyang Zheng, Suncheng Xiang

专题命中 长上下文与记忆 ：language agent(title,abstract)；分类 cs.AI

AI总结 该研究针对语言智能体的记忆污染问题，提出TEPA可撤销证据记忆机制，经多场景实验证实其能有效避免过时记忆干扰，性能优于仅追加、最后写入获胜等机制。

Comments 14 pages, 9 figures; includes supplementary material. Preprint

CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction

CTR-Sink：用于点击率预测的语言模型中的注意力汇聚点

Zixuan Li, Binzong Geng, Jing Xiong, Yong He, Yuxuan Hu, Jian Chen, Dingwei Chen, Xiyu Chang, Ngai Wong, Liang Zhang, Linjian Mo, Chengming Li, Chuan Yuan, Zhenan Sun

机构 * NLPR, Institute of Automation, Chinese Academy of Sciences（神经信息处理教育部重点实验室，自动化研究所，中国科学院） ； Ant Group（蚂蚁集团） ； The University of Hong Kong（香港大学） ； City University of Hong Kong（香港城市大学） ； Sun Yat-sen University（中山大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 针对用户行为序列与语言模型预训练文本之间的结构差异导致的语义碎片化问题，提出CTR-Sink框架，通过引入行为级注意力汇聚点并动态调节注意力聚合，提升点击率预测性能。

Comments Accepted by the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026). The source code of this paper has been made publicly available at https://github.com/UGUESS-lzx/CTR-SINK

FORGE: Fused On-Register Gradient Elimination for Memory-Efficient LLM Training

FORGE: 融合寄存器梯度消除以实现内存高效的大语言模型训练

Dikshant Kukreja, Kritarth Prasad, Avinash Anand, Zhengkui Wang, Erik Cambria, Timothy Liu, Aik Beng Ng, Simon See, Bapi Chatterjee

机构 * Puch AI ； Singapore Institute of Technology（新加坡理工大学） ； Nanyang Technological University（南洋理工大学） ； NVIDIA（英伟达） ； IIIT-Delhi（德里印度理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(title)；pretraining(abstract)；分类 cs.LG

AI总结 提出FORGE方法，将优化器步骤融合到反向传播中，逐块在寄存器中应用，消除梯度张量，减少内存占用并加速训练，在微调和持续预训练中速度提升约1.5倍。

Boosting Knowledge Graph Foundation Models via Enhanced Negative Sampling

通过增强负采样提升知识图谱基础模型

Yinan Liu, Wenjin Xu, Zhiyuan Zha, Xiaochun Yang, Bin Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI

AI总结 提出自适应负采样方法KMAS，通过动态调整困难负三元组比例，增强知识图谱基础模型在零样本补全任务中的性能。

CoBit: Language Modeling with Bitstream Diffusion

CoBit: 基于比特流扩散的语言建模

Georgios Batzolis, Mark Girolami, Luca Ambrogioni

机构 * University of Cambridge（剑桥大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 提出CoBit模型，将文本建模为固定宽度二进制比特流上的连续扩散过程，采用匹配滤波残差参数化和基于熵率门控的朗之万校正采样器，在LM1B和OpenWebText上达到接近自回归模型的生成困惑度，并消除词汇表缩放瓶颈。

Diagnosing Evidence Utilization in Long-Context and Retrieval-Augmented Language Models under Matched Evidence Conditions

长上下文与检索增强语言模型中证据利用的四条件诊断协议

Haizhou Xia

机构 * University of Western Ontario（西方大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL

AI总结 提出四条件证据可用性协议，通过ONCU估计器分离无证据、全上下文、检索证据和Oracle证据四种条件下的模型表现，诊断长上下文与检索增强语言模型的证据利用瓶颈。

Comments 46 pages, 37 tables, 1 figure

Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge

信息丰度悖论：长上下文训练会破坏参数化知识

Arda Uzunoglu, Benjamin Van Durme, Daniel Khashabi

机构 * Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 该研究提出信息丰度悖论，发现长上下文训练会使模型减少参数化知识编码、增加对上下文的依赖，预训练和微调中均存在性能先升后降或鲁棒性降低的现象，表明近无穷大上下文缩放并非仅靠更多数据。

WebCoach: Self-Evolving Web Agents with Cross-Session Memory Guidance

WebCoach：具有跨会话记忆引导的自我进化网络代理

Genglin Liu, Shijie Geng, Sha Li, Hejie Cui, Sarah Zhang, Xin Liu, Tianyi Liu

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；分类 cs.CL、cs.AI

AI总结 研究针对网页代理跨会话学习不足问题，提出WebCoach框架，通过三个关键组件赋予代理跨会话记忆，可长期规划与自我进化，在WebVoyager基准测试中提升了不同LLM backbone的代理性能。

Comments 18 pages

Evaluating Retrieval-Augmented Generation vs. Long-Context Input for Clinical Reasoning over EHRs

评估检索增强生成与长上下文输入用于电子健康记录临床推理的效果

Skatje Myers, Dmitriy Dligach, Timothy A. Miller, Samantha Barr, James Landefeld, Yanjun Gao, Matthew Churpek, Anoop Mayampurath, Majid Afshar

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Loyola University Chicago（芝加哥洛约拉大学） ； Boston Children’s Hospital Harvard Medical School（波士顿儿童医院哈佛医学院） ； University of Colorado-Anschutz（科罗拉多大学安舒茨分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 研究评估检索增强生成（RAG）用于电子健康记录临床推理的效果，定义三个基于EHR的任务，用真实住院临床记录评估三种大语言模型，发现RAG在成像程序和抗生素时间线任务中令牌效率高，诊断生成任务较具挑战性，RAG是临床任务的有效方法。

The Personalization Trap: How User Memory Alters Emotional Reasoning in LLMs

个性化陷阱：用户记忆如何改变大语言模型的情感推理

Xi Fang, Weijie Xu, Yuchong Zhang, Stephanie Eckman, Scott Nickleach, Chandan K. Reddy

机构 * Amazon（亚马逊） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究用户记忆如何导致大语言模型在情感推理中产生系统性偏差，发现高绩效模型对优势背景用户的情感解读更准确，个性化机制可能嵌入社会等级。

Comments 19 pages 5 figures

Adaptive Filtering of the KV Cache: Diagnosing and Correcting Structural-Role Bias in LLM Inference

KV缓存的自适应过滤：诊断和纠正大语言模型推理中的结构角色偏差

Soumil Mandal

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型推理中KV缓存问题，通过反事实实验确定抑制KEY令牌是最佳过滤方法，采用无重新训练、基于角色的条件分配缩小与H2O方法差距，15MB线性角色探测器提供标签且推理成本可忽略。

Comments 6 pages, 2 figures, 5 tables

Adversarially Robust Few-Shot Anomaly Detection with Vision Foundation Models

基于视觉基础模型的对抗鲁棒小样本异常检测

Akib Mohammed Khan, Bartosz Krawczyk

机构 * Rochester Institute of Technology（罗切斯特理工学院） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)

AI总结 该研究针对视觉基础模型的小样本异常检测场景，提出无需训练骨干网络的对抗鲁棒方法，经实验在多数据集上提升了对抗检测性能，且保持较高干净准确率。

Comments Accepted to BMVC 2026