语言大模型 / LLM

A Single-Layer Model Can Do Language Modeling

单层模型也能进行语言建模

Zanmin Wang

机构 * Proton 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出单层接地预测网络GPN，通过单个递归模块实现语言建模，实验表明其在参数量为1.3亿时达到FineWeb-Edu的18.06 perplexity，接近深度模型表现。

Comments 9 pages, 5 figures, 1 table. Code: https://github.com/steve-z-wang/grounded-prediction-network

Do Self-Evolving Agents Forget? Capability Degradation and Preservation in Lifelong LLM Agent Adaptation

自我进化代理会遗忘吗？在终身大语言模型代理适应中的能力退化与保持

Ye Yu, Xiaopeng Yuan, Haibo Jin, Heming Liu, Yaoning Yu, Haohan Wang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了自我进化过程中能力退化现象，提出能力保持进化原则，通过四种进化维度提升能力稳定性与适应性能。

Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling

长上下文意识的升级：混合大语言模型扩展的新前沿

Parsa Ashrafi Fashi, Utkarsh Saxena, Mehdi Rezagholizadeh, Aref Jafari, Akash Haridas, Mingyu Yang, Vansh Bhatia, Guihong Li, Vikram Appia, Emad Barsoum

机构 * AMD 纠错

专题命中 长上下文与记忆 ：LLM(title)；post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出HyLo方法，通过架构适应与高效Transformer块结合，提升长上下文能力，实现上下文长度扩展32倍，内存消耗降低90%，在混合架构中表现优异。

Extending Precipitation Nowcasting Horizons via Spectral Fusion of Radar Observations and Foundation Model Priors

通过雷达观测与基础模型先验的频谱融合扩展降水现在预报时间范围

Yuze Qin, Qingyong Li, Zhiqing Guo, Wen Wang, Yan Liu, Yangli-ao Geng

机构 * 1 Key Laboratory of Big Data \& Artificial Intelligence in Transportation (Ministry of Education), Beijing Jiaotong University, Beijing, China ； 2 CMA Key Laboratory of Transportation Meteorology, Nanjing Innovation Institute for Atmospheric Sciences, Nanjing, China 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出PW-FouCast框架，通过频谱融合雷达数据与气象先验，解决雷达图像与气象数据表示差异问题，提升降水预报可靠性与时间范围。

Comments Accepted by IJCNN 2026. Code is available at https://github.com/Onemissed/PW-FouCast

Non-Stationarity in the Embedding Space of Time Series Foundation Models

时间序列基础模型嵌入空间中的非平稳性

Jinmyeong Choi, Brad Shook, Artur Dubrawski

机构 * Auton Lab（自动化实验室） ； Robotics Institute（机器人研究所） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究时间序列基础模型嵌入空间中非平稳性的检测方法，分析不同分布非平稳性和时间非平稳性对模型检测能力的影响。

Comments 17 pages, 7 figures

LoSA: Locality Aware Sparse Attention for Block-Wise Diffusion Language Models

LoSA：基于块状扩散语言模型的局部意识稀疏注意力

Haocheng Xi, Harman Singh, Yuezhou Hu, Coleman Hooper, Rishabh Tiwari, Aditya Tomar, Minjae Lee, Wonjun Kang, Michael Mahoney, Chenfeng Xu, Kurt Keutzer, Amir Gholami

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 LoSA通过局部意识稀疏注意力机制，针对块状扩散语言模型中的KV膨胀问题，优化注意力计算，提升效率和精度，实现更高的准确率和速度。

Comments 16 pages, 11 figures, 6 tables

Many Preferences, Few Policies: Towards Scalable Language Model Personalization

多种偏好，少数政策：迈向可扩展的语言模型个性化

Cheol Woo Kim, Jai Moondra, Roozbeh Nahavandi, Andrew Perrault, Milind Tambe, Swati Gupta

机构 * Harvard University（哈佛大学） ； Carnegie Mellon University（卡内基梅隆大学） ； The Ohio State University（俄亥俄州立大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 长上下文与记忆 ：language model(title)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出PALM方法，通过多维权重向量建模用户偏好，生成小规模LLM组合以实现个性化，理论保证了规模和近似质量的平衡。

Comments Fixed typos

LPC-SM: Local Predictive Coding and Sparse Memory for Long-Context Language Modeling

LPC-SM：局部预测编码与稀疏记忆用于长上下文语言建模

Keqin Xie

机构 * Independent Researcher, Suzhou, China（独立研究者，苏州，中国） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LPC-SM架构，通过分离局部注意力、持久记忆、预测修正和运行时控制，改进长上下文语言模型的性能，实验显示其在不同任务中均取得显著提升。

High-Stakes Personalization: Rethinking LLM Customization for Individual Investor Decision-Making

高风险个性化：重新思考面向个人投资者决策的LLM定制

Yash Ganpat Sawant

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文探讨了在高风险、长期决策领域中，LLM个性化面临的核心挑战，包括行为记忆复杂性、主题一致性、风格信号张力及无地面真相的对齐问题，并提出相应的架构改进方向。

Comments 4 pages + 1 page references. Submitted to CustomNLP4U Workshop @ ACL 2026

Rethinking Token Prediction: Tree-Structured Diffusion Language Model

重新思考标记预测：树结构扩散语言模型

Zihao Wu, Haoming Yang, Juncheng Dong, Vahid Tarokh

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出树结构扩散语言模型，通过利用标记间的内在结构，减少参数和内存使用，实现在有限资源下提升性能。

No Attacker Needed: Unintentional Cross-User Contamination in Shared-State LLM Agents

无需攻击者：共享状态LLM代理中的无意跨用户污染

Tiankai Yang, Jiate Li, Yi Nian, Shen Dong, Ruiyao Xu, Ryan Rossi, Kaize Ding, Yue Zhao

机构 * University of Southern California（南加州大学） ； Michigan State University（密歇根州立大学） ； Northwestern University（西北大学） ； Adobe Research（Adobe研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示共享状态LLM代理中因局部有效信息被错误应用导致的跨用户污染问题，提出三种污染类型并评估两种机制，发现需在文本级清洗外增加 artifact 级防护以防止静默失败。

Eyla: Toward an Identity-Anchored LLM Architecture with Integrated Biological Priors -- Vision, Implementation Attempt, and Lessons from AI-Assisted Development

Eyla：迈向具有集成生物先验的LLM架构——视觉、实现尝试及AI辅助开发的教训

Arif Aditto

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 Eyla提出一种以身份为基础的LLM架构，整合生物启发子系统，通过AI辅助开发的失败分析，揭示了AI辅助软件工程中的系统性失效模式。

Comments 8 pages, 3 tables, 25 references. Preprint under review for workshop submission

NextMem: Towards Latent Factual Memory for LLM-based Agents

NextMem: 向基于大语言模型的智能体构建潜在事实记忆

Zeyu Zhang, Rui Li, Xiaoyan Zhao, Yang Zhang, Wenjie Wang, Xu Chen, Tat-Seng Chua

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 NextMem提出一种基于自回归自编码器的潜在事实记忆框架，通过两阶段训练和量化技术提升记忆构建效率与准确性，在检索、鲁棒性和扩展性方面表现优异。

Comments 17 pages, 7 figures, 4 tables

SuperLocalMemory V3: Information-Geometric Foundations for Zero-LLM Enterprise Agent Memory

SuperLocalMemory V3：信息几何基础用于零LLM企业代理记忆

Varun Pratap Bhardwaj

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于信息几何的零LLM企业代理记忆系统，通过信息几何度量、黎曼流形动力学和细胞sheaf模型，提升记忆检索与一致性，实验显示在LoCoMo基准上性能提升显著。

Comments 43 pages, 5 figures, 9 tables, 3 appendices. Code: https://github.com/qualixar/superlocalmemory. Zenodo DOI: 10.5281/zenodo.19038659

Adaptive Memory Admission Control for LLM Agents

自适应记忆准入控制用于大语言模型代理

Guilin Zhang, Wei Jiang, Xiejiashan Wang, Aisha Behr, Kai Zhao, Jeffrey Friedman, Xu Chu, Amine Anoun

机构 * Workday AI 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出自适应记忆准入控制框架，通过分解记忆价值因素提升大语言模型代理的长期记忆管理效率与可靠性。

OrbitFlow: SLO-Aware Long-Context LLM Serving with Fine-Grained KV Cache Reconfiguration

OrbitFlow: 带有SLO意识的长上下文LLM服务与细粒度KV缓存重新配置

Xinyue Ma, Heelim Hong, Taegeon Um, Jongseop Lee, Seoyeong Choy, Woo-Yeon Lee, Myeongjae Jeon

机构 * Samsung Research（三星研究院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.AI、cs.LG

AI总结 OrbitFlow通过细粒度KV缓存管理，提高了长上下文LLM服务的SLO达成率和吞吐量，减少了延迟。

Comments Accepted at the 52nd International Conference on Very Large Data Bases (VLDB 2026). Xinyue Ma and Heelim Hong contributed equally (co-first authors)

One Token Is Enough: Improving Diffusion Language Models with a Sink Token

一个标记足矣：通过sink标记改进扩散语言模型

Zihou Zhang, Zheyong Xie, Li Zhong, Haifeng Liu, Yao Hu, Shaosheng Cao

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 通过引入额外的sink标记，改进扩散语言模型的稳定性与性能，该标记具有低语义内容且位置无关，提升模型鲁棒性。

CLAA: Cross-Layer Attention Aggregation for Accelerating LLM Prefill

CLAA: 跨层注意力聚合用于加速大语言模型预填

Bradley McDanel, Steven Li, Harshit Khaitan

机构 * Franklin and Marshall College（弗兰克林与马歇尔学院） ； Meta Reality Labs（Meta现实实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.LG

AI总结 CLAA通过跨层聚合注意力分数，提升大语言模型预填阶段的推理速度，将TTFT降低至39%。

Comments 15 pages, 8 figures

Multi-Agent Comedy Club: Investigating Community Discussion Effects on LLM Humor Generation

多智能体喜剧俱乐部：探究社区讨论对LLM幽默生成的影响

Shiwei Hong, Lingyao Li, Ethan Z. Rong, Chenxinran Shen, Zhicong Lu

机构 * George Mason University（乔治·马歇尔大学） ； University of South Florida（佛罗里达州立大学） ； University of Toronto（多伦多大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本研究通过多智能体实验探讨社区讨论对LLM生成幽默的影响，发现讨论条件在Craft/Clarity和社会反应指标上显著优于基线条件。

Comments 18 pages, 5 figures

Day-Ahead Electricity Price Forecasting for Volatile Markets Using Foundation Models with Regularization Strategy

利用正则化策略的基础模型进行日提前电力价格预测

Kritchanat Ponyuenyong, Pengyu Tu, Jia Wei Tan, Wei Soon Cheong, Jamie Ng Suat Ling, Lianlian Jiang

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种正则化策略，利用基础模型在波动市场中提升电力价格预测的准确性。

Comments Accepted to AI4TS Workshop @ AAAI'26 (Oral and Poster), see https://ai4ts.github.io/aaai2026

VisMem: Latent Vision Memory Unlocks Potential of Vision-Language Models

VisMem: 通过潜在视觉记忆解锁视觉-语言模型的潜力

Xinlei Yu, Chengming Xu, Guibin Zhang, Zhangquan Chen, Yudong Zhang, Yongbo He, Peng-Tao Jiang, Jiangning Zhang, Xiaobin Hu, Shuicheng Yan

机构 * National University of Singapore（新加坡国立大学） ； Fudan University（复旦大学） ； Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； vivo 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 VisMem通过引入动态潜在视觉记忆模块，提升视觉-语言模型在复杂视觉任务中的性能，实现感知准确性和语义一致性之间的平衡。

RAG-GFM: Overcoming In-Memory Bottlenecks in Graph Foundation Models via Retrieval-Augmented Generation

RAG-GFM：通过检索增强生成克服图基础模型中的内存瓶颈

Haonan Yuan, Qingyun Sun, Jiacheng Tao, Xingcheng Fu, Jianxin Li

机构 * SKLCCSE, School of Computer Science and Engineering（计算机科学与工程学院） ； Beihang University（北航） ； Guangxi Normal University（广西师范大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 RAG-GFM通过检索增强生成方法，解决图基础模型中的内存瓶颈问题，提升模型的效率和效果。

Comments Accepted by the Web Conference 2026 (Research Track)

Crafting Adversarial Inputs for Large Vision-Language Models Using Black-Box Optimization

为大型视觉-语言模型设计对抗输入使用黑盒优化

Jiwei Guan, Haibo Jin, Haohan Wang

机构 * School of Computing, Macquarie University（麦考瑞大学计算机学院） ； School of Information Sciences, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校信息科学学院） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于零阶优化的黑盒劫持攻击方法，针对大型视觉-语言模型实现高成功率的对抗性攻击，揭示了当前模型安全机制的不足。

Comments EACL

Towards Principled Design of Mixture-of-Experts Language Models under Memory and Inference Constraints

面向内存和推理约束下混合专家语言模型的原理性设计

Seng Pei Liew, Kenta Shinzato, Yuyang Dong

机构 * SB Intuitions 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本文提出基于内存和推理约束的混合专家语言模型设计原则，通过系统研究揭示性能主要由总参数和专家稀疏性决定，并提出优化方法指导架构设计。

Comments 10 pages, 5 figures

Beyond Static Summarization: Proactive Memory Extraction for LLM Agents

超越静态摘要：为LLM代理的主动记忆提取

Chengyuan Yang, Zequn Sun, Wei Wei, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学） ； National Institute of Healthcare Data Science, Nanjing University, China（健康数据科学国家研究院，南京大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出ProMem，一种主动记忆提取方法，通过递归反馈机制提升LLM代理的记忆完整性和问答准确性，实现高质量与低成本的平衡。

Empirical Comparison of Encoder-Based Language Models and Feature-Based Supervised Machine Learning Approaches to Automated Scoring of Long Essays

基于编码器的语言模型与基于特征的监督机器学习方法在长作文自动评分中的实证比较

Kuo Wang, Haowei Hua, Pengfei Yan, Hong Jiao, Dan Song

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 本研究比较了基于编码器的语言模型与基于特征的监督机器学习方法在长作文自动评分中的表现，发现嵌入集成模型在评分效果上优于单一语言模型。

Comments 22 pages, 5 figures, 3 tables, presented at National Council on Measurement in Education 2025

DIP: Dynamic In-Context Planner For Diffusion Language Models

DIP: 用于扩散语言模型的动态上下文规划器

Yang Li, Han Meng, Chenan Wang, Haipeng Chen

机构 * College of William & Mary（威廉姆斯堡学院） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 DIP是一种用于扩散语言模型的上下文优化方法，通过动态选择和插入上下文示例提升生成效率，实现显著的推理加速。

Comments 4 pages

VTCBench: Can Vision-Language Models Understand Long Context with Vision-Text Compression?

VTCBench: 视觉-语言模型能否通过视觉-文本压缩理解长上下文？

Hongbo Zhao, Meng Wang, Fei Zhu, Wenzhuo Liu, Bolin Ni, Fanhu Zeng, Gaofeng Meng, Zhaoxiang Zhang

机构 * 1 Institute of Automation, Chinese Academy of Sciences ； 2 School of Artificial Intelligence, University of Chinese Academy of Sciences ； 3 Centre for Artificial Intelligence ； Robotics, Hong Kong Institute of Science \& Innovation, CAS ； 4 Independent Researcher 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 VTCBench评估视觉-文本压缩对视觉语言模型长上下文理解能力的影响，发现多数模型在处理压缩信息时表现不佳。

UniExtreme: A Universal Foundation Model for Extreme Weather Forecasting

UniExtreme: 一种用于极端天气预报的通用基础模型

Hang Ni, Weijia Zhang, Hao Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 长上下文与记忆 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI总结 UniExtreme是一种通用极端天气预报基础模型，通过自适应频率调制和事件先验增强模块，提升对多样化极端天气事件的预测能力。

Comments 35 pages, 80 figures, submitted to ACM KDD 2026 conference

Attention Sinks in Diffusion Language Models

扩散语言模型中的注意力汇

Maximo Eduardo Rulli, Simone Petruzzi, Edoardo Michielon, Fabrizio Silvestri, Simone Scardapane, Alessio Devoto

机构 * Sapienza University of Rome（罗马大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了扩散语言模型中的注意力汇现象，发现其注意力位置在生成过程中动态变化，且对掩码具有鲁棒性，揭示了与自回归模型的不同特性。