语言大模型 / LLM

Fresh in memory: Training-order recency is linearly encoded in language model activations

Dmitrii Krasheninnikov, Richard E. Turner, David Krueger

机构 * University of Cambridge（剑桥大学） ； Mila, University of Montreal（蒙特利尔大学米尔研究所） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

OPEN-THEATRE: An Open-Source Toolkit for LLM-based Interactive Drama

Tianyang Xu, Hongqiu Wu, Weiqi Wu, Hai Zhao

机构 * UM–SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学与UM联合研究所） ； AGI Institute, School of Computer Science, Shanghai Jiao Tong University（上海交通大学人工智能研究所） ； Key Laboratory of Shanghai Education Commission for Intelligent Interaction and Cognitive Engineering, Shanghai Jiao Tong University（上海教育委员会智能交互与认知工程重点实验室） ； Shanghai Key Laboratory of Trusted Data Circulation and Governance in Web3（上海Web3可信数据流通与治理重点实验室） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；分类 cs.CL

Comments Accepted by EMNLP 2025 demo

MindRef: Mimicking Human Memory for Hierarchical Reference Retrieval with Fine-Grained Location Awareness

Ye Wang, Xinrun Xu, Zhiming Ding

机构 * Renmin University of China（中国人民大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments ACL 2025

Attention Sinks: A 'Catch, Tag, Release' Mechanism for Embeddings

Stephen Zhang, Mustafa Khan, Vardan Papyan

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Does quantization affect models' performance on long-context tasks?

Anmol Mekala, Anirudh Atmakuru, Yixiao Song, Marzena Karpinska, Mohit Iyyer

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments to appear in EMNLP 2025

Orchestrate, Generate, Reflect: A VLM-Based Multi-Agent Collaboration Framework for Automated Driving Policy Learning

Zengqi Peng, Yusen Xie, Yubin Wang, Rui Yang, Qifeng Chen, Jun Ma

机构 * Robotics and Autonomous Systems Thrust, The Hong Kong University of Science and Technology (Guangzhou)（机器人与自主系统方向，香港科学与技术大学（广州）） ； Department of Computer Science and Engineering, The Hong Kong University of Science and Technology（计算机科学与工程系，香港科学与技术大学） ； Cheng Kar-Shun Robotics Institute, The Hong Kong University of Science and Technology（陈家骏机器人研究所，香港科学与技术大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；foundation model(abstract)

ShadowServe: Interference-Free KV Cache Fetching for Distributed Prefix Caching

Xingyu Xiang, Raj Joshi, Yuhan Liu, Jiayi Yao, Chenxingyu Zhao, Junchen Jiang, Yang Zhou, Eddie Kohler, Minlan Yu

机构 * Harvard University（哈佛大学） ； University of Chicago（芝加哥大学） ； University of Washington（华盛顿大学） ； UC Davis（加州大学戴维斯分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI、cs.LG

CodeSSM: Towards State Space Models for Code Understanding

Shweta Verma, Abhinav Anand, Mira Mezini

机构 * TU Darmstadt（图宾根大学） ； Hessian Center for Artificial Intelligence（黑森人工智能中心） ； National Research Center for Applied Cybersecurity ATHENE（应用网络安全国家研究中心ATHENE） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.AI