语言大模型 / LLM

Short-Context Dominance: How Much Local Context Natural Language Actually Needs?

短上下文主导：自然语言实际上需要多少局部上下文？

Vala Vakilian, Zimeng Wang, Ankit Singh Rawat, Christos Thrampoulidis

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 研究探讨了自然语言中短上下文预测的主导地位，并提出DaMCL方法用于检测长上下文序列，通过减少偏差提升模型性能。

Comments 38 pages, 7 figures, includes appendix and references

The Promptware Kill Chain: How Prompt Injections Gradually Evolved Into a Multistep Malware Delivery Mechanism

提示武器杀链：提示注入如何逐渐演变成多步骤恶意软件交付机制

Oleg Brodt, Elad Feldman, Bruce Schneier, Ben Nassi

机构 * Department of Software and Information Systems Engineering, Ben-Gurion University of the Negev（本·古里安大学软件与信息系统工程系） ； School of Electrical and Computer Engineering, Tel Aviv University（特拉维夫大学电气与计算机工程学院） ； Harvard Kennedy School, Harvard University, and Munk School, University of Toronto（哈佛大学哈佛肯尼迪学校及多伦多大学穆克学校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出提示武器杀链模型，揭示提示注入演变为多步骤恶意软件攻击机制的过程，并提出针对各阶段的防御策略。

Attention Sinks and Compression Valleys in LLMs are Two Sides of the Same Coin

注意力沉降与压缩山谷是大语言模型中的双面现象

Enrique Queipo-de-Llano, Álvaro Arroyo, Federico Barbero, Xiaowen Dong, Michael Bronstein, Yann LeCun, Ravid Shwartz-Ziv

机构 * University of Oxford（牛津大学） ； AITHYRA ； New York University（纽约大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究揭示了大语言模型中注意力沉降与压缩山谷的联系，提出信息流的Mix-Compress-Refine理论，解释LLM如何通过大规模激活控制注意力和压缩来组织深度计算。

TraceMem: Weaving Narrative Memory Schemata from User Conversational Traces

TraceMem: 从用户对话轨迹编织叙事记忆图式

Yiming Shu, Pei Liu, Tiange Zhang, Ruiyang Gao, Jun Ma, Chen Sun

机构 * The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Nankai University（南开大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 TraceMem通过三阶段流程从用户对话轨迹中编织叙事记忆图式，提升多跳和时间推理能力。

Structured Episodic Event Memory

结构化事件记忆

Zhengxuan Lu, Dongfang Li, Yukun Shi, Beilun Wang, Longyue Wang, Baotian Hu

机构 * Southeast University（东南大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Shenzhen Loop Area Institute（深圳河套学院） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SEEM通过结构化事件记忆框架提升自主代理的叙述连贯性和逻辑一致性。

OpenMonoGS-SLAM: Monocular Gaussian Splatting SLAM with Open-set Semantics

OpenMonoGS-SLAM: 单目高斯点云SLAM与开放语义结合

Jisang Yoo, Gyeongjin Kang, Hyun-kyu Ko, Hyeonwoo Yu, Eunbyung Park

机构 * Sungkyunkwan University（成均馆大学） ； Yonsei University（延世大学） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)

AI总结 OpenMonoGS-SLAM通过结合3DGS与开放集语义，实现无需深度输入的单目SLAM，提升开放世界环境下的感知与建图性能。

Comments Work in progress. Project page: https://jisang1528.github.io/OpenMonoGS-SLAM/