语言大模型 / LLM

Position Encoding in Transformers: From Absolute and Relative Methods to Rotary Position Embeddings and Long-Context Scaling

Transformer中的位置编码：从绝对与相对方法到旋转位置嵌入及长上下文扩展

Jiguo Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本技术综述梳理 Transformer 各类位置编码方法，推导 RoPE 原理并对比不同方法特性，研究长上下文扩展方案，明确长上下文泛化能力需多任务评估。

Comments 14 pages, a cookbook for students and junior researchers

Measuring the Tokenization Premium: A Cost Audit for Underserved Language Communities

标记化溢价的衡量：服务不足语言社区的成本审计

Avijit Roy, Proma Roy, Hrishitva Patel

机构 * John Jay College of Criminal Justice, City University of New York（纽约城市大学约翰杰刑事司法学院） ； The City College of New York, City University of New York（纽约城市大学城市学院） ； University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本研究通过构建标记化公平审计（TEA）基准，测量了孟加拉语、印地语等5种语言的标记化溢价，发现标记化会给服务不足语言社区带来经济和功能障碍，凸显需重视标记化的公平性。

Comments Accepted at IJCAI 2026 Workshop (https://lm4uc.github.io/)

VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference

VoxZip：面向长上下文音频推理的语义锚定时序KV缓存压缩

Wenxu Jia, Dongjie Fu, Xize Cheng, Fangming Feng, Linjun Li, Wenshi Chen, Yingming Li, Zhou Zhao, Tao Jin

机构 * Zhejiang University（浙江大学） ； Meituan（美团） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对语音大语言模型长上下文推理的KV缓存内存瓶颈，提出无训练两阶段语义锚定框架VoxZip，在多音频基准上实现高效压缩，维持高性能并提升推理效率。

Explore, Map, Remember, Decide: Are Embodied VLMs Ready for Safety-Critical Scenarios?

探索、建图、记忆、决策：具身视觉语言模型是否已准备好应对安全关键场景？

Gabriele La Malfa, Nitay Alon, Emanuele La Malfa, Reuth Mirsky, Stefan Sarkadi

专题命中 长上下文与记忆 ：language model(abstract,abstract_cn)；分类 cs.AI

AI总结 本文扩展ToS框架为EMRD流程，评估VLMs在安全关键场景下的空间理解与决策能力，发现其决策依赖文本先验、空间推理受低光照影响，且记忆与人类认知存在根本差异，存在对齐风险。

SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding

SPECTRA：通过谱变换编码将KV缓存推向2比特极限之外

Jiamu Zhang, Liang Wu, Kelly Wan, Hanjie Chen, Liangjie Hong

机构 * Nokia（诺基亚） ； Rice University（莱斯大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SPECTRA是一种无需训练的KV缓存压缩编解码器，通过谱变换编码将比特预算集中于关键通道，在Llama-3.1-8B等模型上实现最高12倍压缩，突破2比特极限，提升长上下文处理能力

Comments 28 pages

Activity Frames: Deterministic Screen-Activity Compilation for Agent Memory and Replay

活动帧：面向智能体记忆与回放的确定性屏幕活动编译

Nossa Iyamu

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出确定性零模型流水线将屏幕活动编译为智能体记忆，可缩小上下文体积、提升问答准确率，还能获取智能体成本模型所需的例程开销比率与重复率等参数，相关资源开源。

Comments 14 pages, 5 figures, 4 tables

Attention, Anomalies! Handling Attention Layers in Unsupervised Federated Outlier Detection

注意力，异常点！处理无监督联邦离群点检测中的注意力层

Mihailo Ilić, Miloš Savić, Vladimir Kurbalija, Mirjana Ivanović, Giancarlo Fortino, Dušan Jakovetić

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本研究针对联邦学习中记忆增强自编码器缺乏专用聚合技术的问题，提出新颖的引导式聚合方案，在非IID数据集上验证其对无监督异常检测的鲁棒性，可提升浅层自编码器性能并适配资源受限环境。

Comments Submitted to the 4th IEEE International Conference on Federated Learning Technologies and Applications (FLTA 2026)

Caching for the Future: Scrub Jay Episodic Memory Principles for Agent Memory Systems

面向未来的缓存：用于智能体记忆系统的灌丛鸦情景记忆原理

Kartikey Singh Bhandari, Aarya Wadhwani, Dhruv Kumar, Pratik Narang

机构 * Birla Institute of Technology and Science, Pilani（比拉理工学院皮拉尼分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究借鉴灌丛鸦情景记忆原理，提出ScrubJay-MEM智能体记忆系统，通过类型条件时间衰减优化记忆管理，在TGT和MemoryAgentBench任务上取得优于现有方法的效果。

When Memory Lies: An Empirical Study of Spatial Memory Staleness in VLM Agents

当记忆“说谎”：VLM智能体中空间记忆过时的实证研究

Yushi Sun, Yanjie Zhang

机构 * Tencent LIGHTSPEED（腾讯光速工作室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 该研究通过动态FrozenLake测试平台，探究了VLM智能体的空间记忆过时问题，发现文本可解性不代表视觉接地、信任过时记忆存在安全隐患、审核无法完全消除差距，明确了相关核心挑战。

K-EXAONE 2.0 Technical Report

K-EXAONE 2.0 技术报告

Eunbi Choi, Kibong Choi, Sehyun Chun, Seokhee Hong, Junwon Hwang, Hyojin Jeon, Ahra Jo, Hyunjik Jo, Yeonsik Jo, Minhyeok Jung, Doyoung Kim, Heegyu Kim, Joonkee Kim, Seonghwan Kim, Soyeon Kim, Sunkyoung Kim, Yireun Kim, Yongil Kim, Byungoh Ko, Changhun Lee, Dohaeng Lee, Haeju Lee, Jinsik Lee, Kyungmin Lee, Minwoo Lee, Wonkee Lee, Sangha Park, Sungjune Park, Kwangrok Ryoo, Kijung Seo, Minju Seo, Yongwoo Song, Sejong Yang, Heuiyeen Yeen, Stanley Jungkyu Choi, Yemuk Choi, Yongchan Chun, Jiwon Ham, Dasol Hong, Sujeong Im, Kijeong Jeon, Gerrard Jeongwon Jo, Hyeongjun Jo, Yujin Jo, Jiyeon Jung, Naeun Kang, Daeseong Kim, Euisoon Kim, Hayeon Kim, Hyosang Kim, Myoungshin Kim, Unsol Kim, Youchul Kim, Chaeeun Lee, ChaeYoon Lee, Edward Hwayoung Lee, Honglak Lee, Hwansoo Lee, Minkyung Lee, Sangeun Lee, Solji Lim, Woohyung Lim, Chanwoo Moon, Jueun Mun, Jimin Park, Seojeong Park, Yongmin Park, Hyerin Seo, Donghyeon Shin, Donghyun Son, Eunyong Son, Kaehyun Um, Sihoon Yang, Chang En Yea, Sihyuk Yi, Kyungjae Yoo, Chansik Yoon

机构 * LG AI Research（LG AI研究院） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；post-training(abstract)；分类 cs.CL

AI总结 该报告介绍LG AI Research开发的K-EXAONE 2.0，这是一款7500亿参数的MoE多语言基础模型，经升级前代模型而来，支持25.6万token上下文，在多类评估中表现优异，以Apache 2.0许可发布，助力AI生态发展。

TraceCAD: Trace-Guided Repair for Agentic CAD Generation

TraceCAD：面向智能体CAD生成的轨迹引导修复

Fengxiao Fan, Jingzhe Ni, Fan Sang, Xiaolong Yin, Yu Liu, Ruofeng Tong, Min Tang, Peng Du

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 TraceCAD是一种用于智能体CAD生成的轨迹引导修复方法，通过引入持久状态等机制提升了CAD生成的几何质量与修复可靠性，在DeepCAD基准测试中取得了良好效果。

Comments 18 pages, 7 figures; includes supplementary material

MutMem: Cryptographically Authorized Mutation in Persistent Agent Memory

MutMem：持久智能体内存中的密码学授权突变

Walid Saidi

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究针对持久智能体内存的授权与防篡改问题，提出HOM-AIMOS中的MutMem协议，经实验验证其在多个基准任务中表现良好，可有效抵御中毒攻击。

Comments https://github.com/wallidsaydi-creator/HOM-AIMOS. 32 Pages

Long-Horizon Autonomous Architecture Research with a Language-Model Agent: A Behavioural Case Study

基于语言模型智能体的长时自主架构研究：一项行为案例研究

Aon Safdar, Mohamed Saadeldin

机构 * University College Dublin（都柏林大学学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究以语言模型智能体为唯一研究者开展长时神经架构设计案例，经三阶段约100次实验改进了视觉Transformer，揭示其生产力阶段结构等四项发现，提出自主研究的未来方向。

Comments This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible

PGMem: Tightly Coupled Persona-Memory Graph for Lifelong Personalized Agents

PGMem：用于终身个性化智能体的紧耦合角色记忆图

Wonjun Choi, Yerim Kim, Yukyung Lee, Susik Yoon

机构 * Korea University（高丽大学） ； Boston University（波士顿大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；small language model(abstract)；分类 cs.CL

AI总结 该研究针对现有对话智能体记忆系统的角色与事件松散耦合问题，提出PGMem异构角色记忆图，通过溯源边关联角色与事件，在多个基准测试中性能优于多种基线方法。

Salami Attack: Stealthy Collusive Memory Poisoning against OpenClaw

Salami攻击：针对OpenClaw的隐蔽合谋式内存投毒

Zheng Lin, Yuzhe Huang, Zhenxing Niu, Xianmin Ye, Haichang Gao

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 针对OpenClaw，提出MemCollusion框架，采用Salami策略生成合谋式内存投毒攻击，在48种场景下平均内存保存率81.3%、攻击成功率75.0%，可应对良性内存稀释与内存级防御。

When Memory Updates but Behavior Does Not: Repairing Implicit Stale Dependencies in Personalized Agent Responses

当记忆更新但行为未更新时：修复个性化智能体响应中的隐式陈旧依赖

Haofei Sun, Lin He

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对智能体存在的隐式陈旧依赖问题，提出StateAuditor反向审计方法，在STALE基准上实现显著性能提升，验证了转换机制对修复IPA缺口的有效性。

Comments 9 pages, 4 figures; supplementary material in ancillary files

Linear Multi-Timescale Retention as a Memory-Efficient Vision-Language Bridge

线性多时间尺度保留作为内存高效的视觉-语言桥梁

Ashfak Yeafi, Mehedi Hasan, Md Khairul Islam

专题命中 长上下文与记忆 ：language model(abstract)；instruction tuning(abstract)；分类 cs.AI

AI总结 该研究针对视觉-语言模型高分辨率图像处理的内存瓶颈，提出线性多时间尺度保留模块，兼具O(N)复杂度与上下文路由能力，在长序列任务、硬件效率及MME基准上均优于MLP基线。

S$^4$R: Selective Sampling, Subspaces, and Sparse Reconstruction for Compressed Long-Context KV Caching

S$^4$R：用于压缩长上下文KV缓存的选择性采样、子空间与稀疏重构

Jialong Han, You Wu, Kewei Tu

机构 * School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院） ； Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 S$^4$R通过选择性采样token构建低秩子空间、稀疏重构KV表示，在LongBench等数据集上实现最高5倍KV压缩且接近全缓存准确率，兼顾压缩效率与提示词适应性。

Width, Memory, and Delay: A Resource Accounting for the Limits of Flat Multi-Agent Systems

宽度、内存与延迟：扁平多智能体系统的资源限制核算

Oleksandr Kuznetsov, Emanuele Frontoni

机构 * eCampus University（埃坎帕斯大学） ； SMARTEST Research Center（SMARTEST研究中心） ； V. N. Karazin Kharkiv National University（V.N.卡拉津哈尔科夫国立大学） ； University of Macerata（马切拉塔大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究针对扁平多智能体系统，构建了基于宽度、内存、延迟的定量资源模型，反驳了其存在不可约因果下限的结论，明确资源不可替代性并给出设计规则。

Memory Decoder at Scale: A Pretrained, Parametric Long-Term Memory

规模化的记忆解码器：一种预训练的参数化长期记忆

Rubin Wei, Jiaqi Cao, Jiarui Wang, Junming Zhang, Qipeng Guo, Bowen Zhou, Zhouhan Lin

专题命中 长上下文与记忆 ：language model(abstract)；pretraining(abstract)；分类 cs.CL

AI总结 本研究将记忆解码器扩展至69亿参数并在3000亿token上预训练，通过分布式Faiss等技术解决索引瓶颈，发现独立扩展记忆可更高效提升语言模型性能，在多基准测试中验证了其优势。

MemSecBench: Tracking Agent Memory Poisoning from Persistence to Consequence and Repair

MemSecBench：追踪智能体内存中毒从持久性到后果及修复的全生命周期

Xuanze Chen, Xukang Xie, Wentao Fu, Jiajun Zhou, Shanqing Yu, Qi Xuan

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出MemSecBench基准测试，通过24种配置的实验发现不同内存系统栈在智能体内存中毒的持久性、后果及选择性修复上存在显著差异，为智能体内存安全评估提供了工具。

Speculate While You Reason: Teaching Agents to Predict Their Next Tool Call via Joint Agent-Speculator RL

推理时进行推测：通过联合智能体-推测器强化学习教智能体预测其下一个工具调用

Jiabao Ji, Yujian Liu, Li An, Rohit Jain, Gungor Polatkan, Siyu Zhu, Shiyu Chang

机构 * University of California, Santa Barbara（加利福尼亚大学圣巴巴拉分校） ； Linkedin Inc（领英公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大型语言模型智能体等待工具调用结果时间长的问题，提出联合智能体-推测器强化学习方法，统一智能体和推测器为自推测智能体，复用缓存，提升了Qwen不同模型下一个工具调用的Hit@1指标及任务成功率。

Authoring Agent Skills: A Software-Engineering Approach

编写智能体技能：一种软件工程方法

Giuseppe Destefanis

机构 * University College London（伦敦大学学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究如何编写智能体技能，遵循软件工程原则，以Claude Code为参考实现阐述技能结构等，与其他塑造智能体行为机制比较并给出选择规则，还介绍评估驱动编写过程等，为智能体技能编写提供方法。

MusiChat: Vibe Composing for Music Creation

MusiChat：用于音乐创作的氛围作曲

Callie C. Liao, Duoduo Liao, Ellie L. Zhang

机构 * Stanford University（斯坦福大学） ； George Mason University（乔治梅森大学） ； IntelliSky（智能天空） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对AI音乐创作中迭代难问题，提出MusiChat系统，通过分层可控框架、记忆增强架构及混合意图路由机制，实现人机协作音乐创作，经评估在交互准确率和用户喜好比例上表现良好，支持多轮音乐创作和人机共创。

DynaCalKV: Key-Value Cache Compression via Head Grouping and Adaptive Rank Allocation

DynaCalKV：通过头部分组和自适应秩分配实现键值缓存压缩

Tan T. Nguyen, Quan V. Dang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型KV缓存瓶颈问题，提出DynaCalKV框架，通过基于CKA相似性动态分组注意力头并自适应分配秩预算处理键缓存，值缓存采用ReCalKV方法优化，实验表明能减少键缓存参数且保持准确率，对MHA模型效果好，对GQA模型应用需更谨慎。

Disentangling Semantic Attention from Structural Bias in the Attention Manifold

在注意力流形中分离语义注意力与结构偏差

Pengkun Jiao, Bin Zhu, Jingjing Chen, Yu-gang Jiang

机构 * Fudan University（复旦大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型中注意力机制对无信息视觉 tokens 关注过多的问题，提出无需训练的 SPAR 方法，通过净化噪声和重分配注意力，有效恢复真实视觉基础且计算开销小。

Embodied GPT-5.1: Evidence of a World Model?

具身化GPT-5.1：世界模型的证据？

Roberto Spinelli, Thiago C. Martins

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究探索无实体化训练的GPT-5.1能否控制物理移动机器人，通过低分辨率图像和离散动作集执行任务。它展现出空间推理等新兴能力，但也有效率和感知局限。结果挑战传统观点，促使深入研究大语言模型中物理理解相关问题。

Comments 6 pages, 16 figures. Published in the 2026 Brazilian Conference on Robotics (CROS)

Journal ref R. Spinelli and T. C. Martins, "Embodied GPT-5.1: Evidence of a World Model?," 2026 Brazilian Conference on Robotics (CROS), pp. 394-399, 2026

MEMENTO: Memory-Guided Memetic Code-as-Policy Evolution

MEMENTO：内存引导的基于代码的策略进化的模因算法

Alkis Sygkounas, Victor Aregbede, Amy Loutfi, Andreas Persson

机构 * Center for Applied Autonomous Sensor Systems (AASS), Örebro University（应用自主传感器系统中心（AASS），于默奥大学） ； Örebro University（于默奥大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究长期具身任务中基于代码的策略进化问题，提出内存引导单精英模因框架MEMENTO，通过进化展开评估器及利用反馈指标改进策略，在相关领域实验中性能优于基线，还证明了模拟到现实转移的可行性。

Decoupled Attention Fusion: Accelerating RAG with Efficient KV Cache Reuse

解耦注意力融合：通过高效的键值缓存重用加速检索增强生成

Xiabao Wu, Wentao Liu, Yongchao Liu, Jiajun Zheng

机构 * Ant Group, China（蚂蚁集团，中国） ； Southeast University, Nanjing, China（东南大学，南京，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对RAG在长上下文场景中TTFT延迟高及缓存问题，提出解耦注意力融合（DAF）框架，将注意力过程解耦为三个阶段，与Flash-Attention内核兼容，实验显示其在不牺牲准确性的情况下，相比CacheBlend和完全重新计算有显著加速。

Comments Accepted by EuroSys 2026 (poster track)

news-crawler-LM: A Small Long-Context Model For High-Quality News Crawling

新闻爬虫语言模型：一种用于高质量新闻爬虫的小型长上下文模型

Pascal Stolzenburg, Jonas Golde, Max Dallabetta, Alan Akbik

机构 * Humboldt-Universität zu Berlin（柏林洪堡大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究旨在解决新闻页面结构化内容提取难题，提出基于眼底新闻爬虫库微调的小型长上下文语言模型news-crawler-LM，能将HTML转换为文本和JSON，在HTML到Markdown和JSON提取任务中性能出色，且向研究社区发布了所有模型和工件。

Comments KONVENS 2026