语言大模型 / LLM

Ruby: Unmasking Unsafe Rust in Stripped Binaries via Machine Learning

Ruby：通过机器学习揭示剥离二进制文件中的不安全Rust

Xiang Cheng, Sangdon Park, HyungSeok Han, Xiaokuan Zhang, Taesoo Kim

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Pohang University of Science and Technology（釜山科学技术大学） ； Microsoft（微软公司） ； George Mason University（乔治·梅奥大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.LG

AI总结 研究旨在揭示Rust二进制文件中的不安全区域，核心方法是用机器学习工具Ruby捕获二进制指令差异，主要贡献为识别大部分不安全区域且误报率低，应用于指导符号执行和模糊测试有显著速度提升并帮助修复安卓库漏洞。

Comments Accepted to DSN 2026

How Data Shapes RoPE Frequency Usage: From Positional Scale Matching to Length Generalization

数据如何塑造RoPE频率使用：从位置尺度匹配到长度泛化

Xinyi Wu, Siyuan Liu, Ali Jadbabaie

机构 * MIT IDSS（麻省理工学院信息系统与决策科学实验室） ； IIIS, Tsinghua University（清华大学交叉信息研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 研究RoPE频率使用不均匀的原因，提出数据诱导依赖决定频率使用，最佳频率与1/W成比例，该原则解释了相关观察，还将频率选择与长度泛化联系，表明自然语言有自相似性，长上下文泛化取决于两种尺度匹配。

Platonic Representations for Poverty Mapping: Unified Vision-Language Codes or Agent-Induced Novelty?

贫困地图绘制的柏拉图式表示：统一的视觉语言代码还是智能体诱导的新颖性？

Satiyabooshan Murugaboopathy, Connor T. Jerzak, Adel Daoud

机构 * AI and Global Development Lab（人工智能与全球发展实验室） ； Institute for Analytical Sociology（分析社会学研究所） ； Institute of Computer Science（计算机科学研究所） ； Department of Government（政府系） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 研究社会经济指标在卫星图像和网络文本中的信息印记，开发多模态框架经五条管道预测家庭财富，贡献包括融合视觉与文本提升预测、发现部分表示对齐证据、发布大规模多模态数据集。

Comments ICSC 2026

DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression

深度交织-KV：用于长上下文键值缓存压缩的令牌自适应跨层残差分解

Anna Cordoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesus Olivera

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 研究长上下文语言模型键值缓存压缩问题，提出DepthWeave-KV方法，通过跨层残差分解、令牌条件深度路由及在线误差跟踪实现自适应压缩，在多个基准测试中降低内存使用并提升任务质量。

Comments 9 pages, 2 figures

CompactionRL: Reinforcement Learning with Context Compaction for Long-Horizon Agents

CompactionRL：面向长视界智能体的带上下文压缩强化学习

Yujiang Li, Zhenyu Hou, Yi Jing, Jie Tang, Yuxiao Dong

机构 * Tsinghua University（清华大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.LG

AI总结 针对长视界大语言模型智能体受上下文窗口限制的问题，提出结合上下文压缩的强化学习方法，联合优化任务执行与摘要生成，在智能体编码任务上取得显著性能提升。

Memory-Orchestrated Semantic System (MOSS): An Auditable Agentic Memory Architecture

内存编排语义系统（MOSS）：一种可审计的智能记忆架构

Serge Lacasse, Jérémie Hatier, Alex Baker

机构 * Faculté de musique, Université Laval, Québec, Canada（加拿大魁北克拉瓦尔大学音乐学院） ； Faculté des sciences et de génie, Université Laval, Québec, Canada（加拿大魁北克拉瓦尔大学理工学院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL

AI总结 研究针对AI智能体长期记忆的弱点，提出MOSS架构，通过在结构化关系数据库上驱动检索，具有模型、存储、API无关性，检索可审计且从语料库派生概念词汇，报告了在个人学者工作语料库上的长期部署。

Comments 22 pages, 2 figures

AGL-1: The Enterprise AI Governance Layer as a Control Plane for Trusted Enterprise Intelligence

AGL-1：作为可信企业智能控制平面的企业人工智能治理层

Roopam W. Sure

机构 * Independent Researcher（独立研究员） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI

AI总结 研究企业人工智能从实验走向运营面临的治理挑战，介绍AGL-1企业人工智能治理层这一参考模型，基于相关原则将治理问题从检索控制扩展到全执行路径治理，定义七个治理领域。

Comments 16 pages, 1 figure; independent technical report

A Hippocampus for Linear Attention: An Exact Memory for What the Recurrent State Forgets

线性注意力中的海马体：为循环状态遗忘的内容提供精确记忆

Wanyun Cui

机构 * Shanghai University of Finance and Economics（上海金融学院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 针对线性注意力模型因固定大小循环状态导致早期事实被覆盖、精确回忆退化的问题，提出海马体线性注意力（HOLA），通过添加有界精确KV缓存作为互补记忆系统，实现半参数化测试时记忆，在多项基准上取得显著提升。

Comments 12 pages

Set Diffusion: Interpolating Token Orderings Between Autoregression and Diffusion for Fast and Flexible Decoding

Set Diffusion: 在自回归与扩散之间插值令牌顺序以实现快速灵活的解码

Marianne Arriola, Volodymyr Kuleshov

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 提出Set Diffusion模型，通过将似然参数化为灵活位置和长度的令牌集，并设计集因果扩散架构，支持任意顺序解码和KV缓存更新，在数学推理、摘要和无条件生成上优于先前的扩散语言模型。

Comments ICML 2026. We provide the code at https://github.com/kuleshov-group/setdlms

TS-Haystack: A Multi-Task Retrieval Benchmark for Long-Context Time-Series Reasoning

TS-Haystack：一种用于长上下文时间序列推理的多任务检索基准

Nicolas Zumarraga, Thomas Kaar, Ning Wang, William Tennien, Alpay Hasanli, Max Rosenblattl, Fan Wu, Kevin Riehl, Maxwell A. Xu, Markus Kreft, Kevin O'Sullivan, Elgar Fleisch, Paul Schmiedmayer, Robert Jakob, Patrick Langer

机构 * Agentic Systems Lab, ETH Zurich（1 非常规系统实验室，苏黎世联邦理工学院） ； Stanford University（2 斯坦福大学） ； Traffic Engineering Group, Institute for Transport Planning and Systems, ETH Zurich（3 交通工程组，交通规划与系统研究所，苏黎世联邦理工学院） ； University of Illinois Urbana-Champaign（4 印第安纳大学厄巴纳-香槟分校） ； Google（5 谷歌） ； Centre for Digital Health Interventions, ETH Zurich（6 数字健康干预中心，苏黎世联邦理工学院） ； Centre for Digital Health Interventions, University of St. Gallen（7 数字健康干预中心，圣加尔登大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 本文提出TS-Haystack基准，评估长上下文时间序列推理能力，发现现有TSLMs存在长上下文退化问题，代理检索框架在9/10任务中表现优异。

Comments Workshop version of this paper published at ICLR TSALM 2026. Benchmark generation code and datasets: https://github.com/AI-X-Labs/TS-Haystack

Timesteps of Mamba Align with Human Reading Times

Mamba的时间步长与人类阅读时间对齐

Yuji Yamamoto, Shinnosuke Isono, Yoshinobu Kawahara, Sho Yokoi

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 研究发现状态空间语言模型Mamba的每词时间步长能显著预测人类阅读时间，即使控制GPT-2惊讶度等已知预测因子后仍显著，表明Mamba可作为研究人类实时语言处理的新工具。

CaveAgent: Transforming LLMs into Stateful Runtime Operators

CaveAgent：将LLM转变为具有状态的运行时操作符

Maohao Ran, Zhenglin Wan, Cooper Lin, Yanting Zhang, Hongyu Xin, Hongwei Fan, Yibo Xu, Beier Luo, Yaxin Zhou, Wangbo Zhao, Lijie Yang, Lang Feng, Fuchao Yang, Jingxuan Wu, Yiqiao Huang, Chendong Ma, Yusen Huang, Dailing Jiang, Jianbo Deng, Sirui Han, Yang You, Bo An, Yike Guo, Jun Song

机构 * Hong Kong Generative AI Research and Development Center (HKGAI)（香港生成式AI研究与开发中心（HKGAI）） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 CaveAgent通过引入双流架构，将LLM从文本生成器转变为运行时操作符，解决了长周期任务中上下文漂移问题，提升了多轮交互的稳定性和数据处理能力。

Comments ver.2

Erase-then-Delta Attention: Decoupling Erase and Write Addresses in Delta-Rule Linear Attention

先擦除后增量注意力：在Delta规则线性注意力中解耦擦除与写入地址

Xiao Li, Chengruidong Zhang, Hao Luo, Xi Lin, Zekun Wang, Zihan Qiu, Yunfei Mao, Langshi Chen, Man Yuan, Minmin Sun, Huiqiang Jiang, Siqi Zhang, Rui Men, Wei Hu, Gong Cheng, Bo Zheng, Dayiheng Liu, Jingren Zhou

机构 * Qwen Team（Qwen团队） ； Nanjing University（南京大学） ； Zhejiang University（浙江大学） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.CL

AI总结 提出Erase-then-Delta Attention (EDA)，通过解耦擦除和写入地址，在Delta规则基础上增加选择性擦除步骤，提升循环记忆模型的记忆管理能力，在2.5B密集和MoE 25B-A2.8B模型上取得最优性能。

Dynamic Symmetric Point Tracking: Tackling Non-ideal Reference in Analog In-memory Training

动态对称点跟踪：解决模拟内存训练中的非理想参考问题

Quan Xiao, Jindan Li, Zhaoxian Wu, Tayfun Gokmen, Tianyi Chen

机构 * Department of Electrical and Computer Engineering, Cornell University, New York, NY（康奈尔大学电气与计算机工程系） ； IBM T. J. Watson Research Center, Yorktown Heights, NY（IBM 沃森研究中心） ； Rensselaer Polytechnic Institute, Troy, NY（伦塞拉尔理工学院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 针对模拟内存计算中非理想器件导致的权重更新偏向对称点问题，提出动态对称点估计方法，在训练中跟踪对称点并保证收敛，结合数字信号处理技术增强性能。

Code Isn't Memory: A Structural Codebase Index Inside a Coding Agent

代码不是内存：编码代理中的结构化代码库索引

Ishaan Bhola, Adithyan Krishnan, Sravanth Kurmala, Mukunda NS

机构 * TransformerOptimus 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI

AI总结 通过消融实验和跨框架对比，研究在固定编码代理框架中增加结构化代码库索引对成本与解决率的影响，发现索引能显著提升定位和解决率且不增加成本。

Comments Code and data: https://github.com/TransformerOptimus/supercoder-eval

GEOPHYS: The Geometry of Physical Plausibility

GEOPHYS: 物理合理性的几何学

Christian Internò, Alexander Pondaven, Habon Issa, Fabio Pizzati, Francesco Pinto, Markus Olhofer, Ivan Laptev, Philip Torr, Eero P. Simoncelli, Barbara Hammer, David Klindt

机构 * Bielefeld University（比勒费尔德大学） ； University of Oxford（牛津大学） ； Cold Spring Harbor Laboratory（冷泉港实验室） ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） ； Independent（独立作者） ； Honda Research Institute EU（本田欧洲研究院） ； New York University（纽约大学） ； Flatiron Institute, Simons Foundation（西蒙斯基金会熨斗研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 提出GEOPHYS方法，利用冻结图像编码器的每帧嵌入的五个几何特征检测视频中的物理不合理性，在物理违反检测上达到SOTA，并作为验证器提升视频生成模型的物理一致性。

FinAcumen: Financial Multimodal Reasoning via Self-Evolving Experience Memory Harness

FinAcumen: 通过自演化经验记忆实现的金融多模态推理

Pianran Guo, Pengcheng Zhou, Yucheng Jian, Shuhua Chen, Zhonfliang Yang, Linna Zhou

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 提出FinAcumen框架，通过选择性经验记忆机制增强工具增强型多模态推理，在四个金融基准上持续提升冻结的8B视觉语言模型性能。

MemBuilder: Reinforcing LLMs for Long-Term Memory Construction via Attributed Dense Rewards

MemBuilder: 通过具有属性的密集奖励强化LLMs以进行长期记忆构建

Zhiyu Shen, Ziming Wu, Fuming Lai, Shaobing Lian, Yanghui Rao

机构 * School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院） ； Tencent Inc.（腾讯公司） 纠错

专题命中 长上下文与记忆 ：prompting(abstract)；分类 cs.CL

AI总结 MemBuilder通过具有属性的密集奖励强化LLMs，解决长期对话中保持一致性的挑战，提升多维记忆构建能力，实验表明其在长期对话基准测试中表现优异。

Comments 19 pages (9 main + 10 appendix), 7 figures, 3 tables

User as Engram: Internalizing Per-User Memory as Local Parametric Edits

用户作为印迹：将每用户记忆内化为局部参数编辑

Bojie Li

机构 * Pine AI 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 提出User as Engram方法，将用户事实存储为Engram模型的哈希键控记忆表中的局部编辑，推理技能共享一个适配器，实现高精度间接推理且内存占用极小。

Variable-Width Transformers

变宽Transformer

Zhaofeng Wu, Oliver Sieberling, Shawn Tan, Rameswar Panda, Yury Polyanskiy, Yoon Kim

机构 * MIT（麻省理工学院） ； MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL

AI总结 提出一种中间窄、两端宽的变宽Transformer架构，通过无参数残差缩放机制实现非均匀容量分配，在语言模型困惑度、FLOPs和KV缓存上优于均匀宽度基线。

EvolveNav: Proactive Preflection and Self-Evolving Memory for Zero-Shot Object Goal Navigation

EvolveNav: 用于零样本目标导航的主动预反思与自进化记忆

Qi Chai, Wenhao Shen, Nanjie Yao, Yue Xia, Kaiyong Zhao, Jie Ma, Guosheng Lin, Hao Wang

机构 * HKUST(GZ)（香港科技大学（广州）） ； Nanyang Technological University（南洋理工大学） ； Xi’an Jiaotong University（西安交通大学） ； XGRIDS（深圳格物智联） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI

AI总结 提出自进化零样本目标导航框架，通过从历史轨迹提取规则并基于置信上界检索，结合记忆引导预反思模块，减少无效探索，成功率提升10.1%。

AnchorEdit: Maintaining Temporal Consistency in Multi-turn Image Editing via Causal Memory

AnchorEdit: 通过因果记忆在多轮图像编辑中保持时间一致性

Hang Xu, Xiaoxiao Ma, Guohui Zhang, Yu Hu, Siming Fu, Jie Huang, Lin Song, Haoyang Huang, Nan Duan, Feng Zhao

机构 * University of Science and Technology of China（中国科学技术大学） ； JD Explore Academy（京东探索研究院） 纠错

专题命中 长上下文与记忆 ：pretraining(abstract)；分类 cs.AI

AI总结 提出首个自回归扩散框架AnchorEdit，通过因果记忆机制和自展开策略解决多轮编辑中的身份漂移和误差累积问题，在10轮以上交互中保持高保真度。

Comments Code: https://github.com/xuhang07/AnchorEdit

MemVenom: Triggered Poisoning of Multimodal Memories in Web Agents

MemVenom：网络代理中多模态记忆的触发式投毒

Yv Zhang, Hao Sun, Hao Fang, Kuofeng Gao, Fan Mo, Bin Chen, Shu-Tao Xia, Yaowei Wang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Peng Cheng Laboratory（鹏城实验室） ； Tianjin University（天津大学） ； Shenzhen International Graduate School, Tsinghua University（深圳国际研究生学院，清华大学） ； Huawei Technologies Ltd.（华为技术有限公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 提出MemVenom框架，针对网络代理的外部记忆系统，通过触发条件检索和攻击诱导，实现黑盒多模态记忆投毒，达到高成功率且不影响良性性能。

Comments Preprint. 27 pages, 6 figures, 6 tables

Still: Amortized KV Cache Compaction in a Single Forward Pass

Still: 单次前向传递中的摊销KV缓存压缩

Charles O'Neill, Alex Sandomirsky, Harry Partridge, Mudith Jayasekara, Max Kirkby

机构 * Baseten 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 提出Still方法，通过单次前向传递的轻量级Perceiver层实现KV缓存压缩，在8×至200×压缩比和8k至128k上下文长度下兼顾速度与质量，长上下文任务超越最强基线8-22分。

M$^3$Exam: Benchmarking Multimodal Memory for Realistic User-Agent Interactions

M$^3$Exam: 面向真实用户-智能体交互的多模态记忆基准

Zhengjun Huang, Wenxuan Liu, Zhoujin Tian, Wei Chen, Junle Chen, Yuqian Wu, Fangyuan Zhang, Qintian Guo, Xiaofang Zhou

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Beijing University of Chemical Technology（北京化工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Beijing Institute of Technology (Zhuhai)（北京理工大学（珠海）） ； Tencent Hy（腾讯（深圳）） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 长上下文与记忆 ：language agent(abstract)；分类 cs.CL

AI总结 提出M$^3$Exam基准，用于评估多模态大语言模型在真实用户-智能体交互中的跨模态推理和隐式信息推断能力，并设计M$^3$Proctor方法通过按需处理视觉源提升准确率13%，同时降低索引构建时间和检索token超70%。

FIDES: Faithful Inference via Deep Evidence Signals for Retrieval-Memory Conflict in RAG

FIDES: 通过深层证据信号实现RAG中检索-记忆冲突的忠实推理

Zhe Yu, Wenpeng Xing, Tiancheng Zhao, Mohan Li, Changting Lin, Meng Han

机构 * Binjiang Institute of Zhejiang University（浙江大学滨江研究院） ； Zhejiang University（浙江大学） ； Guangzhou University（广州大学） ； GenTel.io 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 针对检索增强生成中检索证据与参数记忆冲突导致模型忽略上下文的问题，提出无训练解码器FIDES，通过融合输出表面、隐藏表示和预测轨迹三种内部信号，在token级别动态调整干预强度，显著提升上下文忠实度。

InfoMem: Training Long-Context Memory Agents with Answer-Conditioned Information Gain

InfoMem: 基于答案条件信息增益训练长上下文记忆智能体

Tiancheng Han, Yong Li, Wuzhou Yu, Qiaosheng Zhang, Wenqi Shao

机构 * Tongji University（同济大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；分类 cs.AI

AI总结 提出InfoMem奖励机制，通过评估最终记忆对真实答案的每token对数似然增益，训练分块记忆智能体以提升长上下文任务性能。

Comments 17 pages, 7 figrues,

MomentKV: Closing the Directional Gap in KV Cache Eviction for Long-Context Inference

MomentKV：消除长上下文推理中KV缓存驱逐的方向差距

Yu Li, Binxu Li, Tian Lan

机构 * George Washington University（乔治·华盛顿大学） ； Princeton University（普林斯顿大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 针对长上下文推理中KV缓存驱逐导致输出退化的问题，提出MomentKV方法，通过维护驱逐令牌集的矩统计量（计数、键均值、值均值和值-键协方差）来识别与累积摘要对齐的令牌，并在推理时提供驱逐注意力输出的一阶近似，实现选择性驱逐与精确校正的相互增强。

Joint Agent Memory and Exploration Learning via Novelty Signals

通过新颖性信号实现联合智能体记忆与探索学习

Shizuo Tian, Xiaohong Weng, Rui Kong, Yuxuan Chen, Guohong Liu, Yuebing Song, Jiacheng Liu, Yuchen Li, Dawei Yin, Ting Cao, Yunxin Liu, Yuanchun Li

机构 * Tsinghua University（清华大学） ； Sun Yat-sen University（中山大学） ； Baidu Inc.（百度公司） ； Tongji University（同济大学） ； Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 提出JAMEL框架，利用新颖性信号联合训练智能体记忆与探索策略，在开放环境中实现高效探索并泛化到未见环境。

Beyond Visual Memory: Mechanistic Diagnostics of Latent Visual Reasoning

超越视觉记忆：潜在视觉推理的机制诊断

Garvin Guo, Yu Chen, Xiang Wang, Shuai Li, Xinpei Zhao, Huaxing Liu, Shuai Dong

机构 * Amap, Alibaba Group（阿里集团亚马通） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.AI

AI总结 通过分解潜在令牌为三个可测试组件，发现边界标记和格式而非潜在槽贡献了主要性能提升，揭示了潜在视觉推理的真正机制。