语言大模型 / LLM

Behavioral Determinants of Deployed AI Agents in Social Networks: A Multi-Factor Study of Personality, Model, and Guardrail Specification

部署在社交网络中的AI代理行为决定因素：人格、模型和防护机制规范的多因素研究

Sarah Wilson, Diem Linh Dang, Usman Ali Moazzam, Shan Ye, Gail Kaiser

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文通过多因素实验研究，探讨AI代理在社交网络中的行为决定因素，发现人格设定对行为影响最大，模型和规则对语言风格和话题广度有显著影响。

Training Transformers for KV Cache Compressibility

训练用于KV缓存压缩性的Transformer

Yoav Gelberg, Yam Eitan, Michael Bronstein, Yarin Gal, Haggai Maron

机构 * University of Oxford（牛津大学） ； Technion – Israel Institute of Technology（技术ion理工学院） ； AITHYRA ； NVIDIA 纠错

专题命中 长上下文与记忆 ：language model(abstract)；pretraining(abstract)；分类 cs.LG

AI总结 本文提出KV-CAT训练方法，通过训练时的KV稀疏化策略，引导模型学习可压缩的表示，提升下游压缩方法的质量-预算权衡。

Comments 32 pages, 4 figures

Project-Level C-to-Rust Translation via Pointer Knowledge Graphs

基于指针知识图谱的项目级C到Rust翻译

Zhiqiang Yuan, Wenjun Mao, Zhuo Chen, Xiyue Shang, Chong Wang, Yiling Lou, Xin Peng

机构 * Fudan University（复旦大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出基于指针知识图谱的项目级C到Rust翻译方法PtrTrans，通过增强代码依赖图的指针语义，提升生成Rust代码的安全性和正确性，实验表明其在安全性与功能性上均优于现有方法。

Comments Accepted by FSE'26

Self-Attention as a Covariance Readout: A Unified View of In-Context Learning and Repetition

自注意力作为协方差读出：对上下文学习和重复的统一视角

Haoren Xu, Guanhua Fang

机构 * Fudan University（复旦大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文探讨了大语言模型中上下文学习和重复生成现象的统一原理，通过自注意力机制推导出协方差读出机制，揭示了其在线性回归和生成过程中的作用。

Remember to Forget: Gated Adaptive Positional Encoding

记住遗忘：门控自适应位置编码

Riccardo Ali, Alessio Borgi, Christopher Irwin, Mario Severino, Pietro Liò

机构 * Department of Computer Science and Technology, University of Cambridge（计算机科学与技术系，剑桥大学） ； Department of Computer, Control and Management Engineering, Sapienza University（计算机、控制与管理工程系，萨皮恩扎大学） ； Department of Information Engineering, University of Padova（信息工程系，帕多瓦大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 GAPE通过引入内容感知偏差优化注意力逻辑，在保持旋转几何的前提下，分离距离抑制与token重要性，提升长上下文鲁棒性。

SAR-RAG: ATR Visual Question Answering by Semantic Search, Retrieval, and MLLM Generation

SAR-RAG：通过语义搜索、检索和MLLM生成实现目标识别的视觉问答

David F. Ramirez, Tim Overman, Kristen Jaskie, Joe Marvin, Andreas Spanias

机构 * SenSIP Center, School of ECEE, Arizona State University（SenSIP中心，电子与计算机工程学院，亚利桑那州立大学） ； Prime Solutions Group Inc（Prime Solutions Group公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出SAR-RAG方法，结合多模态大语言模型和语义嵌入向量数据库，通过语义搜索和检索提升SAR图像目标识别的准确性，通过分类和回归指标验证效果。

Comments Accepted to 2026 SPIE Defense + Security, Automatic Target Recognition XXXVI

Positional LSH: Binary Block Matrix Approximation for Attention with Linear Biases

位置性LSH：用于带有线性偏置的注意机制的二进制块矩阵近似

Daniel Wolfson, Tal Wagner

机构 * Blavatnik School of Computer Science and AI（Blavatnik计算机科学与人工智能学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了通过局部敏感哈希（LSH）视角下的带有位置偏置的注意机制，证明了ALiBi偏置矩阵是连续块对角二进制掩码的期望，并展示了其在高概率下对块大小的谱范数和最大范数近似保证。

Bian Que: An Agentic Framework with Flexible Skill Arrangement for Online System Operations

Bian Que: 一个具有灵活技能安排的代理框架，用于在线系统运维

Bochao Liu, Zhipeng Qian, Yang Zhao, Xinyuan Jiang, Zihan Liang, Yufei Ma, Junpeng Zhuang, Ben Chen, Shuo Yang, Hongen Wan, Yao Wu, Chenyi Lei, Xiao Liang

机构 * Kuaishou Technology（快手科技） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 Bian Que通过统一运维范式和灵活技能安排，提高了在线系统运维效率，减少了警报量，提高了根因分析准确率，缩短了故障解决时间。

Comments HomePage: https://benchen4395.github.io

DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding

DocSeeker：基于证据 grounding 的结构化视觉推理用于长文档理解

Hao Yan, Yuliang Liu, Xingchen Liu, Yuyi Zhang, Minghui Liao, Jihao Wu, Wei Chen, Xiang Bai

机构 * Huazhong University of Science and Technology（华中科技大学） ； Huawei Inc.（华为公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出DocSeeker，通过结构化分析、定位和推理流程解决长文档理解中的信号噪声比低和监督不足问题，实现对超长文档的鲁棒泛化。

Comments CVPR 2026 Highlight

ReST-KV: Robust KV Cache Eviction with Layer-wise Output Reconstruction and Spatial-Temporal Smoothing

ReST-KV: 基于分层输出重建与时空平滑的鲁棒KV缓存淘汰

Yongqi An, Chang Lu, Kuan Zhu, Tao Yu, Chaoyang Zhao, Hong Wu, Ming Tang, Jinqiao Wang

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（基础模型研究中心，自动化研究所，中国科学院） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（人工智能学院，中国科学院大学） ； University of Electronic Science and Technology of China（电子科技大学） ； Wuhan AI Research（武汉人工智能研究） ； Objecteye Inc.（Objecteye公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出ReST-KV方法，通过分层输出重建和时空平滑优化KV缓存淘汰，提升长序列生成效率，实测在多个基准测试中表现优异，同时显著降低解码延迟。

Comments Accepted at ICLR 2026. Project Page: https://github.com/an-yongqi/rest-kv

An Empirical Study of Multi-Agent Collaboration for Automated Research

多智能体协作在自动化研究中的实证研究

Yang Shen, Zhenyi Yi, Ziyi Zhao, Lijun Sun, Dongyang Li, Chin-Teng Lin, Yuhui Shi

机构 * University of Technology Sydney（悉尼技术大学） ； Southern University of Science and Technology（南方科技大学） ； Shenzhen Technology University（深圳技术大学） ； Tongji University（同济大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文通过实证研究比较了不同多智能体结构在自动化机器学习优化中的效果，发现子代理架构在时间受限下更稳定高效，而智能体团队架构在计算预算充足时能实现深度理论对齐。

Long Context Pre-Training with Lighthouse Attention

长上下文预训练与Lighthouse注意力

Bowen Peng, Subho Ghosh, Jeffrey Quesnelle

机构 * Nous Research（Nous研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出Lighthouse注意力机制，通过分层选择策略实现高效长序列训练，减少计算复杂度，提升并行效率，并在训练后期恢复完整注意力模型，实验证明其在训练速度和最终损失上的优势。

Comments 18 pages, 4 figures, 4 tables

From Agent Loops to Deterministic Graphs: Execution Lineage for Reproducible AI-Native Work

从代理循环到确定性图：可重复AI原生工作的执行轨迹

Josh Rosen, Seth Rosen

机构 * ThruWire, Inc.（ThruWire公司） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出执行轨迹模型，通过有向无环图表示AI生成工作，确保在变化中保持稳定性。对比实验显示，DAG在保持最终结果和中间状态一致性方面优于循环更新方法。

Comments 16 pages, 1 figure

Don't Lose Focus: Activation Steering via Key-Orthogonal Projections

不要失去焦点：通过键正交投影进行激活引导

Haoyan Luo, Mateo Espinosa Zarlenga, Mateja Jamnik

机构 * University of Cambridge（剑桥大学） ； University of Oxford（牛津大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 本文提出SKOP方法，通过约束有害的注意力重路由，减少激活引导对推理和检索性能的负面影响，实现最佳的引导-实用性平衡。

Memory as Action: Autonomous Context Curation for Long-Horizon Agentic Tasks

记忆作为行动：面向长周期智能任务的自主上下文编纂

Yuxiang Zhang, Jiangming Shu, Ye Ma, Xueyuan Lin, Shangxi Wu, Jitao Sang

机构 * School of Computer Science and Technology, Beijing Jiaotong University（北京交通大学计算机科学与技术学院） ； Hithink Research（慧思科技） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Huawei Noah’s Ark Lab（华为诺亚实验室） ； Peng Cheng Lab（鹏城实验室） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出MemAct框架，将工作记忆管理作为可学习的策略动作，通过端到端强化学习优化信息保留与任务表现，实验显示其在保持准确性的同时显著减少上下文长度。

What Happens Inside Agent Memory? Circuit Analysis from Emergence to Diagnosis

代理记忆内部发生了什么？从涌现到诊断的电路分析

Xutao Mao, Jinman Zhao, Gerald Penn, Cong Wang

机构 * City University of Hong Kong（香港城市大学） ； University of Toronto（多伦多大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 研究揭示了代理记忆中控制与内容电路的因果关系及共享枢纽的机制，开发出76.2%准确率的无监督诊断工具，优于监督基线13分。

On Stable Long-Form Generation: Benchmarking and Mitigating Length Volatility

关于稳定长形式生成：基准测试与缓解长度波动

Zhitao He, Haolin Yang, Rui Min, Zeyu Qin, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港理工大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出VOLTBench基准测试，通过分析注意力轨迹发现长形式生成中的波动原因，并提出GLoBo方法提升生成稳定性与准确性，实验验证了主流模型的长形式输出不稳定问题。

OCR-Memory: Optical Context Retrieval for Long-Horizon Agent Memory

OCR-Memory：光学上下文检索用于长周期智能体记忆

Jinze Li, Yang Zhang, Xin Yang, Jiayi Qu, Jinfeng Xu, Shuo Yang, Junhua Ding, Edith Cheuk-Han Ngai

机构 * The University of Hong Kong（香港大学） ； University of North Texas（北得克萨斯大学） ； University of Tsukuba（筑波大学） ； Yonsei University（延世大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 OCR-Memory通过视觉模态高密度表示智能体经验，实现长周期记忆存储与检索，减少token消耗并提升证据恢复准确性。

Comments Accepted to ACL 2026 (Main Conference)

AgentWard: A Lifecycle Security Architecture for Autonomous AI Agents

AgentWard: 为自主AI代理设计的生命周期安全架构

Yixiang Zhang, Xinhao Deng, Jiaqing Wu, Yue Xiao, Ke Xu, Qi Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出AgentWard架构，通过跨层协调实现对自主AI代理五个阶段的安全防护，展示了一个原型实现，为运行时安全控制提供了具体蓝图。

Comments 7 pages, 1 figure;

RefEvo: Agentic Design with Co-Evolutionary Verification for Agile Reference Model Generation

RefEvo: 基于共进化验证的代理设计用于敏捷参考模型生成

Yifan Zhang, Jianmin Ye, Jiahao Yang, Xi Wang

机构 * School of Integrated Circuits, Southeast University, China（东南大学集成电路学院，中国） ； National Center of Technology Innovation for EDA, China（EDA技术创新国家中心，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 RefEvo通过动态设计规划、共进化验证机制和规格锚定策略，提升SoC设计参考模型的敏捷性和可靠性，实现95%的通过率和71.04%的上下文优化。

Comments 6 pages, 7 figures, accepted by ISEDA2026

Gated Tree Cross-Attention for Checkpoint-Compatible Syntax Injection in Decoder-Only LLMs

基于门控树交叉注意力的检查点兼容语法注入解码器-only LLMs

Xinyu Gao, Shaonan Wang, Nai Ding

机构 * College of Biomedical Engineering & Instrument Science, Zhejiang University（浙江大学生物医学工程与仪器科学学院） ； Department of Language Science and Technology, The Hong Kong Polytechnic University（香港理工大学语言科学与技术系） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出一种检查点兼容的门控树交叉注意力机制，用于在解码器-only LLMs中注入语法结构，提升语法鲁棒性而不影响问答和常识推理性能。

Comments ACL 2026 MainConference

Memanto: Typed Semantic Memory with Information-Theoretic Retrieval for Long-Horizon Agents

Memanto：基于信息论检索的类型语义记忆用于长周期智能体

Seyed Moein Abtahi, Rasa Rahnema, Hetkumar Patel, Neel Patel, Majid Fekri, Tara Khani

机构 * Moorcheh 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Memanto通过信息论检索引擎实现高效持久记忆，无需复杂知识图谱，提升长周期智能体性能，实现89.8%和87.1%的高准确率。

Comments 13 Pages, 10 Tables, 8 Figures

The Root Theorem of Context Engineering

上下文工程的根定理

Borja Odriozola Schick

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出上下文工程的根定理，通过形式化约束推导出信号-token比最大化原则，揭示了连续对话系统中信息质量退化与上下文窗口限制的本质规律。

Comments 17 pages, 2 figures

FSFM: A Biologically-Inspired Framework for Selective Forgetting of Agent Memory

FSFM：一种生物启发的智能体记忆选择性遗忘框架

Yingjie Gu, Wenjian Xiong, Liqiang Wang, Pengcheng Ren, Chao Li, Xiaojing Zhang, Yijuan Guo, Qi Sun, Jingyao Ma, Shidang Shi

机构 * China Mobile Digital Intelligence Business Unit（中国移动数字智能业务部） ； China Mobile Jiutian Company（中国移动蓟田公司） ； China Mobile Jiutian Research Institute（中国移动蓟田研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出FSFM框架，通过生物启发机制实现智能体记忆的选择性遗忘，提升效率、质量和安全性，经实验验证在访问效率、内容质量和安全性能上均有显著提升。

Comments 28 pages, 5 figures, 3 tables

Stateless Decision Memory for Enterprise AI Agents

无状态决策记忆用于企业AI代理

Vasundra Srinivasan

机构 * Vasundra Srinivasan 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本文提出无状态决策记忆(DPM)，在企业监管领域中通过无状态设计提升决策精度和可审计性，同时提高效率。

Comments 16 pages, 4 figures, 4 tables. Companion paper to "Four-Axis Decision Alignment for Long-Horizon Enterprise AI Agents" (arXiv:TBD). Code and reproducibility artifacts at https://github.com/vasundras/stateless-decision-memory-enterprise-ai-agents

Stream-CQSA: Avoiding Out-of-Memory in Attention Computation via Flexible Workload Scheduling

Stream-CQSA：通过灵活的工作负载调度避免注意力计算中的内存不足

Yiming Bian, Joshua M. Akey

机构 * Lewis-Sigler Institute of Integrative Genomics（刘易斯-西格勒整合基因组学研究所） ； Princeton University（普林斯顿大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出Stream-CQSA框架，通过分解注意力计算为可调度的子任务，实现内存适应性调度，使单GPU可处理十亿token序列的精确注意力计算。

MiroThinker: Pushing the Performance Boundaries of Open-Source Research Agents via Model, Context, and Interactive Scaling

MiroThinker：通过模型、上下文和交互扩展推动开源研究代理的性能边界

MiroMind Team, Song Bai, Lidong Bing, Carson Chen, Guanzheng Chen, Yuntao Chen, Zhe Chen, Ziyi Chen, Jifeng Dai, Xuan Dong, Wenhan Dou, Yue Deng, Yunjie Fu, Junqi Ge, Chenxia Han, Tammy Huang, Zhenhang Huang, Jerry Jiao, Shilei Jiang, Tianyu Jiao, Xiaoqi Jian, Lei Lei, Ruilin Li, Gen Luo, Tiantong Li, Xiang Lin, Ziyuan Liu, Zhiqi Li, Jie Ni, Qiang Ren, Pax Sun, Shiqian Su, Chenxin Tao, Bin Wang, Wenhai Wang, Haonan Wang, James Wang, Jin Wang, Jojo Wang, Letian Wang, Shizun Wang, Weizhi Wang, Zixuan Wang, Jinfan Xu, Sen Xing, Chenyu Yang, Hai Ye, Jiaheng Yu, Yue Yu, Muyan Zhong, Tianchen Zhao, Xizhou Zhu, Yanpeng Zhou, Yifan Zhang, Zhi Zhu

机构 * MiroMind Team（MiroMind团队） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 MiroThinker通过模型、上下文和交互扩展提升开源研究代理性能，实现更深入的交互和更复杂的任务处理，其72B版本在多个基准测试中表现优异，接近商业模型。

Comments Technical Report

StepFly: Agentic Troubleshooting Guide Automation for Incident Diagnosis

StepFly: 用于事件诊断的代理自动化故障排查指南

Jiayi Mao, Liqun Li, Yanjie Gao, Zegang Peng, Shilin He, Chaoyun Zhang, Si Qin, Samia Khalid, Qingwei Lin, Saravan Rajmohan, Sitaram Lanka, Dongmei Zhang

机构 * Tsinghua University（清华大学） ； Microsoft（微软） ； Microsoft Research（微软研究院） ； Renmin University of China（中国人民大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 StepFly通过三阶段框架实现故障排查指南自动化，提升TSG质量并支持并行执行，实测在GPT-4.1上达到94%的成功率。

ASTRA: An Automated Framework for Strategy Discovery, Retrieval, and Evolution for Jailbreaking LLMs

ASTRA：一种用于对抗大语言模型 jailbreak 的自动化框架

Xu Liu, Yan Chen, Kan Ling, Yichi Zhu, Hengrun Zhang, Guisheng Fan, Huiqun Yu

机构 * School of Information Science and Engineering, East China University of Science and Technology, Shanghai, China（东华大学信息科学与工程学院，上海，中国） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 ASTRA 提出了一种自动化框架，通过闭环机制自动发现、检索和演化攻击策略，提升攻击策略的多样性和适应性。

Comments Acccepted by ACL 2026, 20 pages, 7 figures, 13 tables

Video Panels for Long Video Understanding

用于长视频理解的视频面板

Lars Doorenbos, Federico Spurio, Juergen Gall

机构 * University of Bonn（波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习与人工智能研究所） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本文提出一种无需训练的视觉提示策略，通过将多帧组合成图像以换取时间分辨率，提升了长视频理解模型的性能，实验表明在多个基准上效果显著。

Comments CVPR 2026