语言大模型 / LLM

SIGMA: Selective-Interleaved Generation with Multi-Attribute Tokens

SIGMA: 带多属性标记的选择性交错生成

Xiaoyan Zhang, Zechen Bai, Haofan Wang, Yiren Song

机构 * Creatly AI ； University of Michigan（密歇根大学） ； Lovart AI ； National University of Singapore（新加坡国立大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 SIGMA通过引入多属性标记实现多条件生成，提升可控性、一致性和视觉质量，优于Bagel在组合任务中的表现。

Retrieval-GRPO: A Multi-Objective Reinforcement Learning Framework for Dense Retrieval in Taobao Search

检索-GRPO：面向淘宝搜索密集检索的多目标强化学习框架

Xingxian Liu, Dongshuai Li, Jiahui Wan, Tao Wen, Gui Ling, Yuliang Yan, Fuyu Lv, Dan Ou, Haihong Tang, Bo Zheng

专题命中 后训练与偏好优化 ：LLM(abstract)

AI总结 Retrieval-GRPO通过多目标强化学习框架解决密集检索中的硬负样本依赖和跷跷板效应问题，提升复杂长尾查询的语义泛化能力。

When Does Context Help? Error Dynamics of Contextual Information in Large Language Models

何时上下文有助于？大型语言模型中上下文信息的误差动态

Dingzirui Wang, Xuanliang Zhang, Keyan Xu, Qingfu Zhu, Wanxiang Che, Yang Deng

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 本文提出统一理论框架，分析上下文信息对Transformer模型误差动态的影响，通过几何条件和范数约束揭示上下文校正的必要条件，并通过实验验证提升模型性能。

YaRN: Efficient Context Window Extension of Large Language Models

YaRN: 大语言模型高效上下文窗口扩展

Bowen Peng, Jeffrey Quesnelle, Honglu Fan, Enrico Shippole

机构 * EleutherAI ； University of Geneva（日内瓦大学） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.CL、cs.AI、cs.LG

AI总结 YaRN通过高效方法扩展大语言模型的上下文窗口，实现更长上下文的利用与扩展，超越现有最先进水平。

AMEM4Rec: Leveraging Cross-User Similarity for Memory Evolution in Agentic LLM Recommenders

AMEM4Rec: 利用跨用户相似性促进记忆演化以实现智能大语言模型推荐系统

Minh-Duc Nguyen, Hai-Dang Kieu, Dung D. Le

机构 * Center for AI Research, VinUniversity（越南 Vin 大学人工智能研究中心） ； College of Engineering and Computer Science, VinUniversity（越南 Vin 大学工程与计算机科学学院） ； Computer Science, VinUniversity（越南 Vin 大学计算机科学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 AMEM4Rec通过跨用户记忆演化学习协作信号，提升智能大语言模型推荐系统的性能。

Coarse-to-Fine Grounded Memory for LLM Agent Planning

粗到细的 grounded memory 用于 LLM agent 计划

Wei Yang, Jinwei Xiao, Hongming Zhang, Qingyang Zhang, Yanna Wang, Bo Xu

机构 * National Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institution of Automation, Chinese Academy of Sciences（认知与决策智能复杂系统国家重点实验室，自动化研究所，中国科学院） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出 Coarse-to-Fine Grounded Memory，通过 LLM 实现粗到细的记忆 grounding，以提升代理在复杂规划任务中的灵活性和适应性。

Comments Accepted to EMNLP 2025 Main Conference;27 pages,15 figures

LOCA-bench: Benchmarking Language Agents Under Controllable and Extreme Context Growth

LOCA-bench: 评估在可控和极端上下文增长下的语言代理

Weihao Zeng, Yuzhen Huang, Junxian He

专题命中 长上下文与记忆 ：language agent(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 LOCA-bench通过可控和极端上下文增长评估语言代理的能力，提供长上下文代理的基准测试平台。

BudgetMem: Learning Selective Memory Policies for Cost-Efficient Long-Context Processing in Language Models

BudgetMem: 为语言模型中的低成本长上下文处理学习选择性记忆策略

Chandra Vamsi Krishna Alla, Harish Naidu Gaddam, Manohar Kommi

机构 * University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

AI总结 BudgetMem通过学习选择性记忆策略，在语言模型中实现低成本长上下文处理，相比基线RAG节省72.4%内存且F1分数仅下降1.0%。

Comments 11 pages, 3 figures, 5 tables. Evaluated on 700 QA pairs across multiple document lengths

AgentSys: Secure and Dynamic LLM Agents Through Explicit Hierarchical Memory Management

AgentSys: 通过显式分层内存管理实现安全且动态的LLM代理

Ruoyao Wen, Hao Li, Chaowei Xiao, Ning Zhang

机构 * Washington University in St. Louis（圣路易斯华盛顿大学） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；foundation model(abstract)；分类 cs.AI

AI总结 AgentSys通过显式分层内存管理有效防御间接提示注入攻击，显著降低攻击成功率并提升LLM代理的安全性和动态性。

Comments 21 pages, 4 figures

Stateless Yet Not Forgetful: Implicit Memory as a Hidden Channel in LLMs

无状态却非遗忘：隐式记忆作为LLM中的隐藏通道

Ahmed Salem, Andrew Paverd, Sahar Abdelnabi

机构 * Microsoft Security Response Center (MSRC)（微软安全响应中心） ； ELLIS Institute Tübingen and MPI for Intelligent Systems（图宾根ELLIS研究所和智能系统研究所） ； Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

AI总结 研究提出隐式记忆机制，使LLM在无显式存储的情况下通过输出编码信息实现跨交互状态传递，展示其在时间炸弹等安全问题中的应用及影响。

Comments Accepted at IEEE SaTML 2026

MemPot: Defending Against Memory Extraction Attack with Optimized Honeypots

MemPot：通过优化的陷阱来防御内存提取攻击

Yuhao Wang, Shengfang Zhai, Guanghao Jin, Yinpeng Dong, Linyi Yang, Jiaheng Zhang

机构 * National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； Southern University of Science and technology（南方科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 MemPot通过优化陷阱文档和理论验证，有效防御内存提取攻击，提升检测性能与效率。

SkillRL: Evolving Agents via Recursive Skill-Augmented Reinforcement Learning

SkillRL: 通过递归技能增强强化学习进化智能体

Peng Xia, Jianwen Chen, Hanyang Wang, Jiaqi Liu, Kaide Zeng, Yu Wang, Siwei Han, Yiyang Zhou, Xujiang Zhao, Haifeng Chen, Zeyu Zheng, Cihang Xie, Huaxiu Yao

机构 * University of Chicago（芝加哥大学） ； University of California San Diego（加州大学圣地亚哥分校） ； NEC Labs America（NEC美国实验室） ； University of California Berkeley（加州大学伯克利分校） ； University of California Santa Cruz（加州大学圣克鲁兹分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 SkillRL通过递归技能增强强化学习，有效提升智能体在复杂任务中的表现与泛化能力。

Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning

通过端到端强化学习实现压缩内存中的动态长上下文推理

Zhuoen Chen, Dongfang Li, Meishan Zhang, Baotian Hu, Min Zhang

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出了一种基于端到端强化学习的框架，通过分块压缩和选择性记忆回溯实现高效长上下文推理，提升了多跳推理任务的准确性和效率。

Comments 26 pages, 7 figures. Code and models will be released

From $O(mn)$ to $O(r^2)$: Two-Sided Low-Rank Communication for Adam in Distributed Training with Memory Efficiency

从O(mn)到O(r²)：为分布式训练中的Adam引入双侧低秩通信以提高内存效率

Sizhe Dang, Jiaqi Shao, Xiaodong Zheng, Guang Dai, Yan Song, Haishan Ye

机构 * Xi’an Jiaotong University（西安交通大学） ； SGIT AI Lab（SGIT人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 TSR-Adam通过双侧低秩通信将Adam优化器的通信开销从O(mn)降至O(r²)，在保持低维核心状态的同时减少通信量，提升分布式训练效率。

Agent-Fence: Mapping Security Vulnerabilities Across Deep Research Agents

Agent-Fence: 在深度研究代理中映射安全漏洞

Sai Puppala, Ismail Hossain, Md Jahangir Alam, Yoonpyo Lee, Jay Yoo, Tanzim Ahad, Syed Bahauddin Alam, Sajedul Talukder

机构 * Computer Science Department, Southern Illinois University（索尔坦大学计算机科学系） ； Computer Science Department, University of Texas（德克萨斯大学计算机科学系） ； Hanyang University（翰阳大学） ； The Grainger College of Engineering, Nuclear, Plasma & Radiological Engineering, University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校格雷格尔工程学院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 Agent-Fence通过定义14种信任边界攻击类别，评估深度代理的安全性，发现高风险类别如Denial-of-Wallet和Authorization Confusion，揭示代理在持久交互中的安全漏洞。

MemAdapter: Fast Alignment across Agent Memory Paradigms via Generative Subgraph Retrieval

MemAdapter：通过生成子图检索实现跨代理记忆范式的快速对齐

Xin Zhang, Kailai Yang, Chenyue Li, Hao Li, Qiyu Wei, Jun'ichi Tsujii, Sophia Ananiadou

机构 * The University of Manchester（曼彻斯特大学） ； Stanford University（斯坦福大学） ； Imperial College London（伦敦帝国理工学院） ； National Institute of Advanced Industrial Science（国家先进工业科学与技术研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 MemAdapter通过生成子图检索实现跨代理记忆范式的快速对齐，提升记忆检索灵活性并降低对齐成本，实验显示其性能优于现有系统。

aiXcoder-7B-v2: Training LLMs to Fully Utilize the Long Context in Repository-level Code Completion

aiXcoder-7B-v2: 训练 LLMs 完全利用仓库级代码补全中的长上下文

Jia Li, Hao Zhu, Huanyu Liu, Xianjie Shi, He Zong, Yihong Dong, Kechi Zhang, Siyuan Jiang, Zhi Jin, Ge Li

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 aiXcoder-7B-v2通过COLA方法提升仓库级代码补全的长上下文利用能力

Comments Camera-ready version for ASE2025

IGMiRAG: Intuition-Guided Retrieval-Augmented Generation with Adaptive Mining of In-Depth Memory

IGMiRAG: 基于直觉引导的检索增强生成与深度记忆适应性挖掘

Xingliang Hou, Yuyan Liu, Qi Sun, haoxiu wang, Hao Hu, Shaoyi Du, Zhiqiang Tian

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)

AI总结 IGMiRAG通过直觉引导的检索增强生成框架，结合超图和演绎路径，提升多粒度知识对齐和深度记忆挖掘，实现更高效有效的生成性能。

Comments 29 pages, Information Retrieval

FLAME: Flow Enhanced Legendre Memory Models for General Time Series Forecasting

FLAME：流增强的Legendre记忆模型用于通用时间序列预测

Xingjian Wu, Hanyin Cheng, Xiangfei Qiu, Zhengyu Li, Jilin Hu, Chenjuan Guo, Bin Yang

机构 * School of Data Science and Engineering, East China Normal University, Shanghai, China（数据科学与工程学院，东华大学，上海，中国） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.LG

AI总结 FLAME通过Legendre记忆和归一化流预测头，实现高效且鲁棒的时间序列预测，展现卓越的零样本性能。

Toward Inherently Robust VLMs Against Visual Perception Attacks

朝向对抗视觉感知攻击的固有鲁棒性VLMs

Pedram MohajerAnsari, Amir Salarpour, Michael Kühr, Siyu Huang, Mohammad Hamad, Sebastian Steinhorst, Habeeb Olufowobi, Bing Li, Mert D. Pesé

机构 * Clemson University（克莱姆森大学） ； Technical Universität München（慕尼黑技术大学） ； University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.LG

AI总结 本文提出V2LMs，通过固有鲁棒性提升自动驾驶车辆感知对视觉攻击的抗性，实验显示其在对抗攻击下表现优于传统DNNs。

Comments Accepted to the 2026 IEEE Intelligent Vehicles Symposium (IV 2026)

Learning to Continually Learn via Meta-learning Agentic Memory Designs

通过元学习代理记忆设计实现持续学习

Yiming Xiong, Shengran Hu, Jeff Clune

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Canada CIFAR AI Chair（加拿大CIFAR人工智能主席） 纠错

专题命中 长上下文与记忆 ：foundation model(abstract)；分类 cs.AI

AI总结 本文提出ALMA框架，通过元学习自动设计记忆模块，使代理系统在多样化领域实现持续学习。

Lemon Agent Technical Report

柠檬代理技术报告

Haipeng Jiang, Kailong Ren, Zimo Yin, Zhetao Sun, Xin Gan, Guangyi Lv, Ming He, Peng Wang, Congli Yin, Hong Pan, Changwen Zhang, Shan Tong, Zhengyu Xu, Zeping Chen, Yubin Huangfu, Yanzhi Xu, Xing Su, Qin Feng, Dong An, Jianping Fan

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 柠檬代理是一种基于AgentCortex框架的多代理系统，通过自适应调度和三级上下文管理策略，优化资源利用和任务处理效率，实现复杂场景下的高准确率表现。

Improving Code Localization with Repository Memory

通过仓库记忆提升代码定位

Boshi Wang, Weijian Xu, Yunsheng Li, Mei Gao, Yujia Xie, Huan Sun, Dongdong Chen

专题命中 长上下文与记忆 ：language agent(abstract)；分类 cs.CL

AI总结 通过利用仓库提交历史增强语言代理的记忆，提升代码定位性能，更接近人类开发者经验。

Comments ICLR 2026

LLM-FSM: Scaling Large Language Models for Finite-State Reasoning in RTL Code Generation

LLM-FSM: 通过大规模语言模型扩展有限状态推理用于RTL代码生成

Yuheng Wu, Berk Gokmen, Zhouhua Xie, Peijing Li, Caroline Trippel, Priyanka Raina, Thierry Tambe

机构 * Stanford University（斯坦福大学） 纠错

专题命中 推理与问题求解 ：LLM(title,abstract)；large language model(title,abstract)；language model(title,abstract)；SFT(abstract)

AI总结 LLM-FSM通过大规模语言模型评估有限状态机在RTL代码生成中的表现，展示了模型在复杂性增加时的准确性下降及训练和测试扩展的影响。

Generating Software Architecture Description from Source Code using Reverse Engineering and Large Language Model

基于逆向工程和大语言模型从源代码生成软件架构描述

Ahmad Hatahet, Christoph Knieke, Andreas Rausch

机构 * Institute for Software and Systems Engineering（软件与系统工程研究所） ； Technical University of Clausthal（克莱斯特哈尔技术大学） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 本文提出利用逆向工程与大语言模型生成软件架构描述，以自动化提取组件图和行为模型，减少人工依赖并提升系统可维护性。

Theoretical Modeling of Large Language Model Self-Improvement Training Dynamics Through Solver-Verifier Gap

大语言模型自我改进训练动态的理论建模：通过求解器-验证器间隙

Yifan Sun, Yushan Liang, Zhen Zhang, Xin Liu, Jiaye Teng

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.AI、cs.LG

AI总结 本文通过求解器-验证器间隙理论，建模大语言模型自我改进的训练动态，并验证了该框架在不同模型和数据集上的有效性，同时探讨了外部数据对动态的影响。

Comments 37 pages

ExpliCa: Evaluating Explicit Causal Reasoning in Large Language Models

ExpliCa：评估大型语言模型中的显式因果推理

Martina Miliani, Serena Auriemma, Alessandro Bondielli, Emmanuele Chersoni, Lucia Passaro, Irene Sucameli, Alessandro Lenci

机构 * CoLing Lab, Department of Philology, Literature, and Linguistics, University of Pisa, Italy（皮尔森大学哲学、文学与语言学系协作语言实验室） ； Department of Informatics, University of Pisa, Italy（皮尔森大学信息学系） ； Department of Chinese and Bilingual Studies, The Hong Kong Polytechnic University（香港理工大学中文与双语研究系） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 ExpliCa数据集用于评估大型语言模型在显式因果推理中的能力，发现顶级模型在准确率上仍存在显著不足，且模型性能受语言顺序和大小影响明显。

Comments Accepted for publication in Findings of ACL 2025

Journal ref In Findings of the Association for Computational Linguistics: ACL 2025, pages 17335-17355, Vienna, Austria. Association for Computational Linguistics

Evaluating Semantic and Syntactic Understanding in Large Language Models for Payroll Systems

评估大型语言模型在薪酬系统中的语义和句法理解能力

Hendrika Maclean, Mert Can Cakmak, Muzakkiruddin Ahmed Mohammed, Shames Al Mandalawi, John Talburt

机构 * Center for Entity Resolution（实体解析中心） ； Information Quality (ERIQ) - University of Arkansas - Little Rock, Arkansas, Little Rock, USA（信息质量（ERIQ）- 阿拉巴马大学-利特尔岩石分校，阿肯色州，利特尔岩石，美国） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

AI总结 本文评估大型语言模型在薪酬系统中理解语义和句法的能力，通过实验发现不同提示策略对模型准确性的不同影响，并提出可复现的部署框架。

Comments ITNG 2026 conference

Beyond Bias Scores: Unmasking Vacuous Neutrality in Small Language Models

超越偏见分数：揭示小型语言模型中的空洞中性

Sumanth Manduru, Carlotta Domeniconi

机构 * George Mason University（乔治·马歇尔大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；small language model(title,abstract)；SLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出空洞中性框架，评估小型语言模型的公平性与鲁棒性，揭示其在不同社会偏见类别中的隐藏漏洞。

Comments Accepted at EACL 2026 Student Research Workshop

Leveraging Adaptive Group Negotiation for Heterogeneous Multi-Robot Collaboration with Large Language Models

利用自适应群体谈判实现异构多机器人协作的大型语言模型

Siqi Song, Xuanbing Xie, Zonglin Li, Yuqiang Li, Shijie Wang, Biqing Qi

机构 * Tsinghua University（清华大学） ； Central South University（中南大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

AI总结 CLiMRS通过自适应群体谈判框架提升异构多机器人协作效率，实验显示在复杂任务中效率提升超40%。

Comments 20 pages, 12 figures, Under Review