语言大模型 / LLM

Cartridges at Scale: Training Modular KV Caches over Large Document Collections

大规模弹匣：训练模块化KV缓存以处理大型文档集合

Momchil Hardalov, Gonzalo Iglesias, Adrià de Gispert

机构 * Amazon AGI（亚马逊人工智能研究院） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

AI总结 提出Cartridges at Scale (CAS)框架，通过动态干扰混合和内存高效预算管理器实现大规模多弹匣训练，在减少预填充开销的同时保持准确性，性能优于单块弹匣10-31点，接近全上下文学习。

Comments 21 pages, 5 figures, 17 tables

Temporal Order Matters for Agentic Memory: Segment Trees for Long-Horizon Agents

时间顺序对智能体记忆至关重要：面向长程智能体的线段树

Yifan Simon Liu, Liam Gallagher, Faeze Moradi Kalarde, Jiazhou Liang, Armin Toroghi, Scott Sanner

机构 * University of Toronto（多伦多大学） ； Vector Institute for Artificial Intelligence（人工智能向量研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出线段树记忆架构SegTreeMem，通过在线右边缘更新规则保持对话历史的时间顺序，结合层次化时间上下文进行检索，在长程记忆基准上优于现有方法。

MemoryDocDataSet: A Benchmark for Joint Conversational Memory and Long Document Reasoning

MemoryDocDataSet: 联合对话记忆与长文档推理的基准测试

Qiyang Xie, Jialun Wu, Xinjie He, Su Liu, Shuai Xiao, Zhiyuan Lin, Weikai Zhou

机构 * Northeastern University（东北大学） ； Johns Hopkins University（约翰霍普金斯大学） ； Columbia University（哥伦比亚大学） ； Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI

AI总结 提出MemoryDocDataSet合成基准，包含50个微世界和1000个QA对，评估系统同时处理多轮对话历史和长文档阅读理解的能力，其中75.1%的问题需要混合推理（先导航对话历史再提取文档答案），实验显示联合检索存在明显差距。

Comments 17 pages, 2 figures, 8 tables. Submitted for peer review

RAMPART: Registry-based Agentic Memory with Priority-Aware Runtime Transformation

RAMPART: 基于注册表的代理记忆与优先级感知运行时转换

Nikodem Tomczak

机构 * Nikodem Tomczak 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL

AI总结 提出RAMPART编译时记忆模型和纯内存块注册表，通过可编程运行时操作和五种原语实现上下文组装，实验表明块位置和分组显著影响任务成功率，并实现零提示令牌成本的共享注册表协调。

Exploring Cross-Scenario Generality of Agentic Memory Systems: Diagnostics and a Strong Baseline

探索智能体记忆系统的跨场景通用性：诊断与强基线

Zhikai Chen, Jialiang Gu, Junyu Yin, Xianxuan Long, Shenglai Zeng, Xiaoze Liu, Kai Guo, Keren Zhou, Jiliang Tang

机构 * Michigan State University（密歇根州立大学） ； George Mason University（乔治·马歇尔大学） ； Purdue University（普渡大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 通过诊断现有记忆系统在多种场景下的表现，提出一个基于工具调用的自管理记忆框架AutoMEM，实现最佳跨场景通用性。

Comments 14 pages

MesaNet: Sequence Modeling by Locally Optimal Test-Time Training

MesaNet: 通过局部最优测试时训练进行序列建模

Johannes von Oswald, Nino Scherrer, Seijin Kobayashi, Luca Versari, Songlin Yang, Sarthak Mittal, Maximilian Schlegel, Kaitlin Maile, Yanick Schimpf, Oliver Sieberling, Alexander Meulemans, Rif A. Saurous, Guillaume Lajoie, Charlotte Frenkel, Razvan Pascanu, Blaise Agüera y Arcas, João Sacramento

机构 * Google（谷歌） ； Paradigms of Intelligence Team（智能范式团队） ； Google DeepMind（谷歌DeepMind） ； MIT CSAIL（麻省理工学院CSAIL） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出一种基于共轭梯度求解器实现局部最优测试时训练的Mesa层，在保持常数推理成本的同时，在语言建模困惑度和下游基准性能上超越现有RNN模型。

Comments Published at ICLR 2026

Overview of the EReL@MIR 2025 Multimodal Document Retrieval Challenge (Track 1)

EReL@MIR 2025 多模态文档检索挑战赛（赛道1）概述

Jingbiao Mei

机构 * University of Cambridge（剑桥大学） ； Cambridge United Kingdom（剑桥英国） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文介绍了EReL@MIR 2025多模态文档检索挑战赛（赛道1）的设计、数据集、评估协议、最终排名及前三名获胜系统的分析，所有系统均基于Qwen2-VL系列解码器多模态大语言模型嵌入器。

Comments MDR Challenge Report at WWW2025

SaliMory: Orchestrating Cognitive Memory for Conversational Agents

SaliMory: 为对话代理编排认知记忆

Kai Zhang, Xinyuan Zhang, Hongda Jiang, Shiun-Zu Kuo, Hyokun Yun, Ejaz Ahmed, Shereen Oraby, Ziyun Li, Sanat Sharma, Ann Lee, Ahmed A Aly, Anuj Kumar, Raffay Hamid, Xin Luna Dong

机构 * Meta Reality Labs（Meta现实实验室） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出SALIMORY框架，通过层级阶段过程奖励和奖励分解对比优化，端到端训练单一语言模型管理认知结构记忆，显著降低记忆相关错误并提升个性化表现。

Attention-Augmented LSTMs for Automatic Homophonic Ciphertext Decipherment

注意力增强LSTM用于自动同音替换密码破译

Micaella Bruton, Meriem Beloucif, Beáta Megyesi

专题命中 长上下文与记忆 ：language model(abstract)

AI总结 本文评估注意力增强LSTM模型在共享密钥设置下自动破译同音替换密码的能力，在历史英语和瑞典语文本上实现接近完美的字符级解密准确率。

Comments 10 pages, 2 figures

From Symbolic to Geometric: Enabling Spatial Reasoning in Large Language Models

从符号到几何：在大语言模型中实现空间推理

Chen Chu, Bita Azarijoo, Li Xiong, Khurram Shafique, Cyrus Shahabi

机构 * University of Southern California（南加州大学） ； Emory University（埃默里大学） ； Novateur Research Solutions（Novateur研究解决方案） 纠错

专题命中 推理与问题求解 ：SLM(summary_cn,abstract)；large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)

AI总结 提出空间语言模型（SLM），通过将位置信息作为一等模态并学习空间表示，在推理过程中实现几何空间推理，显著优于基于符号推理的现有方法。

Imbuing Large Language Models with Bidirectional Logic for Robust Chain Repair

赋予大语言模型双向逻辑以进行稳健的链修复

Zehua Cheng, Wei Dai, Jiahao Sun, Thomas Lukasiewicz

机构 * Department of Computer Science, University of Oxford, UK（英国牛津大学计算机系） ； FLock.io ； Institute of Logic and Computation, TU Wien, Austria（奥地利技术大学逻辑与计算研究所） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)

AI总结 针对自回归链式推理中错误雪崩问题，提出Teleological Reasoning Infilling (TRI)框架，通过将错误推理段重构为填充中间任务并引入前缀-后缀-中间序列重排，结合符号验证器监督微调和直接偏好优化，实现仅修复受损段的高效链修复。

Comments 25 Pages

Journal ref In Proceedings of European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases 2026

ChatSOP: An SOP-Guided MCTS Planning Framework for Controllable LLM Dialogue Agents

ChatSOP: 一种SOP引导的MCTS规划框架，用于可控的LLM对话代理

Zhigen Li, Jianxiang Peng, Yanmeng Wang, Yong Cao, Tianhao Shen, Minghui Zhang, Linxi Su, Shang Wu, Yihang Wu, Yuqian Wang, Ye Wang, Wei Hu, Jianfeng Li, Shaojun Wang, Jing Xiao, Deyi Xiong

机构 * TJUNLP Lab, College of Intelligence and Computing, Tianjin University（天津大学智能计算学院TJUNLP实验室） ； Ping An Technology（平安科技） ； Tübingen AI Center, University of Tübingen（图宾根大学图宾根人工智能中心） ； Kunming University of Science and Technology（昆明理工大学） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出ChatSOP框架，通过SOP引导的蒙特卡洛树搜索增强LLM对话代理的可控性，在动作准确率上相比GPT-3.5基线提升27.95%。

Comments Accepted to ACL 2025 main

Journal ref Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 17637-17659, 2025

PerceptTwin: Semantic Scene Reconstruction for Iterative LLM Planning and Verification

PerceptTwin：面向迭代LLM规划与验证的语义场景重建

Charlie Gauthier, Sacha Morin, Liam Paull

机构 * Department of Computer Science and Operations Research, Université de Montréal（蒙特利尔大学计算机科学与运筹学系） ； Mila - Quebec AI Institute（魁北克人工智能研究所） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 提出PerceptTwin自动管道，从机器人感知的语义场景表示构建交互式仿真，结合LLM法官验证规划正确性与人类偏好，提升规划成功率约39%。

Comments Accepted at ICRA 2026 (Vienna); published on arxiv for archival purposes. See also https://percept-twin.github.io/

Testing LLM Arithmetic Reasoning Generalization with Automatic Numeric-Remapping Attacks

测试大语言模型算术推理泛化能力：自动数值重映射攻击

Malia Barker, Bishal Lakha, Edoardo Serra, Francesco Gullo

机构 * Department of Computer Science, Boise State University（计算机科学系，博伊州立大学） ； University of L’Aquila（拉奎拉大学） 纠错

专题命中 推理与问题求解 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出自动数值重映射攻击算法，通过保持推理程序的小数值变化测试LLM算术推理鲁棒性，发现GSM8K上准确率下降12-26个百分点，而MAWPS和MultiArith更稳定。

GroupTravelBench: Benchmarking LLM Agents on Multi-Person Travel Planning

GroupTravelBench: 多人群组旅行规划中LLM智能体的基准测试

Xiang Cheng, Yulan Hu, Lulu Zheng, Zheng Pan, Xin Li, Yong Liu

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学首都人工智能学院） ； AMAP, Alibaba Group（阿里集团AMAP） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；分类 cs.CL

AI总结 提出GroupTravelBench基准，通过多用户多轮对话任务评估LLM智能体在偏好获取、冲突协调和公平规划三方面的能力。

Comments work in process

Reasoning Shift: How Context Silently Shortens LLM Reasoning

推理偏移：上下文如何无声地缩短LLM推理

Gleb Rodionov, Roman Garipov, George Yakushev

机构 * Yandex ； HSE University（俄罗斯高等经济学院） 纠错

专题命中 推理与问题求解 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 通过系统评估，发现推理模型在不同上下文条件下（如无关长上下文、多轮对话、子任务）对同一问题的推理链长度显著缩短（最高65%），且伴随自我验证和不确定性管理行为减少，但简单任务性能不受影响，复杂任务可能受影响。

Comments Preprint

WildCode Revisited: A Comprehensive Empirical Study on the Security of LLM-Generated Code

WildCode 再探：关于 LLM 生成代码安全性的综合实证研究

Kobra Khanmohammadi, Pooria Roy, Raphael Khoury, Abdelwahab Hamou-Lhadj, Wilfried Patrick Konan, Alexander Da Re, Nicholas Rebelo Melo

专题命中 推理与问题求解 ：LLM(title,title_cn)

AI总结 通过大规模实证分析真实场景下 ChatGPT 生成的代码，研究其正确性与安全性，并评估常见提示工程策略的有效性，发现 LLM 生成的代码在安全性方面经常不足。

Dynamic Infilling Anchors for Format-Constrained Generation in Diffusion Large Language Models

扩散大语言模型中用于格式约束生成的动态填充锚点

Boyan Han, Yiwei Wang, Yi Song, Yujun Cai, Chi Zhang

机构 * AGI Lab, Westlake University, China（西溪大学AGI实验室，中国） ； University of California, Merced, USA（加州大学梅尔德分校，美国） ； Teeni AI, China（Teeni AI，中国） ； The University of Queensland, Australia（昆士兰大学，澳大利亚） 纠错

专题命中 推理与问题求解 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出动态填充锚点（DIA），一种无需训练的方法，通过动态估计结束锚点位置调整生成长度，确保格式约束下的结构正确性和语义连贯性，在GSM8K和MATH上实现零样本性能提升。

Comments Accepted to the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)

R-APS: Compositional Reasoning and In-Context Meta-Learning for Constrained Design via Reflective Adversarial Pareto Search

R-APS：基于反思性对抗帕累托搜索的组合推理与上下文元学习用于约束设计

João Pedro Gandarela, Thiago Rios, Stefan Menzel, André Freitas

机构 * Idiap Research Institute（Idiap研究 institute） ； École Polytechnique Fédérale de Lausanne（瑞士联邦理工学院） ； Honda Research Institute Europe（本田欧洲研究机构） ； Department of Computer Science, University of Manchester（曼彻斯特大学计算机科学系） ； National Biomarker Centre, CRUK-MI, University of Manchester（曼彻斯特大学国家生物标志物中心） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 提出R-APS方法，通过推理模式分解、分阶段组合推理、敏感性引导对抗测试和元归纳规则提取，联合解决LLM在代理设置中的错误传播、最坏情况扰动和知识失效问题，在平面机构合成任务上实现更紧的鲁棒性证书和更快的迭代速度。

Deliberate Evolution: Agentic Reasoning for Sample-Efficient Symbolic Regression with LLMs

Deliberate Evolution: 基于智能体推理的样本高效符号回归与LLM

Xinyu Pang, Zhanke Zhou, Xuan Li, Fangrui Lv, Shanshan Wei, Sen Cui, Bo Han, Changshui Zhang

机构 * TMLR Group, Department of Computer Science, Hong Kong Baptist University（香港 Baptist 大学计算机科学系 TMLR 组） ； Beijing National Research Center for Information Science（北京信息科学国家研究中心） ； Technology (BNRist), Department of Automation, Tsinghua University, Beijing, P.R. China（技术（BNRist），自动化系，清华大学，北京，中华人民共和国） ； Lenovo Research（联想研究） 纠错

专题命中 推理与问题求解 ：LLM(title_cn,summary_cn)；分类 cs.CL、cs.LG

AI总结 提出Deliberate Evolution框架，通过解耦符号生成与搜索控制，利用自适应算子、分析工具和反思记忆，在仅用40%样本预算下超越现有LLM符号回归方法。

Comments ICML 2026

Simulate, Reason, Decide: Scientific Reasoning with LLMs for Simulation-Driven Decision Making

模拟、推理、决策：基于科学推理的LLM驱动模拟决策

Yuhan Yang, Ruipu Li, Alexander Rodríguez

机构 * Computer Science and Engineering University of Michigan（计算机科学与工程大学密歇根大学） 纠错

专题命中 推理与问题求解 ：LLM(title_cn,summary_cn)；分类 cs.AI

AI总结 提出MechSim框架，通过神经符号推理使LLM能够推理科学模拟器的机制和假设，提升决策透明度和可靠性。

Listening to the Workforce: Measuring Construction Worker Safety Attitudes from Social Media Discourse Using LLMs

倾听劳动力：使用LLMs从社交媒体话语中测量建筑工人安全态度

Farouq Sammour, Yuxin Zhang, Zhenyu Zhang

机构 * Texas A&M University（德克萨斯A&M大学） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出并验证了建筑安全态度框架（CSAF），通过LLM分类器从Reddit社区话语中测量工人安全态度，实现高精度多维分析。

Thinking Through Signs: PEEL as a Semiotic Scaffolding for Epistemically Accountable AI-Enabled Research

通过符号思考：PEEL作为认知可问责的AI赋能研究的符号脚手架

Clarisse de Souza, Gabriel Barbosa, Simone Diniz Junqueira Barbosa, Bárbara Betts, Renato Cerqueira, Juliana Jansen Ferreira

机构 * PUC-Rio（里约热内卢联邦大学） ； PUC-Behring Institute of Artificial Intelligence（贝林格人工智能研究所） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出PEEL框架，结合Voyant Tools的确定性远读与Claude的LLM解释，基于皮尔斯符号学和溯因推理，揭示AI生成摘要中的系统性扭曲，并得出三项设计启示。

Comments 10 pages, 5 figuras

GIFT: Games as Informal Training for Generalizable LLMs

GIFT：游戏作为通用型LLM的非正式训练

Nuoyan Lyu, Bingbing Xu, Xueyun Tian, Weihao Meng, Yige Yuan, Yang Zhang, Zhiyong Huang, Tat-Seng Chua, Huawei Shen

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of Washington（华盛顿大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 推理与问题求解 ：LLM(title_cn,summary_cn)；分类 cs.CL

AI总结 提出将游戏作为非正式训练环境，结合协调子任务训练（CST）方法，提升LLM在抽象推理、规划、创造力等通用能力上的泛化性能。

StateVLM: A State-Aware Vision-Language Model for Robotic Affordance Reasoning

StateVLM: 一种用于机器人可操作推理的状态感知视觉语言模型

Xiaowen Sun, Matthias Kerzel, Mengdi Li, Xufeng Zhao, Paul Striker, Stefan Wermter

机构 * Department of Informatics, University of Hamburg（汉堡大学信息学院） ； King Abdullah University of Science and Technology（卡塔尔科学与技术大学） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)

AI总结 提出StateVLM模型，通过辅助回归损失训练策略增强视觉语言模型在目标检测和状态定位中的数值推理能力，并构建OSAR基准验证其有效性。

FALSIFYBENCH: Evaluating Inductive Reasoning in LLMs with Rule Discovery Games

FALSIFYBENCH: 通过规则发现游戏评估大语言模型中的归纳推理

Leonardo Bertolazzi, Katya Tentori, Raffaella Bernardi

机构 * University of Trento（特伦托大学） ； Free University of Bozen-Bolzano（博泽-博尔扎诺自由大学） 纠错

专题命中 推理与问题求解 ：LLM(summary_cn,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出FALSIFYBENCH框架，基于Wason 2-4-6任务评估LLM在假设生成、证据收集和信念修正方面的归纳推理能力，发现推理模型优于指令微调模型，且主动寻求证伪的负测试策略是成功的关键。

VAMPS: Visual-Assisted Mathematical Problem Solving Benchmark

VAMPS: 视觉辅助数学问题求解基准

Amirhossein Dabiriaghdam, Shayan Vassef, Mohammadreza Bakhtiari, Yasamin Medghalchi, Ilker Hacihaliloglu, Mesrob Ohannessian, Lele Wang, Giuseppe Carenini

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 推理与问题求解 ：LLM(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出VAMPS基准，通过1,168道双语多选题评估多模态大模型在借助绘图工具进行数学推理时的表现，发现直接解析求解优于工具辅助视觉求解。

SAID: Accelerating Diffusion-Based Language Models via Scaffold-Aware Iterative Decoding

SAID: 通过支架感知迭代解码加速基于扩散的语言模型

Na Li, Chengda Wang, Mingju Gao, Hao Tang

机构 * School of Computer Science, Peking University（北京大学计算机科学系） 纠错

专题命中 推理与问题求解 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

AI总结 提出SAID框架，通过将去噪计算重新分配给支架令牌来加速扩散语言模型，并引入CHLG为低置信度令牌分配额外步骤，在LLaDA模型上实现最高9.1倍加速且保持竞争性能。

Comments Code: https://github.com/TH-AI-Lab-PKU/SAID

Are Tools Always Beneficial? Learning to Invoke Tools Adaptively for Dual-Mode Multimodal LLM Reasoning

工具总是有益的吗？学习自适应调用工具以实现双模式多模态大语言模型推理

Qinghe Ma, Zhen Zhao, Yiming Wu, Jian Zhang, Lei Bai, Yinghuan Shi

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 推理与问题求解 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出AutoTool模型，通过强化学习框架自适应决定是否调用工具，结合双模式推理策略和模式特定奖励函数，在提升准确率的同时降低推理开销。

Comments Accepted to ICML 2026

Invariant Gradient Alignment for Robust Reasoning Distillation

不变梯度对齐用于鲁棒推理蒸馏

Zehua Cheng, Wei Dai, Jiahao Sun

机构 * University of Oxford（牛津大学） ； FLock.io 纠错

专题命中 推理与问题求解 ：SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 提出不变梯度对齐（IGA）框架，通过逻辑同构集、连续梯度冲突掩码和截断SVD投影，对齐不同语义域但逻辑结构相同的梯度更新，提升大语言模型在分布外输入上的鲁棒性。

Comments 30 Pages

Journal ref In Proceedings of European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases 2026