语言大模型 / LLM

EvoSQL: Memory-Augmented Critic-Generator Co-Evolution for Text-to-SQL

EvoSQL：用于文本到SQL的内存增强型评论家-生成器协同进化

Jiawei Zhou, Jianwei Wang, Chenyu Zhou, Chaojian Shi, Ming Dong, Kai Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； University of New South Wales（新南威尔士大学） ； Fudan University（复旦大学） ； Wuhan University of Technology（武汉理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究文本到SQL问题，提出EvoSQL协同进化框架，通过生成器与评论家迭代交互、维护内存、验证候选及自蒸馏策略优化微调等，在Spider和BIRD实验中持续改进开源模型，证明该方法是有效途径。

RECON: Benchmarking Agent Memory for Compositional Reasoning over Long Contexts

RECON：用于长上下文组合推理的智能体内存基准测试

Mihir Shriniwas Arya

机构 * RV College of Engineering（RV工程学院） ； Department of Computer Science and Engineering（计算机科学与工程系） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究引入RECON基准测试，用于评估长上下文组合推理，跨越三个领域24个案例文件，测试智能体六个内存密集型任务，揭示当前架构在内存相关任务上存在重大局限，非预言机系统准确率低，检索和推理有挑战。

Comments 25 pages

Harness Handbook: Making Evolving Agent Harnesses Readable,Navigable, and Editable

Harness手册：使不断演进的智能体框架具有可读性、可导航性和可编辑性

Ruhan Wang, Yucheng Shi, Zongxia Li, Zhongzhi Li, Yue Yu, Junyao Yang, Kishan Panaganti, Haitao Mi, Dongruo Zhou, Leoweiliang

机构 * Tencent（腾讯） ； Indiana University（印第安纳大学） ； University of Maryland, College Park（马里兰大学帕克分校） ； University of Georgia（佐治亚大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；foundation model(abstract)；分类 cs.AI

AI总结 研究智能体框架演进中行为定位难的问题，提出通过Harness手册和行为引导的渐进式披露，以行为为中心自动合成框架表示并辅助规划，提高行为定位和编辑计划质量，助力复杂智能体系统发展。

Comments 29 pages, 6 figures. Project page: https://ruhan-wang.github.io/Harness-Handbook/

SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding

SynthDocBench：用于长上下文视觉文档理解的可控基准测试

Abhigya Verma, Khyati Mahajan, Amit Kumar Saha, Shruthan Radhakrishna, Sagar Davasam, Vikas Yadav, Sai Rajeswar Mudumba

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.AI

AI总结 研究针对视觉语言模型在现实文档理解中归因失败原因困难的问题，引入SynthDocBench基准测试，通过组合设计控制多因素，端到端生成多样长文档，评估模型发现三种现有基准未暴露的失败模式，揭示模型或过度拟合基准工件。

Comments 29 Pages, 27 Tables, 13 Figures, Accepted at COLM 2026

Harnessing Code Agents for Automatic Software Verification

利用代码智能体进行自动软件验证

Shuangxiang Kan, Shuanglong Kan, Sebastian Ertel

机构 * Singapore Management University, Barkhausen Institut（新加坡管理大学, 巴克豪森研究所） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究利用大语言模型代码智能体进行自动软件验证，将引理交给智能体自由选择方法并置于验证框架，该方法简单有效，能完全覆盖目标引理，在多维度评估中表现出色，可自动为软件开发编写证明。

Repair the Amplifier, Not the Symptom: Stable World-Model Correction for Agent Rollouts

修复放大器，而非症状：面向智能体轨迹的稳定世界模型修正

Xinyuan Song, Zekun Cai

机构 * Emory University（埃默里大学） ； The University of Tokyo（东京大学） ； LocationMind 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；language agent(abstract)；分类 cs.AI

AI总结 针对长流程规划中的图级错误，提出WM-SAR方法，通过子图放大反向定位因果子图进行修复，在有限token预算下优于传统扫描修复方法。

Comments Under Review

GSRQ: Gain-Shape Residual Quantization for Sub-1-bit KV Cache

GSRQ: 面向亚1比特KV缓存的增益-形状残差量化

Soosung Kim, Minjae Park, Eui-Young Chung, Jaeyong Chung

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 针对大语言模型KV缓存压缩中向量量化导致的方向保持问题，提出增益-形状K均值（GSKM）替代标准K均值，并构建增益-形状残差量化（GSRQ），在1比特下将LongBench平均准确率从11.34提升至33.54。

Comments ICML 2026

Reasoning as Attractor Dynamics: Latent Memory Retrieval via Gibbs-Weighted Energy Minimization

推理作为吸引子动力学：通过吉布斯加权能量最小化的潜在记忆检索

Kanishk Awadhiya

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 提出将大语言模型视为高维稠密联想记忆，通过吉布斯加权能量最小化从潜在吸引子中检索正确推理链，在GSM8K上提升Phi-3.5性能5.38%。

Comments Accepted at ICLR Workshop 2026

Escaping the Self-Confirmation Trap: An Execute-Distill-Verify Paradigm for Agentic Experience Learning

逃离自我确认陷阱：一种用于智能体经验学习的执行-蒸馏-验证范式

Shiding Zhu, Yudi Qi, Yajie Wang, Jiaze Li, Chao Song, Yaorui Shi, Yibo Miao, Hanqi Gao, Kai Zhang

机构 * Zhejiang University（浙江大学） ； Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Northwestern Polytechnical University（西北工业大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiaotong University（上海交通大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 提出EDV框架，通过多智能体并行执行、第三方蒸馏和共识验证，解决单智能体经验学习中的自我确认陷阱问题，在三个长时任务基准上取得一致提升。

Comments 28 pages, 11 figures

Test-Time Training with Next-Token Prediction

基于下一个词预测的测试时训练

Xuan Ouyang, Zefan Cai, Junjie Hu

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；language model(abstract)；分类 cs.CL

AI总结 提出TTT-NTP方法，利用预训练语言模型自身的下一个隐藏状态作为自监督信号进行测试时训练，无需重新设计骨干网络，在多个长上下文基准上显著提升性能。

Comments 17 pages, 2 figures, 7 tables. Preprint

On Subquadratic Architectures: From Applications to Principles

关于次二次架构：从应用到原理

Anamaria-Roberta Hartl, Levente Zólyomi, David Stap, Pieter-Jan Hoedt, Niklas Schmidinger, Lukas Hauzenberger, Sebastian Böck, Günter Klambauer, Sepp Hochreiter

机构 * ELLIS Unit Linz, LIT AI Lab, Institute for Machine Learning, Johannes Kepler University Linz（林茨ELLIS单元、LIT AI实验室、机器学习研究所、约翰内斯·开普勒大学林茨） ； NVIDIA（英伟达） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 本文比较了xLSTM、Mamba-2和Gated DeltaNet三种次二次架构，发现xLSTM在代码预训练、蒸馏和时间序列预训练中表现最佳，其优势源于灵活稳定的门控记忆校正机制。

Controlled Memory Interference in Continual LLM Agents

持续大型语言模型智能体中的可控记忆干扰

Ao Ding, Hongzong LI, Shiqin Tang, Li Zhang, Liang Chen, Xuyang Chen, Zi Liang

机构 * China University of Geosciences (Beijing)（中国地质大学（北京）） ； Northwestern Polytechnical University（西北工业大学） ； The Hong Kong University of Science and Technology（香港科技大学） ； Chinese Academy of Sciences（中国科学院） ； The Hong Kong Polytechnic University（香港理工大学） ； École polytechnique fédérale de Lausanne（洛桑联邦理工学院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI、cs.LG

AI总结 本研究提出可控记忆干扰（CMI）框架，揭示记忆进化受经验相互作用影响，为持续大型语言模型智能体的记忆系统提供诊断与学习方法，提升记忆更新区分度与任务性能。

Understanding Sparse Attention Selectivity in Long-Context Foundation Models via Counterfactual Evaluation

通过反事实评估理解长上下文基础模型中的稀疏注意力选择性

Xingyu Ren, Youran Sun, Chugang Yi, Haizhao Yang

机构 * The Chinese University of Hong Kong（香港中文大学） ； University of Maryland（马里兰大学） 纠错

专题命中 长上下文与记忆 ：foundation model(title)；分类 cs.CL、cs.LG

AI总结 该研究通过反事实评估探究长上下文基础模型的稀疏注意力选择性，证实稀疏化会改变内容影响力，提出开放测量框架，相关结果无法通过聚合准确率检测。

YAVIN: A Unified Architecture for Secure Edge Processing in Memory

YAVIN：面向安全边缘内存处理的统一架构

Shouzhi Fang, William C. Tegge, Md Omar Faruque, Peipei Zhou, Endadul Hoque, Alex K. Jones

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract_cn)

AI总结 针对边缘计算中多租户安全执行及内存处理的挑战，提出将TEE扩展至内存的YAVIN架构，实现后量子密码与认证加密的PIM协同设计，在量化LLM执行时获超20倍加速且开销极低。

OneDayAgent: Towards a Long-Horizon Harness for Autonomous Agents

OneDayAgent：面向自主智能体的长程管控框架

Jingsheng Zheng, Xinyuan Fang, Jintian Zhang, Zhengke Gui, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 OneDayAgent是一种长程管控框架，可将开放式请求分解为子任务，在不同后端LLMs上实现最优性能，解决智能体的多类失效模式。

Comments Ongoing work

MemVLN: Episodic and Procedural Memory for Vision-and-Language Navigation

MemVLN：用于视觉与语言导航的情景记忆和程序记忆

Yuqi Liu, Shengju Qian, Tianyuan Qu, Mingxian Lin, Zixuan Wang, Xin Wang, Bei Yu, Jiaya Jia

机构 * The Chinese University of Hong Kong（香港中文大学） ； LIGHTSPEED（光速） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究连续环境中视觉与语言导航问题，提出MemVLN框架，利用视觉编码器、大语言模型，通过情景记忆管理和程序记忆，实现实时推理，提升导航成功率并降低推理延迟。

FedAgentKE: Federated Semantic Knowledge Evolution for Heterogeneous Agents

FedAgentKE：异构智能体的联邦语义知识演化

Weihao Li, Jun Bai, Ziyang Song

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 研究异构智能体孤立运行问题，提出 FedAgentKE 框架，通过语义知识蒸馏、聚合和Adapt实现联邦语义知识演化，实验验证其在跨框架和跨任务设置下能改进智能体协作，为未来协作智能体生态系统发展提供潜力。

Comments 9 pages (including appendix)

Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel

一举实现更智能与更廉价：字节精确的键值缓存嫁接将冻结的小模型转变为经过验证的知识飞轮

Sietse Schelpe

机构 * Corbenic AI（Corbenic人工智能公司） 纠错

专题命中 长上下文与记忆 ：language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究提出通过字节精确的键值缓存嫁接，在不改变权重的情况下让冻结小语言模型更强大且廉价。此方法能精确恢复知识，提升模型性能，如在AIME 2025上提高准确率，还能扩展可用上下文，减少能耗，且可验证评分。

Comments 18 pages, 4 figures

From Custom-Fit to Portable: Bridging the Gap Between Synthesized and Engineered GPU Query Execution

从定制适配到便携性：弥合合成与工程化GPU查询执行之间的差距

Ivan Donchev Kabadzhov, Eugenio Marinelli, Raja Appuswamy

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 本文针对GPU分析中合成与工程化的争论，提出SHADB框架回答合成GPU代码效果等三个问题，展示合成代码优势，分解性能差距并分类优化，将可推广优化集成到SYCLDB引擎，缩小与合成代码差距并保持相关特性。

Comments 13 pages, 5 figures

Graph-Aware Fuzzing for Graph Database Management Systems

用于图数据库管理系统的图感知模糊测试

Yu Li, Qiang Hu, Yao Zhang, Junjie Wang, Hao Liu, Rui Wang, Yongqiang Lyu

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 针对图数据库管理系统现有测试方法不足，提出GRAF框架。通过基于级联依赖解析的图上下文感知查询生成有效多样查询，用执行状态反馈引导变异操作，提升测试效果，发现众多未知漏洞。

Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads

Logit贡献评分识别非字面检索头

Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

机构 * University of Edinburgh（爱丁堡大学） ； Heriot-Watt University（赫瑞瓦特大学） 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出Logit贡献评分（LOCOS），通过OV电路输出投影到答案标记方向，识别大语言模型中执行非字面检索的注意力头，消融实验显著降低ROUGE-L而保持其他能力。

Comments 41 pages, 18 figures

Temporal Validity in Retrieval Memory: Eliminating Stale-Fact Errors for AI Agents over Evolving Knowledge

检索记忆中的时间有效性：消除AI智能体在知识演化中的过时事实错误

Neeraj Yadav

机构 * MemStrata.dev — Called It Inc. (Enterprise)（MemStrata.dev — Called It Inc.（企业）） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 针对RAG无法处理知识演化导致过时事实错误的问题，提出MemStrata，通过确定性替换规则维护时间有效性，在演化知识上准确率达0.95-1.00，过时事实错误率降至~0%。

Comments 21 pages, 5 tables. Code, prompts, and evaluation datasets included

AlphaMemo: Structured Search-Process Memory for Self-Evolving Alpha Mining Agents

AlphaMemo: 用于自我进化的Alpha挖掘智能体的结构化搜索过程记忆

Hang Yu, Zifan Zheng, Jeff Z. Pan, Tongliang Liu, Zhiyong Wang, Fengxiang He

机构 * University of Sydney（悉尼大学） ； University of Edinburgh（爱丁堡大学） 纠错

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出AlphaMemo，一种具有结构化搜索过程记忆的自我进化Alpha挖掘智能体，通过记录编辑模式在特定父因子上下文中的成败证据，结合置信门控残差记忆和非对称否决控制，提升样本外表现和固定预算发现效率。

GitOfThoughts: Version-Controlled Reasoning and Agent Memory You Can Replay, Diff, and Merge

GitOfThoughts: 版本控制的推理与可回放、差异比较和合并的智能体记忆

Pavan C Shekar, Abhishek H S, Aswanth Krishnan

机构 * QpiAI 纠错

专题命中 长上下文与记忆 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出GitOfThoughts框架，将智能体推理树存储为git仓库，实现推理的可回放、审计和合并；实验表明，对于新问题，任何记忆格式均不能可靠提升准确率，仅当检索案例与当前问题高度相似（>0.8）时才有显著提升，且收益来自答案检索而非方法迁移。

Comments 10 pages, 1 figure, 9 tables

MemGUI-Agent: An End-to-End Long-Horizon Mobile GUI Agent with Proactive Context Management

MemGUI-Agent: 一种具有主动上下文管理的端到端长时移动GUI智能体

Guangyi Liu, Gao Wu, Congxiao Liu, Pengxiang Zhao, Liang Liu, Mading Li, Qi Zhang, Mengyan Wang, Liang Guo, Yong Liu

专题命中 长上下文与记忆 ：SFT(abstract,abstract_cn)；prompting(abstract)

AI总结 提出MemGUI-Agent，通过主动上下文管理机制（ConAct）将上下文管理作为一等动作，解决长时任务中提示膨胀和关键信息稀释问题，在8B模型上达到最佳性能。

Comments 33 pages, 6 figures. Project page: https://memgui-agent.github.io/

SAC: Disaggregated KV Cache System for Sparse Attention LLMs with CXL

SAC: 面向稀疏注意力LLM的基于CXL的解耦KV缓存系统

Ruiyang Ma, Teng Ma, Junru Li, Hantian Zha, Xuchun Shang, Qingda Hu, Zheng Liu, Xinjun Yang, Tao Ma, Guojie Luo

专题命中 长上下文与记忆 ：LLM(title_cn,abstract_cn)

AI总结 针对稀疏注意力模型在长上下文推理中全量KV缓存传输导致的瓶颈，提出基于CXL按需获取top-k KV条目的解耦缓存系统SAC，相比RDMA方案吞吐提升2.1倍、TTFT降低9.7倍。

Generated, Parallel, Scalable? A Study of Agentic AI-Generated Julia Code on Supercomputers

生成、并行、可扩展？超级计算机上智能体AI生成的Julia代码研究

Linus Bantel, Anna-Lena Roth, Jonas Posner, Dirk Pflüger

专题命中 长上下文与记忆 ：LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 研究智能体AI生成并行Julia代码的能力，发现小规模输入可靠但大规模扩展时出现死锁等问题，商业模型优于开源模型。

Evaluating Gemma4 Models as AI Teaching Assistants for Introductory Parallel Programming: A DataRaceBench Study

评估 Gemma4 模型作为并行编程入门课程的 AI 助教：基于 DataRaceBench 的研究

Sabbir Hussain Meraj, Riham Chowdhury, Shimul Debnath, Wei Wang

专题命中 长上下文与记忆 ：LLM(abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本研究评估了 Gemma4 开源模型在识别、解释和修复 OpenMP 数据竞争方面的能力，发现较大模型能覆盖大部分基准测试，但上下文提示并未一致提升修复效果。

Inadvertent Context Leakage in Language Models

语言模型中的无意上下文泄漏

Jaiden Fairoze, Neal Mangaokar, Kamalika Chaudhuri, Sanjam Garg, Saeed Mahloujifar

机构 * FAIR, Meta Superintelligence Labs（Meta超级智能实验室FAIR） ； University of California, Berkeley（加利福尼亚大学伯克利分校） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 长上下文与记忆 ：language model(title)；分类 cs.LG

AI总结 该研究发现语言模型的上下文窗口会无意泄漏敏感用户信息，提出自适应攻击方法，在8个专有模型上验证了2、4位数秘密的重建准确率，还展示了两种实际攻击方式，指出泄漏是模型能力的副产品。

Hierarchical Graph Memory for LLM Agents with Path-level Localization and Rewrite

面向具备路径级定位与重写能力的大语言模型智能体的分层图记忆框架HiGram

Xiawei Yue, Boran Wang, Xiaoqing Zhang, Shuxin Zheng, Ziwei Zhang

专题命中 长上下文与记忆 ：LLM(title)；分类 cs.AI

AI总结 本文提出具备路径级定位与重写能力的分层图记忆框架HiGram，解决扁平图记忆的无关信息多、重写效率低问题，在相关基准上提升了答案质量、令牌效率及冲突场景下的表现。