语言大模型 / LLM

AgentForge: Execution-Grounded Multi-Agent LLM Framework for Autonomous Software Engineering

AgentForge: 基于执行的多智能体LLM框架用于自主软件工程

Rajesh Kumar, Waqar Ali, Junaid Ahmed, Najma Imtiaz Ali, Shaban Usman

机构 * International Research Center for Complexity Sciences（复杂科学国际研究中心） ； Hangzhou International Innovation Institute（杭州国际创新研究院） ； Beihang University（北京航空航天大学） ； College of Science, Mathematics and Technology（科学、数学与技术学院） ； Wenzhou-Kean University（温州-凯恩大学） ； Fakulti Teknologi Maklumat dan Komunikasi（信息技术与通信学院） ； Universiti Teknikal Malaysia Melaka（马来西亚Melaka理工大学） ； Computer Systems Engineering Department（计算机系统工程系） ； Sukkur IBA University（苏库尔IBA大学） ； University of Electronic Science and Technology of China（电子科学与技术大学） 纠错

专题命中 长上下文与记忆 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 AgentForge通过引入执行验证原则，提升代码正确性验证，实现40.0%的SWE-BENCH Lite解决率，优于单智能体基线。

EMBER: Autonomous Cognitive Behaviour from Learned Spiking Neural Network Dynamics in a Hybrid LLM Architecture

EMBER：在混合大语言模型架构中通过学习的脉冲神经网络动态实现自主认知行为

William Savage

机构 * Independent Researcher（独立研究者） 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出EMBER架构，通过学习的脉冲神经网络动态实现大语言模型与记忆之间的关系重组，利用STDP和奖励调节学习实现自主行为决策。

Comments Preprint. 9 pages, 2 figures, 3 tables. NeurIPS 2026 format

DRAGON: LLM-Driven Decomposition and Reconstruction Agents for Large-Scale Combinatorial Optimization

DRAGON：基于大语言模型的分解与重建代理用于大规模组合优化

Shengkai Chen, Zhiguang Cao, Jianan Zhou, Yaoxin Wu, Senthilnath Jayavelu, Zhuoyi Lin, Xiaoli Li, Shili Xiang

机构 * Institute for Infocomm Research A STAR Singapore ； Singapore Management University Singapore ； Nanyang Technological University Singapore ； Eindhoven University of Technology Eindhoven Netherlands ； National University of Singapore \& Institute for Infocomm Research A STAR Singapore ； Singapore University of Technology ； Institute for Infocomm Research ； Singapore Management University ； Nanyang Technological University ； Eindhoven University of Technology ； National University of Singapore \& Institute for Infocomm Research 纠错

专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 DRAGON是一种结合元启发式设计和LLM推理的新型框架，通过分解与重建代理实现大规模组合优化问题的高效求解。

Comments This paper has been accepted for presentation and publication at the 25th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2026), source code: https://github.com/skychan/DARGON

From Observation to Intervention: Memory in Brains and Large Language Models

从观察到干预：大脑与大型语言模型中的记忆

Morteza Salehjahromi, Shayan A. Zadegan, Amgad Muneer, Jia Wu

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 该研究对比大脑与LLMs的记忆系统，提出可利用LLMs在实验访问上的优势，将记忆相关功能问题转化为更精准的生物学假设，核心是转移实验逻辑而非解剖结构。

Comments Perspective article, 11 pages, 3 figures, 1 table, and 1 key terms box. Submitted for consideration to Nature Machine Intelligence

In-context superposition: human-like working memory interference in large language models

类人工作记忆干扰在大语言模型中

Hua-Dong Xiong, Li Ji-An, Jiaqi Huang, Robert C. Wilson, Kwonjoon Lee, Xue-Xin Wei

机构 * School of Psychological and Brain Sciences, Georgia Tech（佐治亚理工学院心理与脑科学学院） ； Department of Psychology, New York University（纽约大学心理学系） ； Department of Cognitive Science, Indiana University Bloomington（印第安纳大学布卢明顿分校认知科学系） ； Honda Research Institute（本田研究所） ； Center of Excellence for Computational Cognition, Georgia Tech（佐治亚理工学院计算认知卓越中心） ； Departments of Neuroscience and Psychology, The University of Texas at Austin（德克萨斯大学奥斯汀分校神经科学和心理学系） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 研究发现大语言模型在工作记忆任务中存在干扰限制，其表现与人类相似，且通过抑制无关信息实现有效记忆检索。

Comments Published as a conference paper at COLM 2026

CogniDual Framework: Self-Training Large Language Models within a Dual-System Theoretical Framework for Improving Cognitive Tasks

Yongxin Deng, Xihe Qiu, Xiaoyu Tan, Chao Qu, Jing Pan, Yuan Cheng, Yinghui Xu, Wei Chu

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Journal ref IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP 2025), pp. 1-5

MM-ShiftKV: Decode-Aware Prefill-Stage KV Selection for Multimodal Large Language Models

MM-ShiftKV：用于多模态大语言模型的解码感知预填充阶段键值选择

Jinsong Shu, Chenyang Wu, Zhongle Xie, Baokun Wang, Lidan Shou

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； The State Key Laboratory of Blockchain and Data Security, Zhejiang University（浙江大学区块链与数据安全国家重点实验室） ； Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security（杭州高新技术产业开发区（滨江）区块链与数据安全研究院） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 研究多模态大语言模型中KV缓存问题，提出MM-ShiftKV方法，通过构建方差扩展查询代理近似解码时查询行为，基于聚合注意力质量估计KV重要性，在严格缓存预算下性能优于现有方法。

Comments 19 pages, 11 figures

Prompt Compression in Diffusion Large Language Models: Evaluating LLMLingua-2 on LLaDA

在扩散大型语言模型中进行提示压缩：在LLDA上评估LLMLingua-2

Sterling Huang, Abigayle Brown, Jiyoo Noh, Jiakang Xu, Wantong Huo, Kaung Myat Kyaw, Jonathan Chan

机构 * University of Toronto（多伦多大学） ； King Mongkut’s University of Technology Thonburi（泰国科技理工学院） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文研究了提示压缩在扩散大型语言模型中的有效性，通过在LLDA上评估LLMLingua-2，发现提示压缩在数学推理任务中效果不佳，而摘要任务相对稳健，表明为扩散模型设计的提示压缩方法并不适用于所有场景。

Comments Accepted to appear in The 14th International Conference on Advances in Information Technology (IAIT2026)

Learning When to Attend: Conditional Memory Access for Long-Context LLMs

学习何时关注：为长上下文LLM的条件记忆访问

Sakshi Choudhary, Aditya Chattopadhyay, Luca Zancato, Elvis Nunez, Matthew Trager, Wei Xia, Stefano Soatto

机构 * Department of Electrical and Computer Engineering, Purdue University, USA（电子工程系，普渡大学，美国） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；language model(abstract)；pretraining(abstract)；post-training(abstract)

AI总结 本文提出L2A方法，通过条件性长程记忆访问提升长上下文LLM性能，使Qwen 2.5和Qwen 3模型的有效上下文长度从32K扩展到128K，同时提升训练效率并减少内存消耗。

Comments 26 pages, 11 Tables, 18 Figures. Accepted at ICML 2026

VISTA Architect: A graph database-oriented health AI system demonstrated in multidisciplinary tumor boards

VISTA Architect：一种面向图数据库的健康AI系统，在多学科肿瘤委员会中展示

Tuomo Kiiskinen, Jason Fries, Philip Adamson, David Wu, Timothy John Ellis-Caleo, Aaron Fanous, Balasubramanian Narasimhan, Joel Neal, Sylvia Plevritis, Manuel A. Rivas

机构 * Department of Biomedical Data Science, Stanford University School of Medicine（斯坦福大学医学院生物医学数据科学系） ； Department of Medicine, Stanford University School of Medicine（斯坦福大学医学院医学系） 纠错

专题命中 长上下文与记忆 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 提出VISTA Architect架构，通过图数据库和LLM将EHR转化为持久知识图谱，解决长上下文提示和RAG的时序缺失与高成本问题，在胸科肿瘤委员会中实现96.4%准确率。

Comments 22 pages, 4 figures, 6 tables; includes Supplementary Information. Code: https://github.com/VISTA-Stanford/vista-architect (tag v0.1.0-preprint, commit 8837d44)

The Ratchet Effect in Silico: How Interaction Drives Cumulative Intelligence in Large Language Models

通过交互驱动的累积智能在大语言模型中实现的“棘轮效应

Ren Zhuang

机构 * School of Information Science and Technology, Hangzhou Normal University（杭州师范大学信息科学与技术学院） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出POLIS框架，通过异质智能体之间的交互实现知识积累，展示出在数学推理任务中，群体模型的性能提升显著。

Comments 8 pages, 4 figures

Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding

通过动态认知协调解码缓解LLM中的上下文内存冲突

Yigeng Zhou, Wu Li, Yifan Lu, Yequan Wang, Xuebo Liu, Wenya Wang, Jun Yu, Min Zhang, Jing Li

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 长上下文与记忆 ：LLM(title_cn,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出动态认知协调解码方法，通过分析注意力图预测潜在冲突并选择解码路径，提升LLM在处理上下文内存冲突时的准确性和效率，同时构建ConflictKG基准测试集验证效果。

Comments Accepted by IEEE TASLP

Provable Benefits of In-Tool Learning for Large Language Models

大语言模型中工具学习的可证明优势

Sam Houliston, Ambroise Odonnat, Charles Arnal, Vivien Cabannes

机构 * ETH Zürich（苏黎世联邦理工学院） ； Inria, Univ. Rennes 2（法国国家信息与自动化研究所，雷恩第二大学） ； FAIR at Meta（Meta FAIR实验室） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文探讨了工具学习在事实回忆中的优势，证明通过工具可实现无限制的事实回忆，优于单纯记忆。

Journal ref ICLR 2026 MemAgents Workshop

Learning to Forget: Sleep-Inspired Memory Consolidation for Resolving Proactive Interference in Large Language Models

学习遗忘：受睡眠启发的记忆巩固用于缓解大语言模型中的前瞻性干扰

Ying Xie

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 本文提出SleepGate框架，通过引入学习睡眠周期和三个机制缓解大语言模型中的前瞻性干扰，理论分析显示其将干扰范围从O(n)降至O(log n)。

InftyThink: Breaking the Length Limits of Long-Context Reasoning in Large Language Models

InftyThink: 突破大型语言模型长上下文推理的长度限制

Yuchen Yan, Yongliang Shen, Yang Liu, Jin Jiang, Mengdi Zhang, Jian Shao, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Meituan Group（美团集团） ； Peking University（北京大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 InftyThink通过迭代推理与中间摘要机制，突破大型语言模型长上下文推理的长度限制，提升推理深度与效率。

Comments ICLR 2026: https://openreview.net/forum?id=T1h5em349L Project Page: https://zju-real.github.io/InftyThink Code: https://github.com/ZJU-REAL/InftyThink

Focus-LIME: Surgical Interpretation of Long-Context Large Language Models via Proxy-Based Neighborhood Selection

Focus-LIME: 通过基于代理的邻域选择实现长上下文大语言模型的手术解释

Junhao Liu, Haonan Yu, Zhenyu Yan, Xin Zhang

机构 * Key Lab of High Confidence Software Technologies (Peking University)（高可信软件技术重点实验室（北京大学）） ； School of Computer Science, Peking University（计算机学院（北京大学）） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

AI总结 Focus-LIME通过基于代理的邻域选择方法，实现长上下文大语言模型的手术级解释，解决了高维特征空间下的归因稀释问题。

Zer0-Jack: A Memory-efficient Gradient-based Jailbreaking Method for Black-box Multi-modal Large Language Models

Zer0-Jack: 一种内存高效的基于梯度的对抗方法用于黑盒多模态大语言模型

Tiejin Chen, Kaishen Wang, Hua Wei

机构 * Arizona State University（亚利桑那州立大学） ； University of Maryland（马里兰大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

AI总结 Zer0-Jack通过零阶优化实现高效黑盒对抗，显著降低内存使用并提升攻击成功率。

Comments Accepted to EACL 2026 Main

On the Failure of Latent State Persistence in Large Language Models

大型语言模型中潜在状态持续性的失效

Jen-tse Huang, Kaiser Sun, Wenxuan Wang, Mark Dredze

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文揭示大型语言模型在维持持久潜在状态方面的缺陷，通过三个实验展示其在概率分配、概念漂移和变量绑定上的失败，表明LLMs更倾向于反应性求解而非主动规划。

Comments 8 pages, 6 figures, 9 tables

$A^3$: Attention-Aware Accurate KV Cache Fusion for Fast Large Language Model Serving

$A^3$：基于注意力的准确KV缓存融合用于快速大语言模型服务

Yuechi Zhou, Yi Su, Jianxin Zhang, Juntao Li, Qingrong Xia, Zhefeng Wang, Xinyu Duan, Baoxing Huai

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 $A^3$通过基于注意力的准确KV缓存融合技术，有效降低大语言模型服务的解码延迟和内存开销，提升任务性能。

Discourse Graph Guided Document Translation with Large Language Models

Viet-Thanh Pham, Minghan Wang, Hao-Han Liao, Thuy-Trang Vu

机构 * Department of Data Science & AI, Monash University（数据科学与人工智能系，莫纳什大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Backward-Friendly Optimization: Training Large Language Models with Approximate Gradients under Memory Constraints

Jing Yang, Kaitong Cai, Yijia Fan, Yufeng Yang, Keze Wang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

Large Language Models as Model Organisms for Human Associative Learning

Camila Kolling, Vy Ai Vo, Mariya Toneva

机构 * Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI、cs.LG

UltraLLaDA: Scaling the Context Length to 128K for Diffusion Large Language Models

Guangxin He, Shen Nie, Fengqi Zhu, Yuankang Zhao, Tianyi Bai, Ran Yan, Jie Fu, Chongxuan Li, Binhang Yuan

机构 * HKUST（香港科技大学） ； Renmin University of China（中国人民大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；post-training(abstract)

Memory Retrieval and Consolidation in Large Language Models through Function Tokens

Shaohua Zhang, Yuan Lin, Hang Li

机构 * ByteDance Seed（字节跳动种子） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

E3RG: Building Explicit Emotion-driven Empathetic Response Generation System with Multimodal Large Language Model

Ronghao Lin, Shuai Shen, Weipeng Hu, Qiaolin He, Aolin Xiong, Li Huang, Haifeng Hu, Yap-peng Tan

机构 * Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） ； Desay SV Automotive Co., Ltd（德赛西威汽车有限公司） ； Pazhou Laboratory（琶洲实验室） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted at ACM MM 2025 Grand Challenge

SynapticRAG: Enhancing Temporal Memory Retrieval in Large Language Models through Synaptic Mechanisms

Yuki Hou, Haruki Tamoto, Qinghua Zhao, Homei Miyashita

机构 * Meiji University（明治大学） ； Kyoto University（京都大学） ； Hefei University（合肥大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted to ACL 2025 Findings

Journal ref Findings of the Association for Computational Linguistics: ACL 2025, pages 20422-20436 (2025)

Investigating Context-Faithfulness in Large Language Models: The Roles of Memory Strength and Evidence Style

Yuepei Li, Kang Zhou, Qiao Qiao, Bach Nguyen, Qing Wang, Qi Li

机构 * Department of Computer Science（计算机科学系） ； Iowa State University（爱荷华州立大学） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments This work is published at ACL 2025

CNNSum: Exploring Long-Context Summarization with Large Language Models in Chinese Novels

Lingxiao Wei, He Yan, Xiangju Lu, Junmin Zhu, Jun Wang, Wei Zhang

机构 * East China Normal University（东华大学） ； iQIYI Inc（iQIYI公司） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted to ACL 2025 (Findings)

LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation

Zican Dong, Junyi Li, Jinhao Jiang, Mingyu Xu, Wayne Xin Zhao, Bingning Wang, Weipeng Chen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系） ； Baichuan Inc.（百川公司） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

Comments ACL2025 Main

Mitigate Position Bias in Large Language Models via Scaling a Single Dimension

Yijiong Yu, Huiqiang Jiang, Xufang Luo, Qianhui Wu, Chin-Yew Lin, Dongsheng Li, Yuqing Yang, Yongfeng Huang, Lili Qiu

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.LG

Comments Accepted at Findings of ACL 2025