FlexSP: Accelerating Large Language Model Training via Flexible Sequence Parallelism
专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.LG
AI 大模型
语言大模型 / LLM
大语言模型、预训练、指令微调、后训练和语言模型应用。
1. 长上下文与记忆 4797 篇
Evaluating Large Language Models in Vulnerability Detection Under Variable Context Windows
专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.LG
Comments 5 pages, 2 tables. Appeared in ICMLA 2024
Attribute or Abstain: Large Language Models as Long Document Assistants
专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL
Comments Accepted at EMNLP 2024. Code and data: https://github.com/UKPLab/arxiv2024-attribute-or-abstain
Levels of AI Agents: from Rules to Large Language Models
专题命中 长上下文与记忆 ：large language model(title)；language model(title)；LLM(abstract)；分类 cs.CL
Studying Large Language Model Behaviors Under Context-Memory Conflicts With Real Documents
专题命中 长上下文与记忆 ：language model(title,abstract)；large language model(title)；分类 cs.LG
Animate, or Inanimate, That is the Question for Large Language Models
专题命中 长上下文与记忆 ：large language model(title)；language model(title)；prompting(abstract)；分类 cs.CL
Neuromorphic Diffusion Language Models: Addressing Compute and Memory Bottlenecks via Sparsity and Block Denoising
神经形态扩散语言模型：通过稀疏性和块去噪解决计算和内存瓶颈
机构 * King’s College London（伦敦国王学院） ； Institute for Intelligent Networked Systems (INSI), Northeastern University London（伦敦东北大学智能网络系统研究所）
专题命中 长上下文与记忆 ：language model(title,abstract)；LLM(abstract_cn)；large language model(abstract)；分类 cs.CL、cs.LG
AI总结 研究针对自回归大语言模型推理低效问题，提出神经形态掩码扩散语言模型，结合块扩散与脉冲神经形态计算，利用脉冲诱导稀疏性减少参数流量和计算，开发模型分析协同效应，实验表明该模型在能源效率和吞吐量上有显著提升。
Comments Accepted for presentation at 2026 IEEE Workshop on Signal Processing Systems (SiPS)
SyRuP: Enhancing System-Prompt Following via Reward-Guided Prediction in LLM Decoding
SyRuP：通过大语言模型解码中的奖励引导预测增强系统提示遵循
机构 * Yonsei University（延世大学）
专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)
AI总结 研究如何增强大语言模型对系统提示的遵循，提出SyRuP框架，通过训练交叉注意力奖励头产生令牌级遵循分数，推理时结合多种信号对候选重新排序，实验表明该方法能有效提升系统提示遵循度且开销适度。
Comments under review, 23 pages
CAMeR: Keyword-Gated Hybrid Activation for Adaptive Memory Retention in LLM Agents
CAMeR：用于大语言模型智能体中自适应记忆保留的关键词门控混合激活
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 研究大语言模型智能体记忆问题，提出CAMeR框架，结合关键词门控混合激活与自适应权重动态。通过CAMeR-Bench测试，表明其关键词门控效果好，能有效节省令牌并提高检索精度，证明混合符号-神经门控可实现自适应记忆保留。
MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning
MILES：用于自我改进的语言模型推理的具有可学习选择的模块化指令内存
机构 * University of New South Wales（新南威尔士大学）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG
AI总结 研究针对LLMs测试时推理问题，提出MILES框架，通过动态扩展内存及正确性优化的内存组合，利用模块化内存单元与可学习选择头实现粗到细检索机制，实验表明该框架在性能、效率及权衡上表现出色。
Evaluating Memory in LLM Agents via Incremental Multi-Turn Interactions
通过增量多轮交互评估LLM代理的记忆能力
机构 * University of California, San Diego（加利福尼亚大学圣迭戈分校）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出MemoryAgentBench，通过多轮交互模拟记忆代理的信息积累过程，评估准确检索、测试时学习、长程理解与选择性遗忘四项核心能力。
Comments Y. Hu and Y. Wang contribute equally
ANNEAL: Adapting LLM Agents via Governed Symbolic Patch Learning
ANNEAL：通过受控符号补丁学习适应大语言模型代理
机构 * University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校） ； University at Buffalo（布法罗大学） ； University of Colorado Boulder（科罗拉多大学博尔德分校） ； University of Colorado Colorado Springs（科罗拉多大学科罗拉多州立分校）
专题命中 长上下文与记忆 ：LLM(title,abstract)；foundation model(abstract)；分类 cs.AI、cs.LG
AI总结 ANNEAL通过受控符号补丁学习适应大语言模型代理，解决重复故障问题，其核心机制FDKA能定位责任操作符并生成类型补丁，实现持久结构修复，优于现有方法。
Comments Code Implementation: https://github.com/sbhakim/anneal-agents
Derivation Prompting: A Logic-Based Method for Improving Retrieval-Augmented Generation
推导提示：一种基于逻辑的方法，用于提高检索增强生成
机构 * Instituto de Computación, Facultad de Ingeniería, Universidad de la República（计算研究所，工程学院，乌拉圭共和国大学）
专题命中 长上下文与记忆 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出推导提示方法，通过系统应用预定义规则从初始假设推导结论，以提高检索增强生成中生成过程的可控性和准确性。
Journal ref Advances in Artificial Intelligence IBERAMIA 2024, LNCS 15277, pp. 412 423, Springer (2025)
The Memory Curse: How Expanded Recall Erodes Cooperative Intent in LLM Agents
记忆诅咒：扩展回忆如何在LLM代理中侵蚀合作意图
机构 * Carnegie Mellon University（卡内基梅隆大学） ； Foundations of Cooperative AI Lab (FOCAL)（合作人工智能基础实验室） ； University of Michigan（密歇根大学） ； Harvard University（哈佛大学）
专题命中 长上下文与记忆 ：LLM(title,title_cn)；分类 cs.CL、cs.AI
AI总结 研究发现扩展回忆会系统性地削弱多代理社会困境中的合作意图，通过三种分析揭示记忆内容对合作的影响，证明记忆是影响多代理行为的主动因素。
Conversation Tree Architecture: A Structured Framework for Context-Aware Multi-Branch LLM Conversations
对话树架构：一种面向上下文感知多分支LLM对话的结构化框架
机构 * Pandemonium Research（Pandemonium研究院）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 本文提出对话树架构（CTA），通过层次化结构管理LLM对话，解决传统扁平结构导致的上下文污染问题，提供结构化对话上下文管理方法。
Comments 6 pages, 1 figure. Prototype available at https://the-conversation-tree.vercel.app/app
RelayCaching: Accelerating LLM Collaboration via Decoding KV Cache Reuse
RelayCaching: 通过解码KV缓存重用加速LLM协作
机构 * Beijing University of Posts（北京邮电大学） ； Tsinghua University, Beijing, China（清华大学） ； University of Electronic Science（电子科学大学） ； Peking University, Beijing, China（北京大学）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出RelayCaching方法，通过重用前序代理的解码阶段KV缓存，在多代理LLM系统中减少冗余预填充计算，提升效率与准确性。
Exploratory Memory-Augmented LLM Agent via Hybrid On- and Off-Policy Optimization
探索性记忆增强型大语言模型代理：通过混合的在线与离线策略优化
机构 * Microsoft Research（微软研究院） ； KAIST（韩国科学技术院）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 EMPO²通过混合在线与离线策略优化，提升大语言模型在探索性和通用性方面的性能。
Comments Accepted to ICLR 2026
Memex(RL): Scaling Long-Horizon LLM Agents via Indexed Experience Memory
Memex(RL): 通过索引经验记忆扩展长周期LLM代理
机构 * Center for Advanced AI, Accenture（先进人工智能中心，埃森哲）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG
AI总结 Memex(RL)通过索引经验记忆机制，实现长周期LLM代理的高效记忆管理，减少信息损失并提升任务成功率。
PlugMem: A Task-Agnostic Plugin Memory Module for LLM Agents
PlugMem: 一种通用插件记忆模块用于LLM代理
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tsinghua University（清华大学） ； Microsoft Research（微软研究院）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 PlugMem是一种通用记忆模块，通过知识中心的记忆图结构提升LLM代理在复杂任务中的记忆检索与推理能力。
Enhancing LLM-Based Test Generation by Eliminating Covered Code
通过消除已覆盖代码增强基于LLM的测试生成
机构 * University of Notre Dame（诺丁汉大学） ； Washington State University（华盛顿州立大学）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出一种基于LLM的单元测试生成方法，通过上下文检索和迭代测试生成与代码消除，提升复杂方法的测试覆盖率。
Comments 9 pages, 4 figures, supplementary material included
Memory-Based Advantage Shaping for LLM-Guided Reinforcement Learning
基于记忆的优势塑造用于LLM引导的强化学习
机构 * Carnegie Mellon University（卡内基梅隆大学）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出一种基于记忆的优势塑造方法，通过构建记忆图来提升LLM引导强化学习的样本效率和学习速度，减少对连续LLM监督的依赖。
Comments Association for the Advancement of Artificial Intelligence (AAAI)
MIRA: Memory-Integrated Reinforcement Learning Agent with Limited LLM Guidance
MIRA: 集成记忆的强化学习智能体与有限LLM指导
机构 * University of Southern California（南加州大学） ； Carnegie Mellon University（卡内基梅隆大学）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 MIRA通过集成记忆图减少对LLM的依赖，提升稀疏奖励环境中的强化学习性能。
Comments International Conference on Learning Representations (ICLR'26)
Choosing How to Remember: Adaptive Memory Structures for LLM Agents
选择如何记忆：面向LLM代理的自适应记忆结构
机构 * University of Technology Sydney（悉尼大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； The University of Melbourne（墨尔本大学）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出FluxMem框架，通过自适应记忆结构选择和三级记忆层次结构，提升LLM代理在长时间交互中的表现，实验显示平均提升9.18%和6.14%。
LycheeDecode: Accelerating Long-Context LLM Inference via Hybrid-Head Sparse Decoding
LycheeDecode: 通过混合头稀疏解码加速长上下文LLM推理
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳研究院）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 LycheeDecode通过混合头稀疏解码方法，实现长上下文LLM推理的高效与高质量
Comments ICLR 2026
Fast Forward: Accelerating LLM Prefill with Predictive FFN Sparsity
快速推进：通过预测性FFN稀疏性加速LLM预填
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 FastForward通过预测性FFN稀疏性加速LLM预填，实现计算瓶颈速度提升1.45倍，精度损失低于6%
Comments 10 pages, 7 figures
ShardMemo: Masked MoE Routing for Sharded Agentic LLM Memory
ShardMemo: 用于分片代理LLM内存的遮蔽MoE路由
机构 * Department of XXX, University of YYY, Location, Country（XXX系，YYY大学，地点，国家） ； School of ZZZ, Institute of WWW, Location, Country（ZZZ学院，WWW研究所，地点，国家）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 ShardMemo通过遮蔽MoE路由优化分片代理LLM内存，提升F1分数并减少检索工作和延迟
Evaluating Novelty in AI-Generated Research Plans Using Multi-Workflow LLM Pipelines
利用多工作流LLM管道评估AI生成的研究计划新颖性
机构 * Birla Institute of Technology and Science, Pilani, India（比拉理工学院和科学学院，皮兰迪）
专题命中 长上下文与记忆 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)
AI总结 本文通过多工作流LLM管道评估AI生成研究计划的新颖性，发现递归分解和长上下文工作流在新颖性和可行性方面表现更优。
Comments Under Review
Modeling LLM Agent Reviewer Dynamics in Elo-Ranked Review System
在Elo排名评审系统中建模LLM代理评审动态
机构 * University of Washington（华盛顿大学）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 本文研究了在Elo排名评审系统中，通过整合Elo评分和评审者记忆提升领域主席决策准确性的LLM代理评审动态。
Comments In submission. The first two authors contributed equally
BackdoorAgent: A Unified Framework for Backdoor Attacks on LLM-based Agents
BackdoorAgent: 一个统一框架用于针对基于LLM的代理的后门攻击
机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Singapore Management University（新加坡管理大学） ； Alibaba Group（阿里巴巴集团） ； Deakin University（德肯大学） ； Hunan Institute of Advanced Technology（湖南高级技术研究所）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI
AI总结 BackdoorAgent提出一个统一框架，分析LLM代理中后门攻击的跨阶段传播和触发器持续性，揭示代理工作流的脆弱性。
GPU Kernel Optimization Beyond Full Builds: An LLM Framework with Minimal Executable Programs
GPU内核优化超越完整构建：一种带有性能反馈的LLM框架，使用最小可执行程序
机构 * School of Software Engineering, Xi'an Jiaotong University, China（软件工程学院，西安交通大学）
专题命中 长上下文与记忆 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG
AI总结 该研究提出一种LLM框架，通过最小可执行程序实现无需完整构建的GPU内核优化，提升性能并降低开发成本。
