语言大模型 / LLM

Punctuation-aware Hybrid Trainable Sparse Attention for Large Language Models

具有标点意识的混合可训练稀疏注意力机制用于大语言模型

Junxiang Qiu, Shuo Wang, Zhengsu Chen, Hengheng Zhang, Jinda Lu, Changcheng Li, Qi Tian

机构 * University of Science and Technology of China（中国科学技术大学） ； Huawei Inc.（华为公司） 纠错

专题命中 长上下文与记忆 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 PHSA通过利用标点符号作为语义边界锚点，提出了一种混合可训练稀疏注意力机制，有效减少信息损失并提升大语言模型的长上下文处理能力。

DIP: Dynamic In-Context Planner For Diffusion Language Models

DIP: 用于扩散语言模型的动态上下文规划器

Yang Li, Han Meng, Chenan Wang, Haipeng Chen

机构 * College of William & Mary（威廉姆斯堡学院） 纠错

专题命中 长上下文与记忆 ：language model(title,abstract)；分类 cs.CL、cs.AI

AI总结 DIP是一种用于扩散语言模型的上下文优化方法，通过动态选择和插入上下文示例提升生成效率，实现显著的推理加速。

Comments 4 pages

CodeMEM: AST-Guided Adaptive Memory for Repository-Level Iterative Code Generation

CodeMEM: 基于AST的适应性内存用于仓库级迭代代码生成

Peiding Wang, Li Zhang, Fang Liu, Chongyang Tao, Yinghao Zhu

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 CodeMEM通过基于AST的动态内存管理，提升仓库级迭代代码生成的指令遵循能力与效率。

Comments preprint

LiCoMemory: Lightweight and Cognitive Agentic Memory for Efficient Long-Term Reasoning

LiCoMemory: 轻量级和认知代理记忆用于高效的长期推理

Zhengjun Huang, Zhoujin Tian, Qintian Guo, Fangyuan Zhang, Yingli Zhou, Di Jiang, Zeying Xie, Xiaofang Zhou

专题命中 长上下文与记忆 ：LLM(abstract)；large language model(abstract)；language model(abstract)

AI总结 LiCoMemory通过轻量级分层图和时间感知检索提升长期对话推理效率和准确性

Agentic Memory Enhanced Recursive Reasoning for Root Cause Localization in Microservices

基于代理记忆的递归推理用于微服务根因定位

Lingzhe Zhang, Tong Jia, Yunpeng Zhai, Leyi Pan, Chiming Duan, Minghua He, Mengxi Jia, Ying Li

机构 * Peking University（北京大学） ； Alibaba Group（阿里巴巴集团） ； Tsinghua University（清华大学） ； Institute of Artificial Intelligence（人工智能研究院） 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 本文提出AMER-RCL框架，通过递归推理和代理记忆提升微服务根因定位的准确性和效率。

Comments accepted by ICSE-SEIP'26

Orchestral AI: A Framework for Agent Orchestration

Orchestral AI: 一个用于智能体协调的框架

Alexander Roman, Jacob Roman

机构 * Orchestral AI 纠错

专题命中 长上下文与记忆 ：LLM(abstract)；分类 cs.AI

AI总结 Orchestral AI 提供了一个统一的Python框架，用于跨多个LLM供应商构建智能体，通过类型安全接口和自动工具模式生成，简化了工具调用和跨供应商集成。

Comments 17 pages, 3 figures. For more information visit https://orchestral-ai.com