语言大模型 / LLM

LightThinker++: From Reasoning Compression to Memory Management

LightThinker++：从推理压缩到内存管理

Yuqi Zhu, Jintian Zhang, Zhenjie Wan, Yujie Luo, Shuofei Qiao, Zhengke Gui, Da Zheng, Lei Liang, Huajun Chen, Ningyu Zhang

机构 * Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出LightThinker++，通过引入显式自适应内存管理，有效压缩LLM推理过程中的中间思维，减少内存占用并提升推理效率，尤其在长周期智能任务中表现突出。

Comments Work in progress. This is an extended version of LightThinker

DAInfer+: Neurosymbolic Inference of API Specifications from Documentation via Embedding Models

DAInfer+: 通过嵌入模型从文档中推断API规范的神经符号推理

Maryam Masoudian, Anshunkang Zhou, Chengpeng Wang, Charles Zhang

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出DAInfer+，利用NLP和嵌入模型从库文档推断API规范，通过神经符号优化提高数据流和别名关系推断的精度与效率。

Comments 35 pages, Under submission to ACM Transactions on Software Engineering and Methodology (TOSEM)

Investigating the Fundamental Limit: A Feasibility Study of Hybrid-Neural Archival

探讨基本极限：混合神经存档的可行性研究

Marcus Armstrong, ZiWei Qiu, Huy Q. Vo, Arjun Mukherjee

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

AI总结 本文探讨了基于大语言模型的存档系统可行性，提出混合LLM架构，发现GPU蝴蝶效应阻碍部署，并通过新的logit量化协议测量神经压缩率，揭示检索与预测密度差异。

Self-Distillation for Multi-Token Prediction

多令牌预测的自蒸馏

Guoliang Zhao, Ruobing Xie, An Wang, Shuaipeng Li, Huaibing Xie, Xingwu Sun

机构 * Large Language Model Department, Tencent（腾讯大语言模型部门） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出MTP-D自蒸馏方法，提升多令牌预测头接受率并保持主头性能，通过循环扩展策略进一步提升推理效率。

AgenticGEO: A Self-Evolving Agentic System for Generative Engine Optimization

AgenticGEO: 一种自演化代理系统用于生成引擎优化

Jiaqi Yuan, Jialu Wang, Zihan Wang, Qingyun Sun, Ruijie Wang, Jianxin Li

机构 * School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出AgenticGEO，通过将优化问题建模为内容条件控制问题，提升内容质量以适应生成引擎的不可预测行为，采用MAP-Elites档案进化多样策略，并引入Co-Evolving Critic降低交互成本，实验证明其在多个数据集上优于14个基线方法。

Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering

信念动力学揭示了上下文学习和激活引导的双重本质

Eric Bigelow, Daniel Wurgaft, YingQiao Wang, Noah Goodman, Tomer Ullman, Hidenori Tanaka, Ekdeep Singh Lubana

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文从贝叶斯视角提出统一框架，解释LLM通过上下文学习和激活引导控制行为的双重本质，并预测其在不同干预下的行为变化。

Fibration Policy Optimization

纤维策略优化

Chang Li, Tshihao Tsu, Yaren Zhang, Chao Xue, Xiaodong He

机构 * JD Explore Academy（京东探索研究院） ； Carleton University（卡尔顿大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 纤维策略优化通过引入聚合策略裁剪目标和纤维束门控框架，实现多尺度稳定性控制，提升大语言模型策略优化的效率与效果。

One Size Does Not Fit All: Token-Wise Adaptive Compression for KV Cache

一个尺寸并不适合所有：针对KV缓存的令牌级自适应压缩

Liming Lu, Kaixi Qiu, Jiayu Zhou, Jushi Kai, Haoyan Zhang, Huanyu Wang, Jingwen Leng, Ziwei He, Zhouhan Lin

机构 * LUMIA Lab（LUMIA实验室） ； School of Artificial Intelligence（人工智能学院） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； John Class Zhiyuan College（约翰·类智院） ； School of Computer Science（计算机科学学院） ； School of Mathematical Sciences（数学科学学院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 DynaKV 是一种基于令牌级自适应压缩的KV缓存压缩方法，通过动态分配压缩率提升压缩比下的保真度，实现内存减少与生成质量的平衡。

TADA: A Generative Framework for Speech Modeling via Text-Acoustic Dual Alignment

TADA: 一种通过文本-语音双模对齐生成语音模型的框架

Trung Dang, Sharath Rao, Ananya Gupta, Christopher Gagne, Panagiotis Tzirakis, Alice Baird, Jakub Piotr Cłapa, Peter Chin, Alan Cowen

机构 * Hume AI ； Dartmouth College（达特茅斯学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SLM(abstract)

AI总结 TADA通过文本-语音双模对齐生成框架，实现语音与文本的一对一同步建模，提升语音生成的保真度和效率，减少幻觉并降低推理成本。

Enhancing Delta Compression in LLMs via SVD-based Quantization Error Minimization

通过基于SVD的量化误差最小化增强LLM中的delta压缩

Boya Xiong, Shuo Wang, Weifeng Ge, Guanhua Chen, Yun Chen

机构 * Shanghai University of Finance（上海财经大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） ； Southern University of Science（南方科技大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 PrinMix通过基于SVD的量化误差最小化方法，提升LLM中delta压缩的效率与性能。

When Attention Collapses: How Degenerate Layers in LLMs Enable Smaller, Stronger Models

当注意力崩溃：LLMs中的退化层如何使小型模型更强大

Sunny Sanyal, Ravid Shwartz-Ziv, Alexandros G. Dimakis, Sujay Sanghavi

机构 * The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； New York University（纽约大学） ； UC Berkeley（伯克利加州大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Inheritune通过继承预训练模型的早期层来构建更小但更强的语言模型，实现模型压缩与性能的平衡。

Comments Published in Transactions on Machine Learning Research (TMLR)

Unleashing MLLMs on the Edge: A Unified Framework for Cross-Modal ReID via Adaptive SVD Distillation

在边缘侧释放MLLMs：通过自适应SVD蒸馏实现跨模态重识别的统一框架

Hongbo Jiang, Jie Li, Xinqi Cai, Tianyu Xie, Yunhang Shen, Pingyang Dai, Liujuan Cao

机构 * Tencent Youtu Lab, Shanghai, China（腾讯优图实验室，上海，中国） ； Xiamen University, Media Analytics（厦门大学，媒体分析） ； Computing Lab, Department of Artificial Intelligence, School of Informatics, Xiamen, China（计算实验室，人工智能系，信息学院，厦门，中国） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；SFT(abstract)；prompting(abstract)

AI总结 本文提出MLLMEmbed-ReID框架，通过自适应SVD蒸馏实现跨模态重识别的统一部署，结合云-边缘架构提升性能与效率。

Comments Equal contribution by Jie Li

ToolACE-MT: Non-Autoregressive Generation for Agentic Multi-Turn Interaction

ToolACE-MT：非自回归生成用于代理多轮交互

Xingshan Zeng, Weiwen Liu, Lingzhi Wang, Liangyou Li, Fei Mi, Yasheng Wang, Lifeng Shang, Xin Jiang, Qun Liu

机构 * Huawei Technologies Co., Ltd（华为技术有限公司） ； Shanghai Jiao Tong University（上海交通大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ToolACE-MT通过非自回归生成方法高效构建高质量多轮代理对话，解决传统自回归方法效率低下的问题。

Comments Accepted by ICLR2026

Bridging the Knowledge Void: Inference-time Acquisition of Unfamiliar Programming Languages for Coding Tasks

弥合知识鸿沟：在推理时获取不熟悉编程语言以完成编码任务

Chen Shen, Wei Cheng, Jingyue Yang, Huan Zhang, Yuhan Wu, Wei Hu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家重点实验室，南京大学，中国） ； National Institute of Healthcare Data Science, Nanjing University, China（健康数据科学国家研究院，南京大学，中国） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ILA-agent框架，通过推理时动态交互获取不熟悉编程语言，提升编码任务性能。

In-context Time Series Predictor

上下文时间序列预测器

Jiecheng Lu, Yan Sun, Shihao Yang

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出一种基于上下文的时间序列预测方法，通过将时间序列预测任务转化为输入标记，提高了参数效率并减少了过拟合问题。

Comments Camera-ready version. Accepted at ICLR 2025

Journal ref Proceedings of the Thirteenth International Conference on Learning Representations (ICLR 2025)

LittleBit: Ultra Low-Bit Quantization via Latent Factorization

LittleBit：通过潜在因子分解实现超低比特量化

Banseok Lee, Dongkyu Kim, Youngcheon You, Youngmin Kim

机构 * Samsung Research（三星研究院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 LittleBit通过潜在因子分解实现超低比特量化，实现高达31倍的内存压缩，同时在亚1比特域内提升模型性能，达到FP16的11.6倍推理加速。

Comments Accepted to NeurIPS 2025. Banseok Lee and Dongkyu Kim contributed equally

SpecFLASH: A Latent-Guided Semi-autoregressive Speculative Decoding Framework for Efficient Multimodal Generation

SpecFLASH: 一种基于潜在引导的半自回归推测解码框架，用于高效多模态生成

Zihua Wang, Ruibo Li, Haozhe Du, Joey Tianyi Zhou, Yu Zhang, Xu Yang

机构 * Southeast University, Nanjing, China（东南大学） ； Nanyang Technological University, Singapore（南洋理工大学） ； A STAR Centre for Frontier AI Research (CFAR), Singapore（A STAR前沿人工智能研究中心） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

AI总结 SpecFLASH是一种针对多模态生成的高效推测解码框架，通过潜在引导的token压缩和半自回归解码方案，显著提升视觉任务的解码速度。

Comments Under review

PRISM: Parametrically Refactoring Inference for Speculative Sampling Draft Models

PRISM: 参数化重构推理用于推测采样草案模型

Xuliang Wang, Yuetao Chen, Maochan Zhen, Fang Liu, Xinzhou Zheng, Xingwu Liu, Hong Xu, Ming Li

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 PRISM通过参数化重构推理方法，有效解耦模型容量与推理成本，提升LLM解码效率。

DRAINCODE: Stealthy Energy Consumption Attacks on Retrieval-Augmented Code Generation via Context Poisoning

DRAINCODE: 通过上下文污染对基于检索增强的代码生成进行隐秘的能量消耗攻击

Yanlin Wang, Jiadong Wu, Tianyue Jiang, Mingwei Liu, Jiachi Chen, Chong Wang, Ensheng Shi, Xilin Liu, Yuchi Ma, Zibin Zheng

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 DrainCode通过上下文污染攻击，显著增加LLM的延迟和能耗，揭示了RAG代码生成系统在安全性和资源约束下的潜在风险。

Comments 16 pages, 4 figures

On Fine-Grained I/O Complexity of Attention Backward Passes

关于注意力反向传递中细粒度I/O复杂度

Xiaoyu Li, Yingyu Liang, Zhenmei Shi, Zhao Song, Song Yue, Jiahao Zhang

机构 * Department of XXX, University of YYY, Location, Country（YYY大学XXX系） ； School of ZZZ, Institute of WWW, Location, Country（WWW研究所ZZZ学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文研究了注意力机制中细粒度I/O复杂度，提出了一种在小缓存环境下优于现有方法的算法，并为高效LLM训练和推理提供了理论指导。

A Prompt-Based Framework for Loop Vulnerability Detection Using Local LLMs

基于提示的本地LLM循环漏洞检测框架

Adeyemi Adeseye, Aisvarya Adeseye

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出基于本地LLM的循环漏洞检测框架，利用提示技术提高代码分析的准确性和安全性，验证Phi模型在性能上的优势。

Comments Accepted and Waiting to be published ICAI'25: 27th International Conference on Artificial Intelligence https://american-cse.org/csce2025/conferences-ICAI

LLMs can hide text in other text of the same length

LLMs可通过相同长度的文本隐藏信息

Antonio Norelli, Michael Bronstein

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Calgacus协议，利用LLM在相同长度文本中隐藏信息，揭示了文本与意图脱钩的潜在风险，引发对AI安全和理解的深刻反思。

Comments 21 pages, main paper 9 pages. v5 contains an Italian translation of this paper by the author

ReCode: Unify Plan and Action for Universal Granularity Control

ReCode：统一计划与行动以实现通用粒度控制

Zhaoyang Yu, Jiayi Zhang, Huixue Su, Yufan Zhao, Yifan Wu, Mingyi Deng, Jinyu Xiang, Yizhang Lin, Lingxiao Tang, Yuyu Luo, Bang Liu, Chenglin Wu

机构 * DeepWisdom ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Renmin University of China（中国人民大学） ； Zhejiang University（浙江大学） ； Université de Montréal & Mila（蒙特利尔大学及Mila） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ReCode通过递归代码生成统一规划与行动，实现通用粒度控制，提升智能体在不同决策粒度上的灵活性和效率。

Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting

通过回顾轨迹重写实现LM代理的样本高效在线学习

Michael Y. Hu, Benjamin Van Durme, Jacob Andreas, Harsh Jhamtani

机构 * New York University（纽约大学） ； Microsoft（微软） 纠错

专题命中 效率与部署 ：language model(abstract)；prompting(abstract)；language agent(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 ECHO通过回顾轨迹重写提升LM代理的样本效率，有效利用过去经验以更快适应新环境。

KVCrush: Key value cache size-reduction using similarity in head-behaviour

KVCrush: 利用头部行为相似性进行键值缓存尺寸缩减

Gopi Krishna Jha, Sameh Gobriel, Liubov Talamanova, Nilesh Jain

机构 * Intel Corporation（英特尔公司） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 KVCrush通过利用头部行为相似性，减少KV缓存尺寸并提升模型精度，兼容多种实际部署方案。

Journal ref Proceedings of the 17th Asian Conference on Machine Learning (2025), PMLR

PAACE: A Plan-Aware Automated Agent Context Engineering Framework

PAACE：一种计划感知的自动代理上下文工程框架

Kamer Ali Yuksel

机构 * Kamer Ali Yuksel（独立研究者） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 PAACE通过计划感知的上下文工程框架提升LLM代理的准确性并减少上下文负载，实现高效多步骤任务处理。

GoodSpeed: Optimizing Fair Goodput with Adaptive Speculative Decoding in Distributed Edge Inference

GoodSpeed: 通过自适应猜测解码优化公平的好吞吐量在分布式边缘推断中

Phuong Tran, Tzu-Hao Liu, Long Tan Le, Tung-Anh Nguyen, Van Quan La, Eason Yu, Han Shu, Choong Seon Hong, Nguyen H. Tran

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 GOODSPEED通过自适应猜测解码优化分布式边缘推断中的公平好吞吐量，采用梯度调度算法实现资源高效分配。

Comments Accepted at INFOCOM 2026

Token Sugar: Making Source Code Sweeter for LLMs through Token-Efficient Shorthand

Token Sugar：通过高效的token缩写使源代码更甜

Zhensu Sun, Chengran Yang, Xiaoning Du, Zhou Yang, Li Li, David Lo

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；pretraining(abstract)

AI总结 Token Sugar通过高效的token缩写减少源代码的token数量，提升LLM在代码生成中的效率和性能。

Comments Accepted by ASE'25

OMNIGUARD: An Efficient Approach for AI Safety Moderation Across Languages and Modalities

OMNIGUARD：一种跨语言和模态的高效AI安全审查方法

Sahil Verma, Keegan Hines, Jeff Bilmes, Charlotte Siska, Luke Zettlemoyer, Hila Gonen, Chandan Singh

机构 * University of Washington（华盛顿大学） ； Microsoft（微软公司） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 Omniguard提出了一种跨语言和模态的高效方法，通过构建语言或模态无关的分类器提升有害提示检测的准确率，并在多语言、图像和音频提示任务中取得显著效果。

The Oracle and The Prism: A Decoupled and Efficient Framework for Generative Recommendation Explanation

oracle 与 prism：一种解耦且高效的生成推荐解释框架

Jiaheng Zhang, Daqiang Zhang

机构 * Sun Yat-sen University（中山大学） ； School of Software Engineer Tong ji University（同济大学软件工程学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 prism 通过解耦推荐过程和蒸馏技术，提升可解释推荐系统的效率与可信度。

Comments 12pages,3 figures