语言大模型 / LLM

Lightning OPD: Efficient Post-Training for Large Reasoning Models with Offline On-Policy Distillation

Lightning OPD: 为大推理模型高效实现离线在线蒸馏

Yecheng Wu, Song Han, Hai Cai

机构 * NVIDIA 纠错

专题命中 效率与部署 ：post-training(title,abstract)；LLM(abstract,abstract_cn)；SFT(abstract,abstract_cn)；large language model(abstract)

AI总结 本文提出Lightning OPD，通过强制教师一致性消除对实时教师服务器的需求，实现高效离线在线蒸馏，实验表明其在数学推理和代码生成任务中性能与传统OPD相当，训练效率提升4倍。

Distillation Traps and Guards: A Calibration Knob for LLM Distillability

知识蒸馏陷阱与守护：一种用于LLM可蒸馏性的校准调节器

Weixiao Zhan, Yongcheng Jing, Leszek Rutkowski, Dacheng Tao

机构 * Generative AI Lab, College of Computing and Data Science（生成人工智能实验室，计算与数据科学学院） ； Nanyang Technological University（南洋理工大学） ； Systems Research Institute of the Polish Academy of Sciences（波兰科学院系统研究所） ； AGH University of Krakow（克拉科夫AGH大学） ； SAN University（SAN大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；SFT(abstract,abstract_cn)；large language model(abstract)；language model(abstract)

AI总结 本文分析了知识蒸馏中的陷阱，提出了一种后处理校准方法，通过强化学习微调控制教师模型的可蒸馏性，提升蒸馏效果和模型安全性。

ProTrain: Efficient LLM Training via Memory-Aware Techniques

ProTrain: 通过内存感知技术实现高效的LLM训练

Hanmei Yang, Jin Zhou, Yao Fu, Xiaoqun Wang, Ramine Roane, Hui Guan, Tongping Liu

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Advanced Micro Devices, Inc.（先进微器件公司） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出ProTrain系统，通过自动调整内存管理策略提升LLM训练效率，无需人工干预，实验显示训练吞吐量提升1.43至2.71倍。

Comments Accepted to MLSys 2026

Efficient Strategy for Improving Large Language Model (LLM) Capabilities

Julián Camilo Velandia Gutiérrez

机构 * Universidad Nacional de Colombia（哥伦比亚国立大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(title)；分类 cs.CL、cs.LG

Comments Based on master's thesis in Systems and Computer Engineering, Universidad Nacional de Colombia (2025)

Exploring Audio Editing Features as User-Centric Privacy Defenses Against Large Language Model(LLM) Based Emotion Inference Attacks

Mohd. Farhan Israk Soumik, W. K. M. Mithsara, Abdur R. Shahid, Ahmed Imteaj

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(title)；分类 cs.AI、cs.LG

Comments Accepted for presentation(Poster) at PPAI-25: The 6th AAAI Workshop on Privacy-Preserving Artificial Intelligence

CPTQuant - A Novel Mixed Precision Post-Training Quantization Techniques for Large Language Models

Amitash Nanda, Sree Bhargavi Balija, Debashis Sahoo

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；post-training(title)；分类 cs.CL、cs.LG

Comments 11 pages, 9 figures

DISP-LLM: Dimension-Independent Structural Pruning for Large Language Models

Shangqian Gao, Chi-Heng Lin, Ting Hua, Tang Zheng, Yilin Shen, Hongxia Jin, Yen-Chang Hsu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(title)；分类 cs.CL、cs.LG

Comments Accepted by NeurIPS 2024

Measuring Five-Nines Reliability: Sample-Efficient LLM Evaluation in Saturated Benchmarks

测量五九可靠性：在饱和基准上的样本高效LLM评估

Eungyeup Kim, Chenchen Gu, Vashisth Tiwari, J. Zico Kolter

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出通过交叉熵方法学习失败倾向输入分布，显著减少LLM评估所需推理次数，揭示模型在标准基准上表现相近但可靠性差异显著的问题。

Comments Project page: https://five-nines-reliability.notion.site/Measuring-Five-Nines-Reliability-Sample-Efficient-LLM-Evaluation-in-Saturated-Benchmarks-312b998d4f39802d88c0e9886db1b9cd

Semantic Bundling: Interactive Node and Edge Bundling to Simplify Knowledge Graphs using Large Language Models

语义捆绑：使用大语言模型简化知识图谱的交互式节点与边捆绑

Adam Coscia, Zeyu Hua, Eric Krokos, Timothy Lin, Alex Endert

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)

AI总结 该研究提出基于LLM的语义捆绑技术，在开源系统AgentK中实现，用于简化知识图谱，通过节点边捆绑形成高级结构，在电影评论等场景中可揭示文档集合新见解。

Comments Under review. 12 pages, 13 figures

Large Language Models Explore by Latent Distilling

通过潜在蒸馏探索大语言模型

Yuanhao Zeng, Ao Lu, Lufei Li, Zheng Zhang, Yexin Li, Kan Ren

机构 * State Key Laboratory of General Artificial Intelligence, BIGAI, Beijing, China（人工智能通用基础理论国家重点实验室，BIGAI，北京，中国） ； School of Information Science and Technology, ShanghaiTech University, Shanghai, China（信息科学与技术学院，上海交通大学，上海，中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出Exploratory Sampling方法，通过蒸馏模型引导生成过程，提升语义多样性与推理效率，在数学、科学和代码生成中表现优异。

Comments 25 pages, 5 figures. Accepted in ICML 2026

KDFlow: A User-Friendly and Efficient Knowledge Distillation Framework for Large Language Models

KDFlow：一种用户友好且高效的大型语言模型知识蒸馏框架

Songming Zhang, Xue Zhang, Tong Zhang, Bojie Hu, Yufeng Chen, Jinan Xu

机构 * Key Laboratory of Big Data & Artificial Intelligence in Transportation, (Beijing Jiaotong University), Ministry of Education（大数据与人工智能交通运输联合实验室，（北京交通大学）教育部） ； School of Computer Science and Technology, Beijing Jiaotong University, Beijing, China（计算机科学与技术学院，北京交通大学，北京，中国） ； Tencent Inc, China（腾讯公司，中国） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 KDFlow通过解耦架构和SGLang实现高效蒸馏，平衡通信成本与性能，实现1.44至6.36倍加速。

Comments 9 pages, 4 figures, 4 tables, code is available at: https://github.com/songmzhang/KDFlow

A Unified Approach to Interpreting Knowledge Distillation for Large Language Models via Interactions

一种通过交互解释大语言模型知识蒸馏的统一方法

Qingzhuo Wang, Ruiyang Qin, Zhenxin Qin, Wen Shen, Zhihua Wei

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 研究大语言模型知识蒸馏有效性背后机制，提出统一方法，通过交互分解输出分数，发现共同机制是交互稀疏化，不同方法性能差异源于处理复杂交互能力，进而提出CIP损失函数，实验证明其能提升多种KD方法性能。

Towards Efficient Large Language Model Serving: A Survey on System-Aware KV Cache Optimization

迈向高效大语言模型服务：关于系统感知键值缓存优化的综述

Jiantong Jiang, Peiyu Yang, Rui Zhang, Feng Liu

机构 * School of Computing and Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院） ； School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 该综述聚焦大语言模型服务中系统感知的键值缓存优化，从执行与调度、放置与迁移、表示与保留三个维度回顾相关工作，分析跨行为协同设计及行为与目标联系，为理解和创新键值缓存设计提供基础。

Comments Accepted to ACL 2026 as a Findings paper

Journal ref Findings of the Association for Computational Linguistics: ACL 2026 (pp. 38450-38476)

Structured Agent Distillation for Large Language Model

大型语言模型的结构化智能体蒸馏

Jun Liu, Zhenglun Kong, Peiyan Dong, Changdi Yang, Tianqi Li, Hao Tang, Geng Yuan, Wei Niu, Wenbin Zhang, Pu Zhao, Xue Lin, Dong Huang, Yanzhi Wang

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Harvard University（哈佛大学） ； MIT（麻省理工学院） ； Northeastern University（东北大学） ； Adobe Research（Adobe研究） ； National University of Singapore（新加坡国立大学） ； University of Georgia（佐治亚大学） ； Florida International University（佛罗里达国际大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出结构化智能体蒸馏框架，通过分段对齐推理和动作跨度，将大型语言模型智能体压缩为小型学生模型，在保持决策性能的同时降低推理成本。

Journal ref The 25th International Conference on Autonomous Agents and Multiagent Systems (AAMAS 2026)

UniSD: Towards a Unified Self-Distillation Framework for Large Language Models

UniSD：面向大语言模型的统一自蒸馏框架

Yiqiao Jin, Yiyang Wang, Lucheng Fu, Yijia Xiao, Yinyi Luo, Haoxin Liu, B. Aditya Prakash, Josiah Hester, Jindong Wang, Srijan Kumar

机构 * Georgia Institute of Technology（佐治亚理工学院） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Carnegie Mellon University（卡内基梅隆大学） ； William & Mary（威廉与玛丽大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出UniSD框架，系统研究自蒸馏方法，通过整合多种机制提升监督可靠性、表征对齐和训练稳定性，从而在多个基准和模型上验证自蒸馏的有效性，并构建出性能最优的UniSDfull流水线。

Comments Website: https://unifiedsd.github.io/ Code: https://github.com/Ahren09/UniSD

LLM4Log: A Systematic Review of Large Language Model-based Log Analysis

LLM4Log: 大型语言模型基于日志分析的系统综述

Zeyang Ma, Jinqiu Yang, Tse-Hsun Chen

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；prompting(abstract)

AI总结 本文系统综述了基于大型语言模型的日志分析，涵盖从日志生成维护到解析结构化及下游任务如异常检测、故障预测、根本原因分析和日志摘要的全流程，总结了常见设计模式和评估实践，并指出可靠实际应用中的关键挑战和开放问题。

HexiScale: Facilitating Large Language Model Training over Heterogeneous Hardware

HexiScale：在异构硬件上促进大语言模型训练

Ran Yan, Youhe Jiang, Xiaonan Nie, Fangcheng Fu, Bin Cui, Binhang Yuan

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(summary_cn,abstract_cn)

AI总结 本文提出HexiScale系统，通过异构GPU实现训练计算的灵活分配，提升资源利用效率，实验显示其在不同规模LLM训练中性能优于传统同构和异构系统。

Comments MLSys 2026

Introducing Background Temperature to Characterise Hidden Randomness in Large Language Models

引入背景温度以表征大语言模型中的隐藏随机性

Alberto Messina, Stefano Scotta

机构 * RAI - Radiotelevisione Italiana, Centre for Research, Technological Innovation and Experimentation (CRITS)（意大利广播电视台，研究中心、技术创新与实验中心（CRITS）） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文引入背景温度概念，探讨大语言模型中隐藏随机性的来源，提出通过有效温度评估实现依赖扰动，并通过实验验证其对可重复性、评估和部署的影响。

Journal ref Transactions on Machine Learning Research (TMLR), February 2026, https://openreview.net/pdf?id=bz0he4bARF

VocabTailor: Dynamic Vocabulary Selection for Downstream Tasks in Small Language Models

VocabTailor: 小语言模型下游任务中的动态词汇选择

Hanling Zhang, Yayu Zhou, Tongcheng Fang, Zhihang Yuan, Guohao Dai, Wanli Ouyang, Yu Wang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Infinigence AI ； Tsinghua University（清华大学） ； SLAI ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；SLM(abstract,abstract_cn)；分类 cs.CL、cs.AI、cs.LG

AI总结 VocabTailor通过动态词汇选择框架减少小语言模型词汇相关组件的内存使用，结合静态与动态策略，实现高达99%的内存节省且不影响性能。

ContextFocus: Activation Steering for Contextual Faithfulness in Large Language Models

ContextFocus：用于大语言模型中上下文忠实性的激活引导

Nikhil Anand, Shwetha Somasundaram, Anirudh Phukan, Apoorv Saxena, Koyel Mukherjee

机构 * Adobe Research（Adobe研究） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

AI总结 ContextFocus通过轻量级激活引导方法提升大语言模型在知识冲突场景下的上下文忠实性，无需微调且高效，实验表明其在ConFiQA基准上显著优于基线方法。

Scaling Multimodal Search and Recommendation with Small Language Models via Upside-Down Reinforcement Learning

通过倒置强化学习扩展小语言模型以支持多模态搜索与推荐

Yu-Chen Lin, Sanat Sharma, Hari Manikandan, Jayant Kumar, Tracy Holloway King, Jing Zheng

机构 * Adobe（Adobe公司） ； Meta 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；large language model(abstract)；SLM(abstract)

AI总结 本文通过倒置强化学习和合成数据蒸馏，利用小语言模型实现高效多模态搜索与推荐，显著降低推理延迟和内存开销。

Comments Accepted by ICDM 2025 MMSR

Adapt-Pruner: Adaptive Structural Pruning for Efficient Small Language Model Training

Rui Pan, Shivanshu Shekhar, Boyao Wang, Shizhe Diao, Jipeng Zhang, Xingyuan Pan, Renjie Pi, Tong Zhang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； HKUST（香港科技大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；LLM(abstract)；large language model(abstract)

PPC-GPT: Federated Task-Specific Compression of Large Language Models via Pruning and Chain-of-Thought Distillation

Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Qiang Yang

机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； WeBank Co., Ltd（WeBank公司） ； Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；small language model(abstract)

Large Language Model Hacking: Quantifying the Hidden Risks of Using LLMs for Text Annotation

Joachim Baumann, Paul Röttger, Aleksandra Urman, Albert Wendsjö, Flor Miriam Plaza-del-Arco, Johannes B. Gruber, Dirk Hovy

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing

Wenhao Zheng, Yixiao Chen, Weitong Zhang, Souvik Kundu, Yun Li, Zhengzhong Liu, Eric P. Xing, Hongyi Wang, Huaxiu Yao

机构 * The University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Intel（英特尔） ； Carnegie Mellon University（卡内基梅隆大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·拉希德人工智能大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；SLM(abstract)

Are Large Language Models Reliable AI Scientists? Assessing Reverse-Engineering of Black-Box Systems

Jiayi Geng, Howard Chen, Dilip Arumugam, Thomas L. Griffiths

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；prompting(abstract)

Comments 30 pages

EfficientLLM: Efficiency in Large Language Models

Zhengqing Yuan, Weixiang Sun, Yixin Liu, Huichi Zhou, Rong Zhou, Yiyang Li, Zheyuan Zhang, Wei Song, Yue Huang, Haolong Jia, Keerthiram Murugesan, Yu Wang, Lifang He, Jianfeng Gao, Lichao Sun, Yanfang Ye

机构 * University of Notre Dame（诺丁汉大学） ； Lehigh University（莱斯大学） ； Imperial College London（伦敦帝国理工学院） ； Rutgers University（罗格斯大学） ； International Business Machines Corporation (IBM)（国际商业机器公司（IBM）） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；foundation model(abstract)；pretraining(abstract)

Liger: Linearizing Large Language Models to Gated Recurrent Structures

Disen Lan, Weigao Sun, Jiaxi Hu, Jusen Du, Yu Cheng

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；pretraining(abstract)

Comments Accepted by ICML 2025, 15 pages

Covert Prompt Transmission for Secure Large Language Model Services

Ruichen Zhang, Yinqiu Liu, Shunpu Tang, Jiacheng Wang, Dusit Niyato, Geng Sun, Yonghui Li, Sumei Sun

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；small language model(abstract)

Comments 13 pages, 9 figures

Learn To be Efficient: Build Structured Sparsity in Large Language Models

Haizhong Zheng, Xiaoyan Bai, Xueshen Liu, Z. Morley Mao, Beidi Chen, Fan Lai, Atul Prakash

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；instruction tuning(abstract)；post-training(abstract)

Journal ref Advances in Neural Information Processing Systems (NeurIPS) 2024