语言大模型 / LLM

Software Performance Engineering for Foundation Model-Powered Software

面向基础模型驱动软件的软件性能工程

Haoxiang Zhang, Shi Chang, Arthur Leung, Kishanthan Thangarajah, Boyuan Chen, Hanan Lutfiyya, Ahmed E. Hassan

机构 * Centre for Software Excellence at Huawei（华为卓越软件中心） ； Western University（西方大学） ； Queen's University（皇后大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出面向基础模型驱动软件的性能工程重要性，探讨了认知架构设计、通信协议、调优与部署等四个关键挑战。

POP: Online Structural Pruning Enables Efficient Inference of Large Foundation Models

POP：在线结构剪枝实现大基础模型的高效推理

Yi Chen, Wonjin Shin, Shuhong Liu, Tho Mai, Jeongmo Lee, Chuanbo Hua, Kun Wang, Jun Liu, Joo-Young Kim

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； University of Tokyo, Tokyo, Japan（东京大学） ； Tokyo Institute of Technology, Tokyo, Japan（东京技术大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 POP通过在线结构剪枝提升大基础模型推理效率，实现动态剪枝与低计算开销。

Bridging 6G IoT and AI: LLM-Based Efficient Approach for Physical Layer's Optimization Tasks

连接6G物联网与AI：基于大语言模型的高效方法用于物理层优化任务

Ahsan Mehmood, Naveed Ul Hassan, Ghassan M. Kraidy

机构 * Department of Electronic Systems, Norwegian University of Science and Technology（电子系统系，挪威科学技术大学） ； Department of Electrical Engineering, Lahore University of Management sciences (LUMS)（电气工程系，拉合尔管理科学大学（LUMS）） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出基于大语言模型的PE-RTFV框架，通过迭代优化实现6G物联网物理层任务的高效优化。

Comments This paper is submitted to IEEE IoT Journal and is currently under review

PackInfer: Compute- and I/O-Efficient Attention for Batched LLM Inference

PackInfer: 用于批量LLM推理的计算和I/O高效注意力

Rui Ning, Wei Zhang, Fan Lai

机构 * Nanjing University, Nanjing, China（南京大学） ； Siebel Center for Computer Science, University of Illinois Urbana-Champaign, Urbana, IL, USA（伊利诺伊大学厄巴纳-香槟分校计算机科学中心） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 PackInfer通过高效计算和I/O机制优化批量LLM推理，显著降低延迟并提升吞吐量。

Towards Green AI: Decoding the Energy of LLM Inference in Software Development

迈向绿色AI：解码LLM推理中的能耗在软件开发中

Lola Solovyeva, Fernando Castor

机构 * University of Twente（特文特大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本研究分析了LLM推理能耗，发现prefill阶段影响解码能耗，通过抑制babbling行为可实现高达89%的能耗节省。

SDFP: Speculative Decoding with FIT-Pruned Models for Training-Free and Plug-and-Play LLM Acceleration

SDFP：基于FIT剪枝模型的投机解码用于无训练和即插即用的大语言模型加速

Hanyu Wei, Zunhai Su, Peng Lu, Chao Li, Spandan Tiwari, Ashish Sirasao, Yuhan Dong

机构 * Tsinghua University（清华大学） ； Advanced Micro Devices, Inc.（先进微器件公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 SDFP通过FIT剪枝技术实现无训练、即插即用的大语言模型加速，提升解码速度而不影响输出分布。

LLM-Empowered Cooperative Content Caching in Vehicular Fog Caching-Assisted Platoon Networks

基于大语言模型的协同内容缓存用于车辆雾缓存辅助车列网络

Bowen Tan, Qiong Wu, Pingyi Fan, Kezhi Wang, Nan Cheng, Wen Chen

机构 * School of Internet of Things Engineering, Jiangnan University（江南大学物联网工程学院） ； School of Information Engineering, Jiangxi Provincial Key Laboratory of Advanced Signal Processing and Intelligent Communications, Nanchang University（江西省级先进信号处理与智能通信重点实验室，南昌大学信息工程学院） ； Department of Electronic Engineering, State Key Laboratory of Space Network and Communications, and the Beijing National Research Center for Information Science and Technology, Tsinghua University（电子工程系，空间网络与通信国家重点实验室，信息科学与技术国家研究中心，清华大学） ； Department of Computer Science, Brunel University（计算机科学系，布鲁内尔大学） ； State Key Laboratory of ISN and the School of Telecommunications Engineering, Xidian University（信息与通信国家重点实验室，西安电子科技大学电信工程学院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出利用大语言模型实现车辆雾缓存辅助车列网络中的协同内容缓存，通过智能决策提升缓存效率与内容检索性能。

Comments Corresponding author: Qiong Wu (qiongwu@jiangnan.edu.cn)

SAES-SVD: Self-Adaptive Suppression of Accumulated and Local Errors for SVD-based LLM Compression

SAES-SVD: 自适应抑制累积和局部误差用于基于SVD的LLM压缩

Xing Hu, Dawei Yang, Yuan Cheng, Zhixuan Chen, Zukang Xu

机构 * Houmo AI ； Nanjing University（南京大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 SAES-SVD通过联合优化层内重建和层间误差补偿，有效抑制LLM压缩中的累积和局部误差，提升压缩后性能。

MAS-Shield: A Defense Framework for Secure and Efficient LLM MAS

MAS-Shield: 一种用于安全高效LLM MAS的防御框架

Kaixiang Wang, Zhaojiacheng Zhou, Bunyod Suvonov, Jiong Lou, Jie LI

机构 * Shanghai Jiaotong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 MAS-Shield通过粗到细的过滤流程，结合关键智能体选择、轻量审计和全局共识审计，实现安全高效防御LLM多智能体系统语言攻击。

FastTTS: Accelerating Test-Time Scaling for Edge LLM Reasoning

FastTTS: 加速边缘LLM推理的测试时扩展

Hao Mark Chen, Zhiwen Mo, Guanxi Lu, Shuang Liang, Lingxiao Ma, Wayne Luk, Hongxiang Fan

机构 * Imperial College London（帝国学院伦敦） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 FastTTS通过三种新方法提升边缘LLM推理效率，实现与云模型相当的准确性和延迟，减少38%-68%的延迟。

Comments Accepted at ASPLOS 2026

Characterizing and Optimizing LLM Inference Workloads on CPU-GPU Coupled Architectures

对CPU-GPU耦合架构上大语言模型推理工作负载进行表征与优化

Prabhu Vellaisamy, Thomas Labonte, Sourav Chakraborty, Matt Turner, Samantika Sury, John Paul Shen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Samsung Semiconductor, Inc.（三星半导体公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文研究了CPU-GPU耦合架构上大语言模型推理工作负载的性能特性，揭示了GH200在大批次时的性能优势及CPU瓶颈，并提出通过内核融合优化低批次延迟的方法。

Comments Accepted for ISPASS 2025

Harvest: Opportunistic Peer-to-Peer GPU Caching for LLM Inference

Harvest：机会性点对点GPU缓存用于LLM推理

Nikhil Gopal, Kostis Kaffes

机构 * Columbia University（哥伦比亚大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 Harvest通过利用点对点GPU互连技术，动态管理GPU内存，减少数据移动开销，显著提升LLM推理的吞吐量。

ELLMPEG: An Edge-based Agentic LLM Video Processing Tool

ELLMPEG：一种基于边缘的代理LLM视频处理工具

Zoha Azimi, Reza Farahani, Radu Prodan, Christian Timmerer

机构 * Christian Doppler Laboratory ATHENA, Department of Information Technology (ITEC) University of Klagenfurt（亚琛实验室ATHENA，信息科技系，克雷格弗尔特大学） ； Department of Information Technology (ITEC) University of Klagenfurt（信息科技系，克雷格弗尔特大学） ； Department of Computer Science University of Innsbruck（计算机科学系，因斯布鲁克大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 ELLMPEG是一种基于边缘的代理LLM视频处理工具，通过整合工具感知的检索增强生成与迭代自我反思，实现本地生成和验证FFmpeg和VVenC命令，提升视频处理效率和准确性。

Comments 12 pages, 5 tables, 8 Figures, accepted for the MMSys 2026 conference

BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning

BOTS：一种用于LLM强化微调中贝叶斯在线任务选择的统一框架

Qianli Shen, Daoyuan Chen, Yilun Huang, Zhenqing Ling, Yaliang Li, Bolin Ding, Jingren Zhou

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 BOTS通过贝叶斯推断和汤普森采样，提高LLM强化微调中任务选择的效率和性能。

Comments Accepted as a conference paper at ICLR 2026

Training Dynamics Impact Post-Training Quantization Robustness

训练动态对训练后量化鲁棒性的影响

Albert Catalan-Tatjer, Niccolò Ajroldi, Jonas Geiping

机构 * ELLIS Institute Tübingen（图宾根ELLIS研究所） ； Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所） ； Tübingen AI Center（图宾根人工智能中心） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究发现训练动态中的学习率衰减会影响量化鲁棒性，通过调整训练超参数可提升大规模量化效果。

Understanding Efficiency: Quantization, Batching, and Serving Strategies in LLM Energy Use

理解效率：在LLM能耗中的量化、批量和服务策略

Julien Delavande, Regis Pierrard, Sasha Luccioni

机构 * Hugging Face 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文研究了LLM推理能耗中的量化、批量和服务策略，发现低精度和批量处理可显著降低能耗，同时强调服务堆栈的协调对可持续部署的重要性。

Federate the Router: Learning Language Model Routers with Sparse and Decentralized Evaluations

联邦路由器：利用稀疏和去中心化的评估学习语言模型路由器

Baris Askin, Shivam Patel, Anupam Nayak, Andrea Vigano, Jiin Woo, Gauri Joshi, Carlee Joe-Wong

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.LG

AI总结 本文提出首个联邦框架，通过稀疏和去中心化评估学习语言模型路由器，提升查询路由的准确性和成本效率。

EWSJF: An Adaptive Scheduler with Hybrid Partitioning for Mixed-Workload LLM Inference

EWSJF：一种用于混合工作负载LLM推理的自适应调度器与混合分区

Bronislav Sidik, Chaya Levi, Joseph Kampeas

机构 * Toga Networks (Huawei)（Toga Networks（华为）） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 EWSJF通过自适应学习调度策略，提升混合负载下LLM推理的吞吐量和响应速度。

SINQ: Sinkhorn-Normalized Quantization for Calibration-Free Low-Precision LLM Weights

SINQ：用于无校准低精度LLM权重的Sinkhorn规范化量化

Lorenz K. Müller, Philippe Bich, Jiawei Zhuang, Ahmet Çelik, Luca Benfenati, Lukas Cavigelli

机构 * Huawei（华为） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 SINQ通过引入第二轴尺度因子和快速Sinkhorn-Knopp算法，实现无校准低精度LLM权重的高效量化，显著提升困惑度表现。

Structurally Human, Semantically Biased: Detecting LLM-Generated References with Embeddings and GNNs

结构上的人类，语义上偏见：利用嵌入和图神经网络检测LLM生成的参考文献

Melika Mobini, Vincent Holst, Floriano Tori, Andres Algaba, Vincent Ginis

机构 * Vrije Universiteit Brussel（布鲁塞尔自由大学） ； SEAS, Harvard University（哈佛大学工程学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文通过嵌入和图神经网络检测LLM生成的参考文献，发现其拓扑结构接近人类，但语义特征可被识别。

Comments 34 pages, 20 figures. Accepted at ICLR 2026

CHIME: Chiplet-based Heterogeneous Near-Memory Acceleration for Edge Multimodal LLM Inference

基于芯片组的异构近内存加速用于边缘多模态大语言模型推理

Yanru Chen, Runyang Tian, Yue Pan, Zheyu Li, Weihong Xu, Tajana Rosing

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 CHIME通过异构近内存加速方案，提升边缘多模态大语言模型推理的效率和能效。

Identifying and Transferring Reasoning-Critical Neurons: Improving LLM Inference Reliability via Activation Steering

识别并转移推理关键神经元：通过激活引导提升LLM推理可靠性

Fangan Dong, Zuming Yan, Xuri Ge, Zhiwei Xu, Mengqi Zhang, Xuanang Chen, Ben He, Xin Xin, Zhumin Chen, Ying Zhou

机构 * Shandong University（山东大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

AI总结 本文提出AdaRAS，通过识别并引导推理关键神经元提升LLM推理可靠性，实验显示在数学和编程基准测试中取得显著改进。

DART: Diffusion-Inspired Speculative Decoding for Fast LLM Inference

DART：基于扩散的推测解码用于快速大语言模型推理

Fuliang Liu, Xue Li, Ketai Zhao, Yinxi Gao, Ziyan Zhou, Zhonghui Zhang, Zhibin Wang, Wanchun Dou, Sheng Zhong, Chen Tian

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 DART通过并行生成和高效树修剪算法，提升大语言模型推理速度，比EAGLE3快30%。

ToolCaching: Towards Efficient Caching for LLM Tool-calling

ToolCaching: 向LLM工具调用的高效缓存迈进

Yi Zhai, Dian Shen, Junzhou Luo, Bin Yang

机构 * School of Computer Science and Engineering, Southeast University（计算机科学与工程学院，东南大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 ToolCaching通过特征驱动和自适应的缓存框架，提升LLM工具调用的缓存命中率和效率。

Thought of Search: Planning with Language Models Through The Lens of Efficiency

思考搜索：通过效率的视角进行语言模型规划

Michael Katz, Harsha Kokel, Kavitha Srinivas, Shirin Sohrabi

机构 * David S. Hippocampus Department of Computer Science（戴维·S·海马科斯学院计算机科学系） ； Cranberry-Lemon University（Cranberry-Lemon大学） ； IBM Research（IBM研究院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI

AI总结 本文提出了一种高效且保持正确性和完备性的LLM规划方法，通过解决四个代表性搜索问题展示其有效性，并呼吁研究社区关注效率与正确性的平衡。

Comments Accepted at NeurIPS 2024, https://papers.nips.cc/paper_files/paper/2024/hash/fa080fe0f218871faec1d8ba20e491d5-Abstract-Conference.html

QMC: Efficient SLM Edge Inference via Outlier-Aware Quantization and Emergent Memories Co-Design

QMC：通过异常感知量化和涌现记忆协同设计实现高效的SLM边缘推断

Nilesh Prasad Pandey, Jangseon Park, Onat Gungor, Flavio Ponzina, Tajana Rosing

机构 * University of California San Diego（加州大学圣地亚哥分校） ； San Diego State University（圣地亚哥州立大学） 纠错

专题命中 效率与部署 ：SLM(title)；LLM(abstract)；language model(abstract)；small language model(abstract)

AI总结 QMC通过异常感知量化和涌现记忆协同设计，实现高效SLM边缘推断，显著降低内存、能耗和延迟。

Stackelberg Self-Annotation: A Robust Approach to Data-Efficient LLM Alignment

Stackelberg 自注释：一种鲁棒的数据高效 LLM 对齐方法

Xu Chu, Zhixin Zhang, Tianyu Jia, Yujie Jin

机构 * Key Laboratory of High Confidence Software Technologies, Ministry of Education（高可信软件技术重点实验室，教育部） ； Center on Frontiers of Computing Studies, Peking University（计算前沿研究中心，北京大学） ； School of Computer Science, Peking University（计算机学院，北京大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

AI总结 本文提出Stackelberg自标注方法，通过少量人工标注和迭代自我标注，实现高效LLM对齐，减少对昂贵人工标注的依赖。

Combating Toxic Language: A Review of LLM-Based Strategies for Software Engineering

对抗有毒语言：基于大语言模型的软件工程策略综述

Hao Zhuo, Yicheng Yang, Kewen Peng

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文综述了基于大语言模型的软件工程中对抗有毒语言的策略，评估了检测、预处理和缓解方法，并通过实验验证了LLM重写在减少毒性中的有效性。

HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network

HALO：语义感知的分布式LLM推理在失真边缘网络中

Peirong Zheng, Wenchao Xu, Haozhao Wang, Jinyu Chen, Xuemin Shen

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； Division of Integrative Systems and Design, The Hong Kong University of Science and Technology（香港理工大学系统与设计学院） ； School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； Department of Electrical and Computer Engineering, University of Waterloo（滑铁卢大学电气与计算机工程系） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 HALO通过语义感知预测和负载平衡调度，提升失真边缘网络中LLM推理的效率与性能。

Comments Accepted by IEEE International Conference on Computer Communications (INFOCOM) 2026

Optimized Algorithms for Text Clustering with LLM-Generated Constraints

基于LLM生成约束的文本聚类优化算法

Chaoqi Jia, Weihong Wu, Longkun Guo, Zhigang Lu, Chao Chen, Kok-Leong Ong

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 本文提出了一种基于LLM生成约束的文本聚类优化算法，通过生成约束集提高效率和准确性，减少LLM查询次数20倍以上。

Comments AAAI-26