语言大模型 / LLM

AXIS: Efficient Human-Agent-Computer Interaction with API-First LLM-Based Agents

Junting Lu, Zhiyang Zhang, Fangkai Yang, Jue Zhang, Lu Wang, Chao Du, Qingwei Lin, Saravan Rajmohan, Dongmei Zhang, Qi Zhang

机构 * Peking University（北京大学） ； Nanjing University（南京大学） ； Microsoft（微软） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

"Yes, My LoRD." Guiding Language Model Extraction with Locality Reinforced Distillation

Zi Liang, Qingqing Ye, Yanyun Wang, Sen Zhang, Yaxin Xiao, Ronghua Li, Jianliang Xu, Haibo Hu

机构 * The Hong Kong Polytechnic University（香港理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Hong Kong Baptist University（香港 Baptist大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

Comments To appear at ACL 25 main conference

Improving the Data-efficiency of Reinforcement Learning by Warm-starting with LLM

Thang Duong, Minglai Yang, Chicheng Zhang

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments 31 pages (9 for the main paper), 27 figures, NeurIPS 25 submission

LLM-Explorer: Towards Efficient and Affordable LLM-based Exploration for Mobile Apps

Shanhui Zhao, Hao Wen, Wenjie Du, Cheng Liang, Yunxin Liu, Xiaozhou Ye, Ye Ouyang, Yuanchun Li

机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； AsiaInfo Technologies (China), Inc（亚洲信息科技（中国）有限公司） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Accepted by MobiCom 2025

Collaborative Speculative Inference for Efficient LLM Inference Serving

Luyao Gao, Jianchun Liu, Hongli Xu, Xichong Zhang, Yunming Liao, Liusheng Huang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Harden and Catch for Just-in-Time Assured LLM-Based Software Testing: Open Research Challenges

Mark Harman, Peter O'Hearn, Shubho Sengupta

机构 * Product Compliance and Privacy team, Meta Platforms（Meta平台产品合规与隐私团队） ； University College London（伦敦大学学院） ； Fundamental AI Research team, Meta Platforms（Meta平台基础人工智能研究团队） ； Independent Software and AI Consultant（独立软件与人工智能顾问） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments To Appear as keynote paper at FSE 2025

Oaken: Fast and Efficient LLM Serving with Online-Offline Hybrid KV Cache Quantization

Minsu Kim, Seongmin Hong, RyeoWook Ko, Soongyu Choi, Hunjong Lee, Junsoo Kim, Joo-Young Kim, Jongse Park

机构 * KAIST（韩国科学技术院） ； HyperAccel（HyperAccel公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments 16 pages, 14 figures, and 4 tables

Resource-Efficient Language Models: Quantization for Fast and Accessible Inference

Tollef Emil Jørgensen

机构 * Department of Computer Science（计算机科学系） ； Norwegian University of Science and Technology（挪威科学技术大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；post-training(abstract)；分类 cs.AI

Comments 17 pages, 9 figures, preprint

Automatic Task Detection and Heterogeneous LLM Speculative Decoding

Danying Ge, Jianhua Gao, Qizhi Jiang, Yifei Feng, Weixing Ji

机构 * Beijing Normal University（北京师范大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 10 pages, 10 figures, 2 tables

Challenging GPU Dominance: When CPUs Outperform for On-Device LLM Inference

Haolin Zhang, Jeff Huang

机构 * Texas A&M University（德克萨斯大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

PRIMG : Efficient LLM-driven Test Generation Using Mutant Prioritization

Mohamed Salah Bouafif, Mohammad Hamdaqa, Edward Zulkoski

机构 * Polytechnique Montréal（蒙特利尔理工学院） ； Quantstamp, Inc（Quantstamp公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Ultra-FineWeb: Efficient Data Filtering and Verification for High-Quality LLM Training Data

Yudong Wang, Zixuan Fu, Jie Cai, Peijun Tang, Hongya Lyu, Yewei Fang, Zhi Zheng, Jie Zhou, Guoyang Zeng, Chaojun Xiao, Xu Han, Zhiyuan Liu

机构 * ModelBest Inc.（ModelBest公司） ； Tsinghua University（清华大学） ； Soochow University（苏州大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments The datasets are available on https://huggingface.co/datasets/openbmb/UltraFineWeb

PipeSpec: Breaking Stage Dependencies in Hierarchical LLM Decoding

Bradley McDanel, Sai Qian Zhang, Yunhai Hu, Zining Liu

机构 * Franklin and Marshall College（弗兰克林与马歇尔学院） ； New York University（纽约大学） ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 10 pages, 5 figures, 2 tables

Ascendra: Dynamic Request Prioritization for Efficient LLM Serving

Azam Ikram, Xiang Li, Sameh Elnikety, Saurabh Bagchi

机构 * Purdue University（普渡大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Token-Efficient Prompt Injection Attack: Provoking Cessation in LLM Reasoning via Adaptive Token Compression

Yu Cui, Yujun Cai, Yiwei Wang

机构 * University of California, Merced（加州大学梅尔德分校） ； University of Queensland（昆士兰大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Quantum-Enhanced LLM Efficient Fine Tuning

Xiaofei Kong, Lei Li, Zhaoyun Chen, Cheng Xue, Xiaofan Xu, Huanyu Liu, Yuchun Wu, Yuan Fang, Han Fang, Kejiang Chen, Yang Yang, Menghan Dou, Guoping Guo

机构 * Origin Quantum Computing Company Limited（起源量子计算有限公司） ； Institute of Artificial Intelligence（人工智能研究院） ； Anhui Engineering Research Center of Quantum Computing（安徽量子计算工程研究中心） ； Laboratory of Quantum Information（量子信息实验室） ； University of Science and Technology of China（中国科学技术大学） ； National University of Singapore（新加坡国立大学） ； Anhui University（安徽大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Neuro-LIFT: A Neuromorphic, LLM-based Interactive Framework for Autonomous Drone FlighT at the Edge

Amogh Joshi, Sourav Sanyal, Kaushik Roy

机构 * Electrical and Computer Engineering, Purdue University（电子与计算机工程系，普渡大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments Accepted for publication at the International Joint Conference on Neural Networks (IJCNN) 2025

BitMoD: Bit-serial Mixture-of-Datatype LLM Acceleration

Yuzong Chen, Ahmed F. AbouElhamayed, Xilai Dai, Yang Wang, Marta Andronic, George A. Constantinides, Mohamed S. Abdelfattah

机构 * Computer Systems Lab, Cornell University（康奈尔大学计算机系统实验室） ； Systems and Networking Research Group, Microsoft Research（微软研究院系统与网络研究组） ； Department of Electrical and Electronic Engineering, Imperial College London（伦敦帝国理工学院电子与电气工程系） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments HPCA 2025

Efficient Budget Allocation for Large-Scale LLM-Enabled Virtual Screening

Zaile Li, Weiwei Fan, L. Jeff Hong

机构 * Technology and Operations Management Area, INSEAD, Fontainebleau, France（INSEAD技术与运营管理部） ； Advanced Institute of Business and School of Economics and Management, Tongji University, Shanghai, China（同济大学高级商学院） ； Department of Industrial and Systems Engineering, University of Minnesota, Minneapolis, Minnesota（明尼苏达大学工业与系统工程系） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

NoEsis: Differentially Private Knowledge Transfer in Modular LLM Adaptation

Rob Romijnders, Stefanos Laskaridis, Ali Shahin Shamsabadi, Hamed Haddadi

机构 * Brave Research（Brave研究） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments ICLR 2025 MCDC workshop

Journal ref ICLR 2025 Workshop on Modularity for Collaborative, Decentralized, and Continual Deep Learning

TeLLMe: An Energy-Efficient Ternary LLM Accelerator for Prefilling and Decoding on Edge FPGAs

Ye Qiao, Zhiheng Chen, Yifan Zhang, Yian Wang, Sitao Huang

机构 * Department of Electrical Engineering and Computer Science University of California, Irvine, USA（电气工程与计算机科学系 美国加州大学伊藤分校） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Efficient Pretraining Length Scaling

Bohong Wu, Shen Yan, Sijun Zhang, Jianqiao Lu, Yutao Zeng, Ya Wang, Xun Zhou

机构 * ByteDance Seed（字节跳动种子） ； Peking University（北京大学） ； Hong Kong University（香港大学） 纠错

专题命中 效率与部署 ：pretraining(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

Certified Mitigation of Worst-Case LLM Copyright Infringement

Jingyu Zhang, Jiacan Yu, Marc Marone, Benjamin Van Durme, Daniel Khashabi

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

WALL-E 2.0: World Alignment by NeuroSymbolic Learning improves World Model-based LLM Agents

Siyu Zhou, Tianyi Zhou, Yijun Yang, Guodong Long, Deheng Ye, Jing Jiang, Chengqi Zhang

机构 * Australian AI Institute, Faculty of Engineering and IT, University of Technology Sydney（澳大利亚人工智能研究所，工程与信息学院，悉尼大学） ； Department of Computer Science, University of Maryland, College Park（计算机科学系，马里兰大学，College Park） ； Tencent, China（腾讯，中国） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Code is available at https://github.com/elated-sawyer/WALL-E

SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation

Keqi Deng, Wenxi Chen, Xie Chen, Philip C. Woodland

机构 * Department of Engineering, University of Cambridge（剑桥大学工程系） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

High-Throughput LLM inference on Heterogeneous Clusters

Yi Xiong, Jinqi Huang, Wenjie Huang, Xuebing Yu, Entong Li, Zhixiong Ning, Jinhua Zhou, Li Zeng, Xin Chen

机构 * Huawei Technologies Co., Ltd（华为技术有限公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Language Models for Business Optimisation with a Real World Case Study in Production Scheduling

Pivithuru Thejan Amarasinghe, Su Nguyen, Yuan Sun, Damminda Alahakoon

机构 * Research Center for Data Analytics and Cognition（数据分析与认知研究中心） ； College of Business and Law（商学院与法学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.AI

Understanding the Difficulty of Low-Precision Post-Training Quantization for LLMs

Zifei Xu, Sayeh Sharify, Wanzin Yazar, Tristan Webb, Xin Wang

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AlayaDB: The Data Foundation for Efficient and Effective Long-context LLM Inference

Yangshen Deng, Zhengxin You, Long Xiang, Qilong Li, Peiqi Yuan, Zhaoyang Hong, Yitao Zheng, Wanting Li, Runzhong Li, Haotian Liu, Kyriakos Mouratidis, Man Lung Yiu, Huan Li, Qiaomu Shen, Rui Mao, Bo Tang

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 14 pages, 12 figures, conference

Efficient LLM Serving on Hybrid Real-time and Best-effort Requests

Wan Borui, Zhao Juntao, Jiang Chenyu, Guo Chuanxiong, Wu Chuan

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI