语言大模型 / LLM

Cost-Efficient LLM Training with Lifetime-Aware Tensor Offloading via GPUDirect Storage

Ziqi Yuan, Haoyang Zhang, Yirui Eric Zhou, Apoorve Mohan, I-Hsin Chung, Seetharami Seelam, Jian Huang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； IBM Research（IBM研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Rational Tuning of LLM Cascades via Probabilistic Modeling

Michael J. Zellinger, Matt Thomson

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 20 pages, 9 figures

Rethinking LLM Advancement: Compute-Dependent and Independent Paths to Progress

Jack Sanderson, Teddy Foley, Spencer Guo, Anqi Qu, Henry Josephson

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

GPTVQ: The Blessing of Dimensionality for LLM Quantization

Mart van Baalen, Andrey Kuzmin, Ivan Koryakovskiy, Markus Nagel, Peter Couperus, Cedric Bastoul, Eric Mahurin, Tijmen Blankevoort, Paul Whatmough

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

LlamaRL: A Distributed Asynchronous Reinforcement Learning Framework for Efficient Large-scale LLM Training

Bo Wu, Sid Wang, Yunhao Tang, Jia Ding, Eryk Helenowski, Liang Tan, Tengyu Xu, Tushar Gowda, Zhengxing Chen, Chen Zhu, Xiaocheng Tang, Yundi Qian, Beibei Zhu, Rui Hou

机构 * Meta GenAI 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；post-training(abstract)

Real-time Adapting Routing (RAR): Improving Efficiency Through Continuous Learning in Software Powered by Layered Foundation Models

Kirill Vasilevski, Dayi Lin, Ahmed E. Hassan

专题命中 效率与部署 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

SALE : Low-bit Estimation for Efficient Sparse Attention in Long-context LLM Prefilling

Xiaodong Ji, Hailin Zhang, Fangcheng Fu, Bin Cui

机构 * Peking University（北京大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Sustainable Carbon-Aware and Water-Efficient LLM Scheduling in Geo-Distributed Cloud Datacenters

Hayden Moore, Sirui Qi, Ninad Hogade, Dejan Milojicic, Cullen Bash, Sudeep Pasricha

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Cross-Task Experiential Learning on LLM-based Multi-Agent Collaboration

Yilong Li, Chen Qian, Yu Xia, Ruijie Shi, Yufan Dang, Zihao Xie, Ziming You, Weize Chen, Cheng Yang, Weichuan Liu, Ye Tian, Xuantang Xiong, Lei Han, Zhiyuan Liu, Maosong Sun

机构 * Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Siemens（西门子） ； Tencent Robotics X（腾讯机器人实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Work in Progress

DASH: Input-Aware Dynamic Layer Skipping for Efficient LLM Inference with Markov Decision Policies

Ning Yang, Fangxin Liu, Junjie Wang, Tao Yang, Kan Liu, Haibing Guan, Li Jiang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Qi Zhi Institute（上海启智研究所） ； Northeast University（东北大学） ； Huawei Technologies Ltd.（华为技术有限公司） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 8 pages,5 figures

LITA: An Efficient LLM-assisted Iterative Topic Augmentation Framework

Chia-Hsuan Chang, Jui-Tse Tsai, Yi-Hang Tsai, San-Yih Hwang

机构 * Department of Biomedical Informatics & Data Science, Yale University（生物医学信息学与数据科学系，耶鲁大学） ； Department of Information Management, National Sun Yat-sen University（信息管理系，National Sun Yat-sen University） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to PAKDD 2025

Benchmarking Post-Training Quantization in LLMs: Comprehensive Taxonomy, Unified Evaluation, and Comparative Analysis

Jiaqi Zhao, Ming Wang, Miao Zhang, Yuzhang Shang, Xuebo Liu, Yaowei Wang, Min Zhang, Liqiang Nie

机构 * Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Illinois Institute of Technology（伊利诺伊理工学院） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 17 pages, 3 fugures

R1dacted: Investigating Local Censorship in DeepSeek's R1 Language Model

Ali Naseh, Harsh Chaudhari, Jaechul Roh, Mingshi Wu, Alina Oprea, Amir Houmansadr

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Northeastern University（东北大学） ； GFW Report（GFW报告） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL、cs.LG

MASSV: Multimodal Adaptation and Self-Data Distillation for Speculative Decoding of Vision-Language Models

Mugilan Ganesan, Shane Segal, Ankur Aggarwal, Nish Sinnadurai, Sean Lie, Vithursan Thangarasa

专题命中 效率与部署 ：language model(title,abstract)；small language model(abstract)；instruction tuning(abstract)；分类 cs.CL、cs.LG

Comments Main paper: 11 pages, 4 figures, 3 tables. Supplementary: 1 page

KVShare: An LLM Service System with Efficient and Effective Multi-Tenant KV Cache Reuse

Huan Yang, Renji Zhang, Mingzhe Huang, Weijun Wang, Yin Tang, Yuanchun Li, Yunxin Liu, Deyu Zhang

机构 * Central South University（中南大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization

Yang Su, Na Yan, Yansha Deng, Mischa Dohler, Robert Schober

机构 * Department of Engineering, King’s College London（伦敦国王学院工程系） ； Advanced Technology Group, Ericsson Inc.（爱立信公司先进科技组） ； Institute for Digital Communication, Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔兰根-纽伦堡弗里德里希-亚历山大大学数字通信研究所） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments This is an extended journal version based on our previous conference paper accepted at the 2025 IEEE International Conference on Communications (ICC), with additional sections and new results

Strategic Collusion of LLM Agents: Market Division in Multi-Commodity Competitions

Ryan Y. Lin, Siddhartha Ojha, Kevin Cai, Maxwell F. Chen

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

CEC-Zero: Chinese Error Correction Solution Based on LLM

Sophie Zhang, Zhiming Lin

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

LLM-Based Threat Detection and Prevention Framework for IoT Ecosystems

Yazan Otoum, Arghavan Asad, Amiya Nayak

机构 * School of Computer Science and Technology, Algoma University（计算机科学与技术学院，阿尔戈马大学） ； School of Electrical Engineering and Computer Science, University of Ottawa（电气工程与计算机科学学院，渥太华大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Preprint version; submitted for academic peer review

LLM-Independent Adaptive RAG: Let the Question Speak for Itself

Maria Marina, Nikolay Ivanov, Sergey Pletenev, Mikhail Salnikov, Daria Galimzianova, Nikita Krayko, Vasily Konovalov, Alexander Panchenko, Viktor Moskvoretskii

机构 * Skoltech（斯克里普切夫斯基技术大学） ； AIRI（人工智能研究所） ； HSE University（俄罗斯高等经济大学） ； MTS AI（MTS人工智能） ； MIPT（莫斯科物理技术学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 11 pages, 5 figures, 2 tables

AccLLM: Accelerating Long-Context LLM Inference Via Algorithm-Hardware Co-Design

Yanbiao Liang, Huihong Shi, Haikuo Shao, Zhongfeng Wang

机构 * School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与技术学院） ； School of Integrated Circuits, Sun Yat-sen University（中山大学集成电路学院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

OAC: Output-adaptive Calibration for Accurate Post-training Quantization

Ali Edalati, Alireza Ghaffari, Mahsa Ghazvini Nejad, Lu Hou, Boxing Chen, Masoud Asgharian, Vahid Partovi Nia

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） ； Department of Mathematics and Statistics, McGill University（麦吉尔大学数学与统计学系） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 22 pages, 4 figures

Journal ref Proceedings of the AAAI Conference on Artificial Intelligence 2025

Voila: Voice-Language Foundation Models for Real-Time Autonomous Interaction and Voice Role-Play

Yemin Shi, Yu Shu, Siwei Dong, Guangyi Liu, Jaward Sesay, Jingwen Li, Zhiting Hu

机构 * UC San Diego（加州大学圣地亚哥分校） ； MBZUAI（马克斯·普朗克人工智能研究所） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 18 pages, 7 figures, Website: https://voila.maitrix.org

Attention Mechanisms Perspective: Exploring LLM Processing of Graph-Structured Data

Zhong Guan, Likang Wu, Hongke Zhao, Ming He, Jianpin Fan

机构 * Zhong Guan（钟冠） ； Likang Wu（吴立康） ； Hongke Zhao（赵宏凯） ； Ming He（何明） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments ICML2025 Accept

Trace-of-Thought Prompting: Investigating Prompt-Based Knowledge Distillation Through Question Decomposition

Tyler McDonald, Ali Emami

专题命中 效率与部署 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

GaLore 2: Large-Scale LLM Pre-Training by Gradient Low-Rank Projection

DiJia Su, Andrew Gu, Jane Xu, Yuandong Tian, Jiawei Zhao

机构 * FAIR at Meta AI（Meta AI 的 FAIR 研究院） ； PyTorch 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

semi-PD: Towards Efficient LLM Serving via Phase-Wise Disaggregated Computation and Unified Storage

Ke Hong, Lufang Chen, Zhong Wang, Xiuhong Li, Qiuli Mao, Jianping Ma, Chao Xiong, Guanyu Wu, Buhe Han, Guohao Dai, Yun Liang, Yu Wang

机构 * Infini-ai 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 18 pages, 16 figures

Combining GCN Structural Learning with LLM Chemical Knowledge for Enhanced Virtual Screening

Radia Berreziga, Mohammed Brahimi, Khairedine Kraim, Hamid Azzoune

机构 * Department of Computer Science , University USTHB（计算机科学系，USTHB大学） ； Intelligent Systems Enginnering, National School of Artificial Intelligence (ENSIA)（智能系统工程，国家人工智能学校（ENSIA）） ； Laboratory of Physical Chemistry and Biological Materials（物理化学与生物材料实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

ShadowKV: KV Cache in Shadows for High-Throughput Long-Context LLM Inference

Hanshi Sun, Li-Wen Chang, Wenlei Bao, Size Zheng, Ningxin Zheng, Xin Liu, Harry Dong, Yuejie Chi, Beidi Chen

机构 * ByteDance Seed（字节跳动种子） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

FlashInfer: Efficient and Customizable Attention Engine for LLM Inference Serving

Zihao Ye, Lequn Chen, Ruihang Lai, Wuwei Lin, Yineng Zhang, Stephanie Wang, Tianqi Chen, Baris Kasikci, Vinod Grover, Arvind Krishnamurthy, Luis Ceze

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted by MLSys 2025, code available at http://github.com/flashinfer-ai/flashinfer