语言大模型 / LLM

READER: Retrieval-Assisted Drafter for Efficient LLM Inference

Maxim Divilkovskiy, Vitaly Malygin, Sergey Zlobin, Stanislav Ilyushin, Sultan Isali, Vasily Kalugin, Nuriza Aitassova, Fei Yi, Weidi Zeng

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL

Resource Consumption Red-Teaming for Large Vision-Language Models

Haoran Gao, Yuanhe Zhang, Zhenhong Zhou, Lei Jiang, Fanyu Meng, Yujia Xiao, Li Sun, Kun Wang, Yang Liu, Junlan Feng

机构 * China Mobile Research Institute（中国移动研究院） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） ； North China Electric Power University（华北电力大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

Adaptive Guidance Semantically Enhanced via Multimodal LLM for Edge-Cloud Object Detection

Yunqing Hu, Zheming Yang, Chang Zhao, Wen Ji

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Institute of AI for Industries（工业人工智能研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks

Jiewei Chen, Xiumei Deng, Zehui Xiong, Shaoyong Guo, Xuesong Qiu, Ping Wang, Dusit Niyato

机构 * State Key Laboratory of Networking and Switching Technology（网络与交换技术国家重点实验室） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Singapore University of Technology and Design（新加坡科技设计大学） ； School of Electronics, Electrical Engineering and Computer Science（电子、电气与计算机科学学院） ； Queen’s University Belfast（贝尔法斯特女王大学） ； Dept. of Electrical Engineering & Computer Science（电气与计算机科学系） ； Lassonde School of Engineering（拉索nde 工程学院） ； York University（约克大学） ； College of Computing and Data Science（计算与数据科学学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Submitted to IEEE for review

A Study of Skews, Imbalances, and Pathological Conditions in LLM Inference Deployment on GPU Clusters detectable from DPU

Javed I. Khan an Henry Uwabor Moye

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)；分类 cs.LG

Comments 12 pages, Technical Report 2025-07-01, Internetworking and Media Communications Research Laboratories, Department of Computer Science, Kent State University

Prompt-with-Me: in-IDE Structured Prompt Management for LLM-Driven Software Engineering

Ziyou Li, Agnia Sergeyuk, Maliheh Izadi

机构 * Delft University of Technology（代尔夫特理工大学） ； JetBrains Research（JetBrains研究） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments Accepted in the 40th IEEE/ACM International Conference on Automated Software Engineering, ASE 2025 (Industry track)

SpecVLM: Fast Speculative Decoding in Vision-Language Models

Haiduo Huang, Fuwei Yang, Zhenhua Liu, Xuanwu Yin, Dong Li, Pengju Ren, Emad Barsoum

机构 * Advanced Micro Devices, Inc.（先进微器件公司） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI

Test-Time Multimodal Backdoor Detection by Contrastive Prompting

Yuwei Niu, Shuo He, Qi Wei, Zongyu Wu, Feng Liu, Lei Feng

机构 * Chongqing University（重庆大学） ； Nanyang Technological University（南洋理工大学） ； Penn State University（宾夕法尼亚州立大学） ； University of Melbourne（墨尔本大学） ； Southeast University（东南大学） 纠错

专题命中 效率与部署 ：prompting(title,abstract)；language model(abstract)；分类 cs.LG

Comments Accepted to ICML2025

Prompt2DAG: A Modular Methodology for LLM-Based Data Enrichment Pipeline Generation

Abubakari Alidu, Michele Ciavotta, Flavio DePaoli

机构 * Dept. Informatics, Systems and Communication, University of Milan-Bicocca（信息学、系统与通信系，米兰-比科卡大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；prompting(abstract)；分类 cs.AI

Sharing is Caring: Efficient LM Post-Training with Collective RL Experience Sharing

Jeffrey Amico, Gabriel Passamani Andrade, John Donaghy, Ben Fielding, Tristin Forbus, Harry Grieve, Semih Kara, Jari Kolehmainen, Yihua Lou, Christopher Nies, Edward Phillip Flores Nuño, Diogo Ortega, Shikhar Rastogi, Austin Virts, Matthew J. Wright

机构 * Gensyn AI Team（Gensyn AI团队） 纠错

专题命中 效率与部署 ：post-training(title,abstract)；language model(abstract)；分类 cs.LG

Comments 14 pages, 6 figures

Dovetail: A CPU/GPU Heterogeneous Speculative Decoding for LLM inference

Libo Zhang, Zhaoning Zhang, Baizhou Xu, Rui Li, Zhiliang Tian, Songzhu Mei, Dongsheng Li

机构 * National Key Laboratory of Parallel and Distributed Computing（并行与分布式计算国家重点实验室） ； College of Computer Science and Technology（计算机科学与技术学院） ； National University of Defense Technology（国防科技大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 14 pages, 6 figures

Towards Fundamental Language Models: Does Linguistic Competence Scale with Model Size?

Jaime Collado-Montañez, L. Alfonso Ureña-López, Arturo Montejo-Ráez

机构 * Computer Science Department, University of Jaén（杰纳大学计算机科学系） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

Comments 13 pages, 2 figures

ProMoE: Fast MoE-based LLM Serving using Proactive Caching

Xiaoniu Song, Zihang Zhong, Rong Chen, Haibo Chen

机构 * Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（上海交通大学平行与分布式系统研究所） ； Key Laboratory of System Software (Chinese Academy of Sciences)（中国科学院系统软件重点实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

UrbanInsight: A Distributed Edge Computing Framework with LLM-Powered Data Filtering for Smart City Digital Twins

Kishor Datta Gupta, Md Manjurul Ahsan, Mohd Ariful Haque, Roy George, Azmine Toushik Wasi

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

KVComp: A High-Performance, LLM-Aware, Lossy Compression Framework for KV Cache

Bo Jiang, Taolue Yang, Youyuan Liu, Chengming Zhang, Xubin He, Sian Jin

机构 * Temple University（特伦特大学） ； University of Houston（休斯顿大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

Does Acceleration Cause Hidden Instability in Vision Language Models? Uncovering Instance-Level Divergence Through a Large-Scale Empirical Study

Yizheng Sun, Hao Li, Chang Xu, Hongpeng Zhou, Chenghua Lin, Riza Batista-Navarro, Jingyuan Sun

机构 * University of Manchester（曼彻斯特大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；分类 cs.CL

Comments Accepted to EMNLP 2025 Main Conference

SpecPipe: Accelerating Pipeline Parallelism-based LLM Inference with Speculative Decoding

Haofei Yin, Mengbai Xiao, Tinghong Li, Xiao Zhang, Dongxiao Yu, Guanghui Zhang

机构 * Shandong University（山东大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.LG

Taming the Chaos: Coordinated Autoscaling for Heterogeneous and Disaggregated LLM Inference

Rongzhi Li, Ruogu Du, Zefang Chu, Sida Zhao, Chunlei Han, Zuocheng Shi, Yiwen Shao, Huanle Han, Long Huang, Zherui Liu, Shufan Liu

机构 * ByteDance Seed（字节跳动种子） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

EMind: A Foundation Model for Multi-task Electromagnetic Signals Understanding

Luqing Luo, Wenjin Gui, Yunfei Liu, Ziyue Zhang, Yunxi Zhang, Fengxiang Wang, Zonghao Guo, Zizhi Ma, Xinzhu Liu, Hanxiang He, Jinhai Li, Xin Qiu, Wupeng Xie, Yangang Sun

机构 * Institute of Microelectronics of the Chinese Academy of Sciences（中国科学院微电子研究所） ； Tsinghua University（清华大学） ； Artificial Intelligence Institute of China Electronics Technology Group Corporation（中国电子科技集团有限公司人工智能研究院） ； Beijing Institute of Technology（北京理工大学） ； National University of Defense Technology（国防科技大学） ； Nankai University（南开大学） ； Northeastern University（东北大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI

LLM Compression: How Far Can We Go in Balancing Size and Performance?

Sahil Sk, Debasish Dhal, Sonal Khosla, Sk Shahid, Sambit Shekhar, Akash Dhaka, Shantipriya Parida, Dilip K. Prasad, Ondřej Bojar

机构 * Odia Generative AI, India（奥迪生成人工智能，印度） ； AMD Silo AI, Finland（AMD Silo AI，芬兰） ； The Arctic University of Norway, Norway（挪威北极大学，挪威） ； Charles University, MFF, ÚFAL, Czech Republic（查尔斯大学，捷克共和国） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments This paper has been accepted for presentation at the RANLP 2025 conference

Heartificial Intelligence: Exploring Empathy in Language Models

Victoria Williams, Benjamin Rosman

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

Comments 21 pages, 5 tables

SynthVLM: Towards High-Quality and Efficient Synthesis of Image-Caption Datasets for Vision-Language Models

Zheng Liu, Hao Liang, Bozhou Li, Wentao Xiong, Chong Chen, Conghui He, Wentao Zhang, Bin Cui

机构 * Peking University Beijing China ； Huawei Technologies Ltd. Beijing China ； Shanghai AI Laboratory Shanghai China ； Peking University Center for Machine Learning Research Beijing China ； Peking University School of Computer Science \& Key Lab of High Confidence Software Technologies (MOE) Beijing China ； Peking University ； Huawei Technologies Ltd. ； Shanghai AI Laboratory 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

EasySize: Elastic Analog Circuit Sizing via LLM-Guided Heuristic Search

Xinyue Wu, Fan Hu, Shaik Jani Babu, Yi Zhao, Xinfei Guo

机构 * Global College Shanghai Jiao Tong University（上海交通大学全球学院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

Fietje: An open, efficient LLM for Dutch

Bram Vanroy

机构 * KU Leuven（库勒芬大学） ； Dutch Language Institute（荷兰语言学院） 纠错

专题命中 效率与部署 ：LLM(title)；language model(abstract)；small language model(abstract)；分类 cs.CL

Journal ref Computational Linguistics in the Netherlands Journal,14 (2025), 473-504

Beyond the Cloud: Assessing the Benefits and Drawbacks of Local LLM Deployment for Translators

Peter Sandrini

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL

Falcon-H1: A Family of Hybrid-Head Language Models Redefining Efficiency and Performance

Jingwei Zuo, Maksim Velikanov, Ilyas Chahed, Younes Belkada, Dhia Eddine Rhayem, Guillaume Kunsch, Hakim Hacid, Hamza Yous, Brahim Farhat, Ibrahim Khadraoui, Mugariya Farooq, Giulia Campesan, Ruxandra Cojocaru, Yasser Djilali, Shi Hu, Iheb Chaabane, Puneesh Khanna, Mohamed El Amine Seddik, Ngoc Dung Huynh, Phuc Le Khac, Leen AlQadi, Billel Mokeddem, Mohamed Chami, Abdalgader Abubaker, Mikhail Lubinets, Kacper Piskorski, Slim Frikha

机构 * Falcon LLM Team（Falcon LLM团队） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

Comments Technical report of Falcon-H1 model series

TypyBench: Evaluating LLM Type Inference for Untyped Python Repositories

Honghua Dong, Jiacheng Yang, Xun Deng, Yuhe Jiang, Gennady Pekhimenko, Fan Long, Xujie Si

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； CIFAR AI Chair（CIFAR人工智能主席） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI

Journal ref Proceedings of the 42nd International Conference on Machine Learning, Vancouver, Canada. PMLR 267, 2025

Enhancing Generalization in Data-free Quantization via Mixup-class Prompting

Jiwoong Park, Chaeun Lee, Yongseok Choi, Sein Park, Deokki Hong, Jungwook Choi

机构 * HyperAccel ； KRAFTON ； SK Telecom ； Rebellions ； Hanyang University（翰阳大学） 纠错

专题命中 效率与部署 ：prompting(title,abstract)；post-training(abstract)；分类 cs.AI

Scalable MatMul-free Language Modeling

Rui-Jie Zhu, Yu Zhang, Steven Abreu, Ethan Sifferman, Tyler Sheaves, Yiqiao Wang, Dustin Richmond, Sumit Bam Shrestha, Peng Zhou, Jason K. Eshraghian

机构 * University of California, Santa Cruz（加州大学圣克ruz分校） ； Soochow University（苏州大学） ； University of Groningen（格罗宁根大学） ； LuxiTech（LuxiTech公司） ； Intel Labs（英特尔实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

Collaborative Distillation Strategies for Parameter-Efficient Language Model Deployment

Xiandong Meng, Yan Wu, Yexin Tian, Xin Hu, Tianze Kang, Junliang Du

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL