语言大模型 / LLM

Abductive Inference in Retrieval-Augmented Language Models: Generating and Validating Missing Premises

Shiyin Lin

机构 * Independent Researcher, Mountain View, CA94039, USA（独立研究者） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

LLMComp: A Language Modeling Paradigm for Error-Bounded Scientific Data Compression (Technical Report)

Guozhong Li, Muhannad Alhumaidi, Spiros Skiadopoulos, Panos Kalnis

机构 * KAUST（卡塞姆大学） ； University of Peloponnese（希腊皮洛斯大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

SLED: A Speculative LLM Decoding Framework for Efficient Edge Serving

Xiangchen Li, Dimitrios Spatharakis, Saeid Ghafouri, Jiakun Fan, Hans Vandierendonck, Deepu John, Bo Ji, Dimitrios Nikolopoulos

机构 * National Technical University of Athens（希腊国家技术大学） ； Queen's University Belfast（贝尔法斯特女王大学） ； University College Dublin（都柏林大学学院） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 8 pages, 8 figures, 2 tables, accepted by SEC 2025: Tenth ACM/IEEE Symposium on Edge Computing

Training Language Models to Reason Efficiently

Daman Arora, Andrea Zanette

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

Comments NeurIPS 2025

The Era of Agentic Organization: Learning to Organize with Language Models

Zewen Chi, Li Dong, Qingxiu Dong, Yaru Hao, Xun Wu, Shaohan Huang, Furu Wei

机构 * Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Wisdom and Delusion of LLM Ensembles for Code Generation and Repair

Fernando Vallecillos-Ruiz, Max Hort, Leon Moonen

机构 * Simula Research Laboratory（Simula研究实验室） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Added Acknowledgments section and hyphenated last names

Axial Neural Networks for Dimension-Free Foundation Models

Hyunsu Kim, Jonggeon Park, Joan Bruna, Hongseok Yang, Juho Lee

机构 * KAIST（韩国科学技术院） ； New York University（纽约大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Journal ref NeurIPS 2025

Finding the Sweet Spot: Trading Quality, Cost, and Speed During Inference-Time LLM Reflection

Jack Butler, Nikita Kozodoi, Zainab Afolabi, Brian Tyacke, Gaiar Baimuratov

机构 * Amazon Web Services（亚马逊网络服务） ； Zalando 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Journal ref Neural Information Processing Systems (NeurIPS 2025) Workshop: Efficient Reasoning

dInfer: An Efficient Inference Framework for Diffusion Language Models

Yuxin Ma, Lun Du, Lanning Wei, Kun Chen, Qian Xu, Kangyu Wang, Guofeng Feng, Guoshan Lu, Lin Liu, Xiaojing Qi, Xinyuan Zhang, Zhen Tao, Haibo Feng, Ziyun Jiang, Ying Xu, Zenan Huang, Yihong Zhuang, Haokai Xu, Jiaqi Hu, Zhenzhong Lan, Junbo Zhao, Jianguo Li, Da Zheng

机构 * Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Renmin University of China（中国人民大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model

Zuwei Long, Yunhang Shen, Chaoyou Fu, Heting Gao, Lijiang Li, Peixian Chen, Mengdan Zhang, Hang Shao, Jian Li, Jinlong Peng, Haoyu Cao, Ke Li, Rongrong Ji, Xing Sun

机构 * Tencent Youtu Lab（腾讯优图实验室） ； Nanjing University（南京大学） ； Xiamen University（厦门大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments Training and Inference Codes: https://github.com/VITA-MLLM/VITA-Audio

Mixed-Precision Quantization for Language Models: Techniques and Prospects

Mariam Rakka, Marios Fournarakis, Olga Krestinskaya, Jinane Bazzi, Khaled N. Salama, Fadi Kurdahi, Ahmed M. Eltawil, Mohammed E. Fouda

机构 * University of California Irvine（加州大学 Irvine 分校） ； Wayve AI ； King Abdullah University of Science and Technology（国王 Abdullah 科学与技术大学） ； RAIN AI 纠错

专题命中 效率与部署 ：language model(title,abstract)；post-training(abstract)；分类 cs.AI、cs.LG

Comments 46 pages, 6 figures, 5 tables

Ada-KV: Optimizing KV Cache Eviction by Adaptive Budget Allocation for Efficient LLM Inference

Yuan Feng, Junlin Lv, Yukun Cao, Xike Xie, S. Kevin Zhou

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments NeurIPS 2025

Tokenization Disparities as Infrastructure Bias: How Subword Systems Create Inequities in LLM Access and Efficiency

Hailay Kidu Teklehaymanot, Wolfgang Nejdl

机构 * L3S Research Center（L3S研究所以） ； Leibniz University Hannover（莱比锡大学汉诺威分校） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 6 pages 4 figures

LLM-Oriented Token-Adaptive Knowledge Distillation

Xurong Xie, Zhucun Xue, Jiafu Wu, Jian Li, Yabiao Wang, Xiaobin Hu, Yong Liu, Jiangning Zhang

机构 * Zhejiang University（浙江大学） ； Tencent Youtu Lab（腾讯优图实验室） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 15 pages, 4 figures

Hybrid OCR-LLM Framework for Enterprise-Scale Document Information Extraction Under Copy-heavy Task

Zilong Wang, Xiaoyu Shen

机构 * Ningbo Institute of Digital Twin（宁波数字孪生研究所） ； Eastern Institute of Technology（东部技术研究所） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Relative Positioning Based Code Chunking Method For Rich Context Retrieval In Repository Level Code Completion Task With Code Language Model

Imranur Rahman, Md Rayhanur Rahman

机构 * North Carolina State University（北卡罗来纳州立大学） ； The University of Alabama（阿拉巴马大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted to Context Collection Workshop co-located with ASE 2025

Direct Quantized Training of Language Models with Stochastic Rounding

Kaiyan Zhao, Tsuguchika Tabaru, Kenichi Kobayashi, Takumi Honda, Masafumi Yamazaki, Yoshimasa Tsuruoka

机构 * The University of Tokyo（东京大学） ； Fujitsu Limited（富士通有限公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted to ACML 2025

A Middle Path for On-Premises LLM Deployment: Preserving Privacy Without Sacrificing Model Confidentiality

Hanbo Huang, Yihan Li, Bowen Jiang, Bo Jiang, Lin Liu, Ruoyu Sun, Zhuotao Liu, Shiyu Liang

机构 * Shanghai Jiao Tong University（上海交通大学） ； National University of Defense Technology（国防科技大学） ； Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 8 pages for main content of the paper

Taming Latency-Memory Trade-Off in MoE-Based LLM Serving via Fine-Grained Expert Offloading

Hanfei Yu, Xingqi Cui, Hong Zhang, Hao Wang, Hao Wang

机构 * Stevens Institute of Technology（史蒂文斯理工学院） ； Rice University（Rice大学） ； University of Waterloo（多伦多大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

DiffuSpec: Unlocking Diffusion Language Models for Speculative Decoding

Guanghao Li, Zhihui Fu, Min Fang, Qibin Zhao, Ming Tang, Chun Yuan, Jun Wang

机构 * SIGS, Tsinghua University（清华大学信号与系统系） ； Southern University of Science and Technology（南方科技大学） ； OPPO Research Institute（OPPO研究院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

SPUS: A Lightweight and Parameter-Efficient Foundation Model for PDEs

Abu Bucker Siddik, Diane Oyen, Alexander Most, Michal Kucer, Ayan Biswas

机构 * Computing and Artificial Intelligence Division (CAI)（计算与人工智能部门） ； Space Remote Sensing and Data Science（空间遥感与数据科学） ； Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Hardware-Aware Parallel Prompt Decoding for Memory-Efficient Acceleration of LLM Inference

Hao Mark Chen, Wayne Luk, Ka Fai Cedric Yiu, Rui Li, Konstantin Mishchenko, Stylianos I. Venieris, Hongxiang Fan

机构 * Imperial College London, UK（伦敦帝国学院） ； Hong Kong Polytechnic University, Hong Kong（香港理工大学） ； Samsung AI Center, Cambridge, UK（三星人工智能中心） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted at EMNLP 2025. The code for this implementation is available at https://github.com/hmarkc/parallel-prompt-decoding

Efficient Fine-Grained GPU Performance Modeling for Distributed Deep Learning of LLM

Biyao Zhang, Mingkai Zheng, Debargha Ganguly, Xuecen Zhang, Vikash Singh, Vipin Chaudhary, Zhao Zhang

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Parse Trees Guided LLM Prompt Compression

Wenhao Mao, Chengbin Hou, Tianyu Zhang, Xinyu Lin, Ke Tang, Hairong Lv

机构 * Ministry of Education Key Laboratory of Bioinformatics, BNRIST Bioinformatics Division, Department of Automation, Tsinghua University（教育部生物信息学重点实验室、BNRIST生物信息学分部、自动化系、清华大学） ； School of Computing and Artificial Intelligence, Fuyao University of Science and Technology（计算与人工智能学院、福耀科技大学） ； Department of Computer Science and Engineering, Southern University of Science and Technology（计算机科学与工程系、南方科技大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by IEEE TPAMI

DAMR: Efficient and Adaptive Context-Aware Knowledge Graph Question Answering with LLM-Guided MCTS

Yingxu Wang, Shiqi Fan, Mengzhu Wang, Siyang Gao, Chao Wang, Nan Yin

机构 * MBZUAI ； PolyU ； Hebei University of Technology（河北工业大学） ； CityU（城市大学） ； HKUST（香港科技大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；prompting(abstract)；分类 cs.CL、cs.AI

ILRe: Intermediate Layer Retrieval for Context Compression in Causal Language Models

Manlai Liang, Mandi Liu, Jiangzhou Ji, Huaijun Li, Haobo Yang, Yaohan He, Jinlong Li

机构 * AI Lab（人工智能实验室） ； China Merchants Bank（中国商人银行） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

Language Models Resist Alignment: Evidence From Data Compression

Jiaming Ji, Kaile Wang, Tianyi Qiu, Boyuan Chen, Jiayi Zhou, Changye Li, Hantao Lou, Juntao Dai, Yunhuai Liu, Yaodong Yang

机构 * Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） ； School of Computer Science, Peking University（北京大学计算机科学学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by ACL2025 Main

A Universal Banach--Bregman Framework for Stochastic Iterations: Unifying Stochastic Mirror Descent, Learning and LLM Training

Johnny R. Zhang, Xiaomei Mi, Gaoyuan Du, Qianyi Sun, Shiqi Wang, Jiaxuan Li, Wenhua Zhou

机构 * University of Manchester（曼彻斯特大学） ； Amazon（亚马逊） ； Microsoft（微软） ； Meta 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 69 pages, 10 figures. Preprint

DPad: Efficient Diffusion Language Models with Suffix Dropout

Xinhua Chen, Sitao Huang, Cong Guo, Chiyue Wei, Yintao He, Jianyi Zhang, Hai "Helen" Li, Yiran Chen

机构 * Duke University（杜克大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL、cs.LG

InfAlign: Inference-aware language model alignment

Ananth Balashankar, Ziteng Sun, Jonathan Berant, Jacob Eisenstein, Michael Collins, Adrian Hutter, Jong Lee, Chirag Nagpal, Flavien Prost, Aradhana Sinha, Ananda Theertha Suresh, Ahmad Beirami

机构 * Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） 纠错

专题命中 效率与部署 ：language model(title,abstract)；RLHF(abstract)；分类 cs.CL、cs.LG