语言大模型 / LLM

Efficient Few-Shot Learning in Remote Sensing: Fusing Vision and Vision-Language Models

Jia Yun Chua, Argyrios Zolotas, Miguel Arana-Catania

机构 * Cranfield University（克兰菲尔德大学） ； University of Oxford（牛津大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

Comments 11 pages, 7 figures, 8 tables. To be published in Applied AI Letters

ACCO: Accumulate While You Communicate for Communication-Overlapped Sharded LLM Training

Adel Nabli, Louis Fournier, Pierre Erbacher, Louis Serrano, Eugene Belilovsky, Edouard Oyallon

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

Journal ref The Thirty-ninth Annual Conference on Neural Information Processing Systems, Dec 2025, San diego (Californie), United States

CAFL-L: Constraint-Aware Federated Learning with Lagrangian Dual Optimization for On-Device Language Models

Dongqi Zheng, Wenjin Fu

机构 * Purdue University（普渡大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments Accepted by 39th NeurIPS - Constrained Optimization for Machine Learning

Provably Robust Adaptation for Language-Empowered Foundation Models

Yuni Lai, Xiaoyu Xue, Linghui Shen, Yulun Wu, Gaolei Li, Song Guo, Kai Zhou, Bin Xiao

机构 * Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系） ； College of Systems and Engineering, National University of Defense Technology（国防科技大学系统工程学院） ； School of Electronic Information and Electrical Engineering, Shanghai Jiao Tong University（上海交通大学电子信息与电气工程学院） ； Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港科技大学计算机科学与工程系） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments 19 pages

Language Model Embeddings Can Be Sufficient for Bayesian Optimization

Tung Nguyen, Qiuyi Zhang, Bangding Yang, Chansoo Lee, Jorg Bornschein, Yingjie Miao, Sagi Perel, Yutian Chen, Xingyou Song

机构 * UCLA（加州大学洛杉矶分校） ； Google（谷歌） ； DeepMind（深度Mind） 纠错

专题命中 效率与部署 ：language model(title)；LLM(abstract)；分类 cs.AI、cs.LG

Comments Code can be found in https://github.com/google-research/optformer/tree/main/optformer/embed_then_regress

ProCut: LLM Prompt Compression via Attribution Estimation

Zhentao Xu, Fengyi Li, Albert Chen, Xiaofeng Wang

机构 * LinkedIn Corporation（领英公司） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.LG

Advancing Brainwave Modeling with a Codebook-Based Foundation Model

Konstantinos Barmpas, Na Lee, Yannis Panagakis, Dimitrios A. Adamos, Nikolaos Laskaris, Stefanos Zafeiriou

机构 * Imperial College London（帝国理工学院伦敦分校） ； Cogitat ； National and Kapodistrian University of Athens（国家与资本主义大学雅典分校） ； Archimedes Research Unit（阿奇米德研究单位） ； Aristotle University of Thessaloniki（亚里士多德大学塞萨洛尼基分校） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Characterizing Mobile SoC for Accelerating Heterogeneous LLM Inference

Le Chen, Dahu Feng, Erhu Feng, Yingrui Wang, Rong Zhao, Yubin Xia, Pinjie Xu, Haibo Chen

机构 * Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（并行与分布式系统研究所，上海交通大学） ； Tsinghua University（清华大学） ； SenseTime Research（商汤科技研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

PCoreSet: Effective Active Learning through Knowledge Distillation from Vision-Language Models

Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Dongseop Kim, Sung Ju Hwang

机构 * VUNO Inc.（VUNO公司） ； KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

Comments 39 pages, 25 figures, preprint

PALADIN: Self-Correcting Language Model Agents to Cure Tool-Failure Cases

Sri Vatsa Vuddanti, Aarav Shah, Satwik Kumar Chittiprolu, Tony Song, Sunishchal Dev, Kevin Zhu, Maheep Chaudhary

专题命中 效率与部署 ：language model(title)；language agent(abstract)；分类 cs.AI、cs.LG

Simple yet Effective Semi-supervised Knowledge Distillation from Vision-Language Models via Dual-Head Optimization

Seongjae Kang, Dong Bok Lee, Hyungjoon Jang, Sung Ju Hwang

机构 * VUNO Inc.（VUNO公司） ； KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

Comments 38 pages, 17 figures, preprint

Optimizing Privacy-Preserving Primitives to Support LLM-Scale Applications

Yaman Jandali, Ruisi Zhang, Nojan Sheybani, Farinaz Koushanfar

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

LLaDA-MoE: A Sparse MoE Diffusion Language Model

Fengqi Zhu, Zebin You, Yipeng Xing, Zenan Huang, Lin Liu, Yihong Zhuang, Guoshan Lu, Kangyu Wang, Xudong Wang, Lanning Wei, Hongrui Guo, Jiaqi Hu, Wentao Ye, Tieyuan Chen, Chenchen Li, Chengfu Tang, Haibo Feng, Jun Hu, Jun Zhou, Xiaolu Zhang, Zhenzhong Lan, Junbo Zhao, Da Zheng, Chongxuan Li, Jianguo Li, Ji-Rong Wen

机构 * Renmin University of China（中国人民大学） ； Ant Group（蚂蚁集团） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

Sequential Diffusion Language Models

Yangzhou Liu, Yue Cao, Hao Li, Gen Luo, Zhe Chen, Weiyun Wang, Xiaobo Liang, Biqing Qi, Lijun Wu, Changyao Tian, Yanting Zhang, Yuqiang Li, Tong Lu, Yu Qiao, Jifeng Dai, Wenhai Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； Soochow University（苏州大学） ； Donghua University（东华大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments 14 pages, 5 figures, technical report

TDRM: Smooth Reward Models with Temporal Difference for LLM RL and Inference

Dan Zhang, Min Cai, Jonathan Light, Ziniu Hu, Yisong Yue, Jie Tang

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； University of Alberta（阿尔伯塔大学） ； California Institute of Technology（加州理工学院） ； School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院） 纠错

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.LG

Comments 10 figures, 7 tables

Tree Reward-Aligned Search for TReASURe in Masked Diffusion Language Models

Zichao Yu, Ming Li, Wenyi Zhang, Weiguo Gao

机构 * University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments 21 pages, 6 figures

FoMo-0D: A Foundation Model for Zero-shot Tabular Outlier Detection

Yuchen Shen, Haomin Wen, Leman Akoglu

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments TMLR

To Trust Or Not To Trust Your Vision-Language Model's Prediction

Hao Dong, Moru Liu, Jian Liang, Eleni Chatzi, Olga Fink

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

Language Modeling with Learned Meta-Tokens

Alok N. Shah, Khush Gupta, Keshav Ramji, Pratik Chaudhari

机构 * University of Pennsylvania（宾夕法尼亚大学） ； IBM Research AI（IBM人工智能研究） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

A Multimodal Foundation Model to Enhance Generalizability and Data Efficiency for Pan-cancer Prognosis Prediction

Huajun Zhou, Fengtao Zhou, Jiabo Ma, Yingxue Xu, Xi Wang, Xiuming Zhang, Li Liang, Zhenhui Li, Hao Chen

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； Department of Pathology（病理学系） ； School of Medicine（医学院） ； Zhejiang University（浙江大学） ； Nanfang Hospital and School of Basic Medical Sciences（南方医科大学基础医学系） ； Southern Medical University（南方医学院） ； Guangdong Provincial Key Laboratory of Molecular Tumor Pathology（广东省分子肿瘤病理重点实验室） ； Jinfeng Laboratory（金凤实验室） ； Department of Radiology（放射科） ； Division of Life Science（生命科学系） ； HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院） ； State Key Laboratory of Nervous System Disorders（神经系统疾病国家重点实验室） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments 27 pages, 7 figures

QualityFM: a Multimodal Physiological Signal Foundation Model with Self-Distillation for Signal Quality Challenges in Critically Ill Patients

Zongheng Guo, Tao Chen, Manuela Ferrario

机构 * Department of Electronics, Information and Bioengineering, Politecnico di Milano（电子、信息与生物工程系，米兰理工学院） ； State Key Laboratory of Industrial Control Technology, Zhejiang University（工业控制技术国家重点实验室，浙江大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments 11 pages, 5 figures, 7 tables

MoPD: Mixture-of-Prompts Distillation for Vision-Language Models

Yang Chen, Shuai Fu, Yu Zhang

机构 * Department of Computer Science and Engineering, Southern University of Science and Technology（计算机科学与工程系，南方科技大学） ； School of Mathematical and Computer Sciences, University of Adelaide（数学与计算机科学学院，阿德莱德大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Scaling Video-Language Models to 10K Frames via Hierarchical Differential Distillation

Chuanqi Cheng, Jian Guan, Wei Wu, Rui Yan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted by ICML 2025

The Model Hears You: Audio Language Model Deployments Should Consider the Principle of Least Privilege

Luxi He, Xiangyu Qi, Michel Liao, Inyoung Cheong, Prateek Mittal, Danqi Chen, Peter Henderson

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments Published at AIES 2025

Crown, Frame, Reverse: Layer-Wise Scaling Variants for LLM Pre-Training

Andrei Baroian, Kasper Notebomer

机构 * LIACS, Leiden University, The Netherlands（LIACS，莱顿大学，荷兰） 纠错

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.AI

Comments The reported results are skewed due to a data type mismatch. The dataset was saved with int32, but the data loader interpreted it as uint16. As a result, each 32-bit token was incorrectly split into two 16-bit tokens. Outcome: a consistent artifact where every other token is zero

LiquidGEMM: Hardware-Efficient W4A8 GEMM Kernel for High-Performance LLM Serving

Huanqi Hu, Bowen Xiao, Shixuan Sun, Jianian Yin, Zhexi Zhang, Xiang Luo, Chengquan Jiang, Weiqi Xu, Xiaoying Jia, Xin Liu, Minyi Guo

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

Comments 12 pages, 13 figures

CoViPAL: Layer-wise Contextualized Visual Token Pruning for Large Vision-Language Models

Zicong Tang, Ziyang Ma, Suqing Wang, Zuchao Li, Lefei Zhang, Hai Zhao, Yun Li, Qianren Wang

机构 * School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机学院） ； Cognitive AI Lab, Shanghai Huawei Technologies, China（上海华为技术有限公司认知人工智能实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments Accepted by EMNLP 2025

Data-Efficient Symbolic Regression via Foundation Model Distillation

Wangyang Ying, Jinghan Zhang, Haoyue Bai, Nanxu Gong, Xinyuan Wang, Kunpeng Liu, Chandan K. Reddy, Yanjie Fu

机构 * Institute for Clarity in Documentation（文档清晰研究所） ； Inria Paris-Rocquencourt（巴黎-罗克琴特研究所） ； Rajiv Gandhi University（拉吉夫·甘地大学） ； Tsinghua University（清华大学） ； Palmer Research Laboratories（帕尔默研究实验室） ； Arizona State University（亚利桑那州立大学） ； Clemson University（克莱姆森大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

SuperBPE: Space Travel for Language Models

Alisa Liu, Jonathan Hayase, Valentin Hofmann, Sewoong Oh, Noah A. Smith, Yejin Choi

机构 * University of Washington（华盛顿大学） ； NVIDIA（英伟达） ； Allen Institute for AI（人工智能研究院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments COLM 2025 camera-ready

Unplug and Play Language Models: Decomposing Experts in Language Models at Inference Time

Nakyeong Yang, Jiwon Moon, Junseok Kim, Yunah Jang, Kyomin Jung

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments accepted to CIKM 2025