语言大模型 / LLM

Progressive Binarization with Semi-Structured Pruning for LLMs

Xianglong Yan, Tianao Zhang, Zhiteng Li, Haotong Qin, Yulun Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） ； ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Optimizing Privacy-Preserving Primitives to Support LLM-Scale Applications

Yaman Jandali, Ruisi Zhang, Nojan Sheybani, Farinaz Koushanfar

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

LLaDA-MoE: A Sparse MoE Diffusion Language Model

Fengqi Zhu, Zebin You, Yipeng Xing, Zenan Huang, Lin Liu, Yihong Zhuang, Guoshan Lu, Kangyu Wang, Xudong Wang, Lanning Wei, Hongrui Guo, Jiaqi Hu, Wentao Ye, Tieyuan Chen, Chenchen Li, Chengfu Tang, Haibo Feng, Jun Hu, Jun Zhou, Xiaolu Zhang, Zhenzhong Lan, Junbo Zhao, Da Zheng, Chongxuan Li, Jianguo Li, Ji-Rong Wen

机构 * Renmin University of China（中国人民大学） ； Ant Group（蚂蚁集团） ； Shanghai Jiao Tong University（上海交通大学） ； Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

Sequential Diffusion Language Models

Yangzhou Liu, Yue Cao, Hao Li, Gen Luo, Zhe Chen, Weiyun Wang, Xiaobo Liang, Biqing Qi, Lijun Wu, Changyao Tian, Yanting Zhang, Yuqiang Li, Tong Lu, Yu Qiao, Jifeng Dai, Wenhai Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） ； Soochow University（苏州大学） ； Donghua University（东华大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments 14 pages, 5 figures, technical report

TDRM: Smooth Reward Models with Temporal Difference for LLM RL and Inference

Dan Zhang, Min Cai, Jonathan Light, Ziniu Hu, Yisong Yue, Jie Tang

机构 * Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系） ； University of Alberta（阿尔伯塔大学） ； California Institute of Technology（加州理工学院） ； School of Electronics and Computer Science, University of Southampton（南安普顿大学电子与计算机科学学院） 纠错

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.LG

Comments 10 figures, 7 tables

Tree Reward-Aligned Search for TReASURe in Masked Diffusion Language Models

Zichao Yu, Ming Li, Wenyi Zhang, Weiguo Gao

机构 * University of Science and Technology of China（中国科学技术大学） ； Fudan University（复旦大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments 21 pages, 6 figures

SparseD: Sparse Attention for Diffusion Language Models

Zeqing Wang, Gongfan Fang, Xinyin Ma, Xingyi Yang, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL

Comments The code is available at https://github.com/INV-WZQ/SparseD

Guide: Generalized-Prior and Data Encoders for DAG Estimation

Amartya Roy, Devharish N, Shreya Ganguly, Kripabandhu Ghosh

机构 * SIRE, Indian Institute of Technology Delhi（印度理工学院德里学院） ； Robert Bosch GmbH（罗伯特·博世有限公司） ； Indian Institute of Science Education and Research, Kolkata（印度科学教育与研究学院，科拉卡特） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Experience Deploying Containerized GenAI Services at an HPC Center

Angel M. Beltre, Jeff Ogden, Kevin Pedretti

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 10 pages, 12 figures

Speculative Safety-Aware Decoding

Xuekang Wang, Shengyu Zhu, Xueqi Cheng

机构 * State Key Laboratory of AI Safety, Institute of Computing Technology, CAS（人工智能安全国家重点实验室，计算技术研究所，中国科学院） ； School of Computer Science & Technology, Beijing Institute of Technology（计算机科学与技术学院，北京理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

Comments Camera-ready version of EMNLP 2025 main conference. Code: https://github.com/k-k1w-w1x-x/Speculative-Safety-Aware-Decoding

Angles Don't Lie: Unlocking Training-Efficient RL Through the Model's Own Signals

Qinsi Wang, Jinghan Ke, Hancheng Ye, Yueqian Lin, Yuzhe Fu, Jianyi Zhang, Kurt Keutzer, Chenfeng Xu, Yiran Chen

机构 * Duke University（杜克大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

SparseServe: Unlocking Parallelism for Dynamic Sparse Attention in Long-Context LLM Serving

Qihui Zhou, Peiqi Yin, Pengfei Zuo, James Cheng

专题命中 效率与部署 ：LLM(title,abstract)

Comments 14 pages, 16 figures

HERO: Rethinking Visual Token Early Dropping in High-Resolution Large Vision-Language Models

Xu Li, Yuxuan Liang, Xiaolei Chen, Yi Zheng, Haotian Chen, Bin Li, Xiangyang Xue

机构 * College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)

Two Heads Are Better Than One: Dual-Model Verbal Reflection at Inference-Time

Jiazheng Li, Yuxiang Zhou, Junru Lu, Gladys Tyen, Lin Gui, Cesare Aloisi, Yulan He

机构 * King’s College London（伦敦国王学院） ； AQA ； The Alan Turing Institute（艾伦·图灵研究所） ； Tencent YouTu Lab（腾讯YouTu实验室） ； University of Cambridge（剑桥大学） ； Queen Mary University of London（伦敦大学玛丽女王学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

Comments Accepted at EMNLP 2025 Oral

Perceive, Reflect and Understand Long Video: Progressive Multi-Granular Clue Exploration with Interactive Agents

Jiahua Li, Kun Wei, Zhe Xu, Zibo Su, Xu Yang, Cheng Deng

机构 * School of Electronic Engineering, Xidian University（西安电子科技大学电子工程学院） ； Department of Computer Science and Engineering, Hong Kong University of Science and Technology（香港理工大学计算机科学与工程系） ； College of Computer and Information, Hohai University（河海大学计算机与信息学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation

Weilin Zhao, Zihan Zhou, Zhou Su, Chaojun Xiao, Yuxuan Li, Yanghao Li, Yudi Zhang, Weilun Zhao, Zhen Li, Yuxiang Huang, Ao Sun, Xu Han, Zhiyuan Liu

机构 * Tsinghua University（清华大学） ； OpenBMB（开放大脑实验室） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Cross-modal RAG: Sub-dimensional Text-to-Image Retrieval-Augmented Generation

Mengdan Zhu, Senhao Cheng, Guangji Bai, Yifei Zhang, Liang Zhao

机构 * Emory University（埃默里大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

FedPOB: Sample-Efficient Federated Prompt Optimization via Bandits

Pingchen Lu, Zhi Hong, Zhiwei Shang, Zhiyong Wang, Yikun Ban, Yao Shu, Min Zhang, Shuang Qiu, Zhongxiang Dai

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； South China University of Technology（华南理工大学） ； University of Edinburgh（爱丁堡大学） ； Beihang University（北航） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； East China Normal University（华东师范大学） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Preprint

Data Uniformity Improves Training Efficiency and More, with a Convergence Framework Beyond the NTK Regime

Yuqing Wang, Shangding Gu

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Vintix: Action Model via In-Context Reinforcement Learning

Andrey Polubarov, Nikita Lyubaykin, Alexander Derevyagin, Ilya Zisman, Denis Tarasov, Alexander Nikulin, Vladislav Kurenkov

机构 * Innopolis University（因诺波利斯大学） ； Research Center for Trusted Artificial Intelligence, ISP RAS（可信人工智能研究所以及ISP俄罗斯科学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments ICML 2025, Poster

Towards Efficient CoT Distillation: Self-Guided Rationale Selector for Better Performance with Fewer Rationales

Jianzhi Yan, Le Liu, Youcheng Pan, Shiwei Chen, Yang Xiang, Buzhou Tang

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室） ； Shaoguan Research Institute of Data Industry（韶关数据产业研究院） 纠错

专题命中 效率与部署 ：language model(abstract)；small language model(abstract)；分类 cs.CL、cs.AI

Comments 18 pages, 10 figures

VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs

Raghavv Goel, Sudhanshu Agrawal, Mukul Gagrani, Junyoung Park, Yifan Zao, He Zhang, Tian Liu, Yiping Yang, Xin Yuan, Jiuyan Lu, Chris Lott, Mingu Lee

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 效率与部署 ：LLM(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 8 pages, 4 figures, 5 tables, accepted at ICML 2025 workshop on Efficient Systems for Foundational Models

LoTA-QAF: Lossless Ternary Adaptation for Quantization-Aware Fine-Tuning

Junyu Chen, Junzhuo Li, Zhen Peng, Wenjie Wang, Yuxiang Ren, Long Shi, Xuming Hu

机构 * Southwestern University of Finance and Economics（西南财经大学） ； Artificial Intelligence and Digital Finance Key Laboratory of Sichuan Province（四川省人工智能与数字金融重点实验室） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与艺术大学（广州）） ； Sun Yat-sen University（中山大学） ； Nanjing University（南京大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Towards Trustworthy Lexical Simplification: Exploring Safety and Efficiency with Small LLMs

Akio Hayakawa, Stefan Bott, Horacio Saggion

机构 * Department of Engineering, Universitat Pompeu Fabra（工程系，庞培法布拉大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Double Descent as a Lens for Sample Efficiency in Autoregressive vs. Discrete Diffusion Models

Ahmad Fraij, Sam Dauncey

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Agents for self-driving laboratories applied to quantum computing

Shuxiang Cao, Zijian Zhang, Mohammed Alghadeer, Simone D Fasciati, Michele Piscitelli, Mustafa Bakr, Peter Leek, Alán Aspuru-Guzik

机构 * 1 Clarendon Laboratory, Department of Physics, University of Oxford, Oxford, OX1 3PU, UK ； 2 Department of Computer Science, University of Toronto, Toronto, ON M5S 2E4, Canada ； 3 Vector Institute for Artificial Intelligence, Toronto, ON, M5G 1M1, Canada ； 4 Department of Chemistry, University of Toronto, Toronto, ON M5S 3H6, Canada ； 5 Department of Materials Science \& Engineering, University of Toronto, Toronto, ON M5S 3E4, Canada ； 6 Department of Chemical Engineering \& Applied Chemistry, University of Toronto, Toronto, ON M5S 3E5, Canada ； 7 Canadian Institute for Advanced Research (CIFAR), Toronto, ON M5G 1M1, Canada 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Bayesian Mixture-of-Experts: Towards Making LLMs Know What They Don't Know

Albus Yizhuo Li

机构 * Imperial College London（帝国理工学院伦敦分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

No Loss, No Gain: Gated Refinement and Adaptive Compression for Prompt Optimization

Wenhang Shi, Yiren Chen, Shuqing Bian, Xinyi Zhang, Kai Tang, Pengfei Hu, Zhe Zhao, Wei Lu, Xiaoyong Du

机构 * Renmin University of China（中国人民大学） ； Peking University（北京大学） ； Tencent（腾讯） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 10 pages for main content

Bidirectional Intention Inference Enhances LLMs' Defense Against Multi-Turn Jailbreak Attacks

Haibo Tong, Dongcheng Zhao, Guobin Shen, Xiang He, Dachuan Lin, Feifei Zhao, Yi Zeng

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

ToDi: Token-wise Distillation via Fine-Grained Divergence Control

Seongryong Jung, Suwan Yoon, DongGeon Kim, Hwanhee Lee

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments EMNLP 2025 (Oral)