语言大模型 / LLM

Toward Green Code: Prompting Small Language Models for Energy-Efficient Code Generation

Humza Ashraf, Syed Muhammad Danish, Shadikur Rahman, Zeeshan Sattar

专题命中 效率与部署 ：language model(title,abstract)；small language model(title,abstract)；prompting(title,abstract)；large language model(abstract)

EARL: Efficient Agentic Reinforcement Learning Systems for Large Language Models

Zheyue Tan, Mustapha Abdullahi, Tuo Shi, Huining Yuan, Zelai Xu, Chao Yu, Boxun Li, Bo Zhao

机构 * Aalto University（阿alto大学） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；post-training(abstract)

Towards Locally Deployable Fine-Tuned Causal Large Language Models for Mode Choice Behaviour

Tareq Alsaleh, Bilal Farooq

机构 * Laboratory of Innovations in Transportation (LiTrans), Toronto Metropolitan University, Canada（交通创新实验室（LiTrans）、多伦多 Metropolitan 大学） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Generative Psycho-Lexical Approach for Constructing Value Systems in Large Language Models

Haoran Ye, Tianze Zhang, Yuhang Xie, Liyuan Zhang, Yuanyi Ren, Xin Zhang, Guojie Song

机构 * State Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（人工智能通用基础理论国家重点实验室，智能科学与技术学院，北京大学） ； Yuanpei College, Peking University（元培学院，北京大学） ； School of Psychological and Cognitive Sciences, Peking University（心理学与认知科学学院，北京大学） ； Key Laboratory of Machine Perception (Ministry of Education), Peking University（机器感知重点实验室（教育部），北京大学） ； PKU-Wuhan Institute for Artificial Intelligence（北京大学-武汉人工智能研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments ACL 2025 Main

H1B-KV: Hybrid One-Bit Caches for Memory-Efficient Large Language Model Inference

Harshil Vejendla

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.LG

Comments MIT URTC 2025 Technical Paper (Oral), 5 pages, 1 figure

LANTERN: Scalable Distillation of Large Language Models for Job-Person Fit and Explanation

Zhoutong Fu, Yihan Cao, Yi-Lin Chen, Aman Lunia, Liming Dong, Neha Saraf, Ruijie Jiang, Yun Dai, Qingquan Song, Tan Wang, Guoyao Li, Derek Koh, Haichao Wei, Zhipeng Wang, Aman Gupta, Chengming Jiang, Jianqiang Shen, Liangjie Hong, Wenjing Zhang

机构 * LinkedIn（领英） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL、cs.AI

Comments 9 pages, 4 figures, 5 tables

Sci-Phi: A Large Language Model Spatial Audio Descriptor

Xilin Jiang, Hannes Gamper, Sebastian Braun

机构 * Columbia University（哥伦比亚大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；LLM(abstract)；分类 cs.CL

Reliable End-to-End Material Information Extraction from the Literature with Source-Tracked Multi-Stage Large Language Models

Xin Wang, Anshu Raj, Matthew Luebbe, Haiming Wen, Shuozhi Xu, Kun Lu

专题命中 效率与部署 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Comments 27 pages, 4 figures, 7 tables

VecInfer: Efficient LLM Inference with Low-Bit KV Cache via Outlier-Suppressed Vector Quantization

Dingyu Yao, Chenxu Yang, Zhengyang Tong, Zheng Lin, Wei Liu, Jian Luan, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； MiLM Plus, Xiaomi Inc（小米公司MiLM Plus） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

lm-Meter: Unveiling Runtime Inference Latency for On-Device Language Models

Haoxin Wang, Xiaolong Tu, Hongyu Ke, Huirong Chai, Dawei Chen, Kyungtae Han

机构 * Georgia State University（佐治亚州立大学） ； Toyota InfoTech Labs（丰田信息技术实验室） 纠错

专题命中 效率与部署 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.LG

Comments This is the preprint version of the paper accepted to The 10th ACM/IEEE Symposium on Edge Computing (SEC 2025)

Syn-Diag: An LLM-based Synergistic Framework for Generalizable Few-shot Fault Diagnosis on the Edge

Zijun Jia, Shuang Liang, Jinsong Yu

机构 * Beihang University（北京航空航天大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

From Principles to Practice: A Systematic Study of LLM Serving on Multi-core NPUs

Tianhao Zhu, Dahu Feng, Erhu Feng, Yubin Xia

机构 * Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University（上海交通大学平行与分布式系统研究所） ； Department of Precision Instrument, Tsinghua University（清华大学精密仪器系） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AgentRouter: A Knowledge-Graph-Guided LLM Router for Collaborative Multi-Agent Question Answering

Zheyuan Zhang, Kaiwen Shi, Zhengqing Yuan, Zehong Wang, Tianyi Ma, Keerthiram Murugesan, Vincent Galassi, Chuxu Zhang, Yanfang Ye

机构 * University of Notre Dame（诺丁汉大学） ； University of Connecticut（康涅狄格大学） ； IBM Research（IBM研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Efficient Prediction of Pass@k Scaling in Large Language Models

Joshua Kazdan, Rylan Schaeffer, Youssef Allouah, Colin Sullivan, Kyssen Yu, Noam Levi, Sanmi Koyejo

机构 * Stanford University（斯坦福大学） ； University of Toronto（多伦多大学） ； EPFL（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：large language model(title)；language model(title)；分类 cs.AI、cs.LG

A Middle Path for On-Premises LLM Deployment: Preserving Privacy Without Sacrificing Model Confidentiality

Hanbo Huang, Yihan Li, Bowen Jiang, Bo Jiang, Lin Liu, Ruoyu Sun, Zhuotao Liu, Shiyu Liang

机构 * Shanghai Jiao Tong University（上海交通大学） ； National University of Defense Technology（国防科技大学） ； Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）） ； Tsinghua University（清华大学） 纠错

专题命中 效率与部署 ：LLM(title)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 8 pages for main content of the paper

SATER: A Self-Aware and Token-Efficient Approach to Routing and Cascading

Yuanzhe Shen, Yide Liu, Zisu Huang, Ruicheng Yin, Xiaoqing Zheng, Xuanjing Huang

机构 * School of Computer Science, Fudan University（复旦大学计算机学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；small language model(abstract)；preference optimization(abstract)

Comments Accepted to EMNLP 2025 Main

VeriGuard: Enhancing LLM Agent Safety via Verified Code Generation

Lesly Miculicich, Mihir Parmar, Hamid Palangi, Krishnamurthy Dj Dvijotham, Mirko Montanari, Tomas Pfister, Long T. Le

机构 * Google Cloud AI Research（谷歌云人工智能研究） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI

Comments 22 pages

Moloch's Bargain: Emergent Misalignment When LLMs Compete for Audiences

Batu El, James Zou

机构 * Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

NorMuon: Making Muon more efficient and scalable

Zichong Li, Liming Liu, Chen Liang, Weizhu Chen, Tuo Zhao

机构 * Georgia Tech（佐治亚理工学院） ； Microsoft（微软） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.LG

Geometry-Guided Adversarial Prompt Detection via Curvature and Local Intrinsic Dimension

Canaan Yung, Hanxun Huang, Christopher Leckie, Sarah Erfani

机构 * School of Computing and Information Systems, The University of Melbourne（计算与信息系统学院，墨尔本大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 40 Pages, 6 figues

Cat: Post-Training Quantization Error Reduction via Cluster-based Affine Transformation

Ali Zoljodi, Radu Timofte, Masoud Daneshtalab

专题命中 效率与部署 ：post-training(title,abstract)

Comments 29 pages, 20 figures

Draft, Verify, and Improve: Toward Training-Aware Speculative Decoding

Shrenik Bhansali, Larry Heck

机构 * Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

KVLinC : KV Cache Quantization with Hadamard Rotation and Linear Correction

Utkarsh Saxena, Kaushik Roy

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments 14 pages, 7 figures, 6 tables

SAFER: Advancing Safety Alignment via Efficient Ex-Ante Reasoning

Kehua Feng, Keyan Ding, Yuhao Wang, Menghan Li, Fanjunduo Wei, Xinda Wang, Qiang Zhang, Huajun Chen

机构 * College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； ZJU-Hangzhou Global Scientific and Technological Innovation Center, Zhejiang University（浙江大学Hangzhou全球科技创新中心） ； Polytechnic Institute, Zhejiang University（浙江大学 polytechnic 院） ； School of Software Technology, Zhejiang University（浙江大学软件技术学院） ； ZJU-UIUC Institute, Zhejiang University（浙江大学UIUC研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

Comments 22 pages, 5 figures

OneCAT: Decoder-Only Auto-Regressive Model for Unified Understanding and Generation

Han Li, Xinyu Peng, Yaoming Wang, Zelin Peng, Xin Chen, Rongxiang Weng, Jingang Wang, Xunliang Cai, Wenrui Dai, Hongkai Xiong

机构 * Meituan Inc（美团公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

Comments technical report, project url:https://onecat-ai.github.io/

AMAQ: Adaptive Mixed-bit Activation Quantization for Collaborative Parameter Efficient Fine-tuning

Yurun Song, Zhuoyi Yang, Ian G. Harris, Sangeetha Abdu Jyothi

机构 * UC Irvine（uci大学） ； VMware Research（vmware研究） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 14 pages

Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs

Qi Li, Runpeng Yu, Haiquan Lu, Xinchao Wang

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

DecEx-RAG: Boosting Agentic Retrieval-Augmented Generation with Decision and Execution Optimization via Process Supervision

Yongqi Leng, Yikun Lei, Xikai Liu, Meizhi Zhong, Bojian Xiong, Yurong Zhang, Yan Gao, Yi Wu, Yao Hu, Deyi Xiong

机构 * TJUNLP Lab, College of Intelligence and Computing, Tianjin University（天津大学智能计算学院实验室） ； Xiaohongshu Inc.（小红书公司） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Stratum: System-Hardware Co-Design with Tiered Monolithic 3D-Stackable DRAM for Efficient MoE Serving

Yue Pan, Zihan Xia, Po-Kai Hsu, Lanxiang Hu, Hyungyo Kim, Janak Sharda, Minxuan Zhou, Nam Sung Kim, Shimeng Yu, Tajana Rosing, Mingu Kang

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； University of Illinois, Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Illinois Institute of Technology（伊利诺伊理工学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.LG

Bridging Semantic Logic Gaps: A Cognition Inspired Multimodal Boundary Preserving Network for Image Manipulation Localization

Songlin Li, Zhiqing Guo, Yuanman Li, Zeyu Li, Yunfeng Diao, Gaobo Yang, Liejun Wang

机构 * School of Computer Science and Technology, Xinjiang University（新疆大学计算机科学与技术学院） ； School of Electronic and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院） ； College of Computer Science and Electronic Engineering, Hunan University（湖南大学计算机科学与电子工程学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)