语言大模型 / LLM

Retraining-Free Merging of Sparse MoE via Hierarchical Clustering

I-Chun Chen, Hsu-Shen Liu, Wei-Fang Sun, Chen-Hao Chao, Yen-Chang Hsu, Chun-Yi Lee

机构 * National Tsing Hua University（国立清华大学） ； National Taiwan University（国立台湾大学） ； University of Toronto（多伦多大学） ； NVIDIA AI Technology Center (NVAITC)（NVIDIA AI技术中心） ； Samsung Research America（三星美国研究院） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments Code: https://github.com/wazenmai/HC-SMoE. Accepted by ICML 2025

CodeAD: Synthesize Code of Rules for Log-based Anomaly Detection with LLMs

Junjie Huang, Minghua He, Jinyang Liu, Yintong Huo, Domenico Bianculli, Michael R. Lyu

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)

COUNTDOWN: Contextually Sparse Activation Filtering Out Unnecessary Weights in Down Projection

Jaewon Cheon, Pilsung Kang

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2025 (Main Track)

Solving the Unsolvable: Translating Case Law in Hong Kong

King-kui Sin, Xi Xuan, Chunyu Kit, Clara Ho-yan Chan, Honic Ho-kin Ip

机构 * UOW College Hong Kong（香港UOW学院） ； City University of Hong Kong（香港城市大学） ； The Chinese University of Hong Kong Shenzhen（香港中文大学深圳校区） ； The University of Hong Kong（香港大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

BLaST: High Performance Inference and Pretraining using BLock Sparse Transformers

Patrik Okanovic, Sameer Deshmukh, Grzegorz Kwasniewski, Yi Zhu, Haruto Fujii, Sakina Fatima, Maciej Besta, Kentaro Katayama, Takumi Honda, Yusuke Nagasaka, Torsten Hoefler

机构 * ETH Zurich（苏黎世联邦理工学院） ； Fujitsu Pvt. Ltd.（Fujitsu私人有限公司） 纠错

专题命中 效率与部署 ：pretraining(title)；分类 cs.LG

PAHQ: Accelerating Automated Circuit Discovery through Mixed-Precision Inference Optimization

Xinhai Wang, Shu Yang, Liangyu Wang, Lin Zhang, Huanyi Xie, Lijie Hu, Di Wang

机构 * King Abdullah University of Science and Technology（卡布斯大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Beyond Higher Rank: Token-wise Input-Output Projections for Efficient Low-Rank Adaptation

Shiwei Li, Xiandi Luo, Haozhao Wang, Xing Tang, Ziqiang Cui, Dugang Liu, Yuhua Li, Xiuqiang He, Ruixuan Li

机构 * Huazhong University of Science and Technology（华中科技大学） ； Shenzhen Technology University（深圳技术大学） ； City University of Hong Kong（香港城市大学） ； Shenzhen University（深圳大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted by NeurIPS 2025

BLIP-FusePPO: A Vision-Language Deep Reinforcement Learning Framework for Lane Keeping in Autonomous Vehicles

Seyed Ahmad Hosseini Miangoleh, Amin Jalal Aghdasian, Farzaneh Abdollahi

机构 * Department of Electrical Engineering, Amirkabir University of Technology (Tehran Polytechnic)（电气工程系，阿米尔卡比尔技术大学（德黑兰理工大学）） 纠错

专题命中 效率与部署 ：language model(abstract)；pretraining(abstract)；分类 cs.AI、cs.LG

Comments https://github.com/Amin-A96/BLIP-FusePPO-A-Vision-Language-Deep-Reinforcement-Learning-Framework-for-Lane-Keeping-in-Autonomous.git

The Lossy Horizon: Error-Bounded Predictive Coding for Lossy Text Compression (Episode I)

Nnamdi Aghanya, Jun Li, Kewei Wang

机构 * Cranfield University（克兰菲尔德大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 12 pages, 7 figures

Evolving LLMs' Self-Refinement Capability via Synergistic Training-Inference Optimization

Yongcheng Zeng, Xinyu Cui, Xuanfa Jin, Qirui Mi, Guoqing Liu, Zexu Sun, Mengyue Yang, Dong Li, Weiyu Ma, Ning Yang, Jian Zhao, Jianye Hao, Haifeng Zhang, Jun Wang

机构 * Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； University of Science and Technology of China（中国科学技术大学） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿家庄人工智能学院） ； University of Bristo, UK（英国布里斯托大学） ； Zhongguancun Academy, China（中关村学院） ； Huawei Noah’s Ark Lab, China（华为诺亚实验室） ； University College London, UK（伦敦大学学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Implicit Modeling for Transferability Estimation of Vision Foundation Models

Yaoyan Zheng, Huiqun Wang, Nan Zhou, Di Huang

机构 * State Key Laboratory of Complex and Critical Software Environment, Beihang University, Beijing, China（复杂与关键软件环境国家重点实验室，北京航空航天大学） ； School of Computer Science and Engineering, Beihang University, Beijing, China（计算机科学与工程学院，北京航空航天大学） 纠错

专题命中 效率与部署 ：foundation model(title)

Comments Accepted by NeurIPS 2025

Alita-G: Self-Evolving Generative Agent for Agent Generation

Jiahao Qiu, Xuan Qi, Hongru Wang, Xinzhe Juan, Yimin Wang, Zelin Zhao, Jiayi Geng, Jiacheng Guo, Peihang Li, Jingzhe Shi, Shilong Liu, Mengdi Wang

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 15 pages, 3 figures

Iterative Layer Pruning for Efficient Translation Inference

Yasmin Moslem, Muhammad Hazim Al Farouq, John D. Kelleher

机构 * ADAPT Centre（ADAPT中心） ； Trinity College Dublin（三一学院） ； Kreasof AI Research Labs（Kreasof人工智能研究实验室） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments WMT 2025

Journal ref Proceedings of the Tenth Conference on Machine Translation (WMT 2025), pages 1022--1027

GigaEmbeddings: Efficient Russian Language Embedding Model

Egor Kolodin, Daria Khomich, Nikita Savushkin, Anastasia Ianina, Fyodor Minkin

机构 * MIPT（莫斯科物理技术学院） ； SaluteDevices ； MSU（莫斯科州大学） ； Wildberries 纠错

专题命中 效率与部署 ：LLM(abstract)；instruction tuning(abstract)；分类 cs.CL

CGoT: A Novel Inference Mechanism for Embodied Multi-Agent Systems Using Composable Graphs of Thoughts

Yixiao Nie, Yang Zhang, Yingjie Jin, Zhepeng Wang, Xiu Li, Xiang Li

机构 * Shenzhen Tsinghua International Graduate School, Tsinghua University（深圳清华大学国际研究生院，清华大学） ； Lenovo Research（联想研究院） ； Department of Automation, Tsinghua University（自动化系，清华大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

FeaGPT: an End-to-End agentic-AI for Finite Element Analysis

Yupeng Qi, Ran Xu, Xu Chu

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

A Multimodal, Multitask System for Generating E Commerce Text Listings from Images

Nayan Kumar Singh

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 24 pages, 10 figures, 11 tables. Code can be found at: https://github.com/SinghNayanKumar/multimodal-product-lister/

Avi: Action from Volumetric Inference

Harris Song, Long Le

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of pennsylvania（宾夕法尼亚大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

Comments NeurIPS 2025 Workshop on Embodied World Models for Decision Making. URL: https://avi-3drobot.github.io/

Visual Autoregressive Models Beat Diffusion Models on Inference Time Scaling

Erik Riise, Mehmet Onurcan Kaya, Dim P. Papadopoulos

机构 * Technical University of Denmark（丹麦技术大学） ； Pioneer Center for AI（先锋人工智能中心） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

Psi-Sampler: Initial Particle Sampling for SMC-Based Inference-Time Reward Alignment in Score Models

Taehoon Yoon, Yunhong Min, Kyeongmin Yeo, Minhyuk Sung

机构 * KAIST（韩国科学技术院） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025, Spotlight Presentation

AttentionRAG: Attention-Guided Context Pruning in Retrieval-Augmented Generation

Yixiong Fang, Tianran Sun, Yuling Shi, Xiaodong Gu

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI

Mixture-of-Recursions: Learning Dynamic Recursive Depths for Adaptive Token-Level Computation

Sangmin Bae, Yujin Kim, Reza Bayat, Sungnyun Kim, Jiyoun Ha, Tal Schuster, Adam Fisch, Hrayr Harutyunyan, Ziwei Ji, Aaron Courville, Se-Young Yun

机构 * KAIST AI（韩国科学技术院人工智能研究中心） ； Mila（蒙特利尔大学机器学习研究所） ； Google Cloud（谷歌云） ； Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

Comments 38 pages, 9 figures, 17 tables, codes at https://github.com/raymin0223/mixture_of_recursions

Knowing You Don't Know: Learning When to Continue Search in Multi-round RAG through Self-Practicing

Diji Yang, Linda Zeng, Jinmeng Rao, Yi Zhang

机构 * University of California Santa Cruz（加州大学圣克ruz分校） ； The Harker School（哈克尔学校） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI

Comments Proceedings of the 48th International ACM SIGIR 2025

Transformer Based Linear Attention with Optimized GPU Kernel Implementation

Armin Gerami, Ramani Duraiswami

机构 * Department of Computer Science, Umiacs University of Maryland College Park, MD（计算机科学系，乌米亚茨大学马里兰大学学院公园分校） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

Decoder-Hybrid-Decoder Architecture for Efficient Reasoning with Long Generation

Liliang Ren, Congcong Chen, Haoran Xu, Young Jin Kim, Adam Atkinson, Zheng Zhan, Jiankai Sun, Baolin Peng, Liyuan Liu, Shuohang Wang, Hao Cheng, Jianfeng Gao, Weizhu Chen, Yelong Shen

机构 * Microsoft（微软公司） ； Stanford University（斯坦福大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

Comments Accepted by NeurIPS 2025. Camera-ready Version

ProfileXAI: User-Adaptive Explainable AI

Gilber A. Corrales, Carlos Andrés Ferro Sánchez, Reinel Tabares-Soto, Jesús Alfonso López Sotelo, Gonzalo A. Ruz, Johan Sebastian Piña Durán

机构 * Facultad de Ingeniería y Ciencias Básicas, Universidad Autónoma de Occidente（工程与基础科学学院，自治大学） 纠错

专题命中 效率与部署 ：prompting(abstract)；分类 cs.AI

Comments pages, 1 figure, 3 tables. Preprint. Evaluated on UCI Heart Disease (1989) and UCI Differentiated Thyroid Cancer Recurrence (2023). Uses IEEEtran

A high-capacity linguistic steganography based on entropy-driven rank-token mapping

Jun Jiang, Weiming Zhang, Nenghai Yu, Kejiang Chen

机构 * School of Cyber Science and Technology（网络科学与技术学院） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

Rethinking Inference Placement for Deep Learning across Edge and Cloud Platforms: A Multi-Objective Optimization Perspective and Future Directions

Zongshun Zhang, Ibrahim Matta

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

SwiftSolve: A Self-Iterative, Complexity-Aware Multi-Agent Framework for Competitive Programming

Adhyayan Veer Singh, Aaron Shen, Brian Law, Ahmed Ismail, Jonas Rohweder, Sean O'Brien, Kevin Zhu

机构 * Algoverse Research（Algoverse研究机构） ； UC Berkeley（加州大学伯克利分校） ； TU Darmstadt（德意志图林根大学） ； Zuse School ELIZA（Zuse学校ELIZA） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.AI

Benchmarking Egocentric Multimodal Goal Inference for Assistive Wearable Agents

Vijay Veerabadran, Fanyi Xiao, Nitin Kamra, Pedro Matias, Joy Chen, Caley Drooff, Brett D Roads, Riley Williams, Ethan Henderson, Xuanyi Zhao, Kevin Carlberg, Joseph Tighe, Karl Ridgeway

机构 * Meta Reality Labs（Meta 现实实验室） ； Meta FAIR 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

Comments Accepted as a spotlight paper at the 39th Conference on Neural Information Processing Systems (NeurIPS 2025)