语言大模型 / LLM

StreamForest: Efficient Online Video Understanding with Persistent Event Memory

Xiangyu Zeng, Kefan Qiu, Qingyu Zhang, Xinhao Li, Jing Wang, Jiaxin Li, Ziang Yan, Kun Tian, Meng Tian, Xinhai Zhao, Yi Wang, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Noah’s Ark Lab, Huawei（华为诺亚实验室） ； Yinwang Intelligent Tech.（云网智能科技） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

Comments Accepted as a Spotlight at NeurIPS 2025

When MLLMs Meet Compression Distortion: A Coding Paradigm Tailored to MLLMs

Jinming Liu, Zhaoyang Jia, Jiahao Li, Bin Li, Xin Jin, Wenjun Zeng, Yan Lu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Eastern Institute of Technology（东部技术研究所） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

SVAC: Scaling Is All You Need For Referring Video Object Segmentation

Li Zhang, Haoxiang Gao, Zhihao Zhang, Luoxiao Huang, Tao Zhang

机构 * Columbia University New York, USA（哥伦比亚大学） ； Carnegie Mellon University Pittsburgh, USA（卡内基梅隆大学） ； New York University New York, USA（纽约大学） ； Wuhan University Wuhan, China（武汉大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

Comments This paper is accepted to BMVC 2025

Zeppelin: Balancing Variable-length Workloads in Data Parallel Large Model Training

Chang Chen, Tiancheng Chen, Jiangfei Duan, Qianchao Zhu, Zerui Wang, Qinghao Hu, Peng Sun, Xiuhong Li, Chao Yang, Torsten Hoefler

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

METok: Multi-Stage Event-based Token Compression for Efficient Long Video Understanding

Mengyue Wang, Shuo Chen, Kristian Kersting, Volker Tresp, Yunpu Ma

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

Comments EMNLP 2025; 15 pages, 10 figures

Is Active Persona Inference Necessary for Aligning Small Models to Personal Preferences?

Zilu Tang, Afra Feyza Akyürek, Ekin Akyürek, Derry Wijaya

机构 * Boston University（波士顿大学） ； MIT（麻省理工学院） ； Monash University Indonesia（墨尔本大学印度尼西亚分校） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 9 pages, EMNLP PALS workshop 2025

MotionVerse: A Unified Multimodal Framework for Motion Comprehension, Generation and Editing

Ruibing Hou, Mingshuang Luo, Hongyu Pan, Hong Chang, Shiguang Shan

机构 * Key Laboratory of Intelligent Information Processing, Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)（智能信息处理重点实验室，计算技术研究所（ICT），中国科学院（CAS）） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

Comments 17 pages, 6 figures

MGM-Omni: Scaling Omni LLMs to Personalized Long-Horizon Speech

Chengyao Wang, Zhisheng Zhong, Bohao Peng, Senqiao Yang, Yuqi Liu, Haokun Gui, Bin Xia, Jingyao Li, Bei Yu, Jiaya Jia

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI

Comments Code is available at https://github.com/dvlab-research/MGM-Omni

Causal Attention with Lookahead Keys

Zhuoqing Song, Peng Sun, Huizhuo Yuan, Quanquan Gu

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

ThanoRA: Task Heterogeneity-Aware Multi-Task Low-Rank Adaptation

Jian Liang, Wenke Huang, Xianda Guo, Guancheng Wan, Bo Du, Mang Ye

机构 * Wuhan University（武汉大学） ； ByteDance（字节跳动） ； National University of Defense Technology（国防科技大学） ； Nanyang Technological University（南洋理工大学） ； The AGH University of Krakow（克拉科夫AGH大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

Efficient Reasoning Models: A Survey

Sicheng Feng, Gongfan Fang, Xinyin Ma, Xinchao Wang

机构 * National University of Singapore, Singapore（新加坡国立大学） ； Nankai University, Tianjin, China（南开大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI

Comments TMLR 2025

Sheaf Discovery with Joint Computation Graph Pruning and Flexible Granularity

Lei Yu, Jingcheng Niu, Zining Zhu, Xi Chen, Gerald Penn

机构 * University of Toronto（多伦多大学） ； UKP Lab（UKP实验室） ； Stevens Institute of Technology（斯蒂文斯理工学院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

Efficient Multi-turn RL for GUI Agents via Decoupled Training and Adaptive Data Curation

Pengxiang Li, Zechen Hu, Zirui Shang, Jingrong Wu, Yang Liu, Hui Liu, Zhi Gao, Chenrui Shi, Bofei Zhang, Zihao Zhang, Xiaochuan Shi, Zedong YU, Yuwei Wu, Xinxiao Wu, Yunde Jia, Liuyu Xiang, Zhaofeng He, Qing Li

机构 * Beijing Institute of Technology（北京理工大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； DataCanvas ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Shenzhen MSU-BIT University（深圳MSU-BIT大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression

Jiang-Xin Shi, Wen-Da Wei, Jin-Fei Qi, Xuanyu Chen, Tong Wei, Yu-Feng Li

机构 * Nanjing University（南京大学） ； Southeast University（东南大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

Data-Efficient Training by Evolved Sampling

Ziheng Cheng, Zhong Li, Jiang Bian

机构 * University of California, Berkeley（加州大学伯克利分校） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG

MoE-PHDS: One MoE checkpoint for flexible runtime sparsity

Lauren. A Hannah, Soheil Zibakhsh, Kumari Nishu, Arnav Kundu, Mohammad Samragh Razlighi, Mehrdad Farajtabar, Minsik Cho

机构 * Apple, Inc.（苹果公司） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 效率与部署 ：SFT(abstract)；分类 cs.AI、cs.LG

Learning Hyperspectral Images with Curated Text Prompts for Efficient Multimodal Alignment

Abhiroop Chatterjee, Susmita Ghosh

机构 * Jadavpur University（贾瓦帕尔大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted at the IEEE/CVF International Conference on Computer Vision (ICCV 2025), Workshop on Curated Data for Efficient Learning

APRIL: Active Partial Rollouts in Reinforcement Learning to Tame Long-tail Generation

Yuzhen Zhou, Jiajun Li, Yusheng Su, Gowtham Ramesh, Zilin Zhu, Xiang Long, Chenyang Zhao, Jin Pan, Xiaodong Yu, Ze Wang, Kangrui Du, Jialian Wu, Ximeng Sun, Jiang Liu, Qiaolin Yu, Hao Chen, Zicheng Liu, Emad Barsoum

机构 * Advanced Micro Devices, Inc. (AMD)（先进微器件公司） ； Carnegie Mellon University (CMU)（卡内基梅隆大学） ； LMSYS Org（LMSYS组织） ； University of California, Los Angeles (UCLA)（加州大学洛杉矶分校） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

LionGuard 2: Building Lightweight, Data-Efficient & Localised Multilingual Content Moderators

Leanne Tan, Gabriel Chua, Ziyu Ge, Roy Ka-Wei Lee

机构 * GovTech, Singapore（新加坡政府科技局） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.LG

Comments EMNLP 2025 System Demonstration Track

ProxyThinker: Test-Time Guidance through Small Visual Reasoners

Zilin Xiao, Jaywon Koo, Siru Ouyang, Jefferson Hernandez, Yu Meng, Vicente Ordonez

机构 * Rice University（里士大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； University of Virginia（弗吉尼亚大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI

DC-VideoGen: Efficient Video Generation with Deep Compression Video Autoencoder

Junyu Chen, Wenkun He, Yuchao Gu, Yuyang Zhao, Jincheng Yu, Junsong Chen, Dongyun Zou, Yujun Lin, Zhekai Zhang, Muyang Li, Haocheng Xi, Ligeng Zhu, Enze Xie, Song Han, Han Cai

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI

Comments Tech Report. The first three authors contributed equally to this work

Is Sequence Information All You Need for Bayesian Optimization of Antibodies?

Sebastian W. Ober, Calvin McCarter, Aniruddh Raghu, Yucen Lily Li, Alan N. Amin, Andrew Gordon Wilson, Hunter Elliott

机构 * BigHat Biosciences（BigHat生物技术公司） ； NYU（纽约大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

Comments Accepted into the AI for Science Workshop, NeurIPS 2025

CLQ: Cross-Layer Guided Orthogonal-based Quantization for Diffusion Transformers

Kai Liu, Shaoqiu Zhang, Linghe Kong, Yulun Zhang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI

Comments 10 pages, 5 figures. Code is released at https://github.com/Kai-Liu001/CLQ

Rethinking JEPA: Compute-Efficient Video SSL with Frozen Teachers

Xianhang Li, Chen Huang, Chun-Liang Li, Eran Malach, Josh Susskind, Vimal Thilak, Etai Littwin

机构 * Apple（苹果公司） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.LG

Comments Technical Report

Experience Paper: Adopting Activity Recognition in On-demand Food Delivery Business

Huatao Xu, Yan Zhang, Wei Gao, Guobin Shen, Mo Li

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Rajax Network Technology (ele.me)（Rajax网络技术（饿了么）） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI

Comments 13 pages

Streaming Sequence-to-Sequence Learning with Delayed Streams Modeling

Neil Zeghidour, Eugene Kharitonov, Manu Orsini, Václav Volhejn, Gabriel de Marmiesse, Edouard Grave, Patrick Pérez, Laurent Mazaré, Alexandre Défossez

机构 * Kyutai 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

VAMO: Efficient Zeroth-Order Variance Reduction for SGD with Faster Convergence

Jiahe Chen, Ziye Ma

专题命中 效率与部署 ：LLM(abstract)；分类 cs.LG

DocPruner: A Storage-Efficient Framework for Multi-Vector Visual Document Retrieval via Adaptive Patch-Level Embedding Pruning

Yibo Yan, Guangwei Xu, Xin Zou, Shuliang Liu, James Kwok, Xuming Hu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Alibaba Cloud Computing（阿里云计算） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL

Comments Under review

Why Alignment Must Precede Distillation: A Minimal Working Explanation

Sungmin Cha, Kyunghyun Cho

机构 * New York University（纽约大学） ； Genentech（基因泰克） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.LG

Comments Preprint

Tiny-QMoE

Jack Cashman, Jiaqi Nie

专题命中 效率与部署 ：LLM(abstract)；分类 cs.AI