语言大模型 / LLM

SeMe: Training-Free Language Model Merging via Semantic Alignment

Jian Gu, Aldeida Aleti, Chunyang Chen, Hongyu Zhang

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments an early-stage version

Single LLM, Multiple Roles: A Unified Retrieval-Augmented Generation Framework Using Role-Specific Token Optimization

Yutao Zhu, Jiajie Jin, Hongjin Qian, Zheng Liu, Zhicheng Dou, Ji-Rong Wen

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学耿丽人工智能学院） ； Beijing Academy of Artificial Intelligence, China（北京人工智能研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI

Fast Text-to-Audio Generation with Adversarial Post-Training

Zachary Novack, Zach Evans, Zack Zukowski, Josiah Taylor, CJ Carr, Julian Parker, Adnan Al-Sinan, Gian Marco Iodice, Julian McAuley, Taylor Berg-Kirkpatrick, Jordi Pons

专题命中 效率与部署 ：post-training(title,abstract)；分类 cs.AI、cs.LG

FAST: Federated Active Learning with Foundation Models for Communication-efficient Sampling and Training

Haoyuan Li, Mathias Funk, Jindong Wang, Aaqib Saeed

机构 * Department of Industrial Design, Eindhoven University of Technology（工业设计系，埃因霍温理工大学） ； Department of Arts & Sciences, College of William & Mary（文理学院，威廉与玛丽学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments Accepted at IEEE Internet of Things Journal

Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models

Marianne Arriola, Aaron Gokaslan, Justin T. Chiu, Zhihan Yang, Zhixuan Qi, Jiaqi Han, Subham Sekhar Sahoo, Volodymyr Kuleshov

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

Comments ICLR 2025 Oral. We provide the code at https://github.com/kuleshov-group/bd3lms

The Power of Stories: Narrative Priming Shapes How LLM Agents Collaborate and Compete

Gerrit Großmann, Larisa Ivanova, Sai Leela Poduru, Mohaddeseh Tabrizian, Islam Mesabah, David A. Selby, Sebastian J. Vollmer

机构 * Department of Data Science and its Applications, German Research Center for Artificial Intelligence (DFKI)（数据科学及其应用系，德国人工智能研究中心（DFKI）） ； Department of Computer Science, University of Kaiserslautern–Landau (RPTU)（计算机科学系，凯撒斯劳滕-兰道大学（RPTU）） ； Department of Language Science and Technology, Saarland University（语言科学与技术系，萨尔兰大学） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI

Comments 16 pages, 8 figures. Code available at https://github.com/storyagents25/story-agents

Galvatron: An Automatic Distributed System for Efficient Foundation Model Training

Xinyi Liu, Yujie Wang, Shenhan Zhu, Fangcheng Fu, Qingshuo Liu, Guangming Lin, Bin Cui

机构 * Key Lab of High Confidence Software Technologies (MOE), School of CS, Peking University（高性能软件技术重点实验室（教育部）、计算机学院、北京大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Keyframe-oriented Vision Token Pruning: Enhancing Efficiency of Large Vision Language Models on Long-Form Video Processing

Yudong Liu, Jingwei Sun, Yueqian Lin, Jingyang Zhang, Ming Yin, Qinsi Wang, Jianyi Zhang, Hai Li, Yiran Chen

机构 * Duke University（杜克大学） ； Duke Kunshan University（杜克昆山大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Leveraging Language Models for Automated Patient Record Linkage

Mohammad Beheshti, Lovedeep Gondara, Iris Zachary

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

Zero-Shot, But at What Cost? Unveiling the Hidden Overhead of MILS's LLM-CLIP Framework for Image Captioning

Yassir Benhammou, Alessandro Tiberio, Gabriel Trautmann, Suman Kalyan

机构 * NstarX 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

Comments 9 pages, 2 tables, 1 figure

LoftUp: Learning a Coordinate-Based Feature Upsampler for Vision Foundation Models

Haiwen Huang, Anpei Chen, Volodymyr Havrylov, Andreas Geiger, Dan Zhang

机构 * University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； Bosch Center for Artificial Intelligence（博世人工智能中心） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

ProtFlow: Fast Protein Sequence Design via Flow Matching on Compressed Protein Language Model Embeddings

Zitai Kong, Yiheng Zhu, Yinlong Xu, Hanjing Zhou, Mingzhe Yin, Jialu Wu, Hongxia Xu, Chang-Yu Hsieh, Tingjun Hou, Jian Wu

机构 * Zhejiang University（浙江大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

Metropolis-Hastings Captioning Game: Knowledge Fusion of Vision Language Models via Decentralized Bayesian Inference

Yuta Matsui, Ryosuke Yamaki, Ryo Ueda, Seitaro Shinagawa, Tadahiro Taniguchi

机构 * Ritsumeikan University（立命馆大学） ； The University of Tokyo（东京大学） ； Nara Institute of Science and Technology（奈良科学技术研究所） ； Kyoto University（京都大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

ExpertRAG: Efficient RAG with Mixture of Experts -- Optimizing Context Retrieval for Adaptive LLM Responses

Esmail Gumaan

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.CL、cs.AI

Comments 30 pages, 4 figures

Efficient Federated Learning Tiny Language Models for Mobile Network Feature Prediction

Daniel Becking, Ingo Friese, Karsten Müller, Thomas Buchholz, Mandy Galkow-Schneider, Wojciech Samek, Detlev Marpe

机构 * Fraunhofer Heinrich Hertz Institute (HHI)（弗劳恩霍夫海因里希·赫兹研究所） ； Deutsche Telekom AG（德国电信股份公司） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.AI、cs.LG

Comments Accepted at 2025 EuCNC & 6G Summit Poster Session

Blind Baselines Beat Membership Inference Attacks for Foundation Models

Debeshee Das, Jie Zhang, Florian Tramèr

机构 * ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.CL、cs.LG

Comments Accepted to be presented at DATA-FM @ ICLR 2025 and IEEE DLSP Workshop 2025

GR00T N1: An Open Foundation Model for Generalist Humanoid Robots

NVIDIA, :, Johan Bjorck, Fernando Castañeda, Nikita Cherniadev, Xingye Da, Runyu Ding, Linxi "Jim" Fan, Yu Fang, Dieter Fox, Fengyuan Hu, Spencer Huang, Joel Jang, Zhenyu Jiang, Jan Kautz, Kaushil Kundalia, Lawrence Lao, Zhiqi Li, Zongyu Lin, Kevin Lin, Guilin Liu, Edith Llontop, Loic Magne, Ajay Mandlekar, Avnish Narayan, Soroush Nasiriany, Scott Reed, You Liang Tan, Guanzhi Wang, Zu Wang, Jing Wang, Qi Wang, Jiannan Xiang, Yuqi Xie, Yinzhen Xu, Zhenjia Xu, Seonghyeon Ye, Zhiding Yu, Ao Zhang, Hao Zhang, Yizhou Zhao, Ruijie Zheng, Yuke Zhu

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments Authors are listed alphabetically. Project leads are Linxi "Jim" Fan and Yuke Zhu. For more information, see https://developer.nvidia.com/isaac/gr00t

Training Video Foundation Models with NVIDIA NeMo

Zeeshan Patel, Ethan He, Parth Mannan, Xiaowei Ren, Ryan Wolf, Niket Agarwal, Jacob Huffman, Zhuoyao Wang, Carl Wang, Jack Chang, Yan Bai, Tommy Huang, Linnan Wang, Sahil Jain, Shanmugam Ramasamy, Joseph Jennings, Ekaterina Sirazitdinova, Oleg Sudakov, Mingyuan Ma, Bobby Chen, Forrest Lin, Hao Wang, Vasanth Rao Naik Sabavat, Sriharsha Niverty, Rong Ou, Pallab Bhattacharya, David Page, Nima Tajbakhsh, Ashwath Aithal

机构 * NVIDIA（英伟达） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Composable Interventions for Language Models

Arinbjorn Kolbeinsson, Kyle O'Brien, Tianjin Huang, Shanghua Gao, Shiwei Liu, Jonathan Richard Schwarz, Anurag Vaidya, Faisal Mahmood, Marinka Zitnik, Tianlong Chen, Thomas Hartvigsen

机构 * University of Virginia（弗吉尼亚大学） ； EleutherAI ； University of Exeter（埃克塞特大学） ； Harvard Medical School（哈佛医学院） ； University of Oxford（牛津大学） ； Thomson-Reuters Foundational Research（汤森路透基础研究部） ； Mass General Brigham（麻省总医院布里格姆医疗系统） ； UNC Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments Published at ICLR 2025

Language modelling techniques for analysing the impact of human genetic variation

Megha Hegde, Jean-Christophe Nebel, Farzana Rahman

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

Training Foundation Models as Data Compression: On Information, Model Weights and Copyright Law

Giorgio Franceschelli, Claudia Cevenini, Mirco Musolesi

机构 * Alma Mater Studiorum - Università di Bologna（博洛尼亚大学） ； University College London（伦敦大学学院） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments Spotlight presentation at GenLaw'24, see https://www.genlaw.org/2024-icml-papers#training-foundation-models-as-data-compression-on-information-model-weights-and-copyright-law

Simple linear attention language models balance the recall-throughput tradeoff

Simran Arora, Sabri Eyuboglu, Michael Zhang, Aman Timalsina, Silas Alberti, Dylan Zinsley, James Zou, Atri Rudra, Christopher Ré

机构 * Stanford University（斯坦福大学） ； University at Buffalo（布法罗大学） ； Purdue University（普渡大学） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Online Pseudo-average Shifting Attention(PASA) for Robust Low-precision LLM Inference: Algorithms and Numerical Analysis

Long Cheng, Qichen Liao, Fan Wu, Junlin Mu, Tengfei Han, Zhe Qiu, Lianqiang Li, Tianyi Liu, Fangzheng Miao, Keming Gao, Liang Wang, Zhen Zhang, Qiande Yin

机构 * Huawei Technologies Co., Ltd.（华为技术有限公司） ； Xiamen University（厦门大学） ； Beijing Jiaotong University（北京交通大学） ； Tohoku University（东北大学） ； Fudan University（复旦大学） ； Shanghai Jiaotong University（上海交通大学） ； Cambridge Research Institute（剑桥研究院） 纠错

专题命中 效率与部署 ：LLM(title)；language model(abstract)；分类 cs.AI、cs.LG

Comments 21 Pages, 14 figures, conference paper

Tell me why: Visual foundation models as self-explainable classifiers

Hugues Turbé, Mina Bjelogrlic, Gianmarco Mengaldo, Christian Lovis

机构 * University of Geneva（日内瓦大学） ； Geneva University Hospitals（日内瓦大学医院） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

AI on My Shoulder: Supporting Emotional Labor in Front-Office Roles with an LLM-based Empathetic Coworker

Vedant Das Swain, Qiuyue "Joy" Zhong, Jash Rajesh Parekh, Yechan Jeon, Roy Zimmermann, Mary Czerwinski, Jina Suh, Varun Mishra, Koustuv Saha, Javier Hernandez

机构 * Northeastern University（东北大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Tufts University（塔夫茨大学） ； Microsoft Research（微软研究院） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL、cs.AI

Journal ref CHI Conference on Human Factors in Computing Systems (CHI '25), April 26-May 1, 2025, Yokohama, Japan

Ward: Provable RAG Dataset Inference via LLM Watermarks

Nikola Jovanović, Robin Staab, Maximilian Baader, Martin Vechev

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.AI、cs.LG

Comments ICLR 2025

Enhancing RWKV-based Language Models for Long-Sequence Text Generation

Xinghan Pan

机构 * Shenzhen College of International Education（深圳国际交流学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

Comments 8 pages, 2 tables, 3 figures

Concept Distillation from Strong to Weak Models via Hypotheses-to-Theories Prompting

Emmanuel Aboah Boateng, Cassiano O. Becker, Nabiha Asghar, Kabir Walia, Ashwin Srinivasan, Ehi Nosakhare, Soundar Srinivasan, Victor Dibia

专题命中 效率与部署 ：prompting(title)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to NAACL 2025; 17 pages, 8 figures

Scale-Free Graph-Language Models

Jianglin Lu, Yixuan Liu, Yitian Zhang, Yun Fu

机构 * Northeastern University（东北大学） ； Khoury College of Computer Science, Northeastern University（东北大学Khoury计算机学院） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI

Ten Challenging Problems in Federated Foundation Models

Tao Fan, Hanlin Gu, Xuemei Cao, Chee Seng Chan, Qian Chen, Yiqiang Chen, Yihui Feng, Yang Gu, Jiaxiang Geng, Bing Luo, Shuoling Liu, Win Kent Ong, Chao Ren, Jiaqi Shao, Chuan Sun, Xiaoli Tang, Hong Xi Tae, Yongxin Tong, Shuyue Wei, Fan Wu, Wei Xi, Mingcong Xu, He Yang, Xin Yang, Jiangpeng Yan, Hao Yu, Han Yu, Teng Zhang, Yifei Zhang, Xiaojin Zhang, Zhenzhe Zheng, Lixin Fan, Qiang Yang

机构 * WeBank（微众银行） ； Universiti Malaya（马来亚大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Duke Kunshan University（昆山杜克大学） ； KTH Royal Institute of Technology（瑞典皇家理工学院） ； Beihang University（北京航空航天大学） ； Shanghai Jiao Tong University（上海交通大学） ； Xi’an Jiaotong University（西安交通大学） ； Southwestern University of Finance and Economic（西南财经大学） 纠错

专题命中 效率与部署 ：foundation model(title,abstract)；分类 cs.AI、cs.LG