语言大模型 / LLM

Fast Controlled Generation from Language Models with Adaptive Weighted Rejection Sampling

Benjamin Lipkin, Benjamin LeBrun, Jacob Hoover Vigly, João Loula, David R. MacIver, Li Du, Jason Eisner, Ryan Cotterell, Vikash Mansinghka, Timothy J. O'Donnell, Alexander K. Lew, Tim Vieira

机构 * MIT（麻省理工学院） ； ETH Zürich（苏黎世联邦理工学院） ； McGill（麦吉尔大学） ； Canada CIFAR AI Chair（加拿大 CIFAR 人工智能主席） ； Mila（蒙特利尔人工智能研究院） ； Johns Hopkins（约翰霍普金斯大学） ； Yale（耶鲁大学） ； CHI FRO 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments COLM 2025

D-Attn: Decomposed Attention for Large Vision-and-Language Models

Chia-Wen Kuo, Sijie Zhu, Fan Chen, Xiaohui Shen, Longyin Wen

机构 * ByteDance Intelligent Creation（字节跳动智能创作） 纠错

专题命中 效率与部署 ：language model(title,abstract)；large language model(abstract)

Improving Text Style Transfer using Masked Diffusion Language Models with Inference-time Scaling

Tejomay Kishor Padole, Suyash P Awate, Pushpak Bhattacharyya

机构 * Dept. of Computer Science and Engineering, Indian Institute of Technology, Bombay（计算机科学与工程系，印度理工学院，孟买） 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.CL、cs.LG

Comments Accepted as a main conference submission in the European Conference on Artificial Intelligence (ECAI 2025)

2SSP: A Two-Stage Framework for Structured Pruning of LLMs

Fabrizio Sandri, Elia Cunegatti, Giovanni Iacca

机构 * University of Trento（特伦托大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Published in Transactions on Machine Learning Research (TMLR)

An LLM Agent-Based Complex Semantic Table Annotation Approach

Yilin Geng, Shujing Wang, Chuan Wang, Keqing He, Yanfei Lv, Ying Wang, Zaiwen Feng, Xiaoying Bai

机构 * College of Informatics, Huazhong Agricultural University, Wuhan, Hubei, China, 430070（华中农业大学信息学院） ； Military Science Information Research Center, Academy of Military Sciences, Beijing, 100080（军事科学信息研究中心） ； School of Computer, Wuhan University, Wuhan, Hubei, China, 430072（武汉大学计算机学院） ； Hubei Key Laboratory of Agricultural Bioinformatics（湖北省农业生物信息学重点实验室） ； Engineering Research Center of Agricultural Intelligent Technology, Ministry of Education（农业智能技术工程研究中心） 纠错

专题命中 效率与部署 ：LLM(title,abstract)；分类 cs.CL

Optimizing Language Models for Inference Time Objectives using Reinforcement Learning

Yunhao Tang, Kunhao Zheng, Gabriel Synnaeve, Rémi Munos

机构 * Meta GenAI（Meta 生成式人工智能） ； Meta FAIR 纠错

专题命中 效率与部署 ：language model(title,abstract)；分类 cs.LG

Comments Published as a conference paper at ICML 2025

WeChat-YATT: A Scalable, Simple, Efficient, and Production Ready Training Library

Junyu Wu, Weiming Chang, Xiaotao Liu, Guanyou He, Tingfeng Xian, Haoqiang Hong, Boqi Chen, Hongtao Tian, Tao Yang, Yunsheng Shi, Feng Lin, Ting Yao, Jiatao Xu

机构 * Tencent（腾讯） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.AI、cs.LG

Comments arXiv admin note: substantial text overlap with arXiv:2507.22789

Eigenspectrum Analysis of Neural Networks without Aspect Ratio Bias

Yuanzhe Hu, Kinshuk Goel, Vlad Killiakov, Yaoqing Yang

机构 * dartmouth（达特茅斯学院） ； ucsd（加州大学圣迭戈分校） ； srm（SRM科学与技术学院） ； ucb（加州大学伯克利分校） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 29 pages, 14 figures, ICML 2025

FedSODA: Federated Fine-tuning of LLMs via Similarity Group Pruning and Orchestrated Distillation Alignment

Manning Zhu, Songtao Guo, Pengzhan Zhou, Yansong Ning, Chang Han, Dewen Qiao

机构 * Chongqing University（重庆大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Third Military Medical University（第三军医大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Concealment of Intent: A Game-Theoretic Analysis

Xinbo Wu, Abhishek Umrawal, Lav R. Varshney

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

iFairy: the First 2-bit Complex LLM with All Parameters in $\{\pm1, \pm i\}$

Feiyu Wang, Guoan Wang, Yihao Zhang, Shengfan Wang, Weitao Li, Bokai Huang, Shimao Chen, Zihan Jiang, Rui Xu, Tong Yang

专题命中 效率与部署 ：LLM(title)；分类 cs.CL、cs.LG

Comments 15 pages, 9 figures

AutoChemSchematic AI: Agentic Physics-Aware Automation for Chemical Manufacturing Scale-Up

Sakhinana Sagar Srinivas, Shivam Gupta, Venkataramana Runkana

机构 * Tata Research Development（塔塔研究发展） ； Design Center, Bangalore（设计中心，班加罗尔） 纠错

专题命中 效率与部署 ：language model(abstract)；small language model(abstract)；分类 cs.AI、cs.LG

From Teacher to Student: Tracking Memorization Through Model Distillation

Simardeep Singh

机构 * Indian Institute of Technology, Roorkee（印度理工学院拉胡尔学院） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 5 pages, in-proceedings L2M2 @ ACL 2025

ZigzagAttention: Efficient Long-Context Inference with Exclusive Retrieval and Streaming Heads

Zhuorui Liu, Chen Zhang, Dawei Song

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 5 pages, 4 figures

Choosing the Right Engine in the Virtual Reality Landscape

Santiago Berrezueta-Guzman, Stefan Wagner

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

Comments Pre-print

MAJIC: Markovian Adaptive Jailbreaking via Iterative Composition of Diverse Innovative Strategies

Weiwei Qi, Shuo Shao, Wei Gu, Tianhang Zheng, Puning Zhao, Zhan Qin, Kui Ren

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

Comments 7 pages, 3 figures

WebGeoInfer: A Structure-Free and Multi-Stage Framework for Geolocation Inference of Devices Exposing Information

Huipeng Yang, Li Yang, Lichuan Ma, Lu Zhou, Junbo Jia, Anyuan Sang, Xinyue Wang

专题命中 效率与部署 ：large language model(abstract)；language model(abstract)

SpectR: Dynamically Composing LM Experts with Spectral Routing

William Fleshman, Benjamin Van Durme

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Navigating the Exploration-Exploitation Tradeoff in Inference-Time Scaling of Diffusion Models

Xun Su, Jianming Huang, Yang Yusen, Zhongxi Fang, Hiroyuki Kasai

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

Visual Perception Engine: Fast and Flexible Multi-Head Inference for Robotic Vision Tasks

Jakub Łucki, Jonathan Becktor, Georgios Georgakis, Rob Royce, Shehryar Khattak

机构 * Jet Propulsion Laboratory, California Institute of Technology（喷气推进实验室，加州理工学院） ； Swiss Federal Institute of Technology (ETH Zürich)（瑞士联邦理工学院（ETH Zurich）） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

Comments 8 pages, 6 figures, 2 tables

ENA: Efficient N-dimensional Attention

Yibo Zhong

机构 * Independent Researcher（独立研究者） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

Comments WIP

Note on Selection Bias in Observational Estimates of Algorithmic Progress

Parker Whitfill

机构 * Parker Whitfill 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

SLAG: Scalable Language-Augmented Gaussian Splatting

Laszlo Szilagyi, Francis Engelmann, Jeannette Bohg

机构 * Department of Computer Science, Stanford University（计算机科学系，斯坦福大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

Reverse Markov Learning: Multi-Step Generative Models for Complex Distributions

Xinwei Shen, Nicolai Meinshausen, Tong Zhang

专题命中 效率与部署 ：post-training(abstract)；分类 cs.LG

STRAP: Robot Sub-Trajectory Retrieval for Augmented Policy Learning

Marius Memmel, Jacob Berg, Bingqing Chen, Abhishek Gupta, Jonathan Francis

机构 * Paul G. Allen School of Computer Science & Engineering, University of Washington（保罗·G·艾伦计算机科学与工程学院，华盛顿大学） ； Robot Learning Lab, Bosch Center for Artificial Intelligence（机器人学习实验室，博世人工智能中心） ； Robotics Institute, Carnegie Mellon University（机器人研究所，卡内基梅隆大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.LG

Comments Project website at https://weirdlabuw.github.io/strap/

DisorderUnetLM: Validating ProteinUnet for efficient protein intrinsic disorder prediction

Krzysztof Kotowski, Irena Roterman, Katarzyna Stapor

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

Comments 16 pages, 8 figures, 6 tables

Real Time Child Abduction And Detection System

Tadisetty Sai Yashwanth, Yangalasetty Sruthi Royal, Vankayala Rajeshwari Shreya, Mayank Kashyap, Divyaprabha K N

机构 * Dept. of CSE PES University Bangalore, India（计算机科学与工程系，PES大学，印度班加罗尔） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI

LieRE: Lie Rotational Positional Encodings

Sophie Ostmeier, Brian Axelrod, Maya Varma, Michael E. Moseley, Akshay Chaudhari, Curtis Langlotz

机构 * Computer Science Department, Stanford University, USA（斯坦福大学计算机科学系） ； Radiology Department, Stanford University, USA（斯坦福大学放射学系） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.LG

Comments Final proceedings version at ICML

ViLaD: A Large Vision Language Diffusion Framework for End-to-End Autonomous Driving

Can Cui, Yupeng Zhou, Juntong Peng, Sung-Yeon Park, Zichong Yang, Prashanth Sankaranarayanan, Jiaru Zhang, Ruqi Zhang, Ziran Wang

机构 * College of Engineering, Purdue University（普渡大学工程学院） 纠错

专题命中 效率与部署 ：language model(abstract)

Federated Cross-Modal Style-Aware Prompt Generation

Suraj Prasad, Navyansh Mahla, Sunny Gupta, Amit Sethi

机构 * Indian Institute of Technology Bombay（印度理工学院孟买学院） 纠错

专题命中 效率与部署 ：language model(abstract)