语言大模型 / LLM

Blockwise SFT for Diffusion Language Models: Reconciling Bidirectional Attention and Autoregressive Decoding

Bowen Sun, Yujun Cai, Ming-Hsuan Yang, Yiwei Wang

机构 * University of California, Merced（加州大学默塞德分校） ； The University of Queensland（昆士兰大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(title,abstract)；分类 cs.CL

Zhyper: Factorized Hypernetworks for Conditioned LLM Fine-Tuning

M. H. I. Abdalla, Zhipin Wang, Christian Frey, Steffen Eger, Josif Grabocka

机构 * Department of Computer Science University of Technology Nuremberg（计算机科学系图腾技术大学纽伦堡） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Improving Transfer Learning for Sequence Labeling Tasks by Adapting Pre-trained Neural Language Models

David Dukić

机构 * FACULTY OF ELECTRICAL ENGINEERING AND COMPUTING（电气工程与计算学院） ； University of Zagreb, Faculty of Electrical Engineering and Computing（Zagreb大学电气工程与计算学院） ； Department of Electronics, Microelectronics, Computer and Intelligent systems（电子、微电子、计算机和智能系统系） ； Text Analysis and Knowledge Engineering Laboratory (TakeLab)（文本分析与知识工程实验室） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；分类 cs.CL

CourtGuard: A Local, Multiagent Prompt Injection Classifier

Isaac Wu, Michael Maslowski

机构 * Isaac Wu Research Fellow（Isaac Wu 研究员） ； Non-Trivial Ventures（非平凡企业） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 11 pages, 7 figures

Teaching Language Models to Reason with Tools

Chengpeng Li, Zhengyang Tang, Ziniu Li, Mingfeng Xue, Keqin Bao, Tian Ding, Ruoyu Sun, Benyou Wang, Xiang Wang, Junyang Lin, Dayiheng Liu

机构 * University of Science and Technology of China（中国科学技术大学） ； Alibaba Inc.（阿里巴巴公司） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shenzhen International Center for Industrial and Applied Mathematics（深圳国际工业与应用数学中心） ； Shenzhen Research Institute of Big Data（深圳大数据研究院） 纠错

专题命中 指令微调 ：language model(title)；post-training(abstract)；分类 cs.CL、cs.AI

Comments NIPS2025 Accepted

QKCV Attention: Enhancing Time Series Forecasting with Static Categorical Embeddings for Both Lightweight and Pre-trained Foundation Models

Hao Wang, Baojun Ma

机构 * Independent Researcher（独立研究者） ； Key Laboratory of Brain-Machine Intelligence for Information Behavior (Ministry of Education and Shanghai)（信息行为脑机智能关键实验室） ； School of Business and Management（商学院） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments 10 pages, 5 figures

Fine-Tuning Multilingual Language Models for Code Review: An Empirical Study on Industrial C# Projects

Igli Begolli, Meltem Aksoy, Daniel Neider

机构 * Technical University Dortmund, Lovion GmbH（图鲁尼大学，洛维昂公司） ； Security\ Alliance Ruhr, Technical University Dortmund（安全联盟鲁尔，图鲁尼大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.AI

Large Multimodal Models-Empowered Task-Oriented Autonomous Communications: Design Methodology and Implementation Challenges

Hyun Jong Yang, Hyunsoo Kim, Hyeonho Noh, Seungnyun Kim, Byonghyo Shim

机构 * Seoul National University（首尔国立大学） ； Hanbat National University（翰baum国立大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Symbiosis: Multi-Adapter Inference and Fine-Tuning

Saransh Gupta, Umesh Deshpande, Travis Janssen, Swami Sundararaman

机构 * IBM Research, USA（IBM研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Breaking mBad! Supervised Fine-tuning for Cross-Lingual Detoxification

Himanshu Beniwal, Youngwoo Kim, Maarten Sap, Soham Dan, Thomas Hartvigsen

机构 * Indian Institute of Technology Gandhinagar（印度古吉拉特邦理工学院加尔文加尔） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted at MELT Workshop @ COLM 2025

Neural Attention Search

Difan Deng, Marius Lindauer

机构 * Leibniz University Hannover（汉诺威莱布尼茨大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 35 pages, 11 figures

MoMoE: Mixture of Moderation Experts Framework for AI-Assisted Online Governance

Agam Goyal, Xianyang Zhan, Yilun Chen, Koustuv Saha, Eshwar Chandrasekharan

机构 * Siebel School of Computing and Data Science（计算机与数据科学学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL

Comments EMNLP 2025 (Oral)

floq: Training Critics via Flow-Matching for Scaling Compute in Value-Based RL

Bhavya Agrawalla, Michal Nauman, Khush Agrawal, Aviral Kumar

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Warsaw（华沙大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

Comments Added new experiments, fixed typos. Code -- https://github.com/CMU-AIRe/floq

On the Optimal Construction of Unbiased Gradient Estimators for Zeroth-Order Optimization

Shaocong Ma, Heng Huang

机构 * Department of Computer Science University of Maryland College Park（计算机科学系大学马里兰大学学院公园） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.AI、cs.LG

Adapting Multilingual Models to Code-Mixed Tasks via Model Merging

Prashant Kodali, Vaishnavi Shivkumar, Swarang Joshi, Monojit Choudhary, Ponnurangam Kumaraguru, Manish Shrivastava

机构 * IIIT Hyderabad ； MBZUAI 纠错

专题命中 指令微调 ：prompting(abstract)；分类 cs.CL

Comments 9 pages, 5 tables, CODS 2025

Provable Meta-Learning with Low-Rank Adaptations

Jacob L. Block, Sundararajan Srinivasan, Liam Collins, Aryan Mokhtari, Sanjay Shakkottai

机构 * Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin, Austin, TX, USA（Chandra Family 电子与计算机工程系，德克萨斯大学奥斯汀分校） ； Snap, Inc.（Snap公司） ； Google Research（Google研究） 纠错

专题命中 指令微调 ：foundation model(abstract)；分类 cs.LG

Revisiting End-to-End Learning with Slide-level Supervision in Computational Pathology

Wenhao Tang, Rong Qin, Heng Fang, Fengtao Zhou, Hao Chen, Xiang Li, Ming-Ming Cheng

机构 * Nankai International Advanced Research Institute (Shenzhen Futian)（南开国际先进研究院（深圳福田）） ； VCIP, School of Computer Science, Nankai University（VCIP，计算机科学学院，南开大学） ； Huazhong University of Science and Technology（华中科技大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 指令微调 ：foundation model(abstract)

Comments published on NeurIPS 2025

Mesh-RFT: Enhancing Mesh Generation via Fine-grained Reinforcement Fine-Tuning

Jian Liu, Jing Xu, Song Guo, Jing Li, Jingfeng Guo, Jiaao Yu, Haohan Weng, Biwen Lei, Xianghui Yang, Zhuo Chen, Fangqi Zhu, Tao Han, Chunchao Guo

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tencent Hunyuan（腾讯文元） ； University of Science and Technology of China（中国科学技术大学） ； South China University of Technology（华南理工大学） 纠错

专题命中 指令微调 ：preference optimization(abstract)

Comments NeurIPS 2025, Spotlight

Model Context Contracts - MCP-Enabled Framework to Integrate LLMs With Blockchain Smart Contracts

Eranga Bandara, Sachin Shetty, Ravi Mukkamala, Ross Gore, Peter Foytik, Safdar H. Bouk, Abdul Rahman, Xueping Liang, Ng Wee Keong, Kasun De Zoysa, Aruna Withanage, Nilaan Loganathan

专题命中 指令微调 ：LLM(abstract)