语言大模型 / LLM

Adaptive Budget Allocation for Orthogonal-Subspace Adapter Tuning in LLMs Continual Learning

Zhiyi Wan, Wanrou Du, Liang Li, Miao Pan, Xiaoqi Qin

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Pengcheng Laboratory（鹏城实验室） ； University of Houston（休斯顿大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

PIPer: On-Device Environment Setup via Online Reinforcement Learning

Alexander Kovrigin, Aleksandra Eliseeva, Konstantin Grotov, Egor Bogomolov, Yaroslav Zharov

机构 * JetBrains Research（JetBrains研究部） ； Constructor University（Constructor大学） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Under review

I Have No Mouth, and I Must Rhyme: Uncovering Internal Phonetic Representations in LLaMA 3.2

Oliver McLaughlin, Arjun Khurana, Jack Merullo

机构 * Brown University（布朗大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Generalization

Ziyi Han, Huanyu Wang, Zeyu Zhang, Xiangxiang Dai, Xutong Liu, John C. S. Lui

机构 * The Chinese University of Hong Kong, Hong Kong（香港中文大学） ； FSI Lab, Huawei Technologies Co., Ltd.（华为技术有限公司FSI实验室） ； Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Learning Dynamics of VLM Finetuning

Jusheng Zhang, Kaitong Cai, Jing Yang, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； X-Era AI Lab（X-Era人工智能实验室） 纠错

专题命中 指令微调 ：language model(abstract)；SFT(abstract)；分类 cs.AI、cs.LG

Thousands of AI Authors on the Future of AI

Katja Grace, Harlan Stewart, Julia Fabienne Sandkühler, Stephen Thomas, Ben Weinstein-Raun, Jan Brauner, Richard C. Korzekwa

机构 * AI Impacts ； Berkeley, California United States（伯克利加州大学） ； Department of Psychology University of Bonn（波恩大学心理学系） ； University of Bonn（波恩大学） ； Department of Computer Science University of Oxford（牛津大学计算机科学系） ； University of Oxford（牛津大学） ； Independent（独立研究者） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments The asterisk indicates the corresponding author. The dagger indicates equal contribution

Journal ref Journal of Artificial Intelligence Research 84:9 (2025)

Opt-ICL at LeWiDi-2025: Maximizing In-Context Signal from Rater Examples via Meta-Learning

Taylor Sorensen, Yejin Choi

机构 * Department of Computer Science University of Washington（华盛顿大学计算机科学系） ； Department of Computer Science Stanford University（斯坦福大学计算机科学系） 纠错

专题命中 指令微调 ：language model(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

Comments NLPerspectives: The 4th Workshop on Perspectivist Approaches to Natural Language Processing at EMNLP 2025

ChartCards: A Chart-Metadata Generation Framework for Multi-Task Chart Understanding

Yifan Wu, Lutao Yan, Leixian Shen, Yinan Mei, Jiannan Wang, Yuyu Luo

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Need to be revised

CoDA: Coding LM via Diffusion Adaptation

Haolin Chen, Shiyu Wang, Can Qin, Bo Pang, Zuxin Liu, Jielin Qiu, Jianguo Zhang, Yingbo Zhou, Zeyuan Chen, Ran Xu, Shelby Heinecke, Silvio Savarese, Caiming Xiong, Huan Wang, Weiran Yao

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 指令微调 ：language model(abstract)；instruction tuning(abstract)；分类 cs.AI、cs.LG

Facilitating Cognitive Accessibility with LLMs: A Multi-Task Approach to Easy-to-Read Text Generation

François Ledoyen, Gaël Dias, Jeremie Pantin, Alexis Lechervy, Fabrice Maurel, Youssef Chahir

机构 * Université Caen Normandie, ENSICAEN, CNRS, Normandie Univ, GREYC UMR 6072（法国卡恩大学、ENSICAEN、CNRS、诺曼底大学、GREYC UMR 6072） ； Koena SAS 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025

LoRAFusion: Efficient LoRA Fine-Tuning for LLMs

Zhanda Zhu, Qidong Su, Yaoyao Ding, Kevin Song, Shang Wang, Gennady Pekhimenko

机构 * University of Toronto, Vector Institute, NVIDIA（多伦多大学、向量研究所、NVIDIA） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments Accepted by EuroSys 2026

Zero-Shot Decentralized Federated Learning

Alessio Masano, Matteo Pennisi, Federica Proietto Salanitri, Concetto Spampinato, Giovanni Bellitto

机构 * University of Catania（卡塔尼亚大学） ； PeRCeiVe Lab, University of Catania（PeRCeiVe实验室，卡塔尼亚大学） 纠错

专题命中 指令微调 ：language model(abstract)；prompting(abstract)；分类 cs.AI、cs.LG

Comments Accepted at International Joint Conference on Neural Networks (IJCNN) 2025. Code available at https://github.com/perceivelab/ZeroDFL

Scaling RL to Long Videos

Yukang Chen, Wei Huang, Baifeng Shi, Qinghao Hu, Hanrong Ye, Ligeng Zhu, Zhijian Liu, Pavlo Molchanov, Jan Kautz, Xiaojuan Qi, Sifei Liu, Hongxu Yin, Yao Lu, Song Han

机构 * NVIDIA ； MIT（麻省理工学院） ； HKU（香港大学） ； UC Berkeley（加州大学伯克利分校） 纠错

专题命中 指令微调 ：language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI

Comments Accepted by NeurIPS 2025. Code at https://github.com/NVlabs/Long-RL and model at https://huggingface.co/Efficient-Large-Model/LongVILA-R1-7B

Understanding Textual Capability Degradation in Speech LLMs via Parameter Importance Analysis

Chao Wang, Rui-Chen Zheng, Yang Ai, Zhen-Hua Ling

机构 * National Engineering Research Center of Speech and Language Information Processing（语音与语言信息处理国家级工程研究中心） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Adaptive Token-Weighted Differential Privacy for LLMs: Not All Tokens Require Equal Protection

Manjiang Yu, Priyanka Singh, Xue Li, Yang Cao

机构 * The University of Queensland（昆士兰大学） ； Institute of Science Tokyo（东京科学研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 18 pages

UltraIF: Advancing Instruction Following from the Wild

Kaikai An, Li Sheng, Ganqu Cui, Shuzheng Si, Ning Ding, Yu Cheng, Baobao Chang

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by EMNLP 2025

An Information Bottleneck Perspective for Effective Noise Filtering on Retrieval-Augmented Generation

Kun Zhu, Xiaocheng Feng, Xiyuan Du, Yuxuan Gu, Weijiang Yu, Haotian Wang, Qianglong Chen, Zheng Chu, Jingchang Chen, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； Peng Cheng Laboratory（鹏城实验室） ； Sun Yat-sen University（中山大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to ACL 2024

WebGen-Agent: Enhancing Interactive Website Generation with Multi-Level Feedback and Step-Level Reinforcement Learning

Zimu Lu, Houxing Ren, Yunqiao Yang, Ke Wang, Zhuofan Zong, Junting Pan, Mingjie Zhan, Hongsheng Li

机构 * Multimedia Laboratory (MMLab)（多媒体实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Enhancing Low-Rank Adaptation with Structured Nonlinear Transformations

Guanzhi Deng, Mingyang Liu, Dapeng Wu, Yinqiao Li, Linqi Song

机构 * City University of Hong Kong（香港城市大学） ； City University of Hong Kong Shenzhen Research Institute（香港城市大学深圳研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments This manuscript has been submitted to IEEE Journal of Selected Topics in Signal Processing (JSTSP) for review. Until the moment I submitted the manuscript to arXiv, we haven't received any review comments from JSTSP

HD-PiSSA: High-Rank Distributed Orthogonal Adaptation

Yiding Wang, Fauxu Meng, Xuefeng Zhang, Fan Jiang, Pingzhi Tang, Muhan Zhang

机构 * Institute for Artificial Intelligence, Peking University（人工智能学院，北京大学） ； Yuanpei College, Peking University（元培学院，北京大学） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Kron-LoRA: Hybrid Kronecker-LoRA Adapters for Scalable, Sustainable Fine-tuning

Yixin Shen

机构 * Department of Statistics and Data Science（统计与数据科学系） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Analysis on distribution and clustering of weight

Chunming Ye, Wenquan Tian, Yalan Gao, Songzhou Li

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments 14page,16 figures

Linguistic Neuron Overlap Patterns to Facilitate Cross-lingual Transfer on Low-resource Languages

Yuemei Xu, Kexin Xu, Jian Zhou, Ling Hu, Lin Gui

机构 * School of Information Science and Technology, Beijing Foreign Studies University（信息科学与技术学院，北京外国语大学） ； Department of Informatics, King’s College London（信息学院，伦敦国王学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted by EMNLP 2025

ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning

Mingyang Chen, Linzhuang Sun, Tianpeng Li, Haoze Sun, Yijie Zhou, Chenzheng Zhu, Haofen Wang, Jeff Z. Pan, Wen Zhang, Huajun Chen, Fan Yang, Zenan Zhou, Weipeng Chen

机构 * Baichuan Inc.（北川公司） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tongji University（同济大学） ； The University of Edinburgh（爱丁堡大学） ； Zhejiang University（浙江大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments Accepted to NeurIPS 2025

Improving Instruct Models for Free: A Study on Partial Adaptation

Ozan İrsoy, Pengxiang Cheng, Jennifer L. Chen, Daniel Preoţiuc-Pietro, Shiyue Zhang, Duccio Pappadopulo

机构 * Bloomberg（贝莱德） ； Independent Researcher（独立研究者） 纠错

专题命中 指令微调 ：instruction tuning(abstract)；post-training(abstract)；分类 cs.CL、cs.AI

Comments Author ordering chosen at random; accepted to EMNLP 2025

Empathy-R1: A Chain-of-Empathy and Reinforcement Learning Framework for Long-Form Mental Health Support

Xianrong Yao, Dong She, Chenxu Zhang, Yimeng Zhang, Yueru Sun, Noman Ahmed, Yang Gao, Zhanpeng Jin

机构 * School of Future Technology（未来技术学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Sparsity May Be All You Need: Sparse Random Parameter Adaptation

Jesus Rios, Pierre Dognin, Ronny Luss, Karthikeyan N. Ramamurthy

机构 * IBM Research（IBM研究院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

When Inverse Data Outperforms: Exploring the Pitfalls of Mixed Data in Multi-Stage Fine-Tuning

Mengyi Deng, Xin Li, Tingyu Zhu, Zhicheng Yang, Zhijiang Guo, Wei Wang

专题命中 指令微调 ：SFT(abstract)；preference optimization(abstract)；分类 cs.CL、cs.LG

Public Data Assisted Differentially Private In-Context Learning

Seongho Joo, Hyukhun Koh, Kyomin Jung

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments EMNLP 2025 Findings

DeMeVa at LeWiDi-2025: Modeling Perspectives with In-Context Learning and Label Distribution Learning

Daniil Ignatev, Nan Li, Hugh Mee Wong, Anh Dang, Shane Kaszefski Yaschuk

机构 * Utrecht University（乌特雷赫大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.CL、cs.LG

Comments 11 pages, 4 figures; to appear at NLPerspectives@EMNLP-2025