语言大模型 / LLM

GMoE: Empowering LLMs Fine-Tuning via MoE Graph Collaboration

GMoE：通过MoE图协作增强LLM微调

Ting Bai, Yue Yu, Le Huang, Zenan Xu, Chuan Shi

机构 * Beijing University of Posts and Telecommunication（北京邮电大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 GMoE通过图协作策略提升LLM微调的稳定性与效率

Comments 9 pages, 25 figures

Exploiting Synergistic Cognitive Biases to Bypass Safety in LLMs

Xikang Yang, Biyu Zhou, Xuehai Tang, Jizhong Han, Songlin Hu

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

DrKGC: Dynamic Subgraph Retrieval-Augmented LLMs for Knowledge Graph Completion across General and Biomedical Domains

Yongkang Xiao, Sinian Zhang, Yi Dai, Huixue Zhou, Jue Hou, Jie Ding, Rui Zhang

机构 * University of Minnesota（明尼苏达大学） ； University of Michigan（密歇根大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at EMNLP 2025 Findings

LangBridge: Interpreting Image as a Combination of Language Embeddings

Jiaqi Liao, Yuwei Niu, Fanqing Meng, Hao Li, Changyao Tian, Yinuo Du, Yuwen Xiong, Dianqi Li, Xizhou Zhu, Li Yuan, Jifeng Dai, Yu Cheng

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Tsinghua University（清华大学） ； SenseTime Research（商汤科技研究院） ； Shanghai Jiao Tong University（上海交通大学） ； Peking University（北京大学） ； PengCheng Laboratory（鹏城实验室） ； Chongqing University（重庆大学） 纠错

专题命中 指令微调 ：LLM(abstract)；language model(abstract)；instruction tuning(abstract)；pretraining(abstract)

Comments The code and weights are open-sourced. Project page: https://curryx-001.github.io/LangBridge.github.io/

iTool: Reinforced Fine-Tuning with Dynamic Deficiency Calibration for Advanced Tool Use

Yirong Zeng, Xiao Ding, Yuxian Wang, Weiwen Liu, Wu Ning, Yutai Hou, Xu Huang, Duyu Tang, Dandan Tu, Bing Qin, Ting Liu

机构 * Harbin Institute of Technology SCIR Lab（哈尔滨工业大学SCIR实验室） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Shanghai Jiao Tong University（上海交通大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments EMNLP 2025

Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data

Zhenqing Ling, Daoyuan Chen, Liuyi Yao, Qianli Shen, Yaliang Li, Ying Shen

机构 * Sun Yat-sen University（中山大学） ； Alibaba Group（阿里巴巴集团） ； FSIETP 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by NeurIPS'25 main track. 47 pages, 21 figures, 32 tables

Zero-Shot Cross-Lingual Transfer using Prefix-Based Adaptation

Snegha A, Sayambhu Sen, Piyush Singh Pasi, Abhishek Singhania, Preethi Jyothi

机构 * Indian Institute of Technology Bombay（印度理工学院班加罗尔分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 12 Pages

All You Need is One: Capsule Prompt Tuning with a Single Vector

Yiyang Liu, James C. Liang, Heng Fan, Wenhao Yang, Yiming Cui, Xiaotian Han, Lifu Huang, Dongfang Liu, Qifan Wang, Cheng Han

机构 * University of Missouri-Kansas City（密苏里大学堪萨斯城分校） ； U.S. Naval Research Laboratory（美国海军研究实验室） ； University of North Texas（北卡罗来纳州立大学） ； Lamar University（拉马尔大学） ； ByteDance（字节跳动） ； Case Western Reserve University（凯斯西储大学） ； University of California, Davis（加州大学戴维斯分校） ； Rochester Institute of Technology（罗切斯特理工学院） ； Meta AI 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments NeurIPS 2025

ATGen: Adversarial Reinforcement Learning for Test Case Generation

Qingyao Li, Xinyi Dai, Weiwen Liu, Xiangyang Li, Yasheng Wang, Ruiming Tang, Yong Yu, Weinan Zhang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI Knowledge Assist: An Automated Approach for the Creation of Knowledge Bases for Conversational AI Agents

Md Tahmid Rahman Laskar, Julien Bouvier Tremblay, Xue-Yong Fu, Cheng Chen, Shashi Bhushan TN

机构 * Dialpad Inc.（Dialpad公司） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to the EMNLP 2025 Industry Track

MetaDefense: Defending Finetuning-based Jailbreak Attack Before and During Generation

Weisen Jiang, Sinno Jialin Pan

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted By NeurIPS 2025

MotionSight: Boosting Fine-Grained Motion Understanding in Multimodal LLMs

Yipeng Du, Tiehan Fan, Kepan Nan, Rui Xie, Penghao Zhou, Xiang Li, Jian Yang, Zhenheng Yang, Ying Tai

机构 * Nanjing University（南京大学） ； ByteDance（字节跳动） ； Nankai University（南开大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；prompting(abstract)

A Preference-Driven Methodology for High-Quality Solidity Code Generation

Zhiyuan Peng, Xin Yin, Chenhao Ying, Chao Ni, Yuan Luo

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；preference optimization(abstract)

Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings

Zhixin Zhang, Zeming Wei, Meng Sun

机构 * Peking University（北京大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Process Reinforcement through Implicit Rewards

Ganqu Cui, Lifan Yuan, Zefan Wang, Hanbin Wang, Yuchen Zhang, Jiacheng Chen, Wendi Li, Bingxiang He, Yuchen Fan, Tianyu Yu, Qixin Xu, Weize Chen, Jiarui Yuan, Huayu Chen, Kaiyan Zhang, Xingtai Lv, Shuo Wang, Yuan Yao, Xu Han, Hao Peng, Yu Cheng, Zhiyuan Liu, Maosong Sun, Bowen Zhou, Ning Ding

机构 * Shanghai AI Lab（上海人工智能实验室） ； Tsinghua University（清华大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学香槟分校） ； Peking University（北京大学） ； Shanghai Jiaotong University（上海交通大学） ； CUHK（香港中文大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 24 pages. Model&Code&Data available at https://github.com/PRIME-RL/PRIME

Towards Ontology-Based Descriptions of Conversations with Qualitatively-Defined Concepts

Barbara Gendron, Gaël Guibon, Mathieu D'aquin

机构 * Loria, CNRS, Université de Lorraine, Nancy, France（Loria研究所、法国国家科学研究中心、洛林大学、南希分校） ； Université Sorbonne Paris Nord, CNRS, Laboratoire d'Informatique de Paris Nord, LIPN, F-93430 Villetaneuse, France（巴黎北大学、法国国家科学研究中心、巴黎北信息技术实验室、LIPN、法国） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted at TOTh 2025 (Terminology \& Ontology: Theories and applications)

Turning the Spell Around: Lightweight Alignment Amplification via Rank-One Safety Injection

Harethah Abu Shairah, Hasan Abed Al Kader Hammoud, George Turkiyyah, Bernard Ghanem

机构 * King Abdullah University of Science and Technology (KAUST)（卡布尔大学科学与技术学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Under Review

Probabilities of Chat LLMs Are Miscalibrated but Still Predict Correctness on Multiple-Choice Q&A

Benjamin Plaut, Nguyen X. Khanh, Tu Trinh

机构 * Center for Human-Compatible AI（兼容人类的人工智能中心） ； UC Berkeley（伯克利大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Published in Transactions on Machine Learning Research (TMLR)

CodeTool: Enhancing Programmatic Tool Invocation of LLMs via Process Supervision

Yifei Lu, Fanghua Ye, Jian Li, Qiang Gao, Cheng Liu, Haibo Luo, Nan Du, Xiaolong Li, Feiliang Ren

机构 * Northeastern University（东北大学） ； Hunyuan AI Digital Human（文英AI数字人） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments ACL2025

RASL: Retrieval Augmented Schema Linking for Massive Database Text-to-SQL

Jeffrey Eben, Aitzaz Ahmad, Stephen Lau

机构 * Amazon（亚马逊） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Solo Connection: A Parameter Efficient Fine-Tuning Technique for Transformers

Harsh Nilesh Pathak, Randy Paffenroth

机构 * Department of Data Science, Worcester Polytechnic Institute, MA, United States（数据科学系，沃斯特理工学院，马萨诸塞州，美国） ； Department of Data Science, Mathematics and Computer Science, Worcester Polytechnic Institute, MA, United States（数据科学系，数学与计算机科学，沃斯特理工学院，马萨诸塞州，美国） ； Department of Data Science, Mathematics（数据科学系，数学） ； Computer Science, Worcester Polytechnic Institute, MA, United States（计算机科学，沃斯特理工学院，马萨诸塞州，美国） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Journal ref ICML SIM workshop 2025

LoRA Is Slower Than You Think

Seokmin Ko

机构 * Yonsei University（延世大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

FlexEdit: Marrying Free-Shape Masks to VLLM for Flexible Image Editing

Tianshuo Yuan, Yuxiang Lin, Jue Wang, Zhi-Qi Cheng, Xiaolong Wang, Jiao GH, Wei Chen, Xiaojiang Peng

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 15 pages, 14 figures

MOTIF: Modular Thinking via Reinforcement Fine-tuning in LLMs

Purbesh Mitra, Sennur Ulukus

机构 * University of Maryland（马里兰大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

VLN-R1: Vision-Language Navigation via Reinforcement Fine-Tuning

Zhangyang Qi, Zhixiong Zhang, Yizhou Yu, Jiaqi Wang, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

Comments project page: vlnr1.github.io

Test code generation at Ericsson using Program Analysis Augmented Fine Tuned LLMs

Sai Krishna, Balvinder Singh, Sujoy Roychowdhury, Giriprasad Sridhara, Sourav Mazumdar, Magnus Sandelin, Dimitris Rentas, Maciej Nalepa, Karol Sawicki, Jakub Gajda

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted at International Conference on Evaluation and Assessment in Software Engineering (EASE), 2025

LETS-C: Leveraging Text Embedding for Time Series Classification

Rachneet Kaur, Zhen Zeng, Tucker Balch, Manuela Veloso

机构 * J.P. Morgan AI Research（摩根大通人工智能研究） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments ACL 2025 (Main Conference)

GSQ-Tuning: Group-Shared Exponents Integer in Fully Quantized Training for LLMs On-Device Fine-tuning

Sifan Zhou, Shuo Wang, Zhihang Yuan, Mingjia Shi, Yuzhang Shang, Dawei Yang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by Findings of ACL 2025

SeqPO-SiMT: Sequential Policy Optimization for Simultaneous Machine Translation

Ting Xu, Zhichao Huang, Jiankai Sun, Shanbo Cheng, Wai Lam

机构 * The Chinese University of Hong Kong（香港中文大学） ； Bytedance（字节跳动） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：LLM(abstract)；SFT(abstract)；RLHF(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted by The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025)

Compile Scene Graphs with Reinforcement Learning

Zuyao Chen, Jinlin Wu, Zhen Lei, Marc Pollefeys, Chang Wen Chen

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)