语言大模型 / LLM

ReflectEvo: Improving Meta Introspection of Small LLMs by Learning Self-Reflection

Jiaqi Li, Xinyi Dong, Yang Liu, Zhizhuo Yang, Quansen Wang, Xiaobo Wang, SongChun Zhu, Zixia Jia, Zilong Zheng

机构 * State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） 纠错

专题命中 指令微调 ：language model(abstract)；small language model(abstract)；SFT(abstract)；分类 cs.AI

Can MLLMs Generalize to Multi-Party dialog? Exploring Multilingual Response Generation in Complex Scenarios

Zhongtian Hu, Yiwen Cui, Ronghan Li, Meng Zhao, Lifang Wang

机构 * School of Computer Science and Engineering, Northwestern Polytechnical University（计算机科学与工程学院，西北工业大学） ； School of Computer Science and Technology, Xidian University（计算机科学与技术学院，西安电子科技大学） ； School of Artificial Intelligence and Big Data, Henan University of Technology（人工智能与大数据学院，河南工业大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL

VersaTune: An Efficient Data Composition Framework for Training Multi-Capability LLMs

Keer Lu, Keshi Zhao, Zhuoran Zhang, Zheng Liang, Da Pan, Shusen Zhang, Xin Wu, Guosheng Dong, Bin Cui, Tengjiao Wang, Wentao Zhang

机构 * Center for Data Science, Academy for Advanced Interdisciplinary Studies, Peking University（数据科学中心、先进跨学科研究院、北京大学） ； School of CS & Key Lab of High Confidence Software Technologies (MOE), Peking University（计算机学院及高可信软件技术实验室（教育部）） ； Baichuan Inc.（百川科技公司） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL

RICo: Refined In-Context Contribution for Automatic Instruction-Tuning Data Selection

Yixin Yang, Qingxiu Dong, Linli Yao, Fangwei Zhu, Zhifang Sui

机构 * State Key Laboratory of Multimedia Information Processing（多媒体信息处理国家重点实验室） ； Peking University（北京大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL

Exploring Generative AI Techniques in Government: A Case Study

Sunyi Liu, Mengzhe Geng, Rebecca Hart

机构 * University of Toronto（多伦多大学） ； National Research Council of Canada（加拿大国家研究理事会） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments In submission to IEEE Intelligent Systems

Fun-tuning: Characterizing the Vulnerability of Proprietary LLMs to Optimization-based Prompt Injection Attacks via the Fine-Tuning Interface

Andrey Labunets, Nishit V. Pandya, Ashish Hooda, Xiaohan Fu, Earlence Fernandes

机构 * UC San Diego（加州大学圣地亚哥分校） ； University of Wisconsin Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Journal ref Proceedings of the 2025 IEEE Symposium on Security and Privacy, IEEE Computer Society, 2025, pp. 374-392

Bridging the Language Gap: Enhancing Multilingual Prompt-Based Code Generation in LLMs via Zero-Shot Cross-Lingual Transfer

Mingda Li, Abhijit Mishra, Utkarsh Mujumdar

机构 * Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系） ； School of Information, University of Texas at Austin（德克萨斯大学奥斯汀分校信息学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Accepted and to appear in IJCNN 2025

CodeV: Empowering LLMs with HDL Generation through Multi-Level Summarization

Yang Zhao, Di Huang, Chongxiao Li, Pengwei Jin, Muxin Song, Yinan Xu, Ziyuan Nan, Mingju Gao, Tianyun Ma, Lei Qi, Yansong Pan, Zhenxing Zhang, Rui Zhang, Xishan Zhang, Zidong Du, Qi Guo, Xing Hu

机构 * State Key Lab of Processors, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所处理器重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Cambricon Technologies（寒武科技） ； School of Information Science and Technology, ShanghaiTech University（上海科技大学信息科学与技术学院） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Innovation Center for Processor Technologies（上海处理器技术创新中心） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

Comments 13 pages, 10 figures, journal

Improving Model Alignment Through Collective Intelligence of Open-Source LLMS

Junlin Wang, Roy Xie, Shang Zhu, Jue Wang, Ben Athiwaratkun, Bhuwan Dhingra, Shuaiwen Leon Song, Ce Zhang, James Zou

机构 * Duke University（杜克大学） ； Together AI ； University of Chicago（芝加哥大学） ； Stanford University（斯坦福大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.CL

Comments ICML 2025

Integrating Symbolic Execution into the Fine-Tuning of Code-Generating LLMs

Marina Sakharova, Abhinav Anand, Mira Mezini

机构 * TU Darmstadt（图宾根大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；preference optimization(abstract)；分类 cs.AI

Parameter-Efficient Checkpoint Merging via Metrics-Weighted Averaging

Shi Jie Yu, Sehyun Choi

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.LG

Data Extraction Attacks in Retrieval-Augmented Generation via Backdoors

Yuefeng Peng, Junda Wang, Hong Yu, Amir Houmansadr

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

OThink-MR1: Stimulating multimodal generalized reasoning capabilities via dynamic reinforcement learning

Zhiyuan Liu, Yuting Zhang, Feng Liu, Changwang Zhang, Ying Sun, Jun Wang

机构 * OPPO Research Institute（OPPO研究院） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.LG

A transfer learning framework for weak-to-strong generalization

Seamus Somerstep, Felipe Maia Polo, Moulinath Banerjee, Ya'acov Ritov, Mikhail Yurochkin, Yuekai Sun

机构 * University of Michigan（密歇根大学） ； IBM Research（IBM研究院） ； MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments v2: Major changes to set up, theory, and experiments v3: Camera ready

The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models

Ke Ji, Jiahao Xu, Tian Liang, Qiuzhi Liu, Zhiwei He, Xingyu Chen, Xiaoyuan Liu, Zhijie Wang, Junying Chen, Benyou Wang, Zhaopeng Tu, Haitao Mi, Dong Yu

机构 * Tencent AI Lab（腾讯AI实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Selected Languages are All You Need for Cross-lingual Truthfulness Transfer

Weihao Liu, Ning Wu, Wenbiao Ding, Shining Liang, Ming Gong, Dongmei Zhang

机构 * Microsoft STC Asia（微软亚洲技术中心） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.CL

Comments 16 pages, COLING2025

TeaMs-RL: Teaching LLMs to Generate Better Instruction Datasets via Reinforcement Learning

Shangding Gu, Alois Knoll, Ming Jin

机构 * UC Berkeley（加州大学伯克利分校） ； Technical University of Munich（慕尼黑工业大学） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；RLHF(abstract)；分类 cs.CL

From Text to Emoji: How PEFT-Driven Personality Manipulation Unleashes the Emoji Potential in LLMs

Navya Jain, Zekun Wu, Cristian Munoz, Airlie Hilliard, Xin Guan, Adriano Koshiyama, Emre Kazim, Philip Treleaven

机构 * Holistic AI（霍利斯提克人工智能公司） ； University College London（伦敦大学学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments Findings paper of NAACL 2025 and NeurIPS 2024 Workshop on Behavioral Machine Learning

Journal ref Findings paper of NAACL 2025 and NeurIPS 2024 Workshop on Behavioral Machine Learning

LLMs Are Biased Towards Output Formats! Systematically Evaluating and Mitigating Output Format Bias of LLMs

Do Xuan Long, Hai Nguyen Ngoc, Tiviatis Sim, Hieu Dao, Shafiq Joty, Kenji Kawaguchi, Nancy F. Chen, Min-Yen Kan

机构 * National University of Singapore（新加坡国立大学） ； VinAI Research（VinAI研究院） ； Institute of High Performance Computing (IHPC), A*STAR（新加坡科技研究局高性能计算研究所） ； Salesforce Research（Salesforce研究院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

Comments NAACL 2025 Main Conference

Defending Jailbreak Prompts via In-Context Adversarial Game

Yujun Zhou, Yufei Han, Haomin Zhuang, Kehan Guo, Zhenwen Liang, Hongyan Bao, Xiangliang Zhang

机构 * University of Notre Dame（圣母大学） ； INRIA（法国国家信息与自动化研究所） ； King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments EMNLP 2024 Main Paper

A General Pseudonymization Framework for Cloud-Based LLMs: Replacing Privacy Information in Controlled Text Generation

Shilong Hou, Ruilin Shang, Zi Long, Xianghua Fu, Yin Chen

机构 * College of Application and Technology, Shenzhen University（深圳大学应用技术学院） ； College of Big Data and Internet, Shenzhen Technology University（深圳技术大学大数据与互联网学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments under review

MSE-Adapter: A Lightweight Plugin Endowing LLMs with the Capability to Perform Multimodal Sentiment Analysis and Emotion Recognition

Yang Yang, Xunde Dong, Yupeng Qiang

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Toward Secure Tuning: Mitigating Security Risks from Instruction Fine-Tuning

Yanrui Du, Sendong Zhao, Jiawei Cao, Ming Ma, Danyang Zhao, Shuren Qi, Fenglei Fan, Ting Liu, Bing Qin

机构 * Harbin Institute of Technology（哈尔滨工业大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.CL

RichRAG: Crafting Rich Responses for Multi-faceted Queries in Retrieval-Augmented Generation

Shuting Wang, Xin Yu, Mang Wang, Weipeng Chen, Yutao Zhu, Zhicheng Dou

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院） ； Baichuan Intelligent Technology（百川智能科技） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Journal ref https://aclanthology.org/volumes/2025.coling-main/

BASE-SQL: A powerful open source Text-To-SQL baseline approach

Lei Sheng, Shuai-Shuai Xu, Wei Xie

机构 * Wuhan University of Technology（武汉理工大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.CL

Comments Work in progress. 16 pages, 3 figures, 8 tables

End-to-End triplet loss based fine-tuning for network embedding in effective PII detection

Rishika Kohli, Shaifu Gupta, Manoj Singh Gaur

机构 * Indian Institute of Technology Jammu（贾姆穆印度理工学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments 13 pages, 10 figures, 5 tables

TimeSuite: Improving MLLMs for Long Video Understanding via Grounded Tuning

Xiangyu Zeng, Kunchang Li, Chenting Wang, Xinhao Li, Tianxiang Jiang, Ziang Yan, Songze Li, Yansong Shi, Zhengrong Yue, Yi Wang, Yali Wang, Yu Qiao, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； SIAT, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；instruction tuning(abstract)；分类 cs.AI

Comments Accepted by ICLR2025

COAST: Enhancing the Code Debugging Ability of LLMs through Communicative Agent Based Data Synthesis

Weiqing Yang, Hanbin Wang, Zhenghao Liu, Xinze Li, Yukun Yan, Shuo Wang, Yu Gu, Minghe Yu, Zhiyuan Liu, Ge Yu

机构 * Northeastern University（东北大学） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；分类 cs.AI

Franken-Adapter: Cross-Lingual Adaptation of LLMs by Embedding Surgery

Fan Jiang, Honglin Yu, Grace Chung, Trevor Cohn

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

Comments 33 pages

Grammar Control in Dialogue Response Generation for Language Learning Chatbots

Dominik Glandorf, Peng Cui, Detmar Meurers, Mrinmaya Sachan

机构 * EPFL（洛桑联邦理工学院） ； University of Tübingen（蒂宾根大学） ； ETH Zürich（苏黎世联邦理工学院） ； Leibniz-Institut für Wissensmedien（莱布尼茨知识媒体研究所） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL

Comments Accepted to NAACL 2025