语言大模型 / LLM

The Harder The Better: Maintaining Supervised Fine-tuning Generalization with Less but Harder Data

Zhaoyang Shang, Sibo Wei, Jianbin Guo, Rui Zhou, Lifeng Dong, Yin Luo

机构 * Beijing Wenge Technology Co.,Ltd（北京文格科技有限公司） ； College of Intelligence and Computing（智能与计算学院） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Flora: Effortless Context Construction to Arbitrary Length and Scale

Tianxiang Chen, Zhentao Tan, Xiaofan Bo, Yue Wu, Tao Gong, Qi Chu, Jieping Ye, Nenghai Yu

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

POME: Post Optimization Model Edit via Muon-style Projection

Yong Liu, Di Fu, Yang Luo, Zirui Zhu, Minhao Cheng, Cho-Jui Hsieh, Yang You

机构 * National University of Singapore（新加坡国立大学） ； Penn State University（宾夕法尼亚州立大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；RLHF(abstract)

QUASAR: Quantum Assembly Code Generation Using Tool-Augmented LLMs via Agentic RL

Cong Yu, Valter Uotila, Shilong Deng, Qingyuan Wu, Tuo Shi, Songlin Jiang, Lei You, Bo Zhao

机构 * Aalto University（阿alto大学） ； University of Helsinki（赫尔辛基大学） ； University of Liverpool（利物浦大学） ； University of Southampton（南安普顿大学） ； Technical University of Denmark（丹麦技术大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Confidence-Guided Error Correction for Disordered Speech Recognition

Abner Hernandez, Tomás Arias Vergara, Andreas Maier, Paula Andrea Pérez-Toro

机构 * Pattern Recognition Lab, Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany（模式识别实验室，弗里德里希-亚历山大-亚琛-纽伦堡大学，德国） ； GITA Lab. Facultad de Ingeniería. Universidad de Antioquia UdeA, Medellín, Colombia（GITA实验室，工程学院，安蒂奎亚大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Preprint submitted to ICASSP

TGRPO :Fine-tuning Vision-Language-Action Model via Trajectory-wise Group Relative Policy Optimization

Zengjue Chen, Runliang Niu, He Kong, Qi Wang, Qianli Xing, Zipei Fan

机构 * School of Artificial Intelligence, Jilin University（人工智能学院，吉林大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；SFT(abstract)

ACCeLLiuM: Supervised Fine-Tuning for Automated OpenACC Pragma Generation

Samyak Jhaveri, Vanessa Klotzmann, Crista Lopes

机构 * University of California Irvine（加州大学尔布雷大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

JOLT-SQL: Joint Loss Tuning of Text-to-SQL with Confusion-aware Noisy Schema Sampling

Jinwang Song, Hongying Zan, Kunli Zhang, Lingling Mu, Yingjie Han, Haobo Hua, Min Peng

机构 * Zhengzhou University（郑州大学） ； Zhengzhou University of Aeronautics（郑州航空工业管理大学） ； Wuhan University（武汉大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；prompting(abstract)

Comments Accepted to EMNLP 2025 Main Conference

Federated Learning with Ad-hoc Adapter Insertions: The Case of Soft-Embeddings for Training Classifier-as-Retriever

Marijan Fofonjka, Shahryar Zehtabi, Alireza Behtash, Tyler Mauer, David Stout

机构 * webAI 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；small language model(abstract)；SLM(abstract)

Comments 22 pages, 7 figures, 3 tables

Not All Parameters Are Created Equal: Smart Isolation Boosts Fine-Tuning Performance

Yao Wang, Di Liang, Minlong Peng

机构 * University of New South Wales（新南威尔士大学） ； ByteDance Inc.（字节跳动公司） ； Fudan University（复旦大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Comments Accepted to EMNLP 2025 Main Conference

AntiDote: Bi-level Adversarial Training for Tamper-Resistant LLMs

Debdeep Sanyal, Manodeep Ray, Murari Mandal

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 19 pages

X-SQL: Expert Schema Linking and Understanding of Text-to-SQL with Multi-LLMs

Dazhi Peng

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

L1RA: Dynamic Rank Assignment in LoRA Fine-Tuning

Raul Singh, Nicolo Brunello, Vincenzo Scotti, Mark James Carman

机构 * DEIB, Politecnico di Milano（米兰Politecnico大学DEIB系） ； KASTEL, Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院（KIT）KASTEL） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments Work published at ICNLSP 2025, waiting for publication link

RL's Razor: Why Online Reinforcement Learning Forgets Less

Idan Shenfeld, Jyothish Pari, Pulkit Agrawal

机构 * Improbable AI Lab, MIT（Improbable AI Lab 和 马萨诸塞理工学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；SFT(abstract)

ERank: Fusing Supervised Fine-Tuning and Reinforcement Learning for Effective and Efficient Text Reranking

Yuzheng Cai, Yanzhao Zhang, Dingkun Long, Mingxin Li, Pengjun Xie, Weiguo Zheng

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

CrystalICL: Enabling In-Context Learning for Crystal Generation

Ruobing Wang, Qiaoyu Tan, Yili Wang, Ying Wang, Xin Wang

机构 * Jilin University（吉林大学） ； New York University Shanghai（纽约大学上海） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Script-Strategy Aligned Generation: Aligning LLMs with Expert-Crafted Dialogue Scripts and Therapeutic Strategies for Psychotherapy

Xin Sun, Jan de Wit, Zhuying Li, Jiahuan Pei, Abdallah El Ali, Jos A. Bosch

机构 * University of Amsterdam（阿姆斯特丹大学） ； National Institute of Informatics (NII)（日本信息处理研究所） ； Tilburg University（蒂尔堡大学） ； Southeast University（东南大学） ； Vrije Universiteit Amsterdam（阿姆斯特丹自由大学） ； Utrecht University（乌得勒支大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Stable Diffusion Models are Secretly Good at Visual In-Context Learning

Trevine Oorloff, Vishwanath Sindagi, Wele Gedara Chaminda Bandara, Ali Shafahi, Amin Ghiasi, Charan Prakash, Reza Ardekani

机构 * Apple（苹果公司） ； University of Maryland - College Park（马里兰大学-College Park） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted to ICCV 2025

Learning Temporal Abstractions via Variational Homomorphisms in Option-Induced Abstract MDPs

Chang Li, Yaren Zhang, Haoran Lv, Qiong Cao, Chao Xue, Xiaodong He

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；SFT(abstract)；prompting(abstract)

Understanding Prompt Programming Tasks and Questions

Jenny T. Liang, Chenyang Yang, Agnia Sergeyuk, Travis D. Breaux, Brad A. Myers

机构 * Carnegie Mellon University（卡内基梅隆大学） ； JetBrains Research（JetBrains研究） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；prompting(abstract)

Controlling Language Confusion in Multilingual LLMs

Nahyun Lee, Yeongseo Woo, Hyunwoo Ko, Guijin Son

机构 * Chungang University（Chungang 大学） ； OneLineAI ； MODULABS 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；SFT(abstract)

Comments 4 pages

CGP-Tuning: Structure-Aware Soft Prompt Tuning for Code Vulnerability Detection

Ruijun Feng, Hammond Pearce, Pietro Liguori, Yulei Sui

机构 * School of Computer Science and Engineering, University of New South Wales (UNSW)（新南威尔士大学计算机科学与工程学院） ； Department of Electrical Engineering and Information Technology, University of Naples Federico II（那不勒斯费德里克二世大学电气工程与信息技术系） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Accepted by IEEE Transactions on Software Engineering

Metalic: Meta-Learning In-Context with Protein Language Models

Jacob Beck, Shikha Surana, Manus McAuliffe, Oliver Bent, Thomas D. Barrett, Juan Jose Garau Luis, Paul Duckworth

机构 * InstaDeep 纠错

专题命中 指令微调 ：language model(title,abstract)；分类 cs.LG；LLM(comments)

Comments Published at The Thirteenth International Conference on Learning Representations (ICLR 2025). Code is provided at https://github.com/instadeepai/metalic. Also relevant to searches for "metallic", "meta-learning in-context", "LLM", and "protein language model"

Journal ref The Thirteenth International Conference on Learning Representations (ICLR 2025)

How Visual Representations Map to Language Feature Space in Multimodal LLMs

Constantin Venhoff, Ashkan Khakzar, Sonia Joseph, Philip Torr, Neel Nanda

机构 * University of Oxford（牛津大学） ； McGill University（麦吉尔大学） ； Meta 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

CC-LEARN: Cohort-based Consistency Learning

Xiao Ye, Shaswat Shrivastava, Zhaonan Li, Jacob Dineen, Shijie Lu, Avneet Ahuja, Ming Shen, Zhikun Xu, Ben Zhou

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Step-by-step Instructions and a Simple Tabular Output Format Improve the Dependency Parsing Accuracy of LLMs

Hiroshi Matsuda, Chunpeng Ma, Masayuki Asahara

机构 * Megagon Labs（梅加贡实验室） ； Recruit Co., Ltd.（招聘公司） ； National Institute for Japanese Language and Linguistics（日本语言学研究所） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments 9 pages, 2 figures, accepted to SyntaxFest 2025

Calibrating Translation Decoding with Quality Estimation on LLMs

Di Wu, Yibin Lei, Christof Monz

机构 * University of Amsterdam（阿姆斯特丹大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；preference optimization(abstract)

Understanding Overadaptation in Supervised Fine-Tuning: The Role of Ensemble Methods

Yifan Hao, Xingyuan Pan, Hanning Zhang, Chenlu Ye, Rui Pan, Tong Zhang

专题命中 指令微调 ：language model(abstract)；foundation model(abstract)；pretraining(abstract)；SFT(abstract)

Revisiting LLMs as Zero-Shot Time-Series Forecasters: Small Noise Can Break Large Models

Junwoo Park, Hyuck Lee, Dohyun Lee, Daehoon Gwak, Jaegul Choo

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

Comments Annual Meeting of the Association for Computational Linguistics (ACL), 2025, Accepted as Short Paper

A Reward-driven Automated Webshell Malicious-code Generator for Red-teaming

Yizhong Ding

机构 * Beijing Electronic Science and Technology Institute（北京电子科技学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)