语言大模型 / LLM

Fine-tuning Large Language Models with Limited Data: A Survey and Practical Guide

Marton Szep, Daniel Rueckert, Rüdiger von Eisenhart-Rothe, Florian Hinterwimmer

机构 * Chair for AI in Healthcare and Medicine, Technical University of Munich (TUM) and TUM University Hospital（人工智能在医疗与医学中的chair，技术大学慕尼黑（TUM）和慕尼黑技术大学医院） ； Department of Orthopaedics and Sports Orthopaedics, TUM University Hospital（骨科与运动骨科，慕尼黑技术大学医院） ； Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心（MCML）） ； Department of Computing, Imperial College London, UK（计算系，帝国理工学院伦敦） 纠错

专题命中 指令微调 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL、cs.AI、cs.LG

Comments Accepted to TACL. Pre-MIT Press version. Major restructuring; added preference alignment section and additional tables. 36 pages

Group-in-Group Policy Optimization for LLM Agent Training

Lang Feng, Zhenghai Xue, Tingcong Liu, Bo An

机构 * Nanyang Technological University（南洋理工大学） ； Skywork AI 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025

What do vision-language models see in the context? Investigating multimodal in-context learning

Gabriel O. dos Santos, Esther Colombini, Sandra Avila

机构 * Instituto de Computação, Universidade Estadual de Campinas (UNICAMP)（计算机学院，Campinas州立大学（UNICAMP）） 纠错

专题命中 指令微调 ：language model(title,abstract)；large language model(abstract)；instruction tuning(abstract)；分类 cs.LG

Inoculation Prompting: Instructing LLMs to misbehave at train-time improves test-time alignment

Nevan Wichers, Aram Ebtekar, Ariana Azarbal, Victor Gillioz, Christine Ye, Emil Ryd, Neil Rathi, Henry Sleight, Alex Mallen, Fabien Roger, Samuel Marks

专题命中 指令微调 ：prompting(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

Comments v2 Updates references. v3 Updates references; Adds IFEval results; Improves appendix readability; Adds author contributions

AutoPrompt: Automated Red-Teaming of Text-to-Image Models via LLM-Driven Adversarial Prompts

Yufan Liu, Wanqian Zhang, Huashan Chen, Lin Wang, Xiaojun Jia, Zheng Lin, Weiping Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； School of Cyberspace, Hangzhou Dianzi University（杭州电子科技大学网络空间学院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 指令微调 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)

Comments Accepted by ICCV 2025

ViPER: Empowering the Self-Evolution of Visual Perception Abilities in Vision-Language Model

Juntian Zhang, Song Jin, Chuanqi Cheng, Yuhan Liu, Yankai Lin, Xun Zhang, Yufei Zhang, Fei Jiang, Guojun Yin, Wei Lin, Rui Yan

机构 * Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院） ； Meituan（美团） ； MBZUAI ； Wuhan University（武汉大学） 纠错

专题命中 指令微调 ：language model(title,abstract)；SFT(abstract)；分类 cs.CL、cs.AI

Robustness is Important: Limitations of LLMs for Data Fitting

Hejia Liu, Mochen Yang, Gediminas Adomavicius

机构 * Carlson School of Management, University of Minnesota（明尼苏达大学卡尔森管理学院） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Uni-LoRA: One Vector is All You Need

Kaiyang Li, Shaobo Han, Qing Su, Wei Li, Zhipeng Cai, Shihao Ji

机构 * School of Computing University of Connecticut（计算机学院 美国康涅狄格大学） ； NEC Labs America（NEC美国实验室） ； Dept. of Computer Science Georgia State University（计算机科学系 美国佐治亚州立大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；instruction tuning(abstract)

Comments NeurIPS 2025 Spotlight

Boosting Omnidirectional Stereo Matching with a Pre-trained Depth Foundation Model

Jannik Endres, Oliver Hahn, Charles Corbière, Simone Schaub-Meyer, Stefan Roth, Alexandre Alahi

机构 * École Polytechnique Fédérale de Lausanne (EPFL)（瑞士联邦理工学院） ； Technical University of Darmstadt, Department of Computer Science（德累斯顿技术大学计算机科学系） 纠错

专题命中 指令微调 ：foundation model(title,abstract)；分类 cs.AI、cs.LG

Comments Accepted at IROS 2025. Project page: https://vita-epfl.github.io/DFI-OmniStereo-website/

Zero-Shot Cross-Lingual Transfer using Prefix-Based Adaptation

Snegha A, Sayambhu Sen, Piyush Singh Pasi, Abhishek Singhania, Preethi Jyothi

机构 * Indian Institute of Technology Bombay（印度理工学院班加罗尔分校） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；pretraining(abstract)；分类 cs.CL、cs.AI、cs.LG

Comments 12 Pages

Accelerate Scaling of LLM Finetuning via Quantifying the Coverage and Depth of Instruction Set

Chengwei Wu, Li Du, Hanyu Zhao, Yiming Ju, Jiapu Wang, Tianyu Chen, Haoyi Zhou

机构 * Beijing Academy of Artificial Intelligence (BAAI)（北京人工智能研究院） ； Beijing University of Technology（北京理工大学） ； Beihang University（北航） 纠错

专题命中 指令微调 ：LLM(title)；SFT(abstract)；分类 cs.AI

Mechanism and Emergence of Stacked Attention Heads in Multi-Layer Transformers

Tiberiu Musat

机构 * ETH Zürich（苏黎世联邦理工学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；prompting(abstract)；分类 cs.CL、cs.LG

Journal ref International Conference on Learning Representations (ICLR), 2025

FALQON: Accelerating LoRA Fine-tuning with Low-Bit Floating-Point Arithmetic

Kanghyun Choi, Hyeyoon Lee, SunJong Park, Dain Kwon, Jinho Lee

机构 * Department of Electrical and Computer Engineering（电气与计算机工程系） ； Seoul National University（首尔国立大学） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；post-training(abstract)；分类 cs.AI、cs.LG

Comments NeurIPS 2025

Teaching LLMs to Abstain via Fine-Grained Semantic Confidence Reward

Hao An, Yang Xu

机构 * Computational Linguistics and Consciousness Sciences Lab, Southern University of Science and Technology, China（南方科技大学计算语言学与意识科学实验室） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL、cs.AI

Comments 23pages, 4figures

PRO: Enabling Precise and Robust Text Watermark for Open-Source LLMs

Jiaqi Xue, Yifei Zhao, Mansour Al Ghanim, Shangqian Gao, Ruimin Sun, Qian Lou, Mengxin Zheng

机构 * University of Central Florida（佛罗里达中央大学） ； Florida State University（佛罗里达州立大学） ； Florida International University（佛罗里达国际大学） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI、cs.LG

CustomIR: Unsupervised Fine-Tuning of Dense Embeddings for Known Document Corpora

Nathan Paull

机构 * Valkyrie Andromeda（瓦尔基里安德墨达） 纠错

专题命中 指令微调 ：LLM(abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

BLM$_1$: A Boundless Large Model for Cross-Space, Cross-Task, and Cross-Embodiment Learning

Wentao Tan, Bowen Wang, Heng Zhi, Chenyu Liu, Zhe Li, Jian Liu, Zengrong Lin, Yukun Dai, Yipeng Chen, Wenjie Yang, Enci Xie, Hao Xue, Baixu Ji, Chen Xu, Zhibin Wang, Tianshi Wang, Lei Zhu, Heng Tao Shen

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；foundation model(abstract)；分类 cs.AI

ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning

Yilang Zhang, Xiaodong Yang, Yiwei Cai, Georgios B. Giannakis

机构 * ML Research, Morgan Stanley, New York, NY 10019, USA（ML研究，摩根大通，纽约，纽约州，10019，美国） ； Visa Research, Austin, TX 78759, USA（Visa研究，奥斯汀，德克萨斯州，78759，美国） ； Department of ECE, University of Minnesota, MN 55455, USA（电子工程系，明尼苏达大学，明尼苏达州，55455，美国） 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.LG

RefleXGen:The unexamined code is not worth using

Bin Wang, Hui Li, AoFan Liu, BoTao Yang, Ao Yang, YiLu Zhong, Weixiang Huang, Yanping Zhang, Runhuai Huang, Weimin Zeng

机构 * 1 School of Electronic ； Computer Engineering,Peking University 2 Apability \& Platform Business Dept., China Mobile Internet Co. 3 China Telecom Cloud Technology Co., Ltd. 纠错

专题命中 指令微调 ：large language model(abstract)；language model(abstract)；分类 cs.AI

Journal ref ICASSP 2025 - 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Hyderabad, India, 2025, pp. 1-5

Advancing Compositional Awareness in CLIP with Efficient Fine-Tuning

Amit Peleg, Naman Deep Singh, Matthias Hein

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） 纠错

专题命中 指令微调 ：language model(abstract)；分类 cs.LG

Comments Accepted at NeurIPS 2025

The Distracting Effect: Understanding Irrelevant Passages in RAG

Chen Amiraz, Florin Cuconasu, Simone Filice, Zohar Karnin

机构 * Technology Innovation Institute（技术创新研究所） ； Sapienza University of Rome（罗马萨皮恩扎大学） 纠错

专题命中 指令微调 ：LLM(abstract)；分类 cs.CL