Camoscio: an Italian Instruction-tuned LLaMA
Sapienza University of Rome（罗马大学）
本文提出 Camoscio，利用 LoRA 在 ChatGPT 翻译的意大利语指令数据上微调 LLaMA 7b，使其在多项意大利语零样本下游任务中媲美专用模型，并开源代码、数据集与模型。
2023-12-18 cs.CL
Extrapolating Large Language Models to Non-English by Aligning Languages
Nanjing University（南京大学）；Peking University（北京大学）；Shanghai AI Lab（上海人工智能实验室）；The University of Hong Kong（香港大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对大语言模型因训练数据不平衡导致的非英语能力较弱的问题，本文提出跨语言与多语言指令微调方法构建语义对齐，推导缩放定律优化数据分配，在多个基准上显著提升了非英语任务表现。
2023-10-09 cs.CL
LLaMA-Adapter V2: Parameter-Efficient Visual Instruction Model
CUHK MMLab（香港中文大学多媒体实验室）；Rutgers University（罗格斯大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对LLaMA-Adapter泛化开放式视觉指令能力不足的问题，提出LLaMA-Adapter V2，通过解锁更多可学习参数、早期视觉融合、联合训练等策略，以14M新增参数实现更强的多模态及纯语言指令遵循能力。
2023-04-28 cs.AI cs.CL cs.CV
Llama-Mob: Instruction-Tuning Llama-3-8B Excels in City-Scale Mobility Prediction
Southern University of Science and Technology（南方科技大学）；The University of Tokyo（东京大学）
Llama-Mob通过指令微调Llama-3-8B模型，在城市级长期移动预测中表现出色，超越了现有方法，并具备良好的零样本泛化能力。
2026-03-07 cs.CL cs.CY
Does Instruction Tuning Make LLMs More Consistent?
本文通过对比10个指令微调LLaMA模型与原始LLaMA-7b，发现指令微调普遍提升了模型对输入扰动的一致性，并从事实回忆的机制角度解释了这一改进。
2024-10-03 cs.CL
LLaMA-Excitor: General Instruction Tuning via Indirect Feature Interaction
Tsinghua University（清华大学）；Shanghai AI Laboratory（上海人工智能实验室）；Zhongguancun Laboratory（中关村实验室）
本文提出轻量级方法LLaMA-Excitor，通过自注意力旁路模块间接调整特征重要性，在不损害预训练能力的前提下实现通用指令微调，并在语言和多模态任务上取得显著提升。
2024-04-01 cs.AI cs.CL cs.CV
Non-instructional Fine-tuning: Enabling Instruction-Following Capabilities in Pre-trained Language Models without Instruction-Following Data
本文提出用OpenWebText随机文本前半段作指令、GPT-3.5/4-turbo补全作响应的非指令性数据微调预训练LLMs，验证其能获得指令遵循能力，且LLaMA-3-70B-Instruct在Arena Hard上可比肩LLaMA-3.1-70B-Instruct。
2024-08-27 cs.AI cs.CL cs.LG
Impact of Tokenization on LLaMa Russian Adaptation
Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
本文研究 LLaMa 俄语适配中的分词瓶颈，比较三种词表替换方案，证明其可提升俄语质量与用户偏好，并显著加速微调、推理且降低内存消耗。
2023-12-05 cs.AI cs.CL
Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
本文提出26条指导原则来优化大语言模型的提示设计，并在 LLaMA-1/2 和 GPT-3.5/4 上通过大量实验验证其有效性。
2024-01-18 cs.AI cs.CL
Instruction Pre-Training: Language Models are Supervised Multitask Learners
Microsoft Research（微软研究院）；Tsinghua University（清华大学）
针对有监督多任务学习的潜力，本文提出指令预训练框架，通过开源模型构建的高效合成器生成2亿条指令-响应对增强语料库预训练语言模型，实验表明其能增强基础模型、提升指令调优收益，还能让Llama3-8B媲美甚至超越Llama3-70B。
2024-11-28 cs.CL
Code Llama: Open Foundation Models for Code
Meta AI
本研究发布基于Llama 2的Code Llama系列代码大模型，含多版本多参数规模，具备长上下文、代码补全等能力，在多个代码基准上取得开源模型最优性能，且支持研究与商业使用。
2024-01-31 cs.CL
Fragile Knowledge, Robust Instruction-Following: The Width Pruning Dichotomy in Llama-3.2
Independent Researcher（独立研究员）
通过峰值幅度准则对GLU-MLP层进行结构化宽度剪枝，发现降低扩展比会损害参数化知识任务，但能提升指令遵循能力，挑战了剪枝导致均匀退化的假设。
2026-06-15 cs.AI cs.CL cs.LG
LLaMA-E: Empowering E-commerce Authoring with Object-Interleaved Instruction Following
University of Technology Sydney（悉尼科技大学）；The Hong Kong Polytechnic University（香港理工大学）；Etsy（Etsy公司）
本文提出 LLaMA-E 统一电商创作模型，通过对象交错指令覆盖顾客、卖家与平台特征，在多项电商任务上实现最先进性能并具备零样本应用优势。
2024-06-11 cs.AI cs.CL cs.IR
Walia-LLM: Enhancing Amharic-LLaMA by Integrating Task-Specific and Generative Datasets
Saarland University（萨尔兰大学）；Instituto Politécnico Nacional（墨西哥国立理工学院）；Lelapa AI；AIMS（非洲数学科学研究所）；Carnegie Mellon University（卡内基梅隆大学）；Debre Markos University（德布雷马尔科斯大学）；Universität Hamburg（汉堡大学）；Masakhane NLP；Ethio NLP
本文通过整合任务特定与生成式数据集编译Amharic指令微调数据集，对LLaMA-2-Amharic模型进行微调，提升了其在各项NLP任务中的表现，并开源相关资源以促进低资源语言研究。
2024-04-29 cs.CL
Label Supervised LLaMA Finetuning
Hong Kong Metropolitan University（香港都会大学）；Hong Kong Polytechnic University（香港理工大学）；Shanghai 100me Internet Technology Co., Ltd.（上海一零零米互联网科技有限公司）；Lingnan University（岭南大学）
针对指令微调大语言模型在分类任务上表现不佳的问题，提出标签监督式LLaMA微调方法，通过LoRA利用隐表示做标签预测，在文本分类和NER任务上取得优异性能。
2023-10-02 cs.CL
JMI at SemEval 2024 Task 3: Two-step approach for multimodal ECAC using in-context learning with GPT and instruction-tuned Llama models
Jamia Millia Islamia University（贾米亚·米利亚·伊斯兰亚大学）；The Chinese University of Hong Kong（香港中文大学）
本文针对 SemEval-2024 多模态情绪原因分析任务，提出两步式框架，结合指令微调 Llama 2 与 GPT-4V/GPT 3.5 上下文学习，取得第 4 名并验证了显著性能提升。
2024-04-02 cs.CL cs.LG
Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding
DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Hupan Lab（湖畔实验室）
提出Video-LLaMA多模态框架，通过Video Q-former和Audio Q-former结合冻结的预训练编码器与LLMs，解决视频时序变化捕捉与音视频信号整合挑战，实现视频内容理解与响应生成。
2023-10-25 cs.CL cs.CV cs.SD
REFINE-AF: A Task-Agnostic Framework to Align Language Models via Self-Generated Instructions using Reinforcement Learning from Automated Feedback
Indian Institute of Technology, Kharagpur（印度理工学院，克哈格普尔）
本文提出REFINE-AF半自动化任务无关框架，利用开源小型LLM自生成指令并结合基于自动化反馈的RL训练，以更低成本生成微调数据，并在63%至66%的任务上显著优于以往方法。
2025-05-10 cs.CL
Extending LLMs to New Languages: A Case Study of Llama and Persian Adaptation
University of Tehran（德黑兰大学）；Tehran Institute for Advanced Studies（德黑兰高等研究院）；Khatam University（哈塔姆大学）；Monash University（莫纳什大学）
本文以 Llama 适配波斯语为例，采用单语预训练、双语对齐和任务指令微调的参数高效流程，评估其对波斯语及英语生成、分类任务的影响。
2025-01-08 cs.CL
PMC-LLaMA: Towards Building Open-source Language Models for Medicine
Cooperative Medianet Innovation Center（合作中位数创新中心）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对通用大语言模型医疗领域知识不足的问题，研究团队通过注入海量医学生物文献数据、构建大规模指令微调数据集并微调，打造了开源医疗模型PMC-LLaMA，130亿参数规模的轻量版在医学问答基准上性能超越ChatGPT。
2023-08-25 cs.CL
Long Is More for Alignment: A Simple but Tough-to-Beat Baseline for Instruction Fine-Tuning
EPFL（洛桑联邦理工学院）
本文提出一种极简基线方法，通过从标准数据集中选择响应最长的1,000条指令进行指令微调，在GPT-4和PaLM-2评判下持续优于LIMA和AlpaGasus等复杂方法，并在多个基准上取得竞争力结果。
2024-06-04 cs.CL
LLaMA Pro: Progressive LLaMA with Block Expansion
The University of Hong Kong（香港大学）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）；Shanghai Jiao Tong University（上海交通大学）；Beijing Language and Culture University（北京语言大学）
提出基于 Transformer 块扩展的后预训练方法，仅用新语料微调扩展块以避免灾难性遗忘，构建的 LLaMA Pro 在编程和数学等任务上表现卓越，为高级语言智能体奠定基础。
2024-05-30 cs.CL
LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models
ARiSE Labs at Bosch（博世ARiSE实验室）
本研究提出LLM2KB知识库构建系统，基于Llama 2架构与Wikipedia数据集，用LoRA对两个13B级大模型做参数高效指令微调，结合DPR获取的上下文完成实体关系抽取，在LM-KBC挑战赛21种关系上获0.6185的平均F1分数。
2023-08-25 cs.CL
Llama meets EU: Investigating the European Political Spectrum through the Lens of LLMs
University of Copenhagen（哥本哈根大学）
本文审查了 Llama Chat 在欧盟政治背景下的政治知识与推理能力，通过在欧洲议会演讲上微调构建特定政党模型，发现其能显著重新对齐至相应政治立场，为政治科学研究提供了对话引擎支持。
2024-03-22 cs.CL
Phased Instruction Fine-Tuning for Large Language Models
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
本文提出分阶段指令微调（Phased IFT），按 GPT-4 评估的难度递增顺序训练模型，实验证明其显著优于一次性指令微调，为高效增强大语言模型指令遵循能力提供了简单方案。
2024-06-16 cs.AI cs.CL
Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca
本文通过扩展 LLaMA 词表并加入中文预训练与指令微调，提出高效中文编码方法，显著提升其中文理解生成能力，并在 C-Eval 上取得有竞争力的结果。
2024-02-23 cs.CL cs.HC cs.LG
OpenCharacter: Training Customizable Role-Playing LLMs with Large-Scale Synthetic Personas
Tencent AI Lab（腾讯AI实验室）
本文提出基于Persona Hub大规模合成角色档案，并通过回复重写与生成构建角色对齐指令数据，用LLaMA-3 8B进行SFT，使模型在角色扮演对话上达到接近GPT-4o的表现。
2025-02-18 cs.CL
BioInstruct: Instruction Tuning of Large Language Models for Biomedical Natural Language Processing
Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院）；University of Massachusetts Medical School（马萨诸塞大学医学院）；Miner School of Computer and Information Sciences, University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校迈纳计算机与信息科学学院）；VA Bedford Health Care（贝德福德退伍军人保健中心）
本文构建了包含25,005条指令的BioInstruct数据集，用于对LLaMA系列大语言模型进行LoRA指令微调，在生物医学问答、信息抽取和文本生成任务上分别取得17.3%、5.7%和96%的性能提升，并验证了相关任务间多任务学习的协同效应。
2024-06-06 cs.AI cs.CL
Efficient Training of Robust Traditional Chinese LLaMA-1B on a Single Consumer GPU: Continual Pre-training, SFT, and DPO
National Tsing Hua University（台湾清华大学）；Accton Technology Corporation（智邦科技公司）；National Yang Ming Chiao Tung University（阳明交通大学）；University of Taipei（台北市立大学）
针对小语言模型繁体中文输出的token级不稳定问题，提出基于LoRA的三阶段训练流水线PureTC-1B，在单消费级GPU上实现1B规模模型的鲁棒繁体中文输出，显著降低非目标语言字符占比。
2025-10-02 cs.CL
LLaMA Beyond English: An Empirical Study on Language Capability Transfer
Fudan University（复旦大学）
本文基于LLaMA实证研究语言能力向非英语迁移，发现词汇扩展、继续预训练和指令微调等关键因素下，仅用不到1%预训练数据即可在知识对齐和回答质量上达到先进水平。
2024-01-12 cs.AI cs.CL
Camels in a Changing Climate: Enhancing LM Adaptation with Tulu 2
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
本文提出 TÜLU 2 模型套件，通过整合高质量指令数据集、微调技术和直接偏好优化，显著提升了开放语言模型的适应能力，在多个基准上达到或超越 GPT-3.5-turbo-0301 性能。
2023-11-20 cs.CL
Chat Vector: A Simple Approach to Equip LLMs with Instruction Following and Model Alignment in New Languages
National Applied Research Laboratories（国家应用研究实验室）；National Taiwan University（台湾大学）；National Central University（中央大学）
本文提出Chat Vector方法，通过模型权重相减得到聊天向量并加到新语言持续预训练模型上，无需额外训练即可赋予其指令遵循、毒性缓解和多轮对话能力，实验验证了其简洁有效和广泛适用性。
2024-06-07 cs.CL
Llama Guard: LLM-based Input-Output Safeguard for Human-AI Conversations
Meta
本研究提出面向人机对话的LLM安全防护模型Llama Guard，基于Llama2-7b指令微调，支持提示词与回复的安全分类，性能优于现有工具，且支持定制适配，已开放权重助力AI安全研究。
2023-12-07 cs.AI cs.CL
SCITUNE: Aligning Large Language Models with Human-Curated Scientific Multimodal Instructions
Pacific Northwest National Laboratory（太平洋西北国家实验室）
SCITUNE通过多模态指令提升大语言模型在科学任务中的表现，优于现有模型并在ScienceQA基准上超越人类性能。
2026-04-13 cs.AI cs.CL cs.CV
Where does an LLM begin computing an instruction?
Indian Institute of Technology, Hyderabad（印度海得拉巴印度理工学院）
针对大语言模型指令遵循的起始计算层位置问题，本文构建三类简单数据集及两跳组合任务，基于激活修补测量逐层翻转率，在Llama系列模型中发现统一的指令执行起始拐点，提供了可复现的定位对比方法。
2025-11-19 cs.CL
MAIN: Mutual Alignment Is Necessary for instruction tuning
Peking University（北京大学）；Microsoft Corporation（微软公司）
本文提出MAIN框架，通过互斥约束增强指令与响应的一致性，提升LLM在多种基准上的性能。
2025-09-21 cs.CL
Cross-Task Defense: Instruction-Tuning LLMs for Content Safety
University of California, Riverside（加州大学河滨分校）；Microsoft（微软公司）；University of California, Los Angeles（加州大学洛杉矶分校）
针对LLMs处理长文本时安全性不足的问题，提出防御数据集及单任务/混合任务损失进行指令微调，显著提升模型安全处理危险内容的能力，并发现Llama2在安全与实用性平衡上优于Llama1。
2024-05-24 cs.CL cs.CR
The Breeze 2 Herd of Models: Traditional Chinese LLMs Based on Llama with Vision-Aware and Function-Calling Capabilities
MediaTek Research（联发科研究院）
该研究基于Llama 3.2推出3B和8B参数的多模态模型Breeze2，通过大规模预训练增强繁体中文能力，新增函数调用与视觉理解功能，在同类模型中表现领先并开源及展示移动端运行能力。
2025-02-11 cs.CL
A Comparative Study between Full-Parameter and LoRA-based Fine-Tuning on Chinese Instruction Data for Instruction Following Large Language Model
Beike Inc.（贝壳公司）
本文以LLaMA为基座，在中文指令数据上对比全参数微调与LoRA微调，分析基座模型、数据规模、可学习参数量和训练成本对性能的影响，为中文大模型训练提供成本与性能权衡参考。
2023-04-18 cs.CL
Instruction Complexity Induces Positional Collapse in Adversarial LLM Evaluation
Independent Researcher（独立研究者）
研究探讨指令复杂性如何影响对抗性LLM评估中的位置崩溃现象，通过六种条件对抗性指令梯度测试，发现不同指令类型导致不同的响应分布和内容参与度，揭示了指令复杂性对响应机制的影响。
2026-04-29 cs.AI cs.CL
Answer is All You Need: Instruction-following Text Embedding via Answering the Question
University of California San Diego（加利福尼亚大学圣迭戈分校）；Cisco（思科公司）
本文提出InBedder，通过将指令视为问题并编码预期答案，在问答任务上微调语言模型，构建了能捕捉用户指定文本特征的嵌入器，显著提升了指令遵循能力并具备高可解释性。
2024-02-15 cs.CL
Infinity Instruct: Scaling Instruction Selection and Synthesis to Enhance Language Models
Beijing Academy of Artificial Intelligence（北京人工智能研究院）；University of Oxford（牛津大学）
针对现有开源指令数据集领域狭窄、限制LLM泛化能力的问题，提出两阶段构建的高质量指令数据集Infinity-Instruct，微调多个开源模型后基础与指令跟随能力均显著提升，验证了基础与对话训练的协同效应。
2025-06-09 cs.AI cs.CL
Balancing Continuous Pre-Training and Instruction Fine-Tuning: Optimizing Instruction-Following in LLMs
Samsung Research（三星研究院）
本研究探讨了LLMs连续预训练与指令微调的关系，旨在无需指令数据和微调的情况下，找到一种计算效率最高的策略以同时获取最新知识并保持指令遵循能力。
2024-10-14 cs.CL
Krikri: Advancing Open Large Language Models for Greek
Athena Research Center（雅典娜研究中心）
本文推出基于Llama 3.1-8B的希腊语大模型Llama-Krikri-8B，通过高质量数据训练与多阶段后训练流水线提升性能，并提出三个新基准，在多项任务上超越同类模型。
2025-05-30 cs.CL
CommonIT: Commonality-Aware Instruction Tuning for Large Language Models via Data Partitions
Institute of Computing and Intelligence, Harbin Institute of Technology（哈尔滨工业大学计算与智能学院）；Huawei Cloud Computing Technologies Co., Ltd.（华为云计算技术有限公司）
本文提出 CommonIT 共性感知指令微调策略，通过任务、嵌入和长度三种度量对指令数据聚类划分，使每个训练小批量仅含同组数据，在多个 LLM 和数据集上验证了其提升指令遵循能力的有效性。
2024-10-04 cs.AI cs.CL
Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
针对对齐数据不公开、现有开源数据构建难扩展的问题，提出Magpie自合成方法，通过空提示从已对齐LLM生成高质量指令数据，实验证明其微调效果优于现有公开数据集，部分任务性能比肩官方对齐模型。
2024-10-07 cs.AI cs.CL
Dancing in Chains: Reconciling Instruction Following and Faithfulness in Language Models
AWS AI Labs（亚马逊云科技人工智能实验室）；Google（谷歌公司）；Stanford University（斯坦福大学）；Samaya AI（Samaya人工智能公司）；Orby AI（Orby人工智能公司）；NVIDIA（英伟达公司）
本文揭示了语言模型中指令遵循与忠实性之间的权衡，并提出基于拒绝采样的持续自指令微调方法ReSet，以更少的高质量数据显著优于普通多任务学习。
2024-07-31 cs.CL
Enhancing LLM Robustness to Perturbed Instructions: An Empirical Study
Imperial College London（伦敦帝国学院）
本研究针对任务级指令扰动降低LLM下游性能的问题，通过实验对比自去噪和表示对齐等技术，发现自去噪在多模型和数据集上均显著优于其他基线方法。
2025-04-03 cs.CL
Amharic LLaMA and LLaVA: Multimodal LLMs for Low Resource Languages
Garri Logistcs（加里物流公司）
针对低资源语言阿姆哈拉语训练数据匮乏的问题，本研究通过数据增强扩充语料，微调LLaMA-2得到阿姆哈拉语LLM，并参照LLaVA接入图像编码器训练出多模态模型，同时开源了对应基准数据集与模型。
2024-03-11 cs.CL
ImageBind-LLM: Multi-modality Instruction Tuning
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；vivo（维沃移动通信有限公司）
提出ImageBind-LLM，通过ImageBind和可学习绑定网络对LLaMA进行多模态指令微调，仅用图文训练即可响应音频、3D点云等多模态输入，并利用免训练视觉缓存模型增强跨模态嵌入。
2023-09-11 cs.CL cs.CV cs.LG
PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance
Wuhan University（武汉大学）；Sun Yat-Sen University（中山大学）；Southwest Jiaotong University（西南交通大学）；University of Florida（佛罗里达大学）；ChanceFocus AMC（ChanceFocus资产管理公司）
针对金融领域缺乏开源专属大模型、指令数据与评估基准的问题，本文提出PIXIU框架，包含13.6万条多任务金融指令数据、微调LLaMA得到的FinMA模型，以及含6类任务的评估基准，开源资源以推动金融AI研究。
2023-06-08 cs.AI cs.CL
InstructGraph: Boosting Large Language Models via Graph-centric Instruction Tuning and Preference Alignment
East China Normal University（华东师范大学）；University of California San Diego（加利福尼亚大学圣迭戈分校）
提出InstructGraph框架，通过统一图数据格式、图指令微调及偏好对齐解决LLMs的图推理与生成任务，性能超越GPT-4和LLaMA2。
2024-02-13 cs.CL
NAVER LABS Europe Submission to the Instruction-following Track
NAVER LABS Europe（NAVER LABS欧洲）；University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出一种基于 SeamlessM4T-v2-large 语音编码器投影器和 Llama-3.1-8B-Instruct LoRA 适配器的多任务系统，可同时处理英语语音的 ASR、ST 和 SQA 任务并输出中、意、德文本。
2025-06-02 cs.CL
SAIL: Search-Augmented Instruction Learning
MIT Computer Science and Artificial Intelligence Lab（麻省理工学院计算机科学与人工智能实验室）；CUHK Centre for Perceptual and Interactive Intelligence（香港中文大学感知与交互智能中心）；MIT Linguistics（麻省理工学院语言学系）
提出搜索增强的指令学习方法SAIL，通过构建搜索基础训练集并微调LLaMA-7B模型，使模型学会基于可信搜索结果过滤干扰并生成响应，显著提升了透明度敏感任务的性能。
2023-06-25 cs.CL
