Zero-shot cross-lingual transfer in instruction tuning of large language models
Naver Labs Europe（Naver欧洲实验室）
本研究系统探讨了大型语言模型指令微调中的零样本跨语言迁移，发现只要在超参数调优中考虑多语言性并使用足够数据，仅用英语训练的模型也能在其他语言中生成正确且全面的响应，但存在事实性低和流畅性错误的问题。
2024-04-22 cs.AI cs.CL
InstructDial: Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning
Carnegie Mellon University（卡内基梅隆大学）
指令微调是自然语言处理中的一种新兴范式，其中自然语言指令与语言模型一起使用，以在看不见的任务上诱导zero-shot性能。指令已经被证明可以在大型和小型语言模型中对看不见的任务和数据集实现良好的性能。对话是探索指令微调的特别有趣的领域，因为对话系统执行与语言相关的多种任务（例如，自然语言理解和生成、领域特定的交互），但是还没有针对对话相关的任务系统地探索指令微调。我们介绍了指令拨号，一个指令微调框架的对话，其中包括一个存储库的48个不同的对话任务，在一个统一的文本到文本的格式创建从59个公开可用的对话数据集。接下来，我们将探索在不同的对话任务中，在InstructDial上调整的模型的跨任务泛化能力。我们的分析表明，InstructDial在看不见的数据集和任务（如对话评估和意图检测）上实现了良好的zero-shot性能，在Few-Shot设置中甚至具有更好的性能。为了确保模型遵守指令，我们引入了新的元任务。我们建立基准zero-shot和Few-Shot性能的模型训练使用所提出的框架上的多个对话任务。
2022-10-26 cs.CL
MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
Virginia Tech（弗吉尼亚理工大学）
本研究提出首个多模态指令微调基准数据集MultiInstruct，基于OFA模型结合迁移学习策略，提升了多模态零样本性能，并设计敏感度指标验证了多任务微调对降低指令变体敏感度的作用。
2023-06-10 cs.CL
M$^2$PT: Multimodal Prompt Tuning for Zero-shot Instruction Learning
Rochester Institute of Technology（罗切斯特理工学院）；U.S. Naval Research Laboratory（美国海军研究实验室）；Harvard Medical School（哈佛医学院）；ByteDance（字节跳动）；Meta AI；Meituan（美团）；University of Science and Technology of China（中国科学技术大学）；Shanghai Academy of AI for Science（上海人工智能科学研究院）；Fudan University（复旦大学）；University of Missouri - Kansas City（密苏里大学堪萨斯城分校）；University of California - Davis（加利福尼亚大学戴维斯分校）
针对现有参数高效微调方法多忽略多模态特性的问题，提出M$^2$PT多模态提示调优方法，分别向视觉编码器和语言处理器整合对应模态提示以促进跨模态特征提取与对齐，在多数据集上性能优于现有最优基线且经消融实验验证有效。
2024-10-30 cs.AI cs.CL cs.LG
Understanding How Model Size Affects Few-shot Instruction Prompting
Yale-NUS College（耶鲁-新加坡国立大学学院）；Bukalapak
大语言模型受训练数据记忆和遗忘现象的影响。但这些是如何根据模型大小而变化的呢？我们对这个问题的工作，通过调查模型的大小如何影响模型的能力，在给定的上下文中区分一个词的含义。我们引入了一个名为DeltaWords的数据集，该数据集评估模型遵循指令选择一个句子的能力，该句子将目标词替换为反义词。我们显示了一个弱的逆缩放趋势，任务的准确性降低模型大小的增加，在极Few-Shot提示制度。我们发现，增加的例子的数量往往不成比例地受益于较大的模型比较小的模型。
2022-12-04 cs.CL cs.LG stat.ML
Finetuned Language Models Are Zero-Shot Learners
Google Research（谷歌研究院）
本文探讨了一种提高语言模型零样本学习能力的简单方法。我们表明，指令微调-微调语言模型上的一组任务描述通过指令-大大提高了zero-shot性能看不见的任务。我们采用137 B参数预训练语言模型，并通过自然语言指令模板在60多个NLP任务上对其进行优化。我们评估这个防御调整模型，我们称之为FLAN，看不见的任务类型。FLAN大大提高了其未经修改的对应物的性能，并在我们评估的25个任务中的20个上超过了zero-shot 175 B GPT-3。FLAN在ANLI、RTE、BoolQ、AI 2-ARC、OpenbookQA和StoryCloze上的表现甚至超过了Few-Shot GPT-3。消融研究表明，微调数据集的数量，模型规模和自然语言指令是指令微调成功的关键。
2022-02-08 cs.CL
Zero-shot and Few-shot Learning with Instruction-following LLMs for Claim Matching in Automated Fact-checking
Queen Mary University of London（伦敦玛丽女王大学）
本研究首次探索基于遵循指令的LLM的零样本和少样本学习方法，通过将其视为二分类任务并利用自然语言推理等成熟任务，解决自动事实核查中的声明匹配问题，同时发布了新数据集ClaimMatch及评估流程。
2025-02-28 cs.AI cs.CL
HINT: Hypernetwork Instruction Tuning for Efficient Zero- & Few-Shot Generalisation
Allen Institute for AI（艾伦人工智能研究所）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
HINT提出用超网络将任务指令和示例转换为参数高效模块，在解码时拼接编码指令，从而以极低额外计算成本实现高效零样本与少样本泛化，性能显著超越现有基线。
2023-05-24 cs.CL
Learning to Generate Instruction Tuning Datasets for Zero-Shot Task Adaptation
Brown University（布朗大学）
本研究提出开源条件任务生成模型Bonito，通过元模板构建的大规模数据集训练，可将无标注文本转为指令微调数据集，助力大语言模型在专业私有数据上实现零样本任务适配，性能显著优于自监督基线。
2024-09-11 cs.CL cs.LG
Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases
NVIDIA（英伟达）；California Institute of Technology（加州理工学院）
检测文本中的社会偏见是具有挑战性的，因为细微差别，主观性，以及难以获得高质量的大规模标记数据集，特别是考虑到社会偏见和社会的演变性质。为了解决这些挑战，我们提出了一种基于Few-Shot的方法来提示预训练的语言模型（LM）。我们从一个小的支持库中选择了一些类平衡的样本，这些样本最接近嵌入空间中要标记的查询。然后，我们为LM提供指令，该指令由标记样本的子集、要分类的查询文本、偏差的定义组成，并提示LM做出决定。我们证明了在Few-Shot上下文中使用的大型LM可以检测不同类型的细粒度偏差，其精度与微调模型相似，有时甚至更高。我们观察到，与较小的模型相比，最大的530B参数模型在检测社会偏见方面明显更有效（与其他模型相比，AUC指标至少提高了13%）。当标记的储存库减少到$100$样品时，它也保持高AUC（下降小于2%）。因此，大型的预训练语言模型使得构建新的偏见检测器变得更容易和更快。
2022-04-15 cs.AI cs.CL
Aligning Instruction Tasks Unlocks Large Language Models as Zero-Shot Relation Extractors
The Ohio State University（俄亥俄州立大学）
针对大型语言模型在关系抽取任务上表现不佳的问题，提出QA4RE框架，通过将关系抽取与问答任务对齐，显著提升了模型在零样本和少样本设置下的性能与鲁棒性。
2023-05-18 cs.CL
Toward Zero-Shot Instruction Following
The Pennsylvania State University（宾夕法尼亚州立大学）
该研究提出零样本指令遵循这一更具现实性的零样本跨任务泛化设置，通过关键句自动提取与排序目标两种策略，在Super-NaturalInstructions基准上实现了最优性能。
2024-01-25 cs.CL
Efficiently Enhancing Zero-Shot Performance of Instruction Following Model via Retrieval of Soft Prompt
KAIST（韩国科学技术院）
通过提示调优训练软提示嵌入并检索最接近查询实例的嵌入，仅增加0.007%参数即提升T0在未见任务上的性能，并在BIG-bench上平均准确率提高2.39个百分点。
2023-10-16 cs.AI cs.CL
Zero-Shot Keyphrase Generation: Investigating Specialized Instructions and Multi-Sample Aggregation on Large Language Models
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Bloomberg（彭博公司）
本文研究大型语言模型在零样本关键短语生成任务中的潜力，通过引入专业化指令和任务特定的多样本聚合策略，显著提升了模型相比基线的生成效果。
2025-03-01 cs.AI cs.CL
Learning Instructions with Unlabeled Data for Zero-Shot Cross-Task Generalization
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
训练语言模型从人类指令中学习zero-shot跨任务泛化已经引起了NLP社区的广泛关注。最近，指令微调（IT），微调预训练的语言模型上的大量收集的任务描述通过人工指令，已被证明是有效的指令学习看不见的任务。然而，它依赖于大量的人工标注的样本，这限制了它的推广。与标记数据不同，未标记数据通常是大量的，而且获取成本很低。在这项工作中，我们研究了如何使用未标记的数据来改进IT。我们首先从经验上探索了IT性能趋势与标记数据、指令和训练任务数量的关系。我们发现增加训练指令的数量至关重要，并且由于标记数据的稀缺，指令可能未得到充分利用。然后，我们提出了无标记数据增强指令微调（UDIT），以更好地利用IT期间的指令，通过构建伪标记的数据从无标记的纯文本。我们进行了广泛的实验，以显示UDIT的有效性，在各种情况下的任务和数据集。我们还全面分析了UDIT的关键因素，以研究如何更好地改善未标记数据的IT。该代码可在https://github.com/thu-coai/UDIT上公开获取。
2022-10-17 cs.CL
Coherent Zero-Shot Visual Instruction Generation
University of Maryland College Park（马里兰大学帕克分校）
本文提出一个无需训练的零样本框架，结合扩散模型与大语言模型，系统整合文本理解与图像生成，以解决多步骤视觉指令中对象一致性与状态平滑转换的难题，实验证明其能生成连贯且美观的视觉指令。
2024-06-08 cs.AI cs.CV
The Flan Collection: Designing Data and Methods for Effective Instruction Tuning
Google Research（谷歌研究院）
我们研究了公开可用的指令微调方法的设计决策，并分解了Flan 2022的开发（Chung等人，2022年）。通过对Flan集合的任务和方法进行仔细的消融研究，我们梳理了设计决策的影响，这些决策使Flan-T5在评估设置中的表现优于先前的工作3-17%+。我们发现任务平衡和丰富技术被忽视，但对有效的指令微调至关重要，特别是，混合提示设置（zero-shot，Few-Shot和chain-of-thought）的训练实际上在所有设置中都会产生更强（2%+）的性能。在进一步的实验中，我们表明Flan-T5需要更少的微调来比T5在单个下游任务上收敛得更快更高，从而激励经过微调的模型作为新任务的计算效率更高的起始检查点。最后，为了加速对指令微调的研究，我们在https://github.com/google-research/FLAN/tree/main/flan/v2上公开了Flan 2022数据集、模板和方法的集合。
2023-02-14 cs.AI cs.CL cs.LG
Automated Few-shot Classification with Instruction-Finetuned Language Models
University of Cambridge（剑桥大学）；Boson AI（玻色人工智能）；Amazon Web Services（亚马逊云科技）；New York University（纽约大学）
提出AuT-Few方法，利用指令微调语言模型的提示鲁棒性，通过提示检索和类别描述生成实现自动化少样本分类，在多个数据集和RAFT基准上超越现有方法且无需手工提示。
2023-10-21 cs.CL
Instruction Tuning Vs. In-Context Learning: Revisiting Large Language Models in Few-Shot Computational Social Science
Qingdao University of Science and Technology（青岛科技大学）
本文对比了少样本计算社会科学任务中指令微调与上下文学习对大型语言模型分类性能的影响，发现ICL在多数任务中优于IT，且单纯增加样本数量不一定提升性能，强调了优化样本质量与提示策略的重要性。
2024-09-23 cs.AI cs.CL
Scaling Instruction-Finetuned Language Models
Google（谷歌）
在以指令形式表达的数据集集合上微调语言模型已被证明可以提高模型性能和对不可见任务的泛化。在这篇文章中，我们探讨了指令微调，特别关注（1）缩放任务数量，（2）缩放模型大小，（3）对思维链数据的微调。我们发现，指令微调与上述方面大大提高了性能的各种模型类（PaLM，T5，U-PaLM），提示设置（zero-shot，Few-Shot，CoT），和评估基准（MMLU，BBH，TyDiQA，MGSM，开放式生成）。例如，Flan-PaLM 540 B在1.8K任务上进行了指令微调，其性能远远优于PALM 540 B（平均为+9.4%）。Flan-PaLM 540 B在多个基准测试中实现了最先进的性能，例如在五次MMLU测试中达到75.2%。我们还公开发布了Flan-T5检查点，即使与更大的型号（如PaLM 62 B）相比，它也能实现强大的Few-Shot性能。总的来说，指令微调是提高预训练语言模型的性能和可用性的通用方法。
2022-12-06 cs.CL cs.LG
Energy-based Models are Zero-Shot Planners for Compositional Scene Rearrangement
Carnegie Mellon University（卡内基梅隆大学）
提出用能量函数表示语言空间约束并经梯度下降推断目标布局，使机器人能零样本泛化执行长组合式场景重排指令。
2024-01-23 cs.AI cs.CL cs.CV
LLMs-based Few-Shot Disease Predictions using EHR: A Novel Approach Combining Predictive Agent Reasoning and Critical Agent Instruction
Emory University（埃默里大学）；University of Washington（华盛顿大学）；UCSD（加利福尼亚大学圣迭戈分校）；Rollins School of Public Health, Emory University（埃默里大学罗林斯公共卫生学院）；School of Medicine, Emory University（埃默里大学医学院）
本研究提出一种结合预测智能体与批判智能体的LLM新方法，将EHR数据转为自然语言进行疾病预测，实现了优于传统方法的少样本性能。
2024-03-19 cs.AI cs.CL cs.LG
Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering
Zhejiang University（浙江大学）
针对零样本文档图像问答，提出利用空格和换行符恢复布局信息的LATIN-Prompt及提升小模型性能的LATIN-Tuning，使大模型零样本性能媲美SOTA微调效果。
2023-09-07 cs.AI cs.CL cs.CV
Mitigating Biases for Instruction-following Language Models via Bias Neurons Elimination
Seoul National University（首尔大学）；LG AI Research（LG AI研究院）；University of Michigan（密歇根大学）
该研究定义并验证了偏置神经元的存在，提出 CRISPR 方法利用可解释性技术自动识别并消除指令遵循语言模型中的偏置神经元，在零样本设置下有效缓解偏置且不损失模型性能，仅消除至少三个神经元即可生效。
2024-06-05 cs.AI cs.CL cs.LG
Deep Exploration of Cross-Lingual Zero-Shot Generalization in Instruction Tuning
LG AI Research（LG AI研究院）
本文通过英语与韩语元数据集的指令微调实验，并引入含51个基准的KORANI及跨语言模板，证明跨语言零样本泛化可显著提升未见任务表现。
2024-06-13 cs.CL
Can You Label Less by Using Out-of-Domain Data? Active & Transfer Learning with Few-shot Instructions
California Institute of Technology（加州理工学院）；NVIDIA（英伟达）
标记社交媒体数据的毒性和社会偏见的定制维度是具有挑战性和劳动密集型的。现有的转移和主动学习方法旨在减少注释工作，需要微调，这遭受过拟合噪声，并可能导致小样本量的域移位。在这项工作中，我们提出了一种新的主动传输Few-Shot指令（ATF）的方法，不需要微调。ATF利用预先训练的语言模型（PLM）的内部语言知识来促进来自现有预标记数据集（源域任务）的信息的传输，同时对未标记的目标数据（目标域任务）进行最小的标记工作。我们的策略可以产生正转移，与无转移相比，在大的22b参数PLM下，实现10.5%的平均AUC增益。我们进一步表明，通过主动学习对少数目标域样本进行注释可能有利于迁移，但随着注释工作的增加，这种影响会减少（在100到2000个注释示例之间，增益下降26%）。最后，我们发现，并不是所有的转让方案产生积极的收益，这似乎与PLM的目标域任务的初始性能。
2022-11-21 cs.AI cs.CL
BARE: Leveraging Base Language Models for Few-Shot Synthetic Data Generation
UC Berkeley（伯克利大学）；Stanford University（斯坦福大学）；Foundry；Princeton University（普林斯顿大学）
针对少样本下指令调优模型生成合成数据多样性不足的问题，提出结合基础模型多样性与指令调优模型质量的两阶段BARE方法，仅用3个种子示例即可生成高质量数据，显著提升多类下游任务性能。
2025-05-21 cs.AI cs.CL cs.LG
Few-Shot Prompting for Extractive Quranic QA with Instruction-Tuned LLMs
Faculty of Computer Science MSA University Giza, Egypt（计算机科学学院 MSA大学 埃及吉扎）；Faculty of Computer Science MSA University Egypt（计算机科学学院 MSA大学 埃及）
本文提出使用少样本提示与指令微调LLM进行《古兰经》抽取式问答，结合阿拉伯语提示框架和后处理系统，有效提升了精确度并减少了幻觉，最佳配置达到0.637的pAP10分数。
2025-08-08 cs.CL cs.IR
Self-play with Execution Feedback: Improving Instruction-following Capabilities of Large Language Models
Alibaba Inc.（阿里巴巴集团）；Qwen Team（通义千问团队）
本文提出AutoIF方法，通过将指令遵循数据质量验证转化为代码验证并利用执行反馈生成训练数据，显著提升了Qwen2和LLaMA3在SFT、离线DPO和在线DPO下的指令遵循能力。
2024-07-18 cs.AI cs.CL cs.LG
Instruction Distillation Makes Large Language Models Efficient Zero-shot Rankers
Shandong University（山东大学）；Baidu Inc.（百度公司）；Leiden University（莱顿大学）
针对大语言模型零样本排序效率低、依赖复杂提示工程的问题，提出指令蒸馏方法，将成对排序能力蒸馏为高效逐点排序，实现10-100倍效率提升且性能更优。
2023-11-02 cs.CL cs.IR
Instruction Tuning with GPT-4
Microsoft Research（微软研究院）
本文首次尝试使用GPT-4生成指令跟随数据对LLaMA进行微调，实验表明该方法显著提升了模型在新任务上的零样本性能，并公开了数据与代码库。
2023-04-06 cs.AI cs.CL
Are Large Language Models Table-based Fact-Checkers?
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文探索大型语言模型在基于表格的事实验证（TFV）中的潜力，通过设计提示和指令微调实验，发现提示工程能取得可接受结果，而指令微调能显著提升TFV能力，为表格推理研究提供方向。
2024-11-13 cs.AI cs.CL cs.LG
The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning
KAIST AI（韩国科学技术院人工智能学院）；NAVER AI Lab（NAVER人工智能实验室）；University of Washington（华盛顿大学）
该研究提出CoT Collection数据集，通过思维链微调较小语言模型（Flan-T5 3B/11B），在BBH基准和领域任务上显著提升零样本与少样本推理能力，甚至超越ChatGPT。
2023-10-14 cs.AI cs.CL cs.LG
Evaluating Instruction-Tuned Large Language Models on Code Comprehension and Generation
Fudan University（复旦大学）
本文在四个代码理解与生成任务上评估了10个开源指令微调LLM，发现其在零样本下极具竞争力，少样本和微调能进一步提升性能，并据此提出了模型选择与权衡的实际建议。
2023-08-02 cs.AI cs.CL
Socratic Planner: Self-QA-Based Zero-Shot Planning for Embodied Instruction Following
Seoul National University（首尔大学）；Interdisciplinary Program in AI (IPAI), Seoul National University（首尔大学人工智能交叉项目）；AI Institute, Seoul National University（首尔大学人工智能研究院）
本文提出苏格拉底规划器，一种基于自问答的零样本规划方法，通过LLM自我问答生成子目标序列，并利用视觉反馈重新规划，在ALFRED基准上超越现有最先进模型，尤其在长时程任务中表现优异，并已在实体机器人上验证。该方法无需训练即可实现具身指令跟随的组合任务规划。
2025-03-26 cs.AI cs.CL cs.CV
Large Language Models Are Human-Level Prompt Engineers
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；University of Waterloo（滑铁卢大学）
大语言模型（LLM）通过对自然语言指令的调节，已经显示出作为通用计算机的令人印象深刻的能力。然而，任务性能在很大程度上取决于用于引导模型的提示的质量，并且最有效的提示是由人类手工制作的。受经典程序合成和人类提示工程方法的启发，我们提出了自动提示工程师（APE）来自动生成和选择指令。在我们的方法中，我们将指令视为“程序”，通过搜索LLM提出的指令候选池进行优化，以最大化所选的得分函数。为了评估所选指令的质量，我们评估所选指令之后的另一个LLM的zero-shot性能。在24个NLP任务上的实验表明，我们自动生成的指令的性能大大优于之前的LLM基线，并且在19/24个任务上实现了比人工注释器生成的指令更好或相当的性能。我们进行了广泛的定性和定量分析，以探讨APE的性能。我们表明，APE设计的提示可以应用于引导模型走向真实性和/或信息量，以及通过简单地将它们前置到标准的上下文学习提示来提高少样本学习性能。请查看我们的网页https://sites.google.com/view/automatic-prompt-engineer。
2023-03-10 cs.AI cs.CL cs.LG
Diffusion Language Models Can Perform Many Tasks with Scaling and Instruction-Finetuning
ByteDance Research（字节跳动研究院）；Fudan University（复旦大学）
本文证明通过数据、规模和任务上的扩展，扩散语言模型能成为强大的语言学习者，并通过指令微调激发上下文学习能力，解决多种一般语言任务。
2025-02-24 cs.AI cs.CL cs.LG
SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models
Tsinghua University（清华大学）；Zhipu AI（智谱AI）
本文提出自我博弈框架 SPaR，通过树搜索自我精炼构建低干扰、可比较的偏好对，提升 LLM 指令遵循能力，并在 IFEval 上验证其效果与可扩展性。
2025-03-16 cs.AI cs.CL cs.LG
Zero-Shot Classification of Crisis Tweets Using Instruction-Finetuned Large Language Models
Computer Science Department Georgia State University（计算机科学系乔治亚州立大学）；Disaster Relief Systems MIT Lincoln Laboratory（灾难救援系统麻省理工学院林肯实验室）
本文评估GPT-4o、Gemini和Claude在CrisisBench危机推文上的零样本双任务分类能力，发现提示信息对不同任务效果不同且性能随数据集显著变化。
2024-09-30 cs.AI cs.CL
sPhinX: Sample Efficient Multilingual Instruction Fine-Tuning Through N-shot Guided Prompting
Microsoft Corporation（微软公司）；Harvard University（哈佛大学）；Adobe Research（Adobe研究）；MBZUAI University（MBZUAI大学）；Hippocratic AI；Meta AI
本文提出sPhinX多语言指令微调数据集构建方法及LANGIT的N-shot引导策略，显著提升Mistral-7B和Phi-3-Small在多语言基准上的性能，同时保持英语能力且无灾难性遗忘。
2025-06-18 cs.CL
InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models
Chungnam National University（忠南大学）；Nara Institute of Science and Technology (NAIST)（奈良科学技术研究所）；Tokyo Institute of Technology（东京工业大学）
针对传统句子压缩模型难满足长度约束的问题，提出基于指令的InstructCMP方法，结合长度启动策略与指令格式数据集微调，在零样本和微调场景下均显著提升长度控制性能且无需修改模型。
2024-06-18 cs.AI cs.CL
COSMIC: Data Efficient Instruction-tuning For Speech In-Context Learning
Microsoft（微软）
本文提出COSMIC多模态LLM，通过GPT-3.5从语音转写生成SQA对进行数据高效指令微调，以少量参数和450小时英语语音数据获得指令遵循与上下文学习能力，并提升翻译、跨域适配和上下文偏置ASR性能。
2024-06-14 cs.AI cs.CL eess.AS
How well do Large Language Models Recognize Instructional Moves? Establishing Baselines for Foundation Models in Educational Discourse
National Tutoring Observatory（国家辅导观察所）；Cornell University（康奈尔大学）
研究评估了六种LLM在分类真实课堂教学行为任务中的基准性能，发现少样本提示显著提升表现，但存在可靠性限制。
2025-12-22 cs.CL
GrIPS: Gradient-free, Edit-based Instruction Search for Prompting Large Language Models
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出无梯度、基于编辑的提示指令搜索方法 GrIPS，可自动改写人类指令并支持 API 模型调优，在多模型和八类任务上显著提升性能。
2023-04-26 cs.AI cs.CL cs.LG
LINGUIST: Language Model Instruction Tuning to Generate Annotated Utterances for Intent Classification and Slot Tagging
Amazon（亚马逊）
我们提出了LINGUIST，一种用于生成意图分类和插槽标记（IC+ST）的注释数据的方法，通过微调AlexaTM 5B，一个50亿参数的多语言序列到序列（seq2seq）模型，在灵活的指令提示符上。在SNIPS数据集的10次新意图设置中，LINGUIST大大超过了最先进的方法（反向翻译和示例外推），显示出目标意图的绝对改善，IC回忆为+1.9分，ST F1分数为+2.5分。在mATIS++数据集的zero-shot跨语言设置中，LINGUIST在6种语言的ST F1评分上的表现超过了具有插槽对齐的机器翻译的强基线，绝对值为+4.14分，同时匹配IC的性能。最后，我们验证了我们的结果在内部大规模的多语言数据集的会话代理IC+ST，并显示出显着的改善基线，使用回译，释义和插槽目录回复。据我们所知，我们是第一个演示大规模seq2seq模型的指令微调，以控制多语言意图和插槽标记数据生成的输出。
2022-09-20 cs.AI cs.CL cs.LG
Enhancing Zero-Shot Crypto Sentiment with Fine-tuned Language Model and Prompt Engineering
Gwangju Institute of Science and Technology（光州科学技术院）；Islamic University of Technology（伊斯兰科技大学）；SR University（SR大学）
本文研究大型语言模型的监督与指令微调技术以提升加密货币情感分析，发现微调使零样本性能平均提升40%，且简短指令比长复杂指令能带来更高的模型准确率。
2023-10-20 cs.CL
From Zero to Hero: Examining the Power of Symbolic Tasks in Instruction Tuning
Sea AI Lab（Sea人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；National University of Singapore（新加坡国立大学）
本文提出在指令微调中引入可无限生成的符号任务（以SQL执行为例），在零样本表格推理上以3B模型超越GPT-3和ChatGPT，并在BBH与MMLU上验证了不损害通用性。
2023-04-17 cs.AI cs.CL
A Study of Large Language Models for Patient Information Extraction: Model Architecture, Fine-Tuning Strategy, and Multi-task Instruction Tuning
University of Florida（佛罗里达大学）；Selfii
本研究围绕患者信息抽取任务，考察不同架构大语言模型、参数高效微调算法及多任务指令微调的效果，通过多数据集基准测试验证相关方法的抽取性能与泛化能力。
2025-09-05 cs.AI cs.CL
Harnessing the Zero-Shot Power of Instruction-Tuned Large Language Model in End-to-End Speech Recognition
Waseda University（早稻田大学）
本文提出在CTC与注意力联合端到端ASR中引入指令微调LLM作为解码器前端，利用其零样本语法纠错表示融合声学与语言信息，使主要基准词错误率相对降低约13%。
2025-01-07 cs.CL cs.SD eess.AS
Generation-driven Contrastive Self-training for Zero-shot Text Classification with Instruction-following LLM
Carnegie Mellon University（卡内基梅隆大学）
针对大语言模型用于零样本文本分类时算力成本高的问题，提出GenCo方法，借助LLM的生成能力从两方面辅助小模型自训练，在有限领域数据下性能超越此前最优方法及人工提示的Alpaca-7B。
2024-04-15 cs.AI cs.CL
PPFedIT: Towards Privacy-Preserving Federated Instruction Tuning with Few-shot Local Examples
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Lab（鹏城实验室）；Meta AI；Monash University（莫纳什大学）；Kuaishou（快手）
针对联邦指令调优中数据稀缺、隐私易泄露的问题，提出含合成数据生成、参数隔离训练、本地聚合共享的FewFedPIT算法，在三个开源数据集上验证了其提升隐私保护与少样本性能的效果。
2026-10-06 cs.AI cs.CR
Instruction Tuning for Few-Shot Aspect-Based Sentiment Analysis
AWS AI Labs（AWS人工智能实验室）；University of Arizona（亚利桑那大学）
本研究针对少样本场景下的基于方面的情感分析任务，提出基于指令提示的T5多任务微调统一框架，覆盖全部子任务与四元组预测，在多个基准上实现F1绝对提升8.29。
2023-06-11 cs.CL
Diffusion-ES: Gradient-free Planning with Diffusion for Autonomous Driving and Zero-Shot Instruction Following
Carnegie Mellon University（卡内基梅隆大学）
Diffusion-ES将无梯度进化搜索与扩散模型去噪结合，优化黑盒非可微目标，在自动驾驶基准nuPlan上达到最先进性能，并能通过少样本LLM提示优化语言奖励，实现零样本指令跟随和复杂行为生成。
2024-07-16 cs.AI cs.CL cs.LG
Revisiting Instruction Fine-tuned Model Evaluation to Guide Industrial Applications
Illuin Technology（伊鲁因科技）；CentraleSupélec（巴黎中央理工-高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）；Equall
该研究针对指令微调范式带来的新评估需求，验证了基于大语言模型的评估指标的适配性，量化了工业场景下任务专项化策略的权衡，为实际IFT模型部署提供了可行参考。
2023-10-21 cs.AI cs.CL cs.LG
