arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2408.14774cs.LGcs.CL
收藏

Instruct-SkillMix:一种用于 LLM 指令微调的强大流水线

Instruct-SkillMix: A Powerful Pipeline for LLM Instruction Tuning

Princeton University(普林斯顿大学);Meta

Simran Kaur, Simon Park, Anirudh Goyal, Sanjeev Arora

AI总结:

本文提出 Instruct-SkillMix 流水线,通过 LLM 提取技能并随机组合生成多样化 SFT 数据,以低成本显著提升指令跟随性能。

摘要:

我们提出了 Instruct-SkillMix,这是一种自动化方法,用于为指令跟随创建多样化、高质量的 SFT 数据。该流水线包含两个阶段,每个阶段都利用现有强大的 LLM:(1)技能提取:通过直接提示模型,使用 LLM 提取指令跟随的核心“技能”。这受到 Didolkar 等人(2024)的“LLM 元认知”启发;(2)数据生成:使用强大的 LLM 生成(指令,响应)数据,这些数据展示随机选择的一对技能。在这里,使用随机技能组合促进了多样性和难度。创建该数据集的估计成本低于 600 美元。在由 Instruct-SkillMix 生成的数据上进行普通 SFT(即不使用 PPO、DPO 或 RL 方法)可在 AlpacaEval 2.0、MT-Bench 和 WildBench 等指令跟随基准上带来显著提升。仅使用 4K 个示例,LLaMA-3-8B-Base 在 AlpacaEval 2.0 上实现了 42.76% 的长度控制胜率,这一水平与 Claude 3 Opus 和 LLaMA-3.1-405B-Instruct 等前沿模型相似。消融研究还提出了可能的原因,解释了为什么通过朴素众包创建开放式指令微调数据集被证明是困难的。在我们的数据集中,加入 20% 的低质量答案(“shirkers”)会导致性能明显下降。Instruct-SkillMix 流水线似乎灵活且可适应其他设置。

英文摘要:

We introduce Instruct-SkillMix, an automated approach for creating diverse, high quality SFT data for instruction-following. The pipeline involves two stages, each leveraging an existing powerful LLM: (1) Skill extraction: uses the LLM to extract core "skills" for instruction-following by directly prompting the model. This is inspired by ``LLM metacognition'' of Didolkar et al. (2024); (2) Data generation: uses the powerful LLM to generate (instruction, response) data that exhibit a randomly chosen pair of these skills. Here, the use of random skill combinations promotes diversity and difficulty. The estimated cost of creating the dataset is under $600. Vanilla SFT (i.e., no PPO, DPO, or RL methods) on data generated from Instruct-SkillMix leads to strong gains on instruction following benchmarks such as AlpacaEval 2.0, MT-Bench, and WildBench. With just 4K examples, LLaMA-3-8B-Base achieves 42.76% length-controlled win rate on AlpacaEval 2.0, a level similar to frontier models like Claude 3 Opus and LLaMA-3.1-405B-Instruct. Ablation studies also suggest plausible reasons for why creating open instruction-tuning datasets via naive crowd-sourcing has proved difficult. In our dataset, adding 20% low quality answers (``shirkers'') causes a noticeable degradation in performance. The Instruct-SkillMix pipeline seems flexible and adaptable to other settings.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑