ADAPT：为预算受限的指令微调学习任务混合
ADAPT: Learning Task Mixtures for Budget-Constrained Instruction Tuning
AI总结：
ADAPT通过学习任务采样比例优化预算受限的指令微调，提升下游任务性能并更高效地分配训练资源。
摘要：
我们提出ADAPT，一种元学习算法，该算法在显式token预算下学习任务采样比例，用于多任务指令微调。与手动固定任务权重不同，ADAPT维护任务上的连续分布，并通过平滑的最坏情况验证目标的元梯度更新该分布，诱导出一种适应性课程，使更多token分配给有用的任务，同时避免崩溃。我们将在三个约10亿参数的开放权重LLM（Gemma-3-1B、LLaMA-3.2-1B、Qwen-0.6B）上实例化ADAPT，训练于20种自然指令任务类型，在1%、5%和10%的可用监督token预算下进行训练，并与强监督微调基线进行比较，基线使用均匀混合和大小比例混合。我们在11个跨领域基准测试中进行评估，涵盖推理、阅读理解、代码生成和指令遵循。我们发现，ADAPT在平均下游性能上与最佳静态混合相匹配或略优于其，同时使用更少的有效训练token，并将预算重新分配给更难、与基准对齐的任务。
英文摘要：
We propose ADAPT, a meta-learning algorithm that \emph{learns} task sampling proportions under an explicit token budget for multi-task instruction tuning. Instead of fixing task weights by hand, \adapt{} maintains a continuous distribution over tasks and updates it via meta-gradients of a smooth worst-case validation objective, inducing an adaptive curriculum that allocates more tokens to useful tasks while avoiding collapse. We instantiate ADAPT on three $\sim$1B-parameter open-weight LLMs (Gemma-3-1B, LLaMA-3.2-1B, Qwen-0.6B), training on 20 Natural Instructions task types under budgets of $1\%$, $5\%$, and $10\%$ of the available supervised tokens, and compare against strong supervised fine-tuning baselines with uniform and size-proportional mixing. We conduct evaluations on 11 out-of-domain benchmarks spanning reasoning, reading comprehension, code generation, and instruction following, we find that ADAPT matches or slightly improves average downstream performance relative to the best static mixture, while using fewer effective training tokens and reallocating budget toward harder, benchmark-aligned tasks.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
