任务特异性分数：衡量指令在监督中的实际重要性
Task--Specificity Score: Measuring How Much Instructions Really Matter for Supervision
AI总结：
任务特异性分数用于衡量指令在监督学习中的重要性，通过对比真实指令与替代指令来提升模型性能。
摘要：
指令微调现在是训练和适应大型语言模型的默认方法，但许多指令-输入-输出对仅弱化地指定：对于给定的输入，相同的输出可以在几种替代指令下仍然合理。这提出了一个简单的问题：指令是否唯一决定目标输出？我们提出了任务特异性分数（TSS）来量化指令在预测其输出方面的程度，通过将真正的指令与相同输入的合理替代方案进行对比。我们进一步引入了TSS++，它使用硬替代方案和一个小质量项来缓解容易的负面影响。在三个指令数据集（Alpaca、Dolly-15k、NI-20）和三个开源大语言模型（Gemma、Llama、Qwen）上，我们展示了选择任务特定的例子在紧缩的token预算下提高了下游性能，并补充了基于质量的过滤器，如perplexity和IFD。
英文摘要：
Instruction tuning is now the default way to train and adapt large language models, but many instruction--input--output pairs are only weakly specified: for a given input, the same output can remain plausible under several alternative instructions. This raises a simple question: \emph{does the instruction uniquely determine the target output?} We propose the \textbf{Task--Specificity Score (TSS)} to quantify how much an instruction matters for predicting its output, by contrasting the true instruction against plausible alternatives for the same input. We further introduce \textbf{TSS++}, which uses hard alternatives and a small quality term to mitigate easy-negative effects. Across three instruction datasets (\textsc{Alpaca}, \textsc{Dolly-15k}, \textsc{NI-20}) and three open LLMs (Gemma, Llama, Qwen), we show that selecting task-specific examples improves downstream performance under tight token budgets and complements quality-based filters such as perplexity and IFD.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
