迈向零样本指令遵循
Toward Zero-Shot Instruction Following
AI总结：
该研究提出零样本指令遵循这一更具现实性的零样本跨任务泛化设置，通过关键句自动提取与排序目标两种策略，在Super-NaturalInstructions基准上实现了最优性能。
摘要：
本研究为零样本跨任务泛化提出了一个更具挑战性也更贴近现实的设置：零样本指令遵循，该设定假设存在段落式的任务定义，但没有任何示例。为了更好地从任务定义中学习任务监督信号，我们提出两种策略：一是自动找出定义中的关键句子；二是引入排序目标，当定义中的关键部分被高亮时，强制模型以更高概率生成正确输出。两种策略的共同作用在Super-NaturalInstructions基准上取得了当前最优性能。我们的代码已在GitHub上公开。
英文摘要：
This work proposes a challenging yet more realistic setting for zero-shot cross-task generalization: zero-shot instruction following, presuming the existence of a paragraph-style task definition while no demonstrations exist. To better learn the task supervision from the definition, we propose two strategies: first, to automatically find out the critical sentences in the definition; second, a ranking objective to force the model to generate the gold outputs with higher probabilities when those critical parts are highlighted in the definition. The joint efforts of the two strategies yield state-of-the-art performance on the Super-NaturalInstructions. Our code is available on GitHub.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
