ExpBERT：用自然语言表示的表示工程
ExpBERT: Representation Engineering with Natural Language Explanations
摘要：
假设我们想指定归纳偏差，即已婚夫妇通常会去度蜜月，以便从文本中提取配偶对。在本文中，我们允许模型开发人员将这些类型的归纳偏差指定为自然语言解释。我们使用BERT在MultiNLI上进行微调，以“解释”这些关于输入句子的解释，产生输入的解释指导表示。在三个关系抽取任务中，我们的方法ExpBERT匹配BERT基线，但标记数据少3- 20倍，并在基线上提高3- 10个F1点，具有相同数量的标记数据。
英文摘要：
Suppose we want to specify the inductive bias that married couples typically go on honeymoons for the task of extracting pairs of spouses from text. In this paper, we allow model developers to specify these types of inductive biases as natural language explanations. We use BERT fine-tuned on MultiNLI to ``interpret'' these explanations with respect to the input sentence, producing explanation-guided representations of the input. Across three relation extraction tasks, our method, ExpBERT, matches a BERT baseline but with 3--20x less labeled data and improves on the baseline by 3--10 F1 points with the same amount of labeled data.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
