迭代反事实数据增强
Iterative Counterfactual Data Augmentation
AI总结：
本文提出迭代反事实数据增强（ICDA），通过高噪声干预迭代收敛至低噪声状态，减少虚假信号信息，增强目标信号与标签的互信息，使模型生成的文档理由更符合人类标注，实验涵盖六个人类数据集和两个大语言模型数据集。
摘要：
反事实数据增强（CDA）是一种通过生成具有通常相反偏见的补充数据集来控制训练数据中信息或偏见的方法。先前的工作通常依赖于手工规则或算法性CDA方法，这些方法可能在增强数据集中留下不需要的信息。在这项工作中，我们展示了迭代CDA（ICDA）在初始高噪声干预下可以收敛到噪声显著降低的状态。我们的ICDA过程生成一个数据集，其中训练数据集中的一个目标信号与对应标签保持高互信息，而虚假信号的信息被减少。我们表明，在增强数据集上训练产生的文档理由与人类标注更好地对齐。我们的实验包括六个人类生成的数据集和两个大型语言模型生成的数据集。
英文摘要：
Counterfactual data augmentation (CDA) is a method for controlling information or biases in training datasets by generating a complementary dataset with typically opposing biases. Prior work often either relies on hand-crafted rules or algorithmic CDA methods which can leave unwanted information in the augmented dataset. In this work, we show iterative CDA (ICDA) with initial, high-noise interventions can converge to a state with significantly lower noise. Our ICDA procedure produces a dataset where one target signal in the training dataset maintains high mutual information with a corresponding label and the information of spurious signals are reduced. We show training on the augmented datasets produces rationales on documents that better align with human annotation. Our experiments include six human produced datasets and two large-language model generated datasets.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
