面向隐私政策问答的检索增强数据增强
Retrieval Enhanced Data Augmentation for Question Answering on Privacy Policies
AI总结：
针对隐私政策 QA 标注数据严重不平衡问题，提出集成检索器结合多预训练语言模型与降噪过滤的数据增强框架，在 PrivacyQA 上将 F1 提升 10% 至 50%，达到新最优。
摘要：
此前关于隐私政策的研究将问答（QA）任务界定为：在给定用户查询的情况下，从政策文档中识别最相关的文本片段或句子列表。现有带标注数据集存在严重不平衡（仅有少数相关片段），限制了该领域的 QA 性能。本文提出一种基于集成检索器模型的数据增强框架，该框架从未标注的政策文档中捕获相关文本片段，并扩充训练集中的正样本。此外，为提升增强数据的多样性和质量，我们利用多个预训练语言模型（LM），并将其与降噪过滤模型级联。在 PrivacyQA 基准上使用我们的增强数据后，我们将现有基线大幅提升（F1 提升 10%），取得 50% 的全新最优 F1 分数。消融实验进一步揭示了本方法有效性的内在原因。
英文摘要：
Prior studies in privacy policies frame the question answering (QA) task as identifying the most relevant text segment or a list of sentences from a policy document given a user query. Existing labeled datasets are heavily imbalanced (only a few relevant segments), limiting the QA performance in this domain. In this paper, we develop a data augmentation framework based on ensembling retriever models that captures the relevant text segments from unlabeled policy documents and expand the positive examples in the training set. In addition, to improve the diversity and quality of the augmented data, we leverage multiple pre-trained language models (LMs) and cascade them with noise reduction filter models. Using our augmented data on the PrivacyQA benchmark, we elevate the existing baseline by a large margin (10\% F1) and achieve a new state-of-the-art F1 score of 50\%. Our ablation studies provide further insights into the effectiveness of our approach.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
