Bipol：一种具有可解释性的新型多轴偏见评估指标，用于自然语言处理
Bipol: A Novel Multi-Axes Bias Evaluation Metric with Explainability for NLP
AI总结：
本文提出具有可解释性的多轴偏见评估指标 bipol，结合语料库级模型分类与句子级敏感词频两步评估，并公开近 200 万标注样本的偏见检测训练数据集及代码。
摘要：
我们引入了 bipol，一种具有可解释性的新指标，用于估计文本数据中的社会偏见。有害偏见普遍存在于许多用于训练机器学习（ML）模型的在线数据源中。为了应对这一挑战，我们创建了一种包含两步过程的新指标：基于模型分类的语料库级评估和基于（敏感）词频（TF）的句子级评估。在使用 SotA 架构创建沿多个轴检测偏见的新模型后，我们评估了两个流行的 NLP 数据集（COPA 和 SQUAD）。作为额外贡献，我们创建了一个大型数据集（包含近 200 万个标注样本），用于训练偏见检测模型，并将其公开发布。我们还公开了我们的代码。
英文摘要：
We introduce bipol, a new metric with explainability, for estimating social bias in text data. Harmful bias is prevalent in many online sources of data that are used for training machine learning (ML) models. In a step to address this challenge we create a novel metric that involves a two-step process: corpus-level evaluation based on model classification and sentence-level evaluation based on (sensitive) term frequency (TF). After creating new models to detect bias along multiple axes using SotA architectures, we evaluate two popular NLP datasets (COPA and SQUAD). As additional contribution, we created a large dataset (with almost 2 million labelled samples) for training models in bias detection and make it publicly available. We also make public our codes.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
