Multilingual Twitter Corpus and Baselines for Evaluating Demographic Bias in Hate Speech Recognition
Adobe Research（奥多比研究院）
现有的文献分类模型的公平性评价研究主要是使用合成的单语数据，没有地面真理的作者人口统计属性。在这项工作中，我们组装并发布了一个多语言的Twitter语料库的仇恨言论检测的任务推断四个作者的人口统计因素：年龄，国家，性别和种族/民族。语料库涵盖五种语言：英语、意大利语、波兰语、葡萄牙语和西班牙语。我们使用众包平台评估推断的人口统计标签，图8。为了检验可能导致偏见的因素，我们对英语语料库进行了人口预测性的实证分析。我们测量四个流行的文档分类器的性能，并评估的公平性和偏见的基线分类器上的作者级的人口统计属性。
2020-03-03 cs.CL
Reducing Target Group Bias in Hate Speech Detectors
Meta AI Research（Meta AI 研究院）
在线论坛上攻击性和仇恨性内容的普遍存在需要自动解决方案，以便在目标群体中有效地检测此类内容。在本文中，我们表明，在大型公开数据集上训练的文本分类模型尽管具有很高的整体性能，但在几个受保护的组上可能会显着表现不佳。在\citet{vidgen2020learning}数据集上，我们发现在注释不足的黑人女性目标群体上的准确性低37\%，在移民中低12\%，其中仇恨言论涉及独特的风格。为了解决这个问题，我们建议执行令牌级的仇恨意义消歧，并利用令牌的仇恨意义表示检测，建模更一般的信号。在两个公开的数据集上，我们观察到目标群体之间的模型准确性方差下降了至少30%，平均目标群体性能提高了4%，最差情况下的性能提高了13%。
2021-12-07 cs.CL
Where Do Self-Supervised Speech Models Become Unfair?
MILES Team, LAMSADE, Université Paris Dauphine-PSL（MILES团队，LAMSADE，巴黎法兰西-里昂大学）；GETALP Team, LIG, Université Grenoble Alpes（GETALP团队，LIG，格勒诺布尔阿尔卑斯大学）；Queensland University of Technology（昆士兰理工大学）
研究通过层间公平性分析，发现自监督语音编码器模型在语音识别和说话人识别任务中存在对某些说话群体的偏见，且偏见在预训练阶段形成，难以消除。
2026-04-20 cs.CL
Everyone deserves their voice to be heard: Analyzing Predictive Gender Bias in ASR Models Applied to Dutch Speech Data
Eindhoven University of Technology（埃因霍温理工大学）；Netherlands Organisation for Applied Scientific Research (TNO)（荷兰应用科学研究组织（TNO））
本研究分析了 Whisper 模型在荷兰语音数据上的预测性别偏见，发现不同性别群体在所有模型规模下均存在显著的词错误率差异，并探讨了其对自动字幕等服务公平性的影响。
2024-11-14 cs.CL
HateDebias: On the Diversity and Variability of Hate Speech Debiasing
College of Computer, National University of Defense Technology（计算机学院，国防科技大学）；College of Science, Shantou University（科学学院，汕大）；Mohamed bin Zayed University of Artificial Intelligence（人工智能 Mohamed bin Zayed 大学）；School of Information Science and Technology, Guangdong University of Foreign Studies（信息科学与技术学院，广东外语外贸大学）；School of Computer Science, Guangdong University of Technology（计算机科学学院，广东工业大学）
针对现有仇恨言论数据集未考虑偏见多样性与变异性的问题，提出基准HateDebias及整合记忆重放与偏见信息正则化的持续去偏框架，提升模型在动态场景下的公平性与实用性。
2025-08-26 cs.CL
How to Split: the Effect of Word Segmentation on Gender Bias in Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）；University of Trento（特伦托大学）
在认识到性别偏见是影响当前翻译技术的一个主要问题后，研究人员主要试图通过在数据方面开展工作来减轻性别偏见。然而，算法方面是否会加剧不必要的输出仍然是迄今为止调查不足。在这项工作中，我们把自动翻译中的性别偏见的分析，到一个看似中立，但关键的组成部分：分词。分割方法会影响翻译性别的能力吗？某些分割方法是否会惩罚女性语言标记的表现？我们解决这些问题，通过比较现有的5个分割策略的目标端的语音翻译系统。我们对两种语言对（英语-意大利语/法语）的研究结果表明，最先进的子词分割（BPE）是以更高的性别偏见为代价的。鉴于这一发现，我们提出了一种组合方法，该方法保留了BPE的整体翻译质量，同时利用基于字符的分割的更高能力来正确翻译性别。
2021-05-28 cs.CL
PTC-Bias: Phoneme-Level Temporal Competition for Bias Retrieval and Post-Decoding Correction in Speech LLMs
Shanghai University（上海大学）
提出PTC-Bias，通过音素级时间竞争的两阶段框架（检索与解码后校正），有效利用大规模偏置列表，在LibriSpeech上显著降低B-WER且不损害U-WER。
2026-09-25 cs.CL cs.SD
Counterfactually Augmented Data and Unintended Bias: The Case of Sexism and Hate Speech Detection
GESIS – Leibniz Institute for the Social Sciences（GESIS—莱布尼茨社会科学研究所）；RWTH Aachen University（亚琛工业大学）；University of Copenhagen（哥本哈根大学）
反事实增强数据（CAD）旨在提高域外泛化能力，这是模型鲁棒性的一个指标。这种改进被认为是促进了结构的核心特征，而不是碰巧与之相关的虚假工件。然而，过度依赖核心特征可能会导致意外的模型偏差。特别是，结构驱动的CAD -核心特征的扰动-可能会导致模型忽略使用核心特征的上下文。在这里，我们在具有挑战性的数据上测试性别歧视和仇恨言论检测模型：身份和性别术语的非仇恨和非性别歧视使用。在这些困难的情况下，在CAD上训练的模型，特别是构造驱动的CAD，比在原始的未扰动数据上训练的模型显示出更高的误报率。使用一组不同的CAD --结构驱动的和结构不可知的--减少了这种意外的偏差。
2022-05-09 cs.CL
Under the Morphosyntactic Lens: A Multifaceted Evaluation of Gender Bias in Speech Translation
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
性别偏见在很大程度上被认为是一种影响语言技术的问题现象，最近的研究强调，它可能在不同的语言中表现得不同。然而，目前大多数的评价实践都是在综合条件下，对一组狭窄的职业名词进行词级评价。这种协议忽略了语法性别语言的关键特征，其特征是性别协议的形态句法链，标记在各种词汇和词性（POS）上。为了克服这一限制，我们丰富了自然的、性别敏感的Must-SHE语料库（Bentivogli等人，2020）与两个新的语言注释层（POS和协议链），并探讨在何种程度上不同的词汇类别和协议现象的影响性别倾斜。专注于语音翻译，我们对三种语言方向（英语-法语/意大利语/西班牙语）进行了多方面的评估，模型在不同的数据量和不同的分词技术上进行了训练。通过揭示模型行为，性别偏见及其在几个粒度级别上的检测，我们的研究结果强调了专门分析的价值，而不仅仅是汇总的整体结果。
2022-03-18 cs.CL
Personalisation or Prejudice? Addressing Geographic Bias in Hate Speech Detection using Debias Tuning in Large Language Models
CSIC（西班牙国家研究委员会）
本文研究大语言模型在仇恨言论检测中的地理偏见问题，发现国家或语言个性化上下文会显著影响模型判断，并提出通过惩罚上下文不一致分类的去偏调优方法，有效提升模型在有无个性化上下文场景下的性能。
2025-05-04 cs.CL
Reducing Unintended Identity Bias in Russian Hate Speech Detection
VK Lab（VK实验室）
毒性已成为许多在线社区的严重问题，并在包括俄语在内的许多语言中不断增长。仇恨言论创造了一种恐吓、歧视的环境，甚至可能煽动一些现实世界的暴力。一段时间以来，研究人员和社交平台都一直专注于开发模型来检测在线交流中的毒性。这些模型的一个共同问题是对一些词（例如女人，黑人，犹太人）的偏见，这些词不是有毒的，但由于模型的警告，它们会成为分类器的触发器。在本文中，我们描述了我们对俄罗斯的仇恨言论进行分类的努力，并提出了减少意外偏见的简单技术，例如使用与受保护身份相关的术语和单词作为上下文，并将单词丢弃应用于这些单词的语言模型生成训练数据。
2020-10-22 cs.AI cs.CL
Exploring Hate Speech Detection with HateXplain and BERT
Carnegie Mellon University（卡内基梅隆大学）
仇恨言论以多种形式针对社区进行贬损性评论，并使人类在社会进步中后退一步。HateXplain是最近发布的第一个数据集，它以基本原理的形式使用注释的跨度，以及语音分类类别和目标社区，使分类更人性化，可解释，准确和更少偏见。我们调整BERT以理由和类别预测的形式执行此任务，并比较我们在准确性、可解释性和偏差等不同指标上的表现。我们的创新有三个方面。首先，我们实验了具有不同重要性值的合并的基本类丢失。其次，我们广泛地实验了基本原理的地面真理注意力值。通过引入保守和宽松的注意力，我们比较了模型在HateXplain上的性能，并验证了我们的假设。第三，为了改善我们模型中的非预期偏见，我们使用了目标社区词的掩蔽，并注意到偏见和可解释性指标的改善。总的来说，我们成功地实现了模型的可扩展性，偏差消除和几个增量改进的原始BERT实现。
2022-08-09 cs.CL
Fast and Robust Unsupervised Contextual Biasing for Speech Recognition
Salesforce.com, Inc.（赛富时公司）
自动语音识别（ASR）系统正在成为一种普遍存在的技术。虽然它的准确性在某些设置下正在缩小与人类水平的差距，但可以进一步改进的一个领域是纳入用户特定的信息或上下文来使其预测产生偏差。一种常见的框架是从所提供的上下文迷你语料库动态地构建小语言模型，并且在解码过程期间用主语言模型内插其得分。在这里，我们提出了一种替代方法，不需要显式的上下文语言模型。相反，我们从训练语料库中获得系统词汇表中每个单词的偏差分数。该方法的独特之处在于：1）它不需要上下文或训练语料库的元数据或类标签注释。2)偏差分数与单词的对数概率成比例，因此它不仅会使所提供的上下文发生偏差，而且对不相关的上下文（例如，用户错误指定或难以量化严格范围的情况）也是鲁棒的。3)在训练阶段期间预先确定整个词汇表的偏差分数，从而消除了在推理期间计算上昂贵的语言模型构造。当相关上下文可用时，我们在识别准确性方面表现出显着的改进。此外，我们还证明了所提出的方法具有较高的容忍度，在不相关的上下文存在的假触发错误。
2020-05-04 cs.CL
Evaluating Simple Debiasing Techniques in RoBERTa-based Hate Speech Detection Models
本文针对基于RoBERTa的仇恨言论检测模型中对非裔美国人英语方言的误分类偏见，应用并评估了简单去偏技术，发现其效果高度依赖训练数据集构建方法，妥善考虑表征偏差可减少方言子群间的检测差异。
2025-01-26 cs.CL
Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models
National Taiwan University（台湾大学）
本研究针对语音大语言模型的社会偏见问题，推出专用评估数据集Spoken Stereoset，通过测试模型对不同人口群体语音的回应识别偏见，发现多数模型偏见极低但部分仍有轻微刻板或反刻板倾向。
2024-08-14 cs.CL eess.AS
Evaluating Bias in Phoneme-Based Automatic Speech Recognition Systems: An Analysis of IPA Transcription Models
University of Utah（犹他大学）
研究评估WhisperIPA和ZIPA两个开源IPA转录ASR系统在不同口音和语言上的性能，通过标准音素错误率和软音素错误率分析，发现模型在性别、口音、种族和年龄等群体间存在持续性能差异。
2026-09-18 cs.CL
Mitigating Bias in Conversations: A Hate Speech Classifier and Debiaser with Prompts
Vector Institute of Artificial Intelligence（向量人工智能研究所）；Toronto Metropolitan University（多伦多都会大学）
针对对话中仇恨言论的偏见问题，提出含分类检测与提示式去偏的两步方法，经基准数据集验证可降低负面性，助力构建更包容公平的网络交流环境。
2023-07-14 cs.AI cs.CL
NaturalFlow: Reducing Disruptive Pauses for Natural Speech Flow in Simultaneous Speech-to-Speech Translation
IPAI and ECE, Seoul National University（首尔大学IPAI与ECE）；Department of AI, University of Seoul（首尔市立大学人工智能系）
提出一个流畅性感知优化框架，通过利用模型内部信号（如语言多样性和语音时长的时间变异性）最小化块间静音，在同步翻译的低延迟和连续翻译的自然流畅之间找到平衡点。
2026-06-12 cs.AI cs.CL cs.SD
Reducing Confusion in Active Learning for Part-Of-Speech Tagging
Carnegie Mellon University（卡内基梅隆大学）；George Mason University（乔治梅森大学）
主动学习（AL）使用数据选择算法来选择有用的训练样本以最小化注释成本。现在，这是构建低资源句法分析器（如词性（POS）标记器）的重要工具。现有的人工智能算法通常是基于选择不确定但有代表性的训练实例的原则设计的，其中注释这些实例可以减少大量的错误。然而，在对六种类型不同的语言（德语、瑞典语、加利西亚语、北萨米语、波斯语和乌克兰语）进行的实证研究中，我们发现了一个令人惊讶的结果：即使在我们知道预测的真正不确定性的神谕场景中，这些当前的预测也远非最佳。基于这一分析，我们提出的问题AL选择实例，最大限度地减少特定的输出标签对之间的混乱。对上述语言的大量实验表明，我们提出的AL策略优于其他AL策略的显着保证金。我们还提供了辅助结果，证明了正确校准模型的重要性，我们通过交叉视图训练来确保这一点，并分析了我们提出的策略如何选择更接近Oracle数据分布的示例。
2020-11-21 cs.CL
From Languages to Geographies: Towards Evaluating Cultural Bias in Hate Speech Datasets
University of Oxford（牛津大学）；World Bank（世界银行）；New York University（纽约大学）；Massachusetts Institute of Technology（麻省理工学院）；Meedan；Bocconi University（博科尼大学）
该研究针对仇恨语音数据集按语言构建可能掩盖文化偏差的问题，通过语言和地理双文化代理评估偏差，证实英语偏差逐年下降，同时发现多语言数据集存在显著地理文化偏差，并为未来数据集构建提出建议。
2025-05-19 cs.CL
Exploring Gender Bias in Alzheimer's Disease Detection: Insights from Mandarin and Greek Speech Perception
University of Science and Technology of China（科学技术大学）；University of Edinburgh（爱丁堡大学）；University of Minnesota（明尼苏达大学）；Jiangsu Normal University（江苏师范大学）
本研究通过16名中文听众对中希语音的感知实验，揭示了阿尔茨海默病语音感知中的性别偏见，发现男性语音更易被误判为AD，强调开发检测模型时须解决性别偏见。
2025-07-16 cs.CL cs.HC cs.SD
Don't speak too fast: The impact of data bias on self-supervised speech models
National Taiwan University（台湾大学）
自监督语音模型（S3M）已被证明在许多语音下游任务中是成功的，如ASR。然而，预训练数据如何影响S3M的下游行为仍然是一个未探索的问题。在本文中，我们研究了预训练数据如何影响S3M，通过针对不同语音因素（包括性别，内容和韵律）的偏见数据集上的预训练模型，并在SUPERB Benchmark中选择的下游任务上评估这些预训练的S3M。我们的实验表明，S3Ms对性别偏见具有容忍性。此外，我们发现，语音的内容对S3Ms在下游任务中的性能影响不大，但S3Ms确实表现出对较慢的语音速率的偏好。
2022-04-26 cs.CL cs.SD eess.AS
Efficient Segmental Cascades for Speech Recognition
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
区分性分段模型提供了一种将灵活的特征函数结合到语音识别中的方法。然而，由于需要考虑大量可能的片段，它们的吸引力受到了计算要求的限制。分段模型的多通道级联在不同通道中引入增加复杂性的特征，其中在每个通道中，分段模型重新核化由先前（更简单）分段模型产生的晶格。在本文中，我们探讨了几种方法，使分段级联有效和实用：减少功能集的第一遍，帧二次采样，和各种修剪方法。在语音识别的实验中，我们发现，结合这些技术，可以保持竞争力的表现，同时大大减少解码，修剪和训练时间。
2016-08-02 cs.CL
Quantifying Bias in Automatic Speech Recognition
Delft University of Technology（代尔夫特理工大学）；Netherlands Cancer Institute（荷兰癌症研究所）；University of Amsterdam（阿姆斯特丹大学）
自动语音识别（ASR）系统承诺提供对人类语音的客观解释。实践和最近的证据表明，最先进的（SotA）ASR与语音中的大变化作斗争，性别年龄语言障碍种族和口音许多因素会导致ASR系统的偏差。我们的首要目标是发现ASR系统中的偏见，以积极主动地减轻ASR中的偏见。本文是实现这一目标的第一步，系统地量化了荷兰SotA ASR系统对性别，年龄，地区口音和非母语口音的偏见。单词错误率进行比较，并进行深入的音素级错误分析，以了解偏见发生的地方。我们主要关注由于数据集中的清晰度差异而导致的偏倚。根据我们的研究结果，我们建议偏见缓解策略ASR的发展。
2021-04-01 cs.CL cs.SD eess.AS
Proactively Reducing the Hate Intensity of Online Posts via Hate Speech Normalization
IIIT-Delhi（德里英迪拉·甘地信息技术学院）；Northeastern University（东北大学）
遏制网络仇恨言论已成为当务之急;然而，出于地缘政治和文化原因，全面禁止此类活动是不可行的。为了降低问题的严重性，在本文中，我们介绍了一种新的任务，仇恨言论规范化，旨在削弱仇恨的强度所表现出的在线帖子。仇恨言论正常化的目的不是支持仇恨，而是为用户提供一个迈向非仇恨的垫脚石，同时给在线平台更多的时间来监测用户行为的任何改善。为此，我们手动策划了一个平行的语料库-仇恨文本及其规范化的对应文本（规范化的文本不那么仇恨，更良性）。我们介绍NACL，一个简单而有效的仇恨言论规范化模型，分三个阶段操作-首先，它测量原始样本的仇恨强度;第二，它确定其中的仇恨跨度;最后，它通过解释仇恨跨度来降低仇恨强度。我们进行了广泛的实验，通过三方面的评估（内在的，外在的，和人体研究）来衡量NACL的疗效。我们观察到NACL优于六个基线- NACL产生的强度预测的RMSE为0.1365，跨度识别的F1分数为0.622，以及标准化文本生成的BLEU和困惑度为82.27和80.05。我们进一步展示了NACL在其他平台（Reddit，Facebook，Gab）上的通用性。NACL的交互式原型放在一起的用户研究。此外，该工具正在Wipro AI的现实环境中部署，作为其解决在线平台上有害内容的使命的一部分。
2022-06-08 cs.CL
Visually Grounded Speech Models have a Mutual Exclusivity Bias
Stellenbosch University（斯坦陵布什大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；University of Groningen（格罗宁根大学）
本研究探讨了视觉基础语音模型在从自然图像和连续语音中学习时的互斥性偏差，发现该模型在用新词查询时倾向于选择新物体，且这种偏差在具有更多先验视觉知识的模型中更强，结果在不同初始化和损失函数下均稳健。
2024-03-20 cs.CL eess.AS
Systematic Offensive Stereotyping (SOS) Bias in Language Models
Fraunhofer Research Institute（弗劳恩霍夫研究所）；Weizenbaum Research Institute（魏茨鲍姆研究所）
本文提出衡量语言模型中系统性攻击性刻板印象（SOS）偏见的新指标，发现所有受检模型均存在该偏见，且去偏见方法效果因属性而异，该偏见主要影响仇恨言论检测的公平性而非性能。
2024-04-26 cs.CL
Intersectional Bias in Hate Speech and Abusive Language Datasets
University of California, Berkeley（加州大学伯克利分校）
算法被广泛应用于检测社交媒体中的仇恨言论和辱骂性语言。我们调查了用于训练这些算法的人工注释数据是否存在偏差。我们利用了一个公开的注释Twitter数据集（Founta et al. 2018），并对99，996条推文的种族，性别和党派识别维度进行了分类。结果显示，非裔美国人的推文被贴上辱骂标签的可能性高达3.7倍，而非裔美国人男性的推文被贴上仇恨标签的可能性高达77%。这些模式在统计学上是显著的和稳健的，即使当政党身份被添加为控制变量。这项研究提供了关于仇恨言论和辱骂性语言数据集中交叉偏见的第一个系统证据。
2020-05-28 cs.CL cs.SI
Gender Bias in Instruction-Guided Speech Synthesis Models
National Taiwan University（台湾大学）
本研究针对指令引导语音合成模型在解读职业相关提示词时的潜在性别偏见展开调查，发现模型对部分职业存在性别偏见倾向，且不同规模模型的偏见程度存在差异。
2025-02-08 cs.CL cs.LG eess.AS
Who Gets the Mic? Investigating Gender Bias in the Speaker Assignment of a Speech-LLM
Department of Linguistics（语言学系）；Department of Speech, Music, and Hearing（语音、音乐与听觉系）
本研究通过分析语音大语言模型Bark的说话人分配来探究性别偏见，构建职业和性别色彩词语两个数据集，发现Bark虽无系统性偏见但具有性别意识和一定倾向。
2025-08-19 cs.AI cs.CL
CLARITY: Contextual Linguistic Adaptation and Accent Retrieval for Dual-Bias Mitigation in Text-to-Speech Generation
CLARITY通过双信号优化缓解文本到语音生成中的双偏见问题，通过语境语言适应和检索增强口音提示提高口音准确性和公平性。
2026-02-17 cs.CL cs.SD
Identifying and Reducing Gender Bias in Word-Level Language Models
New York University（纽约大学）
许多文本语料库都表现出社会问题的偏见，这些偏见可以在基于这些数据训练的模型中传播或放大。例如，“doctor”与男性代词同时出现的频率高于与女性代词同时出现的频率。在这项研究中，我们（i）提出了一个衡量性别偏见的指标;（ii）衡量文本语料库和从在文本语料库上训练的递归神经网络语言模型生成的文本中的偏见;（iii）提出了语言模型的正则化损失项，该正则化损失项最小化编码器训练的嵌入到编码性别的嵌入子空间上的投影;（iv）最后，评估我们建议的方法在减少性别偏见方面的成效。我们发现这种正则化方法可以有效地将性别偏见减少到分配给损失项的最佳权重，超过该权重，模型会随着困惑度的增加而变得不稳定。我们在三个训练语料库-Penn Treebank，WikiText-2和CNN/Daily Mail-上复制了这个研究，得到了类似的结论。
2019-04-05 cs.CL
Reducing Gender Bias in Word-Level Language Models with a Gender-Equalizing Loss Function
New York University（纽约大学）
神经语言模型倾向于学习自然语言数据集，从而导致有偏见的文本生成。在这项研究中，我们提出了一个去偏置的方法的基础上的损失函数修改。我们引入了一个新的术语的损失函数，试图在输出中的男性和女性的话的概率相等。使用一系列的偏见评估指标，我们提供的经验证据表明，我们的方法成功地减轻性别偏见的语言模型，而不增加困惑。与现有的去偏置策略、数据增强和词嵌入去偏置方法相比，该方法在几个方面表现更好，特别是在减少职业词中的性别偏见方面。最后，我们介绍了数据增强和我们的方法的组合，并表明它在所有偏差评估指标上都优于现有策略。
2019-06-03 cs.CL
Evaluating and reducing the distance between synthetic and real speech distributions
Centre for Speech Technology Research, University of Edinburgh（爱丁堡大学语音技术研究中心）
本文通过话语级统计量和Wasserstein距离量化TTS合成语音与真实语音分布差异，并在生成时引入真实值以缩小分布距离，最佳系统实现10%的改进。
2023-05-25 cs.CL cs.LG cs.SD
Listen and Speak Fairly: A Study on Semantic Gender Bias in Speech Integrated Large Language Models
National Taiwan University（国立台湾大学）
本研究针对语音集成大语言模型可能放大训练数据性别偏见的问题，提出口语偏见评估工具包与数据集，在四类语义任务上开展评估，发现偏见程度因语言和评估方法而异，为构建更公平的相关系统提供参考。
2024-07-09 cs.CL cs.CY eess.AS
VIBE: Voice-Induced open-ended Bias Evaluation for Large Audio-Language Models via Real-World Speech
Graduate Institute of Communication Engineering, National Taiwan University, Taiwan（台湾大学通信工程研究所）；NVIDIA, Taiwan（台湾NVIDIA）；Artificial Intelligence Center of Research Excellence, National Taiwan University, Taiwan（台湾大学人工智能卓越研究中心）
VIBE通过真实世界语音的开放式任务评估大型音频-语言模型的生成偏见，揭示了性别线索比口音线索更易引发分布偏移，表明当前模型复现了社会刻板印象。
2026-07-07 cs.CL cs.SD eess.AS
Navigating Dialectal Bias and Ethical Complexities in Levantine Arabic Hate Speech Detection
Haverford College（哈弗福德学院）；Brown University（布朗大学）
本文针对黎凡特阿拉伯语仇恨言论检测中的方言偏见与伦理问题，分析现有数据集局限，倡导开发文化语境敏感的NLP工具，以实现更包容的检测方法。
2024-12-14 cs.AI cs.CL cs.CY
How poor is the stimulus? Evaluating hierarchical generalization in neural networks trained on child-directed speech
Boston University（波士顿大学）；New York University（纽约大学）；Yale University（耶鲁大学）；Princeton University（普林斯顿大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
该研究利用 CHILDES 训练无层级偏向的 LSTM 和 Transformer，发现其虽困惑度良好，却按线性而非层级规则泛化英语是非疑问句，说明仅靠文本和通用序列处理偏向不足以实现类人句法习得。
2023-06-06 cs.CL
From Seeing it to Experiencing it: Interactive Evaluation of Intersectional Voice Bias in Human-AI Speech Interaction
KTH Royal Institute of Technology（皇家理工学院）；University of Edinburgh（爱丁堡大学）
本文通过控制测试队列和交互研究设计，探讨了声音转换对信任和接受度的影响，揭示了不同口音和性别在语音处理中的交叉性偏见。
2026-03-19 cs.CL cs.HC
Do Bias Benchmarks Generalise? Evidence from Voice-based Evaluation of Gender Bias in SpeechLLMs
Department of Speech, Music and Hearing（语音、音乐与听觉系）
本文通过微调SpeechLLMs测试MCQA偏见基准的推广能力，发现其在不同任务间的泛化效果有限，并提出新的评估方法。
2026-02-01 cs.AI cs.CL cs.SD
Pre-trained Speech Processing Models Contain Human-Like Biases that Propagate to Speech Emotion Recognition
University of Washington（华盛顿大学）；NIST（美国国家标准与技术研究院）
本文提出 SpEAT 方法检测预训练语音模型中的类人偏见，发现 16 个模型中多数存在对残障、非裔、男性、非美国口音及年长群体的负向效价关联，并证明这些偏见会传播到下游语音情感识别任务。
2023-10-29 cs.CL cs.LG cs.SD
BEEP! Korean Corpus of Online News Comments for Toxic Speech Detection
Seoul National University（首尔大学）
网络平台上的有毒言论是匿名外衣下无法避免的社会问题。仇恨语音检测已经积极地针对诸如英语、德语或意大利语等语言进行，其中已经发布了手动标记的语料库。在这项工作中，我们首先提出了9.4K手动标记的娱乐新闻评论，用于识别韩国有毒言论，从韩国广泛使用的在线新闻平台收集。这些评论都说明了社会偏见和仇恨言论，因为这两个方面是相互关联的。注释者间一致性Krippendorff的alpha得分分别为0.492和0.496。我们提供了使用CharCNN、BiLSTM和BERT的基准测试，其中BERT在所有任务上都获得了最高分。由于仇恨言论检测是一个更主观的问题，因此这些模型通常在偏见识别方面表现出更好的性能。此外，当BERT用偏见标签训练用于仇恨言论检测时，预测分数增加，这意味着偏见和仇恨是交织在一起的。我们将我们的数据集公开提供，并与语料库和基准进行公开竞争。
2020-05-26 cs.CL cs.CY
Lost in Transcription: Identifying and Quantifying the Accuracy Biases of Automatic Speech Recognition Systems Against Disfluent Speech
Michigan State University（密歇根州立大学）；Western Michigan University（西密歇根大学）；FRIENDS: The National Association of Young People Who Stutter（FRIENDS：全国口吃青年协会）
本文评估六款主流ASR在真实口吃语音与含口吃事件的LibriSpeech合成数据上的表现，发现其对非流利言语存在统计显著的WER、CER及语义准确性偏见。
2024-05-10 cs.CL cs.CY eess.AS
The mutual exclusivity bias of bilingual visually grounded speech models
Politehnica Bucharest（布加勒斯特理工大学）；Stellenbosch University（斯坦陵北大学）；University of Groningen（格罗宁根大学）
本文通过英语、法语和荷兰语组合训练的双语视觉接地语音模型，计算研究互斥性偏置，发现双语模型通常比单语模型表现出更弱的ME偏置，并分析了其成因。
2025-06-04 cs.CL eess.AS
Visually Grounded Speech Models for Low-resource Languages and Cognitive Modelling
Stellenbosch University（斯泰伦博斯大学）
本文研究视觉接地语音模型在低资源语言少样本关键词定位中的应用，并分析其互斥性偏置，发现多语性对该偏置的影响与儿童不同。
2024-09-03 cs.CL cs.CV
Racial Bias in Hate Speech and Abusive Language Detection Datasets
Cornell University（康奈尔大学）
滥用语言检测技术的开发和应用很少考虑其潜在的偏见。我们研究了五组不同的Twitter数据中的种族偏见，这些数据被注释为仇恨言论和辱骂性语言。我们在这些数据集上训练分类器，并将这些分类器对用非裔美国英语写的推文的预测与用标准美国英语写的推文的预测进行比较。结果显示，在所有数据集中都存在系统性种族偏见的证据，因为在这些数据集上训练的分类器倾向于预测用非裔美国人英语写的推文是虐待性的，其比率要高得多。如果这些辱骂性语言检测系统被用于该领域，它们将对非裔美国人社交媒体用户产生不成比例的负面影响。因此，这些系统可能会歧视那些经常成为我们试图发现的虐待目标的群体。
2019-05-29 cs.CL cs.LG
How to Evaluate Automatic Speech Recognition: Comparing Different Performance and Bias Measures
Delft University of Technology（代尔夫特理工大学）；Sony AI（索尼人工智能）
本研究比较多种性能与偏差度量，评估荷兰语端到端ASR系统，发现平均错误率不足，需辅以其他指标，并提出报告建议以更好反映系统对不同说话者群体的表现。
2025-07-08 cs.CL cs.SD eess.AS
A Contrastive Learning Approach to Mitigate Bias in Speech Models
Politecnico di Torino（都灵理工大学）
针对语音模型在不同人群子群体中性能失衡的偏差问题，提出一种采用三级学习技术的对比学习方法，经两个口语理解数据集、两种语言验证，可改善子群体内部表征、减少偏差并提升性能。
2024-06-20 cs.CL cs.LG eess.AS
On the Role of Speech Data in Reducing Toxicity Detection Bias
Meta FAIR；New York University（纽约大学）；University College London（伦敦大学学院）；McGill University（麦吉尔大学）
该研究针对文本毒性检测的群体提及偏差问题，通过为多语言MuTox数据集制作高质量群体标注，对比语音与文本毒性分类器，发现推理阶段用语音数据可降低偏差，且改进分类器比优化转录流程更有效，同时公开发布标注并给出数据集构建建议。
2025-05-16 cs.AI cs.CL cs.LG
Unveiling Biases while Embracing Sustainability: Assessing the Dual Challenges of Automatic Speech Recognition Systems
IDIAP（IDIAP研究所）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Erisha Labs（Erisha实验室）；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；LORIA（洛里亚实验室）；INESC-ID（INESC-ID研究所）；IST（里斯本高等技术学院）；Universidade de Lisboa（里斯本大学）
本文研究了Whisper和MMS等ASR系统在真实场景中的性别、口音与年龄偏见及其对下游任务的影响，并评估了大型声学模型的碳排放与能耗，揭示了其面临的双重挑战。
2025-03-02 cs.CL cs.SD eess.AS
The Voice Behind the Words: Quantifying Intersectional Bias in SpeechLLMs
1 Department of Speech, Music；Hearing, KTH Royal Institute of Technology, Sweden 2 Centre for Speech Technology Research, University of Edinburgh, UK 3 Texas A\&M University, USA
本研究通过2880次受控交互，评估三种语音大语言模型在六种英语口音和两种性别呈现中的口音与性别交叉偏见，发现东欧口音（尤其女性）获得更低有用性评分，且人类评估者比LLM评判更敏感。
2026-06-19 cs.CL cs.SD eess.AS
Towards Reducing the Need for Speech Training Data To Build Spoken Language Understanding Systems
IBM Research AI（IBM研究院人工智能部门）
缺乏口语语言理解（SLU）所需的用标签注释的语音数据通常是构建可以直接处理语音输入的端到端（E2E）系统的主要障碍。相比之下，通常可以使用带有适当标签的大量文本数据。在本文中，我们提出了一种新的文本表示和训练方法，使E2E SLU系统有效地使用这些文本资源构建。在额外语音数量非常有限的情况下，我们表明这些模型可以进一步改进，以接近基于完整语音数据集构建的类似系统的水平。使用三个不同的SLU数据集的意图和实体任务证明了我们提出的方法的有效性。在纯文本训练的情况下，所提出的系统实现了全语音训练可能达到的性能的90%。只需额外增加10%的语音数据，这些模型就可以显著提高97%的完整性能。
2022-02-26 cs.CL cs.SD eess.AS
Hey ASR System! Why Aren't You More Inclusive? Automatic Speech Recognition Systems' Bias and Proposed Bias Mitigation Techniques. A Literature Review
Howard University（霍华德大学）
语言是人类交流的基本手段。人工智能和复杂语音技术的出现导致了基于人机交互的快速增长，主要由自动语音识别（ASR）系统推动。ASR系统通常以音频的形式获取人类语音并将其转换为单词，但对于某些用户来说，它无法解码语音，并且任何输出文本都充满了人类读者无法理解的错误。这些系统并不是对每个人都平等地工作，实际上阻碍了一些用户的生产力。在本文中，我们提出的研究，解决ASR偏见对性别，种族，病人和残疾人，同时探索研究，提出ASR去偏置技术，以减轻这些歧视。我们还讨论了设计更容易访问和包容性ASR技术的技术。对于每一种调查方法，我们还提供了一个总结的调查和方法，使用的ASR系统和语料库，以及研究结果，并强调其优点和/或缺点。最后，我们提出了未来的机会，自然语言处理研究人员探索在下一个层次的创造ASR技术。
2022-11-17 cs.CL cs.CY cs.HC
Addressing speaker gender bias in large scale speech translation systems
Microsoft Speech and Language Group（微软语音与语言组）
针对大规模语音翻译中的男性化性别偏见，本文提出用LLMs纠正翻译并微调ST模型，使其直接依据音频生成性别正确译文，在MuST-SHE上将女性说话人翻译改善70%。
2025-01-10 cs.AI cs.CL
