Navigating Dialectal Bias and Ethical Complexities in Levantine Arabic Hate Speech Detection
Haverford College（哈弗福德学院）；Brown University（布朗大学）
本文针对黎凡特阿拉伯语仇恨言论检测中的方言偏见与伦理问题，分析现有数据集局限，倡导开发文化语境敏感的NLP工具，以实现更包容的检测方法。
2024-12-14 cs.AI cs.CL cs.CY
Bulbul: A Dataset for Dialectal Arabic Speech Recognition
KFUPM（法赫德国王石油和矿产大学）；Taibah University（塔伊巴大学）；UBC（不列颠哥伦比亚大学）；PSUT（约旦理工大学）；Birzeit University（比尔宰特大学）；HBKU（哈马德·本·哈利法大学）；Texas A&M University（德克萨斯农工大学）；Mohammed VI Polytechnic University（穆罕默德六世理工大学）；Zayed University（扎耶德大学）；IAU（伊玛目阿卜杜勒拉赫曼·本·费萨尔大学）；Symbiosis International University（共生国际大学）；Taiz University（塔伊兹大学）
该研究针对阿拉伯语ASR的方言资源不足问题，构建了多方言数据集BULBUL并完成两级质量验证，还为相关ASR系统建立了强基线。
2026-08-25 cs.AI cs.CL
TEDxTN: A Three-way Speech Translation Corpus for Code-Switched Tunisian Arabic - English
ELYADATA（ELYADATA 公司）
本文介绍首个公开的突尼斯阿拉伯语-英语语码转换语音翻译语料库TEDxTN，含25小时108场演讲数据，公开标注指南并报告基线系统结果，为突尼斯方言自然语言处理研究提供资源。
2025-11-13 cs.AI cs.CL
Hybrid CNN-Transformer Architecture for Arabic Speech Emotion Recognition
Department of Computer Science USTO-MB Oran, Algeria
本文提出基于混合CNN-Transformer架构的阿拉伯语语音情感识别系统，通过卷积层提取频谱特征并利用Transformer捕捉时间依赖性，实验显示在EYASE数据集上达到97.8%的准确率和0.98的宏F1分数。
2026-03-28 cs.AI cs.CL cs.SD
ArVoice: A Multi-Speaker Dataset for Arabic Speech Synthesis
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文介绍ArVoice，一个含83.52小时语音、11个说话人的多说话人现代标准阿拉伯语语音合成数据集，并训练TTS与语音转换系统验证其用途。
2025-05-26 cs.AI cs.CL cs.SD
AraCOVID19-MFH: Arabic COVID-19 Multi-label Fake News and Hate Speech Detection Dataset
Research Centre on Scientific and Technical Information (CERIST)（科学技术信息研究中心）
随着COVID-19大流行，虚假及误导性信息的“信息流行病”出现，并使COVID-19应对工作复杂化。Facebook和Twitter等社交网站在很大程度上助长了谣言、阴谋论、仇恨、仇外心理、种族主义和偏见的传播。为了打击假新闻的传播，世界各地的研究人员已经并仍在做出相当大的努力来构建和共享与COVID-19相关的研究文章、模型和数据集。本文发布了“AraCOVID 19-MFH”，这是一个手动注释的多标签阿拉伯语COVID-19假新闻和仇恨言论检测数据集。我们的数据集包含10，828条阿拉伯语推文，标注了10个不同的标签。标签的设计考虑了与事实检查任务相关的一些方面，例如推文的检查价值，积极/消极和真实性。为了确认我们的注释数据集的实际效用，我们用它来训练和评估几个分类模型，并报告所获得的结果。虽然该数据集主要是为假新闻检测而设计的，但它也可以用于仇恨言论检测、观点/新闻分类、方言识别和许多其他任务。
2021-05-07 cs.AI cs.CL
Mispronunciation Detection Without L2 Pronunciation Dataset in Low-Resource Setting: A Case Study in Finland Swedish
Department of Information and Communications Engineering（信息与通信工程系）；Department of Language and Communication Studies（语言与交流研究系）；Department of Education（教育系）
针对芬兰瑞典语等低资源语言缺乏错音检测工具的问题，提出基于多语言wav2vec 2.0并结合熵正则化等适配方法的模型，仅需少量L2数据，实现召回率与精确率的平衡，且具有语言无关性。
2025-06-01 cs.CL cs.SD eess.AS
Hate Speech Detection in Turkish and Arabic: A Comprehensive Study
Sabanci University（萨班哲大学）；Bogazici University（博阿齐奇大学）；Hrant Dink Foundation（赫兰特·丁克基金会）
本研究构建了涵盖土耳其语五个主题和阿拉伯语一个主题的仇恨言论数据集，并开发了基于BERT的模型，用于分类、强度预测、目标识别和跨度检测。
2026-07-07 cs.AI cs.CL
ArEEG_Words: Dataset for Envisioned Speech Recognition using EEG for Arabic Words
Arab International University（阿拉伯国际大学）
针对阿拉伯语等非英语语言缺乏公开脑电图数据集的问题，本文提出ArEEG_Words数据集，记录22名参与者想象16个阿拉伯语单词时的脑电信号，填补了阿拉伯语脑电研究空白。
2024-11-28 cs.AI cs.CL cs.HC
QASR: QCRI Aljazeera Speech Resource -- A Large Scale Annotated Arabic Speech Corpus
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Kanari AI（卡纳里人工智能公司）
我们介绍了最大的转录阿拉伯语语音语料库，QASR，从广播领域收集。这个多方言语音数据集包含从Aljazeera新闻频道抓取的以16 kHz采样的2,000小时语音。数据集以轻度监督的transmittance发布，与音频片段对齐。与以前的数据集不同，QASR包含语言动机的分割，标点符号，说话人信息等。QASR适合于训练和评估语音识别系统、基于声学和/或语言学的阿拉伯方言识别、标点恢复、说话人辨识、说话人链接以及用于口语数据的潜在的其他NLP模块。除了QASR转录，我们还发布了一个1.3亿单词的数据集，以帮助设计和训练更好的语言模型。我们表明，端到端的自动语音识别训练QASR报告的竞争力字出错率相比，以前的MGB-2语料库。我们报告了下游自然语言处理任务的基线结果，例如使用语音转录的命名实体识别。我们还报告了阿拉伯语标点符号恢复的第一个基线。我们为研究界提供语料库。
2021-06-24 cs.CL cs.SD eess.AS
AraYoungVoices: A Diverse L1/L2 Corpus of Arabic Child and Adolescent Speech
Qatar Computing Research Institute（卡塔尔计算研究所）
该研究构建了包含286名7-18岁说话者的151.72小时阿拉伯语L1/L2朗读语料库AraYoungVoices，基准测试显示L2语音更难识别，年龄特定微调改善匹配组，联合微调平衡各人群，且ASR假设更接近标准提示。
2026-10-06 cs.AI cs.CL cs.SD
Doing More with Less: Data Augmentation for Sudanese Dialect Automatic Speech Recognition
Independent Researcher（独立研究者）
本文通过数据增强技术提升苏丹方言ASR性能，结合自训练和TTS增强，实现低资源方言的高效识别
2026-01-11 cs.AI cs.CL
ArFake: A Robust Framework for Multi-Dialect Arabic Speech Spoofing Detection Benchmark
MBZUAI, UAE（马布里扎大学人工智能研究所，阿联酋）；Queen’s University, Canada（女王大学，加拿大）；University of Waterloo, Canada（滑铁卢大学，加拿大）
提出首个多方言阿拉伯语欺骗语音数据集，通过多模型评估和人类评分构建基准，发现FishSpeech在卡萨布兰卡语料库上生成最逼真的合成语音。
2026-06-16 cs.CL
ClArTTS: An Open-Source Classical Arabic Text-to-Speech Corpus
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；Erisha Labs（埃里沙实验室）
目前，使用端到端神经模型用高质量转录语音数据训练的文本到语音（TTS）系统可以生成可理解、自然且与人类语音非常相似的语音。这些模型使用相对较大的单扬声器专业录制的音频进行训练，通常从有声读物中提取。同时，由于这类免费语音语料库的稀缺，阿拉伯文语转换系统的研究和开发存在较大的空白。大多数现有的免费可用的阿拉伯语语音语料库不适合TTS训练，因为它们包含多说话者的随意语音，其记录条件和质量存在差异，而为语音合成策划的语料库通常尺寸较小，不适合训练最先进的端到端模型。为了填补这一资源缺口，我们提出了一个语音语料库古典阿拉伯文文本到语音（ClArTTS），以支持阿拉伯文的端到端TTS系统的发展。语音是从LibriVox有声读物中提取的，然后经过处理、分段、手动转录和注释。最后的ClArTTS语料库包含约12小时的语音从一个单一的男性扬声器采样在40100 kHz。在本文中，我们描述了语料库创建的过程，并提供了语料库统计的细节，并与现有资源进行了比较。此外，我们开发了两个TTS系统的基础上，梯度TTS和辉光TTS，并说明了所产生的系统的性能，通过主观和客观的评价。该语料库将在www.clartts.com上公开提供，用于研究目的，以及基线TTS系统演示。
2023-02-28 cs.CL cs.SD eess.AS
Benchmarking Commercial ASR Systems on Code-Switching Speech: Arabic, Persian, and German
Perle AI
针对四种语言对的代码切换语音，通过两阶段管道选择样本并评估五个商业ASR系统，发现WER夸大质量差距而BERTScore更准确，ElevenLabs Scribe v2表现最佳。
2026-05-22 cs.AI cs.CL
TutlAit v1: a crowdsourced Moroccan Tamazight speech dataset with Arabic transcriptions and regional accent labels
Cadi Ayyad University（卡迪·阿雅德大学）
该论文介绍TutlAit数据集，一个众包的摩洛哥塔马齐格特语音语料库，配有阿拉伯语转写和地区口音标签，包含约20.9小时音频，可用于语音识别、翻译和口音识别。
2026-10-01 cs.CL cs.LG
Abjad-Kids: An Arabic Speech Classification Dataset for Primary Education
Arab International University（阿拉伯国际大学）
本文提出Abjad-Kids数据集，用于阿拉伯语儿童语音分类，通过CNN-LSTM架构解决阿拉伯语音素相似性和样本不足问题，实验显示静态语言基分组效果更优，但存在过拟合风险，未来需增加数据量。
2026-03-11 cs.CL cs.HC cs.LG
ArEEG_Chars: Dataset for Envisioned Speech Recognition using EEG for Arabic Characters
Arab International University（阿拉伯国际大学）
针对阿拉伯语缺乏公开EEG想象语音识别数据集的问题，本研究发布了含31个阿拉伯字符、采集自30名参与者的ArEEG_Chars数据集，经处理得到39857条250ms信号段，将公开以推动相关研究。
2024-11-03 cs.CL cs.HC cs.LG
Almieyar: A Culturally Grounded Benchmark for Multi-Dialect Arabic Speech Recognition
QCRI, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；Qatar University（卡塔尔大学）；UDST（多哈科技大学）；Algo AI；UCL（伦敦大学学院）；University of Tripoli（的黎波里大学）；AUC（开罗美国大学）；KAUST（阿卜杜拉国王科技大学）；CMU-Q（卡内基梅隆大学卡塔尔分校）；KFUPM（法赫德国王石油与矿产大学）；Alfaisal University（费萨尔大学）；Damascus University（大马士革大学）；Princeton University（普林斯顿大学）；ENSIAS, Mohammed V University（穆罕默德五世大学国家计算机科学与系统分析学院）；Sultan Qaboos University（苏丹卡布斯大学）；DFKI（德国人工智能研究中心）；University of Waterloo（滑铁卢大学）；USTHB（阿尔及尔科技大学）
本文提出ALMIEYAR，一个覆盖17种阿拉伯语方言、基于文化场景录音的ASR基准，零样本评测12个系统，发现GPT-4o-transcribe最优（WER 35.0%），并揭示WER/CER差距，推动联合报告。
2026-09-29 cs.AI cs.CL
Arab Voices: Mapping Standard and Dialectal Arabic Speech Technology
The University of British Columbia（不列颠哥伦比亚大学）
Arab Voices通过标准化框架统一了14种方言的阿拉伯语音识别数据集，提供统一的元数据和评估工具，并对最新ASR系统进行了基准测试，以提升方言阿拉伯语音识别的标准化和可重复性。
2026-01-28 cs.CL
Multi-task Learning with Active Learning for Arabic Offensive Speech Detection
Department of Information and Computer Science（信息与计算机科学系）；King Fahd University of Petroleum and Minerals（国王法赫德石油和矿物大学）；SDAIA-KFUPM Joint Research Center for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心）
本文提出将多任务学习与主动学习相结合的新框架，通过联合训练暴力和粗俗言论检测任务、动态调整任务权重、不确定性采样及加权表情符号处理，在OSACT2022数据集上以更少微调样本取得85.42%的最新宏平均F1分数。
2025-06-03 cs.CL
Habibi: Laying the Open-Source Foundation of Unified-Dialectal Arabic Speech Synthesis
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；University of the Chinese Academy of Sciences（中国科学院大学）
Habibi提出一个统一多方言阿拉伯语语音合成框架，通过多步骤数据管道和语言指导课程学习策略，实现了跨方言零样本合成，并发布了首个标准化多方言评估基准，验证了模型在多个指标上的竞争力。
2026-03-31 cs.CL cs.SD eess.AS
ARCADE: A City-Scale Corpus for Fine-Grained Arabic Dialect Tagging
Tuwaiq Academy（图瓦伊克学院）；Robotics and Internet-of-Things Laboratory（机器人与物联网实验室）；Prince Sultan University（普森大学）；Higher School of Communication of Tunis (SUP’COM)（突尼斯通信高级学校）
ARCADE是一个专为城市级阿拉伯语方言标注设计的语音语料库，通过细粒度标注支持多任务学习，为方言识别提供基准。
2026-01-05 cs.CL cs.CY cs.SD
Munsit at NADI 2025 Shared Task 2: Pushing the Boundaries of Multidialectal Arabic ASR with Weakly Supervised Pretraining and Continual Supervised Fine-tuning
CNTXT AI Abu Dhabi（CNTXT AI阿布扎比）
针对阿拉伯语低资源多方言ASR挑战，提出结合弱监督预训练与持续监督微调的可扩展流程，在多方言阿拉伯语ASR挑战赛中取得第一名。
2025-08-12 cs.AI cs.CL
OSACT4 Shared Task on Offensive Language Detection: Intensive Preprocessing-Based Approach
Kuwait University（科威特大学）
预处理阶段是文本分类管道中的关键阶段之一。本研究的目的是调查文本分类的预处理阶段的影响，特别是对攻击性语言和仇恨言论的阿拉伯语文本分类。社交媒体中使用的阿拉伯语是非正式的，使用阿拉伯方言书写，这使得文本分类任务非常复杂。预处理有助于降维和删除无用的内容。在进一步处理数据集并将其输入分类模型之前，我们对数据集应用了密集的预处理技术。一个密集的预处理为基础的方法表明其显着的影响，攻击性语言检测和仇恨言论检测共享任务的第四次研讨会上的开源阿拉伯语语料库和语料库处理工具（OSACT）。我们的团队在子任务A攻击性语言检测部分获得第三名（第三名），在子任务B仇恨语音检测部分获得第一名（第一名），F1得分分别为89%和95%，通过在阿拉伯语仇恨语音检测的F1，准确性，召回率和精确度方面提供最先进的性能。
2020-05-14 cs.CL
SHAMS: An Audio-Grounded Pronunciation Benchmark for Levantine Arabic
SHAMS是一个针对黎凡特阿拉伯语的音频发音基准，包含1,300条平衡五种方言的话语，支持变音符号化、字素到音素转换等任务，用于评估LA语音技术进展。
2026-10-02 cs.CL
Context-Gloss Augmentation for Improving Arabic Target Sense Verification
Birzeit University（比尔泽特大学）
阿拉伯语缺乏语义数据集和感觉库存。阿拉伯语最常见的语义标记数据集是ArabGlossBERT，这是一个相对较小的数据集，由167 K上下文注释对（大约60 K正对和107 K负对）组成，从阿拉伯语词典中收集。本文提出了一种丰富的ArabGlossBERT数据集，通过使用（阿拉伯语-英语-阿拉伯语）机器回译来增强它。增强将数据集大小增加到352 K对（149 K阳性和203 K阴性对）。我们使用不同的数据配置，以微调目标感测验证（TSV）任务的BERT测量增强的影响。总体而言，对于不同的数据配置，准确率范围在78%到84%之间。虽然我们的方法与基线表现相当，但我们在一些实验中确实观察到一些POS标签的一些改进。此外，我们的微调模型是在涵盖更大词汇和上下文的更大数据集上训练的。我们对每个词性（POS）的准确性进行了深入分析。
2023-02-06 cs.CL
SpeechBlender: Speech Augmentation Framework for Mispronunciation Data Generation
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；KTH Royal Institute of Technology（KTH皇家理工学院）
针对 L2 发音错误标注数据不足，本文提出 SpeechBlender 细粒度语音增强流水线，通过掩码与线性插值生成训练样本，并在多个基准上提升检测性能。
2023-07-12 cs.CL cs.SD eess.AS
Data-Driven Mispronunciation Pattern Discovery for Robust Speech Recognition
Cornell University（康奈尔大学）；NAVER Cloud Corporation（NAVER云公司）
本文提出两种数据驱动方法，利用语音语料库和注意力映射自动检测非母语者发音错误模式，在母语和非母语英语语音识别上分别提升5.7%和12.8%，增强了ASR系统在缺乏先验语言知识场景下的鲁棒性。
2025-02-01 cs.CL cs.SD eess.AS
An End-to-End Mispronunciation Detection System for L2 English Speech Leveraging Novel Anti-Phone Modeling
National Taiwan Normal University（台湾师范大学）；ASUS AICS（华硕人工智能与云计算中心）
发音错误检测与诊断（MDD）是计算机辅助发音训练（CAPT）的核心组成部分。大多数现有的MDD方法专注于处理分类错误（即，一个规范音素被另一个替代，除了那些由删除或插入引起的发音错误）。然而，准确检测和诊断非范畴或失真错误（即近似L2音素与L1（第一语言）音素，或两者之间的错误发音）似乎仍然遥不可及。鉴于此，我们提出了一种新的端到端的自动语音识别（E2 E-based ASR）的方法进行MDD。特别是，我们扩展了原来的L2音素集与其相应的反音素集，使基于E2 E的MDD方法有一个更好的能力，采取在分类和非分类的发音错误，旨在提供更好的发音错误检测和诊断反馈。此外，一个新的迁移学习范式的设计，以获得初始模型估计的E2 E为基础的MDD系统没有资源的任何语音规则。在L2-ARCTIC数据集上的大量实验结果表明，我们的最佳系统在F1分数方面分别比现有的E2 E基线系统和基于发音评分的方法（GOP）高出11.05%和27.71%。
2020-08-28 cs.CL cs.SD eess.AS
Phonological Level wav2vec2-based Mispronunciation Detection and Diagnosis Method
University of New South Wales（新南威尔士大学）
针对音素级MDD方法难以建模多样发音错误且诊断信息有限的问题，本文提出基于语音属性特征的低层级MDD方法，采用多标签CTC和预训练wav2vec2模型，在L2语音语料上显著降低了FAR、FRR和DER。
2023-11-13 cs.AI cs.CL eess.AS
Mispronunciation detection using self-supervised speech representations
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；Instituto de Investigación en Ciencias de la Computación（计算机科学研究所）
本文研究了自监督学习模型在第二语言发音错误检测中的应用，比较了基于母语数据的音素识别和直接针对目标任务的下游训练方法，发现在L2Arctic和EpaDB数据集上，针对目标任务训练的下游模型表现最佳。
2023-07-30 cs.CL cs.SD eess.AS
Experiments of ASR-based mispronunciation detection for children and adult English learners
University of Trento（特伦托大学）；University of Groningen（格罗宁根大学）；Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会（FBK））
发音是语言学习的基础之一，当涉及到理解和被他人理解时，它被认为是口语的主要因素。在语音识别领域中，由于发音错误而导致的高出错率的持续存在促使我们寻找用于处理发音错误的替代技术。在这项研究中，我们开发了一个发音错误的评估系统，检查发音的非英语母语者，确定了意大利英语学习者的常见发音错误的音素，并提出了一个评价的语音注释语音语料库中观察到的非母语发音。在这项工作中，为了检测发音错误，我们使用了基于电话的ASR，使用Kaldi实现。我们使用了两个非母语的英语标记语料库;（i）意大利成年人的语料库包含来自46个扬声器的5，867话语，（ii）意大利儿童的语料库由来自78个儿童的5，268话语组成。我们的研究结果表明，所选择的错误模型可以区分正确的声音从不正确的声音在本族语和非本族语的话，因此可以用来检测发音错误在非本族语。电话出错率显示使用错误语言模型的改善。ASR系统显示出更好的准确性后，我们所选择的语料库中应用的错误模型。
2021-04-13 cs.CL cs.SD eess.AS
CoCA-MDD: A Coupled Cross-Attention based Framework for Streaming Mispronunciation Detection and Diagnosis
Huawei Noah's Ark Lab（华为诺亚方舟实验室）
发音错误检测与诊断是计算机辅助发音训练系统中的一个研究热点。端到端（e2 e）方法在MDD中正变得占主导地位。然而，e2 e MDD模型通常需要整个语音话语作为输入上下文，这导致显著的时间延迟，特别是对于长段落。我们提出了一个流E2 E MDD模型称为CoCA-MDD。我们利用conv-transformer结构对输入语音进行流编码。提出了一种耦合交叉注意（CoCA）机制，将帧级声学特征与编码参考语言特征相结合。CoCA还使我们的模型能够对整个话语进行错误发音分类。该模型允许系统融合之间的流输出和发音错误分类输出，以进一步提高性能。我们在公开可用的语料库上评估CoCA-MDD。CoCA-MDD在L2-ARCTIC上的流式和融合模式下分别达到57.03%和60.78%的F1评分。对于音素级发音评分，CoCA-MDD在SpeechOcean 762上达到0.58 Pearson相关系数（PCC）值。
2022-06-29 cs.CL cs.SD eess.AS
Improving Mispronunciation Detection with Wav2vec2-based Momentum Pseudo-Labeling for Accentedness and Intelligibility Assessment
University of Texas at Dallas（德克萨斯大学达拉斯分校）；Northern Arizona University（北亚利桑那大学）；Pennsylvania State University（宾夕法尼亚州立大学）
当前领先的发音错误检测和诊断（MDD）系统通过端到端音素识别实现了有前途的性能。这种端到端解决方案的一个挑战是自然L2语音上人类注释的音素的稀缺性。在这项工作中，我们通过伪标记（PL）程序利用未标记的L2语音，并基于预训练的自监督学习（SSL）模型扩展微调方法。具体来说，我们使用Wav 2 vec 2.0作为我们的SSL模型，并使用原始标记的L2语音样本加上创建的伪标记L2语音样本对其进行微调。我们的伪标签是动态的，由在线模型的集成动态生成，这确保了我们的模型对伪标签噪声具有鲁棒性。我们发现，微调与伪标签实现了5.35%的音素错误率降低和2.48%的MDD F1分数提高标记样本的微调基线。建议的PL方法也被证明优于传统的离线PL方法。与最先进的MDD系统相比，我们的MDD解决方案可以产生更准确和一致的语音错误诊断。此外，我们对一个单独的UTD-4Accents数据集进行了开放测试，其中我们的系统识别输出显示出与人类感知的强相关性，基于重音和可理解性。
2022-07-12 cs.CL cs.LG eess.AS
Towards Real-time Mispronunciation Detection in Kids' Speech
The Ohio State University（俄亥俄州立大学）
由于引入了深度学习，现代的发音错误检测和诊断系统在准确性上有了显著的提高。然而，这些系统还没有被评估的能力，实时运行，一个重要的因素，在应用程序中，提供快速反馈。特别地，现有技术使用双向循环网络，其中单向网络可能更合适。师生学习是一种自然的方法来改善单向模型，但当使用CTC目标时，这受到输出与证据对齐不良的限制。我们通过尝试两个损失项来改善我们模型的对齐来解决这个限制。一种损失是“对齐损失”术语，其仅在特征不类似于沉默时才鼓励输出。另一个损失项使用单向模型作为教师模型来对齐双向模型。我们提出的模型使用这些对齐的双向模型作为教师模型。在CSLU儿童语料库上的实验表明，这些变化减少了输出的延迟，提高了检测率，并在这些目标之间进行了权衡。
2020-03-03 cs.CL cs.SD eess.AS
Part of Speech and Universal Dependency effects on English Arabic Machine Translation
在这篇研究论文中，我将详细介绍一种方法来评估机器翻译模型的基础上，他们的表现对英语和阿拉伯语之间的潜在句法现象。这种方法尤其重要，因为这种“神经”和“机器学习“很难微调和改变。因此，找到一种方法来评估他们容易和麻烦将大大有助于改善他们的任务。
2021-06-03 cs.AI cs.CL cs.LG
Mispronunciation Detection and Diagnosis Without Model Training: A Retrieval-Based Approach
Hanoi National University of Education（河内教育大学）
本文提出一种无需模型训练的误读检测与诊断方法，利用预训练的自动语音识别模型和检索技术，实现高准确率的发音错误检测与诊断，实验表明其在L2-ARCTIC数据集上达到69.60%的F1分数。
2025-11-25 cs.CL cs.SD eess.AS
End-to-End Speech Translation of Arabic to English Broadcast News
Le Mans Université（勒芒大学）；Elyadata
语音翻译是将源语言中的语音信号直接翻译成外语文本的任务。长期以来，ST任务一直使用具有两个模块的流水线方法来解决：首先是源语言的自动语音识别（ASR），然后是文本到文本的机器翻译（MT）。在过去的几年里，我们已经看到了使用序列到序列深度神经网络模型的端到端方法的范式转变。本文介绍了我们对第一个广播新闻端到端的阿拉伯语到英语语音翻译系统的发展所做的努力。从独立的ASR和MT LDC版本开始，我们能够识别大约92小时的阿拉伯语录音，这些录音的人工转录也在片段一级翻译成英语。这些数据被用于训练和比较多个场景下的管道和端到端语音翻译系统，包括迁移学习和数据增强技术。
2022-12-11 cs.AI cs.CL cs.LG
Arabic Speech Recognition System using CMU-Sphinx4
Carnegie Mellon University（卡内基梅隆大学）；UFR Informatique et Nouvelles Technologies d'Information et de Communication（信息与通信新技术学院）；Faculté des Sciences（理学院）
在本文中，我们提出了创建一个阿拉伯语版本的自动语音识别系统（ASR）。该系统基于卡内基梅隆大学的开源Sphinx-4。该系统是一个基于离散隐马尔可夫模型（HMM）的语音识别系统。我们调查的变化，必须作出的模型，以适应阿拉伯语话音识别。关键词：语音识别，声学模型，阿拉伯语，HALTH，CMUSphinx-4，人工智能。
2007-04-17 cs.AI cs.CL
AraS2P: Arabic Speech-to-Phonemes System
Alexandria University（亚历山大大学）；Applied Innovation Center（应用创新中心）；Georgia Institute of Technology（佐治亚理工学院）
本文提出AraS2P，采用两阶段训练适配Wav2Vec2-BERT，并结合XTTS-v2合成数据增强，在Iqra'Eval 2025音素级错误发音检测中获得第一名。
2025-09-27 cs.CL
Introduction to Arabic Speech Recognition Using CMUSphinx System
UFR Informatique et Nouvelles Technologies d'Information et de Communication（信息与通信新技术学院）；Département de Mathématiques et Informatique, Faculté des Sciences（理学院数学与计算机科学系）；Carnegie Mellon University（卡内基梅隆大学）
本文从语音识别问题的角度对阿拉伯语进行了研究。我们提出了一种新的方法来建立一个阿拉伯语自动语音识别系统（ASR）。该系统基于卡内基梅隆大学的开源CMU Sphinx-4。CMU Sphinx是一个基于离散隐马尔可夫模型（HHMM）的大词汇量、与说话人无关的连续语音识别系统。我们使用开源CMU Sphinx中的实用程序构建了一个模型。我们将证明这个系统可能的适应性，阿拉伯语话音识别。
2007-04-17 cs.AI cs.CL
L1-aware Multilingual Mispronunciation Detection Framework
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
本文提出 L1-MultiMDD 框架，通过融合 L1 感知语音表示和 CTC 多语言音素识别，在英语、阿拉伯语和普通话上显著提升发音错误检测性能与泛化能力。
2023-09-21 cs.CL cs.SD eess.AS
Nuha-Speech: Building General-Purpose Arabic Speech-LLMs
Elm Company（埃尔姆公司）
Nuha-Speech构建了含150万样本的阿拉伯语语音问答语料库，基于Qwen-Omni微调模型，并设计评估框架，以建立通用阿拉伯语语音大语言模型的基础设施。
2026-09-11 cs.CL
Ensemble of pre-trained language models and data augmentation for hate speech detection from Arabic tweets
Echahid Cheikh Larbi Tebessi University（沙希德·谢赫·拉比·特贝西大学）；Laboratory of Vision and Artificial Intelligence (LAVIA)（视觉与人工智能实验室）
针对阿拉伯语推文仇恨言论检测中的性能有限与数据不平衡问题，提出结合预训练语言模型集成学习和半监督数据增强的方法，在五分类基准上优于现有工作。
2024-07-02 cs.AI cs.CL
Advancing Arabic Speech Recognition Through Large-Scale Weakly Supervised Learning
CNTXT AI AI Department（CNTXT AI人工智能部门）
本文采用弱监督学习与Conformer架构，在15,000小时弱标注阿拉伯语数据上训练ASR模型，实现最先进性能，超越开源与闭源模型，为低资源语言语音识别提供高效方案。
2025-04-19 cs.AI cs.CL
HARNESS: Lightweight Distilled Arabic Speech Foundation Models
Amazon India（亚马逊印度）；Qatar Computing Research Institute, HBKU, Qatar（卡塔尔计算研究所，HBKU，卡塔尔）
本文提出HARNESS，一种轻量级阿拉伯语语音基础模型，通过迭代自蒸馏实现高效准确率与效率的平衡，适用于自动语音识别、方言识别和语音情感识别任务。
2026-03-31 cs.AI cs.CL eess.AS
QVoice: Arabic Speech Pronunciation Learning Application
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
QVoice是一款基于端到端错误检测与反馈生成模块的阿拉伯语发音学习应用，通过多种学习提示提供字符级反馈和单词级评估，帮助非母语者及受方言影响的母语者提升现代标准阿拉伯语发音。
2023-05-09 cs.CL cs.SD eess.AS
ArTST: Arabic Text and Speech Transformer
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
ArTST是基于SpeechT5框架的阿拉伯语文本与语音预训练Transformer，在ASR、TTS和方言识别任务上达到或超越现有最优水平，并已开源供研究使用。
2023-10-25 cs.AI cs.CL cs.SD
Transformers and Ensemble methods: A solution for Hate Speech Detection in Arabic languages
Universitat Politècnica de València（瓦伦西亚理工大学）；Constantine 2 University（君士坦丁2大学）；ESCF de Constantine（君士坦丁ESCF）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
本文针对CERIST NLP Challenge 2022仇恨言论检测子任务，评估六个transformer模型并结合两种集成方法，基于多数投票的集成在测试集上取得F1-score 0.60和Accuracy 0.86。
2025-07-20 cs.AI cs.CL cs.LG
An Effective End-to-End Modeling Approach for Mispronunciation Detection
National Taiwan Normal University（国立台湾师范大学）
最近，端到端（E2 E）自动语音识别（ASR）系统因其与传统混合DNN-HMM ASR系统相比取得的巨大成功和统一的建模范式而引起了极大的关注。尽管E2 E建模框架在ASR上被广泛采用，但仍然缺乏研究用于计算机辅助发音学习（CAPT）的E2 E框架的工作，特别是用于错误发音检测（MD）。作为回应，我们首先提出了一种新的使用混合CTCAttention方法的MD任务，利用CTC和基于注意力的模型的优势，同时绕过需要电话级强制对齐。其次，我们执行输入增强与文本提示信息，使所得到的E2 E模型更适合MD任务。另一方面，我们采用了两种MD决策方法，以便更好地配合建议的框架：1）决策的基础上的识别置信度或2）简单地基于语音识别的结果。一系列的Mandarin MD实验表明，我们的方法不仅简化了现有的混合DNN-HMM系统的处理流水线，但也带来了系统的和实质性的性能改善。此外，文本提示的输入增强似乎对基于E2 E的MD方法有很好的前景。
2020-05-18 cs.CL cs.SD eess.AS
Domain-Aware Mispronunciation Detection and Diagnosis Using Language-Specific Statistical Graphs
Hanoi University of Science and Technology（河内理工大学）；VNPT AI, VNPT Group（VNPT AI，VNPT集团）；National Economics University（国家经济大学）
提出一种利用语言特定统计图学习音素混淆模式的方法，在L2-ARCTIC基准上实现59.52%的F1分数，优于多个基线。
2026-06-04 cs.CL cs.SD eess.AS
EmoAra: Emotion-Preserving English Speech Transcription and Cross-Lingual Translation with Arabic Text-to-Speech
MBZUAI（穆罕默德·本·拉希德智能技术研究所）
EmoAra通过整合语音情感识别、自动语音识别、机器翻译和文本到语音技术，实现英语语音转录与阿拉伯语音输出的跨语言翻译，保留情感细微差别。
2026-02-01 cs.CL
CorrectSpeech: A Fully Automated System for Speech Correction and Accent Reduction
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
本研究提出一个全自动化的语音校正和口音减少系统。考虑录制的语音音频包含某些错误的应用场景，例如，不恰当的词语，错误的发音，这些都需要纠正该系统名为CorrectSpeech，分三个步骤执行纠正：识别录制的语音并将其转换为带有时间戳的符号序列，将识别的符号序列与目标文本对齐以确定所需编辑操作的位置和类型，并生成纠正后的语音。实验表明，校正后语音的质量和自然度取决于语音识别和对齐模块的性能，以及编辑操作的粒度级别。建议的系统进行评估两个语料库：手动扰动版本的VCTK和L2-ARCTIC。结果表明，我们的系统能够纠正发音错误，减少语音录音口音。音频样本可在线演示https://daxintan-cuhk.github.io/CorrectSpeech/。
2022-10-14 cs.CL cs.SD eess.AS
