ON-TRAC Consortium Systems for the IWSLT 2022 Dialect and Low-resource Speech Translation Tasks
Avignon University（阿维尼翁大学）；Le Mans University（勒芒大学）；ELYADATA；Grenoble Alpes University（格勒诺布尔阿尔卑斯大学）；Airbus（空中客车公司）
本文介绍了ON-TRAC联盟翻译系统开发的两个挑战轨道特色的IWITH2022评估活动：低资源和方言语音翻译。对于突尼斯阿拉伯语-英语数据集（低资源和方言轨道），我们构建了一个端到端模型作为我们的联合主要提交，并将其与利用大型微调wav2vec 2.0模型进行ASR的级联模型进行比较。我们的研究结果表明，在我们的设置中，管道方法仍然非常有竞争力，并且通过使用迁移学习，它们可以优于语音翻译（ST）的端到端模型。对于Tamasheq-French数据集（低资源轨道），我们的主要提交利用了在234小时的Tamasheq音频上训练的wav2vec 2.0模型的中间表示，而我们的对比模型使用Tamasheq音频的法语语音转录作为Conformer语音翻译架构的输入，该架构联合训练了自动语音识别，ST和机器翻译损失。我们的研究结果强调，与大型现成模型相比，在较小的目标数据集上训练的自监督模型对低资源端到端ST微调更有效。结果还表明，即使是近似的语音音译可以提高ST分数。
2022-05-04 cs.CL cs.SD eess.AS
Multi-Dialect Speech Recognition With A Single Sequence-To-Sequence Model
Google Inc.（谷歌公司）
序列到序列模型通过将典型系统的单独组件（即声学（AM）、发音（PM）和语言（LM）模型）折叠到单个神经网络中，为构建语音识别系统提供了简单而优雅的解决方案。在这项工作中，我们看一个这样的序列到序列模型，即听，参加和拼写（LAS），并探讨训练一个单一的模型，以服务于不同的英语方言，这简化了训练多方言系统的过程，而不需要单独的AM，PM和LM为每种方言的可能性。我们表明，简单地将所有方言的数据汇集到一个LAS模型中，落后于对每个方言进行微调的模型的性能。然后，我们研究将方言特定的信息纳入模型，通过在原始字形序列的末尾插入方言符号来修改训练目标，并将方言信息的1-hot表示送入模型的所有层。对七种英语方言的实验结果表明，我们提出的系统是有效的方言变化建模在一个单一的LAS模型，优于LAS模型单独训练的七种方言的3.1 ~ 16.5%相对。
2017-12-05 cs.SD eess.AS
Cross-Dialect Bird Species Recognition with Dialect-Calibrated Augmentation
GLAM, Department of Computing, Imperial College London, UK（GLAM，计算系，帝国理工学院伦敦校区，英国）；CHI - Chair of Health Informatics, TUM University Hospital, Munich, Germany（健康信息学主席，技术大学慕尼黑医院，慕尼黑，德国）；MDSI – Munich Data Science Institute, Munich, Germany（慕尼黑数据科学研究所，慕尼黑，德国）；MCML – Munich Center for Machine Learning, Munich, Germany（慕尼黑机器学习中心，慕尼黑，德国）
本文针对DB3V数据集提出基于TDNN和方言校准增强的跨方言鸟种识别框架，结合对抗训练与多层级增强，将跨方言准确率提升最多二十个百分点且保持区域内性能。
2025-09-26 cs.SD eess.AS
DB3V: A Dialect Dominated Dataset of Bird Vocalisation for Cross-corpus Bird Species Recognition
University of Augsburg（奥格斯堡大学）；Beijing Forestry University（北京林业大学）；Technical University of Munich（慕尼黑工业大学）；Hume AI（休谟人工智能公司）；Imperial College London（伦敦帝国理工学院）；Munich Data Science Institute（慕尼黑数据科学研究所）；Munich Center for Machine Learning（慕尼黑机器学习中心）
本文构建首个面向鸟类鸣声方言的跨语料库数据集DB3V，并提供分析与识别基线，以评估方言对鸟类物种识别的影响。
2024-06-11 cs.SD eess.AS
State-Space Models in Efficient Whispered and Multi-dialect Speech Recognition
Department of Computational Linguistics（计算语言学系）；Recognition Technologies（语音识别技术）；Faculty of New Sciences and Technologies（新科学与技术学院）；Faculty of New Sciences（新科学学院）
本文提出基于 Mamba 的状态空间模型结合 Wav2Vec2、WavLM、HuBERT 和 Whisper 四个微调自监督模型，在低量数据与处理负载下解决耳语音与多方言双重识别挑战，并在 wTIMIT 和 CHAINS 数据集上取得最佳性能。
2025-06-27 cs.SD eess.AS
Oriental Language Recognition (OLR) 2020: Summary and Analysis
Xiamen University（厦门大学）；Tsinghua University（清华大学）
第五届东方语言识别（OLR）挑战赛重点关注各种复杂环境下的语言识别，促进其发展。OLR 2020挑战赛包括三个任务：（1）跨通道语言识别，（2）方言识别，（3）嘈杂语言识别。我们选择Cavg作为主要的评估指标，而等出错率（EER）作为次要指标。共有58支队伍参加了这次挑战赛，其中三分之一的队伍提交了有效成绩。与最佳基线相比，Top 1系统的Cavg值分别相对降低了82%、62%和48%。本文介绍了这三个任务，数据库配置文件，和最终的结果。我们还概述了新的方法，提高语言识别系统的性能最显着，如利用辅助信息。
2021-07-05 cs.CL cs.SD eess.AS
LinTO Audio and Textual Datasets to Train and Evaluate Automatic Speech Recognition in Tunisian Arabic Dialect
LINAGORA（LINAGORA公司）
针对突尼斯阿拉伯语方言因语言复杂性和数据稀缺导致ASR系统开发困难的问题，提出了包含多源文本与真实语码转换音频的LinTO数据集，为构建和评估该方言的ASR系统提供了高质量材料。
2025-04-03 cs.CL cs.SD eess.AS
Towards dialect-inclusive recognition in a low-resource language: are balanced corpora the answer?
Trinity College Dublin（都柏林圣三一大学）
针对爱尔兰语三大方言，本文通过训练12个ASR系统并增减方言材料，检验平衡语料库是否能实现公平的跨方言识别。
2023-07-14 cs.CL cs.SD eess.AS
Self-supervised Adaptive Pre-training of Multilingual Speech Models for Language and Dialect Identification
Saarland University（萨尔兰大学）
针对多语言语音预训练模型存在的域不匹配、语言覆盖不全问题，提出自监督自适应预训练方法，有效提升了SLID任务性能与微调样本效率。
2023-12-12 cs.CL cs.SD eess.AS
Improving Speech Recognition Accuracy of Local POI Using Geographical Models
Tencent Cloud Xiaowei（腾讯云小微）
如今，语音搜索兴趣点（POI）变得越来越流行。然而，由于多方言和大规模POI，针对本地POI的语音识别仍然是一个挑战。本文从两个方面提高了本地POI的语音识别准确率。首先，提出了一种地理声学模型（Geo-AM）。Geo-AM使用方言特定的输入特征和方言特定的顶层来处理多方言问题。其次，将一组地理语言模型（Geo-LM）集成到我们的语音识别系统中，以提高长尾和同音POI的识别准确率。在解码过程中，根据用户的地理位置按需选择特定的语言模型。实验结果表明，在重音测试集上，Geo-AM和Geo-LM的相对字符错误率分别降低了6.5%和$\sim$ 10.1%;在腾讯地图测试集上，Geo-AM和Geo-LM的相对字符错误率分别降低了18.7%和18.7%。
2021-07-07 cs.SD eess.AS
Leveraging LLM and Self-Supervised Training Models for Speech Recognition in Chinese Dialects: A Comparative Analysis
Institute of Artificial Intelligence (TeleAI)（人工智能研究所（TeleAI））
针对汉语方言ASR数据稀缺的问题，采用Data2vec2自监督预训练结合LLM的范式，经大规模数据训练后在多方言数据集取得SOTA结果，将开源以推动研究。
2025-06-16 cs.CL cs.SD eess.AS
Multi-Dialect Arabic Speech Recognition
Bournemouth University（伯恩茅斯大学）
本文介绍了阿拉伯语多方言自动语音识别的设计与开发。深度神经网络正在成为解决序列数据问题的有效工具，特别是采用端到端的系统训练。阿拉伯语语音识别是一个复杂的任务，因为存在多种方言，大型语料库的不可用性，和丢失的发声。因此，这项工作的第一个贡献是开发了一个大型的多方言语料库，具有完整或至少部分发声的转录。此外，开源语料库是从多个来源收集的，这些来源将非标准的阿拉伯字母转化为转录，通过定义一个共同的字符集来规范化。第二个贡献是开发了一个框架来训练声学模型，以实现最先进的性能。网络架构由卷积层和递归层的组合组成。在频域与时域中提取音频数据的频谱图特征并馈送到网络中。由递归模型产生的输出帧被进一步训练以将音频特征与其对应的转录序列对齐。使用具有四元语法语言模型的波束搜索解码器进行序列比对。该系统实现了14%的错误率，优于以前的系统。
2021-12-25 cs.LG cs.SD eess.AS
Dialectal Coverage And Generalization in Arabic Speech Recognition
Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学）；STC
本文提出一套优化的开源阿拉伯语ASR模型，涵盖MSA、多种方言及语码转换，覆盖17国数据和至少11种变体，显著提升了方言覆盖与识别性能。
2025-05-29 cs.CL cs.SD eess.AS
Dialectal Speech Recognition and Translation of Swiss German Speech to Standard German Text: Microsoft's Submission to SwissText 2021
Microsoft（微软）
本文介绍了SwissText 2021年关于瑞士德语语音到标准德语文本的共享任务3中的获胜方法，这是一项关于方言识别和翻译的公开竞赛。瑞士德语是指在瑞士德语区使用的众多阿勒曼尼方言。瑞士德语在发音、词汇和语法上与标准德语有很大的不同。这对以德语为母语的人来说是难以理解的。此外，它缺乏标准化的书面文字。为了解决具有挑战性的任务，我们提出了一个混合自动语音识别系统的词典，包括翻译，第一遍的语言模型，处理瑞士德国的特殊性，一个转移学习声学模型和一个强大的神经语言模型的第二遍重新评分。我们的提交在盲对话测试集上达到46.04%的BLEU，并以12%的相对优势优于第二大竞争对手。
2021-07-01 cs.CL cs.LG cs.SD
VoxArabica: A Robust Dialect-Aware Arabic Speech Recognition System
The University of British Columbia（不列颠哥伦比亚大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本文提出VoxArabica系统，集成HuBERT、Whisper和XLS-R等模型，实现阿拉伯语17种方言识别及多方言语音识别，并提供零样本模型选择与Web交互界面。
2023-10-27 cs.CL cs.SD eess.AS
Leveraging Self-Supervised Models for Automatic Whispered Speech Recognition
University of Zurich（苏黎世大学）；University of Isfahan（伊斯法罕大学）
针对耳语语音声学特性特殊、训练数据稀缺导致识别效果差的问题，提出用预训练WavLM模型结合多数据集微调的爱尔兰方言耳语语音识别方法，性能显著优于Whisper基线。
2024-11-03 cs.SD eess.AS
Automatic Speech Recognition Biases in Newcastle English: an Error Analysis
English Department（英语系）；Faculty of Arts and Humanities（人文学科学院）；Institute of Sound and Vibration Engineering（声学与振动工程研究所）
本研究针对ASR系统在纽卡斯尔英语上的区域偏差展开两阶段错误分析，识别出语音、词汇等层面的关键错误，发现错误与方言特征直接相关，主张增加训练数据的方言多样性并强调社会语言学分析的价值。
2025-06-19 cs.CL cs.CY cs.SD
A Unified Denoising and Adaptation Framework for Self-Supervised Bengali Dialectal ASR
Daffodil International University（达福迪尔国际大学）
针对孟加拉语ASR受方言多样性与环境噪声制约的问题，提出基于WavLM的统一去噪自适应框架，通过多阶段微调与数据增强提升噪声鲁棒性，在多方言多噪声基准上超越wav2vec 2.0、Whisper等基线，达新SOTA并为同类低资源语言提供方案参考。
2025-08-31 cs.SD eess.AS
N-Shot Benchmarking of Whisper on Diverse Arabic Speech Recognition
The University of British Columbia（不列颠哥伦比亚大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文在多种阿拉伯语方言及n样本微调设置下系统评测Whisper的ASR性能，并构建未见方言与带口音标准语数据，发现其零样本整体优于XLS-R但对五种新方言显著退化。
2023-06-05 cs.CL cs.SD eess.AS
FireRedASR2S: A State-of-the-Art Industrial-Grade All-in-One Automatic Speech Recognition System
FireRedASR2S是一种集成ASR、VAD、LID和Punc的工业级语音识别系统，通过多模块协同提升识别准确性和多语言支持能力。
2026-03-11 cs.SD eess.AS
Voxlect: A Speech Foundation Model Benchmark for Modeling Dialects and Regional Languages Around the Globe
Voxlect是一个用于全球方言和地区语言建模的语音基础模型基准，通过评估多种模型在30个语料库上的分类性能，并展示其在ASR增强和语音生成评估中的应用。
2025-08-03 cs.CL cs.SD eess.AS
A Survey of Voice Translation Methodologies - Acoustic Dialect Decoder
SSN College Of Engineering（SSN工程学院）
语音翻译一直是关于提供源文本或音频输入，并等待系统以所需的形式提供翻译输出。在本文中，我们提出了声学方言解码器（ADD）-语音语音耳机翻译设备。我们介绍和调查的语音工程领域的最新进展，采用在ADD，特别是侧重于识别，翻译和合成的三个主要处理步骤。通过设计源音频到文本的识别单元、源语言文本到目标语言文本的翻译单元和目标语言文本到目标语言语音的合成单元，解决了机器理解自然语言的问题。来自周围环境的语音将被耳机上的识别单元记录下来，一旦成功阅读一个句子，翻译就会开始。通过这种方式，我们希望在读取输入时提供翻译后的输出。识别单元将使用基于隐马尔可夫模型（HMM）的工具包（HTK），具有门控存储单元的混合RNN系统，以及合成单元，基于HMM的语音合成系统HTS。该系统最初将作为英语到泰米尔语的翻译设备。
2016-10-13 cs.CL cs.NE cs.SD
VoxHakka: A Dialectally Diverse Multi-speaker Text-to-Speech System for Taiwanese Hakka
United Link Co., Ltd.（联科股份有限公司）；National United University（国立联合大学）
本文提出基于 YourTTS 的台湾客家话 TTS 系统 VoxHakka，通过网络抓取与 ASR 清洗构建多方言多说话人语料，支持六种方言并在 CMOS 评测中显著优于现有系统。
2024-10-02 cs.AI cs.CL cs.SD
Efficient Dialect-Aware Modeling and Conditioning for Low-Resource Taiwanese Hakka Speech Processing
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan（计算机科学与信息工程系，国立台湾师范大学，台湾）；Institute of Computer Science, Academia Sinica, Taiwan（学术院计算机科学研究所，台湾）；United Link Co., Ltd., Taiwan（联合链接公司，台湾）
本文提出一种基于RNN-T的统一框架，通过方言意识建模策略和参数高效预测网络，实现低资源台语客家语的高效ASR处理，取得显著的错误率降低效果。
2026-02-26 cs.AI cs.CL cs.SD
BanglaDialecto: An End-to-End AI-Powered Regional Speech Standardization
North South University（北南大学）；Apurba Technologies（阿普尔巴科技）；Fordham University（福特汉姆大学）
本研究提出端到端流水线BanglaDialecto，通过构建大规模方言数据集微调Whisper ASR和BanglaT5模型，实现Noakhali方言语音到标准孟加拉语文本的转换，CER达0.8%，BLEU达41.6%。
2024-11-16 cs.AI cs.CL cs.LG
Leveraging Data Collection and Unsupervised Learning for Code-switched Tunisian Arabic Automatic Speech Recognition
Tunis Business School（突尼斯商学院）；University of Michigan-Dearborn（密歇根大学迪尔伯恩分校）；Abshore；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI）
本文针对突尼斯阿拉伯语方言ASR数据稀缺与语码转换难题，通过数据收集、自监督/半监督/少样本方法及人工评估构建并公开了多语混合语音识别模型与数据。
2023-09-25 cs.CL cs.LG cs.SD
Towards Relevance and Sequence Modeling in Language Recognition
Amazon Alexa Lab（亚马逊Alexa实验室）；Indian Institute of Science（印度科学学院）
在噪声环境下对同一语系的多种方言进行自动语言识别是一个具有挑战性的问题。在这些场景中，语言/方言的身份可以仅可靠地存在于语音信号的时间序列的部分中。LID（以及说话人识别）的传统方法通过提取记录的长期统计概要而忽略序列信息，假设特征帧的独立性。在本文中，我们提出了一个神经网络框架，利用短序列信息的语言识别。特别是，提出了一种新的模型，将相关性的语言识别，语音数据的部分加权更多的语言识别任务的相关性的基础上。这种相关性加权是使用具有注意力建模的双向长短期记忆（BLSTM）网络来实现的。我们探索了两种方法，第一种方法使用在神经模型中聚合的分段级i-向量/x-向量表示，第二种方法在端到端神经模型中直接建模声学特征。使用NIST LRE 2017挑战赛中的语言识别任务，使用干净，嘈杂和多说话人语音数据以及RATS语言识别语料库进行实验。在噪声LRE任务以及RATS数据集上的这些实验中，所提出的方法比传统的基于i-向量/x-向量的语言识别方法以及结合序列信息的其他先前模型产生了显着的改进。
2020-04-02 cs.CL cs.LG cs.SD
CoLMbo: Speaker Language Model for Descriptive Profiling
Carnegie Mellon University（卡内基梅隆大学）；FPrime AI
针对说话人识别系统难以生成详细特征描述的局限，本文提出CoLMbo这一说话人语言模型，通过集成说话人编码器与提示条件调节生成定制化描述，在零样本场景中表现出色，推动领域发展。
2025-08-23 cs.CL cs.SD eess.AS
A Convolutional Neural Network Based Approach to Recognize Bangla Spoken Digits from Speech Signal
Khulna University of Engineering & Technology（库尔纳工程技术大学）
语音识别是一种将人类的语音信号转换成文本或单词或任何形式的计算机或其他机器可以容易地理解的技术。有一些关于孟加拉数字识别系统的研究，其中大多数使用的是小数据集，性别，年龄，方言和其他变量的变化很少。在这项研究中，不同性别、年龄和方言的孟加拉人的录音被用来创建一个大型的孟加拉语数字语音数据集。在这里，每个数字记录了400个有噪声和无噪声的样本，用于创建数据集。梅尔频率倒谱系数（MFCC）已被用于从原始语音数据中提取有意义的特征。然后，利用卷积神经网络（CNN）检测孟加拉数字。所建议的技术在整个数据集中以97.1%的准确率识别“0-9”孟加拉语口语数字。还使用10倍交叉验证评估了模型的效率，其准确度为96.7%。
2021-11-12 cs.AI cs.CL cs.LG
Automatic Speech Recognition for Biomedical Data in Bengali Language
MedAI Limited（MedAI有限公司）；University of Birmingham（伯明翰大学）
针对孟加拉语医疗领域ASR数据不足的问题，研究构建了支持两大方言、适配多类医学术语的ASR原型系统，在46小时医学语料上训练评估两种主流框架，旨在提升医疗领域非技术用户的数字健康服务可及性。
2024-06-16 cs.CL cs.SD eess.AS
Subspace-based Representation and Learning for Phonotactic Spoken Language Recognition
National Taiwan University（台湾大学）；Academia Sinica（中央研究院）
语音定位的限制可以用来区分语言表示为一个多项分布或电话事件的语音话语。在本研究中，我们提出了一种新的学习机制的基础上，基于子空间的表示，它可以提取隐藏的音位结构的话语，语言验证和方言/口音识别。该框架主要包括两个连续的部分。第一部分是子空间的构造。具体地说，它将每个话语解码成一个充满音素后验的向量序列，并基于低秩矩阵分解或动态线性建模将向量序列转换成线性正交子空间。第二部分涉及基于核机器的子空间学习，如支持向量机和新发展的基于子空间的神经网络（SNN）。SNN的输入层是专门为子空间表示的样本设计的。该拓扑结构确保了相同的输出可以通过修改传统的前馈通道，以适应子空间相似性的数学定义，从相同的子空间。在NIST LRE 2007的“通用LR”测试中，与基于序列的PPR-LM、PPR-VSM和PPR-IVEC方法以及基于网格的PPR-LM方法相比，所提出的方法在相等出错率上分别实现了高达52%、46%、56%和27%的相对减少。此外，在NIST LRE 2009的方言/口音识别任务中，基于SNN的系统的表现优于上述四种基线方法。
2022-03-28 cs.CL cs.LG cs.SD
Robust Audio Event Recognition with 1-Max Pooling Convolutional Neural Networks
本文提出了一种简单而有效的卷积神经网络（CNN）架构，用于鲁棒的音频事件识别。与具有多个卷积和池化层以及多个完全连接层的深度CNN架构相反，所提出的网络仅由三层组成：卷积层、池化层和softmax层。另外两个特征将其与针对该任务提出的深度架构区分开来：卷积层的可变大小卷积滤波器和池化层的1-max池化方案。直觉上，网络倾向于从整个音频信号中选择最具区分力的特征进行识别。我们提出的CNN不仅在鲁棒音频事件识别的标准任务上表现出最先进的性能，而且在识别准确率方面优于其他深度架构高达4.5%，相当于76.3%的相对错误减少。
2016-06-22 cs.LG cs.NE cs.SD
A Fully Convolutional Deep Auditory Model for Musical Chord Recognition
Johannes Kepler University（约翰内斯·开普勒大学）
和弦识别系统依赖于鲁棒的特征提取流水线。虽然这些管道传统上是手工制作的，但端到端机器学习的最新进展已经开始激励研究人员探索数据驱动的方法来完成这些任务。在本文中，我们提出了一个和弦识别系统，使用一个完全卷积的深度听觉模型的特征提取。提取的特征由条件随机场进行处理，解码最终的和弦序列。两个处理阶段都是自动训练的，不需要专业知识来优化参数。我们表明，学习的听觉系统提取音乐可解释的功能，并建议的和弦识别系统达到了同等或更好的结果比国家的最先进的算法。
2016-12-15 cs.LG cs.SD
CNN-LTE: a Class of 1-X Pooling Convolutional Neural Networks on Label Tree Embeddings for Audio Scene Recognition
我们在本报告中描述了我们提交给DCASE 2016挑战赛的音频场景识别系统。首先，给定场景的标签集，自动构造标签树。然后，在特征提取步骤中使用该类别分类法，在该步骤中，音频场景实例由标签树嵌入图像表示。不同的卷积神经网络，这些网络是为手头的任务量身定制的，最终在图像特征的基础上学习，用于场景识别。我们的系统达到了81.2%和83.3%的整体识别准确率，并优于DCASE 2016基线，开发和测试数据的绝对改进分别为8.7%和6.1%。
2016-08-15 cs.CV cs.LG cs.MM
