口音变异对自动语音识别建模提出了巨大的挑战。虽然基于独热口音向量的自适应系统是常用的，但它们需要关于目标口音的先验知识，并且不能处理看不见的口音。此外，简单地连接重音嵌入并不能很好地利用重音知识，其改进有限。在这项工作中，我们的目标是解决这些问题，注入到E2 E ASR模型编码器的一种新的逐层自适应结构。适配器层在口音空间中编码任意口音，并帮助ASR模型识别口音语音。对于给定的语音，自适应结构提取相应的口音信息，并通过所有口音基的线性组合将输入的声学特征转换为口音相关特征。我们进一步探索适应层的注入位置、重音基础的数量以及不同类型的重音基础，以实现更好的重音适应。实验结果表明，在AESRC 2020口音数据集和Librispeech数据集上，与基线相比，该自适应结构分别使相对单词出错率降低了12%和10%.
英文摘要：
Accent variability has posed a huge challenge to automatic speech recognition~(ASR) modeling. Although one-hot accent vector based adaptation systems are commonly used, they require prior knowledge about the target accent and cannot handle unseen accents. Furthermore, simply concatenating accent embeddings does not make good use of accent knowledge, which has limited improvements. In this work, we aim to tackle these problems with a novel layer-wise adaptation structure injected into the E2E ASR model encoder. The adapter layer encodes an arbitrary accent in the accent space and assists the ASR model in recognizing accented speech. Given an utterance, the adaptation structure extracts the corresponding accent information and transforms the input acoustic feature into an accent-related feature through the linear combination of all accent bases. We further explore the injection position of the adaptation layer, the number of accent bases, and different types of accent bases to achieve better accent adaptation. Experimental results show that the proposed adaptation structure brings 12\% and 10\% relative word error rate~(WER) reduction on the AESRC2020 accent dataset and the Librispeech dataset, respectively, compared to the baseline.
Prosodically Enhanced Foreign Accent Simulation by Discrete Token-based Resynthesis Only with Native Speech Corpora
The University of Tokyo（东京大学）；Japan National Institute of Advanced Industrial Science and Technology (AIST)（日本国家先进工业科学与技术研究院）；Japan Kyoto University（京都大学）
Investigation of Deep Neural Network Acoustic Modelling Approaches for Low Resource Accented Mandarin Speech Recognition
Key Laboratory of Human-Machine Intelligence-Synergy Systems, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院人机智能协同系统重点实验室）；Cambridge University Engineering Dept（剑桥大学工程系）；The Chinese University of Hong Kong（香港中文大学）
针对低资源多口音普通话识别，本文比较多种DNN声学建模方案，并提出显式利用口音信息的改进MLAN tandem HMM系统，使字错误率相对基线绝对降低0.8%至1.5%。
Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data
The University of Tokyo（东京大学）；Japan National Institute of Advanced Industrial Science and Technology (AIST)（日本国家工业科学与技术研究院）；Japan Kyoto University（京都大学）
Deep Speech Based End-to-End Automated Speech Recognition (ASR) for Indian-English Accents
Indian Institute of Science Education and Research (IISER) Berhampur（贝兰布尔印度科学教育与研究院（IISER））
自动语音识别是计算机科学和语言学的交叉学科应用，它使我们能够从发出的语音波形中获得转录。它在军事上有几个应用，如高性能战斗机，直升机，空中交通管制员。除了军事领域，语音识别还用于医疗保健、残疾人等领域。ASR一直是一个活跃的研究领域。语音到文本（STT）的几个模型和算法已经提出。最近的一个是Mozilla Deep Speech，它基于百度的Deep Speech研究论文。Deep Speech是使用端到端深度学习开发的最先进的语音识别系统，它使用利用多个图形处理单元（GPU）的优化的递归神经网络（RNN）训练系统进行训练。这种训练主要是使用美国英语口音数据集完成的，这导致对其他英语口音的概括性很差。印度是一个多元化的国家。这甚至可以在演讲中看到，有几种英语口音因州而异。在这项工作中，我们使用了迁移学习方法，使用最新的深度语音模型，即，deepspeech-0.9.3，用于开发针对印度英语口音的端到端语音识别系统。这项工作利用微调和数据论证来进一步优化和改进深度语音ASR系统。印度英语口音的印度语TTS数据用于迁移学习和微调预训练的深度语音模型。一个一般的比较之间的未经训练的模型，我们的训练模型和其他可用的语音识别服务的印度英语口音。
Adapting Automatic Speech Recognition for Accented Air Traffic Control Communications
Republic of Singapore Air Force（新加坡共和国空军）；Air Emerging Technologies High-Speed Experimentations and Research (AETHER)（航空新兴技术高速实验与研究中心（AETHER））；RSAF Agile Innovation Digital (RAiD)（新加坡共和国空军敏捷创新数字中心（RAiD））
Accent-Invariant Automatic Speech Recognition via Saliency-Driven Spectrogram Masking
Department of Computer Engineering, Sharif University of Technology（谢里夫理工大学计算机工程系）；Department of Computer Engineering, University of Tehran（德黑兰大学计算机工程系）
Advanced Modeling of Interlanguage Speech Intelligibility Benefit with L1-L2 Multi-Task Learning Using Differentiable K-Means for Accent-Robust Discrete Token-Based ASR
The University of Tokyo（东京大学）；National Institute of Advanced Industrial Science and Technology (AIST)（国家工业科学与技术研究院）
TokAN: Accent Normalization Using Self-Supervised Speech Tokens
School of Data Science (SDS), The Chinese University of Hong Kong, Shenzhen (CUHKSZ)（香港中文大学（深圳）数据科学学院）；Tencent Ethereal Audio Lab, Tencent（腾讯虚幻音频实验室）；School of Intelligence Science and Technology, Nanjing University, Suzhou（南京大学苏州校区智能科学与技术学院）；Shenzhen Loop Area Institute（深圳河套学院）；X-LANCE Lab, School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学与工程学院X-LANCE实验室）；School of Artificial Intelligence (SAI), CUHKSZ（香港中文大学（深圳）人工智能学院）；Shenzhen Research Institute of Big Data（深圳大数据研究院）
Performant ASR Models for Medical Entities in Accented Speech
CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）；Intron Health；Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学与应用实验室）；University of Minnesota - Twin Cities（明尼苏达大学双城分校）；African Masters of Machine Intelligence（非洲机器智能硕士项目）；AIMS/AMMI（非洲数学科学研究所/非洲机器智能硕士项目）；AI Saturdays Lagos（拉各斯AI周六）；Masakhane NLP（Masakhane自然语言处理项目）
Institute of Acoustics（声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）
Multi-Scale Accent Modeling and Disentangling for Multi-Speaker Multi-Accent Text-to-Speech Synthesis
National University of Singapore（新加坡国立大学）；Hong Kong Generative AI Research and Development Centre, The Hong Kong University of Science and Technology（香港科技大学香港生成式人工智能研发中心）
