Enabling ASR for Low-Resource Languages: A Comprehensive Dataset Creation Approach
American University of Armenia（亚美尼亚美国大学）；Nvidia（英伟达）
Ara Yeroyan, Nikolay Karpov
备注：
13 pages, 10 figures (including ablation studies), to be published in 2024 IEEE Spoken Language Technology Workshop. Additionally, the associated software package can be accessed at (https://pypi.org/project/vac-aligner/) for practical applications and further development
In recent years, automatic speech recognition (ASR) systems have significantly improved, especially in languages with a vast amount of transcribed speech data. However, ASR systems tend to perform poorly for low-resource languages with fewer resources, such as minority and regional languages. This study introduces a novel pipeline designed to generate ASR training datasets from audiobooks, which typically feature a single transcript associated with hours-long audios. The common structure of these audiobooks poses a unique challenge due to the extensive length of audio segments, whereas optimal ASR training requires segments ranging from 4 to 15 seconds. To address this, we propose a method for effectively aligning audio with its corresponding text and segmenting it into lengths suitable for ASR training. Our approach simplifies data preparation for ASR systems in low-resource languages and demonstrates its application through a case study involving the Armenian language. Our method, which is "portable" to many low-resource languages, not only mitigates the issue of data scarcity but also enhances the performance of ASR models for underrepresented languages.
LRSpeech: Extremely Low-Resource Speech Synthesis and Recognition
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Zhejiang University（浙江大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软 Azure 语音）
语音合成（text to speech，TTS）和识别（自动语音识别，ASR）是重要的语音任务，并且需要大量的文本和语音对用于模型训练。然而，世界上有超过6,000种语言，大多数语言都缺乏语音训练数据，这在为资源极低的语言构建TTS和ASR系统时带来了巨大的挑战。在本文中，我们开发了LRSpeech，一个在极低资源环境下的TTS和ASR系统，它可以支持稀有语言，低数据成本。LRSeep包括三个关键技术：1）对资源丰富的语言进行预训练，并对资源不足的语言进行微调; 2）TTS和ASR之间的双重转换，以迭代方式提高彼此的准确性; 3）知识蒸馏，以定制高质量目标说话人语音的TTS模型，并改进多个语音的ASR模型。我们进行实验的实验语言（英语）和一个真正的低资源的语言（立陶宛语），以验证LRSeech的有效性。实验结果表明，LRSeep 1）在合成语音的可懂度（超过98%的可懂度）和自然度（超过3.5的平均意见得分（MOS））方面实现了高质量的TTS，满足工业部署的要求，2）实现了有希望的ASR识别准确率，3）最后但并非最不重要的是，使用极低资源的训练数据。我们还利用不同数量的数据资源对LRSeech进行全面分析，为行业部署提供有价值的见解和指导。我们目前正在将LRSpeech部署到商业化的云语音服务中，以支持更多稀有语言的TTS。
SSVD: Structured SVD for Parameter-Efficient Fine-Tuning and Benchmarking under Domain Shift in ASR
Department of Electrical Engineering KU Leuven Leuven, Belgium（电气工程系 卡尔·冯·特里尔大学 布鲁塞尔，比利时）；Language Technologies Institute Carnegie Mellon University Pittsburgh, PA, USA（语言技术研究所 哈佛大学 贝尔蒙特，美国）
MNV-17: A High-Quality Performative Mandarin Dataset for Nonverbal Vocalization Recognition in Speech
South China University of Technology（华南理工大学）；The Hong Kong Polytechnic University（香港理工大学）；Tongji University（同济大学）；Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Foshan University（佛山大学）
Automatic Creation of Text Corpora for Low-Resource Languages from the Internet: The Case of Swiss German
iCoSys Institute, University of Applied Sciences and Arts Western Switzerland（瑞士西部应用科学与艺术大学iCoSys研究所）；University of Fribourg（弗里堡大学）；Swisscom AG（瑞士电信公司）
WenetSpeech-Yue: A Large-scale Cantonese Speech Corpus with Multi-dimensional Annotation
Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）；Beijing AISHELL Technology Co., Ltd.（北京AISHELL科技有限公司）；WeNet Open Source Community（WeNet开源社区）；Hong Kong University of Science and Technology（香港理工大学）
A Comprehensive Study on the Effectiveness of ASR Representations for Noise-Robust Speech Emotion Recognition
Graduate School of Informatics, Nagoya University（国立 Nagoya 大学信息科学研究生院）；Faculty of Data Science, City University of Macau（澳门城市大学数据科学学院）；Information Technology Center, Nagoya University（国立 Nagoya 大学信息技术中心）
Avaya Inc.（亚美亚公司）；Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Poznań University of Technology（波兹南理工大学）
Lahore University of Management Sciences（拉瓦尔大学管理科学学院）；University of Michigan - Ann Arbor（密歇根大学安娜堡分校）；EMBL European Bioinformatics Institute（欧洲生物信息学研究所）
Investigation of End-To-End Speaker-Attributed ASR for Continuous Multi-Talker Recordings
Microsoft（微软）
近年来，针对单声道重叠语音，提出了一种端到端（E2 E）说话人属性自动语音识别（SA-ASR）模型，作为说话人计数、语音识别和说话人识别的联合模型。它显示了有前途的结果，由不同数量的扬声器的模拟语音混合物。然而，该模型需要说话人轮廓的先验知识来进行说话人识别，这极大地限制了该模型的应用。在本文中，我们扩展了以前的工作，解决的情况下，没有扬声器配置文件。具体来说，我们使用E2 E SA-ASR模型的内部扬声器表示来进行扬声器计数和聚类，以将扬声器库存中缺少配置文件的扬声器的话语进行diarize。我们还对E2 E SA-ASR训练的参考标签提出了一个简单的修改，这有助于很好地处理连续的多说话者录音。我们对原始E2 E SA-ASR和单耳LibriCSS数据集上的所提出的方法进行了全面的调查。与原始的E2 E SA-ASR与相关的扬声器配置文件相比，所提出的方法实现了接近的性能，没有任何先验扬声器知识。我们还表明，在E2 E SA-ASR模型中的源-目标注意力提供了关于假设的开始和结束时间的信息。
MF-AED-AEC: Speech Emotion Recognition by Leveraging Multimodal Fusion, Asr Error Detection, and Asr Error Correction
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；School of Computer Science and Technology, Hainan University（海南大学计算机科学与技术学院）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
Institute of Health Informatics, University of Minnesota（明尼苏达大学健康信息学研究所）；Biomedical Informatics and Medical Education, University of Washington（华盛顿大学生物医学信息学与医学教育系）；Department of Pharmaceutical Care & Health Systems, University of Minnesota（明尼苏达大学药物护理与卫生系统系）
Discovering Phonetic Inventories with Crosslingual Automatic Speech Recognition
Center of Language and Speech Processing, The Johns Hopkins University（约翰斯·霍普金斯大学语言与语音处理中心）；Human Language Technology Center of Excellence, The Johns Hopkins University（约翰斯·霍普金斯大学人类语言技术卓越中心）；Multimedia Computing Group, Delft University of Technology（代尔夫特理工大学多媒体计算组）；Department of Electrical and Computer Engineering, University of Illinois（伊利诺伊大学电气与计算机工程系）
TG-ASR: Translation-Guided Learning with Parallel Gated Cross Attention for Low-Resource Automatic Speech Recognition
Dept. Computer Science and Information Engineering, National Taiwan Normal University, Taiwan（计算机科学与信息工程系，台湾国立台湾师范大学）；Institute of Computer Science, Academia Sinica, Taiwan（学术院计算机科学研究所，台湾）；United Link Co., Ltd., Taiwan（台湾联合链接有限公司）
