Existing studies on self-supervised speech representation learning have focused on developing new training methods and applying pre-trained models for different applications. However, the quality of these models is often measured by the performance of different downstream tasks. How well the representations access the information of interest is less studied. In this work, we take a closer look into existing self-supervised methods of speech from an information-theoretic perspective. We aim to develop metrics using mutual information to help practical problems such as model design and selection. We use linear probes to estimate the mutual information between the target information and learned representations, showing another insight into the accessibility to the target information from speech representations. Further, we explore the potential of evaluating representations in a self-supervised fashion, where we estimate the mutual information between different parts of the data without using any labels. Finally, we show that both supervised and unsupervised measures echo the performance of the models on layer-wise linear probing and speech recognition.
Revisiting Direct Speech-to-Text Translation with Speech LLMs: Better Scaling than CoT Prompting?
Barcelona Supercomputing Center, Spain（巴塞罗那超级计算中心，西班牙）；Universitat Politècnica de Catalunya, Spain（加泰罗尼亚理工大学，西班牙）；DFKI GmbH, Saarland Informatics Campus, Saarbrücken, Germany（德意志联邦计算机研究中心（DFKI） GmbH，萨尔布吕肯，德国）
Revisiting End-to-End Speech-to-Text Translation From Scratch
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
端到端（E2 E）语音到文本翻译（ST）通常依赖于通过语音识别或文本翻译任务使用源转录来预训练其编码器和/或解码器，没有这些任务，翻译性能会大幅下降。然而，成绩单并不总是可用的，以及如何显着这样的预训练是E2 E ST很少在文献中研究。在本文中，我们重新审视这个问题，并探讨在何种程度上的语音翻译对单独训练的E2 E ST的质量可以提高。我们重新审视了之前被证明对ST有益的几种技术，并提供了一组最佳实践，使基于Transformer的E2 E ST系统偏向于从头开始训练。此外，我们提出了参数化的距离惩罚，以促进局部性的语音自注意模型的建模。在涵盖23种语言的四个基准上，我们的实验表明，在不使用任何成绩单或预训练的情况下，所提出的系统达到甚至超过了以前采用预训练的研究，尽管在（极）低资源环境中仍然存在差距。最后，我们讨论了神经声学特征建模，其中神经模型被设计为直接从原始语音信号中提取声学特征，其目标是简化归纳偏差并在描述语音时增加模型的自由度。我们第一次证明了它的可行性，并在ST任务上显示出令人鼓舞的结果。
Two-Stage Adaptation for Non-Normative Speech Recognition: Revisiting Speaker-Independent Initialization for Personalization
Leiden Institute of Advanced Computer Science, Leiden University, The Netherlands（莱顿先进计算机科学研究所，莱顿大学，荷兰）；Penobscot Community Health Care, United States（彭纳波克社区医疗服务，美国）；Department of Computational Linguistics, University of Zurich, Switzerland（计算语言学系，苏黎世大学，瑞士）
Cross-Modal Mutual Learning for Cued Speech Recognition
Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
Minimum Bayes Risk Training for End-to-End Speaker-Attributed ASR
Microsoft Corp.（微软公司）
最近，针对单声道重叠语音，提出了一种端到端的说话人属性自动语音识别（E2 E SA-ASR）模型，作为说话人计数、语音识别和说话人识别的联合模型。在以前的研究中，模型参数的训练基于说话人属性最大互信息（SA-MMI）标准，与多说话人转录和说话人识别的联合后验概率最大化的训练数据。尽管SA-MMI训练对于由各种数量的说话者组成的重叠语音显示出有希望的结果，但训练标准并不直接与最终的评估度量相关联，即，说话者归因的单词错误率（SA-WER）。在本文中，我们提出了一种说话人属性最小贝叶斯风险（SA-MBR）训练方法，其中参数被训练为直接最小化训练数据上的预期SA-WER。使用LibriSpeech语料库的实验表明，与SA-MMI训练的模型相比，所提出的SA-MBR训练使SA-WER相对降低了9.0%。
Revisiting Interpolation Augmentation for Speech-to-Text Generation
College of Computer Science and Technology, Harbin Engineering University（哈尔滨工程大学计算机科学与技术学院）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；ByteDance（字节跳动）；NiuTrans Research（NiuTrans研究院）
Speech-enhanced and Noise-aware Networks for Robust Speech Recognition
Institute of Information Science, Academia Sinica（中央研究院信息科学研究所）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院信息科技创新研究中心）
Residual Convolutional CTC Networks for Automatic Speech Recognition
Tencent AI Lab, Tencent（腾讯AI实验室，腾讯）；Tsinghua University（清华大学）
深度学习方法已广泛应用于自动语音识别（ASR）中，并取得了显着的准确性提高。特别是，卷积神经网络（CNN）最近在ASR中被重新审视。然而，现有工作中使用的大多数CNN都少于10层，这可能不够深，无法捕获所有人类语音信号信息。在本文中，我们提出了一种新型的深度和广度的CNN架构，表示为RCNN-CTC，它具有剩余连接和连接主义时间分类（CTC）损失函数。RCNN-CTC是一个能够同时利用语音信号的时域和频谱结构的端到端系统。此外，我们介绍了一种基于CTC的系统组合，这是不同于传统的逐帧的senone为基础的。组合中采用的基本子系统是不同类型的，因此相互补充。实验结果表明，与ASR中广泛使用的几种神经网络系统相比，我们提出的单系统RCNN-CTC在WSJ和Tencent Chat数据集上可以实现最低的字错误率（WER）。此外，所提出的系统组合可以在这两个数据集上提供进一步的错误减少，从而分别在WSJ dev 93和Tencent Chat数据集上导致$14.91\%$和$6.52\%$的相对WER减少。
Consistent Training and Decoding For End-to-end Speech Recognition Using Lattice-free MMI
Tencent AI Lab（腾讯人工智能实验室）
最近，端到端（E2 E）框架在各种自动语音识别（ASR）任务上取得了显著的成果。然而，无格最大互信息（LF-MMI），作为一个区别性的训练标准，表现出优越的性能在混合ASR系统，很少被采用在E2 E ASR框架。在这项工作中，我们提出了一种新的方法，将LF-MMI标准集成到E2 E ASR框架中的训练和解码阶段。所提出的方法在两个最广泛使用的E2 E框架上显示了其有效性，包括基于注意力的编码器-解码器（AED）和神经传感器（NT）。实验表明，LF-MMI标准的引入始终导致各种数据集和不同E2 E ASR框架上的显着性能改进。我们最好的模型在Aishell-1开发/测试集上实现了4.1\% / 4.4\%的竞争性CER;我们还在强基线上实现了Aishell-2和Librisepeech数据集上的显着错误减少。
Fleurs-SLU: A Massively Multilingual Benchmark for Spoken Language Understanding
Center For Artificial Intelligence and Data Science, University of Würzburg（人工智能与数据科学中心，乌尔姆大学）；Language Technology Lab, University of Cambridge（语言技术实验室，剑桥大学）；Mila, McGill University and Canada CIFAR AI Chair（Mila，麦吉尔大学及加拿大CIFAR人工智能主席）
Rethinking Speech Representation Aggregation in Speech Enhancement: A Phonetic Mutual Information Perspective
Department of Intelligence and Information, Seoul National University, Republic of Korea（智能与信息系，首尔国立大学，韩国）；Artificial Intelligence Institute, Seoul National University, Republic of Korea（人工智能研究所，首尔国立大学，韩国）
Speech Representation Disentanglement with Adversarial Mutual Information Learning for One-shot Voice Conversion
Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；The Chinese University of Hong Kong（香港中文大学）
