Iterative Pseudo-Labeling for Speech Recognition
Facebook AI Research（Facebook人工智能研究院）
伪标记最近在端到端自动语音识别（ASR）中显示出希望。我们研究了迭代伪标记（IPL），一种半监督算法，有效地执行多次迭代的伪标记的未标记的数据作为声学模型的演变。特别是，IPL在每次迭代时使用标记数据和未标记数据的子集来微调现有模型。我们研究了IPL的主要组成部分：用语言模型解码和数据增强。然后，我们证明了IPL的有效性，通过实现国家的最先进的字的出错率在标准和低资源设置的Librispeech测试集。我们还研究了在不同语料库上训练的语言模型的效果，以表明IPL可以有效地利用额外的文本。最后，我们发布了一个新的大型领域内文本语料库，该语料库与Libris语音训练语料库不重叠，以促进低资源，半监督ASR的研究
2020-08-27 cs.CL cs.SD eess.AS
Semi-Supervised Cognitive State Classification from Speech with Multi-View Pseudo-Labeling
University of Edinburgh（爱丁堡大学）；Hunan University（湖南大学）；University of Cambridge（剑桥大学）
针对认知状态分类中标注数据缺乏的问题，提出一种结合声学和语言特征的多视图伪标签半监督学习框架，仅用30%标注数据即达到与全监督学习相当的竞争力并显著优于基线。
2025-04-30 cs.AI cs.CL cs.MM
Jointly Predicting Emotion, Age, and Country Using Pre-Trained Acoustic Embedding
在本文中，我们展示了使用预训练模型提取声学嵌入来联合预测（多任务学习）三个任务的好处：情感，年龄和祖国。利用wav2vec 2.0大型鲁棒模型在语音情感语料库上对预训练好的模型进行训练。情绪和年龄任务是回归问题，而国家预测是分类任务。一个单一的谐波平均从三个指标被用来评估多任务学习的性能。分类器是一个线性网络，有两个独立的层和共享层，包括输出层。这项研究探讨了不同声学特征（包括从情感语音数据集上训练的模型中提取的声学嵌入），种子数量，批量大小和标准化的多任务学习，用于从语音中预测非语言信息。
2022-07-21 eess.AS
Predicting Different Acoustic Features from EEG and towards direct synthesis of Audio Waveform from EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在[1，2]中，作者提供了从脑电图（EEG）特征合成语音的初步结果，其中他们首先从EEG特征预测声学特征，然后使用griffin lim重建算法从预测的声学特征重建语音。在本文中，我们首先介绍了一种深度学习模型，该模型将原始EEG波形信号作为输入，并直接产生音频波形作为输出。然后，我们展示了从EEG特征预测16种不同的声学特征。在本文中，我们展示了我们的研究结果为口语和听力条件。本文提出的结果显示了不同的声学特征是如何与非侵入性的神经脑电信号记录在语音感知和生产。
2020-05-29 cs.LG cs.SD eess.AS
Predicting interviewee attitude and body language from speech descriptors
National Police, Israel（以色列国家警察）；Tel Hai College, Israel（以色列特尔海学院）
本研究旨在探讨个人印象与受访员工所传达的声音非语言沟通之间的关系。首先，我们调查了在何种程度上不同的谈话主题解决在采访中引起的变化，受访者的声学参数。接下来，我们试图预测观察和自我评估的态度和身体语言的受访者的基础上的声学数据。结果表明，话题性导致了声学参数统计的显著偏差，但由于声学属性固有的冗余性，基于被访者的声学非语言交流预测其个人感知的能力相对独立于话题性。我们的研究结果表明，联合建模的语音和视觉线索可能会提高受访者的个人资料的评估。
2017-09-25 cs.SD eess.AS
Predicting the Leading Political Ideology of YouTube Channels Using Acoustic, Textual, and Metadata Information
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
我们解决预测主导政治意识形态的问题，即，左中右偏置，对于新闻媒体的YouTube频道。以前关于这个问题的工作只集中在文本和对所使用的语言、讨论的主题、情感等的分析上。相比之下，在这里我们研究视频，这产生了一个有趣的多模态设置。从Media Bias/Fact Check关于世界主要新闻媒体的主要政治意识形态的黄金注释开始，我们在YouTube上搜索找到相应的频道，并从每个频道下载了最近的视频样本。我们抓取了超过1,000个小时的YouTube以及相应的字幕和元数据，从而产生了一个新的多模态数据集。我们进一步为该任务开发了多模态深度学习架构。我们的分析表明，与仅使用文本和元数据相比，使用声学信号有助于将偏差检测提高6%以上。我们将数据集发布给研究社区，希望有助于推进多模态政治偏见检测领域。
2019-10-20 cs.CL cs.IR cs.SD
Explaining Deep Learning Embeddings for Speech Emotion Recognition by Predicting Interpretable Acoustic Features
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；McGovern Institute（麦戈文研究所）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
针对语音情感识别中深度学习嵌入可解释性不足的问题，提出改进探测方法，通过重要维度子集的声学特征预测能力推断关键特征，实验验证了四类声学特征的信息量排序及方法效用。
2024-09-14 cs.AI cs.SD eess.AS
BERT, can HE predict contrastive focus? Predicting and controlling prominence in neural TTS using a language model
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（GIPSA实验室）；LIG（格勒诺布尔信息学实验室）；UGA（格勒诺布尔阿尔卑斯大学）；G-INP（格勒诺布尔国立理工学院）；INRIA（法国国家信息与自动化研究所）；NAVER LABS Europe（NAVER欧洲实验室）
最近的几项研究已经测试了使用Transformer语言模型表示来推断文本到语音合成（TTS）的韵律特征。虽然这些研究已经探讨了韵律一般，在这项工作中，我们特别是在预测对比焦点的人称代词。这是一项特别具有挑战性的任务，因为它通常需要语义、推理和/或实用知识来正确预测。我们收集语料库的话语包含对比焦点，我们评估的准确性的BERT模型，微调预测量化的声学突出功能，对这些样本。我们还研究了过去的话语如何为这种预测提供相关信息。此外，我们评估的可控性代词突出的TTS模型条件下的声学突出功能。
2022-07-04 cs.CL eess.AS
Predicting word error rate for reverberant speech
Microsoft Research（微软研究院）
混响对自动语音识别（ASR）的性能有负面影响。关于量化混响效果的先前工作已经表明，清晰度（C50）（可以从声学脉冲响应估计的参数）与ASR性能相关。在本文中，我们提出预测ASR性能的字错误率（WER）直接从声学参数通过多项式，S形，或神经网络拟合，以及盲目地从混响语音样本使用卷积神经网络（CNN）。我们进行了两个国家的最先进的ASR模型和一个大的声学脉冲响应（AIR）的实验。结果证实C50和C80与WER高度相关，允许WER用所提出的拟合方法进行预测。所提出的非侵入式CNN模型优于基于C50的WER预测，表明WER可以被盲估计，即，直接从混响语音样本中提取，而无需了解声学参数。
2020-02-14 cs.SD eess.AS
Predicting non-native speech perception using the Perceptual Assimilation Model and state-of-the-art acoustic models
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；University of Paris（巴黎大学）；University of Toronto（多伦多大学）
我们的母语影响我们感知语音的方式，影响我们辨别非母语声音的能力。我们比较了两个想法的影响，母语的语音感知：感知同化模型，呼吁到本地音素类别的声音的心理分类，与丰富的，细粒度的语音表示调谐到统计的母语的想法，是足够的。我们操作这个想法使用两个国家的最先进的语音模型，狄利克雷过程高斯混合模型和最近的wav2vec 2.0模型表示。我们提出了一个新的，开放的数据集，讲法语和英语的参与者的语音感知行为的61个元音的声音从六种语言。我们发现，音素同化是一个更好的预测比细粒度的语音建模，无论是作为一个整体的歧视行为，并预测与母语背景的差异相关的可辨别性的差异。我们还表明，wav2vec 2.0，而不是善于捕捉母语对语音感知的影响，是补充信息的母语音素同化，并提供了一个很好的模型，低层次的语音表示，支持的想法，即分类和细粒度的感知过程中使用的语音感知。
2022-05-31 cs.CL cs.SD eess.AS
Predicting Heart Activity from Speech using Data-driven and Knowledge-based features
Harvard Medical School（哈佛医学院）；Idiap Research Institute（伊迪亚普研究所）
该研究证明自监督语音模型在预测心脏活动参数上优于传统声学特征，并指出个体差异影响泛化，强调需要更多语音生理数据以缓解说话人相关挑战。
2024-06-10 cs.AI cs.SD eess.AS
Predicting lexical skills from oral reading with acoustic measures
System Platform Research Laboratories, NEC Corporation（NEC公司系统平台研究实验室）
识字评估是全球教育管理人员的一项重要活动。它通常在学校环境中通过测试孩子的口语阅读来实现，它是人力资源密集型的。虽然自动语音识别（ASR）是该问题的潜在解决方案，但是除了需要用于训练的语言和口音特定的语音之外，它对于手持设备而言往往在计算上是昂贵的。在这项工作中，我们提出了一个系统来预测一个学生的单词解码技能的基础上简单的声学特征来自录音。我们首先确定一个有意义的分类词解码技能通过分析手动转录的数据集儿童的口头阅读录音。接下来，尝试用所提出的声学特征自动预测类别。语音统计，音节率和频谱和强度动态被认为是可靠的指标的特定类型的口语阅读缺陷，提供有用的反馈，通过区分不同的特点开始读者。这种计算简单和语言不可知的方法被发现提供的性能接近使用语言相关的ASR，需要相当大的调整其参数。
2021-12-01 cs.SD eess.AS eess.SP
Predicting Individual Depression Symptoms from Acoustic Features During Speech
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；Nova Scotia Health（新斯科舍省健康局）
针对现有自动抑郁检测系统未基于临床量表单项症状预测的问题，该研究首次利用语音声学特征，结合CNN、LSTM及多种时序上下文学习方法、投票方案，实现抑郁量表单项条目预测，还配套了动态可视化示例。
2024-06-23 cs.AI cs.LG cs.SD
Advancing Speech Synthesis using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们介绍了注意力回归模型，以证明预测从脑电图（EEG）的功能记录在平行的口语句子的声学特征。首先，我们展示了使用我们的注意力模型直接从EEG特征预测声学特征，然后我们展示了使用两步方法从EEG特征预测声学特征，在第一步中，我们使用我们的注意力模型从EEG特征预测发音特征，然后在第二步中，训练另一个注意力回归模型将预测的发音特征转换为声学特征。我们提出的注意力回归模型与作者在[1]中介绍的回归模型相比，在测试期间使用他们的数据集对大多数受试者进行测试时，表现出优越的性能。本文提出的结果进一步推进了作者在[1]中描述的工作。
2020-05-03 cs.LG cs.SD eess.AS
Iterative pseudo-forced alignment by acoustic CTC loss for self-supervised ASR domain adaptation
从特定领域进行高质量的数据标记是昂贵的，并且耗时。在这项工作中，我们提出了一个自我监督的领域自适应方法，基于迭代伪强制对齐算法。所产生的对齐被用于定制端到端自动语音识别（ASR）并迭代地细化。该算法由种子ASR产生的逐帧字符后验提供，用域外数据进行训练，并在整个连接主义时间分类（CTC）损失中进行优化。在广播电视的语料库上迭代地计算对准。通过减少要对齐的文本数量或扩大对齐窗口来重复该过程，直到找到最佳的音频-文本对齐。起始时间戳或时间锚是基于最后对齐的话语的置信度分数唯一地产生的。这个分数是用CTC比对矩阵的路径计算的。使用这种方法，不需要人工修改的文本参考。来自具有低质量透明度的长音频文件的对齐（如电视字幕）通过置信度分数过滤掉，并准备好进一步的ASR适配。在西班牙RTVE 2022和CommonVoice数据库上获得的结果支持了使用基于CTC的系统执行以下操作的可行性：高度准确的音频文本对齐、领域自适应和端到端ASR的半监督训练。
2023-01-15 cs.CL cs.SD eess.AS
Burst2Vec: An Adversarial Multi-Task Approach for Predicting Emotion, Age, and Origin from Vocal Bursts
我们提出了Burst 2 Vec，我们的多任务学习方法来预测情绪，年龄和起源（即，本民族/语言）从声音爆发。Burst 2 Vec利用预先训练的语音表示来从原始波形中捕获声学信息，并通过对抗训练引入模型去偏置的概念。我们的模型使用预提取的特征实现了比基线相对30%的性能增益，并在ICML ExVo 2022多任务挑战赛的所有参与者中得分最高。
2022-10-18 cs.CL cs.SD eess.AS
Repeat after me: Self-supervised learning of acoustic-to-articulatory mapping by vocal imitation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动化实验室）；Univ. Savoie Mont Blanc（萨瓦勃朗峰大学）；LPNC（认知神经科学实验室）
我们提出了一个计算模型的语音生产相结合的预先训练的神经发音合成器能够再现复杂的语音刺激从一组有限的可解释的发音参数，基于DNN的内部正向模型预测发音命令的感官后果，和内部逆模型的基础上恢复发音命令从声学语音输入的递归神经网络。前向和反向模型都是以自监督的方式从来自不同说话者的原始仅声学语音数据中联合训练的。仿真结果得到了客观和主观的评价，显示出令人鼓舞的效果。
2022-04-05 cs.CL cs.SD eess.AS
Generating EEG features from Acoustic features
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们展示了预测脑电图（EEG）的声学特征，使用递归神经网络（RNN）的回归模型和生成对抗网络（GAN）。我们预测各种类型的EEG特征的声学特征。我们比较我们的结果与以前研究的问题，使用EEG的语音合成，我们的结果表明，EEG功能可以产生较低的根均方误差（RMSE），归一化RMSE值相比，从EEG功能（即：语音合成使用EEG）测试时，使用相同的数据集的声学特征。
2020-03-19 cs.LG cs.SD eess.AS
Vector-quantized neural networks for acoustic unit discovery in the ZeroSpeech 2020 challenge
Stellenbosch University（斯泰伦博斯大学）
在本文中，我们探讨矢量量化的声学单位发现。利用未标记的数据，我们的目标是学习语音的离散表示，将语音内容与特定于说话者的细节分开。我们提出了两种神经模型来应对这一挑战-都使用矢量量化来将连续特征映射到有限的代码集。第一种模型是一种矢量量化变分自编码器（VQ-VAE）。VQ-VAE在重构音频波形之前将语音编码成离散单元的序列。我们的第二个模型结合了矢量量化与对比预测编码（VQ-CPC）。这个想法是通过预测未来的声学单元来学习语音的表示。我们在英语和印度尼西亚语数据上评估了ZeroSpeech 2020挑战的模型。在ABX手机识别测试中，这两款机型的表现都超过了2019年和2020年挑战赛的所有参赛作品，相对提高了30%以上。这些模型在下游语音转换任务上也具有竞争力。两者中，VQ-CPC总体上表现稍好，训练更简单、更快。最后，探测实验表明，矢量量化是一个有效的瓶颈，迫使模型丢弃说话人信息。
2020-08-19 cs.CL eess.AS
Predicting Affective Vocal Bursts with Finetuned wav2vec 2.0
从人类声音中预测情感状态的研究在很大程度上依赖于语音。这项研究，事实上，探讨了人类的情感状态的识别，从他们的声音爆发，一个简短的非语言发声。借鉴wav2vec 2.0最近的成功，我们评估了来自不同数据集的微调wav2vec 2.0模型，以预测说话者的情感状态。然后，在声音爆发数据上训练微调的wav2vec 2.0模型。结果表明，经过微调的wav2vec 2.0模型，特别是在情感语音数据集上，优于手工制作的声学特征的基线模型。然而，在非情感语音数据集和情感语音数据集上微调的模型之间没有大的差距。
2022-10-26 eess.AS
Predicting Sex and Stroke Success -- Computer-aided Player Grunt Analysis in Tennis Matches
University of Augsburg（奥格斯堡大学）；Imperial College London（帝国理工学院）
专业运动员越来越多地使用Meta和信号数据的自动分析来提高他们的训练和比赛表现。与其他相关的人对人研究领域一样，信号数据尤其包含用于自动分析的重要性能和情绪特定指标。在本文中，我们介绍了新的数据集SCORE！研究几个特征和机器学习范例在网球比赛中预测性别和即时击球成功率的性能，仅基于通过球员的咕噜声的声音表达。这些数据是从YouTube上收集的，并以完全相同的定义进行标记，并对音频进行建模处理。我们提取了音频样本的几个广泛使用的基本，专家知识和深层声学特征，并结合各种机器学习方法评估其有效性。在二进制设置中，最好的系统，使用频谱图和卷积递归神经网络，实现了球员性别预测任务的未加权平均召回率（UAR）为84.0%，预测击球成功率为60.3%，仅基于两种性别球员的咕噜声中的声学线索。此外，当模型只训练女性或男性咕噜声时，我们分别实现了58.3%和61.3%的UAR。
2022-02-18 cs.MM cs.SD eess.AS
Acoustic-to-Articulatory Speech Inversion Features for Mispronunciation Detection of /r/ in Child Speech Sound Disorders
针对成人训练的声学-发音语音逆转换系统在儿童临床发音检测中的效果不明确的问题，研究用该逆转换得到的声道变量训练分类器，检测儿童/r/音发音错误，性能达到或超过现有最优特征。
2023-05-25 eess.AS
Predicting EEG Responses to Attended Speech via Deep Neural Networks for Speech
Eriksholm Research Centre（埃里克肖尔姆研究中心）；Linköping University（林雪平大学）；University of Stuttgart（斯图加特大学）；Technical University of Denmark（丹麦技术大学）；Oticon A/S（奥迪康公司）
在多说话者环境中关注感兴趣的语音流可能是一项具有挑战性的任务，特别是对于有听力障碍的听众。研究表明，用脑电图（EEG）评估的神经反应受到听者听觉注意的调制，揭示了对被关注语音的选择性神经跟踪（NT）。NT方法主要依赖于手工设计的声学和语言语音特征来预测神经反应。直到最近，没有特定语言信息的深度神经网络（DNN）模型才被用于提取NT的语音特征，这表明分层DNN层中的语音特征可以预测整个听觉通路的神经反应。在这项研究中，我们进一步研究了类似的DNN模型对语音的适用性，以预测EEG中观察到的竞争语音的神经反应。我们使用64通道采集系统记录了17名听力正常的听众的EEG数据，这些听众被指示参加两个竞争性谈话者之一。我们的数据显示，DNN提取的语音特征比手工设计的声学特征更能预测EEG反应。此外，对分层DNN层的分析表明，早期的层产生了最高的预测。此外，我们发现使用DNN提取的语音特征比使用手工设计的声学特征在听觉注意力分类准确性上有显着提高。这些发现为开发新的NT措施以评估和进一步推进听力技术开辟了新的途径。
2023-02-27 cs.HC cs.SD eess.AS
Federated Self-Supervised Learning for Acoustic Event Classification
Massachusetts Institute of Technology（麻省理工学院）；Amazon.com Inc（亚马逊公司）
标准声学事件分类（AEC）解决方案需要从客户端设备大规模收集数据以进行模型优化。联邦学习（FL）是一个引人注目的框架，它将数据汇集和模型训练结合起来，以增强客户隐私。在这项工作中，我们调查的可行性，应用FL，以提高AEC性能，而没有客户数据可以直接上传到服务器。我们假设没有伪标签可以从设备上的用户输入中推断出来，与AEC的典型用例保持一致。我们将自监督学习适应于FL框架，用于表示的设备上持续学习，并且在没有标记/伪标记数据的情况下，它可以提高下游AEC分类器的性能。与基线w/o FL相比，该方法在保持召回率的同时，相对提高了准确率高达20.3%。我们的工作与FL之前的工作不同，因为我们的方法不需要用户生成的学习目标，我们使用的数据是从我们的Beta程序中收集的，并且是去识别的，以最大限度地模拟生产环境。
2022-03-22 cs.LG cs.SD eess.AS
Acoustic Field Reconstruction in Tubes via Physics-Informed Neural Networks
McGill University（麦吉尔大学）；Nagaoka University of Technology（长冈技术科学大学）
本研究针对辐射模型未知、观测数据有限含噪的声学管道逆问题，提出基于PINNs的声场重建框架及PINN-FTM辐射系数预测方法，验证了其在未知参数下的有效重建能力与优于传统方法的抗噪鲁棒性。
2025-05-18 cs.SD eess.AS eess.SP
ArtBoost: Synthetic Articulatory Data Augmentation for Acoustic-to-Articulatory Inversion
Anonymous 1（匿名机构1）
提出ArtBoost数据增强策略，利用大规模语音-网格数据集提取伪发音轨迹进行预训练，在有限EMA数据下提升声学到发音逆映射性能，PCC和RMSE一致改善。
2026-06-16 cs.AI cs.SD eess.AS
A data acquisition setup for data driven acoustic design
ETH Zurich（苏黎世联邦理工学院）；Swiss Data Science Center（瑞士数据科学中心）；Empa（瑞士联邦材料科学与技术研究所）
在本文中，我们提出了一种新的跨学科的方法来研究扩散表面结构和它们的声学性能之间的关系。使用计算设计，表面结构以1：10的模型比例迭代生成和3D打印。它们源自不同的制造类型，并且被设计成具有声学扩散和吸收效果。一个自动化的机器人过程通过在多个位置放置麦克风和扬声器来测量这些表面的脉冲响应。收集的数据有两个目的：第一，作为不同的时空声学场景的探索性目录，第二，作为使用机器学习预测数字设计的表面几何形状的声学响应的数据集。在本文中，我们提出了自动数据采集设置，数据处理和计算生成的扩散表面结构。我们描述了第一次测量面板的比较研究结果，并得出结论，未来的研究步骤。
2021-09-24 cs.LG cs.SD eess.AS
When Vocal Tone and Literal Meaning Diverge: An Acoustic-Semantic Incongruity Study for Large Audio-Language Models
The Fu Foundation School of Engineering and Applied Science, Columbia University（哥伦比亚大学富兰克林工程与应用科学学院）；School of Nursing, Columbia University（哥伦比亚大学护理学院）
本研究针对LALMs在语调与字面意义不一致场景下的表现问题，构建CREMA-ASIS数据集，经实验发现其受语义主导且难识别不一致，监督式微调可显著提升其性能。
2026-09-01 eess.AS
Speech Pre-training with Acoustic Piece
Microsoft Research Asia（微软亚洲研究院）
之前的语音预训练方法，例如wav2vec2.0和HuBERT，预训练Transformer编码器以从音频数据学习深度表示，目标是预测来自潜在向量量化空间的元素或使用离线聚类的预生成标签（称为目标代码）。然而，这些训练信号（量化元素或代码）在不同的令牌之间是独立的，而不考虑它们的关系。根据我们的观察和分析，目标代码与语音化文本数据有明显的模式。在此基础上，我们建议利用这些模式来更好地预训练模型，考虑代码之间的关系。我们提取的模式，称为“声学片段”，是从HuBERT码的句子片段结果中提取的。利用声学片段作为训练信号，我们可以隐式地桥接输入音频和自然语言，这有利于音频到文本任务，例如自动语音识别（ASR）。简单但有效，我们的方法“HuBERT-AP”在LibriSpeech ASR任务上的表现明显优于强基线。
2022-04-07 cs.SD eess.AS
Multi-Channel MOSRA: Mean Opinion Score and Room Acoustics Estimation Using Simulated Data and a Teacher Model
Logitech（罗技）
提出多通道MOSRA模型，利用模拟数据和教师模型并行预测五通道的MOS与室内声学参数，以更少计算量提升关键指标预测性能。
2024-03-13 cs.SD eess.AS
DeCoR: Defy Knowledge Forgetting by Predicting Earlier Audio Codes
Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
DeCoR通过从延迟码本预测量化索引来蒸馏早期模型知识，防止持续音频学习中的灾难性遗忘，提升声学场景分类精度且开销极小。
2023-05-29 cs.LG cs.SD eess.AS
Improving Pseudo-label Training For End-to-end Speech Recognition Using Gradient Mask
Bytedance AI Lab（字节跳动人工智能实验室）
在最近的半监督语音识别趋势中，自监督表示学习和伪标记都显示出有希望的结果。在本文中，我们提出了一种新的方法，结合他们的想法，端到端的语音识别模型。在没有任何额外损失函数的情况下，我们在伪标签上训练时使用梯度掩码来优化模型。该方法迫使语音识别模型从掩蔽输入进行预测，以学习强声学表示，并使训练对标签噪声具有鲁棒性。在我们的半监督实验中，该方法可以提高在伪标签上训练时的模型性能，并且在Librispeech 100小时实验中，与其他半监督方法相比，我们的方法取得了有竞争力的结果。
2021-10-08 cs.LG cs.SD eess.AS
Ultrasound-based Articulatory-to-Acoustic Mapping with WaveGlow Speech Synthesis
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（匈牙利科学院-厄特沃什·罗兰大学伦杜莱特语言发音研究组）；University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；Eötvös Loránd University（厄特沃什·罗兰大学）
对于使用深度神经网络的发音到声学映射，通常声码器的频谱和激励参数已被用作训练目标。然而，声码往往导致嗡嗡声和低沉的最终语音质量。因此，在这篇关于基于超声波的发音到声学转换的论文中，我们使用了一个基于流的神经声码器（WaveGlow），它在大量的英语和匈牙利语语音数据上进行了预训练。卷积神经网络的输入是超声舌图像。训练目标是80维梅尔频谱图，这导致比先前使用的25维梅尔广义倒谱更精细的详细频谱表示。根据超声到梅尔频谱图预测的输出，WaveGlow推断产生合成语音。我们比较拟议的基于WaveGlow的系统与连续声码器，它不使用严格的有声/无声的决定时，预测F0。结果表明，在发音声学映射实验中，WaveGlow神经声码器产生的合成语音比基线系统更自然。此外，WaveGlow的优点是F0包含在梅尔谱图表示中，并且不需要单独预测激发。
2020-08-06 cs.SD eess.AS
