Predicting phoneme-level prosody latents using AR and flow-based Prior Networks for expressive speech synthesis
Innoetics, Samsung Electronics（Innoetics，三星电子）；Mobile eXperience Business, Samsung Electronics（移动体验业务部门，三星电子）
大部分表达性语音合成文献集中于学习语音信号的韵律表示，然后在推理期间通过先验分布对所述韵律表示进行建模。在本文中，我们比较了不同的先验架构在预测音素级的韵律表示提取的无监督FVAE模型的任务。我们使用主观和客观的指标来表明，规范化的流量为基础的先验网络可以导致更有表现力的语音在质量略有下降的成本。此外，我们表明，合成语音具有较高的变异性，对于一个给定的文本，由于规范化流的性质。我们还提出了一个动态的VAE模型，可以产生更高质量的语音，虽然与基于流的模型相比，降低了表达性和可变性。
2022-11-02 cs.CL cs.LG cs.SD
Voice-Driven Mortality Prediction in Hospitalized Heart Failure Patients: A Machine Learning Approach Enhanced with Diagnostic Biomarkers
Istanbul Technical University（伊斯坦布尔理工大学）；Koç University（科克大学）；Kocaeli University（科贾埃利大学）
本研究针对缺乏标准化语音协议下心衰患者死亡率预测语音生物标志物的问题，构建了以语音为输入的逻辑回归ML模型预测住院心衰患者5年死亡率，结合NT-proBNP后预测准确性显著提升，为心衰管理提供了非侵入性新方案。
2024-08-14 cs.LG cs.SD eess.AS
Ensembling Multilingual Pre-Trained Models for Predicting Multi-Label Regression Emotion Share from Speech
National Institute of Advanced Industrial Science and Technology（日本产业技术综合研究所）
本文提出用集成学习融合多语言预训练模型，从英语和西班牙语语音中预测情绪占比，在测试集上取得0.537的Spearman秩相关系数，优于单语言融合方法。
2023-09-20 cs.SD eess.AS eess.SP
Predicting Individual Depression Symptoms from Acoustic Features During Speech
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；Nova Scotia Health（新斯科舍省健康局）
针对现有自动抑郁检测系统未基于临床量表单项症状预测的问题，该研究首次利用语音声学特征，结合CNN、LSTM及多种时序上下文学习方法、投票方案，实现抑郁量表单项条目预测，还配套了动态可视化示例。
2024-06-23 cs.AI cs.LG cs.SD
Predicting interviewee attitude and body language from speech descriptors
National Police, Israel（以色列国家警察）；Tel Hai College, Israel（以色列特尔海学院）
本研究旨在探讨个人印象与受访员工所传达的声音非语言沟通之间的关系。首先，我们调查了在何种程度上不同的谈话主题解决在采访中引起的变化，受访者的声学参数。接下来，我们试图预测观察和自我评估的态度和身体语言的受访者的基础上的声学数据。结果表明，话题性导致了声学参数统计的显著偏差，但由于声学属性固有的冗余性，基于被访者的声学非语言交流预测其个人感知的能力相对独立于话题性。我们的研究结果表明，联合建模的语音和视觉线索可能会提高受访者的个人资料的评估。
2017-09-25 cs.SD eess.AS
Causal Speech Enhancement with Predicting Semantics based on Quantized Self-supervised Learning Features
The University of Tokyo（东京大学）
本文首次将因果自监督学习特征引入语音增强模型，通过向量量化表示语义令牌，并在多任务学习中预测未来语义令牌，在VoiceBank + DEMAND数据集上取得PESQ 2.88，验证了语义预测对因果语音增强的重要性。
2024-12-26 cs.SD eess.AS
Explaining Deep Learning Embeddings for Speech Emotion Recognition by Predicting Interpretable Acoustic Features
Carnegie Mellon University（卡内基梅隆大学）；Harvard University（哈佛大学）；McGovern Institute（麦戈文研究所）；Massachusetts Institute of Technology (MIT)（麻省理工学院）
针对语音情感识别中深度学习嵌入可解释性不足的问题，提出改进探测方法，通过重要维度子集的声学特征预测能力推断关键特征，实验验证了四类声学特征的信息量排序及方法效用。
2024-09-14 cs.AI cs.SD eess.AS
Predicting within and across language phoneme recognition performance of self-supervised learning speech pre-trained models
Delft University of Technology（代尔夫特理工大学）
在这项工作中，我们分析和比较了从不同的冻结自监督学习（SSL）语音预训练模型中提取的语音表示，这些模型捕获发音特征（AF）信息的能力以及随后对语言场景内和跨语言场景的电话识别性能的预测。具体来说，我们比较了CPC，wav2vec 2.0和HuBert。首先，实现帧级AF探测任务。随后，实现了音素识别任务的音素级端到端ASR系统，并将帧级AF探测任务的性能与音素准确性相关联。与传统的语音表示MFCC相比，所有SSL预训练的语音表示都捕获了更多的AF信息，并在语言内和跨语言实现了更好的音素识别性能，其中HuBert表现最好。帧级AF探测任务是音素识别性能的一个很好的预测器，显示了在语音表示中捕获AF信息的重要性。与MFCC相比，在语言内场景中，这些SSL语音预训练模型在AF探测任务上的性能实现了最大34.4%的相对提高，并导致最低的PER为10.2%。在跨语言情景中，26.7%的最大相对增长也导致了23.0%的最低PER。
2022-06-24 cs.SD eess.AS
Predicting Different Acoustic Features from EEG and towards direct synthesis of Audio Waveform from EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在[1，2]中，作者提供了从脑电图（EEG）特征合成语音的初步结果，其中他们首先从EEG特征预测声学特征，然后使用griffin lim重建算法从预测的声学特征重建语音。在本文中，我们首先介绍了一种深度学习模型，该模型将原始EEG波形信号作为输入，并直接产生音频波形作为输出。然后，我们展示了从EEG特征预测16种不同的声学特征。在本文中，我们展示了我们的研究结果为口语和听力条件。本文提出的结果显示了不同的声学特征是如何与非侵入性的神经脑电信号记录在语音感知和生产。
2020-05-29 cs.LG cs.SD eess.AS
GEDI: Gammachirp Envelope Distortion Index for Predicting Intelligibility of Enhanced Speech
Wakayama University（和歌山大学）；NTT Communication Science Laboratories（NTT通信科学基础研究所）
在这项研究中，我们提出了一个新的概念，伽玛包络失真指数（GEDI）的基础上的信号失真比在听觉包络，SDRenv预测的可懂度的非线性算法增强的语音。GEDI的目的是计算增强和干净的语音表示在域中的时间包络提取的伽马线性听觉滤波器组和调制滤波器组之间的失真。我们还扩展了GEDI与多分辨率分析（MR-GEDI）预测语音清晰度的声音在非平稳噪声条件下。我们评估GEDI的语音清晰度预测的语音增强的经典谱减法和维纳滤波方法。的预测与人类的结果进行比较，为各种信号噪声比的条件下添加剂粉红色和多路重合噪声。结果表明，在粉红噪声条件下，mr-GEDI对可懂度曲线的预测效果优于短时客观可懂度（STOI）、扩展STOI（ESTOI）和助听器言语感知指数（HASPI），在串音噪声条件下优于HASPI。mr-GEDI方法不存在高估趋势，被认为是比STOI和ESTOI更保守的方法。因此，使用mr-GEDI的评估可以为语音增强算法的开发提供额外的信息。
2020-07-19 cs.SD eess.AS
Selection of Layers from Self-supervised Learning Models for Predicting Mean-Opinion-Score of Speech
HCLTech AB（HCL科技公司）；Google LLC（谷歌公司）；School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology（电气工程与计算机科学学院，皇家理工学院）
本研究系统评估了Wav2Vec2等自监督学习模型不同层特征在预测语音平均主观评分（MOS）中的表现，发现早期层特征优于或匹配最后一层，从而显著提升预测性能并降低系统复杂性。
2025-08-12 cs.SD eess.AS
Predicting non-native speech perception using the Perceptual Assimilation Model and state-of-the-art acoustic models
ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（社会科学高等学院）；INRIA（法国国家信息与自动化研究所）；University of Paris（巴黎大学）；University of Toronto（多伦多大学）
我们的母语影响我们感知语音的方式，影响我们辨别非母语声音的能力。我们比较了两个想法的影响，母语的语音感知：感知同化模型，呼吁到本地音素类别的声音的心理分类，与丰富的，细粒度的语音表示调谐到统计的母语的想法，是足够的。我们操作这个想法使用两个国家的最先进的语音模型，狄利克雷过程高斯混合模型和最近的wav2vec 2.0模型表示。我们提出了一个新的，开放的数据集，讲法语和英语的参与者的语音感知行为的61个元音的声音从六种语言。我们发现，音素同化是一个更好的预测比细粒度的语音建模，无论是作为一个整体的歧视行为，并预测与母语背景的差异相关的可辨别性的差异。我们还表明，wav2vec 2.0，而不是善于捕捉母语对语音感知的影响，是补充信息的母语音素同化，并提供了一个很好的模型，低层次的语音表示，支持的想法，即分类和细粒度的感知过程中使用的语音感知。
2022-05-31 cs.CL cs.SD eess.AS
Predicting EEG Responses to Attended Speech via Deep Neural Networks for Speech
Eriksholm Research Centre（埃里克肖尔姆研究中心）；Linköping University（林雪平大学）；University of Stuttgart（斯图加特大学）；Technical University of Denmark（丹麦技术大学）；Oticon A/S（奥迪康公司）
在多说话者环境中关注感兴趣的语音流可能是一项具有挑战性的任务，特别是对于有听力障碍的听众。研究表明，用脑电图（EEG）评估的神经反应受到听者听觉注意的调制，揭示了对被关注语音的选择性神经跟踪（NT）。NT方法主要依赖于手工设计的声学和语言语音特征来预测神经反应。直到最近，没有特定语言信息的深度神经网络（DNN）模型才被用于提取NT的语音特征，这表明分层DNN层中的语音特征可以预测整个听觉通路的神经反应。在这项研究中，我们进一步研究了类似的DNN模型对语音的适用性，以预测EEG中观察到的竞争语音的神经反应。我们使用64通道采集系统记录了17名听力正常的听众的EEG数据，这些听众被指示参加两个竞争性谈话者之一。我们的数据显示，DNN提取的语音特征比手工设计的声学特征更能预测EEG反应。此外，对分层DNN层的分析表明，早期的层产生了最高的预测。此外，我们发现使用DNN提取的语音特征比使用手工设计的声学特征在听觉注意力分类准确性上有显着提高。这些发现为开发新的NT措施以评估和进一步推进听力技术开辟了新的途径。
2023-02-27 cs.HC cs.SD eess.AS
DeepGESI: A Non-Intrusive Objective Evaluation Model for Predicting Speech Intelligibility in Hearing-Impaired Listeners
Wakayama University（白川大学）
DeepGESI是一种非侵入式深度学习模型，可高效预测听力受损听众的语音可懂性，无需参考语音，且预测速度快。
2025-12-22 cs.SD
Predicting score distribution to improve non-intrusive speech quality estimation
Microsoft Research（微软研究院）
深度噪声抑制器（DNS）已经成为从语音中去除背景噪声、混响和失真的有吸引力的解决方案，并且广泛用于电话/语音应用中。它们偶尔也容易引入伪像并降低语音的感知质量。主观听力测试使用多个人类法官来得出平均意见得分（MOS），这是衡量这些模型性能的一种流行方法。基于深度神经网络的非侵入式MOS估计模型最近已成为这些测试的流行的成本效益替代方案。这些模型仅使用MOS标签进行训练，通常会丢弃意见分数的次要统计数据。在本文中，我们研究了几种方法来整合的意见分数（如方差，直方图信息）的分布，以提高MOS估计性能。我们的模型在419 K去噪样本的语料库上进行了训练，使用了320种不同的DNS模型和模型变体，并在DNSMOS的18 K测试样本上进行了评估。我们表明，一个单一的任务MOS估计管道非常小的修改，这些免费提供的标签可以提供高达0.016 RMSE和1%的SRCC的改善。
2022-04-13 cs.SD eess.AS
Predicting speech intelligibility from EEG in a non-linear classification paradigm
KU Leuven（鲁汶大学）
目的：目前，只有行为言语理解测试，这需要被测者的积极参与。由于这对某些人群是不可行的，因此需要对语音清晰度进行客观测量。最近，脑成像数据已被用于建立刺激和大脑反应之间的关系。线性模型已经成功地与语音清晰度联系起来，但需要每个主题的训练。我们提出了一个基于深度学习的模型，该模型结合了在匹配/不匹配范式中运行的扩张卷积。模型的匹配/不匹配预测的准确性可以用作语音清晰度的代理，而无需特定于主题的（重新）训练。方法：我们评估了该模型的性能作为输入段长度，EEG频段和感受野大小的函数，同时将其与多个基线模型进行比较。接下来，我们评估了保留数据和微调的性能。最后，我们在模型的准确性和最先进的行为矩阵测试之间建立了联系。主要结果：对于每个输入段长度、除delta和theta带外的所有EEG频段以及250至500 ms之间的感受野大小，扩张卷积模型的性能均显著优于基线模型。此外，微调显著提高了保留数据集的准确性。最后，一个显着的相关性（r=0.59，p=0.0154）被发现之间的言语接收阈值估计使用的行为矩阵测试和我们的客观方法。重要性：我们的方法是第一个预测的语音接收阈值从EEG看不见的主题，有助于语音清晰度的客观措施。
2021-10-25 cs.LG cs.SD eess.AS
A Multi-decoder Neural Tracking Method for Accurately Predicting Speech Intelligibility
ExpORL, Dept. of Neurosciences, KU Leuven（ExpORL神经科学系，鲁文大学）
本研究提出多解码器神经跟踪方法，通过EEG数据预测语音可懂度，提高无法进行行为测试群体的评估准确性。
2026-02-03 cs.SD eess.SP
SEGAA: A Unified Approach to Predicting Age, Gender, and Emotion in Speech
School of Computer Science and Engineering（计算机科学与工程学院）；Vellore Institute of Technology（韦洛尔理工学院）；School of Electronics Engineering（电子工程学院）；Voice Intelligence Group（语音智能集团）；Samsung R&D Institute（三星研发研究院）
本文提出 SEGAA 多输出学习架构，基于合并的 CREMA-D 与 EMO-DB 同时预测语音中的年龄、性别和情感，在保持与独立模型相当性能的同时提升运行效率。
2024-03-01 cs.AI cs.CL cs.LG
A Pyramid Recurrent Network for Predicting Crowdsourced Speech-Quality Ratings of Real-World Signals
Indiana University（印第安纳大学）
客观语音质量测量的真实世界能力是有限的，因为当前的测量（1）是从模拟数据开发的，不能充分模拟真实环境;或者它们（2）预测的客观分数并不总是与主观评级强烈相关。此外，目前还不存在具有收听者质量评级的真实世界信号的大型数据集，这将有助于促进真实世界的评估。在本文中，我们收集和预测由人类听众评估的真实世界语音信号的感知质量。我们首先通过对两个真实语料库进行众包听力研究来收集大型质量评级数据集。我们进一步开发了一种新的方法，预测人类的质量评级使用金字塔双向长短期记忆（pBLSTM）网络与注意力机制。结果表明，该模型实现了统计上较低的估计误差比以前的评估方法，其中预测的分数与人类的判断强烈相关。
2020-07-31 cs.CL cs.LG cs.MM
ML-Based Analysis to Identify Speech Features Relevant in Predicting Alzheimer's Disease
BITS Pilani K K Birla Goa Campus（BITS Pilani K K Birla 果阿校区）
阿尔茨海默病（AD）是一种神经退行性疾病，影响全球近5000万人，是全球主要死亡原因之一。预计到2050年，受该疾病影响的人数将增加一倍以上。因此，技术的不断进步提出了一个问题，技术可以用来预测阿尔茨海默氏症，以便更好地早期诊断吗？在本文中，我们专注于这个问题。具体来说，我们已经训练了ML模型和神经网络，以根据参与者的语音模式对其进行预测和分类。我们使用DementiaBank的Pitt语料库计算了一些语言变量，该数据库由患有多种神经退行性疾病的受试者的访谈记录组成。然后，我们训练了二元分类器和多类分类器，以区分AD与正常衰老和其他神经退行性疾病。我们还致力于建立特定语言因素之间的联系，这些因素可以帮助确定AD的发病。混淆矩阵和特征重要性图已绘制模型明智的比较我们的模型的性能。在多类和二分类中，神经网络的测试准确率分别为76.44%和92.05%，优于其他模型。在特征重要性方面，我们认为“%_PRESP”（现在分词）和“%_3S”（第三人称现在时标记）是我们的分类器在预测AD时最重要的两个语音特征。
2021-10-25 cs.LG cs.SD eess.AS
Predicting Expressive Speaking Style From Text In End-To-End Speech Synthesis
Google, Inc.（谷歌公司）
全局样式令牌（GST）是最近提出的一种学习高维数据的潜在解纠缠表示的方法。GST可以在Tacotron（一种最先进的端到端文本到语音合成系统）中使用，以揭示说话风格变化的表达因素。在这项工作中，我们介绍了文本预测的全球风格令牌（TP-GST）的架构，将GST组合权重或风格嵌入作为“虚拟”的Tacotron内的说话风格标签。TP-GST学习仅从文本中预测风格渲染，在训练过程中既不需要显式标签，也不需要辅助输入进行推理。我们表明，当在表达性语音数据集上进行训练时，我们的系统生成的音频比两个最先进的基线模型具有更多的音高和能量变化。我们进一步证明，TP-GST可以合成语音与背景噪声去除，并证实这些分析与人类额定的听众偏好有声读物任务的积极结果。最后，我们证明了多说话人TP-GST模型成功地分解了说话人身份和说话风格。我们为每个发现提供了一个音频样本的网站。
2018-08-04 cs.CL cs.LG cs.SD
PersonaTAB: Predicting Personality Traits using Textual, Acoustic, and Behavioral Cues in Fully-Duplex Speech Dialogs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Nanjing University, Suzhou（南京大学（苏州））；National University of Singapore（新加坡国立大学）；School of Data Science（数据科学学院）；School of Intelligence Science and Technology（智能科学与技术学院）；Department of ECE（电子与计算机工程系）
针对语音对话数据集缺乏人格标注导致人格感知对话智能体研究不足的问题，提出PersonaTAB流水线方法构建带多维度标注的对话数据集，设计基于大语言模型的对话人格预测系统，经人类评估验证其与人类判断的一致性优于现有方法。
2025-05-20 cs.CL cs.SD eess.AS
Advancing Speech Synthesis using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们介绍了注意力回归模型，以证明预测从脑电图（EEG）的功能记录在平行的口语句子的声学特征。首先，我们展示了使用我们的注意力模型直接从EEG特征预测声学特征，然后我们展示了使用两步方法从EEG特征预测声学特征，在第一步中，我们使用我们的注意力模型从EEG特征预测发音特征，然后在第二步中，训练另一个注意力回归模型将预测的发音特征转换为声学特征。我们提出的注意力回归模型与作者在[1]中介绍的回归模型相比，在测试期间使用他们的数据集对大多数受试者进行测试时，表现出优越的性能。本文提出的结果进一步推进了作者在[1]中描述的工作。
2020-05-03 cs.LG cs.SD eess.AS
An Improved Model for Voicing Silent Speech
University of California, Berkeley（加州大学伯克利分校）
在本文中，我们提出了一个改进的模型，为无声的语音发声，其中音频合成从面部肌电图（EMG）信号。为了使我们的模型更灵活地学习自己的输入功能，我们直接使用EMG信号作为输入，代替先前工作中使用的手工设计功能。我们的模型使用卷积层从信号中提取特征，使用Transformer层在更长的距离上传播信息。为了提供更好的学习信号，除了预测语音音频特征外，我们还引入了预测音素标签的辅助任务。在一个开放的词汇可懂度评估，我们的模型提高了绝对25.8%的这项任务的最先进的。
2021-06-21 cs.CL cs.LG cs.SD
Exploring Finetuned Audio-LLM on Heart Murmur Features
Columbia University（哥伦比亚大学）
本研究微调音频大语言模型Qwen2-Audio于心音数据集，分类11种杂音特征，在8项上超越现有方法，并成功识别长尾特征，展现其辅助心脏病诊断的潜力。
2025-01-23 cs.AI cs.SD eess.AS
Self-supervised Context-aware Style Representation for Expressive Speech Synthesis
Microsoft（微软）
表达性语音合成与有声读物合成一样，对于风格表示学习和预测仍然具有挑战性。从参考音频中推导或从文本中预测风格标签需要大量的标记数据，这些数据获取成本高，并且难以准确定义和注释。在本文中，我们提出了一个新的框架，学习风格表示丰富的纯文本中的自我监督的方式。它利用情感词典并使用对比学习和深度聚类。我们进一步集成的风格表示作为一个条件嵌入多风格的Transformer TTS。与通过预测在相同数据集上训练但具有人类注释的风格标签的多风格TTS相比，我们的方法根据对有声读物语音中的域内和域外测试集的主观评价来实现改进的结果。此外，通过隐式上下文感知风格表示，合成音频在长段落中的情感过渡显得更自然。音频示例可在演示网站上获得。
2022-06-25 cs.AI cs.CL cs.SD
Empirical Study Incorporating Linguistic Knowledge on Filled Pauses for Personalized Spontaneous Speech Synthesis
The University of Tokyo（东京大学）
本文通过实证研究探讨个性化自发语音合成中的填充停顿问题，提出结合非个性化外部填充停顿预测器的合成方法，揭示填充停顿位置与词语分别影响自然度和个体性的关键规律。
2023-09-19 cs.CL cs.SD eess.AS
Unsupervised Accent Adaptation Through Masked Language Model Correction Of Discrete Self-Supervised Speech Units
KU Leuven Department Electrical Engineering ESAT-PSI, Leuven, Belgium
本文提出一种无监督口音自适应方法，利用掩码语言模型校正离散语音单元，并通过小型适配器微调预训练模型，从而提升HuBERT Large在带口音语音识别上的鲁棒性。
2023-09-25 cs.SD eess.AS
Multi-speaker Multi-style Text-to-speech Synthesis With Single-speaker Single-style Training Data Scenarios
Northwestern Polytechnical University（西北工业大学）；Meituan-Dianping Group（美团点评集团）
在现有的跨说话人风格传递任务中，需要具有多风格录音的源说话人来为目标说话人提供风格。然而，一个演讲者很难表达所有预期的风格。在本文中，一个更一般的任务，这是产生表达语音的任何风格和音色的组合从多说话人语料库中，每个扬声器有一个独特的风格，提出。为了实现这一任务，提出了一种新的方法。该方法是一个基于Tacotron 2的框架，但具有细粒度的基于文本的韵律预测模块和说话人身份控制器。实验表明，该方法可以成功地表达一个说话人的风格与木材的另一个说话人绕过依赖于单个说话人的多风格语料库。此外，韵律预测模块中使用的显式韵律特征可以通过调整韵律特征的值来增加合成语音的多样性。
2021-12-23 cs.SD eess.AS
Predicting lexical skills from oral reading with acoustic measures
System Platform Research Laboratories, NEC Corporation（NEC公司系统平台研究实验室）
识字评估是全球教育管理人员的一项重要活动。它通常在学校环境中通过测试孩子的口语阅读来实现，它是人力资源密集型的。虽然自动语音识别（ASR）是该问题的潜在解决方案，但是除了需要用于训练的语言和口音特定的语音之外，它对于手持设备而言往往在计算上是昂贵的。在这项工作中，我们提出了一个系统来预测一个学生的单词解码技能的基础上简单的声学特征来自录音。我们首先确定一个有意义的分类词解码技能通过分析手动转录的数据集儿童的口头阅读录音。接下来，尝试用所提出的声学特征自动预测类别。语音统计，音节率和频谱和强度动态被认为是可靠的指标的特定类型的口语阅读缺陷，提供有用的反馈，通过区分不同的特点开始读者。这种计算简单和语言不可知的方法被发现提供的性能接近使用语言相关的ASR，需要相当大的调整其参数。
2021-12-01 cs.SD eess.AS eess.SP
Non-Intrusive Binaural Speech Intelligibility Prediction from Discrete Latent Representations
Durham University（杜伦大学）；OFFIS e.V. Institute for Information Technology（奥菲斯信息技术研究所）
从双耳信号的非侵入式语音可懂度（SI）预测在许多应用中是有用的。然而，大多数现有的基于信号的测量被设计为应用于单通道信号。专门设计用于考虑信号的双耳特性的措施通常是侵入性的-其特征在于需要访问干净的语音信号-并且通常依赖于在进行预测之前将两个声道组合成单声道信号。本文提出了一种非侵入性的SI措施，计算从一个双耳输入信号的特征，使用矢量量化（VQ）和对比预测编码（CPC）的方法相结合。VQ-CPC特征提取不依赖于听觉系统的任何模型，而是被训练以最大化输入信号和输出特征之间的互信息。计算的VQ-CPC特征被输入到由神经网络参数化的预测函数。本文考虑了两个预测函数。特征提取器和预测函数都在具有各向同性噪声的模拟双耳信号上训练。他们进行了测试与各向同性和真实噪声的模拟信号。对于所有信号，地面实况分数是（侵入式）确定性双耳ST 0 I。结果的相关性和MSE方面，并表明，VQ-CPC功能能够捕获相关的建模SI和优于所有考虑的基准-即使在评估的数据，包括不同的噪声场类型。
2022-03-21 cs.LG cs.SD eess.AS
SG-VAD: Stochastic Gates Based Speech Activity Detection
Bar-Ilan University（巴伊兰大学）
我们提出了一种新的语音活动检测（VAD）模型在低资源环境中。我们的主要思想是将VAD建模为去噪任务，并构建一个旨在识别语音分类任务的滋扰特征的网络。我们训练模型，以同时识别不相关的功能，同时预测语音事件的类型。我们的模型仅包含7.8K参数，在AVA-Speech评估集上优于先前提出的方法，并在HAVIC数据集上提供了比较结果。我们提出了它的架构，实验结果，和烧蚀研究模型的组成部分。我们在这里发布代码和模型https://www.github.com/jsvir/vad。
2022-10-28 cs.SD eess.AS
The VoiceMOS Challenge 2022
Nagoya University（名古屋大学）；National Institute of Informatics（国立信息学研究所）；Academia Sinica（中央研究院）
我们提出了第一版的VoiceMOS挑战赛，一个科学的事件，旨在促进自动预测的平均意见得分（MOS）的合成语音的研究。这项挑战吸引了来自学术界和工业界的22个参与团队，他们尝试了各种方法来解决预测人工合成语音评级的问题。挑战赛主赛道的听力测试数据由来自187个不同的文本到语音和语音转换系统的样本组成，这些系统跨越了十年的研究，域外赛道由来自最近的系统的数据组成，这些系统在单独的听力测试中进行了评级。挑战的结果显示了微调自监督语音模型对MOS预测任务的有效性，以及预测看不见的扬声器和听众的MOS评级的困难，以及在域外设置中看不见的系统。
2022-07-04 cs.SD eess.AS
Speech Summarization using Restricted Self-Attention
Carnegie Mellon University（卡内基梅隆大学）
语音摘要通常通过使用级联的语音识别和文本摘要模型来执行。语音摘要模型的端到端建模是具有挑战性的，这是由于长输入音频序列引起的存储器和计算约束。最近在文档摘要方面的工作启发了一些方法来降低自我关注的复杂性，这使得Transformer模型能够处理长序列。在这项工作中，我们介绍了一个单一的模型优化端到端的语音摘要。我们将限制性自注意技术从基于文本的模型应用到语音模型，以解决内存和计算限制。我们证明，该模型学习直接总结语音教学视频的How-2语料库。所提出的端到端模型优于先前提出的级联模型3点绝对的ROUGE。此外，我们认为口语语言理解任务预测概念从语音输入，并表明所提出的端到端模型优于级联模型的4点绝对F-1。
2022-01-24 cs.AI cs.CL cs.SD
Predicting Turn-Taking Outcomes in Multi-Party Conversation: Interpretable Modelling of Speech and Gaze Dynamics with Interpersonal Closeness
Research & Exploration, GN Store Nord（GN Store Nord 研究与探索部门）；Aalborg University（奥尔堡大学）；Technical University of Denmark（丹麦技术大学）
本研究结合GaMMA语料库，用含注视、语音及人际亲密度特征的逻辑回归模型预测四人对话话轮转换结果，发现注视特征与响度结合可提升抗噪预测性能。
2026-08-31 cs.CL cs.SD
Dropout Regularization for Self-Supervised Learning of Transformer Encoder Speech Representation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
预测改变的声学帧是语音表示的自监督学习的一种有效方法。然而，防止预训练模型过度拟合是一个挑战。本文提出在Transformer编码器的预训练中引入两种dropout正则化方法：（1）注意力dropout，（2）层dropout。这两种dropout方法都鼓励模型利用全局语音信息，避免在重构掩蔽帧时只复制局部频谱特征。我们在音素分类和说话人识别任务上评估了所提出的方法。实验结果表明，我们的dropout方法取得了有竞争力的结果，并提高了下游任务的分类精度。
2021-07-09 cs.SD eess.AS
AdaTranS: Adapting with Boundary-based Shrinking for End-to-End Speech Translation
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
为了缓解端到端语音翻译中的数据稀缺问题，对语音识别和机器翻译的数据进行预训练被认为是一项重要的技术。然而，语音和文本之间的模态差距阻碍了ST模型从预训练模型有效地继承知识。在这项工作中，我们提出了AdaTransS端到端ST。它适应语音特征与一个新的收缩机制，以减轻语音和文本特征之间的长度不匹配预测词的边界。在MUST-C数据集上的实验表明，AdaTransS比其他基于收缩的方法具有更高的推理速度和更低的内存占用率。进一步的实验还表明，AdaTransS可以配备额外的对齐损失，以进一步提高性能。
2022-12-17 cs.CL cs.SD eess.AS
I Know Your Feelings Before You Do: Predicting Future Affective Reactions in Human-Computer Dialogue
University of Edinburgh（爱丁堡大学）；Kyoto University（京都大学）；Monash University（莫纳什大学）；Osaka University（大阪大学）；RIKEN（理化学研究所）；ATR（ATR机构）
针对语音对话系统被动响应的问题，提出一种未来预测架构，通过分析情绪与对话行为的时间及因果关系，预测用户未来情绪和笑声，实现预期性交互。
2024-12-18 cs.HC cs.RO cs.SD
Self-Supervised Embeddings for Detecting Individual Symptoms of Depression
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；McMaster University（麦克马斯特大学）；Nova Scotia Health（新斯科舍卫生机构）
本研究利用基于自监督学习的语音模型提取SSL嵌入，不仅预测抑郁症严重程度，还识别个体症状，并发现其优于常规特征，同时验证了多任务学习的重要性。
2024-06-25 cs.LG cs.SD eess.AS
Hierarchical Prosody Modeling for Non-Autoregressive Speech Synthesis
National Taiwan University（台湾大学）；College of Electrical Engineering and Computer Science, National Taiwan University（台湾大学电机资讯学院）
韵律建模是现代文语转换（TTS）框架的重要组成部分。通过显式地提供韵律特征的TTS模型，合成的话语的风格，从而可以控制。然而，在推理时预测自然和合理的韵律是具有挑战性的。在这项工作中，我们分析了非自回归TTS模型在不同的韵律建模设置下的行为，并提出了一个层次结构，其中音素级韵律特征的预测是以词级韵律特征为条件的。该方法优于其他竞争对手的音频质量和韵律自然度在我们的客观和主观评价。
2021-05-01 cs.LG cs.SD eess.AS
Improving EEG based Continuous Speech Recognition
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们介绍了各种技术，以提高性能的脑电图（EEG）特征为基础的连续语音识别（CSR）系统。实现了一个基于连接主义时态分类（CTC）的自动语音识别（ASR）系统。我们引入了一些技术，用更有意义的权重而不是随机权重来初始化CTC模型的编码器中的递归层的权重，并且我们使用外部语言模型来改进解码时的波束搜索。本文最后研究了从脑电特征中预测发音特征的问题。
2019-12-24 cs.LG cs.SD eess.AS
Speaker Adaptation for Attention-Based End-to-End Speech Recognition
Microsoft Corporation（微软公司）
我们提出了三种基于正则化的说话人自适应方法，以适应基于注意力的编码器-解码器（AED）模型与非常有限的适应数据从目标说话人的端到端自动语音识别。第一种方法是Kullback-Leibler发散（KLD）正则化，其中通过将KLD正则化添加到自适应标准中，迫使说话者相关（SD）AED的输出分布接近说话者无关（SI）模型的输出分布。为了弥补KLD正则化中的不对称缺陷，提出了一种对抗性说话人自适应（ASA）方法，通过辅助学习器和SD AED的对抗性学习来正则化SD AED的深度特征分布.第三种方法是多任务学习，其中SD AED被训练为联合执行预测大量输出单元的主要任务和预测少量输出单元的辅助任务，以减轻目标稀疏性问题。微软短消息听写任务的评估，所有三种方法都非常有效地适应AED模型，实现了高达12.2%和3.0%的字出错率改善超过一个SI AED训练从3400小时的数据，分别为监督和无监督的适应。
2019-11-09 cs.CL cs.LG cs.SD
Robust Federated Learning Against Adversarial Attacks for Speech Emotion Recognition
Imperial College London（伦敦帝国理工学院）；Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）；University of Augsburg（奥格斯堡大学）
由于机器学习和语音处理的发展，语音情感识别成为近年来的研究热点。然而，在语音情感识别的物联网应用中，语音数据在服务器上上传和处理时无法得到保护。此外，深度神经网络已被证明易受人类无法区分的对抗性扰动的影响。由扰动产生的对抗攻击可能导致深度神经网络错误地预测情绪状态。我们提出了一种新的联邦对抗学习框架，用于保护数据和深度神经网络。拟议的框架包括：i）用于数据隐私的联邦学习，以及ii）用于模型鲁棒性的训练阶段的对抗训练和测试阶段的随机化。实验结果表明，该框架能够有效地保护语音数据的局部安全，提高模型对一系列对抗攻击的鲁棒性。
2022-03-09 cs.LG cs.SD eess.AS
Vocal Prognostic Digital Biomarkers in Monitoring Chronic Heart Failure: A Longitudinal Observational Study
Centre for Digital Health Interventions, ETH Zurich（苏黎世联邦理工学院数字健康干预中心）；Agentic System Lab, ETH Zurich（苏黎世联邦理工学院代理系统实验室）；Cardiology, University Heart Center Zurich, University Hospital Zurich（苏黎世大学医院心脏中心心脏病学）；Center for Laryngeal Surgery and Voice Rehabilitation, Massachusetts General Hospital（麻省总医院喉外科与嗓音康复中心）；Department of Surgery, Harvard Medical School（哈佛医学院外科学系）；Speech and Hearing Bioscience and Technology, Division of Medical Sciences, Harvard Medical School（哈佛医学院医学科学部言语与听觉生物科学与技术）；MGH Institute of Health Professions（麻省总医院健康职业学院）；Centre for Digital Health Interventions, University of St. Gallen（圣加仑大学数字健康干预中心）
本研究通过分析声音特征，探讨其在预测慢性心力衰竭患者健康恶化的潜力，发现声音特征在预测健康状况方面具有较高准确性。
2026-03-31 cs.LG cs.SD
