Noise Robust Speech Recognition Using Multi-Channel Based Channel Selection And ChannelWeighting
Nagaoka University of Technology(长冈技术科学大学);Nanyang Technological University(南洋理工大学)
本文研究了噪声环境下用于鲁棒自动语音识别(ASR)的几种麦克风通道选择和加权方法。对于信道选择,我们分别研究了基于最大似然(ML)准则和最小自编码器重构准则的两种方法。对于通道加权,我们产生增强的对数梅尔滤波器组系数作为所有通道的系数的加权和。信道权值的估计采用带约束的最大似然准则。我们在CHiME-3噪声ASR任务上评估了所提出的方法。实验表明,信道加权由于其更高的灵活性,显著优于信道选择。此外,在不同通道具有不同目标信号增益的真实测试数据上,通道加权方法的性能与MVDR波束成形相同或更好,尽管通道加权没有利用通常用于波束成形的相位延迟信息。
2016-04-12 cs.MM cs.SD
Robust Raw Waveform Speech Recognition Using Relevance Weighted Representations
Indian Institute of Science(印度科学研究所)
在噪声和信道失真的情况下的语音识别通常是具有挑战性的,因为当前的声学建模方案不适应于在存在噪声的情况下信号分布的变化。在这项工作中,我们开发了一种新的声学建模框架噪声鲁棒语音识别的基础上相关加权机制。使用子网络方法执行特征选择来实现相关性加权。在对原始语音信号进行操作的卷积网络模型的第一层的输出上应用相关子网络,而在第二卷积层输出上应用第二相关子网络。第一层的相关性权重对应于声学滤波器组选择,而第二层中的相关性权重执行调制滤波器选择。该模型被训练用于对有噪声和混响语音的语音识别任务。在多个数据集(Aurora-4、CHiME-3、VOiCES)上的语音识别实验表明,在神经网络架构中结合相关性加权显著改善了语音识别单词错误率(相对于基线系统平均相对改善10%)。
2020-10-29 cs.SD eess.AS
Speech Emotion Recognition Using Deep Sparse Auto-Encoder Extreme Learning Machine with a New Weighting Scheme and Spectro-Temporal Features Along with Classical Feature Selection and A New Quantum-Inspired Dimension Reduction Method
Razi University(拉齐大学)
情感计算在人机关系中占有重要地位。本文提出了一种基于语音信号的语音情感识别系统。该系统包括三个阶段:特征提取,特征选择,最后特征分类。在第一阶段中,使用诸如韵律、频谱和频谱-时间特征的新的和不同的特征的组合从语音信号和声门波形信号两者中提取长期统计特征的复杂集合。SER系统的挑战之一是区分相关的情绪。这些特征是语音情感的良好鉴别器,并且增加了SER识别相似和不同情感的能力。这种具有大量维度的特征向量自然具有冗余性。在第二阶段,使用经典的特征选择技术以及一个新的量子启发的技术,以减少特征向量的维数,减少了特征向量的维数。在第三阶段中,通过加权深度稀疏极端学习机(ELM)分类器对优化的特征向量进行分类。分类器进行分类在三个步骤:稀疏随机特征学习,正交随机投影使用奇异值分解(SVD)技术,并在最后一步使用广义吉洪诺夫正则化技术的判别分类。此外,许多现有的情感数据集遭受的问题,数据分布不平衡,这反过来又增加了分类错误,降低系统性能。本文还提出了一种新的加权方法来处理类不平衡,这是比现有的加权方法更有效。所提出的方法进行了评估三个标准的情感数据库。
2021-11-13 cs.LG cs.SD eess.AS
Lightweight Audio Segmentation for Long-form Speech Translation
NAVER Cloud(NAVER云);KAIST(韩国科学技术院)
本文提出面向长语音翻译的轻量级音频分割模型,通过带标点 ASR 预训练并与底层 ST 系统适当集成,以更小模型规模提升翻译质量。
2024-06-15 cs.CL cs.SD eess.AS
SHAS: Approaching optimal Segmentation for End-to-End Speech Translation
TALP Research Center, Universitat Politecnica de Catalunya(加泰罗尼亚理工大学TALP研究中心)
语音翻译模型无法直接处理长音频,例如TED演讲,必须将其分成较短的片段。语音翻译数据集提供音频的手动分割,这在现实世界的场景中是不可用的,现有的分割方法通常会在推理时显著降低翻译质量。为了弥合人工分割训练和自动推理之间的差距,我们提出了监督混合音频分割(SHAS),一种可以有效地从任何手动分割的语音语料库中学习最佳分割的方法。首先,我们训练一个分类器来识别分割中包含的帧,使用来自预先训练的wav 2 vec 2.0的语音表示。最佳分裂点,然后找到一个概率分治算法,逐步分裂在最低概率的帧,直到所有的片段都低于预先指定的长度。在MuST-C和mTEDx上的实验表明,该方法产生的片段的翻译接近5种语言对的手动分割的质量。也就是说,SHAS保留了手动分割BLEU分数的95-98%,而现有最佳方法的BLEU分数为87-93%。我们的方法还可以推广到不同的领域,并在看不见的语言中实现高zero-shot性能。
2022-07-06 cs.CL cs.SD eess.AS
Revisiting speech segmentation and lexicon learning with better features
Stellenbosch University(斯泰伦博斯大学)
该研究改进零资源语音自监督分割方法,用HuBERT特征替换对比预测编码特征,经两阶段动态规划分割、特征平均生成嵌入、K-means聚类得到词典,在ZeroSpeech基准上实现全覆盖分割且性能达SOTA。
2024-01-31 cs.CL cs.SD eess.AS
Segment-Level Mandarin Chinese Speech-Based Cognitive Impairment Detection via an Autoencoder with Contrastive Learning
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院);Key Laboratory of System Control and Information Processing, Ministry of Education of China(教育部系统控制与信息处理重点实验室);Shanghai Key Laboratory of Perception and Control in Industrial Network Systems(上海市工业网络系统感知与控制重点实验室);Department of Computer Science and Engineering, University of Bologna(博洛尼亚大学计算机科学与工程系);Department of Mathematical, Physical and Computer Sciences, University of Parma(帕尔马大学数学、物理与计算机科学系)
提出段级表示学习框架,结合自编码器和对比学习,在四个普通话数据集上实现稳定的二分类和三分类认知障碍检测,尤其改善了临床困难的三分类性能。
2026-06-23 cs.CL cs.SD
Beyond Voice Activity Detection: Hybrid Audio Segmentation for Direct Speech Translation
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Trento(特伦托大学)
在直接语音翻译中,训练数据和运行时看到的数据之间的音频分割不匹配是一个主要问题。事实上,虽然系统通常是在手动分割的语料库上训练的,但在实际用例中,它们通常会呈现需要自动(和次优)分割的连续音频。在比较了现有的技术(基于VAD的,固定长度和混合分割方法),在本文中,我们提出了增强的混合解决方案,以产生更好的结果,而不牺牲延迟。通过对不同领域和语言对的实验,我们表明我们的方法优于所有其他技术,将传统的基于VAD的方法和最佳手动分割之间的差距缩小了至少30%。
2021-10-14 cs.CL cs.SD eess.AS
Unsupervised Speech Segmentation: A General Approach Using Speech Language Models
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文利用 Speech Language Models 提出一种简单的无监督语音分割方法,可处理情绪、说话人等多种声学—语义风格变化,并在边界检测、片段纯度和过度分割上优于基线。
2025-01-07 cs.AI cs.CL cs.LG
Synchronising speech segments with musical beats in Mandarin and English singing
Radboud University(拉德堡德大学);University of Michigan(密歇根大学)
用语音数据训练的模型生成合成歌声具有许多优点,这是由于模型的灵活性和可控性。然而,由于语音训练数据中缺少关于片段和节拍之间的时间关系的信息,所以合成的歌唱有时听起来可能不合拍。因此,语音片段和音乐节拍之间的时间关系的信息的可用性是至关重要的。本研究以P-中心理论和响度层次理论为基础,对歌唱数据中的音段节拍同步现象进行了研究。一个普通话语料库和一个英语语料库的专业歌唱数据进行人工标注和分析。结果表明,音乐节拍的存在更依赖于段的持续时间比响亮。然而,响度等级和P中心理论与节拍的位置高度相关。普通话和英语表现出跨语言的差异,尽管表现出共同的模式。
2021-06-18 cs.CL cs.SD eess.AS
Speech Decomposition Based on a Hybrid Speech Model and Optimal Segmentation
在混合语音模型中,浊音和清音分量可以共存于一个段中。通常,有声语音被认为是确定性分量,而无声语音和加性噪声是随机分量。通常,语音信号在20 - 40 ms的固定段内被认为是平稳的,但是平稳性的程度随时间而变化。为了将含噪语音分解为浊音和清音分量,固定的分段可能过于粗糙,我们在这里提出根据信号的局部特性来调整分段长度。分割依赖于混合语音模型的参数估计和最大后验概率(MAP)和对数似然准则作为规则,用于在可能的段长度之间进行模型选择,分别用于有声和无声语音。给定最佳分割标记和估计的统计量,使用线性滤波来估计两个分量。基于码本的方法区分无声语音和噪声。与固定分割相比,通过考虑自适应分割,可以更好地提取成分。此外,与其他分解方法相比,有声语音的较低失真和两个分量的较高segSNR是可能的。
2021-05-04 cs.SD eess.AS
Multi-microphone Automatic Speech Segmentation in Meetings Based on Circular Harmonics Features
Le Mans Université(勒芒大学)
针对远场会议多麦克风语音分割,本文提出圆谐波域 DOA 空间特征 CH-DOA,并融合标准声学特征,用于 VAD、OSD 和 SCD,在 AMI 上提升分割性能且对麦克风失效鲁棒。
2023-06-07 cs.CL cs.SD eess.AS
Speech Audio Synthesis from Tagged MRI and Non-Negative Matrix Factorization via Plastic Transformer
Massachusetts General Hospital(马萨诸塞州总医院);Harvard Medical School(哈佛医学院);University of Maryland(马里兰大学);University of British Columbia(不列颠哥伦比亚大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出 PLT 端到端框架,将标记 MRI 与非负矩阵分解得到的权重图转换为语音波形,并通过一致性约束和对抗训练提升有限样本下的合成真实感。
2023-09-26 cs.AI cs.CV cs.SD
Frequency-Weighted Training Losses for Phoneme-Level DNN-based Speech Enhancement
Université de Lorraine, CNRS, Inria, Loria(洛林大学、国家科学研究中心、法国国家信息与自动化研究所、Loria)
本研究提出频率加权SDR损失变体用于多通道语音增强,通过强调关键时频区域,在保持SDR的同时显著提升感知质量和辅音重建。
2025-06-23 cs.AI cs.SD eess.AS
Whole-Word Segmental Speech Recognition with Acoustic Word Embeddings
TTI-Chicago(芝加哥信息技术研究所)
分段模型是序列预测模型,其中假设的分数基于帧的整个可变长度段。我们认为分段模型的全字(“声学到字”)语音识别,使用向量嵌入段定义的特征向量。这样的模型在计算上是具有挑战性的,因为路径的数量与词汇量大小成比例,这可能比使用子字单元(如音素)时大几个数量级。我们描述了一种有效的方法,端到端的全词分段模型,与前向-后向和Viterbi解码上的GPU和一个简单的段评分功能,降低了空间的复杂性。此外,我们还研究了通过联合训练的声学词嵌入(AWE)和声学接地词嵌入(AGWE)的书面词标签进行预训练的使用。我们发现,字错误率可以通过使用AWE预训练声学段表示来大幅降低,并且可以通过使用AGWE预训练字预测层来获得额外的(较小的)增益。我们的最终模型比之前的A2 W模型有所改进。
2020-11-24 cs.CL cs.SD eess.AS
End-to-End Neural Segmental Models for Speech Recognition
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Carnegie Mellon University(卡内基梅隆大学);Google DeepMind(谷歌DeepMind);University of Washington(华盛顿大学);University of Edinburgh(爱丁堡大学)
分段模型是用于序列预测的基于帧的模型的替代方案,其中假设的路径权重基于整个分段分数而不是一次一帧。神经分段模型是使用基于神经网络的权重函数的分段模型。神经分段模型在语音识别中取得了有竞争力的结果,并且它们的端到端训练已经在几项研究中进行了探索。在这项工作中,我们回顾神经节段模型,它可以被看作是由一个神经网络为基础的声学编码器和有限状态传感器解码器。我们研究了端到端的分段模型与不同的权重函数,包括基于帧级神经分类器和分段递归神经网络。我们研究如何减少搜索空间大小的影响下,不同的权重函数的性能。我们还比较了几种用于端到端训练的损失函数。最后,我们探索训练方法,包括多阶段与端到端训练和结合分段和帧级损失的多任务训练。
2017-08-15 cs.CL cs.LG cs.SD
Detection of Consonant Errors in Disordered Speech Based on Consonant-vowel Segment Embedding
The Chinese University of Hong Kong(香港中文大学)
言语声音障碍(SSD)是指一种发育障碍,在预期年龄时,幼儿在产生某些言语声音方面遇到持续困难。辅音错误是SSD临床评估的主要指标。以往的研究表明,SSD的自动评估的语音错误检测的短和短暂的辅音是不太令人满意的。本文研究了一种基于神经网络的方法,使用辅音-元音(CV)双音子段检测混乱的语音中的辅音错误相比,使用辅音单音子段。潜在的假设是,CV段的元音部分携带来自辅音的协同发音的重要信息。语音嵌入提取CV段的递归神经网络模型。计算测试段和参考段的嵌入之间的相似性分数,以确定测试段是否是期望的辅音。实验结果表明,使用CV段实现了改进的性能检测语音错误有关的“困难”的辅音在以前的研究报告。
2021-06-16 cs.SD eess.AS
Monotonic segmental attention for automatic speech recognition
RWTH Aachen University(亚琛工业大学);AppTek GmbH(AppTek有限公司)
本文提出了一种新的用于自动语音识别的分段注意模型。我们将解码器的注意力限制在片段上,以避免全局注意力的二次运行时间,更好地推广到长序列,并最终启用流。我们直接比较全局注意力和不同的分段注意力建模变体。我们开发和比较两个单独的时间同步解码器,一个专门考虑到段的性质,产生进一步的改进。对分段模型使用时间同步解码是新颖的,并且是朝向流应用的一步。我们的实验表明了长度模型预测段边界的重要性。与文献中的其他单调注意方法相比,使用分段解码的最终最佳分段注意模型的性能优于全局注意。此外,我们观察到,分段模型更好地推广到长达几分钟的长序列。
2022-10-26 cs.CL cs.LG cs.SD
Collapsed speech segment detection and suppression for WaveNet vocoder
Nagoya University(名古屋大学)
在本文中,我们提出了一种技术,以减轻崩溃的语音段有时产生的WaveNet声码器所造成的质量下降。WaveNet声码器用于从声学特征生成自然语音的有效性已在最近的工作中得到证明。然而,当只有有限数量的训练数据可用或训练数据和测试数据之间存在显著的声学失配时,它有时会生成具有折叠语音段的非常嘈杂的语音。这种对语料库的限制和有限的模型能力很容易出现在某些语音生成应用中,例如语音转换和语音增强。为了解决这个问题,我们提出了一种技术来自动检测崩溃的语音段。此外,为了细化检测到的片段,我们还提出了一种波形生成技术的WaveNet使用线性预测编码约束。验证和主观测试进行调查所提出的技术的有效性。验证结果表明,该检测技术可以检测到大多数塌陷段。语音转换的主观评价表明,该生成技术显着提高了语音质量,同时保持相同的说话人相似性。
2018-08-09 cs.SD eess.AS
Deep segmental phonetic posterior-grams based discovery of non-categories in L2 English speech
The Chinese University of Hong Kong(香港中文大学)
第二语言(L2)语音通常被标记为母语,电话类别。然而,在许多情况下,很难决定L2段所属的分类电话。这些部分被视为非类别。现有的发音错误检测和诊断方法大多只涉及分类错误,即插入、删除或替换一个音素类别。然而,不考虑非分类错误。为了模拟这些非分类错误,这项工作的目的是探索非分类模式,以扩大分类音素集。我们应用一个语音段分类器来产生分段语音后验图(SPPG)来表示音素段级信息。然后我们通过寻找具有多个峰值的SPPG来探索非类别。与基线系统相比,该方法探索了更多的非类别模式,并且感知实验结果表明,在两种不同的测量下,探索的非类别更准确,混淆度分别增加了7.3%和7.5%。最后,我们初步分析了这些非范畴现象背后的原因。
2020-02-01 cs.CL cs.SD eess.AS
ESSumm: Extractive Speech Summarization from Untranscribed Meeting
University of Maryland, College Park(马里兰大学帕克分校)
在本文中,我们提出了一种新的架构,直接提取语音到语音摘要,ESSumm,这是一个无监督的模型,不依赖于中间转录文本。与以往的文本呈现方法不同,我们的目标是直接从语音生成摘要,而无需转录。首先,根据语音信号的声学特征提取一组较小的语音段。对于每个候选语音段,设计了基于距离的摘要置信度作为潜在语音表征度量。具体来说,我们利用现成的自监督卷积神经网络从原始音频中提取深度语音特征。我们的方法自动预测的最佳序列的语音片段,捕获的关键信息与目标摘要长度。两个著名的会议数据集(AMI和ICSI语料库)的广泛结果表明,我们的直接语音为基础的方法,以提高摘要质量与未转录的数据的有效性。我们还观察到,我们的无监督的语音为基础的方法,甚至执行与最近的成绩单为基础的摘要方法,其中需要额外的语音识别。
2022-09-14 cs.CL cs.SD eess.AS
Universal speaker recognition encoders for different speech segments duration
ITMO University(ITMO大学);STC Ltd.(STC有限公司)
创建对不同声学和语音持续时间条件具有鲁棒性的通用扬声器编码器是当今的一大挑战。根据我们的观察,在短语音段上训练的系统对于短短语说话人验证是最佳的,而在长语音段上训练的系统对于长语音段验证是最优的。一个系统同时训练池的短和长的语音段不会给出最佳的验证结果,通常会降低短和长段。针对不同语音段时长的通用说话人编码器的设计问题进行了研究。我们描述了我们的简单配方,用于训练任何类型的选定神经网络架构的通用扬声器编码器。根据我们对NIST SRE和VoxCeleb 1基准测试获得的基于wav 2 vec-TDNN的系统的评估结果,所提出的通用编码器在不同的注册和测试语音段持续时间的情况下提供了说话人验证改进。所提出的编码器的关键特征是,它具有相同的推理时间所选择的神经网络架构。
2022-10-28 cs.LG cs.SD eess.AS
deep learning of segment-level feature representation for speech emotion recognition in conversations
Queen Mary University of London(伦敦玛丽女王大学);Amazon(亚马逊)
由于会话中情感和动态的复杂性,准确地检测会话中的情感是一项必要而具有挑战性的任务。说话者的情绪状态会受到许多不同因素的影响,如对话者刺激、对话场景和话题。在这项工作中,我们提出了一个会话语音情感识别方法来处理捕获注意上下文依赖和说话人敏感的互动。首先,我们使用预训练的VGGish模型来提取单个话语中基于片段的音频表示。其次,一个专注的双向门控递归单元(GRU)模型上下文敏感信息,并探讨内和说话人之间的依赖关系,以动态的方式。在标准会话数据集MELD上进行的实验表明,与最先进的方法相比,所提出的方法是有效的。
2023-02-05 cs.CL cs.SD eess.AS
Unsupervised Spoken Term Discovery Based on Re-clustering of Hypothesized Speech Segments with Siamese and Triplet Networks
The Chinese University of Hong Kong(香港中文大学)
从未转录的语音音频中发现口语术语可以通过两个阶段的过程来实现。在第一阶段中,未标记的语音被解码成一系列的子字单元,这些子字单元以无监督的方式被学习和建模。在第二阶段中,对解码的子词序列执行部分序列匹配和聚类,从而产生一组发现的词或短语。这种方法的局限性在于子字解码的结果可能是错误的,并且错误将影响后续步骤。虽然Siamese/Triplet网络是一种学习片段表示的方法,可以改善发现过程,但在完全无监督的场景下口语术语发现的挑战是训练示例不可用。在本文中,我们提出了从初始假设序列聚类生成训练样本。在假设的示例上训练Siamese/Triplet网络以测量两个语音片段之间的相似性,并由此执行所有假设的子词序列的重新聚类以实现口语术语发现。实验结果表明,该方法能有效地获得Siamese和Triplet网络的训练样本,与原两阶段方法相比,提高了口语词发现的效率。
2021-06-02 cs.CL cs.SD eess.AS
Enhancing Speech Emotion Recognition through Segmental Average Pooling of Self-Supervised Learning Features
School of Computing, KAIST(韩国科学技术院计算机学院)
本文提出分段平均池化(SAP)方法,通过选择性聚焦语音段并忽略非语音段,结合全局平均池化(GAP)提升自监督学习特征在语音情感识别中的性能,在IEMOCAP和KEMDy19数据集上取得最优结果。
2024-10-16 cs.AI cs.SD eess.AS
Explaining Speech Classification Models via Word-Level Audio Segments and Paralinguistic Features
Politecnico di Torino(都灵理工大学);Bocconi University(博科尼大学)
提出一种通过词级音频片段和副语言特征输入扰动解释语音分类模型的方法,验证其忠实性与合理性,为语音模型可解释性研究提供新途径。
2023-09-14 cs.CL cs.SD eess.AS
Improving Speech Representation Learning via Speech-level and Phoneme-level Masking Approach
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);School of Software, Fudan University(复旦大学软件学院)
恢复被掩蔽语音帧在语音表示学习中有着广泛的应用。然而,这些模型中的大多数在预训练中使用随机掩蔽。在这项工作中,我们提出了两种掩蔽方法:(1)语音级掩蔽,使模型掩蔽更多的语音段比沉默段,(2)音素级掩蔽,迫使模型掩蔽整个帧的音素,而不是音素片。我们通过这两种方法对模型进行了预训练,并对两个下游任务进行了评估,即音素分类和说话人识别。实验结果表明,所提出的掩蔽方法有利于提高语音表示的性能。
2022-10-25 cs.CL cs.SD eess.AS
Dynamic Clustering for Cross-Segment Permutation Alignment in Long Speech Separation
Tampere University(坦佩雷大学);Nokia Technologies(诺基亚科技)
本文提出一种兼容现有分离模型的即插即用动态聚类后处理模块,通过说话人嵌入参考池实现跨段置换对齐,在长语音分离的密集、稀疏场景及未知说话人数量场景下性能优于现有方法。
2026-08-11 cs.SD eess.AS
Data Augmentation with Locally-time Reversed Speech for Automatic Speech Recognition
The Chinese University of Hong Kong(香港中文大学)
心理声学研究表明,局部时间反转(LTR)语音,即,在短段内时间反转的信号样本可以被人类收听者准确地识别。本研究解决了最先进的自动语音识别(ASR)系统对LTR语音的性能如何的问题。其基本目标是探索在端到端(E2 E)ASR模型的训练中部署LTR语音的可行性,作为提高识别性能的数据增强的尝试。本研究从实验开始,以了解LTR语音对通用ASR的影响。呈现并评估具有5 ms - 50 ms的反转段持续时间的LTR语音。对于使用LTR语音的ASR训练数据增强,通过将自然语音与LTR语音的不同分区组合来创建训练集。在不同语言和说话风格的语音语料库上的ASR结果证实了数据增强的有效性。研究发现,在15 ms - 30 ms的反向段长的LTR语音上的ASR比在其他段长的LTR语音上的ASR具有更低的错误率。使用这些LTR语音的数据增强实现了对ASR性能的满意和一致的改善。
2021-10-09 cs.SD eess.AS
E2E Segmenter: Joint Segmenting and Decoding for Long-Form ASR
Google Research(谷歌研究院)
在语音识别中,提高端到端ASR模型在长度从几分钟到几小时的长话语上的性能是一个持续的挑战。一种常见的解决方案是使用单独的语音活动检测器(VAD)预先对音频进行分段,该VAD纯粹基于声学语音/非语音信息来决定分段边界位置。然而,VAD分段器对于真实世界语音可能是次优的,其中,例如,一个完整的句子,应该作为一个整体,可能包含在中间的犹豫(“设置一个警报...... 5点钟”)。我们建议用一个端到端的ASR模型来代替VAD,该模型能够以流式方式预测段边界,从而使分割决策不仅以更好的声学特征为条件,而且还以来自解码文本的语义特征为条件,额外计算可以忽略不计。在长达30分钟的真实世界长格式音频(YouTube)的实验中,与最先进的Conformer RNN-T模型上的VAD分段器基线相比,我们证明了8.5%的相对WER改善和250 ms的中位段末延迟减少。
2022-06-15 cs.CL cs.LG cs.SD
s-Transformer: Segment-Transformer for Robust Neural Speech Synthesis
Microsoft (China) Corporation(微软(中国)有限公司)
神经元端到端的文本到语音转换(TTS)采用递归模型(如Tacotron)或注意力模型(如Transformer)对语音进行表征,显著提高了语音合成的性能。然而,它仍然是非常具有挑战性的,以处理不同的句子长度,特别是对于长句,序列模型的有效上下文长度的限制。我们提出了一种新的段变压器(S-变压器),它的语音模型在段级别的递归是通过缓存存储器的编码器和解码器的重用。扩展的存储器可以捕获长范围的上下文,同时,编码器和解码器的注意力集中在更容易处理的片段上。此外,我们采用了一个修改的相对位置自我注意泛化序列长度超出一个可能看不见的训练数据。通过将所提出的s-Transformer与标准的Transformer进行比较,在短句上,两者都实现了相同的MOS分数4.29,这与记录的4.32非常接近;在长句上的相似分数为4.22 vs 4.2,并且在MOS中的增益为0.2的超长句子上显著更好。由于缓存的内存会随着时间的推移而更新,因此s-Transformer可以长时间生成相当自然和连贯的语音。
2020-11-17 cs.SD eess.AS
Speaker-independent classification of phonetic segments from raw ultrasound in child speech
University of Edinburgh(爱丁堡大学)
超声舌成像(UTI)提供了一种方便的方法来可视化语音产生过程中的声道。UTI越来越多地用于语言治疗,因此开发自动方法来协助目前由语言治疗师执行的各种耗时的手动任务变得非常重要。一个关键的挑战是将超声舌图像的自动处理推广到以前看不见的扬声器。在这项工作中,我们研究了语音段(舌头形状)的分类,从原始超声记录在几个训练方案:扬声器依赖,多扬声器,扬声器独立,扬声器适应。我们观察到,当应用于训练时没有看到的说话者的数据时,模型表现不佳。然而,当提供最小的附加扬声器信息时,例如平均超声帧,模型更好地推广到看不见的扬声器。
2019-07-01 cs.CL cs.CV cs.LG
Subject Enveloped Deep Sample Fuzzy Ensemble Learning Algorithm of Parkinson's Speech Data
Chongqing University(重庆大学)
帕金森病(Parkinson disease,PD)的语音识别是诊断PD的有效手段,近年来已成为研究的热点和难点。我们知道,在一个主题中有大量的语料库(片段)。然而,太大的段会增加分类模型的复杂性。此外,临床医生有兴趣找到诊断性的语音标记,反映整个主题的病理。由于每个语音样本段的最佳相关特征不同,很难找到统一的诊断语音标记。因此,有必要将一个受试者内现有的大片段重建成几个片段,甚至一个受试者内的一个片段,这可以便于提取相关的语音特征来表征整个受试者的诊断标记。为了解决这个问题,本文提出了一种基于多层模糊c均值聚类和层间一致性保持的帕金森病患者包络深度语音样本学习算法。该算法可用于帕金森病(PD)受试者内样本重建,获得少量高质量的原型样本段。最后,本文选取了几个有代表性的PD语音数据集,并分别与现有的相关方法进行了比较。实验结果表明,该算法是有效的。
2021-11-17 cs.LG cs.SD eess.AS
Interpretable Acoustic Representation Learning on Breathing and Speech Signals for COVID-19 Detection
Verisk Analytics Inc.(Verisk分析公司)
在本文中,我们描述了一种用于COVID-19检测任务的音频信号表示学习方法。原始音频样本用一组1-D卷积滤波器进行处理,这些滤波器被参数化为余弦调制高斯函数。这些内核的选择允许的平滑带通滤波器的滤波器组的解释。过滤后的输出被合并,日志压缩,并在一个自我关注的相关性加权机制。相关性加权强调了时频分解的关键区域,这些区域对于下游任务很重要。模型的后续层由循环体系结构组成,模型经过训练用于COVID-19检测任务。在我们对Coswara数据集的实验中,我们表明该模型在基线系统以及其他表示学习方法上实现了显着的性能改进。此外,所提出的方法被证明是统一适用于语音和呼吸信号,并从一个更大的数据集的迁移学习。
2022-06-27 cs.LG cs.SD eess.AS
rVAD: An Unsupervised Segment-Based Robust Voice Activity Detection Method
Aalborg University(奥尔堡大学);Massachusetts Institute of Technology(麻省理工学院);VIT-AP University(VIT-AP大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出了一种无监督的基于段的鲁棒语音活动检测(rVAD)方法。该方法包括两个通道的去噪,然后是语音活动检测(VAD)阶段。在第一遍中,通过使用后验信噪比(SNR)加权能量差来检测语音信号中的高能量段,并且如果在段内没有检测到音调,则该段被认为是高能量噪声段并且被设置为零。在第二遍中,语音信号通过语音增强方法去噪,为此探索了几种方法。接下来,具有音高的相邻帧被分组在一起以形成音高段,并且基于语音统计,音高段从两端进一步扩展,以便包括有声和无声声音以及可能的非语音部分。最后,将后验SNR加权能量差应用于去噪后的语音信号的扩展基音段以检测语音活动。我们使用两个数据库,RATS和Aurora-2,其中包含各种各样的噪声条件下,所提出的方法的VAD性能进行评估。在RedDots 2016挑战数据库及其噪声破坏版本上,进一步评估了rVAD方法的说话人验证性能。实验结果表明,rVAD是优于现有的方法。此外,我们提出了一个修改后的版本的rVAD计算密集的音高提取取代计算高效的频谱平坦度计算。修改后的版本显著降低了计算复杂性,但代价是VAD性能稍差,这在处理大量数据和在低资源设备上运行时是一个优势。rVAD的源代码是公开的。
2022-01-11 cs.CL cs.LG cs.SD
Enhancing Segment-Based Speech Emotion Recognition by Deep Self-Learning
The Chinese University of Hong Kong(香港中文大学)
尽管深度神经网络(DNN)被广泛用于语音情感识别(SER),但由于缺乏用于训练的标记数据,它们受到严重限制。最近,SER的基于段的方法已经发展,其在较短的段而不是整个话语上训练主干网,并且因此自然地在没有额外资源的情况下增强训练示例。然而,一个核心的挑战仍然是基于段的方法:大多数情感语料库不提供地面真理标签在段的水平。为了在这样的数据集上监督训练基于片段的情感模型,最常见的方式是为每个片段分配相应话语的情感标签。然而,这种做法通常会引入嘈杂的(不正确的)标签,因为情感信息并不是均匀地分布在整个话语中。另一方面,DNN在使用噪声标签进行训练时很容易过度拟合数据集。为此,这项工作提出了一个简单而有效的深度自学习(DSL)框架,它包括一个以迭代学习方式逐步纠正段级标签的过程。DSL方法产生动态生成的和软的情感标签,导致显着的性能改进。在三个著名的情感语料库上的实验表明,该方法具有明显的效果。
2021-03-30 cs.SD eess.AS
BreathGRU: A Novel Semi-Supervised Bidirectional Gated Recurrent Unit Framework for Speech and Breath Segmentation for Respiratory Audio
Aberystwyth University(阿伯里斯特威斯大学);University of Southampton(南安普顿大学)
针对呼吸音频分析中语音-呼吸分割的不足,提出半监督双向门控循环单元框架BreathGRU,结合特征提取、双向建模、伪标签精炼和维特比解码,在多项指标上优于现有方法,实现高效分割。
2026-09-28 cs.LG cs.SD eess.AS
Feature Trajectory Dynamic Time Warping for Clustering of Speech Segments
University of Stellenbosch(斯泰伦博斯大学)
动态时间规整(DTW)可以用于计算通常不同长度的两个序列之间的相似性。我们提出了一个修改DTW,执行个人和独立的成对对齐的特征轨迹。修改后的技术,称为特征轨迹动态时间规整(FTDTW),适用于作为一个相似性度量的凝聚层次聚类的语音段。实验使用MFCC和PLP parametrisations提取TIMIT和阿拉伯语数字口语数据集(SADD)的F-措施和归一化互信息(NMI)的质量得到的集群一致和统计上显着的改善。
2018-10-30 cs.LG cs.SD eess.AS
Learning to Count Words in Fluent Speech enables Online Speech Recognition
Trinity College Dublin(都柏林圣三一学院)
序列到序列模型,特别是Transformer,实现了自动语音识别的最新成果。然而,实际使用仅限于完全话语延迟是可接受的情况。在这项工作中,我们介绍了Taris,一个基于变压器的在线语音识别系统的辅助任务的增量字计数。我们使用累积的单词和动态分割语音,并使其渴望解码成单词。在LRS 2、LibriSpeech和Aishell-1英语和普通话语音数据集上进行的实验表明,当具有5段的动态算法延迟时,在线系统的性能与离线系统相当。此外,我们表明,估计段长度分布类似于强制对齐获得的单词长度分布,虽然我们的系统不需要一个确切的段到单词的等价。与标准Transformer相比,Taris引入了可忽略不计的开销,而输入和输出之间的本地关系建模通过设计赋予了序列长度的不变性。
2020-11-24 cs.LG cs.SD eess.AS
Multi-Utterance Speech Separation and Association Trained on Short Segments
Signal Processing Research Center, Tampere University, Tampere, Finland(塔尔皮奥大学信号处理研究中心);Nokia Technologies, Espoo, Finland(诺基亚技术)
本文提出频率-时间循环神经网络FTRNN,以0.9M参数在10秒短片段上训练,无需分段即可处理21-121秒长音频,实现多话语语音分离并保持说话人关联。
2025-07-03 cs.SD eess.AS
Semi-supervised acoustic modelling for five-lingual code-switched ASR using automatically-segmented soap opera speech
Stellenbosch University(斯泰伦博斯大学);National University of Singapore(新加坡国立大学)
本文考虑了自动分割的影响,全自动,半监督训练的自动语音识别(ASR)系统的五种语言的代码切换(CS)的语音。四个自动分割技术进行了评估,在识别性能的ASR系统训练所产生的部分在半监督的方式。该系统的输出进行了比较,实现了人工分配的段训练的半监督系统的识别率。三种自动技术使用新提出的卷积神经网络(CNN)模型进行逐帧分类,并包括一种新形式的CNN输出的HMM平滑。自动分割与自动说话人日志化相结合。性能最好的分割技术也进行了测试,没有发言人日记。基于248个未分割的肥皂剧集的评估表明,基于CNN的语音活动检测(VAD),然后是高斯混合模型隐马尔可夫模型平滑(CNN-GMM-HMM)产生最好的ASR性能。与使用手动创建的片段训练的系统相比,使用所得片段训练的半监督系统实现了1.1%的总体WER绝对改善。此外,我们发现,系统的性能进一步提高时,自动分割与说话人日记。
2020-04-08 cs.LG cs.SD eess.AS
Unsupervised Speech Segmentation and Variable Rate Representation Learning using Segmental Contrastive Predictive Coding
Johns Hopkins University(约翰斯·霍普金斯大学)
通常,将语音无监督分割成音素和类词单元被视为单独的任务,并且通常通过不同的方法来完成,这些方法不能充分利用这两个任务的相互依赖性。在这里,我们将它们统一起来,并提出了一种可以联合执行这两项任务的技术,表明这两项任务确实相互受益。最近的尝试采用自监督学习,例如对比预测编码(CPC),其中下一帧是在给定过去上下文的情况下预测的。然而,CPC仅查看音频信号的帧级结构。我们用分段对比预测编码(SCPC)框架克服了这一限制,以在更高级别上对信号结构进行建模,例如,电话水平。卷积神经网络通过噪声对比估计(NCE)从原始波形学习帧级表示。可微分边界检测器找到可变长度的段,然后通过NCE优化段编码器以学习段表示。可微边界检测器允许我们联合训练帧级和段级编码器。实验表明,我们的单一模型优于现有的电话和词分割方法TIMIT和七叶树数据集。我们发现音素类别会影响边界侦测的效能,而连续元音或半元音之间的边界是最难侦测的。最后,我们使用SCPC在段级而不是在均匀间隔的帧级提取语音特征(例如,10 ms),并产生根据话语的内容而改变的可变速率表示。我们可以将特征提取率从典型的100 Hz降低到平均低至14.5 Hz,同时在线性电话分类任务上仍然优于MFCC特征。
2021-10-08 cs.SD eess.AS
Enforcing Speech Content Privacy in Environmental Sound Recordings using Segment-wise Waveform Reversal
Nantes Université(南特大学);École Centrale Nantes(中央理工学院);CNRS(国家科学研究中心);LS2N(LS2N研究所);UMRAE(UMRAE机构);ENSA Nantes(南特艺术设计学院);AAU-CRENAU(AAU-CRENAU机构)
研究针对环境声音录音中语音隐私问题,提出用逐段波形反转并结合语音活动检测和分离的方法,经实验评估,该方法能有效降低语音可懂度,最小化声源检测性下降,保持音频质量,消融研究突出组件贡献,随机拼接可增强算法鲁棒性。
2026-07-09 cs.SD eess.AS
Processing Phoneme Specific Segments for Cleft Lip and Palate Speech Enhancement
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校);Indian Institute of Technology Dharwad(印度理工学院达尔瓦德分校)
唇腭裂患者由于发音系统的变形,导致语音清晰度失真。为了解决同样的问题,一些以前的作品在CLP语音中进行音素特定的修改。在CLP语音中,发音错误和鼻音化都扭曲了单词的可懂度。因此,特定音素的修改可能并不总是产生增强的整个词级可懂度。对于这种情况,重要的是基于声学事件的知识来识别和隔离音素特定错误。因此,音素特定的错误修改算法可以用于转换指定的错误,并提高单词级的可懂度。受此启发,在这项工作中,我们结合了一些突出的音素特定的增强方法,并证明其有效性,提高词级的可懂度的CLP语音。使用主观和客观评价度量来评价增强的语音样本。
2021-10-02 cs.SD eess.AS q-bio.QM
Advancing Multiple Instance Learning with Attention Modeling for Categorical Speech Emotion Recognition
The Chinese University of Hong Kong(香港中文大学);University of Southern California(南加州大学)
分类语音情感识别通常作为序列到标签问题来执行,即,以确定作为整体的输入话语的离散情感标签。在实践中的主要挑战之一是,大多数现有的情感语料库不给每个片段的地面真值标签;相反,我们只有整个话语的标签。为了从这种弱标记的情感语料库中提取片段级情感信息,我们提出使用多实例学习(MIL)以弱监督的方式学习片段嵌入。此外,对于足够长的话语,并非所有的片段都包含相关的情感信息。在这方面,然后将三个基于注意力的神经网络模型应用于学习的片段嵌入,以关注语音话语的最突出部分。在CASIA语料库和IEMOCAP数据库上的实验结果表明,该方法比其他方法具有更好的性能。
2020-08-15 cs.SD eess.AS
An interpretable speech foundation model for depression detection by revealing prediction-relevant acoustic features from long speech
Usher Institute(乌sher研究所);Centre for Medical Informatics, Usher Institute(乌sher医学信息学中心)
本文提出一种可解释的语音基础模型,通过揭示长期语音中的预测相关声学特征,提升抑郁症检测工具的临床适用性,实验表明该模型优于基于短片段的模型,并识别出降噪和F0作为相关信号。
2026-03-25 cs.SD eess.AS
The PartialSpoof Database and Countermeasures for the Detection of Short Fake Speech Segments Embedded in an Utterance
National Institute of Informatics(国立信息学研究所);EURECOM(欧洲通信学院)
自动说话人确认容易受到各种操纵和欺骗,如文本到语音合成,语音转换,重放,篡改,对抗性攻击,等等。我们考虑一种新的欺骗场景称为“部分欺骗”(PS),合成或转换的语音片段嵌入到一个真正的话语。虽然现有的对策(CM)可以检测完全欺骗的话语,有必要为他们的适应或扩展到PS的情况。我们提出了各种改进,以构建一个更准确的CM,可以检测和定位短生成的欺骗语音段在更精细的时间分辨率。首先,我们引入新开发的自监督预训练模型作为增强的特征提取器。其次,我们扩展我们的PartialSpoof数据库添加段标签的各种时间分辨率。由于短欺骗的语音段被嵌入攻击者是可变长度的,六个不同的时间分辨率被认为是,从短至20毫秒到大至640毫秒。第三,我们提出了一个新的CM,使在不同的时间分辨率,以及话语级标签的段级标签的同时使用执行话语和段级检测在同一时间。我们还表明,建议的CM是能够检测欺骗在话语水平与低错误率在PS的情况下,以及在相关的逻辑访问(LA)的情况下。PartialSpoof数据库和ASVspoof 2019 LA数据库上的话语级检测的等错误率分别为0.77%和0.90%。
2023-01-30 cs.CR cs.SD eess.AS
Speech BERT Embedding For Improving Prosody in Neural TTS
Microsoft China(微软中国)
提出了一种语音BERT模型,用于提取语音段中的韵律信息,以改善神经文语转换(TTS)系统中合成语音的韵律特征。作为一个预先训练好的模型,它可以从大量的语音数据中学习韵律属性,这可以利用比目标TTS使用的原始训练数据更多的数据。在建议的BERT中,嵌入是从固定长度的前一段中提取的。然后,提取的嵌入与梅尔频谱图一起用于预测TTS解码器中的后续片段。在Transformer文语转换系统上的实验结果表明,本文提出的BERT方法能够提取细粒度的、段级的韵律,与话语级韵律互补,提高文语转换语音的最终韵律。在单个扬声器TTS上测量的客观失真在生成的语音和原始录音之间减小。主观听力测试也表明,所提出的方法是有利的首选TTS没有BERT韵律嵌入模块,无论是在域内和域外的应用。对于微软专业人员、单个/多个说话者和公共数据库中的LJ说话者,主观偏好类似地用新的BERT韵律嵌入来确认。TTS演示音频样本在https://judy44chen.github.io/TTSSpeechBERT/。
2021-09-14 cs.SD eess.AS
Artificially Synthesising Data for Audio Classification and Segmentation to Improve Speech and Music Detection in Radio Broadcast
University of Plymouth(普利茅斯大学);University of Glasgow(格拉斯哥大学);Anglia Ruskin University(安格利亚鲁斯金大学);Brighton and Sussex Medical School(布莱顿与苏塞克斯医学院)
将音频分割成音乐和语音等同质部分有助于我们理解音频的内容。它是一个有用的预处理步骤,索引,存储和修改录音,无线电广播和电视节目。用于分割的深度学习模型通常在受版权保护的材料上进行训练,这些材料不能共享。注释这些数据集既耗时又昂贵,因此会大大减缓研究进度。在这项研究中,我们提出了一种新的程序,人工合成类似于无线电信号的数据。我们复制了电台DJ在混音中的工作流程,并研究了淡入淡出曲线和音频回避等参数。我们在这些合成数据上训练了卷积递归神经网络(CRNN),并在音乐语音检测方面优于最先进的算法。本文展示了数据合成过程作为一种高效的技术来生成大型数据集,以训练深度神经网络进行音频分割。
2021-02-19 cs.LG cs.SD eess.AS
Automatic Detection of Phonological Errors in Child Speech Using Siamese Recurrent Autoencoder
The Chinese University of Hong Kong(香港中文大学)
语音障碍(SSD)是指儿童在正确发音方面遇到持续困难的发育障碍。SSD的评估主要依赖于训练有素的言语和语言病理学家(SLP)。随着对SLP需求的不断增加和长期短缺,语音障碍的自动评估成为辅助临床工作的一种非常可取的方法。本文基于一个新收集的大规模语音语料库,对幼儿粤语语音错误进行自动检测。所提出的语音检错检测方法涉及使用暹罗经常性自动编码器,该自动编码器被训练以学习嵌入空间中的音素段之间的相似性和差异。模型的训练只需要来自典型发育(TD)儿童的语音数据。为了区分无序语音和典型语音,计算测试段和参考段的嵌入之间的余弦距离。不同的模型架构和训练策略进行了实验。对6种常见辅音错误的检测结果表明,该模型具有良好的性能,平均精度值为0.82至0.93。
2020-08-07 cs.SD eess.AS
Automated Classification of Phonetic Segments in Child Speech Using Raw Ultrasound Imaging
University of Glasgow(格拉斯哥大学);University of Strathclyde(思克莱德大学)
本研究提出FusionNet模型,结合超声舌成像与深度学习,以提高儿童语音发育障碍的自动分类准确性和效率。
2024-02-27 cs.AI cs.CV cs.SD
Non-parallel Voice Conversion System with WaveNet Vocoder and Collapsed Speech Suppression
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科);Information Technology Center, Nagoya University(名古屋大学信息技术中心);Graduate School of Information Science, Nagoya University(名古屋大学信息科学研究科)
在本文中,我们集成了一个简单的非并行语音转换(VC)系统与WaveNet(WN)声码器和建议的折叠语音抑制技术。WN作为基于声学特征生成高保真语音波形的声码器的有效性已在最近的工作中得到证实。然而,当将WN声码器与VC系统相结合时,失真的声学特征、声学和时间失配以及曝光偏差通常导致显著的语音质量下降,使得WN生成一些非常嘈杂的语音段,称为塌陷语音。为了解决这个问题,我们采取传统的声码器生成的语音作为参考语音推导出一个线性预测编码分布约束(LPCDC),以避免崩溃的语音问题。此外,为了减轻由LPCDC引入的负面影响,我们提出了一个崩溃的语音段检测器(CSSD),以确保LPCDC仅适用于有问题的段,以限制质量损失到短时间内。进行了客观和主观评价,实验结果证实了所提出的方法的有效性,进一步提高了我们以前提交给2018年语音转换挑战赛的非并行VC系统的语音质量。
2020-04-07 cs.SD eess.AS
A Framework for Unified Real-time Personalized and Non-Personalized Speech Enhancement
Amazon Web Services(亚马逊云科技)
在这项研究中,我们提出了一种方法来训练一个单一的语音增强网络,可以执行个性化和非个性化的语音增强。这是通过合并指定增强输出类型的逐帧调节输入来实现的。为了提高增强输出的质量并减轻过度抑制,我们尝试通过语音活动的存在或不存在来重新加权帧,并将增强应用于扬声器嵌入。通过在多任务学习设置下进行训练,我们经验性地表明,所提出的统一模型在个性化和非个性化语音增强基准上都获得了令人满意的结果,并且达到了与专门针对任一任务训练的模型相似的性能。所提出的方法的强大性能表明,统一的模型是一个更经济的替代品相比,保持单独的任务特定的模型在推理过程中。
2023-02-23 cs.SD eess.AS
A Deep Neural Network for Short-Segment Speaker Recognition
Queens University(皇后大学)
今天的交互式设备,如智能手机助手和智能扬声器,通常处理短时间的语音片段。结果,集成到这样的设备中的说话人识别系统将更好地适合于能够执行具有短持续时间话语的识别任务的模型。本文提出了一种新的深度神经网络UtterIdNet,它能够用短语音段进行说话人识别。我们提出的模型采用了一种新的架构,使其适合于短段说话人识别,通过有效地增加使用短语音段中的信息。UtterIdNet已经在VoxCeleb数据集上进行了训练和测试,VoxCeleb数据集是说话人识别的最新基准。对不同片段持续时间的评估表明,对于短片段,性能一致且稳定,对于2秒、1秒、尤其是亚秒持续时间(250 ms和500 ms)的片段,性能比以前的模型有显著改善。
2019-07-22 cs.LG cs.SD eess.AS