End-to-End Simultaneous Speech Translation with Differentiable Segmentation
University of Chinese Academy of Sciences(中国科学院大学)
本文提出可微分分段(DiSeg)方法,通过期望训练实现与翻译模型联合优化,直接学习有益于翻译的语音分段,在端到端同声传译中取得最优性能。
2023-06-18 cs.AI cs.CL cs.SD
Continuous Wavelet Vocoder-based Decomposition of Parametric Speech Waveform Synthesis
Budapest University of Technology and Economics(布达佩斯技术与经济大学);MTA-ELTE Lendület Lingual Articulation Research Group(MTA-ELTE Lendület 语言发音研究组)
迄今为止,各种语音技术系统都采用了声码器方法,这是一种合成语音波形的方法,在统计参数语音合成的性能中发挥着重要作用。WaveNet是最好的模型之一,几乎类似于人类的声音,必须以非常复杂的神经网络结构以耗时的顺序方式生成波形。
2021-06-12 cs.SD eess.AS
SHAS: Approaching optimal Segmentation for End-to-End Speech Translation
TALP Research Center, Universitat Politecnica de Catalunya(加泰罗尼亚理工大学TALP研究中心)
语音翻译模型无法直接处理长音频,例如TED演讲,必须将其分成较短的片段。语音翻译数据集提供音频的手动分割,这在现实世界的场景中是不可用的,现有的分割方法通常会在推理时显著降低翻译质量。为了弥合人工分割训练和自动推理之间的差距,我们提出了监督混合音频分割(SHAS),一种可以有效地从任何手动分割的语音语料库中学习最佳分割的方法。首先,我们训练一个分类器来识别分割中包含的帧,使用来自预先训练的wav 2 vec 2.0的语音表示。最佳分裂点,然后找到一个概率分治算法,逐步分裂在最低概率的帧,直到所有的片段都低于预先指定的长度。在MuST-C和mTEDx上的实验表明,该方法产生的片段的翻译接近5种语言对的手动分割的质量。也就是说,SHAS保留了手动分割BLEU分数的95-98%,而现有最佳方法的BLEU分数为87-93%。我们的方法还可以推广到不同的领域,并在看不见的语言中实现高zero-shot性能。
2022-07-06 cs.CL cs.SD eess.AS
Beyond Voice Activity Detection: Hybrid Audio Segmentation for Direct Speech Translation
Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会);University of Trento(特伦托大学)
在直接语音翻译中,训练数据和运行时看到的数据之间的音频分割不匹配是一个主要问题。事实上,虽然系统通常是在手动分割的语料库上训练的,但在实际用例中,它们通常会呈现需要自动(和次优)分割的连续音频。在比较了现有的技术(基于VAD的,固定长度和混合分割方法),在本文中,我们提出了增强的混合解决方案,以产生更好的结果,而不牺牲延迟。通过对不同领域和语言对的实验,我们表明我们的方法优于所有其他技术,将传统的基于VAD的方法和最佳手动分割之间的差距缩小了至少30%。
2021-10-14 cs.CL cs.SD eess.AS
EigenEmo: Spectral Utterance Representation Using Dynamic Mode Decomposition for Speech Emotion Classification
The Chinese University of Hong Kong(香港中文大学)
人类的情感语言,就其本质而言,是一种变异的信号。这导致了基于语音的自动情感分类的内在动力学。在这项工作中,我们探讨了一种频谱分解方法源于流体动力学,称为动态模式分解(DMD),计算表示和分析的全球话语级动态的情感语音。具体而言,段级情感特定的表示首先通过情感蒸馏过程来学习。这形成了每个话语的情绪流的多维信号,称为情绪简档(EP)。DMD算法,然后应用到所得到的EP捕获的本征频率,因此的基本过渡动态的情绪流。使用所提出的方法,我们称之为EigenEmo的评估实验,显示出可喜的成果。此外,由于它们的互补特性的积极组合,将EigenEmo生成的话语表示与简单的EP平均连接起来会产生明显的收益。
2020-08-15 cs.SD eess.AS
How Speech is Recognized to Be Emotional - A Study Based on Information Decomposition
Tsinghua University(清华大学)
人类将情感编码成语音信号的方式是复杂的。例如,一个生气的人可能会提高音调和语速,并使用不礼貌的词语。在本文中,我们提出了各种情绪因素的初步研究,并探讨他们如何影响现代情绪识别系统。我们研究的关键工具是最近提出的SpeechFlow模型,通过该模型,我们能够将语音信号分解为单独的信息因素(内容,音高,节奏)。在此分解的基础上,我们仔细研究了每个信息组件及其组合的性能。我们对三个不同的语音情感语料库进行了研究,并选择了基于注意力的卷积RNN作为情感分类器。我们的研究结果表明,节奏是情感表达的最重要的组成部分。此外,跨语料库的结果是非常糟糕的(甚至比猜测),表明目前的语音情感识别模型是相当薄弱的。有趣的是,通过删除一个或几个不重要的组件,跨语料库的结果可以得到改善。这表明了分解方法对一个可推广的情感识别的潜力。
2021-11-24 cs.SD eess.AS
Revisiting speech segmentation and lexicon learning with better features
Stellenbosch University(斯泰伦博斯大学)
该研究改进零资源语音自监督分割方法,用HuBERT特征替换对比预测编码特征,经两阶段动态规划分割、特征平均生成嵌入、K-means聚类得到词典,在ZeroSpeech基准上实现全覆盖分割且性能达SOTA。
2024-01-31 cs.CL cs.SD eess.AS
Smart Speech Segmentation using Acousto-Linguistic Features with look-ahead
Microsoft Corporation(微软公司)
连续自动语音识别(ASR)的分割传统上使用静音超时或语音活动检测器(VAD),这两者都限于声学特征。这种分割往往过于激进,因为人们在说话时会自然地停下来思考。因此,分割发生在句子中间,阻碍了标点符号和下游任务,如机器翻译,高质量的分割是至关重要的。利用声学特征的基于模型的分割方法是强大的,但如果不了解语言本身,这些方法是有限的。我们提出了一种混合的方法,利用声学和语言信息,以提高分割。此外,我们表明,包括一个字作为前瞻提高分割质量。平均而言,我们的模型将分割F0.5分数提高了9.8%。我们表明,这种方法适用于多种语言。对于机器翻译的下游任务,它将翻译BLEU评分平均提高了1. 05分。
2022-10-27 cs.CL cs.SD eess.AS
Unsupervised Speech Segmentation: A General Approach Using Speech Language Models
Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文利用 Speech Language Models 提出一种简单的无监督语音分割方法,可处理情绪、说话人等多种声学—语义风格变化,并在边界检测、片段纯度和过度分割上优于基线。
2025-01-07 cs.AI cs.CL cs.LG
Long-Form End-to-End Speech Translation via Latent Alignment Segmentation
Charles University(查尔斯大学)
针对真实场景缺乏句子分段且现有方法难以兼顾质量与延迟的问题,本文利用带 ST CTC 的语音翻译编码器-解码器实现无监督、无额外参数的潜在对齐分段,使同一模型完成分段与翻译,并在多语言对和域内外数据上以零额外计算成本达到 SOTA。
2023-09-20 cs.AI cs.CL cs.SD
REBORN: Reinforcement-Learned Boundary Segmentation with Iterative Training for Unsupervised ASR
National Taiwan University(台湾大学)
本文提出REBORN,一种通过强化学习交替训练语音边界分割模型和音素预测模型的无监督ASR方法,在多个数据集上超越现有模型。
2024-11-15 cs.CL cs.SD eess.AS
Multi-microphone Automatic Speech Segmentation in Meetings Based on Circular Harmonics Features
Le Mans Université(勒芒大学)
针对远场会议多麦克风语音分割,本文提出圆谐波域 DOA 空间特征 CH-DOA,并融合标准声学特征,用于 VAD、OSD 和 SCD,在 AMI 上提升分割性能且对麦克风失效鲁棒。
2023-06-07 cs.CL cs.SD eess.AS
Subword Regularization: An Analysis of Scalability and Generalization for End-to-End Automatic Speech Recognition
Amazon(亚马逊)
子字是端到端语音识别中应用最广泛的输出单元。它们通过直接对大多数频繁出现的单词进行建模,结合了两个世界中最好的一个,同时允许开放词汇语音识别,通过后退到较短的单元或字符来构建在训练过程中看不到的单词。然而,将文本映射到子词是模糊的,并且通常可能有多个分割变体。然而,许多系统只使用最可能的分割来训练。最近的研究表明,在训练过程中对子词分割进行采样可以作为神经机器翻译和语音识别模型的正则化器,从而提高性能。在这项工作中,我们进行了一个原则性的调查的规则化效果的子词分割采样方法的流端到端的语音识别任务。特别是,我们根据训练数据集的大小来评估子字正则化的贡献。我们的研究结果表明,子字正则化提供了(2-8%)相对字错误率降低的一致改进,即使在数据集大小高达20 k小时的大规模设置中。此外,我们分析了子字正则化对识别未见过的单词及其对波束多样性的影响。
2020-08-10 cs.SD eess.AS
Beyond Deep Learning: Speech Segmentation and Phone Classification with Neural Assemblies
The University of Melbourne, Australia(墨尔本大学);The University of New South Wales, Australia(新南威尔士大学)
本文提出基于神经元集合的语音处理框架,通过概率梅尔二进制化和群体编码MFCC将语音转换为神经元集合兼容的脉冲模式,结合多区域架构和跨区域更新方案,在无需权重训练的情况下实现了音素和词边界检测及识别。
2026-03-11 cs.SD eess.AS
BreathGRU: A Novel Semi-Supervised Bidirectional Gated Recurrent Unit Framework for Speech and Breath Segmentation for Respiratory Audio
Aberystwyth University(阿伯里斯特威斯大学);University of Southampton(南安普顿大学)
针对呼吸音频分析中语音-呼吸分割的不足,提出半监督双向门控循环单元框架BreathGRU,结合特征提取、双向建模、伪标签精炼和维特比解码,在多项指标上优于现有方法,实现高效分割。
2026-09-28 cs.LG cs.SD eess.AS
Advancing Topic Segmentation of Broadcasted Speech with Multilingual Semantic Embeddings
Fraunhofer Institute for Digital Media Technology(弗劳恩霍夫数字媒体技术研究所);Fraunhofer Institute for Intelligent Analysis and Information Systems(弗劳恩霍夫智能分析与信息系统研究所)
本文提出直接使用语义语音编码器的端到端广播新闻主题分割方法,并构建六语种、约1000小时的多语言基准,多语言训练后$P_k$显著优于传统ASR流水线。
2024-09-10 cs.CL cs.SD eess.AS
Towards Parametric Speech Synthesis Using Gaussian-Markov Model of Spectral Envelope and Wavelet-Based Decomposition of F0
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
基于神经网络的文语转换(Text-to-Speech)技术显著提高了合成语音的质量。突出的方法(例如,Tacotron 2、FastSpeech、FastPitch)通常从文本生成Mel频谱图,然后使用声码器(例如,WaveNet、WaveGlow、HiFiGAN)。与传统的参数方法(例如,STRAIGHT和WORLD),基于神经声码器的端到端模型存在推理速度慢的问题,并且合成的语音通常不鲁棒且缺乏可控性。在这项工作中,我们提出了一种新的更新声码器,这是一个简单的信号模型,训练和容易产生的波形。我们使用高斯马尔可夫模型对强大的学习谱包络和基于小波的统计信号处理的特点和分解F0功能。它能保持语音的精细谱包络,实现自然语音的高度可控性。实验结果表明,我们提出的声码器实现了更好的自然度重建语音比传统的直声码器,略优于WaveNet,并略差于WaveRNN。
2022-08-15 cs.SD eess.AS
Subword Dictionary Learning and Segmentation Techniques for Automatic Speech Recognition in Tamil and Kannada
Indian Institute of Science(印度科学学院);University College Mangalore(芒格洛尔大学学院)
我们提出了自动语音识别(ASR)系统泰米尔语和卡纳达语的子词建模的基础上,有效地处理无限的词汇量,由于语言的高度粘着性。我们探讨了字节对编码(BPE),并提出了一个名为扩展BPE的算法的变体,和Morfessor工具分割每个字作为子字。我们已经有效地将最大似然(ML)和Viterbi估计技术与加权有限状态转换器(WFST)的框架,在这些算法中学习的子词字典从一个大的文本语料库。使用学习的子词字典,训练数据transmits中的词被分割成子词,并且我们训练深度神经网络ASR系统,该系统识别任何给定测试语音发声的子词序列。然后,使用确定性规则对输出子字序列进行后处理,以获得最终的字序列,使得可以识别的字的实际数量要大得多。对于Tamil ASR,我们使用152小时的数据进行训练,65小时用于测试,而对于Kannada ASR,我们使用275小时进行训练,72小时用于测试。在实验不同的分割和估计技术的组合,我们发现,字错误率(WER)大幅降低相比,基线字级ASR,实现了最大的绝对WER减少6.24%和6.63%,分别为泰米尔语和卡纳达语。
2022-07-27 cs.SD eess.AS
Speech Artifact Removal from EEG Recordings of Spoken Word Production with Tensor Decomposition
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN(理化学研究所);Bandung Institute of Technology(万隆理工学院)
由于语音伪影的未被发现的特征,关于涉及口语词产生的大脑活动的研究相当不发达,语音伪影污染了脑电图(EEG)信号并阻止了对潜在认知过程的检查。为了进一步推动EEG研究与语音产生,提出了一种使用三模式张量分解(时间x空间x频率)来执行语音伪影去除的方法。张量分解能够同时检测多个模式,这适合EEG数据的多路性质。在图片命名任务中,我们通过在嘴附近放置两个电极来记录嘴唇EMG来收集带有语音伪影的原始数据。基于我们的评估,它计算的总平均语音伪影和唇肌电信号之间的相关值,张量分解优于以前的方法,基于独立分量分析(ICA)和盲声源分离(BSS),无论是在检测语音伪影(0.985)和产生干净的数据(0.101)。我们提出的方法正确地保留了与语音无关的成分,通过计算没有EOG的总平均原始数据与语音开始前的清洁数据之间的相关值(0.92-0.94)来验证。
2022-06-01 cs.AI cs.SD eess.AS
Robust Phonetic Segmentation Using Spectral Transition measure for Non-Standard Recording Environments
TCS Innovation Labs(塔塔咨询服务公司创新实验室)
发音错误的音素级定位是发音错误自动评估系统的关键要求。一个强大的电话分割技术是必不可少的,以帮助实时评估语音的电话级发音错误,其中音频记录在移动电话或平板电脑上。这是一个非标准的录音设置,对录音质量几乎没有控制。我们提出了一种新的后处理技术,以帮助光谱转换测量(STM)为基础的电话分割在嘈杂的条件下,如环境噪声和剪辑,通常存在于手机录音。我们的方法和电话分割使用传统的MFCC和PLPCC语音特征的高斯噪声和削波的性能比较。所提出的方法在TIMIT和印地语语音语料库上进行了验证,并用于计算一组语音的电话边界,这些语音同时记录在三台设备(笔记本电脑、固定放置的平板电脑和手持手机)上,以模拟不同的音频质量实时非标准记录环境。F比率是用于计算电话边界标记准确性的度量。实验结果表明,TIMIT和10%的印地语数据比基线方法提高了7%。对于内部收集的一组三个记录,也观察到类似的结果。
2020-04-29 cs.SD eess.AS
Impact of Encoding and Segmentation Strategies on End-to-End Simultaneous Speech Translation
Naver Labs Europe
在IWITH 2020的同声翻译共享任务的推动下,最近提出了有前途的端到端在线语音翻译方法。它们包括增量地编码语音输入(以源语言)和解码相应的文本(以目标语言),在延迟和翻译质量之间具有最佳可能的折衷。本文研究了端到端同步语音翻译的两个关键方面:(a)如何有效地编码连续的语音流,以及(b)如何分割语音流,以便在读(R:编码输入)和写(W:解码输出)操作之间进行最佳交替。我们扩展了我们之前提出的端到端在线解码策略,并表明虽然用ULSTM编码取代BLSTM会降低离线模式下的性能,但它实际上提高了在线模式下的效率和性能。我们还测量了不同方法对语音信号进行分段的影响(使用固定的间隔边界,Oracle单词边界或随机设置的边界),并表明我们最好的端到端在线解码策略是令人惊讶的是,在我们的英语-德语语音翻译设置上,在固定大小的块上交替进行R/W操作。
2021-06-14 cs.CL cs.SD eess.AS
PSST! Prosodic Speech Segmentation with Transformers
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校);University of Cambridge(剑桥大学)
本文微调Whisper模型,利用低频标记标注语调单位边界,达到95.8%准确率,无需大规模数据,并发现3.2kHz低通滤波器提升泛化性能。
2023-02-03 cs.CL cs.SD eess.AS
Complex Cepstrum-based Decomposition of Speech for Glottal Source Estimation
Izmir Institute of Technology(伊兹密尔理工学院)
同态分析是一种用于分离非线性组合信号的众所周知的方法。更具体地说,在各种文章中已经讨论了使用复倒谱进行源道反褶积。然而,目前还没有研究提出了一种基于倒谱的声门流量估计方法,并报道了有效的结果。在本文中,我们表明,复倒谱可以有效地用于声门流量估计,通过分离的因果和anticausal成分的加窗语音信号所做的零的Z变换(ZZT)分解。基于与ZZT分解完全相同的原理,应该应用加窗,使得加窗后的语音信号呈现出符合语音产生模型的混合相位特性,即反音分量主要是由于声门流开放相位。与ZZT分解相比,基于复倒谱的方法的优点是其速度快得多。
2019-12-29 cs.CL cs.SD eess.AS
Unsupervised Word Segmentation from Discrete Speech Units in Low-Resource Settings
Avignon University(阿维尼翁大学);Bogazici University(海峡大学);Brno University of Technology(布尔诺理工大学);LISN CNRS(法国国家科学研究中心LISN实验室);University of Sheffield(谢菲尔德大学);Naver Labs Europe(Naver欧洲实验室);University Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
记录语言有助于防止濒危方言的灭绝,其中许多方言预计将在本世纪末消失。在记录口头语言时,从语音中进行无监督分词(UWS)是一项有用但具有挑战性的任务。它包括产生时间戳,用于将话语分割成与单词相对应的更小的片段,从语音转录执行,或者在没有这些的情况下,从无监督语音离散化模型的输出执行。这些离散化模型仅使用原始语音进行训练,产生可应用于下游(基于文本)任务的离散语音单元。在本文中,我们比较了五个这些模型:三个贝叶斯和两个神经的方法,关于UWS的生产单位的可利用性。对于UWS任务,我们使用两种模型进行实验,使用来自刚果布拉柴维尔的一种不成文语言Mboshi(班图C25)作为我们的目标语言。此外,我们报告的结果,芬兰语,匈牙利语,罗马尼亚语和俄语在同样低的资源设置,使用只有4个小时的讲话。我们的研究结果表明,语音离散化的神经模型在我们的环境中很难利用,并且可能有必要调整它们以限制序列长度。我们得到我们最好的UWS的结果,使用贝叶斯模型,产生高质量的,但压缩,离散表示的输入语音信号。
2022-05-18 cs.CL cs.SD eess.AS
Artificially Synthesising Data for Audio Classification and Segmentation to Improve Speech and Music Detection in Radio Broadcast
University of Plymouth(普利茅斯大学);University of Glasgow(格拉斯哥大学);Anglia Ruskin University(安格利亚鲁斯金大学);Brighton and Sussex Medical School(布莱顿与苏塞克斯医学院)
将音频分割成音乐和语音等同质部分有助于我们理解音频的内容。它是一个有用的预处理步骤,索引,存储和修改录音,无线电广播和电视节目。用于分割的深度学习模型通常在受版权保护的材料上进行训练,这些材料不能共享。注释这些数据集既耗时又昂贵,因此会大大减缓研究进度。在这项研究中,我们提出了一种新的程序,人工合成类似于无线电信号的数据。我们复制了电台DJ在混音中的工作流程,并研究了淡入淡出曲线和音频回避等参数。我们在这些合成数据上训练了卷积递归神经网络(CRNN),并在音乐语音检测方面优于最先进的算法。本文展示了数据合成过程作为一种高效的技术来生成大型数据集,以训练深度神经网络进行音频分割。
2021-02-19 cs.LG cs.SD eess.AS
Phoneme Segmentation Using Self-Supervised Speech Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们将迁移学习应用于音素分割任务,并展示了在自我监督预训练任务中学习到的表示的效用。我们的模型扩展了transformer风格的编码器,其中策略性地放置了卷积,这些卷积可以操纵在预训练中学习到的特征。使用TIMIT和七叶树语料库,我们训练和测试的监督和无监督设置的模型。后一种情况是通过提供一个有噪声的标签集与一个单独的模型的预测,它已经在一个无监督的方式训练。结果表明,我们的模型在两种设置和两个数据集上都超越了以前的最先进性能。最后,在发表的代码审查和尝试重现过去的分割结果的观察,我们发现有必要消除歧义的定义和广泛使用的评估指标的实现。我们解决这个模糊性划定两个不同的评价方案,并描述其细微差别。
2022-11-02 cs.CL cs.SD eess.AS
Unsupervised Speech Segmentation and Variable Rate Representation Learning using Segmental Contrastive Predictive Coding
Johns Hopkins University(约翰斯·霍普金斯大学)
通常,将语音无监督分割成音素和类词单元被视为单独的任务,并且通常通过不同的方法来完成,这些方法不能充分利用这两个任务的相互依赖性。在这里,我们将它们统一起来,并提出了一种可以联合执行这两项任务的技术,表明这两项任务确实相互受益。最近的尝试采用自监督学习,例如对比预测编码(CPC),其中下一帧是在给定过去上下文的情况下预测的。然而,CPC仅查看音频信号的帧级结构。我们用分段对比预测编码(SCPC)框架克服了这一限制,以在更高级别上对信号结构进行建模,例如,电话水平。卷积神经网络通过噪声对比估计(NCE)从原始波形学习帧级表示。可微分边界检测器找到可变长度的段,然后通过NCE优化段编码器以学习段表示。可微边界检测器允许我们联合训练帧级和段级编码器。实验表明,我们的单一模型优于现有的电话和词分割方法TIMIT和七叶树数据集。我们发现音素类别会影响边界侦测的效能,而连续元音或半元音之间的边界是最难侦测的。最后,我们使用SCPC在段级而不是在均匀间隔的帧级提取语音特征(例如,10 ms),并产生根据话语的内容而改变的可变速率表示。我们可以将特征提取率从典型的100 Hz降低到平均低至14.5 Hz,同时在线性电话分类任务上仍然优于MFCC特征。
2021-10-08 cs.SD eess.AS
SwishNet: A Fast Convolutional Neural Network for Speech, Music and Noise Classification and Segmentation
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
语音、音乐和噪声分类/分割是音频处理/索引的重要预处理步骤。为此,我们提出了一种新的一维卷积神经网络(CNN)- SwishNet。它是一种基于MFCC功能的快速轻量级架构,适合添加到音频处理管道的前端。我们表明,通过从ImageNet上预训练的2D CNN中提取知识,可以提高网络的性能。我们研究了我们的网络在MUSAN语料库上的性能-MUSAN语料库是一个开放的噪声,音乐和语音样本的综合集合,适用于深度学习。所提出的网络在片段(长度为0.5-2s)分类(>97%准确率)和逐帧分割(>93%准确率)任务中实现了高的整体准确率,在语音/非语音区分任务中具有更高的准确率(>99%)。为了验证我们模型的鲁棒性,我们在MUSAN上进行了训练,并在不同的语料库GTZAN上进行了评估,发现精确度很高,微调很少。我们还证明了我们的模型在CPU和GPU上都是快速的,消耗少量的内存,适合在嵌入式系统中实现。
2018-12-01 cs.LG cs.SD eess.AS
SegAugment: Maximizing the Utility of Speech Translation Data with Segmentation-based Augmentations
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);FAIR Meta(Meta AI基础人工智能研究实验室)
本文提出 SegAugment 数据增强方法,通过音频重分段与文本对齐生成多个句子级数据版本,在多语言语音翻译基准上显著提升性能并达到新的最先进水平。
2023-11-01 cs.CL cs.SD eess.AS
XLS-R fine-tuning on noisy word boundaries for unsupervised speech segmentation into words
ENS(巴黎高等师范学院);INSERM(法国国家健康与医学研究院);UPEC(巴黎第十二大学);PSL(巴黎文理研究大学);Inria(法国国家信息与自动化研究所);Meta AI
针对无文本监督的语音分词难题,提出基于XLS-R微调的自训练方法,利用顶级系统生成的带噪词边界迭代优化,在多语言语料上F1值较此前最优提升130%,还支持零样本跨语言分词。
2023-10-08 cs.CL cs.SD eess.AS
Unsupervised Speech Decomposition via Triple Information Bottleneck
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
语音信息可以大致分解为四个组成部分:语言内容、音色、音高和节奏。获得这些分量的解纠缠表示在许多语音分析和生成应用中是有用的。最近,国家的最先进的语音转换系统已经导致语音表示,可以解开扬声器相关和独立的信息。然而,这些系统只能解开音色,而有关音高,节奏和内容的信息仍然混合在一起。在没有针对每个分量的明确注释的情况下,进一步解开剩余的语音分量是欠确定的问题,这是难以获得且昂贵的。在本文中,我们提出了SpeechSplit,它可以通过引入三个精心设计的信息瓶颈,将语音盲分解为四个组成部分。SpeechSplit是第一个可以在没有文本标签的情况下单独对音色、音高和节奏进行风格转换的算法。我们的代码可在https://github.com/auspicious3000/SpeechSplit上公开获取。
2021-03-13 cs.LG cs.SD eess.AS
Acoustic-to-articulatory Inversion based on Speech Decomposition and Auxiliary Feature
Tianjin University(天津大学);Shenzhen Research Institute of Big Data, the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)深圳大数据研究院)
声学-发音转换(AAI)是从语音信号中获取发音器官的运动信息。到目前为止,由于数据有限,实现与说话人无关的AAI仍然是一个挑战。此外,目前大多数的作品只使用音频语音作为输入,造成了不可避免的性能瓶颈。为了解决这些问题,首先,我们预训练一个语音分解网络,将音频语音分解为说话人嵌入和内容嵌入作为新的个性化语音特征,以适应说话人无关的情况。其次,为了进一步改进AAI,我们提出了一种新的辅助特征网络,从上述个性化语音特征中估计嘴唇辅助特征。在三个公开数据集上的实验结果表明,与只利用音频语音特征的现有方法相比,在特定说话人情况下,该方法的平均RMSE降低了0.25,平均相关系数提高了2.0%。更重要的是,在说话人无关的情况下,平均RMSE降低了0.29,平均相关系数增加了5.0%。
2022-04-02 cs.CV cs.SD eess.AS
Speech-Copilot: Leveraging Large Language Models for Speech Processing via Task Decomposition, Modularization, and Program Generation
National Taiwan University(台湾大学)
本文提出Speech-Copilot框架,通过任务分解构建语音处理专用工具集,并利用基于大型语言模型的智能体生成程序执行任务,在Dynamic-SUPERG基准上达到最先进性能,提供灵活可扩展的免训练解决方案。
2024-09-23 cs.CL cs.SD eess.AS
CTC-Segmentation of Large Corpora for German End-to-end Speech Recognition
最近的端到端自动语音识别(ASR)系统展示了优于传统混合DNN/ HMM ASR的能力。除了这些系统的结构改进外,这些模型在深度、参数和模型容量方面都有所增加。然而,这些模型也需要更多的训练数据来实现可比的性能。在这项工作中,我们结合了德国语音识别,包括尚未标记的语音数据,超过$1700$ h的语音数据的大数据集免费提供的语料库。对于数据准备,我们提出了一种两阶段的方法,该方法使用用连接主义时间分类(CTC)预训练的ASR模型,从未分割或未标记的训练数据中引导更多的训练数据。然后,从CTC训练的网络获得的标签概率中提取话语,以确定片段对齐。利用这些训练数据,我们训练了一个混合CTC/attention Transformer模型,该模型在Tuda-DE测试集上实现了$12.8\%$ WER,超过了传统混合DNN/HMM ASR的$14.4\%$的先前基线。
2020-10-05 eess.AS
V2SFlow: Video-to-Speech Generation with Speech Decomposition and Rectified Flow
Korea Advanced Institute of Science and Technology(韩国科学技术院);Microsoft(微软)
V2SFlow是一个新颖的视频到语音生成框架,通过将语音分解为内容、音调和说话人信息子空间并基于Transformer架构的rectified flow matching解码器,显著提升了真实世界数据集上的语音自然度,甚至超越真实话语。
2025-05-30 cs.CV cs.SD eess.AS
End-to-end speaker segmentation for overlap-aware resegmentation
IRIT, Université de Toulouse, CNRS(图卢兹大学计算机科学研究所(IRIT),法国国家科学研究中心)
说话人分割是将一个或多个说话人之间的对话划分为说话人话轮。通常解决的三个子任务(语音活动检测,说话人变化检测,重叠语音检测)的后期组合,我们提出了训练一个端到端的分割模型,直接做。受原始端到端神经说话人日记化方法(EEND)的启发,该任务被建模为使用置换不变训练的多标签分类问题。主要的区别是,我们的模型在短音频块(5秒)上运行,但时间分辨率要高得多(每16毫秒)。在多个说话人日志数据集上的实验表明,该模型可以成功地用于语音活动检测和重叠语音检测。我们提出的模型也可以用作后处理步骤,检测和正确分配重叠的语音区域。相对于最佳考虑基线(VBx)的相对日志错误率改善在AMI上达到17%,在DIHARD 3上达到13%,在VoxConverse上达到13%。
2021-06-10 cs.SD eess.AS
Causal-Anticausal Decomposition of Speech using Complex Cepstrum for Glottal Source Estimation
University of Mons(蒙斯大学);Izmir Institute of Technology(伊兹密尔理工学院)
复倒谱在文献中已知用于线性分离因果分量和反因果分量。依靠ZZT技术的零值,我们在这里研究了在大规模数据库上使用复倒谱进行声门流量估计的可能性。通过系统的研究窗口对反卷积质量的影响,我们表明,复倒谱cascarianticausal分解可以有效地用于声门流量估计时,满足特定的窗口标准。它还表明,这种复杂的倒谱分解得到类似的声门估计与ZZT方法。然而,由于复倒谱使用FFT运算而不需要高次多项式的因式分解,因此该方法受益于更高的速度。最后,在我们的一个大语料库的真实表达语音的测试,我们表明,该方法具有潜在的语音质量分析。
2019-12-30 cs.CL cs.SD eess.AS
Robust AI-Synthesized Speech Detection Using Feature Decomposition Learning and Synthesizer Feature Augmentation
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳)计算机科学与技术学院);College of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);Alibaba Group(阿里巴巴集团);College of Computer Science, Chongqing University(重庆大学计算机学院)
提出基于双流特征分解与合成器特征增强的鲁棒deepfake speech检测方法,通过学习独立于合成器的内容特征并增加特征多样性,提升对未见合成器的泛化能力。
2024-11-14 cs.CR cs.SD eess.AS
Semi-supervised acoustic modelling for five-lingual code-switched ASR using automatically-segmented soap opera speech
Stellenbosch University(斯泰伦博斯大学);National University of Singapore(新加坡国立大学)
本文考虑了自动分割的影响,全自动,半监督训练的自动语音识别(ASR)系统的五种语言的代码切换(CS)的语音。四个自动分割技术进行了评估,在识别性能的ASR系统训练所产生的部分在半监督的方式。该系统的输出进行了比较,实现了人工分配的段训练的半监督系统的识别率。三种自动技术使用新提出的卷积神经网络(CNN)模型进行逐帧分类,并包括一种新形式的CNN输出的HMM平滑。自动分割与自动说话人日志化相结合。性能最好的分割技术也进行了测试,没有发言人日记。基于248个未分割的肥皂剧集的评估表明,基于CNN的语音活动检测(VAD),然后是高斯混合模型隐马尔可夫模型平滑(CNN-GMM-HMM)产生最好的ASR性能。与使用手动创建的片段训练的系统相比,使用所得片段训练的半监督系统实现了1.1%的总体WER绝对改善。此外,我们发现,系统的性能进一步提高时,自动分割与说话人日记。
2020-04-08 cs.LG cs.SD eess.AS
AutoPrep: An Automatic Preprocessing Framework for In-the-Wild Speech Data
Tencent AI Lab(腾讯人工智能实验室);Shenzhen Research Institute of Big data(深圳大数据研究院)
本文提出AutoPrep自动预处理框架,通过语音增强、切分、说话人聚类、目标语音提取、质量过滤和自动语音识别六个组件处理自然场景语音数据,实验表明其预处理数据质量接近开源TTS数据集,并支持TTS系统达到0.68的域内说话人相似度。
2023-09-25 cs.SD eess.AS
Identification/Segmentation of Indian Regional Languages with Singular Value Decomposition based Feature Embedding
VIT Bhopal University(VIT博帕尔大学);Stellenbosch University(斯泰伦博斯大学)
语言识别(LID)是在给定的口头话语中识别语言。语言分割与语言识别同样重要,在多语言话语中可以发现语言边界。在本文中,我们已经尝试了两个计划的语言识别在印度区域语言的背景下,很少的工作已经完成。基于奇异值的特征嵌入用于这两种方案。在第一种方案中,奇异值分解(SVD)被应用于n-gram话语矩阵,在第二种方案中,SVD被应用于差超向量矩阵空间。我们已经观察到,在这两种方案中,55-65%的奇异值能量足以捕获语言上下文。在基于n-gram的特征表示中,我们已经看到不同的skipgram模型捕获不同的语言上下文。我们已经观察到,对于较短的测试持续时间,基于超向量的特征表示更好,但是对于较长的持续时间测试信号,基于n-gram的特征表现得更好。我们还将我们的工作扩展到探索基于语言的分割,其中我们已经看到,使用十种语言训练模型的四种语言组的分割准确度,方案1表现良好,但使用相同的四种语言训练模型,方案2优于方案1
2020-05-17 cs.SD eess.AS
Word Segmentation on Discovered Phone Units with Dynamic Programming and Self-Supervised Scoring
Stellenbosch University(斯泰伦博斯大学)
最近的无监督语音分割工作使用了自监督模型,其中包含联合训练的电话和分词模块。相反,本文重新审视了一个旧的方法,分词:自下而上的电话样单位的发现是第一次,符号分词,然后在发现的单位(不影响较低的水平)。为此,我提出了一个新的单元发现模型,一个新的符号分词模型,然后链接这两个模型来分割语音。这两种模型都使用动态规划来最小化来自自我监督网络的分段成本,并具有鼓励更长单位的额外持续时间惩罚。具体地,对于声学单元发现,使用持续时间惩罚动态规划(DPDP)与对比预测编码模型作为评分网络。对于分词,DPDP与作为评分网络的自编码递归神经一起应用。这两个模型被链接以分割语音。这种方法提供了可比的分词结果,以最先进的联合自监督分割模型的英语基准。在法语、普通话、德语和沃洛夫语数据上,它在ZeroSpeech基准测试中的表现优于以前的系统。分析表明,链式DPDP系统分割较短的填充字,但较长的字可能需要一些外部自顶向下的信号。
2023-01-09 cs.CL cs.SD eess.AS
Unsupervised Word Segmentation using K Nearest Neighbors
Bar-Ilan University(巴伊兰大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
在本文中,我们提出了一个无监督的基于kNN的方法,在语音话语的分词。我们的方法依赖于自我监督的预训练语音表示,并将给定话语的每个音频片段与训练集中的K个最近邻进行比较。我们的主要假设是,包含多个单词的片段出现的频率低于包含单个单词的片段。我们的方法不需要音素发现,并且能够直接对预先训练的音频表示进行操作。这与使用两阶段方法的当前方法相反;首先检测话语中的音素,然后根据音素模式上计算的统计数据检测词边界。在两个数据集上的实验表明,与以前的单阶段方法相比,改进的结果和最先进的两阶段方法的竞争结果。
2022-04-27 cs.SD eess.AS
Regularizing End-to-End Speech Translation with Triangular Decomposition Agreement
University of Science and Technology of China(中国科学技术大学);Alibaba DAMO Academy(阿里巴巴达摩院);Rutgers University(罗格斯大学)
端到端语音到文本翻译(E2 E-ST)由于其错误传播少,延迟低和参数少的潜力而变得越来越受欢迎。给定三元组训练语料库$\langle speech, transcription, translation\rangle$,传统的高质量E2 E-ST系统利用$\langle speech, transcription\rangle$对来预训练模型,然后利用$\langle speech, translation\rangle$对来进一步优化它。然而,该过程在每个阶段仅涉及二元组数据,并且这种松散耦合未能充分利用三元组数据之间的关联。在本文中,我们试图建立基于语音输入的转录和翻译的联合概率模型,以直接利用这样的三元组数据。在此基础上,我们提出了一种新的正则化方法用于模型训练,以提高理论上应该相等的三重数据内的双路径分解的一致性。为此,我们在模型训练目标中引入两个Kullback-Leibler散度正则化项,以减少双路径输出概率之间的不匹配,并通过预先定义的提前终止标签将训练好的模型自然地转换为E2 E-ST模型。MuST-C基准测试的实验表明,我们提出的方法显着优于国家的最先进的E2 E-ST基线上的所有8种语言对,同时实现更好的性能,在自动语音识别任务。我们的代码在https://github.com/duyichao/E2E-ST-TDA上开源。
2022-05-25 cs.CL cs.SD eess.AS
On the Difficulty of Segmenting Words with Attention
The University of Edinburgh(爱丁堡大学)
分词,即在语音中找到词边界的问题,是一系列任务的兴趣所在。以前的论文已经提出,对于在语音翻译或语音识别等任务上训练的序列到序列模型,可以使用注意力来定位和分割单词。然而,我们发现,即使在单语数据,这种方法是脆弱的。在我们使用不同输入类型、数据大小和分割算法的实验中,只有经过训练的模型才能成功完成任务。训练模型来预测来自电话或语音的单词(即,相反的方向需要推广到新的数据),产生更差的结果,这表明基于注意力的分割仅在有限的场景中有用。
2021-09-21 cs.CL cs.SD eess.AS
Noisy Speech Based Temporal Decomposition to Improve Fundamental Frequency Estimation
为了提高基频(F0)估计精度,提出了一种将含噪语音分离成低频或高频帧的新方法。在该方案中,目标信号的分析是通过集合经验模式分解。接着,从第一分解模式中提取基音信息。该特征指示语音的F0应该位于的频率区域,从而将帧分成低频(LF)或高频(HF)。该分离应用于从常规基频检测方法中提取的正确候选,从而提高F0估计的准确性。该方法在实验中进行评估与CSTR和TIMIT数据库,考虑六个不同的信号噪声比下的声学噪声。一个基音增强算法作为基线的评估分析,考虑到三个传统的估计。结果表明,该方法优于竞争策略,在低/高频率分离精度。此外,性能指标的F0估计技术表明,新的解决方案是能够更好地提高F0检测精度相比,在不同的噪声条件下的竞争方法。
2021-12-18 eess.AS
Segmentation-Variant Codebooks for Preservation of Paralinguistic and Prosodic Information
University of Edinburgh(爱丁堡大学);The Centre for Speech Technology Research(语音技术研究中心)
针对自监督语音模型量化易丢失韵律及副语言信息的问题,提出分段可变码本方法,在多语言单元层级量化分解语音,实验证明其在信息保留、风格还原及音质上均有提升。
2025-05-21 cs.CL cs.SD eess.AS
Forward Convolutive Prediction for Frame Online Monaural Speech Dereverberation Based on Kronecker Product Decomposition
Wuhan University(武汉大学);Northwestern Polytechnical University(西北工业大学);Southern University of Science and Technology(南方科技大学);INRS-EMT, University of Quebec(魁北克大学INRS-EMT)
针对前向卷积预测语音去混响方法中线性预测滤波器过长、计算复杂度高的问题,提出基于克罗内克积分解的新型FCP方法,将长滤波器分解为两个短滤波器并设计自适应在线更新算法,在保持去混响性能的同时大幅降低计算成本。
2025-10-28 eess.AS
STYLER: Style Factor Modeling with Rapidity and Robustness via Speech Decomposition for Expressive and Controllable Neural Text to Speech
KAIST(韩国科学技术院)
神经文本到语音(TTS)的先前工作已经解决了有限的速度在训练和推理时间,鲁棒性困难的合成条件,表达能力和可控性。虽然有几种方法解决了一些局限性,但还没有尝试一下子解决所有的弱点。在本文中,我们提出了STYLER,一个表达和可控的TTS框架与高速和强大的合成。我们的新音频文本对齐方法称为Mel Calibration和排除自回归解码,可以快速训练和推理,并在看不见的数据上进行稳健的合成。此外,在监督下的风格因素模型的分离扩大了合成过程的可控性,从而导致表现力的TTS。最重要的是,一种使用域对抗训练和残差解码的新型噪声建模管道可以实现噪声鲁棒性风格转移,在没有任何额外标签的情况下分解噪声。各种实验表明,STYLER在速度和鲁棒性方面比具有自回归解码的表达性TTS更有效,并且比阅读风格的非自回归TTS更具表达性和可控性。合成样本和实验结果通过我们的演示页面提供,代码是公开的。
2021-06-25 cs.AI cs.CL cs.SD
Semantic VAD: Low-Latency Voice Activity Detection for Speech Interaction
University of Science and Technology of China (USTC)(中国科学技术大学);Tianjin University(天津大学);Alibaba Group(阿里巴巴集团)
本文提出一种用于低延迟分割的语义 VAD 方法,通过引入帧级标点预测、人工端点分类及 ASR 语义损失,在保持后端 ASR 字符错误率不显著恶化的前提下将平均延迟降低 53.3%。
2023-05-21 cs.SD eess.AS
Real-Time Word-Level Temporal Segmentation in Streaming Speech Recognition
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology(国立先进工业科学技术研究所);Sony CSL(索尼计算机科学实验室)
针对实时字幕系统无法在词级更改文本属性以传达说话者意图的问题,本文提出实时词级文本装饰更改方案,并开发基于单词响度调整大小的原型应用,提升字幕吸引力与可访问性。
2025-04-15 cs.HC cs.MM cs.SD
Time-Graph Frequency Representation with Singular Value Decomposition for Neural Speech Enhancement
本文提出基于奇异值分解的图傅里叶变换(GFT-SVD)生成实值时间-图表示,解决了双流网络中幅度与相位对齐建模的限制,避免了相位恢复,在客观可懂度和感知质量上优于多种基线方法。
2024-12-24 eess.AS
End-to-End Speech-Translation with Knowledge Distillation: FBK@IWSLT2020
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
本文介绍了FBK参与IWITH 2020离线语音翻译(ST)任务的情况。该任务评估系统将英语TED演讲音频翻译成德语文本的能力。测试会谈有两个版本:一个包含已经用自动工具分割的数据,另一个是没有任何分割的原始数据。参与者可以决定是否进行自定义细分。我们使用提供的分割。我们的系统是一个端到端的模型的基础上适应的Transformer的语音数据。它的训练过程是本文的主要重点,它基于:i)迁移学习(ASR预训练和知识蒸馏),ii)数据增强(SpecAugment,时间拉伸和合成数据),iii)将合成和真实数据标记为不同的域,iv)使用CTC损失的多任务学习。最后,在单词级知识蒸馏的训练完成后,我们的ST模型使用标签平滑交叉熵进行微调。我们最好的模型在Must-C En-De测试集上获得了29 BLEU,与最近的论文相比,这是一个很好的结果,并且在使用VAD分割的相同数据上获得了23.7 BLEU,这表明需要研究解决这种特定数据条件的解决方案。
2020-06-04 cs.CL cs.SD eess.AS
Phonetic Segmentation of the UCLA Phonetics Lab Archive
University of Zurich(苏黎世大学);University of Ljubljana(卢布尔雅那大学);University of Neuchâtel(纳沙泰尔大学);University of Miami(迈阿密大学)
本文提出VoxAngeles语料库,基于UCLA语音学实验室档案的95种语言数据,提供经审核的音标转写、音素级对齐及语音测量,以促进定量语音类型学和低资源语音技术研究。
2024-03-28 cs.CL cs.SD eess.AS