CALM: Joint Contextual Acoustic-Linguistic Modeling for Personalization of Multi-Speaker ASR
Honda Research Institute Japan Co., Ltd.(本田研究院日本株式会社);Carnegie Mellon University(卡内基梅隆大学)
CALM通过端到端框架整合目标说话人条件和上下文偏差,降低多说话人语音识别的词错误率和字符错误率,验证了跨语言的联合语音-语言建模有效性。
2026-05-13 cs.CL cs.SD eess.AS
Speaker- and Age-Invariant Training for Child Acoustic Modeling Using Adversarial Multi-Task Learning
University of New South Wales(新南威尔士大学)
儿童语音声学建模的主要挑战之一是随着儿童的成长,他们的发音发生快速变化,他们不同的增长速度以及随后在同一年龄组中的高变异性。这些高声学变化以及儿童语音语料库的稀缺阻碍了可靠的儿童语音识别系统的发展。本文提出了一种基于对抗性多任务学习的说话人和年龄不变训练方法。该系统由一个生成器共享网络组成,该网络学习生成与音素、年龄和说话者三个识别网络相连的说话者和年龄不变特征。生成器网络被训练成在对抗性多任务学习方式中最小化音素辨别损失并最大化说话者和年龄辨别损失。发生器网络是一个时间延迟神经网络(TDNN)结构,而三个鉴别器是前馈网络。该系统被应用到OGI语音语料库,并取得了13%的减少WER的ASR。
2022-11-07 cs.CL cs.SD eess.AS
Simultaneous Speech Recognition and Speaker Diarization for Monaural Dialogue Recordings with Target-Speaker Acoustic Models
本文研究了使用目标说话人自动语音识别(TS-ASR)的同时语音识别和说话人日记的单通道对话录音。TS-ASR是一种在给定目标说话人的短样本话语的情况下仅自动提取和识别该说话人的语音的技术。TS-ASR的一个明显缺点是,当录音中的扬声器未知时,它不能使用,因为它需要在解码之前对目标扬声器进行采样。为了消除这种限制,我们提出了一种迭代法,其中(i)说话人嵌入的估计和(ii)基于估计的说话人嵌入的TS-ASR交替执行。我们使用非常具有挑战性的对话录音,其中扬声器重叠率超过20%,评估所提出的方法。我们证实,所提出的方法显着降低了字出错率(WER)和日记出错率(DER)。我们提出的方法结合i-向量说话人嵌入最终实现了WER,其与给定Oracle说话人嵌入的TS-ASR的WER仅相差2.1%。此外,我们的方法可以同时解决说话人日记作为一个副产品,并取得了更好的DER比传统的基于聚类的说话人日记方法的基础上的i-向量。
2019-09-17 cs.CL cs.SD eess.AS
Learning Hidden Unit Contributions for Unsupervised Acoustic Model Adaptation
University of Edinburgh(爱丁堡大学);Microsoft Corporation(微软公司)
这项工作提出了一个广泛的研究适应神经网络声学模型通过学习隐藏单元的贡献(LHUC)-一种方法,线性重新组合隐藏单元在扬声器或环境依赖的方式使用少量的无监督的适应数据。我们还将LHUC扩展到一个说话者自适应训练(SAT)框架,该框架导致一个更具适应性的DNN声学模型,以说话者相关和说话者无关的方式工作,而不需要维护辅助说话者相关特征提取器或向DNN结构引入显着的说话者相关变化。通过一系列的实验,四个不同的语音识别基准(TED会谈,Switchboard,AMI会议,极光4),包括270个测试扬声器,我们表明,LHUC在其测试和SAT的变种结果一致的字出错率减少5%至23%,相对取决于任务和训练和测试数据之间的不匹配程度。此外,我们还研究了每个扬声器的自适应数据量的影响,无监督自适应目标的质量,与其他自适应技术的互补性,一次性自适应,以及以序列判别方式训练的自适应DNN的扩展。
2016-07-13 cs.CL cs.LG cs.SD
Speaker-Targeted Audio-Visual Models for Speech Recognition in Cocktail-Party Environments
Carnegie Mellon University(卡内基梅隆大学)
鸡尾酒会环境中的语音识别对于现有技术的语音识别系统来说仍然是一个重大的挑战,因为从具有相似频率和时间特性的重叠语音的背景中提取单个说话者的声学信号是极其困难的。我们建议使用扬声器为目标的声学和视听模型为这项任务。我们补充的声学特征的混合DNN-HMM模型与信息的目标扬声器的身份,以及从目标扬声器的嘴部区域的视觉特征。实验进行了使用模拟鸡尾酒会数据产生的GRID视听语料库重叠两个扬声器的语音在一个单一的声学通道。我们的纯音频基线达到了26.3%的WER。视听模型将WER提高到4.4%。引入说话人身份信息的效果更明显,将WER提高到3.6%。然而,结合这两种方法并没有进一步显着提高性能。我们的工作表明,以说话人为目标的模型可以显着提高鸡尾酒会环境中的语音识别。
2019-06-13 cs.CL cs.CV cs.SD
Speaker-Invariant Training via Adversarial Learning
Microsoft AI and Research(微软人工智能与研究部)
我们提出了一种新的对抗性多任务学习方案,旨在主动减少说话者间的特征变异性,同时最大化其senone可区分性,以提高基于深度神经网络(DNN)的ASR系统的性能。我们称该方案为说话人不变训练(SIT)。在SIT中,DNN声学模型和说话人分类器网络被联合优化,以最小化senone(绑三音子状态)分类损失,同时最小化说话人分类损失。通过这种对抗性多任务学习,学习了说话人不变和senone区分的深度特征。使用SIT,可以学习输出概率方差显著降低的规范DNN声学模型,而无需在训练或测试中使用显式的说话者独立(SI)变换或特定于说话者的表示。在CHiME-3数据集上进行评估,SIT比传统的SI声学模型实现了4.99%的相对字错误率(WER)改善。通过额外的无监督说话人自适应,说话人自适应(SA)SIT模型比SA SI声学模型实现了4.86%的相对WER增益。
2019-04-30 cs.AI cs.CL cs.SD
Independent and automatic evaluation of acoustic-to-articulatory inversion models
PSL Research University(PSL研究大学)
为了提高语音识别和文本到语音合成,已经提出了从声学语音信号重建发音轨迹。然而,在这些设置中是有用的,发音重建必须是扬声器独立的。此外,由于大多数研究都集中在说话者较少的单个小数据集上,因此强大的发音重建可以从组合数据集中受益。标准的评估措施,如均方根误差和皮尔逊相关性是不合适的评估模型的说话人独立性或组合数据集的有用性。我们提出了一个新的评价发音重建,这是独立的发音数据集用于培训:电话歧视ABX任务。我们使用ABX测量来评估在3个数据集(14个说话者)上训练的基于Bi-LSTM的模型,并表明它提供了与标准测量互补的信息,并使我们能够评估数据集合并的影响以及模型的说话者独立性。
2019-11-15 cs.CL cs.SD eess.AS
Dynamic Layer Normalization for Adaptive Neural Acoustic Modeling in Speech Recognition
MILA(米拉研究所);Université de Montréal(蒙特利尔大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
层归一化是最近引入的一种技术,用于对深度神经网络中的神经元活动进行归一化,以提高训练速度和稳定性。在本文中,我们介绍了一种新的层归一化技术称为动态层归一化(DLN)的自适应神经声学建模在语音识别。通过在层归一化中动态生成缩放和移位参数,DLN使神经声学模型适应于由诸如扬声器、信道噪声和环境等各种因素引起的声学变化。与其他自适应声学模型不同,我们提出的方法不需要额外的自适应数据或扬声器信息,如i向量。此外,模型大小是固定的,因为它动态地生成自适应参数。我们将我们提出的DLN应用于深度双向LSTM声学模型,并在大词汇量ASR实验的两个基准数据集上进行评估:WSJ和TED-LIUM版本2。实验结果表明,我们的DLN提高了神经声学模型的转录准确性,通过动态适应各种扬声器和环境。
2017-07-19 cs.CL cs.LG
Speaker Diarization with Lexical Information
University of Southern California(南加州大学);JD AI Research(京东人工智能研究院)
本文提出了一种利用自动语音识别提供的词汇信息进行说话人日志化的新方法。我们提出了一个说话人日记系统,可以将单词级说话人转向概率与说话人嵌入到说话人聚类过程中,以提高整体日记的准确性。为了在聚类过程中全面地整合词汇和声学信息,我们引入了一种邻接矩阵整合的谱聚类方法。由于单词和单词边界信息的单词级说话人转向概率估计提供的语音识别系统,我们提出的方法的工作原理,没有任何人为干预的手动transmittance。我们表明,所提出的方法提高了各种评估数据集上的日志化性能相比,基线日志化系统只使用声学信息在扬声器嵌入。
2020-04-13 cs.CL cs.SD eess.AS
Joint Speech Recognition and Speaker Diarization via Sequence Transduction
Google(谷歌)
处理对话的语音应用程序不仅需要识别所说的话,还需要确定谁在什么时候说话。将单词分配给说话者的任务通常通过合并两个独立系统的输出来解决,这两个独立系统即自动语音识别(ASR)系统和说话者日志化(SD)系统。这两个系统是用不同的目标函数独立训练的。通常,SD系统直接在声学上操作,并且不限于尊重单词边界,并且以特别的方式克服该缺陷。受序列到序列学习的最新进展的启发,我们提出了一种新的方法来解决这两个任务的联合ASR和SD系统使用递归神经网络换能器。我们的方法利用语言和声学线索来推断扬声器的角色,而不是典型的SD系统,只使用声学线索。我们评估了我们的方法在医生和患者之间的大型医学对话语料库上的性能。与传统的基线相比,我们的方法将单词级日志化的错误率出错率从15.8%提高到2.2%。
2019-07-09 cs.CL cs.SD eess.AS
A$^3$T: Alignment-Aware Acoustic and Text Pretraining for Speech Synthesis and Editing
University of Waterloo(滑铁卢大学);Baidu Research USA(百度美国研究院);Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
最近,语音表示学习已经改善了许多与语音相关的任务,例如语音识别、语音分类和语音到文本的翻译。然而,所有上述任务都是在语音理解的方向上,但对于相反的方向,语音合成,由于生成高质量语音的挑战性,表征学习的潜力尚未实现。为了解决这个问题,我们提出了我们的框架,Alignment-Aware Acoustic-Text Pretraining(A $^3$ T),它在训练过程中使用文本输入和声学文本对齐来重建掩蔽的声学信号。通过这种方式,预训练的模型可以生成高质量的重建谱图,其可以直接应用于语音编辑和不可见说话人TTS。实验结果表明,$^3$ T在语音编辑方面优于SOTA模型,并且在没有外部说话人确认模型的情况下改善了多说话人语音合成。
2022-06-18 cs.CL cs.SD eess.AS
Factorised Speaker-environment Adaptive Training of Conformer Speech Recognition Systems
The Chinese University of Hong Kong(香港中文大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
本文为Conformer ASR模型提出一种贝叶斯分解式说话人-环境自适应训练方法,通过分离与组合特征并建模参数不确定性,在噪声数据上显著降低词错率并具备快速适应能力。
2023-06-26 cs.CL eess.AS
Speech Repairs, Intonational Boundaries and Discourse Markers: Modeling Speakers' Utterances in Spoken Dialog
在这篇论文中,我们提出了一个统计语言模型来解决语音修复,语调边界和话语标记语。而不是找到一个声学信号的最佳词的解释,我们重新定义的语音识别问题,使它也确定的POS标签,话语标记,语音修复和语调短语结尾(在确定话语单位的主要线索)。将这些额外的元素添加到语音识别问题中实际上可以更好地预测所涉及的单词,因为我们能够利用边界音调,话语标记和语音修复的预测来更好地解释接下来会出现什么单词。此外,我们可以利用声学信息,如沉默信息,它往往与语音修复和语调短语结尾共现,目前的语言模型只能视为噪声的声学信号。这个语言模型的输出是一个更全面的帐户发言者的回合,与部分的语音分配给每个单词,语调短语结尾和话语标记识别,语音修复检测和纠正。事实上,语调短语结尾、话语标记和语音修复的解决方案的识别允许语音识别器对说话者的话语进行建模,而不是简单地对所涉及的单词进行建模,并且因此它可以返回对说话者的回合的更有意义的分析以供稍后处理。
1997-12-23 cmp-lg cs.CL
Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation
Alibaba Group(阿里巴巴集团)
本文提出一种利用语义信息改进基于聚类的说话人日志系统的新方法,通过口语理解模块提取语义并构建成对约束,实验证明其性能优于仅用声学特征的系统。
2024-02-04 cs.CL cs.SD eess.AS
SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
Nara Institute of Science and Technology(奈良科学技术大学)
针对重叠语音中SOT隐式说话人分离不足的问题,提出SC-SOT方法,通过引入联合训练的说话人分离模型得到的说话人嵌入和活动信息作为解码器条件,提升端到端多说话人ASR的重叠语音识别效果。
2025-06-15 cs.CL cs.SD eess.AS
The IBM 2016 Speaker Recognition System
IBM(国际商业机器公司)
在本文中,我们描述了最近取得的进展,在IBM的i矢量说话人识别系统的会话语音。特别是,我们确定的关键技术,有助于显着改善我们的系统的性能,并量化他们的贡献。这些技术包括:1)最近邻判别分析(NDA)方法,其被公式化以减轻与假定高斯类条件分布的常规线性判别分析(LDA)相关联的一些限制,2)将从自动语音识别(ASR)系统导出的说话人和信道自适应特征应用于说话人识别,以及3)使用具有大量输出单元(~ 10 k个senone)的深度神经网络(DNN)声学模型来计算i向量估计过程中所需的帧级软对准。我们评估这些技术在NIST 2010年的扬声器识别评估(SRE)扩展的核心条件,涉及电话和麦克风试验。实验结果表明:1)NDA比用于说话人识别的传统参数LDA更有效(在EER方面高达35%的相对改进),2)当与原始声学特征(例如,MFCC),ASR说话者自适应特征提供说话者识别性能的增益,以及3)增加DNN声学模型中的输出单元的数量(即,将聚类状态集合大小从2k增加到10 k)提供了性能的一致改进(例如,相对于我们的基线GMM i-向量系统,从37%到57%的相对EER增益)。据我们所知,本文报告的结果代表了迄今为止NIST SRE 2010扩展核心任务的最佳性能。
2016-02-23 cs.CL cs.SD stat.ML
Privacy attacks for automatic speech recognition acoustic models in a federated learning framework
Avignon Université(阿维尼翁大学);Université de Lille(里尔大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);Centrale Lille(里尔中央理工学院)
本文研究了在自动语音识别(ASR)中从个性化说话人自适应神经网络声学模型(AM)中有效提取说话人信息的方法。这个问题在ASR声学模型的联邦学习的上下文中尤其重要,其中基于从多个客户端接收的更新在服务器上学习全局模型。我们提出了一种方法来分析信息的神经网络AM的基础上的神经网络足迹的所谓的指标数据集。使用这种方法,我们开发了两种攻击模型,旨在从更新的个性化模型中推断说话人身份,而无需访问实际用户的语音数据。在TED-LIUM 3语料库上的实验表明,本文提出的方法是非常有效的,可以提供1- 2%的等出错率(EER)。
2022-01-14 cs.CL cs.CR cs.SD
Embeddings for DNN speaker adaptive training
University of Edinburgh(爱丁堡大学)
在这项工作中,我们研究了嵌入用于DNN(DNN-SAT)的说话者自适应训练,重点是每个说话者的少量自适应数据。DNN-SAT可以被视为学习从每个嵌入到应用于DNN的共享参数的变换参数的映射。我们研究了应用这些变换的不同方法,发现在良好的训练策略下,应用于所有隐藏层的多层自适应网络并不比作用于嵌入的单个线性层更有效,以变换输入特征。在我们工作的第二部分,我们在额外的说话人识别任务中评估不同的嵌入(i向量,x向量和深度CNN嵌入),以便深入了解DNN-SAT嵌入的特征。我们发现给定表示的说话人识别性能与其ASR性能无关;事实上,捕获更多语音属性而不仅仅是说话人身份的能力是高效DNN-SAT ASR嵌入的最重要特征。我们最好的模型分别使用说话者水平倒谱均值归一化(CMN)和完全说话者独立模型,在DNN基线上实现了4%和9%的相对WER增益。
2019-09-30 cs.CL cs.SD eess.AS
AG-LSEC: Audio Grounded Lexical Speaker Error Correction
AWS AI Labs(亚马逊云科技人工智能实验室)
提出AG-LSEC方法,利用现有SD流水线的说话人分数在声学上锚定并增强LSEC系统,在多个数据集上显著降低词日志错误率。
2024-06-25 cs.AI cs.CL cs.LG
A Conformer Based Acoustic Model for Robust Automatic Speech Recognition
The Ohio State University(俄亥俄州立大学)
本研究提出一种基于一致性的声学模型来解决鲁棒的自动语音识别(ASR)。该模型建立在宽残差双向长短期记忆网络(WRBN)的基础上,具有逐段丢弃和迭代说话人自适应功能,但采用了Conformer编码器代替递归网络。Conformer编码器使用卷积增强的注意力机制进行声学建模。该系统的CHiME-4语料库的单耳ASR任务进行评估。结合发音规范化和说话人自适应,我们的模型实现了$6.25\%$的词出错率,它比WRBN的$8.4\%$相对。此外,所提出的基于一致性的模型是$18.3\%$更小的模型大小和减少总的训练时间由$79.6\%$。
2022-10-20 cs.AI cs.CL cs.SD
Data Fusion for Audiovisual Speaker Localization: Extending Dynamic Stream Weights to the Spatial Domain
Ruhr University Bochum(波鸿鲁尔大学);NTT Corporation(日本电报电话公司)
估计多个说话者的位置对于自动语音识别或说话者日记化等任务可能是有帮助的。例如,当应用波束成形或分配唯一的扬声器身份时,这两种应用都受益于已知的扬声器位置。最近,已经提出了几种利用增强了视觉数据的声学信号来完成这项任务的方法。然而,声学和视觉模态都可能在特定的空间区域中被破坏,例如由于较差的照明条件或背景噪声的存在。本文提出了一种新的视听数据融合框架的扬声器定位分配个人的动态流权重的特定区域中的定位空间。这种融合是通过一个神经网络实现的,它结合了各个音频和视频跟踪器的预测,基于它们的时间和位置依赖的可靠性。一个性能评估使用视听记录产生有前途的结果,与建议的融合方法优于所有的基线模型。
2021-02-24 cs.AI cs.CL cs.CV
Speaker Adapted Beamforming for Multi-Channel Automatic Speech Recognition
RWTH Aachen University(亚琛工业大学)
本文提出了,在多通道ASR的背景下,一种方法来适应基于掩模的,统计上最优的波束形成方法的感兴趣的扬声器。统计最优波束形成器的波束形成向量通过利用语音和噪声掩模来计算,所述掩模由神经网络估计。所提出的自适应方法是基于集成的波束形成器,其中包括掩模估计网络,和声学模型的ASR系统。这允许训练误差从声学建模成本函数一直传播通过波束成形操作并通过掩模估计网络。通过使用第一遍识别的结果并且通过保持所有其他参数固定,掩模估计网络因此可以通过再训练来微调。因此,感兴趣的说话者的话语可以在两遍方法中使用,以针对该特定说话者的语音特性优化波束成形。结果表明,这种方法提高了一个国家的最先进的多通道ASR系统的CHiME-4数据的ASR性能。此外,估计的语音掩模上的自适应的效果进行了讨论。
2018-06-19 cs.CL cs.SD eess.AS
Personalized Automatic Speech Recognition for a Dysarthric and Tracheostomic Speaker using Artificial Conversations
针对一位捷克语气管造口及严重构音障碍说话人,本文提出基于Whisper Base的多阶段微调ASR系统,利用人工对话协议收集的33小时数据,实现字符错误率相对降低50%,证明严重受损语音也可获得有效识别。
2026-10-05 cs.AI cs.CL cs.HC
Adversarial Speaker Adaptation
Microsoft Corporation(微软公司)
我们提出了一种新的对抗性说话人自适应(ASA)方案,其中对抗性学习应用于调节说话人相关(SD)深度神经网络(DNN)声学模型中的深度隐藏特征的分布,以接近于自适应过程中固定的说话人无关(SI)DNN声学模型。引入了一个附加的神经网络来区分SD模型产生的深度特征和SI模型产生的深度特征。在ASA中,以固定的SI模型为参考,SD模型与SVM网络联合优化,以最小化状态分类损失,同时最小化适应数据上的SI/SD区分损失。使用ASA,在SD模型中学习具有与SI模型相似分布的senone判别深度特征。利用这种正则化和自适应的深度特征,SD模型可以对目标说话者的语音执行改进的自动语音识别。在微软短消息听写数据集上进行评估,ASA对于监督和无监督自适应分别实现了14.4%和7.9%的相对单词出错率改进,超过了从2600小时数据训练的SI模型,每个扬声器具有200个自适应话语。
2019-04-29 cs.CL cs.LG cs.SD
Empirical Evaluation of Speaker Adaptation on DNN based Acoustic Model
Northwestern Polytechnical University(西北工业大学);Xiaomi(小米)
说话人自适应的目的是从一个与说话人无关的声学模型中估计出一个特定于说话人的声学模型,以最大限度地减少由于说话人变异而引起的训练条件和测试条件之间的不匹配。自从深度学习模型成为主流以来,人们提出了多种神经网络自适应方法。但是,仍然缺乏不同的方法之间的实验比较,特别是当基于DNN的声学模型已经取得了很大进展。在本文中,我们的目标是通过提供三个典型的说话人自适应方法:LIN,LHUC和KLD的实证评估,以缩小这一差距。在强TDNN-LSTM声学模型上进行了不同大小自适应数据的自适应实验。更具挑战性的是,本文所研究的源和目标是标准普通话说话人模型和带口音普通话说话人模型。我们比较了不同方法及其组合的性能。说话人的口音程度也是衡量说话人自适应性能的重要指标。
2018-10-25 cs.CL cs.SD eess.AS
Pretraining Strategies, Waveform Model Choice, and Acoustic Configurations for Multi-Speaker End-to-End Speech Synthesis
National Institute of Informatics(国立信息学研究所)
我们探讨了预训练策略,包括基础语料的选择,目的是为zero-shot多说话人端到端合成选择最佳策略。我们还研究了用于波形合成的神经声码器的选择,以及用于梅尔频谱图和最终音频输出的声学配置。我们发现,从已经通过一个简单的质量阈值的有声读物数据中微调多说话人模型可以提高合成语音的自然度和与看不见的目标说话人的相似性。此外,我们发现听众可以区分16 kHz和24 kHz的采样率,并且WaveRNN产生的输出波形质量与WaveNet相当,推理时间更快。
2020-11-10 cs.CL cs.SD
Voice Conversion Based Speaker Normalization for Acoustic Unit Discovery
Paderborn University(帕德博恩大学)
纯粹从语音输入中发现与扬声器无关的声学单元是一个困难的问题。在这项工作中,我们提出了一个无监督的说话人归一化技术之前,单位发现。它是基于分离说话人相关的内容引起的变化,在语音信号与对抗性对比预测编码方法。这种技术既不需要转录的语音,也不需要扬声器标签,而且,可以以多语言的方式进行训练,从而实现扬声器标准化,即使只有很少的未标记的数据是从目标语言。说话人规范化是通过将所有的话语映射到一个代表整个数据库的medoid风格来完成的。我们证明了该方法的有效性进行声学单元发现与隐马尔可夫模型变分自动编码器注意到,但是,建议的扬声器归一化可以作为任何单位发现系统的前端。在英语、约鲁巴语和姆博希语上的实验表明,与使用非规范化输入相比,该方法有所改进。
2021-05-04 cs.CL cs.SD eess.AS
R-Spin: Efficient Speaker and Noise-invariant Representation Learning with Acoustic Pieces
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本文提出R-Spin自监督方法,通过说话人不变聚类学习离散声学单元并预测声学片段,以12倍更少计算资源在严重失真语音中实现更优的说话人与噪声不变表征。
2024-04-01 cs.CL cs.SD eess.AS
Audiovisual speaker conversion: jointly and simultaneously transforming facial expression and acoustic characteristics
National Institute of Informatics(国立信息学研究所);The University of Edinburgh(爱丁堡大学)
提出了一种视听说话人转换方法,用于同时将源说话人的面部表情和语音转换为目标说话人的面部表情和语音。将面部和声学特征一起变换使得转换后的语音和面部表情高度相关,并且生成的目标说话者看起来和听起来自然。它使用三个神经网络:融合并变换面部特征和声学特征的转换网络、从经转换的面部特征和声学特征两者产生波形的波形生成网络、以及也基于经转换的特征两者输出RGB面部图像的图像重建网络。使用情感视听数据库的实验结果表明,与单独变换声音和面部特征的方法相比,所提出的方法实现了显着更高的自然度。
2018-12-01 cs.CL cs.LG cs.SD
SEAL: Speaker Error Correction using Acoustic-conditioned Large Language Models
Ohio State University(俄亥俄州立大学);AWS AI Labs(亚马逊云科技人工智能实验室)
针对传统说话人日志系统易产生说话人错误的问题,提出基于声学条件化大语言模型的SEAL方法,结合约束解码减少幻觉,在多个数据集上实现24%-43%的说话人错误率下降。
2025-01-14 cs.AI cs.CL cs.LG
Modeling Speaker-Listener Interaction for Backchannel Prediction
University of Stuttgart(斯图加特大学)
本文提出一种基于神经网络的声学反馈信道分类器,通过提取说话者语音特征并编码说话者-听话者动态交互,在Switchboard和GECO数据集上结合双方行为嵌入实现了最佳F1分数的预测性能。
2023-04-10 cs.CL
Wasserstein GAN and Waveform Loss-based Acoustic Model Training for Multi-speaker Text-to-Speech Synthesis Systems Using a WaveNet Vocoder
The University of Tokyo(东京大学);National Institute of Informatics(国立信息学研究所);University of Edinburgh(爱丁堡大学)
最近的神经网络,如直接从语音波形样本学习的WaveNet和sampleRNN,即使在多扬声器文本转语音合成系统中,也在自然度和扬声器相似性方面实现了非常高质量的合成语音。这种神经网络被用作声码器的替代方案,因此它们通常被称为神经声码器。神经声码器使用声学特征作为局部条件参数,这些参数需要由另一个声学模型准确预测。然而,还不清楚如何训练该声学模型,这是有问题的,因为合成语音的最终质量受声学模型的性能的显著影响。发生显著的退化,特别是当预测的声学特征与自然特征相比具有不匹配的特征时。为了减少自然和生成的声学特征之间的不匹配特性,我们提出了将条件生成对抗网络(GAN)或其变体Wasserstein GAN与梯度惩罚(WGAN-GP)结合到使用WaveNet声码器的多扬声器语音合成中的框架。我们还扩展了GAN框架,并使用经过良好训练的WaveNet的离散化混合逻辑损失以及均方误差和对抗损失作为目标函数的一部分。实验结果表明,使用WGAN-GP框架训练的声学模型,使用反向传播离散混合物流(DML)损失在质量和扬声器相似性方面达到最高的主观评价分数。
2018-07-31 cs.CL cs.SD eess.AS
CoLMbo-SV: A Grounded Language Model for Explainable Speaker Verification
CoLMbo-SV通过将预训练说话人编码器与语言模型结合,并引入VoxReason数据集和评估框架,在VoxCeleb1-O上实现0.99%等错误率,提供可检查的声学比较报告,显著提升可解释说话人验证的准确性与解释质量。
2026-10-05 cs.CL cs.SD eess.AS
Constrained speaker diarization of TV series based on visual patterns
Avignon University(阿维尼翁大学)
发言者日记,通常被称为“谁在什么时候发言”的任务,在应用于虚构电影时特别具有挑战性,其中许多角色在各种声学条件下说话(背景音乐,音效......)。尽管存在这种声学上的变化,但这类电影在对话场景中表现出特定的视觉模式。在本文中,我们介绍了一个两步的方法来实现说话人日记在电视剧:说话人日记首先在本地进行的场景检测为对话,然后,假设本地扬声器合并在第二个凝聚聚类过程中,与本地假设为不同的扬声器的约束必须不被分配到同一个集群。我们的方法的性能进行比较,通过标准的扬声器diarization工具应用到相同的数据。
2018-12-29 cs.CL cs.MM
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University(斯泰伦博斯大学);The University of Edinburgh(爱丁堡大学)
对于我们提交的ZeroSpeech 2019挑战,我们将离散潜变量神经网络应用于未标记的语音,并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器(AE)架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时,单元发现从一个看不见的扬声器的语音进行,然后由一个已知的目标扬声器单元解码条件,以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化,分类变分自编码器(CatVAE),矢量量化的VAE(VQ-VAE)和直通估计进行了比较,在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码,VQ-VAE离散化,解卷积解码和FFTNet声码器。我们表明,解耦扬声器调节本质上提高了离散的声学表示,产生竞争力的合成质量相比,挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
The Study of Perceptual Training of Chinese Mandarin Tones for Monolingual Speakers of English Using Adaptive Computer Based Training Software
McGill University(麦吉尔大学)
本文研究面向英语单语者的汉语普通话声调感知训练,提出并考察一种基于自适应计算机训练软件的新型语音声调训练技术。
2023-09-24 cs.CL cs.HC
Speaker Adaptive Training using Model Agnostic Meta-Learning
Bloomberg(彭博社)
神经网络声学模型的说话人自适应训练(SAT)以使模型更适合于适应测试条件的方式来学习模型。传统上,基于模型的说话者自适应训练是通过具有一组与说话者无关参数联合优化的说话者相关参数来执行的,以便去除说话者变化。然而,如果所有神经网络权重都要适应说话者,则这不能很好地缩放。在本文中,我们制定了说话人自适应训练作为一个元学习任务,其中使用梯度下降的自适应过程直接编码到模型的训练。我们将我们的方法与标准基线模型的仅测试适应和具有学习的扬声器适应时间表的SAT-LHUC模型进行比较,并证明元学习方法取得了可比的结果。
2019-10-23 cs.CL cs.LG eess.AS
Voice Conversion for Lombard Speaking Style with Implicit and Explicit Acoustic Feature Conditioning
Department of Computing, Imperial College London(帝国理工学院计算机系);Amazon Alexa, TTS Research(亚马逊Alexa,语音合成研究)
本文研究Lombard发音风格迁移,提出在语音转换中采用隐式声学特征条件策略,在转换说话人身份的同时保留Lombard风格属性,实现了与显式条件相当的可懂度提升并保持了说话人相似度。
2025-07-12 cs.CL cs.SD eess.AS
A Unified Speaker Adaptation Method for Speech Synthesis using Transcribed and Untranscribed Speech with Backpropagation
National Institute of Informatics(国立信息学研究所);SOKENDAI (The Graduate University for Advanced Studies)(综合研究大学院大学);University of Edinburgh(爱丁堡大学)
通过将说话人特征表示为单独从语音中提取的单个固定长度的向量,我们可以通过对这些向量进行调节来训练神经多说话人语音合成模型。该模型也可以适应于看不见的扬声器,无论适应数据的转录是否可用。然而,这种设置将扬声器分量限制为仅单个偏置向量,这又限制了自适应过程的性能。在这项研究中,我们提出了一种新的语音合成模型,它可以适应于看不见的扬声器微调部分或全部的网络使用转录或未转录的语音。我们的方法基本上包括两个步骤:第一,我们分裂成一个独立于说话者(SI)的语言编码器和一个说话者自适应(SA)的声学解码器的传统声学模型;第二,我们训练一个辅助声学编码器,可以用作语言编码器的替代品时,语言功能是无法获得的。客观和主观评价的结果表明,适应使用转录或未转录的语音与我们的方法实现了一个合理的水平的性能与极其有限的数据量,并大大提高了性能与更多的数据。令人惊讶的是,适应与未转录的语音超过了转录对应的主观测试,这揭示了传统的声学模型的局限性,并提示潜在的改进方向。
2019-10-08 cs.CL cs.LG cs.SD
SPARCLE: SPeaker-aware Aligned Representations via Contrastive Language Embeddings
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);National Center for Supercomputing Applications(国家超级计算应用中心)
提出SPARCLE模型,通过对比学习将字素与Wav2Vec2声学表示对齐并融入说话人身份,替代G2P系统,在低资源TTS中将词错误率降低一半。
2026-07-03 cs.AI cs.CL cs.SD
D{é}tection de locuteurs dans les s{é}ries TV
Laboratoire Informatique d'Avignon(阿维尼翁计算机实验室)
音频流的扬声器日志化在应用于虚构电影时变得特别具有挑战性,其中许多角色在各种声学条件下说话(背景音乐,音效,语调变化......)。尽管有这种声学上的变化,但这类电影表现出特定的视觉模式,特别是在对话场景中。在本文中,我们介绍了一种两步方法来实现电视剧中的说话人日记化:首先在视觉上识别为对话的场景中本地执行说话人日记化;然后,在第二个聚类过程中将假设的本地说话人相互比较,以检测重复的说话人:该第二阶段的聚类受到必须将同一对话中涉及的不同说话者分配到不同聚类的约束。我们的方法的性能进行比较,通过标准的扬声器diarization工具应用到相同的数据。
2018-12-18 cs.CL cs.MM
Towards zero-shot Text-based voice editing using acoustic context conditioning, utterance embeddings, and reference encoders
University of Edinburgh(爱丁堡大学);Meta AI
基于文本的语音编辑(TBVE)使用文本到语音(TTS)系统的合成输出来替换原始录音中的单词。最近的工作使用神经模型来产生编辑后的语音,这些语音在清晰度、说话者身份和韵律方面与原始语音相似。然而,先前工作的一个限制是使用微调来优化性能:这需要对来自目标说话者的数据进行进一步的模型训练,这是一个昂贵的过程,可能会将潜在的敏感数据合并到服务器端模型中。相比之下,这项工作的重点是zero-shot的方法,它避免了微调,而是使用预先训练的说话人验证嵌入与联合训练的参考编码器一起编码话语级信息,帮助捕获方面,如说话人的身份和韵律。主观听音测试发现,在zero-shot设置下,话语嵌入和参考编码器都提高了编辑后的合成语音和未编辑的原始录音之间的说话人身份和韵律的连续性。
2022-10-28 cs.CL cs.SD eess.AS
Acoustic and perceptual differences between standard and accented speech and their voice clones
Department of Linguistics, University at Buffalo, United States(语言学系,布法罗大学,美国);Department of Computer Science and Engineering, University at Buffalo, United States(计算机科学与工程系,布法罗大学,美国);Emeritus Faculty, Australian National University, Australia(澳大利亚国立大学荣誉教职)
通过计算和感知实验,比较标准口音与带口音普通话及其语音克隆,发现口音影响感知身份匹配和可懂度,且标准口音克隆更接近原声,带口音克隆可懂度提升更大。
2026-09-16 cs.AI cs.CL cs.CY
AdaSpeech 4: Adaptive Text to Speech in Zero-Shot Scenarios
Microsoft Research Asia(微软亚洲研究院)
自适应文本转语音(TTS)技术可以在zero-shot场景下有效地合成新的语音,它使用一个经过良好训练的源TTS模型,而不需要对新说话人的语音数据进行自适应。考虑到说话人具有多样性,zero-shot自适应语音合成对说话人特征的泛化能力要求很高,这给语音合成建模带来了挑战。在本文中,我们开发了AdaSpeech 4,一个zero-shot自适应TTS系统,用于高质量的语音合成。我们系统地对说话者特征进行建模,以提高对新说话者的概括性。一般来说,说话人特征的建模可以分为三个步骤:提取说话人特征,以该说话人特征为条件,在给定该说话人特征的情况下合成语音/梅尔谱图。相应地,我们分三步改进模型:1)为了提取具有更好泛化性的说话人表示,我们将说话人特征分解为基向量,并通过注意力对这些基向量进行加权组合来提取说话人表示。2)我们利用条件层归一化,将提取的说话人表示集成到TTS模型中。3)我们提出了一种新的监督损失的基础上的基向量的分布,以保持相应的扬声器特性在生成的梅尔频谱。在没有任何微调的情况下,AdaSpeech 4在多个数据集中实现了比基线更好的语音质量和相似性。
2022-04-01 cs.AI cs.CL cs.SD
Multimodal Speaker Identification in Classroom Environments
University of Michigan(密歇根大学);University of Pennsylvania(宾夕法尼亚大学);University of Maryland(马里兰大学)
针对课堂背景噪声和儿童语音变异性导致纯声学模型准确率低的问题,提出融合声学嵌入与LLM语义上下文的多模态框架,将学生识别准确率从39.0%提升至50.3%,长句准确率达76.9%,角色区分准确率99.3%。
2026-06-15 cs.CL cs.SD
Exploring Gaussian mixture model framework for speaker adaptation of deep neural network acoustic models
University of Avignon(阿维尼翁大学);STC-innovations Ltd(STC创新有限公司)
在本文中,我们研究了用于深度神经网络(DNN)声学模型自适应的GMM衍生(GMMD)特征。在GMMD特征上训练的DNN的适应是通过用于GMMD特征提取的辅助GMM模型的最大后验(MAP)适应来完成的。我们探讨融合的适应GMMD功能与传统的功能,如瓶颈和MFCC功能,在两个不同的神经网络架构:DNN和时间延迟神经网络(TDNN)。我们分析和比较不同类型的自适应技术,如i-向量和特征空间自适应技术的基础上最大似然线性回归(fMLLR)与建议的适应方法,并探讨其互补性,使用各种类型的融合,如特征级,后验级,格级和其他,以发现最佳的组合方式。在TED-LIUM语料库上的实验结果表明,所提出的自适应技术可以有效地集成到不同级别的DNN和TDNN设置中,并在识别性能方面提供额外的增益:相对于基于最大似然线性回归(fMLLR)说话者自适应DNN基线的强特征空间自适应技术,相对字错误率降低(WERR)高达6%,与在传统特征上训练的说话人独立(SI)DNN基线模型相比,相对WERR高达18%。对于TDNN模型,与SI基线相比,所提出的方法实现了高达26%的相对WERR,并且与通过使用i向量调整的模型相比,该方法实现了13%的相对WERR。从不同的角度对适应的GMMD特征进行分析,证明了它们在不同层次上的有效性。
2020-03-15 cs.CL cs.SD eess.AS
Adaptive Margin Circle Loss for Speaker Verification
Key Laboratory of Speech Acoustics and Content Understanding, Institute of Acoustics, China(中国科学院声学研究所语音声学与内容理解重点实验室);University of Chinese Academy of Sciences(中国科学院大学);Guangdong Provincial Public Security Department(广东省公安厅)
基于深度神经网络(DNN)的说话人确认系统使用带边缘惩罚的角度softmax损失来增强说话人嵌入的类内紧凑性,取得了显著的性能。本文提出了一种新的角度损失函数--自适应边缘圆损失函数,用于说话人确认。在训练集上采用基于阶段的间隔和基于块的间隔来改善圆丢失的角度区分。对梯度的分析表明,与之前的角损失算法如Additive Margin Softmax(Am-Softmax)相比,圆损失算法具有灵活的优化方式和明确的收敛状态。在Voxceleb和SITW上进行了实验。采用自适应容限环损后,最佳系统在Voxceleb 1上的EER为1.31%,在SITW芯-芯上的EER为2.13%。
2021-06-15 cs.CL cs.SD eess.AS
GLASS: GRPO-Trained LoRA for Acoustic Style Steering in Zero-Shot Text-to-Speech
Department of Artificial Intelligence, Sungkyunkwan University(人工智能系,全州大学)
提出GLASS框架,通过GRPO训练轻量LoRA适配器实现零样本自回归TTS中可组合的声学风格控制,无需风格标签即可从奖励中学习控制。
2026-06-04 cs.CL cs.SD eess.AS
VOSSA: Voiceprint Optimization for Streaming Speech Architectures
Department of Computer Science \& Engineering, Texas A\&M University, College Station, US
针对流式语音转换中预训练说话人嵌入与帧级声学生成的冲突,提出VOSSA框架,从内容编码器中间层提取说话人信息并联合训练,在六个数据集上改善F0动态与元音线索,同时保持质量指标并提升感知效果。
2026-10-06 cs.CL cs.LG eess.AS
Self-Adaptive Soft Voice Activity Detection using Deep Neural Networks for Robust Speaker Verification
KAIST(韩国科学技术院)
语音激活检测(VAD)是包括说话人确认在内的许多语音应用中的一个重要模块,它将语音帧分为语音帧和非语音帧。在本文中,我们提出了一种新的方法,称为自适应软VAD,将基于深度神经网络(DNN)的VAD纳入深度说话人嵌入系统。所提出的方法是以下两种方法的组合。第一种方法是软VAD,其对从说话人特征提取器提取的帧级特征执行软选择。帧级特征通过从基于DNN的VAD估计的其对应的语音后验子加权,然后聚合以生成说话人嵌入。第二种方法是自适应VAD,它对说话人验证数据进行预训练以减少域失配。在这里,我们介绍了两种无监督域自适应(DA)方案,即基于语音后验的DA(SP-DA)和基于联合学习的DA(JL-DA)。在韩语语音库上的实验表明,自适应软VAD算法在真实环境中的验证性能得到了显著提高。
2019-09-26 cs.CL cs.LG cs.SD
a novel cross-lingual voice cloning approach with a few text-free samples
Northwestern Polytechnical University(西北工业大学);Kwai(快手)
在本文中,我们提出了一种跨语言的语音克隆方法。通过SI-ASR模型获得的BN特征被用作跨越说话人和语言边界的桥梁。文本和BN特征之间的关系由潜在韵律模型建模。声学模型学习从BN特征到声学特征的转换。利用少量目标说话人样本对声学模型进行微调,实现语音克隆。该系统能够以跨语言说话者的语音生成目标语言的任意话语的语音。我们验证了少量的音频数据,我们提出的方法可以很好地处理跨语言的任务。在语内任务中,我们的方法在自然度和相似度方面也比基线方法有更好的表现。
2019-10-30 cs.CL cs.SD eess.AS
Multi-Task Network for Noise-Robust Keyword Spotting and Speaker Verification using CTC-based Soft VAD and Global Query Attention
KAIST(韩国科学技术院)
关键字定位(KWS)和说话人确认(SV)已经独立研究,虽然它是已知的,声学和扬声器域是互补的。在本文中,我们提出了一个同时执行KWS和SV的多任务网络,以充分利用相互关联的域信息。多任务网络紧密结合的子网络,旨在提高性能的挑战性条件下,如嘈杂的环境,开放的词汇KWS,和短时间SV,通过引入新的技术的连接时间分类(CTC)的软语音活动检测(VAD)和全球查询注意。帧级的声学和说话人信息与语音起源的权重相结合,从而形成单词级的全局表示。然后将其用于特征向量的聚合以生成区分性嵌入。我们提出的方法显示,4.06%和26.71%的相对改善等错误率(EER)相比,这两个任务的基线。我们还提出了一个可视化的例子和烧蚀实验的结果。
2020-08-07 cs.CL cs.LG cs.SD
CNN Encoding of Acoustic Parameters for Prominence Detection
Indian Institute of Technology Bombay(印度理工学院孟买分校)
表达性阅读被认为是口语阅读流利性的决定性因素,它包括语法和突显的韵律实现。在评估口语阅读的背景下,它有助于建立说话者对文本的理解。我们考虑一个标记的数据集儿童的阅读录音的说话人独立的检测使用声学韵律和词汇句法功能的突出的话。先前的良好调整的随机森林集成预测器被RNN序列分类器取代,以利用跨较长话语的潜在上下文依赖性。此外,深度学习被应用于以端到端的方式从基频、强度和频谱形状的低级声学轮廓获得词级特征。不同特征类型和不同特征学习架构之间的性能比较,用于突出单词预测,以尽可能地获得见解。
2022-01-28 cs.CL cs.SD eess.AS
USAT: A Universal Speaker-Adaptive Text-to-Speech Approach
School of Computer Science and Engineering, University of New South Wales(新南威尔士大学计算机科学与工程学院)
本文提出统一零样本与少样本说话人自适应的TTS框架USAT,通过创新判别器、记忆机制和适配器解决泛化不足、灾难性遗忘等问题,并兼顾非母语口音场景。
2024-04-28 cs.AI cs.CL cs.SD