Unsupervised Speaker Adaptation using Attention-based Speaker Memory for End-to-End ASR
MERL(三菱电机研究实验室)
我们提出了一种无监督的说话人自适应方法的启发神经图灵机的端到端(E2 E)自动语音识别(ASR)。该模型包含一个内存块,该内存块保存从训练数据中提取的说话者i向量,并通过注意力机制从内存中读取相关的i向量。所得到的记忆向量(M向量)被连接到声学特征或E2 E神经网络模型的隐藏层激活。E2 E ASR系统基于联合连接主义时间分类和基于注意力的编码器-解码器架构。使用WSJ和TED-LIUM 2 ASR基准测试将M向量和i向量结果进行比较,以将它们插入编码器神经网络的不同层。我们表明,M-向量,这不需要一个辅助扬声器嵌入提取系统在测试时,实现类似的词错误率(WRs)相比,i-向量的单扬声器的话语和显着降低WRs的话语中,有扬声器的变化。
2020-02-14 cs.CL cs.LG cs.SD
Attention-based Encoder-Decoder Network for End-to-End Neural Speaker Diarization with Target Speaker Attractor
Shanghai Jiao Tong University(上海交通大学);Shenzhen Research Institute of Big Data(深圳大数据研究院)
提出 AED-EEND,利用目标说话人注册信息和注意力吸引子解码器缓解说话人排列问题,并以仅 0.5 秒注册数据超越 EEND-EDA 与 TS-VAD。
2023-08-15 cs.SD eess.AS
Improving robustness of one-shot voice conversion with deep discriminative speaker encoder
Northwestern Polytechnical University(西北工业大学)
单次语音转换由于只需要源说话人和目标说话人分别发出一个语音而受到广泛关注。此外,在训练过程中,源说话人和目标说话人不需要被看到。然而,可用的单次语音转换方法对于看不见的说话者是不稳定的,因为从看不见的说话者的一个话语中提取的说话者嵌入是不可靠的。在本文中,我们提出了一个深度区分说话人编码器,以更有效地提取说话人嵌入从一个话语。具体地说,说话人编码器首先集成残差网络和挤压和激励网络,通过建模逐帧和逐通道的特征相互依赖性,在帧级提取有区别的说话人信息。然后引入注意力机制,通过对帧级说话人信息赋予不同的权重,进一步强调说话人相关信息。最后,使用统计池层聚合加权的帧级说话人信息,形成话语级说话人嵌入。实验结果表明,我们提出的扬声器编码器可以提高鲁棒性的一次性语音转换为看不见的扬声器,并优于基线系统的语音质量和扬声器相似性。
2021-06-19 cs.SD eess.AS
SC-SOT: Conditioning the Decoder on Diarized Speaker Information for End-to-End Overlapped Speech Recognition
Nara Institute of Science and Technology(奈良科学技术大学)
针对重叠语音中SOT隐式说话人分离不足的问题,提出SC-SOT方法,通过引入联合训练的说话人分离模型得到的说话人嵌入和活动信息作为解码器条件,提升端到端多说话人ASR的重叠语音识别效果。
2025-06-15 cs.CL cs.SD eess.AS
S-vectors and TESA: Speaker Embeddings and a Speaker Authenticator Based on Transformer Encoder
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
最流行的说话人嵌入之一是x向量,它是从一个架构中获得的,该架构逐渐构建了一个更大的时间上下文。在本文中,我们提出了从Transformer的编码器训练的说话人分类来获得说话人嵌入。Transformer的编码器建立在自注意的基础上,它关注整个话语的所有特征,可能更适合于捕捉话语中的说话人特征。我们将从所提出的说话人分类模型中获得的说话人嵌入称为s向量,以强调它们是从严重依赖于自我注意力的架构中获得的。通过实验,我们证明了s-向量比x-向量表现得更好。除了s-向量,我们还提出了一个新的架构的基础上Transformer的编码器的说话人验证作为替代说话人验证的基础上,传统的概率线性判别分析(PLDA)。这种架构的灵感来自于Transformers(BERT)的双向编码器表示的下一个句子预测任务,我们馈送两个话语的s向量来验证它们是否属于同一个说话者。我们将这种架构命名为Transformer编码器扬声器扬声器阵列(TESA)。实验结果表明,TESA的s-向量的性能优于传统的基于PLDA的说话人确认的s-向量。
2021-12-12 cs.SD eess.AS
End-to-End Speaker Diarization for an Unknown Number of Speakers with Encoder-Decoder Based Attractors
Hitachi, Ltd.(日立公司);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了未知数量说话人的端到端说话人日志化问题。最近提出的端到端的发言人日记优于传统的基于聚类的发言人日记,但它有一个缺点:它是不太灵活的发言人的数量。本文提出了一种基于编码器-解码器的吸引子计算(EDA)方法,该方法首先从语音嵌入序列中生成灵活数量的吸引子。然后,将生成的多个吸引子乘以语音嵌入序列以产生相同数量的说话人活动。语音嵌入序列的提取使用传统的自注意端到端神经说话人日记(SA-EEND)网络。在双扬声器条件下,我们的方法在模拟混合物上实现了2.69%的日记化错误率(DER),在CALLHOME的双扬声器子集上实现了8.07%的DER,而vanilla SA-EEND分别达到了4.56%和9.54%。在未知说话人数量的条件下,我们的方法在CALLHOME上获得了15.29%的DER,而基于x向量的聚类方法获得了19.43%的DER。
2020-10-05 cs.CL cs.SD eess.AS
Speaker-Guided Encoder-Decoder Framework for Emotion Recognition in Conversation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
会话中的情感识别(ERC)任务旨在预测会话中话语的情感标签。由于说话人之间的依赖关系是复杂的、动态的,包括说话人内部和说话人之间的依赖关系,因此说话人特定信息的建模在ERC中起着至关重要的作用。尽管已有的研究者提出了多种说话人交互建模方法,但他们不能同时研究说话人内和说话人间的动态依赖关系,导致对语境的理解不足,进一步阻碍了情感预测。为此,我们设计了一种新的扬声器建模方案,探讨内和扬声器间的依赖关系,以动态的方式共同。此外,我们提出了一个演讲者引导的编码器-解码器(SGED)框架ERC,充分利用说话者信息的情感解码。我们使用不同的现有方法作为我们的框架的会话上下文编码器,显示出所提出的框架的高可扩展性和灵活性。实验结果证明了SGED的优越性和有效性。
2022-06-07 cs.CL cs.SD eess.AS
Y-Vector: Multiscale Waveform Encoder for Speaker Embedding
University of Rochester(罗切斯特大学);Beijing Institute of Technology(北京理工大学)
现有的文本无关说话人确认系统通常使用倒谱特征或滤波器组能量作为语音特征。最近的研究试图直接从原始波形中提取说话人嵌入,并显示出有竞争力的结果。在本文中,我们提出了一种新的多尺度波形编码器,使用三个卷积分支与不同的时间尺度计算语音特征的波形。然后,这些特征通过挤压和激励块、多级特征聚合器和时间延迟神经网络(TDNN)来处理以计算说话人嵌入。我们表明,建议的嵌入优于现有的原始波形为基础的说话人嵌入说话人确认的大幅度。对学习滤波器的进一步分析表明,多尺度编码器在其不同尺度下关注不同的频段,同时产生比任何单尺度对应物更平坦的总体频率响应。
2021-06-09 cs.SD eess.AS
SEF-PNet: Speaker Encoder-Free Personalized Speech Enhancement with Local and Global Contexts Aggregation
Shanghai Normal University(上海师范大学);Unisound AI Technology Co., Ltd.(云知声人工智能科技有限公司);Samsung Research America(三星美国研究院)
SEF-PNet提出无说话人编码器的个性化语音增强网络,通过交互式说话人自适应和局部-全局上下文聚合,在Libri2Mix上取得最先进性能。
2025-01-20 cs.SD eess.AS
Universal speaker recognition encoders for different speech segments duration
ITMO University(ITMO大学);STC Ltd.(STC有限公司)
创建对不同声学和语音持续时间条件具有鲁棒性的通用扬声器编码器是当今的一大挑战。根据我们的观察,在短语音段上训练的系统对于短短语说话人验证是最佳的,而在长语音段上训练的系统对于长语音段验证是最优的。一个系统同时训练池的短和长的语音段不会给出最佳的验证结果,通常会降低短和长段。针对不同语音段时长的通用说话人编码器的设计问题进行了研究。我们描述了我们的简单配方,用于训练任何类型的选定神经网络架构的通用扬声器编码器。根据我们对NIST SRE和VoxCeleb 1基准测试获得的基于wav 2 vec-TDNN的系统的评估结果,所提出的通用编码器在不同的注册和测试语音段持续时间的情况下提供了说话人验证改进。所提出的编码器的关键特征是,它具有相同的推理时间所选择的神经网络架构。
2022-10-28 cs.LG cs.SD eess.AS
The FlySpeech Audio-Visual Speaker Diarization System for MISP Challenge 2022
Tencent Corporation(腾讯公司)
本文提出用于MISP Challenge 2022的FlySpeech端到端音视频说话人日志系统,通过联合训练编码器与解码器并利用预训练模型初始化,有效缓解了独立训练导致的性能下降。
2023-07-28 cs.SD eess.AS
MR-SVS: Singing Voice Synthesis with Multi-Reference Encoder
Zhejiang University(浙江大学)
多说话人歌唱声合成是指生成由不同说话人演唱的歌唱声。为了推广到新的扬声器,以前的zero-shot歌唱自适应方法从单个参考音频中以固定大小的嵌入获得目标扬声器的音色。然而,它们面临着几个挑战:1)固定大小的说话人嵌入不足以捕获目标音色的全部细节; 2)单个参考音频不包含目标说话人的足够音色信息; 3)不同说话人之间的音高不一致也导致生成的语音的降级。在本文中,我们提出了一个新的模型称为MR-SVS来解决这些问题。具体来说,我们采用多参考编码器和固定大小的编码器来编码来自多个参考音频的目标扬声器的音色。多参考编码器可以捕捉目标音色的更多细节和变化。此外,我们提出了一个设计良好的音高偏移方法来解决音高不一致的问题。实验结果表明,该方法在自然度和相似度上都优于基线方法。
2022-01-11 cs.SD eess.AS
Encoder-Decoder Based Attractors for End-to-End Neural Diarization
Hitachi, Ltd.(日立有限公司);LINE corporation(LINE公司);Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本文研究了一种未知说话人数目的端到端神经日志化(EEND)方法。与传统的说话者日记化级联方法相比,EEND方法在说话者重叠处理方面更好。然而,EEND仍然具有缺点,因为它不能处理灵活数量的发言者。为了解决这个问题,我们引入了基于编码器-解码器的吸引子计算模块(EDA)的EEND。一旦获得逐帧嵌入,EDA就使用LSTM编码器-解码器基于序列到序列方法顺序地生成说话者吸引子。吸引子的生成继续进行,直到满足停止条件;因此,吸引子的数量可以是灵活的。然后,将Diarization结果估计为吸引子和嵌入的点积。由于说话人重叠的嵌入会产生较大的点积值,且具有多个吸引子,因此该方法可以处理说话人重叠的情况。由于输出说话人的最大数量仍然受到训练集的限制,我们还提出了一种迭代推理方法来消除这一限制。此外,我们提出了一种方法,该方法将估计的日志化结果与外部语音活动检测器的结果对齐,从而能够与级联方法进行公平比较。模拟和真实数据集上的广泛评估表明,EEND-EDA优于传统的级联方法。
2022-03-28 cs.SD eess.AS
Boosting Unknown-number Speaker Separation with Transformer Decoder-based Attractor
dot Inc.(42dot公司);Carnegie Mellon University(卡内基梅隆大学)
本文提出结合双路径块、TDA 吸引子模块与三路径块的语音分离模型,用固定说话人查询处理未知人数,并在 WSJ0 2/3 混合及最多 5 人场景中取得优异性能。
2024-01-23 cs.SD eess.AS
Multi-Decoder DPRNN: High Accuracy Source Counting and Separation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一个端到端的可训练的方法,单通道语音分离未知数量的扬声器。我们的方法扩展了MulCat声源分离骨干与额外的输出头:一个计数头来推断扬声器的数量,和解码器头重建原始信号。除了该模型,我们还提出了一个度量如何评估声源分离与可变数量的发言人。具体来说,我们澄清了如何评估质量的问题时,地面实况有更多或更少的发言人比模型预测的。我们在WSJ0混合数据集上评估了我们的方法,混合了多达五个扬声器。我们证明了我们的方法在计算扬声器数量方面优于最先进的方法,并且在重建信号的质量方面仍然具有竞争力。
2020-11-30 cs.LG cs.SD eess.AS
Improving multi-speaker TTS prosody variance with a residual encoder and normalizing flows
Alexa AI
最近,文本到语音系统的质量几乎与人类语音无法区分。然而,这些系统的韵律通常比自然语音更平坦,产生具有低表达力的样本。在文语转换系统中,说话人身份和韵律的分离是提高自然度和产生更多可变合成的关键。本文提出了一种新的神经文本到语音模型,通过调节Tacotron 2-like架构上的流规范化的扬声器嵌入,并通过用一个新的学习潜在分布来代替参考编码器,负责建模由于韵律的句内变异性,来解决解纠缠问题。通过消除参考编码器依赖性,通常发生在这种系统中的扬声器泄漏问题消失了,在推理时产生更独特的合成。新模型实现了显着更高的韵律方差比基线在一组定量韵律特征,以及更高的扬声器的独特性,而不会降低扬声器的可懂度。最后,我们观察到,归一化的扬声器嵌入使更丰富的扬声器插值,大大提高了新的插值扬声器的独特性。
2021-06-10 cs.CL cs.SD eess.AS
SC-GlowTTS: an Efficient Zero-Shot Multi-Speaker Text-To-Speech Model
DefinedCrowd Corp.(DefinedCrowd公司);Coqui(Coqui公司);Fraunhofer AISEC(弗劳恩霍夫应用与集成安全研究所);Federal University of Goias(戈亚斯联邦大学);Federal University of Technology – Paraná(巴拉那联邦理工大学)
在本文中,我们提出了SC-GlowTTS:一个有效的zero-shot多说话人文本转语音模型,提高了训练过程中看不见的说话人的相似性。我们提出了一个扬声器的条件架构,探讨了基于流的解码器,工作在一个zero-shot的情况。作为文本编码器,我们探索了一种基于扩张残差卷积的编码器,基于门控卷积的编码器和基于变换的编码器。此外,我们已经证明,针对TTS模型在训练数据集上预测的频谱图调整基于GAN的声码器可以显着提高新说话者的相似性和语音质量。我们的模型仅使用11个扬声器进行收敛,达到了与新扬声器相似的最先进结果,以及高语音质量。
2021-06-15 cs.SD eess.AS
Self-Supervised Training of Speaker Encoder with Multi-Modal Diverse Positive Pairs
National University of Singapore(新加坡国立大学);Fortemedia(富迪媒体);University of Eastern Finland(东芬兰大学);Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Bremen(不来梅大学);Kriston AI(Kriston人工智能)
本文研究了一种新的说话人编码器的神经网络结构及其训练策略,用于说话人识别中不使用身份标签。说话人编码器被训练为从各种长度的口语话语中提取固定大小的说话人嵌入。对比学习是一种典型的自监督学习技术。然而,扬声器编码器的质量在很大程度上取决于正负对的采样策略。我们通常从同一话语中抽取一对正的片段。不幸的是,这种穷人的积极对(PPP)缺乏必要的多样性的训练一个强大的编码器。在这项工作中,我们提出了一个多模态对比学习技术与新的采样策略。通过语音和人脸数据之间的交叉引用,我们研究了一种方法,发现不同的积极对(DPP)的对比学习,从而提高扬声器编码器的鲁棒性。在VoxCeleb 2数据集上对说话人编码器进行训练,在VoxCeleb 1的三个测试集上,采用渐进式聚类策略的等误率分别为2.89%、3.17%和6.27%,采用伪标签两阶段学习策略的等误率分别为1.44%、1.77%和3.27%.这种新的解决方案大大优于最先进的自监督学习方法,同时,实现了与监督学习对应的结果。我们还在LRS 2和LRW数据集上评估了我们的自监督学习技术,其中说话人信息是未知的。所有实验表明,所提出的神经结构和采样策略在数据集上是鲁棒的。
2022-10-27 cs.SD eess.AS eess.SP
Sequence-level Speaker Change Detection with Difference-based Continuous Integrate-and-fire
说话人切换检测是会议、对话等多方交互中的一项重要任务。在本文中,我们解决说话人变化检测任务的角度来看,序列转导。具体来说,我们提出了一种新的编码器-解码器框架,直接将输入的特征序列转换为说话人身份序列。基于差异的连续集成和激发机制被设计用于支持该框架。它通过逐帧整合编码器输出之间的扬声器差异来检测扬声器变化,并根据检测到的扬声器变化将编码器输出传输到分段级扬声器嵌入。整个框架由说话人身份序列监督,这是一个比精确说话人转换点更弱的标签。AMI和DIHARD-I语料库上的实验表明,我们的序列级方法始终优于使用精确的说话人变化标签的强帧级基线。
2022-06-27 cs.SD eess.AS
Content-Dependent Fine-Grained Speaker Embedding for Zero-Shot Speaker Adaptation in Text-to-Speech Synthesis
Tencent(腾讯)
Zero-shot说话人自适应的目的是克隆一个看不见的说话人的声音,没有任何适应时间和参数。以前的研究通常使用说话人编码器从参考语音中提取全局固定说话人嵌入,并且有几次尝试尝试了可变长度的说话人嵌入。然而,他们忽略了转移个人的发音特征相关的音素内容,导致穷人的说话人的相似性方面的详细发言风格和发音习惯。为了提高说话人编码器对个人发音特征建模的能力,我们提出了基于内容的细粒度说话人嵌入的zero-shot说话人自适应算法。分别从参考语音中提取相应的本地内容嵌入和说话人嵌入。而不是建模的时间关系,一个参考注意模块被引入到参考语音和输入文本之间的内容相关性建模,并生成细粒度的扬声器嵌入每个音素编码器的输出。实验结果表明,该方法可以提高合成语音的说话人相似度,特别是对未知说话人。
2022-11-11 cs.SD eess.AS
Noise-robust voice conversion with domain adversarial training
Northwestern Polytechnical University(西北工业大学);National University of Singapore(新加坡国立大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳))
语音转换在过去的几年里取得了很大的进展,在演播室质量的测试场景下,在语音质量和说话人相似性方面。然而,在实际应用中,源说话人或目标说话人的测试语音会受到各种环境噪声的干扰,严重影响语音质量和说话人相似度。在本文中,我们提出了一种新的基于编码器-解码器的噪声鲁棒语音转换框架,该框架包括一个扬声器编码器,一个内容编码器,一个解码器,和两个域对抗神经网络。具体来说,我们将解纠缠扬声器和内容表示技术与域对抗训练技术相结合。领域对抗训练使说话人编码器和内容编码器分别从干净语音和含噪语音中提取出说话人表示和内容表示。以这种方式,学习的说话者和内容表示是噪声不变的。因此,解码器可以将这两个噪声不变表示作为输入,以预测干净的转换频谱。实验结果表明,我们提出的方法可以合成干净的转换语音在嘈杂的测试场景下,源语音和目标语音可以被损坏的训练过程中看到或看不到的噪声类型。此外,语音质量和说话人相似度都得到了提高。
2022-01-26 cs.SD eess.AS
Joint Speaker Encoder and Neural Back-end Model for Fully End-to-End Automatic Speaker Verification with Multiple Enrollment Utterances
National Institute of Informatics(国立信息学研究所)
传统的自动说话人确认系统通常可以被分解成用于提取说话人嵌入的前端模型(诸如时间延迟神经网络(TDNN))和用于相似性评分的后端模型(诸如基于概率线性判别分析(PLDA)或基于神经网络的神经PLDA(NPLDA))。然而,前端和后端模型的顺序优化可能会导致局部最小值,这在理论上阻止了整个系统实现最佳优化。虽然已经提出了一些方法来联合优化这两个模型,如广义端到端(GE2E)模型和NPLDA E2E模型,所有这些方法都是设计用于单个注册话语。在本文中,我们提出了一个新的E2E联合方法的说话人确认特别是针对实际情况下的多个注册话语。为了利用多个注册话语之间的内部关系,我们的模型配备了帧级和话语级的注意机制。我们还利用了几种数据增强技术,包括使用MUSAN和RIR数据集的传统噪声增强以及独特的扬声器嵌入级混合策略,以实现更好的优化。
2022-09-01 cs.SD eess.AS
DSARSR: Deep Stacked Auto-encoders Enhanced Robust Speaker Recognition
Central China Normal University(华中师范大学);Hubei University of Technology(湖北工业大学)
本文提出DSARSR方法,用深度堆叠自编码器替代PLDA对i-vector进行低维重构,以增强跨信道鲁棒性,实验表明其性能优于现有最优方法。
2023-07-06 cs.CR cs.SD eess.AS
U-Style: Cascading U-nets with Multi-level Speaker and Style Modeling for Zero-Shot Voice Cloning
Northwestern Polytechnical University(西北工业大学);ByteDance(字节跳动)
针对零样本语音克隆中自然度、相似度不足及风格适配缺失的问题,提出以Grad-TTS为骨干、带多级U网编码器的U-Style方法,实现说话人与风格解耦,性能优于现有方法,支持跨未见说话人的风格灵活组合。
2023-10-06 cs.SD eess.AS
Transfer Learning from Speech Synthesis to Voice Conversion with Non-Parallel Training Data
Southeast University(东南大学);National University of Singapore(新加坡国立大学)
本文提出了一种新的框架,建立一个语音转换(VC)系统的学习从文本到语音(TTS)合成系统,即TTS-VC迁移学习。首先,我们开发了一个多扬声器语音合成系统与序列到序列的编码器-解码器架构,其中编码器提取强大的语言表示的文本,和解码器,条件下的目标说话人嵌入,需要上下文向量和注意经常性的网络单元输出生成目标声学特征。我们利用TTS系统将输入文本映射到与说话人无关的上下文向量的事实,并重用这样的映射来监督编码器-解码器语音转换系统的潜在表示的训练。在语音转换系统中,编码器以语音代替文本作为输入,而解码器的功能类似于TTS解码器。由于我们将解码器设置为扬声器嵌入,因此系统可以在非并行数据上进行训练,以进行任意到任意的语音转换。在语音转换训练过程中,我们分别提出了文本和语音到语音合成和语音转换网络。在运行时,语音转换网络使用自己的编码器-解码器架构。实验表明,该方法优于两个竞争的语音转换基线一致,即语音后验图和变分自动编码器的方法,在语音质量,自然度和说话人相似性。
2021-01-06 cs.SD eess.AS
A Joint Noise Disentanglement and Adversarial Training Framework for Robust Speaker Verification
School of computer science and technology, Xinjiang University(新疆大学计算机科学与技术学院);Tsinghua University(清华大学)
针对ASV在噪声下性能下降问题,提出结合噪声解耦与对抗训练的框架,通过双编码器分离信息、重建模块约束噪声及特征鲁棒损失,构建噪声无关的说话人不变嵌入空间,在VoxCeleb1上提升了纯净与噪声条件下的验证性能。
2024-08-22 cs.SD eess.AS
Auxiliary Loss of Transformer with Residual Connection for End-to-End Speaker Diarization
Gwangju Institute of Science and Technology(光州科学技术院)
带有自我注意的端到端神经日志化(EEND)直接从输入中预测说话人标签,并实现对重叠语音的处理。虽然EEND优于基于聚类的说话人日记化(SD),但它不能通过简单地增加编码器块的数量来进一步改进,因为与较低的块相比,最后的编码器块被占主导地位地监督。本文提出了一种新的残差辅助EEND(RX-EEND)学习架构的Transformers器,以加强较低的编码器块学习更准确。辅助损失被应用于每个编码器块的输出,包括最后一个编码器块。通过在EEND的编码器块之间添加残差连接,可以进一步增加辅助损失对编码器块学习的影响。性能评估和消融研究表明,与自主EEND(SA-EEND)相比,在模拟和CALLHOME(CH)数据集上,建议的RX-EEND中的辅助损失分别使日志错误率(DER)相对降低了50.3%和21.0%。此外,在RX-EEND中使用的剩余连接进一步相对降低了CH数据集的DER 8.1%。
2022-09-26 cs.SD eess.AS
Unifying Diarization, Separation, and ASR with Multi-Speaker Encoder
Honda Research Institute Japan, Japan(本田研究院日本);Carnegie Mellon University, USA(卡内基梅隆大学)
本文提出统一多说话人编码器(UME),通过共享语音基础编码器联合学习说话人识别、语音分离和多说话人ASR任务的表示,提升重叠语音数据性能。
2026-05-13 cs.CL cs.SD eess.AS
FASTDIAR: Frame-level speaker encoder for Streaming Diarization
KTH Royal Institute of Technology(KTH皇家理工学院);Microsoft(微软)
本文提出FASTDIAR,一种帧级因果说话人编码器与在线聚类结合的流式说话人日志系统,通过蒸馏训练,在低重叠基准上实现亚秒延迟的最优准确率,且单CPU线程运行速度比实时快五倍。
2026-10-05 cs.LG cs.SD eess.AS
Multi-speaker Emotion Conversion via Latent Variable Regularization and a Chained Encoder-Decoder-Predictor Network
Johns Hopkins University(约翰斯·霍普金斯大学)
提出了一种基于链式编码-解码-预测神经网络结构的语音情感转换方法。编码器构建了一个潜在的嵌入的基频(F0)的轮廓和频谱,我们正则化使用大尺度映射(LDDMM)注册框架。解码器使用该嵌入来预测目标情感类中的修改的F0轮廓。最后,预测器使用原始谱和修改的F0轮廓来生成对应的目标谱。我们的联合目标函数同时优化三个模型块的参数。我们表明,我们的方法在情感转换的显着性和重新合成语音的质量方面都优于现有的最先进方法。此外,LDDMM正则化允许我们的模型转换训练中不存在的短语,从而为样本外泛化提供证据。
2020-08-10 cs.LG cs.SD eess.AS
ECAPA-TDNN for Multi-speaker Text-to-speech Synthesis
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Language and Culture University(北京语言大学);Unisound AI Technology Co., Ltd(云知声人工智能科技股份有限公司)
近年来,基于神经网络的多说话人文本到语音合成(TTS)方法取得了重大进展。然而,这些方法中使用的现有说话人编码器模型仍然不能捕获足够的说话人信息。在本文中,我们专注于精确的说话人编码器建模,并提出了一种端到端的方法,可以生成高质量的语音和更好的相似性,为可见和不可见的扬声器。所提出的架构由三个单独训练的组件组成:一个扬声器编码器的基础上,最先进的ECAPA-TDNN模型,这是来自扬声器验证任务,FastSpeech 2为基础的合成器,和HiFi-GAN声码器。不同的说话人编码模型之间的比较表明,我们提出的方法可以实现更好的自然度和相似度。为了有效地评估我们的合成语音,我们首次采用基于深度学习的自动MOS评估方法来评估我们的结果,这些方法在自动语音质量评估中显示出巨大的潜力。
2022-03-26 cs.LG cs.SD eess.AS
Speech-Aware Neural Diarization with Encoder-Decoder Attractor Guided by Attention Constraints
National Taiwan Normal University(国立台湾师范大学)
本研究提出一种辅助损失方法,利用说话人活动信息引导EEND-EDA模型底层Transformer编码器增强自注意力效果,在Mini LibriSpeech上将Diarization Error Rate从30.95%降至28.17%,有效改善了局部说话人动态捕捉能力。
2024-03-21 cs.SD eess.AS
Weakly Supervised Training of Hierarchical Attention Networks for Speaker Identification
University of Sheffield(谢菲尔德大学)
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种层次化的注意力网络来解决弱标记说话人识别问题。使用的分层结构,包括一个帧级编码器和一个段级编码器,旨在学习本地和全球的扬声器相关的信息。语音流被分割成片段。具有注意力的帧级编码器学习特征并局部突出目标相关帧,并输出基于片段的嵌入。片段级编码器与第二关注层一起工作,以强调可能与目标说话者相关的片段。最后,从分段级模块中收集全局信息,通过分类器进行说话人预测。为了评估所提出的方法的有效性,基于Switchboard Cellular part1(SWBC)和Voxceleb1的人工数据集构造在两种情况下,其中说话人的声音重叠和不重叠。通过与两个基线的比较,结果表明该方法可以获得更好的性能。此外,进一步的实验进行评估的影响,话语分割。结果表明,合理的分割可以略微提高识别性能。
2020-08-27 cs.CL cs.SD eess.AS
Discriminative-Generative Target Speaker Extraction with Decoder-Only Language Models
School of Computer Science, Wuhan University(武汉大学计算机学院);Suzhou Municipal Key Laboratory of Multimodal Intelligent Systems, Digital Innovation Research Center, Duke Kunshan University(多模态智能系统苏州市重点实验室、数字创新研究中心、杜克昆山大学);North Carolina State University(北卡罗来纳州立大学)
本文提出了一种判别-生成两阶段框架,结合判别提取的可控性和生成模型的重建能力,以提高目标说话人提取和语音增强的感知质量、可懂度和说话人一致性。
2026-05-20 cs.SD eess.AS
T-vectors: Weakly Supervised Speaker Identification Using Hierarchical Transformer Model
University of Sheffield(谢菲尔德大学)
在不知道说话者的声音在录音中的位置的情况下识别多个说话者是一项具有挑战性的任务。本文提出了一种分层网络与Transformer编码器和内存机制来解决这个问题。该模型包括帧级编码器和段级编码器,它们都使用了Transformer编码器模块。Transformer结构中的多头注意力机制可以在输入话语包含多个说话人时更好地捕捉不同的说话人属性。帧级编码器中使用的记忆机制可以建立一个循环连接,更好地捕捉长期的扬声器特征。实验在基于Switchboard Cellular part1(SWBC)和Voxceleb 1数据集的人工数据集上进行。在不同的数据构建场景(Concat和Overlap)下,与四个强基线相比,该模型表现出更好的性能,与H向量和S向量相比,相对性能分别提高了13.3%和10.5%。使用记忆机制与不使用记忆机制相比,相对提高了10.6%和7.7%。
2020-10-29 cs.CL cs.LG cs.SD
Accent and Speaker Disentanglement in Many-to-many Voice Conversion
Northwestern Polytechnical University(西北工业大学);iQIYI Inc(爱奇艺公司);Databaker (Beijing) Technology Co., Ltd.(北京数据方舟科技有限公司)
本文提出了一种有趣的语音和口音联合转换方法,它可以将任意源说话人的语音转换为具有非母语口音的目标说话人的语音。这个问题是具有挑战性的,因为每个目标说话人只有本地口音的训练数据,并且我们需要在转换模型训练中解开口音和说话人信息,并在转换阶段重新组合它们。在我们的合成-合成转换框架中,我们通过两个建议的技巧来解决这个问题。首先,我们使用口音相关的语音识别器,以获得不同口音的扬声器的瓶颈功能。这旨在消除BN特征中语言信息之外的其他因素,用于转换模型训练。其次,我们建议使用对抗性训练来更好地理清基于编码器-解码器的转换模型中的说话者和口音信息。具体来说,我们将一个辅助说话人分类器插入编码器,用对抗性损失训练,从编码器输出中消除说话人信息。实验表明,我们的方法优于基线。所提出的技巧是非常有效的,在改善重音和音频质量和扬声器相似性很好地保持。
2020-11-17 cs.SD eess.AS
Estimation of speaker age and height from speech signal using bi-encoder transformer mixture model
Indian Institute of Technology, Indore(印度理工学院印多尔分校);Nanyang Technological University(南洋理工大学)
说话人的年龄、身高等特征的估计是一项具有挑战性的任务,在语音取证分析中有着广泛的应用。在这项工作中,我们提出了一个双编码器Transformer混合模型的说话人年龄和身高估计。考虑到男性和女性的语音特征,如共振峰和基频的差异,我们提出了使用两个单独的Transformer编码器的男性和女性的特定语音特征的提取,使用wav2vec 2.0作为一个共同的水平特征提取器。这种架构减少了反向传播过程中的干扰影响,提高了模型的泛化能力。我们在TIMIT数据集上进行了实验,并在年龄估计方面显著优于当前最先进的结果。具体而言,我们实现了男性和女性年龄估计的均方根误差(RMSE)分别为5.54年和6.49年。进一步的实验,以评估不同的语音类型的相对重要性,我们的任务表明,元音的声音是最有区别的年龄估计。
2022-03-22 cs.LG cs.SD eess.AS
SpEx+: A Complete Time Domain Speaker Extraction Network
Tianjin University(天津大学);Nanyang Technological University(南洋理工大学);Japan Advanced Institute of Science and Technology(日本北陆先端科学技术大学院大学);National University of Singapore(新加坡国立大学);University of Bremen(不来梅大学)
说话人提取的目的是在给定目标说话人的参考语音的情况下,从多说话人环境中提取目标语音信号。我们最近提出了一种时域解决方案,SpEx,避免了频域方法中的相位估计。不幸的是,SpEx并不是一个完全的时域解决方案,因为它执行时域语音编码用于说话人提取,同时将频域说话人嵌入作为参考。时域分析窗口的大小和频域输入的大小也不同。这种失配对系统性能具有不利影响。为了消除这种不匹配,我们提出了一个完整的时域说话人提取解决方案,这是所谓的SpEx+。具体来说,我们将两个相同的语音编码器网络的权重联系起来,一个用于编码器-提取器-解码器管道,另一个作为扬声器编码器的一部分。实验结果表明,在WSJ 0 - 2 mix-extr数据库上,SpEx+在不同性别和相同性别条件下,比SpEx基线分别提高了0.8dB和2.1dB的SDR。
2020-08-18 cs.SD eess.AS
Asymmetric Encoder-Decoder Based on Time-Frequency Correlation for Speech Separation
Department of Electronic Engineering, Sogang University(电子工程系,首尔大学)
本文提出SR-CorrNet框架,通过引入分离-重建策略和结构化相关性到滤波问题,改进了时频域语音分离的性能,在不同环境下均取得显著提升。
2026-05-14 cs.SD eess.AS
AdaVITS: Tiny VITS for Low Computing Resource Speaker Adaptation
Northwestern Polytechnical University(西北工业大学);Tencent Technology Co., Ltd.(腾讯科技有限公司)
文本到语音合成(TTS)中的说话人自适应是指在有限的数据条件下,对预先训练好的TTS模型进行微调,以适应新的目标说话人。虽然已经进行了大量的努力,对这个任务,很少的工作已经执行了低计算资源的情况下,由于轻量级模型的要求和较少的计算复杂性的挑战。本文提出了一种用于低计算资源说话人自适应的基于VITS的TTS模型AdaVITS。为了有效降低VITS的参数和计算复杂性,提出了一种基于iSTFT的波形构造解码器,以取代原VITS中基于上采样的资源消耗型解码器。此外,引入NanoFlow来共享流块之间的密度估计,以减少现有编码器的参数。此外,为了降低文本编码器的计算复杂性,用线性注意力代替缩放点注意力。为了处理简化模型所造成的不稳定性,而不是使用原始的文本编码器,语音后验图(PPG)被用作语言特征,通过一个文本到PPG模块,然后被用作输入的编码器。实验结果表明,AdaVITS在8.97M模型参数和0.72GFlops计算复杂性的条件下,能够产生稳定自然的说话人自适应语音。
2022-11-02 cs.SD eess.AS
Exploring speaker enrolment for few-shot personalisation in emotional vocalisation prediction
University of Augsburg(奥格斯堡大学);University of Tokyo(东京大学);Imperial College(帝国理工学院)
在这项工作中,我们探索了一种新颖的情感发声预测的Few-Shot个性化架构。核心贡献是一个“注册”编码器,它利用两个未标记的样本的目标扬声器,以调整情感编码器的输出;调整是基于点积注意,从而有效地作为一种形式的“软”特征选择。情感和注册编码器基于两种标准音频架构:CNN 14和CNN 10。进一步引导两个编码器忘记或学习辅助情感和/或说话者信息。我们的最佳方法在ExVo Few-Shot开发集上实现了$.650$的CCC,比我们的基线CNN 14 CCC $.634$增加了$2.5\%$。
2022-06-20 cs.LG cs.SD eess.AS
Non-Parallel Sequence-to-Sequence Voice Conversion with Disentangled Linguistic and Speaker Representations
University of Science and Technology of China(中国科学技术大学)
本文提出了一种使用非并行训练数据的序列到序列(seq2seq)语音转换方法。在该方法中,从声学特征中提取分离的语言和说话人表示,并通过保留源话语的语言表示而用目标话语替换说话人表示来实现语音转换。我们的模型是建立在编码器-解码器神经网络的框架下。设计了一个识别编码器,通过两种策略来学习解纠缠的语言表示。首先,介绍了训练数据的音素转换,为学习音频信号的语言表示提供参考。其次,采用对抗性训练策略进一步消除语言表征中的说话人信息。同时,通过扬声器编码器从音频信号中提取扬声器表示。通过两阶段训练来估计模型参数,包括使用多说话者数据集的预训练阶段和使用特定转换对的数据集的微调阶段。由于用于恢复声学特征的识别编码器和解码器都是seq2seq神经网络,因此在我们提出的方法中没有帧对齐和逐帧转换的约束。实验结果表明,我们的方法比2018年语音转换挑战赛中最好的非并行语音转换方法获得了更高的相似度和自然度。此外,我们提出的方法的性能接近最先进的并行seq2seq语音转换方法。
2019-12-13 cs.SD eess.AS
Multi-Encoder-Decoder Transformer for Code-Switching Speech Recognition
National University of Singapore(新加坡国立大学)
语码转换是指说话人在同一个句子内或句子之间交替使用两种或两种以上语言的词汇。CS语音的自动语音识别(ASR)需要同时处理两种或两种以上的语言。在这项研究中,我们提出了一个基于transformer的架构,具有两个对称的语言特定的编码器来捕获各个语言属性,从而提高每种语言的声学表示。在解码器模块中使用语言特定的多头注意机制来组合这些表示。解码器中的每个编码器及其相应的注意力模块使用大型单语语料库进行预训练,旨在减轻有限的CS训练数据的影响。我们称这样的网络为多编码器-解码器(MED)架构。在SEAME语料库上的实验结果表明,在以汉语和英语为矩阵语言的CS评价集上,该MED结构分别实现了10.2%和10.8%的相对错误率降低.
2020-06-18 cs.SD eess.AS
SpEx: Multi-Scale Time Domain Speaker Extraction Network
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学);University of Bremen(不来梅大学);Kriston AI Lab(Kriston AI实验室)
说话人提取的目的是模仿人类的选择性听觉注意,从多说话人环境中提取目标说话人的声音。通常在频域中进行提取,并从提取的幅度谱和估计的相位谱重建时域信号。然而,这种方法受到相位估计的固有困难的不利影响。受Conv-TasNet的启发,我们提出了一种时域说话人提取网络(SpEx),它将混合语音转换为多尺度嵌入系数,而不是将语音信号分解为幅度和相位谱。通过这种方式,我们避免了相位估计。SpEx网络由四个网络组件组成,即扬声器编码器、语音编码器、扬声器提取器和语音解码器。具体地说,语音编码器将混合语音转换成多尺度嵌入系数,说话人编码器学习用说话人嵌入来表示目标说话人。说话人提取器将多尺度嵌入系数和目标说话人嵌入作为输入,并估计接收掩码。最后,语音解码器从掩蔽的嵌入系数重构目标说话人的语音。我们还提出了一个多任务学习框架和多尺度嵌入实现。实验结果表明,在开放评价条件下,该算法在信失真比(SDR)、尺度不变SDR(SI-SDR)和语音质量感知评价(PESQ)方面比最佳基线分别提高了37.3%、37.7%和15.0%.
2020-04-17 cs.CL cs.SD eess.AS
Towards zero-shot Text-based voice editing using acoustic context conditioning, utterance embeddings, and reference encoders
University of Edinburgh(爱丁堡大学);Meta AI
基于文本的语音编辑(TBVE)使用文本到语音(TTS)系统的合成输出来替换原始录音中的单词。最近的工作使用神经模型来产生编辑后的语音,这些语音在清晰度、说话者身份和韵律方面与原始语音相似。然而,先前工作的一个限制是使用微调来优化性能:这需要对来自目标说话者的数据进行进一步的模型训练,这是一个昂贵的过程,可能会将潜在的敏感数据合并到服务器端模型中。相比之下,这项工作的重点是zero-shot的方法,它避免了微调,而是使用预先训练的说话人验证嵌入与联合训练的参考编码器一起编码话语级信息,帮助捕获方面,如说话人的身份和韵律。主观听音测试发现,在zero-shot设置下,话语嵌入和参考编码器都提高了编辑后的合成语音和未编辑的原始录音之间的说话人身份和韵律的连续性。
2022-10-28 cs.CL cs.SD eess.AS
PseudoVC: Improving One-shot Voice Conversion with Pseudo Paired Data
Tencent Youtu Lab(腾讯优图实验室)
本文提出PseudoVC方法,通过Pseudo Conversion信息扰动和Speaker Sampling策略分别解决一次性语音转换中内容编码器与说话人编码器的训练推理不匹配问题,实验表明其性能优于现有公开VC模型。
2025-06-01 cs.SD eess.AS
Joint Training or Not: An Exploration of Pre-trained Speech Models in Audio-Visual Speaker Diarization
Northwestern Polytechnical University(西北工业大学);Tencent Corporation(腾讯公司)
本文针对音视觉标注数据不足问题,在端到端AVSD系统中引入监督式与自监督式预训练语音模型,并联合训练音频、说话人编码器及音视觉解码器,在MISP数据集上取得优异成绩。
2023-12-07 cs.SD eess.AS
Adversarially Trained Autoencoders for Parallel-Data-Free Voice Conversion
University of California at Berkeley(加州大学伯克利分校);Intel AI Lab(英特尔人工智能实验室)
我们提出了一种方法,用于转换一组扬声器之间的声音。我们的方法是基于训练多个自编码器路径,其中有一个扬声器独立的编码器和多个扬声器相关的解码器。自动编码器通过添加由辅助分类器提供的对抗性损失来训练,以引导编码器的输出独立于说话者。模型的训练是无监督的,因为它不需要从说话者收集相同的话语,也不需要在音素上进行时间对齐。由于使用了单个编码器,我们的方法可以推广到将训练之外的说话者的声音转换为训练数据集中的说话者。我们提出了主观测试证实我们的方法的性能。
2019-05-09 cs.LG cs.SD eess.AS
Attentron: Few-Shot Text-to-Speech Utilizing Attention-Based Variable-Length Embedding
Hyperconnect(超连接公司)
由于对个性化的需求不断增长,出现了对所谓的Few-Shot TTS系统的需求,该TTS系统仅用少量数据克隆扬声器。为了解决这个问题,我们提出Attentron,一个Few-Shot TTS模型,克隆在训练过程中看不见的扬声器的声音。它引入了两种特殊的编码器,每种编码器都有不同的用途。细粒度编码器通过注意力机制提取可变长度的风格信息,粗粒度编码器极大地稳定了语音合成,即使对于合成看不见的说话者的语音也能避免难以理解的胡言乱语。此外,该模型可以扩展到任意数量的参考音频,以提高合成语音的质量。根据我们的实验,包括人的评价,该模型显着优于国家的最先进的模型时,生成语音的说话人相似性和质量方面看不见的发言人。
2020-08-12 cs.SD eess.AS
Cotatron: Transcription-Guided Speech Encoder for Any-to-Many Voice Conversion without Parallel Data
Seoul National University(首尔国立大学);MINDsLab Inc.(MINDsLab公司)
我们提出了Cotatron,一个转录引导的语音编码器,用于与说话者无关的语言表示。Cotatron基于多扬声器TTS架构,可以使用传统的TTS数据集进行训练。我们训练了一个语音转换系统来重建语音与Cotatron特征,这是类似于以前的方法基于语音后验图(PPG)。通过使用来自VCTK数据集的108个说话者训练和评估我们的系统,我们在自然度和说话者相似性方面都优于以前的方法。我们的系统还可以转换训练过程中看不见的说话者的语音,并利用ASR来自动转录,同时最大限度地降低性能。音频样本可在https://mindslab-ai.github.io/cotatron上获得,带有预训练模型的代码将很快提供。
2020-08-14 cs.LG cs.SD eess.AS
ShaneRun System Description to VoxCeleb Speaker Recognition Challenge 2020
Delta Electronics(台达电子)
在这份报告中,我们描述了ShaneRun团队提交给VoxCeleb Speaker Recognition Challenge(VoxSRC)2020的情况。我们使用ResNet-34作为编码器来提取说话人嵌入,这参考了开源的voxceleb-trainer。我们还提供了一个简单的方法来实现最佳融合使用t-SNE归一化距离的测试话语对,而不是原来的负欧几里德距离的编码器。最终提交的系统对于固定数据跟踪得到0.3098 minDCF和5.076%ERR,分别比基线高1.3%minDCF和2.2%ERR。
2020-11-03 cs.LG cs.SD eess.AS
End-to-end speaker diarization with transformer
Visual Computing Group, Ping An Property & Casualty Insurance Company(平安财产保险股份有限公司视觉计算组)
在计算机视觉中,说话人分类与语义分割密切相关。MaskFormer \cite{cheng2021per}将语义分割视为一个集合预测问题,受其启发,我们提出了一种端到端的方法来预测一组由二进制掩码、语音活动和说话人向量组成的目标。我们的模型,我们硬币\textit{DiFormer},主要是基于一个扬声器编码器和一个特征金字塔网络(FPN)模块提取多尺度扬声器的功能,然后送入一个Transformer编码器-解码器,以预测一组日志目标学习查询嵌入。为了考虑语音信号的时间特性,将双向LSTM插入到掩码预测模块中以提高时间一致性。我们的模型以统一的方式处理未知数量的扬声器,语音重叠以及声音活动检测。多媒体和会议数据集上的实验证明了该方法的有效性。
2021-12-14 cs.SD eess.AS
BERTphone: Phonetically-Aware Encoder Representations for Utterance-Level Speaker and Language Recognition
Amazon AWS AI(亚马逊 AWS 人工智能)
我们介绍BERTphone,一个Transformer编码器训练的大型语音语料库,输出语音感知的上下文表示向量,可用于扬声器和语言识别。这是通过对两个目标的训练来实现的:第一个目标,受BERT适应连续域的启发,涉及掩蔽输入帧的跨度并重建整个序列用于声学表示学习;第二个目标,受ASR瓶颈特征的成功启发,是应用于音素标签的序列级CTC损失,用于语音表示学习。我们预训练了两个BERTphone模型(一个在Fisher上,一个在TED-LIUM上),并将它们作为特征提取器用于这两个任务的x向量风格DNN。在具有挑战性的LRE 07 3秒闭集语言识别任务中,我们获得了最先进的$C_{\text{avg}}$ 6.16。在Fisher和VoxCeleb说话人识别任务中,我们看到在BERTphone向量而不是MFCC上训练时,说话人EER相对降低了18%。一般来说,BERTphone在相同数据上的表现优于以前的语音预训练方法。我们在https://github.com/awslabs/speech-representations上发布我们的代码和模型。
2021-12-29 cs.CL cs.LG cs.SD
VCVTS: Multi-speaker Video-to-Speech synthesis via cross-modal knowledge transfer from voice conversion
Tencent AI Lab(腾讯人工智能实验室)
虽然已经取得了显着的进展,扬声器相关的视频语音合成(VTS),很少有人关注多扬声器VTS,可以映射无声的视频到语音,同时允许灵活控制扬声器的身份,所有在一个单一的系统。提出了一种基于语音转换(VC)跨模态知识传递的多说话人VTS系统,其中VC的内容编码器采用矢量量化对比预测编码(VQCPC),得到离散的音素类声学单元,并将其传递到Lip2Ind网络,以推断声学单元的索引序列.然后,Lip2Ind网络可以替代VC的内容编码器,以形成多扬声器VTS系统,将无声视频转换为声学单元,以重建准确的语音内容。VTS系统还继承了VC的优点,通过使用说话人编码器来产生说话人表示,以有效地控制所生成的语音的说话人身份。广泛的评估验证了所提出的方法的有效性,它可以应用于限制的词汇和开放的词汇条件下,实现国家的最先进的性能,在生成高质量的语音具有高自然度,可懂度和说话人相似性。我们的演示页面在这里发布:https://wendison.github.io/VCVTS-demo/
2022-02-18 cs.AI cs.CV cs.MM