Speaker Identity Preservation in Dysarthric Speech Reconstruction by Adversarial Speaker Adaptation
The Chinese University of Hong Kong(香港中文大学);SpeechX Limited(深圳声希科技有限公司);Centre for Perceptual and Interactive Intelligence(感知与交互智能中心)
构音障碍语音重建(DSR),旨在改善构音障碍语音的质量,仍然是一个挑战,不仅因为我们需要恢复语音是正常的,而且还必须保持说话人的身份。为了控制说话人的身份,本文研究了由说话人识别优化的说话人编码器(SE)提取的说话人表示。然而,SE可能无法完全捕获以前看不见的构音障碍扬声器的特征。为了解决这个研究问题,我们提出了一种新的多任务学习策略,即,对抗性说话人自适应(ASA)。ASA的主要任务微调SE与目标构音障碍说话者的语音,以有效地捕获身份相关的信息,和次要任务应用对抗训练,以避免异常说话模式的重建语音的合并,通过正则化重建语音的分布接近的参考语音的高质量。实验表明,该方法可以实现增强的说话人相似度和可比的语音自然度与强大的基线方法。与构音障碍语音相比,对于中度构音障碍和中重度构音障碍的说话人,重建语音的绝对错误率分别降低了22.3%和31.5%。我们的演示页面在这里发布:https://wendison.github.io/ASA-DSR-demo/
2022-02-18 cs.CL cs.MM cs.SD
LibriTTS-P: A Corpus with Speaking Style and Speaker Identity Prompts for Text-to-Speech and Style Captioning
LY Corp.(LY公司)
本文提出基于 LibriTTS-R 的 LibriTTS-P 语料库,通过人工与合成混合标注提供说话风格和身份提示,并验证其可提升可控 TTS 自然度及风格描述准确性。
2024-06-12 cs.CL cs.LG cs.SD
Listening while Speaking: Speech Chain by Deep Learning
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
尽管语音感知和产生之间有着密切的关系,但自动语音识别(ASR)和文本到语音合成(TTS)的研究或多或少地独立进行,彼此之间没有太多的相互影响。另一方面,在人类交流中,一个闭环的语音链机制,从说话者的嘴到她的耳朵的听觉反馈是至关重要的。在本文中,我们更进一步,开发了一个基于深度学习的闭环语音链模型。闭环体系结构中的序列到序列模型允许我们在标记和未标记数据的级联上训练我们的模型。语音合成是将未标记的语音特征进行转录,而语音合成则是根据语音合成中的文本信息来重建原始语音波形。在相反的方向上,ASR也尝试在给定合成语音的情况下重建原始文本转录。据我们所知,这是第一个整合人类语音感知和生产行为的深度学习模型。我们的实验结果表明,所提出的方法显着提高了性能比单独的系统,只训练标记的数据。
2017-07-16 cs.CL cs.LG cs.SD
Variable frame rate-based data augmentation to handle speaking-style variability for automatic speaker verification
University of California, Los Angeles(加州大学洛杉矶分校);Johns Hopkins University(约翰斯·霍普金斯大学)
使用UCLA Speaker Variability数据库研究了说话风格变异对说话人自动确认的影响,该数据库包含每个说话人的多种说话风格。一个x-向量/PLDA(概率线性判别分析)系统进行了训练与SRE和交换机数据库与标准的增强技术,并与UCLA数据库的话语进行评估。当登记和测试话语具有相同风格(例如,0.98%和0.57%的阅读和会话的讲话,分别),但大幅增加时,注册和测试话语之间的风格不匹配。例如,当注册与会话话语,EER增加到3.03%,2.96%和22.12%,分别测试时,阅读,叙事和宠物导向的讲话。为了减少风格不匹配的影响,我们提出了一种基于熵的可变帧速率技术来人为地生成用于PLDA适应的风格归一化表示。所提出的系统显著提高了性能。在上述条件下,EER提高到2.69%(对话-阅读),2.27%(对话-叙述)和18.75%(宠物指导-阅读)。总的来说,所提出的技术执行多风格PLDA适应,而不需要每个扬声器在不同的说话风格的训练数据。
2020-08-08 cs.LG eess.AS eess.SP
Speaker discrimination in humans and machines: Effects of speaking style variability
University of California, Los Angeles(加州大学洛杉矶分校)
说话风格的变化是否会影响人类从声音中区分个人的能力?人类如何与旨在区分声音的自动系统进行比较?在本文中,我们试图回答这些问题,通过比较人类和机器的说话人识别性能的阅读语音与休闲对话。三十名听众被要求执行相同与不同的扬声器任务。他们的性能进行了比较,以最先进的x矢量/PLDA为基础的自动说话人验证系统。结果表明,人类和机器都表现得更好的风格匹配的刺激,和人类的表现更好,当听众是美国英语的母语。在风格匹配的条件下,母语听众的表现优于机器(阅读语音的EER为6.96%对14.35%,对话的EER为15.12%对19.87%),但对于风格不匹配的条件,母语听众和机器之间没有显著差异。在所有条件下,将人类反应与机器结果相融合显示出与单独相比的改进,这表明人类和机器对说话者识别任务有不同的方法。通过对单个扬声器的检查结果进一步证实了方法的差异,这些结果表明人类听众和机器之间对不同和混淆的扬声器的感知不同。
2020-08-08 cs.LG eess.AS eess.SP
Controllable Generation of Artificial Speaker Embeddings through Discovery of Principal Directions
University of Stuttgart(斯图加特大学)
本文提出一种无需标签即可生成不可关联到真实人类、且可直观细粒度控制声音与风格的人工说话人嵌入方法,用于语音合成并保护隐私。
2023-10-26 cs.LG cs.SD eess.AS
Learning Individual Speaking Styles for Accurate Lip to Speech Synthesis
IIIT, Hyderabad(海得拉巴国际信息技术学院);IIT, Kanpur(坎普尔印度理工学院)
当言语不存在或被外部噪音破坏时,人类不自觉地倾向于从嘴唇运动中推断出对话的部分。在这项工作中,我们探讨了唇到语音合成的任务,即,学习仅在给定说话者的嘴唇运动的情况下生成自然语音。认识到语境和说话者特定线索对准确唇读的重要性,我们采取了与现有作品不同的路径。我们专注于学习准确的唇序列语音映射个人发言者在无约束,大词汇量设置。为此,我们收集并发布了一个大规模的基准数据集,这是第一个此类数据集,专门用于在自然环境中训练和评估单扬声器唇到语音任务。我们提出了一种新的方法与关键的设计选择,以实现准确的,自然的嘴唇语音合成在这种不受约束的情况下,第一次。使用定量,定性指标和人类评估的广泛评估表明,我们的方法比以前在这个领域的作品更容易理解四倍。请查看我们的演示视频,快速概述论文,方法和定性结果。https://www.youtube.com/watch? v=HziA-jmlk_4&feature=youtu.be
2020-05-17 cs.CV cs.LG cs.SD
Single channel voice separation for unknown number of speakers under reverberant and noisy settings
Facebook AI Research(Facebook人工智能研究院)
我们提出了一个统一的网络语音分离的一个未知数量的扬声器。所提出的方法是由几个分离头一起优化的说话人分类分支。分离在时域中进行,同时在所有分离头之间共享参数。分类分支估计说话者的数量,而每个头部专门用于分离不同数量的说话者。我们评估所提出的模型下干净和嘈杂的混响设置。结果表明,所提出的方法是优于基线模型的显着保证金。此外,我们提出了一个新的嘈杂和混响数据集,多达五个不同的扬声器同时发言。
2020-11-04 cs.LG cs.SD eess.AS
Attention-based conditioning methods using variable frame rate for style-robust speaker verification
University of California Los Angeles(加州大学洛杉矶分校)
我们提出了一种方法来提取说话人嵌入,是强大的说话风格的变化,在文本无关的说话人确认。通常,说话人嵌入提取包括训练用于说话人分类的DNN,并使用瓶颈特征作为说话人表示。这样的网络具有池化层,以通过以相等的权重计算所有话语帧上的统计数据来将帧级特征转换为话语级特征。然而,自注意嵌入执行加权池化,使得权重对应于说话人分类任务中的帧的重要性。熵可以捕获由于说话风格变化而引起的声学变化。因此,提出了一种基于熵的可变帧速率向量作为自注意层的外部调节向量,为网络提供可以解决风格效应的信息。本书探讨了五种不同的调节方法。最好的条件反射方法,级联与门控,在12/23的任务中提供了统计学上的显着改善,在11/23的任务中,当使用加州大学洛杉矶分校的扬声器可变性数据库时,与基线相同。在9/23的任务中,它的表现也显著优于没有条件反射的自我注意,在1/23的任务中表现更差。该方法在SITW的多说话人场景中也表现出显着的改善。
2022-06-28 cs.LG eess.AS
Is Machine Learning Speaking my Language? A Critical Look at the NLP-Pipeline Across 8 Human Languages
Clarkson University(克拉克森大学);Iona College(艾奥纳学院)
自然语言处理(NLP)越来越多地被用作关键决策系统的关键成分,例如用于对求职者列表进行排序的简历解析器。NLP系统通常会摄取大量的人类文本,试图从过去的人类行为和决策中学习,以产生能够为我们的未来世界提供建议的系统。今天有超过7000种人类语言被使用,典型的NLP管道低估了其中大多数语言的使用者,同时放大了其他语言使用者的声音。在本文中,一个包括8种语言(英语,汉语,乌尔都语,波斯语,阿拉伯语,法语,西班牙语和沃洛夫语)的团队对典型的NLP管道进行了批判性的研究,以及即使在技术上支持一种语言,仍然存在大量的警告,以防止完全参与。尽管在许多工具和资源的多语言支持方面进行了巨大而令人钦佩的投资,但我们仍然在做出NLP指导的决策,这些决策系统地、严重地低估了世界上许多人的声音。
2020-07-11 cs.CL cs.LG
Imaginary Voice: Face-styled Diffusion Model for Text-to-Speech
NAVER AI Lab(NAVER人工智能实验室);Korea Advanced Institute of Science and Technology(韩国科学技术院);NAVER Cloud(NAVER云)
这项工作的目标是zero-shot文本到语音合成,说话风格和声音从面部特征学习。受人们可以想象某人的声音,当他们看着他或她的脸的自然事实的启发,我们引入了一个统一的框架内,从可见的属性,称为Face-TTS面部风格的扩散文本到语音(TTS)模型。这是第一次使用人脸图像作为条件来训练TTS模型。我们联合训练跨模型的生物识别和TTS模型,以保持说话人的身份之间的人脸图像和生成的语音段。我们还提出了一个说话人特征绑定损失,以加强在说话人嵌入空间中的生成和地面真实语音段的相似性。由于生物特征信息是直接从人脸图像中提取的,因此我们的方法不需要额外的微调步骤来生成来自看不见和听不见的扬声器的语音。我们训练和评估的LRS 3数据集,在野生的视听语料库包含背景噪音和不同的说话风格的模型。项目页面是https://facetts.github.io。
2023-02-27 cs.CV cs.LG cs.SD
Whispered and Lombard Neural Speech Synthesis
Apple(苹果公司)
期望文本到语音系统考虑呈现合成语音的环境,并向用户提供适当的上下文相关输出。在本文中,我们提出和比较各种方法产生不同的说话风格,即正常,伦巴第,耳语语音,只使用有限的数据。提出并评估了以下系统:1)预训练和微调每种风格的模型。2)通过基于信号处理的方法进行伦巴底和耳语语音转换。3)基于说话人确认模型的单模型多风格生成。我们的平均意见分数和AB偏好听力测试表明:1)我们可以通过预训练/微调方法为所有说话风格生成高质量的语音。2)虽然我们的说话人验证(SV)模型没有明确训练来区分不同的说话风格,也没有使用伦巴底和耳语语音来预训练这个系统,但SV模型可以用作风格编码器,用于生成不同的风格嵌入作为Tacotron系统的输入。我们还表明,由此产生的合成伦巴第语语音清晰度增益有显着的积极影响。
2021-01-13 cs.CL cs.LG cs.SD
Cross-speaker style transfer for text-to-speech using data augmentation
Amazon Alexa, TTS Research(亚马逊 Alexa TTS 研究部)
我们解决的问题,跨扬声器的风格转移的文本转语音(TTS)使用数据增强通过语音转换。我们假设有一个语料库的中立的非表达性数据从一个目标扬声器和支持会话表达数据从不同的扬声器。我们的目标是建立一个TTS系统,是表达,同时保留目标扬声器的身份。所提出的方法依赖于语音转换,首先从一组支持表达的扬声器生成高质量的数据。然后将语音转换后的数据与来自目标说话人的自然数据合并,并用于训练单说话人多风格TTS系统。我们提供的证据表明,这种方法是有效的,灵活的,可扩展的。使用一个或多个支持扬声器以及可变量的支持数据来评估该方法。我们进一步提供的证据表明,这种方法允许一些可控性的发言风格,当使用多个支持扬声器。最后,我们将我们提出的技术扩展到7种语言的14个扬声器。结果表明,我们的技术不断提高合成样本的风格相似性,同时保留目标扬声器的身份。
2022-02-10 cs.CL cs.LG cs.SD
Speaking Style Conversion in the Waveform Domain Using Discrete Self-Supervised Units
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
提出DISSC轻量级无文本语音转换方法,利用预训练自监督离散单元编码并仅用重建任务训练,实现节奏、音高和音色转换,无需配对数据且显著优于基线。
2023-10-18 cs.CL cs.LG cs.SD
LASER: Lip Landmark Assisted Speaker Detection for Robustness
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
LASER通过结合唇部特征提升说话人检测的鲁棒性,在高噪声环境下显著优于现有方法。
2025-11-25 cs.CV cs.LG
Unsupervised Rhythm and Voice Conversion of Dysarthric to Healthy Speech for ASR
Idiap Research Institute(伊迪亚普研究所);EPFL, École polytechnique fédérale de Lausanne(洛桑联邦理工学院)
针对ASR系统处理构音障碍语音效果差且现有语速调整方法依赖转录数据的问题,提出结合自监督表示的无监督节奏与音色转换方法,可显著提升重度构音障碍说话者的ASR性能。
2025-01-17 cs.AI cs.LG cs.SD
Monaural Audio Speaker Separation with Source Contrastive Estimation
Lab41, In-Q-Tel Laboratories(Lab41,In-Q-Tel实验室)
我们提出了一个算法,同时发言的人从彼此分离,“鸡尾酒会问题”,使用一个麦克风。我们的方法涉及深度递归神经网络回归到描述独立说话者的向量空间。这样的向量空间可以嵌入凭经验确定的扬声器特性,并且通过区分扬声器掩码来优化。我们称这种技术为源对比估计。该方法受到负采样的启发,负采样在自然语言处理中取得了成功,其中通过将给定的输入向量与输出权重进行相关和解相关来学习嵌入。虽然由输出权重确定的矩阵取决于一组已知的扬声器,但我们在推理期间仅使用输入向量。这样做将确保声源分离是显式地与说话者无关的。我们的方法类似于最近的深度神经网络聚类和置换不变训练研究;我们使用加权频谱特征和掩码来增强单个扬声器频率,同时过滤掉其他扬声器。然而,我们避免了其他方法与我们的技术严重的计算负担。此外,通过训练向量空间而不是不同说话者的组合或其差异,我们避免了训练期间的所谓排列问题。我们的算法提供了一个直观的,计算效率高的响应鸡尾酒会的问题,最重要的是拥有更好的经验性能比其他目前的技术。
2017-05-12 cs.AI cs.LG cs.SD
FairyTED: A Fair Rating Predictor for TED Talk Data
University of Rochester(罗切斯特大学);Comcast Applied AI Research(康卡斯特应用人工智能研究院)
随着机器学习应用于人类生活的各个方面,将公平性纳入预测算法的核心非常重要。我们解决的问题,预测的质量的公开演讲,而公平的发言者的敏感属性,如性别和种族。我们使用TED演讲作为公众演讲的输入库,因为它由来自不同社区的演讲者组成,并且具有广泛的覆盖面。利用因果模型、反事实公平性和最新的神经语言模型理论,我们提出了一个公平预测演讲质量的数学框架。我们采用接地的假设来构建一个因果模型,捕捉不同的属性如何影响演讲质量。该因果模型有助于生成反事实数据以训练公平的预测模型。我们的框架足够通用,可以利用因果模型中的任何假设。实验结果表明,虽然预测准确性与最近在该数据集上的工作相当,但与真实数据标签相比,我们的预测在一个新的度量方面是反事实的公平。FairyTED设置不仅允许组织者从未观察到的反事实可能性中选择明智和多样化的演讲者,而且还确保观众和新用户在决定观看演讲时不会受到www.ted.com网站任意访问者的不公平和不平衡评级的影响。
2019-11-25 cs.CL cs.LG stat.ML