Speaker-Independent Acoustic-to-Articulatory Inversion through Multi-Channel Attention Discriminator
Yonsei University(延世大学)
提出一种基于预训练SSL表征和对抗训练的与说话人无关的声学至发音反演模型,通过引入多时长音素判别器捕捉多通道信号关系,达到0.847的皮尔逊相关系数,实现了最先进性能。
2024-06-25 cs.SD eess.AS eess.SP
ArtBoost: Synthetic Articulatory Data Augmentation for Acoustic-to-Articulatory Inversion
Anonymous 1(匿名机构1)
提出ArtBoost数据增强策略,利用大规模语音-网格数据集提取伪发音轨迹进行预训练,在有限EMA数据下提升声学到发音逆映射性能,PCC和RMSE一致改善。
2026-06-16 cs.AI cs.SD eess.AS
Speaker- and Text-Independent Estimation of Articulatory Movements and Phoneme Alignments from Speech
Ludwig-Maximilians University(慕尼黑路德维希-马克西米利安大学);Universidad de Antioquia(安蒂奥基亚大学)
本文提出联合任务APTAI,通过多任务学习从原始语音同时估计发音运动、音素序列与对齐,并比较帧分类和两阶段强制对齐两种方法,在AAI上达到0.73平均相关性,帧重叠率最高约87%。
2024-07-03 cs.AI cs.CL cs.LG
Style Modeling for Multi-Speaker Articulation-to-Speech
Yonsei University(延世大学)
本文提出一种多说话人发音到语音合成框架,通过估计风格嵌入并融合卷积与Transformer注意力,显著提升合成语音质量。
2023-12-21 cs.SD eess.AS
Articulatory and bottleneck features for speaker-independent ASR of dysarthric speech
National University of Singapore(新加坡国立大学);Radboud University(拉德堡德大学);University of Maryland, College Park(马里兰大学帕克分校);Pindrop;SRI International(SRI国际)
人口快速老龄化刺激了辅助设备的发展,为患有各种病因的需要者提供个性化的医疗支持。一个突出的临床应用是计算机辅助的语音训练系统,其使得能够对在患者的家庭环境中因交流障碍而受损的患者进行个性化的语音治疗。这样的系统依赖于鲁棒的自动语音识别(ASR)技术以能够提供准确的发音反馈。与长期的目标,开发现成的ASR系统,可以纳入临床背景下,没有事先的扬声器信息,我们比较了ASR性能的扬声器独立的瓶颈和发音功能的构音障碍的语音与专用的神经网络为基础的声学模型,已被证明是强大的对spectrotemporal偏差。我们报告的ASR性能,这些系统上的两个构音障碍的语音数据集的不同特征,以量化所取得的性能增益。尽管构音障碍和正常语音之间的剩余性能差距,显着的改善已被报告在这两个数据集上使用说话者独立的ASR架构。
2019-05-21 cs.CL cs.SD eess.AS
The Secret Source : Incorporating Source Features to Improve Acoustic-to-Articulatory Speech Inversion
Institute for Systems Research, University of Maryland College Park(马里兰大学帕克分校系统研究所)
在这项工作中,我们将声学派生的源功能,非周期性,周期性和音高作为额外的目标,声学发音语音反转(SI)系统。我们还提出了一个基于时间卷积的SI系统,它使用听觉频谱图作为输入语音表示,学习源和声道之间的长程依赖关系和复杂的相互作用,以改善SI任务。这些实验使用威斯康星州X射线微束(XRMB)和哈斯金斯生产率比较(HPRC)数据集进行,并与三种基线SI模型架构进行比较。建议SI系统与HPRC数据集获得接近28%的改善时,源功能被用作额外的目标。在XRMB数据集上,相同的SI系统比当前表现最好的SI模型表现好约9%。
2022-10-29 cs.SD eess.AS
Acoustic-to-articulatory Inversion based on Speech Decomposition and Auxiliary Feature
Tianjin University(天津大学);Shenzhen Research Institute of Big Data, the Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)深圳大数据研究院)
声学-发音转换(AAI)是从语音信号中获取发音器官的运动信息。到目前为止,由于数据有限,实现与说话人无关的AAI仍然是一个挑战。此外,目前大多数的作品只使用音频语音作为输入,造成了不可避免的性能瓶颈。为了解决这些问题,首先,我们预训练一个语音分解网络,将音频语音分解为说话人嵌入和内容嵌入作为新的个性化语音特征,以适应说话人无关的情况。其次,为了进一步改进AAI,我们提出了一种新的辅助特征网络,从上述个性化语音特征中估计嘴唇辅助特征。在三个公开数据集上的实验结果表明,与只利用音频语音特征的现有方法相比,在特定说话人情况下,该方法的平均RMSE降低了0.25,平均相关系数提高了2.0%。更重要的是,在说话人无关的情况下,平均RMSE降低了0.29,平均相关系数增加了5.0%。
2022-04-02 cs.CV cs.SD eess.AS
Articulation-Informed ASR: Integrating Articulatory Features into ASR via Auxiliary Speech Inversion and Cross-Attention Fusion
University of Maryland(马里兰大学);Department of Electrical and Computer Engineering(电气与计算机工程系);College of Education(教育学院)
本研究提出将发音特征作为辅助任务和伪输入集成到基于Transformer的ASR框架中,通过语音反演和交叉注意力融合,在LibriSpeech上显著提升低资源条件下的识别性能。
2025-10-01 cs.AI cs.CL cs.SD
Coding Speech through Vocal Tract Kinematics
University of California, Berkeley(加利福尼亚大学伯克利分校)
提出语音发音编码(SPARC)框架,通过发音分析与合成模型实现通用、高性能的语音推断与合成,支持未见说话人泛化及保留口音的零样本语音转换。
2024-12-14 cs.AI cs.CL cs.SD
Improved acoustic-to-articulatory inversion using representations from pretrained self-supervised learning models
Indian Institute of Technology Madras(马德拉斯印度理工学院)
在这项工作中,我们研究了预训练的自我监督学习(SSL)功能的有效性,用于学习声学到发音反转(AAI)的映射。基于信号处理的声学特征(例如MFCC)已主要用于具有深度神经网络的AAI任务。由于SSL特性对于诸如语音识别、情感分类等各种其他语音任务工作良好,我们试验了它对AAI的疗效。我们使用3种不同模型复杂度的基于Transformer神经网络的AAI模型对SSL特征进行训练,并使用来自10个受试者的数据在特定于受试者(SS),合并和微调(FT)配置中与MFCC进行性能比较,并使用相关系数(CC)评分对看不见的句子测试集进行评估。我们发现,声学特征重建的目标为基础的SSL功能,如TERA和DeCoAR工作良好的AAI,这些SSL功能的SS CC达到接近最好的FT CC的MFCC。我们还发现不同模型尺寸的结果一致。
2022-10-30 cs.SD eess.AS
DNN-based Acoustic-to-Articulatory Inversion using Ultrasound Tongue Imaging
Universidad Industrial de Santander(桑坦德工业大学);Budapest University of Technology and Economics(布达佩斯技术与经济大学);MTA-ELTE Lendület Lingual Articulation Research Group(MTA-ELTE Lendület舌部发音研究组)
语音是说话器官协调运动的结果。存在几种可用的方法来对发音运动和所得到的语音信号的关系进行建模。相反的问题通常被称为声学发音倒置(AAI)。在本文中,我们已经实现了几种不同的深度神经网络(DNN)来估计来自声学信号的发音信息。有几个以前的工作有关执行这项任务,但他们中的大多数是使用电磁关节造影(EMA)跟踪发音运动。与EMA相比,如果考虑到设备成本、便携性、安全性和可视化结构,超声舌成像(UTI)是一种成本效益更高的技术。看到这一点,我们的目标是训练DNN,以获得UT图像时,使用语音作为输入。我们还测试了两种方法来表示发音信息:1)EigenTongue空间和2)原始超声图像。作为一个客观的质量衡量重建的UT图像,我们使用MSE,结构相似性指数(SSIM)和复小波SSIM(CW-SSIM)。我们的实验结果表明,CW-SSIM是UTI上下文中最有用的错误度量。我们测试了三种不同的系统配置:a)由2个隐藏层组成的简单DNN,其中64 x64像素的UTI文件作为目标; b)相同的简单DNN,但将超声图像投影到EigenTongue空间作为目标; c)以及由5个隐藏层组成的更复杂的DNN,其中UTI文件投影到EigenTongue空间。在主观实验中,受试者发现具有两个隐藏层的神经网络更适合于这种反演任务。
2019-04-12 cs.SD eess.AS q-bio.TO
Articulatory strategy as a source of variation in acoustic vowel dynamics
Linguistics and English Language, University of Manchester, United Kingdom(曼彻斯特大学语言学与英语语言系,英国);Linguistics and English Language, Lancaster University, United Kingdom(兰卡斯特大学语言学与英语语言系,英国)
本研究通过超声舌成像数据,发现不同发音策略(如舌根/舌背位移)显著影响元音/i/及相关双元音的共振峰动态,揭示了发音运动与声学特征之间的系统性关联。
2026-05-22 cs.CL cs.SD
Speech Synthesis from Text and Ultrasound Tongue Image-based Articulatory Input
Budapest University of Technology and Economics(布达佩斯技术与经济大学);MTA-ELTE Lendület Lingual Articulation Research Group(MTA-ELTE Lendület 舌部发音研究组);University of Szeged(塞格德大学);MTA-SZTE Research Group on Artificial Intelligence(MTA-SZTE 人工智能研究组);Eötvös Loránd University(厄特沃什·罗兰大学)
发音信息已被证明在提高基于HMM和基于DNN的文本到语音合成的性能方面是有效的。语音合成的研究传统上集中在文本到语音的转换,当输入是文本或估计的语言表示,和目标是合成语音。然而,在过去十年中已经兴起的研究领域是发音到语音合成(具有无声语音接口SSI的目标应用),当目标是从发音器官的运动的某种表示合成语音时。在本文中,我们扩展了传统的(基于声码器的)DNN-TTS与发音输入,估计从超声舌图像。我们比较了纯文本、纯超声和组合输入。使用来自八个扬声器的数据,我们表明,组合的文本和发音输入可以在有限的数据场景中具有优势,即,它可以增加合成语音的自然度相比,单一的文本输入。此外,我们分析了几个扬声器的超声舌记录,并表明在超声换能器定位的错位可能会对最终的合成性能产生负面影响。
2021-07-05 cs.SD eess.AS
Acoustic-to-articulatory inversion for dysarthric speech: Are pre-trained self-supervised representations favorable?
University of Southern California(南加州大学)
本研究针对构音障碍语音的声学到发音反演任务,在低资源条件下使用预训练自监督学习模型表征结合x-vectors训练BLSTM网络,发现DeCoAR等SSL特征在微调方案下显著优于MFCCs,能有效预测构音障碍发音轨迹。
2024-02-09 cs.LG cs.SD eess.AS
Acoustic to Articulatory Inversion of Speech; Data Driven Approaches, Challenges, Applications, and Future Scope
University of Kerala(克里莎尔大学);Digital University Kerala(凯拉尔数字大学)
本综述聚焦2011-2021年语音声学-发音运动逆转换(AAI)的机器学习方法,分析其类型、目标、语料库及评估指标,指出AAI模型可提供发音反馈系统以辅助病理患者的语音治疗。
2025-04-17 cs.CL cs.SD eess.AS
Acoustic To Articulatory Speech Inversion Using Multi-Resolution Spectro-Temporal Representations Of Speech Signals
Institute for Systems Research, University of Maryland College Park(马里兰大学帕克分校系统研究所);Pindrop Inc.(平卓普公司)
语音信号的多分辨率频谱-时间特征表示大脑如何通过将皮层细胞调谐到不同的频谱和时间调制来感知声音。这些特征产生语音信号的更高维表示。本文的目的是评估如何以及语音信号的听觉皮层表示有助于估计这些相应的信号的发音特征。由于获得发音功能的语音信号的声学特征一直是一个具有挑战性的话题感兴趣的不同的语音社区,我们调查使用这种多分辨率表示的语音信号作为声学特征的可能性。我们利用了你。的威斯康星州X射线微束(XRMB)数据库的干净的语音信号,训练前馈深度神经网络(DNN),以估计发音轨迹的六道变量。使用适当的尺度和速率矢量参数选择用于训练模型的多分辨率谱时特征的最佳集合,以获得最佳性能的模型。实验实现了0.675与地面实况道变量的相关性。我们比较了这个语音反转系统的性能与以前的实验进行梅尔频率倒谱系数(MFCC)。
2022-06-25 cs.AI cs.LG cs.SD
Learning to Compute the Articulatory Representations of Speech with the MIRRORNET
Institute for Systems Research, University of Maryland College Park(马里兰大学帕克分校系统研究所)
本文提出受感觉运动学习启发的MirrorNet自编码器,仅用约30分钟发音数据初始化后以无监督方式训练,即可控制发音合成器并学习到与完全监督系统精度相当的发音表征。
2023-05-25 cs.SD eess.AS
Repeat after me: Self-supervised learning of acoustic-to-articulatory mapping by vocal imitation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(格勒诺布尔图像语音信号自动化实验室);Univ. Savoie Mont Blanc(萨瓦勃朗峰大学);LPNC(认知神经科学实验室)
我们提出了一个计算模型的语音生产相结合的预先训练的神经发音合成器能够再现复杂的语音刺激从一组有限的可解释的发音参数,基于DNN的内部正向模型预测发音命令的感官后果,和内部逆模型的基础上恢复发音命令从声学语音输入的递归神经网络。前向和反向模型都是以自监督的方式从来自不同说话者的原始仅声学语音数据中联合训练的。仿真结果得到了客观和主观的评价,显示出令人鼓舞的效果。
2022-04-05 cs.CL cs.SD eess.AS
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon(亚马逊公司);Rasa Technologies(Rasa科技公司)
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据,并评估两种说话模式的匹配测试集:无声和模态语音。我们观察到,与模态语音识别相比,来自成像数据的无声语音识别表现不佳,这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术,如fMLLR和无监督模型自适应,来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间,我们计算从超声舌图像中提取的舌样条的凸包。总的来说,我们观察到,沉默语的持续时间比情态语的持续时间长,并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义,但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
Deep Speech Synthesis from Multimodal Articulatory Representations
University of California, Berkeley(加州大学伯克利分校);University of Bremen(不来梅大学);Carnegie Mellon University(卡内基梅隆大学)
针对发音数据稀缺问题,提出一种多模态预训练框架,通过迁移学习有效提升了基于MRI和肌电图的低资源发音到声学语音合成性能,在可懂度与多项质量指标上显著优于基线。
2024-12-17 cs.SD eess.AS
Adaptation of Tacotron2-based Text-To-Speech for Articulatory-to-Acoustic Mapping using Ultrasound Tongue Imaging
Budapest University of Technology and Economics(布达佩斯科技经济大学);University of Szeged(塞格德大学);MTA-SZTE Research Group on Artificial Intelligence(匈牙利科学院-塞格德大学人工智能研究组);Eötvös Loránd University(厄特沃什·罗兰大学);MTA-ELTE Lendület Lingual Articulation Research Group(匈牙利科学院-厄特沃什·罗兰大学林杜莱特舌部发音研究组)
对于发音到声学映射,通常只有有限的并行训练数据可用,因此无法应用像Tacotron 2这样的完全端到端解决方案。在本文中,我们实验了Tacotron 2文本转语音模型的迁移学习和自适应,以提高有限数据库的基于超声的发音到声学映射的最终合成质量。我们使用多扬声器预训练的Tacotron2 TTS模型和预训练的WaveGlow神经声码器。发音到声学的转换包含三个步骤:1)从一系列超声舌图像记录中,3D卷积神经网络预测预训练的Tacotron 2模型的输入,2)Tacotron 2模型将此中间表示转换为80维梅尔频谱图,以及3)应用WaveGlow模型进行最终推断。该生成的语音包含来自超声记录的原始发音数据的定时,但F0轮廓和频谱信息由Tacotron 2模型预测。F0值与原始超声图像无关,但代表目标说话者,因为它们是从预训练的Tacotron 2模型推断出来的。在我们的实验中,我们证明了所提出的解决方案的合成语音质量比我们早期的模型更自然。
2021-07-26 cs.AI cs.SD eess.AS
On the Relationship between Accent Strength and Articulatory Features
Signal Analysis and Interpretation Laboratory(信号分析与解读实验室);Department of Linguistics(语言学系)
本文通过自监督发音逆推技术估计发音特征,以音素级差异量化口音强度,发现舌头定位模式可区分美式和英式英语,尤其在儿化音和低后元音上差异显著。
2025-07-03 cs.AI cs.CL cs.SD
Masked Autoencoders Are Articulatory Learners
University Of Maryland, College Park(马里兰大学帕克分校);Institute For Systems Research(系统研究所)
本文提出基于Masked Autoencoders的深度学习方法,成功重建XRMB数据集中被错误追踪的发音记录,恢复了3.28小时此前无法使用的录音。
2023-05-18 cs.LG cs.SD eess.AS
Tracking Articulatory Dynamics in Speech with a Fixed-Weight BiLSTM-CNN Architecture
University of Kerala(克里莎尔大学);Digital University Kerala(卡里什拉数字大学)
本文提出一种固定权重的BiLSTM-CNN架构,用于从语音声学预测舌头和嘴唇的发音特征,在多种模式下优于自适应权重初始化,推动了发音特征预测模型的稳健发展。
2025-04-25 cs.CL cs.SD eess.AS
How Bilingual Are SSL Speech Models? Cross-Lingual Probing of Articulatory Encoding with Finnish and Russian EMA
University Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, France(法国格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔国立理工学院,GIPSA实验室);University of Eastern Finland, Computational Speech Group, Finland(芬兰东芬兰大学,计算语音组)
通过芬兰语-英语双语者的EMA数据,发现SSL模型能有效跨语言编码发音特征,中间层表现最佳,多语言模型优于单语言模型,且舌部运动比唇部运动更可预测。
2026-07-01 cs.SD eess.AS
Extending Text-to-Speech Synthesis with Articulatory Movement Prediction using Ultrasound Tongue Imaging
Budapest University of Technology and Economics(布达佩斯技术与经济大学);MTA-ELTE Lendület Lingual Articulation Research Group(MTA-ELTE Lendület 舌部发音研究组)
在本文中,我们提出了我们的第一个实验,在文本到清晰度预测,使用超声舌图像的目标。我们扩展了传统的(基于声码器的)DNN-TTS框架,预测PCA压缩的超声图像,其中连续的舌头运动可以与合成语音同步重建。我们使用八个扬声器的数据,训练全连接和递归神经网络,并表明FC-DNN更适合于预测的序列数据比LSTM,在有限的训练数据的情况下。客观实验和可视化预测结果表明,该方法是可行的,生成的超声视频接近自然舌运动。从文本输入的发音运动预测对于视听语音合成或计算机辅助发音训练可以是有用的。
2021-07-12 cs.SD eess.AS
Estimating articulatory movements in speech production with transformer networks
Indian Institute of Science(印度科学学院);Amazon(亚马逊)
我们估计发音运动的语音生产从不同的方式-声学和音素。声学发音倒置(AAI)是一个序列到序列的任务。另一方面,音素发音(PTA)运动估计面临着一个关键的挑战,在可靠地对齐文本和发音运动。为了解决这一挑战,我们探索使用一个Transformer架构- FastSpeech,明确的持续时间建模学习硬对齐之间的音素和发音运动。我们还在AAI上训练了一个Transformer模型。我们使用相关系数(CC)和根均方误差(rMSE)评估的估计性能相比,现有的方法在这两个任务。我们观察到154%,11.8%和4.8%的相对改善,在CC与受试者相关的,汇总和微调策略,分别为PTA估计。此外,在AAI任务中,与最先进的基线相比,我们在相同的设置下获得了1.5%,3%和3.1%的CC相对增益。我们进一步提出了计算的好处,有Transformer架构的代表性块。
2021-06-12 cs.SD eess.AS
Neural Speaker Embeddings for Ultrasound-based Silent Speech Interfaces
University of Szeged(塞格德大学);MTA-SZTE Research Group on Artificial Intelligence(匈牙利科学院-塞格德大学人工智能研究组);Budapest University of Technology and Economics(布达佩斯技术与经济大学)
发音到声学映射试图从发音运动的记录(例如,超声视频)重建语音。就像语音信号一样,这些录音不仅代表语言内容,而且对实际说话者来说也是高度特定的。因此,由于缺乏多说话人数据集,研究人员迄今为止集中在说话人相关建模。在这里,我们提出了多扬声器实验使用最近出版的TaL80语料库。为了对说话者特征进行建模,我们调整了语音处理中流行的x向量框架,以使用超声舌视频进行操作。接下来,我们使用语料库中的50个说话人进行了说话人识别实验。然后,我们创建了扬声器嵌入向量,并在剩余的扬声器上对其进行评估。最后,我们研究了嵌入向量如何影响多扬声器场景中超声到语音转换网络的准确性。在实验中,我们达到了低于3%的说话人识别出错率,我们还发现,嵌入向量很好地推广到看不见的说话人。我们第一次尝试将它们应用于多扬声器无声语音框架中,使得频谱估计步骤的出错率略有降低。
2021-06-11 cs.SD
ART-NAD: An Articulatory Inversion-based Neural Acoustic Distance for Pathological Speech Intelligibility Assessment
Nagoya University(名古屋大学);University of Cologne(科隆大学);University of Groningen(格罗宁根大学)
针对病理语音可懂度评估,提出ART-NAD,用可解释的声道变量替换NAD的黑盒特征,在保持同等相关性(r=0.71)的同时提供发音偏差的可视化解释。
2026-09-22 cs.SD
MRI2Speech: Speech Synthesis from Articulatory Movements Recorded by Real-time MRI
IIIT Hyderabad(印度国际信息技术学院海得拉巴分校);TCS Research(塔塔咨询服务公司研究院)
针对实时MRI语音合成受噪声干扰、可懂度差的问题,提出适配AV-HuBERT的文本预测加流时长预测的新方法,在USC-TIMIT上WER达15.18%,实现显著提升且具备跨说话人泛化性。
2025-01-17 cs.AI cs.SD eess.AS
Quality assessment of voice converted speech using articulatory features
我们提出了一种新的应用程序的基础上对语音转换语音质量评估的声学发音反转。人类毫不费力地说话的能力需要各种发音器官、肌肉等的协调运动。这种毫不费力的运动有助于自然度、可懂度和说话者身份,这部分存在于语音转换语音中。因此,在语音转换期间,与语音产生相关的信息丢失。在本文中,这种损失是量化的男性语音,通过显示增加的RMSE误差的语音转换后的语音显示减少互信息。在女性声音的情况下也得到了类似的结果。这一观察是延长显示发音功能可以作为一个客观的措施。通过比较它们与平均意见得分的相关性,说明了所提出的措施对MCD的有效性。
2015-11-23 cs.SD
A long-form single-speaker real-time MRI speech dataset and benchmark
Signal Analysis and Interpretation Lab, University of Southern California(南加州大学信号分析与解释实验室);Department of Linguistics, University of Southern California(南加州大学语言学系)
本文发布USC LSS数据集,包含约一小时单说话人实时MRI声道视频与同步音频,并提供多种派生表示及发音合成和音素识别基线基准。
2025-09-17 cs.SD
Evaluating Speech Articulation Synthesis with Articulatory Phoneme Recognition
Université de Lorraine, CNRS, Inria, LORIA(洛林大学、国家科学研究中心、法国国家信息与自动化研究所、LORIA)
本文通过发声学音素识别作为代理来评估语音发声合成的质量,提出利用发声学特征进行音素识别以更准确捕捉发音细节,从而改进生成模型的评估方法。
2026-05-20 cs.CL cs.SD
Incorporating L2 Phonemes Using Articulatory Features for Robust Speech Recognition
NAVER Cloud(NAVER云)
本文提出通过发音特征引入韩语 L2 音素,并以端到端 LF-MMI 训练声学模型建模发音变体,从而仅用 L1 数据提升非母语 ASR,L2 微调还能同时改善两类语音识别。
2023-06-05 cs.CL cs.LG cs.SD
Mouth Articulation-Based Anchoring for Improved Cross-Corpus Speech Emotion Recognition
National Tsing Hua University(国立清华大学);University of Texas at Dallas(德克萨斯大学达拉斯分校);Carnegie Mellon University(卡内基梅隆大学)
针对跨语料库语音情感识别中声学特征不稳定、易受干扰的问题,本文提出以情感特定的嘴部发音动作作为锚定约束,并在CREMA-D和MSP-IMPROV基准上验证其能有效提升跨领域情感迁移识别性能。
2024-12-27 cs.LG cs.SD eess.AS
Speech Emotion Recognition with Phonation Excitation Information and Articulatory Kinematics
School of Optoelectronic Science and Engineering(光电科学与工程学院);Soochow University(苏州大学);Soochow University, Suzhou, China(苏州大学,苏州,中国)
针对语音情感识别(SER)中生理信息研究不足的问题,本研究引入含音频及电声门图(EGG)、电磁发音图(EMA)等生理数据的STEM-E2VA数据集,探究发声激励信息与发音运动学的应用潜力,还验证了基于语音反转估计生理数据的SER可行性,证实了相关生理信息的有效性及实用潜力。
2025-11-11 cs.LG cs.SD
Embodied Self-supervised Learning by Coordinated Sampling and Training
Peking University(北京大学)
自我监督学习可以显著提高下游任务的性能,然而,学习表征的维度通常缺乏明确的物理意义。在这项工作中,我们提出了一种新的自我监督的方法来解决逆问题,采用相应的物理正向过程,使学习的表示可以有明确的物理意义。所提出的方法以综合分析的方式工作,通过迭代采样和训练来学习推理网络。在采样阶段,给定观测数据,使用推理网络来近似难以处理的后验,从中我们采样输入参数并将其馈送到物理过程以生成观测空间中的数据;在训练阶段,使用采样的成对数据优化同一网络。我们证明了所提出的方法的可行性,通过解决声学发音反演问题,从语音中推断发音信息。给定一个发音合成器,可以通过随机初始化完全从头开始训练推理模型。实验表明,该方法能够稳定收敛,网络能够学习控制发音合成器像人一样说话。我们还证明,经过训练的模型可以很好地推广到看不见的说话者甚至新语言,并且可以通过自适应进一步提高性能。
2022-01-16 cs.LG cs.SD eess.AS
Speaker recognition improvement using blind inversion of distortions
Escola Universitària Politècnica de Mataró, UPC(马塔罗理工大学学院,加泰罗尼亚理工大学);Universitat de VIC(维克大学)
在本文中,我们提出了非线性失真的反演,以提高说话人识别系统的识别率。我们研究了饱和度对测试信号的影响,试图考虑到真实的情况下,训练材料已被记录在一个受控的情况下,但测试信号存在一些与输入信号电平(饱和度)不匹配。实验结果表明,采用非线性失真补偿和非线性失真补偿相结合的数据融合方法,对饱和语音的识别率从80%提高到88.57%,而对纯净语音(无饱和)的识别率为87.76%。
2022-02-23 cs.LG cs.SD eess.AS
TaL: a synchronised multi-speaker corpus of ultrasound tongue imaging, audio, and lip videos
University of Edinburgh(爱丁堡大学);University of Science and Technology of China(中国科学技术大学);Queen Margaret University(玛格丽特女王大学);Articulate Instruments Ltd.(Articulate仪器有限公司)
我们提出了舌头和嘴唇语料库(TaL),音频,超声舌头成像和嘴唇视频的多扬声器语料库。TaL由两部分组成:TaL 1是一个专业的语音人才,英语为母语的男性的一套六个录音会话; TaL 80是一个没有语音人才经验的81个英语为母语的录音会话。总体而言,语料库包含24小时的并行超声、视频和音频数据,其中大约13.5小时是语音。本文介绍了语料库,并提出了基准测试结果的任务,语音识别,语音合成(发音声学映射),和自动同步的超声音频。TaL语料库在CC BY-NC 4.0许可下公开可用。
2020-11-19 cs.CL cs.CV cs.SD
Automatic Detection of Speech Sound Disorder in Child Speech Using Posterior-based Speaker Representations
The Chinese University of Hong Kong(香港中文大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出了一种宏观的方法来自动检测语音的声音障碍(SSD)在儿童的讲话。通常,SSD表现为语言中特定音素的持续发音和语音错误。这种障碍可以通过集中分析儿童受试者引出的音素或单词来检测。在本研究中,而不是试图检测个人的电话和单词级的错误,我们建议提取一个主题级的表示,从一个长的话语,是由连接多个测试词。说话人验证方法和由深度神经网络模型生成的后验特征被应用于导出各种类型的整体表示。训练一个线性分类器来区分正常语音和无序语音。实验结果表明,该方法在检测粤语儿童SSD的任务中,比以往需要融合音素级检测结果的方法具有更好的检测性能。使用发音后特征从多词话语中导出i向量,实现了78.2%的未加权平均召回率和78.0%的宏观F1分数。
2022-06-29 cs.SD eess.AS
Introducing Model Inversion Attacks on Automatic Speaker Recognition
Fraunhofer AISEC(弗劳恩霍夫人工智能安全研究所);Technical University Munich(慕尼黑工业大学)
模型反演(MI)攻击允许重构机器学习(ML)模型的训练数据的平均每类表示。已经表明,在每个类别对应于不同个体的场景中,例如面部分类器,这代表了严重的隐私风险。在这项工作中,我们探索了MI的一个新的应用:从说话人识别系统中提取说话人的声音。我们提出了一种方法,(1)从训练的ML模型中重建音频样本,(2)提取中间语音特征表示,为说话者的生物特征提供有价值的见解。因此,我们提出了一个扩展的MI攻击,我们称之为滑动模型反演。我们的滑动MI扩展标准MI通过迭代反转重叠的音频样本块,从而利用音频数据的顺序属性增强反转性能。我们表明,人们可以使用反转的音频数据来生成欺骗的音频样本来模仿扬声器,并代表他们执行高度安全的系统的语音保护命令。据我们所知,我们的工作是第一个将MI攻击扩展到音频数据的工作,我们的结果突出了在该设置中提取生物特征数据所带来的安全风险。
2023-01-09 cs.CR cs.LG cs.SD
Autoencoder-Based Articulatory-to-Acoustic Mapping for Ultrasound Silent Speech Interfaces
MTA-SZTE Research Group on Artificial Intelligence(MTA-SZTE人工智能研究组);University of Szeged(塞格德大学);Eötvös Loránd University(厄特沃什·罗兰大学);Budapest University of Technology and Economics(布达佩斯技术与经济大学)
当使用超声视频作为输入时,基于深度神经网络的无声语音接口通常依赖于整个图像来估计语音合成步骤所需的频谱参数。虽然这种方法非常简单,并且它允许合成可理解的语音,但它也有几个缺点。除了不能捕捉图像的接近区域(即像素)之间的关系之外,图像的这种逐像素表示也是非常不经济的。很容易看出,图像的显著部分对于谱参数估计任务是不相关的,因为由相邻像素存储的信息是冗余的,并且由于大量的输入特征,神经网络相当大。为了解决这些问题,在这项研究中,我们训练的自动编码器神经网络的超声图像的频谱语音参数的估计是由第二DNN,使用自动编码器网络的瓶颈层的激活作为功能。在我们的实验中,所提出的方法被证明比标准方法更有效:测量的归一化均方误差分数较低,而在每种情况下的相关值较高。根据听力测试的结果,合成的话语也听起来更自然的母语。我们提出的方法的另一个优点是,由于瓶颈层的(相对)小的尺寸,我们可以在估计过程中利用几个连续的超声图像,而不会显着增加网络的大小,同时显着提高参数估计的准确性。
2019-04-10 cs.SD eess.AS
Probing Human Articulatory Constraints in End-to-End TTS with Reverse and Mismatched Speech-Text Directions
TCS Research(塔塔咨询顾问公司研究部);Tata Consultancy Services Limited(塔塔咨询顾问公司)
本文研究了人类发音限制对端到端TTS系统的影响,通过反向和不匹配的语音-文本方向实验,发现反向方向的TTS系统在保真度、可懂度和自然度方面表现更优。
2026-02-16 cs.SD
Do Speech Tokens Leak Voiceprints? Speaker Inversion Attacks Against End-to-End Speech Language Models
研究端到端语音语言模型中语音令牌是否泄露声纹,提出用Audio BERT构建令牌嵌入及SpInv两阶段反转方法,在VoxCeleb数据集实验显示,仅三秒前端输出,SpInv在指定空间能达高于0.70的余弦相似度。
2026-07-21 cs.AI cs.CR cs.SD
Sequence-to-Sequence Voice Reconstruction for Silent Speech in a Tonal Language
Zhejiang University(浙江大学);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
基于发音神经肌肉活动的无声语音解码(SSD)是近年来脑机接口(BCI)研究的热点。许多研究致力于从发音神经肌肉活动中解码表面肌电图。然而,在有声调的语言(如普通话)中恢复无声语音仍然很困难。本文提出了一种优化的序列到序列(Seq 2Seq)方法,从表面肌电信号的无声语音合成语音。我们提取持续时间信息来调节sEMG的无声语音使用的音频长度。然后,我们提供了一个具有编码器-解码器结构的深度学习模型和一个最先进的声码器来生成音频波形。基于6个普通话说话人的实验结果表明,该模型能够成功地解码普通话无声语音,人工评估的平均字符出错率(CER)为6.41%.
2022-06-01 cs.HC cs.SD eess.AS
Inferring Pitch from Coarse Spectral Features
University of Pennsylvania(宾夕法尼亚大学);Linguistic Data Consortium(语言数据联盟)
在语音分析中,基频(F0)一直被视为“音高”的物理定义。但是有许多证据表明,无论是在生产还是在感知中,F0充其量都是音高的近似值:音高不是F0,F0也不是音高。音高的变化涉及许多发音和声学协变量;音高感知经常偏离F0分析预测的结果;事实上,来自单个声源的准周期信号通常不完全具有试图定义单个时变F0的特征。在本文中,我们发现强有力的支持存在的协变量的音高方面相对粗糙的频谱,其中泛音系列是不可用的。因此,线性回归可以从这种粗糙频谱的单帧中预测由发音合成器或人类产生的简单发声的音调。在说话者之间,以及在更复杂的发声中,我们的实验表明协变量并不那么简单,尽管显然仍然可以用于更复杂的建模。在此基础上,我们提出,该领域需要一个更好的方式来思考语音音高,就像天体力学要求我们超越牛顿的点质量近似天体。
2022-08-26 cs.SD eess.AS
Forensic deepfake audio detection using segmental speech features
University at Buffalo(布法罗大学);Australian National University(澳大利亚国立大学)
本文提出了一种基于分段语音特征的深度伪造音频检测方法,通过对比传统FVC技术,强调了说话人特定框架在刑事场景中的有效性。
2025-12-10 cs.AI cs.CL cs.SD
Adaptation of Tongue Ultrasound-Based Silent Speech Interfaces Using Spatial Transformer Networks
University of Szeged(塞格德大学);ELRN-SZTE Research Group on Artificial Intelligence(ELRN-塞格德大学人工智能研究组);Budapest University of Technology and Economics(布达佩斯技术与经济大学)
本研究通过为舌部超声静默语音接口添加空间变换网络模块,实现仅调整该模块即可大幅降低均方误差,实现快速跨说话人与跨会话自适应。
2023-10-17 cs.LG cs.SD eess.AS
Spectro-Temporal Deep Features for Disordered Speech Assessment and Recognition
1 The Chinese University of Hong Kong 2 Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences
迄今为止,对无序语音的自动识别仍然是一项极具挑战性的任务。在正常言语中常见的变异性来源,包括口音、年龄或性别,当进一步与言语障碍的根本原因和不同的严重程度相结合时,会在说话者中产生很大的多样性。为此,说话人自适应技术在当前的语音识别系统中起着至关重要的作用。受语音障碍和正常语音之间的频谱-时间水平差异的启发,语音障碍系统地表现为发音不精确、音量和清晰度降低、语速减慢和不流畅增加,提出了一种新的嵌入语音频谱SVD分解深度特征的谱-时子空间基,以便于准确的语音可懂度评估和基于辅助特征的说话人状态自适应。混合DNN和端到端无序语音识别系统。在UASpeech语料库上进行的实验表明,所提出的频谱-时间深度特征自适应系统在有或没有数据增强的情况下,字出错率(WER)的绝对(8.6%相对)降低一直优于基线i-Vector自适应。进一步应用了基于学习隐单元贡献的说话人自适应算法。使用所提出的谱基嵌入特征的最终说话者自适应系统在16个构音障碍说话者的UASpeech测试集上给出了25.6%的总体WER
2022-01-14 cs.AI cs.LG cs.SD
Speaker Adaptation Using Spectro-Temporal Deep Features for Dysarthric and Elderly Speech Recognition
Chinese University of Hong Kong(香港中文大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
尽管近几十年来针对正常语音的自动语音识别(ASR)技术取得了快速进展,但迄今为止,构音障碍和老年语音的准确识别仍然是极具挑战性的任务。在正常言语中常见的异质性来源,包括口音或性别,当进一步与年龄和言语病理严重程度的变异性复合时,在说话者中产生了很大的多样性。为此,说话人自适应技术在为这些用户个性化ASR系统中起着关键作用。受构音障碍、老年人和正常言语之间的频谱-时间水平差异的启发,这些差异系统地表现为发音不精确、音量和清晰度降低、语速减慢和不流利增加,本文提出了一种新的基于SVD语音谱分解的谱时间子空间基深度嵌入特征,以促进最先进的混合DNN/TDNN和端到端的基于辅助特征的说话人自适应。end Conformer语音识别系统。实验在四个任务上进行:英语UASpeech和TORGO构音障碍语音语料库;英语DementiaBank Pitt和粤语JCCOCC MoCA老年人语音数据集。所提出的频谱-时间深度特征自适应系统在字错误率(WER)方面的绝对(8.63%相对)降低率超过基线i-Vector和xVector自适应。一致的性能改善后,保留基于模型的说话人自适应学习隐藏单元贡献(LHUC)进一步应用。最好的扬声器适应系统使用建议的频谱基础嵌入功能产生了最低的公布WER的25.05%的UASpeech测试集的16个构音障碍的扬声器。
2022-03-17 cs.AI cs.LG cs.SD
Profiling the Voice: Speaker-Specific Phoneme Fingerprinting for Speech Deepfake Detection
Key Laboratory of Aerospace Information Security and Trusted Computing, Ministry of Education(航空航天信息安全与可信计算重点实验室,教育部);School of Cyber Science and Engineering, Wuhan University(武汉大学计算机科学与工程学院)
本文提出了一种基于音素的语音分析框架PVP,通过微音学建模捕捉说话者特有的发音模式,实现对语音深度伪造的高效检测,并提供细粒度的音素级可解释性。
2026-05-18 cs.SD
Improving Speech Inversion Through Self-Supervised Embeddings and Enhanced Tract Variables
Institute for Systems Research(系统研究所);University of Maryland(马里兰大学)
本文面向声学至发音器官的语音逆向映射,结合 HuBERT 等自监督语音表示与改进几何变换生成的声道变量,将 PPMC 从 0.7452 提升至 0.8141。
2024-09-07 cs.AI cs.SD eess.AS
MIMO Self-attentive RNN Beamformer for Multi-speaker Speech Separation
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent AI Lab(腾讯AI实验室)
最近,我们提出了基于递归神经网络(RNN)的全深度学习最小方差无失真响应(ADL-MVDR)波束形成器方法,通过用两个递归神经网络代替矩阵求逆和特征值分解,获得了优于传统MVDR的性能。在这项工作中,我们提出了一个自我关注的RNN波束形成器,通过利用自我关注的强大建模能力,进一步改进我们以前的基于RNN的波束形成器。提出了时空自注意模块,以更好地从语音和噪声的空间协方差矩阵学习波束形成权重。时间自注意模块可以帮助RNN学习协方差矩阵的全局统计。空间自关注模块被设计用于关注协方差矩阵中的通道间相关性。此外,多通道输入与多说话人的方向性特征和多说话人语音分离输出(MIMO)模型的发展,以提高推理效率。评估表明,我们提出的MIMO自关注RNN波束形成器提高了自动语音识别(ASR)的准确性和感知估计的语音质量(PESQ)对现有技术。
2021-04-26 cs.AI cs.SD eess.AS
Arti-JEPA: Adapting Video World Model to Real-Time MRI of the Vocal Tract for Speech-Production Analysis
University of Southern California(南加州大学);College of Staten Island, City University of New York(纽约城市大学史泰登岛学院);University of Potsdam(波茨坦大学)
Arti-JEPA通过自监督学习适配视频世界模型至声道实时MRI,在音素预测、口吃分类和术后语音分析中验证了冻结编码器的有效性,揭示了域适配的任务依赖性及跨说话者转移差距。
2026-09-17 cs.CV cs.SD