Coding Speech through Vocal Tract Kinematics
University of California, Berkeley（加利福尼亚大学伯克利分校）
提出语音发音编码（SPARC）框架，通过发音分析与合成模型实现通用、高性能的语音推断与合成，支持未见说话人泛化及保留口音的零样本语音转换。
2024-12-14 cs.AI cs.CL cs.SD
GTR-Voice: Articulatory Phonetics Informed Controllable Expressive Speech Synthesis
University of Rochester（罗切斯特大学）
本研究针对当前表现力语音合成对发音特征关注不足的问题，提出GTR三维发音框架，录制GTR-Voice数据集，验证了框架有效性及TTS模型的精准可控性，并开源相关资源。
2024-06-15 cs.AI cs.CL cs.LG
SPEAK WITH YOUR HANDS Using Continuous Hand Gestures to control Articulatory Speech Synthesizer
University of British Columbia（不列颠哥伦比亚大学）
本文介绍了我们在用手势控制发音语音合成引擎\textit{viz.}，粉红长号方面的进展。我们的接口翻译成连续的语音使用声道面积函数为基础的发音语音合成的手指运动和手腕弯曲。我们使用带有18个传感器的Cyberglove II来捕获手腕和单个手指的运动信息，以控制虚拟舌头。然后利用传感器的坐标和弯曲值来拟合样条舌模型，该样条舌模型平滑噪声值和异常值。考虑到上腭固定和样条模型作为动态移动的下表面（舌头）的声道，我们计算1D面积函数值被馈送到粉红长号，产生连续的语音声音。因此，通过学习操纵手腕和手指，一个人可以学会只通过手发出语音，而不需要使用声道。
2021-02-02 cs.CL cs.SD eess.AS
Articulation GAN: Unsupervised modeling of articulatory learning
University of California, Berkeley（加州大学伯克利分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出Articulation GAN，将发音生成器引入GAN框架，以无监督方式学习生成EMA发音表征，再经预训练物理模型转为语音波形，模拟人类发音过程，并探讨其对认知模型和语音技术的意义。
2023-03-12 cs.AI cs.CL cs.SD
Ultrasound-based Articulatory-to-Acoustic Mapping with WaveGlow Speech Synthesis
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（匈牙利科学院-厄特沃什·罗兰大学伦杜莱特语言发音研究组）；University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；Eötvös Loránd University（厄特沃什·罗兰大学）
对于使用深度神经网络的发音到声学映射，通常声码器的频谱和激励参数已被用作训练目标。然而，声码往往导致嗡嗡声和低沉的最终语音质量。因此，在这篇关于基于超声波的发音到声学转换的论文中，我们使用了一个基于流的神经声码器（WaveGlow），它在大量的英语和匈牙利语语音数据上进行了预训练。卷积神经网络的输入是超声舌图像。训练目标是80维梅尔频谱图，这导致比先前使用的25维梅尔广义倒谱更精细的详细频谱表示。根据超声到梅尔频谱图预测的输出，WaveGlow推断产生合成语音。我们比较拟议的基于WaveGlow的系统与连续声码器，它不使用严格的有声/无声的决定时，预测F0。结果表明，在发音声学映射实验中，WaveGlow神经声码器产生的合成语音比基线系统更自然。此外，WaveGlow的优点是F0包含在梅尔谱图表示中，并且不需要单独预测激发。
2020-08-06 cs.SD eess.AS
Extending Text-to-Speech Synthesis with Articulatory Movement Prediction using Ultrasound Tongue Imaging
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE Lendület 舌部发音研究组）
在本文中，我们提出了我们的第一个实验，在文本到清晰度预测，使用超声舌图像的目标。我们扩展了传统的（基于声码器的）DNN-TTS框架，预测PCA压缩的超声图像，其中连续的舌头运动可以与合成语音同步重建。我们使用八个扬声器的数据，训练全连接和递归神经网络，并表明FC-DNN更适合于预测的序列数据比LSTM，在有限的训练数据的情况下。客观实验和可视化预测结果表明，该方法是可行的，生成的超声视频接近自然舌运动。从文本输入的发音运动预测对于视听语音合成或计算机辅助发音训练可以是有用的。
2021-07-12 cs.SD eess.AS
Quality assessment of voice converted speech using articulatory features
我们提出了一种新的应用程序的基础上对语音转换语音质量评估的声学发音反转。人类毫不费力地说话的能力需要各种发音器官、肌肉等的协调运动。这种毫不费力的运动有助于自然度、可懂度和说话者身份，这部分存在于语音转换语音中。因此，在语音转换期间，与语音产生相关的信息丢失。在本文中，这种损失是量化的男性语音，通过显示增加的RMSE误差的语音转换后的语音显示减少互信息。在女性声音的情况下也得到了类似的结果。这一观察是延长显示发音功能可以作为一个客观的措施。通过比较它们与平均意见得分的相关性，说明了所提出的措施对MCD的有效性。
2015-11-23 cs.SD
Reconstructing Speech from Real-Time Articulatory MRI Using Neural Vocoders
University of Szeged（塞格德大学）
存在用于记录发音运动的几种方法，例如电磁和永磁发音描记术、超声舌成像和表面肌电图。尽管磁共振成像（MRI）比上述方法更昂贵，但该领域的最新发展现在允许以可接受的分辨率记录咬合架的实时的【形】MRI视频。在这里，我们尝试使用深度神经网络从实时的【形】MRI记录中重建语音信号。我们的网络不是直接估计语音，而是经过训练输出一个频谱向量，然后使用WaveGlow神经声码器重建语音信号。我们比较了三种深度神经架构在估计任务中的性能，结合了卷积（CNN）和基于递归（LSTM）的神经层。除了我们的网络的平均绝对误差（MAE），我们还通过比较使用几个客观的语音质量指标，如平均倒谱失真（MCD），短时客观可懂度（STOI），语音质量的感知评估（PESQ）和信号失真比（SDR）获得的语音信号来评估我们的模型。结果表明，我们的方法可以成功地重建总的光谱形状，但需要更多的改进，以重现精细的光谱细节。
2021-04-23 cs.SD eess.AS
Independent and automatic evaluation of acoustic-to-articulatory inversion models
PSL Research University（PSL研究大学）
为了提高语音识别和文本到语音合成，已经提出了从声学语音信号重建发音轨迹。然而，在这些设置中是有用的，发音重建必须是扬声器独立的。此外，由于大多数研究都集中在说话者较少的单个小数据集上，因此强大的发音重建可以从组合数据集中受益。标准的评估措施，如均方根误差和皮尔逊相关性是不合适的评估模型的说话人独立性或组合数据集的有用性。我们提出了一个新的评价发音重建，这是独立的发音数据集用于培训：电话歧视ABX任务。我们使用ABX测量来评估在3个数据集（14个说话者）上训练的基于Bi-LSTM的模型，并表明它提供了与标准测量互补的信息，并使我们能够评估数据集合并的影响以及模型的说话者独立性。
2019-11-15 cs.CL cs.SD eess.AS
Exploration strategies for articulatory synthesis of complex syllable onsets
University College London（伦敦大学学院）；CMUS（斯科普里西里尔和迪乌斯大学（注：CMUS为Ss. Cyril and Methodius University of Skopje的常用缩写，常见中文译名为斯科普里西里尔和迪乌斯大学））
高质量的发音语音合成在语音科学和技术领域有着广泛的应用前景。然而，开发适当的映射从语言规范到发音手势是困难和耗时的。在本文中，我们构建了一个基于优化的框架，作为第一步学习这些映射，而无需人工干预。我们展示了生产的音节与复杂的起始和讨论的质量的发音手势与协同发音。
2022-06-30 cs.CL cs.SD eess.AS
Adaptation of Tacotron2-based Text-To-Speech for Articulatory-to-Acoustic Mapping using Ultrasound Tongue Imaging
Budapest University of Technology and Economics（布达佩斯科技经济大学）；University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；Eötvös Loránd University（厄特沃什·罗兰大学）；MTA-ELTE Lendület Lingual Articulation Research Group（匈牙利科学院-厄特沃什·罗兰大学林杜莱特舌部发音研究组）
对于发音到声学映射，通常只有有限的并行训练数据可用，因此无法应用像Tacotron 2这样的完全端到端解决方案。在本文中，我们实验了Tacotron 2文本转语音模型的迁移学习和自适应，以提高有限数据库的基于超声的发音到声学映射的最终合成质量。我们使用多扬声器预训练的Tacotron2 TTS模型和预训练的WaveGlow神经声码器。发音到声学的转换包含三个步骤：1）从一系列超声舌图像记录中，3D卷积神经网络预测预训练的Tacotron 2模型的输入，2）Tacotron 2模型将此中间表示转换为80维梅尔频谱图，以及3）应用WaveGlow模型进行最终推断。该生成的语音包含来自超声记录的原始发音数据的定时，但F0轮廓和频谱信息由Tacotron 2模型预测。F0值与原始超声图像无关，但代表目标说话者，因为它们是从预训练的Tacotron 2模型推断出来的。在我们的实验中，我们证明了所提出的解决方案的合成语音质量比我们早期的模型更自然。
2021-07-26 cs.AI cs.SD eess.AS
Articulatory-WaveNet: Autoregressive Model For Acoustic-to-Articulatory Inversion
University of Kentucky（肯塔基大学）
本文介绍了Articulatory-WaveNet，这是一种用于声学到发音器倒置的新方法。所提出的系统使用WaveNet语音合成架构，其中扩张的因果卷积层使用以声学特征为条件的预测发音轨迹的先前值。该系统进行了训练和评估的普通话口音英语（EMA-MAE），包括39个扬声器，包括母语为英语和母语为普通话的人说英语的电磁关节造影语料库。结果显示，新方法的生成和真实发音轨迹之间的相关性和RMSE都有显着改善，平均相关性为0.83，比基线隐马尔可夫模型（HMM）-高斯混合模型（GMM）反演框架获得的0.61相关性相对改善了36%。据我们所知，本文提出了第一个应用程序的逐点波形合成方法的问题，声学发音反转和结果表明，改善性能相比，以前的方法，扬声器相关的声学发音反转。
2020-06-22 cs.LG cs.SD eess.AS
MRI2Speech: Speech Synthesis from Articulatory Movements Recorded by Real-time MRI
IIIT Hyderabad（印度国际信息技术学院海得拉巴分校）；TCS Research（塔塔咨询服务公司研究院）
针对实时MRI语音合成受噪声干扰、可懂度差的问题，提出适配AV-HuBERT的文本预测加流时长预测的新方法，在USC-TIMIT上WER达15.18%，实现显著提升且具备跨说话人泛化性。
2025-01-17 cs.AI cs.SD eess.AS
emg2speech: Synthesizing speech from electromyography using self-supervised speech models
University of California, Davis（加州大学戴维斯分校）
本文提出一种神经肌肉语音接口，将语音发声时记录的肌电信号直接转化为音频。研究发现自监督语音模型能有效编码发声机制，通过线性映射将EMG功率与S3表示相关联，从而实现端到端的肌电信号到语音合成。
2026-04-20 cs.CL cs.SD eess.AS
Probing Human Articulatory Constraints in End-to-End TTS with Reverse and Mismatched Speech-Text Directions
TCS Research（塔塔咨询顾问公司研究部）；Tata Consultancy Services Limited（塔塔咨询顾问公司）
本文研究了人类发音限制对端到端TTS系统的影响，通过反向和不匹配的语音-文本方向实验，发现反向方向的TTS系统在保真度、可懂度和自然度方面表现更优。
2026-02-16 cs.SD
Fast, High-Quality and Parameter-Efficient Articulatory Synthesis using Differentiable DSP
UC Berkeley（加州大学伯克利分校）
本文提出一种结合EMA、F0和响度的参数高效DDSP发音声码器，通过谐波/噪声平衡技术和多分辨率对抗损失，以0.4M参数实现比SOTA更快、更高质量的语音合成。
2024-09-04 cs.AI cs.SD eess.AS
Ultrasound-based Silent Speech Interface Built on a Continuous Vocoder
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；University of Szeged（塞格德大学）
最近表明，在无声语音接口（SSI）领域内，使用深度神经网络进行发音到声学映射，可以从超声舌图像（UTI）作为发音输入预测F0。此外，当使用连续音调估计时，文本到语音合成器被示出产生更高质量的语音，该连续音调估计即使在不存在浊音时也采用非零音调值。因此，在本文中基于UTI的SSI，我们使用一个简单的连续F0跟踪器，不适用于严格的有声/无声的决定。连续声码器参数（ContF 0，最大浊音频率和梅尔广义倒谱）预测使用卷积神经网络，与UTI作为输入。结果表明，在发音声学映射实验中，连续F0预测具有较低的误差，并且连续声码器产生比使用标准不连续F0的基线声码器稍微更自然的合成语音。
2019-06-24 cs.SD eess.AS eess.IV
Advancing Speech Synthesis using EEG
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
在本文中，我们介绍了注意力回归模型，以证明预测从脑电图（EEG）的功能记录在平行的口语句子的声学特征。首先，我们展示了使用我们的注意力模型直接从EEG特征预测声学特征，然后我们展示了使用两步方法从EEG特征预测声学特征，在第一步中，我们使用我们的注意力模型从EEG特征预测发音特征，然后在第二步中，训练另一个注意力回归模型将预测的发音特征转换为声学特征。我们提出的注意力回归模型与作者在[1]中介绍的回归模型相比，在测试期间使用他们的数据集对大多数受试者进行测试时，表现出优越的性能。本文提出的结果进一步推进了作者在[1]中描述的工作。
2020-05-03 cs.LG cs.SD eess.AS
Autoencoder-Based Articulatory-to-Acoustic Mapping for Ultrasound Silent Speech Interfaces
MTA-SZTE Research Group on Artificial Intelligence（MTA-SZTE人工智能研究组）；University of Szeged（塞格德大学）；Eötvös Loránd University（厄特沃什·罗兰大学）；Budapest University of Technology and Economics（布达佩斯技术与经济大学）
当使用超声视频作为输入时，基于深度神经网络的无声语音接口通常依赖于整个图像来估计语音合成步骤所需的频谱参数。虽然这种方法非常简单，并且它允许合成可理解的语音，但它也有几个缺点。除了不能捕捉图像的接近区域（即像素）之间的关系之外，图像的这种逐像素表示也是非常不经济的。很容易看出，图像的显著部分对于谱参数估计任务是不相关的，因为由相邻像素存储的信息是冗余的，并且由于大量的输入特征，神经网络相当大。为了解决这些问题，在这项研究中，我们训练的自动编码器神经网络的超声图像的频谱语音参数的估计是由第二DNN，使用自动编码器网络的瓶颈层的激活作为功能。在我们的实验中，所提出的方法被证明比标准方法更有效：测量的归一化均方误差分数较低，而在每种情况下的相关值较高。根据听力测试的结果，合成的话语也听起来更自然的母语。我们提出的方法的另一个优点是，由于瓶颈层的（相对）小的尺寸，我们可以在估计过程中利用几个连续的超声图像，而不会显着增加网络的大小，同时显着提高参数估计的准确性。
2019-04-10 cs.SD eess.AS
Sequence-to-Sequence Voice Reconstruction for Silent Speech in a Tonal Language
Zhejiang University（浙江大学）；Royal Holloway, University of London（伦敦大学皇家霍洛威学院）
基于发音神经肌肉活动的无声语音解码（SSD）是近年来脑机接口（BCI）研究的热点。许多研究致力于从发音神经肌肉活动中解码表面肌电图。然而，在有声调的语言（如普通话）中恢复无声语音仍然很困难。本文提出了一种优化的序列到序列（Seq 2Seq）方法，从表面肌电信号的无声语音合成语音。我们提取持续时间信息来调节sEMG的无声语音使用的音频长度。然后，我们提供了一个具有编码器-解码器结构的深度学习模型和一个最先进的声码器来生成音频波形。基于6个普通话说话人的实验结果表明，该模型能够成功地解码普通话无声语音，人工评估的平均字符出错率（CER）为6.41%.
2022-06-01 cs.HC cs.SD eess.AS
Acoustic To Articulatory Speech Inversion Using Multi-Resolution Spectro-Temporal Representations Of Speech Signals
Institute for Systems Research, University of Maryland College Park（马里兰大学帕克分校系统研究所）；Pindrop Inc.（平卓普公司）
语音信号的多分辨率频谱-时间特征表示大脑如何通过将皮层细胞调谐到不同的频谱和时间调制来感知声音。这些特征产生语音信号的更高维表示。本文的目的是评估如何以及语音信号的听觉皮层表示有助于估计这些相应的信号的发音特征。由于获得发音功能的语音信号的声学特征一直是一个具有挑战性的话题感兴趣的不同的语音社区，我们调查使用这种多分辨率表示的语音信号作为声学特征的可能性。我们利用了你。的威斯康星州X射线微束（XRMB）数据库的干净的语音信号，训练前馈深度神经网络（DNN），以估计发音轨迹的六道变量。使用适当的尺度和速率矢量参数选择用于训练模型的多分辨率谱时特征的最佳集合，以获得最佳性能的模型。实验实现了0.675与地面实况道变量的相关性。我们比较了这个语音反转系统的性能与以前的实验进行梅尔频率倒谱系数（MFCC）。
2022-06-25 cs.AI cs.LG cs.SD
Masked Autoencoders Are Articulatory Learners
University Of Maryland, College Park（马里兰大学帕克分校）；Institute For Systems Research（系统研究所）
本文提出基于Masked Autoencoders的深度学习方法，成功重建XRMB数据集中被错误追踪的发音记录，恢复了3.28小时此前无法使用的录音。
2023-05-18 cs.LG cs.SD eess.AS
Learning robust speech representation with an articulatory-regularized variational autoencoder
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；GIPSA-lab（GIPSA实验室）；LPNC（LPNC实验室）
人们越来越多地认为，人类的言语感知和产生都依赖于发音表征。在本文中，我们研究了这种类型的表示是否可以提高深度生成模型（这里是变分自编码器）的性能，该模型被训练用于编码和解码声学语音特征。首先，我们开发了一个发音模型，能够关联发音参数描述的下巴，舌头，嘴唇和软腭配置声道形状和频谱特征。然后，我们将这些发音参数到一个变分自编码器应用于频谱特征，通过使用正则化技术，约束的潜在空间的一部分，以遵循发音轨迹。我们表明，这种发音约束通过减少收敛时间和收敛时的重建损失来改善模型训练，并在语音去噪任务中产生更好的性能。
2021-04-07 cs.CL cs.SD eess.AS
Learning to Compute the Articulatory Representations of Speech with the MIRRORNET
Institute for Systems Research, University of Maryland College Park（马里兰大学帕克分校系统研究所）
本文提出受感觉运动学习启发的MirrorNet自编码器，仅用约30分钟发音数据初始化后以无监督方式训练，即可控制发音合成器并学习到与完全监督系统精度相当的发音表征。
2023-05-25 cs.SD eess.AS
Seeing Speech: Learning Visible Articulatory Dynamics for Speech-Driven 3D Facial Animation
Chung-Ang University（中央大学）
提出发音感知框架，通过方向性发音运动与记忆检索组合，实现语音驱动的3D面部动画，在标准指标和用户研究中均达最优。
2026-09-28 cs.GR cs.LG eess.AS
Manipulation of oral cancer speech using neural articulatory synthesis
University of Amsterdam（阿姆斯特丹大学）；Netherlands Cancer Institute（荷兰癌症研究所）；University Medical Center Groningen（格罗宁根大学医学中心）；University of Groningen（格罗宁根大学）；Delft University of Technology（代尔夫特理工大学）
我们提出了一个发音合成框架的合成和处理口腔癌的语音临床决策和减轻病人的压力。客观和主观评价表明，该框架具有可接受的自然度，值得进一步研究。随后的主观元音和辅音识别实验表明，发音合成系统可以操纵发音轨迹，使合成的语音再现存在于地面真实口腔癌语音的问题。
2022-03-31 cs.CL cs.SD eess.AS
Speaker-Independent Acoustic-to-Articulatory Speech Inversion
University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Southern California（南加州大学）
针对构建自然语音处理方法的需求，提出利用自监督的说话人无关声学-发音反转模型，在EMA数据集上较SOTA提升12.5%，还提出无需发音标签的重合成评估指标并验证有效。
2023-07-24 cs.SD eess.AS
Acoustic-to-Articulatory Speech Inversion Features for Mispronunciation Detection of /r/ in Child Speech Sound Disorders
针对成人训练的声学-发音语音逆转换系统在儿童临床发音检测中的效果不明确的问题，研究用该逆转换得到的声道变量训练分类器，检测儿童/r/音发音错误，性能达到或超过现有最优特征。
2023-05-25 eess.AS
Enhancing Pathological Speech through Articulatory Bottlenecks
本文提出一种通过残差映射器干预发音对齐潜在空间的方法，在保留说话人和韵律信息的同时增强构音障碍语音，并验证了显式发音监督优于无监督表征。
2026-10-06 eess.AS
Training Articulatory Inversion Models for Interspeaker Consistency
University of Cambridge（剑桥大学）；ALTA Institute/MIL, Department of Engineering（ALTA研究所/ MIL 工程系）
针对 AAI 中跨说话人发音目标是否一致的问题，本文利用最小对立对集合评估英语和俄语的单/多说话人 SSL 适配模型，并提出仅依赖语音数据提升说话人间一致性的训练方法。
2025-06-09 cs.LG cs.SD eess.AS
Analyzing the Impact of Accent on English Speech: Acoustic and Articulatory Perspectives
本研究通过声学与发音分析，发现带口音英语语音具有更简单的协调模式和更高的平均音高，并利用特征谱和声道变量特征建立了一种无需语音转写即可量化口音强度的方法，为开发包容性语音处理系统提供新途径。
2025-06-04 eess.AS eess.SP
ARTI-6: Towards Six-dimensional Articulatory Speech Encoding
Signal Analysis and Interpretation Lab, University of Southern California（南加州大学信号分析与解释实验室）；Department of Linguistics, University of Southern California（南加州大学语言学系）
ARTI-6通过六维发音特征集和反向合成模型，实现了高效且自然的语音生成与反向建模。
2026-01-26 cs.AI cs.CL eess.AS
Estimating articulatory movements in speech production with transformer networks
Indian Institute of Science（印度科学学院）；Amazon（亚马逊）
我们估计发音运动的语音生产从不同的方式-声学和音素。声学发音倒置（AAI）是一个序列到序列的任务。另一方面，音素发音（PTA）运动估计面临着一个关键的挑战，在可靠地对齐文本和发音运动。为了解决这一挑战，我们探索使用一个Transformer架构- FastSpeech，明确的持续时间建模学习硬对齐之间的音素和发音运动。我们还在AAI上训练了一个Transformer模型。我们使用相关系数（CC）和根均方误差（rMSE）评估的估计性能相比，现有的方法在这两个任务。我们观察到154%，11.8%和4.8%的相对改善，在CC与受试者相关的，汇总和微调策略，分别为PTA估计。此外，在AAI任务中，与最先进的基线相比，我们在相同的设置下获得了1.5%，3%和3.1%的CC相对增益。我们进一步提出了计算的好处，有Transformer架构的代表性块。
2021-06-12 cs.SD eess.AS
Repeat after me: Self-supervised learning of acoustic-to-articulatory mapping by vocal imitation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动化实验室）；Univ. Savoie Mont Blanc（萨瓦勃朗峰大学）；LPNC（认知神经科学实验室）
我们提出了一个计算模型的语音生产相结合的预先训练的神经发音合成器能够再现复杂的语音刺激从一组有限的可解释的发音参数，基于DNN的内部正向模型预测发音命令的感官后果，和内部逆模型的基础上恢复发音命令从声学语音输入的递归神经网络。前向和反向模型都是以自监督的方式从来自不同说话者的原始仅声学语音数据中联合训练的。仿真结果得到了客观和主观的评价，显示出令人鼓舞的效果。
2022-04-05 cs.CL cs.SD eess.AS
Speaker- and Text-Independent Estimation of Articulatory Movements and Phoneme Alignments from Speech
Ludwig-Maximilians University（慕尼黑路德维希-马克西米利安大学）；Universidad de Antioquia（安蒂奥基亚大学）
本文提出联合任务APTAI，通过多任务学习从原始语音同时估计发音运动、音素序列与对齐，并比较帧分类和两阶段强制对齐两种方法，在AAI上达到0.73平均相关性，帧重叠率最高约87%。
2024-07-03 cs.AI cs.CL cs.LG
How Bilingual Are SSL Speech Models? Cross-Lingual Probing of Articulatory Encoding with Finnish and Russian EMA
University Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, France（法国格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔国立理工学院，GIPSA实验室）；University of Eastern Finland, Computational Speech Group, Finland（芬兰东芬兰大学，计算语音组）
通过芬兰语-英语双语者的EMA数据，发现SSL模型能有效跨语言编码发音特征，中间层表现最佳，多语言模型优于单语言模型，且舌部运动比唇部运动更可预测。
2026-07-01 cs.SD eess.AS
Accent Conversion with Articulatory Representations
本文提出利用声学到发音反演系统提取的发音表示，通过多任务学习与传统语音后验图结合改进声学模型，从而提升非母语口音转换的效果。
2024-06-10 eess.AS
Acoustic-to-articulatory inversion for dysarthric speech: Are pre-trained self-supervised representations favorable?
University of Southern California（南加州大学）
本研究针对构音障碍语音的声学到发音反演任务，在低资源条件下使用预训练自监督学习模型表征结合x-vectors训练BLSTM网络，发现DeCoAR等SSL特征在微调方案下显著优于MFCCs，能有效预测构音障碍发音轨迹。
2024-02-09 cs.LG cs.SD eess.AS
Deep Speech Synthesis from MRI-Based Articulatory Representations
本文针对EMA发音合成缺乏激励与鼻音信息的问题，提出覆盖更广发音空间的MRI特征集及归一化去噪方法，并设计高效高保真的MRI到语音模型，通过消融实验验证其优于EMA并确定最优特征子集。
2023-07-05 eess.AS
Articulation-Informed ASR: Integrating Articulatory Features into ASR via Auxiliary Speech Inversion and Cross-Attention Fusion
University of Maryland（马里兰大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；College of Education（教育学院）
本研究提出将发音特征作为辅助任务和伪输入集成到基于Transformer的ASR框架中，通过语音反演和交叉注意力融合，在LibriSpeech上显著提升低资源条件下的识别性能。
2025-10-01 cs.AI cs.CL cs.SD
Language-Agnostic Meta-Learning for Low-Resource Text-to-Speech with Articulatory Features
Institute for Natural Language Processing（自然语言处理研究所）；University of Stuttgart（斯图加特大学）
虽然神经文本到语音系统在高资源场景中表现得非常好，但由于缺乏适当的训练数据，它们无法应用于世界上6,000多种口语中的大多数。在这项工作中，我们使用的嵌入来自发音向量，而不是嵌入来自音素身份学习音素表示，跨语言举行。结合语言不可知的Meta学习，这使我们能够在30分钟的数据上微调高质量的文本到语音模型，这些数据来自以前看不见的说话者所说的以前看不见的语言。
2022-03-07 cs.CL cs.LG eess.AS
Acoustic-to-articulatory Speech Inversion with Multi-task Learning
本文提出一种多任务学习框架，通过同时学习声学到音素映射作为共享任务，执行声学至发音语音反演，其双向门控RNN模型在估计九个声道变量上优于基线模型。
2022-05-27 eess.AS
Incorporating L2 Phonemes Using Articulatory Features for Robust Speech Recognition
NAVER Cloud（NAVER云）
本文提出通过发音特征引入韩语 L2 音素，并以端到端 LF-MMI 训练声学模型建模发音变体，从而仅用 L1 数据提升非母语 ASR，L2 微调还能同时改善两类语音识别。
2023-06-05 cs.CL cs.LG cs.SD
Acoustic-to-Articulatory Inversion of Clean Speech Using an MRI-Trained Model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）
本研究通过使用无噪声语音替代MRI去噪语音，实现了更有效的发音倒置，达到接近MRI性能的精度。
2026-07-23 eess.AS
Perceptual Ratings Predict Speech Inversion Articulatory Kinematics in Childhood Speech Sound Disorders
本研究利用语音逆推神经网络和PERCEPT评分量表，验证了推断的声道变量能有效区分儿童语音障碍中 /r/ 和 /s/ 的发音错误类别与程度，并支持其临床应用价值。
2025-07-02 eess.AS
The Secret Source : Incorporating Source Features to Improve Acoustic-to-Articulatory Speech Inversion
Institute for Systems Research, University of Maryland College Park（马里兰大学帕克分校系统研究所）
在这项工作中，我们将声学派生的源功能，非周期性，周期性和音高作为额外的目标，声学发音语音反转（SI）系统。我们还提出了一个基于时间卷积的SI系统，它使用听觉频谱图作为输入语音表示，学习源和声道之间的长程依赖关系和复杂的相互作用，以改善SI任务。这些实验使用威斯康星州X射线微束（XRMB）和哈斯金斯生产率比较（HPRC）数据集进行，并与三种基线SI模型架构进行比较。建议SI系统与HPRC数据集获得接近28%的改善时，源功能被用作额外的目标。在XRMB数据集上，相同的SI系统比当前表现最好的SI模型表现好约9%。
2022-10-29 cs.SD eess.AS
A Study of Incorporating Articulatory Movement Information in Speech Enhancement
尽管深度学习算法被广泛用于改善语音增强（SE）性能，但在高度挑战性的条件下，例如看不见的噪声或具有低信噪比（SNR）的噪声信号，性能仍然有限。本研究提供了一个新的多模态音频发音运动SE（AAMSE）模型，以提高SE性能在这种具有挑战性的条件下的试点调查。发音运动特征和声信号被用作基于波形映射和基于频谱映射的SE系统的输入，具有三种融合策略。此外，还进行了一项消融研究，以使用有限数量的发音运动传感器评估SE性能。实验结果证实，通过结合的方式，AAMSE模型显着提高了SE性能的语音质量和可懂度方面，相比传统的音频只SE基线。
2021-06-09 eess.AS
Articulatory information and Multiview Features for Large Vocabulary Continuous Speech Recognition
University of Maryland, College Park（马里兰大学帕克分校）；SRI International（SRI国际）；Apple Inc.（苹果公司）
本文探讨了在卷积深度神经网络（CNN）架构中使用多视图特征及其判别变换来进行连续大词汇量语音识别任务。在特征空间最大似然线性回归（fMLLR）变换之后使用梅尔滤波器组能量和感知激励的强制阻尼振荡器系数（DOC）特征，其被组合并作为多视图特征馈送到单个CNN声学模型。使用多视图特征表示证明显着减少字出错率（WERs）相比，单独的功能本身的使用。此外，当发音信息被用作融合的深度神经网络（DNN）和CNN声学模型的额外输入时，发现NIST 2000对话电话语音测试集的总机子集和呼叫中心子集（包含部分非本地口音语音）的WER进一步降低，在两种情况下，相对于基线，出错率降低了12%。这项工作表明，与发音信息相关联的多视图特征可以提高自发和非母语语音的语音识别鲁棒性。
2018-02-16 cs.CL cs.SD eess.AS
ArtBoost: Synthetic Articulatory Data Augmentation for Acoustic-to-Articulatory Inversion
Anonymous 1（匿名机构1）
提出ArtBoost数据增强策略，利用大规模语音-网格数据集提取伪发音轨迹进行预训练，在有限EMA数据下提升声学到发音逆映射性能，PCC和RMSE一致改善。
2026-06-16 cs.AI cs.SD eess.AS
Multimodal Contrastive Representation Learning Based Voice Conversion for Electrolaryngeal Speech Enhancement
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；Alibaba Token Foundry, Alibaba Group（阿里巴巴集团阿里巴巴Token铸造厂）；Headquarters, TARVO, Inc.（TARVO公司总部）；Graduate School of Medicine, Nagoya University（名古屋大学医学研究科）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
针对电声语音与正常语音的声学失配问题，提出多模态对比表示学习框架，融合语音与文本表示并通过跨阶段对比学习迁移多模态知识，实现更优的电声转正常语音性能。
2026-10-14 cs.SD
Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
发音特征对于声学信号失真具有固有的不变性，并且已经成功地被结合到用于正常语音的自动语音识别（ASR）系统中。它们在障碍语音识别中的实际应用通常受到从受损说话者收集此类专业数据的困难的限制。本文提出了一种跨域的声学发音（A2 A）反演方法，该方法利用15小时TORGO语料库的并行声学发音数据进行模型训练，然后跨域适应102.7小时UAS语音语料库并产生发音特征。采用基于混合密度网络的神经元A2 A反演模型。跨域特征自适应网络也被用来减少TORGO和UASpeech数据之间的声学失配。在这两项任务中，结合A2 A生成的发音特征始终优于仅使用声学特征构建的基于基准混合DNN/TDNN、CTC和Conformer的端到端系统。最好的多模态系统，结合视频模态和跨域发音功能，以及数据增强和学习隐藏单元贡献（LHUC）扬声器自适应产生最低的发表词错误率（WER）的24.82%的16个构音障碍的扬声器的基准UASpeech任务。
2022-03-19 cs.AI eess.AS
Learning Joint Articulatory-Acoustic Representations with Normalizing Flows
University of British Columbia（不列颠哥伦比亚大学）
声道的发音几何配置和所得到的语音声音的声学特性被认为具有很强的因果关系。本文旨在通过可逆神经网络模型找到元音发音域和声域之间的联合潜在表示，同时保留各自的域特定特征。我们的模型利用卷积自动编码器架构和规范化的基于流的模型，以允许正向和反向映射在半监督的方式，中间矢状声道几何形状的两个自由度的发音合成器与1D声波模型和梅尔频谱图表示的合成语音之间。我们的方法在实现发音到声学以及声学到发音映射方面取得了令人满意的性能，从而证明了我们在实现两个域的联合编码方面的成功。
2020-10-01 cs.LG cs.SD eess.AS
On the Relationship between Accent Strength and Articulatory Features
Signal Analysis and Interpretation Laboratory（信号分析与解读实验室）；Department of Linguistics（语言学系）
本文通过自监督发音逆推技术估计发音特征，以音素级差异量化口音强度，发现舌头定位模式可区分美式和英式英语，尤其在儿化音和低后元音上差异显著。
2025-07-03 cs.AI cs.CL cs.SD
Tracking Articulatory Dynamics in Speech with a Fixed-Weight BiLSTM-CNN Architecture
University of Kerala（克里莎尔大学）；Digital University Kerala（卡里什拉数字大学）
本文提出一种固定权重的BiLSTM-CNN架构，用于从语音声学预测舌头和嘴唇的发音特征，在多种模式下优于自适应权重初始化，推动了发音特征预测模型的稳健发展。
2025-04-25 cs.CL cs.SD eess.AS
