Multimodal Segmentation for Vocal Tract Modeling
University of California, Berkeley（加利福尼亚大学伯克利分校）
针对声道建模中内部器官难捕捉、标注MRI数据稀缺的问题，研究提出纯视觉分割的深度标注策略与结合音频的多模态分割算法，设立新基准并发布75人RT-MRI数据集标注，将公开标注数据量提升9倍以上。
2024-06-22 cs.CL cs.CV cs.LG
Towards Automatic Speech Identification from Vocal Tract Shape Dynamics in Real-time MRI
University of British Columbia（不列颠哥伦比亚大学）
声道结构通过调节气流和在语音产生中产生不同的共振腔，在产生可区分的语音中起着至关重要的作用。它们包含了丰富的信息，可以用来更好地理解潜在的语音产生机制。作为自动映射声道形状几何声学的一步，本文采用有效的视频动作识别技术，如长期递归卷积网络（LRCN）模型，以确定不同的元音-辅音-元音（VCV）序列的动态塑造的声道。这种模型通常将基于CNN的深度分层视觉特征提取器与递归网络相结合，这理想地使网络在时空上足够深以学习用于视频分类任务的短视频剪辑的顺序动态。我们使用一个数据库，包括2D实时的【形】MRI的声道成形期间VCV发言的17个扬声器。这类算法在各种参数设置和各种分类任务的比较性能进行了讨论。有趣的是，结果显示，在语音分类的背景下，相对于通用序列或视频分类任务的模型性能的显着差异。
2018-07-29 cs.CL cs.CV cs.LG
How far are vowel formants from computed vocal tract resonances?
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Medical Imaging Centre of Southwest Finland（芬兰西南部医学影像中心）
我们比较数值计算共振的人类声道共振峰已从语音中提取的元音发音。通过MRI从男性受试者获得了声道的几何形状，并同时记录了相应的语音。共振是通过用有限元法（FEM）求解亥姆霍兹偏微分方程来计算的。尽管有基本的外部空间声学模型，即，在开口处的狄利克雷边界条件下，对于具有小开口面积的[i]和[u]，计算出的共振结构与测量出的共振峰结构相差$\approx$ 0.7个单位音，而对于具有较大开口面积的元音[a]和[ae]，计算出的共振结构与测量出的共振峰结构相差$\approx$ 3个单位音。可能开放的软腭端口的贡献根本没有考虑在内，这增加了当前数据集中[a]的差异。我们的结论是，通过改进外部空间模型和适当地处理软腭端口开放，它是可能的计算获得四个最低元音共振峰的误差小于一个。MRI产生的声道几何形状的相应波动方程模型预计具有相当的精度。
2012-10-08 cs.SD math.DS
A small vocabulary database of ultrasound image sequences of vocal tract dynamics
Universidad Industrial de Santander（桑坦德工业大学）；Universidad Tecnológica de Bolívar（玻利瓦尔技术大学）
本文构建了一个包含同步发音和声学数据的小词汇量数据库，利用超声视频记录声道动态，涵盖30个短句和17名健康受试者，为语音研究提供资源。
2023-10-14 cs.LG cs.SD eess.AS
An extended two-dimensional vocal tract model for fast acoustic simulation of single-axis symmetric three-dimensional tubes
University of British Columbia（不列颠哥伦比亚大学）
二维的【形】（2D）波传播的模拟是一个负担得起的计算任务，它的使用可以潜在地提高声道声学分析的时间性能。已经设计了依赖于2D波解算器并且包括三维（3D）声道状几何形状的2D表示的若干模型。然而，到目前为止，只有具有圆形横截面的直3D管的声学已经成功地用这种方法复制。此外，所得到的2D形状的模拟需要极高的时空分辨率，从而显著降低了源自2D波求解器的使用的速度提升。在本文中，我们介绍了一个正在进行的新的声道模型，扩展了二维时域差分波求解器（2.5D FDTD），通过添加管深度，来自面积函数，声学求解器。该模型结合了光的速度2D数值方案的能力，本机模拟3D管是对称的一个维度，从而放宽了以前的分辨率要求。的2.5D FDTD的实现，以及其性能的评价的情况下，静态元音建模。本文讨论了目前的特点和限制的方法，以及计算声学应用的潜在影响。
2019-09-19 cs.SD eess.AS
Speaker dependent acoustic-to-articulatory inversion using real-time MRI of the vocal tract
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
声学到发音反转（AAI）方法从声学语音信号估计发音运动，这在诸如语音识别、合成、说话头和语言辅导的若干任务中是有用的。大多数早期的反演研究是基于点跟踪发音技术（例如EMA或XRMB）。rtMRI的优势在于它提供了上气道完整正中矢状面的动态信息，具有较高的“相对”空间分辨率。在这项工作中，我们估计正中矢状面rtMRI图像的声道扬声器相关的AAI，使用MGC-LSP频谱特征作为输入。我们应用了FC-DNN、CNN和递归神经网络，并证明了LSTM最适合这项任务。作为客观评价，我们测量了归一化的MSE，结构相似性指数（SSIM）及其复小波版本（CW-SSIM）。结果表明，FC-DNN和LSTM的组合可以实现声道的平滑生成的MR图像，其类似于原始MRI记录（平均CW-SSIM：0.94）。
2020-08-04 cs.SD eess.AS
A comparative study of two-dimensional vocal tract acoustic modeling based on Finite-Difference Time-Domain methods
University of British Columbia（不列颠哥伦比亚大学）；Northeastern University（东北大学）
声道（VT）的二维的【形】（2D）数值模拟方法可以提供一个更好的平衡之间的低计算成本和准确绘制声波传播。然而，他们需要一个高的时空分辨率的数值方案的声学共振峰的精确估计在模拟运行时的费用。我们最近提出了一种新的VT声学建模技术，被称为2.5D时域有限差分法（2.5D FDTD），它扩展了现有的二维FDTD方法，通过增加管深度的声波求解器。在这项工作中，首先，我们的新模型的模拟声输出被证明是可比的二维FDTD和现实的三维有限元VT模型在低时空分辨率。接下来，通过在VT周围包括圆形挡板作为头部几何形状来开发辐射模型。辐射模型的传递函数进行了分析，使用五个不同的声道形状的元音/a/，/e/，/i/，/o/和/u/。
2021-02-09 cs.CL cs.SD eess.AS
Silent Speech and Emotion Recognition from Vocal Tract Shape Dynamics in Real-Time MRI
University of California, Merced（加州大学默塞德分校）
口语的语音是通过改变声道周围发音器官的结构来获得的。它们包含了丰富的信息，可以用来更好地理解人类语音产生的基本机制。我们提出了一种新的基于深度神经网络的学习框架，该框架可以理解语音产生过程中声道成形的可变长度序列中的声学信息，这些信息由实时磁共振成像（rtMRI）捕获，并将其转换为文本。所提出的框架包括时空卷积，循环网络和连接主义时间分类损失，完全端到端训练。在USC-TIMIT语料库上，该模型在句子水平上取得了40.6%的PER，与现有的模型相比有很大的提高。据我们所知，这是第一项研究，证明了识别整个口语句子的基础上，一个人的发音运动捕捉的rtMRI视频。我们还对声道的每个子区域中的发音几何结构的变化进行了分析（即，咽、软腭和背侧、硬腭、唇收缩区）。结果表明，每个子区域的失真都受到情绪和性别的影响。
2021-06-16 cs.CV cs.HC cs.LG
Learning Vocal-Tract Area and Radiation with a Physics-Informed Webster Model
本文提出基于物理的Webster模型，用于估计声带面积和辐射系数，以提升歌唱语音合成的性能。
2026-02-27 cs.SD eess.AS
Physics-Informed Neural Networks for Speech Production
Department of Mechanical Engineering, Nagaoka University of Technology（名古屋技术大学机械工程系）；Department of Electrical, Electronics and Information Engineering, Nagaoka University of Technology（名古屋技术大学电子、电子和信息工程系）
提出使用物理信息神经网络（PINNs）分析语音产生，通过可微近似处理声带碰撞，将振动周期作为可学习参数，并硬约束耦合气流与声道声学，实现从语音信号同时估计声门气流、声带振动状态和声门下压。
2026-06-23 cs.SD
Cross-modal characterization of infant cry: validation of a chest-surface accelerometer in extracting acoustic vocal function measures
Division of Developmental Medicine, Boston Children’s Hospital（发育医学部，波士顿儿童医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）；Children’s Hospital of Philadelphia（费城儿童医院）；Center for Laryngeal Surgery and Voice Rehabilitation, Massachusetts General Hospital（嗓音康复中心，麻省总医院）
本研究验证了胸表加速度计在婴儿哭声分析中的有效性，发现其能可靠捕获基频和抖动等声学特征，为噪声鲁棒且保护隐私的临床研究提供替代方案。
2026-05-27 cs.SD physics.med-ph
i Vector used in Speaker Identification by Dimension Compactness
Vidyasagar University（维迪亚萨加尔大学）
自动说话人辨识过程用于提取特征，这些特征有助于通过丢弃所有其他东西（如背景噪声、情感、犹豫等）来识别声学信号的组成部分。声学信号由人生成，并通过声道（包括舌头、牙齿等）的形状进行过滤。声道的形状决定并产生了实时的。分析发展的形状的声道，表现出包络的短时间功率谱。ASR需要有效的方法来提取特征的声学信号，有效地使用，使个人声道的形状。为了从大量的声信号集合即语料库中识别任意一个声信号，需要利用GMM均值超向量对全变率空间进行维数紧致化。本文提出了一种有效的方法来实现在全变率空间中的维数紧凑性，并使用余弦距离评分来预测小尺寸话语的快速输出分数。
2017-04-12 cs.SD
Auditory Representation Effective for Estimating Vocal Tract Information
Faculty of Systems Engineering, Wakayama University（和歌山大学系统工程学院）
本研究提出基于 SWMT 的 SSI 权重听觉表征方法，用于准确估计受试者的声道长度，其误差显著低于傅里叶变换等常用频谱，且能轻松引入这些频谱以提升性能。
2023-09-14 cs.SD eess.AS
Coding Speech through Vocal Tract Kinematics
University of California, Berkeley（加利福尼亚大学伯克利分校）
提出语音发音编码（SPARC）框架，通过发音分析与合成模型实现通用、高性能的语音推断与合成，支持未见说话人泛化及保留口音的零样本语音转换。
2024-12-14 cs.AI cs.CL cs.SD
Limitations of Source-Filter Coupling In Phonation
The University of British Columbia（不列颠哥伦比亚大学）
声带（声源）和声道（滤声器）的耦合是声源-滤声器清晰度理论中最关键的因素之一。传统的线性声源-滤波器理论受到了当前研究的挑战，这些研究清楚地显示了声负载对声带振动的动态行为以及声门流脉冲形状的变化的影响。本文概述了源-过滤器相互作用的基本机制，演示了各种现有的声带和声道生物力学模型的耦合的设计和工作原理。在我们的研究中，我们考虑了声源的自振荡集总元件模型和声道的计算模型作为发音器。为了了解与这些模型中的每一个相关联的源-过滤器相互作用的限制，我们比较它们的机械设计，声学和生理特性以及空气动力学模拟。
2018-11-19 cs.CL cs.SD eess.AS
Modeling and Estimation of Vocal Tract and Glottal Source Parameters Using ARMAX-LF Model
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对传统ARX-LF模型全极点结构无法估计反共振峰、适用语音类型有限且需迭代估计的问题，提出ARMAX-LF模型结合DNN的参数估计方法，可更快速准确地估计元音及鼻化语音的声道与声门源参数。
2024-10-07 cs.CL cs.SD eess.AS
Vocal Tract Length Warped Features for Spoken Keyword Spotting
Indian Institute of Information Technology, Sri City（印度斯里城信息技术学院）；Aalborg University（奥尔堡大学）
针对语音关键词检测，本文提出利用声道长度规整特征的三种DNN建模与评分/拼接方法，并在Google Command数据集上验证了准确率提升。
2025-01-07 cs.AI cs.LG cs.SD
Arti-JEPA: Adapting Video World Model to Real-Time MRI of the Vocal Tract for Speech-Production Analysis
University of Southern California（南加州大学）；College of Staten Island, City University of New York（纽约城市大学史泰登岛学院）；University of Potsdam（波茨坦大学）
Arti-JEPA通过自监督学习适配视频世界模型至声道实时MRI，在音素预测、口吃分类和术后语音分析中验证了冻结编码器的有效性，揭示了域适配的任务依赖性及跨说话者转移差距。
2026-09-17 cs.CV cs.SD
Speech2rtMRI: Speech-Guided Diffusion Model for Real-time MRI Video of the Vocal Tract during Speech
University of Southern California（南加州大学）
本研究提出Speech2rtMRI，一种基于预训练语音模型和语音到视频扩散模型的数据驱动方法，利用任意语音输入生成语音时声道的实时MRI视频，为语言学习与动画角色创建提供支持。
2024-09-23 cs.CV cs.SD eess.AS
Automatic vocal tract landmark localization from midsagittal MRI data
RWTH Aachen University（亚琛工业大学）
一种语言的各种语音是通过改变声道周围发音器官的形状和位置而获得的。分析它们的变化对于理解言语产生、诊断言语障碍和制定治疗计划至关重要。识别医学图像上这些结构的关键解剖标志是任何定量分析的先决条件，并且该领域中生成的数据量不断增加，需要自动解决方案。挑战在于说话者之间和说话者内部的高度可变性、发音器官之间的相互作用以及中等质量的图像。这项研究首次解决了这个问题，并通过深度学习来解决这个问题。它提出了一个专用的网络架构命名为平面网络和它的性能进行评估和比较，从文献中的11个国家的最先进的方法。该数据集包含9个扬声器的正中矢状解剖磁共振图像，每个图像支持62个关节，具有21个注释的解剖标志。结果表明，平面网络的方法优于以前的方法，导致整体的根均方误差为3.6像素/0.36厘米，在一个留一法程序中获得的扬声器。实现代码也在GitHub上公开共享。
2020-01-09 cs.CV cs.LG cs.SD
Speaker dependent articulatory-to-acoustic mapping using real-time MRI of the vocal tract
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE伦杜莱特语言发音研究组）
发音到声学（前向）映射是使用各种发音采集技术（例如，超声舌头成像、嘴唇视频）来预测语音的技术。声道的实时MRI（rtMRI）以前未用于此目的。MRI的优点是它具有高的“相对”空间分辨率：它不仅可以捕捉舌、唇和颌的运动，还可以捕捉软腭和咽部区域，这通常是其他技术所不可能做到的。在本文中，我们训练了各种DNN（全连接，卷积和递归神经网络），用于发音到语音转换，使用rtMRI作为输入，以特定于说话者的方式。我们使用两名男性和两名女性发言者的USC-TIMIT发音数据库，他们每个人说出460句话。我们使用客观（归一化MSE和MCD）和主观测量（感知测试）来评估结果，并表明CNN-LSTM网络是首选的，它将多个图像作为输入，并且MCD得分在2.8-4.5 dB之间。在实验中，我们发现说话人“m1”的预测明显弱于其他说话人。我们表明，这是由于74%的录音扬声器'm1'是不同步的事实。
2020-08-03 cs.SD eess.AS eess.IV
Vocal Tract Length Perturbation for Text-Dependent Speaker Verification with Autoregressive Prediction Coding
Indian Institute of Information Technology（印度信息技术学院）；Aalborg University（奥尔堡大学）
在这封信中，我们提出了一个声道长度（Vocal Tract Length，VQ）扰动方法的文本相关的说话人确认（TD-SV），其中一组TD-SV系统的训练，每个VQ因子一个，和分数级融合应用于作出最终决定。接下来，我们探索通过训练具有自监督目标的深度神经网络提取的瓶颈（BN）特征，自回归预测编码（APC），用于TD-SV，并将其与研究良好的说话人判别BN特征进行比较。然后将该方法应用于APC和说话人判别BN特征。最后，我们将在MFCC上训练的微扰系统与分数域中的两个BN特征相结合。实验在TD-SV的RedDots挑战2016数据库上进行，使用高斯混合模型-通用背景模型和i-vector技术的短话语。结果表明，所提出的方法显着优于基线。
2021-03-25 cs.CL cs.SD eess.AS
Evince the artifacts of Spoof Speech by blending Vocal Tract and Voice Source Features
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
随着合成语音生成技术的快速发展，如何区分自然语音和欺骗语音成为研究的热点。这些合成信号的识别是一项艰巨的任务，不仅对尖端的分类模型，而且对人类本身。为了防止潜在的不利影响，检测欺骗信号变得至关重要。从取证的角度来看，预测生成它们的算法以识别伪造者也很重要。这需要理解作为合成器签名的欺骗信号的基本属性。本研究着重于利用声道系统（\textit{VTS}）和声源（\textit{VS}）特征识别语音信号真伪的关键部分。在本文中，我们提出了一个系统，检测欺骗信号，以及确定相应的语音生成算法。算法的分类准确率达到99.58%.从实验中，我们发现，VS基于特征的系统给予更多的关注音素的过渡，而VTS基于特征的系统给予更多的关注语音信号的平稳段。我们执行模型融合技术的VS为基础的和VTS为基础的系统，利用互补的信息来开发一个强大的分类器。在分析混淆图时，我们发现WaveRNN的分类很差，描述了更多的自然性。另一方面，我们确定波形级联和神经源滤波器等合成器的分类精度最高。这项工作的实际意义可以帮助研究人员从取证（利用文物）和语音社区（减轻文物）。
2022-12-05 cs.SD eess.AS
Study of human phonation in a full body domain
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文采用直接数值模拟的方法，在二维空间中研究了人体语音的产生和传播。声道中的流体/空气被建模为与非线性粘弹性声带（VF）相互作用的可压缩粘性流体。VF组织材料特性是多层的，具有不同的刚度，并且利用有限应变模型并在二次有限元代码中实现。流固域通过边界拟合界面耦合，并利用基于泊松方程的网格变形方法。全身域包括近VF区域、声道、软腭和嘴的简化模型，并延伸到声学远场。一种新的流入边界条件的基础上的准一维制定恒定的声门下体积速度，这是链接到VF运动，已被采用。测量的声压水平（SPL）是现实的，我们分析它们的连接到VF动态和声门和声道几何形状。
2020-05-05 cs.SD physics.bio-ph physics.flu-dyn
SPEAK WITH YOUR HANDS Using Continuous Hand Gestures to control Articulatory Speech Synthesizer
University of British Columbia（不列颠哥伦比亚大学）
本文介绍了我们在用手势控制发音语音合成引擎\textit{viz.}，粉红长号方面的进展。我们的接口翻译成连续的语音使用声道面积函数为基础的发音语音合成的手指运动和手腕弯曲。我们使用带有18个传感器的Cyberglove II来捕获手腕和单个手指的运动信息，以控制虚拟舌头。然后利用传感器的坐标和弯曲值来拟合样条舌模型，该样条舌模型平滑噪声值和异常值。考虑到上腭固定和样条模型作为动态移动的下表面（舌头）的声道，我们计算1D面积函数值被馈送到粉红长号，产生连续的语音声音。因此，通过学习操纵手腕和手指，一个人可以学会只通过手发出语音，而不需要使用声道。
2021-02-02 cs.CL cs.SD eess.AS
Evidence of Vocal Tract Articulation in Self-Supervised Learning of Speech
UC Berkeley（加州大学伯克利分校）；Meta AI
该研究针对语音自监督学习（SSL）的物理发音基础研究空白，通过线性探测法分析SUPERB基准中的模型，发现SSL表征与电磁发音仪轨迹高度相关，为语音SSL的可解释性提供了新视角。
2023-07-21 cs.AI cs.SD eess.AS
A Bayesian Approach to Estimation of Speaker Normalization Parameters
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在这项工作中，贝叶斯说话人归一化的方法，提出了一个独立的语音识别系统的性能下降进行补偿。本文提出的说话人归一化方法使用声道长度归一化（VTLN）技术。VTLN参数估计使用一种新的贝叶斯方法，利用吉布斯采样器，一种特殊类型的马尔可夫链蒙特卡罗方法。此外，超参数估计使用最大似然方法。该模型假设人的声道可以被建模为均匀截面的管。与文献中使用的线性模型相比，它更有效地捕捉了不同说话者声道长度的变化。本文还研究了不同的方法，如最小化均方误差（MSE）和平均绝对误差（MAE）的VTLN参数估计。单遍和两遍的方法，然后用来建立一个基于VTLN的语音识别器。从一个中等词汇的元音和印地语短语识别的实验结果表明，贝叶斯方法提高了相当大的利润率的性能。
2016-10-19 cs.CL cs.SD stat.AP
Learning Joint Articulatory-Acoustic Representations with Normalizing Flows
University of British Columbia（不列颠哥伦比亚大学）
声道的发音几何配置和所得到的语音声音的声学特性被认为具有很强的因果关系。本文旨在通过可逆神经网络模型找到元音发音域和声域之间的联合潜在表示，同时保留各自的域特定特征。我们的模型利用卷积自动编码器架构和规范化的基于流的模型，以允许正向和反向映射在半监督的方式，中间矢状声道几何形状的两个自由度的发音合成器与1D声波模型和梅尔频谱图表示的合成语音之间。我们的方法在实现发音到声学以及声学到发音映射方面取得了令人满意的性能，从而证明了我们在实现两个域的联合编码方面的成功。
2020-10-01 cs.LG cs.SD eess.AS
Interpretable Modeling of Articulatory Temporal Dynamics from real-time MRI for Phoneme Recognition
Signal Analysis and Interpretation Lab, University of Southern California（南加州大学信号分析与解释实验室）；Department of Linguistics, University of Southern California（南加州大学语言学系）
本文提出基于实时MRI的发声时序动力学建模方法，通过多特征融合提升音素识别准确率，发现舌头和嘴唇运动对识别至关重要。
2026-01-29 cs.SD eess.AS eess.IV
