Vocal Tract Area Estimation by Gradient Descent
Queen Mary University of London（伦敦玛丽女王大学）；Centre for Digital Music（数字音乐中心）
本文提出一种基于逆滤波和梯度下降的白盒优化方法，从元音音频中估计声门源参数与声道形状，并在复现人类发声任务上优于进化算法和神经网络等黑盒基线。
2023-07-10 cs.SD eess.AS
Open-Source Manually Annotated Vocal Tract Database for Automatic Segmentation from 3D MRI Using Deep Learning: Benchmarking 2D and 3D Convolutional and Transformer Networks
University of Iowa（爱荷华大学）；Shenandoah University（谢南多厄大学）
本研究评估深度学习算法从3D MRI自动分割声道的有效性，并发布开源手动标注数据库，基准测试2D/3D卷积及Transformer网络。
2025-02-28 cs.CV cs.SD eess.AS
Infant Vocal Tract Development Analysis and Diagnosis by Cry Signals with CNN Age Classification
Georgia State University（佐治亚州立大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
婴儿从啼哭到咿呀学语再到说话，其声道经历了一个解剖结构的重建过程。在本文中，我们提出了一种非侵入性的快速方法，使用婴儿的哭声信号与卷积神经网络（CNN）的年龄分类，以诊断异常的声道发育早在4个月的年龄。我们研究了F0，F1，F2和声谱图，并将它们与婴儿发声的出生后发展联系起来。一种新的基于CNN的年龄分类与二进制年龄对进行发现的模式和趋势的声道变化。在Baby2020上使用健康婴儿哭声和Baby Chillanto数据库中使用病理性婴儿哭声评估该方法的有效性。结果表明，我们的方法产生79.20%的准确率为健康的哭声，84.80%的窒息的哭声，和91.20%的聋哑人的哭声。我们的方法首先揭示了婴儿的声道在4个月大时发育到一定水平，婴儿可以开始控制声带产生不连续的哭声，从而导致牙牙学语。早期诊断声带发育异常，可提高家长的警惕性，尽早对婴儿进行药物治疗或训练治疗。
2021-04-23 cs.LG cs.SD eess.AS
Multimodal Segmentation for Vocal Tract Modeling
University of California, Berkeley（加利福尼亚大学伯克利分校）
针对声道建模中内部器官难捕捉、标注MRI数据稀缺的问题，研究提出纯视觉分割的深度标注策略与结合音频的多模态分割算法，设立新基准并发布75人RT-MRI数据集标注，将公开标注数据量提升9倍以上。
2024-06-22 cs.CL cs.CV cs.LG
Towards Automatic Speech Identification from Vocal Tract Shape Dynamics in Real-time MRI
University of British Columbia（不列颠哥伦比亚大学）
声道结构通过调节气流和在语音产生中产生不同的共振腔，在产生可区分的语音中起着至关重要的作用。它们包含了丰富的信息，可以用来更好地理解潜在的语音产生机制。作为自动映射声道形状几何声学的一步，本文采用有效的视频动作识别技术，如长期递归卷积网络（LRCN）模型，以确定不同的元音-辅音-元音（VCV）序列的动态塑造的声道。这种模型通常将基于CNN的深度分层视觉特征提取器与递归网络相结合，这理想地使网络在时空上足够深以学习用于视频分类任务的短视频剪辑的顺序动态。我们使用一个数据库，包括2D实时的【形】MRI的声道成形期间VCV发言的17个扬声器。这类算法在各种参数设置和各种分类任务的比较性能进行了讨论。有趣的是，结果显示，在语音分类的背景下，相对于通用序列或视频分类任务的模型性能的显着差异。
2018-07-29 cs.CL cs.CV cs.LG
Limitations of Source-Filter Coupling In Phonation
The University of British Columbia（不列颠哥伦比亚大学）
声带（声源）和声道（滤声器）的耦合是声源-滤声器清晰度理论中最关键的因素之一。传统的线性声源-滤波器理论受到了当前研究的挑战，这些研究清楚地显示了声负载对声带振动的动态行为以及声门流脉冲形状的变化的影响。本文概述了源-过滤器相互作用的基本机制，演示了各种现有的声带和声道生物力学模型的耦合的设计和工作原理。在我们的研究中，我们考虑了声源的自振荡集总元件模型和声道的计算模型作为发音器。为了了解与这些模型中的每一个相关联的源-过滤器相互作用的限制，我们比较它们的机械设计，声学和生理特性以及空气动力学模拟。
2018-11-19 cs.CL cs.SD eess.AS
Modeling and Estimation of Vocal Tract and Glottal Source Parameters Using ARMAX-LF Model
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对传统ARX-LF模型全极点结构无法估计反共振峰、适用语音类型有限且需迭代估计的问题，提出ARMAX-LF模型结合DNN的参数估计方法，可更快速准确地估计元音及鼻化语音的声道与声门源参数。
2024-10-07 cs.CL cs.SD eess.AS
Speech After Gender: A Trans-Feminine Perspective on Next Steps for Speech Science and Technology
University of California, Berkeley（加州大学伯克利分校）；Alyssa's Voice Training（艾莉莎语音训练机构）；SumianVoice（素面语音公司）；TransVoiceLessons（跨性别语音课程机构）
该研究从跨性别女性视角出发，提出VVD数据集揭示现有说话者建模方法的局限，验证了性别分类和说话者验证系统对嗓音修饰的敏感性，并提出建模嗓音质感个体特质的改进方向。
2024-07-09 cs.LG cs.SD eess.AS
An extended two-dimensional vocal tract model for fast acoustic simulation of single-axis symmetric three-dimensional tubes
University of British Columbia（不列颠哥伦比亚大学）
二维的【形】（2D）波传播的模拟是一个负担得起的计算任务，它的使用可以潜在地提高声道声学分析的时间性能。已经设计了依赖于2D波解算器并且包括三维（3D）声道状几何形状的2D表示的若干模型。然而，到目前为止，只有具有圆形横截面的直3D管的声学已经成功地用这种方法复制。此外，所得到的2D形状的模拟需要极高的时空分辨率，从而显著降低了源自2D波求解器的使用的速度提升。在本文中，我们介绍了一个正在进行的新的声道模型，扩展了二维时域差分波求解器（2.5D FDTD），通过添加管深度，来自面积函数，声学求解器。该模型结合了光的速度2D数值方案的能力，本机模拟3D管是对称的一个维度，从而放宽了以前的分辨率要求。的2.5D FDTD的实现，以及其性能的评价的情况下，静态元音建模。本文讨论了目前的特点和限制的方法，以及计算声学应用的潜在影响。
2019-09-19 cs.SD eess.AS
Speaker identification from the sound of the human breath
Carnegie Mellon University（卡内基梅隆大学）
本文研究了连续语音中呼吸音的说话人辨识潜力。语言主要是在呼气时产生的。为了补充肺部的空气，扬声器必须定期吸气。当吸气发生在连续讲话的中间时，它通常是通过嘴。语音呼吸行为已经成为许多研究的主题，包括模式，节奏和能量水平的变化。然而，一个经常被忽略的特征是在该循环的吸入阶段期间产生的{ \em声音}。言语内吸气是快速和充满活力的，张开嘴和声门进行，有效地暴露整个声道，使空气的最大摄入量。这导致由湍流引起的声道共振，这是说话者的语音产生装置的特征。因此，吸气的声音被期望携带关于说话者身份的信息。此外，与受到主动控制的其他口语声音不同，吸气声音通常更自然并且较少受到自愿影响的影响。本文的目的是证明呼吸声确实是可以用来识别说话者的生物特征。我们表明，这些声音本身可以产生非常准确的说话人识别与适当的特征表示和分类框架。
2017-12-04 cs.SD eess.AS stat.ML
Speaker dependent acoustic-to-articulatory inversion using real-time MRI of the vocal tract
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
声学到发音反转（AAI）方法从声学语音信号估计发音运动，这在诸如语音识别、合成、说话头和语言辅导的若干任务中是有用的。大多数早期的反演研究是基于点跟踪发音技术（例如EMA或XRMB）。rtMRI的优势在于它提供了上气道完整正中矢状面的动态信息，具有较高的“相对”空间分辨率。在这项工作中，我们估计正中矢状面rtMRI图像的声道扬声器相关的AAI，使用MGC-LSP频谱特征作为输入。我们应用了FC-DNN、CNN和递归神经网络，并证明了LSTM最适合这项任务。作为客观评价，我们测量了归一化的MSE，结构相似性指数（SSIM）及其复小波版本（CW-SSIM）。结果表明，FC-DNN和LSTM的组合可以实现声道的平滑生成的MR图像，其类似于原始MRI记录（平均CW-SSIM：0.94）。
2020-08-04 cs.SD eess.AS
A small vocabulary database of ultrasound image sequences of vocal tract dynamics
Universidad Industrial de Santander（桑坦德工业大学）；Universidad Tecnológica de Bolívar（玻利瓦尔技术大学）
本文构建了一个包含同步发音和声学数据的小词汇量数据库，利用超声视频记录声道动态，涵盖30个短句和17名健康受试者，为语音研究提供资源。
2023-10-14 cs.LG cs.SD eess.AS
Coding Speech through Vocal Tract Kinematics
University of California, Berkeley（加利福尼亚大学伯克利分校）
提出语音发音编码（SPARC）框架，通过发音分析与合成模型实现通用、高性能的语音推断与合成，支持未见说话人泛化及保留口音的零样本语音转换。
2024-12-14 cs.AI cs.CL cs.SD
Learning Vocal-Tract Area and Radiation with a Physics-Informed Webster Model
本文提出基于物理的Webster模型，用于估计声带面积和辐射系数，以提升歌唱语音合成的性能。
2026-02-27 cs.SD eess.AS
Spectral Study of the Vocal Tract in Vowel Synthesis: A Comparison between 1D and 3D Acoustic Analysis
University of British Columbia（英属哥伦比亚大学）；University of Alberta（阿尔伯塔大学）；Aalto University（阿尔托大学）
一个国家的最先进的1D声学合成器已被开发出来，并耦合到扬声器特定的生物力学模型的口咽在ArtiSynth。正如预期的那样，合成元音的共振峰频率与录制的音频不同。假设这种差异是由于声道模型的简化几何形状以及Navier-Stokes方程的一维实现。本文利用三维有限元法（FEM）计算了我们的声道几何形状的亥姆霍兹共振，并将其与从一维方法和音频中获得的共振峰频率进行了比较。我们希望这样的比较有助于澄清我们目前的模型和/或语音合成器的局限性。
2015-12-17 cs.SD
Auditory Representation Effective for Estimating Vocal Tract Information
Faculty of Systems Engineering, Wakayama University（和歌山大学系统工程学院）
本研究提出基于 SWMT 的 SSI 权重听觉表征方法，用于准确估计受试者的声道长度，其误差显著低于傅里叶变换等常用频谱，且能轻松引入这些频谱以提升性能。
2023-09-14 cs.SD eess.AS
Silent Speech and Emotion Recognition from Vocal Tract Shape Dynamics in Real-Time MRI
University of California, Merced（加州大学默塞德分校）
口语的语音是通过改变声道周围发音器官的结构来获得的。它们包含了丰富的信息，可以用来更好地理解人类语音产生的基本机制。我们提出了一种新的基于深度神经网络的学习框架，该框架可以理解语音产生过程中声道成形的可变长度序列中的声学信息，这些信息由实时磁共振成像（rtMRI）捕获，并将其转换为文本。所提出的框架包括时空卷积，循环网络和连接主义时间分类损失，完全端到端训练。在USC-TIMIT语料库上，该模型在句子水平上取得了40.6%的PER，与现有的模型相比有很大的提高。据我们所知，这是第一项研究，证明了识别整个口语句子的基础上，一个人的发音运动捕捉的rtMRI视频。我们还对声道的每个子区域中的发音几何结构的变化进行了分析（即，咽、软腭和背侧、硬腭、唇收缩区）。结果表明，每个子区域的失真都受到情绪和性别的影响。
2021-06-16 cs.CV cs.HC cs.LG
How far are vowel formants from computed vocal tract resonances?
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Medical Imaging Centre of Southwest Finland（芬兰西南部医学影像中心）
我们比较数值计算共振的人类声道共振峰已从语音中提取的元音发音。通过MRI从男性受试者获得了声道的几何形状，并同时记录了相应的语音。共振是通过用有限元法（FEM）求解亥姆霍兹偏微分方程来计算的。尽管有基本的外部空间声学模型，即，在开口处的狄利克雷边界条件下，对于具有小开口面积的[i]和[u]，计算出的共振结构与测量出的共振峰结构相差$\approx$ 0.7个单位音，而对于具有较大开口面积的元音[a]和[ae]，计算出的共振结构与测量出的共振峰结构相差$\approx$ 3个单位音。可能开放的软腭端口的贡献根本没有考虑在内，这增加了当前数据集中[a]的差异。我们的结论是，通过改进外部空间模型和适当地处理软腭端口开放，它是可能的计算获得四个最低元音共振峰的误差小于一个。MRI产生的声道几何形状的相应波动方程模型预计具有相当的精度。
2012-10-08 cs.SD math.DS
Vocal Tract Length Warped Features for Spoken Keyword Spotting
Indian Institute of Information Technology, Sri City（印度斯里城信息技术学院）；Aalborg University（奥尔堡大学）
针对语音关键词检测，本文提出利用声道长度规整特征的三种DNN建模与评分/拼接方法，并在Google Command数据集上验证了准确率提升。
2025-01-07 cs.AI cs.LG cs.SD
Finite element computation of elliptical vocal tract impedances using the two-microphone transfer function method
Universitat Ramon Llull（拉蒙·柳利大学）
将实验双麦克风传递函数法（TMTF）应用于计算椭圆形截面三维声道的辐射阻抗和输入阻抗的数值框架中。在其最简单的版本中，TMTF方法仅需要测量阻抗管道中两点处的声压以及相应传递函数的后处理。然而，在数值环境中使用TMTF方法时，需要考虑一些因素，这构成了本文的主要目标。特别是，包括在阻抗管壁吸收，以避免冗长的数值模拟的重要性进行了讨论和分析复杂的轴向波数为椭圆形管道推导出用于此目的。它还示出了如何的平面波的限制的TMTF方法可以在一定程度上规避通过适当的位置的虚拟麦克风，从而扩展该方法的有效性的频率范围。在此基础上，讨论了虚拟传声器间距的奇异性。数值例子包括元音/a/，/i/和/u/的辐射阻抗和元音/a/的输入阻抗的计算，对于圆形和椭圆形横截面的简化声道。
2013-02-15 cs.SD physics.class-ph
Speech2rtMRI: Speech-Guided Diffusion Model for Real-time MRI Video of the Vocal Tract during Speech
University of Southern California（南加州大学）
本研究提出Speech2rtMRI，一种基于预训练语音模型和语音到视频扩散模型的数据驱动方法，利用任意语音输入生成语音时声道的实时MRI视频，为语言学习与动画角色创建提供支持。
2024-09-23 cs.CV cs.SD eess.AS
SPEAK WITH YOUR HANDS Using Continuous Hand Gestures to control Articulatory Speech Synthesizer
University of British Columbia（不列颠哥伦比亚大学）
本文介绍了我们在用手势控制发音语音合成引擎\textit{viz.}，粉红长号方面的进展。我们的接口翻译成连续的语音使用声道面积函数为基础的发音语音合成的手指运动和手腕弯曲。我们使用带有18个传感器的Cyberglove II来捕获手腕和单个手指的运动信息，以控制虚拟舌头。然后利用传感器的坐标和弯曲值来拟合样条舌模型，该样条舌模型平滑噪声值和异常值。考虑到上腭固定和样条模型作为动态移动的下表面（舌头）的声道，我们计算1D面积函数值被馈送到粉红长号，产生连续的语音声音。因此，通过学习操纵手腕和手指，一个人可以学会只通过手发出语音，而不需要使用声道。
2021-02-02 cs.CL cs.SD eess.AS
Speaker dependent articulatory-to-acoustic mapping using real-time MRI of the vocal tract
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE伦杜莱特语言发音研究组）
发音到声学（前向）映射是使用各种发音采集技术（例如，超声舌头成像、嘴唇视频）来预测语音的技术。声道的实时MRI（rtMRI）以前未用于此目的。MRI的优点是它具有高的“相对”空间分辨率：它不仅可以捕捉舌、唇和颌的运动，还可以捕捉软腭和咽部区域，这通常是其他技术所不可能做到的。在本文中，我们训练了各种DNN（全连接，卷积和递归神经网络），用于发音到语音转换，使用rtMRI作为输入，以特定于说话者的方式。我们使用两名男性和两名女性发言者的USC-TIMIT发音数据库，他们每个人说出460句话。我们使用客观（归一化MSE和MCD）和主观测量（感知测试）来评估结果，并表明CNN-LSTM网络是首选的，它将多个图像作为输入，并且MCD得分在2.8-4.5 dB之间。在实验中，我们发现说话人“m1”的预测明显弱于其他说话人。我们表明，这是由于74%的录音扬声器'm1'是不同步的事实。
2020-08-03 cs.SD eess.AS eess.IV
Evince the artifacts of Spoof Speech by blending Vocal Tract and Voice Source Features
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
随着合成语音生成技术的快速发展，如何区分自然语音和欺骗语音成为研究的热点。这些合成信号的识别是一项艰巨的任务，不仅对尖端的分类模型，而且对人类本身。为了防止潜在的不利影响，检测欺骗信号变得至关重要。从取证的角度来看，预测生成它们的算法以识别伪造者也很重要。这需要理解作为合成器签名的欺骗信号的基本属性。本研究着重于利用声道系统（\textit{VTS}）和声源（\textit{VS}）特征识别语音信号真伪的关键部分。在本文中，我们提出了一个系统，检测欺骗信号，以及确定相应的语音生成算法。算法的分类准确率达到99.58%.从实验中，我们发现，VS基于特征的系统给予更多的关注音素的过渡，而VTS基于特征的系统给予更多的关注语音信号的平稳段。我们执行模型融合技术的VS为基础的和VTS为基础的系统，利用互补的信息来开发一个强大的分类器。在分析混淆图时，我们发现WaveRNN的分类很差，描述了更多的自然性。另一方面，我们确定波形级联和神经源滤波器等合成器的分类精度最高。这项工作的实际意义可以帮助研究人员从取证（利用文物）和语音社区（减轻文物）。
2022-12-05 cs.SD eess.AS
Automatic vocal tract landmark localization from midsagittal MRI data
RWTH Aachen University（亚琛工业大学）
一种语言的各种语音是通过改变声道周围发音器官的形状和位置而获得的。分析它们的变化对于理解言语产生、诊断言语障碍和制定治疗计划至关重要。识别医学图像上这些结构的关键解剖标志是任何定量分析的先决条件，并且该领域中生成的数据量不断增加，需要自动解决方案。挑战在于说话者之间和说话者内部的高度可变性、发音器官之间的相互作用以及中等质量的图像。这项研究首次解决了这个问题，并通过深度学习来解决这个问题。它提出了一个专用的网络架构命名为平面网络和它的性能进行评估和比较，从文献中的11个国家的最先进的方法。该数据集包含9个扬声器的正中矢状解剖磁共振图像，每个图像支持62个关节，具有21个注释的解剖标志。结果表明，平面网络的方法优于以前的方法，导致整体的根均方误差为3.6像素/0.36厘米，在一个留一法程序中获得的扬声器。实现代码也在GitHub上公开共享。
2020-01-09 cs.CV cs.LG cs.SD
Physics-Informed Neural Networks for Speech Production
Department of Mechanical Engineering, Nagaoka University of Technology（名古屋技术大学机械工程系）；Department of Electrical, Electronics and Information Engineering, Nagaoka University of Technology（名古屋技术大学电子、电子和信息工程系）
提出使用物理信息神经网络（PINNs）分析语音产生，通过可微近似处理声带碰撞，将振动周期作为可学习参数，并硬约束耦合气流与声道声学，实现从语音信号同时估计声门气流、声带振动状态和声门下压。
2026-06-23 cs.SD
LP-WaveNet: Linear Prediction-based WaveNet Speech Synthesis
Microsoft Research Asia（微软亚洲研究院）；Microsoft（微软）；Naver Corporation（Naver公司）；Yonsei University（延世大学）
提出了一种基于WaveNet语音编码框架的线性预测（LP）波形生成方法.基于WaveNet的神经声码器显著提高了参数化文语转换（TTS）系统的质量。然而，当目标数据库包含大量的声学信息，如韵律、风格或表现力时，有效地训练神经声码器是具有挑战性的。作为一种解决方案，已经提出了仅通过神经声码器产生语音源分量的方法。然而，它们往往会产生合成噪声，因为声源分量是独立处理的，而没有考虑整个语音产生过程;其中不可避免地会出现声源和声道滤波器之间的失配。为了解决这个问题，我们提出了一个LP-WaveNet声码器，其中声源和声道分量之间的复杂相互作用是在基于混合密度网络的WaveNet模型内联合训练的。实验结果表明，该系统在客观和主观上都优于传统的WaveNet声码器。特别是，所提出的方法实现了4.47 MOS的TTS框架内。
2020-03-04 cs.SD eess.AS
Arti-JEPA: Adapting Video World Model to Real-Time MRI of the Vocal Tract for Speech-Production Analysis
University of Southern California（南加州大学）；College of Staten Island, City University of New York（纽约城市大学史泰登岛学院）；University of Potsdam（波茨坦大学）
Arti-JEPA通过自监督学习适配视频世界模型至声道实时MRI，在音素预测、口吃分类和术后语音分析中验证了冻结编码器的有效性，揭示了域适配的任务依赖性及跨说话者转移差距。
2026-09-17 cs.CV cs.SD
FastSAG: Towards Fast Non-Autoregressive Singing Accompaniment Generation
The Hong Kong University of Science and Technology（香港科技大学）；Microsoft（微软）
针对现有自回归歌唱伴奏生成方法速度慢无法实时应用的问题，提出基于非自回归扩散的FastSAG框架，直接生成梅尔频谱图，搭配投影模块与损失函数保证连贯性，质量优于SingSong且速度至少提升30倍。
2024-05-13 cs.AI cs.CL cs.MM
Evidence of Vocal Tract Articulation in Self-Supervised Learning of Speech
UC Berkeley（加州大学伯克利分校）；Meta AI
该研究针对语音自监督学习（SSL）的物理发音基础研究空白，通过线性探测法分析SUPERB基准中的模型，发现SSL表征与电磁发音仪轨迹高度相关，为语音SSL的可解释性提供了新视角。
2023-07-21 cs.AI cs.SD eess.AS
Sketching With Your Voice: "Non-Phonorealistic" Rendering of Sounds via Vocal Imitation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文提出一种自动生成类人声音模仿的方法，通过调整人类声道模拟模型的控制参数并结合交际认知理论进行策略性推理，实验证明该方法比仅匹配听觉特征更符合人类直觉，为计算机图形学中的描绘研究提供了广泛启示。
2024-09-20 cs.CL cs.GR cs.HC
Study of human phonation in a full body domain
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文采用直接数值模拟的方法，在二维空间中研究了人体语音的产生和传播。声道中的流体/空气被建模为与非线性粘弹性声带（VF）相互作用的可压缩粘性流体。VF组织材料特性是多层的，具有不同的刚度，并且利用有限应变模型并在二次有限元代码中实现。流固域通过边界拟合界面耦合，并利用基于泊松方程的网格变形方法。全身域包括近VF区域、声道、软腭和嘴的简化模型，并延伸到声学远场。一种新的流入边界条件的基础上的准一维制定恒定的声门下体积速度，这是链接到VF运动，已被采用。测量的声压水平（SPL）是现实的，我们分析它们的连接到VF动态和声门和声道几何形状。
2020-05-05 cs.SD physics.bio-ph physics.flu-dyn
A Bayesian Approach to Estimation of Speaker Normalization Parameters
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
在这项工作中，贝叶斯说话人归一化的方法，提出了一个独立的语音识别系统的性能下降进行补偿。本文提出的说话人归一化方法使用声道长度归一化（VTLN）技术。VTLN参数估计使用一种新的贝叶斯方法，利用吉布斯采样器，一种特殊类型的马尔可夫链蒙特卡罗方法。此外，超参数估计使用最大似然方法。该模型假设人的声道可以被建模为均匀截面的管。与文献中使用的线性模型相比，它更有效地捕捉了不同说话者声道长度的变化。本文还研究了不同的方法，如最小化均方误差（MSE）和平均绝对误差（MAE）的VTLN参数估计。单遍和两遍的方法，然后用来建立一个基于VTLN的语音识别器。从一个中等词汇的元音和印地语短语识别的实验结果表明，贝叶斯方法提高了相当大的利润率的性能。
2016-10-19 cs.CL cs.SD stat.AP
RapVerse: Coherent Vocals and Whole-Body Motions Generations from Text
UMass Amherst（马萨诸塞大学阿默斯特分校）；Wuhan University（武汉大学）；UC San Diego（加州大学圣地亚哥分校）；Tsinghua University（清华大学）；MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；Dolby Laboratories（杜比实验室）
RapVerse通过统一生成框架，从文本歌词生成连贯唱声与全身动作，实现多模态统一建模，提升生成效果与基准性能。
2025-12-14 cs.CV cs.SD eess.AS
VocalRender: Score-Native Singing Voice Synthesis for Real-World Composition
VocalRender是一种原生乐谱歌声合成系统，通过歌词、音高等乐谱信息直接合成歌声，采用交错歌词-音符表示与自回归扩散模型，在2300小时数据集训练后，自然度CMOS较最强基线高0.42分，适配实际作曲工作流。
2026-07-31 cs.AI cs.SD
Pushing the Frontier of Full-Song Generation: Hierarchical Autoregressive Planning Meets Flow-Matching Rendering
Alibaba（阿里巴巴）
该研究提出统一歌曲生成框架，支持多项任务，由四个组件构成。通过特定编码、建模、匹配及模块实现歌曲生成，还研究多种后训练策略，实验表明该框架在评估中性能具有竞争力。
2026-07-30 cs.AI cs.SD eess.AS
Learning Physiology-Informed Vocal Spectrotemporal Representations for Speech Emotion Recognition
Frontier AI Research Centre, Macquarie University（麦考瑞大学前沿人工智能研究中心）；Shanghai Jiao Tong University（上海交通大学）
PhysioSER通过结合语音幅度和相位的生理特征，提出了一种可解释且高效的语音情绪识别方法，利用四元数卷积和对比投影对齐提升模型性能。
2026-02-03 cs.AI cs.SD eess.AS
Learning Joint Articulatory-Acoustic Representations with Normalizing Flows
University of British Columbia（不列颠哥伦比亚大学）
声道的发音几何配置和所得到的语音声音的声学特性被认为具有很强的因果关系。本文旨在通过可逆神经网络模型找到元音发音域和声域之间的联合潜在表示，同时保留各自的域特定特征。我们的模型利用卷积自动编码器架构和规范化的基于流的模型，以允许正向和反向映射在半监督的方式，中间矢状声道几何形状的两个自由度的发音合成器与1D声波模型和梅尔频谱图表示的合成语音之间。我们的方法在实现发音到声学以及声学到发音映射方面取得了令人满意的性能，从而证明了我们在实现两个域的联合编码方面的成功。
2020-10-01 cs.LG cs.SD eess.AS
NVAlign: Direct-Gradient Optimization for Non-Verbal Control in Continuous Autoregressive Flow Matching Text-to-Speech
NVAlign通过直接梯度优化，在连续自回归流匹配TTS中实现对非语言发声标签的精确控制，优于现有基线。
2026-09-29 cs.AI cs.CL cs.SD
Articulatory Coordination for Speech Motor Tracking in Huntington Disease
University of Michigan（密歇根大学）；Northwestern University（西北大学）；Michigan Medicine（密歇根医学中心）
亨廷顿舞蹈病（HD）是一种进行性疾病，通常表现为运动障碍。运动严重程度（通过运动评分捕获）是评估总体HD严重程度的关键组成部分。然而，运动评分评估涉及由训练有素的医疗专业人员进行的诊所内访问，这是昂贵的，并且并不总是容易获得。语音分析为跟踪HD严重程度提供了一个有吸引力的途径，因为语音很容易远程收集，并提供了对运动变化的洞察。HD语音通常被表征为具有不规则的清晰度。考虑到这一点，声学特征，可以捕捉声道运动和发音协调是特别有前途的运动症状进展的特点在HD。在本文中，我们提出了一个实验，使用声道协调（VTC）的功能，从读取语音估计电机分数。当使用弹性网络回归模型时，我们发现VTC特征在不同长度的音频片段中显着优于其他声学特征，这突出了这些特征对短格式和长格式阅读任务的有效性。最后，我们分析VTC特征的F值分数，以可视化哪些通道与运动分数最相关。这项工作使未来的研究工作，考虑VTC功能的声学分析，目标HD运动神经病学跟踪。
2021-09-28 cs.SD eess.AS
DNN-HMM based Speaker Adaptive Emotion Recognition using Proposed Epoch and MFCC Features
National Institute of Technology Patna（巴特那国家技术学院）；Central University of South Bihar（南比哈尔中央大学）
语音是由时变声道系统受时变激励源激励而产生的。因此，语音中的信息，如信息、情感、语言、说话人等是激励源和声道系统共同作用的结果。然而，很少有利用激励源特征来识别情感。在我们早期的工作中，我们提出了一种新的方法来提取声门闭合瞬间（GCI）称为历元。在本文中，我们探讨了时期的特征，即瞬时音调，相位和强度的时期区分的情绪。我们将激励源特征和众所周知的男频倒谱系数（MFCC）特征相结合，开发了一个性能更好的情感识别系统。DNN-HMM说话人自适应模型已经使用MFCC，历元和组合特征开发。IEMOCAP情感数据库已被用来评估模型。当分别使用MFCC和历元特征时，情感识别系统的平均准确率分别为59.25%和54.52%。当MFCC和历元特征相结合时，识别性能提高到64.2%。
2018-06-04 cs.AI cs.LG cs.SD
Interpretable Modeling of Articulatory Temporal Dynamics from real-time MRI for Phoneme Recognition
Signal Analysis and Interpretation Lab, University of Southern California（南加州大学信号分析与解释实验室）；Department of Linguistics, University of Southern California（南加州大学语言学系）
本文提出基于实时MRI的发声时序动力学建模方法，通过多特征融合提升音素识别准确率，发现舌头和嘴唇运动对识别至关重要。
2026-01-29 cs.SD eess.AS eess.IV
A Wavelet Transform Based Scheme to Extract Speech Pitch and Formant Frequencies
University of Victoria（维多利亚大学）；Shahid Bahonar University of Kerman（克尔曼沙希德·巴霍纳尔大学）；Politecnico di Milano（米兰理工大学）
基音频率和基频频率是语音处理应用中的重要特征。声带输出元音的周期被称为音高或基频，共振峰频率基本上是声道的共振频率。这些特征在不同的人甚至不同的词之间都有所不同，但它们都在一定的频率范围内。实际上，对于大多数语音处理来说，前三个共振峰就足够了。特征提取和分类是每个语音识别系统的主要组成部分。在这篇文章中，提出了两种基于小波的方法来提取上述功能的帮助下，滤波器组的想法。通过对几种语音信号的特征提取结果进行比较，发现小波变换比倒谱方法具有更好的准确性，且对噪声不敏感。此外，还对几种基于模糊的语音分类技术进行了评述。
2022-09-07 cs.SD eess.AS
Quasi-Periodic Parallel WaveGAN: A Non-autoregressive Raw Waveform Generative Model with Pitch-dependent Dilated Convolution Neural Network
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；Graduate School of Information Science, Nagoya University（名古屋大学信息科学研究科）；National Institute of Information and Communications Technology（信息通信研究机构）；Information Technology Center, Nagoya University（名古屋大学信息技术中心）
在本文中，我们提出了一个准周期并行WaveGAN（QPPWG）波形生成模型，该模型将准周期（QP）结构应用于并行WaveGAN（PWG）模型，使用音调相关的扩张卷积网络（PDCNN）。PWG是一种基于小尺寸GAN的原始波形生成模型，由于其紧凑的模型和非自回归（非AR）和非因果机制，其生成时间比实时快得多。虽然PWG实现了高保真语音生成，但是通用且简单的网络架构对于不可见的辅助基频（$F_{0}$）特征（诸如缩放的$F_{0}$）缺乏音调可控性。为了提高音调的可控性和语音建模能力，我们应用QP结构与PDCNN的PWG，它引入了音高信息的网络，通过动态地改变网络结构对应的辅助$F_{0}$功能。客观和主观实验结果表明，QPPWG优于PWG的辅助$F_{0}$特征进行缩放。此外，QPPWG的中间输出的分析也显示出更好的可处理性和可解释性的QPPWG，它分别使用级联的固定和自适应块的QP结构的频谱和激励类信号的模型。
2021-02-19 cs.SD eess.AS
