Acoustic To Articulatory Speech Inversion Using Multi-Resolution Spectro-Temporal Representations Of Speech Signals
Institute for Systems Research, University of Maryland College Park（马里兰大学帕克分校系统研究所）；Pindrop Inc.（平卓普公司）
语音信号的多分辨率频谱-时间特征表示大脑如何通过将皮层细胞调谐到不同的频谱和时间调制来感知声音。这些特征产生语音信号的更高维表示。本文的目的是评估如何以及语音信号的听觉皮层表示有助于估计这些相应的信号的发音特征。由于获得发音功能的语音信号的声学特征一直是一个具有挑战性的话题感兴趣的不同的语音社区，我们调查使用这种多分辨率表示的语音信号作为声学特征的可能性。我们利用了你。的威斯康星州X射线微束（XRMB）数据库的干净的语音信号，训练前馈深度神经网络（DNN），以估计发音轨迹的六道变量。使用适当的尺度和速率矢量参数选择用于训练模型的多分辨率谱时特征的最佳集合，以获得最佳性能的模型。实验实现了0.675与地面实况道变量的相关性。我们比较了这个语音反转系统的性能与以前的实验进行梅尔频率倒谱系数（MFCC）。
2022-06-25 cs.AI cs.LG cs.SD
Reconstruction of the Complete Vocal Tract Contour Through Acoustic to Articulatory Inversion Using Real-Time MRI Data
CNRS, Inria（法国国家科学研究中心，Inria）；Inserm, IADI U1254（法国国家健康与医学研究院，IADI U1254）；Université de Lorraine（洛林大学）
本文提出了一种基于实时MRI数据的完整发音器官逆向建模方法，实现了从声带到嘴唇的整个发音器官轮廓重建，测试精度达到1.65毫米。
2025-10-01 eess.AS
Speech2rtMRI: Speech-Guided Diffusion Model for Real-time MRI Video of the Vocal Tract during Speech
University of Southern California（南加州大学）
本研究提出Speech2rtMRI，一种基于预训练语音模型和语音到视频扩散模型的数据驱动方法，利用任意语音输入生成语音时声道的实时MRI视频，为语言学习与动画角色创建提供支持。
2024-09-23 cs.CV cs.SD eess.AS
The Secret Source : Incorporating Source Features to Improve Acoustic-to-Articulatory Speech Inversion
Institute for Systems Research, University of Maryland College Park（马里兰大学帕克分校系统研究所）
在这项工作中，我们将声学派生的源功能，非周期性，周期性和音高作为额外的目标，声学发音语音反转（SI）系统。我们还提出了一个基于时间卷积的SI系统，它使用听觉频谱图作为输入语音表示，学习源和声道之间的长程依赖关系和复杂的相互作用，以改善SI任务。这些实验使用威斯康星州X射线微束（XRMB）和哈斯金斯生产率比较（HPRC）数据集进行，并与三种基线SI模型架构进行比较。建议SI系统与HPRC数据集获得接近28%的改善时，源功能被用作额外的目标。在XRMB数据集上，相同的SI系统比当前表现最好的SI模型表现好约9%。
2022-10-29 cs.SD eess.AS
Audio Data Augmentation for Acoustic-to-articulatory Speech Inversion using Bidirectional Gated RNNs
本文提出基于双向门控循环神经网络的声学-发音语音反演系统，结合数据增强技术，在干净语音上较噪声鲁棒基线相关性相对提升5%，经说话人自适应后再提升6%。
2023-05-31 eess.AS
Acoustic-to-articulatory Speech Inversion with Multi-task Learning
本文提出一种多任务学习框架，通过同时学习声学到音素映射作为共享任务，执行声学至发音语音反演，其双向门控RNN模型在估计九个声道变量上优于基线模型。
2022-05-27 eess.AS
Articulation-Informed ASR: Integrating Articulatory Features into ASR via Auxiliary Speech Inversion and Cross-Attention Fusion
University of Maryland（马里兰大学）；Department of Electrical and Computer Engineering（电气与计算机工程系）；College of Education（教育学院）
本研究提出将发音特征作为辅助任务和伪输入集成到基于Transformer的ASR框架中，通过语音反演和交叉注意力融合，在LibriSpeech上显著提升低资源条件下的识别性能。
2025-10-01 cs.AI cs.CL cs.SD
Anatomy-aware cross-speaker adaptation of complete vocal-tract acoustic-to-articulatory inversion
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）
提出基于解剖标志的几何适配框架，通过仿射变换和TPS变形实现跨说话人声道反演，无需重训，在8位说话人上达到3.19毫米最低误差。
2026-09-25 cs.AI eess.AS
Towards Automatic Speech Identification from Vocal Tract Shape Dynamics in Real-time MRI
University of British Columbia（不列颠哥伦比亚大学）
声道结构通过调节气流和在语音产生中产生不同的共振腔，在产生可区分的语音中起着至关重要的作用。它们包含了丰富的信息，可以用来更好地理解潜在的语音产生机制。作为自动映射声道形状几何声学的一步，本文采用有效的视频动作识别技术，如长期递归卷积网络（LRCN）模型，以确定不同的元音-辅音-元音（VCV）序列的动态塑造的声道。这种模型通常将基于CNN的深度分层视觉特征提取器与递归网络相结合，这理想地使网络在时空上足够深以学习用于视频分类任务的短视频剪辑的顺序动态。我们使用一个数据库，包括2D实时的【形】MRI的声道成形期间VCV发言的17个扬声器。这类算法在各种参数设置和各种分类任务的比较性能进行了讨论。有趣的是，结果显示，在语音分类的背景下，相对于通用序列或视频分类任务的模型性能的显着差异。
2018-07-29 cs.CL cs.CV cs.LG
Depression Markers in Speech: An Approach based on Tract Variables Dynamics
University of Glasgow（格拉斯哥大学）；Taif University（泰夫大学）
该研究基于声道变量动态特性识别新的抑郁生物标志物，利用最大李雅普诺夫指数等量化发音过程特性，在安卓语料库实验中，所提标志物能有效区分抑郁与对照说话者。
2026-07-29 cs.AI eess.AS
Acoustic-to-Articulatory Inversion of Clean Speech Using an MRI-Trained Model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）
本研究通过使用无噪声语音替代MRI去噪语音，实现了更有效的发音倒置，达到接近MRI性能的精度。
2026-07-23 eess.AS
Acoustic-to-articulatory Inversion based on Speech Decomposition and Auxiliary Feature
Tianjin University（天津大学）；Shenzhen Research Institute of Big Data, the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
声学-发音转换（AAI）是从语音信号中获取发音器官的运动信息。到目前为止，由于数据有限，实现与说话人无关的AAI仍然是一个挑战。此外，目前大多数的作品只使用音频语音作为输入，造成了不可避免的性能瓶颈。为了解决这些问题，首先，我们预训练一个语音分解网络，将音频语音分解为说话人嵌入和内容嵌入作为新的个性化语音特征，以适应说话人无关的情况。其次，为了进一步改进AAI，我们提出了一种新的辅助特征网络，从上述个性化语音特征中估计嘴唇辅助特征。在三个公开数据集上的实验结果表明，与只利用音频语音特征的现有方法相比，在特定说话人情况下，该方法的平均RMSE降低了0.25，平均相关系数提高了2.0%。更重要的是，在说话人无关的情况下，平均RMSE降低了0.29，平均相关系数增加了5.0%。
2022-04-02 cs.CV cs.SD eess.AS
Evince the artifacts of Spoof Speech by blending Vocal Tract and Voice Source Features
Indian Institute of Technology Hyderabad（印度理工学院海得拉巴分校）
随着合成语音生成技术的快速发展，如何区分自然语音和欺骗语音成为研究的热点。这些合成信号的识别是一项艰巨的任务，不仅对尖端的分类模型，而且对人类本身。为了防止潜在的不利影响，检测欺骗信号变得至关重要。从取证的角度来看，预测生成它们的算法以识别伪造者也很重要。这需要理解作为合成器签名的欺骗信号的基本属性。本研究着重于利用声道系统（\textit{VTS}）和声源（\textit{VS}）特征识别语音信号真伪的关键部分。在本文中，我们提出了一个系统，检测欺骗信号，以及确定相应的语音生成算法。算法的分类准确率达到99.58%.从实验中，我们发现，VS基于特征的系统给予更多的关注音素的过渡，而VTS基于特征的系统给予更多的关注语音信号的平稳段。我们执行模型融合技术的VS为基础的和VTS为基础的系统，利用互补的信息来开发一个强大的分类器。在分析混淆图时，我们发现WaveRNN的分类很差，描述了更多的自然性。另一方面，我们确定波形级联和神经源滤波器等合成器的分类精度最高。这项工作的实际意义可以帮助研究人员从取证（利用文物）和语音社区（减轻文物）。
2022-12-05 cs.SD eess.AS
Mathematical Vocoder Algorithm : Modified Spectral Inversion for Efficient Neural Speech Synthesis
在这项工作中，我们提出了一种新的数学声码器算法（修改频谱反演），产生的波形从声学特征，而无需相位估计。使用我们提出的方法的主要好处是，它排除了神经声码器的训练阶段的端到端的语音合成模型。我们的实现可以合成高保真语音在大约20 MHz的CPU和59.6MHz的GPU上。与实时相比，这是909和2，702倍。由于拟议的方法不是一种数据驱动的方法，它适用于看不见的声音和多种语言，无需任何额外的工作。所提出的方法有望适用于研究能够在录音室录音水平合成语音的神经网络模型。
2021-06-16 eess.AS
Towards Language-Agnostic Speech Inversion
University of Maryland College Park（马里兰大学帕克分校）；Yale University（耶鲁大学）；University of Cincinnati（辛辛那提大学）
研究开发语音反转系统，通过美语语音音频和发音运动学训练同时估计声道变量和三个源信息参数，并评估对未见语言的跨语言通用性。
2026-07-07 eess.AS
Silent Speech and Emotion Recognition from Vocal Tract Shape Dynamics in Real-Time MRI
University of California, Merced（加州大学默塞德分校）
口语的语音是通过改变声道周围发音器官的结构来获得的。它们包含了丰富的信息，可以用来更好地理解人类语音产生的基本机制。我们提出了一种新的基于深度神经网络的学习框架，该框架可以理解语音产生过程中声道成形的可变长度序列中的声学信息，这些信息由实时磁共振成像（rtMRI）捕获，并将其转换为文本。所提出的框架包括时空卷积，循环网络和连接主义时间分类损失，完全端到端训练。在USC-TIMIT语料库上，该模型在句子水平上取得了40.6%的PER，与现有的模型相比有很大的提高。据我们所知，这是第一项研究，证明了识别整个口语句子的基础上，一个人的发音运动捕捉的rtMRI视频。我们还对声道的每个子区域中的发音几何结构的变化进行了分析（即，咽、软腭和背侧、硬腭、唇收缩区）。结果表明，每个子区域的失真都受到情绪和性别的影响。
2021-06-16 cs.CV cs.HC cs.LG
Reconstruction of the Vocal Tract from Speech via Phonetic Representations Using MRI Data
Université de Lorraine, CNRS, Inria（洛林大学、法国国家科学研究中心、法国国家信息与自动化研究所）；IADI Université de Lorraine, Inserm, IADI U1254（洛林大学、法国健康与医学研究院、IADI U1254）
本文通过MRI数据利用语音表示，研究了在语音分割精度不同层次下重建声道几何结构的效果，发现对齐后的手动修正能获得最佳性能。
2026-03-12 eess.AS
Synchronized Three-Dimensional Vocal-Tract Motion for Speech Synchronization via Joint-Embedding Predictive Architecture Alignment
Institute of Science Tokyo（东京科学大学）
研究如何实现语音同步的三维声道运动，采用联合嵌入预测架构和强化学习/交叉熵方法，结合时长保持声学载体与校正的声道模型，在包含24个最小对刺激的评估中取得良好的自动语音识别等结果。
2026-07-14 eess.AS
Acoustic-to-articulatory Inversion of the Complete Vocal Tract from RT-MRI with Various Audio Embeddings and Dataset Sizes
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家计算机科学研究所）；Inserm（法国国家健康与医学研究院）；IADI U1254（IADI U1254实验室）
本文提出利用RT-MRI数据实现完整声带到嘴唇的发音器官逆向建模，通过对比不同音频嵌入和数据集大小对逆向结果的影响，验证了基于MRI提取的发音器官轮廓的有效性。
2026-03-30 eess.AS
ArtBoost: Synthetic Articulatory Data Augmentation for Acoustic-to-Articulatory Inversion
Anonymous 1（匿名机构1）
提出ArtBoost数据增强策略，利用大规模语音-网格数据集提取伪发音轨迹进行预训练，在有限EMA数据下提升声学到发音逆映射性能，PCC和RMSE一致改善。
2026-06-16 cs.AI cs.SD eess.AS
A small vocabulary database of ultrasound image sequences of vocal tract dynamics
Universidad Industrial de Santander（桑坦德工业大学）；Universidad Tecnológica de Bolívar（玻利瓦尔技术大学）
本文构建了一个包含同步发音和声学数据的小词汇量数据库，利用超声视频记录声道动态，涵盖30个短句和17名健康受试者，为语音研究提供资源。
2023-10-14 cs.LG cs.SD eess.AS
SPEAK WITH YOUR HANDS Using Continuous Hand Gestures to control Articulatory Speech Synthesizer
University of British Columbia（不列颠哥伦比亚大学）
本文介绍了我们在用手势控制发音语音合成引擎\textit{viz.}，粉红长号方面的进展。我们的接口翻译成连续的语音使用声道面积函数为基础的发音语音合成的手指运动和手腕弯曲。我们使用带有18个传感器的Cyberglove II来捕获手腕和单个手指的运动信息，以控制虚拟舌头。然后利用传感器的坐标和弯曲值来拟合样条舌模型，该样条舌模型平滑噪声值和异常值。考虑到上腭固定和样条模型作为动态移动的下表面（舌头）的声道，我们计算1D面积函数值被馈送到粉红长号，产生连续的语音声音。因此，通过学习操纵手腕和手指，一个人可以学会只通过手发出语音，而不需要使用声道。
2021-02-02 cs.CL cs.SD eess.AS
Acceleration of rank-constrained spatial covariance matrix estimation for blind speech extraction
The University of Tokyo（东京大学）；National Institute of Technology, Kagawa College（国立高等专门学校机构 香川高等专门学校）
本文提出了一种新的秩约束空间协方差模型估计的加速更新规则，该规则能有效地提取弥散背景噪声中的方向性目标源，而朴素的更新规则需要大量的矩阵求逆或矩阵乘法运算.我们通过扩展矩阵求逆以降低计算复杂性来解决这个问题;在参数更新步骤中，我们既不需要矩阵求逆也不需要乘法。在一个实验中，我们表明，建议的加速更新规则实现了87倍的速度比天真的计算。
2019-08-06 cs.SD eess.AS
Modeling and Estimation of Vocal Tract and Glottal Source Parameters Using ARMAX-LF Model
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对传统ARX-LF模型全极点结构无法估计反共振峰、适用语音类型有限且需迭代估计的问题，提出ARMAX-LF模型结合DNN的参数估计方法，可更快速准确地估计元音及鼻化语音的声道与声门源参数。
2024-10-07 cs.CL cs.SD eess.AS
Inverted Vocal Tract Variables and Facial Action Units to Quantify Neuromotor Coordination in Schizophrenia
本研究采用时间延迟嵌入相关分析法，探讨了精神分裂症患者的言语发音协调能力，这些患者表现出强烈的阳性症状（如幻觉和妄想）。我们发现，精神分裂症患者具有强烈的阳性症状，谁是显着生病构成复杂的协调模式，在面部和言语手势比在健康受试者中观察到的。这一观察结果与先前在重性抑郁症（MDD）中的研究结果形成对比，其中MDD受试者相对于健康对照或缓解期受试者表现出更简单的协调模式。这种差异并不奇怪，因为MDD必然伴随着精神发育迟缓（即，阴性症状），影响言语、思维和运动能力。关于言语，心理减慢导致言语减慢，其具有比来自相同说话者的言语中出现的停顿更多和更长的停顿，当他们处于缓解期时，来自健康受试者。时间延迟嵌入相关分析已被用来量化语音清晰度的协调模式的差异。目前的研究是基于从视频数据中提取的17个面部动作单元（FAU）和从同时记录的音频数据中获得的6个声道变量（TV）。电视提取使用语音反演系统的发音音位的基础上映射的声学信号声道变量。从TV和FAU计算的高级时延嵌入相关特征用于训练融合音频和视频模态的堆叠集成分类器。结果表明，有一个有前途的区别健康和精神分裂症受试者（有强烈的阳性症状）在言语的神经运动协调。
2021-02-14 eess.AS
Neural-Enhanced Dynamic Range Compression Inversion: A Hybrid Approach for Restoring Audio Dynamics
IBISC (EA4526), Univ. Evry - Paris-Saclay（IBISC（EA4526）研究所，欧比-巴黎-萨克雷大学）
针对现有DRC反演方法忽略关键参数或依赖难估计的精确参数的问题，提出结合模型反演与神经网络的混合方法，实现稳健的参数估计与音频恢复，在音乐和语音数据集上优于多种最先进技术。
2025-09-09 cs.AI cs.SD eess.AS
Acoustic to Articulatory Speech Inversion for Children with Velopharyngeal Insufficiency
本研究提出一种增强的语音反演系统，通过引入电声门图和声学特征代理声门控制，并使用伴有腭咽闭合不全（VPI）的儿童数据进行微调，有效提升了儿童鼻音率估计的PPMC表现。
2025-09-11 eess.AS
Perceptual Ratings Predict Speech Inversion Articulatory Kinematics in Childhood Speech Sound Disorders
本研究利用语音逆推神经网络和PERCEPT评分量表，验证了推断的声道变量能有效区分儿童语音障碍中 /r/ 和 /s/ 的发音错误类别与程度，并支持其临床应用价值。
2025-07-02 eess.AS
Speaker-independent Speech Inversion for Estimation of Nasalance
本文通过高速鼻咽镜同步数据验证鼻音度与腭咽运动的相关性，并训练说话人无关的时间卷积语音反演系统，结合声门源特征提升鼻音性预测。
2023-05-31 eess.AS
Enhancing Acoustic-to-Articulatory Speech Inversion by Incorporating Nasality
本文提出将鼻音率与口腔声道变量及声源特征协同建模，用于声学至发音器官语音反演，相较独立基线显著提升口腔 TVs 与鼻音率估计。
2025-06-10 eess.AS
Speech frame implementation for speech analysis and recognition
Tomsk State University of Control Systems and Radioelectronics（托木斯克国立控制系统与无线电电子大学）
所创建的语音帧的显著特征是：能够考虑说话者的情绪状态，支持与说话者的语音形成道的疾病一起工作，以及存在对许多语音信号的手动分段。此外，该系统专注于俄语语音材料，与大多数类似物不同。
2021-12-15 cs.SD eess.AS
Acoustic-to-articulatory inversion for dysarthric speech: Are pre-trained self-supervised representations favorable?
University of Southern California（南加州大学）
本研究针对构音障碍语音的声学到发音反演任务，在低资源条件下使用预训练自监督学习模型表征结合x-vectors训练BLSTM网络，发现DeCoAR等SSL特征在微调方案下显著优于MFCCs，能有效预测构音障碍发音轨迹。
2024-02-09 cs.LG cs.SD eess.AS
Acoustic to Articulatory Inversion of Speech; Data Driven Approaches, Challenges, Applications, and Future Scope
University of Kerala（克里莎尔大学）；Digital University Kerala（凯拉尔数字大学）
本综述聚焦2011-2021年语音声学-发音运动逆转换（AAI）的机器学习方法，分析其类型、目标、语料库及评估指标，指出AAI模型可提供发音反馈系统以辅助病理患者的语音治疗。
2025-04-17 cs.CL cs.SD eess.AS
Senone-aware Adversarial Multi-task Training for Unsupervised Child to Adult Speech Adaptation
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
儿童语音的声学建模是具有挑战性的，因为声道中的生理差异引起的高声学可变性。公开数据集的缺乏使这项任务更具挑战性。在这项工作中，我们提出了一种特征自适应方法，通过利用对抗性多任务训练来最大限度地减少成人和儿童语音之间senone（绑定三音素状态）水平的声学不匹配，并利用大量转录的成人语音。我们验证所提出的方法上的三个任务：儿童语音识别，儿童发音评估，和儿童流畅度分数预测。实证结果表明，我们提出的方法始终优于竞争基线，实现了7.7%的相对误差减少语音识别和高达25.2%的相对收益的评估任务。
2021-02-23 cs.AI cs.SD eess.AS
Reconstructing the Vocal Tract with Differentiable Acoustic Simulation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT RLE（麻省理工学院电子学研究实验室）；KAIST GSCT（韩国科学技术院文化技术研究生院）
本文提出一种可微且GPU加速的声道声学模拟器，通过梯度下降从语音逆推声道形状，并集成湍流模型与神经网络参数化，实现跨语言自监督自编码及无配对数据的语音驱动MRI重建。
2026-09-30 cs.CL cs.SD eess.AS
ARTI-6: Towards Six-dimensional Articulatory Speech Encoding
Signal Analysis and Interpretation Lab, University of Southern California（南加州大学信号分析与解释实验室）；Department of Linguistics, University of Southern California（南加州大学语言学系）
ARTI-6通过六维发音特征集和反向合成模型，实现了高效且自然的语音生成与反向建模。
2026-01-26 cs.AI cs.CL eess.AS
Independent and automatic evaluation of acoustic-to-articulatory inversion models
PSL Research University（PSL研究大学）
为了提高语音识别和文本到语音合成，已经提出了从声学语音信号重建发音轨迹。然而，在这些设置中是有用的，发音重建必须是扬声器独立的。此外，由于大多数研究都集中在说话者较少的单个小数据集上，因此强大的发音重建可以从组合数据集中受益。标准的评估措施，如均方根误差和皮尔逊相关性是不合适的评估模型的说话人独立性或组合数据集的有用性。我们提出了一个新的评价发音重建，这是独立的发音数据集用于培训：电话歧视ABX任务。我们使用ABX测量来评估在3个数据集（14个说话者）上训练的基于Bi-LSTM的模型，并表明它提供了与标准测量互补的信息，并使我们能够评估数据集合并的影响以及模型的说话者独立性。
2019-11-15 cs.CL cs.SD eess.AS
Two-Stream Joint-Training for Speaker Independent Acoustic-to-Articulatory Inversion
Tianjin University（天津大学）；Tianjin International Engineering Institute, Tianjin University（天津大学天津国际工程学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Institute of Linguistics, Chinese Academy of Social Sciences（中国社会科学院语言研究所）
声学发音反演（AAI）的目的是从语音音频中估计发音器官的参数。AAI面临两个共同的挑战，即有限的数据和说话人无关场景下的性能不理想。目前的研究大多集中在直接从语音中提取特征，而忽略了音素信息的重要性，这可能会限制AAI的性能。为此，我们提出了一种名为SPN的新型网络，它使用两个不同的流来执行AAI任务。首先，为了提高非特定人实验的性能，我们提出了一种新的音素流网络来估计发音参数作为音素特征。据我们所知，这是第一个工作，提取非特定人特征的音素，以提高AAI的性能。其次，为了更好地表示语音信息，我们训练了一个语音流网络，将局部特征和全局特征结合起来。在非特定人实验中，与最新的SOTA方法相比，该方法的均方根误差降低了0.18mm，皮尔逊相关系数提高了6.0%。该代码已在https://github.com/liujinyu123/AAINetwork-SPN上发布。
2023-02-26 cs.MM cs.SD eess.AS
Training Articulatory Inversion Models for Interspeaker Consistency
University of Cambridge（剑桥大学）；ALTA Institute/MIL, Department of Engineering（ALTA研究所/ MIL 工程系）
针对 AAI 中跨说话人发音目标是否一致的问题，本文利用最小对立对集合评估英语和俄语的单/多说话人 SSL 适配模型，并提出仅依赖语音数据提升说话人间一致性的训练方法。
2025-06-09 cs.LG cs.SD eess.AS
Articulatory Coordination for Speech Motor Tracking in Huntington Disease
University of Michigan（密歇根大学）；Northwestern University（西北大学）；Michigan Medicine（密歇根医学中心）
亨廷顿舞蹈病（HD）是一种进行性疾病，通常表现为运动障碍。运动严重程度（通过运动评分捕获）是评估总体HD严重程度的关键组成部分。然而，运动评分评估涉及由训练有素的医疗专业人员进行的诊所内访问，这是昂贵的，并且并不总是容易获得。语音分析为跟踪HD严重程度提供了一个有吸引力的途径，因为语音很容易远程收集，并提供了对运动变化的洞察。HD语音通常被表征为具有不规则的清晰度。考虑到这一点，声学特征，可以捕捉声道运动和发音协调是特别有前途的运动症状进展的特点在HD。在本文中，我们提出了一个实验，使用声道协调（VTC）的功能，从读取语音估计电机分数。当使用弹性网络回归模型时，我们发现VTC特征在不同长度的音频片段中显着优于其他声学特征，这突出了这些特征对短格式和长格式阅读任务的有效性。最后，我们分析VTC特征的F值分数，以可视化哪些通道与运动分数最相关。这项工作使未来的研究工作，考虑VTC功能的声学分析，目标HD运动神经病学跟踪。
2021-09-28 cs.SD eess.AS
Improved acoustic-to-articulatory inversion using representations from pretrained self-supervised learning models
Indian Institute of Technology Madras（马德拉斯印度理工学院）
在这项工作中，我们研究了预训练的自我监督学习（SSL）功能的有效性，用于学习声学到发音反转（AAI）的映射。基于信号处理的声学特征（例如MFCC）已主要用于具有深度神经网络的AAI任务。由于SSL特性对于诸如语音识别、情感分类等各种其他语音任务工作良好，我们试验了它对AAI的疗效。我们使用3种不同模型复杂度的基于Transformer神经网络的AAI模型对SSL特征进行训练，并使用来自10个受试者的数据在特定于受试者（SS），合并和微调（FT）配置中与MFCC进行性能比较，并使用相关系数（CC）评分对看不见的句子测试集进行评估。我们发现，声学特征重建的目标为基础的SSL功能，如TERA和DeCoAR工作良好的AAI，这些SSL功能的SS CC达到接近最好的FT CC的MFCC。我们还发现不同模型尺寸的结果一致。
2022-10-30 cs.SD eess.AS
Improving LPCNet-based Text-to-Speech with Linear Prediction-structured Mixture Density Network
在本文中，我们提出了一种改进的LPCNet声码器使用线性预测（LP）结构的混合密度网络（MDN）。最近提出的LPCNet声码器通过将声道LP滤波器与基于WaveRNN的声音源（即，励磁）发电机。然而，合成语音的质量往往是不稳定的，因为人声源分量不充分表示的μ律量化方法，并没有考虑整个语音产生机制的模型进行训练。为了解决这个问题，我们首先引入LP-MDN，它使自回归神经声码器结构上表示声道和声源组件之间的相互作用。然后，我们建议将LP-MDN的LPCNet声码器取代传统的离散输出连续密度分布。实验结果表明，该系统提供了高质量的合成语音通过实现平均意见得分为4.41内的文本转语音框架。
2020-01-31 eess.AS
Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
发音特征对于声学信号失真具有固有的不变性，并且已经成功地被结合到用于正常语音的自动语音识别（ASR）系统中。它们在障碍语音识别中的实际应用通常受到从受损说话者收集此类专业数据的困难的限制。本文提出了一种跨域的声学发音（A2 A）反演方法，该方法利用15小时TORGO语料库的并行声学发音数据进行模型训练，然后跨域适应102.7小时UAS语音语料库并产生发音特征。采用基于混合密度网络的神经元A2 A反演模型。跨域特征自适应网络也被用来减少TORGO和UASpeech数据之间的声学失配。在这两项任务中，结合A2 A生成的发音特征始终优于仅使用声学特征构建的基于基准混合DNN/TDNN、CTC和Conformer的端到端系统。最好的多模态系统，结合视频模态和跨域发音功能，以及数据增强和学习隐藏单元贡献（LHUC）扬声器自适应产生最低的发表词错误率（WER）的24.82%的16个构音障碍的扬声器的基准UASpeech任务。
2022-03-19 cs.AI eess.AS
Self-supervised Multimodal Speech Representations for the Assessment of Schizophrenia Symptoms
University of Maryland（马里兰大学）
本研究提出基于VQ-VAE的多模态表征学习模型，结合声道变量和面部动作单元生成语音表征，并通过多任务学习预测精神分裂症症状类别与严重程度，在多项指标上超越现有方法。
2024-11-17 cs.SD eess.AS eess.SP
Automatic vocal tract landmark localization from midsagittal MRI data
RWTH Aachen University（亚琛工业大学）
一种语言的各种语音是通过改变声道周围发音器官的形状和位置而获得的。分析它们的变化对于理解言语产生、诊断言语障碍和制定治疗计划至关重要。识别医学图像上这些结构的关键解剖标志是任何定量分析的先决条件，并且该领域中生成的数据量不断增加，需要自动解决方案。挑战在于说话者之间和说话者内部的高度可变性、发音器官之间的相互作用以及中等质量的图像。这项研究首次解决了这个问题，并通过深度学习来解决这个问题。它提出了一个专用的网络架构命名为平面网络和它的性能进行评估和比较，从文献中的11个国家的最先进的方法。该数据集包含9个扬声器的正中矢状解剖磁共振图像，每个图像支持62个关节，具有21个注释的解剖标志。结果表明，平面网络的方法优于以前的方法，导致整体的根均方误差为3.6像素/0.36厘米，在一个留一法程序中获得的扬声器。实现代码也在GitHub上公开共享。
2020-01-09 cs.CV cs.LG cs.SD
Speaker- and Text-Independent Estimation of Articulatory Movements and Phoneme Alignments from Speech
Ludwig-Maximilians University（慕尼黑路德维希-马克西米利安大学）；Universidad de Antioquia（安蒂奥基亚大学）
本文提出联合任务APTAI，通过多任务学习从原始语音同时估计发音运动、音素序列与对齐，并比较帧分类和两阶段强制对齐两种方法，在AAI上达到0.73平均相关性，帧重叠率最高约87%。
2024-07-03 cs.AI cs.CL cs.LG
Speaker conditioned acoustic-to-articulatory inversion using x-vectors
言语的产生涉及到各种发音器官的运动，包括舌头、下巴和嘴唇。从语音声学来估计发音器官的运动被称为声学发音反转（AAI）。最近，已经表明，与以特定于说话者的方式训练AAI不同，汇集来自多个说话者的声学发音数据是有益的。此外，通过在AAI的输入处的独热编码与声学特征一起使用扬声器特定信息的附加调节有益于在封闭设置的扬声器训练和测试条件下的AAI性能。在这项工作中，我们进行了实验研究的好处，使用x向量提供扬声器的特定信息条件AAI。30个说话人的实验表明，AAI性能受益于在闭集看到说话人条件下使用x向量。此外，x向量也很好地推广了未见过的扬声器评估。
2020-06-20 eess.AS
Multimodal Segmentation for Vocal Tract Modeling
University of California, Berkeley（加利福尼亚大学伯克利分校）
针对声道建模中内部器官难捕捉、标注MRI数据稀缺的问题，研究提出纯视觉分割的深度标注策略与结合音频的多模态分割算法，设立新基准并发布75人RT-MRI数据集标注，将公开标注数据量提升9倍以上。
2024-06-22 cs.CL cs.CV cs.LG
Learning Time-Graph Frequency Representation for Monaural Speech Enhancement
针对现有基于GFT的语音增强方法图拓扑固定、矩阵求逆易产生数值误差与不稳定的问题，提出可学习GFT-SVD框架，用图移位算子和Conv-1D构建可学习图拓扑与傅里叶基，无需矩阵求逆。
2025-10-02 eess.AS
Enhancing dysarthria speech feature representation with empirical mode decomposition and Walsh-Hadamard transform
Taiyuan University of Technology（太原理工大学）；Newcastle University（纽卡斯尔大学）；Peking University First Hospital（北京大学第一医院）
提出WHFEMD构音障碍语音特征增强算法，结合EMD和FWHT提取病理特征，在UA Speech和TORGO数据库上分类性能显著提升，并有效解决数据不平衡问题。
2023-12-30 cs.AI eess.AS eess.SP
Sonority Measurement Using System, Source, and Suprasegmental Information
Indian Institute of Technology Guwahati（印度理工学院瓜哈提分校）
响音的特征是具有突出的共振峰结构、高能量和高度周期性的区域。在这项工作中，声道系统，激励源和超音段特征来自语音信号进行了分析，以衡量在他们每个人的响度信息。从群延迟函数分子的希尔伯特包络中提取声道系统信息。它是从零时间窗语音信号导出的，提供了更好的共振峰分辨率。从估计的共振峰计算一个五维特征集，以测量谱峰的突出度。从线性预测残差的希尔伯特包络中提取出一个表征激励强度的特征，该特征代表了源信号的信息。在十个连续的基音周期的语音的相关性被用作表示周期性信息的超分割特征。与基线MFCC特征相比，来自语音的三个不同方面的证据的组合提供了不同发声类之间的更好的区分。所提出的响度特征在音素识别和响度分类任务中的有用性得到了证明。
2021-07-01 cs.SD eess.AS
Mel Spectrogram Inversion with Stable Pitch
Apple（苹果公司）
声码器是能够将音频信号的低维频谱表示（通常为梅尔频谱图）变换为波形的模型。现代语音生成管道使用声码器作为其最终组件。最近为语音开发的声码器模型实现了高度的真实性，使得人们自然想知道它们在音乐信号上的表现如何。与语音相比，音乐声音纹理的异质性和结构性提出了新的挑战。在这项工作中，我们专注于一个特定的人工制品，一些声码器模型设计的语音往往表现出当应用于音乐：合成持续的音符时，音高的感知不稳定性。我们认为，这种人工制品的特征声音是由于缺乏水平相位相干性，这通常是使用时域目标空间与时移不变的模型，如卷积神经网络的结果。我们提出了一个新的声码器模型，是专门为音乐设计的。提高俯仰稳定性的关键是选择由幅度谱和相位梯度组成的平移不变目标空间。我们讨论了启发我们重新制定声码器任务的原因，概述了一个工作示例，并对音乐信号进行了评估。我们的方法的结果在60%和10%的改善重建持续的注意到和弦相对于现有的模型，使用一种新的谐波误差度量。
2022-08-26 cs.LG cs.MM cs.SD
MIMO Self-attentive RNN Beamformer for Multi-speaker Speech Separation
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Tencent AI Lab（腾讯AI实验室）
最近，我们提出了基于递归神经网络（RNN）的全深度学习最小方差无失真响应（ADL-MVDR）波束形成器方法，通过用两个递归神经网络代替矩阵求逆和特征值分解，获得了优于传统MVDR的性能。在这项工作中，我们提出了一个自我关注的RNN波束形成器，通过利用自我关注的强大建模能力，进一步改进我们以前的基于RNN的波束形成器。提出了时空自注意模块，以更好地从语音和噪声的空间协方差矩阵学习波束形成权重。时间自注意模块可以帮助RNN学习协方差矩阵的全局统计。空间自关注模块被设计用于关注协方差矩阵中的通道间相关性。此外，多通道输入与多说话人的方向性特征和多说话人语音分离输出（MIMO）模型的发展，以提高推理效率。评估表明，我们提出的MIMO自关注RNN波束形成器提高了自动语音识别（ASR）的准确性和感知估计的语音质量（PESQ）对现有技术。
2021-04-26 cs.AI cs.SD eess.AS
Complete reconstruction of the tongue contour through acoustic to articulatory inversion using real-time MRI data
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家数字与人工智能研究所）；Inserm（法国国家健康与医学研究院）；IADI U1254（IADI U1254实验室）
本文通过实时MRI数据和深度学习方法实现舌头轮廓的高精度重建，利用Bi-MSTM架构和MFCC特征提升逆向处理的准确性。
2024-11-04 eess.AS
