Articulatory Source-Filter TTS: Physically Grounded Control through Vocal Tract Kinematics
Indian Institute of Science (IISc)（印度科学学院）；Carnegie Mellon University（卡内基梅隆大学）
提出基于发音运动学的可控源-滤波器TTS，通过AAI生成轨迹控制滤波器，OT-CFM细化源，实现解耦与细粒度控制如口音修改。
2026-10-02 eess.AS
Speaker dependent articulatory-to-acoustic mapping using real-time MRI of the vocal tract
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE伦杜莱特语言发音研究组）
发音到声学（前向）映射是使用各种发音采集技术（例如，超声舌头成像、嘴唇视频）来预测语音的技术。声道的实时MRI（rtMRI）以前未用于此目的。MRI的优点是它具有高的“相对”空间分辨率：它不仅可以捕捉舌、唇和颌的运动，还可以捕捉软腭和咽部区域，这通常是其他技术所不可能做到的。在本文中，我们训练了各种DNN（全连接，卷积和递归神经网络），用于发音到语音转换，使用rtMRI作为输入，以特定于说话者的方式。我们使用两名男性和两名女性发言者的USC-TIMIT发音数据库，他们每个人说出460句话。我们使用客观（归一化MSE和MCD）和主观测量（感知测试）来评估结果，并表明CNN-LSTM网络是首选的，它将多个图像作为输入，并且MCD得分在2.8-4.5 dB之间。在实验中，我们发现说话人“m1”的预测明显弱于其他说话人。我们表明，这是由于74%的录音扬声器'm1'是不同步的事实。
2020-08-03 cs.SD eess.AS eess.IV
From perception to production: how acoustic invariance facilitates articulatory learning in a self-supervised vocal imitation model
提出一种基于自监督学习的声学到发音映射计算模型，利用预训练wav2vec 2.0的中间层表示平衡语音可辨别性与说话人不变性，显著优于MFCC，能学习人类发音轨迹并产生可理解语音，为婴儿语音习得理论提供计算证据。
2025-09-13 eess.AS
Speaker dependent acoustic-to-articulatory inversion using real-time MRI of the vocal tract
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
声学到发音反转（AAI）方法从声学语音信号估计发音运动，这在诸如语音识别、合成、说话头和语言辅导的若干任务中是有用的。大多数早期的反演研究是基于点跟踪发音技术（例如EMA或XRMB）。rtMRI的优势在于它提供了上气道完整正中矢状面的动态信息，具有较高的“相对”空间分辨率。在这项工作中，我们估计正中矢状面rtMRI图像的声道扬声器相关的AAI，使用MGC-LSP频谱特征作为输入。我们应用了FC-DNN、CNN和递归神经网络，并证明了LSTM最适合这项任务。作为客观评价，我们测量了归一化的MSE，结构相似性指数（SSIM）及其复小波版本（CW-SSIM）。结果表明，FC-DNN和LSTM的组合可以实现声道的平滑生成的MR图像，其类似于原始MRI记录（平均CW-SSIM：0.94）。
2020-08-04 cs.SD eess.AS
Speaker-Independent Acoustic-to-Articulatory Inversion through Multi-Channel Attention Discriminator
Yonsei University（延世大学）
提出一种基于预训练SSL表征和对抗训练的与说话人无关的声学至发音反演模型，通过引入多时长音素判别器捕捉多通道信号关系，达到0.847的皮尔逊相关系数，实现了最先进性能。
2024-06-25 cs.SD eess.AS eess.SP
Enhancing Pathological Speech through Articulatory Bottlenecks
本文提出一种通过残差映射器干预发音对齐潜在空间的方法，在保留说话人和韵律信息的同时增强构音障碍语音，并验证了显式发音监督优于无监督表征。
2026-10-06 eess.AS
Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For Disordered Speech Recognition
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
发音特征对于声学信号失真具有固有的不变性，并且已经成功地被结合到用于正常语音的自动语音识别（ASR）系统中。它们在障碍语音识别中的实际应用通常受到从受损说话者收集此类专业数据的困难的限制。本文提出了一种跨域的声学发音（A2 A）反演方法，该方法利用15小时TORGO语料库的并行声学发音数据进行模型训练，然后跨域适应102.7小时UAS语音语料库并产生发音特征。采用基于混合密度网络的神经元A2 A反演模型。跨域特征自适应网络也被用来减少TORGO和UASpeech数据之间的声学失配。在这两项任务中，结合A2 A生成的发音特征始终优于仅使用声学特征构建的基于基准混合DNN/TDNN、CTC和Conformer的端到端系统。最好的多模态系统，结合视频模态和跨域发音功能，以及数据增强和学习隐藏单元贡献（LHUC）扬声器自适应产生最低的发表词错误率（WER）的24.82%的16个构音障碍的扬声器的基准UASpeech任务。
2022-03-19 cs.AI eess.AS
Two-Stream Joint-Training for Speaker Independent Acoustic-to-Articulatory Inversion
Tianjin University（天津大学）；Tianjin International Engineering Institute, Tianjin University（天津大学天津国际工程学院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Institute of Linguistics, Chinese Academy of Social Sciences（中国社会科学院语言研究所）
声学发音反演（AAI）的目的是从语音音频中估计发音器官的参数。AAI面临两个共同的挑战，即有限的数据和说话人无关场景下的性能不理想。目前的研究大多集中在直接从语音中提取特征，而忽略了音素信息的重要性，这可能会限制AAI的性能。为此，我们提出了一种名为SPN的新型网络，它使用两个不同的流来执行AAI任务。首先，为了提高非特定人实验的性能，我们提出了一种新的音素流网络来估计发音参数作为音素特征。据我们所知，这是第一个工作，提取非特定人特征的音素，以提高AAI的性能。其次，为了更好地表示语音信息，我们训练了一个语音流网络，将局部特征和全局特征结合起来。在非特定人实验中，与最新的SOTA方法相比，该方法的均方根误差降低了0.18mm，皮尔逊相关系数提高了6.0%。该代码已在https://github.com/liujinyu123/AAINetwork-SPN上发布。
2023-02-26 cs.MM cs.SD eess.AS
Speaker- and Text-Independent Estimation of Articulatory Movements and Phoneme Alignments from Speech
Ludwig-Maximilians University（慕尼黑路德维希-马克西米利安大学）；Universidad de Antioquia（安蒂奥基亚大学）
本文提出联合任务APTAI，通过多任务学习从原始语音同时估计发音运动、音素序列与对齐，并比较帧分类和两阶段强制对齐两种方法，在AAI上达到0.73平均相关性，帧重叠率最高约87%。
2024-07-03 cs.AI cs.CL cs.LG
Style Modeling for Multi-Speaker Articulation-to-Speech
Yonsei University（延世大学）
本文提出一种多说话人发音到语音合成框架，通过估计风格嵌入并融合卷积与Transformer注意力，显著提升合成语音质量。
2023-12-21 cs.SD eess.AS
Articulatory and bottleneck features for speaker-independent ASR of dysarthric speech
National University of Singapore（新加坡国立大学）；Radboud University（拉德堡德大学）；University of Maryland, College Park（马里兰大学帕克分校）；Pindrop；SRI International（SRI国际）
人口快速老龄化刺激了辅助设备的发展，为患有各种病因的需要者提供个性化的医疗支持。一个突出的临床应用是计算机辅助的语音训练系统，其使得能够对在患者的家庭环境中因交流障碍而受损的患者进行个性化的语音治疗。这样的系统依赖于鲁棒的自动语音识别（ASR）技术以能够提供准确的发音反馈。与长期的目标，开发现成的ASR系统，可以纳入临床背景下，没有事先的扬声器信息，我们比较了ASR性能的扬声器独立的瓶颈和发音功能的构音障碍的语音与专用的神经网络为基础的声学模型，已被证明是强大的对spectrotemporal偏差。我们报告的ASR性能，这些系统上的两个构音障碍的语音数据集的不同特征，以量化所取得的性能增益。尽管构音障碍和正常语音之间的剩余性能差距，显着的改善已被报告在这两个数据集上使用说话者独立的ASR架构。
2019-05-21 cs.CL cs.SD eess.AS
Acoustic-to-articulatory Inversion based on Speech Decomposition and Auxiliary Feature
Tianjin University（天津大学）；Shenzhen Research Institute of Big Data, the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）
声学-发音转换（AAI）是从语音信号中获取发音器官的运动信息。到目前为止，由于数据有限，实现与说话人无关的AAI仍然是一个挑战。此外，目前大多数的作品只使用音频语音作为输入，造成了不可避免的性能瓶颈。为了解决这些问题，首先，我们预训练一个语音分解网络，将音频语音分解为说话人嵌入和内容嵌入作为新的个性化语音特征，以适应说话人无关的情况。其次，为了进一步改进AAI，我们提出了一种新的辅助特征网络，从上述个性化语音特征中估计嘴唇辅助特征。在三个公开数据集上的实验结果表明，与只利用音频语音特征的现有方法相比，在特定说话人情况下，该方法的平均RMSE降低了0.25，平均相关系数提高了2.0%。更重要的是，在说话人无关的情况下，平均RMSE降低了0.29，平均相关系数增加了5.0%。
2022-04-02 cs.CV cs.SD eess.AS
Coding Speech through Vocal Tract Kinematics
University of California, Berkeley（加利福尼亚大学伯克利分校）
提出语音发音编码（SPARC）框架，通过发音分析与合成模型实现通用、高性能的语音推断与合成，支持未见说话人泛化及保留口音的零样本语音转换。
2024-12-14 cs.AI cs.CL cs.SD
Enhancing Acoustic-to-Articulatory Inversion with Multi-Target Pretraining for Low-Resource Settings
Indian Institute of Science, Bengaluru（印度科学学院班加罗尔分校）
提出一种多目标预训练方法，利用音素标签、发音特征标签和关键发音器官标签，在低资源场景下提升声学-发音反演性能，同时降低推理开销。
2026-07-03 eess.AS
Acoustic-to-Articulatory Inversion of Clean Speech Using an MRI-Trained Model
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；Inserm（法国国家健康与医学研究院）
本研究通过使用无噪声语音替代MRI去噪语音，实现了更有效的发音倒置，达到接近MRI性能的精度。
2026-07-23 eess.AS
Speech Synthesis from Text and Ultrasound Tongue Image-based Articulatory Input
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE Lendület 舌部发音研究组）；University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（MTA-SZTE 人工智能研究组）；Eötvös Loránd University（厄特沃什·罗兰大学）
发音信息已被证明在提高基于HMM和基于DNN的文本到语音合成的性能方面是有效的。语音合成的研究传统上集中在文本到语音的转换，当输入是文本或估计的语言表示，和目标是合成语音。然而，在过去十年中已经兴起的研究领域是发音到语音合成（具有无声语音接口SSI的目标应用），当目标是从发音器官的运动的某种表示合成语音时。在本文中，我们扩展了传统的（基于声码器的）DNN-TTS与发音输入，估计从超声舌图像。我们比较了纯文本、纯超声和组合输入。使用来自八个扬声器的数据，我们表明，组合的文本和发音输入可以在有限的数据场景中具有优势，即，它可以增加合成语音的自然度相比，单一的文本输入。此外，我们分析了几个扬声器的超声舌记录，并表明在超声换能器定位的错位可能会对最终的合成性能产生负面影响。
2021-07-05 cs.SD eess.AS
Learning to Compute the Articulatory Representations of Speech with the MIRRORNET
Institute for Systems Research, University of Maryland College Park（马里兰大学帕克分校系统研究所）
本文提出受感觉运动学习启发的MirrorNet自编码器，仅用约30分钟发音数据初始化后以无监督方式训练，即可控制发音合成器并学习到与完全监督系统精度相当的发音表征。
2023-05-25 cs.SD eess.AS
Repeat after me: Self-supervised learning of acoustic-to-articulatory mapping by vocal imitation
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）；GIPSA-lab（格勒诺布尔图像语音信号自动化实验室）；Univ. Savoie Mont Blanc（萨瓦勃朗峰大学）；LPNC（认知神经科学实验室）
我们提出了一个计算模型的语音生产相结合的预先训练的神经发音合成器能够再现复杂的语音刺激从一组有限的可解释的发音参数，基于DNN的内部正向模型预测发音命令的感官后果，和内部逆模型的基础上恢复发音命令从声学语音输入的递归神经网络。前向和反向模型都是以自监督的方式从来自不同说话者的原始仅声学语音数据中联合训练的。仿真结果得到了客观和主观的评价，显示出令人鼓舞的效果。
2022-04-05 cs.CL cs.SD eess.AS
Enhancing Acoustic-to-Articulatory Speech Inversion by Incorporating Nasality
本文提出将鼻音率与口腔声道变量及声源特征协同建模，用于声学至发音器官语音反演，相较独立基线显著提升口腔 TVs 与鼻音率估计。
2025-06-10 eess.AS
Audio Data Augmentation for Acoustic-to-articulatory Speech Inversion using Bidirectional Gated RNNs
本文提出基于双向门控循环神经网络的声学-发音语音反演系统，结合数据增强技术，在干净语音上较噪声鲁棒基线相关性相对提升5%，经说话人自适应后再提升6%。
2023-05-31 eess.AS
Speaker-conditioned Target Speaker Extraction based on Customized LSTM Cells
说话者调节的目标说话者提取系统依赖于关于目标说话者的辅助信息来从多个说话者的混合中提取目标说话者信号。通常，应用深度神经网络来隔离相关的目标说话者特征。在本文中，我们专注于基于CNN-LSTM分离器网络和需要目标说话人参考语音的说话人嵌入器网络的单通道目标说话人提取系统。在分离器网络的LSTM层中，我们建议自定义LSTM单元，以便通过修改遗忘门中的信息处理来只记住与目标说话者对应的特定语音模式。使用Librispeech数据集的两个说话人混合的实验结果表明，与使用标准LSTM单元相比，这种定制显着提高了目标说话人提取性能。
2021-04-09 eess.AS
Silent versus modal multi-speaker speech recognition from ultrasound and video
Amazon（亚马逊公司）；Rasa Technologies（Rasa科技公司）
我们研究了多说话人语音识别从超声图像的舌头和视频图像的嘴唇。我们训练我们的系统从模态语音的成像数据，并评估两种说话模式的匹配测试集：无声和模态语音。我们观察到，与模态语音识别相比，来自成像数据的无声语音识别表现不佳，这可能是由于训练和测试之间的说话模式不匹配。我们使用解决域失配的技术，如fMLLR和无监督模型自适应，来提高无声语音识别的性能。我们还分析了无声和模态言语的话语持续时间和发音空间的大小方面的属性。为了估计发音空间，我们计算从超声舌图像中提取的舌样条的凸包。总的来说，我们观察到，沉默语的持续时间比情态语的持续时间长，并且沉默语比情态语覆盖更小的发音空间。虽然这两个属性在说话模式中具有统计学意义，但它们与语音识别的单词错误率并不直接相关。
2021-02-27 cs.CL cs.SD eess.AS
On the Relationship between Accent Strength and Articulatory Features
Signal Analysis and Interpretation Laboratory（信号分析与解读实验室）；Department of Linguistics（语言学系）
本文通过自监督发音逆推技术估计发音特征，以音素级差异量化口音强度，发现舌头定位模式可区分美式和英式英语，尤其在儿化音和低后元音上差异显著。
2025-07-03 cs.AI cs.CL cs.SD
Deep Speech Synthesis from Multimodal Articulatory Representations
University of California, Berkeley（加州大学伯克利分校）；University of Bremen（不来梅大学）；Carnegie Mellon University（卡内基梅隆大学）
针对发音数据稀缺问题，提出一种多模态预训练框架，通过迁移学习有效提升了基于MRI和肌电图的低资源发音到声学语音合成性能，在可懂度与多项质量指标上显著优于基线。
2024-12-17 cs.SD eess.AS
Adaptation of Tacotron2-based Text-To-Speech for Articulatory-to-Acoustic Mapping using Ultrasound Tongue Imaging
Budapest University of Technology and Economics（布达佩斯科技经济大学）；University of Szeged（塞格德大学）；MTA-SZTE Research Group on Artificial Intelligence（匈牙利科学院-塞格德大学人工智能研究组）；Eötvös Loránd University（厄特沃什·罗兰大学）；MTA-ELTE Lendület Lingual Articulation Research Group（匈牙利科学院-厄特沃什·罗兰大学林杜莱特舌部发音研究组）
对于发音到声学映射，通常只有有限的并行训练数据可用，因此无法应用像Tacotron 2这样的完全端到端解决方案。在本文中，我们实验了Tacotron 2文本转语音模型的迁移学习和自适应，以提高有限数据库的基于超声的发音到声学映射的最终合成质量。我们使用多扬声器预训练的Tacotron2 TTS模型和预训练的WaveGlow神经声码器。发音到声学的转换包含三个步骤：1）从一系列超声舌图像记录中，3D卷积神经网络预测预训练的Tacotron 2模型的输入，2）Tacotron 2模型将此中间表示转换为80维梅尔频谱图，以及3）应用WaveGlow模型进行最终推断。该生成的语音包含来自超声记录的原始发音数据的定时，但F0轮廓和频谱信息由Tacotron 2模型预测。F0值与原始超声图像无关，但代表目标说话者，因为它们是从预训练的Tacotron 2模型推断出来的。在我们的实验中，我们证明了所提出的解决方案的合成语音质量比我们早期的模型更自然。
2021-07-26 cs.AI cs.SD eess.AS
Masked Autoencoders Are Articulatory Learners
University Of Maryland, College Park（马里兰大学帕克分校）；Institute For Systems Research（系统研究所）
本文提出基于Masked Autoencoders的深度学习方法，成功重建XRMB数据集中被错误追踪的发音记录，恢复了3.28小时此前无法使用的录音。
2023-05-18 cs.LG cs.SD eess.AS
Tracking Articulatory Dynamics in Speech with a Fixed-Weight BiLSTM-CNN Architecture
University of Kerala（克里莎尔大学）；Digital University Kerala（卡里什拉数字大学）
本文提出一种固定权重的BiLSTM-CNN架构，用于从语音声学预测舌头和嘴唇的发音特征，在多种模式下优于自适应权重初始化，推动了发音特征预测模型的稳健发展。
2025-04-25 cs.CL cs.SD eess.AS
Language-Agnostic Meta-Learning for Low-Resource Text-to-Speech with Articulatory Features
Institute for Natural Language Processing（自然语言处理研究所）；University of Stuttgart（斯图加特大学）
虽然神经文本到语音系统在高资源场景中表现得非常好，但由于缺乏适当的训练数据，它们无法应用于世界上6,000多种口语中的大多数。在这项工作中，我们使用的嵌入来自发音向量，而不是嵌入来自音素身份学习音素表示，跨语言举行。结合语言不可知的Meta学习，这使我们能够在30分钟的数据上微调高质量的文本到语音模型，这些数据来自以前看不见的说话者所说的以前看不见的语言。
2022-03-07 cs.CL cs.LG eess.AS
RT-VC: Real-Time Zero-Shot Voice Conversion with Speech Articulatory Coding
UC Berkeley（加州大学伯克利分校）
本研究针对语音转换的实时性需求，提出RT-VC零样本实时语音转换系统，通过发音特征空间解耦内容与说话人特征并结合DDSP实现高效声码合成，在保持SOTA级合成质量的同时将CPU延迟降至61.4ms，较现有方法降低13.3%。
2025-06-12 cs.AI eess.AS
Speaker conditioned acoustic modeling for multi-speaker conversational ASR
在本文中，我们提出了一种新的方法，从单通道语音记录的语音对话与自然扬声器重叠的转录。所提出的模型是一个说话人日记系统和混合自动语音识别（ASR）系统的组合。ASR系统中的说话人条件声学模型（SCAM）由一系列嵌入层组成，这些嵌入层使用来自日记化系统的说话人活动输入来导出说话人特定嵌入。SCAM的输出是用于解码对话中每个扬声器的转录的扬声器特定的senone。在这项工作中，我们的实验与自动扬声器活动的决定使用端到端扬声器日记系统。还提出了一种联合学习方法，其中日志化模型和ASR声学模型被联合优化。实验是在Switchboard电话会话语料库中的混合通道双说话人录音上进行的。在这些实验中，我们表明，所提出的声学模型，结合扬声器活动决策和联合优化，显着提高了ASR系统与显式源过滤（相对改善12%的字错误率（WER）的基线系统）。
2022-08-29 eess.AS
Acoustic to Articulatory Inversion of Speech; Data Driven Approaches, Challenges, Applications, and Future Scope
University of Kerala（克里莎尔大学）；Digital University Kerala（凯拉尔数字大学）
本综述聚焦2011-2021年语音声学-发音运动逆转换（AAI）的机器学习方法，分析其类型、目标、语料库及评估指标，指出AAI模型可提供发音反馈系统以辅助病理患者的语音治疗。
2025-04-17 cs.CL cs.SD eess.AS
How Bilingual Are SSL Speech Models? Cross-Lingual Probing of Articulatory Encoding with Finnish and Russian EMA
University Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, France（法国格勒诺布尔阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔国立理工学院，GIPSA实验室）；University of Eastern Finland, Computational Speech Group, Finland（芬兰东芬兰大学，计算语音组）
通过芬兰语-英语双语者的EMA数据，发现SSL模型能有效跨语言编码发音特征，中间层表现最佳，多语言模型优于单语言模型，且舌部运动比唇部运动更可预测。
2026-07-01 cs.SD eess.AS
Extending Text-to-Speech Synthesis with Articulatory Movement Prediction using Ultrasound Tongue Imaging
Budapest University of Technology and Economics（布达佩斯技术与经济大学）；MTA-ELTE Lendület Lingual Articulation Research Group（MTA-ELTE Lendület 舌部发音研究组）
在本文中，我们提出了我们的第一个实验，在文本到清晰度预测，使用超声舌图像的目标。我们扩展了传统的（基于声码器的）DNN-TTS框架，预测PCA压缩的超声图像，其中连续的舌头运动可以与合成语音同步重建。我们使用八个扬声器的数据，训练全连接和递归神经网络，并表明FC-DNN更适合于预测的序列数据比LSTM，在有限的训练数据的情况下。客观实验和可视化预测结果表明，该方法是可行的，生成的超声视频接近自然舌运动。从文本输入的发音运动预测对于视听语音合成或计算机辅助发音训练可以是有用的。
2021-07-12 cs.SD eess.AS
Speaker-Conditioned Phrase Break Prediction for Text-to-Speech with Phoneme-Level Pre-trained Language Model
本文提出融合说话人嵌入并引入音素级预训练语言模型的短语停顿预测方法，支持少样本适配未见说话人，主客观实验均验证其有效性。
2025-08-31 eess.AS
Self-Supervised Models of Speech Infer Universal Articulatory Kinematics
UC Berkeley（加州大学伯克利分校）；Rembrand（伦勃朗）；Carnegie Mellon University（卡内基梅隆大学）
本文揭示语音自监督模型能够从声学信号推断通用发音运动学，且该能力跨语言、性别和方言可迁移，为构建可解释的语言无关语音模型提供新方向。
2024-01-16 cs.CL eess.AS
MRI2Speech: Speech Synthesis from Articulatory Movements Recorded by Real-time MRI
IIIT Hyderabad（印度国际信息技术学院海得拉巴分校）；TCS Research（塔塔咨询服务公司研究院）
针对实时MRI语音合成受噪声干扰、可懂度差的问题，提出适配AV-HuBERT的文本预测加流时长预测的新方法，在USC-TIMIT上WER达15.18%，实现显著提升且具备跨说话人泛化性。
2025-01-17 cs.AI cs.SD eess.AS
Phase Aware Ear-Conditioned Learning for Multi-Channel Binaural Speaker Separation
提出PEASE-8网络，通过复数STFT和早期解码器层引入原始STFT输入，端到端联合实现双说话人分离与去混响，在混响等条件下取得优异性能且无需置换不变训练。
2025-10-13 eess.AS
Acoustic-to-articulatory Inversion of the Complete Vocal Tract from RT-MRI with Various Audio Embeddings and Dataset Sizes
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家计算机科学研究所）；Inserm（法国国家健康与医学研究院）；IADI U1254（IADI U1254实验室）
本文提出利用RT-MRI数据实现完整声带到嘴唇的发音器官逆向建模，通过对比不同音频嵌入和数据集大小对逆向结果的影响，验证了基于MRI提取的发音器官轮廓的有效性。
2026-03-30 eess.AS
Flexible Multi-Channel Target Speaker Extraction Using Geometry-Conditioned Spatially Selective Non-linear Filters
Carl von Ossietzky Universität Oldenburg（奥尔登堡卡尔·冯·奥西茨基大学）
本文提出了一种基于几何条件的空间选择性非线性滤波器（GC-SSF），通过引入基于FiLM层的几何条件分支，结合方向到达（DOA）和麦克风位置的特征（DOA-MPE），以提高在不同麦克风几何配置下的适应性和空间选择性。
2026-05-18 eess.AS
Decoding Vocal Articulations from Acoustic Latent Representations
本研究提出声学到发音反转的新型神经编码器系统，采用自监督变分自编码器和EnCodec、Wav2Vec预训练模型两种方案，验证了神经架构可同时封装声学与发音特征，速度优于传统方法，预测参数可生成类人元音。
2024-06-20 eess.AS
End-to-End Speaker Diarization Conditioned on Speech Activity and Overlap Detection
Center for Language and Speech Processing, Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）
在本文中，我们提出了一个有条件的多任务学习方法的端到端神经说话人日记（EEND）。与传统的基于聚类的方法相比，EEND系统表现出良好的性能，特别是在重叠语音的情况下。在本文中，为了进一步提高EEND系统的性能，我们提出了一种新的多任务学习框架，解决了扬声器日记和所需的子任务，同时明确考虑任务依赖。我们优化说话人日记的条件下，语音活动和重叠检测的子任务的说话人日记，基于概率链规则。实验结果表明，我们提出的方法可以利用一个子任务来有效地建模说话人日记，并优于传统的EEND系统的日记错误率。
2021-06-08 cs.SD eess.AS
Incorporating L2 Phonemes Using Articulatory Features for Robust Speech Recognition
NAVER Cloud（NAVER云）
本文提出通过发音特征引入韩语 L2 音素，并以端到端 LF-MMI 训练声学模型建模发音变体，从而仅用 L1 数据提升非母语 ASR，L2 微调还能同时改善两类语音识别。
2023-06-05 cs.CL cs.LG cs.SD
Automatic dysarthric speech detection exploiting pairwise distance-based convolutional neural networks
构音障碍语音自动检测技术为构音障碍的临床诊断和治疗提供了可靠、经济的计算机辅助工具。在本文中，我们提出了一种新的自动构音障碍语音检测方法的基础上分析的成对距离矩阵，使用卷积神经网络（CNN）。我们通过发音后验子来表示话语，并考虑成对的语音平衡表示，其中一个表示来自健康说话者（即，参考表示）和来自测试说话者的另一个表示（即，测试表示）。给定这样的参考和测试表示对，首先使用特征提取前端提取特征，计算帧级距离矩阵，并且通过基于CNN的二元分类器将所获得的距离矩阵视为图像。特征提取、距离矩阵计算和基于CNN的分类器在端到端框架中联合优化。在两个不同语言和病理的健康和构音障碍说话者数据库上的实验结果表明，所提出的方法具有较高的构音障碍语音检测性能，优于其他基于CNN的基线方法。
2021-05-28 eess.AS
Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging Features For Elderly And Dysarthric Speech Recognition
The Chinese University of Hong Kong（香港中文大学）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文提出跨领域和跨语言的A2A反演方法，利用超声舌成像数据生成发音特征，在老年和构音障碍语音识别中显著降低词或字符错误率，优于仅用声学特征的基线系统。
2023-06-22 cs.AI eess.AS
ProPS: Prompted Profile Synthesis for Natural Language-Conditioned Speaker Embedding Distributions
Department of Electrical and Computer Engineering, Johns Hopkins University（约翰霍普金斯大学电气与计算机工程系）
针对现有说话人嵌入提取器仅具备描述性不具备生成性的问题，提出ProPS框架，基于自然语言提示生成符合指定属性的说话人嵌入分布，支撑可控语音生成任务。
2026-09-14 cs.AI eess.AS
Mouth Articulation-Based Anchoring for Improved Cross-Corpus Speech Emotion Recognition
National Tsing Hua University（国立清华大学）；University of Texas at Dallas（德克萨斯大学达拉斯分校）；Carnegie Mellon University（卡内基梅隆大学）
针对跨语料库语音情感识别中声学特征不稳定、易受干扰的问题，本文提出以情感特定的嘴部发音动作作为锚定约束，并在CREMA-D和MSP-IMPROV基准上验证其能有效提升跨领域情感迁移识别性能。
2024-12-27 cs.LG cs.SD eess.AS
TS-SEP: Joint Diarization and Separation Conditioned on Estimated Speaker Embeddings
Paderborn University（帕德博恩大学）
本文提出TS-SEP方法，基于估计的说话人嵌入联合进行说话人日志与源分离，在LibriCSS任务上取得新的最先进词错误率。
2024-01-01 cs.SD eess.AS
VoiceFilter: Targeted Voice Separation by Speaker-Conditioned Spectrogram Masking
Google（谷歌）
在本文中，我们提出了一种新的系统，分离的目标说话人的声音从多说话人信号，通过使用一个参考信号从目标说话人。我们通过训练两个独立的神经网络来实现这一点：（1）说话人识别网络，它产生说话人区分嵌入;（2）声谱图掩蔽网络，它将噪声声谱图和说话人嵌入作为输入，并产生一个掩码。我们的系统显着降低了多扬声器信号的语音识别WER，单扬声器信号的WER退化最小。
2019-06-19 cs.LG eess.AS eess.SP
Noise-Conditioned Mixture-of-Experts Framework for Robust Speaker Verification
College of Electronic Science and Technology, National University of Defense Technology（电子科学与技术学院，国防科技大学）
本文提出了一种噪声条件下的专家混合框架，通过噪声感知的专家路由机制和课程学习策略，提升语音验证在噪声环境下的鲁棒性和泛化能力。
2026-03-10 cs.MM cs.SD eess.AS
DiCoW: Diarization-Conditioned Whisper for Target Speaker Automatic Speech Recognition
Brno University of Technology（布尔诺理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出 DiCoW，通过将说话人分离输出作为条件直接整合到预训练 Whisper 中，并引入 FDDT 与 QKb 技术，以摆脱对说话人嵌入的依赖，提升多说话人目标 ASR 对未见说话人的泛化能力与重叠语音处理效果。
2024-12-30 cs.SD eess.AS
Personal VAD: Speaker-Conditioned Voice Activity Detection
Google（谷歌）
本文提出个人VAD，一种基于说话人条件的帧级语音活动检测系统，通过130K参数模型实现目标说话人语音检测，优于传统VAD与说话人识别组合的基线。
2026-10-06 cs.LG eess.AS stat.ML
Grounding Spoken LLMs in Multi-Speaker Audio via Diarization Conditioning
Brno University of Technology（布尔诺理工大学）；Carnegie Mellon University（卡内基梅隆大学）
提出基于说话人日志条件的口语语言模型，通过条件化声学编码器提取目标说话人表示，避免序列化输出训练导致的灾难性遗忘，在多个数据集上显著提升说话人属性转录性能。
2026-06-17 eess.AS
Adapting Diarization-Conditioned Whisper for End-to-End Multi-Talker Speech Recognition
本文提出一种基于Whisper的多说话人语音识别模型，通过联合解码和序列化输出提升多说话人场景下的识别性能。
2026-02-03 cs.CL cs.SD eess.AS
Adapitch: Adaption Multi-Speaker Text-to-Speech Conditioned on Pitch Disentangling with Untranscribed Data
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
在本文中，我们提出了Adapitch，一个多说话人的TTS方法，使自适应的监督模块与未转录的数据。我们设计了两个自监督模块，分别用未转录的数据对文本编码器和梅尔解码器进行训练，以增强文本和梅尔的表现力。为了更好地处理合成语音中的韵律信息，设计了一个有监督的TTS模块，该模块以音高、文本和说话人的内容分解为条件。训练阶段分为两个部分，先用无监督模式对文本编码器和梅尔解码器进行预训练和固定，然后用有监督模式对TTS进行解缠。实验结果表明，自适应算法在图像质量上明显优于基线算法.
2022-10-25 cs.CL cs.SD eess.AS
