Dub-S2ST: Textless Speech-to-Speech Translation for Seamless Dubbing
Korea Advanced Institute of Science and Technology（韩国科学技术院）
Dub-S2ST通过无文本语音到语音翻译模型实现无缝配音，保留语音特征并提升翻译质量。
2025-12-29 cs.CL cs.SD eess.AS
WavSLM: Single-Stream Speech Language Modeling via WavLM Distillation
Concordia University（康科迪亚大学）；Mila-Quebec AI Institute（蒙特利尔AI研究所）；Université Laval（拉瓦尔大学）
提出WavSLM，通过量化蒸馏WavLM自监督表示到单一码本并优化自回归下一块预测，实现无文本监督的单流语音语言建模，在一致性和生成任务上表现竞争。
2026-06-16 cs.AI cs.CL cs.LG
HiPLEX: Hierarchical Policy Factorization for Full Duplex Speech Language Models
Qualcomm AI Research（高通人工智能研究院）；KAIST AI（韩国科学技术院人工智能研究院）
HiPLEX通过将全双工语音模型策略分解为时序控制和内容生成两个因子，利用强化学习分别优化，从而提升实时对话中的轮流与反馈协调能力。
2026-10-07 cs.SD
Jointly Optimizing Translations and Speech Timing to Improve Isochrony in Automatic Dubbing
AWS AI Labs（亚马逊云科技人工智能实验室）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
自动配音是将视频中的原始语音翻译成目标语言语音的过程。新的目标语言语音应满足等时性，也就是说，新的语音应与原始视频的时间对齐，包括嘴部动作，停顿，手势等，在本文中，我们提出了一个模型，直接优化翻译以及生成的翻译的语音持续时间的训练。我们表明，该系统生成的语音，更好地匹配的原始语音的时间，相比以前的工作，同时简化了系统架构。
2023-02-25 cs.CL cs.SD eess.AS
Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN
IIT Delhi（印度理工学院德里分校）
本文提出Prosodic Diff-TTS，通过条件韵律层归一化将风格描述嵌入扩散GAN，在仅4步去噪内实现高保真语音合成，并在多说话人数据集上验证了效果。
2023-10-27 cs.CL cs.SD eess.AS
Optimizing Automatic Speech Assessment: W-RankSim Regularization and Hybrid Feature Fusion Strategies
National Taiwan Normal University（国立台湾师范大学）
针对自动语音评估（ASA）的数据分布不均衡问题，将其建模为有序分类任务，提出新型W-RankSim正则化技术，还构建了结合自监督特征与手工特征的混合模型，有效提升了ASA的有序分类性能。
2024-06-16 cs.AI cs.CL cs.SD
Optimizing Neural Speech Codec for Low-Bitrate Compression via Multi-Scale Encoding
Interactive Entertainment Group Tencent（腾讯互动娱乐集团）
本文提出多尺度神经语音编解码器MsCodec，通过为不同信息密度的语音特征分配不同时间尺度的离散编码并引入互信息损失，解决了RVQ统一时间尺度导致的冗余编码问题，显著提升了低比特率下的语音压缩性能。
2024-10-21 cs.SD eess.AS
LipDiffuser: Lip-to-Speech Generation with Conditional Diffusion Models
Signal Processing, University of Hamburg, Germany（信号处理，汉堡大学，德国）
LipDiffuser提出基于条件扩散模型的唇语到语音生成方法，利用MP-ADM架构和MP-FiLM视觉特征，在LRS3上优于现有基线，提升语音质量和说话人相似度。
2025-10-24 cs.SD eess.AS
DiffProsody: Diffusion-based Latent Prosody Generation for Expressive Speech Synthesis with Prosody Conditional Adversarial Training
Korea University（高丽大学）
提出DiffProsody，利用扩散潜在韵律生成器和韵律条件对抗训练，实现快速且高质量的富有表现力语音合成，韵律生成速度提升16倍。
2023-07-31 cs.CL cs.SD eess.AS
Bone-conduction Guided Multimodal Speech Enhancement with Conditional Diffusion Models
Signal Processing Group, University of Hamburg, Germany（汉堡大学信号处理组）
本文提出一种基于条件扩散模型的多模态语音增强框架，通过整合骨传导传感器与空气传导麦克风，有效提升极端噪声环境下的语音增强性能。
2026-01-18 cs.LG cs.SD eess.AS
CHiVE: Varying Prosody in Speech Synthesis with a Linguistically Driven Dynamic Hierarchical Conditional Variational Network
Google UK（谷歌英国）；University of West Bohemia（西波西米亚大学）
由当前文本到语音系统产生的语音信号的韵律方面通常在训练材料上平均，并且因此缺乏在自然语音中发现的多样性和生动性。为了避免单调性和平均韵律轮廓，期望具有对语音的韵律方面的变化进行建模的方式，因此可以针对给定文本以多种方式合成音频信号。我们提出了一个新的，分层结构的条件变分自编码器生成韵律功能（基频，能量和持续时间）适合使用的声码器或生成模型，如WaveNet。在推理时，可以从变化层采样表示句子的韵律的嵌入，以允许韵律变化。为了有效地捕获语言输入（单词、音节和音素）的分层性质，自动编码器的编码器和解码器部分都是分层的，与语言结构一致，其中层以各自的速率动态地计时。我们在我们的实验中表明，我们的动态分层网络优于一个非分层的最先进的基线，此外，跨句子的韵律传输是可能的，通过采用一个句子的韵律嵌入生成另一个的语音信号。
2019-06-04 cs.CL cs.SD eess.AS
Speaker-Conditional Chain Model for Speech Separation and Extraction
Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Johns Hopkins University（约翰斯·霍普金斯大学）
语音分离已经被广泛地探索以解决鸡尾酒会问题。然而，这些研究仍然远远没有足够的泛化能力，真正的场景。在这项工作中，我们提出了一个通用的策略命名为说话人条件链模型来处理复杂的语音记录。在所提出的方法中，我们的模型首先推断的身份可变数量的发言者从观察的基础上的序列到序列模型。然后，它从推断的说话人的信息作为条件，提取他们的语音源。该模型利用整体观测中的说话人信息进行预测，有助于解决传统的多轮长录音语音分离和说话人提取问题。标准完全重叠语音分离基准测试的实验结果与之前的研究结果相当，而我们提出的模型对多轮长录音具有更好的适应性。
2020-06-25 cs.SD eess.AS
Optimizing Alignment of Speech and Language Latent Spaces for End-to-End Speech Recognition and Understanding
Microsoft（微软）
基于注意力的编码器-解码器（AED）网络的发展为端到端（E2 E）自动语音识别（ASR）带来了巨大的进步。进一步提高基于AED的E2 E ASR性能的一种方法是引入额外的文本编码器，以利用大量的文本数据，从而捕获更多的上下文感知语言信息。然而，由于用于建模的不同单元，这种方法带来了语音编码器和文本编码器之间的失配问题。在本文中，我们提出了一种嵌入对齐器和模态切换训练，以更好地对齐语音和文本潜在空间。嵌入对齐器是文本编码器和语音编码器之间的共享线性投影，分别由掩蔽语言建模（MLM）损失和连接主义时间分类（CTC）训练。模态切换训练基于强制对齐结果随机交换语音和文本嵌入，以学习联合表示空间。实验结果表明，我们提出的方法实现了相对14%至19%的字出错率（WER）减少Librispeech ASR任务。我们进一步验证了它对口语语言理解（SLU）的有效性，即，SNIPS插槽填充任务的F1分数绝对提高了2.5%至2.8%。
2021-10-23 cs.SD eess.AS
Target Speech Extraction with Conditional Diffusion Model
NTT Corporation（日本电报电话公司）
针对多人混合语音中的目标说话人提取问题，提出以说话人线索为条件的扩散模型，并引入集成推理减少误差，在Libri2mix上优于判别式TSE系统。
2023-08-17 cs.SD eess.AS
Optimizing Speech Recognition For The Edge
Google, Inc.（谷歌公司）
虽然目前大多数部署的语音识别系统仍然在服务器上运行，但我们正处于向边缘设备部署的过渡之中。从传统的语音识别管道到端到端（E2 E）神经架构的发展，以及更高效的神经网络拓扑和优化技术的并行开发，为这种向边缘的飞跃提供了动力。因此，我们现在能够创建高度准确的语音识别器，这些识别器既小又快，足以在典型的移动设备上执行。在本文中，我们从一个由长短期记忆（LSTM）层组成的基本RNN-传感器架构开始。然后，我们使用各种计算效率更高的层类型进行实验，并应用神经连接修剪和参数量化等优化技术来构建一个小型，高质量的设备上语音识别器，该识别器比没有任何优化的基线系统小一个数量级。
2020-02-07 cs.CL cs.LG eess.AS
Conditional Diffusion Probabilistic Model for Speech Enhancement
Carnegie Mellon University（卡内基梅隆大学）；Reality Labs Research（现实实验室研究院）；Academia Sinica（中央研究院）
语音增强是许多面向用户的音频应用的关键组成部分，然而当前系统仍然遭受失真和不自然的输出。虽然生成模型在语音合成中显示出了强大的潜力，但在语音增强方面仍然落后。这项工作利用扩散概率模型的最新进展，并提出了一种新的语音增强算法，将观察到的噪声语音信号的特性到扩散和逆过程。更具体地说，我们提出了一个广义的公式的扩散概率模型命名为条件扩散概率模型，在其逆过程中，可以适应非高斯真实噪声的估计语音信号。在我们的实验中，我们证明了所提出的方法与代表性的生成模型相比具有很强的性能，并研究了我们的模型对其他具有训练过程中看不到的噪声特征的数据集的泛化能力。
2022-02-10 cs.LG cs.SD eess.AS
Investigating the Effects of Diffusion-based Conditional Generative Speech Models Used for Speech Enhancement on Dysarthric Speech
Bayer AG（拜耳公司）；Idiap Research Institute（伊迪亚普研究所）
首次探索基于扩散的预训练语音增强模型对无噪声环境下帕金森病构音障碍语音的影响，发现该模型会丢失病理声学线索，但残差信号融合可提供互补线索。
2024-12-18 cs.LG cs.SD eess.AS
nnSpeech: Speaker-Guided Conditional Variational Autoencoder for Zero-shot Multi-speaker Text-to-Speech
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Auckland（奥克兰大学）；Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑启发智能科学与技术研究院）
利用少量自适应数据实现多说话人的文语转换是实际应用中的一个挑战。为了解决这个问题，我们提出了一个zero-shot多说话人TTS，命名为nnSpeech，它可以合成一个新的说话人的声音，而无需微调，只使用一个自适应话语。与使用说话人表示模块提取新说话人特征相比，该方法基于说话人引导的条件变分自编码器，可以生成一个既包含说话人特征又包含内容信息的变量Z。潜变量Z分布近似为另一个变量的参考梅尔声谱图和音素的条件。在英语语料库、普通话语料库和跨语料库上的实验证明，该模型可以生成自然、相似的语音，只需要一个自适应语音。
2022-02-22 cs.SD eess.AS
Minimally-Supervised Speech Synthesis with Conditional Diffusion Model and Language Model: A Comparative Study of Semantic Coding
Tianjin University（天津大学）；Kuaishou Technology Co., Ltd（快手科技有限公司）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
针对最小监督 TTS 中离散表示、韵律平均和语义编码冗余等问题，提出 Diff-LM-Speech、Tetra-Diff-Speech 和 Tri-Diff-Speech 三种渐进式扩散架构，实验证明其优于基线。
2023-12-18 cs.AI cs.CL cs.SD
Unsupervised Active Learning: Optimizing Labeling Cost-Effectiveness for Automatic Speech Recognition
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
该研究结合自监督学习与主动学习，通过无监督提取不同粒度语音单元并采用对比数据选择框架，有效提升ASR的标注成本效益，实现同标注量下WER降超11%或同WER下标注成本减半。
2023-08-28 cs.SD eess.AS
Accented Text-to-Speech Synthesis with a Conditional Variational Autoencoder
Singapore University of Technology and Design（新加坡科技设计大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出基于条件变分自编码器的高效带口音TTS框架，可合成指定说话人声音并转换为任意目标口音，实验验证了其有效性和口音操控能力。
2024-09-29 cs.LG cs.SD eess.AS
Optimizing Speech-Input Length for Speaker-Independent Depression Classification
Ellipsis Health, Inc.（埃利皮西斯健康公司）；Linguistic Data Consortium（语言数据联盟）
本文基于超1400小时语音语料，研究语音输入长度对说话人无关抑郁症分类的影响，发现性能受自然长度、经过长度和回答顺序影响，并据此提出优化提问与输入长度的应用设计建议。
2024-12-31 cs.CL eess.AS
Separate in the Speech Chain: Cross-Modal Conditional Audio-Visual Target Speech Extraction
Xi’an Jiaotong University（西安交通大学）
本文提出AVSepChain，将音视频目标语音提取分为语音感知与生成两阶段，通过交换音视频模态主导地位并引入对比语义匹配损失，缓解模态不平衡，在多个基准上取得优越性能。
2024-05-05 cs.CV cs.LG cs.MM
Joint Modeling of Code-Switched and Monolingual ASR via Conditional Factorization
Carnegie Mellon University（卡内基梅隆大学）；Tencent AI Lab（腾讯人工智能实验室）
会话双语言语包括三种类型的话语：两种纯单语类型和一种语码转换类型。在这项工作中，我们提出了一个通用的框架，共同建模的单语和代码切换子任务，包括双语语音识别的可能性。通过定义标签到帧同步的单语子任务，我们的联合建模框架可以有条件地因式分解，从而获得最终的双语输出，这可能是或可能不是代码切换，只给出单语信息。我们表明，这个条件分解的联合框架可以建模的端到端的可微神经网络。我们证明了我们提出的模型的双语普通话-英语语音识别跨单语和代码切换语料库的有效性。
2021-11-29 cs.CL cs.SD eess.AS
Leveraging the Interplay Between Syntactic and Acoustic Cues for Optimizing Korean TTS Pause Formation
Graduate School of Artificial Intelligence, POSTECH（浦项工科大学人工智能研究生院）；Department of Computer Science and Engineering, POSTECH（浦项工科大学计算机科学与工程系）；aiXplain Inc.（aiXplain公司）
针对韩语 TPS 停顿错误问题，提出融合句法与声学线索的建模框架，在短音频训练下仍可稳定处理长而复杂的 OOD 句子。
2024-04-03 cs.CL cs.SD eess.AS
FastDiff: A Fast Conditional Diffusion Model for High-Quality Speech Synthesis
Zhejiang University（浙江大学）；Tencent AI Lab（腾讯人工智能实验室）
去噪扩散概率模型（DDPMs）最近在许多生成任务中取得了领先的性能。然而，传统的迭代采样过程成本阻碍了它们在语音合成中的应用。提出了一种快速条件扩散模型FastDiff，用于高质量语音合成。FastDiff采用不同感受野模式的时间感知位置可变卷积堆栈，以有效地模拟具有自适应条件的长期时间依赖性。同时采用了噪声时序预测器，在不牺牲生成质量的前提下减少了采样步长。基于FastDiff，我们设计了一个端到端的文本到语音合成器，FastDiff-TTS，它生成高保真的语音波形，没有任何中间特征（例如，Mel-光谱图）。我们对FastDiff的评估证明了具有更高质量（MOS 4.28）语音样本的最新结果。此外，FastDiff使采样速度比V100 GPU上的实时速度快58倍，使扩散模型首次实际适用于语音合成部署。我们进一步表明，FastDiff推广以及梅尔频谱图反转看不见的扬声器，和FastDiff-TTS优于其他竞争的方法在端到端的文本到语音合成。音频样本可在\url{https://FastDiff.github.io/}上获得。
2022-04-21 cs.LG cs.SD eess.AS
Audio-visual Speech Enhancement Using Conditional Variational Auto-Encoders
Inria Grenoble Rhône-Alpes（法国国立信息学与自动化研究院罗讷-阿尔卑斯格勒诺布尔研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CentraleSupélec（中央理工-高等电力学院）；GIPSA-Lab（GIPSA实验室）
变分自动编码器（VAE）是深度生成潜变量模型，可用于学习复杂数据的分布。VAE已经成功地用于学习语音信号的概率先验，然后用于执行语音增强。这种生成方法的一个优点是，它在训练时不需要成对的干净和有噪声的语音信号。在本文中，我们提出了视听变体的VAE单通道和扬声器无关的语音增强。我们开发了一个条件VAE（CVAE）的音频语音生成过程是有条件的嘴唇区域的视觉信息。在测试时，视听语音生成模型与基于非负矩阵分解的噪声模型相结合，语音增强依赖于蒙特卡洛期望最大化算法。实验进行了最近发表的NTCD-TIMIT数据集以及GRID语料库。实验结果表明，提出的音视频CVAE模型有效地融合了音视频信息，与纯音频VAE模型相比，提高了语音增强性能，特别是在语音信号受噪声严重污染的情况下。我们还表明，所提出的无监督视听语音增强方法优于最先进的监督深度学习方法。
2020-05-26 cs.LG cs.SD eess.AS
Optimizing Shoulder to Shoulder: A Coordinated Sub-Band Fusion Model for Real-Time Full-Band Speech Enhancement
Communication University of China（中国传媒大学）；Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）
由于对更多频带进行建模的计算复杂性高，基于深度神经网络进行实时的【形】全频带语音增强仍然是一个棘手的问题。最近的研究通常利用压缩的感知动机的功能与相对较低的频率分辨率，过滤的全频带频谱的一级网络，导致有限的语音质量的改善。在本文中，我们提出了一个协调的子带融合网络的全频带语音增强，其目的是恢复低（0-8 kHz），中（8-16 kHz），和高带（16-24 kHz）在逐步的方式。具体地说，双流网络首先被预训练以恢复低频带复频谱，另外两个子网络被设计为仅幅度域中的中带和高频带噪声抑制器。为了充分利用信息互通，我们采用了子带交互模块，在不同频段提供外部知识指导。大量的实验表明，所提出的方法产生一致的性能优势，超过国家的最先进的全波段基线。
2022-06-15 cs.SD eess.AS
Deep neural network based speech separation optimizing an objective estimator of intelligibility for low latency applications
Tampere University of Technology（坦佩雷理工大学）；Eriksholm Research Centre, Oticon A/S（奥迪康公司埃里克肖姆研究中心）
均方误差（MSE）已经是当前基于深度神经网络（DNN）的语音分离技术中作为损失函数的优选选择。在本文中，我们提出了一个新的成本函数的目的是优化扩展的短时客观可懂度（ESTOI）的措施。我们专注于低算法延迟（$\leq 10$ ms）非常重要的应用。我们使用长短期记忆网络（LSTM），并在来自扩展丹麦噪声听力（HINT）数据集的四组两扬声器混合物上评估我们提出的方法。我们表明，建议的损失函数可以提供改进或在标准的客观可懂度（在ESTOI方面）相比，MSE优化的基线，同时导致较低的目标分离性能（在源失真比（SDR）方面）。然后，我们继续提出一种方法，其中网络首先使用针对MSE标准优化的权重进行初始化，然后使用所提出的ESTOI损失标准进行训练。这种方法减轻了客观分离性能的一些损失，同时保留了客观可懂度的增益。
2018-07-18 cs.SD eess.AS
Data Processing for Optimizing Naturalness of Vietnamese Text-to-speech System
Zalo Group, VNG Corporation（VNG公司Zalo集团）
摘要端到端的文本转语音（TTS）系统在具有高质量麦克风的消声室中记录大量高质量训练数据的情况下取得了巨大的成功。另一种方法是使用可用的数据源，如无线电广播新闻。我们的目标是使用一种新的数据处理方法优化TTS系统的自然度。该数据处理方法包括：1）话语选择和2）韵律标点插入，以准备训练数据，该训练数据可以优化TTS系统的自然度。我们发现，使用处理数据的方法，端到端TTS实现了4.1的平均意见得分（MOS），而自然语音为4.3。我们发现，标点符号的插入贡献最大的结果。为了促进TTS系统的研究和开发，我们在https://forms.gle/6Hk5YkqgDxAaC2BU6上发布了一个扬声器的处理数据。
2020-04-20 cs.LG cs.SD eess.AS
FlowAVSE: Efficient Audio-Visual Speech Enhancement with Conditional Flow Matching
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出FlowAVSE，通过条件流匹配算法和优化U-net架构，在保持语音增强质量的同时实现22倍推理加速和模型减半。
2024-06-13 cs.SD eess.AS
Improved Normalizing Flow-Based Speech Enhancement using an All-pole Gammatone Filterbank for Conditional Input Representation
International Audio Laboratories Erlangen（埃尔朗根国际音频实验室）；Fraunhofer IIS（弗劳恩霍夫集成电路研究所）
近年来，用于语音增强（SE）的深度生成模型受到越来越多的关注。最突出的例子是生成对抗网络（GANs），而规范化流（NF）尽管有潜力，但受到的关注较少。在以前的工作的基础上，提出了架构修改，以及不同的条件输入表示的调查。尽管在相关的工作中是一个常见的选择，梅尔频谱证明是不够的给定的情况下。另外，提出了一种新的具有高时间分辨率的全极点伽玛通滤波器组（APG）。虽然计算评估指标结果表明，最先进的基于GAN的方法性能最好，但通过收听测试进行的感知评估表明，所提出的NF方法（基于时域和APG）性能最好，特别是在较低的SNR下。平均而言，APG输出被评为具有良好的质量，这是其他方法（包括GAN）无法比拟的。
2022-10-21 cs.SD eess.AS
Conditional Variational Autoencoder with Adversarial Learning for End-to-End Text-to-Speech
Kakao Enterprise（Kakao企业）；School of Computing, KAIST（韩国科学技术院计算学院）
最近几个端到端的文本到语音（TTS）模型，使单阶段的训练和并行采样已被提出，但它们的样本质量不匹配的两个阶段的TTS系统。在这项工作中，我们提出了一个并行的端到端的TTS方法，产生更自然的声音比目前的两阶段模型的音频。我们的方法采用变分推理与规范化流程和对抗性训练过程，提高了生成建模的表达能力。我们还提出了一个随机的持续时间预测合成语音与不同的节奏从输入文本。通过对潜在变量和随机持续时间预测器的不确定性建模，我们的方法表达了自然的一对多关系，其中文本输入可以以多种方式以不同的音高和节奏进行说话。对LJ Speech（单个说话者数据集）的主观人类评价（平均意见得分或MOS）表明，我们的方法优于最好的公开TTS系统，并实现了与地面实况相当的MOS。
2021-06-11 cs.SD eess.AS
Conditional independence for pretext task selection in Self-supervised speech representation learning
通过解决借口任务，自监督学习（SSL）利用未标记的数据来提取有用的潜在表示，以取代下游任务中的传统输入特征。一个常见的借口任务包括在从原始信号中导出的伪标签上预训练SSL模型。该技术特别与语音数据相关，其中各种有意义的信号处理特征可以用作伪标签。然而，为语音或其他类型的数据选择伪标签的过程仍然是未开发的，目前依赖于观察最终下游任务的结果。然而，由于大量的计算（因此碳）成本，这种方法在规模上是不可持续的。因此，本文介绍了一个实用的和理论的框架来选择相关的伪标签相对于一个给定的下游任务。更确切地说，我们提出了一个基于条件独立理论的伪标签效用函数估计器，它不需要任何训练。对说话人识别和自动语音识别进行的实验验证了我们的估计器，显示出在下游任务上观察到的性能与我们的方法获得的效用估计之间的显着相关性，促进了自监督语音表示学习的相关伪标签的前景。
2021-07-01 cs.LG cs.SD eess.AS
Modeling, Scaling, and Decoding: Optimizing Controllable Speech Generation with Nonverbal Vocalizations
Tencent HY Speech Team（腾讯HY语音团队）
针对非语言发声可控合成的挑战，提出NVV感知的DiTAR系统，通过专用令牌编码、针对性数据增强与多指标采样优化，在ISCSLP 2026挑战赛中取得总体第一。
2026-09-15 cs.AI eess.AS
Converting Anyone's Voice: End-to-End Expressive Voice Conversion with a Conditional Diffusion Model
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；National University of Singapore（新加坡国立大学）；Sony Interactive Entertainment（索尼互动娱乐）
本文提出基于条件去噪扩散概率模型的端到端表现力语音转换框架，利用自监督语音单元、情感识别和说话人验证特征联合建模内容、情感风格与说话人身份，并通过主客观评估验证其有效性。
2024-05-02 cs.SD eess.AS
NASTAR: Noise Adaptive Speech Enhancement with Target-Conditional Resampling
National Taiwan University（国立台湾大学）；Academia Sinica（中央研究院）
对于基于深度学习的语音增强（SE）系统，训练-测试声学失配会导致显著的性能下降。为了解决失配问题，已经导出了许多噪声自适应策略。在本文中，我们提出了一种新的方法，称为噪声自适应语音增强与目标条件响应（NASTAR），它减少了失配与只有一个样本（单次）的噪声语音在目标环境中。NASTAR使用反馈机制通过噪声提取器和检索模型来模拟自适应训练数据。噪声提取器从噪声语音中估计目标噪声，称为伪噪声。噪声检索模型根据含噪语音从噪声信号池中检索相关噪声样本，称为相关队列。伪噪声和相关群组集合被联合采样并与源语音语料库混合以准备用于噪声自适应的模拟训练数据。实验结果表明，NASTAR可以有效地使用一个带噪的语音样本，以适应SE模型的目标条件。此外，噪声提取器和噪声恢复模型都有助于模型自适应。据我们所知，NASTAR是第一个通过噪声提取和检索进行单次噪声自适应的工作。
2022-06-18 cs.LG eess.AS
Personal VAD 2.0: Optimizing Personal Voice Activity Detection for On-Device Speech Recognition
Google LLC（谷歌有限责任公司）
设备上语音识别（ASR）的个性化近年来出现了爆炸性增长，这主要是由于移动设备和智能家居扬声器上的个人助理功能越来越受欢迎。在这项工作中，我们提出了个人VAD 2.0，个性化的语音活动检测器，检测目标扬声器的语音活动，作为流媒体设备上的ASR系统的一部分。尽管之前的概念验证研究已经验证了Personal VAD的有效性，但在将此模型用于生产之前，仍有几个关键挑战需要解决：首先，在注册和无注册场景中，质量必须令人满意;其次，它应该以流媒体方式运行;最后，模型大小应该足够小，以适应有限的延迟和CPU/内存预算。为了满足多方面的需求，我们提出了一系列新颖的设计：1）先进的扬声器嵌入调制方法; 2）一种新的训练范式，以推广到无注册条件; 3）针对延迟和资源限制的架构和运行时优化。在一个真实的语音识别系统上进行的大量实验证明了我们所提出的方法的最先进的性能。
2022-06-25 cs.LG cs.SD eess.AS
Conditional Generative Adversarial Networks for Speech Enhancement and Noise-Robust Speaker Verification
Aalborg University（奥尔堡大学）
提高语音系统在噪声环境中的性能一直是一个具有挑战性的课题，而语音增强（SE）是解决这一问题的有效技术之一。受生成对抗网络（GANs）在各种图像处理任务中的良好结果的启发，我们探索了条件GANs（cGANs）用于SE的潜力，特别是，我们利用Isola等人提出的图像处理框架。[1]学习从噪声语音的频谱图到增强对应物的映射。SE cGAN由两个网络组成，以对抗的方式进行训练：一个生成器试图增强输入的噪声频谱图，另一个生成器试图区分生成器提供的增强频谱图和使用噪声频谱图作为条件的数据库中的干净频谱图。我们在语音质量的感知评估（PESQ），短时客观可懂度（STOI）和说话人验证的等错误率（EER）（示例应用）方面评估了cGAN方法的性能。实验结果表明，cGAN方法的整体性能优于经典的短时谱幅度最小均方误差（STSA-MMSE）SE算法，并且与基于深度神经网络的SE方法（DNN-SE）相当。
2017-09-07 cs.LG cs.SD eess.AS
LP-CFM: Perceptual Invariance-Aware Conditional Flow Matching for Speech Modeling
Korea Advanced Institute of Science and Technology（韩国科学技术院）
LP-CFM通过引入感知不变性，改进语音生成模型的鲁棒性和感知基础性。
2025-12-23 eess.AS
Optimizing Bilingual Neural Transducer with Synthetic Code-switching Text Generation
Apple（苹果公司）
语码转换是指在同一个句子中使用一种以上语言的行为。在这项研究中，我们研究如何优化基于神经传感器的双语自动语音识别（ASR）模型的代码切换的语音。针对在没有监督语码转换数据的情况下训练ASR模型的情况，我们发现半监督训练和合成语码转换数据可以改善双语语码转换语音的ASR系统。我们分析了每个神经传感器的编码器如何通过测量编码器特定的召回值来促进代码切换性能，并在ASCEND数据集上评估我们的英语/普通话系统。我们的最终系统实现了25%的混合出错率（MER）的ASCEND英语/普通话代码转换测试集-减少了2.1%的绝对MER相比，以前的文献-同时保持良好的准确性单语测试集。
2022-10-21 cs.CL cs.SD eess.AS
Class-Conditional Defense GAN Against End-to-End Speech Attacks
在本文中，我们提出了一种针对端到端对抗攻击的新型防御方法，该方法旨在欺骗DeepSpeech和Lingvo等高级语音转文本系统。与传统的防御方法不同，所提出的方法不直接采用低级变换，例如对给定的输入信号进行自动编码，以消除潜在的对抗性扰动。相反，我们找到一个最佳的输入向量类条件生成对抗网络通过最小化之间的相对弦距离调整给定的测试输入和生成器网络。然后，我们从合成的频谱图和从给定的输入信号导出的原始相位信息重建1D信号。因此，这种重建不会向信号中添加任何额外的噪声，并且根据我们的实验结果，我们的防御GAN在单词出错率和句子级别识别准确性方面都大大优于传统的防御算法。
2021-02-20 cs.CR cs.CV cs.LG
Sequence to Multi-Sequence Learning via Conditional Chain Mapping for Mixture Signals
Johns Hopkins University（约翰斯·霍普金斯大学）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；Northwestern Polytechnical University（西北工业大学）；Hitachi, Ltd.（日立公司）
神经序列到序列模型很好地建立了应用程序，可以转换为一个单一的输入序列映射到一个单一的输出序列。在这项工作中，我们专注于一对多的序列转导问题，如从混合序列中提取多个连续的来源。我们将标准的序列到序列模型扩展为条件多序列模型，该模型使用概率链规则显式地对多个输出序列之间的相关性进行建模。基于此扩展，我们的模型可以有条件地推断输出序列一个接一个地利用输入和先前估计的上下文输出序列。该模型还具有用于转导结束的简单且有效的停止标准，使得其能够推断输出序列的可变数量。我们把语音数据作为一个主要的测试领域来评估我们的方法，因为观察到的语音数据往往是由多个来源，由于声波的叠加原理的性质。在语音分离和多说话人语音识别等多个不同任务上的实验表明，我们的条件多序列模型比传统的非条件模型有一致的改进。
2020-06-25 cs.SD eess.AS
Optimizing Speech Emotion Recognition using Manta-Ray Based Feature Selection
Jadavpur University（贾达普大学）；Maulana Abul Kalam Azad University of Technology（毛拉纳·阿布尔·卡拉姆·阿扎德技术大学）
从音频信号中进行情感识别一直被认为是信号处理中具有挑战性的任务，因为它可以被认为是静态和动态分类任务的集合。从语音数据中识别情感在很大程度上依赖于使用机器学习模型的端到端特征提取和分类，尽管缺乏特征选择和优化限制了这些方法的性能。近年来的研究表明，Mel频率倒谱系数（MFCC）是一种可靠的特征提取方法，但它的特征维数很小，限制了分类的准确性。在本文中，我们提出的串联的特征，使用不同的现有的特征提取方法提取，不仅可以提高分类精度，但也扩大了有效的特征选择的可能性。在特征合并之前，除了MFCC特征提取方法之外，我们还使用了线性预测编码（LPC）。此外，我们还在语音情感识别任务中执行了Manta Ray优化的新应用，从而在该领域取得了最先进的结果。我们已经使用SAVEE和SAV-DB（两个公开可用的数据集）评估了我们模型的性能。我们提出的方法优于所有现有的方法在语音情感分析，并导致在这两个数据集的分类准确率分别为97.06%和97.68%的体面的结果。
2020-09-18 cs.LG cs.SD eess.AS
Optimizing Multi-Stuttered Speech Classification: Leveraging Whisper's Encoder for Efficient Parameter Reduction in Automated Assessment
School of Electrical Engineering and Computer Science (SEECS)（电气工程与计算机科学学院（SEECS））；National University of Sciences and Technology (NUST)（国家科技大学（NUST））
本研究利用Whisper编码器进行多标签分类，通过层冻结策略仅微调单层，将可训练参数减少83.7%，在Fluency-Bank上实现高F1分数，高效识别多口吃语音。
2025-02-26 cs.LG cs.SD eess.AS
Objective Evaluation of Prosody and Intelligibility in Speech Synthesis via Conditional Prediction of Discrete Tokens
Center for Language and Speech Processing (CLSP), Johns Hopkins University（语言与语音处理中心（CLSP），约翰·霍普金斯大学）；National University of Singapore（新加坡国立大学）
本文提出TTScore，一种基于条件预测离散语音令牌的无参考评估框架，用于更准确地评估语音合成的语调和可懂性。
2026-01-19 cs.LG cs.SD eess.AS
Training Generative Adversarial Network-Based Vocoder with Limited Data Using Augmentation-Conditional Discriminator
NTT Corporation（NTT公司）
针对GAN声码器在有限数据下易过拟合的问题，提出增强条件判别器AugCondD，通过输入增强状态评估语音，在有限数据下提升语音质量且不损害充足数据下的表现。
2024-03-25 cs.LG cs.SD eess.AS
Conditional Latent Diffusion-Based Speech Enhancement Via Dual Context Learning
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
针对现有扩散语音增强方法生成复杂度高、噪声建模不足的问题，提出结合条件隐扩散与双上下文学习的方法，通过低维隐空间运算降复杂度，在更少迭代下实现更优性能与域外泛化能力。
2025-01-17 cs.SD eess.AS
Noise-Robust Voice Conversion by Conditional Denoising Training Using Latent Variables of Recording Quality and Environment
The University of Tokyo（东京大学）；Keio University（庆应义塾大学）；LY Corp.（LY公司）
针对未见噪声下语音转换自然度受限的问题，提出用录音质量与环境潜变量条件化VC模型的去噪训练方法，并通过主客观评估验证其转换语音质量提升。
2024-06-11 cs.SD eess.AS
Representation learning through cross-modal conditional teacher-student training for speech emotion recognition
通用的预训练语音和文本表示有望减少特定语音和语言任务对大型标记数据集的需求。然而，目前还不清楚如何有效地适应这些表示语音情感识别。最近的公共基准测试显示了几种流行的自监督语音表示对情感分类的有效性。在这项研究中，我们表明，表现最好的表示之间的主要差异是在预测价，而在预测激活和优势尺寸的差异不太明显。然而，我们发现，即使是表现最好的HuBERT表示的效价预测相比，多模态模型，也结合了文本表示。我们通过将词汇信息注入到使用多模态模型作为教师的语音表示中来解决这个缺点。为了提高我们的方法的有效性，我们提出了一种新的估计的质量的情绪预测，条件教师和学生的培训。我们报告了新的音频只有最先进的一致性相关系数（CCC）值为0.757，0.627，0.671的激活，效价和优势预测，分别在MSP播客语料库，也是最先进的值为0.667，0.582，0.545的IEMOCAP语料库。
2022-01-27 eess.AS
Conditional Spoken Digit Generation with StyleGAN
Aalto University（阿尔托大学）
本文采用StyleGAN模型进行语音生成，对文本具有最小或没有条件。StyleGAN是一种多尺度卷积GAN，能够分层捕获多个空间（或时间）级别上的数据结构和潜在变化。该模型以前在面部图像生成方面取得了令人印象深刻的结果，由于数据中存在类似的多级结构，它对音频应用很有吸引力。在本文中，我们训练一个StyleGAN来生成语音命令数据集上的梅尔频谱图，该数据集包含多个扬声器在不同声学条件下发出的语音数字。在条件设置中，我们的模型以数字身份为条件，而学习剩余的数据变化仍然是一项无监督的任务。我们将我们的模型与当前无监督的最先进的语音合成GAN架构WaveGAN进行了比较，并通过收听测试表明，根据数值测量和主观评价，所提出的模型表现出色。
2020-09-15 cs.SD eess.AS
CFMDCTCodec: A Low-Bitrate Neural Speech Codec with Noise-Prior-aware Conditional Flow Matching for MDCT-Spectral Enhancement
National Engineering Research Center of Speech and Language Information Processing, University of Science and Technology of China（中国科学技术大学语音及语言信息处理国家工程研究中心）；Department of Electronic Engineering, Tsinghua University（清华大学电子工程系）
提出CFMDCTCodec，一种在MDCT域内结合轻量级编解码器和条件流匹配增强器的低比特率神经语音编解码器，通过非对抗训练在0.65 kbps下实现高质量语音编码。
2026-05-26 eess.AS
FedCFM: Federated Continual Domain Generalization for Fake Speech Detection via Conditional Flow Matching
School of Communications and Information Engineering, Nanjing University of Posts and Telecommunications（南京邮电大学通信与信息工程学院）
针对虚假语音检测中多数据集训练无法适应新欺骗类型及设备存储受限的问题，提出FedCFM框架，利用条件流匹配生成器合成未见欺骗类型嵌入，通过生成重放和知识蒸馏实现持续更新，在相同数据集下取得更低EER，展现强跨域泛化能力。
2026-10-02 eess.AS
Optimizing Contextual Speech Recognition Using Vector Quantization for Efficient Retrieval
Apple（苹果公司）
提出基于向量量化的近似交叉注意力评分，结合检索式上下文偏置，实现大规模目录的高效利用，显著降低错误率并减少计算和内存开销。
2024-11-04 cs.CL eess.AS
