JSSS: free Japanese speech corpus for summarization and simplification
The University of Tokyo（东京大学）；Tokyo Metropolitan University（东京都立大学）
在本文中，我们构建了一个新的日语语音语料库的语音为基础的摘要和简化，“JSSS”（发音为“j-triple-s”）。鉴于阅读风格的语音合成的成功，从简短的句子，我们的目标是设计更困难的任务，提供信息给人类。我们的语料库包含两个任务，有一个作用，在提供信息的约束下记录的声音：持续时间约束的文本到语音摘要和说话风格的简化。它还包含长形式的句子作为一个可选的任务的话语。本文介绍了我们如何设计语料库，这是在我们的项目页面。
2020-10-05 cs.SD eess.AS
Referee: Towards reference-free cross-speaker style transfer with low-quality data for expressive speech synthesis
Tencent AI Lab（腾讯人工智能实验室）
文语转换（TTS）合成中的跨说话人风格转换（CSST）旨在将目标说话人的说话风格转换为合成语音。大多数以前的CSST方法依赖于昂贵的高质量数据，在训练过程中携带所需的说话风格，并需要一个参考话语，以获得说话风格描述符作为条件的一个新的句子的生成。这项工作提出了Reflection，一个强大的无参考CSST方法表达TTS，它充分利用低质量的数据来学习说话风格的文本。Reflections是通过将文本到样式（T2 S）模型与样式到波形（S2 W）模型级联而构建的。语音后验图（PPG），音素水平的音高和能量轮廓作为细粒度的说话风格描述符，这是从文本使用T2 S模型预测。采用一种新的预训练-精化方法，只使用容易获得的低质量数据来学习鲁棒的T2 S模型。S2 W模型使用高质量的目标数据进行训练，采用该模型可以有效地聚合风格描述符，并在目标说话人的声音中生成高保真语音。实验结果表明，Reynolds优于全球风格的令牌（GST）为基础的基线方法在CSST。
2021-09-08 cs.CL cs.SD eess.AS
Highly Controllable Diffusion-based Any-to-Any Voice Conversion Model with Frame-level Prosody Feature
Qualcomm Technologies, Inc.（高通技术公司）
提出一种基于扩散模型的任意到任意语音转换系统，通过引入帧级韵律条件模块和自监督后处理步骤，实现对音高、能量和语速的精细控制，在保持语音质量的同时提升了清晰度。
2023-09-06 cs.SD eess.AS
Hierarchical and Multi-Scale Variational Autoencoder for Diverse and Natural Non-Autoregressive Text-to-Speech
Samsung Research（三星研究院）；Supertone, Inc.（Supertone公司）；NCSOFT Corp.（NCSoft公司）
提出了一种基于分层多尺度变分自编码器的非自回归文本转语音模型（HiMuV-TTS），用于生成具有不同说话风格的自然语音。非自回归TTS（NAR-TTS）模型的最新进展显着提高了合成语音的推理速度和鲁棒性。但口语的多样性和自然性有待提高。为了解决这个问题，我们提出了HiMuV-TTS模型，首先确定全球规模的韵律，然后通过调节全球规模的韵律和学习的文本表示来确定本地规模的韵律。此外，我们还采用了对抗训练技术来提高语音质量。实验结果表明，与单尺度变分自编码器的TTS模型相比，该模型能够产生更加多样、自然的语音，并且能够在每个尺度上表现不同的韵律信息。
2022-08-15 cs.SD eess.AS
Sequence to Sequence Neural Speech Synthesis with Prosody Modification Capabilities
IBM Research（IBM研究院）
现代序列到序列神经TTS系统提供接近自然的语音质量。这样的系统通常包括将语言/语音特征序列转换为声学特征序列的网络，该网络与神经声码器级联。所生成的语音韵律（即音素持续时间，音高和响度）隐含地存在于声学特征中，与频谱信息混合。虽然语音听起来很自然，但它的韵律实现是随机选择的，不能轻易改变。如果训练数据中没有韵律标记，韵律控制就变得更加困难。近年来，在无监督说话风格学习和生成方面取得了很大进展，但是在训练之后仍然需要人工检查以发现和解释系统学习的说话风格。在这项工作中，我们介绍了一个全自动的方法，使系统知道的韵律，并使连续规模上的语速和表现力的控制。虽然在许多应用中是有用的本身，所提出的韵律控制也可以提高合成语音的整体质量和表现力，如主观听力评估所示。我们还提出了一种新的增强注意力机制，有利于更好的节奏控制灵敏度和更快的注意力收敛。
2019-09-23 cs.SD eess.AS
InstructTTS: Modelling Expressive TTS in Discrete Latent Space with Natural Language Style Prompt
Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）
针对现有TTS风格控制方法多样性和可解释性不足的问题，提出InstructTTS模型，利用自然语言风格提示，结合三阶段句子嵌入训练、离散潜空间扩散建模及互信息最小化，实现了富有表现力且避免信息泄露的语音合成。
2023-06-25 cs.SD eess.AS
Controllable neural text-to-speech synthesis using intuitive prosodic features
Apple（苹果公司）
现代神经文本转语音（TTS）合成可以生成与自然语音难以区分的语音。然而，生成的话语的韵律往往代表的平均韵律风格的数据库，而不是有广泛的韵律变化。此外，生成的韵律仅由输入文本定义，这不允许同一句子具有不同的风格。在这项工作中，我们训练一个序列到序列的神经网络的声学语音功能的条件下，学习一个潜在的韵律空间直观和有意义的尺寸。实验表明，一个模型的条件下，在韵律方面的音高，音高范围，电话持续时间，能量和频谱倾斜可以有效地控制每个韵律维度，并产生各种各样的说话风格，同时保持类似的平均意见得分（4.23），我们的Tacotron基线（4.26）。
2020-09-14 cs.CL cs.LG cs.SD
Improving Language Model-Based Zero-Shot Text-to-Speech Synthesis with Multi-Scale Acoustic Prompts
Skywork AI PTE. LTD.（世芯人工智能私人有限公司）
该研究针对零样本TTS中短声学提示难以还原个人说话风格的问题，基于VALL-E引入多尺度风格与音色提示，提升自然度和说话人相似度。
2024-04-09 cs.SD eess.AS
JoyVoice: Long-Context Conditioning for Anthropomorphic Multi-Speaker Conversational Synthesis
SpeechTeam（语音团队）
JoyVoice通过统一的E2E-Transformer-DiT架构实现多说话人长对话合成，取得多语言生成和零样本语音克隆的先进成果。
2025-12-22 cs.SD eess.AS
Evaluation of Noise Reduction Methods for Sentence Recognition by Sinhala Speaking Listeners
University of Moratuwa（莫拉图瓦大学）
本文针对僧伽罗语，对比评估了小波变换与多种自适应滤波器结合语音活动检测算法的降噪性能，使用SNR、PESQ和MOS指标在僧伽罗语数据集和NOIZEUS数据库上验证了效果。
2023-06-27 cs.SD eess.AS
Prosodic Prominence and Boundaries in Sequence-to-Sequence Speech Synthesis
University of Helsinki（赫尔辛基大学）
深度学习方法的最新进展已经将合成语音质量提升到人类水平，并且该领域现在正朝着解决合成语音中的韵律变化的方向发展。尽管在这方面取得了成功，但最先进的系统无法忠实地再现引起例如，单词层次的强调和短语结构。这种类型的韵律变化通常反映了长距离的语义关系，这对于以单个句子作为其合成域的端到端系统来说是不可访问的。一种可能的解决方案可能是通过显式韵律标签来调节合成语音，可能使用较长的文本部分生成。在这项工作中，我们评估是否增加文本输入与这样的韵律标签捕捉词级的突出和短语的边界强度可以导致更准确地实现句子韵律。我们使用一个自动的基于小波的技术来提取这样的标签从语音材料，并使用它们作为一个输入到tacotron一样的合成系统旁边的文本信息。合成语音的客观评价的结果表明，使用韵律标签显着提高了输出的忠实度的f0和能量轮廓，与国家的最先进的实现相比。
2020-06-29 cs.SD eess.AS
PredGen: Accelerated Inference of Large Language Models through Input-Time Speculation for Real-Time Speech Interaction
University of California, Los Angeles（加州大学洛杉矶分校）
PredGen通过输入时推测解码在用户说话时预生成候选响应，消除LLM首句生成延迟，在Lmsys和MT-Bench上实现约2倍延迟降低，仅需极小额外计算。
2025-10-08 cs.CL cs.SD eess.AS
Dynamic Prosody Generation for Speech Synthesis using Linguistics-Driven Acoustic Embedding Selection
在考虑孤立句子时，文本到语音（TTS）的最新进展已经提高了接近人类能力的质量和自然度。但是，要实现类似人类的交流，仍然缺乏的是人类语言的动态变化和适应性。本文试图解决在TTS系统中实现更加动态和自然的语调的问题，特别是对于诸如新闻播音员讲话风格的文体讲话。我们提出了一种新的嵌入选择方法，它利用语言信息，利用训练数据集中存在的语音变异性。我们分析了语义和句法特征的贡献。我们的实验结果表明，该方法提高了韵律和自然的复杂话语，以及在长形式阅读（LFR）。
2020-11-18 cs.CL cs.SD eess.AS
SC VALL-E: Style-Controllable Zero-Shot Text to Speech Synthesizer
School of Robotics, Kwangwoon University（光云大学机器人学院）
本研究基于VALL-E提出风格可控的SC VALL-E模型，通过风格网络控制语音属性，在零样本场景下生成多样表现力语音，性能优于现有代表性模型。
2023-07-20 cs.LG cs.SD eess.AS
Word-Level Emotional Expression Control in Zero-Shot Text-to-Speech Synthesis
Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University（天津认知计算与应用重点实验室，智能与计算学院，天津大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳））；Nanyang Technological University（南洋理工大学）；TeleAI, China Telecom（TeleAI，中国电信）；Kuaishou Technology（快手科技）；Shanghai Jiao Tong University（上海交通大学）；Huiyan Technology (Tianjin)（慧颜科技（天津））；Shenzhen Institute of Advanced Technology（深圳先进技术研究院）
本文提出WeSCon框架，通过自我训练实现零样本文本到语音合成中词级情感与语速控制，克服数据稀缺问题，达到最优性能。
2026-01-11 cs.SD eess.AS
A learned conditional prior for the VAE acoustic space of a TTS system
Amazon Research（亚马逊研究院）
许多因素会影响言语，使给定句子产生不同的翻译。生成模型，如变分自动编码器（VAE），捕捉这种可变性，并允许通过采样对同一个句子进行多次再现。韵律变化的程度很大程度上取决于采样时使用的先验。在本文中，我们提出了一种新的方法来计算一个神经文语转换（TTS）系统的VAE潜在空间的信息先验。通过这样做，我们的目标是采样更多的韵律变化，同时获得对潜在空间的结构的可控性。通过使用次级VAE的后验分布作为先验，我们以说话者向量为条件，我们可以从初级VAE中进行采样，明确考虑条件，并导致每个条件（即说话者）的潜在空间的特定区域的样本。一个正式的偏好测试表明显着的偏好所提出的方法比标准的条件VAE。我们还提供了潜在空间的可视化，其中出现了分离良好的条件特定的集群，以及消融研究，以更好地了解系统的行为。
2021-06-14 cs.LG cs.SD eess.AS
Face-Dubbing++: Lip-Synchronous, Voice Preserving Translation of Videos
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Istanbul Technical University（伊斯坦布尔理工大学）
在本文中，我们提出了一个神经端到端系统的语音保留，嘴唇同步翻译的视频。该系统被设计为结合多个组件模型，并产生一个视频的原始扬声器说话的目标语言，是唇同步与目标语音，但保持重点的语音，语音特征，面部视频的原始扬声器。流水线从自动语音识别开始，包括强调检测，然后是翻译模型。然后，翻译后的文本由文本到语音模型合成，该模型重新创建从原始句子映射的原始重点。然后使用语音转换模型将所得到的合成语音映射回原始说话者的语音。最后，为了使说话者的嘴唇与翻译的音频同步，基于条件生成对抗网络的模型相对于输入面部图像以及语音转换模型的输出生成适应的嘴唇运动的帧。最后，系统将生成的视频与转换后的音频相结合，以产生最终输出。其结果是一个视频的扬声器说另一种语言，而实际上不知道it. To评估我们的设计，我们提出了一个完整的系统，以及单独的评估的单个组件的用户研究。由于没有可用的数据集来评估我们的整个系统，我们收集了一个测试集，并在这个测试集上评估我们的系统。结果表明，我们的系统是能够产生令人信服的视频的原说话人说目标语言，同时保持原说话人的特点。收集的数据集将被共享。
2022-06-09 cs.CL cs.CV cs.SD
Parallel WaveNet conditioned on VAE latent vectors
最近，最先进的文本到语音合成系统已经转移到两个模型的方法：一个序列到序列模型来预测语音的表示（通常是梅尔频谱图），其次是一个“神经声码器”模型，它产生的时域语音波形从这个中间的语音表示。这种方法能够合成与自然语音记录混淆的语音。然而，神经声码器方法的推理速度是将该技术用于商业应用的主要障碍。并行WaveNet是为解决这一问题而开发的一种方法，它牺牲了一些合成质量，以获得更快的推理速度。在本文中，我们研究了使用一个并行的WaveNet神经声码器的信号质量，以提高一个电平调节向量。我们用来自Tacotron 2型序列到序列模型的预训练VAE分量的潜在向量来调节神经声码器。这样，我们就能够显著提高声码语音的质量。
2020-12-17 cs.SD eess.AS
Mega-TTS 2: Boosting Prompting Mechanisms for Zero-Shot Speech Synthesis
ByteDance（字节跳动）；Zhejiang University（浙江大学）
本文提出Mega-TTS 2，通过解耦韵律与音色、多参考音色编码及P-LLM增强零样本TTS提示机制，在10秒至5分钟数据设置下持续优于微调，并支持可控风格迁移。
2024-04-10 cs.SD eess.AS
Attention-based conditioning methods using variable frame rate for style-robust speaker verification
University of California Los Angeles（加州大学洛杉矶分校）
我们提出了一种方法来提取说话人嵌入，是强大的说话风格的变化，在文本无关的说话人确认。通常，说话人嵌入提取包括训练用于说话人分类的DNN，并使用瓶颈特征作为说话人表示。这样的网络具有池化层，以通过以相等的权重计算所有话语帧上的统计数据来将帧级特征转换为话语级特征。然而，自注意嵌入执行加权池化，使得权重对应于说话人分类任务中的帧的重要性。熵可以捕获由于说话风格变化而引起的声学变化。因此，提出了一种基于熵的可变帧速率向量作为自注意层的外部调节向量，为网络提供可以解决风格效应的信息。本书探讨了五种不同的调节方法。最好的条件反射方法，级联与门控，在12/23的任务中提供了统计学上的显着改善，在11/23的任务中，当使用加州大学洛杉矶分校的扬声器可变性数据库时，与基线相同。在9/23的任务中，它的表现也显著优于没有条件反射的自我注意，在1/23的任务中表现更差。该方法在SITW的多说话人场景中也表现出显着的改善。
2022-06-28 cs.LG eess.AS
Controllable Emphasis with zero data for text-to-speech
Amazon（亚马逊）
本文提出无需录音或标注的 TTS 可控重音方法，通过增加被强调单词的预测音素时长提升自然度与重音识别率，并在多语言、多嗓音和多风格实验中获得偏好。
2023-07-13 cs.LG cs.SD eess.AS
Rhythm Controllable and Efficient Zero-Shot Voice Conversion via Shortcut Flow Matching
Zhejiang University（浙江大学）；Huawei Cloud（华为云）
本文提出R-VC模型，通过Hubert内容令牌、掩码生成式Transformer时长建模及捷径流匹配扩散Transformer，实现节奏可控且仅需两步采样的高效零样本语音转换，在自然度、可懂度和风格迁移上超越现有方法。
2025-06-01 cs.SD eess.AS
Zero-Shot Text-to-Speech from Continuous Text Streams
Applied Sciences Group（应用科学组）；Microsoft Corporation（微软公司）
本文提出LiveSpeech 2，一个基于Mamba和旋转位置嵌入的流感知零样本TTS模型，通过滑动窗口和语义引导解码实现无限长度语音生成与文本-音频流同步。
2024-10-01 cs.SD eess.AS
ChatGPT-EDSS: Empathetic Dialogue Speech Synthesis Trained from ChatGPT-derived Context Word Embeddings
The University of Tokyo（东京大学）；LINE Corp.（LINE公司）
提出ChatGPT-EDSS方法，利用ChatGPT提取对话历史中的意图、情感和风格词嵌入作为条件特征，实现无需人工标签的共情对话语音合成，性能媲美使用情感标签或神经网络提取上下文的方法。
2023-05-23 cs.CL cs.LG cs.SD
Improving multi-speaker TTS prosody variance with a residual encoder and normalizing flows
Alexa AI
最近，文本到语音系统的质量几乎与人类语音无法区分。然而，这些系统的韵律通常比自然语音更平坦，产生具有低表达力的样本。在文语转换系统中，说话人身份和韵律的分离是提高自然度和产生更多可变合成的关键。本文提出了一种新的神经文本到语音模型，通过调节Tacotron 2-like架构上的流规范化的扬声器嵌入，并通过用一个新的学习潜在分布来代替参考编码器，负责建模由于韵律的句内变异性，来解决解纠缠问题。通过消除参考编码器依赖性，通常发生在这种系统中的扬声器泄漏问题消失了，在推理时产生更独特的合成。新模型实现了显着更高的韵律方差比基线在一组定量韵律特征，以及更高的扬声器的独特性，而不会降低扬声器的可懂度。最后，我们观察到，归一化的扬声器嵌入使更丰富的扬声器插值，大大提高了新的插值扬声器的独特性。
2021-06-10 cs.CL cs.SD eess.AS
Lina-Speech: Gated Linear Attention and Initial-State Tuning for Multi-Sample Prompting Text-To-Speech Synthesis
针对神经编解码器语言模型在TTS语音克隆中存在的上下文长度有限、韵律情绪适配难及推理吞吐量低等问题，提出Lina-Speech模型，采用GLA替代自注意力并结合IST策略，实现多样本条件控制，提升性能与吞吐量，支持细粒度特征控制。
2025-11-15 cs.AI cs.SD eess.AS
Speaking rate attention-based duration prediction for speed control TTS
提出一种在时长预测器中条件化语速的非自回归TTS方法，实现隐式语速控制，实验表明该方法在多个语速因子下主观评分更高且语速误差更低。
2023-10-13 eess.AS
Cross-Utterance Conditioned VAE for Non-Autoregressive Text-to-Speech
ShanghaiTech University（上海科技大学）；Cambridge University（剑桥大学）；Neurowave Ai Limited（Neurowave人工智能有限公司）；Shanghai Jiao Tong University（上海交通大学）；University College London（伦敦大学学院）
韵律变化建模对于在端到端的文语转换（TTS）系统中合成自然和富有表现力的语音至关重要。在本文中，一个跨话语条件VAE（CUC-VAE）提出了估计后验概率分布的潜在韵律特征为每个音素的条件声学特征，说话人的信息，并从过去和未来的句子中获得的文本特征。在推理时，而不是VAE使用的标准高斯分布，CUC-VAE允许从特定于话语的先验分布采样条件下的跨话语信息，这使得由TTS系统生成的韵律特征与上下文相关，并且更类似于人类自然产生韵律的方式。CUC-VAE的性能通过自然度，可懂度和定量测量，包括单词出错率和韵律属性的标准差的定性听力测试进行评估。在LJ-Speech和LibriTTS数据上的实验结果表明，该系统提高了语音的自然度和韵律多样性，并具有清晰的边界。
2022-05-09 cs.CL cs.SD eess.AS
StyleCap: Automatic Speaking-Style Captioning from Speech Based on Speech and Language Self-supervised Learning Models
The University of Tokyo（东京大学）；NTT Corporation（日本电信电话公司）
StyleCap提出一种端到端方法，利用语音和语言自监督学习模型，从语音生成自然语言说话风格描述，通过LLM解码器和SSL特征提升准确性与多样性。
2023-12-27 cs.CL cs.LG cs.SD
MAGIC-TTS: Fine-Grained Controllable Speech Synthesis with Explicit Local Duration and Pause Control
South China University of Technology（华南理工大学）
MAGIC-TTS通过显式token级持续时间控制和停顿控制，实现了细粒度可控的语音合成，提升了合成质量并支持实际局部编辑应用。
2026-04-27 cs.SD
Zero-Shot Long-Form Voice Cloning with Dynamic Convolution Attention
Azoft Inc.（阿佐夫特公司）
随着语音克隆技术的发展，目标说话人的语音合成性能已接近人类水平。然而，自回归语音克隆系统仍然遭受文本对齐失败，导致无法合成长句。在这项工作中，我们提出了一种基于注意力的文本到语音系统的变体，可以从几秒钟的参考语音中再现目标语音，并推广到很长的话语。所提出的系统是基于三个独立训练的组件：扬声器编码器，合成器和通用声码器。对长话语的概括是使用称为动态卷积注意力的基于能量的注意力机制，结合针对基于Tacotron 2的合成器提出的一组修改来实现的。此外，有效的zero-shot扬声器自适应是通过调节合成器和声码器的扬声器编码器，已经预先训练了一个大的语料库的各种数据。我们比较了语音克隆系统的语音自然度，说话人相似性，对齐一致性和合成长话语的能力方面的几个实现，并得出结论，该模型可以产生可理解的合成语音非常长的话语，同时保留了很高程度的自然性和相似性的短文本。
2022-01-26 cs.CL cs.LG cs.SD
CapTalk: Unified Voice Design for Single-Utterance and Dialogue Speech Generation
University of Chinese Academy of Sciences（中国科学院大学）；Hello Group Inc.
CapTalk提出一种统一的文本-音频自回归框架，实现单语句和对话语音设计，通过分层变分条件模块平衡语音稳定性和上下文适应性，提升表达可控性和上下文恰当性。
2026-04-09 cs.SD
Improving Speech Emotion Recognition with Unsupervised Speaking Style Transfer
Zhejiang Lab（之江实验室）；Xinjiang University（新疆大学）；University of Hamburg（汉堡大学）
本文提出EmoAug无监督风格转换模型，通过分离语义与副语言编码并重建语音，增强情感表达并平衡数据，在IEMOCAP上超越现有方法并缓解过拟合。
2023-12-28 cs.AI cs.SD eess.AS
PilotTTS: A Disciplined Modular Recipe for Competitive Speech Synthesis
Amap, Alibaba Group（阿里巴巴集团爱马仕部门）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
提出PilotTTS轻量级自回归TTS系统，通过极简架构和严格数据工程（仅用20万小时开源处理数据）实现竞争性能，支持零样本语音克隆、情感/副语言/方言合成，在Seed-TTS Eval基准上取得最低WER和最高说话人相似度。
2026-05-27 cs.AI cs.SD
Severity Classification of Parkinson's Disease from Speech using Single Frequency Filtering-based Features
Aalto University（阿尔托大学）
提出基于SFF的SFFCC与MFCC-SFF语音特征，利用PC-GITA数据库和SVM分类，在三种说话任务中均提升PD严重程度分类性能。
2023-08-17 cs.AI cs.SD eess.AS
Multi-SpectroGAN: High-Diversity and High-Fidelity Spectrogram Generation with Adversarial Style Combination for Speech Synthesis
虽然基于生成对抗网络（GANs）的神经文本到语音（TTS）系统在神经语音合成方面已经显示出显著的改进，但是没有TTS系统能够学习仅利用对抗反馈从文本序列合成语音。由于对抗反馈本身不足以训练生成器，因此与地面实况和直接生成的梅尔频谱图相比，当前模型仍然需要重建损失。在本文中，我们提出了多光谱GAN（MSG），它可以训练的多说话人模型，只有对抗性反馈的条件下，一个自我监督的隐藏表示的生成器的条件约束。这将为发电机培训提供更好的指导。此外，我们还提出了对抗风格组合（ASC），以更好地概括看不见的说话风格和成绩单，它可以从多个梅尔频谱图中学习组合风格嵌入的潜在表示。通过ASC和特征匹配训练，MSG通过控制和混合个体说话风格（例如，持续时间、音高和能量）。实验结果表明，MSG合成的Mel声谱图具有与地面真实Mel声谱图相同的自然度MOS值。
2020-12-14 eess.AS
TransFusion: Transcribing Speech with Multinomial Diffusion
Stellenbosch University（斯泰伦博斯大学）
扩散模型在图像合成域中显示出特殊的缩放特性，并且最初的尝试显示出将扩散应用于无条件文本合成的类似益处。去噪扩散模型试图迭代地细化采样的噪声信号，直到它类似于相干信号（例如图像或书面句子）。在这项工作中，我们的目标是看看扩散模型的好处是否也可以实现语音识别。为此，我们提出了一种新的方式来执行语音识别使用扩散模型的条件下，预先训练的语音功能。具体来说，我们提出了TransFusion：一种转录扩散模型，它将随机字符序列迭代去噪为与条件话语的转录相对应的连贯文本。我们展示了与现有的高性能对比模型LibriSpeech语音识别基准相当的性能。据我们所知，我们是第一个将去噪扩散应用于语音识别的。我们还提出了新的技术，有效地采样和解码多项式扩散模型。这些是必需的，因为传统的方法从声学模型采样是不可能的，我们的新的离散扩散方法。代码和训练模型可在以下网址获得：https://github.com/RF5/transfusion-asr
2022-10-14 cs.AI cs.SD eess.AS
Not Quite My Tempo: Voice Activity-aware Speech Synthesis for Lip-Synchronous Dubbing
AppTek GmbH（AppTek有限公司）
本文提出以二值语音活动信号替代唇部运动作为条件，用于唇形同步配音的语音合成，实现高精度时序跟随与自然韵律，并支持推理时可选约束。
2026-09-23 cs.AI eess.AS
FC-TTS: Style and Timbre Control in Zero-Shot Text-to-Speech with Disentangled Speech Representations
Qualcomm AI Research（高通人工智能研究院）
提出FC-TTS框架，通过解耦语音表示和双参考条件实现风格与音色的独立控制，并引入架构、训练目标和辅助任务提升分离可靠性。
2026-05-23 eess.AS
Open-Source System for Multilingual Translation and Cloned Speech Synthesis
本文提出一个结合 Whisper、VAD、大语言模型与声音克隆 TTS 的开源系统，实现多语言翻译和保留说话人身份的语音再生成，并验证其在实时会议、广播等场景中的性能。
2025-07-03 eess.AS
