VoiceBank-2023: A Multi-Speaker Mandarin Speech Corpus for Constructing Personalized TTS Systems for the Speech Impaired
National Taipei University（台北大学）；National Yang Ming Chiao Tung University（阳明交通大学）；AcoustInTek Co., Ltd.（声智科技股份有限公司）
本文介绍了面向语障碍者的VoiceBank-2023多说话人普通话语料库，含111人共29.78小时标注语音，可申请非商用，助力构建个性化TTS系统。
2023-08-27 cs.CL cs.SD eess.AS
WenetSpeech-Min: A Large-Scale Minnan Speech Corpus with Dual Transcriptions for Dialectal Speech Processing
Northwestern Polytechnical University（西北工业大学）；Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）；WeNet Open Source Community（WeNet开源社区）；Moonstep AI；Nexdata；Xiamen University（厦门大学）；State Key Laboratory of Novel Software Technology, Nanjing University（南京大学软件新技术国家重点实验室）
针对闽南语语音资源稀缺问题，构建约1万小时带闽南语与普通话双转录的WenetSpeech-Min语料库，并建立ASR与TTS基准，训练模型在多数指标上优于开源系统且接近商业水平。
2026-09-30 eess.AS
Cross-lingual Multi-speaker Text-to-speech Synthesis for Voice Cloning without Using Parallel Corpus for Unseen Speakers
我们研究了一种新的跨语言多说话人文本转语音合成方法，用于生成高质量的本地或口音的语音，为本地/外国看到/看不见的发言人在英语和普通话。该系统由三个单独训练的组件组成：x矢量扬声器编码器，基于Tacotron的合成器和WaveNet声码器。它以3种嵌入为条件：（1）说话人嵌入，以便系统可以用来自许多说话人的语音进行训练，而每个说话人的数据很少;（2）具有共享音素输入的语言嵌入;（3）重音和音调嵌入，提高了合成语音的自然度，特别是对于像普通话这样的音调语言。通过调整各种嵌入，MOS结果表明，我们的方法可以生成高质量的自然和可理解的母语语音的母语/外国看到/看不见的扬声器。口音语音的可懂度和自然度低于预期。说话人相似性对母语者的母语语音有好处。有趣的是，说话人相似性对外国人的口音也有好处。我们还发现，在许多情况下，通过L2范数归一化或白化对说话人嵌入x向量进行归一化可以大大提高输出质量，并且WaveNet的性能似乎与语言无关：我们的WaveNet是用粤语语音训练的，可以很好地用于生成普通话和英语语音。
2019-11-26 eess.AS
A corpus-based investigation of pitch contours of monosyllabic words in conversational Taiwan Mandarin
Eberhard Karls Universität Tübingen（蒂宾根大学）；Radboud University（拉德堡德大学）
本研究基于台湾普通话自然口语语料库，利用广义加性模型和随机森林分析单音节词音高曲线，揭示声调语境和词义共同决定声调实现，其中T2和T3在语境控制后呈现为低平调，轻声自身呈现为低调。
2024-10-19 cs.CL cs.SD eess.AS
Synchronising speech segments with musical beats in Mandarin and English singing
Radboud University（拉德堡德大学）；University of Michigan（密歇根大学）
用语音数据训练的模型生成合成歌声具有许多优点，这是由于模型的灵活性和可控性。然而，由于语音训练数据中缺少关于片段和节拍之间的时间关系的信息，所以合成的歌唱有时听起来可能不合拍。因此，语音片段和音乐节拍之间的时间关系的信息的可用性是至关重要的。本研究以P-中心理论和响度层次理论为基础，对歌唱数据中的音段节拍同步现象进行了研究。一个普通话语料库和一个英语语料库的专业歌唱数据进行人工标注和分析。结果表明，音乐节拍的存在更依赖于段的持续时间比响亮。然而，响度等级和P中心理论与节拍的位置高度相关。普通话和英语表现出跨语言的差异，尽管表现出共同的模式。
2021-06-18 cs.CL cs.SD eess.AS
A Pilot Study on Mandarin Chinese Cued Speech
Gipsa-lab, University Grenoble Alpes（格勒诺布尔阿尔卑斯大学Gipsa-lab）；Shenzhen Research Institute of Big Data, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）深圳大数据研究院）；Grenoble Institute of Technology（格勒诺布尔理工学院）
提示言语（CS）是为聋人开发的一种通信系统，它利用手势提示在语音水平上补充言语阅读。目前，据估计，CS已经适应了60多种语言;然而，没有官方的CS系统可用于普通话。本文提出了一种新颖、高效的汉语压缩编码系统，该系统满足手部编码与嘴唇运动互补的主要标准。我们建议当元音[i，u，y]后面跟着其他普通话韵母时，将其编码为辅音，这将普通话韵母的数量从36减少到16。我们建立了一个连贯的相似性汉语普通话和法语元音的其余16个元音，这使我们能够利用法国CS系统。此外，通过对一个新的语料库的嘴唇视位分布的调查，16个普通话元音的最佳分配不同的手的位置。高斯分类器用于评估不同分配的元音组的平均可分性，其对于三个说话人分别给出92.08%、92.33%和92.73%。辅音的设计主要是根据它们与法语CS系统的相似性，以及对普通话特殊辅音的一些考虑。在我们的系统中，普通话的音调是用头部运动编码的。
2020-01-03 cs.SD eess.AS
Open Source MagicData-RAMC: A Rich Annotated Mandarin Conversational(RAMC) Speech Dataset
Institute of Acoustics, Chinese Academy of Sciences（中国科学院声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Magic Data Technology Co., Ltd.（魔数智音科技有限公司）；Shanghai Jiao Tong University（上海交通大学）；Northwestern Polytechnical University（西北工业大学）
本文介绍了一个高质量的丰富注释的普通话会话（RAMC）语音数据集称为MagicData-RAMC。MagicData-RAMC语料库包含180小时的会话语音数据，这些数据是以16 kHz的采样率通过移动电话从汉语普通话为母语的人记录的。MagicData-RAMC中的对话被分为15个不同的领域，并标有主题标签，从科学技术到日常生活。准确的转录和精确的扬声器语音活动时间戳手动标记每个样本。还提供了演讲者的详细信息。MagicData-RAMC是一个针对对话场景设计的具有高质量和丰富注释的普通话语音数据集，丰富了普通话语音社区的数据多样性，并允许对一系列语音相关任务进行广泛研究，包括自动语音识别，说话人日志，主题检测，关键字搜索，文本到语音，我们还进行了几个相关的任务，并提供实验结果，以帮助评估数据集。
2022-03-31 cs.CL eess.AS
Opencpop: A High-Quality Open Source Chinese Popular Song Corpus for Singing Voice Synthesis
Tongji University（同济大学）；Shanghai Institute of Visual Arts（上海视觉艺术学院）；Northwestern Polytechnical University（西北工业大学）；NetEase Inc.（网易公司）
本文介绍了OpenPop，一个公开的高质量的普通话歌唱语料库设计的歌唱声音合成（SVS）。语料库由100首流行的普通话歌曲组成，由一位女性专业歌手演唱。音频文件以44，100 Hz的采样率以录音室质量录制，并提供相应的歌词和乐谱。所有的歌唱录音都有音素边界和音节（音符）边界的语音注释。为了证明已发布数据的可靠性并为未来的研究提供基线，我们构建了基于深度神经网络的SVS模型，并使用客观指标和主观平均意见评分（MOS）指标对其进行了评估。实验结果表明，在我们的数据库上训练的最好的SVS模型达到3.70 MOS，表明提供的语料库的可靠性。OpenPop发布到开源社区WeNet，语料库以及合成演示可以在项目主页上找到。
2022-01-20 cs.DB cs.SD eess.AS
Multilingual Stutter Event Detection for English, German, and Mandarin Speech
Rosenheim Technical University of Applied Sciences, Germany（德国罗森海姆应用技术大学）
本文提出一个基于多语种数据的多标签口吃检测系统，通过利用三种语言和四个语料库的标注数据，实现跨语言的鲁棒检测，实验表明多语言训练在某些情况下优于传统方法。
2026-03-27 cs.CL cs.SD eess.AS
Multi-Level Modeling Units for End-to-End Mandarin Speech Recognition
NetEase Yidun AI Lab（网易易盾人工智能实验室）
建模单元的选择对于自动语音识别（ASR）任务至关重要。在普通话场景中，汉字代表意义，但与发音没有直接关系。因此，只考虑汉字的书写作为建模单元是不够的，以捕捉语音特征。本文提出了一种新的基于多级建模单元的汉语语音识别方法，该方法集成了汉语多层次信息。具体地，编码器块将音节视为建模单元，而解码器块处理字符级建模单元。为了促进从音节特征到字符特征的增量转换，我们设计了一个辅助任务，该任务将交叉熵（CE）损失应用于中间解码器层。在推理过程中，输入的特征序列由编码器模块转换为音节序列，然后由解码器模块转换为汉字。在广泛使用的AISHELL-1语料库上的实验表明，该方法取得了令人满意的结果，CER分别为4.1%/4.6%和4.6%/5.2%，使用Conformer和Transformer骨干。
2022-10-18 cs.CL cs.SD eess.AS
Rnn-transducer with language bias for end-to-end Mandarin-English code-switching speech recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来，语言身份信息已被用来提高端到端的代码切换（CS）语音识别的性能。然而，以前的工作使用一个额外的语言识别（LID）模型作为辅助模块，这导致系统复杂。在这项工作中，我们提出了一个改进的递归神经网络转换器（RNN-T）模型与语言偏见，以减轻这个问题。我们使用语言身份来偏置模型来预测CS点。这促进了模型直接从转录中学习语言身份信息，并且不需要额外的LID模型。我们评估的方法上的一个普通话-英语CS语料库SEAME。与我们的RNN-T基线相比，所提出的方法在两个测试集上分别可以实现16.2%和12.9%的相对误差减少。
2020-02-19 cs.CL cs.LG cs.SD
A Novel Interpretable and Generalizable Re-synchronization Model for Cued Speech based on a Multi-Cuer Corpus
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））
针对Cued Speech中唇手动作异步问题，提出基于唇音流三种统计度量和归一化的可解释、可泛化、与提示者无关的HPT预测模型，并构建首个含五位说话人的普通话CS语料库，实验性能优于现有方法。
2023-06-05 cs.CL cs.CV eess.AS
Towards Natural Bilingual and Code-Switched Speech Synthesis Based on Mix of Monolingual Recordings and Cross-Lingual Voice Conversion
Alibaba Group（阿里巴巴集团）
最近的国家的最先进的神经文本到语音（TTS）合成模型，显着提高了可懂度和自然度的生成语音的文本。然而，建立一个良好的双语或代码转换的TTS为特定的声音仍然是一个挑战。主要原因是，它是不容易获得一个双语语料库的发言者谁达到母语水平的流利性，在两种语言。在本文中，我们探讨了使用普通话语音录音从普通话扬声器，英语语音录音从另一个英语扬声器，以建立高品质的双语和代码切换TTS为两个扬声器。基于Tacotron 2的跨语言语音转换系统被用来生成汉语人的英语语音和英语人的汉语语音，它们表现出良好的自然度和说话人相似度。然后，使用Transformer模型合成的码切换话语来增强所获得的双语数据。在此基础上，本文采用Tacotron 2、Transformer和FastSpeech三种神经元TTS模型分别构建了双语和语码转换的TTS系统。主观评价结果表明，这三个系统都可以产生（近）母语水平的语音在两种语言的每个扬声器。
2020-10-16 cs.LG cs.SD eess.AS
Construction and Evaluation of Mandarin Multimodal Emotional Speech Database
Taiyuan University of Technology（太原理工大学）；Suzhou University（苏州大学）；Newcastle University（纽卡斯尔大学）
本文构建了一个包含发音运动学、声学、声门和面部微表情的普通话多模态情感语音数据库，并通过SVM、CNN和DNN模型验证了其高质量和情感区分度，为多模态情感语音分析提供了重要数据来源。
2024-01-14 cs.AI cs.SD eess.AS
OpenEnded: An Open-Response Speech Corpus for Speaking Proficiency Assessment with Human Annotations and ALM Supervision
Columbia University（哥伦比亚大学）
针对自动口语评估数据稀缺问题，构建开放式英语口语语料库OpenEnded，提供语句级多维评分，并验证ALM伪标注及VoxPA基线模型的有效性。
2026-09-15 cs.SD eess.AS
Acoustic gap placement in second-language read speech production
University of Kansas（堪萨斯大学）
本研究通过分析同一朗读段落中词间声学间隙的位置，发现普通话母语者比美国英语母语者在非标点位置产生更多停顿，表明间隙位置可作为衡量第二语言口语流利性的有效维度。
2026-10-05 eess.AS eess.SP
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University（四川大学）；Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)（中国民用航空局西南空中交通管理局）；Wisesoft Co., Ltd.（四川川大智胜软件股份有限公司）
自动语音识别（ASR）技术在近几年得到了迅速的发展，促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础，尤其是对于垂直行业，如空中交通管制（ATC）。有一些语音语料库用于公共或付费的常见应用。然而，对于ATC来说，由于安全问题，很难从真实系统中收集原始语音。更重要的是，对于像ASR这样的监督学习任务，注释转录是一项更加繁重的工作，这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库（ATC Speech），包括带口音的汉语和英语，以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外，我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知，这是第一个工作，旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
Simple yet Effective Code-Switching Language Identification with Multitask Pre-Training and Transfer Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对低资源的英汉语码转换语言识别问题，提出堆叠式残差 CNN+GRU 模型和以 ASR 为辅助任务的多任务预训练方法，并结合银标准数据与上采样增强，在真实儿童语音语料上取得 0.781 的平衡准确率，比基线提升 55.3%。
2023-05-31 cs.CL eess.AS
BASPRO: a balanced script producer for speech corpus collection based on the genetic algorithm
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Columbia University（哥伦比亚大学）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
语音处理模型的性能在很大程度上受到用于训练和评估的语音语料库的影响。在这项研究中，我们提出了平衡脚本PROducer（BASPRO）系统，它可以自动构建一个语音平衡和丰富的中文句子集，用于收集汉语普通话语音数据。首先，我们使用预先训练好的自然语言处理系统，从一个大型中文新闻文本语料库中提取十个字符的候选句子。然后，我们应用了一种基于遗传算法的方法来选择20个语音平衡的句子集，每个句子集包含20个句子，从候选句子。使用BASPRO，我们获得了一个名为TMNews的录音脚本，其中包含400个十字句。TMNews涵盖了现实世界中使用的84%的音节。此外，音节分布与真实世界的音节分布具有0.96余弦相似度。我们使用两个文本到语音系统将脚本转换为语音语料库。使用设计的语音语料库，我们测试的性能语音增强（SE）和自动语音识别（ASR），这是最重要的回归和分类为基础的语音处理任务，分别。实验结果表明，在设计的语音语料库上训练的SE和ASR模型的性能优于在随机合成的语音语料库上训练的模型。
2022-12-11 cs.AI cs.CL cs.LG
nnSpeech: Speaker-Guided Conditional Variational Autoencoder for Zero-shot Multi-speaker Text-to-Speech
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Auckland（奥克兰大学）；Institute of Science and Technology for Brain-inspired Intelligence, Fudan University（复旦大学脑启发智能科学与技术研究院）
利用少量自适应数据实现多说话人的文语转换是实际应用中的一个挑战。为了解决这个问题，我们提出了一个zero-shot多说话人TTS，命名为nnSpeech，它可以合成一个新的说话人的声音，而无需微调，只使用一个自适应话语。与使用说话人表示模块提取新说话人特征相比，该方法基于说话人引导的条件变分自编码器，可以生成一个既包含说话人特征又包含内容信息的变量Z。潜变量Z分布近似为另一个变量的参考梅尔声谱图和音素的条件。在英语语料库、普通话语料库和跨语料库上的实验证明，该模型可以生成自然、相似的语音，只需要一个自适应语音。
2022-02-22 cs.SD eess.AS
AVE Speech: A Comprehensive Multi-Modal Dataset for Speech Recognition Integrating Audio, Visual, and Electromyographic Signals
Defense Innovation Institute, Academy of Military Sciences, Beijing, China（国防科技研究院，军事科学院，北京，中国）；Tianjin Artificial Intelligence Innovation Center, Tianjin, China（天津人工智能创新中心，天津，中国）；Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学，深圳，中国）；Tianjin University, Tianjin, China（天津大学，天津，中国）
本文提出AVE Speech多模态普通话语音识别数据集，融合音频、唇部视频和六通道肌电信号，覆盖100人、100句、超55小时/模态，并验证其在跨受试者和高噪声场景下显著提升识别性能。
2025-07-05 cs.HC cs.MM cs.SD
Evaluating Self-supervised Speech Models on a Taiwanese Hokkien Corpus
Carnegie Mellon University（卡内基梅隆大学）；Scripps College（斯克里普斯学院）；University of Maryland（马里兰大学）；Swarthmore College（斯沃斯莫尔学院）；National Taiwan Normal University（国立台湾师范大学）；China Medical University, Taiwan（中国医药大学（台湾））；National Taiwan University（国立台湾大学）
本文构建 1.5 小时台湾闽南语数据集并纳入 ML-SUPERB 隐藏集，评估多种 SSL 语音表示，证明模型规模不决定性能且语言对齐至关重要。
2023-12-06 cs.CL cs.SD eess.AS
Speaker-Aware Temporal Aggregation Strategies on Segment Representations for Depression Detection in Dyadic Interaction: A Benchmark Study
University of Southern California（南加州大学）
研究基于语音的抑郁症检测中时间聚合策略，引入DEPOOL基准，对比六种聚合架构与六种语音骨干网络，发现三分之一配置失败，强调骨干网络和种子的稳健性应是临床语音时间聚合基准标准。
2026-07-07 eess.AS
CUHK-EE Voice Cloning System for ICASSP 2021 M2VoC Challenge
CUHK-EE（香港中文大学电子工程系）
本文介绍了用于ICASSP 2021 M2 VoC挑战的CUHK-EE语音克隆系统。该挑战提供了两个普通话语音语料库：AIShell-3语料库的218个扬声器的噪声和混响和MST语料库，包括一个男性和一个女性扬声器的高质量的语音。音轨1和音轨2分别提供3个目标说话人的100个和5个不同语音和风格的话语，要求参与者按照目标说话人的语音和风格合成语音。我们参加了音轨1，并根据目标说话人的100个话语进行语音克隆。为了完成这一任务，本文设计并实现了一个端到端的语音克隆系统。一个文本和语音前端模块的帮助下，强制对齐，2.结合Tacotron 2和DuRIAN的声学模型来预测melspectrogram，3. Hifigan声码器用于波形生成。我们的系统包括三个阶段：多说话人训练阶段，目标说话人自适应阶段和目标说话人合成阶段。我们的团队被确定为T17。由挑战赛组织者提供的主观评价结果证明了我们的系统的有效性。音频样本可以在我们的演示页面上找到：https://daxintan-cuhk.github.io/CUHK-EE-system-M2VoC-challenge/。
2021-07-05 cs.SD eess.AS
WildElder: A Chinese Elderly Speech Dataset from the Wild with Fine-Grained Manual Annotations
College of Computer Science, Nankai University, China（南开大学计算机科学学院）
针对老年语音自动处理挑战及现有中文数据集局限，提出WildElder，从在线视频收集普通话老年语音语料库并细粒度标注，结合野外数据真实性与专家策划，可有力研究自动语音识别等，是有潜力的新基准。
2026-07-21 cs.SD eess.AS
CochleaNet: A Robust Language-independent Audio-Visual Model for Speech Enhancement
Edinburgh Napier University（爱丁堡龙比亚大学）；University of Stirling（斯特灵大学）；University of Wolverhampton（伍尔弗汉普顿大学）
噪声环境会给听力损失患者带来巨大的问题，因为助听器通常会使信号听得更清楚，但并不总是能恢复清晰度。在嘈杂的环境中，人类通常利用语音的视听（AV）特性来选择性地抑制背景噪声并专注于目标说话者。在本文中，我们提出了一个因果，语言，噪声和扬声器独立的AV深度神经网络（DNN）架构的语音增强（SE）。该模型利用噪声的声学线索和噪声鲁棒的视觉线索，专注于所需的扬声器，提高语音可懂度。为了评估所提出的SE框架的第一种AV双耳语音语料库，称为ASPIRE，记录在真正的嘈杂的环境中，包括自助餐厅和餐厅。我们证明了我们的方法在客观测量和主观听力测试方面优于最先进的SE方法以及最近基于DNN的SE模型。此外，我们的工作挑战了一个流行的信念，即缺乏多语言的大词汇量AV语料库和各种各样的噪声是一个主要的瓶颈，建立一个强大的语言，扬声器和噪声独立的SE系统。我们发现，在网格语料库（有33个扬声器和一个小的英语词汇）和ChiME 3噪声（只包括公共汽车，行人，自助餐厅和街道噪音）的合成混合物上训练的模型不仅在大词汇语料库上，而且在完全不相关的语言（如普通话），各种各样的扬声器和噪音上都能很好地推广。
2019-09-23 cs.CV cs.LG cs.SD
M2MeT: The ICASSP 2022 Multi-Channel Multi-Party Meeting Transcription Challenge
Alibaba Group（阿里巴巴集团）；Beijing Shell Shell Technology Co., Ltd.（北京壳壳科技有限公司）
语音处理的最新发展，如语音识别、说话人日记等，激发了语音技术的大量应用。会议场景是最有价值的场景之一，同时也是部署语音技术最具挑战性的场景。具体来说，两个典型的任务，说话人日记和多说话人自动语音识别最近引起了人们的广泛关注。然而，缺乏大型公共会议数据一直是该领域发展的主要障碍。因此，我们提供了AliMeeting语料库，该语料库由120小时的普通话会议记录数据组成，包括8通道麦克风阵列收集的远场数据以及耳机麦克风收集的近场数据。每个会议环节由2-4位发言人组成，不同的发言人重叠比例，在不同大小的房间录制。与数据集一起，我们推出了ICASSP 2022多通道多方会议转录挑战赛（M2MeT），其中包括两个轨道，即扬声器日志化和多扬声器ASR，旨在为会议丰富的转录提供一个通用的测试平台，并促进该领域的可重复研究。本文详细介绍了AliMeeting的数据集、挑战规则、评估方法和基线系统。
2022-02-25 cs.SD eess.AS
Towards Natural and Controllable Cross-Lingual Voice Conversion Based on Neural TTS Model and Phonetic Posteriorgram
Alibaba Group（阿里巴巴集团）
由于不同语言的语音集合和语音韵律的显著不匹配，跨语言语音转换（VC）是一个重要且具有挑战性的问题。在本文中，我们建立在神经文本到语音（TTS）模型，即，FastSpeech和LPCNet神经声码器设计了一个新的跨语言VC框架FastSpeech-VC。我们解决的语音集和语音韵律的不匹配，通过应用语音后序图（PPG），这已被证明是跨越扬声器和语言的边界的桥梁。此外，我们加入了归一化的韵律尺度基频（Log-F0），以进一步补偿韵律失配，并显着提高自然度。我们对英语和普通话语言的实验表明，只有单语种语料库，建议FastSpeech-VC可以实现高质量的转换语音的平均意见得分（MOS）接近专业记录，同时保持良好的说话人相似性。与使用Tacotron 2和Transformer TTS模型的基线相比，FastSpeech-VC可以实现可控的转换语音速率和更快的推理速度。更重要的是，FastSpeech-VC可以很容易地适应训练话语有限的扬声器。
2021-02-03 cs.LG cs.SD eess.AS
Joycent: Multi-Accent TTS via Disentangled Accent Modeling and Layer-Specific Conditioning
University of Science and Technology of China（中国科学技术大学）
提出Joycent，一种基于扩散模型的口音TTS方法，直接从标准音素序列和语音参考合成口音语音，无需口音音素预测，通过条件层归一化集成口音和说话人表征，并引入WhisAID口音识别模型，在保持说话人身份的同时提升口音自然度。
2026-09-01 cs.SD eess.AS
StoryTTS: A Highly Expressive Text-to-Speech Dataset with Rich Textual Expressiveness Annotations
Shanghai Jiao Tong University（上海交通大学）
本文提出高表现力文本转语音数据集StoryTTS，包含61小时语音及丰富的文本表现力标注，通过大语言模型批量标注五个维度的文本表现力，实验证明结合该标签能提升TTS模型生成语音的表现力。
2024-04-23 cs.CL cs.SD eess.AS
Cross-speaker emotion disentangling and transfer for end-to-end speech synthesis
Northwestern Polytechnical University（西北工业大学）；Xi’an Jiaotong University（西安交通大学）
文本到语音（TTS）合成中的跨说话人情感转移任务特别旨在合成具有从另一（源）说话人记录的参考语音转移的情感的目标说话人的语音。在情感传递过程中，源说话人的身份信息也会影响合成结果，导致说话人泄漏问题。本文提出了一种新的方法，旨在合成可控的情感表达语音，同时保持目标说话人的身份在跨说话人情感TTS任务。所提出的方法是一个基于Tacotron2的框架，情感嵌入作为条件变量提供情感信息。在我们的方法中包含两个情感解开模块，1）得到说话人无关和情感歧视嵌入，2）显式地限制合成语音的情感和说话人身份是预期的。此外，我们提出了一个直观的方法来控制合成语音的情感强度为目标说话人。具体地，利用灵活的标量值来调整所学习的情感嵌入，这允许控制由嵌入传达的情感强度。在汉语不相交语料库上进行了大量的实验，实验结果表明，该方法能够为目标说话人合成合理的情感语音。与现有的参考嵌入学习方法相比，该方法在跨说话人情感迁移任务上获得了最佳性能，表明该方法在学习说话人无关情感嵌入方面取得了新的性能。此外，强度排序测试和音高轨迹图表明，该方法可以有效地控制情感强度，导致韵律多样性的合成语音。
2022-04-08 cs.SD eess.AS
