arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

PAPERDAILY REPORTS

字节把音色和语气拆开控:一句描述配声音,带噪参考也能合成

作者:arXivDaily编辑部 论文中文资料arXiv 2611.04282 cs · cs.SD

论文导读

字节跳动抖音内容集团提出TTSonic,把说什么、怎样表达与用什么音色分开处理,支持文字合成、音色设计、语气迁移及带噪参考合成。中文零样本文字转语音测试字符错率为0.78%;带噪参考测试中,词错率从同表对照的1.90%降至1.45%,一套框架可以组合不同声音条件。

同一句话,可以另配音色和语气

TTSonic接收的不只有文字。输入可以包含自然语言指令、参考语音,或描述音色的文字;它也能从一段参考中提取韵律,再用另一种目标音色表达。项目页把这些路径分开展示,避免把各种“换声音”混成一种任务。

系统先规划内容与韵律,再完成声学渲染。下图左侧是文字及语音序列的规划,右侧是根据语音表示与目标声音条件生成声谱,再变成最终音频的路径。

图:左边的文字语音序列进入规划模型,右边声学模型结合声音条件生成声谱,再经声码器输出音频。

这一分工对应一个具体需求:希望保留一句话的节奏和情绪,又想换掉说话人的音色。如果所有信息都混在同一种表示里,改变音色时容易把表达方式也带走;模型因此尝试把内容和韵律保留下来,让后面的声学部分接收另一组音色条件。

先让中间表示能读懂,再让它还原得好

要把这几种输入组合起来,中间的语音表示必须同时保留有用信息,又少带入不想保留的声音细节。TTSonic先借助语音识别训练,让离散表示重视内容;后续再通过重建等任务改善生成所需的信息。

图:左边以语音识别监督训练中间表示,右边加入语音重建与语义任务,并分别接入声音条件。

这套设计将语义与声学解耦:前面组织句子与表达,后面在目标声音条件下生成音频。目标音色既可以由参考音频提取,也可以由文字描述生成。

声音转换实验还提供了另一种检查。源语音先变成中间表示,声学解码器再配上目标说话人的条件;这条路径不经过负责规划文字的语言模型。作者没有用成对的换声目标来专门训练它,因此把测试视为跨说话人的零样本组合。

指标看内容、相似度,也看具体语言

Seed-TTS-Eval中文常规子集上,TTSonic字符错率为0.78%。字符错率衡量内容是否对得上文字,不能独自证明音色自然、像真人或情绪到位。论文因此另外报告说话人相似度,并在其他测试中检查指令遵循。

中文指令测试里,结构化声学参数任务得分为88.8,角色扮演类任务为69.4。英文同类指令结果未超过最强对照。

参考录音带噪声,生成端还能保住什么

在VoiceBank-DEMAND-16k带噪参考测试中,TTSonic词错率为1.45%,同表CosyVoice 3为1.90%;两种说话人相似度指标和自动音质估计也有改善。

下图比较真实语音与两个训练阶段重建的声谱,用于检查中间表示还原后的声学结构。横向是时间,颜色呈现频率成分的能量分布。

图:三栏分别标为真实声谱、第一阶段与第二阶段,亮色谐波条纹展示同一片段的频率结构。

最终使用哪条路径,取决于希望保留什么:保留文字内容、保留参考的表达节奏,还是保留目标音色。官方Demo分别列出语音增强、声音转换、音色克隆、韵律克隆和指令控制入口,便于按输入条件逐项核对。

参考资料

https://arxiv.org/html/2611.04282

https://arxiv.org/pdf/2611.04282

https://arxiv.org/src/2611.04282

https://bytedance.github.io/TTSonic/

https://arxiv.org/abs/2611.04282

↑