arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

调大音量不算大声说话,语音AI开始按分贝改发声

作者:arXivDaily编辑部 论文中文资料arXiv 2610.13608 cs · cs.LG · cs.SD · eess · eess.AS

论文导读

巴黎萨克雷大学、法国国家科学研究中心、格勒诺布尔阿尔卑斯大学团队训练了一个语音转换层,用连续分贝目标调整发声强度,而不只是把录音播放得更响。在校准语料的未见说话人测试中,WavLM方案实现约83%的目标强度变化;听觉实验也显示,目标越高,听者感知的发声越强。

音量旋钮,改不了发声方式

在峰值归一化的听觉测试中,目标分贝越高,转换语音被判断为更强的发声。论文把听者的判断点和误差线画出来,与原始录音及完全符合目标的虚线对照。

图:蓝色转换声音测量点及误差线随目标分贝上升,橙线表示原始录音,灰虚线表示目标与感知完全一致。

同一句话,轻声说和用力说,不只是波形整体放大或缩小。声带振动、音高和声音的频谱也会变化。只把播放器音量调高,保留的仍是原来的发声方式。

这篇论文给转换模型一个连续的目标值,让它在尽量保留原句内容和说话人特征的同时,改变发声强度。目标用分贝声压级表示,并统一到离说话人嘴部一米的位置。这样,不同录音里的数值才可以在明确的测量条件下比较。

编码器不动,只改中间表示

模型先把录音编码成一段内部特征,再让一个小转换器根据目标强度修改特征,最后用已有声码器重新生成声音。编码器和声码器保持冻结,训练集中在中间转换层。

团队比较了三种内部表示:常见的声音频谱、WavLM的特征,以及SpeechTokenizer的特征。同样的转换结构和训练目标分别用于三套表示,检查哪一种更适合表达发声变化。

训练不要求把一段轻声录音直接对齐到同一人同一句的响亮录音。模型通过真实声音与目标强度是否相配来学习,还要求改成另一强度后再改回去,能恢复原来的内部表示;目标不变时,则尽量不修改输入。输出帧数与输入相同,所以这套转换并不负责改变语速或时长。

图:上方流程连接编码器、转换层和解码器,下方鉴别器与回转箭头用于训练时检查强度配对与恢复。

83%是变化斜率,不是准确率

研究使用AVID校准语料,包含50名说话人的不同发声强度录音。训练、验证、测试按说话人分开,其中6人只用于测试。客观评估把同一说话人、同一句话的另一强度作为目标,共形成4786次转换。

WavLM方案的强度变化回归斜率为0.83,论文因此描述为实现约83%的目标变化。它的含义是:目标强度差越大,测得的转换差也相应增加,但平均变化幅度还没有完全达到目标。不能把这个数字写成83%的样本转换成功。

评估使用一个独立的强度预测器,这个预测器没有参与转换器的训练目标。对它而言,录音振幅被归一化,无法只靠音量大小判断强度。转换还影响了基频等发声特征,因此观察到的变化超过单纯振幅放大。

图:表格分别列出转换和重合成的强度斜率、声学参数、词错误率与自然度,括号给出置信区间。

播放同样响,还能听出强度差

听觉实验也把声音做了峰值归一化,使播放振幅不再直接告诉听者哪个更响。听者比较转换结果和原始录音,选择哪一个听起来发声更强。81名参与者中,54名通过控制题要求,被纳入分析。

随着目标分贝增加,转换声音感知强度总体上升,但相同目标下不同源录音仍会造成差异。论文把这项能力描述为相对强度可控,绝对感知级别的一致性还有差距。图里的蓝色点和误差线表达听觉判断的趋势,不能当作每一条输出都精确达到目标。

声音内容和自然度也需要检查。转换后,各套表示的词错误率都高于只重合成原录音的情况。WavLM的转换词错误率约8.3%,原录音约4.7%;它在几套转换方案中保留内容较好,却仍付出了变化成本。

项目提供WavLM转换模型、代码和测试样例,可把目标值设在训练覆盖的范围内。当前结果来自带有校准信息的语料,而不是已经验证任意手机录音都能准确恢复绝对发声分贝。

参考资料

https://arxiv.org/abs/2610.13608

https://github.com/vers-project/vocal-intensity-conversion

↑