论文导读
香港中文大学(深圳)、墨尔本大学、Lulula研究人员发现,双工语音模型内部的一个方向可以调节发言习惯。借助五分钟参考录音,模型无需重新训练就能向特定说话者的接话风格靠近;三个模型权重的发言占比可从较低剂量下的6%—12%,调至较高剂量下的42%—61%。
一直说和一直等,都不一定适合你
语音助手说什么之外,还得决定什么时候开始说。有人喜欢紧凑接话,有人习惯停顿后再继续。全双工模型可以一边听一边决定是否发言,固定的接话习惯却未必适合每个用户。
这篇论文研究的是说话时机和占比,不是模仿音色,也不是把词汇换成某个人的口头禅。作者试图找到一个可调节的位置,让同一模型更少开口或更主动接话。
图:用户与模型波形下方连接内部方向的提取、开口预测和发言占比调节示意
模型内部可以把一段状态表示成许多方向。团队比较即将开口前的状态与继续沉默时的状态,取两组平均状态之间的差异方向,再在生成过程中沿这个方向增加或减少偏移。
找到的是行为方向,不是“性格开关”
提取这个方向不需要新增人工标签或重新训练模型。它来自模型自身生成的对话,但是否真能影响行为,还需要独立测试,不能只因为相关就断言有控制效果。
团队因此做了两件事:一是用这个方向读取模型将要开口的迹象,二是在生成过程中直接沿它施加偏移。研究对Moshika、Moshika-RL和PersonaPlex三个权重分别评价,每个使用500段留出对话。
图:上方三色曲线表示剂量与发言占比,下方比较定向偏移和随机方向的变化
发言占比随剂量上升而增加。默认时三者处在21%—30%的范围,低剂量约为6%—12%,高剂量约为42%—61%。这些是不同权重的范围,不能写成每一个模型都从6%准确涨到61%。
作者还加入相同幅度的随机方向作对照。随机偏移对话量的改变小得多,说明观察到的效果不是随便扰动模型都能得到。
给不同用户选不同剂量
一个固定设置仍然不够,因为参考说话者可能比默认模型安静,也可能更爱接话。系统从五分钟参考窗口提取特征,再为这个人选择调节剂量,而不是把所有用户一起推向“更少说”。
论文使用568个留出参考和550个评价目标,并对多个随机种子取平均。换成另一位参考说话者的剂量后,在约93%—98%的可比较情形中,匹配程度变差;这个比较用于检查个性化是否确实与参考有关。
图:多面板比较参考剂量错配、模型跟随参考、校准样本数与统一剂量对照
这里的“匹配变差”来自论文定义的发言风格距离,不能写成93%—98%的用户更满意。研究测到了轮次与发言比例的可调性,没有给出大规模真实用户满意度提升的结论。
另一项结果是,同一方向和尺度可以直接用于第二套对话语料CANDOR,而不重新拟合。这扩展了实验覆盖,但模型架构与权重范围仍然明确,不能由此保证任意语音模型都能照搬。
抢话和让话还不在同一层完成
作者分析发现,准备接话的线索在较深位置更强,让出话轮的线索则在不同的中间位置达到峰值。这提醒人们,“什么时候开始说”和“什么时候停下来听”不必是一套完全相同的内部机制。
因此,把它叫作调节发言习惯的研究,比声称找到完整人格旋钮更准确。同一个语音模型在相同对话输入下,只改变内部方向和剂量,就能形成不同的接话节奏;参考录音则为这个剂量提供了个人化依据。
参考资料
https://arxiv.org/abs/2610.20763
https://arxiv.org/html/2610.20763