英伟达（NVIDIA）提出了Voice Memory，一种仅推理的语音识别纠错方案。核心思路不是让模型更聪明，而是让它在"什么时候该改、什么时候不该改"上做得更好。在10个领域的测试中，Voice Memory将加权词错误率从8.36%降至7.52%，其中最有效的航空旅行命令领域从8.40%降至3.40%。
这个方案有意思的地方在于它的"轻"。整套纠错逻辑压缩进一个776字节的文本文件，不改模型权重，不加推理参数，接进现有流水线就能用。研究团队想验证的是一个更基础的问题：语音识别的后处理纠错，究竟需要多少额外容量才够。
"听者-思考者"双角色架构
Voice Memory从经典ASR-LM框架扩展而来，采用了"听者-思考者"架构。听者（listener）是标准的语音识别模型，负责将语音转成文本初稿。思考者（thinker）是一个冻结的校正器，读取一个只有776字节的域级记忆文件，然后决定对每个话语是修正还是弃权，保留1-best结果。
关键设计是，这两个角色只通过记忆文件耦合。模型权重不需要更新，学习到的纠错能力完全存储在记忆文件中，可审计、可移植。这意味着可以把Voice Memory的纠错能力从一个大模型迁移到另一个小模型上，而不需要重新训练。
"克制"才是纠错的核心技能
研究团队在实验中发现了一个反直觉的现象：生成式错误校正（GER）过度校正问题严重。在财经新闻领域，无约束的GER在高达64%的编辑中破坏了原本正确的词。也就是说，纠错模型在大部分情况下，越改越错。
Voice Memory通过记忆文件中的"克制"策略，将这个比率降低到了35%。记忆文件存储的是每个域中"什么情况下应该改、什么情况下应该保留原样"的经验。如果模型对自己要改的内容没有足够信心，就选择保留原样。
这个视角上的转变值得留意。过去评价一个纠错模块，看的是它改对了多少；而Voice Memory更在意它有没有改坏。在词错误率已经降到个位数的场景里，正确词的数量远远超过错误词，哪怕误改率只有百分之几，绝对损失也可能盖过收益。选择"不动"，本身就是一种能力。
图：Voice Memory在不重训语音模型的情况下更新本地记忆并选择性纠错。
10个域的表现：哪里问题大，哪里效果最好
Voice Memory在10个HyPoradise域上进行了测试，使用开放校正器。结果显示出明显的"集中效应"——增益集中在具有最大可恢复余量的领域：
- 航空旅行命令：8.40%→3.40%，改善最显著 - 嘈杂远场语音（CHiME-4）：12.69%→10.46% - 加权平均：8.36%→7.52%（添加3个上下文示例后为7.47%）
更重要的是，Voice Memory没有使任何数据集低于其1-best基线——这意味着纠错不会引入新的错误。在低WER的领域，Voice Memory效果有限，但也不会造成损害。
图：静态纠错与Voice Memory在四类语音上的有害编辑率对比。
零参数，可迁移
Voice Memory的另一个特点是零参数增长。整个记忆文件只有776字节，不增加推理路径的任何参数。这意味着它可以直接部署到已有的语音识别流水线中，不需要修改任何模型结构。
记忆还可以跨校正器家族迁移。在实验中，使用一个校正器学习到的记忆文件，可以被另一个不同架构的校正器直接使用，仍然能带来WER的改善。这种可移植性在实际部署中很有价值。
适用场景与落地边界
Voice Memory的效果与领域密切相关。在高错误率、有明确纠错规则的领域（如航空命令、金融数据）效果最好；在低WER领域，纠错的空间有限，甚至可能没有改善。
论文也指出，Voice Memory的"克制"策略依赖记忆文件的质量。如果记忆文件没有被充分优化，或者域的分布发生了显著变化，纠错效果会下降。异步优化器的设计确保了记忆文件会持续改进，但初始质量仍然重要。
从部署角度看，776字节的记忆文件几乎可以随配置一起下发，为每个业务域维护一份也不构成负担——客服热线、车载语音、医疗听写各用各的记忆，互不干扰。对于已经上线的语音系统，这是一条改动成本很低的优化路径。
