一种使用合成重录音训练的、针对多方智能体交互的抗串扰多通道 VAD 模型
A cross-talk robust multichannel VAD model for multiparty agent interactions trained using synthetic re-recordings
AI总结：
针对多方互动节目中的多通道串扰问题，提出利用多通道信息的 VAD 模型，并通过合成重录音数据训练，显著优于基线方法并降低了下游 ASR 的插入错误。
摘要：
在这项工作中，我们提出了一种新颖的串扰抑制框架，适用于现场多方互动节目的多通道多说话人场景。我们的远场音频设置在实时交互期间需要免提，并且在同一空间中包含四个相邻的说话人，每人配有定向麦克风。这种设置通常会在通道之间引入严重的串扰，导致自动语音识别（ASR）和自然语言理解（NLU）性能下降。为了解决这个问题，我们提出了一种利用多通道信息的语音活动检测（VAD）模型，用于所有说话人，然后将其用于过滤音频以供下游任务使用。我们采用了一种通过播放和重录音来生成合成训练数据的方法，用于此类场景，模拟具有挑战性的语音重叠条件。我们在此合成数据上训练了我们的模型，并证明我们的方法在各种声学环境中优于单通道 VAD 模型和基于能量的多通道 VAD 算法。除了 VAD 结果外，我们还展示了多方 ASR 评估结果，以突出使用我们的 VAD 模型过滤音频对下游任务的影响，即显著降低插入错误。
英文摘要：
In this work, we propose a novel cross-talk rejection framework for a multi-channel multi-talker setup for a live multiparty interactive show. Our far-field audio setup is required to be hands-free during live interaction and comprises four adjacent talkers with directional microphones in the same space. Such setups often introduce heavy cross-talk between channels, resulting in reduced automatic speech recognition (ASR) and natural language understanding (NLU) performance. To address this problem, we propose voice activity detection (VAD) model for all talkers using multichannel information, which is then used to filter audio for downstream tasks. We adopt a synthetic training data generation approach through playback and re-recording for such scenarios, simulating challenging speech overlap conditions. We train our models on this synthetic data and demonstrate that our approach outperforms single-channel VAD models and energy-based multi-channel VAD algorithm in various acoustic environments. In addition to VAD results, we also present multiparty ASR evaluation results to highlight the impact of using our VAD model for filtering audio in downstream tasks by significantly reducing the insertion error.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
