使用最近邻对比学习的语音序列嵌入
Speech Sequence Embeddings using Nearest Neighbors Contrastive Learning
AI总结：
提出一种基于数据增强k近邻搜索正样本的无监督对比学习神经编码器架构，通过迭代应用于自监督音频表示，在5种语言的语音序列检索和口语词汇发现任务上大幅超越现有最优，并建立新基准。
摘要：
我们引入了一种简单的神经编码器架构，可通过无监督对比学习目标进行训练，其正样本来源于数据增强的 k-Nearest Neighbors 搜索。我们证明，当建立在近期自监督音频表示之上时，该方法可迭代应用，并在两项任务上产生具有竞争力的 SSE：随机语音序列的 query-by-example 和 spoken term discovery。在这两项任务上，我们的方法在 5 种不同语言中将 state-of-the-art 大幅提升。最后，我们在 LibriSpeech 数据集上建立了一个 query-by-example 任务的基准，以监测该领域的未来进展。
英文摘要：
We introduce a simple neural encoder architecture that can be trained using an unsupervised contrastive learning objective which gets its positive samples from data-augmented k-Nearest Neighbors search. We show that when built on top of recent self-supervised audio representations, this method can be applied iteratively and yield competitive SSE as evaluated on two tasks: query-by-example of random sequences of speech, and spoken term discovery. On both tasks our method pushes the state-of-the-art by a significant margin across 5 different languages. Finally, we establish a benchmark on a query-by-example task on the LibriSpeech dataset to monitor future improvements in the field.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
