Query-by-example spoken term detection (QbE-STD) is typically constrained by transcribed data scarcity and language specificity. This paper introduces a novel, language-agnostic QbE-STD model leveraging image processing techniques and transformer architecture. By employing a pre-trained XLSR-53 network for feature extraction and a Hough transform for detection, our model effectively searches for user-defined spoken terms within any audio file. Experimental results across four languages demonstrate significant performance gains (19-54%) over a CNN-based baseline. While processing time is improved compared to DTW, accuracy remains inferior. Notably, our model offers the advantage of accurately counting query term repetitions within the target audio.
Neural Network based End-to-End Query by Example Spoken Term Detection
Idiap Research Institute（Idiap研究院）
研究了零资源环境下的示例查询口语词检测问题。现有技术的方法主要依赖于基于动态时间规整（DTW）的模板匹配技术，该技术使用从深度神经网络（DNN）提取的音素后验或瓶颈特征。我们使用单语和多语言瓶颈功能，并表明多语言功能的表现越来越好，更多的训练语言。先前，已经示出了基于DTW的匹配可以被基于CNN的匹配替换，同时使用后验特征。在这里，我们表明，基于CNN的匹配优于基于DTW的匹配使用瓶颈功能以及。在这种情况下，我们的QbE-STD系统的特征提取和模式匹配阶段相互独立地进行优化。我们建议将这两个阶段整合到一个完全基于神经网络的端到端学习框架中，以同时实现这两个阶段的联合优化。在两个具有挑战性的多语言数据集上对所提出的方法进行了评估：Spoken Web Search 2013和Query by Example Search on Speech Task 2014，在每种情况下都有显着的改进。
Cross-lingual Spoken Language Understanding with Regularized Representation Alignment
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心（CAiRE））；Department of Electronic and Computer Engineering（电子与计算机工程系）；The Hong Kong University of Science and Technology（香港科技大学）
尽管目前的口语语言理解系统的跨语言模型的有希望的结果，他们仍然遭受不完善的跨语言表示之间的源和目标语言，这使得性能次优的对齐。为了解决这个问题，我们提出了一种正则化方法来进一步调整跨语言的单词级和单词级表示，而无需任何外部资源。首先，我们规范化的表示用户话语的基础上，其相应的标签。其次，我们正则化潜变量模型（Liu et al.，2019）通过利用对抗性训练来解开潜在变量。跨语言语言理解任务的实验表明，我们的模型优于当前国家的最先进的方法在两个Few-Shot和zero-shot的情况下，我们的模型，训练在一个Few-Shot设置只有3\%的目标语言训练数据，达到相当的性能与所有训练数据的监督训练。
Leveraging pre-trained representations to improve access to untranscribed speech from endangered languages
Stanford University（斯坦福大学）；ARC Centre of Excellence for the Dynamics of Language（ARC语言动态卓越中心）；University of Groningen（格罗宁根大学）；University of Queensland（昆士兰大学）；University of Melbourne（墨尔本大学）；Australian National University（澳大利亚国立大学）；University of Sydney（悉尼大学）；University of Freiburg（弗莱堡大学）
Mind the Gap: Cross-Lingual Information Retrieval with Hierarchical Knowledge Enhancement
Key Lab of Intelligent Information Processing of Chinese Academy of Sciences (CAS), Institute of Computing Technology, CAS（中国科学院智能信息处理重点实验室，中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Institute of Intelligent Computing Technology, Suzhou, CAS（中国科学院苏州智能计算技术研究院）；Alibaba Group（阿里巴巴集团）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）；SKLSDE, School of Computer Science, Beihang University（北京航空航天大学计算机学院软件开发环境国家重点实验室）
