面向低资源语言与认知建模的视觉接地语音模型
Visually Grounded Speech Models for Low-resource Languages and Cognitive Modelling
AI总结：
本文研究视觉接地语音模型在低资源语言少样本关键词定位中的应用，并分析其互斥性偏置，发现多语性对该偏置的影响与儿童不同。
摘要：
本论文研究了视觉接地语音（VGS）模型，该模型从未标注语音与配对图像中学习。论文重点关注其在低资源语言中的应用以及对人类语言习得的理解。我们引入了一项名为视觉提示关键词定位的任务，用于利用图像检测并定位语音中的关键词。我们展示了VGS模型在诸如约鲁巴语等低资源语言的少样本学习场景中的有效性。此外，我们考察了VGS模型中的互斥性偏置。我们的单语VGS模型表现出这种偏置，但我们发现，多语性对该VGS模型中偏置的影响与在儿童中观察到的情况并不相同。
英文摘要：
This dissertation examines visually grounded speech (VGS) models that learn from unlabelled speech paired with images. It focuses on applications for low-resource languages and understanding human language acquisition. We introduce a task called visually prompted keyword localisation to detect and localise keywords in speech using images. We demonstrate the effectiveness of VGS models in few-shot learning scenarios for low-resource languages like Yoruba. Additionally, we examine the mutual exclusivity bias in VGS models. Our monolingual VGS model exhibits this bias, but we found that multilingualism does not affect the bias in this VGS model similarly to what is observed in children.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
