arXivDaily arXiv每日学术速递 周一至周五更新
​通知:联邦节假日调休:哥伦布日 / 原住民日(Columbus Day / Indigenous Peoples' Day),今日(13日)无更新。
arXiv 2407.11144cs.CL

YouTube-SL-25:大规模开放域多语言手语平行语料库

YouTube-SL-25: A Large-Scale, Open-Domain Multilingual Sign Language Parallel Corpus

Google(谷歌);Google DeepMind(谷歌DeepMind)

Garrett Tanzer, Biao Zhang

AI总结:

本文提出YouTube-SL-25,一个包含25种手语、3000多小时视频的大规模多语言手语平行语料库,并基于T5的多语言多任务模型验证了多语言迁移对高资源和低资源手语均有提升。

摘要:

即使是像美国手语(ASL)这样研究较为充分的手语,数据仍然是机器学习研究的瓶颈。对于全球聋人/重听群体使用的许多其他手语,情况更为严峻。在本文中,我们提出了YouTube-SL-25,这是一个从YouTube收集的大规模、开放域多语言手语视频平行语料库,其字幕看似对齐良好。该语料库包含超过25种手语的3000多小时视频,YouTube-SL-25:a) 规模是YouTube-ASL的3倍以上,b) 是迄今为止最大的平行手语数据集,c) 是其许多组成语言的首个或最大平行数据集。我们使用基于T5的统一多语言多任务模型为手语到文本任务提供了基线,并报告了4种手语基准上的得分。结果表明,多语言迁移对YouTube-SL-25中资源较多和资源较少的手语均有裨益。

英文摘要:

Even for better-studied sign languages like American Sign Language (ASL), data is the bottleneck for machine learning research. The situation is worse yet for the many other sign languages used by Deaf/Hard of Hearing communities around the world. In this paper, we present YouTube-SL-25, a large-scale, open-domain multilingual corpus of sign language videos with seemingly well-aligned captions drawn from YouTube. With >3000 hours of videos across >25 sign languages, YouTube-SL-25 is a) >3x the size of YouTube-ASL, b) the largest parallel sign language dataset to date, and c) the first or largest parallel dataset for many of its component languages. We provide baselines for sign-to-text tasks using a unified multilingual multitask model based on T5 and report scores on benchmarks across 4 sign languages. The results demonstrate that multilingual transfer benefits both higher- and lower-resource sign languages within YouTube-SL-25.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑