FLEURS-ASL：将美国手语纳入大规模多语言多任务评估
FLEURS-ASL: Including American Sign Language in Massively Multilingual Multitask Evaluation
AI总结：
本文提出 FLEURS-ASL 基准，将美国手语扩展至多语言多任务评估中，支持 ASL 与 200 种文本或 102 种语音语言间的翻译，并提供统一建模基线，揭示了前沿多模态模型对 ASL 的理解不足。
摘要：
手语翻译历来处于主流机器翻译研究的边缘。为了帮助促进各领域的融合，我们引入了 FLEURS-ASL，它是多路并行基准 FLORES（针对文本）和 FLEURS（针对语音）的扩展，以支持其首个手语（作为视频）——美国手语，由 5 名认证聋人译员翻译。FLEURS-ASL 可用于评估多种任务——主要是句子和语篇级别的翻译——在 ASL 与 200 种其他语言的文本之间，或 102 种语言的语音之间进行。我们使用一种统一建模方法提供了从 ASL 到英文文本任务的基线，该方法在 34 秒的上下文窗口中结合了时间戳标记和先前的文本标记，并在 YouTube-ASL 的随机视频片段上进行了训练。该模型达到或超越了短语级基线的性能，同时支持大量新任务。我们还使用 FLEURS-ASL 表明，多模态前沿模型对 ASL 几乎没有理解能力，这凸显了在标准评估套件中纳入手语的重要性。
英文摘要：
Sign language translation has historically been peripheral to mainstream machine translation research. In order to help converge the fields, we introduce FLEURS-ASL, an extension of the multiway parallel benchmarks FLORES (for text) and FLEURS (for speech) to support their first sign language (as video), American Sign Language, translated by 5 Certified Deaf Interpreters. FLEURS-ASL can be used to evaluate a variety of tasks -- primarily sentence- and discourse-level translation -- between ASL and 200 other languages as text, or 102 languages as speech. We provide baselines for tasks from ASL to English text using a unified modeling approach that incorporates timestamp tokens and previous text tokens in a 34-second context window, trained on random video clips from YouTube-ASL. This model meets or exceeds the performance of phrase-level baselines while supporting a multitude of new tasks. We also use FLEURS-ASL to show that multimodal frontier models have virtually no understanding of ASL, underscoring the importance of including sign languages in standard evaluation suites.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
