本文提出 ML-SUPERB 2.0 基准，在多种下游模型、微调设置和高效适配方法下评估预训练 SSL 与监督语音模型，揭示模型设计、语言及数据集对多语言 ASR 性能的显著影响。
摘要：
ML-SUPERB 在语言识别和自动语音识别（ASR）任务上评估自监督学习（SSL）模型。该基准将模型视为特征提取器，并使用单一的浅层下游模型，该模型可针对下游任务进行微调。然而，真实世界的使用场景可能需要不同的配置。本文提出了 ML-SUPERB 2.0，这是一个新的基准，用于跨下游模型、微调设置和高效模型适配方法评估预训练 SSL 和监督语音模型。我们发现，相比 ML-SUPERB 的设置，性能有所提升。但是，性能取决于下游模型的设计。此外，我们发现不同语言和数据集之间存在巨大的性能差异，这表明需要更有针对性的方法来提升多语言 ASR 性能。
英文摘要：
ML-SUPERB evaluates self-supervised learning (SSL) models on the tasks of language identification and automatic speech recognition (ASR). This benchmark treats the models as feature extractors and uses a single shallow downstream model, which can be fine-tuned for a downstream task. However, real-world use cases may require different configurations. This paper presents ML-SUPERB~2.0, which is a new benchmark for evaluating pre-trained SSL and supervised speech models across downstream models, fine-tuning setups, and efficient model adaptation approaches. We find performance improvements over the setup of ML-SUPERB. However, performance depends on the downstream model design. Also, we find large performance differences between languages and datasets, suggesting the need for more targeted approaches to improve multilingual ASR performance.
NVV-SuperBench: Beyond Words, Beyond Quality-Benchmarking Nonverbal Vocalizations in Speech Generation
Nanjing University（南京大学）；The Hong Kong University of Science and Technology（香港科学与技术大学）；The Chinese University of Hong Kong（香港中文大学）；University of Science and Technology Beijing（北京科技大学）；Northwestern Polytechnical University（西北工业大学）；Shanghai Jiao Tong University（上海交通大学）；National Taiwan University（国立台湾大学）
One Law, Many Languages: Benchmarking Multilingual Legal Reasoning for Judicial Support
University of Bern（伯尔尼大学）；University of Copenhagen（哥本哈根大学）；Bern University of Applied Sciences（伯尔尼应用科学大学）；University of Fribourg（弗里堡大学）；Stanford University（斯坦福大学）
PRiSM: Benchmarking Phone Realization in Speech Models
CMU（卡内基梅隆大学）；Gwangju Institute of Science and Technology（光州科学技术院）；UT Austin（得克萨斯大学奥斯汀分校）；LMU Munich（慕尼黑路德维希-马克西米利安大学）；UC Berkeley（伯克利加州大学）；NVIDIA（英伟达）；UBC（不列颠哥伦比亚大学）
GEMv2: Multilingual NLG Benchmarking in a Single Line of Code
Allen Institute for AI（艾伦人工智能研究所）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；Carnegie Mellon University（卡内基梅隆大学）；Charles University（查理大学）
SWE-Bench ProMax: Benchmarking Agents on Large-Scale Multilingual Code Refactoring
Shanghai Jiao Tong University（上海交通大学）；Peking University（北京大学）；The Hong Kong University of Science and Technology（香港科技大学）；Douyin Group（抖音集团）；University of Chinese Academy of Sciences（中国科学院大学）；National University of Singapore（新加坡国立大学）；Monash University（莫纳什大学）
Multi-EuP: The Multilingual European Parliament Dataset for Analysis of Bias in Information Retrieval
School of Computing & Information Systems, The University of Melbourne（墨尔本大学计算与信息系统学院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
MULTITuDE: Large-Scale Multilingual Machine-Generated Text Detection Benchmark
Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究院）；The Pennsylvania State University（宾夕法尼亚州立大学）；University of Mississippi（密西西比大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
KyrgyzLLM-Bench: Benchmarking Kyrgyz Language Understanding
Institute of IT, Kyrgyz State Technical University named after I. Razzakov（以I. 拉扎科夫命名的吉尔吉斯国立技术大学信息技术学院）；School of Computer Science, University of Windsor（温莎大学计算机科学学院）；St. Petersburg Department of the Steklov Math. Institute, RAS St. Petersburg State University（俄罗斯科学院斯捷克洛夫数学研究所圣彼得堡分部，圣彼得堡国立大学）
UniversalCEFR: Enabling Open Multilingual Research on Language Proficiency Assessment
University of Bath（巴斯大学）；Cardiff University（卡迪夫大学）；National University Philippines（菲律宾国家大学）；Bielefeld University（比勒菲尔德大学）；University of Exeter（埃克塞特大学）；University of Gothenburg（哥德堡大学）；UCLouvain（列日大学）；MBZUAI（马克斯·普朗克智能系统研究所）；Brigham Young University（Brigham Young 大学）；INESC-ID Lisboa（里斯本 INESC-ID）；Instituto Universitário de Lisboa (ISCTE-IUL)（里斯本大学学院（ISCTE-IUL））；Universitat Pompeu Fabra（庞培法华大学）；National Research Council, Canada（加拿大国家研究委员会）；King Abdulaziz University（国王阿卜杜勒-阿齐兹大学）
DimStance: Multilingual Datasets for Dimensional Stance Analysis
University of Göttingen（弗赖堡大学）；Yuan Ze University（元智大学）；Imperial College London（伦敦帝国理工学院）；University of Pretoria（南非普里蒂亚大学）；National Yang Ming Chiao Tung University；Maseno University（马斯诺大学）；Central Police University Taiwan（台湾中央警察大学）；Yunnan University（云南大学）；Bayero University Kano（卡诺巴耶罗大学）；National Research Council Canada（加拿大国家研究委员会）
AfriMTEB and AfriE5: Benchmarking and Adapting Text Embedding Models for African Languages
University of Toronto（多伦多大学）；Mila - Quebec AI Institute, McGill University（魁北克AI研究院，麦吉尔大学）；Saarland University, Saarland Informatic Campus（萨尔兰大学，萨尔兰信息学院）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）
Consolidating and Developing Benchmarking Datasets for the Nepali Natural Language Understanding Tasks
Information and Language Processing Research Lab (ILPRL)（信息与语言处理研究实验室）；Kathmandu University（加德满都大学）；Institute for Research and Innovation in Intelligent Systems (IRIIS)（智能系统研究与创新研究院）
