Unifying Model and Layer Fusion for Speech Foundation Models
针对语音基础模型的融合问题，提出统一模型与层融合的接口模块，通过整合多上游模型及其各层信息提升下游任务性能，实验证明其优于现有方法并分析了可扩展性与模型选择的重要性。
2025-11-11 cs.AI cs.CL eess.AS
ML-SUPERB: Multilingual Speech Universal PERformance Benchmark
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Meta AI；Rembrand（伦勃朗）
本文提出ML-SUPERB，一个覆盖143种语言的多语言语音基准，评估SSL模型在语音识别和语言识别上的性能，发现SSL特征显著优于FBANK，且多语言模型并非总优于单语言模型。
2025-02-24 cs.CL cs.SD eess.AS
MERaLiON-SpeechEncoder: Towards a Speech Foundation Model for Singapore and Beyond
MERaLiON Team（MERaLiON团队）；Institute for Infocomm Research (I 2 R), A*STAR, Singapore（信息通信研究所（I2R），A*STAR，新加坡）
MERaLiON-SpeechEncoder是新加坡开发的多语言语音基础模型，通过自监督掩码语言建模在20万小时数据上预训练，提升语音识别性能并保持多任务竞争力。
2025-09-11 cs.AI cs.CL eess.AS
Controlling Whisper: Universal Acoustic Adversarial Attacks to Control Speech Foundation Models
University of Cambridge（剑桥大学）
本文提出一种通用声学对抗攻击方法，通过在输入语音前添加简短的对抗性声学片段，无需访问模型提示即可覆盖 ASR 基础模型的设置，成功控制 Whisper 模型将语音转录强制转变为语音翻译，揭示了多任务语音基础模型的新型安全风险。
2024-10-11 cs.CL cs.SD eess.AS
Speech foundation models in healthcare: Effect of layer selection on pathological speech feature prediction
Mayo Clinic（梅奥诊所）
本研究探索语音基础模型迁移学习中层选择对病理性语音特征预测的影响，发现最优层可显著提升性能但泛化性有限，而学习加权和方法兼顾了分布内性能与分布外泛化能力。
2024-06-21 cs.CL cs.LG eess.AS
GenDistiller: Distilling Pre-trained Language Models based on an Autoregressive Generative Model
China Mobile Research（中国移动研究院）
针对预训练语音语言模型资源占用高的问题，提出GenDistiller自回归知识蒸馏框架，用小学生网络逐层生成教师模型隐藏表征，在SUPERB基准上以更少参数量实现更优性能，可大幅压缩WavLM规模。
2024-06-21 cs.CL cs.SD eess.AS
Speech-Copilot: Leveraging Large Language Models for Speech Processing via Task Decomposition, Modularization, and Program Generation
National Taiwan University（台湾大学）
本文提出Speech-Copilot框架，通过任务分解构建语音处理专用工具集，并利用基于大型语言模型的智能体生成程序执行任务，在Dynamic-SUPERG基准上达到最先进性能，提供灵活可扩展的免训练解决方案。
2024-09-23 cs.CL cs.SD eess.AS
Learning task-specific subspaces via interventional post-training of speech foundation models
University of Sheffield（谢菲尔德大学）
提出一种干预对比学习后训练方法，将语音基础模型的纠缠表示分解为内容和说话人子空间，提升说话人验证和关键词识别性能。
2026-06-25 cs.CL
Voxlect: A Speech Foundation Model Benchmark for Modeling Dialects and Regional Languages Around the Globe
Voxlect是一个用于全球方言和地区语言建模的语音基础模型基准，通过评估多种模型在30个语料库上的分类性能，并展示其在ASR增强和语音生成评估中的应用。
2025-08-03 cs.CL cs.SD eess.AS
Speech Foundation Models and Crowdsourcing for Efficient, High-Quality Data Collection
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；NAVER LABS Europe（NAVER欧洲实验室）
本文提出利用语音基础模型自动化众包语音数据验证，在法语、德语和韩语实验中实现超40%成本节省且不损质量，推动高效可扩展数据采集。
2024-12-16 cs.CL cs.SD eess.AS
HARNESS: Lightweight Distilled Arabic Speech Foundation Models
Amazon India（亚马逊印度）；Qatar Computing Research Institute, HBKU, Qatar（卡塔尔计算研究所，HBKU，卡塔尔）
本文提出HARNESS，一种轻量级阿拉伯语语音基础模型，通过迭代自蒸馏实现高效准确率与效率的平衡，适用于自动语音识别、方言识别和语音情感识别任务。
2026-03-31 cs.AI cs.CL eess.AS
SUPERB @ SLT 2022: Challenge on Generalization and Efficiency of Self-Supervised Speech Representation Learning
National Taiwan University（国立台湾大学）；Meta；Carnegie Mellon University（卡内基梅隆大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
我们将在2022年的会议上提出SUPERB挑战，旨在学习自监督语音表示，以获得更好的性能、泛化和效率。该挑战建立在SUPERB基准测试的基础上，并实现了衡量自监督学习（SSL）表示的计算要求的指标，并评估其在各种SUPERB任务中的可推广性和性能。SUPERB基准测试全面覆盖了流行的语音处理任务，从语音和说话人识别到音频生成和语义理解。由于SSL已经获得了在语音社区的兴趣，并显示出可喜的成果，我们设想的挑战，通过激励更实用的设计技术超越任务性能提升SSL技术的影响。我们总结了14个提交的模型在本文中的结果。我们还讨论了这些意见书的主要结果和SSL研究的未来方向。
2022-10-29 cs.CL cs.SD eess.AS
MOSEL: 950,000 Hours of Speech Data for Open-Source Speech Foundation Model Training on EU Languages
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
针对现有语音基础模型未真正开源权重、代码与训练数据的问题，本文构建MODEL语料，汇集95万小时欧盟24种官方语言语音数据，并发布44.1万小时无标注数据的CC-BY自动转写。
2024-10-01 cs.AI cs.CL cs.SD
DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data
Graduate Institute of Communication Engineering, National Taiwan University（台湾大学通信工程研究所）；NVIDIA（英伟达）
本研究提出DeSTA2方法，通过自动化生成语音-文本配对数据，在无需语音指令微调数据的情况下为语音语言模型注入副语言理解能力，同时保留大语言模型原有能力，在多个基准上取得优异性能，降低了对标注数据的依赖。
2025-01-27 cs.CL cs.SD eess.AS
POWSM: A Phonetic Open Whisper-Style Speech Foundation Model
Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of British Columbia（不列颠哥伦比亚大学）
POWSM是一种能够联合执行多种语音任务的统一框架，实现了音频、文本和音素之间的无缝转换，并在低资源条件下提升了语音处理性能。
2026-01-16 cs.CL eess.AS
Muting Whisper: A Universal Acoustic Adversarial Attack on Speech Foundation Models
本文提出一种通用声学对抗攻击，通过学习Whisper的<|endoftext|>标记的声学实现并前置到语音上，使模型忽略语音并仅转录该标记，实现97%以上样本的静音效果，且可跨数据集迁移，既带来风险也有隐私保护等潜在益处。
2024-07-17 cs.CL cs.SD eess.AS
Speech Translation with Speech Foundation Models and Large Language Models: What is There and What is Missing?
Fondazione Bruno Kessler（布鲁诺·凯塞勒基金会）
本文聚焦语音到文本翻译任务，通过分析相关论文提出SFMs与LLMs整合方案的统一视角，梳理经验教训并指出评估局限，为未来工作提供建议以明确该类方案的优劣势。
2024-11-29 cs.CL
Lost in Phonation: Voice Quality Variation as an Evaluation Dimension for Speech Foundation Models
Department of Speech, Music and Hearing（语音、音乐与听觉系）
本研究推出VQ-Bench评估套件，发现语音基础模型（SFMs）对发声类型的解释存在性能差距，还会反映或放大人类社会偏见，为确保基于语音的AI的副语言解释责任性建立了可复现框架。
2026-08-17 cs.AI cs.CL eess.AS
SUPERB: Speech processing Universal PERformance Benchmark
Amazon（亚马逊）
自监督学习（SSL）已被证明对于推进自然语言处理（NLP）和计算机视觉（CV）的研究至关重要。该范例在大量未标记数据上预训练共享模型，并以最小的适应性为各种任务实现最先进的（SOTA）。然而，语音处理社区缺乏类似的设置来系统地探索范式。为了弥补这一差距，我们引入了语音处理通用性能基准测试（SUPERB）。SUPERB是一个排行榜，以最小的架构更改和标记数据为基准，在广泛的语音处理任务中对共享模型的性能进行基准测试。在共享模型的多种使用中，我们特别关注提取从SSL学习的表示，因为它具有更好的可重用性。我们提出了一个简单的框架，通过在冻结的共享模型之上学习任务专用的轻量级预测头来解决SUPERB任务。我们的研究结果表明，该框架是有前途的SSL表示在SUPERB任务中表现出竞争力的普遍性和可访问性。我们发布SUPERB作为一个挑战，带有排行榜和基准工具包，以推动表示学习和通用语音处理的研究。
2021-10-15 cs.CL cs.SD eess.AS
On the Effects of Heterogeneous Data Sources on Speech-to-Text Foundation Models
Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
本文提出 OWSM v3.2，通过代理任务过滤数据并利用开放 LLM 恢复标点与真实大小写，在训练数据减少15%的情况下超越 OWSM v3.1。
2024-06-13 cs.CL cs.SD eess.AS
How do Multimodal Foundation Models Encode Text and Speech? An Analysis of Cross-Lingual and Cross-Modal Representations
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文分析三个多模态基础模型在跨语言文本与语音语义等价句子上的激活，揭示表征随层收敛、长度适配作用及模态与语言差距规律。
2025-02-20 cs.CL
Speech Translation with Foundation Models and Optimal Transport: UPC at IWSLT23
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Meta AI
该研究提交 IWSLT 2023 离线语音翻译系统，结合 wav2vec 2.0、mBART50、CTC、最优传输、知识蒸馏与 SegAugment 合成数据，在多个测试集上取得最佳单模型 31.2、29.8 和 33.4 BLEU。
2023-06-02 cs.CL cs.SD eess.AS
Benchmarking Children's ASR with Supervised and Self-supervised Speech Foundation Models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
该研究针对儿童 ASR 缺乏系统基准的问题，评估多种监督与自监督语音基础模型，并比较数据增强和 PEFT 微调策略，提出 PIF 损失以稳定增强数据微调。
2024-06-15 cs.CL cs.SD eess.AS
LESS: Large Language Model Enhanced Semi-Supervised Learning for Speech Foundational Models Using in-the-wild Data
LESS通过利用大规模语言模型校正野外数据生成的伪标签，提升了语音基础模型在多种语言和任务中的性能，显著降低了词错误率并提高了BLEU分数。
2026-03-13 cs.CL cs.SD eess.AS
Improving Multilingual Speech Models on ML-SUPERB 2.0: Fine-tuning with Data Augmentation and LID-Aware CTC
Carnegie Mellon University（卡内基梅隆大学）
本文针对ML-SUPERB 2.0多语言语音任务，提出结合冻结上游训练、部分微调、低秩适配、数据增强及LID感知CTC损失正则化的适配策略，使LID准确率相对提升14%、ASR CER相对降低30%，并在Interspeech 2025挑战赛中获得第二名。
2025-06-03 cs.CL cs.SD eess.AS
What Do Speech Foundation Models Not Learn About Speech?
Carnegie Mellon University（卡内基梅隆大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究分析了Whisper等语音基础模型在Dynamic-SUPERB基准上对非语言线索的捕捉与逐层表示，通过零样本评估和逐层特征微调，揭示了模型的泛化能力、层间表示特征及下游任务适配程度。
2024-10-16 cs.CL cs.SD eess.AS
Efficient Training of Self-Supervised Speech Foundation Models on a Compute Budget
National Taiwan University（台湾大学）；ASUS Intelligent Cloud Services (AICS)（华硕智能云服务（AICS））
本文研究在有限计算预算下高效训练自监督语音基础模型，通过系统分析模型架构、模型规模和数据规模等因素，发现精简架构优于常见小型架构，数据规模仍至关重要，并揭示了给定计算预算下模型规模与数据规模之间的最优权衡。
2025-02-04 cs.CL cs.LG cs.SD
Fast Speech Foundation Model Distillation Using Interleaved Stacking
IPAI；AIIS；Dept. of Intelligence and Information（智能与信息系）
提出交错堆叠方法加速语音基础模型蒸馏训练，通过保持层位置一致性解决性能下降问题，在SUPERB上验证有效性。
2026-06-17 cs.AI cs.CL cs.SD
Emotion Across Speech and Faces: Shared Affective Mechanisms in Multimodal Foundation Models
Center for Language and Speech Processing (CLSP), Johns Hopkins University（约翰霍普金斯大学语言与语音处理中心）；Group on Language, Audio & Music (GLAM), Imperial College London（伦敦帝国理工学院语言、音频与音乐组）
该研究在Gemma-4-12B-it等3款多模态基础模型中识别出情感敏感神经元，发现语音与面部情感识别的表征在解码器级部分汇聚，且存在双向因果迁移，为跨模态情感机制提供了新分析。
2026-08-19 cs.CL eess.AS eess.IV
Investigating the Effects of Large-Scale Pseudo-Stereo Data and Different Speech Foundation Model on Dialogue Generative Spoken Language Model
NVIDIA（英伟达）；National Taiwan University（台湾大学）
本文提出将单声道对话转换为伪立体声数据的流程，把训练数据扩展至17,600小时，并比较不同语音基础模型的离散单元，以提升口语对话生成模型性能。
2024-07-02 cs.CL cs.HC cs.SD
Efficient Domain Adaptation for Speech Foundation Models
Google LLC（谷歌有限责任公司）
基础模型（FM）是在广泛的数据上进行大规模训练的，并且能够适应广泛的下游任务，已经引起了研究界的极大兴趣。基础模型得益于不同模态、语言和应用领域等多种数据源，表现出较强的泛化能力和知识转移能力。在本文中，我们提出了一个开拓性的研究，建立一个有效的解决方案，基于FM的语音识别系统。我们采用最近开发的自监督BEST-RQ进行预训练，并提出使用JUST Hydra对源和无监督目标域数据进行联合微调。FM编码器适配器和解码器然后被微调到具有少量监督域内数据的目标域。在一个大规模的YouTube和语音搜索任务中，我们的方法被证明是数据和模型参数有效的。它仅使用21.6M监督域内数据和130.8M微调参数就达到了相同的质量，而731.1M模型则是在额外的300 M监督域内数据上从头开始训练的。
2023-02-03 cs.CL cs.LG cs.SD
Do speech foundation models really learn words?
University of Toronto（多伦多大学）
本文通过残差化方法剔除音素信息，证明HuBERT和wav2vec 2.0在深层确实学习到独立于词形的词汇表示，并能增强词汇发现任务中的高阶语言信息。
2026-09-10 cs.CL cs.SD
Linear Script Representations in Speech Foundation Models Enable Zero-Shot Transliteration
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Carnegie Mellon University（卡内基梅隆大学）；University of California, Berkeley（加州大学伯克利分校）；Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
通过在语音基础模型中引入线性脚本表示，实现对语音识别输出脚本的零样本控制，提升多语言转写性能。
2026-01-06 cs.CL
Learning Multiple Utterance-Level Attribute Representations with a Unified Speech Encoder
LIA - Avignon Université, France（阿维尼翁大学LIA中心，法国）
本文提出统一的后训练框架，使语音基础模型能生成多种语句层面的表示，用于多语言语音检索和说话人识别。
2026-03-09 cs.CL
Findings of the 2023 ML-SUPERB Challenge: Pre-Training and Evaluation over More Languages and Beyond
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Renmin University of China（中国人民大学）；Meta AI；Rembrand（伦勃朗）
2023年ML-SUPERB挑战赛扩展了SUPERB框架，聚焦自监督多语言语音识别与语言识别，收到12个模型和54个语料库，覆盖154种语言，发现仅扩大模型规模并非最终解决方案。
2025-02-24 cs.CL cs.SD eess.AS
FAMA: The First Large-Scale Open-Science Speech Foundation Model for English and Italian
Fondazione Bruno Kessler (FBK)（布鲁诺·凯斯勒基金会）
本文推出首个面向英语和意大利语的开放科学语音基础模型FAMA，基于15万小时以上开源数据训练，并发布1.6万小时新数据集，性能具竞争力且速度快达8倍。
2025-05-30 cs.AI cs.CL cs.SD
From Words to Waves: Analyzing Concept Formation in Speech and Text-Based Foundation Models
Qatar Computing Research Institute（卡塔尔计算研究所）
本文研究语音与文本基础模型中语义概念的形成，采用潜在概念分析无监督方法，分别及联合分析两类模型的概念结构，揭示跨模态语义抽象机制。
2025-06-01 cs.AI cs.CL cs.SD
Moshi: a speech-text foundation model for real-time dialogue
Kyutai（久泰公司）
本文提出全双工语音-文本基础模型 Moshi，通过语音到语音生成、并行双流建模和 Inner Monologue 时间对齐文本前缀，实现低延迟实时口语对话。
2024-10-02 cs.AI cs.CL cs.LG
SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities
National Taiwan University（台湾大学）；Nagoya University（名古屋大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI；Massachusetts Institute of Technology（麻省理工学院）；Carnegie Mellon University（卡内基梅隆大学）；LXT
近年来，迁移学习被证明是推进语音和自然语言处理研究的关键。在语音中，通过自监督学习预训练的模型在多个任务上的转移非常好。然而，缺乏一致的评价方法限制了对这些模式功效的全面理解。SUPERB是朝着引入通用基准迈出的一步，用于评估各种语音任务中的预训练模型。在本文中，我们介绍了SUPERB-SG，这是一个新的基准测试，专注于通过增加SUPERB的任务多样性和难度来评估预训练模型的语义和生成能力。我们使用一种轻量级的方法来测试预训练模型在不同类型任务的数据域和质量变化下学习的表示的鲁棒性。它需要冻结预先训练的模型参数，只使用简单的特定于任务的可训练头。目标是包容所有研究人员，并鼓励有效利用计算资源。我们还表明，SUPERB-SG的任务多样性加上有限的任务监督是一个有效的配方，用于评估模型表示的泛化能力。
2022-03-14 cs.CL cs.SD eess.AS
HARNESS: Lightweight Distilled Arabic Speech Foundation Models
Qatar Computing Research Institute（卡塔尔计算研究院）
本文提出首个以阿拉伯语为中心的自监督语音模型系列HArnESS，通过迭代自蒸馏和低秩近似压缩出轻量学生模型，在阿拉伯语ASR、情感识别和方言识别上达到SOTA或可比性能。
2025-09-18 cs.CL
Slot Filling as a Reasoning Task for SpeechLLMs
本文提出通过推理任务提升语音大语言模型在槽填充任务中的性能，探讨了不同基础模型对推理语音LLM的影响。
2025-10-22 cs.CL
Self-Taught Recognizer: Toward Unsupervised Adaptation for Speech Foundation Models
Nanyang Technological University（南洋理工大学）；NVIDIA Research（英伟达研究院）；IBM Research（IBM研究院）；Tsinghua University（清华大学）
提出无监督自适应框架STAR，利用未标记数据提升语音基础模型在噪声和口音等领域的鲁棒性，通过新颖指标评估伪标签质量，实现平均13.5%的词错误率降低，并防止灾难性遗忘，数据高效且泛化性强。
2024-05-23 cs.AI cs.CL cs.LG
ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets
Carnegie Mellon University（卡内基梅隆大学）；National Taiwan University（台湾大学）；Stanford University（斯坦福大学）；Toyota Technological Institute at Chicago（丰田芝加哥理工学院）
本文提出 ML-SUPERB 2.0 基准，在多种下游模型、微调设置和高效适配方法下评估预训练 SSL 与监督语音模型，揭示模型设计、语言及数据集对多语言 ASR 性能的显著影响。
2024-06-12 cs.CL cs.SD eess.AS
Code-Switching Detection via Language-Selective Dimensions in Speech Foundation Models
Apple MLR（苹果公司MLR部门）
本研究提出一种基于语音基础模型语言选择性维度的轻量语码转换检测方法，利用预训练语音编码器的帧级语言信息，在CS-FLEURS数据集14种语言对的平均F1值达0.798，为构建多语种语料库提供工具。
2026-10-16 cs.CL
TS-SUPERB: A Target Speech Processing Benchmark for Speech Self-Supervised Learning Models
Brno University of Technology（布拉格技术大学）；NTT Corporation（NTT公司）
本文提出 TS-SUPERB 基准，通过四类目标说话人任务评估语音 SSL 模型，并用统一编码器验证跨任务联合优化的效果。
2025-05-10 cs.CL cs.SD eess.AS
Pre-Trained Foundation Model representations to uncover Breathing patterns in Speech
Apple（苹果公司）
本研究提出基于预训练基础模型（Wav2Vec2）表示和Conv-LSTM的语音呼吸频率估计方法，在26人数据上实现低至1.6次/分钟的误差。
2024-07-17 cs.CL cs.LG cs.SD
A SUPERB-Style Benchmark of Self-Supervised Speech Models for Audio Deepfake Detection
Electrical and Computer Engineering University of Michigan（密歇根大学电气与计算机工程系）
本文提出Spoof-SUPERB基准，评估20种自监督语音模型在音频深度伪造检测中的性能，发现大规模判别模型在多语言预训练和说话人感知目标下表现更优。
2026-03-02 cs.AI cs.LG eess.AS
RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
针对脑语言理解泛化难问题，提出RABBiT紧凑音频-fMRI编码器，依托脑调优等创新实现跨被试跨场景语音诱发脑响应的高精度零/少样本预测，支撑规模化脑语言分析。
2026-07-07 cs.CL
How to Connect Speech Foundation Models and Large Language Models? What Matters and What Does Not
Sapienza University of Rome（罗马萨皮恩扎大学）；Roma Tre University（罗马三大学）；TranslatedItaly（译意大利）；Pi School（皮学校）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；AGH University of Krakow（克拉科夫AGH大学）；ACC Cyfronet AGH
本文通过组合5种适配器、2种LLM和2种SFM，在自动语音识别和语音翻译任务上系统评估语音基础模型与大语言模型连接方案，发现SFM对下游性能影响最大，适配器影响中等且依赖具体模型选择。
2025-06-03 cs.AI cs.CL cs.LG
Talking to Robots: A Practical Examination of Speech Foundation Models for HRI Applications
Knowledge Technology, Department of Informatics, University of Hamburg（知识技术，信息学院，汉堡大学）
针对HRI中ASR系统需应对不完美音频和多样用户的挑战，本研究在涵盖六类难度的八个数据集上评估四个先进ASR系统，揭示其在性能、幻觉及偏见上的显著差异，指出这些局限对HRI任务、信任与安全的影响。
2025-08-25 cs.AI cs.CL cs.HC
TalTech Systems for the Interspeech 2025 ML-SUPERB 2.0 Challenge
Tallinn University of Technology（塔林理工大学）
本文提出塔林理工大学针对 ML-SUPERB 2.0 挑战赛的系统，结合混合语言识别与三模型择优策略，最终获得总成绩第一。
2025-06-02 cs.CL eess.AS
EMO-SUPERB: An In-depth Look at Speech Emotion Recognition
National Taiwan University（台湾大学）；National Tsing Hua University（国立清华大学）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
针对语音情感识别（SER）论文复现率低、自然语言标注难利用的问题，研究推出开源基准EMO-SUPERB支持多模型多数据集评估，还借助ChatGPT重标注自然语言数据，实现全设置下平均3.08%的相对提升。
2024-03-12 cs.SD eess.AS
MiniSUPERB: Lightweight Benchmark for Self-supervised Speech Models
National Taiwan University（台湾大学）
本文提出 MiniSUPERB，一个轻量级基准，通过精选任务、采样数据集和离线提取表示，以显著降低的计算成本（减少97% MACs）实现与 SUPERB 高度相关（Spearman 0.954/0.982）的评估，并首次同时分析模型及评估成本。
2023-11-14 cs.CL cs.LG eess.AS
Are Paralinguistic Representations all that is needed for Speech Emotion Recognition?
IIIT-Delhi（德里印度信息技术学院）；University of Tartu（塔尔图大学）
针对副语言预训练模型表征缺乏多语言SER评估及基准测试的问题，该研究对比5种SOTA预训练模型表征，发现TRILLsson表征因能有效捕捉音高、语调等特征，在多语言语音情感识别中表现最优。
2024-07-11 cs.CL cs.SD eess.AS
