Exploration on HuBERT with Multiple Resolutions
Carnegie Mellon University(卡内基梅隆大学);Meta AI
针对HuBERT固定20ms分辨率不适应不同时间尺度语音任务的问题,提出并行与层次两种多分辨率整合方法,实验证明其性能优于原始模型。
2023-06-22 cs.SD eess.AS
HuBERT-EE: Early Exiting HuBERT for Efficient Speech Recognition
Chung-Ang University(中央大学);Seoul National University(首尔大学)
针对自监督语音识别模型推理计算成本高的问题,提出带中间早退分支的HuBERT-EE方案,通过动态停止推理提升效率,在LibriSpeech上实现了性能与延迟的平衡。
2024-06-19 cs.CL cs.SD eess.AS
HuBERT-VIC: Improving Noise-Robust Automatic Speech Recognition of Speech Foundation Model via Variance-Invariance-Covariance Regularization
School of Electrical Engineering(电气工程学院)
本文提出HuBERT-VIC,通过VICReg正则化调整含噪语音表示统计特性,提升语音基础模型抗噪鲁棒性,在LibriSpeech两个测试集上分别相对提升23.3%和13.2%。
2025-08-17 cs.AI cs.SD eess.AS
Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
National Institute of Information and Communications Technology (NICT)(日本国立信息通信技术研究所)
针对多说话人重叠语音识别需同时解决语音识别与说话人日志的难题,提出带说话人掩码分支的自回归Transformer模型,可单模型同时完成两项任务,在LibriSpeech重叠数据集上验证了有效性,尤其提升复杂场景下说话人日志准确率。
2023-12-18 cs.CL cs.SD eess.AS
Spatial HuBERT: Self-supervised Spatial Speech Representation Learning for a Single Talker from Multi-channel Audio
UNSW Australia(澳大利亚新南威尔士大学);Dolby Laboratories(杜比实验室)
本文提出自监督模型Spatial HuBERT,通过多通道音频输入学习单说话人的声学与空间信息,在混响和嘈杂环境下的空间下游任务及语音定位任务上优于单通道方法,并发布了10万个模拟房间脉冲响应数据集。
2023-10-17 cs.CL cs.SD eess.AS
A Fine-tuned Wav2vec 2.0/HuBERT Benchmark For Speech Emotion Recognition, Speaker Verification and Spoken Language Understanding
Zaion(Zaion公司);Zaion Lab(Zaion实验室)
语音自监督模型如wav 2 vec 2.0和HuBERT在自动语音识别(ASR)中取得了革命性的进展。然而,它们还没有被完全证明在ASR以外的任务上产生更好的性能。在这项工作中,我们探索了wav 2 vec 2.0和HuBERT预训练模型的部分微调和整体微调,用于三个非ASR语音任务:语音情感识别,说话人验证和口语语言理解。在简单的下游框架下,IEMOCAP上的语音情感识别在说话者相关设置上的加权准确率达到79.58%,在说话者无关设置上的加权准确率达到73.01%,VoxCeleb 1上的说话者验证的平均出错率达到2.36%,SLURP上的意图分类的准确率达到89.38%,时隙填充的F1达到78.92%,显示了微调wav 2 vec 2.0和HuBERT在学习韵律、声纹和语义表征方面的优势。
2022-10-03 cs.CL cs.NE cs.SD
The role of audio-visual integration in the time course of phonetic encoding in self-supervised speech models
Wang Liu Bell University of Edinburgh(王刘贝尔爱丁堡大学)
本研究通过对比AV-HuBERT与纯音频HuBERT的语音可解码性,发现AV-HuBERT未能充分捕捉多模态语音感知的时间动态,限制了对该过程建模的适用性。
2025-06-25 cs.SD eess.AS eess.IV
Cocktail HuBERT: Generalized Self-Supervised Pre-training for Mixture and Single-Source Speech
Meta AI - FAIR
自监督学习有效地利用了未标记的数据,提高了标记效率,并推广到没有标记数据的领域。虽然最近的工作已经研究了泛化到更多的声学/语言学领域,语言和模态,这些调查仅限于单源语音与一个主要发言人在录音。本文介绍了鸡尾酒HuBERT,一个自监督学习框架,推广到混合语音使用掩蔽伪声源分离目标。这个目标鼓励模型识别源的数量,分离和理解上下文,并推断表示为发现单元的掩蔽区域的内容。Cocktail HuBERT在多扬声器ASR上的WER降低了69%,在日记化上的DER降低了31%,并且在SUPERB的单扬声器和多扬声器任务上具有竞争力。
2023-03-20 cs.CL cs.LG cs.SD
Fast-HuBERT: An Efficient Training Framework for Self-Supervised Speech Representation Learning
Shanghai Jiao Tong University(上海交通大学)
本文针对语音自监督模型计算成本高的问题,通过分析HuBERT预训练开销并集成多项优化,提出Fast-HuBERT,在Librispeech 960h上以8块V100训练1.1天且性能不降,获得5.2倍加速。
2023-09-29 cs.AI cs.CL cs.LG
Using Optimal Ratio Mask as Training Target for Supervised Speech Separation
Inner Mongolia University(内蒙古大学)
监督语音分离使用监督学习算法来学习从输入噪声信号到输出目标的映射。随着深度学习的快速发展,有监督语音分离已成为近年来语音分离领域的重要研究方向。对于有监督算法,训练目标对算法性能有重要影响。理想比率模板是一种常用的训练目标,它可以提高语音可懂度和分离语音的质量。然而,它没有考虑噪声和干净语音之间的相关性。在本文中,我们使用最佳比率掩模作为训练目标的深度神经网络(DNN)的语音分离。实验在各种噪声环境和信噪比条件下进行。实验结果表明,最优比例掩模总体上优于其他训练目标。
2017-09-04 cs.CL cs.SD
Self-Supervised Syllable Discovery Based on Speaker-Disentangled HuBERT
Tokyo Institute of Technology(东京工业大学)
针对SD-HuBERT中CLS token聚合的信息更偏向说话人身份而非语言内容的问题,提出引入说话人扰动增强、采用帧级目标的自监督微调方法,在Librispeech上多数音节相关指标优于SOTA。
2024-09-16 cs.CL cs.SD eess.AS
u-HuBERT: Unified Mixed-Modal Speech Pretraining And Zero-Shot Transfer to Unlabeled Modality
Meta AI
虽然视听语音模型与纯音频模型相比可以产生更好的性能和鲁棒性,但它们的开发和采用受到缺乏标记和未标记视听数据以及每个模态部署一个模型的成本的阻碍。在本文中,我们提出了u-HuBERT,这是一个自监督的预训练框架,可以利用多模态和单峰语音,并具有统一的掩蔽聚类预测目标。通过在预训练期间利用模态丢弃,我们证明了单个微调模型可以实现与最先进的模态特定模型相当或更好的性能。此外,我们的模型微调音频可以很好地执行视听和视觉语音输入,实现zero-shot模态泛化多个语音处理任务。特别是,我们的单一模型产生1.2%/1.4%/27.2%的语音识别字出错率的LRS 3与视听/音频/视觉输入。代码和型号可在https://github.com/facebookresearch/av_hubert上获得
2022-11-28 cs.AI cs.CL cs.CV
Exploiting Audio-Visual Features with Pretrained AV-HuBERT for Multi-Modal Dysarthric Speech Reconstruction
The Chinese University of Hong Kong(香港中文大学);Tsinghua University(清华大学);Vocal Engineering Technologies Limited
针对重度构音障碍语音在复杂噪声环境下重建难度大的问题,提出融合唇部视觉信息、基于AV-HuBERT的多模态DSR框架,经UASpeech语料库验证,可显著提升语音可懂度与自然度,重度患者词错率绝对下降42.1%。
2024-01-31 cs.SD eess.AS
Practice of the conformer enhanced AUDIO-VISUAL HUBERT on Mandarin and English
Beijing OPPO telecommunications corp., ltd.(北京OPPO电信有限公司)
考虑到人类语音感知的双峰性质,嘴唇和牙齿运动在自动语音识别中具有关键作用。视听识别系统利用视觉信息的相关性和噪声不变性,增强了系统在多种场景下的鲁棒性。在以前的工作中,视听休伯特似乎是最好的做法,纳入模态知识。本文概述了一种混合方法,名为构象增强AV-HuBERT,进一步提高AV-HuBERT系统的性能。与基线AV-HuBERT相比,我们的方法在清洁和嘈杂条件下的一个阶段的评估中,在英语AVSR基准数据集LRS 3上实现了7%和16%的相对WER降低。此外,我们还建立了一个新的1000小时普通话AVSR数据集CSTS。在基线AV-HuBERT的基础上,通过使用该数据集进行预训练,我们在MISP和CMLR上分别超过了WeNet ASR系统14%和18%。与基准AV-HuBERT系统相比,我们提出的一致性增强的AV-HuBERT在MISP上降低了7%,在CMLR上降低了6%的CER。
2023-02-28 cs.AI cs.SD eess.AS
Speech Pre-training with Acoustic Piece
Microsoft Research Asia(微软亚洲研究院)
之前的语音预训练方法,例如wav2vec2.0和HuBERT,预训练Transformer编码器以从音频数据学习深度表示,目标是预测来自潜在向量量化空间的元素或使用离线聚类的预生成标签(称为目标代码)。然而,这些训练信号(量化元素或代码)在不同的令牌之间是独立的,而不考虑它们的关系。根据我们的观察和分析,目标代码与语音化文本数据有明显的模式。在此基础上,我们建议利用这些模式来更好地预训练模型,考虑代码之间的关系。我们提取的模式,称为“声学片段”,是从HuBERT码的句子片段结果中提取的。利用声学片段作为训练信号,我们可以隐式地桥接输入音频和自然语言,这有利于音频到文本任务,例如自动语音识别(ASR)。简单但有效,我们的方法“HuBERT-AP”在LibriSpeech ASR任务上的表现明显优于强基线。
2022-04-07 cs.SD eess.AS
Learning Audio-Visual Speech Representation by Masked Multimodal Cluster Prediction
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Meta AI
语音的视频记录包含相关的音频和视觉信息,为从说话者的嘴唇运动和产生的声音学习语音表示提供强信号。我们介绍了视听隐藏单元BERT(AV-HuBERT),一个自监督的表示学习框架的视听语音,掩盖多流视频输入和预测自动发现和迭代细化的多模态隐藏单元。AV-HuBERT学习强大的视听语音表示,同时受益于唇读和自动语音识别。在最大的公共唇读基准测试LRS 3(433小时)中,AV-HuBERT仅用30小时的标记数据就实现了32.5%的WER,优于之前用1000倍的转录视频数据(31 K小时)训练的最先进的方法(33.6%)。当使用来自LRS 3的所有433小时标记数据并结合自我训练时,唇读WER进一步降低到26.9%。使用我们的音频-视频表示在相同的基准上进行纯音频语音识别,导致相对于最先进的性能(1.3%vs 2.3%)的40%的相对WER降低。我们的代码和模型可在https://github.com/facebookresearch/av_hubert上获得
2022-03-13 cs.CV cs.SD eess.AS
Improved Speech Pre-Training with Supervision-Enhanced Acoustic Unit
Shanghai AI Laboratory(上海人工智能实验室);iFLYTEK Research, iFLYTEK Co. Ltd.(科大讯飞股份有限公司讯飞研究院);University of Science and Technology of China(中国科学技术大学)
语音预训练在从大规模未标记数据中学习有用和一般的潜在表示方面取得了巨大的成功。基于设计良好的自监督学习模式,预训练的模型可以用于许多下游语音任务,如自动语音识别。为了在低资源任务中充分利用标记数据,提出了一种改进的预训练方法,通过引入监督增强声学单元(SEAU)模式来强化上下文信息的表达,降低训练代价。从SEAU模式中提取的编码器表示用于生成用于HuBERT预训练过程的更具代表性的目标单元。在土库曼语语音识别任务中,分别使用500小时和100小时的微调数据,与标准HuBERT相比,所提出的方法SeHuBERT实现了10.5%和4.9%的相对字错误率降低。扩展到更多的语言和更多的数据,SeHuBERT也可以实现约10%的相对字错误率减少一半的培训成本相比,HuBERT。
2022-12-07 cs.SD eess.AS
MT-HuBERT: Self-Supervised Mix-Training for Few-Shot Keyword Spotting in Mixed Speech
School of Computer Science and Technology, Xinjiang University, China(新疆大学计算机科学与技术学院);Center for Speech and Language Technologies, BNRist, Tsinghua University, China(清华大学语音与语言技术中心);School of Computer Science and Technology, Harbin Institute of Technology, China(哈尔滨工业大学计算机科学与技术学院);School of Artificial Intelligence, Beijing University of Posts and Telecommunications, China(北京邮电大学人工智能学院)
本文提出自监督预训练框架MT-HuBERT,将混合训练准则引入HuBERT预训练,以自监督方式从混合语音中预测各组成信号的干净声学单元,在混合与干净条件下的少样本关键词识别任务中均优于现有基线。
2025-11-09 cs.SD
Audio-Visual Speech Enhancement and Separation by Utilizing Multi-Modal Self-Supervised Embeddings
Carnegie Mellon University(卡内基梅隆大学);National Taiwan University(台湾大学);Academia Sinica(中央研究院);Edinburgh Napier University(爱丁堡龙比亚大学)
本文提出在预训练AV-HuBERT后接入SE模块并配合微调,用于AVSE和AVSS,实验证明其优于现有AVSE及纯音频SE方法。
2023-06-01 cs.SD eess.AS
MSR-HuBERT: Self-supervised Pre-training for Adaptation to Multiple Sampling Rates
Tianjin Key Laboratory of Cognitive Computing and Application(天津认知计算与应用重点实验室);Tianjin University(天津大学);Huiyan Technology Company, Ltd.(慧言科技有限公司);Chinese Academy of Sciences(中国科学院)
本文提出MSRHuBERT,一种适应多种采样率的自监督预训练方法,通过改进HuBERT的下采样CNN,实现不同采样率原始波形到共享时间分辨率的映射,提升了语音识别和全频带语音重建性能。
2026-03-24 cs.AI cs.SD
MelHuBERT: A simplified HuBERT on Mel spectrograms
National Taiwan University(台湾大学);University of Edinburgh(爱丁堡大学)
本文提出MelHuBERT,通过改进损失函数、输入表示和多阶段训练简化HuBERT,在音素识别、说话人识别和语音识别上性能优于HuBERT,同时节省31.2%预训练时间。
2024-08-29 cs.CL cs.LG cs.SD
Language-Universal Phonetic Representation in Multilingual Speech Pretraining for Low-Resource Speech Recognition
ByteDance(字节跳动)
本文提出利用IPA多语言模型生成帧级伪标签,以音素信息指导方式引导HuBERT预训练,在低资源ASR任务中持续优于标准HuBERT,节省最多75%有监督数据并超越多数现有方法。
2023-05-19 cs.CL cs.SD eess.AS
PB-LRDWWS System for the SLT 2024 Low-Resource Dysarthria Wake-Up Word Spotting Challenge
Nankai University(南开大学)
针对SLT 2024低资源构音障碍唤醒词检测挑战赛,提出结合微调HuBERT特征提取器(三阶段交叉熵微调)与原型分类(余弦相似度匹配)的PB-LRDWWS系统,在Test-B获第二名。
2024-12-06 cs.SD eess.AS
Iterative refinement, not training objective, makes HuBERT behave differently from wav2vec 2.0
Department of Linguistics(语言学系);Department of Computer Science(计算机科学系);Department of French(法语系)
本研究比较了HuBERT和wav2vec 2.0的架构差异,发现隐藏表征与词、音素及说话人身份的典型相关性差异由训练迭代而非训练目标决定,建议未来研究迭代细化的有效性。
2025-08-11 cs.CL cs.SD eess.AS
Don't Stop Self-Supervision: Accent Adaptation of Speech Representations via Residual Adapters
AWS AI Labs(AWS人工智能实验室);University of Virginia(弗吉尼亚大学)
针对自监督语音表示在非母语口音上表现不佳的问题,提出通过训练口音特定残差适配器进行参数高效的自监督适应,在ASR任务中显著降低了词错误率,且方法与模型和任务无关。
2023-07-02 cs.CL cs.SD eess.AS
Frame-level emotional state alignment method for speech emotion recognition
Beijing University of Posts and Telecommunications(北京邮电大学)
针对语音情感识别中帧级标签与话语级标签不一致导致性能不佳的问题,提出基于HuBERT的帧级情感状态对齐方法,利用伪标签预训练和注意力机制聚焦情感一致帧,在IEMOCAP上超越SOTA。
2023-12-27 cs.AI cs.SD eess.AS
LightHuBERT: Lightweight and Configurable Speech Representation Learning with Once-for-All Hidden-Unit BERT
Tongji University(同济大学);Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));Microsoft(微软);Peng Cheng Laboratory(鹏城实验室);ByteDance AI Lab(字节跳动人工智能实验室)
自监督语音表征学习在各种语音处理任务中显示出了良好的效果。然而,预先训练的模型,例如,HuBERT是存储密集型Transformers,限制了它们在低资源环境下的应用范围。为此,我们提出了LightHuBERT,一个一次性的所有Transformer压缩框架,通过修剪结构化参数自动找到所需的架构。更准确地说,我们创建了一个基于Transformer的超网,其中嵌套了数千个权重共享的超网,并设计了一个两阶段的蒸馏策略来利用HuBERT的上下文化潜在表示。在自动语音识别(ASR)和SUPERB测试中的实验表明,LightHuBERT算法在嵌入维数、注意维数、头数、前馈网络比和网络深度等方面优于$10^9$结构. LightHuBERT在ASR和五个具有HuBERT大小的SUPERB任务上优于原始HuBERT,在大多数任务中实现了与教师模型相当的性能,减少了29%的参数,并在三个SUPERB任务中获得了$3.5\times$压缩比,例如,自动说话人验证、关键字定位和意图分类,具有轻微的准确性损失。代码和预训练模型可在https://github.com/mechanicalsea/lighthubert上获得。
2022-06-18 cs.CL cs.LG cs.SD
mHuBERT-147: A Compact Multilingual HuBERT Model
NAVER LABS Europe(NAVER欧洲实验室);University of Edinburgh(爱丁堡大学)
本文提出mHuBERT-147,一个在9万小时开放数据上训练、仅9500万参数的紧凑多语言HuBERT模型,通过faiss聚类加速和多语言上采样策略,在ML-SUPERB等基准上超越更大模型,实现性能与参数效率的平衡。
2024-11-21 cs.CL cs.SD eess.AS
Towards an Efficient Voice Identification Using Wav2Vec2.0 and HuBERT Based on the Quran Reciters Dataset
Helwan University(赫勒万大学);Fayoum University(法尤姆大学)
当前的认证和可信系统依赖于经典的生物识别方法来识别或授权用户。这些方法包括音频语音识别、眼睛和手指签名。最近的工具利用深度学习和Transformers来实现更好的结果。在本文中,我们使用Wav2Vec2.0和HuBERT音频表示学习工具开发了一个用于阿拉伯语说话者识别的深度学习构造模型。端到端Wav2Vec2.0范例通过随机掩蔽一组特征向量来获取上下文化的语音表示学习,然后应用Transformer神经网络。我们采用的MLP分类器,能够区分不变的标记类。我们展示了几个实验结果,保证了所提出的模型的高精度。实验结果表明,在Wav2Vec2.0和HuBERT的情况下,对某说话人的任意波形信号的识别率分别为98%和97.1%。
2021-11-11 cs.AI cs.CL cs.LG
Self-Supervised Audio-Visual Speech Representations Learning By Multimodal Self-Distillation
University of Science and Technology of China(中国科学技术大学);iFLYTEK Research, iFLYTEK Co. Ltd.(科大讯飞股份有限公司讯飞研究院)
在这项工作中,我们提出了一种新的方法,名为AV 2 vec,学习视听语音表示多模态自蒸馏。AV 2 vec有一个学生和一个教师模块,其中学生使用教师在线生成的多模态目标特征执行掩蔽的潜在特征回归任务。教师模型的参数是学生的动量更新。由于我们的目标特征是在线生成的,AV 2 vec不需要像AV-HuBERT那样的迭代步骤,总训练时间成本减少到不到五分之一。在这项研究中,我们进一步提出了AV 2 vec-MLM,它使用多任务学习通过掩蔽语言模型(MLM)风格的损失来增强AV 2 vec。我们的实验结果表明,AV 2 vec实现了与AV-HuBERT基线相当的性能。当与MLM类型的损失相结合时,AV 2 vec-MLM的性能优于基线,并在下游任务上实现了最佳性能。
2022-12-06 cs.SD eess.AS
Revisiting speech segmentation and lexicon learning with better features
Stellenbosch University(斯泰伦博斯大学)
该研究改进零资源语音自监督分割方法,用HuBERT特征替换对比预测编码特征,经两阶段动态规划分割、特征平均生成嵌入、K-means聚类得到词典,在ZeroSpeech基准上实现全覆盖分割且性能达SOTA。
2024-01-31 cs.CL cs.SD eess.AS
Predicting within and across language phoneme recognition performance of self-supervised learning speech pre-trained models
Delft University of Technology(代尔夫特理工大学)
在这项工作中,我们分析和比较了从不同的冻结自监督学习(SSL)语音预训练模型中提取的语音表示,这些模型捕获发音特征(AF)信息的能力以及随后对语言场景内和跨语言场景的电话识别性能的预测。具体来说,我们比较了CPC,wav2vec 2.0和HuBert。首先,实现帧级AF探测任务。随后,实现了音素识别任务的音素级端到端ASR系统,并将帧级AF探测任务的性能与音素准确性相关联。与传统的语音表示MFCC相比,所有SSL预训练的语音表示都捕获了更多的AF信息,并在语言内和跨语言实现了更好的音素识别性能,其中HuBert表现最好。帧级AF探测任务是音素识别性能的一个很好的预测器,显示了在语音表示中捕获AF信息的重要性。与MFCC相比,在语言内场景中,这些SSL语音预训练模型在AF探测任务上的性能实现了最大34.4%的相对提高,并导致最低的PER为10.2%。在跨语言情景中,26.7%的最大相对增长也导致了23.0%的最低PER。
2022-06-24 cs.SD eess.AS
Experiments on Turkish ASR with Self-Supervised Speech Representation Learning
Computer Engineering Department, Koç University(科奇大学计算机工程系)
虽然土耳其语被列为低资源语言,但关于土耳其语自动语音识别(ASR)的文献相对较旧。在这份报告中,我们提出了我们的研究结果土耳其ASR与语音表示学习使用HUBERT。我们使用从在线资源中收集的大规模数据调查土耳其语的HUBERT预培训。我们使用来自YouTube的6,500小时的语音数据对模型进行预训练。结果表明,这些模型还没有准备好用于商业用途,因为它们对通常发生在现实世界中的干扰(如口音,俚语,背景噪声和干扰的变化)不鲁棒。我们分析了在商业环境中使用的模型的典型错误和局限性。
2022-12-23 cs.CL cs.LG cs.SD
A Comparison of Speech Data Augmentation Methods Using S3PRL Toolkit
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文使用S3PRL工具包比较了SpecAugment、高斯噪声和速度扰动三种数据增强方法对HuBERT和wav2vec在音素识别与自动语音识别任务中的影响,发现SpecAugment略微提升原始数据性能,而噪声与速度扰动增强训练可提高模型鲁棒性。
2024-03-29 cs.AI cs.SD eess.AS
M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval
University of Texas at Austin(得克萨斯大学奥斯汀分校);National Taiwan University(国立台湾大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本研究利用仅基于英语的大规模预训练模型(CLIP和HuBERT)实现多语种图像-语音检索,大幅超越现有最优性能,并扩展至零样本的跨模态与跨语种检索任务。
2023-04-10 cs.CL cs.SD eess.AS
Analysing the Masked predictive coding training criterion for pre-training a Speech Representation Model
IIIT Delhi(德里印度理工学院);Microsoft Research India(微软印度研究院)
本文通过九个探测任务分析HuBERT模型中MPC损失对各层信息学习的影响,发现内容信息与MPC损失正相关,而说话人信息是间接结果,无法由MPC损失控制,为设计能同时保留说话人和内容信息的新预训练准则提供了启发。
2024-01-11 cs.SD eess.AS
Effective and Efficient Mixed Precision Quantization of Speech Foundation Models
The Chinese University of Hong Kong(香港中文大学);National Research Council Canada(加拿大国家研究委员会)
本研究提出一种将混合精度学习与参数量化整合至单阶段的语音基础模型混合精度量化新方法,在LibriSpeech数据集上验证了其在提升压缩比、缩短压缩时间的同时可维持甚至降低词错误率。
2025-01-11 cs.AI cs.SD eess.AS
Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data
Microsoft Research Asia(微软亚洲研究院)
本文研究了一种新的预训练技术Speech 2C,用于基于编解码器的自动语音识别(ASR)。在多任务学习框架内,我们使用声学单元为编码器-解码器网络引入两个预训练任务,即,伪代码,源自离线集群模型。一种是通过编码器输出中的掩码语言建模(如HuBERT模型)来预测伪代码,而另一种是让解码器学习自回归地重建伪代码,而不是生成文本脚本。通过这种方式,解码器在学习生成正确的文本之前学习用代码重构原始语音信息。在LibriSpeech语料库上的综合实验表明,与不进行解码器预训练的方法相比,Speech 2C可以将词出错率(WER)降低19.2%,并且在10 h和100 h的微调子集上也明显优于最先进的wav 2 vec 2.0和HuBERT。我们在https://github.com/microsoft/SpeechT5/tree/main/Speech2C上发布我们的代码和模型。
2022-06-20 cs.LG cs.SD eess.AS
Improving the Robustness of DistilHuBERT to Unseen Noisy Conditions via Data Augmentation, Curriculum Learning, and Multi-Task Enhancement
Institut National de la Recherche Scientifique(国家科学研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
自监督语音表示学习的目的是从语音信号中提取有意义的因素,这些因素以后可以在不同的下游任务中使用,例如语音和/或情感识别。然而,现有的模型,如HuBERT,可能相当大,因此可能不适合边缘语音应用。此外,实际应用通常涉及被噪声和房间混响破坏的语音,因此模型需要提供对这些环境因素鲁棒的表示。在这项研究中,我们建立了所谓的DistilHuBERT模型,该模型将HuBERT提取到其原始大小的一小部分,并进行了三次修改,即:(i)用噪声和混响增加训练数据,而学生模型需要从教师模型中提取干净的表示;(ii)采用课程学习的方法,在模型列车时增加噪音水平,从而有助于收敛和创建更稳健的表示;以及(iii)引入多任务学习方法,其中模型还与蒸馏任务一起重建干净波形,因此也充当增强步骤以确保对表示的附加环境鲁棒性。三个SUPERB任务的实验表明,所提出的方法不仅相对于原始的DistilHuBERT的优势,但也对原始的HuBERT,从而显示了所提出的方法的优势,为“在野生”边缘语音应用。
2022-11-12 cs.CL cs.SD eess.AS
Analyzing Acoustic Word Embeddings from Pre-trained Self-supervised Speech Models
The University of Edinburgh(爱丁堡大学)
考虑到自监督模型在各种任务上的强大结果,很少有研究探索声学词嵌入(AWE)的自监督表示,表示可变长度口语词段的固定维向量。在这项工作中,我们研究了几种预训练模型和池化方法,用于构建具有自监督表示的AWE。由于自监督表示的上下文性质,我们假设简单的池化方法,如平均,可能已经用于构建AWE。当评估一个标准的单词歧视任务,我们发现,休伯特表示与均值池的竞争对手的最先进的英语AWE。更令人惊讶的是,尽管只在英语上训练,但在Xitsonga,普通话和法语上评估的HuBERT表示始终优于多语言模型XLSR-53(以及在英语上训练的Wav 2 Vec 2.0)。
2023-03-14 cs.CL cs.SD eess.AS
Robust Self-Supervised Audio-Visual Speech Recognition
Meta AI
基于音频的自动语音识别(ASR)在噪声环境中会显著降低,并且特别容易受到干扰语音的影响,因为模型无法确定要转录哪个说话者。视听语音识别(AVSR)系统通过用视觉信息补充音频流来提高鲁棒性,视觉信息对噪声是不变的,并且帮助模型聚焦于期望的说话者。然而,以前的AVSR工作只集中在监督学习设置上;因此,可用的标记数据量阻碍了进展。在这项工作中,我们提出了一个自监督AVSR框架上建立的视听休伯特(AV休伯特),一个国家的最先进的视听语音表示学习模型。在最大的AVSR基准数据集LRS 3上,我们的方法在存在串音噪声的情况下使用不到10%的标记数据(433小时与30小时),比现有技术的性能高出约50%(28.0%与14.1%),同时平均将基于音频的模型的WER降低了75%以上(25.8%与5.8%)。
2022-07-14 cs.CV cs.LG cs.SD
Self-supervised Neural Factor Analysis for Disentangling Utterance-level Speech Representations
The Hong Kong Polytechnic University(香港理工大学)
针对自监督语音模型在话语级任务中需监督微调的问题,提出结合HuBERT聚类单元的神经因子分析方法,通过概率推断解耦话语级表示,以变分下界为话语级目标优化模型,仅用20%标注数据就在SUPERB基准非语义话语级任务上超越WavLM。
2023-10-04 cs.CL cs.LG cs.SD
Progressive Residual Extraction based Pre-training for Speech Representation Learning
Tianjin University(天津大学);Huiyan Technology (Tianjin) Company, Ltd.(汇研科技(天津)有限公司);National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Tibet University(西藏大学)
本文提出ProgRE预训练方法,通过在SSL主干中引入轻量任务模块并以残差方式逐步提取音高、说话人和内容表示,再按层权重组合为任务特定表示,从而在多个语音下游任务上实现联合性能提升。
2024-08-31 cs.SD eess.AS
Exploring Prediction Targets in Masked Pre-Training for Speech Foundation Models
Carnegie Mellon University(卡内基梅隆大学);Apple(苹果公司)
本研究探讨了语音基础模型掩码预训练中预测目标的设计选择,发现HuBERT常用选择可能次优,并提出创建更具信息量预测目标的方法,通过多种下游任务的性能提升验证了其有效性。
2025-01-17 cs.SD eess.AS
How Well Do Self-Supervised Speech Models Encode Age and Gender in Children's Speech? A Layer-Wise Analysis Across Multiple Architectures
National Institute of Technology Sikkim(锡金国立技术学院);Signal Analysis and Interpretation Lab (SAIL), University of Southern California(信号分析与解读实验室(SAIL),南加州大学)
本研究分析了四种自监督语音模型(Wav2Vec2、HuBERT、Data2Vec、WavLM)在儿童语音中编码年龄和性别的能力,通过逐层特征提取和轻量级CNN分类,发现早期到中间层编码最强副语言线索,HuBERT在年龄分类上表现最佳,且结果对数据不平衡和领域不匹配具有鲁棒性。
2026-06-23 cs.AI cs.LG cs.SD
Word Discovery in Visually Grounded, Self-Supervised Speech Models
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出一种视觉接地方法,在HuBERT或wav2vec2.0模型上训练后,其自注意力头涌现出词分割与聚类能力,视觉接地是关键,在Buckeye和ZeroSpeech任务上表现优于或持平现有方法。
2023-06-20 cs.AI cs.CL cs.SD
BabyHuBERT: Multilingual Self-Supervised Learning for Segmenting Speakers in Child-Centered Long-Form Recordings
本文提出BabyHuBERT,一种基于多语言儿童录音的自监督语音模型,用于识别儿童说话者及说话时间,其在六个语料库上的F1得分优于现有模型,尤其在少数语言上表现突出。
2026-06-29 cs.LG cs.SD eess.AS
W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training
Google Brain(谷歌大脑)
受MLM在预训练自然语言处理模型中的成功启发,我们提出了w2 v-BERT,它探索了用于自监督语音表示学习的MLM。w2 v-BERT是一个结合了对比学习和MLM的框架,其中前者训练模型将输入的连续语音信号离散化为有限的一组有区别的语音标记,后者训练模型通过求解消耗离散化标记的掩蔽预测任务来学习上下文化的语音表示。与现有的基于MLM的语音预训练框架相比,例如HuBERT,它依赖于迭代的重新聚类和重新训练过程,或vq-wav 2 vec,它连接了两个单独训练的模块,w2 v-BERT可以通过同时解决两个自监督任务(对比任务和MLM)来以端到端的方式进行优化。我们的实验表明,当使用Libri-Light~ 60 k语料库作为无监督数据时,与LibriSpeech基准测试中当前最先进的预训练模型相比,w2 v-BERT取得了有竞争力的结果。特别是,当与已发布的模型(如基于一致性的wav 2 vec ~2.0和HuBERT)相比时,我们的模型在测试干净和测试其他子集上显示出~5\%至~10\%的相对WER降低。当应用于Google的语音搜索流量数据集时,w2 v-BERT相对于我们内部基于一致性的wav 2 vec ~2.0的性能要好30%以上。
2021-09-13 cs.LG cs.SD eess.AS
Speaker Emotion Recognition: Leveraging Self-Supervised Models for Feature Extraction Using Wav2Vec2 and HuBERT
本研究利用自监督模型Wav2Vec2和HuBERT从原始音频自动提取特征进行说话人情感识别,在多个公开数据集及呼叫中心真实场景中验证了方法的有效性。
2024-11-06 cs.AI cs.LG cs.SD
Exploring Effective Distillation of Self-Supervised Speech Models for Automatic Speech Recognition
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);MoE Key Lab of Artificial Intelligence, AI Institute(人工智能联合实验室);X-LANCE Lab, Department of Computer Science and Engineering(X-LANCE实验室,计算机科学与工程系);Shanghai Jiao Tong University(上海交通大学);Peng Cheng Laboratory(鹏城实验室)
本文研究基于HuBERT的自监督语音模型在ASR中的蒸馏方法,通过引入判别性损失和前端特征蒸馏,在低资源场景下提升性能,并实现17%参数减少与推理速度翻倍。
2023-10-22 cs.CL cs.SD eess.AS
SpeechCLIP: Integrating Speech with Pre-Trained Vision and Language Model
National Taiwan University(国立台湾大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
数据驱动的语音处理模型通常在大量的文本监督下表现良好,但收集转录的语音数据是昂贵的。因此,我们提出了SpeechCLIP,一个新的框架,通过图像来增强语音模型,而无需transmittance的语音和文本桥接。我们利用最先进的预训练HuBERT和CLIP,通过配对图像和语音字幕进行对齐,并进行最小的微调。SpeechCLIP在图像语音检索方面优于现有技术,并且在没有transmittance直接监督的情况下执行zero-shot语音文本检索。此外,SpeechCLIP可以直接从语音中检索语义相关的关键字。
2022-10-25 cs.CL cs.SD eess.AS
Phoneme-Based Ratio Mask Estimation for Reverberant Speech Enhancement in Cochlear Implant Processors
Duke University(杜克大学)
耳蜗植入体(CI)用户在混响听音环境中理解语音有相当大的困难。时频(T-F)掩蔽是旨在通过将混响语音乘以增益值矩阵以抑制由混响主导的T-F仓来提高语音可懂度的常用技术。最近提出的掩模估计算法利用机器学习方法来区分目标语音和混响反射。然而,语音的频谱-时间结构是高度可变的,并且依赖于潜在的音素。潜在地克服这种可变性的单向式方法是在掩码估计期间利用音素信息的明确知识。本研究提出一种以音素为基础的遮罩估测演算法,针对每一音素分别训练遮罩估测模型。在正常听力的听众中进行句子识别测试,以确定基于音素的掩码估计算法在音素的完美知识可用的理想情况下是否有益。结果表明,与传统的音素无关的面具相比,基于音素的面具提高了声码语音的可懂度。研究结果表明,音素为基础的语音增强策略可能有利于CI用户在混响听环境。
2021-05-28 cs.SD eess.AS
Student-Teacher Learning for BLSTM Mask-based Speech Enhancement
Johns Hopkins University(约翰斯·霍普金斯大学)
基于双向长短期记忆(BLSTM)神经网络的谱掩模估计已广泛应用于各种语音增强应用中,并在基于掩模波束形成器的多通道语音增强技术中取得了巨大的成功。然而,当这些掩模用于单通道语音增强时,它们严重地使语音信号失真并且使它们不适合于语音识别。本文提出了一种单通道语音增强的师生学习模式。来自多通道增强的波束成形信号作为教师网络的输入被给出以获得软掩模。将软掩模目标的附加交叉熵损失项与原始损失相结合,使得具有单通道输入的学生网络被训练以模仿通过波束成形用多通道输入获得的软掩模。CHiME-4挑战单通道跟踪数据的实验显示ASR性能的改善。
2018-03-27 cs.SD eess.AS
Leveraging Phone Mask Training for Phonetic-Reduction-Robust E2E Uyghur Speech Recognition
Xinjiang University(新疆大学);Tencent Minority-Mandarin Translation(腾讯少数民族-普通话翻译部门)
维吾尔语语音中经常会遇到辅音和元音的压缩,特别是在高速率的自发语音中,这会导致语音识别性能的下降。针对这一问题,本文提出了一种有效的音素模板训练方法,用于基于Conformer的维吾尔语端到端(E2 E)语音识别。其思想是在模型训练过程中随机屏蔽一定比例的手机特征,模拟上述言语现象,便于E2 E模型学习更多的上下文信息。根据实验,上述问题可以大大缓解。此外,对不同的掩蔽单元进行了深入的研究,这表明了我们提出的掩蔽单元的有效性。本文还进一步研究了手机蒙版的遮盖方法和优化填充策略。最后,与没有模板训练的基于Conformer的E2 E基线相比,我们的模型在阅读语音和自发语音上分别表现出约5.51%和12.92%的相对字出错率(WER)降低。在开放源数据THUYG-20的测试集上验证了上述方法,结果显示相对于传统方法有20%的改进。
2022-04-02 cs.SD eess.AS