Differentiable Allophone Graphs for Language-Universal Speech Recognition
Carnegie Mellon University(卡内基梅隆大学)
建立语言通用的语音识别系统需要产生可以在不同语言之间共享的语音单元。虽然在语言特定的音素或表面级别的语音注释是容易获得的,但在通用音素级别的注释相对较少并且难以产生。在这项工作中,我们提出了一个通用的框架,以获得语音级的监督,只有音素transmittance和音素到音素的映射与可学习的权重表示使用加权有限状态转换器,我们称之为可微的allophone图。通过多语言训练,我们建立了一个通用的基于音素的语音识别模型,每个语言都有可解释的概率音素到音素映射。语言学家可以使用这些基于音素的系统来记录新的语言,构建基于音素的词典,以捕捉丰富的发音变化,并重新评估所见语言的音素映射。我们证明了我们提出的框架的上述好处与7种不同的语言训练的系统。
2021-07-24 cs.CL cs.SD eess.AS
Predicting phoneme-level prosody latents using AR and flow-based Prior Networks for expressive speech synthesis
Innoetics, Samsung Electronics(Innoetics,三星电子);Mobile eXperience Business, Samsung Electronics(移动体验业务部门,三星电子)
大部分表达性语音合成文献集中于学习语音信号的韵律表示,然后在推理期间通过先验分布对所述韵律表示进行建模。在本文中,我们比较了不同的先验架构在预测音素级的韵律表示提取的无监督FVAE模型的任务。我们使用主观和客观的指标来表明,规范化的流量为基础的先验网络可以导致更有表现力的语音在质量略有下降的成本。此外,我们表明,合成语音具有较高的变异性,对于一个给定的文本,由于规范化流的性质。我们还提出了一个动态的VAE模型,可以产生更高质量的语音,虽然与基于流的模型相比,降低了表达性和可变性。
2022-11-02 cs.CL cs.LG cs.SD
Self-Supervised Speech Models Encode Phonetic Context via Position-dependent Orthogonal Subspaces
UT Austin(德克萨斯大学奥斯汀分校);UC Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
本文研究自监督语音模型如何在单帧层面编码音素及其上下文,提出通过位置依赖的正交子空间实现音素信息的组合编码,揭示了上下文依赖表示的结构特性。
2026-03-13 cs.CL cs.LG cs.SD
Probing self-supervised speech models for phonetic and phonemic information: a case study in aspiration
Massachusetts Institute of Technology(麻省理工学院)
该研究以词首塞音送气特征为例,探究自监督语音模型编码的语言信息,发现语音和音位区分表征在模型早期层出现且深层主成分可保留,其成效源于语音数据优化与高维架构,且语音训练的HuBERT可生成对应抽象音系区分的低噪声低维子空间。
2023-06-09 cs.CL cs.SD eess.AS
Multilingual and crosslingual speech recognition using phonological-vector based phone embeddings
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
语音特征(PF)的使用潜在地允许特定语言的音素在训练中保持链接,这对于用于低资源语言的多语言和跨语言语音识别方法的信息共享是非常期望的。以前的方法在使用语音特征时的缺点是,以自底向上的方式提取声学到PF本身是困难的。在本文中,我们建议将音位驱动的音素嵌入(自上而下)和基于深度神经网络(DNN)的声学特征提取(自下而上)结合起来,以计算音素概率。这种新方法被称为JoinAP(Joining of Acoustics and Phonology)。值得注意的是,语音识别不需要从声学特征到音位特征的反演。对于IPA(International Phonetic Alphabet)表中的每个音素,我们将其音素特征编码为一个音素向量,然后对该音素向量进行线性或非线性变换,得到音素嵌入。在CommonVoice数据集(德语、法语、西班牙语和意大利语)和AISHLL-1数据集(普通话)上进行了一系列多语种和跨语种(包括zero-shot和Few-Shot)语音识别实验,证明了非线性音素嵌入的JoinAP方法优于线性音素嵌入的JoinAP方法和传统的平面音素嵌入方法。
2021-10-30 cs.CL cs.SD eess.AS
Speech Representations and Phoneme Classification for Preserving the Endangered Language of Ladin
University of Southern California(南加州大学)
据预测,世界上7,000种口语中的绝大多数将在本世纪内灭绝,包括意大利阿尔卑斯山的拉丁语。致力于保存一种语言的语音和音韵结构的语言学家可能会花费数小时来转录母语人士的每一分钟讲话。为了解决这个问题的上下文中的Ladin,我们的论文提出了第一次分析的语音表示和机器学习模型分类32音素的Ladin。我们实验了一个新的数据集的法西斯方言的拉丁语,从母语在意大利收集。我们创建了帧级和段级语音特征提取方法,并使用在9种不同语音表示上训练的8种不同分类器进行了广泛的实验。我们的语音表示范围从传统特征(MFCC,LPC)到使用深度神经网络模型学习的特征(自动编码器,LSTM自动编码器和WaveNet)。我们最高性能的分类器,在语音信号的MFCC表示上训练,在所有Ladin音素中达到了86%的平均准确率。我们还获得了77%以上的平均精度为所有Ladin音素分组检查。我们的研究结果为学习有区别的Ladin音素表示提供了见解,并展示了利用机器学习和语音信号处理来保护Ladin和其他濒危语言的潜力。
2021-08-27 cs.CL cs.LG eess.AS
Towards Unsupervised Speech Recognition and Synthesis with Quantized Speech Representation Learning
College of Electrical Engineering and Computer Science, National Taiwan University(台湾大学电机资讯学院)
在本文中,我们提出了一个顺序表示量化自动编码器(SeqRQ-AE)学习主要是不成对的音频数据,并产生序列的表示非常接近的语音发音的音素序列。这是通过适当的时间分割,使表示音素同步,和适当的语音聚类,有不同的表示接近音素的数量的总数。不同的表示和音素之间的映射是从少量的注释配对数据中学习的。在LJSpeech上的初步实验表明,学习到的元音表征在潜在空间中的相对位置与语言学专家定义的IPA元音图中所示的位置很好地平行。在不到20分钟的注释语音中,我们的方法在音素识别方面优于现有方法,并且能够合成击败我们的基线模型的可理解语音。
2020-02-05 cs.CL cs.SD eess.AS
Multilingual Dysarthric Speech Assessment Using Universal Phone Recognition and Language-Specific Phonemic Contrast Modeling
Arizona State University(亚利桑那州立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种多语言口吃语音评估框架,结合通用音素识别与语言特定音素对比建模,提出三个新指标以评估语音可懂度。
2026-02-11 cs.CL cs.SD eess.AS
Investigating Disentanglement in a Phoneme-level Speech Codec for Prosody Modeling
Innoetics, Samsung Electronics(Innoetics,三星电子);Mobile eXperience Business, Samsung Electronics(移动体验业务部门,三星电子)
本研究修改RVQ-VAE模型使其在音素级运行,通过语言表征条件约束与全局说话人嵌入分离语音和说话人信息,验证了其离散潜在表征的高解耦度与韵律建模能力。
2024-09-13 cs.CL cs.LG cs.SD
PM-MMUT: Boosted Phone-Mask Data Augmentation using Multi-Modeling Unit Training for Phonetic-Reduction-Robust E2E Speech Recognition
Xinjiang University(新疆大学);Tencent Minority-Mandarin Translation(腾讯民族语言-普通话翻译团队);Xinjiang Key Laboratory of Multi-lingual Information Technology(新疆多语种信息技术重点实验室)
在自动语音识别(ASR)中,辅音和元音的减少会导致识别性能下降。我们最近提出的基于掩蔽的学习策略,电话掩蔽训练(PMT),阐明了这种现象在维吾尔语ASR中的影响。虽然PMT取得了显着的改进,仍然存在进一步的增益空间,由于PMT的掩蔽单元(音素)和建模单元(词片)之间的粒度不匹配。为了提高PMT的性能,我们提出了多建模单元训练(MMUT)架构融合PMT(PM-MMUT)。MMUT框架的思想是将编码器分成两部分,包括声学特征序列到音素级表示(AF-to-PLR)和音素级表示到词段级表示(PLR-to-WPLR)。它允许AF-到-PLR通过基于中间音素的CTC损失来优化,以学习PMT带来的丰富的音素级上下文信息。在维吾尔语语音识别系统上的实验结果表明,该方法的识别性能明显优于纯PMT。我们还使用ESPnet 1在960小时的Libripeech基准上进行了实验,与最新的官方ESPnet 1预训练模型相比,在没有LM融合的情况下,所有测试集的相对WER降低了约10%。
2022-07-03 cs.CL cs.SD eess.AS
Tusom2021: A Phonetically Transcribed Speech Dataset from an Endangered Language for Universal Phone Recognition Experiments
Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh(匹兹堡大学);Georgia Institute of Technology(佐治亚理工学院)
人们对能够以独立于语言的方式识别电话的ASR系统越来越感兴趣。此外,还有兴趣为低资源和濒危语言构建语言技术。然而,可用于测试此类系统和技术的现实数据非常缺乏。本文介绍了一个公开可用的,语音转录语料库的2255话语(单词和短语)濒危唐古拉语东Tusom(没有ISO 639-3代码),藏缅语的变化,主要是在印度。因为数据集是根据音素而不是音素转录的,所以它比许多更大的(音素转录的)数据集更适合通用音素识别系统。本文描述了该数据集及其生成方法,并进一步介绍了该数据集上最先进的通用电话识别系统的基本基准,作为未来实验的基线。
2021-04-02 cs.CL cs.SD eess.AS
Controllable speech synthesis by learning discrete phoneme-level prosodic representations
Innoetics, Samsung Electronics(三星电子Innoetics);University of West Attica(西阿提卡大学);Samsung Electronics(三星电子)
在本文中,我们提出了一种新的方法音素级韵律控制的F0和持续时间使用直观的离散标签。我们提出了一个无监督的韵律聚类过程,用于离散化音素级F0和持续时间的功能,从多说话人的语音数据集。这些特征作为韵律标签的输入序列被馈送到韵律编码器模块,该韵律编码器模块增强基于自回归注意力的文本到语音模型。我们利用各种方法来提高韵律控制范围和覆盖率,例如增强、F0归一化、持续时间平衡聚类和与说话者无关的聚类。最终的模型使细粒度的音素级韵律控制包含在训练集中的所有扬声器,同时保持扬声器的身份。而不是依赖于参考话语的推理,我们引入了一个事先韵律编码器,学习每个扬声器的风格,使语音合成,而不需要参考音频。我们还微调的多说话人模型,以看不见的扬声器与有限的数据量,作为一个现实的应用场景,并显示韵律控制能力的维护,验证说话人无关的韵律聚类是有效的。实验结果表明,该模型具有较高的输出语音质量,所提出的方法允许有效的韵律控制在每个扬声器的范围内,尽管多扬声器设置引入的可变性。
2022-11-29 cs.CL cs.LG cs.SD
Language-Universal Phonetic Representation in Multilingual Speech Pretraining for Low-Resource Speech Recognition
ByteDance(字节跳动)
本文提出利用IPA多语言模型生成帧级伪标签,以音素信息指导方式引导HuBERT预训练,在低资源ASR任务中持续优于标准HuBERT,节省最多75%有监督数据并超越多数现有方法。
2023-05-19 cs.CL cs.SD eess.AS
Deep segmental phonetic posterior-grams based discovery of non-categories in L2 English speech
The Chinese University of Hong Kong(香港中文大学)
第二语言(L2)语音通常被标记为母语,电话类别。然而,在许多情况下,很难决定L2段所属的分类电话。这些部分被视为非类别。现有的发音错误检测和诊断方法大多只涉及分类错误,即插入、删除或替换一个音素类别。然而,不考虑非分类错误。为了模拟这些非分类错误,这项工作的目的是探索非分类模式,以扩大分类音素集。我们应用一个语音段分类器来产生分段语音后验图(SPPG)来表示音素段级信息。然后我们通过寻找具有多个峰值的SPPG来探索非类别。与基线系统相比,该方法探索了更多的非类别模式,并且感知实验结果表明,在两种不同的测量下,探索的非类别更准确,混淆度分别增加了7.3%和7.5%。最后,我们初步分析了这些非范畴现象背后的原因。
2020-02-01 cs.CL cs.SD eess.AS
XPhoneBERT: A Pre-trained Multilingual Model for Phoneme Representations for Text-to-Speech
VinAI Research(VinAI研究院)
本文提出首个多语言音素表示预训练模型XPhoneBERT,基于BERT架构和RoBERTa方法在近100种语言的3.3亿音素级句子上训练,可显著提升TTS模型的自然度与韵律表现。
2023-05-31 cs.CL cs.SD eess.AS
Robust Automatic Speech Recognition via WavAugment Guided Phoneme Adversarial Training
Alibaba Group(阿里巴巴集团);Chinese Academy of Sciences(中国科学院)
针对ASR模型需兼顾干净样本性能与抗扰动、抗域偏移能力的难题,提出WavAugment引导的音素对抗训练方法wapat,通过音素空间对抗增强与增强样本音素引导的对抗生成提升泛化性,在ESB基准上实现6.28%的WER降低,刷新SOTA。
2023-07-24 cs.CL cs.SD eess.AS
Phone Features Improve Speech Translation
Johns Hopkins University(约翰斯·霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学)
语音翻译(ST)的端到端模型比传统的单独的ASR和MT模型级联更紧密地耦合语音识别(ASR)和机器翻译(MT),具有更简单的模型架构和减少错误传播的潜力。它们的性能通常被认为是优越的,尽管在许多情况下情况并非如此。我们在高、中、低资源条件下比较级联和端到端模型,并表明级联仍然是更强的基线。此外,我们介绍了两种方法,将手机功能到ST模型。我们表明,这些功能改善了两种架构,缩小了端到端模型和级联之间的差距,并优于以前的学术工作-在我们的低资源设置上高达9 BLEU。
2020-05-27 cs.CL cs.SD eess.AS
Phonemic Representation and Transcription for Speech to Text Applications for Under-resourced Indigenous African Languages: The Case of Kiswahili
University of Nairobi(内罗毕大学);Maseno University(马塞诺大学);Africa Nazarene University(非洲拿撒勒大学)
构建自动语音识别(ASR)系统是一项具有挑战性的任务,特别是对于需要几乎从头开始构建语料库并且缺乏足够训练数据的资源不足的语言。已经出现的情况是,包括斯瓦希里语在内的几种非洲土著语言在技术上资源不足。ASR系统至关重要,特别是对听力受损的人来说,他们可以从母语的成绩单中受益。然而,转录语音数据集的缺乏使为这些土著语言开发ASR模型的努力变得复杂。本文探讨了斯瓦希里语语音语料库的转录过程和发展,其中包括读出文本和自发的斯瓦希里语母语者的语音数据。该研究还讨论了斯瓦希里语中的元音和辅音,并为使用CMU Sphinx语音识别工具箱(一个开源语音识别工具箱)创建的ASR模型提供了一个更新的斯瓦希里语音素词典。使用扩展语音集来训练ASR模型,其WER和SER分别为18.87%和49.5%,比之前针对资源不足语言的类似研究性能有所提高。
2022-10-29 cs.CL cs.SD eess.AS
Encoding of phonology in a recurrent neural model of grounded speech
Tilburg University(蒂尔堡大学)
我们研究的代表性和编码的音素在一个循环的神经网络模型接地语音。我们使用的模型,处理图像和他们的口头描述,并项目的视觉和听觉表示到相同的语义空间。我们进行了一些分析,如何在从语音信号中提取的MFCC特征中编码有关单个音素的信息,以及模型的层的激活。通过音素解码和音素歧视的实验,我们表明,音素表示是最显着的模型,低级别的信号处理在细粒度的水平,虽然大量的语音信息保留在顶部的递归层的较低层。我们进一步发现,在最高递归层之后的注意力机制显著地减弱了语音编码,使得话语嵌入对同义词更加不变性。此外,通过网络学习的音素表示的层次聚类显示了与语言学中提出的音素类似的音素组织结构。
2017-06-16 cs.CL cs.LG cs.SD
Phone and speaker spatial organization in self-supervised speech representations
本文在不依赖下游模型的情况下,通过表示相似性分析和非参数统计检验,分析多种自监督语音表示中音素与说话人信息的空间组织,揭示预训练目标任务影响模型对语音属性的编码方式。
2023-02-24 cs.CL cs.SD eess.AS
From Semi-supervised to Almost-unsupervised Speech Recognition with Very-low Resource by Jointly Learning Phonetic Structures from Audio and Text Embeddings
National Taiwan University(台湾大学)
对于世界上95%以上的低资源语言来说,为训练ASR系统生成大量带注释的语音数据仍然很困难。然而,我们注意到人类婴儿开始通过少量范例词的声音(或语音结构)学习语言,并在没有听到大量数据的情况下将这些知识“概括”到其他单词。我们在这方面开展了一些初步工作。Audio Word2Vec用于从口语单词(信号段)中学习语音结构,而另一个自动编码器用于从文本单词中学习语音结构。两者之间的关系可以共同学习,也可以在训练好后单独学习。这种关系可以用在资源非常少的语音识别中。在TIMIT数据集上的初始实验中,仅2.1小时的语音数据(其中2500个口语单词被注释,其余未标记)给出了44.6%的单词出错率,并且如果给出4.1小时的语音数据(其中20000个口语单词被注释),则该数字可以降低到34.2%。这些结果并不令人满意,但却是一个很好的起点。
2019-04-10 cs.CL cs.SD eess.AS
Low-Resourced Speech Recognition for Iu Mien Language via Weakly-Supervised Phoneme-based Multilingual Pre-training
Guangxi Minzu University(广西民族大学);Tsinghua University(清华大学)
针对勉语标注语音稀缺的低资源语音识别问题,研究对比三类低资源ASR方法,发现弱监督音素多语言预训练的Whistle模型效果最优、数据效率更高。
2024-09-16 cs.CL cs.SD eess.AS
Mixed-Phoneme BERT: Improving BERT with Mixed Phoneme and Sup-Phoneme Representations for Text to Speech
The Chinese University of Hong Kong(香港中文大学);Microsoft Research Asia(微软亚洲研究院);Tsinghua University(清华大学);Microsoft Azure Speech(微软Azure语音部门);Zhejiang University(浙江大学)
近年来,利用BERT预训练来改进文本转语音(TTS)中的音素编码器引起了越来越多的关注。然而,这些作品应用基于字符的单元的预训练来增强TTS音素编码器,这与将音素作为输入的TTS微调不一致。仅使用音素作为输入的预训练可以缓解输入失配,但由于音素词汇量有限,缺乏对丰富的表示和语义信息建模的能力。在本文中,我们提出了MixedPhoneme BERT,一个新的变体的BERT模型,使用混合音素和超音素表示,以提高学习能力。具体来说,我们合并相邻的音素到子音素,并结合音素序列和合并的子音素序列作为模型输入,这可以提高模型的能力,学习丰富的上下文表示。实验结果表明,我们提出的混合音素BERT显着提高TTS性能与0.30 CMOS增益相比,FastSpeech 2基线。混合音素BERT实现了3倍的推理加速和与之前的TTS预训练模型PnG BERT相似的语音质量
2022-07-19 cs.CL eess.AS
Improving grapheme-to-phoneme conversion by learning pronunciations from speech recordings
Amazon Alexa(亚马逊Alexa)
本文提出一种利用少量标注样本初始化G2P模型,并通过训练多语言音素识别系统解码语音录音,进而为未登录词学习发音词典以重训G2P系统的方法,有效降低了跨语言和不同数据量下的音素错误率。
2023-07-31 cs.CL eess.AS
POWSM: A Phonetic Open Whisper-Style Speech Foundation Model
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);University of Texas, Austin(德克萨斯大学奥斯汀分校);University of British Columbia(不列颠哥伦比亚大学)
POWSM是一种能够联合执行多种语音任务的统一框架,实现了音频、文本和音素之间的无缝转换,并在低资源条件下提升了语音处理性能。
2026-01-16 cs.CL eess.AS
Boosting Local Spectro-Temporal Features for Speech Analysis
University of Toronto(多伦多大学)
本文研究语音识别中的音素分类问题,探索将目标检测常用的Haar特征和SVM分类的HoG特征用于局部频谱-时间特征表示,并给出初步实验结果。
2023-08-04 cs.CL cs.SD eess.AS
T5lephone: Bridging Speech and Text Self-supervised Models for Spoken Language Understanding via Phoneme level T5
MediaTek Research(联发科研究院);National Taiwan University(台湾大学);Academia Sinica(中央研究院)
在口语语言理解(SLU)中,一种自然的解决方案是将预训练的语音模型(例如HuBERT)和预训练的语言模型(PLM,例如T5)连接起来。大多数以前的作品使用预训练的语言模型与基于子词的标记。然而,输入设备的粒度影响语音模型输出和语言模型输入的对齐,并且具有基于字符的标记化的PLM未被充分探索。在这项工作中,我们进行了广泛的研究如何PLMs与不同的标记化策略影响口语语言理解任务,包括口语问答(SQA)和语音翻译(ST)。我们进一步扩展了这个想法,创建了T5lephone(发音为电话),这是T5的一个变体,使用音素化文本进行预训练。我们使用现有的PLM初始化T5lephone,使用相对轻量级的计算资源对其进行预训练。我们在NMSQA上达到了最先进的水平,T5lephone型号超过了T5,在端到端SQA和ST上有其他类型的设备。
2022-11-01 cs.CL cs.SD eess.AS
Similarity and Content-based Phonetic Self Attention for Speech Recognition
Seoul National University(首尔国立大学)
基于变换器的语音识别模型由于在特征提取过程中利用每一帧的自注意(SA)机制而取得了巨大的成功。特别地,在低层的SA头捕获各种语音特征的查询关键点积,这是设计来计算帧之间的成对关系。在本文中,我们提出了一个变体SA提取更具代表性的语音特征。语音自我注意(phSA)由两种不同类型的语音注意组成,一种是基于相似性的,另一种是基于内容的。简而言之,基于相似性的注意力捕捉帧之间的相关性,而基于内容的注意力只考虑每一帧,而不受其他帧的影响。我们确定了原始点积方程的哪些部分与两种不同的注意力模式有关,并通过简单的修改来改进每个部分。音素分类和语音识别的实验表明,在不增加延迟和参数大小的情况下,用phSA代替低层的SA提高了识别性能。
2022-07-12 cs.CL eess.AS
MMSpeech: Multi-modal Multi-task Encoder-Decoder Pre-training for Speech Recognition
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团)
针对汉语自动语音识别(ASR)提出了一种新的多模态多任务编码解码器预训练框架(MMSpeech),该框架同时使用了未标记的语音和文本数据。语音-文本联合预训练的主要困难来自语音和文本模态之间的显著差异,特别是对于普通话语音和文本。与英语和其他使用字母书写系统的语言不同,普通话使用表意书写系统,其中字符和声音并不紧密地相互映射。因此,我们建议将音素模态引入预训练,这可以帮助捕获汉语语音和文本之间的模态不变信息。具体来说,我们采用了一个多任务学习框架,包括五个自我监督和监督任务,语音和文本数据。对于端到端预训练,我们引入了利用未标记语音和文本数据的自监督语音到伪代码(S2 C)和音素到文本(P2 T)任务,其中语音伪代码对和音素文本对是对监督语音文本对的补充。为了训练编码器学习更好的语音表示,我们引入了自监督掩蔽语音预测(MSP)和监督音素预测(PP)任务来学习将语音映射到音素。此外,我们直接将下游有监督的语音到文本(S2 T)任务添加到预训练过程中,这可以进一步提高预训练性能,即使没有微调也能获得更好的识别结果。在AISHELL-1上的实验表明,该方法具有最佳的性能,与其他预训练方法相比,相对提高了40%以上。
2022-11-29 cs.CL cs.LG cs.MM
Self-Supervised Speech Representations are More Phonetic than Semantic
Carnegie Mellon University(卡内基梅隆大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究院(AIST))
该研究通过近音词与同义词表征相似度分析,证明自监督语音模型更偏向编码语音而非语义信息,并指出常用意图分类数据集难以可靠评估语义能力。
2024-06-12 cs.CL cs.LG eess.AS
Data-driven grapheme-to-phoneme representations for a lexicon-free text-to-speech
Samsung Research(三星研究院)
本文提出利用自监督学习获得数据驱动音素表示的无词典G2P方法,在无需语言词典和专家知识的情况下,MOS达到或略优于传统方法。
2024-01-19 cs.CL cs.SD eess.AS
An End-to-End Mispronunciation Detection System for L2 English Speech Leveraging Novel Anti-Phone Modeling
National Taiwan Normal University(台湾师范大学);ASUS AICS(华硕人工智能与云计算中心)
发音错误检测与诊断(MDD)是计算机辅助发音训练(CAPT)的核心组成部分。大多数现有的MDD方法专注于处理分类错误(即,一个规范音素被另一个替代,除了那些由删除或插入引起的发音错误)。然而,准确检测和诊断非范畴或失真错误(即近似L2音素与L1(第一语言)音素,或两者之间的错误发音)似乎仍然遥不可及。鉴于此,我们提出了一种新的端到端的自动语音识别(E2 E-based ASR)的方法进行MDD。特别是,我们扩展了原来的L2音素集与其相应的反音素集,使基于E2 E的MDD方法有一个更好的能力,采取在分类和非分类的发音错误,旨在提供更好的发音错误检测和诊断反馈。此外,一个新的迁移学习范式的设计,以获得初始模型估计的E2 E为基础的MDD系统没有资源的任何语音规则。在L2-ARCTIC数据集上的大量实验结果表明,我们的最佳系统在F1分数方面分别比现有的E2 E基线系统和基于发音评分的方法(GOP)高出11.05%和27.71%。
2020-08-28 cs.CL cs.SD eess.AS
Self-supervised Speech Comparison for L2 Phone, Rhythm, and Intonation Scoring
研究探索基于自监督WavLM表示的DTW能否为二语语音评估提供无文本框架,结果显示该方法在语音评分上超人类一致性,在节奏评估上接近人类水平,在语调评估上部分任务表现一般,表明自监督表示是多方面发音评估的有前景基础。
2026-07-16 cs.CL eess.AS
Discovering Phonetic Inventories with Crosslingual Automatic Speech Recognition
Center of Language and Speech Processing, The Johns Hopkins University(约翰斯·霍普金斯大学语言与语音处理中心);Human Language Technology Center of Excellence, The Johns Hopkins University(约翰斯·霍普金斯大学人类语言技术卓越中心);Multimedia Computing Group, Delft University of Technology(代尔夫特理工大学多媒体计算组);Department of Electrical and Computer Engineering, University of Illinois(伊利诺伊大学电气与计算机工程系)
数据采集的高成本使得自动语音识别(ASR)模型训练对于大多数现有语言来说都是有问题的,包括甚至没有书面脚本的语言,或者电话库存仍然未知的语言。过去的工作探索了多语言培训,迁移学习以及零样本学习,以便为这些低资源语言构建ASR系统。虽然已经表明,从多种语言中汇集资源是有帮助的,但我们还没有看到ASR模型成功应用于训练过程中看不到的语言。将ASR从可见语言适应为不可见语言的关键一步是创建不可见语言的电话库存。我们工作的最终目标是在没有任何语言知识的情况下,以无监督的方式建立一种在训练过程中看不见的语言的电话库存。在本文中,我们1)调查不同因素的影响(即,模型架构、音素定位模型、语音表示类型); 2)提供对哪些音素在语言间传递良好以及哪些音素在语言间传递不好的分析,以便理解自动音素清单创建的局限性和进一步改进的领域;以及3)呈现以无监督方式构建未见过语言的音素清单的不同方法。为此,我们对一组13种语音不同的语言和几种深入的分析进行了单,多和跨语言实验。我们发现了一些通用的电话令牌(IPA符号),它们在跨语言方面得到了很好的识别。通过对结果的详细分析,我们得出结论,独特的声音,相似的声音,和音调的语言仍然是一个主要的挑战,语音库存发现。
2022-01-28 cs.CL cs.SD eess.AS
Analyzing the relationships between pretraining language, phonetic, tonal, and speaker information in self-supervised speech models
Institute for Phonetics and Speech Processing(语音处理研究所);School of Informatics(信息学院)
本研究突破自监督语音模型分析多聚焦英语的局限,通过探测分类器与几何分析考察多语言wav2vec2的信息表征,发现其表征结构基本独立于预训练语音材料。
2025-06-12 cs.CL eess.AS
Leveraging Allophony in Self-Supervised Speech Models for Atypical Pronunciation Assessment
Carnegie Mellon University(卡内基梅隆大学)
针对非典型发音评估中音位变体建模被简化的问题,提出结合冻结自监督语音模型特征与高斯混合模型的MixGoP方法,在多数数据集上达最优,验证了S3M特征捕捉音位变体的优势。
2025-03-24 cs.AI cs.CL cs.LG
PRiSM: Benchmarking Phone Realization in Speech Models
CMU(卡内基梅隆大学);Gwangju Institute of Science and Technology(光州科学技术院);UT Austin(得克萨斯大学奥斯汀分校);LMU Munich(慕尼黑路德维希-马克西米利安大学);UC Berkeley(伯克利加州大学);NVIDIA(英伟达);UBC(不列颠哥伦比亚大学)
该研究针对语音模型中电话实现进行基准测试,引入PRiSM开源基准用内在和外在评估揭示语音感知盲点,标准化评估并通过探针评估下游效用,发现训练语言接触对PR性能关键,编码器-CTC模型稳定,专门PR模型优于大型音频语言模型,还发布相关资源推动多语言语音模型发展。
2026-07-14 cs.CL cs.SD
STEPs-RL: Speech-Text Entanglement for Phonetically Sound Representation Learning
在本文中,我们提出了一种新的多模态深度神经网络架构,该架构使用语音和文本纠缠来学习语音声音口语表示。STEPs-RL以监督的方式进行训练,以使用其上下文口语单词的语音和文本来预测目标口语单词的语音序列,使得模型对其有意义的潜在表示进行编码。与现有的工作不同,我们已经使用文本和语音进行听觉表示学习,以捕获语义和句法信息以及声学和时间信息。我们的模型产生的潜在表示不仅能够以89.47%的准确率预测目标语音序列,而且在四个广泛使用的单词相似性基准数据集上进行评估时,还能够实现与文本单词表示模型Word 2 Vec和FastText(在文本转录上训练)竞争的结果。此外,生成的向量空间的调查也证明了该模型捕捉语音结构的口语单词的能力。据我们所知,现有的作品都没有使用语音和文本纠缠来学习口语词表示,这使得这项工作成为同类作品中的第一项。
2020-11-23 cs.CL
Strategies in Transfer Learning for Low-Resource Speech Synthesis: Phone Mapping, Features Input, and Source Language Selection
University of Groningen(格罗宁根大学);Fryske Akademy/Mercator Research Centre(弗里斯兰学院/墨卡托研究中心);ReadSpeaker(ReadSpeaker公司)
本研究比较了音素映射和音系特征输入在低资源TTS迁移学习中的效果,发现特征输入更优,且ASPF在选择源语言时有效,而语系距离无效。
2023-06-21 cs.CL eess.AS
Phonemic and Graphemic Multilingual CTC Based Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
训练自动语音识别(ASR)系统需要目标语言的大量数据以实现良好的性能。虽然大型培训语料库是现成的语言,如英语,有一个长尾的语言,确实遭受缺乏资源。处理数据稀疏性的一种方法是使用来自其他源语言的数据并构建多语言系统。最近,基于连接主义时间分类(CTC)训练的递归神经网络(RNN)的ASR系统获得了大量的研究兴趣。在这项工作中,我们扩展了我们以前的方法对培训CTC为基础的系统多语言。我们的系统具有一个全球音素集,基于每种源语言的联合音素集。我们评估了不同语言组合的使用以及语言特征向量(LFV)的添加。作为对比实验,我们也建立了基于字素的系统。已知具有多语言音素集的系统与其单语言对应物相比在性能上受到影响。通过我们提出的方法,我们可以减少这些单语言和多语言设置之间的差距,使用字素或音素。
2017-11-13 cs.AI cs.CL eess.AS
Learning Dependencies of Discrete Speech Representations with Neural Hidden Markov Models
University of Edinburgh(爱丁堡大学)
虽然离散潜变量模型在自监督学习中取得了巨大的成功,但大多数模型都假设框架是独立的。由于语音感知中音素的分段性质,在帧级对潜变量之间的依赖关系进行建模可以潜在地改善语音相关任务的学习表示。在这项工作中,我们假设隐变量之间的马尔可夫依赖关系,并建议学习语音表示与神经隐马尔可夫模型。我们的一般框架允许我们与假设独立性的自监督模型进行比较,同时保持参数数量固定。添加的依赖关系提高了语音信息的可访问性、语音分段和音素的集群纯度,展示了假设依赖关系的好处。
2022-10-29 cs.CL
An Information-Theoretic Analysis of Self-supervised Discrete Representations of Speech
Saarland University(萨尔大学);Saarland Informatics Campus(萨尔信息学园区)
针对自监督语音离散单元与音位类别关系不明的问题,本文提出信息论分布框架,分析 wav2vec 2.0 与 XLSR,揭示二者虽非一一对应但存在间接联系。
2023-06-04 cs.CL
Beyond Phones: Structured Phonemic Modeling for Vietnamese Automatic Speech Recognition
Faculty of Information Science and Engineering(信息科学与工程学院);Faculty of Computer Science(计算机科学学院);University of Information Technology(信息技术大学);Vietnam National University, Ho Chi Minh city(越南国家大学,胡志明市)
针对越南语自动语音识别,提出基于音素级音节结构解码的方法,通过显式建模音节音系组成,在紧凑音素集上生成有效音节结构,显著减小词汇量并在两个基准上超越强基线。
2026-10-06 cs.CL
Orthogonality and isotropy of speaker and phonetic information in self-supervised speech representations
University of Edinburgh(爱丁堡大学)
本文提出累积残差方差(CRV),用于衡量自监督语音表征中说话人与音素信息子空间的正交性及空间各向同性,并通过线性探测揭示其与音素识别准确率的关系。
2024-06-13 cs.CL
Identifying and typifying demographic unfairness in phoneme-level embeddings of self-supervised speech recognition models
MILES Team, LAMSADE, Université Paris Dauphine-PSL(巴黎-萨克雷大学巴黎第四大学LAMSADE团队);GETALP Team, LIG, Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学LIG团队)
本文研究了自监督语音识别模型中音素嵌入的不公平现象,提出两种误差类型:随机误差与系统误差,并发现音素嵌入中的偏差可能影响不同群体的性能。
2026-04-24 cs.CL
Learning Filterbanks from Raw Speech for Phone Recognition
Facebook A.I. Research(Facebook人工智能研究院);CoML(计算语言学实验室);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);EHESS(法国高等社会科学研究院);INRIA(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学)
我们训练了一组复杂的滤波器,这些滤波器对原始波形进行操作,并被馈送到卷积神经网络中,用于端到端的电话识别。这些时域滤波器组(TD滤波器组)被初始化为梅尔滤波器组的近似,然后与剩余的卷积架构一起进行微调。我们在TIMIT上进行了电话识别实验,结果表明,对于几种架构,在TD滤波器组上训练的模型始终优于在可比的梅尔滤波器组上训练的模型。我们通过学习从预加重到平均的所有前端步骤来获得最佳性能。最后,我们观察到,在收敛的过滤器有一个不对称的脉冲响应,其中一些仍然几乎解析。
2018-04-04 cs.CL