Leveraging LLM and Self-Supervised Training Models for Speech Recognition in Chinese Dialects: A Comparative Analysis
Institute of Artificial Intelligence (TeleAI)（人工智能研究所（TeleAI））
针对汉语方言ASR数据稀缺的问题，采用Data2vec2自监督预训练结合LLM的范式，经大规模数据训练后在多方言数据集取得SOTA结果，将开源以推动研究。
2025-06-16 cs.CL cs.SD eess.AS
Word-Free Spoken Language Understanding for Mandarin-Chinese
Carnegie Mellon University（卡内基梅隆大学）
语音对话系统，如Siri和Alexa，为人们的日常生活提供了极大的便利。然而，当前口语语言理解（SLU）流水线很大程度上依赖于自动语音识别（ASR）模块，其需要大量语言特定的训练数据。在本文中，我们提出了一个基于变压器的SLU系统，直接在手机上工作。这种基于声学的SLU系统仅由两个模块组成，并且不需要ASR模块的存在。第一块是通用的电话识别系统，第二块是用于电话的基于transformer的语言模型。我们验证了该系统的有效性在普通话的意图分类数据集。
2021-07-01 cs.CL cs.SD eess.AS
EMPHASIS: An Emotional Phoneme-based Acoustic Model for Speech Synthesis System
Baidu Inc.（百度公司）
提出了一种基于情感音素的语音合成声学模型EMPHASIS。EMPHASIS包括音素持续时间预测模型和声学参数预测模型。它使用基于CBHG的回归网络来建模语言特征和声学特征之间的依赖关系。我们修改了网络的输入和输出层结构，以提高性能。对于语言特征，我们采用特征分组策略来增强情感和韵律特征。声学参数被设计为适合于回归任务和波形重建。EMPHASIS可以实时合成语音，生成具有高音质的表达性的疑问和感叹语音。EMPHASIS是一个多语言模型，目前可以合成普通话和英语语音。在情感语音合成的实验中，取得了比其他实时语音合成系统更好的主观效果。
2018-06-26 cs.SD eess.AS
Accented Text-to-Speech Synthesis with Limited Data
本文提出一个有限数据下的带口音TTS框架，通过预训练加口音相关层微调，分别用前端处理语音变化、声学模型控制韵律变化，实验证明能有效提升口音相似度与语音质量。
2023-05-08 cs.SD eess.AS
Syllable-Based Sequence-to-Sequence Speech Recognition with the Transformer in Mandarin Chinese
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
基于序列到序列注意力的模型最近在自动语音识别（ASR）任务上显示出非常有前途的结果，其将声学、发音和语言模型集成到单个神经网络中。在这些模型中，Transformer是一种新的基于序列到序列注意力的模型，完全依赖于自我注意力，而不使用RNN或卷积，在神经机器翻译（NMT）任务上实现了新的单模型最先进的BLEU。由于Transformer的出色性能，我们将其扩展到语音，并将其作为基于序列到序列注意力模型的基本架构，用于汉语普通话ASR任务。在此基础上，我们利用Transformer对基于音节的模型和基于上下文无关音素的模型进行了比较。此外，提出了一种基于Transformer的贪婪级联解码器，用于将CI音素序列和音节序列映射为单词序列。在HKUST数据集上的实验表明，基于音节的Transformer模型比基于CI音素的模型性能更好，并且实现了\emph{$28.77\%$}的字符错误率（CER），这与基于CTC-注意的联合编码器-解码器网络的最新CER $28.0\%$具有竞争力。
2018-06-04 cs.CL cs.SD eess.AS
Boundary and Context Aware Training for CIF-based Non-Autoregressive End-to-end ASR
Northwestern Polytechnical University（西北工业大学）；China Mobile Research Institute（中国移动研究院）
基于连续积分激发（CIF）模型的非自回归（NAR）语音识别方法采用了一种软的、单调的对齐机制，与其他NAR方法相比，具有很好的性能。然而，这样的对准学习策略可能遭受错误的声学边界估计，严重阻碍收敛速度以及系统性能。在本文中，我们提出了一个边界和上下文感知的训练方法CIF基于NAR模型。首先，利用连接主义时间分类（CTC）锋电位信息指导CIF中的声学边界学习。此外，在CIF解码器之后引入了额外的上下文解码器，旨在捕获句子内的语言依赖。最后，我们采用了最近提出的Conformer架构，以提高声学建模的能力。在开源汉语AISHELL-1语料库上的实验表明，该方法与现有的AR模型相比，在只有1/24延迟的情况下，字符出错率达到了4.9%.然而，当评估内部7500小时的汉语语料库，我们的模型仍然优于其他NAR方法，甚至达到AR Conformer模型在一个具有挑战性的现实世界的噪音测试集。
2021-09-26 cs.SD eess.AS
Cascade RNN-Transducer: Syllable Based Streaming On-device Mandarin Speech Recognition with a Syllable-to-Character Converter
Northwestern Polytechnical University（西北工业大学）
端到端模型由于其简化的系统结构和优越的性能而在自动语音识别（ASR）中受到青睐。在这些模型中，递归神经网络转换器（RNN-T）由于其高精度和低延迟，在流媒体设备上语音识别方面取得了重大进展。RNN-T采用预测网络来增强语言信息，但其语言建模能力有限，因为它仍然需要成对的语音-文本数据来进行训练。通过额外的文本数据进一步加强语言建模能力，例如与外部语言模型的浅融合，只会带来很小的性能增益。针对普通话是一种基于汉字的语言，每个汉字都是一个声调音节的特点，提出了一种新的级联RNN-T方法来提高RNN-T的语言建模能力。该方法首先利用RNN-T将语音特征转化为音节序列，然后通过基于RNN-T的音节-字符转换器将音节序列转化为字符序列。因此，可以很容易地使用富文本库来增强语言模型能力。通过引入几个重要的技巧，级联RNN-T方法在几个普通话测试集上大大超过了基于字符的RNN-T，具有更高的识别质量和相似的延迟。
2020-11-17 cs.CL cs.SD eess.AS
BBS-KWS:The Mandarin Keyword Spotting System Won the Video Keyword Wakeup Challenge
Yidun AI Lab, Netease（网易易盾人工智能实验室）
本文介绍了由伊顿NISP团队提交的视频关键词唤醒挑战赛的系统。本文提出了一个汉语关键词识别系统（KWS），并对该系统进行了一些新颖有效的改进，包括大主干（B）模型、关键词偏置（B）机制和音节建模单元（S）的引入。考虑到这一点，我们将整个系统称为BBS-KWS。BBS-KWS系统由端到端自动语音识别（ASR）模块和KWS模块组成。ASR模块将语音特征转换为文本表示，将一个大的骨干网络应用于声学模型，并考虑音节建模单元。此外，在ASR推理阶段，使用关键词偏置机制来提高关键词的召回率。KWS模块应用多个标准来确定关键字的存在或不存在，例如多级匹配、模糊匹配和连接主义时间分类（CTC）前缀分数。为了进一步改进我们的系统，我们对CN-Celeb数据集进行了半监督学习，以更好地泛化。在VKW任务中，BBS-KWS系统在基线上实现了显著的增益，并在两个轨道中获得第一名。
2021-12-03 cs.CL cs.SD eess.AS
Attentive batch normalization for lstm-based acoustic modeling of speech recognition
National Engineering Laboratory for Speech and Language Information Processing（国家语音与语言信息处理工程实验室）；University of Science and Technology of China（中国科学技术大学）
批量归一化（BN）是加速模型训练和提高神经网络泛化性能的有效方法。在本文中，我们提出了一种改进的批量归一化技术，称为注意批量归一化（ABN）在长期短期记忆（LSTM）的声学建模的自动语音识别（ASR）。在该方法中，使用辅助网络动态生成批量归一化中的缩放和平移参数，并引入注意机制以提高其正则化性能。此外，两个方案，帧级和话语级ABN，进行了研究。我们评估我们提出的方法对普通话和维吾尔语的ASR任务，分别。实验结果表明，所提出的ABN大大提高了性能的批量规范化的转录准确率为两种语言。
2020-01-01 cs.SD eess.AS
Phonetic-assisted Multi-Target Units Modeling for Improving Conformer-Transducer ASR system
Shanghai Normal University（上海师范大学）
本文提出语音辅助多目标单元（PMU）建模方法，通过融合发音辅助子词建模与BPE单元，在CTC和Transducer多任务训练中增强Conformer编码器，在LibriSpeech及带口音ASR任务上显著降低词错误率。
2023-07-07 cs.SD eess.AS
Cross-lingual Multi-speaker Text-to-speech Synthesis for Voice Cloning without Using Parallel Corpus for Unseen Speakers
我们研究了一种新的跨语言多说话人文本转语音合成方法，用于生成高质量的本地或口音的语音，为本地/外国看到/看不见的发言人在英语和普通话。该系统由三个单独训练的组件组成：x矢量扬声器编码器，基于Tacotron的合成器和WaveNet声码器。它以3种嵌入为条件：（1）说话人嵌入，以便系统可以用来自许多说话人的语音进行训练，而每个说话人的数据很少;（2）具有共享音素输入的语言嵌入;（3）重音和音调嵌入，提高了合成语音的自然度，特别是对于像普通话这样的音调语言。通过调整各种嵌入，MOS结果表明，我们的方法可以生成高质量的自然和可理解的母语语音的母语/外国看到/看不见的扬声器。口音语音的可懂度和自然度低于预期。说话人相似性对母语者的母语语音有好处。有趣的是，说话人相似性对外国人的口音也有好处。我们还发现，在许多情况下，通过L2范数归一化或白化对说话人嵌入x向量进行归一化可以大大提高输出质量，并且WaveNet的性能似乎与语言无关：我们的WaveNet是用粤语语音训练的，可以很好地用于生成普通话和英语语音。
2019-11-26 eess.AS
Impact of Frame Rates on Speech Tokenizer: A Case Study on Mandarin and English
Peking University（北京大学）；StepFun；Nanyang Technological University（南洋理工大学）；UNSW（新南威尔士大学）；University of Surrey（萨里大学）；Johns Hopkins University（约翰霍普金斯大学）
本研究针对帧率对语音分词的影响研究不足的问题，以普通话和英语为例，通过不同帧率编码语音并在语音识别任务中评估语义分词，发现帧率影响因语言而异，为语音分词器帧率优化提供了参考。
2025-06-13 cs.AI cs.CL cs.SD
A Comparison of Modeling Units in Sequence-to-Sequence Speech Recognition with the Transformer on Mandarin Chinese
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
建模单元的选择对于自动语音识别（ASR）任务至关重要。传统的ASR系统通常选择上下文相关的状态（CD-状态）或上下文相关的音素（CD-音素）作为其建模单元。然而，它受到了基于序列到序列注意力模型的挑战，该模型将声学，发音和语言模型集成到单个神经网络中。在英语ASR任务中，先前的尝试已经表明，通过基于序列到序列注意力的模型，字素的建模单元可以优于音素的建模单元。在本文中，我们关注的是使用基于序列到序列注意力的模型与Transformer的汉语普通话ASR任务的建模单位。五个建模单位，包括上下文无关的音素（CI音素），音节，单词，子词和字符。在HKUST数据集上的实验表明，无词典建模单元在字符错误率（CER）方面优于词典相关建模单元。在五个建模单元中，基于字符的模型表现最好，并且在HKUST数据集上建立了一个新的最先进的$26.64\%$ CER，而无需手工设计的词典和额外的语言模型集成，这对应于$4.8\%$相对于现有的最佳CER的$28.0\%$的相对改进。
2018-05-18 cs.CL cs.SD eess.AS
Acoustic Probing for Estimating the Storage Time and Firmness of Tomatoes and Mandarin Oranges
Ritsumeikan University（立命馆大学）；Shibaura Institute of Technology（芝浦工业大学）
本文介绍了一种声学探测技术，以估计水果的存储时间和硬度，我们发射的声音信号，水果从一个小扬声器和捕获的反射信号与一个微小的麦克风。我们收集反射信号的水果与不同的存储时间和硬度条件，用它们来训练回归估计。为了评估我们的声学探测的可行性，我们进行了实验;我们准备了162个西红柿和153个柑橘，使用我们开发的设备收集它们的反射信号，并使用水果硬度测试仪测量它们的硬度，西红柿为35天，柑橘为60天。我们使用这个数据集进行了交叉验证。番茄贮藏期和硬度的平均估计误差分别为0.89 d和9.47 g/mm ~ 2。柑桔的最大生长期为1.67天，最大生长量为15.67 g/mm ~ 2。储存时间的估计是足够准确的休闲用户选择水果在他们最喜欢的条件在家里。在实验中，我们测试了四种不同的声学探头，发现扫描信号提供了高度准确的估计结果。
2019-04-30 cs.SD eess.AS
Gated Recurrent Unit Based Acoustic Modeling with Future Context
Kwai（快手）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
未来的上下文信息的使用通常被示出为有助于声学建模。然而，对于递归神经网络（RNN），它不是那么容易有效地建模未来的时间上下文，同时保持较低的模型延迟。在本文中，我们试图设计一个RNN声学模型，能够有效地利用未来的上下文，与模型的延迟和计算成本尽可能低。该模型基于最小门控递归单元（mGRU），在mGRU中插入一个输入投影层，并设计了两个上下文模块：时间编码和时间卷积，用于对未来上下文进行建模。在Switchboard任务和内部普通话ASR任务上的实验结果表明，该模型的性能远远优于长短期记忆（LSTM）和mGRU模型，而在线解码的最大延迟为170 ms。该模型甚至优于非常强大的基线TDNN-LSTM，具有更小的模型延迟和几乎一半的参数。
2018-05-18 cs.CL cs.SD eess.AS
Language-Specialized Multi-Teacher On-Policy Distillation for Multilingual LLM-Based ASR
针对多语言ASR的跨语言优化冲突问题，提出LS-MOPD方法，通过语言专业化教师与多语言学生的在线策略蒸馏，在多语言基准测试中实现了优于RL基线及最优教师的性能。
2026-08-11 cs.CL cs.SD eess.AS
A New Approach to Accent Recognition and Conversion for Mandarin Chinese
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
提出并探讨了两种新的重音分类和转换方法。第一个主题是汉语口音分类/识别。第二个主题是使用编码器-解码器模型进行端到端汉语口音转换，其中第一个主题中的分类器用于口音转换器编码器-解码器模型的训练。使用不同的特征和模型进行口音识别的实验。这些特征包括MFCC和频谱图。分类器模型是TDNN和1D-CNN。在具有5类口音的MAGICDATA数据集上，在MFCC特征上训练的TDNN分类器实现了54%的测试准确度和0.54的测试F1得分，而在频谱图上训练的1D-CNN分类器实现了62%的测试准确度和0.62的测试F1得分。一个端到端的口音转换器模型的原型。转换器模型包括编码器和解码器。编码器模型将重音输入转换为重音中性形式。解码器模型将重音中性形式转换为带有由输入重音标签指定的重音的重音形式。转换器原型在输出音频中保留音调并放弃细节。编码器-解码器结构展示了成为有效口音转换器的潜力。还提出了未来改进的建议，以解决解码器输出中丢失细节的问题。
2020-08-07 cs.CL cs.LG cs.SD
A multi-view approach for Mandarin non-native mispronunciation verification
Beijing Language and Culture University（北京语言大学）；Center for Robust Speech Systems (CRSS), University of Texas at Dallas（德克萨斯大学达拉斯分校鲁棒语音系统中心）
传统上，非母语发音错误验证系统的性能依赖于有效的非母语语料库的音素级标签。在这项研究中，提出了一种多视角的方法，将歧视性的特征表示，需要较少的注释，非母语的汉语发音错误验证。在这里，模型联合学习嵌入声学序列和多源信息的语音属性和瓶颈特征。具有对比损失的双向LSTM嵌入模型用于将声学序列和多源信息映射到固定维嵌入。声学嵌入之间的距离被视为音素之间的相似性。因此，错误发音的音素的示例预期与它们的规范发音具有小的相似性分数。该方法在错误发音验证任务的诊断准确性方面比基于GOP的方法提高了+11.23%，比单视图方法提高了+1.47%。
2020-09-09 cs.SD eess.AS
Spoken Language Identification System for English-Mandarin Code-Switching Child-Directed Speech
RingCentral Innovation（RingCentral创新部）；RingCentral Inc.（RingCentral公司）
针对新加坡口音、英中语码转换的儿向语音语种识别挑战，提出轻量两阶段编解码器端到端模型，在封闭、开放赛道EER分别达15.6%、11.1%，优于基线，还将发布整理的新加坡说话者语种识别数据。
2023-06-01 cs.SD eess.AS
ATCSpeech: a multilingual pilot-controller speech corpus from real Air Traffic Control environment
National Key Laboratory of Air Traffic Control Automation System Technology, Sichuan University（四川大学）；Southwest Air Traffic Management Bureau, Civil Aviation Administration of China (CAAC)（中国民用航空局西南空中交通管理局）；Wisesoft Co., Ltd.（四川川大智胜软件股份有限公司）
自动语音识别（ASR）技术在近几年得到了迅速的发展，促进了它在其他领域的应用。语音语料库一直是语音识别研究的重要基础，尤其是对于垂直行业，如空中交通管制（ATC）。有一些语音语料库用于公共或付费的常见应用。然而，对于ATC来说，由于安全问题，很难从真实系统中收集原始语音。更重要的是，对于像ASR这样的监督学习任务，注释转录是一项更加繁重的工作，这极大地限制了ASR的应用前景。本文建立并发布了一个真实ATC系统的多语种语音语料库（ATC Speech），包括带口音的汉语和英语，以鼓励ATC领域的非商业性ASR研究。从语料量、说话人性别和角色、语音质量和其他属性等方面对语料库进行了详细介绍。此外，我们的基准ASR模型的性能也报告。我们的语音数据库的社区版可以在特殊的对比下应用和使用。据我们所知，这是第一个工作，旨在建立一个真正的和多语种的ASR语料库的空中交通相关的研究。
2019-11-26 cs.CL cs.SD eess.AS
Articulatory information and Multiview Features for Large Vocabulary Continuous Speech Recognition
University of Maryland, College Park（马里兰大学帕克分校）；SRI International（SRI国际）；Apple Inc.（苹果公司）
本文探讨了在卷积深度神经网络（CNN）架构中使用多视图特征及其判别变换来进行连续大词汇量语音识别任务。在特征空间最大似然线性回归（fMLLR）变换之后使用梅尔滤波器组能量和感知激励的强制阻尼振荡器系数（DOC）特征，其被组合并作为多视图特征馈送到单个CNN声学模型。使用多视图特征表示证明显着减少字出错率（WERs）相比，单独的功能本身的使用。此外，当发音信息被用作融合的深度神经网络（DNN）和CNN声学模型的额外输入时，发现NIST 2000对话电话语音测试集的总机子集和呼叫中心子集（包含部分非本地口音语音）的WER进一步降低，在两种情况下，相对于基线，出错率降低了12%。这项工作表明，与发音信息相关联的多视图特征可以提高自发和非母语语音的语音识别鲁棒性。
2018-02-16 cs.CL cs.SD eess.AS
Gender domain adaptation for automatic speech recognition task
Laboratory of Algorithms and Technologies for Network Analysis（网络分析算法与技术实验室）；HSE University（高等经济大学）
本文的重点是微调的声学模型的扬声器适应目标对一个给定的性别。我们在Librispeech-960上预训练了Transformer基线模型，并对特定性别的测试子集进行了微调实验。在一般情况下，我们没有得到必要的WER减少微调技术通过这种方法。如果编码器和解码器中的层没有被冻结，但调整从最后一个检查点开始，我们在男性子集上实现了高达5%的字错误率降低，在女性子集上实现了3%的字错误率降低。此外，我们在口音语音的完整L2北极数据集上调整了我们的基础模型，并分别针对特定的说话者和男性和女性进行了微调。与在整个L2 Arctic数据集上调整的模型相比，在性别子集上训练的模型获得了1-2%的准确性。最后，我们测试了预训练的x向量语音嵌入和来自传统编码器的嵌入的级联，但其准确性的提高并不显著。
2020-11-17 cs.SD eess.AS
Multilingual and crosslingual speech recognition using phonological-vector based phone embeddings
Tsinghua University（清华大学）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
语音特征（PF）的使用潜在地允许特定语言的音素在训练中保持链接，这对于用于低资源语言的多语言和跨语言语音识别方法的信息共享是非常期望的。以前的方法在使用语音特征时的缺点是，以自底向上的方式提取声学到PF本身是困难的。在本文中，我们建议将音位驱动的音素嵌入（自上而下）和基于深度神经网络（DNN）的声学特征提取（自下而上）结合起来，以计算音素概率。这种新方法被称为JoinAP（Joining of Acoustics and Phonology）。值得注意的是，语音识别不需要从声学特征到音位特征的反演。对于IPA（International Phonetic Alphabet）表中的每个音素，我们将其音素特征编码为一个音素向量，然后对该音素向量进行线性或非线性变换，得到音素嵌入。在CommonVoice数据集（德语、法语、西班牙语和意大利语）和AISHLL-1数据集（普通话）上进行了一系列多语种和跨语种（包括zero-shot和Few-Shot）语音识别实验，证明了非线性音素嵌入的JoinAP方法优于线性音素嵌入的JoinAP方法和传统的平面音素嵌入方法。
2021-10-30 cs.CL cs.SD eess.AS
CASS-NAT: CTC Alignment-based Single Step Non-autoregressive Transformer for Speech Recognition
PAII Inc（PAII公司）
提出了一种基于CTC分解的单步非自回归Transformer（CASS-NAT）的语音识别方法。具体地，CTC对准包含（a）用于解码器输入的令牌的数量和（b）每个令牌的声学的时间跨度的信息。该算法利用这些信息并行地提取每个标记的声学表示，即标记级声学嵌入，它代替自回归Transformer（AT）中的词嵌入，实现解码器的并行生成。在推理过程中，提出了一种基于误差的对齐采样方法应用于CTC输出空间，降低了WER，同时保持了并行性。实验结果表明，该方法实现了3.8%/9.1%的自由语音测试清洁/其他数据集没有外部LM，和5.8%的CER的Aishell 1普通话语料库，分别1。与AT基线相比，CASS-NAT在WER上的性能有所降低，但在RTF方面快了51.2倍。当使用Oracle CTC对齐进行解码时，在测试干净集上，不使用LM的WER下限达到2.3%，这表明所提出的方法的潜力。
2021-02-11 cs.CL cs.SD eess.AS
Leveraging Acoustic Contextual Representation by Audio-textual Cross-modal Learning for Conversational ASR
Northwestern Polytechnical University（西北工业大学）；Tencent（腾讯）
利用上下文信息是提高会话式自动语音识别（ASR）性能的直观想法。以往的著作通常采用历史话语的公认假设作为前语境，由于历史认知错误的不可避免，这可能会使当前公认的假设产生偏差。为了避免这个问题，我们提出了一个音频文本跨模态表示提取器，直接从前面的语音学习上下文表示。具体来说，它由两个模态相关编码器和一个跨模态编码器组成，前者从语音和相应的文本中提取高级潜在特征，后者旨在学习语音和文本之间的相关性。我们随机屏蔽一些输入令牌和每个模态的输入序列。然后在交叉模态编码器上执行具有模态级CTC损失的令牌缺失或模态缺失预测。因此，该模型不仅捕获特定模态中的双向上下文依赖性，而且捕获不同模态之间的关系。然后，在会话式ASR系统的训练期间，提取器将被冻结以提取先前语音的文本表示，而这样的表示被用作通过注意机制馈送到ASR解码器的上下文。在几个普通话会话语料库上验证了该方法的有效性，并在MagicData数据集上实现了高达16%的字符错误率（CER）降低。
2022-07-03 cs.CL cs.SD eess.AS
Layer-wise Fast Adaptation for End-to-End Multi-Accent Speech Recognition
Shanghai Jiao Tong University（上海交通大学）
口音变异对自动语音识别建模提出了巨大的挑战。虽然基于独热口音向量的自适应系统是常用的，但它们需要关于目标口音的先验知识，并且不能处理看不见的口音。此外，简单地连接重音嵌入并不能很好地利用重音知识，其改进有限。在这项工作中，我们的目标是解决这些问题，注入到E2 E ASR模型编码器的一种新的逐层自适应结构。适配器层在口音空间中编码任意口音，并帮助ASR模型识别口音语音。对于给定的语音，自适应结构提取相应的口音信息，并通过所有口音基的线性组合将输入的声学特征转换为口音相关特征。我们进一步探索适应层的注入位置、重音基础的数量以及不同类型的重音基础，以实现更好的重音适应。实验结果表明，在AESRC 2020口音数据集和Librispeech数据集上，与基线相比，该自适应结构分别使相对单词出错率降低了12%和10%.
2022-04-21 cs.SD eess.AS
Mandarin Singing Voice Synthesis with Denoising Diffusion Probabilistic Wasserstein GAN
National Tsing Hua University（国立清华大学）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
歌唱声音合成（SVS）是计算机从给定的乐谱中产生类似人类的歌唱声音。为了有效地实现端到端的SVS，本文采用了为高质量语音和歌唱声合成而建立的声学模型-神经声码器结构。具体来说，这项工作的目的是追求更高水平的表现力，在合成的声音，结合扩散去噪概率模型（DDPM）和\emph{Wasserstein}生成对抗网络（WGAN）构建的声学模型的骨干。在所提出的声学模型之上，采用具有集成微调的HiFi-GAN神经声码器，以确保最终的端到端SVS系统的最佳合成质量。这个端到端的系统进行了评估与多歌手Mpop 600普通话唱歌的声音数据集。在实验中，所提出的系统表现出的音乐表现力和高频声学细节方面比以前的地标同行的改进。此外，对抗性声学模型稳定收敛，而无需强制执行重建目标，表明所提出的DDPM和WGAN组合架构的收敛稳定性优于基于GAN的SVS系统。
2022-09-21 cs.SD eess.AS eess.SP
Accent Recognition with Hybrid Phonetic Features
Zhejiang University（浙江大学）
语音控制系统的性能通常会受到口音的影响。为了使这些系统更加强大，前端口音识别（AR）技术近年来受到越来越多的关注。由于口音是一种与语言知识有着深刻关系的高级抽象特征，因此AR比其他与语言无关的音频分类任务更具挑战性。在本文中，我们使用一个辅助的自动语音识别（ASR）任务，以提取语言相关的语音特征。此外，我们提出了一种混合结构，它结合了一个固定的声学模型和一个可训练的声学模型的嵌入，使语言相关的声学特征更强大。我们在口音英语语音识别挑战赛（AESRC）2020数据集上进行了几个实验。结果表明，我们的方法可以获得6.57%的相对改善的验证集。我们也得到了7.28%的相对改善，最终的测试集为本次比赛，显示所提出的方法的优点。
2021-05-05 cs.SD eess.AS
Leveraging native language information for improved accented speech recognition
考虑到世界范围内以英语作为第二语言的双语人群的增长，口音语音的识别是自动语音识别（ASR）系统的长期挑战。如果我们将外国口音语音视为母语（L1）和英语（L2）的插值，则使用可以同时处理两种语言的模型将在口音语音的声学水平上表现得更好。在这项研究中，我们探索了一个端到端的递归神经网络（RNN）训练的英语和母语（西班牙语和印度语）系统如何利用母语数据来提高口音英语语音的性能。为此，我们研究了用母语进行的预训练，以及多任务学习（MTL），其中主要任务用母语英语进行训练，次要任务用西班牙语或印度语进行训练。我们表明，所提出的MTL模型比预训练方法表现更好，并且优于仅用英语数据训练的基线模型。我们建议MTL的一个新的设置，其中的次要任务是训练与英语和母语，使用相同的输出集。这个提议的场景产生了更好的性能，西班牙裔和印度口音的字符错误率分别比基线增加了+11.95%和+17.55%。
2019-04-18 eess.AS
Temporal Order Preserved Optimal Transport-based Cross-modal Knowledge Transfer Learning for ASR
National Institute of Information and Communications Technology（信息通信研究机构）；Research Center for Information Technology Innovation（资讯科技创新研究中心）；Academia Sinica（中央研究院）
针对ASR中声学与语言序列跨模态对齐难题，本文提出TOT-CAKT，通过保持时间顺序的最优传输实现知识迁移，并在普通话ASR中显著优于现有方法。
2024-09-05 cs.AI cs.CL cs.SD
FGCL: Fine-grained Contrastive Learning For Mandarin Stuttering Event Detection
School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院）；Happy Elements（乐元素科技（北京）股份有限公司）
针对中文口吃事件检测任务，提出细粒度对比学习框架FGCL，通过帧级概率建模、难易帧挖掘和口吃对比损失提升特征判别力，在中文数据集上F1值提升超5%。
2024-10-08 cs.SD eess.AS
Raw Waveform Encoder with Multi-Scale Globally Attentive Locally Recurrent Networks for End-to-End Speech Recognition
Tencent AI Lab（腾讯人工智能实验室）
端到端语音识别通常使用手工设计的声学特征作为输入，并且将特征提取模块从其联合优化中排除。为了提取可学习和自适应的特征并减少信息丢失，我们提出了一种新的编码器，该编码器采用全局注意局部递归（GALR）网络，并直接将原始波形作为输入。我们观察到改进的ASR性能和鲁棒性，通过在不同的窗口长度上应用GALR来将细粒度的时间信息聚合成多尺度的声学特征。实验在基准数据集AISHELL-2和两个5,000小时和21,000小时的大规模汉语语音语料库上进行。凭借更快的速度和可比的模型大小，我们提出的多尺度GALR波形编码器实现了一致的字符出错率降低（CERR）从7.9%到28.1%相对于强基线，包括构象和TDNN构象。特别是，我们的方法比传统的手工特征表现出显着的鲁棒性，并且在音乐混合的真实世界语音测试集上的表现优于基于MFCC的TDNN-Conformer模型的15.2%CERR。
2021-06-08 cs.AI cs.SD eess.AS
L-Vector: Neural Label Embedding for Domain Adaptation
Microsoft（微软）
我们提出了一种新的神经标签嵌入（NLE）方案，用于深度神经网络（DNN）声学模型的域自适应，该模型具有来自源域和目标域的未配对数据样本。使用NLE方法，我们将来自强大的源域DNN的知识提取到标签嵌入或l-向量的字典中，每个senone类一个。每个I向量是源域DNN的特定于状态元的输出分布的表示，并且通过简单的平均或标准反向传播来学习以最小化到具有相同标签的输出向量的平均L2、Kullback-Leibler（KL）或对称KL距离。在自适应过程中，l-向量作为软目标来训练具有交叉熵损失的目标域模型。由于没有师生学习中的并行数据约束，NLE特别适用于无法从源域数据模拟成对目标域数据的情况。我们采用6400小时的多条件美国英语声学模型，以适应9种口音英语（80至830小时）和儿童语音（80小时）中的每一种。NLE实现了高达14.1%的相对字错误率降低直接重新训练与一个热标签。
2020-04-25 cs.CL cs.LG cs.SD
Multi-Accent Adaptation based on Gate Mechanism
Institute of Acoustics（声学研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences（中国科学院新疆理化技术研究所）
当只有有限数量的口音语音数据可用时，为了提高多口音语音识别性能，传统的方法是口音特定的自适应，其独立地使基线模型适应多个目标口音。为了简化自适应过程，我们探讨了多口音混合数据同时适应多个目标口音的基线模型。因此，我们建议使用口音特定的顶层与门机制（AST-G）来实现多口音适应。与基线模型和口音适应相比，AST-G分别实现了9.8%和1.9%的平均相对WER降低。然而，在实际应用中，我们无法预先获得重音类别标签进行推理。因此，我们应用重音分类器来预测重音标签。为了联合训练声学模型和口音分类器，我们提出了多任务学习与门机制（MTL-G）。由于重音标签预测可能不准确，因此它的性能比特定于重音的自适应更差。然而，与基线模型相比，MTL-G实现了5.1%的平均相对WER降低。
2020-11-05 cs.CL cs.SD eess.AS
AIPNet: Generative Adversarial Pre-training of Accent-invariant Networks for End-to-end Speech Recognition
Facebook AI（脸书人工智能研究院）；National Taiwan University（台湾大学）
口音作为语音变异的主要来源之一，对语音识别系统的鲁棒性提出了巨大的挑战。在本文中，我们的目标是建立一个统一的端到端的语音识别系统，概括以及跨口音。为此，我们提出了一种新的预训练框架AIPNet基于生成对抗网（GAN）的口音不变的表示学习：口音不变的预训练网络。我们对AIPNet进行了预训练，通过对口音数据进行对抗性训练，将口音不变和口音特定的特征从声学特征中分离出来，而口音数据不一定是可用的。我们通过将口音不变模块与用于多口音语音识别的基于注意力的编码器-解码器模型连接，进一步微调AIPNet。在实验中，我们的方法进行了比较，对四个基线，包括口音依赖和口音独立的模型。在9种英语口音上的实验结果表明，该方法在所有口音中均能使用音译词时，平均WER降低了2.3 \sim 4.5%，在只有美国口音中使用音译词时，平均WER降低了1.6 \sim 6.1%.
2019-11-27 cs.CL cs.SD eess.AS
LA-RAG:Enhancing LLM-based ASR Accuracy with Retrieval-Augmented Generation
Huawei TSC（华为技术服务中心）
针对现有基于大语言模型的自动语音识别方法在口音等声学条件下性能受限的问题，提出新型检索增强生成范式LA-RAG，通过细粒度token级语音数据存储与语对语检索结合上下文学习提升准确率，在普通话及方言数据集上验证了有效性。
2024-09-13 cs.CL cs.SD eess.AS
Multimodal Consistency-Guided Reference-Free Data Selection for ASR Accent Adaptation
School of Computer Science and Technology（计算机科学与技术学院）；Xinjiang University（新疆大学）
本文提出一种多模态一致性引导的参考自由数据选择方法，用于提升ASR在口音适应中的性能，通过减少噪声伪标签和优化查询相关性，实现更高效的口音适应。
2026-02-03 cs.CL cs.SD eess.AS
A barrier or a booster? Familiarity effects on Mandarin emotion prosody recognition using AI-powered voice cloning
Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）；Macquarie University（麦考瑞大学）
本研究考察语音来源与说话者熟悉度对情绪韵律识别的影响，发现人类语音优于AI语音，且解码合成语音受社会认知调控，揭示AI合成技术的局限。
2026-10-01 cs.HC cs.SD eess.AS
SAN-M: Memory Equipped Self-Attention for End-to-End Speech Recognition
Alibaba DAMO Academy（阿里巴巴达摩院）；Singapore Institute of Technology（新加坡理工学院）
端到端语音识别近年来已经变得流行，因为它可以将声学、发音和语言模型集成到单个神经网络中。在端到端的方法中，基于注意力的方法已经成为优越的。例如，采用编码器-解码器架构的Transformer。Transformer引入的关键改进是利用自注意而不是递归机制，使编码器和解码器都能够以较低的计算复杂性捕获长程依赖关系。在这项工作中，我们提出了DFSMN存储块增强自注意能力，形成拟议的记忆装备自注意（SAN-M）机制。理论和实证的比较表明，自我注意和DFSMN记忆块之间的相关性和互补性。此外，拟议的SAN-M提供了一个有效的机制来集成这两个模块。我们已经在公共AISHELL-1基准和工业级20，000小时普通话语音识别任务上评估了我们的方法。在这两项任务上，SAN-M系统的性能都比基于自我注意的Transformer基线系统好得多。特别是，即使不使用任何外部LM，它也可以在AISHELL-1任务中实现6.46%的CER，轻松超越其他最先进的系统。
2020-05-21 cs.SD eess.AS
Reinforcement Learning Based Speech Enhancement for Robust Speech Recognition
National Chiao Tung University（国立交通大学）；Joint Research Center for AI Technology and All Vista Healthcare, MOST（科技部人工智能技术与全视角医疗联合研究中心）；Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
传统的基于深度神经网络（DNN）的语音增强（SE）方法旨在最小化增强语音和干净参考之间的均方误差（MSE）。MSE优化模型可能不会直接提高自动语音识别（ASR）系统的性能。如果目标是最小化识别误差，则应使用识别结果来设计优化SE模型的目标函数。然而，ASR系统的结构，它包括多个单元，如声学和语言模型，通常是复杂的和不可区分的。在这项研究中，我们提出了采用强化学习算法来优化SE模型的基础上的识别结果。我们在汉语广播新闻语料库（MATBN）上对所提出的搜索引擎系统进行了评估。实验结果表明，该方法可以有效地改善ASR结果，在信噪比为0 dB和5 dB的情况下，其误码率分别降低了12.40%和19.23%。
2018-11-10 cs.SD eess.AS
The NTU-AISG Text-to-speech System for Blizzard Challenge 2020
NTU（南洋理工大学）；AISG（新加坡人工智能与数据科学研究院）
我们在本文中报告了我们的NTU-AISG文本转语音（TTS）输入系统，用于2020年暴雪挑战赛。今年的挑战赛有两个TTS任务，一个是普通话TTS任务，另一个是上海话TTS任务。我们都参加了。其中一个主要的挑战是建立低资源限制的TTS系统，特别是对于上海话的情况下，其中约三个小时的数据是提供给参与者。为了克服这个限制，我们采用了平均说话人建模方法。即首先利用外部普通话数据对端到端声学模型和WaveNet声码器进行训练，然后利用上海话分别对声学模型和WaveNet声码器进行调优。除此之外，我们没有上海方言词汇，尽管音节转录本提供的训练数据。由于我们不确定在训练阶段是否为评估数据提供了相似的音节成绩单，因此我们使用上海方言的普通话词汇。以普通话音节分解后的字母作为输入，虽然合成语音的自然度和原说话人相似度较好，但主观评价结果表明，上海话TTS系统合成语音的可懂度严重受损。
2020-10-22 cs.SD eess.AS
Analyzing the Impact of Accent on English Speech: Acoustic and Articulatory Perspectives
本研究通过声学与发音分析，发现带口音英语语音具有更简单的协调模式和更高的平均音高，并利用特征谱和声道变量特征建立了一种无需语音转写即可量化口音强度的方法，为开发包容性语音处理系统提供新途径。
2025-06-04 eess.AS eess.SP
MMGER: Multi-modal and Multi-granularity Generative Error Correction with LLM for Joint Accent and Speech Recognition
Northwestern Polytechnical University（西北工业大学）；Huawei IIRC（华为智能基础设施研究院）
本文提出统一ASR-AR生成式纠错模型MMGER，通过多模态帧级纠错与多粒度语句级纠错结合大语言模型，在多口音场景下显著提升口音识别准确率并降低ASR字符错误率。
2024-05-06 cs.SD eess.AS
CIF: Continuous Integrate-and-Fire for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们提出了一种新的软和单调的对齐机制用于序列转导。它的灵感来自于脉冲神经网络中的积分激发模型，并在编码器-解码器框架中使用，该框架由连续函数组成，因此被命名为：连续积分激发（CIF）。将CIF应用于ASR任务，不仅计算简洁，而且支持在线识别和声学边界定位，适用于各种ASR场景。针对CIF模型存在的问题，提出了相应的支持策略。在这些方法的共同作用下，基于CIF的模型表现出了较强的竞争力。值得注意的是，它实现了一个字的出错率（WER）为2.86%的测试清洁的Librispeech和创造新的国家的最先进的结果，对普通话电话ASR基准。
2020-02-12 cs.CL cs.LG cs.NE
End-to-end Speech Recognition with Adaptive Computation Steps
Toshiba (China) R&D Center（东芝（中国）研发中心）
本文提出了自适应计算步长（ACS）算法，它使端到端的语音识别模型能够动态地决定处理多少帧来预测语言输出。应用ACS算法的模型遵循编码器-解码器框架，而与基于注意力的模型不同，它使用相邻帧之间的相关性在编码器侧独立地产生对齐。因此，一旦接收到足够的声学信息，就可以进行预测，这使得模型适用于在线情况。此外，对编码器-解码器框架的解码阶段进行了小的改变，这允许预测利用双向上下文。在汉语语音语料库AIShell-1上对ACS算法进行了验证，在线测试中，ACS算法的CER为31.2%，而基于注意力的模型的CER为32.4%。为了充分展示ACS算法的优势，我们进行了离线实验，其中我们的ACS模型达到了18.7%的CER，优于基于注意力的同行的CER为22.0%。
2018-09-26 cs.CL cs.SD eess.AS
Leveraging LLM for Stuttering Speech: A Unified Architecture Bridging Recognition and Event Detection
Beijing Fosafer Information Technology Co., Ltd.（北京福赛弗信息技术有限公司）；China Institute of Forensic Science, Ministry of Public Security（中国公安部 forensic 科学研究院）；The Institute of Linguistics, Chinese Academy of Social Sciences（中国社会科学院语言研究所）
本文提出一种 LLM 驱动的 ASR-SED 多任务学习框架，通过动态交互机制联合优化口吃语音识别与事件检测，在 AS-70 数据集上将 ASR CER 降至 5.45% 并提升 SED F1 至 73.63%。
2025-05-28 cs.SD eess.AS
Consonant-Vowel Transition Models Based on Deep Learning for Objective Evaluation of Articulation
辅音-元音（CV）过渡区的频谱-时间动态被认为是提供与发音相关的鲁棒线索。在这项工作中，我们提出了一个客观的措施，精确的清晰度，被称为客观清晰度措施（OAM），通过分析CV过渡分割周围元音起始。OAM是基于卷积神经网络的后验子导出的，该卷积神经网络被预先训练成使用CV区域作为输入在不同辅音之间进行分类。我们证明OAM与各种背景下的感知测量相关，包括（a）成人构音障碍言语，（b）唇/腭裂儿童的言语，以及（c）来自母语普通话和西班牙语的口音英语言语数据库。
2022-03-18 eess.AS
Pronunciation Modeling of Foreign Words for Mandarin ASR by Considering the Effect of Language Transfer
Institute for Infocomm Research（资讯通信研究院）
自动语音识别面临的挑战之一是外来词识别。语言迁移效应是指说话人对一个外语词的发音受到母语知识的影响。本文主要研究自动语音识别中语言迁移的语音效应。提出了一套词汇规则来将英语单词转换为汉语语音表示。通过这种方式，可以通过包括英语单词来扩充普通话词典。因此，普通话ASR系统变得能够识别英语单词，而无需重新训练或重新估计声学模型参数。使用该规则生成的词汇，在不影响纯汉语语音识别准确性的前提下，提高了汉英混合语音的ASR性能。建议的词汇规则是广义的，他们可以直接应用到看不见的英语单词。
2022-10-07 cs.CL eess.AS
LESS: Large Language Model Enhanced Semi-Supervised Learning for Speech Foundational Models Using in-the-wild Data
LESS通过利用大规模语言模型校正野外数据生成的伪标签，提升了语音基础模型在多种语言和任务中的性能，显著降低了词错误率并提高了BLEU分数。
2026-03-13 cs.CL cs.SD eess.AS
Audio-Visual Mandarin Electrolaryngeal Speech Voice Conversion
National Yang Ming Chiao Tung University（国立阳明交通大学）；Academia Sinica（中央研究院）；National Cheng Kung University Hospital（国立成功大学医院）
针对电子喉语音自然度和可懂度不足的问题，提出融合声学与视觉信息的多模态语音转换模型，实验证明其在主客观指标上均优于单模态模型，可有效提升电子喉语音转换质量。
2023-06-11 cs.SD eess.AS
M-CIF: Multi-Scale Alignment For CIF-Based Non-Autoregressive ASR
School of Computer Science and Engineering, Northeastern University, Shenyang, China（计算机科学与工程学院，东北大学，沈阳，中国）；NiuTrans Research（NiuTrans研究院）；Kunming University of Science and Technology, China（昆明理工大学，中国）
针对CIF机制在非自回归语音识别中对齐稳定性不足的问题，提出多尺度CIF（M-CIF），通过逐步蒸馏字符和音素监督到子词表示实现多级对齐，在CommonVoice上德语和法语WER分别降低4.21%和3.05%。
2026-09-22 cs.CL cs.SD
Acoustic gap placement in second-language read speech production
University of Kansas（堪萨斯大学）
本研究通过分析同一朗读段落中词间声学间隙的位置，发现普通话母语者比美国英语母语者在非标点位置产生更多停顿，表明间隙位置可作为衡量第二语言口语流利性的有效维度。
2026-10-05 eess.AS eess.SP
Linguistic-Acoustic Similarity Based Accent Shift for Accent Recognition
Northwestern Polytechnical University（西北工业大学）；Tencent Research（腾讯研究院）
一般口音识别（AR）模型往往直接从频谱中提取低级信息，这些信息总是对扬声器或通道显着过拟合。考虑到口音可以被看作是一系列相对于母语发音的变化，区分口音将是一个更容易的任务与口音变化作为输入。但由于缺乏母语作为锚点，估计口音转移是困难的。在本文中，我们提出了基于语言声学相似性的口音转移（LASAS）的AR任务。对于一个口音语音，在将相应的文本向量映射到多个口音相关空间作为锚点后，可以通过声学嵌入与这些锚点之间的相似性来估计其口音偏移。然后，我们将重音移位与降维的文本向量连接起来，以获得语言声学双峰表示。与纯声学嵌入相比，双模态表示充分利用了语言信息和声学信息，更加丰富、清晰，可以有效提高AR性能。在重音英语语音识别挑战赛（AESRC）数据集上的实验表明，该方法在测试集上获得了77.42%的准确率，比竞争系统在挑战赛中获得了6.94%的相对提高。
2022-07-01 cs.SD eess.AS
ToxicTone: A Mandarin Audio Dataset Annotated for Toxicity and Toxic Utterance Tonality
National Taiwan University（国立台湾大学）
针对口语普通话毒性检测缺乏标注数据的问题，构建了最大公开数据集ToxicTone，并提出了融合声学、语言和情感特征的多模态检测框架，实验证明其优于文本和基线模型。
2025-05-21 cs.CL cs.SD eess.AS
