Four-in-One: A Joint Approach to Inverse Text Normalization, Punctuation, Capitalization, and Disfluency for Automatic Speech Recognition
Microsoft Corporation(微软公司)
实体的标点、大写和格式等特征对于可读性、理解和自然语言处理任务都很重要。然而,自动语音识别(ASR)系统产生没有格式化的口语形式的文本,并且用于格式化的标记方法一次仅处理一个或两个特征。在本文中,我们统一口语到书面语的文本转换通过两个阶段的过程:首先,我们使用一个单一的Transformer标记模型,共同产生令牌级的标签,反向文本规范化(ITN),标点符号,大写,和不流利。然后,我们应用标签来生成书面形式的文本,并使用加权有限状态转换器(WFST)语法来格式化标记的ITN实体跨度。尽管将四个模型合并为一个,但我们的统一标记方法在多个领域的基准测试集上匹配或优于所有四个任务的特定任务模型。
2022-10-26 cs.CL
Rethinking Length-Based Training: Batch Composition and Loss Normalization in Speech Token Language Models
Beijing Institute of Technology, Zhuhai(北京理工大学珠海校区);Institute of Science Tokyo(东京科学大学);Northeastern University(东北大学);Sichuan University(四川大学);Wuhan University(武汉大学);Ant Group(蚂蚁集团)
该研究通过匹配比较分离短到长训练中的批次组成、标记暴露和损失归一化因素,发现其独立收益有限,并提出系统分析协议。
2026-09-23 cs.CL
Proactively Reducing the Hate Intensity of Online Posts via Hate Speech Normalization
IIIT-Delhi(德里英迪拉·甘地信息技术学院);Northeastern University(东北大学)
遏制网络仇恨言论已成为当务之急;然而,出于地缘政治和文化原因,全面禁止此类活动是不可行的。为了降低问题的严重性,在本文中,我们介绍了一种新的任务,仇恨言论规范化,旨在削弱仇恨的强度所表现出的在线帖子。仇恨言论正常化的目的不是支持仇恨,而是为用户提供一个迈向非仇恨的垫脚石,同时给在线平台更多的时间来监测用户行为的任何改善。为此,我们手动策划了一个平行的语料库-仇恨文本及其规范化的对应文本(规范化的文本不那么仇恨,更良性)。我们介绍NACL,一个简单而有效的仇恨言论规范化模型,分三个阶段操作-首先,它测量原始样本的仇恨强度;第二,它确定其中的仇恨跨度;最后,它通过解释仇恨跨度来降低仇恨强度。我们进行了广泛的实验,通过三方面的评估(内在的,外在的,和人体研究)来衡量NACL的疗效。我们观察到NACL优于六个基线- NACL产生的强度预测的RMSE为0.1365,跨度识别的F1分数为0.622,以及标准化文本生成的BLEU和困惑度为82.27和80.05。我们进一步展示了NACL在其他平台(Reddit,Facebook,Gab)上的通用性。NACL的交互式原型放在一起的用户研究。此外,该工具正在Wipro AI的现实环境中部署,作为其解决在线平台上有害内容的使命的一部分。
2022-06-08 cs.CL
Automatic Textual Normalization for Hate Speech Detection
Faculty of Information Science and Engineering, University of Information Technology(信息科学与工程学院,信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
本文提出仅用Seq2Seq模型进行越南语文本规范化,构建了含2181条标注的数据集,虽规范化准确率略低于70%,但使仇恨言论检测准确率提升约2%。
2024-07-25 cs.CL
Minimally Supervised Written-to-Spoken Text Normalization
Google(谷歌)
在诸如文本到语音(TTS)或自动语音识别(ASR)的语音应用中,\emph{text normalization}指的是从\emph{written}表示转换成文本将如何是\emph{spoken}的表示的任务。在所有真实世界的语音应用程序中,文本规范化引擎都是手工开发的。例如,可以使用手工构建的语法来列举在给定语言中说出给定标记的可能方式,并且使用统计模型来选择上下文中最适当的发音。在这项研究中,我们研究了在文本规范化引擎中使用或多或少特定于语言的领域知识的权衡。在数据最丰富的场景中,我们可以访问精心构建的手工构建的规范化语法,对于任何给定的token,该语法都会为该token生成一组所有可能的动词化。我们还假设了一个语料库对齐的书面-口语话语,从中我们可以训练一个排名模型,选择适当的动词化为给定的上下文。作为精心构造的语法的替代品,我们还考虑了一种具有语言通用规范化\emph{covering grammar}的场景,其中开发人员只需要提供一组特定于该语言的词汇项。作为对齐语料库的替代,我们还考虑了一种情况,其中只有口语侧,并且通过用反向规范化语法组成口语侧来“幻觉化”相应的书面侧。我们调查的准确性的文本规范化引擎在这些情况下。我们报告的实验结果英语和俄语。
2016-09-21 cs.CL
Blind Signal Dereverberation for Machine Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种方法来消除未知的卷积噪声引入语音混响的记录环境,利用一定量的训练语音数据的混响环境,和任何可用的非混响语音数据。使用在理想情况下覆盖整个房间脉冲响应的长时间窗口上计算的傅里叶变换,我们将房间诱导卷积转换为对数谱域中的加法。接下来,我们从在对数谱域中的混响以及干净语音上收集的统计数据计算谱归一化向量。在操作期间,该归一化向量用于减轻来自在相同混响条件下记录的复杂语音频谱的混响。这种去混响的复语音频谱用于计算复FDLP-频谱图以用于自动语音识别。
2022-09-30 cs.CL cs.SD eess.AS
Learning to detect dysarthria from raw speech
PSL Research University(PSL研究大学);Paris Diderot University(巴黎第七大学);Facebook A.I. Research(Facebook人工智能研究院)
传统上,语言特征的语音分类器通过选择与手头任务相关的信息,从各种手工制作的低级别特征中学习。我们探索这种选择的替代方案,通过联合学习的分类器,和特征提取。最近的语音识别研究表明,通过从波形中学习,语音识别的性能得到了提高。我们将这种方法扩展到语言分类,并提出了一个神经网络,可以学习的滤波器组,归一化因子和压缩功率的原始语音,连同其余的架构。我们将此模型应用于发音障碍检测从发音水平的音频记录。从一个强大的基于注意力的基线上,梅尔滤波器组优于标准的低级别描述符,我们表明,学习过滤器或归一化和压缩提高了10%的绝对准确度超过固定功能。我们还观察到,通过共同学习的特征提取,规范化和压缩因子与架构的OpenSmile功能的增益。这是首次尝试从原始音频中联合学习所有这些操作,用于语音分类任务。
2019-01-08 cs.CL
ParsiNorm: A Persian Toolkit for Speech Processing Normalization
University of Tehran(德黑兰大学)
通常,语音处理模型由语言模型和声学模型组成。无论语言模型的复杂性和变体如何,语言模型都需要三个关键的预处理步骤:清理、规范化和标记化。在上述步骤中,规范化步骤对于纯文本应用中的格式统一至关重要。然而,对于语音处理模块中的嵌入式语言模型,规范化不限于格式统一。此外,它必须转换每个可读的符号,数字等,如何发音。据我们所知,目前还没有针对语音处理模块中嵌入式语言模型的波斯语规范化工具包,因此在本文中,我们提出了一个用于语音应用中文本处理的开源规范化工具包。简单地说,我们考虑不同的可读波斯语文本,如符号(常见货币,#,@,URL等),数字(日期、时间、电话号码、国家代码等),通过与现有的波斯语文本归一化工具的比较,表明了该方法在语音处理中的优越性。此外,比较模型的性能与其他常见的自然语言库,如HAZM和Parsivar的建议的功能(句子分离)之一,表明所提出的方法的适当性能。此外,它的一些波斯语维基百科数据的评估证实了适当的性能所提出的方法。
2021-12-15 cs.CL cs.LG eess.AS
THA: Weighted Finite-State Text Normalization and Inverse Text Normalization for Khmer
Digital Government Committee(数字政府委员会)
针对高棉语缺乏开源文本规范化工具的问题,提出基于加权有限状态转换器的Tha工具包,实现整行分词分类与音节边界约束,在谷歌测试集上取得高准确率并开源。
2026-09-28 cs.CL
Enhancements in statistical spoken language translation by de-normalization of ASR results
Military University of Technology(军事技术大学);Polish-Japanese Institute of Information Technology(波兰-日本信息技术学院)
口语翻译在日益全球化的世界中变得非常重要。用于自动语音识别(ASR)系统的机器翻译(MT)是一个具有极大兴趣的主要挑战。本研究探讨语音自动断句对于丰富语音识别输出及辅助后续语言处理的重要性。本文主要研究语音的自动断句和提高机器翻译效果。我们探讨的问题,在波兰语的自动语音识别系统所产生的transmittance确定句子的边界。我们还尝试了识别的语音样本的反向归一化。
2015-11-18 cs.CL stat.ML
Non-Standard Vietnamese Word Detection and Normalization for Text-to-Speech
FPT Technology Research Institute, FPT University(FPT大学FPT技术研究院);VNU University of Engineering and Technology(越南国立大学工程技术大学)
将书面文本转换为口语形式是任何文本到语音(TTS)系统中的一个基本问题。然而,为现实世界的TTS系统构建有效的文本规范化解决方案面临两个主要挑战:(1)非标准词(NSW)的语义歧义,例如,数字、日期、范围、分数、缩写,以及(2)将NSW转换成可发音的音节,诸如URL、电子邮件地址、主题标签和联系人姓名。在本文中,我们提出了一种新的两阶段归一化方法来应对这些挑战。首先,设计了一个基于模型的标签器来检测NSW。然后,根据NSW类型,基于规则的规范器将这些NSW扩展为最终的口头形式。我们使用条件随机场(CRF),BiLSTM-CNN-CRF和BERT-BiGRU-CRF模型在手动注释的数据集上进行了三个NSW检测的实证实验,该数据集包括从越南新闻文章中提取的5819个句子。在第二阶段,我们提出了一个基于前向词典的最大匹配算法来拆分标签,电子邮件,URL和联系人姓名。标记阶段的实验结果表明,BiLSTM-CNN-CRF和CRF模型的平均F1分数均在90.00%以上,BERT-BiGRU-CRF模型的F1分数最高,达到95.00%。总的来说,我们的方法具有较低的句子出错率,CRF为8.15%,BiLSTM-CNN-CRF标签为7.11%,BERT-BiGRU-CRF标签仅为6.67%。
2022-09-07 cs.CL
Global Normalization for Streaming Speech Recognition in a Modular Framework
Google Research(谷歌研究院)
我们引入了全局归一化自回归转换器(GNAT)来解决流语音识别中的标签偏差问题。我们的解决方案承认一个易于处理的精确计算的分母的序列级规范化。通过理论和实证结果,我们证明,通过切换到一个全球标准化的模型,流和非流语音识别模型之间的单词出错率差距可以大大减少(超过50%的Librispeech数据集)。这个模型是在一个模块化的框架,其中包括所有常见的神经语音识别模型。该框架的模块化使得能够对建模选择和新模型的创建进行受控比较。
2022-05-26 cs.AI cs.CL cs.LG
Dynamic Layer Normalization for Adaptive Neural Acoustic Modeling in Speech Recognition
MILA(米拉研究所);Université de Montréal(蒙特利尔大学);Samsung Advanced Institute of Technology(三星先进技术研究院)
层归一化是最近引入的一种技术,用于对深度神经网络中的神经元活动进行归一化,以提高训练速度和稳定性。在本文中,我们介绍了一种新的层归一化技术称为动态层归一化(DLN)的自适应神经声学建模在语音识别。通过在层归一化中动态生成缩放和移位参数,DLN使神经声学模型适应于由诸如扬声器、信道噪声和环境等各种因素引起的声学变化。与其他自适应声学模型不同,我们提出的方法不需要额外的自适应数据或扬声器信息,如i向量。此外,模型大小是固定的,因为它动态地生成自适应参数。我们将我们提出的DLN应用于深度双向LSTM声学模型,并在大词汇量ASR实验的两个基准数据集上进行评估:WSJ和TED-LIUM版本2。实验结果表明,我们的DLN提高了神经声学模型的转录准确性,通过动态适应各种扬声器和环境。
2017-07-19 cs.CL cs.LG
Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN
IIT Delhi(印度理工学院德里分校)
本文提出Prosodic Diff-TTS,通过条件韵律层归一化将风格描述嵌入扩散GAN,在仅4步去噪内实现高保真语音合成,并在多说话人数据集上验证了效果。
2023-10-27 cs.CL cs.SD eess.AS
PolyNorm: Few-Shot LLM-Based Text Normalization for Text-to-Speech
Apple(苹果公司)
PolyNorm利用少样本大语言模型和语言无关的自动数据构建评估流程,在八种语言上降低文本规范化词错误率,并发布多语言基准数据集PolyNorm-Benchmark。
2025-11-05 cs.CL cs.LG
Dual-Form ASR: Semantics-Aware Inverse Text Normalization for Chinese Speech Recognition
本文提出DF-ASR框架,通过LLM驱动的双形式监督及ITN-MWER目标,实现语义感知的中文ASR-ITN,在SpeechIO中文子集上性能优于开源系统,可保留转录形式的提示级控制。
2026-09-04 cs.CL cs.SD
Streaming, fast and accurate on-device Inverse Text Normalization for Automatic Speech Recognition
Microsoft Corp.(微软公司)
自动语音识别(ASR)系统通常以词汇形式产生输出。然而,人类更喜欢书面形式的输出。为了弥补这一差距,ASR系统通常采用反向文本规范化(ITN)。在以前的工作中,加权有限状态传感器(WFST)已被用来做ITN。WFST非常适合此任务,但它们的大小和运行时成本可能会使嵌入式应用程序的部署具有挑战性。在本文中,我们描述了一个设备上的ITN系统,是流,轻量级和准确的发展。我们系统的核心是一个流Transformer标记器,它标记来自ASR的词汇标记。标签告知可能应用哪个ITN类别(如果有的话)。在此之后,我们仅在标记的文本上应用ITN类别特定的WFST,以可靠地执行ITN转换。我们表明,建议的ITN解决方案的执行相当于强大的基线,同时在尺寸上显着较小,并保留定制功能。
2022-11-07 cs.AI cs.CL
Style-Label-Free: Cross-Speaker Style Transfer by Quantized VAE and Speaker-wise Normalization in Speech Synthesis
Kwai(快手)
语音合成中的跨说话人风格转换是指将源说话人的风格转换为目标说话人的音色。以前的大多数方法都依赖于带有样式标签的数据,但是手动注释的标签成本很高,而且并不总是可靠的。针对这一问题,本文提出了一种跨说话人风格转换方法Style-Label-Free,该方法可以实现从源说话人到目标说话人的风格转换,而无需使用风格标签。首先,设计了一种基于量化变分自编码器(Q-VAE)和风格瓶颈的参考编码器结构来提取离散风格表示。其次,提出了一个逐说话人批量归一化层,以减少源说话人泄漏。为了提高参考编码器的风格提取能力,提出了一种风格不变和对比度增强的数据增强方法。实验结果表明,该方法优于基线。我们提供了一个网站与音频样本。
2022-12-13 cs.AI cs.CL cs.SD
Normalization through Fine-tuning: Understanding Wav2vec 2.0 Embeddings for Phonetic Analysis
School of the Gifted Young University of Science;School of Humanities;Social Sciences University of Science
本研究探讨wav2vec 2.0模型内部的语音归一化过程,发现微调通过选择性抑制任务无关信息有效实现归一化,且多任务微调能保留信息而不损害性能,为语音模型与人类语音感知提供新见解。
2025-03-04 cs.AI cs.CL
UNIT-DSR: Dysarthric Speech Reconstruction System Using Speech Unit Normalization
The Chinese University of Hong Kong(香港中文大学);Vocal Engineering Technologies Limited(声学工程技术有限公司)
针对现有构音障碍语音重建系统训练效率低的问题,提出基于HuBERT和离散语音单元的Unit-DSR系统,简化结构的同时提升了内容恢复效果与鲁棒性。
2024-01-26 cs.CL cs.SD eess.AS
A Unified Transformer-based Framework for Duplex Text Normalization
NVIDIA(英伟达);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文本规范化(TN)和逆文本规范化(ITN)分别是文本到语音合成和自动语音识别中必不可少的预处理和后处理步骤。对于TN或ITN,已经提出了许多方法,从加权有限状态传感器到神经网络。尽管它们的性能令人印象深刻,但这些方法的目标是只解决两个任务中的一个,而不是两个。因此,在一个完整的口语对话系统,两个独立的模型TN和ITN需要建立。这种异质性增加了系统的技术复杂性,这反过来又增加了生产环境中的维护成本。出于这一观察,我们提出了一个统一的框架,建立一个单一的神经双工系统,可以同时处理TN和ITN。结合一个简单但有效的数据增强方法,我们的系统实现了最先进的结果对谷歌TN数据集的英语和俄语。他们还可以在内部英语TN数据集上达到95%以上的精确度,而无需任何额外的微调。此外,我们还创建了一个清洁的数据集从口语维基百科语料库德语和报告的性能,我们的系统上的数据集。总体而言,实验结果表明,提出的双重文本规范化框架是非常有效的,适用于一系列领域和语言
2021-08-23 cs.CL
Normalization of Non-Standard Words in Croatian Texts
University of Rijeka(里耶卡大学)
本文介绍了文本规范化,这是任何文本到语音合成系统的一个组成部分。文本规范化是一组方法,其任务是以完整的扩展形式编写非标准单词,如数字,日期,时间,缩写,首字母缩略词和最常见的符号。提出了克罗地亚语非标准词分类的整体分类法以及基于规则的规范化方法和查找词典。克罗地亚语文本标准化的实现率为95%,其中80%的扩展单词具有正确的形态形式。
2015-03-30 cs.CL
The Hidden Cost of Digits: Number Normalization and WER in ASR Systems
AGH University of Krakow(克拉科夫AGH大学)
本研究以波兰语为例,分析数字归一化缺失对ASR系统词错误率评估的影响,发现其可造成超过2个百分点的显著差异,甚至超过多语言基准中系统间的差距。
2026-09-21 cs.CL eess.AS
indic-punct: An automatic punctuation restoration and inverse text normalization framework for Indic languages
Thoughtworks(思特沃克);Ekstep Foundation(Ekstep基金会)
自动语音识别(ASR)生成的文本大多数时候没有任何标点符号。缺少标点符号会影响文本的可读性。此外,诸如情感分析、机器翻译之类的下游NLP任务通过具有标点符号和句子边界信息而大大受益。我们提出了一种使用预训练IndicBERT模型的文本自动标点方法。逆文本规范化是通过手写加权有限状态转换器(WFST)语法来完成的。我们已经为11种印度语言开发了这个工具,即印地语,泰米尔语,泰卢固语,卡纳达语,古吉拉特语,马拉地语,奥迪亚语,孟加拉语,阿萨姆语,马拉雅拉姆语和旁遮普语。所有代码和数据都是公开的。可用
2022-03-31 cs.CL
An accurate and revised version of optical character recognition-based speech synthesis using LabVIEW
Birla Institute of Technology(比尔拉理工学院)
针对视障人士获取书籍受限的问题,本文提出并实现了一种基于OCR和LabVIEW的精确、可靠、低成本且易用的语音合成系统,以语音输出替代文本阅读。
2025-06-18 cs.CL cs.CV cs.SD
Voice Conversion Based Speaker Normalization for Acoustic Unit Discovery
Paderborn University(帕德博恩大学)
纯粹从语音输入中发现与扬声器无关的声学单元是一个困难的问题。在这项工作中,我们提出了一个无监督的说话人归一化技术之前,单位发现。它是基于分离说话人相关的内容引起的变化,在语音信号与对抗性对比预测编码方法。这种技术既不需要转录的语音,也不需要扬声器标签,而且,可以以多语言的方式进行训练,从而实现扬声器标准化,即使只有很少的未标记的数据是从目标语言。说话人规范化是通过将所有的话语映射到一个代表整个数据库的medoid风格来完成的。我们证明了该方法的有效性进行声学单元发现与隐马尔可夫模型变分自动编码器注意到,但是,建议的扬声器归一化可以作为任何单位发现系统的前端。在英语、约鲁巴语和姆博希语上的实验表明,与使用非规范化输入相比,该方法有所改进。
2021-05-04 cs.CL cs.SD eess.AS
SpeechWeave: Diverse Multilingual Synthetic Text & Audio Data Generation Pipeline for Training Text to Speech Models
Oracle AI
针对TTS模型训练数据获取难、多样性不足等问题,提出SpeechWeave合成数据生成流水线,可自动生成多语言领域数据集,在多样性、归一化准确率和语音一致性上表现更优。
2025-10-01 cs.AI cs.CL cs.LG
Shennong: a Python toolbox for audio speech features extraction
Inria(法国国家信息与自动化研究所);EHESS(法国高等社会科学研究院);ENS(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);CNRS(法国国家科学研究中心);Facebook AI Research(脸书人工智能研究院)
我们介绍了神农,一个Python工具箱和命令行实用程序的语音特征提取。它实现了广泛的成熟的最先进的算法,包括频谱-时间滤波器,如梅尔频率倒谱滤波器组或预测线性滤波器,预训练的神经网络,音高估计器以及扬声器归一化方法和后处理算法。Shennong是一个开源、易用、可靠和可扩展的框架。Python的使用使得与其他语音建模和机器学习工具的集成变得容易。它旨在取代或补充几个异构软件,如Kaldi或Praat。在描述了神农软件体系结构、核心组件和实现算法之后,本文说明了它在三个应用上的使用:在音素辨别任务上的语音特征性能的比较、作为用于训练的语音持续时间的函数的声道长度归一化模型的分析以及在各种噪声条件下的音高估计算法的比较。
2021-12-10 cs.CL cs.SD eess.AS
An End-to-end Chinese Text Normalization Model based on Rule-guided Flat-Lattice Transformer
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-中大媒体科学技术与系统联合研究中心);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学);Databaker (Beijing) Technology Co., Ltd(标贝(北京)科技有限公司)
在文语转换系统中,文本规范化是将非标准词转换为口语词的过程,它对合成语音的可懂度起着至关重要的作用。基于规则的方法不考虑上下文不能消除歧义,而基于序列到序列神经网络的方法遭受意外和不可解释的错误问题。目前提出的混合系统将基于规则的模型和神经网络模型作为两个级联的子模块,其中有限的交互能力使得神经网络模型不能充分利用规则中包含的专家知识。受Flat-LAttice Transformer(FLAT)的启发,本文提出了一种端到端的中文文本规范化模型,该模型以汉字作为直接输入,并将规则中包含的专家知识集成到神经网络中,这两点都有助于该模型在文本规范化任务中的优越性能。我们还发布了第一个公开访问的大规模数据集,用于中文文本规范化。我们提出的模型在这个数据集上取得了很好的效果。
2022-03-31 cs.CL cs.SD eess.AS
FusionFormer: Fusing Operations in Transformer for Efficient Streaming Speech Recognition
Tsinghua University(清华大学);Horizon Robtics(地平线机器人);WeNet Open Source Community(WeNet开源社区)
最近提出的Conformer结构结合了卷积和注意力来捕获局部和全局依赖关系,已成为自动语音识别~(ASR)的\textit{de facto}骨干模型。继承了自然语言处理(NLP)任务,该架构采用层归一化~(LN)作为默认的归一化技术。然而,通过一系列系统的研究,我们发现LN虽然只贡献了FLOP的0.1%,但它却占用了推理时间的10%。这促使我们用其他标准化技术代替LN,例如,批量归一化~(BN),利用算子融合方法加快推理速度,避免了在推理过程中计算均值和方差统计量。在检查了几种直接去除所有LN层或在同一位置用BN替换它们的简单尝试后,我们发现发散问题主要是由不稳定的层输出引起的。因此,我们建议将BN层附加到每个线性或卷积层,其中观察到稳定的训练结果。我们还建议简化Conformer中的激活,例如Swish和GLU,将其替换为ReLU。所有这些交换的模块可以融合到相邻线性/卷积层的权重中,因此具有零推理成本。因此,我们将其命名为FusionFormer。我们的实验表明,FusionFormer与基于LN的Conformer一样有效,并且速度快约10%。
2022-10-31 cs.CL cs.SD eess.AS
Dysarthria Normalization via Local Lie Group Transformations for Robust ASR
Independent Researcher(独立研究者)
本文提出用局部李群变换建模构音障碍语音的时频与幅度失真,通过仅用合成扭曲健康语音训练的神经网络推断并逆转变形,在TORGO上最多降低17个百分点WER且不损害干净语音性能。
2025-05-04 cs.CL cs.LG cs.SD
A Bayesian Approach to Estimation of Speaker Normalization Parameters
Idiap Research Institute(伊迪亚普研究所);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
在这项工作中,贝叶斯说话人归一化的方法,提出了一个独立的语音识别系统的性能下降进行补偿。本文提出的说话人归一化方法使用声道长度归一化(VTLN)技术。VTLN参数估计使用一种新的贝叶斯方法,利用吉布斯采样器,一种特殊类型的马尔可夫链蒙特卡罗方法。此外,超参数估计使用最大似然方法。该模型假设人的声道可以被建模为均匀截面的管。与文献中使用的线性模型相比,它更有效地捕捉了不同说话者声道长度的变化。本文还研究了不同的方法,如最小化均方误差(MSE)和平均绝对误差(MAE)的VTLN参数估计。单遍和两遍的方法,然后用来建立一个基于VTLN的语音识别器。从一个中等词汇的元音和印地语短语识别的实验结果表明,贝叶斯方法提高了相当大的利润率的性能。
2016-10-19 cs.CL cs.SD stat.AP
SNDCNN: Self-normalizing deep CNNs with scaled exponential linear units for speech recognition
Apple Inc.(苹果公司)
非常深的CNN在计算机视觉和语音识别方面都取得了最先进的结果,但很难训练。训练非常深的CNN最流行的方法是使用快捷连接(SC)和批量归一化(BN)。受自规范化神经网络的启发,我们提出了基于自规范化深度CNN(SND CNN)的声学模型拓扑,通过移除SC/BN并用ResNet-50中的缩放指数线性单元(SELU)替换典型的CNOU激活。SELU激活使网络自我规范化,并消除了对快捷连接和批量归一化的需要。与ResNet- 50相比,我们可以实现相同或更低(相对高达4.5%)的字出错率(WER),同时将训练和推理速度提高60%-80%。我们还探索了其他模型推理优化方案,以进一步减少生产使用的延迟。
2020-03-23 cs.CL cs.LG cs.SD
Dense Prediction on Sequences with Time-Dilated Convolutions for Speech Recognition
IBM T.J Watson Research Center(IBM T.J. 沃森研究中心)
在计算机视觉中,逐像素密集预测是为图像中的每个像素预测标签的任务。卷积神经网络在这一任务上实现了良好的性能,同时计算效率高。在本文中,我们进行这些想法的问题分配一个序列的标签的语音帧,一个任务通常被称为帧分类。我们表明,密集预测视图的逐帧分类提供了几个优点和见解,包括计算效率和应用批量归一化的能力。在进行密集预测时,我们特别注意时间上的跨越池化,并引入了一种称为时间扩张卷积的非对称扩张卷积,它允许在时间上高效而优雅地实现池化。我们在Hub 5 Switchboard-2000基准测试任务上使用非常深的VGG风格的CNN和批量归一化来显示结果。使用大的n-gram语言模型,我们实现了7.7%的WER,这是迄今为止报道的最好的单模型单遍性能。
2016-12-14 cs.CL cs.LG cs.NE
Analyzing and Fine-Tuning Whisper Models for Multilingual Pilot Speech Transcription in the Cockpit
Institute of Data Science(数据科学研究所);German Aerospace Center(德国航空航天中心)
本文针对 Whisper 模型在多语言座舱飞行员语音转录中准确率低的问题,通过收集并标注相关录音,提出多种归一化方案,并利用 LoRA 进行高效微调,显著降低了词错率。
2025-06-27 cs.AI cs.CL cs.LG
Exploring End-to-End Techniques for Low-Resource Speech Recognition
Speech Technology Center Ltd(语音技术中心有限公司);STC-innovations Ltd(STC创新有限公司);ITMO University(ITMO大学)
在这项工作中,我们提出了一个简单的基于grapheme-based系统的低资源语音识别使用巴别塔数据土耳其自发语音(80小时)。我们已经研究了不同的神经网络架构性能,包括全卷积,递归和ResNet与GRU。不同的功能和规范化技术进行了比较。我们还提出了在训练过程中使用分割的CTC损失修改,这导致在使用小波束尺寸进行解码时的改进。我们的最佳模型实现了45.8%的单词出错率,根据我们的知识,这是使用域内数据的端到端系统的最佳报告结果。
2018-07-02 cs.CL cs.SD eess.AS
AdaCS: Adaptive Normalization for Enhanced Code-Switching ASR
VinBrain;Aivicam
针对低资源语言句内语码转换ASR准确率低的问题,本研究提出集成自适应偏置注意力模块的AdaCS归一化模型,借助推理偏置词表处理未知语码转换,在越南语测试集上较现有最优方法实现56.2%和36.8%的WER下降。
2025-01-13 cs.AI cs.CL cs.SD
Speech Technology for Everyone: Automatic Speech Recognition for Non-Native English with Transfer Learning
The University of British Columbia(不列颠哥伦比亚大学)
为了解决英语ASR模型在L2英语使用者上的性能差距,我们评估了预训练的wav2vec 2.0模型的微调(Baevski等人,2020年; Xu等人,2021)在L2-ARCTIC上,非母语英语语音语料库(Zhao等人,2018年,在不同的培训环境下。我们比较了使用不同口音组合训练的\textbf{(a)}模型与仅使用特定口音训练的模型,以及来自不同单口音模型的\textbf{(b)}结果。我们的实验证明了为非英语母语者开发ASR模型的前景,即使只有少量的L2训练数据,甚至没有语言模型。我们的模型在zero-shot设置中也表现出色,我们在多个L2数据集上进行训练,并在盲L2测试集上进行测试。
2021-10-15 cs.CL cs.LG eess.AS