Global Normalization for Streaming Speech Recognition in a Modular Framework
Google Research(谷歌研究院)
我们引入了全局归一化自回归转换器(GNAT)来解决流语音识别中的标签偏差问题。我们的解决方案承认一个易于处理的精确计算的分母的序列级规范化。通过理论和实证结果,我们证明,通过切换到一个全球标准化的模型,流和非流语音识别模型之间的单词出错率差距可以大大减少(超过50%的Librispeech数据集)。这个模型是在一个模块化的框架,其中包括所有常见的神经语音识别模型。该框架的模块化使得能够对建模选择和新模型的创建进行受控比较。
2022-05-26 cs.AI cs.CL cs.LG
Improving Robustness of Neural Inverse Text Normalization via Data-Augmentation, Semi-Supervised Learning, and Post-Aligning Method
SK Telecom(SK电信)
本文针对ASR生成口语文本的域外问题,提出结合数据增强、大语言模型辅助的半监督学习及后对齐方法的直接训练策略,显著提升神经逆文本正则化在多种ASR场景下的鲁棒性。
2023-09-12 cs.CL
To Normalize, or Not to Normalize: The Impact of Normalization on Part-of-Speech Tagging
University of Groningen(格罗宁根大学)
标准化是否有助于提高有噪、非规范数据的词性(POS)标记准确性?据我们所知,在现实世界的场景中,对标准化的实际影响知之甚少,其中黄金错误检测不可用。我们研究的自动规范化的词性标注的鸣叫。我们还将归一化与利用大量未标记数据的策略进行了比较。我们的研究结果表明,规范化的帮助,但不增加一致的只是词嵌入层初始化。后一种方法产生了一个标记模型,与Twitter最先进的标记器竞争。
2017-07-17 cs.CL
Dynamic Context-Aware Streaming Pretrained Language Model For Inverse Text Normalization
AIVietnam University of Science(AIVietnam 科学大学);Ho Chi Minh City, Vietnam(胡志明市,越南);Vietnam National University(越南国家大学)
本文提出一种用于逆文本规范化的流式预训练语言模型,通过在训练和推理中引入动态上下文感知机制以自适应调整块大小并整合右上下文信息,在越南语数据集上以低延迟实现了与非流式模型相当的准确率。
2025-05-30 cs.CL cs.SD eess.AS
Blind Normalization of Speech From Different Channels and Speakers
本文描述了表示的时间相关的信号下的任何可逆的时间无关的信号时间序列的变换是不变的。通过以由最近遇到的信号电平确定的非线性动态方式重新缩放信号来创建这样的表示。该技术可以使得可以归一化通过通道相关和说话者相关变换相关的信号,而不必表征信号变换的形式,信号变换的形式仍然是未知的。该技术是说明通过将其应用到语音的时间依赖的频谱,已被过滤,以模拟不同的通道的效果。实验结果表明,重新缩放的语音表示在很大程度上被归一化(即,通道无关的),尽管原始(未重新缩放的)语音依赖于通道。
2002-04-02 cs.CL
Blind Normalization of Speech From Different Channels
我们将展示如何构建一个独立于通道的语音表示,通过一个嘈杂的混响通道传播。这是通过用非线性函数盲目地重新标度倒谱时间序列来完成的,该标度函数的形式由该通道之前遇到的倒谱确定。时间序列的重标度形式在以下意义上是它的不变性质:如果时间序列被任何与时间无关的可逆失真变换,则它不受影响。由于具有平稳噪声和脉冲响应的线性信道以这种方式变换倒谱,因此新技术可以用于消除倒谱时间序列的信道依赖性。在实验中,该方法实现了更大的通道独立性比倒谱平均归一化,它是相媲美的倒谱平均归一化和频谱减法的组合,尽管事实上,没有测量信道噪声或混响是必需的(不同于频谱减法)。
2003-04-10 cs.CL
DiffNorm: Self-Supervised Normalization for Non-autoregressive Speech-to-speech Translation
Johns Hopkins University(约翰斯·霍普金斯大学)
本文提出DiffNorm,一种基于扩散的自监督归一化策略,通过去噪损坏语音特征简化数据分布,并结合无分类器引导正则化非自回归Transformer,在CVSS基准上显著提升语音到语音翻译质量与推理速度。
2024-10-21 cs.CL
AraYoungVoices: A Diverse L1/L2 Corpus of Arabic Child and Adolescent Speech
Qatar Computing Research Institute(卡塔尔计算研究所)
该研究构建了包含286名7-18岁说话者的151.72小时阿拉伯语L1/L2朗读语料库AraYoungVoices,基准测试显示L2语音更难识别,年龄特定微调改善匹配组,联合微调平衡各人群,且ASR假设更接近标准提示。
2026-10-06 cs.AI cs.CL cs.SD
Proteno: Text Normalization with Limited Data for Fast Deployment in Text to Speech Systems
Amazon Alexa AI(亚马逊Alexa AI)
在新语言上开发文本到语音(TTS)的文本规范化(TN)系统是困难的。我们提出了一种新的架构,以促进它的多种语言,同时使用的数据小于3%的最先进的结果在英语上使用的数据的大小。我们把TN作为一个序列分类问题,并提出了一个粒度标记化机制,使系统能够学习大部分的类和它们的规范化从训练数据本身。这进一步与其他类的最小预编码语言知识相结合。我们发表的第一个结果TN TTS在西班牙语和泰米尔语,也表明,该方法的性能与以前的工作做英语。所有用于实验的注释数据集将在https://github.com/amazon-research/proteno上发布。
2021-04-15 cs.CL
Chain of Correction for Full-text Speech Recognition with Large Language Models
Tencent Ethereal Audio Lab, Tencent, China Center for Speech;Language Technologies, BNRist, Tsinghua University, China
本文提出纠错链(CoC)方法,利用大语言模型逐段纠正全文语音识别错误,通过多轮对话和上下文引导提升纠错效果,实验表明其在纠错性能上优于现有系统。
2026-02-28 cs.CL eess.AS
Four-in-One: A Joint Approach to Inverse Text Normalization, Punctuation, Capitalization, and Disfluency for Automatic Speech Recognition
Microsoft Corporation(微软公司)
实体的标点、大写和格式等特征对于可读性、理解和自然语言处理任务都很重要。然而,自动语音识别(ASR)系统产生没有格式化的口语形式的文本,并且用于格式化的标记方法一次仅处理一个或两个特征。在本文中,我们统一口语到书面语的文本转换通过两个阶段的过程:首先,我们使用一个单一的Transformer标记模型,共同产生令牌级的标签,反向文本规范化(ITN),标点符号,大写,和不流利。然后,我们应用标签来生成书面形式的文本,并使用加权有限状态转换器(WFST)语法来格式化标记的ITN实体跨度。尽管将四个模型合并为一个,但我们的统一标记方法在多个领域的基准测试集上匹配或优于所有四个任务的特定任务模型。
2022-10-26 cs.CL
Enhancements in statistical spoken language translation by de-normalization of ASR results
Military University of Technology(军事技术大学);Polish-Japanese Institute of Information Technology(波兰-日本信息技术学院)
口语翻译在日益全球化的世界中变得非常重要。用于自动语音识别(ASR)系统的机器翻译(MT)是一个具有极大兴趣的主要挑战。本研究探讨语音自动断句对于丰富语音识别输出及辅助后续语言处理的重要性。本文主要研究语音的自动断句和提高机器翻译效果。我们探讨的问题,在波兰语的自动语音识别系统所产生的transmittance确定句子的边界。我们还尝试了识别的语音样本的反向归一化。
2015-11-18 cs.CL stat.ML
Style Description based Text-to-Speech with Conditional Prosodic Layer Normalization based Diffusion GAN
IIT Delhi(印度理工学院德里分校)
本文提出Prosodic Diff-TTS,通过条件韵律层归一化将风格描述嵌入扩散GAN,在仅4步去噪内实现高保真语音合成,并在多说话人数据集上验证了效果。
2023-10-27 cs.CL cs.SD eess.AS
Rethinking Length-Based Training: Batch Composition and Loss Normalization in Speech Token Language Models
Beijing Institute of Technology, Zhuhai(北京理工大学珠海校区);Institute of Science Tokyo(东京科学大学);Northeastern University(东北大学);Sichuan University(四川大学);Wuhan University(武汉大学);Ant Group(蚂蚁集团)
该研究通过匹配比较分离短到长训练中的批次组成、标记暴露和损失归一化因素,发现其独立收益有限,并提出系统分析协议。
2026-09-23 cs.CL
Proactively Reducing the Hate Intensity of Online Posts via Hate Speech Normalization
IIIT-Delhi(德里英迪拉·甘地信息技术学院);Northeastern University(东北大学)
遏制网络仇恨言论已成为当务之急;然而,出于地缘政治和文化原因,全面禁止此类活动是不可行的。为了降低问题的严重性,在本文中,我们介绍了一种新的任务,仇恨言论规范化,旨在削弱仇恨的强度所表现出的在线帖子。仇恨言论正常化的目的不是支持仇恨,而是为用户提供一个迈向非仇恨的垫脚石,同时给在线平台更多的时间来监测用户行为的任何改善。为此,我们手动策划了一个平行的语料库-仇恨文本及其规范化的对应文本(规范化的文本不那么仇恨,更良性)。我们介绍NACL,一个简单而有效的仇恨言论规范化模型,分三个阶段操作-首先,它测量原始样本的仇恨强度;第二,它确定其中的仇恨跨度;最后,它通过解释仇恨跨度来降低仇恨强度。我们进行了广泛的实验,通过三方面的评估(内在的,外在的,和人体研究)来衡量NACL的疗效。我们观察到NACL优于六个基线- NACL产生的强度预测的RMSE为0.1365,跨度识别的F1分数为0.622,以及标准化文本生成的BLEU和困惑度为82.27和80.05。我们进一步展示了NACL在其他平台(Reddit,Facebook,Gab)上的通用性。NACL的交互式原型放在一起的用户研究。此外,该工具正在Wipro AI的现实环境中部署,作为其解决在线平台上有害内容的使命的一部分。
2022-06-08 cs.CL
Automatic Textual Normalization for Hate Speech Detection
Faculty of Information Science and Engineering, University of Information Technology(信息科学与工程学院,信息技术大学);Vietnam National University, Ho Chi Minh City(胡志明市越南国家大学)
本文提出仅用Seq2Seq模型进行越南语文本规范化,构建了含2181条标注的数据集,虽规范化准确率略低于70%,但使仇恨言论检测准确率提升约2%。
2024-07-25 cs.CL
Minimally Supervised Written-to-Spoken Text Normalization
Google(谷歌)
在诸如文本到语音(TTS)或自动语音识别(ASR)的语音应用中,\emph{text normalization}指的是从\emph{written}表示转换成文本将如何是\emph{spoken}的表示的任务。在所有真实世界的语音应用程序中,文本规范化引擎都是手工开发的。例如,可以使用手工构建的语法来列举在给定语言中说出给定标记的可能方式,并且使用统计模型来选择上下文中最适当的发音。在这项研究中,我们研究了在文本规范化引擎中使用或多或少特定于语言的领域知识的权衡。在数据最丰富的场景中,我们可以访问精心构建的手工构建的规范化语法,对于任何给定的token,该语法都会为该token生成一组所有可能的动词化。我们还假设了一个语料库对齐的书面-口语话语,从中我们可以训练一个排名模型,选择适当的动词化为给定的上下文。作为精心构造的语法的替代品,我们还考虑了一种具有语言通用规范化\emph{covering grammar}的场景,其中开发人员只需要提供一组特定于该语言的词汇项。作为对齐语料库的替代,我们还考虑了一种情况,其中只有口语侧,并且通过用反向规范化语法组成口语侧来“幻觉化”相应的书面侧。我们调查的准确性的文本规范化引擎在这些情况下。我们报告的实验结果英语和俄语。
2016-09-21 cs.CL
Dual-Form ASR: Semantics-Aware Inverse Text Normalization for Chinese Speech Recognition
本文提出DF-ASR框架,通过LLM驱动的双形式监督及ITN-MWER目标,实现语义感知的中文ASR-ITN,在SpeechIO中文子集上性能优于开源系统,可保留转录形式的提示级控制。
2026-09-04 cs.CL cs.SD
Style-Label-Free: Cross-Speaker Style Transfer by Quantized VAE and Speaker-wise Normalization in Speech Synthesis
Kwai(快手)
语音合成中的跨说话人风格转换是指将源说话人的风格转换为目标说话人的音色。以前的大多数方法都依赖于带有样式标签的数据,但是手动注释的标签成本很高,而且并不总是可靠的。针对这一问题,本文提出了一种跨说话人风格转换方法Style-Label-Free,该方法可以实现从源说话人到目标说话人的风格转换,而无需使用风格标签。首先,设计了一种基于量化变分自编码器(Q-VAE)和风格瓶颈的参考编码器结构来提取离散风格表示。其次,提出了一个逐说话人批量归一化层,以减少源说话人泄漏。为了提高参考编码器的风格提取能力,提出了一种风格不变和对比度增强的数据增强方法。实验结果表明,该方法优于基线。我们提供了一个网站与音频样本。
2022-12-13 cs.AI cs.CL cs.SD
Streaming, fast and accurate on-device Inverse Text Normalization for Automatic Speech Recognition
Microsoft Corp.(微软公司)
自动语音识别(ASR)系统通常以词汇形式产生输出。然而,人类更喜欢书面形式的输出。为了弥补这一差距,ASR系统通常采用反向文本规范化(ITN)。在以前的工作中,加权有限状态传感器(WFST)已被用来做ITN。WFST非常适合此任务,但它们的大小和运行时成本可能会使嵌入式应用程序的部署具有挑战性。在本文中,我们描述了一个设备上的ITN系统,是流,轻量级和准确的发展。我们系统的核心是一个流Transformer标记器,它标记来自ASR的词汇标记。标签告知可能应用哪个ITN类别(如果有的话)。在此之后,我们仅在标记的文本上应用ITN类别特定的WFST,以可靠地执行ITN转换。我们表明,建议的ITN解决方案的执行相当于强大的基线,同时在尺寸上显着较小,并保留定制功能。
2022-11-07 cs.AI cs.CL
Learning to detect dysarthria from raw speech
PSL Research University(PSL研究大学);Paris Diderot University(巴黎第七大学);Facebook A.I. Research(Facebook人工智能研究院)
传统上,语言特征的语音分类器通过选择与手头任务相关的信息,从各种手工制作的低级别特征中学习。我们探索这种选择的替代方案,通过联合学习的分类器,和特征提取。最近的语音识别研究表明,通过从波形中学习,语音识别的性能得到了提高。我们将这种方法扩展到语言分类,并提出了一个神经网络,可以学习的滤波器组,归一化因子和压缩功率的原始语音,连同其余的架构。我们将此模型应用于发音障碍检测从发音水平的音频记录。从一个强大的基于注意力的基线上,梅尔滤波器组优于标准的低级别描述符,我们表明,学习过滤器或归一化和压缩提高了10%的绝对准确度超过固定功能。我们还观察到,通过共同学习的特征提取,规范化和压缩因子与架构的OpenSmile功能的增益。这是首次尝试从原始音频中联合学习所有这些操作,用于语音分类任务。
2019-01-08 cs.CL
THA: Weighted Finite-State Text Normalization and Inverse Text Normalization for Khmer
Digital Government Committee(数字政府委员会)
针对高棉语缺乏开源文本规范化工具的问题,提出基于加权有限状态转换器的Tha工具包,实现整行分词分类与音节边界约束,在谷歌测试集上取得高准确率并开源。
2026-09-28 cs.CL
UNIT-DSR: Dysarthric Speech Reconstruction System Using Speech Unit Normalization
The Chinese University of Hong Kong(香港中文大学);Vocal Engineering Technologies Limited(声学工程技术有限公司)
针对现有构音障碍语音重建系统训练效率低的问题,提出基于HuBERT和离散语音单元的Unit-DSR系统,简化结构的同时提升了内容恢复效果与鲁棒性。
2024-01-26 cs.CL cs.SD eess.AS
Non-Standard Vietnamese Word Detection and Normalization for Text-to-Speech
FPT Technology Research Institute, FPT University(FPT大学FPT技术研究院);VNU University of Engineering and Technology(越南国立大学工程技术大学)
将书面文本转换为口语形式是任何文本到语音(TTS)系统中的一个基本问题。然而,为现实世界的TTS系统构建有效的文本规范化解决方案面临两个主要挑战:(1)非标准词(NSW)的语义歧义,例如,数字、日期、范围、分数、缩写,以及(2)将NSW转换成可发音的音节,诸如URL、电子邮件地址、主题标签和联系人姓名。在本文中,我们提出了一种新的两阶段归一化方法来应对这些挑战。首先,设计了一个基于模型的标签器来检测NSW。然后,根据NSW类型,基于规则的规范器将这些NSW扩展为最终的口头形式。我们使用条件随机场(CRF),BiLSTM-CNN-CRF和BERT-BiGRU-CRF模型在手动注释的数据集上进行了三个NSW检测的实证实验,该数据集包括从越南新闻文章中提取的5819个句子。在第二阶段,我们提出了一个基于前向词典的最大匹配算法来拆分标签,电子邮件,URL和联系人姓名。标记阶段的实验结果表明,BiLSTM-CNN-CRF和CRF模型的平均F1分数均在90.00%以上,BERT-BiGRU-CRF模型的F1分数最高,达到95.00%。总的来说,我们的方法具有较低的句子出错率,CRF为8.15%,BiLSTM-CNN-CRF标签为7.11%,BERT-BiGRU-CRF标签仅为6.67%。
2022-09-07 cs.CL
Normalization through Fine-tuning: Understanding Wav2vec 2.0 Embeddings for Phonetic Analysis
School of the Gifted Young University of Science;School of Humanities;Social Sciences University of Science
本研究探讨wav2vec 2.0模型内部的语音归一化过程,发现微调通过选择性抑制任务无关信息有效实现归一化,且多任务微调能保留信息而不损害性能,为语音模型与人类语音感知提供新见解。
2025-03-04 cs.AI cs.CL
Blind Signal Dereverberation for Machine Speech Recognition
Johns Hopkins University(约翰斯·霍普金斯大学)
我们提出了一种方法来消除未知的卷积噪声引入语音混响的记录环境,利用一定量的训练语音数据的混响环境,和任何可用的非混响语音数据。使用在理想情况下覆盖整个房间脉冲响应的长时间窗口上计算的傅里叶变换,我们将房间诱导卷积转换为对数谱域中的加法。接下来,我们从在对数谱域中的混响以及干净语音上收集的统计数据计算谱归一化向量。在操作期间,该归一化向量用于减轻来自在相同混响条件下记录的复杂语音频谱的混响。这种去混响的复语音频谱用于计算复FDLP-频谱图以用于自动语音识别。
2022-09-30 cs.CL cs.SD eess.AS
Dysarthria Normalization via Local Lie Group Transformations for Robust ASR
Independent Researcher(独立研究者)
本文提出用局部李群变换建模构音障碍语音的时频与幅度失真,通过仅用合成扭曲健康语音训练的神经网络推断并逆转变形,在TORGO上最多降低17个百分点WER且不损害干净语音性能。
2025-05-04 cs.CL cs.LG cs.SD
Textless Speech-to-Speech Translation on Real Data
Meta AI
我们提出了一个无文本的语音到语音翻译(S2ST)系统,可以将语音从一种语言翻译成另一种语言,并且可以在不需要任何文本数据的情况下构建。与文献中现有的工作不同,我们解决了多说话人目标语音建模和训练系统与现实世界的S2ST数据的挑战。我们的方法的关键是一种基于自我监督单元的语音规范化技术,该技术使用来自多个扬声器和单个参考扬声器的配对音频微调预训练语音编码器,以减少口音引起的变化,同时保留词汇内容。仅用10分钟的配对数据进行语音标准化,与在未标准化的语音目标上训练的基线相比,我们在VoxPopuli S2ST数据集上训练S2ST模型时平均获得3.2 BLEU增益。我们还结合了自动挖掘的S2ST数据,并显示了额外的2.0 BLEU增益。据我们所知,我们是第一个建立无文本S2ST技术的人,该技术可以用真实世界的数据进行训练,并适用于多种语言对。音频样本可在https://facebookresearch.github.io/speech_translation/textless_s2st_real_data/index.html上获得。
2022-05-04 cs.AI cs.CL cs.LG
Positional Description for Numerical Normalization
Apple(苹果公司)
提出位置描述方案(PDS),通过保留架构的预处理简化数字规范化,缓解神经模型文本规范化错误,显著提升算术准确率并适用于生产级语音处理。
2024-08-22 cs.CL
The Hidden Cost of Digits: Number Normalization and WER in ASR Systems
AGH University of Krakow(克拉科夫AGH大学)
本研究以波兰语为例,分析数字归一化缺失对ASR系统词错误率评估的影响,发现其可造成超过2个百分点的显著差异,甚至超过多语言基准中系统间的差距。
2026-09-21 cs.CL eess.AS
Voice Conversion Based Speaker Normalization for Acoustic Unit Discovery
Paderborn University(帕德博恩大学)
纯粹从语音输入中发现与扬声器无关的声学单元是一个困难的问题。在这项工作中,我们提出了一个无监督的说话人归一化技术之前,单位发现。它是基于分离说话人相关的内容引起的变化,在语音信号与对抗性对比预测编码方法。这种技术既不需要转录的语音,也不需要扬声器标签,而且,可以以多语言的方式进行训练,从而实现扬声器标准化,即使只有很少的未标记的数据是从目标语言。说话人规范化是通过将所有的话语映射到一个代表整个数据库的medoid风格来完成的。我们证明了该方法的有效性进行声学单元发现与隐马尔可夫模型变分自动编码器注意到,但是,建议的扬声器归一化可以作为任何单位发现系统的前端。在英语、约鲁巴语和姆博希语上的实验表明,与使用非规范化输入相比,该方法有所改进。
2021-05-04 cs.CL cs.SD eess.AS
Language Agnostic Data-Driven Inverse Text Normalization
Meta Platforms, Inc.(Meta平台公司)
随着自动语音识别(ASR)模型的出现,迫切需要将口语形式的文本(从ASR)转换为书面形式。这种逆文本规范化(ITN)问题吸引了来自各个领域的研究人员的关注。最近,一些工作表明,数据驱动的ITN方法可以输出高质量的书面形式的文本。由于标注的口语-书面语数据集的稀缺性,对非英语数据驱动的ITN的研究非常有限。在这项工作中,我们提出了一个语言无关的数据驱动的ITN框架,以填补这一空白。具体来说,我们将数据增强与神经机器翻译的数据结合起来用于低资源语言。此外,我们设计了一个评估方法,语言无关的ITN模型时,只有英文数据。我们的实证评估表明,这种语言无关的建模方法是有效的低资源的语言,同时保持高资源的语言的性能。
2023-01-24 cs.CL cs.LG
A Unified Transformer-based Framework for Duplex Text Normalization
NVIDIA(英伟达);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
文本规范化(TN)和逆文本规范化(ITN)分别是文本到语音合成和自动语音识别中必不可少的预处理和后处理步骤。对于TN或ITN,已经提出了许多方法,从加权有限状态传感器到神经网络。尽管它们的性能令人印象深刻,但这些方法的目标是只解决两个任务中的一个,而不是两个。因此,在一个完整的口语对话系统,两个独立的模型TN和ITN需要建立。这种异质性增加了系统的技术复杂性,这反过来又增加了生产环境中的维护成本。出于这一观察,我们提出了一个统一的框架,建立一个单一的神经双工系统,可以同时处理TN和ITN。结合一个简单但有效的数据增强方法,我们的系统实现了最先进的结果对谷歌TN数据集的英语和俄语。他们还可以在内部英语TN数据集上达到95%以上的精确度,而无需任何额外的微调。此外,我们还创建了一个清洁的数据集从口语维基百科语料库德语和报告的性能,我们的系统上的数据集。总体而言,实验结果表明,提出的双重文本规范化框架是非常有效的,适用于一系列领域和语言
2021-08-23 cs.CL
RNN Approaches to Text Normalization: A Challenge
Google, Inc.(谷歌公司)
本文向社区提出了一个挑战:给定一个与其规范化口语形式对齐的大型书面文本语料库,训练RNN来学习正确的规范化函数。我们提出了一个一般文本的数据集,其中使用现有的文本到语音系统的文本规范化组件生成的规范化。该数据集将在不久的将来以开源方式发布。我们还提出了我们自己的实验,这个数据集与各种不同的RNN架构。虽然某些架构在总体准确性方面确实产生了非常好的结果,但产生的错误是有问题的,因为如果在语音应用中部署这样的系统,它们将传达完全错误的消息。另一方面,我们证明了一个简单的基于FST的滤波器可以减轻这些误差,并达到RNN无法单独实现的精度水平。虽然我们的结论在这一点上很大程度上是负面的,但我们实际上并不是说文本规范化问题使用纯RNN方法是难以解决的,只是说它不是仅仅通过拥有大量注释文本数据并将其馈送到一般RNN模型就可以解决的问题。当我们开源我们的数据时,我们将提供一个用于序列到序列建模的新颖数据集,希望社区能够找到更好的解决方案。本工作中使用的数据已发布,可在https://github.com/rwsproat/text-normalization-data上获得
2017-01-24 cs.CL
Analyzing and Fine-Tuning Whisper Models for Multilingual Pilot Speech Transcription in the Cockpit
Institute of Data Science(数据科学研究所);German Aerospace Center(德国航空航天中心)
本文针对 Whisper 模型在多语言座舱飞行员语音转录中准确率低的问题,通过收集并标注相关录音,提出多种归一化方案,并利用 LoRA 进行高效微调,显著降低了词错率。
2025-06-27 cs.AI cs.CL cs.LG
Shennong: a Python toolbox for audio speech features extraction
Inria(法国国家信息与自动化研究所);EHESS(法国高等社会科学研究院);ENS(巴黎高等师范学院);PSL Research University(巴黎文理研究大学);CNRS(法国国家科学研究中心);Facebook AI Research(脸书人工智能研究院)
我们介绍了神农,一个Python工具箱和命令行实用程序的语音特征提取。它实现了广泛的成熟的最先进的算法,包括频谱-时间滤波器,如梅尔频率倒谱滤波器组或预测线性滤波器,预训练的神经网络,音高估计器以及扬声器归一化方法和后处理算法。Shennong是一个开源、易用、可靠和可扩展的框架。Python的使用使得与其他语音建模和机器学习工具的集成变得容易。它旨在取代或补充几个异构软件,如Kaldi或Praat。在描述了神农软件体系结构、核心组件和实现算法之后,本文说明了它在三个应用上的使用:在音素辨别任务上的语音特征性能的比较、作为用于训练的语音持续时间的函数的声道长度归一化模型的分析以及在各种噪声条件下的音高估计算法的比较。
2021-12-10 cs.CL cs.SD eess.AS
Normalization of Non-Standard Words in Croatian Texts
University of Rijeka(里耶卡大学)
本文介绍了文本规范化,这是任何文本到语音合成系统的一个组成部分。文本规范化是一组方法,其任务是以完整的扩展形式编写非标准单词,如数字,日期,时间,缩写,首字母缩略词和最常见的符号。提出了克罗地亚语非标准词分类的整体分类法以及基于规则的规范化方法和查找词典。克罗地亚语文本标准化的实现率为95%,其中80%的扩展单词具有正确的形态形式。
2015-03-30 cs.CL
An End-to-end Chinese Text Normalization Model based on Rule-guided Flat-Lattice Transformer
Tsinghua-CUHK Joint Research Center for Media Sciences, Technologies and Systems(清华-中大媒体科学技术与系统联合研究中心);Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);The Chinese University of Hong Kong(香港中文大学);Databaker (Beijing) Technology Co., Ltd(标贝(北京)科技有限公司)
在文语转换系统中,文本规范化是将非标准词转换为口语词的过程,它对合成语音的可懂度起着至关重要的作用。基于规则的方法不考虑上下文不能消除歧义,而基于序列到序列神经网络的方法遭受意外和不可解释的错误问题。目前提出的混合系统将基于规则的模型和神经网络模型作为两个级联的子模块,其中有限的交互能力使得神经网络模型不能充分利用规则中包含的专家知识。受Flat-LAttice Transformer(FLAT)的启发,本文提出了一种端到端的中文文本规范化模型,该模型以汉字作为直接输入,并将规则中包含的专家知识集成到神经网络中,这两点都有助于该模型在文本规范化任务中的优越性能。我们还发布了第一个公开访问的大规模数据集,用于中文文本规范化。我们提出的模型在这个数据集上取得了很好的效果。
2022-03-31 cs.CL cs.SD eess.AS
FusionFormer: Fusing Operations in Transformer for Efficient Streaming Speech Recognition
Tsinghua University(清华大学);Horizon Robtics(地平线机器人);WeNet Open Source Community(WeNet开源社区)
最近提出的Conformer结构结合了卷积和注意力来捕获局部和全局依赖关系,已成为自动语音识别~(ASR)的\textit{de facto}骨干模型。继承了自然语言处理(NLP)任务,该架构采用层归一化~(LN)作为默认的归一化技术。然而,通过一系列系统的研究,我们发现LN虽然只贡献了FLOP的0.1%,但它却占用了推理时间的10%。这促使我们用其他标准化技术代替LN,例如,批量归一化~(BN),利用算子融合方法加快推理速度,避免了在推理过程中计算均值和方差统计量。在检查了几种直接去除所有LN层或在同一位置用BN替换它们的简单尝试后,我们发现发散问题主要是由不稳定的层输出引起的。因此,我们建议将BN层附加到每个线性或卷积层,其中观察到稳定的训练结果。我们还建议简化Conformer中的激活,例如Swish和GLU,将其替换为ReLU。所有这些交换的模块可以融合到相邻线性/卷积层的权重中,因此具有零推理成本。因此,我们将其命名为FusionFormer。我们的实验表明,FusionFormer与基于LN的Conformer一样有效,并且速度快约10%。
2022-10-31 cs.CL cs.SD eess.AS
A Bayesian Approach to Estimation of Speaker Normalization Parameters
Idiap Research Institute(伊迪亚普研究所);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
在这项工作中,贝叶斯说话人归一化的方法,提出了一个独立的语音识别系统的性能下降进行补偿。本文提出的说话人归一化方法使用声道长度归一化(VTLN)技术。VTLN参数估计使用一种新的贝叶斯方法,利用吉布斯采样器,一种特殊类型的马尔可夫链蒙特卡罗方法。此外,超参数估计使用最大似然方法。该模型假设人的声道可以被建模为均匀截面的管。与文献中使用的线性模型相比,它更有效地捕捉了不同说话者声道长度的变化。本文还研究了不同的方法,如最小化均方误差(MSE)和平均绝对误差(MAE)的VTLN参数估计。单遍和两遍的方法,然后用来建立一个基于VTLN的语音识别器。从一个中等词汇的元音和印地语短语识别的实验结果表明,贝叶斯方法提高了相当大的利润率的性能。
2016-10-19 cs.CL cs.SD stat.AP
Shallow Fusion of Weighted Finite-State Transducer and Language Model for Text Normalization
NVIDIA(英伟达)
生产中的文本规范化(TN)系统在很大程度上是基于规则的,使用加权有限状态转换器(WFST)。然而,当规范化形式是上下文相关的时,基于WFST的系统与模糊输入作斗争。另一方面,神经文本规范化系统可以考虑上下文,但他们遭受不可恢复的错误,并需要标记的规范化数据集,这是很难收集。我们提出了一种新的混合方法,结合了基于规则和神经系统的好处。首先,非确定性WFST输出所有标准化候选,然后神经语言模型选择最佳候选-类似于自动语音识别的浅层融合。虽然WFST防止不可恢复的错误,但语言模型解决了上下文歧义。该方法很容易扩展,我们表明它是有效的。它实现了可比或更好的结果比现有的国家的最先进的TN模型。
2022-03-29 cs.CL
SLAM: A Unified Encoder for Speech and Language Modeling via Speech-Text Joint Pre-Training
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院);New York University(纽约大学)
无监督预训练现在是文本和语音理解的主要方法。在大量未注释数据上预先训练的自我注意模型在对来自各种领域和语言的下游任务进行微调时取得了巨大的成功。本文通过在单个模型中统一语音和文本预训练,进一步提高了无监督语言预训练的通用性。我们建立了一个单一的编码器与BERT目标上的未标记的文本与w2 v-BERT目标上的未标记的语音。为了进一步调整我们的模型表示跨模态,我们利用对齐损失,特别是翻译语言建模(TLM)和语音文本匹配(STM),它们利用了有监督的语音文本识别数据。我们证明,在预训练期间合并语音和文本数据可以显着提高CoVoST~2语音翻译的下游质量,与单模态预训练模型相比,提高了约1 BLEU,同时在LibriSpeech和SpeechStew ASR任务上保持接近SotA的性能。在四个GLUE任务和文本规范化,我们观察到两种模式之间的容量限制和干扰的证据,导致性能下降相比,一个等效的纯文本模型,同时仍然具有竞争力的BERT。通过大量的实证分析,我们还证明了选择目标函数的语音预训练的重要性,以及添加额外的监督信号对学习表示的质量的有益影响。
2021-10-20 cs.CL cs.LG
Part-of-Speech Tagging for Historical English
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
随着越来越多的历史文本被数字化,人们有兴趣将自然语言处理工具应用于这些档案。然而,由于语言的变化和体裁的差异,这些工具的性能往往不能令人满意。拼写规范化语法是处理历史文本的主要解决方案,但这种方法无法解释用法和词汇的变化。在这篇实证论文中,我们评估了领域自适应技术处理历史文本的能力,重点是经典的基准任务词性标注。我们评估了几种领域自适应方法对宾夕法尼亚大学历史英语语料库中早期现代英语和现代英国英语文本的标注任务。我们证明了无监督领域自适应的特征嵌入方法优于词嵌入和布朗聚类,显示了嵌入整个特征空间的重要性,而不仅仅是单个词。特征嵌入也比拼写规范化提供了更好的性能,但这两种方法的结合更好,在早期现代英语文本上的标记准确性提高了5%。
2016-04-04 cs.CL cs.DL
Normalization of Lithuanian Text Using Regular Expressions
Institute of Informatics, Faculty of Mathematics and Informatics(信息学研究所,数学与信息学学院);Vilnius University(维尔纽斯大学)
本文针对立陶宛语文本到语音合成中的文本规范化问题,提出基于正则表达式的非标准词检测与扩展规则,并在三个数据集上验证了准确性,给出了错误分析与改进建议。
2024-01-01 cs.CL
indic-punct: An automatic punctuation restoration and inverse text normalization framework for Indic languages
Thoughtworks(思特沃克);Ekstep Foundation(Ekstep基金会)
自动语音识别(ASR)生成的文本大多数时候没有任何标点符号。缺少标点符号会影响文本的可读性。此外,诸如情感分析、机器翻译之类的下游NLP任务通过具有标点符号和句子边界信息而大大受益。我们提出了一种使用预训练IndicBERT模型的文本自动标点方法。逆文本规范化是通过手写加权有限状态转换器(WFST)语法来完成的。我们已经为11种印度语言开发了这个工具,即印地语,泰米尔语,泰卢固语,卡纳达语,古吉拉特语,马拉地语,奥迪亚语,孟加拉语,阿萨姆语,马拉雅拉姆语和旁遮普语。所有代码和数据都是公开的。可用
2022-03-31 cs.CL
CNN+LSTM Architecture for Speech Emotion Recognition with Data Augmentation
LIMSI(LIMSI实验室);CNRS(法国国家科学研究中心);Paris-Sud University(巴黎南大学);Paris-Saclay University(巴黎萨克雷大学);DreamQuark(DreamQuark公司)
在这项工作中,我们设计了一个神经网络识别语音中的情绪,使用IEMOCAP数据集。根据音频分析的最新进展,我们使用了一种涉及两个卷积层的架构,用于从原始频谱图中提取高级特征,以及用于聚合长期依赖关系的递归特征。我们研究的技术,数据增强与声乐音轨长度扰动,逐层优化调整,批量归一化的递归层,并获得高度竞争力的结果为64.5%的加权准确度和61.7%的未加权准确度的四种情绪。
2018-09-11 cs.CL cs.LG cs.SD
NeMo Inverse Text Normalization: From Development To Production
NVIDIA(英伟达);Google(谷歌);The Graduate Center, City University of New York(纽约市立大学研究生中心)
反向文本规范化(ITN)将口语域自动语音识别(ASR)输出转换为书面域文本,以提高ASR输出的可读性。许多国家的最先进的ITN系统使用手写加权有限状态传感器(WFST)的语法,因为这项任务具有极低的容忍度不可恢复的错误。我们为ITN引入了一个基于开源Python WFST的库,它可以实现从开发到生产的无缝路径。我们描述了ITN语法规则的英语规范,但该库可以适用于其他语言。它也可以用于书面到口语的文本规范化。我们使用Google Text标准化数据集的修改版本来评估NeMo ITN库。
2021-05-17 cs.CL cs.SD eess.AS
Adversarial Text Normalization
Meta AI;University of Waterloo(滑铁卢大学)
基于文本的对抗攻击正变得越来越普遍,普通互联网用户也可以使用。随着这些攻击的激增,解决模型鲁棒性差距的需求变得迫在眉睫。虽然对抗性数据的再训练可能会提高性能,但这些模型仍然存在另一类字符级攻击。此外,重新训练模型的过程是时间和资源密集型的,这就需要一个轻量级的、可重用的防御。在这项工作中,我们提出了对抗性文本规范化器,这是一种新的方法,可以以较低的计算开销恢复受攻击内容的基线性能。我们评估了规范化器在容易受到对抗攻击的两个问题领域,即仇恨语音和自然语言推理上的功效。我们发现,文本规范化提供了一种针对字符级攻击的任务不可知的防御,可以作为对抗性再训练解决方案的补充,后者更适合于语义改变。
2022-06-08 cs.CL
Strategies for Training Large Vocabulary Neural Language Models
Washington University(华盛顿大学);Facebook AI Research(脸书人工智能研究院)
与Kneser-Ney等基于计数的模型相比,在大型词汇表上训练神经网络语言模型在计算上仍然非常昂贵。与此同时,神经语言模型在许多应用中越来越受欢迎,例如语音识别和机器翻译,其成功取决于可扩展性。我们提出了一个系统的比较策略来表示和训练大词汇,包括softmax,分层softmax,目标采样,噪声对比估计和自归一化。我们进一步扩展自规范化是一个适当的估计的可能性,并介绍了一个有效的变种softmax。我们评估每种方法的三个流行的基准,检查性能的罕见的话,速度/准确性的权衡和互补Kneser-Ney。
2015-12-15 cs.CL cs.LG
FastThaiG2P: Lightning-fast Thai Grapheme-to-phoneme Conversion for Voice Agent Pipelines
AWS(亚马逊云科技)
FastThaiG2P是一款极速泰语字素转音素转换工具,采用PyThaiNLP分词字典与归一化规则,亚毫秒级延迟,可支撑泰语TTS开发,经其处理的数据集训练出的StyleTTS 2模型合成语音清晰,实时率达0.25。
2026-08-14 cs.CL
Improving Data Driven Inverse Text Normalization using Data Augmentation
University of California Merced(加州大学默塞德分校);Meta Inc.(Meta公司)
反向文本规范化(ITN)用于将自动语音识别(ASR)系统的口语形式输出转换为书面形式。传统的手工ITN规则可能很复杂,难以转录和维护。同时,神经建模方法需要在与ASR系统相同或相似的域中的高质量的大规模讲写对示例(域内数据)来进行训练。这两种方法都需要昂贵且复杂的注释。在本文中,我们提出了一个数据增强技术,有效地产生丰富的口语,书面数字对从域外的文本数据与最少的人的注释。我们的经验表明,使用我们的数据增强技术训练的ITN模型在所有数字表面(如基数,货币和分数)上始终优于仅使用域内数据训练的ITN模型,总体准确率为14.44%。
2022-07-20 cs.CL cs.LG cs.SD
Meta-StyleSpeech : Multi-Speaker Adaptive Text-to-Speech Generation
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);AITRICS
随着神经文本转语音(TTS)模型的快速发展,个性化语音生成现在在许多应用中具有很高的需求。为了实用性,TTS模型应该仅用来自给定说话者的几个音频样本生成高质量的语音,这些音频样本的长度也很短。然而,现有的方法要么需要微调的模型或实现低适应质量没有微调。在这项工作中,我们提出了StyleSpeech,一个新的TTS模型,不仅合成高质量的语音,但也有效地适应新的扬声器。具体来说,我们提出了风格自适应层归一化(SALN),它根据从参考语音音频中提取的风格来调整文本输入的增益和偏差。与SALN,我们的模型有效地合成语音的风格的目标扬声器,甚至从单一的语音音频。此外,为了增强StyleSpeech对新演讲者语音的适应性,我们通过引入两个用风格原型训练的判别器并进行情景训练来将其扩展到元StyleSpeech。实验结果表明,我们的模型生成高质量的语音,准确地遵循说话人的声音与单一的短持续时间(1-3秒)的语音音频,显着优于基线。
2021-06-16 cs.CL cs.LG cs.SD
AdaCS: Adaptive Normalization for Enhanced Code-Switching ASR
VinBrain;Aivicam
针对低资源语言句内语码转换ASR准确率低的问题,本研究提出集成自适应偏置注意力模块的AdaCS归一化模型,借助推理偏置词表处理未知语码转换,在越南语测试集上较现有最优方法实现56.2%和36.8%的WER下降。
2025-01-13 cs.AI cs.CL cs.SD
Multilevel Text Normalization with Sequence-to-Sequence Networks and Multisource Learning
University of Zurich(苏黎世大学)
我们将多级文本规范化定义为序列到序列处理,该处理将自然噪声文本转换为规范化的意义单位(词素)序列,分为三个步骤:1)书写规范化,2)词形化,3)规范分割。这些步骤传统上被认为是独立的NLP任务,具有不同的解决方案,评估方案和数据源。我们利用所有这些任务都涉及子字序列到序列转换的事实,使用神经编码器-解码器技术为所有这些任务提出一个系统的解决方案。本文所要解决的具体挑战是将传统的独立任务的知识整合到神经序列到序列框架中,以改进现有技术。我们通过使用允许处理多层次文本组织信息的机制来丰富一般框架来解决这一挑战(字符、词素、单词、句子)与结构信息(多级语言模型、词性)和异构源(文本、词典)相结合。我们表明,我们的解决方案在所有三个步骤中始终改进了当前的方法。此外,我们分析了我们的系统的性能,以显示集成组件的整体改进的具体贡献。
2019-03-29 cs.CL