VOX-KRIKRI: Unifying Speech and Language through Continuous Fusion
Institute for Speech and Language Processing, Athena Research Center, Greece(语音与语言处理研究所,亚特兰蒂斯研究中心,希腊)
本文提出在连续文本表示空间中通过跨模态注意力融合Whisper与LLM,构建首个希腊语语音LLM VoxKrikri,并在希腊语ASR上平均取得约20%的相对提升。
2025-09-19 cs.CL cs.SD eess.AS
ASR2K: Speech Recognition for Around 2000 Languages without Audio
Carnegie Mellon University(卡内基梅隆大学)
最近的语音识别模型依赖于大型监督数据集,这对于许多低资源语言是不可用的。在这项工作中,我们提出了一个语音识别管道,不需要任何音频的目标语言。唯一的假设是我们可以访问原始文本数据集或一组n-gram统计数据。我们的语音管道由三个组件组成:声学、发音和语言模型。与标准管道不同,我们的声学和发音模型使用多语言模型,无需任何监督。语言模型使用n-gram统计或原始文本数据集构建。我们建立了语音识别的1909种语言,结合它与Crubadan:一个大型的濒危语言n-gram数据库。此外,我们在两个数据集上测试了129种语言:Common Voice和CMU Wilderness数据集。我们实现了50%的CER和74%的WER的荒野数据集与Crubadan统计数据,并提高到45% CER和69% WER时,使用10000个原始文本话语。
2022-09-06 cs.CL
Finite-State Approximation of Phrase-Structure Grammars
短语结构语法是自然语言重要的句法和语义方面的有效模型,但在实时语音识别中用作语言模型在计算上要求太高。因此,有限状态模型被使用,即使它们缺乏表达能力。为了调和这两种选择,我们设计了一个算法来计算上下文无关文法和上下文无关等价增广短语结构文法的有限状态近似。这个近似对于某些生成正则语言的上下文无关文法是精确的,包括所有左线性和右线性上下文无关文法。该算法已被用来建立有限域语音识别任务的有限状态语言模型。
1996-03-08 cmp-lg cs.CL
Model Interpolation with Trans-dimensional Random Field Language Models for Speech Recognition
Tsinghua University(清华大学);Toshiba Corporation(东芝公司)
主要的语言模型(LM),如n-gram和神经网络(NN)模型表示句子概率的条件。相比之下,一个新的跨维随机场(TRF)LM最近已被引入,以显示优越的性能,其中整个句子被建模为一个随机场。在本文中,我们研究了如何将TRF模型与NN模型进行插值,并通过对数线性组合,在6-gram线性模型上分别获得了12.1%和17.9%的相对出错率降低,用于英语和汉语语音识别。
2016-08-20 cs.CL cs.LG stat.ML
TokenVerse: Towards Unifying Speech and NLP Tasks via Transducer-based ASR
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);University of Zurich(苏黎世大学);Brno University of Technology(布尔诺理工大学);Uniphore(尤尼福公司)
针对传统语音对话智能级联流水线流程繁琐的问题,提出基于Transducer的TokenVerse模型,通过在ASR训练中融入任务特定token统一处理语音与NLP任务,在多任务上性能优于级联方案,ASR相对WER最高提升7.7%。
2024-10-08 cs.CL cs.SD eess.AS
Gram-CTC: Automatic Unit Selection and Target Decomposition for Sequence Labelling
Baidu Silicon Valley AI Lab(百度硅谷人工智能实验室)
大多数现有的序列标记模型依赖于将靶序列固定分解为基本单元的序列。这些方法有两个主要缺点:1)基本单元的集合是固定的,例如语音识别中的单词、字符或音素的集合,以及2)目标序列的分解是固定的。这些缺点通常导致建模序列的次优性能。本文对目前流行的CTC损失准则进行了扩展,提出了一种新的损失函数Gram-CTC。在保留CTC优点的同时,Gram-CTC自动学习最佳的基本单位(克)集,以及最合适的目标序列分解。与CTC不同的是,Gram-CTC允许模型在每个时间步输出可变数量的字符,这使得模型能够捕获更长时间的依赖关系,并提高计算效率。我们表明,建议的Gram-CTC提高CTC的性能和效率方面的大词汇量语音识别任务在多个尺度的数据,并与Gram-CTC,我们可以超越国家的最先进的标准语音基准。
2017-08-12 cs.CL cs.LG cs.NE
Large Scale Distributed Acoustic Modeling With Back-off N-grams
Google, Inc.(谷歌公司);University of Washington(华盛顿大学)
该文件恢复了一个旧的方法,声学建模,借用n-gram语言建模,试图扩大训练数据量和模型的大小(测量模型中的参数的数量),大约100倍以上,目前使用的自动语音识别的大小。在这样一个数据丰富的设置,我们可以扩展语音上下文显着超出三音子,以及增加高斯混合成分的上下文相关的状态,允许它的数量。我们已经实验了跨越七个或更多的上下文无关的电话,和高达620混合成分的状态。由于实现的简单性,处理不可见的语音上下文是使用语言建模中使用的熟悉的回退技术来完成的。使用MapReduce分布式计算基础设施来估计、存储和提供退避声学模型。语音识别实验是在谷歌语音搜索的N-最佳列表重新评分框架。在大量数据上训练大模型被证明是提高最先进的自动语音识别系统准确性的有效方法。我们使用87,000小时的训练数据(语音和转录),这些数据是通过在自动语音识别置信度上过滤语音搜索日志中的话语获得的。使用最大似然训练来估计大小在20- 40百万高斯之间的模型。当与使用最大似然训练的第一遍模型和增强的最大互信息相结合时,它们分别实现了11%和6%的单词错误率的相对降低。将上下文大小增加到超过五个音素(五音素)并没有帮助。
2013-02-05 cs.CL
Approximating Context-Free Grammars with a Finite-State Calculus
尽管用于句法分析和语义解释的人类语言的适当模型至少具有上下文无关的复杂性,但是对于诸如语音处理之类的速度很重要的应用,有限状态模型通常是优选的。这些要求可以通过使用更复杂的语法来自动导出有限状态近似来协调,该有限状态近似然后可以用作过滤器来指导语音识别或在处理的早期阶段拒绝许多假设。这里提出了一种方法来计算这样的有限状态近似上下文无关的文法。它本质上不同于Pereira和Wright(1991; 1996)提出的算法,在某些情况下更快,并且具有开放性和适应性的优点。
1997-11-11 cmp-lg cs.CL
Dialogue Act Modeling for Automatic Tagging and Recognition of Conversational Speech
我们描述了一种用于对会话语音中的对话行为进行建模的统计方法,即,类似言语行为的单元,如陈述、问题、反向通道、同意、不同意和道歉。我们的模型检测和预测的基础上的词汇,搭配,韵律线索,以及对话行为序列的话语连贯性的对话行为。对话模型是基于治疗会话的话语结构作为一个隐藏的马尔可夫模型和个人的对话行为的观察,从模型的状态。通过对话行为n-gram对可能的对话行为序列进行约束建模,将统计对话语法与单词n-gram、决策树和神经网络相结合,对每个对话行为的特殊词汇和韵律表现进行建模。我们开发了一个概率集成的语音识别与对话建模,以提高语音识别和对话行为分类的准确性。使用来自自发的人对人电话语音的Switchboard语料库的1,155个会话的大型手动标记数据库来训练和评估模型。我们实现了良好的对话行为标记准确率(65%基于错误,自动识别的单词和韵律,71%基于单词成绩单,相比之下,机会基线准确率为35%,人类准确率为84%)和单词识别错误的小幅减少。
2000-10-26 cs.CL
ASR Context-Sensitive Error Correction Based on Microsoft N-Gram Dataset
目前,计算机被用来解决复杂的任务和问题,从简单的计算到密集的数字图像处理和复杂的算法优化问题到需要计算的天气预报问题。ASR是自动语音识别的缩写,它是另一种类型的计算问题,其目的是识别人类所说的语音,并将其转换为可以由计算机处理的文本。尽管ASR具有许多通用且普遍的现实世界应用,但它仍然是相对错误的并且没有完美地解决,因为它易于在识别的文本中产生拼写错误,特别是如果ASR系统在噪声环境中操作,其词汇量有限,并且其输入语音质量差或低。提出了一种基于MicrosoftN-Gram数据集的ASR编辑后纠错方法,用于检测和纠正ASR系统产生的拼写错误。所提出的方法包括用于检测单词错误的错误检测算法;用于为检测到的单词错误生成校正建议的候选校正生成算法;以及用于选择用于校正的最佳候选的上下文敏感的错误校正算法。使用Microsoft N-Gram数据集的优点是它包含从网络中提取的真实数据和单词序列,可以模仿具有大型和包罗万象的词汇的全面词典。对不同演讲者的大量演讲进行的实验表明,ASR错误显着减少。未来的研究可以改进所提出的算法,以便它可以并行化,以利用多处理器和分布式系统。
2012-03-23 cs.CL
Unifying Diarization, Separation, and ASR with Multi-Speaker Encoder
Honda Research Institute Japan, Japan(本田研究院日本);Carnegie Mellon University, USA(卡内基梅隆大学)
本文提出统一多说话人编码器(UME),通过共享语音基础编码器联合学习说话人识别、语音分离和多说话人ASR任务的表示,提升重叠语音数据性能。
2026-05-13 cs.CL cs.SD eess.AS
Improving Mandarin End-to-End Speech Recognition with Word N-gram Language Model
Peking University(北京大学);Tencent AI Lab(腾讯人工智能实验室)
尽管端到端(E2 E)自动语音识别(ASR)的快速发展,但是已经表明,将外部语言模型(LM)并入解码中可以进一步提高E2 E ASR系统的识别性能。为了与E2 E ASR系统中采用的建模单元保持一致,字符、BPE)LM通常用于与当前的E2 E ASR系统协作。然而,使用子字级LM将忽略字级信息,这可能限制E2 E ASR中外部LM的强度。虽然已经提出了几种方法来将词级外部LM合并到E2 E ASR中,但是这些方法主要是针对具有清晰词边界的语言(例如英语)而设计的,并且不能直接应用于像普通话这样的语言,其中每个字符序列可以具有多个对应的词序列。为此,我们提出了一种新的解码算法,其中构建一个字级格上的飞行考虑所有可能的字序列的每个部分假设。然后,通过将生成的格与外部词N-gram LM相交来获得假设的LM得分。该方法在基于注意力的编码器-解码器(AED)和神经传感器(NT)框架上进行了研究。实验表明,我们的方法始终优于子字级LM,包括N-gram LM和神经网络LM。我们在Aishell-1(CER 4.18%)和Aishell-2(CER 5.06%)数据集上都获得了最先进的结果,并在21 K小时的普通话数据集上将CER相对减少了14.8%。
2022-01-06 cs.CL cs.SD eess.AS
Minimally Supervised Written-to-Spoken Text Normalization
Google(谷歌)
在诸如文本到语音(TTS)或自动语音识别(ASR)的语音应用中,\emph{text normalization}指的是从\emph{written}表示转换成文本将如何是\emph{spoken}的表示的任务。在所有真实世界的语音应用程序中,文本规范化引擎都是手工开发的。例如,可以使用手工构建的语法来列举在给定语言中说出给定标记的可能方式,并且使用统计模型来选择上下文中最适当的发音。在这项研究中,我们研究了在文本规范化引擎中使用或多或少特定于语言的领域知识的权衡。在数据最丰富的场景中,我们可以访问精心构建的手工构建的规范化语法,对于任何给定的token,该语法都会为该token生成一组所有可能的动词化。我们还假设了一个语料库对齐的书面-口语话语,从中我们可以训练一个排名模型,选择适当的动词化为给定的上下文。作为精心构造的语法的替代品,我们还考虑了一种具有语言通用规范化\emph{covering grammar}的场景,其中开发人员只需要提供一组特定于该语言的词汇项。作为对齐语料库的替代,我们还考虑了一种情况,其中只有口语侧,并且通过用反向规范化语法组成口语侧来“幻觉化”相应的书面侧。我们调查的准确性的文本规范化引擎在这些情况下。我们报告的实验结果英语和俄语。
2016-09-21 cs.CL
Grammar Based Speaker Role Identification for Air Traffic Control Speech Recognition
Idiap Research Institute(Idiap研究所);Brno University of Technology(布尔诺理工大学);Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院);University of Zurich(苏黎世大学);German Aerospace Center (DLR)(德国航空航天中心)
用于空中交通管制的自动语音识别(ASR)通常通过将空中交通管制员(ATCO)和飞行员数据汇集到一个集合中来训练。这是因为飞行员的语音通信比ATCO更稀缺。由于这种数据不平衡和其他原因(例如,在不同的声学条件下),ATCO的语音通常比飞行员的语音识别得更准确。自动识别说话者角色是一项具有挑战性的任务,特别是在使用甚高频(VHF)接收器收集的嘈杂语音记录的情况下,或者由于一键通(PTT)信号的不可用,即,两个音频通道被混合。在这项工作中,我们建议(1)自动分割ATCO和飞行员数据的基础上,利用ASR成绩单的直观方法和(2)随后考虑自动识别ATCO和飞行员的声音作为两个独立的任务。我们的工作是在具有高噪声水平的VHF音频数据上进行的,即,信噪比(SNR)低于15 dB,因为该数据被认为有助于各种基于语音的机器学习任务。具体而言,对于扬声器的角色识别任务,该模块是由一个简单而有效的知识为基础的系统,利用国际民用航空组织(ICAO)定义的语法。系统接受文本作为输入,无论是手动验证的注释还是自动生成的抄本。所开发的方法提供了约83%的说话人角色识别的平均准确率。最后,我们证明了单独训练ASR任务的声学模型(即,ATCO和飞行员的单独模型)或使用多任务方法非常适合噪音数据,并且优于将所有数据汇集在一起的传统ASR系统。
2022-12-14 cs.CL cs.LG eess.AS
Correction of Automatic Speech Recognition with Transformer Sequence-to-sequence Model
NVIDIA(英伟达)
在这项工作中,我们介绍了一个简单而有效的自动语音识别(ASR)后处理模型。我们的模型具有基于transformer的编码器-解码器架构,该架构将ASR模型输出“翻译”成语法和语义正确的文本。我们研究了正则化和优化模型的不同策略,并表明需要广泛的数据增强和预训练权重的初始化来实现良好的性能。在LibriSpeech基准测试中,我们的方法在单词出错率方面比使用贪心解码的基线声学模型有了显着的改善,特别是在评估数据集的噪声更大的dev-other和test-other部分。我们的模型也优于基线与6-gram语言模型重新评分和接近的性能与transformer-XL神经语言模型重新评分。
2019-10-23 cs.CL cs.SD eess.AS
Speech Corpora Divergence Based Unsupervised Data Selection for ASR
Institute of Acoustics, Chinese Academy of Sciences(中国科学院声学研究所);University of Chinese Academy of Sciences(中国科学院大学)
自动语音识别(ASR)训练过程中,应用场景匹配数据的选取是一个重要环节,但训练语料的匹配程度难以度量。提出了一种基于语音语料库差异度(SCD)的无监督目标感知数据选择方法,该方法可以度量两个语音语料库之间的相似性。我们首先使用自监督Hubert模型将语音语料离散化为标签序列,并计算N-gram概率分布。然后我们计算N元语法之间的Kullback-Leibler散度作为SCD。最后,我们可以选择具有最小SCD的子集到目标语料库进行标注和训练。与以往的数据选择方法相比,SCD数据选择方法可以关注更多的声学细节,并保证所选数据集的多样性。我们评估我们的方法对不同的口音从共同的声音。实验结果表明,提出的SCD数据选择可以实现14.8%的相对改善随机选择,相当于甚至优于监督选择的结果。
2023-02-26 cs.CL cs.SD eess.AS
Textual Data Augmentation for Arabic-English Code-Switching Speech Recognition
KANARI AI(卡纳里人工智能公司);Johns Hopkins University(约翰斯·霍普金斯大学);Qatar Computing Research Institute(卡塔尔计算研究所)
话语内语码转换(CS)在口语内容中的普遍性要求语音识别(ASR)系统处理混合语言。设计CS-ASR系统有许多挑战,主要是由于数据稀缺,语法结构复杂性和领域不匹配。最常见的解决CS的方法是训练ASR系统与可用的转录CS语音,以及单语数据。在这项工作中,我们提出了一个零样本学习CS-ASR的方法,通过人工生成CS文本来增强单语数据。我们基于我们的方法随机词汇替换和等价约束(EC),同时利用对齐的翻译对生成随机和语法上有效的CS内容。我们的实证结果表明,65.5%的相对减少语言模型困惑,7.7%的ASR WER在两个生态有效的CS测试集。使用EC对生成的文本进行的人工评估表明,超过80%的文本具有足够的质量。
2023-01-11 cs.CL cs.SD eess.AS
Cascaded encoders for unifying streaming and non-streaming ASR
Google LLC(谷歌公司)
到目前为止,端到端(E2 E)自动语音识别(ASR)模型在几个基准测试中表现出了竞争力。这些模型被构造为在流模式或非流模式下操作。这项工作提出了级联编码器,用于建立一个单一的E2 E ASR模型,可以同时在这两种模式下工作。该模型由流和非流编码器。输入特征首先由流编码器处理;非流编码器仅对流编码器的输出进行操作。然后,单个解码器学习使用流式或非流式编码器的输出进行解码。实验结果表明,该模型在流媒体模式下的误字率与独立流媒体模型相近,在非流媒体模式下的误字率相对提高了10% - 27%。我们的研究结果还表明,所提出的方法优于现有的E2 E两遍模型,特别是在长形式的语音。
2020-10-27 cs.CL cs.SD eess.AS
Unifying Global and Near-Context Biasing in a Single Trie Pass
Idiap Research Institute(Idiap研究 institute);University of Zurich(苏黎世大学);EPFL(洛桑联邦理工学院);Brno University of Technology(布拉格技术大学);Uniphore(Uniphore公司)
针对端到端ASR模型在稀有词、命名实体识别及领域适配的难题,提出结合命名实体偏置列表与词级n-gram语言模型的方法,集成至transducer系统中,在多语言数据集上实现实体识别与整体词错率的显著优化。
2025-07-02 cs.CL cs.SD eess.AS
Fast and accurate factorized neural transducer for text adaption of end-to-end speech recognition models
Microsoft Speech Group(微软语音组)
神经传感器由于其自然的流式传输能力,成为目前最流行的语音识别端到端模型。然而,它是具有挑战性的,以适应它与纯文本数据。因子化神经传感器(FNT)模型的提出,以减轻这个问题。与标准神经传感器模型相比,FNT对纯文本适应数据的适应能力的提高是以降低准确性为代价的。我们提出了几种方法来提高FNT模型的性能。它们是:在训练过程中增加CTC准则,在自适应过程中增加KL发散损失,使用预训练的语言模型来播种词汇预测器,以及通过用n-gram语言模型内插词汇预测器的有效自适应方法。这些方法的组合结果在一个相对的字错误率从标准的FNT模型减少了9.48%。此外,使用词汇预测器的n-gram插值极大地提高了自适应速度,具有令人满意的自适应性能。
2023-02-23 cs.CL cs.SD eess.AS
Prefix Probabilities from Stochastic Tree Adjoining Grammars
用于语音识别的语言模型通常使用Pr(a_n)形式的概率模型|a_1,a_2,. a_{n-1})。另一方面,随机语法通常用于为话语分配结构。通过计算前缀概率Sum_{w in Sigma*} Pr(a_1.. a_n w),其中w表示前缀a_1. a_n。本文的主要结果是一个算法来计算这样的前缀概率给定一个随机树邻接文法(TAG)。算法的时间复杂度为O(n^6)。不派生前缀中的任何单词,但在结构上有助于其派生的子派生的概率被预先计算以实现终止。该算法使现有的基于语料库的随机TAG的估计技术用于语言建模。
1998-09-18 cs.CL
Recurrent Deep Stacking Networks for Speech Recognition
本文介绍了我们将递归深度堆叠网络(RDSNs)应用于鲁棒自动语音识别(ASR)任务的工作。在本文中,我们还提出了一种更有效的替代RDSN的方法,即双向堆叠网络(BPSN).这两种模型的主要思想是在声学模型中加入音素级信息,将声学模型转化为声学模型和音素级N-gram模型的结合。实验表明,RDSN和BPsn可以大大提高传统DNN的性能。
2020-11-11 cs.CL cs.SD
A Bayesian Network View on Acoustic Model-Based Techniques for Robust Speech Recognition
University of Erlangen-Nuremberg(埃尔朗根-纽伦堡大学);Beuth University of Applied Sciences Berlin(柏林贝uth应用科学大学)
本文提供了一个统一的贝叶斯网络视图的各种方法的声学模型自适应,丢失的功能,和不确定性解码,是众所周知的鲁棒自动语音识别的文献。这些类别的代表通常可以从贝叶斯网络中推导出来,该贝叶斯网络扩展了语音识别中使用的传统隐马尔可夫模型。这些扩展,反过来,在许多情况下,可以从一个底层的观察模型,涉及干净和扭曲的特征向量的动机。通过将观测模型转换为贝叶斯网络表示,我们制定了相应的补偿规则,导致一个统一的看法,对已知的推导,以及新的配方,某些方法。因此,在这方面的贡献提供的通用贝叶斯的角度突出了结构的差异和相似性之间的分析方法。
2014-09-22 cs.CL cs.LG stat.ML
Exploiting Syntactic Structure for Natural Language Modeling
本论文尝试利用自然语言的句法结构来改进语音识别的语言模型。结构化语言模型融合了自动解析和语言建模技术,使用移位-归约解析器的原始概率参数化。一个最大似然重新估计过程属于类的期望最大化算法的训练模型。在《华尔街日报》、Switchboard和广播新闻语料库上的实验表明,与标准的3-gram语言模型相比,在困惑度和单词出错率方面都有改善。本论文的意义在于提出了一种新颖的语言建模方法,该方法利用自然语言的层次句法结构来改进现有的用于大词汇量语音识别的3-gram建模技术。
2000-01-24 cs.CL
Improving Readability for Automatic Speech Recognition Transcription
University of Electronic Science and Technology of China(电子科技大学);Microsoft(微软)
现代自动语音识别(ASR)系统可以在识别准确性方面实现高性能。然而,由于语法错误,不流利和口语交流中常见的其他勘误,一个完全准确的成绩单仍然具有挑战性。许多下游任务和人类读者依赖于ASR系统的输出;因此,由扬声器和ASR系统引入的错误将传播到管道中的下一个任务。在这项工作中,我们提出了一种新的NLP任务,称为ASR后处理可读性(APR),旨在将嘈杂的ASR输出转换为人类和下游任务可读的文本,同时保持说话者的语义含义。此外,我们描述了一种方法来解决缺乏特定于任务的数据,通过使用语法错误校正(GEC)收集的数据集,然后通过文本到语音(TTS)和ASR合成APR任务的例子。此外,我们提出的指标借用类似的任务,以评估性能的APR任务。我们将基于几个开源和适应性预训练模型的微调模型与传统的管道方法进行了比较。我们的研究结果表明,微调模型显着提高性能的APR任务,暗示使用APR系统的潜在好处。我们希望我们工作中的阅读、理解和重写方法可以作为许多NLP任务和人类读者可以从中受益的基础。
2020-04-09 cs.CL
Towards Unsupervised Automatic Speech Recognition Trained by Unaligned Speech and Text only
National Taiwan University(国立台湾大学)
自动语音识别(ASR)已被广泛研究,但许多低资源语言缺乏音频-文本对齐数据,无法使用监督方法。在这项工作中,我们提出了一个框架,以实现无监督的ASR阅读英语语音数据集,其中音频和文本是不对齐的。在第一阶段中,话语中的每个单词级音频段由序列自动编码器提取的向量表示来表示,其中语音信息和说话者信息被解开。其次,使用skip-gram模型从向量表示训练音频片段的语义嵌入。最后,利用无监督的方法将音频片段的语义嵌入转换到文本嵌入空间,并最终将转换后的嵌入映射到单词。有了上述框架,我们将只使用未对齐的文本和语音训练无监督ASR。
2018-08-11 cs.CL
Lookup-Table Recurrent Language Models for Long Tail Speech Recognition
Google Research(谷歌研究院)
我们引入了查找表语言模型(LookupLM),这是一种通过增加嵌入表的表达能力来扩大RNN语言模型大小的方法,只需不断增加浮点运算。特别是,我们实例化了一个(额外的)嵌入表,它嵌入了之前的n-gram令牌序列,而不是单个令牌。这使得嵌入表可以任意地扩展--性能也相应地提高--而不需要改变标记词汇表。由于嵌入是通过查找从表中稀疏地检索的;增加表的大小既不会给每个前向传递增加额外的操作,也不会增加需要存储在有限的GPU/TPU内存上的额外参数。我们探索将n-gram嵌入表扩展到近十亿个参数。当在30亿句语料库上训练时,我们发现LookupLM在标准RNN语言模型基线上将下游语音识别任务的长尾对数困惑度提高了2.44,长尾WER提高了23.4%,这一改进与将基线放大6.2倍浮点运算的数量相当。
2021-06-07 cs.CL cs.SD eess.AS
Voice based self help System: User Experience Vs Accuracy
Tata Consultancy Services(塔塔咨询服务公司);TCS Innovation Lab - Mumbai(TCS孟买创新实验室)
通常,自助系统越来越多地被基于服务的行业部署,因为它们能够提供更好的客户服务,并且越来越多地切换到基于语音的自助系统,因为它们提供了用于人与机器交互的自然接口。基于语音的自助系统理想地需要一个语音识别引擎来将所说的语音转换成文本,此外还需要一个语言处理引擎来处理语音识别引擎的任何误识。任何现成的语音识别引擎通常是声学处理和语音语法的组合。虽然这是规范,但我们认为理想情况下,语音识别应用程序除了语音识别引擎之外,还应该具有单独的语言处理引擎,以使系统具有更好的性能。在本文中,我们讨论了如何将语音识别引擎和语言处理引擎相结合,以提供更好的用户体验。
2015-04-07 cs.CL
Multilingual self-supervised speech representations improve the speech recognition of low-resource African languages with codeswitching
Stanford University(斯坦福大学)
针对低资源非洲语言语码转换语音数据集过小难以训练模型的问题,提出微调 wav2vec 2.0 XLSR 等自监督多语言表征并结合 n-gram 语言模型,使绝对词错率最多降低 20%,是数据有限时的更优方案。
2023-11-25 cs.CL
Algorithms for Speech Recognition and Language Processing
语音处理需要非常有效的方法和算法。最近已被证明,双态传感器构成了一个非常有用的抽象模型,并导致在这个领域的高效的时间和空间算法。我们提出了这些方法和算法,并说明他们在语音识别的情况下。除了经典的技术,我们描述了许多新的算法,如最小化,全球和当地的飞行确定加权自动机,和高效的组合物的传感器。这些方法目前用于大词汇量语音识别系统。然后,我们将展示如何在文本到语音的应用程序和相关领域的语言处理,如形态,语法和本地语法,在一个非常有效的方式使用相同的形式主义和算法。该教程是独立的,不需要任何特定的计算或语言知识,除了经典的结果。
1996-09-17 cmp-lg cs.CL
Simulating realistic speech overlaps improves multi-talker ASR
Microsoft(微软)
研究了多说话人自动语音识别(ASR),以生成包含多个说话人重叠语音的自然会话的译文。由于难以获得具有高质量人类transmittance的真实会话数据,因此通过随机混合多个话语来对多说话者语音进行朴素模拟通常用于模型训练。在这项工作中,我们提出了一种改进的技术来模拟多说话者重叠语音与现实的语音重叠,其中语音重叠的任意模式表示的离散令牌的序列。通过这种表示,可以基于统计语言模型(例如N-gram)从真实对话中学习语音重叠模式,然后可以使用该模型来生成用于训练的多说话者语音。在我们的实验中,使用所提出的方法训练的多说话者ASR模型在多个数据集上显示出一致的单词错误率改善。
2022-11-17 cs.CL cs.SD eess.AS
Building a Non-native Speech Corpus Featuring Chinese-English Bilingual Children: Compilation and Rationale
FAU
本文介绍了一个包含50名5至6岁中英双语儿童、总计6.5小时的非母语语音语料库,采用自研远程方法采集音视频以缓解低可懂度转写挑战,并附带人工评分与错误标注,为二语教学及提升ASR性能提供宝贵资源。
2024-01-07 cs.CL
A Purely End-to-end System for Multi-speaker Speech Recognition
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));Toyohashi University of Technology(丰桥技术科学大学);Johns Hopkins University(约翰斯·霍普金斯大学)
近年来,人们对多说话人语音识别越来越感兴趣,其中多个说话人的话语从其混合物中被识别。有前途的技术已经提出了这项任务,但早期的工作需要额外的训练数据,如孤立的源信号或senone对齐有效的学习。在本文中,我们提出了一个新的序列到序列的框架,直接解码多个标签序列从一个单一的语音序列,统一的声源分离和语音识别功能的端到端的方式。我们进一步提出了一个新的目标函数,以提高隐藏向量之间的对比度,以避免产生类似的假设。实验结果表明,该模型能够直接学习从语音混合到多个标签序列的映射,与没有提出的目标训练的模型相比,实现了83.1%的相对改进。有趣的是,结果与以前的端到端作品具有显式分离和识别模块产生的结果相当。
2018-05-15 cs.CL cs.SD eess.AS
Space-Efficient Representation of Entity-centric Query Language Models
Apple(苹果公司)
虚拟助理利用自动语音识别(ASR)来帮助用户回答以实体为中心的查询。然而,口语实体识别是一个困难的问题,由于大量的频繁变化的命名实体。此外,当在设备上执行ASR时,可用于识别的资源受到限制。在这项工作中,我们调查使用概率语法作为语言模型内的有限状态转换器(FST)的框架。我们引入了一个确定性近似概率文法,避免了显式扩展的非终端在模型创建时,直接集成的FST框架,是互补的n-gram模型。我们获得了10%的相对字的出错率改善长尾实体查询相比,当一个类似大小的n-gram模型使用我们的方法。
2022-06-29 cs.AI cs.CL
Improving Punctuation Restoration for Speech Transcripts via External Data
Dialpad Canada Inc.(加拿大Dialpad公司)
自动语音识别(ASR)系统通常不产生加标点的转录。为了使转录本更具有可读性并遵循下游语言模型的预期输入格式,有必要添加标点符号。在本文中,我们专门针对噪声文本(例如,电话对话场景)。为了利用可用的书面文本数据集,我们引入了一种基于n-gram语言模型的数据采样技术,以采样更多与我们的域内数据相似的训练数据。此外,我们提出了一个两阶段的微调方法,利用采样的外部数据以及我们的域内数据集的模型的基础上BERT。大量的实验表明,该方法优于基线的1:12%F1分数的改善。
2021-10-01 cs.CL
Four-in-One: A Joint Approach to Inverse Text Normalization, Punctuation, Capitalization, and Disfluency for Automatic Speech Recognition
Microsoft Corporation(微软公司)
实体的标点、大写和格式等特征对于可读性、理解和自然语言处理任务都很重要。然而,自动语音识别(ASR)系统产生没有格式化的口语形式的文本,并且用于格式化的标记方法一次仅处理一个或两个特征。在本文中,我们统一口语到书面语的文本转换通过两个阶段的过程:首先,我们使用一个单一的Transformer标记模型,共同产生令牌级的标签,反向文本规范化(ITN),标点符号,大写,和不流利。然后,我们应用标签来生成书面形式的文本,并使用加权有限状态转换器(WFST)语法来格式化标记的ITN实体跨度。尽管将四个模型合并为一个,但我们的统一标记方法在多个领域的基准测试集上匹配或优于所有四个任务的特定任务模型。
2022-10-26 cs.CL
Dialectal Speech Recognition and Translation of Swiss German Speech to Standard German Text: Microsoft's Submission to SwissText 2021
Microsoft(微软)
本文介绍了SwissText 2021年关于瑞士德语语音到标准德语文本的共享任务3中的获胜方法,这是一项关于方言识别和翻译的公开竞赛。瑞士德语是指在瑞士德语区使用的众多阿勒曼尼方言。瑞士德语在发音、词汇和语法上与标准德语有很大的不同。这对以德语为母语的人来说是难以理解的。此外,它缺乏标准化的书面文字。为了解决具有挑战性的任务,我们提出了一个混合自动语音识别系统的词典,包括翻译,第一遍的语言模型,处理瑞士德国的特殊性,一个转移学习声学模型和一个强大的神经语言模型的第二遍重新评分。我们的提交在盲对话测试集上达到46.04%的BLEU,并以12%的相对优势优于第二大竞争对手。
2021-07-01 cs.CL cs.LG cs.SD
Transformer-based Acoustic Modeling for Hybrid Speech Recognition
Facebook(脸书)
我们提出并评估基于变换的声学模型(AM)的混合语音识别。在这项工作中讨论了几种建模选择,包括各种位置嵌入方法和迭代损失,以训练深度Transformers。我们还提出了一个初步的研究,使用有限的权利的上下文中的Transformer模型,这使得它可能的流式应用程序。我们证明,在广泛使用的Librispeech基准,我们的基于变换的AM优于最好的发表的混合结果19%至26%相对使用标准的n元语言模型(LM)。结合神经网络LM的重新评分,我们提出的方法取得了国家的最先进的结果Librispeech。我们的发现也在更大的内部数据集上得到了证实。
2020-04-30 cs.CL eess.AS
NGPU-LM: GPU-Accelerated N-Gram Language Model for Context-Biasing in Greedy ASR Decoding
NVIDIA, Armenia(英伟达,亚美尼亚);NVIDIA, USA(英伟达,美国)
本文提出NGPU-LM,通过重新设计统计n元语言模型的数据结构实现GPU并行推理,为各类ASR模型提供低开销的贪婪解码,有效缩小域外场景下贪婪搜索与束搜索的准确率差距。
2025-05-28 cs.AI cs.CL cs.LG
DiffuSpeech: Silent Thought, Spoken Answer via Unified Speech-Text Diffusion
National University of Singapore(新加坡国立大学);Tencent(腾讯)
DiffuSpeech通过统一的语音-文本扩散模型,实现语音生成的同时生成内部推理,提升语音问答的准确性和语音质量。
2026-01-30 cs.AI cs.CL cs.LG
A two-step approach to leverage contextual data: speech recognition in air-traffic communications
自动语音识别(ASR)作为飞行员和空中交通管制员之间语音通信的辅助手段,可以大大降低任务的复杂性,提高传输信息的可靠性。自动识别系统的应用可以减少误解引起的事故,提高空中交通管理(ATM)效率。显然,高精度预测,特别是关键信息的预测,即,呼号和命令,以尽量减少错误的风险。我们证明,结合ASR和自然语言处理(NLP)方法的优点,利用监视数据(即额外的模态),有助于大大提高呼号(命名实体)的识别。本文研究了一种两步呼号提升方法:(1)在第一步(ASR)中,在G.fst和/或解码FST(lattices)中减少可能的呼号n-gram的权重;(2)在第二步(NLP)中,将从命名实体识别(NER)的改进识别输出中提取的呼号与监视数据进行相关,以选择最合适的呼号。结合ASR和NLP方法提升呼号n-gram,最终导致呼号识别的绝对改善率达到53.7%,相对改善率达到60.4%。
2022-02-08 cs.CL cs.LG cs.SD
Child Speech Recognition in Human-Robot Interaction: Problem Solved?
Ghent University(根特大学);imec(校际微电子中心);IDLab-AIRO
本文重新评估儿童语音识别在人机交互中的进展,发现OpenAI Whisper显著优于商业云服务,且经短语引导后在结构化交互中可正确识别60.3%的句子,展示了自主儿童-机器人语音交互的可行性。
2024-11-19 cs.CL cs.HC cs.RO
Challenges and Opportunities of Speech Recognition for Bengali Language
Bangladesh University of Business & Technology(孟加拉国商业与技术大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
语音识别是一个迷人的过程,它提供了在人机交互领域中与机器进行交互和命令的机会。语音识别是一个依赖于语言的系统,它直接基于任何语言的语言和文本属性构建。自动语音识别(ASR)系统目前被用于将语音无障碍地翻译成文本。虽然ASR系统在国际语言中得到了有力的执行,但ASR系统在孟加拉语中的执行还没有达到可接受的状态。在这项研究工作中,我们刻意披露孟加拉ASR系统的研究工作的现状。在下文中,我们将了解在构建孟加拉语ASR系统时遇到的挑战。我们将这些挑战分为依赖语言和独立语言的挑战,并指导如何对特定的并发症进行彻底检查。经过严格的调查和突出的挑战,我们的结论是,孟加拉语ASR系统需要特定的ASR架构的基础上,孟加拉语的语法和语音结构的建设。
2021-09-27 cs.CL cs.SD eess.AS
Part of speech and gramset tagging algorithms for unknown words based on morphological dictionaries of the Veps and Karelian languages
Institute of Applied Mathematical Research of the Karelian Research Centre of the Russian Academy of Sciences(俄罗斯科学院卡累利阿研究中心应用数学研究所);Petrozavodsk State University(彼得罗扎沃茨克国立大学);Institute of Linguistics, Literature and History of the Karelian Research Centre of the Russian Academy of Sciences(俄罗斯科学院卡累利阿研究中心语言、文学与历史研究所)
本研究致力于低资源Veps和卡累利阿语言。本文介绍了为词分配词性标记和为词分配语法属性的算法。这些算法使用我们的形态词典,其中每个单词形式的词元、词性和一组语法特征(语法集)都是已知的。该算法基于相似性假设,即具有相同后缀的词可能具有相同的屈折模式、相同的词性和语法集。对这些算法的精度进行了评价和比较。31.3万Vepsian和6.6万卡累利阿词被用来验证这些算法的准确性。特殊功能的设计,以评估开发的算法的结果的质量。92.4%的Vepsian词和86.8%的卡累利阿词被分配了一个正确的词性由开发的算法。我们的算法为95.3%的Vepsian词和90.7%的Karelian词分配了正确的语法集。本文介绍了语料库处理过程中密切相关、不可分割的词形标注和语义标注。
2021-03-22 cs.CL cs.IR
Detecting Hate Speech and Offensive Language on Twitter using Machine Learning: An N-gram and TFIDF based Approach
Maharashtra Institute of Technology, Pune(浦那马哈拉施特拉理工学院)
有毒在线内容已成为当今世界的一个主要问题,因为不同文化和教育背景的人使用互联网的数量呈指数级增长。区分仇恨言论和攻击性语言是自动检测有毒文本内容的关键挑战。在本文中,我们提出了一种方法来自动分类Twitter上的推文分为三类:仇恨,进攻和清洁。使用Twitter数据集,我们进行实验,考虑n-gram作为特征,并将其词频逆文档频率(TFIDF)值传递给多个机器学习模型。我们进行比较分析的模型,考虑几个值的n在n-gram和TFIDF归一化方法。在调整模型得到最佳结果后,我们在测试数据上对其进行评估,达到了95.6%的准确率。我们还创建了一个模块,作为用户和Twitter之间的中介。
2018-09-23 cs.CL
Detecting Hate Speech in Social Media
Harvard Medical School(哈佛医学院);University of Wolverhampton(伍尔弗汉普顿大学)
在本文中,我们研究了在社交媒体中检测仇恨言论的方法,同时将其与一般的亵渎行为区分开来。我们的目标是通过使用最近发布的为此目的注释的数据集应用监督分类方法来为这项任务建立词汇基线。作为特征,我们的系统使用字符n-gram,单词n-gram和单词跳过-gram。我们在三个类别中识别帖子的准确率为78%。结果表明,主要的挑战在于区分亵渎和仇恨言论。讨论了今后工作的若干方向。
2017-12-26 cs.CL
Unifying Model and Layer Fusion for Speech Foundation Models
针对语音基础模型的融合问题,提出统一模型与层融合的接口模块,通过整合多上游模型及其各层信息提升下游任务性能,实验证明其优于现有方法并分析了可扩展性与模型选择的重要性。
2025-11-11 cs.AI cs.CL eess.AS
MetaHate: A Dataset for Unifying Efforts on Hate Speech Detection
Paloma Piot;Patricia Martín-Rodilla;Javier Parapar
本文提出MetaHate数据集,通过审查并整合超过60个相关数据集构建统一元集合,以支持训练更稳健、适应性更强的仇恨言论检测模型。
2024-01-12 cs.CL cs.SI
Political Speech Generation
College of Information and Computer Sciences(信息与计算机科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
在这份报告中,我们提出了一个系统,可以生成所需的政党的政治演讲。此外,该系统允许指定演讲应该持有支持还是反对意见。该系统依赖于本报告中讨论的几种最先进的NLP方法的组合。这些包括n-gram,Justeson & Katz POS标签过滤器,递归神经网络和潜在Dirichlet分配。单词序列是基于从两个底层模型获得的概率生成的:语言模型负责语法正确性,而主题模型旨在实现文本一致性。这两个模型都是在Convote数据集上训练的,该数据集包含美国国会辩论的记录。此外,我们提出了一个手动和自动化的方法来评估生成的语音质量。在实验评估中,生成的语音在语法正确性和句子转换方面表现出非常高的质量。
2016-01-20 cs.CL
VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
University of Texas at Austin(德克萨斯大学奥斯汀分校);Amazon(亚马逊)
本文提出自回归神经编解码语言模型VoiceCraft-X,基于Qwen3和token重排机制统一11种语言的零样本TTS与语音编辑任务,在低资源语言场景下仍能生成高质量自然语音。
2025-11-15 cs.CL cs.SD eess.AS
UDDETTS: Unifying Discrete and Dimensional Emotions for Controllable Emotional Text-to-Speech
University of Science and Technology of China(中国科学技术大学);Alibaba Group(阿里巴巴集团);China Mobile(中国移动)
针对LLM TTS难以可解释地合成细粒度情感语音的问题,提出UDDETTS框架,统一离散与维度情感,引入ADV空间并采用半监督训练,实现沿三个维度的线性情感控制,提升端到端合成性能。
2025-09-25 cs.AI cs.CL cs.LG
Effects of Language Modeling on Speech-driven Question Answering
我们将自动语音识别(ASR)和问答(QA)结合起来,实现了一个语音驱动的问答系统,并对其性能进行了评价。我们采用一个N元语言模型来处理自然语言问题,这样我们的系统的输入就可以被识别出很高的准确度。我们针对的是由主题部分和用来询问某事的固定短语组成的WH-问句。我们首先产生一个通用的N-gram模型,用于识别主题并强调与固定短语相对应的N-gram的计数。给定ASR引擎的转录,QA引擎从目标文档中提取答案候选者。我们提出了一个通道检索方法对识别错误的转录鲁棒性。我们使用的QA测试集在NTCIR,这是一个TREC风格的评估工作坊,并通过实验表明我们的方法的有效性。
2004-07-10 cs.CL
Deep segmental phonetic posterior-grams based discovery of non-categories in L2 English speech
The Chinese University of Hong Kong(香港中文大学)
第二语言(L2)语音通常被标记为母语,电话类别。然而,在许多情况下,很难决定L2段所属的分类电话。这些部分被视为非类别。现有的发音错误检测和诊断方法大多只涉及分类错误,即插入、删除或替换一个音素类别。然而,不考虑非分类错误。为了模拟这些非分类错误,这项工作的目的是探索非分类模式,以扩大分类音素集。我们应用一个语音段分类器来产生分段语音后验图(SPPG)来表示音素段级信息。然后我们通过寻找具有多个峰值的SPPG来探索非类别。与基线系统相比,该方法探索了更多的非类别模式,并且感知实验结果表明,在两种不同的测量下,探索的非类别更准确,混淆度分别增加了7.3%和7.5%。最后,我们初步分析了这些非范畴现象背后的原因。
2020-02-01 cs.CL cs.SD eess.AS
Challenges in Discriminating Profanity from Hate Speech
Harvard Medical School(哈佛医学院);University of Wolverhampton(沃尔夫汉普顿大学)
在这项研究中,我们将探讨如何区分社交媒体中的一般亵渎和仇恨言论,这一点尚未得到广泛考虑。使用专门为此任务注释的新数据集,我们采用监督分类以及一组特征,包括n-gram,skip-gram和基于聚类的单词表示。我们应用基于单分类器以及更高级的集成分类器和堆叠泛化的方法,实现了这个3类分类任务80%准确率的最佳结果。对结果的分析表明,区分仇恨言论和亵渎并不是一项简单的任务,这可能需要能够更深入地理解文本的特征,而这些特征并不总是能够通过表面n-gram来实现。由于注释者主观判断的差异,注释数据中黄金标签的可变性也是一个问题。讨论了今后工作的其他方向。
2018-03-14 cs.CL