Beam Search Decoding using Manner of Articulation Detection Knowledge Derived from Connectionist Temporal Classification
Department of Computer Science
使用深度神经网络的发音检测方式需要属性判别特征或恰当的音素对齐的先验知识。然而,产生一个适当的音素对齐是复杂的,其性能取决于选择的最佳数目的senones,高斯等,在我们的工作的第一部分,我们利用的方式使用连接主义的时间分类(CTC),不需要任何音素对齐的发音检测。之后,我们修改了国家的最先进的字符为基础的后验生成CTC使用的方式,清晰度CTC检测器。对修改后的后验进行束搜索解码,并观察其对AN4和LibriSpeech等开源数据集的影响。
2018-11-16 cs.CL
Order-Preserving Abstractive Summarization for Spoken Content Based on Connectionist Temporal Classification
National Taiwan University(台湾大学)
连接主义时态分类(CTC)是一种强有力的序列到序列学习方法,在语音识别中得到了广泛的应用。CTC的核心思想包括在培训过程中添加一个标签“空白”。通过这种机制,CTC消除了段对齐的需要,因此已被应用于各种序列到序列的学习问题。在这项工作中,我们将CTC应用于口语内容的抽象摘要。这种情况下的“空白”意味着相应的输入数据不太重要或有噪声;因此可以忽略它。在中文Gigaword和MATBN语料库上的ROUGE测试结果表明,该方法优于现有方法。这种方法还有一个很好的特性,即在生成的摘要中可以更好地保留输入文档中单词或字符的顺序。
2017-11-16 cs.CL
Simultaneous Neural Machine Translation using Connectionist Temporal Classification
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
同步机器翻译是机器翻译的变体,其在输入结束之前开始翻译过程。这项任务面临着翻译准确性和延迟之间的权衡。我们必须确定何时开始转换到目前为止观察到的输入,以实现良好的实际性能。在这项工作中,我们提出了一种神经机器翻译方法来确定这种自适应的方式。所提出的方法引入了一个特殊的令牌“<wait>”,当翻译模型选择读取下一个输入令牌而不是生成输出令牌时生成该令牌。它还引入了一个目标函数来处理等待时间的模糊性,可以使用称为连接主义时间分类(CTC)的算法进行优化。CTC的使用使得优化能够考虑所有可能的输出序列,包括<wait>等价于参考翻译的“”,并自适应地选择最佳输出序列。我们将所提出的方法应用到英日同声翻译中,并对其性能和存在的问题进行了研究。
2019-11-27 cs.CL
A Novel Topology for End-to-end Temporal Classification and Segmentation with Recurrent Neural Network
连接主义时间分类(CTC)作为一种不需要序列转换的对齐方法已经成熟,并在端到端语音识别中显示出竞争力。在CTC拓扑结构中,空白符号占据了状态网格的一半以上,这导致了非空白符号的尖峰现象。对于分类任务,尖峰工作得很好,但对于分割任务,它不提供边界信息。在本文中,一种新的拓扑结构被引入到一个框架中的时间分类和分割能力相结合。
2019-12-10 cs.CL cs.LG cs.SD
Improving LSTM-CTC based ASR performance in domains with limited training data
本文讨论了在有限数据域上,基于使用连接主义时间分类(CTC)损失函数训练的长短期记忆(LSTM)神经网络的自动语音识别(ASR)系统与基于使用交叉熵(CE)损失函数训练的混合深度神经网络(DNN)的系统之间观察到的性能差距。我们逐步通过一些实验,显示了基于LSTM-CTC ASR系统的基线EESEN工具包在Librispeech 100 hr(train-clean-100)语料库上训练的增量改进。我们的结果表明,通过数据增强和规则化的有效结合,基于LSTM-CTC的系统可以超过在相同数据上训练的基于Kaldi的强基线的性能。
2018-05-23 cs.CL
Sequential End-to-End Intent and Slot Label Classification and Localization
University of Waterloo(滑铁卢大学);Huawei Noah's Ark Lab(华为诺亚方舟实验室)
人机交互(HCI)受到来自口语对话系统的延迟响应的显著影响。因此,最近提出了端到端(e2 e)口语语言理解(SLU)解决方案来减少延迟。这样的方法允许直接从语音信号中提取语义信息,从而绕过对来自自动语音识别(ASR)系统的转录的需要。在本文中,我们提出了一个紧凑的e2 e SLU架构的流媒体的情况下,连续处理块的语音信号预测意图和时隙值。我们的模型基于3D卷积神经网络(3D-CNN)和单向长短期记忆(LSTM)。我们比较了两种无干扰损失的性能:连接主义时间分类(CTC)方法及其适应版本,即连接主义时间定位(CTL)。后者不仅执行分类,但也定位的顺序音频事件。在Fluent Speech Command数据集上对所提出的解决方案进行了评估,结果表明我们的模型能够处理输入的语音信号,在单标签分类上,CTC和CTL的准确率分别高达98.97%和98.78%,在双标签预测上,CTC和CTL的准确率分别高达95.69%和95.28%。
2021-06-08 cs.CL cs.SD eess.AS
Multi-encoder multi-resolution framework for end-to-end speech recognition
The Johns Hopkins University(约翰斯·霍普金斯大学);Amazon(亚马逊);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
基于注意力的方法和连接主义时间分类(CTC)网络是端到端自动语音识别(ASR)的重要研究方向。联合CTC/Attention模型在多任务训练和联合解码过程中利用了两种架构,取得了很大的成功。在这项工作中,我们提出了一种新的多编码器多分辨率(MEMR)框架的基础上联合CTC/注意力模型。具有不同架构、时间分辨率和独立CTC网络的两个异构编码器并行工作以提取互补声学信息。然后使用分层注意力机制来组合编码器级信息。为了证明所提出的模型的有效性,在华尔街日报(WSJ)和CHiME-4上进行实验,导致相对字出错率(WER)降低18.0- 32.1%。此外,提出的MEMR模型在WSJ eval 92测试集中实现了3.6%的WER,这是该基准测试中端到端系统报告的最佳WER。
2018-11-12 cs.CL
Investigating the Reordering Capability in CTC-based Non-Autoregressive End-to-End Speech Translation
National Taiwan University(台湾大学)
我们研究了使用连接主义时间分类(CTC)建立非自回归语音到文本翻译模型的可能性,并使用基于CTC的自动语音识别作为辅助任务,以提高性能。由于CTC的单调性假设,它在翻译上的成功是违反直觉的,因此我们分析了它的重排能力。Kendall的tau距离被引入作为定量度量,基于梯度的可视化提供了一种直观的方式来更仔细地观察模型。分析表明,Transformer编码器具有改变语序的能力,并指出了非自回归语音翻译的未来研究方向。
2021-05-11 cs.CL
WST: Weakly Supervised Transducer for Automatic Speech Recognition
Johns Hopkins University(约翰霍普金斯大学);Xiaomi(小米);Microsoft(微软)
针对 RNN-T 依赖大量高质量标注数据的问题,本文提出弱监督 Transducer(WST),通过灵活训练图在转录错误率高达 70% 时仍保持性能,并优于 BTC、OTC 等 CTC 类弱监督方法。
2025-11-06 cs.CL
Advances in Joint CTC-Attention based End-to-End Speech Recognition with a Deep CNN Encoder and RNN-LM
Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个最先进的端到端自动语音识别(ASR)模型。我们学习听和写字符与联合连接主义时间分类(CTC)和基于注意力的编码器-解码器网络。编码器是基于VGG网络的深度卷积神经网络(CNN)。CTC网络位于编码器之上,并与基于注意力的解码器联合训练。在束搜索过程中,我们将CTC预测、基于注意力的解码器预测和单独训练的LSTM语言模型相结合。我们实现了5- 10%的错误减少相比,以前的系统自发的日语和汉语语音,我们的端到端模型击败了传统的混合ASR系统。
2017-06-08 cs.CL
Audio Tagging With Connectionist Temporal Classification Model Using Sequential Labelled Data
Beijing University of Posts and Telecommunications(北京邮电大学);University of Surrey(萨里大学)
音频标记旨在预测音频片段中的一个或多个标签。许多以前的作品使用弱标记数据(WLD)进行音频标记,其中只有声音事件的存在或不存在是已知的,但声音事件的顺序是未知的。为了使用声音事件的顺序信息,我们提出了顺序标记数据(SLD),其中声音事件的存在或不存在以及顺序信息都是已知的。为了在音频标记中利用SLD,我们提出了一个卷积递归神经网络,然后是连接主义时间分类(CRNN-CTC)目标函数,以从音频片段频谱图映射到SLD。实验表明,CRNN-CTC在音频标记中获得了0.986的曲线下面积(AUC)分数,分别优于最大池化和平均池化的0.908和0.815的基线CRNN。此外,我们展示了CRNN-CTC具有预测音频片段中声音事件的顺序的能力。
2018-08-06 cs.CL cs.SD eess.AS
Hierarchical Multi Task Learning With CTC
Carnegie Mellon University(卡内基梅隆大学)
在自动语音识别中,当使用高级(或抽象)目标单元(例如单词)时,学习有用的中间表示仍然是具有挑战性的。由于这个原因,基于字符或音素的系统往往优于基于单词的系统时,只有几百个小时的训练数据正在使用。在本文中,我们首先展示了分层多任务训练如何促进有用的中间表征的形成。我们通过在网络的不同级别上使用不同粒度的目标执行连接主义时间分类来实现这一点。因此,我们的模型对相同的输入在多个尺度上进行预测。在标准的300小时交换机训练设置上,我们的分层多任务架构比具有相同数量参数的单任务架构有所改进。我们的模型在Eval2000 Switchboard子集上获得了14.0%的单词出错率,而无需任何解码器或语言模型,优于当前最先进的声学到单词模型。
2019-01-14 cs.CL
Bypass Temporal Classification: Weakly Supervised Automatic Speech Recognition with Imperfect Transcripts
Johns Hopkins University(约翰斯·霍普金斯大学);NVIDIA(英伟达);Xiaomi Corp.(小米公司)
针对人工标注语音语料中转写错误损害 ASR 性能的问题,本文提出扩展 CTC 的 BTC 准则,通过 WFST 组合增强训练图以显式建模转写不确定性,从而提升弱监督 ASR 的鲁棒性与准确率。
2023-06-01 cs.CL cs.LG cs.SD
Residual Convolutional CTC Networks for Automatic Speech Recognition
Tencent AI Lab, Tencent(腾讯AI实验室,腾讯);Tsinghua University(清华大学)
深度学习方法已广泛应用于自动语音识别(ASR)中,并取得了显着的准确性提高。特别是,卷积神经网络(CNN)最近在ASR中被重新审视。然而,现有工作中使用的大多数CNN都少于10层,这可能不够深,无法捕获所有人类语音信号信息。在本文中,我们提出了一种新型的深度和广度的CNN架构,表示为RCNN-CTC,它具有剩余连接和连接主义时间分类(CTC)损失函数。RCNN-CTC是一个能够同时利用语音信号的时域和频谱结构的端到端系统。此外,我们介绍了一种基于CTC的系统组合,这是不同于传统的逐帧的senone为基础的。组合中采用的基本子系统是不同类型的,因此相互补充。实验结果表明,与ASR中广泛使用的几种神经网络系统相比,我们提出的单系统RCNN-CTC在WSJ和Tencent Chat数据集上可以实现最低的字错误率(WER)。此外,所提出的系统组合可以在这两个数据集上提供进一步的错误减少,从而分别在WSJ dev 93和Tencent Chat数据集上导致$14.91\%$和$6.52\%$的相对WER减少。
2017-02-24 cs.CL
Extended Graph Temporal Classification for Multi-Speaker End-to-End ASR
MERL(三菱电机研究实验室)
基于图的时态分类(GTC)是联结主义时态分类损失的一种推广形式,最近被提出来改进基于图监督的自动语音识别(ASR)系统。例如,GTC首先用于将伪标签序列的N最佳列表编码到图中以用于半监督学习。在本文中,我们提出了一个扩展的GTC模型的标签和标签转换的后验的神经网络,它可以应用到更广泛的任务。作为一个应用实例,我们使用扩展的GTC(GTC-e)的多扬声器语音识别任务。多说话人语音的转换和说话人信息用图表示,其中说话人信息与转换相关联,ASR输出与节点相关联。使用GTC-e,多说话者ASR建模变得与单说话者ASR建模非常相似,因为多个说话者的令牌被识别为按时间顺序的单个合并序列。为了进行评估,我们在来自LibriSpeech的模拟多说话者语音数据集上进行实验,获得了与任务的经典基准接近的性能。
2022-03-01 cs.CL cs.SD eess.AS
Semi-Supervised Speech Recognition via Graph-based Temporal Classification
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
半监督学习在自动语音识别(ASR)中已经证明了有希望的结果,通过使用种子ASR模型进行自训练,该模型具有为未标记数据生成的伪标签。这种方法的有效性在很大程度上依赖于伪标签的准确性,通常仅使用1-最佳ASR假设。然而,N最佳列表的替代ASR假设可以为未标记的语音话语提供更准确的标签,并且还反映了种子ASR模型的不确定性。在本文中,我们提出了一个广义形式的连接主义时间分类(CTC)的目标,接受一个图形表示的训练标签。新提出的基于图的时间分类(GTC)目标被应用于基于WFST的监督的自训练,该监督是从伪标签的N-最佳列表中生成的。在这种设置中,GTC不仅用于学习时间对齐,类似于CTC,而且还用于学习标签对齐,以从加权图中获得最佳伪标签序列。结果表明,该方法可以有效地利用一个N-best列表的伪标签与相关的分数,大大优于标准的伪标签,与ASR的结果接近预言实验中,最好的假设的N-best列表中选择手动。
2021-02-16 cs.CL cs.LG cs.SD
Robust end-to-end deep audiovisual speech recognition
Carnegie Mellon University(卡内基梅隆大学)
语言是人类最有效的交流方式之一。尽管音频是最常见的语音传输方式,但非常重要的信息可以在其他形式中找到,例如视觉。当声学信号被破坏时,视觉特别有用。然而,多模态语音识别还没有得到广泛的应用,主要是因为不同信息源的时间对准和融合是具有挑战性的。本文提出了一种端到端的视听语音识别器(AVSR),基于递归神经网络(RNN)与连接主义的时间分类(CTC)损失函数。CTC创建稀疏的“峰值”输出激活,我们分析的输出目标(音素或视位)之间的音频,视频,和视听功能表示对齐的差异。我们提出了第一个这样的实验上的大词汇量IBM ViaVoice数据库,它优于以前发表的方法在干净和嘈杂的条件下对手机的准确性。
2016-11-21 cs.CL cs.LG cs.SD
Simplified End-to-End MMI Training and Voting for ASR
Tel-Aviv University(特拉维夫大学)
一个简化的语音识别系统,使用最大互信息(MMI)的标准被认为是。建议使用梯度下降的端到端训练,类似于连接主义时间分类(CTC)的训练。我们使用一个MMI标准与一个简单的语言模型在训练阶段,和一个标准的HMM解码器。我们的方法相比,毫不逊色CTC的性能,鲁棒性,解码时间,磁盘足迹和比对质量。良好的比对使得能够使用简单的集成方法,该方法通过简单地平均几个神经网络模型的预测来获得,这些模型分别进行端到端的训练。集成方法产生了相当大的减少字出错率。
2017-07-16 cs.CL cs.LG cs.NE
Do End-to-End Speech Recognition Models Care About Context?
University of Copenhagen(哥本哈根大学);Corti(Corti公司)
端到端语音识别的两种最常见的范例是连接主义时间分类(CTC)和基于注意力的编码器-解码器(AED)模型。有人认为,后者更适合于学习一个隐含的语言模型。我们通过测量时间上下文敏感性来测试这一假设,并评估当我们约束音频输入中的上下文信息量时模型的表现。我们发现,AED模型确实是更上下文敏感,但差距可以通过增加自我注意力的CTC模型。此外,当上下文信息受到约束时,这两个模型的表现相似。最后,与以前的研究相比,我们的研究结果表明,CTC模型在WSJ和LibriSpeech上具有很强的竞争力,而无需外部语言模型的帮助。
2021-02-17 cs.CL cs.LG cs.SD
Faster, Simpler and More Accurate Hybrid ASR Systems Using Wordpieces
Facebook AI(Facebook人工智能)
在这项工作中,我们首先表明,在广泛使用的LibriSpeech基准,我们的基于变换的上下文相关的连接主义时间分类(CTC)系统产生的最先进的结果。然后,我们表明,使用词片作为建模单元结合CTC训练,与传统的基于帧的交叉熵训练相比,我们可以通过排除所有的GMM自举,决策树构建和力对齐步骤来大大简化工程管道,同时仍然实现非常有竞争力的单词错误率。此外,使用字段作为建模单元可以显着提高运行时效率,因为我们可以使用更大的步幅而不会失去准确性。我们在两个内部VideoASR数据集上进一步证实了这些发现:德语,类似于英语作为融合语言,土耳其语,这是一种粘着语言。
2020-08-16 cs.CL eess.AS
Scaling Up Online Speech Recognition Using ConvNets
Facebook AI Research(Facebook人工智能研究院)
我们设计了一个基于时间深度可分离卷积和连接主义时间分类的在线端到端语音识别系统。我们改进了核心TDS架构,以限制未来的上下文,从而减少延迟,同时保持准确性。该系统的吞吐量几乎是经过良好调整的混合ASR基线的三倍,同时还具有更低的延迟和更好的字出错率。对识别器的效率也很重要的是我们高度优化的束搜索解码器。为了展示我们的设计选择的影响,我们分析了吞吐量、延迟、准确性,并讨论了如何根据用户需求调整这些指标。
2020-01-27 cs.CL cs.SD eess.AS
Word-level Speech Recognition with a Letter to Word Encoder
Facebook AI Research(Facebook人工智能研究院)
我们提出了一个直接到单词的序列模型,它使用一个词网络来学习词嵌入的字母。词网络可以与任意序列模型无缝集成,包括连接主义时间分类和注意力编码器-解码器模型。我们表明,我们的直接到字模型可以实现字出错率增益超过子字级模型的语音识别。我们还表明,我们的直接到词的方法保留了预测的能力,没有看到在训练时,没有任何再培训的话。最后,我们证明了词级模型可以使用比子词级模型更大的步幅,同时保持准确性。这使得模型在训练和推理方面都更有效。
2020-07-14 cs.CL cs.SD eess.AS
Back from the future: bidirectional CTC decoding using future information in speech recognition
Naver Corporation(Naver公司)
在本文中,我们提出了一个简单而有效的方法来解码的连接时间分类器(CTC)模型的输出使用双向神经语言模型。双向语言模型使用未来以及过去的信息,以便预测序列中的下一个输出。基于双向束搜索的方法利用CTC贪心解码的输出来表示噪声的未来信息。Librispeechdataset上的实验证明了我们所提出的方法相比使用单向解码的基线的优越性。特别地,提升不准确性在序列的开始处最明显,该序列是基于单向解码的现有系统的最错误的部分。
2021-10-07 cs.CL cs.SD eess.AS
Towards End-to-End Speech Recognition with Deep Convolutional Neural Networks
卷积神经网络(CNN)是一种有效的模型,用于减少频谱变化和模拟自动语音识别(ASR)中声学特征的频谱相关性。混合语音识别系统结合CNN与隐马尔可夫模型/高斯混合模型(HALF/GALF)已经达到了各种基准的最先进的。同时,提出了用于标记未分割序列的带有递归神经网络(RNNs)的连接主义时间分类(CTC),这使得训练端到端语音识别系统而不是混合设置成为可能。然而,RNN在计算上是昂贵的,并且有时难以训练。在本文中,受CNN和CTC方法的优点的启发,我们提出了一个用于序列标记的端到端语音框架,通过将分层CNN与CTC直接结合而无需递归连接。通过评估TIMIT音素识别任务的方法,我们表明,所提出的模型不仅是计算效率高,而且与现有的基线系统的竞争力。此外,我们认为CNN有能力利用适当的上下文信息对时间相关性进行建模。
2017-01-10 cs.CL cs.LG stat.ML
VAD-free Streaming Hybrid CTC/Attention ASR for Unsegmented Recording
Graduate School of Informatics, Kyoto University, Kyoto, Japan(京都大学信息学研究科)
在这项工作中,我们提出了新的解码算法,使流自动语音识别(ASR)的未分割的长形式的录音没有语音活动检测(VAD),基于单调块注意(MoChA)与辅助连接时间分类(CTC)的目标。我们提出了一种块同步波束搜索解码,以利用高效的批量输出同步和低延迟输入同步搜索。我们还提出了一个无VAD的推理算法,利用CTC概率来确定一个合适的时间来重置模型状态,以解决长格式数据的脆弱性。实验结果表明,块同步解码达到相当的精度标签同步之一。此外,无VAD推理可以鲁棒地识别长格式语音长达几个小时。
2021-07-15 cs.CL cs.SD eess.AS
Joint Masked CPC and CTC Training for ASR
Facebook AI Research(脸书人工智能研究院)
自监督学习(SSL)在学习对自动语音识别(ASR)有用的音频表示方面已经显示出前景。但是,像wav 2 vec ~2.0这样的SSL模型需要两个阶段的管道。在本文中,我们展示了一个可以利用未标记和标记数据的ASR模型的单阶段训练。在训练过程中,我们交替地最小化两个损失:无监督的掩蔽对比预测编码(CPC)损失和有监督的音频到文本对齐损失连接主义时间分类(CTC)。我们表明,这种联合训练方法使用无监督数据直接优化了下游ASR任务的性能,同时在Librispeech 100小时数据集上实现了与wav 2 vec ~2.0相似的单词出错率。最后,我们假设解决对比任务是对监督CTC损失的正则化。
2021-02-13 cs.CL cs.LG cs.SD
Reducing Spelling Inconsistencies in Code-Switching ASR using Contextualized CTC Loss
语码转换(CS)是自动语音识别(ASR)的一个难题,尤其是基于字符的模型。由于组合选择了多种语言中的字符,基于字符的模型的结果会受到音素重复的影响,从而导致语言不一致的拼写。我们提出了上下文连接时间分类(CCTC)的损失,以鼓励拼写错误的字符为基础的非自回归ASR,允许更快的推理。CCTC损失条件的主要预测的预测上下文,以确保语言的拼写一致性。与现有的基于CTC的方法相比,CCTC损失不需要帧级对齐,因为上下文地面真值是从模型的估计路径中获得的。与使用常规CTC损失训练的相同模型相比,我们的方法一致地提高了CS和单语语料库上的ASR性能。
2021-06-22 cs.CL cs.SD eess.AS
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google(谷歌)
我们最近已经证明,作为语音识别的声学模型,深度长短期记忆(LSTM)递归神经网络(RNN)的性能优于前馈深度神经网络(DNN)。最近,我们已经证明,使用这种LSTM RNN的序列训练上下文相关(CD)隐马尔可夫模型(HMM)声学模型的性能可以与使用连接主义时间分类(CTC)初始化的序列训练电话模型相等。在本文中,我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明,帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
CTC-synchronous Training for Monotonic Attention Model
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
基于序列到序列框架,研究了用于在线流式自动语音识别(ASR)的单调组块注意(MoChA)。与连接主义时间分类(CTC)相比,由于解码器中的左到右依赖性,在训练期间的对齐边缘化过程中不能利用后向概率。这导致对齐的错误传播到后续的令牌生成。为了解决这个问题,我们提出了CTC同步训练(CTC-ST),其中MoChA使用CTC对齐来学习最佳单调对齐。参考CTC对齐是从与解码器共享相同编码器的CTC分支中提取的。整个模型被联合优化,使得来自MoChA的预期边界与比对同步。TEDLIUM Release-2和Librispeech语料库的实验评估表明,该方法显着提高了识别,特别是对于长的话语。我们还表明,CTC-ST可以发挥SpecAugment对MoChA的全部潜力。
2020-08-06 cs.CL cs.LG
Speech Recognition with Deep Recurrent Neural Networks
University of Toronto(多伦多大学)
循环神经网络(RNN)是一种强大的序列数据模型。端到端的训练方法,如连接时间分类,使得训练RNN用于序列标记问题成为可能,其中输入输出对齐是未知的。这些方法与长短期记忆RNN架构的结合已经证明是特别富有成效的,在草书手写识别中提供了最先进的结果。然而,到目前为止,RNN在语音识别中的性能令人失望,深度前馈网络返回的结果更好。本文研究了\emph{deep recurrent neural networks},它结合了在深度网络中已被证明非常有效的多层表示与灵活使用远程上下文来增强RNN。当使用适当的正则化进行端到端训练时,我们发现深度长短期记忆RNN在TIMIT音素识别基准测试中的测试集错误率为17.7%,据我们所知,这是最好的记录分数。
2013-03-22 cs.CL cs.NE
CTC Alignments Improve Autoregressive Translation
Carnegie Mellon University(卡内基梅隆大学);Waseda University(早稻田大学);Johns Hopkins University(约翰斯·霍普金斯大学)
连接主义时间分类(CTC)是一种广泛使用的自动语音识别(ASR)方法,它执行条件独立的单调对齐。然而,对于翻译,CTC表现出明显的局限性,由于上下文和非单调的性质的任务,因此落后于注意解码器的翻译质量方面的方法。在这项工作中,我们认为,CTC实际上是有意义的翻译,如果应用在联合CTC/注意力框架,其中CTC的核心属性可以抵消几个关键的弱点,纯注意力模型在训练和解码。为了验证这一猜想,我们修改了最初为ASR提出的混合CTC/Attention模型,以支持文本到文本翻译(MT)和语音到文本翻译(ST)。我们提出的联合CTC/注意力模型在六个基准翻译任务中的表现优于纯注意力基线。
2022-10-11 cs.CL cs.SD eess.AS
CTC Variations Through New WFST Topologies
NVIDIA(英伟达);ITMO University(圣彼得堡国立信息技术机械与光学大学)
本文提出了一种新的加权时间状态转换器(WFST)拓扑结构,用于实现自动语音识别中的类连接主义时间分类(CTC)算法。提出了三种新的CTC变体:(1)“紧凑CTC”,其中单元之间的直接转换被<epsilon>回退转换替换;(2)“最小CTC”,其仅<blank>在WFST合成中使用时添加自循环;以及(3)“非空CTC”变体,其不允许非空单元的自循环。Compact-CTC允许WFST解码图小1.5倍,并且在使用LF-MMI目标训练CTC模型时将内存消耗减少两倍,而不会影响识别精度。Minimal-CTC将图形大小和内存消耗减少了2到4倍,但代价是精度下降。使用非线性CTC可以提高宽上下文窗口模型的准确性。
2022-06-26 cs.CL cs.LG eess.AS
Audio Visual Speech Recognition using Deep Recurrent Neural Networks
Samsung R&D Institute India(三星研发研究院(印度))
在这项工作中,我们提出了一种使用深度递归神经网络(RNN)的视听自动语音识别(AV-ASR)系统的训练算法。首先,我们训练一个具有连接主义时间分类(CTC)目标函数的深度RNN声学模型。然后,从声学模型获得的帧标签用于使用深瓶颈网络执行视觉特征的非线性降维。音频和视觉特征被融合并用于训练融合RNN。使用视觉模态的瓶颈特征有助于模型在训练过程中正确收敛。我们的系统进行了评估GRID语料库。我们的研究结果表明,视觉模态的存在下,在不同程度的噪声的字符出错率(CER)显着改善,即使在没有噪声数据的模型进行训练。我们还提供了两种融合方法:特征融合和决策融合的比较。
2016-11-09 cs.CL cs.CV cs.LG
Towards Personalization of CTC Speech Recognition Models with Contextual Adapters and Adaptive Boosting
AWS AI Labs(AWS人工智能实验室)
端到端语音识别模型训练使用联合连接时间分类(CTC)-注意力损失最近得到普及。在这些模型中,非自回归CTC解码器由于其速度和简单性而经常在推理时使用。然而,这样的模型很难个性化,因为它们的条件独立性假设阻止了来自先前时间步的输出令牌影响未来的预测。为了解决这个问题,我们提出了一种新的双向方法,首先将编码器的注意力集中在一个预定义的罕见长尾和词汇表外(OOV)单词列表上,然后在解码过程中使用动态提升和音素对齐网络来进一步偏置子词预测。我们在开源VoxPopuli和内部医疗数据集上评估了我们的方法,以展示特定领域罕见词的F1得分比CTC基线提高了60%。
2022-11-13 cs.CL cs.SD eess.AS
Advancing Acoustic-to-Word CTC Model
Microsoft(微软)
基于连接主义时间分类(CTC)标准的声学到词模型被示出为直接以词作为输出单元的自然端到端(E2E)模型。然而,基于单词的CTC模型遭受词汇表外(OOV)问题,因为它只能在输出层中对有限数量的单词进行建模,并将所有剩余的单词映射到OOV输出节点中。因此,这种基于词的CTC模型只能识别由网络输出节点建模的频繁词。我们的第一次尝试,以改善声学到字的模型是一个混合的CTC模型,咨询基于字母的CTC时,基于字的CTC模型发出OOV令牌在测试时间。然后,我们提出了一个更好的解决方案,通过训练一个混合单元CTC模型,将所有的OOV单词分解成频繁单词和多字母单元的序列。在3400小时的Microsoft Cortana语音助理任务上进行评估,当与我们提出的注意力CTC相结合时,最终的声学到单词解决方案通过相对12.09%的单词出错率(WER)降低来改善基于单词的基线CTC。这种E2E模型不使用任何语言模型(LM)或复杂的解码器,优于传统的上下文相关的音素CTC,具有强大的LM和解码器的相对6.79%。
2018-03-15 cs.CL
A context-aware knowledge transferring strategy for CTC-based ASR
National Taiwan University of Science and Technology(台湾科技大学)
非自回归自动语音识别(ASR)建模因其解码速度快、性能优越而受到越来越多的关注。其中,基于联结主义时态分类(CTC)的方法仍然是一个主流。然而,理论上固有的缺陷--符记之间的独立性假设,给作品学派造成了表演上的障碍。为了缓解这一挑战,我们提出了一个上下文感知的知识转移策略,包括一个知识转移模块和上下文感知的培训策略,基于CTC的ASR。前者的目的是从一个预先训练好的语言模型中提取语言信息,而后者的框架是为了调整由条件独立假设引起的限制。因此,本文提出了一个知识注入的上下文感知CTC的ASR建立在wav 2 vec 2. 0。在AISHELL-1和AISHELL-2数据集上的一系列实验证明了该方法的有效性。
2022-10-12 cs.CL cs.SD eess.AS
Two-Stage Augmentation and Adaptive CTC Fusion for Improved Robustness of Multi-Stream End-to-End ASR
The Johns Hopkins University(约翰斯·霍普金斯大学)
自动语音识别(ASR)系统的性能下降时,通常观察到的测试声学条件是不同于训练。因此,必须使ASR系统对各种环境失真(例如背景噪声和混响)具有鲁棒性。在多流范例中,提高鲁棒性考虑到处理各种看不见的单流条件和流间动态。以前,在多流端到端ASR中提出了一种实用的两阶段训练策略,其中第2阶段使用来自第1阶段通用特征提取器(UFE)的特征来制定多流模型。在本文中,作为扩展,我们介绍了一个两阶段的增强计划,重点是不匹配的情况下:第一阶段增强旨在解决单流输入品种与数据增强技术;第二阶段的时间掩蔽适用于时间掩模的UFE功能随机选择的流,以模拟不同的流组合。在推理过程中,我们还提出了自适应的连接主义时间分类(CTC)融合的帮助下,分层注意力机制。实验已经进行了两个数据集,DIRHA和AMI,作为一个多流的情况下。与以前的训练策略相比,有很大的改进,在几个看不见的流组合的相对字出错率减少29.7-59.3%。
2021-02-05 cs.CL cs.SD eess.AS
Intermediate Loss Regularization for CTC-based Speech Recognition
Naver Corporation(NAVER 公司);Johns Hopkins University(约翰斯·霍普金斯大学)
提出了一种简单有效的辅助损失函数,用于自动语音识别(ASR),该函数基于联结主义时态分类(CTC)目标。所提出的目标,一个中间CTC损失,是附加到一个中间层的CTC编码器网络。这种中间CTC损失很好地规范了CTC训练,并提高了性能,分别只需要对代码进行小的修改,并且在训练和推理期间的开销很小且没有开销。此外,我们建议将这种中间CTC损失与随机深度训练相结合,并将这种组合应用于最近提出的Conformer网络。我们评估所提出的方法在各种语料库,达到字错误率(WER)9.9%的华尔街日报语料库和字符错误率(CER)5.2%的AISHELL-1语料库分别,基于CTC贪婪搜索没有语言模型。特别是,AISHELL-1任务可与基于具有波束搜索的自回归解码器的其他最先进的ASR系统相媲美。
2021-02-05 cs.CL cs.SD eess.AS
Multilingual Adaptation of RNN Based ASR Systems
Institute for Anthropomatics and Robotics(人类工程学与机器人学研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在这项工作中,我们专注于基于递归神经网络(RNN)的多语言系统,使用连接主义时间分类(CTC)损失函数进行训练。使用一套多语种的声学单元会带来困难。为了解决这个问题,我们提出了语言特征向量(LFVs)训练语言自适应多语言系统。与说话人自适应不同,语言自适应不仅需要应用于特征层,还需要应用于网络的更深层。因此,在这项工作中,我们扩展了我们以前的方法,引入了一种新的技术,我们称之为“调制”。基于这种方法,我们使用LFVs调制RNN的隐藏层。我们评估了这种方法在充分和低资源条件下,以及字形和电话为基础的系统。通过使用调制,可以在不同条件下实现较低的错误率。
2018-02-27 cs.AI cs.CL eess.AS
Careful Whisper -- leveraging advances in automatic speech recognition for robust and interpretable aphasia subtype classification
nyra health GmbH(nyra健康有限公司)
本文提出一种结合CTC和编码器-解码器自动语音识别模型及自然语言处理技术的全自动化流程,通过提取语音特征生成健康语音原型,实现了区分失语症与健康对照组的人类水平准确率及90%的亚型分类准确率。
2023-08-02 cs.CL cs.LG cs.SD
Fast Entropy-Based Methods of Word-Level Confidence Estimation for End-To-End Automatic Speech Recognition
NVIDIA(英伟达);ITMO University(圣彼得堡国立信息技术机械与光学大学)
本文提出了一类新的用于自动语音识别的快速不可训练的基于熵的置信度估计方法。我们展示了如何对每帧熵值进行归一化和聚合,以获得连接主义时间分类(CTC)和递归神经网络转换器(RNN-T)模型的每单位和每个单词的置信度。提出的方法具有类似的计算复杂度的传统方法的基础上的最大每帧概率,但他们更可调,有一个更广泛的有效阈值范围,并更好地推开正确和不正确的单词的置信度分布。我们在LibriSpeech测试集上评估了所提出的置信度度量,并表明它们分别比基于Conformer-CTC和Conformer-RNN-T模型检测不正确单词的最大每帧概率的置信度估计高出2倍和4倍。
2022-12-16 cs.CL cs.IT cs.LG
Advancing Acoustic-to-Word CTC Model with Attention and Mixed-Units
Microsoft Corporation(微软公司)
基于连接主义时间分类(CTC)准则的声学到词模型是一种直接以词为输出单位的自然的端到端(E2 E)系统。系统中存在两个问题:第一,CTC模型的当前输出依赖于当前输入,并且不考虑上下文加权输入。这就是硬对齐问题。其次,基于单词的CTC模型遭受词汇表外(OOV)问题。这意味着它可以只对频繁出现的单词进行建模,而将剩余的单词标记为OOV。因此,这样的模型是有限的,它的能力,只有一个固定的一组频繁的单词识别。在这项研究中,我们建议使用注意力机制和混合单元的组合来解决这些问题。特别地,我们介绍了注意力CTC、自注意力CTC、混合CTC和混合单元CTC。首先,我们使用Attention CTC和Self-Attention CTC将注意力建模功能直接融入CTC网络。其次,为了缓解OOV问题,我们提出了混合CTC,它使用一个字和字母CTC共享隐藏层。当单词CTC发出OOV时,混合CTC查询字母CTC。然后,我们提出了一个更好的解决方案,通过训练一个混合单元CTC,它将所有的OOV单词分解成频繁单词和多字母单元的序列。在3400小时的Microsoft Cortana语音助理任务上进行评估,我们最终的使用注意力和混合单元的声学到单词的解决方案实现了单词出错率(WER)的相对降低,比普通单词CTC降低了12.09%。这种不使用任何语言模型(LM)或复杂解码器的E2 E模型相对于具有强LM和解码器的传…
2019-09-04 cs.CL
MusTBench: Benchmarking and Advancing Temporal Grounding in Music LLMs
Seoul National University(首尔国立大学);Sony Group Corporation(索尼集团);Sony AI(索尼人工智能)
提出MusTBENCH基准和MusT四阶段优化方法,评估并提升音乐大语言模型在音频中的时间定位能力。
2026-11-05 cs.AI cs.CL cs.SD
VideoLLaMA 2: Advancing Spatial-Temporal Modeling and Audio Understanding in Video-LLMs
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团)
本研究提出VideoLLaMA 2视频大语言模型,通过定制时空卷积连接器和联合训练音频分支提升时空建模与音频理解能力,在多类视频、音频问答及字幕基准上取得开源模型领先水平,部分接近专有模型,且模型已公开。
2024-10-30 cs.CL cs.CV
Frame Stacking and Retaining for Recurrent Neural Network Acoustic Model
Alibaba Shenma Search(阿里巴巴神马搜索)
帧堆叠被广泛应用于端到端的神经网络训练,如连接主义时间分类(CTC),它导致更准确的模型和更快的解码。然而,如果解码器不变,它不适合于基于上下文相关状态声学模型的传统神经网络。在本文中,我们提出了一种新的帧保持方法,并应用于解码。该系统采用帧保留和帧堆叠相结合的方法,可以减少训练和解码的时间消耗。使用它的长短期记忆(LSTM)递归神经网络(RNN)实现了几乎线性的训练加速比,并降低了相对41%的实时的因子(RTF)。同时,在神马中文语音搜索数据集上,识别性能没有下降或略有提高。
2017-05-17 cs.CL
VideoComp: Advancing Fine-Grained Compositional and Temporal Alignment in Video-Text Models
Google DeepMind(谷歌DeepMind)
本文提出 VideoComp 基准与学习框架,通过构建多事件视频组合性基准和分层成对偏好损失,提升视频-文本模型在细粒度时序对齐上的能力。
2025-04-10 cs.AI cs.CL cs.CV
TimelineReasoner: Advancing Timeline Summarization with Large Reasoning Models
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学北京校区人工智能学院)
本文提出TimelineReasoner框架,通过大推理模型的主动推理能力,改进时间线摘要任务,提升准确性、覆盖性和连贯性。
2026-04-03 cs.AI cs.CL
Online Keyword Spotting with a Character-Level Recurrent Neural Network
Seoul National University(首尔国立大学)
在本文中,我们提出了一个上下文感知的关键字定位模型,采用字符级循环神经网络(RNN)的连续语音中的口语术语检测。RNN使用连接主义时间分类(CTC)进行端到端训练,以生成字符和词边界标签的概率。在训练和测试中不需要语音转录,senone建模或系统字典。此外,可以通过编辑基于文本的关键字列表来轻松添加和修改关键字,而无需重新训练RNN。此外,单向RNN处理无限长的输入音频流而无需预分割,并且在话语完成之前以低延迟检测关键字。实验结果表明,所提出的关键字发现器显着优于深度神经网络(DNN)和隐马尔可夫模型(HMM)的关键字填充模型,即使以更少的计算。
2015-12-30 cs.CL cs.LG cs.NE