Evaluating Sequence-to-Sequence Models for Handwritten Text Recognition
University of Rostock(罗斯托克大学);PLANET artificial intelligence GmbH(PLANET人工智能有限公司)
编码器-解码器模型已经成为序列学习任务(如机器翻译、图像描述和语音识别)的有效方法,但对于手写文本识别尚未显示出有竞争力的结果。为此,我们提出了一个基于注意力的序列到序列模型。它结合了一个卷积神经网络作为一个通用的特征提取器与递归神经网络编码的视觉信息,以及输入图像中的字符之间的时间上下文,并使用一个单独的递归神经网络解码的实际字符序列。我们对各种注意力机制和位置编码进行了实验比较,以找到输入和输出序列之间的适当对齐。该模型可以进行端到端的训练,如果需要,混合损失的可选集成允许编码器保留可解释和可用的输出。与不使用语言模型的最新技术相比,我们在IAM和ICFHR 2016 READ数据集上获得了有竞争力的结果,并且我们在任何最近的序列到序列方法上都有显着改进。
2019-07-15 cs.CV cs.LG
Full Page Handwriting Recognition via Image to Sequence Extraction
Turnitin(Turnitin公司)
我们提出了一个基于神经网络的手写文本识别(HTR)模型架构,可以训练识别整页的手写或打印文本,而无需图像分割。基于图像到序列架构,它可以提取图像中存在的文本,然后正确地对其进行排序,而不对文本和非文本的方向,布局和大小施加任何约束。此外,它还可以被训练来生成与格式、布局和内容相关的辅助标记。我们使用字符级词汇,从而使任何主题的语言和术语。该模型实现了一个新的国家的最先进的段落级识别的IAM数据集。当对真实世界的手写自由形式测试答案进行扫描时-被弯曲和倾斜的线条,图纸,表格,数学,化学和其他符号包围-它的性能优于所有商用HTR云API。它作为商业Web应用程序的一部分部署在生产中。
2022-06-26 cs.AI cs.CL cs.CV
Acoustic-to-Word Recognition with Sequence-to-Sequence Models
Carnegie Mellon University(卡内基梅隆大学)
声学到单词识别为端到端语音识别提供了一种简单的解决方案,而无需外部解码、语言模型重新评分或词典。虽然基于字符的模型为词汇表问题提供了一个自然的解决方案,但单词模型可以更简单地解码,并且还可以直接识别语义上有意义的单元。我们提出了有效的方法来训练序列到序列模型,直接字级识别(和字符级识别),并显示了4.4-5.0\%的字错误率的绝对改善开关板语料库相比,以前的工作。除了这些有希望的结果,基于单词的模型比字符模型更容易解释,字符模型必须使用单独的解码步骤组成单词。我们分析了编码器的隐藏状态和注意力行为,并表明位置感知注意力自然地将单词表示为单个语音单词向量,尽管在输入中跨越多个帧。我们最后表明,声学到字的模型也学会了分割语音成词的平均标准差为3帧相比,人类注释的强制对齐的交换机语料库。
2018-08-21 cs.CL cs.LG cs.SD
SeqNetVLAD vs PointNetVLAD: Image Sequence vs 3D Point Clouds for Day-Night Place Recognition
Queensland University of Technology(昆士兰科技大学);QUT Centre for Robotics(昆士兰科技大学机器人中心)
位置识别是移动机器人定位和导航的关键能力。基于图像或视觉位置识别(VPR)是一个具有挑战性的问题,因为场景外观和摄像机视角可以显着改变时,地方重新访问。与传统的序列分数聚合或基于单个图像的技术相比,最近基于“顺序表示”的VPR方法已经显示出有希望的结果。在这些努力的同时,随着基于深度学习的点云处理的进步,也在探索基于3D点云的地点识别。然而,一个关键的问题仍然存在:是一个明确的3D结构为基础的地方表示总是优于一个隐式的“空间”表示的RGB图像序列的基础上,可以固有地学习场景结构。在这个扩展的摘要中,我们试图通过考虑类似的“度量跨度”来表示位置来比较这两种方法。我们比较了基于3D点云的方法(PointNetVLAD)与基于图像序列的方法(SeqNet等),并展示了基于图像序列的技术方法,甚至可以超越基于点云的方法在给定的度量范围内所实现的性能。这些性能变化可以归因于输入传感器的数据丰富度以及移动机器人的数据积累策略的差异。虽然对于这两种不同的模式来说,完美的苹果对苹果的比较可能是不可行的,但所提出的比较朝着回答有关空间表征的更深层次问题的方向迈出了一步,这些问题与自动驾驶和增强/虚拟现实等几个应用有关。源代码可在https://github.com/oravus/seqNet公开获取。
2021-06-22 cs.AI cs.CV cs.IR
Supervised Attention in Sequence-to-Sequence Models for Speech Recognition
Centre for Speech Technology Research, School of Informatics, University of Edinburgh(爱丁堡大学信息学院 speech 技术研究中心)
序列到序列模型中的注意机制是为了模拟语音识别中声学特征和输出标记之间的对齐。然而,由端到端训练的模型产生的注意力权重并不总是与实际对齐很好地对应,并且一些研究进一步认为注意力权重甚至可能与帧的相关性属性不对应。无论如何,注意力权重和对齐之间的视觉相似性在训练期间被广泛用作模型质量的指标。在本文中,我们将注意力权重和对齐之间的对应关系视为一个学习问题,通过施加监督注意力损失。实验已经显示出显着的改进性能,这表明在训练期间很好地学习比对关键地决定了序列到序列模型的性能。
2022-04-25 cs.CL cs.LG cs.SD
An online sequence-to-sequence model for noisy speech recognition
生成模型一直是语音识别的主要方法。然而,这些模式的成功依赖于使用复杂的配方和复杂的机器,这对非从业人员来说并不容易。深度学习的最新创新已经产生了一种替代方案-称为序列到序列模型的判别模型,其几乎可以匹配最先进的生成模型的准确性。虽然这些模型很容易训练,因为它们可以在单步的中进行端到端的训练,但它们具有只能用于离线识别的实际限制。这是因为模型要求在推理开始时输入序列的整体是可用的,这是一个对瞬时语音识别无效的假设。为了解决这个问题,最近引入了在线序列到序列模型。这些模型能够在数据到达时开始产生输出,并且模型有足够的信心输出部分成绩单。这些模型,像序列到序列一样,是因果关系-模型在任何时候产生的输出$t$都会影响随后计算的特征。这使得模型本质上比生成模型更强大,生成模型无法更改从数据计算的特征。本文强调了两个主要贡献-在线序列到序列模型训练的改进,以及其在噪声环境中的应用,其中包括两个扬声器的混合语音。
2017-06-16 cs.CL cs.LG stat.ML
Fine-tuning Handwriting Recognition systems with Temporal Dropout
RNNLab(RNN实验室);University of Balamand(巴拉曼大学)
本文介绍了一种新的方法来微调手写识别系统的基础上递归神经网络(RNN)。长短期记忆(LSTM)网络擅长对长序列进行建模,但随着时间的推移,它们往往会过拟合。为了提高系统对序列建模的能力,我们建议在序列中的随机位置丢弃信息。我们称之为时间丢弃(TD)。我们将TD应用于图像级别以及内部网络表示。我们表明,TD改善了两个不同的数据集上的结果。我们的方法在Rodrigo数据集上的性能优于以前的最新技术。
2021-01-31 cs.AI cs.CV cs.LG
An optimized Capsule-LSTM model for facial expression recognition with video sequences
Chongqing University of Posts and Telecommunications(重庆邮电大学);Southwestern University of Finance and Economics(西南财经大学)
针对卷积神经网络在人脸表情识别过程中的局限性,提出了一种基于视频帧序列的人脸表情识别模型Capsule-LSTM。该模型由三个网络组成,包括胶囊编码器,胶囊解码器和LSTM网络。胶囊编码器提取视频帧中面部表情的空间信息。Capsule解码器重建图像以优化网络。LSTM提取视频帧之间的时间信息,并分析帧之间表情变化的差异。在MMI数据集上的实验结果表明,本文提出的Capsule-LSTM模型能够有效提高视频表情识别的准确率。
2021-05-27 cs.CV cs.LG eess.IV
Affective Processes: stochastic modelling of temporal context for emotion and facial expression recognition
Samsung AI Center Cambridge(三星剑桥人工智能中心);University of Nottingham(诺丁汉大学)
时间语境是情感表达识别的关键。现有的方法依赖于循环或自我注意模型来强制时间一致性,在特征级别工作,忽略了特定于任务的时间依赖性,并且无法对上下文不确定性进行建模。为了缓解这些问题,我们建立在神经过程的框架上,提出了一种具有三个关键新组件的明显情感识别方法:(a)具有全局潜变量模型的概率上下文表示;(b)除了特征之外,还使用特定于任务的预测进行时间上下文建模;以及(c)智能时间上下文选择。我们验证我们的方法在四个数据库,两个效价和唤醒估计(SEWA和AffWild 2),和两个动作单元强度估计(DISFA和BP 4D)。结果表明,在一系列强基线以及国家的最先进的方法一致的改善。
2021-03-24 cs.CV cs.LG
End-to-End Attention-based Large Vocabulary Speech Recognition
当前许多最先进的大词汇量连续语音识别系统(LVCSR)是神经网络和隐马尔可夫模型(HRM)的混合。这些系统中的大多数包含处理声学建模、语言建模和序列解码的单独组件。我们研究了一种更直接的方法,其中HMM被替换为递归神经网络(RNN),直接在字符级别执行序列预测。输入特征和所需字符序列之间的对齐是通过RNN中内置的注意力机制自动学习的。对于每个预测的字符,注意力机制扫描输入序列并选择相关帧。我们提出了两种方法来加快这一操作:限制扫描到最有前途的帧的子集,并随着时间的推移,池中包含的信息在相邻的帧,从而减少源序列的长度。将n-gram语言模型集成到解码过程中会产生类似于其他基于HMM的RNN方法的识别精度。
2016-03-14 cs.AI cs.CL cs.LG
Instant One-Shot Word-Learning for Context-Specific Neural Sequence-to-Sequence Speech Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie Mellon University(卡内基梅隆大学)
神经序列到序列系统为自动语音识别(ASR)提供最先进的性能。当使用适当的建模单位时,例如,字节对编码的字符,这些系统原则上是开放的词汇系统。然而,在实践中,他们经常无法识别在训练期间没有看到的单词,例如,命名实体、数字或技术术语。为了缓解这个问题,我们补充了一个端到端的ASR系统与单词/短语的内存和访问该内存的机制,以正确地识别单词和短语。在ASR系统的训练之后,并且当它已经被部署时,可以立即添加或减去相关单词,而不需要进一步的训练。在本文中,我们证明了通过这种机制,我们的系统能够识别超过85%的新添加的单词,它以前没有识别相比,一个强大的基线。
2021-07-05 cs.CL cs.LG
Acoustic Model Optimization Based On Evolutionary Stochastic Gradient Descent with Anchors for Automatic Speech Recognition
IBM Research AI(IBM研究院人工智能部门);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
进化随机梯度下降(ESGD)是一种基于种群的优化方法,它结合了梯度感知和无梯度优化算法的优点,具有较好的全局优化性能。在本文中,我们研究了一个变种的ESGD优化的声学模型自动语音识别(ASR)。在这个变体中,我们假设存在一个经过良好训练的声学模型,并将其用作亲本种群中的锚,其良好的“基因”将在进化中传播给后代。我们提出了一个ESGD算法,利用锚模型,使它保证人口的最佳适应度永远不会从锚模型退化。在50小时广播新闻(BN 50)和300小时交换台(SWB 300)上的实验表明,与现有的训练良好的声学模型相比,带锚的ESGD可以进一步改善损失和ASR性能。
2019-07-10 cs.CL cs.LG eess.AS
Sparse Semi-Supervised Action Recognition with Active Learning
University of Washington(华盛顿大学)
当前基于标签的动作识别方法是有监督的,并且依赖于标签。由于注释和错误标记数据所涉及的挑战,这种依赖限制了性能。已经引入了无监督的方法,但是,它们将序列组织成簇,并且仍然需要标签将簇与动作相关联。在本文中,我们提出了一种新的方法,为基于信标的动作识别,称为SESAR,连接这些方法。SESAR利用来自未标记数据和少数主动选择用于标记的序列的信息,将无监督训练与稀疏监督指导相结合。SESAR由两个主要组件组成,其中第一个组件通过编码器-解码器RNN学习未标记动作序列的潜在表示,该RNN重建序列,第二个组件执行主动学习以基于聚类和分类不确定性选择要标记的序列。当这两个组件同时在基于机器学习的动作序列上训练时,它们对应于一个鲁棒的动作识别系统,只有少数标记的样本。我们在具有多个序列和动作的常见数据集上评估我们的系统,例如NW UCLA,NTU RGB+D 60和UWA 3D。当应用于稀疏标记样本时,我们的结果优于独立的基于基于机器学习的监督,无监督的聚类识别和主动学习方法,低至1%的数据。
2020-12-07 cs.CV cs.LG
Improving sequence-to-sequence speech recognition training with on-the-fly data augmentation
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Maastricht University(马斯特里赫特大学)
序列到序列(S2 S)模型最近开始显示出用于自动语音识别(ASR)的最先进性能。对于这些大而深的模型,过拟合仍然是最大的问题,超过了可以从更好的架构中获得的性能改进。过拟合问题的一个解决方案是在数据增强的帮助下增加可用训练数据的量和训练数据所表现出的多样性。在本文中,我们研究了两个S2 S模型架构的性能上的三种数据增强方法的影响。其中一种数据增强方法来自于文献,而另外两种方法是我们自己开发的-频域时间扰动和子序列采样。我们在Switchboard和Fisher数据上的实验显示了S2 S模型的最新性能,这些模型仅在语音训练数据上进行训练,而不使用额外的文本数据。
2020-02-03 cs.CV cs.LG cs.SD
Attention-based sequence-to-sequence model for speech recognition: development of state-of-the-art system on LibriSpeech and its application to non-native English
LAIX Inc.(LAIX公司)
最近的研究表明,基于注意力的序列到序列模型,如听,注意和拼写(LAS),在各种任务上产生与最先进的ASR系统相当的结果。在本文中,我们描述了这样一个系统的发展,并证明其性能的两个任务:第一,我们实现了一个新的国家的最先进的字出错率为3.43%的测试干净的子集LibriSpeech英语数据;第二,非母语英语语音,包括阅读语音和自发语音,我们获得了非常有竞争力的结果相比,传统的系统建立了最新的卡尔迪配方。
2018-11-05 cs.CL cs.LG cs.SD
Analysis of Multilingual Sequence-to-Sequence speech recognition systems
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft(微软);Amazon(亚马逊);Google(谷歌);Facebook(脸书);MERL/Mitsubishi Electric(三菱电机研究实验室/三菱电机)
本文研究了传统隐马尔可夫模型(HMM)系统中开发的各种多语言方法在序列到序列(seq 2seq)自动语音识别(ASR)中的应用。在由Babel数据组成的集合上,我们首先展示了具有堆叠瓶颈(SBN)特征的多语言训练的有效性。然后,我们探讨了基于CTC-注意力网络的多语言seq 2seq模型的各种架构和训练策略,包括输出层、CTC和/或注意力分量再训练的组合。我们还研究了当目标语言不包含在原始多语言训练数据中时,在资源非常少的情况下语言迁移学习的有效性。有趣的是,我们发现多语言特征优于多语言模型,这一发现表明我们可以通过这些多语言特征技术有效地将HMM系统与seq 2seq系统的优势结合起来。
2018-11-07 cs.CL cs.LG eess.AS
Training LDCRF model on unsegmented sequences using Connectionist Temporal Classification
Ferdowsi University of Mashhad(马什哈德菲尔多西大学)
许多机器学习问题,如语音识别、手势识别和手写识别,都与序列数据的同时分割和标记有关。潜在动态条件随机场(LDCRF)是一个众所周知的判别方法,已成功地用于这项任务。然而,LDCRF只能用预先分割的数据序列来训练,其中每个帧的标签是先验可用的。在神经网络领域,联结时态分类(CTC)的发明使得在未分割序列上训练递归神经网络成为可能,并取得了巨大成功。在本文中,我们使用CTC来训练未分割序列上的LDCRF模型。两个手势识别任务的实验结果表明,该方法优于LDCRF,隐马尔可夫模型,和条件随机场。
2016-09-06 cs.CV cs.LG
Towards Relevance and Sequence Modeling in Language Recognition
Amazon Alexa Lab(亚马逊Alexa实验室);Indian Institute of Science(印度科学学院)
在噪声环境下对同一语系的多种方言进行自动语言识别是一个具有挑战性的问题。在这些场景中,语言/方言的身份可以仅可靠地存在于语音信号的时间序列的部分中。LID(以及说话人识别)的传统方法通过提取记录的长期统计概要而忽略序列信息,假设特征帧的独立性。在本文中,我们提出了一个神经网络框架,利用短序列信息的语言识别。特别是,提出了一种新的模型,将相关性的语言识别,语音数据的部分加权更多的语言识别任务的相关性的基础上。这种相关性加权是使用具有注意力建模的双向长短期记忆(BLSTM)网络来实现的。我们探索了两种方法,第一种方法使用在神经模型中聚合的分段级i-向量/x-向量表示,第二种方法在端到端神经模型中直接建模声学特征。使用NIST LRE 2017挑战赛中的语言识别任务,使用干净,嘈杂和多说话人语音数据以及RATS语言识别语料库进行实验。在噪声LRE任务以及RATS数据集上的这些实验中,所提出的方法比传统的基于i-向量/x-向量的语言识别方法以及结合序列信息的其他先前模型产生了显着的改进。
2020-04-02 cs.CL cs.LG cs.SD
Temporal Stochastic Softmax for 3D CNNs: An Application in Facial Expression Recognition
École de technologie supérieure(高等技术学院);Concordia University(康考迪亚大学)
训练深度学习模型以准确地时空识别视频中的面部表情需要大量的计算资源。出于实际原因,3D卷积神经网络(3D CNN)通常使用从视频中随机提取的相对较短的剪辑进行训练。然而,这样的均匀采样通常是次优的,因为相等的重要性被分配给每个时间剪辑。在本文中,我们提出了一种基于视频的3D CNN有效训练策略。它依赖于softmax时间池和加权采样机制来选择最相关的训练片段。所提出的softmax策略提供了几个优点:由于有效的剪辑采样而降低了计算复杂性,并且由于时间加权在训练和推理期间都集中于更相关的剪辑而提高了准确性。在几个面部表情识别基准上使用所提出的方法获得的实验结果显示了在训练视频中关注更多信息片段的好处。特别是,我们的方法提高了性能和计算成本,减少不准确的修剪和粗略的视频注释的影响,以及视觉信息在不同时间的异构分布。
2020-11-10 cs.CV cs.LG
Sequence to sequence learning for unconstrained scene text recognition
Nile University(尼罗河大学)
在这项工作中,我们提出了一个国家的最先进的方法,无约束的自然场景的文本识别。我们提出了一种级联方法,该方法结合了卷积神经网络(CNN)架构,然后是长短期记忆模型(LSTM)。CNN学习字符的视觉特征,并将其与softmax层一起使用以检测字符序列。虽然CNN给出了非常好的识别结果,但它没有对字符之间的关系进行建模,因此会产生假阳性和假阴性情况(由于视觉上的相似性,如“g”和“9”,或混淆背景补丁与字符混淆字符;删除现有字符或添加不存在的字符)为了缓解这些问题,我们利用LSTM架构的最新发展来编码上下文信息。我们表明,LSTM可以显着减少此类错误,并在无约束自然场景文本识别任务中达到最先进的准确性。此外,我们手动从训练集中删除测试集中存在的所有单词,以测试我们的方法是否会推广到看不见的数据。我们使用ICDAR 13测试集进行评估,并将结果与最先进的方法进行比较[11,18]。最后,我们提出了一个应用的工作领域的交通监测。
2016-07-20 cs.CV cs.LG cs.NE
Integrating Source-channel and Attention-based Sequence-to-sequence Models for Speech Recognition
Cambridge University(剑桥大学)
本文提出了一种新的自动语音识别(ASR)框架,称为集成源-通道和注意力(ISCA),它结合了基于噪声源-通道模型(SC)的传统系统和使用基于注意力的序列到序列模型的端到端风格系统的优点。传统的SC系统框架包括隐马尔可夫模型和基于连接主义时间分类(CTC)的声学模型,语言模型(LM)和基于词典的解码过程,而端到端风格的基于注意力的系统联合建模的整个过程与一个单一的模型。通过重新评分的传统系统使用端到端的风格系统的基础上扩展的噪声源-信道模型的假设,ISCA允许结构化的知识,可以很容易地通过SC为基础的模型,同时利用基于注意力的模型的互补性。AMI会议语料库上的实验表明,ISCA是能够给一个相对的单词错误率降低高达21%,在一个单独的系统,并通过13%的替代方法,也涉及到CTC和基于注意力的模型相结合。
2019-10-01 cs.CL cs.LG cs.SD
Confidence Estimation for Attention-based Sequence-to-sequence Models for Speech Recognition
Google(谷歌)
对于各种与语音相关的任务,来自语音识别器的置信度分数是评估语音质量的有用度量。在传统的基于隐马尔可夫模型的自动语音识别(ASR)系统中,置信度可以从解码格中的词后验子中可靠地获得。然而,对于具有自回归解码器的ASR系统,诸如基于注意力的序列到序列模型,计算词后验是困难的。一个明显的替代方案是使用解码器softmax概率作为模型置信度。在本文中,我们首先研究了一些常用的正则化方法如何影响基于softmax的置信度得分,并研究了端到端模型的过度自信行为。然后,我们提出了一个轻量级的和有效的方法命名为置信度估计模块(CEM)上现有的端到端的ASR模型。LibriSpeech上的实验表明,CEM可以减轻过度自信问题,并且可以在有和没有浅层融合语言模型的情况下产生更可靠的置信度。进一步的分析表明,CEM可以很好地推广到中度不匹配域的语音,并且可以潜在地改进下游任务,例如半监督学习。
2020-10-23 cs.CL cs.LG eess.AS
Using stochastic computation graphs formalism for optimization of sequence-to-sequence model
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
各种各样的机器学习问题可以被公式化为针对某些(替代)损失函数的优化任务。损失函数的计算可以用随机计算图来表示。我们使用这种形式主义分析了著名的序列到序列模型的优化问题,并提出了重新制定的任务。给出了机器翻译(MT)的实例。我们的工作为序列到序列模型的不同优化方法提供了统一的视图,可以帮助研究人员开发具有嵌入式随机节点的新网络架构。
2017-12-15 cs.LG
Curriculum Learning for Handwritten Text Line Recognition
A2iA S.A.(A2iA股份有限公司)
递归神经网络(RNN)最近在脱机手写文本识别中取得了最好的性能。同时,通过梯度下降学习RNN会导致收敛速度慢,当训练数据库由整行文本组成时,训练时间特别长。在本文中,我们提出了一种简单的方法来加速随机梯度下降在此设置,并在一般情况下学习识别序列。这一原则被称为课程学习或塑造。这个想法是首先学习识别短序列,然后在所有可用的训练序列上进行训练。在三个不同的手写文本数据库(Rimes,IAM,OpenHaRT)上的实验表明,这种策略的简单实现可以显着加快用于文本识别的RNN的训练,甚至在某些情况下显着提高性能。
2013-12-05 cs.LG
Multilingual sequence-to-sequence speech recognition: architecture, transfer learning, and language modeling
Johns Hopkins University(约翰斯·霍普金斯大学);Brno University of Technology(布尔诺理工大学);Amazon(亚马逊);Waseda University(早稻田大学);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL))
序列到序列(seq 2seq)方法是语音研究中一个相对较新的方向。该方法通过在不使用词典和对齐的情况下执行模型训练而受益。然而,与传统的DNN-HMM系统相比,这提出了需要更多数据的新问题。在这项工作中,我们试图使用来自10个BABEL语言的数据来构建多语言seq 2seq模型作为先验模型,然后使用迁移学习方法将它们移植到其他4个BABEL语言。我们还探索了不同的架构,以改善先前的多语言seq 2seq模型。本文还讨论了在解码过程中将递归神经网络语言模型(RNNLM)与seq 2seq模型集成的效果。实验结果表明,多语言模型的迁移学习方法在所有4种BABEL语言上都比单语言模型有很大的提高。对RNNLM进行扩展也会在%WER方面带来显著的改进,并实现与使用两倍以上训练数据训练的模型相当的识别性能。
2018-10-04 cs.CL cs.LG cs.SD
Clustering and Recognition of Spatiotemporal Features through Interpretable Embedding of Sequence to Sequence Recurrent Neural Networks
Department of Electrical & Computer Engineering(电气与计算机工程系);Department of Applied Mathematics(应用数学系);University of Washington(华盛顿大学);Seattle, WA 98195(西雅图, WA 98195(注意:地址信息按要求不应提取,此处仅为示例说明))
编码器-解码器递归神经网络模型(RNN Seq 2Seq)在计算和应用的普遍领域取得了巨大的成功。它被证明是成功的建模数据的时间和空间依赖性的翻译或预测任务。在这项研究中,我们提出了一种嵌入的方法来可视化和解释这些模型的数据表示。此外,我们表明,嵌入是一种有效的方法,无监督学习,可以用来估计模型训练的最优性。特别是,我们证明了在序列预测上训练的RNN Seq 2Seq模型的解码器状态的嵌入空间投影被组织在集群中,捕捉这些序列动态的相似性和差异。这种性能对应于任何时空特征的无监督聚类,并且可以用于时间相关的问题,例如时间分割,动态活动的聚类,自监督分类,动作识别,故障预测等。我们测试并演示了嵌入方法在3D人体姿势时间序列中的应用。我们表明,该方法提供了高质量的无监督运动分类。
2020-01-31 cs.LG eess.SP q-bio.NC
Hallucination of speech recognition errors with sequence to sequence learning
The Ohio State University(俄亥俄州立大学)
自动语音识别(ASR)是一个不完美的过程,当与纯书面文本或transmittance相比时,它会导致ASR输出文本中的某些不匹配。当纯文本数据被用于训练口语语言理解或ASR的系统时,减少所述失配并防止降级的经证实的策略是使ASR输出的内容产生幻觉,将被给予黄金转录。该领域的先前工作集中在语音级别的建模错误,同时使用词典将音素转换为单词,通常伴随着FST语言模型。我们提出了新的端到端模型,直接预测幻觉ASR单词序列输出,条件输入单词序列以及相应的音素序列。这改进了先前公布的结果,用于从域内ASR系统对未看见的数据的转录以及域外ASR系统对来自不相关任务的音频的转录中召回错误,同时另外探索当可获得来自测试ASR系统的有限表征数据时的中间场景。为了验证该方法的外在有效性,我们还使用我们的幻觉ASR错误来增强口语问题分类器的训练,发现当训练时特定于任务的音频很少或甚至为零时,它们能够对下游任务中的真实ASR错误具有鲁棒性。
2021-03-31 cs.CL cs.LG
Gesture Recognition with a Focus on Important Actions by Using a Path Searching Method in Weighted Graph
Kinki University(近畿大学)
本文提出了一种手势识别的方法,重点是重要的动作区分相似的手势。该方法利用光流图像生成部分动作序列,并将其表示在特征空间中,采用加权图的最优路径搜索方法对特征向量序列进行检查,聚焦重要动作。还介绍了相似的手语单词识别的实验结果。
2009-12-09 cs.CV cs.LG
Iterate & Cluster: Iterative Semi-Supervised Action Recognition
University of Washington(华盛顿大学)
我们提出了一种新的主动半监督基于特征的动作识别系统。给定运动过程中跟踪的特征的时间序列,我们的系统将序列聚类为动作。我们的系统是基于编码器-解码器无监督的方法,通过自回归任务,通过自组织其潜在的表示来执行聚类。这些方法在人类动作识别基准上进行了测试,优于基于非特征的无监督方法,并达到了与基于特征的监督方法相当的准确性。然而,这样的方法依赖于将序列与动作相关联的K最近邻(KNN),并且没有注释数据的一般特征将对应于可以进一步增强的近似聚类。我们的系统提出了一种迭代的半监督方法来解决这一挑战,并积极学习集群和动作的关联。该方法利用潜空间嵌入和聚类的无监督编码器-解码器,以指导选择序列进行注释,在每次迭代。每次迭代,选择的目的是提高动作识别的准确性,同时选择少量的序列进行注释。我们测试的方法对人类的动作识别基准,假设只有我们的方法选择的注释是可用的,并在实验室实验中记录的鼠标运动视频。我们表明,我们的系统可以提高识别性能,只有一小部分的注释。该系统可以用作交互式注释工具,以指导各种对象和动作的“野外”视频的标记工作,以实现鲁棒的识别。
2020-06-12 cs.CV cs.LG eess.IV
EMG Pattern Recognition via Bayesian Inference with Scale Mixture-Based Stochastic Generative Models
Hiroshima University(广岛大学);The University of Tokyo(东京大学)
由于肌电信号能够反映人体的运动意图,因此肌电信号已被用于假手和信息设备的信号接口。虽然各种肌电信号分类方法已被引入到基于肌电信号的控制系统中,但它们没有充分考虑肌电信号的随机特性。提出了一种基于尺度混合生成模型的肌电信号模式分类方法。尺度混合模型是一种随机EMG模型,其中EMG方差被认为是随机变量,使得能够表示方差中的不确定性。在本研究中,此模型被扩展并用于肌电信号模式分类。所提出的方法是训练变分贝叶斯学习,从而允许自动确定模型的复杂性。此外,为了优化所提出的方法的超参数与部分判别的方法,互信息为基础的确定方法。仿真和肌电信号分析实验验证了超参数与分类精度之间的关系以及该方法的有效性。使用公共EMG数据集的比较表明,该方法优于各种传统的分类器。这些结果表明了所提出的方法的有效性和它的适用性肌电信号为基础的控制系统。在肌电信号模式识别中,基于反映肌电信号随机特性的生成模型的分类器可以优于传统的通用分类器。
2021-07-21 cs.LG eess.SP stat.ML
Speech Emotion Recognition with Dual-Sequence LSTM Architecture
Duke University(杜克大学);University of Minnesota Twin Cities(明尼苏达大学双城分校)
语音情感识别(SER)已经成为下一代人机接口技术的关键组成部分。在这项工作中,我们提出了一个新的双层模型,预测情感的基础上MFCC功能和梅尔从原始音频信号产生的频谱图。每个语音被预处理成MFCC特征和两个不同时频分辨率的梅尔谱图。标准的LSTM处理MFCC特征,而一种新型的LSTM架构,称为双序列LSTM(DS-LSTM),同时处理两个mel谱图。输出随后被平均以产生话语的最终分类。我们提出的模型平均达到了72.7%的加权准确度和73.3%的未加权准确度-比当前最先进的单峰模型提高了6%-并且与利用文本信息以及音频信号的多模态模型相当。
2020-02-13 cs.LG cs.SD eess.AS
Synchronous Transformers for End-to-End Speech Recognition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心)
对于大多数基于注意力的序列到序列模型,解码器以编码器处理的整个输入序列为条件来预测输出序列。由于编码和解码的异步性,使得这些模型难以应用于在线语音识别。在本文中,我们提出了一个名为同步Transformer的模型来解决这个问题,它可以预测输出序列的块。一旦编码器处理了输入序列的固定长度块,解码器立即开始预测符号。在训练过程中,引入了一种前向-后向算法来优化所有可能的对齐路径。我们的模型在普通话数据集AISHELL-1上进行了评估。实验结果表明,该同步Transformer能够实现编码和解码的同步,在测试集上的字符误码率为8.91%。
2020-02-24 cs.CL cs.LG eess.AS
MLP-ASR: Sequence-length agnostic all-MLP architectures for speech recognition
LINE corporation(LINE公司)
我们提出了多层感知器(MLP)为基础的架构,适用于可变长度的输入。最近提出的用于图像分类的基于MLP的架构只能用于固定的预定义大小的输入。然而,许多类型的数据在长度上是自然可变的,例如,声学信号。我们提出了三种方法来扩展基于MLP的架构,用于任意长度的序列。第一个使用在傅立叶域中应用的循环卷积,第二个应用去卷积,最后一个依赖于移位运算。我们使用Librisepeech和Tedlium 2语料库在自动语音识别任务上评估了所提出的架构。最好的基于MLP的架构将WER提高了1.0 /0.9%,在Librispeech dev-clean/dev-other,test-clean/test-other集上提高了0.9 / 0.5%,在Tedlium 2 dev/test集上提高了0.8 / 1.1%,使用了86.4%的基于自我注意力的架构的大小。
2022-02-17 cs.LG cs.SD eess.AS
Long Short-Term Memory Based Recurrent Neural Network Architectures for Large Vocabulary Speech Recognition
Google(谷歌)
长短期记忆(LSTM)是一种循环神经网络(RNN)架构,旨在解决传统RNN的消失和爆炸梯度问题。与前馈神经网络不同,RNN具有循环连接,这使得它们在序列建模方面非常强大。它们已成功地用于序列标记和序列预测任务,如手写识别,语言建模,声学帧的语音标记。然而,与深度神经网络相比,RNN在语音识别中的使用仅限于小规模任务中的电话识别。在本文中,我们提出了新的基于LSTM的RNN架构,它可以更有效地利用模型参数来训练用于大词汇量语音识别的声学模型。我们训练和比较LSTM,RNN和DNN模型在不同数量的参数和配置。我们表明,LSTM模型收敛速度很快,并为相对较小的模型提供了最先进的语音识别性能。
2014-02-05 cs.CL cs.LG cs.NE
BGaitR-Net: Occluded Gait Sequence reconstructionwith temporally constrained model for gait recognition
Indian Institute of Technology (BHU)(印度理工学院(贝纳拉斯印度教大学));Nanyang Technological University(南洋理工大学)
计算资源和深度学习方法的最新进展极大地促进了基于智能视觉的监控应用的开发。存在遮挡的步态识别是该领域具有挑战性的研究课题之一,迄今为止,研究人员提出的解决方案缺乏鲁棒性,并且还依赖于一些不切实际的约束,这限制了其实用性。我们通过开发新的基于深度学习的算法来识别输入序列中的遮挡帧,然后通过利用步态序列中存在的时空信息来重建这些遮挡帧,从而改进了最新技术。在这项工作中采用的多阶段流水线包括关键姿势映射,遮挡检测和重建,最后步态识别。虽然关键姿势映射和遮挡检测阶段是使用约束K均值聚类并经由图排序算法来完成的,但是遮挡帧的重建是通过使用双向长短时间记忆将先前步骤中导出的关键姿势特定信息与步态序列中包含的时空信息融合来完成的。该遮挡重建模型已经使用综合遮挡CASIA-B和OU-ISIR数据进行训练,并且训练好的模型被称为双向步态重建网络BGait-R-Net。我们的基于LSTM的模型重建遮挡,并生成与步态周期的周期性模式在时间上一致的帧,同时保留身体结构。
2021-10-18 cs.CV cs.LG
GLSFormer: Gated - Long, Short Sequence Transformer for Step Recognition in Surgical Videos
Johns Hopkins University(约翰斯·霍普金斯大学);Wilmer Eye Institute, Johns Hopkins University School of Medicine(约翰斯·霍普金斯大学医学院威尔默眼科研究所);Malone Center for Engineering in Healthcare, Johns Hopkins University(约翰斯·霍普金斯大学马龙医疗工程中心)
针对现有手术步骤识别方法未兼顾时空特征联合建模与长程信息的问题,提出带门控时间注意力的GLSFormer,在两个白内障数据集上性能优于现有最优方法。
2023-07-20 cs.CV cs.LG
Posture and sequence recognition for Bharatanatyam dance performances using machine learning approach
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
理解舞蹈等表演艺术的潜在语义是一项具有挑战性的任务。舞蹈本质上是多媒体的,跨越时间和空间。捕捉和分析舞蹈的多媒体内容对于保护文化遗产、构建视频推荐系统、帮助学习者使用辅导系统都是有用的。为了开发舞蹈应用程序,需要解决舞蹈分析的三个方面:1)对舞蹈视频进行分割以找到代表性的动作元素,2)对检测到的动作元素进行匹配或识别,以及3)识别通过在一定规则下组合多个动作元素而形成的舞蹈序列。本文试图解决舞蹈分析的三个基本问题,以理解舞蹈形式的潜在语义。我们的重点是印度古典舞蹈(ICD)形式被称为Bharatanatyam。由于舞蹈是由音乐驱动的,我们使用的音乐以及运动信息的关键姿态提取。接下来,我们使用机器学习以及深度学习技术来识别关键姿势。最后,舞蹈序列识别使用隐马尔可夫模型(HMM)。我们使用Kinect捕获Bharatanatyam舞蹈的多模态数据,并建立一个注释数据集,用于ICD的研究。
2019-09-24 cs.CV cs.LG cs.MM
LMR-CBT: Learning Modality-fused Representations with CB-Transformer for Multimodal Emotion Recognition from Unaligned Multimodal Sequences
Beijing University of Posts and Telecommunications(北京邮电大学);East China Normal University(华东师范大学);Shanghai University of International Business and Economics(上海对外经贸大学)
学习模态融合表示和处理不对齐的多模态序列在多模态情感识别中是有意义和具有挑战性的。现有的方法使用定向成对注意或消息中心来融合语言、视觉和听觉模态。然而,这些方法在融合特征时引入了信息冗余,并且没有考虑模态的互补性而效率低下。在本文中,我们提出了一个有效的神经网络学习模态融合表示与CB-Transformer(LMR-CBT)的多模态情感识别从非对齐的多模态序列。具体来说,我们首先分别对三种模态进行特征提取,得到序列的局部结构。然后,我们设计了一种新的跨模态块的Transformer(CB-Transformer),它可以实现不同模态的互补学习,主要分为局部时间学习,跨模态特征融合和全局自注意表示。此外,我们拼接融合的功能与原始功能的分类序列的情感。最后,我们在三个具有挑战性的数据集IEMOCAP,CMU-MOSI和CMU-MOSEI上进行了单词对齐和未对齐的实验。实验结果表明,我们提出的方法在这两种设置的优越性和效率。与主流方法相比,我们的方法达到了国家的最先进的最少数量的参数。
2021-12-03 cs.CL cs.CV cs.LG
Automatic recognition of element classes and boundaries in the birdsong with variable sequences
The University of Tokyo(东京大学);RIKEN Brain Science Institute(理化学研究所脑科学研究所)
对顺序发声的研究通常需要分析长连续声音中的发声。在诸如发育研究或跨代研究中,必须分析几天或几个月的发声,强烈需要自动识别的方法。虽然已经深入研究了用于应用目的的自动语音识别方法,但盲目地将其应用于生物目的可能不是最佳解决方案。这是因为,与人类语音识别不同,顺序发声的分析通常需要准确提取定时信息。在本研究中,我们提出了自动化系统适合识别鸟鸣,最深入研究的顺序发声之一,专注于鸟鸣的三个属性。首先,一首歌是一系列的声乐元素,称为音符,可以分为类别。其次,鸟鸣的时间结构是精确控制的,这意味着时间信息在歌曲分析中是重要的。最后,根据一定的概率规则产生音符,这可能有助于准确的歌曲识别。我们将鸟鸣声识别过程分为三个子步骤:局部分类、边界检测和全局排序,每个子步骤对应鸟鸣声的三个属性。我们比较了几种不同的方式安排这三个步骤的性能。作为结果,我们证明了深度神经网络和隐马尔可夫模型的混合模型在识别具有可变音符序列的鸟鸣中是有效的。我们提出了适当的安排的方法,根据是否需要准确的边界检测。同时,我们设计了一个新的度量标准来联合评估音符分类和边界检测的准确性。我们的方法应该是适用的,小的修改和调整,在其他物种的歌曲,持有的三个属性的顺序发声。
2016-01-23 cs.LG cs.SD q-bio.NC
Parallel sequence tagging for concept recognition
University of Zurich(苏黎世大学);Dalle Molle Institute for Artificial Intelligence Research (IDSIA)(达勒·莫勒人工智能研究所);Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
背景:命名实体识别(NER)和规范化(NEN)是任何生物医学文本挖掘系统的核心组件。在传统的概念识别流水线中,这些任务以串行方式组合,这固有地易于从NER到NEN的错误传播。我们提出了一个并行架构,其中NER和NEN被建模为一个序列标签任务,直接操作的源文本。我们研究了不同的协调策略,将两个分类器的预测合并为一个输出序列。结果:我们测试我们的方法在最近的CRAFT语料库的第4版。在概念注释任务的所有20个注释集中,我们的系统优于在CRAFT共享任务2019中作为基线报告的管道系统。结论:我们的分析表明,这两个分类器的优势,可以结合在一个富有成效的方式。然而,预测协调需要对每个注释集的开发集进行单独校准。这允许在已建立的知识(训练集)和新信息(看不见的概念)之间实现良好的权衡。可用性和实现:源代码可在www.example.com免费下载。补充数据可在arXiv在线获得。
2020-08-08 cs.CL cs.IR cs.LG
AttentionHTR: Handwritten Text Recognition Based on Attention Encoder-Decoder Networks
Uppsala University(乌普萨拉大学)
本文提出了一种基于注意力的序列到序列的手写体识别模型,并探讨了迁移学习用于HTR系统的数据有效训练。为了克服训练数据不足的问题,这项工作利用在场景文本图像上预训练的模型作为定制手写识别模型的起点。ResNet特征提取和基于双向LSTM的序列建模阶段一起形成编码器。预测阶段由解码器和基于内容的注意力机制组成。所提出的端到端HTR系统的有效性已经在一个新的多作者数据集Imgur 5 K和IAM数据集上进行了经验评估。实验结果评估HTR框架的性能,进一步支持的错误情况下进行深入分析。源代码和预训练模型可在https://github.com/dmitrijsk/AttentionHTR上获得。
2022-09-12 cs.CV cs.LG
SkeleMotion: A New Representation of Skeleton Joint Sequences Based on Motion Information for 3D Action Recognition
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);INRIA(法国国家信息与自动化研究所)
由于大规模骨架数据集的存在,三维人体动作识别近年来引起了计算机视觉界的关注。许多作品都集中在编码骨架数据作为骨架图像表示的基础上的空间结构的骨架关节,其中的时间动态序列被编码为列的变化和空间结构的每帧表示为矩阵的行。为了进一步改进这种表示,我们引入了一种新的骨架图像表示作为卷积神经网络(CNN)的输入,命名为SkeleMotion。所提出的方法编码的时间动态显式计算的幅度和方向值的骨架关节。采用不同的时间尺度来计算运动值,以将更多的时间动态聚合到表示中,使其能够捕获动作中涉及的远程关节相互作用以及过滤噪声运动值。在NTU RGB+D 120数据集上的实验结果表明,该方法在三维动作识别上的有效性优于现有技术。
2019-07-30 cs.CV cs.LG eess.IV
EEG based Continuous Speech Recognition using Transformers
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们研究连续语音识别使用脑电图(EEG)的功能,使用最近推出的端到端的Transformer为基础的自动语音识别(ASR)模型。我们的研究结果表明,基于Transformer的模型表现出更快的训练相比,基于递归神经网络(RNN)的序列到序列EEG模型和更好的性能在推理时间较小的测试集词汇,但随着我们增加的词汇量,基于RNN的模型的性能优于基于Transformer的模型在有限的英语词汇。
2020-05-05 cs.LG cs.SD eess.AS