Learning Acoustic Word Embeddings with Temporal Context for Query-by-Example Speech Search
Northwestern Polytechnical University(西北工业大学);Alibaba Inc.(阿里巴巴公司);National University of Singapore(新加坡国立大学)
我们建议学习声学词嵌入的时间上下文查询的例子(QBE)语音搜索。时间上下文包括单词的前导和尾随单词序列。我们假设训练数据库中存在口语单词对。我们用它们的原始时间上下文填充单词对,以形成固定长度的语音片段对。我们通过深度卷积神经网络(CNN)获得声学词嵌入,该网络在具有三重损失的语音片段对上训练。在搜索内容中移动一个固定长度的分析窗口,我们得到一个嵌入的运行序列。以这种方式,搜索口头查询等同于声学词嵌入的匹配。实验表明,我们提出的声学词嵌入学习时间上下文是有效的QBE语音搜索。它们优于最先进的帧级特征表示,并减少运行时计算,因为在QbE语音搜索中不需要动态时间规整。我们还发现,重要的是要有足够的语音段对训练深CNN有效的声学词嵌入。
2018-06-17 cs.CL
Position-Invariant Truecasing with a Word-and-Character Hierarchical Recurrent Neural Network
Google(谷歌)
Truecasing是恢复由语音识别或机器翻译的自动系统或由人类生成的嘈杂文本的正确情况(大写或小写)的任务。它提高了下游NLP任务的性能,例如命名实体识别和语言建模。我们提出了一个快速,准确和紧凑的两级层次的单词和字符为基础的循环神经网络模型,第一次为这个问题。使用序列蒸馏,我们还解决了问题,同时忽略句子中的标记位置,即在位置不变的方式。
2021-09-01 cs.CL
Advancing Acoustic-to-Word CTC Model
Microsoft(微软)
基于连接主义时间分类(CTC)标准的声学到词模型被示出为直接以词作为输出单元的自然端到端(E2E)模型。然而,基于单词的CTC模型遭受词汇表外(OOV)问题,因为它只能在输出层中对有限数量的单词进行建模,并将所有剩余的单词映射到OOV输出节点中。因此,这种基于词的CTC模型只能识别由网络输出节点建模的频繁词。我们的第一次尝试,以改善声学到字的模型是一个混合的CTC模型,咨询基于字母的CTC时,基于字的CTC模型发出OOV令牌在测试时间。然后,我们提出了一个更好的解决方案,通过训练一个混合单元CTC模型,将所有的OOV单词分解成频繁单词和多字母单元的序列。在3400小时的Microsoft Cortana语音助理任务上进行评估,当与我们提出的注意力CTC相结合时,最终的声学到单词解决方案通过相对12.09%的单词出错率(WER)降低来改善基于单词的基线CTC。这种E2E模型不使用任何语言模型(LM)或复杂的解码器,优于传统的上下文相关的音素CTC,具有强大的LM和解码器的相对6.79%。
2018-03-15 cs.CL
Sequential Recurrent Neural Networks for Language Modeling
Saarland University(萨尔大学)
基于前馈神经网络(FNN)的语言模型基于最后N个单词的历史来估计下一个单词的概率,而循环神经网络(RNN)仅基于最后一个单词和在网络中循环的一些上下文信息来执行相同的任务。本文提出了一种新的方法,这两类网络之间的桥梁的差距。特别是,我们提出了一种架构,它利用了明确的,顺序枚举的FNN结构中的单词历史,同时通过在网络中不断演变的经常性上下文信息,增强每个单词在投影层的表示。使用也在训练期间学习的附加词相关权重矩阵来执行上下文整合。在Penn Treebank(PTB)和Large Text Compression Benchmark(LTCB)语料库上进行的大量实验表明,与最先进的前馈和递归神经网络架构相比,该算法的困惑度显著降低。
2017-03-23 cs.CL
Discriminative Acoustic Word Embeddings: Recurrent Neural Network-Based Approaches
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
声学词嵌入-可变长度口语词段的固定维矢量表示-已经开始被考虑用于诸如语音识别和逐例查询搜索之类的任务。这样的嵌入可以有区别地学习,使得它们对于对应于相同单词的语音段是相似的,而对于对应于不同单词的段是不相似的。最近的研究发现,声学词嵌入可以优于动态时间扭曲查询的例子搜索和相关的词的歧视任务。然而,嵌入模型和训练方法的空间仍然相对未被探索。在本文中,我们提出了新的歧视性嵌入模型的基础上循环神经网络(RNNs)。我们考虑在先前的工作中已经成功的训练损失,特别是词分类的交叉熵损失和明确旨在在“连体网络”训练设置中分离相同词和不同词对的对比损失。我们发现,基于分类器和Siamese RNN嵌入都比以前报道的单词识别任务的结果有所改善,Siamese RNN的性能优于分类模型。此外,我们提出的学习嵌入和变量的影响,如维数和网络结构的分析。
2016-11-08 cs.CL
On Modular Training of Neural Acoustics-to-Word Model for LVCSR
Shanghai Jiao Tong University(上海交通大学)
端到端(E2 E)自动语音识别(ASR)系统使用统一模型直接将声学映射到单词。以往的研究大多集中在E2 E训练一个单一的模型,它将声学模型和语言模型整合为一个整体。虽然E2 E训练受益于序列建模和简化的解码管道,但通常需要大量转录的声学数据,并且无法利用传统的声学和语言建模技术。本文提出了一种新的E2 E ASR模块化训练框架,在训练阶段分别训练神经声学模型和语言模型,而在解码阶段仍然执行端到端的推理。这里,分别使用声学数据和文本数据来训练声学-音素模型(A2 P)和音素-单词模型(P2 W)。在A2 P和P2 W之间插入电话同步解码(PSD)模块,以在不损失精度的情况下减少序列长度。最后,模块被集成到一个acousticsto-word模型(A2 W),并使用声学数据进行联合优化,以保留序列建模的优势。在300小时的Switchboard任务上的实验表明,直接A2 W模型有显着的改善。训练和解码的效率也受益于所提出的方法。
2018-03-03 cs.CL
Modeling Acoustic-Prosodic Cues for Word Importance Prediction in Spoken Dialogues
Rochester Institute of Technology(罗切斯特理工学院)
会话中的韵律提示有助于听者辨别信息。我们调查是否可以使用口语对话中的声学线索,以确定个别单词的重要性的意义的谈话转向。聋人和听力困难的人通常依赖于现场会议中的实时字幕。单词出错率是一个传统的用于评估自动语音识别的度量标准,它未能捕捉到某些单词对于系统正确转录比其他单词更重要。我们提出并评估使用声学特征进行3类单词重要性预测的神经架构。我们的模型与最先进的基于文本的单词重要性预测模型相比具有竞争力,并且在不完美的ASR输出上运行时表现出特别的优势。
2019-07-16 cs.CL
Deep convolutional acoustic word embeddings using word-pair side information
University of Edinburgh(爱丁堡大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
最近的研究已经重新审视了整个单词作为语音识别和查询应用程序中的基本建模单元,而不是语音单元。这种全词分段系统依赖于将可变长度的语音片段映射到固定维度空间中的向量的函数;所得到的声学词嵌入需要允许直接在嵌入空间中准确区分不同的词类型。我们比较了几个老的和新的方法在一个词的歧视任务。我们最好的方法是使用已知单词对形式的辅助信息来训练一个连体卷积神经网络(CNN):一对绑定的网络,将两个语音片段作为输入并产生它们的嵌入,训练时使用铰链损失,将相同的单词对和不同的单词对分开一定的距离。单词分类器CNN的表现类似,但需要更强的监督。这两种类型的CNN都比之前发表的关于单词识别任务的最佳结果有了很大的改进。
2016-01-08 cs.CL
Query-by-Example Search with Discriminative Neural Acoustic Word Embeddings
TTI-Chicago(芝加哥丰田技术研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
逐例查询搜索通常使用动态时间规整(DTW)来比较查询和建议的匹配段。最近的工作表明,通过将语音片段表示为固定维向量--声学词嵌入--并测量它们的向量距离(例如,余弦距离)可以比基于DTW的方法更准确地区分单词。我们考虑了一种按示例查询搜索的方法,该方法根据神经模型嵌入查询和数据库段,然后进行最近邻搜索以找到匹配的段。早期的基于嵌入的查询的例子,使用基于模板的声学词嵌入,取得了竞争力的表现。我们发现,我们的嵌入,基于循环神经网络训练,以优化单词的歧视,实现了性能和运行时效率的显着改善,比以前的方法。
2017-06-12 cs.CL
Robsut Wrod Reocginiton via semi-Character Recurrent Neural Network
Johns Hopkins University(约翰斯·霍普金斯大学)
人类的语言处理机制通常比计算机更强大。来自心理语言学文献的Cmabrigde Uinervtisy(剑桥大学)效应已经证明了这样一种强大的字处理机制,其中混杂的单词(例如Cmabrigde / Cambridge)被识别出的成本很小。另一方面,用于单词识别的计算模型(例如拼写检查器)在具有这种噪声的数据上表现不佳。受Cmabrigde Uinervtisy效应研究结果的启发,我们提出了一个基于半字符级循环神经网络(scRNN)的单词识别模型。在我们的实验中,我们证明了与现有的拼写检查器和基于字符的卷积神经网络相比,scRNN在单词拼写校正(即单词识别)方面具有更强大的性能。此外,我们证明了该模型是合理的认知复制心理语言学实验人类阅读困难使用我们的模型。
2017-02-07 cs.CL
Improving OOV Detection and Resolution with External Language Models in Acoustic-to-Word ASR
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
声学到字(A2 W)端到端自动语音识别(ASR)系统由于极其简化的架构和快速解码而引起关注。为了缓解数据稀疏的问题,由于不频繁的话,与声学字符(A2 C)模型的组合进行了研究。此外,A2 C模型可以用于恢复A2 W模型未覆盖的词汇表外(OOV)单词,但这需要准确检测OOV单词。A2 W模型通过声学和转录来学习上下文;因此它们倾向于错误地将OOV单词识别为词汇表中的单词。在本文中,我们通过使用外部语言模型(LM)来解决这个问题,该模型仅使用transmittance进行训练,并且具有更好的语言信息来检测OOV单词。A2 C模型用于解决这些OOV词。实验结果表明,外部LM不仅能减少错误率,还能增加OOV词的检测数量,该方法在英语会话和日语演讲语料库中的检测效果显著,尤其是在域外场景下。我们还研究了A2 W模型的词汇量和训练LM的数据量的影响。此外,我们的方法可以减少词汇量的大小几倍,边际性能下降。
2019-09-22 cs.CL
On the Compression of Recurrent Neural Networks with an Application to LVCSR acoustic modeling for Embedded Speech Recognition
Google Inc.(谷歌公司)
我们研究压缩循环神经网络(RNN)的问题。特别是,我们专注于RNN声学模型的压缩,这是出于建立紧凑和准确的语音识别系统,可以有效地运行在移动设备上的目标。在这项工作中,我们提出了一种技术,一般经常性的模型压缩,共同压缩经常性和非经常性层间权重矩阵。我们发现,所提出的技术允许我们将长短期记忆(LSTM)声学模型的大小减少到其原始大小的三分之一,而准确性的损失可以忽略不计。
2016-05-02 cs.CL cs.LG cs.NE
End-to-end Recurrent Neural Network Models for Vietnamese Named Entity Recognition: Word-level vs. Character-level
Alt Inc(Alt公司)
本文展示了越南语命名实体识别的端到端神经网络架构。我们的最佳模型是双向长短期记忆(Bi-LSTM),卷积神经网络(CNN),条件随机场(CRF)的组合,使用预训练的词嵌入作为输入,在标准测试集上获得了88.59%的F1分数。我们的系统是能够实现一个相当的性能的第一排名系统的VLSP运动,而不使用任何语法或手工制作的功能。我们还提供了一个广泛的实证研究,使用常见的深度学习模型的越南语NER,在单词和字符的水平。
2017-07-21 cs.CL
Unsupervised word segmentation and lexicon discovery using acoustic word embeddings
University of Edinburgh(爱丁堡大学);Johns Hopkins University(约翰斯·霍普金斯大学)
在只有未标记语音数据可用的环境中,语音技术需要在没有翻译、发音词典或语言建模文本的情况下开发。模拟婴儿语言习得时也面临类似的问题。在这些情况下,需要直接从语音音频中发现类别语言结构。我们提出了一种新的无监督贝叶斯模型,分割未标记的语音和集群的段到假设的单词组。结果是根据发现的词类型对输入语音进行完全无监督的标记化。在我们的方法中,一个潜在的词段(任意长度)嵌入在一个固定维的声学向量空间。该模型作为Gibbs采样器实现,然后在该空间中构建全词声学模型,同时联合执行分割。我们报告的字出错率在一个小词汇量的连接数字识别任务,通过映射的无监督解码输出到地面真值transmittance。该模型实现了约20%的出错率,优于以前的HMM为基础的系统约10%的绝对。此外,与基线相比,我们的模型不需要预先指定的词汇量。
2016-03-09 cs.CL
Analyzing autoencoder-based acoustic word embeddings
University of Edinburgh(爱丁堡大学);Stellenbosch University(斯泰伦博斯大学)
最近的研究介绍了学习声学词嵌入(AWE)的方法--固定大小的矢量表示的单词编码其声学特征。尽管AWE在语音处理研究中被广泛使用,但它们仅在区分整个单词标记的能力方面进行了定量评估。为了更好地理解AWE在各种下游任务和认知建模中的应用,我们需要分析AWE的表示空间。在这里,我们分析了AWE空间的基本属性学习序列到序列编码器-解码器模型在六个类型不同的语言。我们首先表明,这些AWE保留了一些关于单词的绝对持续时间和扬声器的信息。同时,这些AWE的表示空间被组织成使得词的嵌入之间的距离随着那些词的语音相异性而增加。最后,AWE表现出一个词的起始偏差,类似于人类语音处理和词汇访问的各种研究中报道的模式。我们认为,这是一个有前途的结果,并鼓励进一步评估AWE作为一个潜在的有用的工具,在认知科学,它可以提供语音处理和词汇记忆之间的联系。
2020-04-03 cs.CL
Efficient Character-level Document Classification by Combining Convolution and Recurrent Layers
Center for Data Sciences(数据科学中心);New York University(纽约大学);Courant Institute(柯朗研究所);Center for Data Science(数据科学中心)
文件分类任务主要是在字一级处理的。最近的研究表明,字符级输入比单词级方法有几个好处,例如自然合并词素和更好地处理罕见单词。我们提出了一个神经网络架构,利用卷积和递归层有效地编码字符输入。我们在八个大规模文档分类任务上验证了所提出的模型,并与仅字符级卷积模型进行了比较。它以更少的参数实现了相当的性能。
2016-02-01 cs.CL
Analyzing the Representational Geometry of Acoustic Word Embeddings
Saarland University(萨尔大学);Saarland Informatics Campus(萨尔兰信息学园区)
声学词嵌入(AWE)是一种矢量表示,使得同一个词的不同声学样本在嵌入空间中被投影到附近。除了它们在语音技术应用中的使用,如口语术语发现和关键字定位,AWE模型已被采用作为口语字处理的模型在几个认知动机的研究,并已被证明在一些听觉处理任务中表现出类似人类的性能。然而,AWE的代表性几何形状仍然是一个未被研究的主题,尚未在文献中研究。在本文中,我们采取了更密切的分析看看从英语语音学习AWE和学习目标的选择和架构如何塑造他们的代表性的个人资料。为此,我们采用了一套分析技术,从机器学习和神经科学在三个不同的分析:嵌入空间均匀性,词的可辨别性,和代表性的一致性。我们的主要研究结果突出了突出的作用,学习目标塑造的代表性配置文件相比,模型架构。
2023-01-08 cs.CL
Translation Quality Estimation using Recurrent Neural Network
CDAC Mumbai(孟买先进计算发展中心)
本文介绍了我们在第一届统计机器翻译会议(WMT 16)上提交的关于词/短语级质量估计(QE)的共享任务。共享任务的目的是预测给定单词/短语在给定句子中是否是正确/不正确(OK/BAD)的翻译。本文提出了一种基于循环神经网络语言模型(RNN-LM)结构的词级质量估计方法。已经发现RNN-LM在不同的自然语言处理(NLP)应用中非常有效。RNN-LM主要用于不同NLP问题的向量空间语言建模。为此,我们修改了RNN-LM的架构。修改后的系统预测槽中的标签(OK/BAD),而不是预测单词。系统的输入是一个单词序列,类似于标准的RNN-LM。该方法与语言无关,只需要QE的翻译文本。为了估计短语级质量,我们使用单词级QE系统的输出。
2016-10-21 cs.CL
Confusion2Vec: Towards Enriching Vector Space Word Representations with Representational Ambiguities
University of Southern California(南加州大学)
词向量表示是自然语言处理和人机交互的重要组成部分。在本文中,我们提出了一种新的词向量表示,混淆2 Vec,从人类的语音生产和感知编码的代表性歧义的动机。人类采用声学相似性线索和上下文线索来解码信息,我们专注于一个模型,将这两个信息源。声学的表征模糊性,表现在单词混淆中,通常由人类和机器通过上下文线索来解决。一系列的代表性的模糊性可以出现在各个领域进一步的声学感知,如形态变换,释义的自然语言处理任务,如机器翻译等。在这项工作中,我们提出了一个案例研究中的应用程序自动语音识别(ASR),其中的单词混淆与声学相似性。我们提出了几种技术来训练声学感知相似性表示歧义。我们称之为Confusion 2 Vec,并从ASR混淆网络或类格子结构中学习无监督生成的数据。适当的评价Confusion 2 Vec制定测量声学相似性,除了语义-句法和单词相似性评价。Confusion 2 Vec能够有效地对单词混淆进行建模,而不会影响语义-句法单词关系,从而有效地丰富了单词向量空间与额外任务相关的歧义信息。我们提供了一个直观的探索的2维Confusion 2 Vec空间使用主成分分析的嵌入和语义,句法和声学关系。通过与ASR错误校正相关的小示例,证明了Confusion 2 Vec在利用晶格中存在的不确定性方面的潜力。
2019-03-28 cs.CL
Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation
Xiamen University(厦门大学);Soochow University(苏州大学);Tsinghua University(清华大学)
神经机器翻译(NMT)严重依赖于词级建模来学习输入句子的语义表示。但是,对于没有自然词分隔符的语言(例如,中文)中输入句子必须首先进行标记化,传统的NMT面临两个问题:1)难以找到用于源句子建模的最佳标记化粒度; 2)1-最佳标记化中的错误可能传播到NMT的编码器。为了解决这些问题,我们提出了基于词格的循环神经网络(RNN)编码器,它将标准RNN推广到词格拓扑结构。所提出的编码器将对多个标记进行压缩编码的词格作为输入,并学习从任意多个输入和先前时间步中的隐藏状态生成新的隐藏状态。因此,基于词格的编码器不仅减轻了标记化错误的负面影响,而且对嵌入输入句子更有表达力和灵活性。中英文翻译实验结果表明,该编码器优于传统的编码器。
2016-12-09 cs.CL
How Familiar Does That Sound? Cross-Lingual Representational Similarity Analysis of Acoustic Word Embeddings
Saarland University(萨尔兰大学)
神经网络如何“感知”来自未知语言的语音?模型的训练语言(L1)和未知语言(L2)之间的类型相似性是否会对L2语音信号的模型表示产生影响?为了回答这些问题,我们提出了一个新的实验设计的基础上表征相似性分析(RSA)分析声学词嵌入(AWE)-矢量表示的可变持续时间的口语词段。首先,我们训练单语AWE模型上的七个印欧语言具有不同程度的类型相似性。然后,我们采用RSA量化的跨语言的相似性,通过模拟本地和非本地口语字处理使用AWE。我们的实验表明,在我们的研究中,类型相似性确实会影响模型的表征相似性。我们进一步讨论了我们的工作与神经网络的语音处理和语言相似性建模的影响。
2021-09-21 cs.CL
A Unified Tagging Solution: Bidirectional LSTM Recurrent Neural Network with Word Embedding
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院);Educational Testing Service Research(教育考试服务中心研究院)
双向长短期记忆循环神经网络(BLSTM-RNN)已被证明是非常有效的建模和预测序列数据,例如语音话语或手写文档。在这项研究中,我们建议使用BLSTM-RNN的统一标记解决方案,可应用于各种标记任务,包括词性标记,组块和命名实体识别。我们的解决方案并没有针对每项任务仔细优化特定的特征,而是只使用一组与任务无关的特征和从所有任务的未标记文本中学习到的内部表示。我们的方法不需要特定于任务的知识或复杂的特征工程,在所有这三个标记任务中,我们的方法都获得了接近最先进的性能。
2015-11-01 cs.CL
Morphosyntactic Tagging with a Meta-BiLSTM Model over Context Sensitive Token Encodings
Google Inc.(谷歌公司)
神经网络,特别是循环神经网络的兴起,在词性标注准确性方面产生了显著的进步。这些模型的一个共同特征是存在丰富的初始单词编码。这些编码通常由具有学习和预训练的词嵌入的基于递归字符的表示组成。然而,这些编码不考虑比单个单词更宽的上下文,并且单词或子单词信息仅通过随后的递归层进行交互。在本文中,我们研究的模型,使用循环神经网络与初始字符和单词为基础的表示的上下文。特别是,我们表明,最佳的结果是通过整合这些上下文敏感的表示,通过同步训练与元模型,学会结合他们的状态。我们目前的结果与国家的最先进的性能对一些语言的词性和形态标记。
2018-05-21 cs.CL
Advancing Acoustic-to-Word CTC Model with Attention and Mixed-Units
Microsoft Corporation(微软公司)
基于连接主义时间分类(CTC)准则的声学到词模型是一种直接以词为输出单位的自然的端到端(E2 E)系统。系统中存在两个问题:第一,CTC模型的当前输出依赖于当前输入,并且不考虑上下文加权输入。这就是硬对齐问题。其次,基于单词的CTC模型遭受词汇表外(OOV)问题。这意味着它可以只对频繁出现的单词进行建模,而将剩余的单词标记为OOV。因此,这样的模型是有限的,它的能力,只有一个固定的一组频繁的单词识别。在这项研究中,我们建议使用注意力机制和混合单元的组合来解决这些问题。特别地,我们介绍了注意力CTC、自注意力CTC、混合CTC和混合单元CTC。首先,我们使用Attention CTC和Self-Attention CTC将注意力建模功能直接融入CTC网络。其次,为了缓解OOV问题,我们提出了混合CTC,它使用一个字和字母CTC共享隐藏层。当单词CTC发出OOV时,混合CTC查询字母CTC。然后,我们提出了一个更好的解决方案,通过训练一个混合单元CTC,它将所有的OOV单词分解成频繁单词和多字母单元的序列。在3400小时的Microsoft Cortana语音助理任务上进行评估,我们最终的使用注意力和混合单元的声学到单词的解决方案实现了单词出错率(WER)的相对降低,比普通单词CTC降低了12.09%。这种不使用任何语言模型(LM)或复杂解码器的E2 E模型相对于具有强LM和解码器的传…
2019-09-04 cs.CL
Depth-Adaptive Graph Recurrent Network for Text Classification
Beijing Jiaotong University(北京交通大学);Pattern Recognition Center, WeChat AI, Tencent Inc(腾讯公司微信人工智能模式识别中心)
S-LSTM是一种强大而高效的图递归网络,它将单词视为节点,并同时在它们之间执行逐层递归步骤。尽管S-LSTM在文本表示方面取得了成功,但它仍然存在两个缺点。首先,给定一个句子,某些单词通常比其他单词更模糊,因此需要对这些困难的单词采取更多的计算步骤,反之亦然。然而,S-LSTM对所有单词都采取固定的计算步骤,而不管它们的硬度如何。第二个原因是缺乏顺序信息(例如,词序),这对于自然语言是固有的重要。在本文中,我们试图解决这些问题,并为S-LSTM提出了一种深度自适应机制,该机制允许模型根据需要学习为不同的单词进行多少计算步骤。此外,我们还集成了一个额外的RNN层来注入顺序信息,这也可以作为自适应深度决策的输入特征。经典文本分类任务(24个不同大小和领域的数据集)的结果表明,我们的模型相对于传统的S-LSTM和其他高性能模型(例如,Transformer),同时实现了良好的精度-速度平衡。
2020-02-29 cs.CL
GradAscent at EmoInt-2017: Character- and Word-Level Recurrent Neural Network Models for Tweet Emotion Intensity Detection
University of Hamburg(汉堡大学)
WASSA 2017年的任务是预测推文信息的情绪强度值。给定一条推文的文本及其情绪类别(愤怒、喜悦、恐惧和悲伤),参与者被要求构建一个分配情绪强度值的系统。情感强度估计是一个具有挑战性的问题,因为推文的长度很短,文本的噪声结构和缺乏注释的数据。为了解决这个问题,我们开发了两个神经模型的集成,处理字符上的输入。和单词级的词汇驱动系统。对所有四种情绪的相关性得分进行平均,以确定底线竞争指标,我们的系统在撰写本文时(2017年6月)的23个系统中,在全强度范围内排名第四,在0.5-1强度范围内排名第三。
2018-03-30 cs.CL
Deep Recurrent Neural Networks for Acoustic Modelling
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种用于自动语音识别(ASR)中声学建模的新型深度循环神经网络(RNN)模型。我们将我们的贡献称为TC-DNN-BLSTM-DNN模型,该模型将深度神经网络(DNN)与时间卷积(TC)结合起来,然后是双向长短期记忆(BLSTM)和最终的DNN。第一个DNN充当我们模型的特征处理器,然后BLSTM从序列声学信号中生成上下文,最后一个DNN采用上下文并对声学状态的后验概率进行建模。我们在华尔街日报(WSJ)eval 92任务中实现了3.47 WER,或者比基线DNN模型相对提高了8%以上。
2015-04-07 cs.CL cs.LG cs.NE
Language Models with Pre-Trained (GloVe) Word Embeddings
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
在这项工作中,我们使用Pennigton等人在[1]中介绍的递归神经网络(RNN)和GloVe词嵌入实现了语言模型(LM)的训练。该实现遵循[2]中提出的为LM任务训练RNN的一般思想,但对于存储单元使用门控递归单元(GRU)[3],而不是更常用的LSTM [4]。
2017-02-05 cs.CL
Recurrent Deep Stacking Networks for Speech Recognition
本文介绍了我们将递归深度堆叠网络(RDSNs)应用于鲁棒自动语音识别(ASR)任务的工作。在本文中,我们还提出了一种更有效的替代RDSN的方法,即双向堆叠网络(BPSN).这两种模型的主要思想是在声学模型中加入音素级信息,将声学模型转化为声学模型和音素级N-gram模型的结合。实验表明,RDSN和BPsn可以大大提高传统DNN的性能。
2020-11-11 cs.CL cs.SD
Combine Convolution with Recurrent Networks for Text Classification
University of Science and Technique of China(中国科学技术大学)
卷积神经网络(CNN)和递归神经网络(RNN)是文本分类中常用的两种结构。结合两个网络优势的传统方法依赖于简化它们或连接从它们中提取的特征。在本文中,我们提出了一种新的方法,以保持这两个网络的优势,在很大程度上。在该模型中,一个卷积神经网络被用来学习一个二维权重矩阵,其中每行从不同的方面反映每个词的重要性。同时,我们使用双向RNN来处理每个单词,并采用神经张量层融合前向和后向隐藏状态来获得单词表示。最后,将权重矩阵和词表示相结合,以获得文本的2D矩阵形式的表示。我们进行了大量的文本分类数据集上的实验。实验结果证实了该方法的有效性。
2020-06-29 cs.CL
Recurrent Neural Network Postfilters for Statistical Parametric Speech Synthesis
Carnegie Mellon University(卡内基梅隆大学)
在过去的两年中,有许多论文研究使用深度神经网络来取代传统统计参数语音合成中的声学模型。然而,很少有人关注基于DNN的后置滤波等方法,其中DNN与传统的声学模型结合使用。在本文中,我们研究使用递归神经网络作为一个潜在的后置滤波器的合成。我们探讨了替换现有后置过滤器的可能性,并强调了可以将任意新功能作为输入添加到后置过滤器的方便性。我们还尝试了一种联合训练分类和回归树和后过滤器的新方法,而不是独立训练它们的传统方法。
2016-01-26 cs.CL
Word embeddings and recurrent neural networks based on Long-Short Term Memory nodes in supervised biomedical word sense disambiguation
IBM Research Australia(IBM澳大利亚研究院)
词义消歧有助于确定文本中歧义词的正确含义。随着诸如UMLS元词库之类的大型术语的出现,需要高效的消歧方法。监督学习算法方法被用作执行消歧的方法之一。从歧义词的上下文中提取的特征用于识别这样的词的正确含义。特征的类型对机器学习方法有影响,从而影响消歧性能。在这项工作中,我们已经评估了几种类型的功能来自上下文的歧义词,我们已经探索以及更多的全球功能来自MEDLINE使用词嵌入。结果表明,词嵌入提高了更多传统特征的性能,并允许使用基于长短期记忆(LSTM)节点的递归神经网络分类器。一元语法和词嵌入与SVM的组合在MSH WSD数据集中设定了具有95.97的宏观准确度的最新技术性能。
2016-12-19 cs.CL cs.LG
Fast and Accurate Recurrent Neural Network Acoustic Models for Speech Recognition
Google(谷歌)
我们最近已经证明,作为语音识别的声学模型,深度长短期记忆(LSTM)递归神经网络(RNN)的性能优于前馈深度神经网络(DNN)。最近,我们已经证明,使用这种LSTM RNN的序列训练上下文相关(CD)隐马尔可夫模型(HMM)声学模型的性能可以与使用连接主义时间分类(CTC)初始化的序列训练电话模型相等。在本文中,我们提出了进一步提高大词汇量语音识别的LSTM RNN声学模型性能的技术。我们表明,帧堆叠和降低帧速率导致更准确的模型和更快的解码。CD电话模型导致进一步的改进。我们还展示了LSTM RNN模型直接输出单词的初步结果。
2015-07-24 cs.CL cs.LG cs.NE
Improving Gated Recurrent Unit Based Acoustic Modeling with Batch Normalization and Enlarged Context
Kwai(快手);Beijing Institute of Technology(北京理工大学)
未来的上下文信息的使用通常被示出为有助于声学建模。最近,我们提出了一种称为具有输入投影的最小门控递归单元(mGRUIP)的RNN模型,其中专门设计了一个上下文模块,即时间卷积,用于对未来上下文进行建模。该模型mGRUIP with context module(mGRUIP-Ctx)能够有效地利用未来的上下文信息,同时具有较低的模型延迟和计算开销。在本文中,我们继续改进mGRUIP-Ctx两个修订:应用BN方法和扩大模型上下文。在两个普通话ASR任务(8400小时和60 K小时)上的实验结果表明,修改后的mGRUIP-Ctx以较大的幅度(11%至38%)优于LSTM。它甚至在8400小时任务上的表现略好于优越的BLSTM,参数少了33 M,模型延迟仅为290 ms。
2018-11-26 cs.CL eess.AS
Future Word Contexts in Neural Network Language Models
University of Cambridge(剑桥大学);Cambridge English(剑桥英语)
最近,双向递归网络语言模型(bi-RNNLM)已被证明在一系列语音识别任务上优于标准的单向递归神经网络语言模型(uni-RNNLM)。这表明,未来的单词上下文信息超出了单词历史可能是有用的。然而,bi-RNNLM提出了一些挑战,因为它们利用完整的先前和未来的单词上下文信息。这影响了训练效率和它们在格重评分框架内的使用。在本文中,这些问题的解决,提出了一种新的神经网络结构,连续字RNNLM(苏RNNLM)。代替使用递归单元来捕获完整的未来单词上下文,前馈单元用于对有限数量的后续未来单词进行建模。该模型可以比bi-RNNLM更有效地进行训练,并且也可以用于晶格重新评分。会议转录任务(AMI)上的实验结果表明,该模型始终优于单RNNLM,并在N-最佳重新评分中与双RNNLM相比仅产生轻微的退化。此外,可以使用格重新评分和随后的混淆网络解码来获得性能改进。
2017-08-18 cs.CL
Recurrent neural networks with specialized word embeddings for health-domain named-entity recognition
University of Technology Sydney(悉尼科技大学);Capital Markets Cooperative Research Center(资本市场合作研究中心)
背景关于药物名称识别(DNR)和临床概念提取(CCE)的先前最先进的系统集中于文本“特征工程”和常规机器学习算法(诸如条件随机场和支持向量机)的组合。然而,开发好的功能本质上是非常耗时的。相反,更现代的机器学习方法,如循环神经网络(RNN),已经证明能够从随机分配或自动单词“嵌入”中自动学习有效特征。目标. (i)创建一个高度精确的DNR和CCE系统,避免传统的耗时的特征工程。(ii)通过使用健康领域数据集(如MIMIC-III)创建更丰富、更专业的词嵌入。(iii)在三个当代数据集上评估我们的系统。方法.评估了两种深度学习方法,即双向LSTM和双向LSTM-CRF。CRF模型被设置为基线,以将深度学习系统与传统的机器学习方法进行比较。所有型号都使用相同的功能。结果我们使用双向LSTM-CRF模型获得了最佳结果,该模型的性能优于所有先前提出的系统。专门的嵌入有助于覆盖DDI-DrugBank和DDI-MedLine中的不常见单词,但在2010年i2 b2/VA IRB修订版数据集中没有。结论我们提出了一个国家的最先进的系统DNR和CCE。自动化的词嵌入使我们能够避免昂贵的特征工程,并实现更高的准确性。然而,嵌入需要在适合该领域的数据集上重新训练,以便充分覆盖特定领域的词汇表。
2018-06-25 cs.CL
Integrating Form and Meaning: A Multi-Task Learning Model for Acoustic Word Embeddings
Saarland University(萨尔大学)
声学词嵌入(AWE)模型学习将可变长度的口语词片段映射到固定维度的向量表示上,使得同一个词的不同声学样本在嵌入空间中被投影到附近。除了他们的语音技术应用,AWE模型已经被证明可以预测人类在各种听觉词汇处理任务上的表现。目前的AWE模型是基于神经网络,并在自底向上的方法,整合声学线索,建立一个单词表示给定的声学或符号的监督信号。因此,这些模型在学习过程中不利用或捕获高级词汇知识。在本文中,我们提出了一个多任务学习模型,将自上而下的词汇知识的AWE的训练过程。我们的模型学习声学输入和词汇表示之间的映射,该词汇表示除了自下而上的基于形式的监督之外,还对诸如单词语义之类的高级信息进行编码。我们用三种语言进行了实验,并证明了将词汇知识结合起来可以提高嵌入空间的可辨别性,并鼓励模型更好地分离词汇类别。
2022-09-18 cs.CL eess.AS
Neural Machine Translation with Recurrent Attention Modeling
Carnegie Mellon University(卡内基梅隆大学)
在生成翻译的同时知道哪些词在先前的时间步骤中已经被注意到,这是预测未来将注意到哪些词的丰富信息来源。我们改进了Bahdanau et al.(2014)的注意力模型,通过使用每个输入单词的一个递归网络来明确地建模每个单词的先前和后续注意力水平之间的关系。这种架构很容易捕获信息特征,例如生育率和相对失真。在实验中,我们表明我们的参数化的注意力提高翻译质量。
2016-07-18 cs.CL cs.NE
Hierarchical Recurrent Attention Network for Response Generation
Microsoft Research Asia(微软亚洲研究院);Microsoft Research(微软研究院);Beihang University(北京航空航天大学);Nankai University(南开大学)
我们研究了聊天机器人中的多轮响应生成,其中响应是根据会话上下文生成的。现有的工作已经模拟了上下文的层次结构,但没有足够的注意到这样一个事实,即在上下文中的单词和话语是不同的重要性。因此,他们可能会在上下文中丢失重要信息,并产生不相关的反应。我们提出了一个层次的递归注意力网络(HRAN)模型在一个统一的框架中的这两个方面。在HRAN中,一个层次化的注意力机制分别用词级注意和话语级注意来关注话语内和话语间的重要部分。利用单词级注意力,单词级编码器的隐藏向量被合成为话语向量,并被馈送到话语级编码器以构造上下文的隐藏表示。然后,由话语级注意力处理上下文的隐藏向量,并将其形成为用于解码响应的上下文向量。对自动评估和人类判断的实证研究表明,HRAN可以显着优于国家的最先进的多回合响应生成模型。
2017-01-25 cs.CL
Gated Recurrent Unit Based Acoustic Modeling with Future Context
Kwai(快手);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
未来的上下文信息的使用通常被示出为有助于声学建模。然而,对于递归神经网络(RNN),它不是那么容易有效地建模未来的时间上下文,同时保持较低的模型延迟。在本文中,我们试图设计一个RNN声学模型,能够有效地利用未来的上下文,与模型的延迟和计算成本尽可能低。该模型基于最小门控递归单元(mGRU),在mGRU中插入一个输入投影层,并设计了两个上下文模块:时间编码和时间卷积,用于对未来上下文进行建模。在Switchboard任务和内部普通话ASR任务上的实验结果表明,该模型的性能远远优于长短期记忆(LSTM)和mGRU模型,而在线解码的最大延迟为170 ms。该模型甚至优于非常强大的基线TDNN-LSTM,具有更小的模型延迟和几乎一半的参数。
2018-05-18 cs.CL cs.SD eess.AS
Whole-Word Segmental Speech Recognition with Acoustic Word Embeddings
TTI-Chicago(芝加哥信息技术研究所)
分段模型是序列预测模型,其中假设的分数基于帧的整个可变长度段。我们认为分段模型的全字(“声学到字”)语音识别,使用向量嵌入段定义的特征向量。这样的模型在计算上是具有挑战性的,因为路径的数量与词汇量大小成比例,这可能比使用子字单元(如音素)时大几个数量级。我们描述了一种有效的方法,端到端的全词分段模型,与前向-后向和Viterbi解码上的GPU和一个简单的段评分功能,降低了空间的复杂性。此外,我们还研究了通过联合训练的声学词嵌入(AWE)和声学接地词嵌入(AGWE)的书面词标签进行预训练的使用。我们发现,字错误率可以通过使用AWE预训练声学段表示来大幅降低,并且可以通过使用AGWE预训练字预测层来获得额外的(较小的)增益。我们的最终模型比之前的A2 W模型有所改进。
2020-11-24 cs.CL cs.SD eess.AS
Identifying emergency stages in Facebook posts of police departments with convolutional and recurrent neural networks and support vector machines
Copenhagen Business School(哥本哈根商学院);Metropolitan State University of Denver(丹佛大都会州立大学)
在应急响应中,社交媒体帖子的分类是一个重要的实际问题:准确的分类可以帮助自动处理这些消息,并帮助其他响应者和公众及时对紧急情况做出反应。这项研究的重点是对美国警察部门的Facebook消息进行分类。随机选择的5,000条信息用于训练分类器,这些分类器区分四类信息:应急准备、响应和恢复,以及一般参与信息。特征用词袋和word 2 vec表示,模型用支持向量机(SVM)、卷积神经网络(CNN)和循环神经网络(RNN)构建。性能最好的分类器是RNN,它使用定制训练的word 2 vec模型来表示特征,其F1测量值为0.839。
2018-01-24 cs.CL
Bi-directional LSTM Recurrent Neural Network for Chinese Word Segmentation
Shanghai Jiaotong University(上海交通大学)
循环神经网络(RNN)已广泛应用于自然语言处理(NLP)问题。这种神经网络是为序列数据建模而设计的,并已被证明在序列标记任务中是非常有效的。在本文中,我们提出使用具有长短期记忆(LSTM)单元的双向RNN进行中文分词,这是对中文句子和文章建模的关键预处理任务。经典方法侧重于从上下文设计和组合手工特征,而双向LSTM网络(BLSTM)不需要任何先验知识或预先设计,并且擅长保持两个方向的上下文信息。实验结果表明,该方法在中文繁体和简体数据集上的分词性能都达到了最佳水平。
2016-02-16 cs.CL cs.LG
Are words easier to learn from infant- than adult-directed speech? A quantitative corpus-based investigation
Laboratoire de Sciences Cognitives et Psycholinguistique ENS/EHESS/CNRS/PSL(认知科学与心理语言学实验室(巴黎高等师范学院/社会科学高等研究院/法国国家科学研究中心/巴黎文理大学));Department of English Literature and Language Faculty of Letters Konan University(甲南大学文学院英语文学与语言系);Laboratory for Language Development RIKEN Brain Science Institute(理化学研究所脑科学中心语言发展实验室);Department of Psychology and Neuroscience Duke University(杜克大学心理学与神经科学系)
我们调查是否婴儿导向语音(IDS)可以促进词形学习相比,成人导向语音(ADS)。为了研究这一点,我们研究了两个层次,声学和音韵,使用一个大型的数据库,在日本的自发语音的单词形式的分布。在声学水平上,我们表明,如之前已经记录的音素,实现的话是更多的变量和更少的歧视比在ADS中的IDS。在语音层面上,我们发现了一个相反方向的效果:IDS词汇包含更多的独特的词(如象声词)比ADS对应。将声学和语音度量结合在一起,在一个全球性的可辨别性分数表明,在语音空间中的词汇类别的较大分离并不能补偿在声学水平上观察到的相反效果。因此,IDS的单词形式仍然是全球较低的区别比ADS的单词形式,即使效果是数值小。我们讨论了这些发现的含义,认为IDS的功能作用是提高语言的可学性。
2017-12-23 cs.CL
On The Inductive Bias of Words in Acoustics-to-Word Models
Massachusetts Institute of Technology(麻省理工学院)
声学到单词模型是端到端的语音识别器,它使用单词作为目标,而不依赖于发音词典或字素。由于缺乏语言知识,这些模型非常难以训练。目前还不清楚训练数据的数量如何影响这些模型的优化和泛化。在这项工作中,我们研究了不同数量的训练数据下的声学到词模型的优化和推广。此外,我们研究了三种类型的归纳偏见,利用发音词典,词边界注释,和词的持续时间的限制。我们发现,限制词的持续时间导致最大的改善。最后,我们分析了模型学习到的词嵌入空间,发现该空间具有由词的发音主导的结构。这表明,词的上下文,而不是他们的语音结构,应该是未来的重点归纳偏见的声学到词的模型。
2018-11-12 cs.CL cs.LG cs.SD
Long Short-Term Memory for Japanese Word Segmentation
Yahoo Japan Corporation(雅虎日本公司);Tokyo Metropolitan University(东京都立大学)
本研究提出了一种用于日语分词(JWS)的长短期记忆(LSTM)神经网络方法。以往的中文分词(CWS)研究成功地使用了递归神经网络,如LSTM和门控递归单元(GRU)。然而,与中文相比,日语包括几种字符类型,如平假名、片假名和汉字,这些字符类型会产生拼写变化,并增加分词的难度。此外,对于JWS任务来说,考虑全局上下文是很重要的,而传统的JWS方法依赖于本地特性。为了解决这个问题,本研究提出采用基于LSTM的方法来JWS。实验结果表明,该模型实现了国家的最先进的准确性与各种日语语料库。
2018-09-27 cs.CL
Word Sense Induction with Neural biLM and Symmetric Patterns
Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
一种已建立的词义归纳方法(WSI)使用语言模型来预测目标词的可能替代,并通过聚类这些得到的替代向量来归纳词义。我们用一个递归的语言模型代替了基于ngram的语言模型(LM)。除了更准确之外,使用递归LM还允许我们以一种创造性的方式有效地查询它,使用我们所谓的动态对称模式。RNN-LM和动态对称模式的组合为WSI提供了强大的替代向量,从而大大超过了SemEval 2013 WSI共享任务的当前最先进水平。
2018-08-30 cs.CL
Quantifying Consonant Contributions to Word Intelligibility via Acoustic Masking
University of Texas at Austin(德克萨斯大学奥斯汀分校);Arizona State University(亚利桑那州立大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出基于声学掩蔽的可扩展方法,通过自动语音识别模型计算掩蔽诱导误识别率来量化辅音对单词可懂度的贡献,并验证其与音素频率和功能负荷的相关性,发现辅音贡献具有语言依赖性。
2026-09-22 cs.CL
Neural Speech Recognizer: Acoustic-to-Word LSTM Model for Large Vocabulary Speech Recognition
Google, Inc.(谷歌公司)
我们目前的结果表明,它是有可能建立一个有竞争力的,大大简化,大词汇量的连续语音识别系统与整个字作为声学单位。我们直接使用具有CTC损失的深度双向LSTM RNN对大约10万个单词的输出词汇进行建模。该模型是在125,000小时的半监督声学训练数据上训练的,这使我们能够减轻单词模型的数据稀疏问题。我们表明,CTC字模型工作得很好,作为一个端到端的全神经语音识别模型,而不使用传统的上下文相关的子字音素单位,需要一个发音词典,没有任何语言模型删除需要解码。我们证明了CTC单词模型的表现优于一个强大的,更复杂的,最先进的基线与子单词单元。
2016-10-31 cs.CL cs.LG cs.NE
Learned In Speech Recognition: Contextual Acoustic Word Embeddings
Carnegie Mellon University(卡内基梅隆大学)
端到端的声学到词语音识别模型最近得到了普及,因为它们易于训练,可以很好地扩展到大量的训练数据,并且不需要词典。此外,单词模型也可以更容易地与下游任务(例如口语语言理解)集成,因为推理(搜索)与音素、字符或任何其他种类的子单词单元相比简化得多。在本文中,我们描述的方法来构建上下文声学词嵌入直接从监督序列到序列的声学到词的语音识别模型使用学习的注意力分布。在一组16个标准句子评估任务中,我们的嵌入显示出与在语音传输上训练的word2vec模型相比具有竞争力的性能。此外,我们评估这些嵌入在语言理解任务,并观察到,我们的嵌入匹配的性能,基于文本的嵌入在管道中的第一次执行语音识别,然后从transmittance构建词嵌入。
2019-02-18 cs.CL cs.SD eess.AS
Recurrent Neural Network-Based Semantic Variational Autoencoder for Sequence-to-Sequence Learning
Korea University(高丽大学)
序列到序列(Seq 2seq)模型在最近各种自然语言处理方法(例如机器翻译、文本摘要和语音识别)的成功中发挥了重要作用。然而,目前的Seq 2seq模型很难从长序列的单词中保留全局潜在信息。变分自编码器(VAE)通过学习输入句子的连续语义空间来解决这个问题。然而,这并不能完全解决问题。在本文中,我们提出了一种新的循环神经网络(RNN)的Seq 2seq模型,RNN语义变分自编码器(RNN-SVAE),以更好地捕捉全局潜在的信息的一个单词序列。为了正确地反映句子中单词的含义,而不考虑其在句子中的位置,我们使用编码器的最终状态和每个先前隐藏状态之间的注意力信息来构造文档信息向量。然后,连续语义空间的平均值和标准差的学习,通过使用这个向量,以利用变分方法。通过使用文档信息向量来寻找句子的语义空间,可以更好地捕获句子的全局潜在特征。三个自然语言任务的实验结果(即,语言建模,漏词填补,释义识别)证实了所提出的RNN-SVAE产生比两个基准模型更高的性能。
2018-06-02 cs.CL
Incorporating Language Level Information into Acoustic Models
本文提出了一类新的深度递归神经网络,它可以将语言级信息融入声学模型。为了简单起见,我们将这些网络命名为递归深度语言网络(RDLN)。考虑了RDLN的多种变体,包括两种上下文信息,两种处理上下文的方法,以及两种合并语言级信息的方法。RDLN提供了在声学建模过程中对整个自动语音识别系统进行微调的可能方法。
2020-11-11 cs.CL cs.LG cs.SD
Investigating how well contextual features are captured by bi-directional recurrent neural network models
Adobe Research, Big Data Experience Lab(Adobe 研究院大数据体验实验室);National Center for Text Mining, The University of Manchester(曼彻斯特大学国家文本挖掘中心);IIT Guwahati(印度理工学院古瓦哈提分校)
自然语言处理(NLP)任务的学习算法传统上依赖于手动定义的相关上下文特征。另一方面,神经网络模型,使用一个唯一的分布表示的话已成功地应用于几个NLP任务。这样的模型自动学习特征,避免了显式的特征工程。在几个领域中,神经模型成为一种自然的选择,特别是在已知数据的有限特征时。然而,这种灵活性是以可解释性为代价的。在本文中,我们定义了三种不同的方法来研究双向递归神经网络(RNN)捕获上下文特征的能力。特别是,我们分析了RNN的序列标记任务。我们对一般和生物医学领域的数据集进行了全面的分析。我们的实验集中在重要的上下文单词的功能,它可以很容易地扩展到分析各种其他功能类型。我们还调查了上下文词的位置效应,并展示了如何开发的方法可以用于错误分析。
2017-11-29 cs.CL
Part-of-Speech Tagging with Bidirectional Long Short-Term Memory Recurrent Neural Network
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asian(微软亚洲研究院);Educational Testing Service Research(美国教育考试服务中心研究院)
双向长短期记忆循环神经网络(BLSTM-RNN)已被证明是非常有效的标记序列数据,例如语音话语或手写文档。而词嵌入作为表征自然语言统计特性的一种有力手段,已经得到了广泛的应用。在这项研究中,我们提出了使用BLSTM-RNN与词嵌入的词性(POS)标注任务。在Penn Treebank WSJ测试集上进行测试时,达到了97.40的标记准确率。在不使用形态特征的情况下,该方法也可以达到与Stanford POS标注器相媲美的良好性能。
2015-10-21 cs.CL