Match-SRNN: Modeling the Recursive Matching Structure with Spatial RNN
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
语义匹配是许多自然语言处理应用中的一个基本问题，其目的是确定两个文本之间的匹配程度。最近，深度学习方法已被应用于这个问题，并取得了显着的改善。本文提出将两个文本之间的全局交互作用的生成看作是一个递归过程：即两个文本在每个位置上的交互作用是其前缀之间的交互作用以及当前位置上的词级交互作用的组合。基于这一思想，我们提出了一种新的深度架构，即匹配SRNN，模型的递归匹配结构。首先，构造一个张量来捕获单词级的交互。然后应用空间RNN递归地整合局部相互作用，重要性由四种类型的门确定。最后，基于全局交互计算匹配分数。我们证明，在退化到精确匹配的情况下，匹配SRNN可以近似的最长公共子序列的动态规划过程。因此，对于Match-SRNN有一个清晰的解释。我们的实验上的两个语义匹配任务显示匹配SRNN的有效性，和它的可视化学习匹配结构的能力。
2016-04-15 cs.AI cs.CL cs.LG
An Efficient Approach to Encoding Context for Spoken Language Understanding
Google AI（谷歌人工智能）
在面向任务的对话系统中，口语语言理解或SLU是指将自然语言用户话语解析成语义框架的任务。从先前的对话历史中利用上下文是更有效的SLU的关键。SLU的现有技术方法使用存储器网络通过在每一轮处理来自对话的多个话语来编码上下文，从而导致准确性和计算效率之间的显著权衡。另一方面，像对话状态跟踪器（DST）这样的下游组件已经跟踪了对话状态，这可以作为对话历史的摘要。在这项工作中，我们提出了一个有效的方法来编码上下文从先前的话语SLU。更具体地说，我们的架构包括一个单独的基于递归神经网络（RNN）的编码模块，该模块积累对话上下文以指导帧解析子任务，并且可以在SLU和DST之间共享。在我们的实验中，我们证明了我们的方法对两个领域的对话的有效性。
2018-07-01 cs.CL
Return of the RNN: Residual Recurrent Networks for Invertible Sentence Embeddings
本研究提出了一种基于残差循环网络的可逆句子嵌入模型，通过回归输出层重建词向量并结合ADAM优化器、残差连接与“match drop”技术，实现了高精度与快速训练，为需要高质量句子嵌入的自然语言处理应用提供了新方法。
2023-04-06 cs.CL cs.LG
SubCharacter Chinese-English Neural Machine Translation with Wubi encoding
Ocean University of China（中国海洋大学）；Global Tone Communication Technology Co., Ltd.（环球语音通信技术有限公司）
神经机器翻译是理解两种语言之间语义规则差异的最佳方法之一。特别是对于印欧语言，子词级模型已经取得了令人印象深刻的结果。然而，当翻译任务涉及到中文时，语义粒度仍然停留在词和字的层次上，因此仍然需要更细粒度的中文翻译模型。本文介绍了一种简单有效的子字级汉语翻译方法。我们的方法使用五笔字型的方法将中文翻译成英文，然后应用字节对编码（BPE）。我们的方法用于汉英翻译，消除了在预处理过程中复杂的分词算法的需要。此外，我们的方法允许基于递归神经网络（RNN）架构的子字符级神经翻译，而无需预处理。实验结果表明，对于汉英翻译任务，我们的子字符级模型具有可比的BLEU得分的子词模型，尽管有一个小得多的词汇。此外，小词汇量对于NMT模型压缩是非常有利的。
2019-11-07 cs.CL
DiSAN: Directional Self-Attention Network for RNN/CNN-Free Language Understanding
Centre of Artificial Intelligence, FEIT, University of Technology Sydney（悉尼科技大学工程与信息技术学院人工智能中心）；Paul G. Allen School of Computer Science & Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）
递归神经网络（RNN）和卷积神经网络（CNN）被广泛用于NLP任务，分别捕获长期和局部依赖关系。注意力机制由于其高度并行化的计算、显著减少的训练时间和建模依赖性的灵活性，最近引起了极大的兴趣。我们提出了一种新的注意力机制，其中来自输入序列的元素之间的注意力是有方向的和多维的（即，特征方面）。然后，提出了一种轻量级神经网络“方向性自注意力网络（DiSAN）"来学习句子嵌入，仅基于所提出的注意力，而不需要任何RNN/CNN结构。DiSAN仅由具有时间顺序编码的方向性自我注意组成，随后是将序列压缩成向量表示的多维注意。尽管形式简单，但DiSAN在预测质量和时间效率方面都优于复杂的RNN模型。它在所有句子编码方法中实现了最佳测试准确度，并将斯坦福自然语言推理（SNLI）数据集上的最近最佳结果提高了1.02%，并在斯坦福情感树库（SST），多流派自然语言推理上显示了最先进的测试准确度（MultiNLI），涉及成分知识的句子（SICK），客户评论，MPQA，TREC问题类型分类和主观性（SUBJ）数据集。
2017-11-20 cs.AI cs.CL
Transformer with Tree-order Encoding for Neural Program Generation
TU Dresden（德累斯顿工业大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
虽然相当多的语义解析方法已经将RNN架构用于代码生成任务，但只有很少的尝试来研究Transformers在此任务中的适用性。包括底层程序设计语言语法的分层信息已被证明对于代码生成是有效的。由于Transformer的位置编码只能表示平面序列中的位置，因此我们扩展了编码方案，以允许注意力机制也关注输入中的分层位置。此外，我们还实现了一个基于限制性文法图模型的解码器，以提高生成的准确性，并确保生成代码的良好格式。虽然我们没有超越最先进的技术，我们的研究结果表明，采用基于树的位置编码与共享的自然语言子词汇表相结合，提高了生成性能的顺序位置编码。
2022-05-30 cs.AI cs.CL
Low-Resource Language Modelling of South African Languages
University of Cape Town（开普敦大学）
语言模型是当前基于神经网络的自然语言理解和生成模型的基础。然而，关于非洲语言的语言模型内在性能的研究非常有限，由于缺乏针对英语和其他高资源语言的大型或标准化的培训和评估集，这一研究更具挑战性。在本文中，我们评估了低资源南非语言的开放词汇语言模型的性能，使用字节对编码来处理这些语言的丰富形态。我们在小规模数据集上评估了n-gram模型、前馈神经网络、递归神经网络（RNN）和Transformers的不同变体。总体而言，良好正则化的RNN在两个isiZulu和一个Sepedi数据集上表现最佳。多语言训练进一步提高了这些数据集的性能。我们希望这项研究将为非洲语言的多语言和低资源语言建模研究开辟新的途径。
2021-04-01 cs.CL
A Fixed-Size Encoding Method for Variable-Length Sequences with its Application to Neural Network Language Models
University of Science and Technology of China（中国科学技术大学）；York University（约克大学）
在本文中，我们提出了一种新的固定大小的顺序遗忘编码（FOFE）方法，它可以几乎唯一地将任何可变长度的单词序列编码成一个固定大小的表示。FOFE可以根据单词的位置，使用简单的顺序遗忘机制来模拟序列中的单词顺序。在这项工作中，我们已经应用FOFE前馈神经网络语言模型（FNN-LM）。实验结果表明，在不使用任何经常性反馈的情况下，基于FOFE的FNN-LM不仅可以显着优于标准的固定输入FNN-LM，而且还可以显着优于流行的RNN-LM。
2015-06-16 cs.CL cs.LG cs.NE
Bi-Directional Block Self-Attention for Fast and Memory-Efficient Sequence Modeling
University of Technology Sydney（悉尼科技大学）；University of Washington（华盛顿大学）
递归神经网络（RNN）、卷积神经网络（CNN）和自注意力网络（SAN）通常用于产生上下文感知表示。RNN可以捕获长距离依赖，但难以并行化，并且时间效率不高。CNN专注于局部依赖性，但在某些任务上表现不佳。SAN可以通过高度并行化的计算对这两种依赖关系进行建模，但内存需求会随着序列长度的增长而快速增长。在本文中，我们提出了一个模型，称为“双向块自注意网络（Bi-BloSAN）”，用于RNN/CNN自由序列编码。它需要的内存和RNN一样少，但具有SAN的所有优点。Bi-BloSAN将整个序列拆分为块，并将块内SAN应用于每个块以建模本地上下文，然后将块间SAN应用于所有块的输出以捕获长距离依赖性。因此，每个SAN只需要处理很短的序列，并且只需要少量的内存。此外，我们使用特征级注意力来处理同一个词周围的上下文的变化，并使用前向/后向掩码来编码时间顺序信息。在不同NLP任务的九个基准数据集上，Bi-BloSAN实现或提高了最先进的准确性，并显示出比现有RNN/CNN/SAN更好的效率-内存权衡。
2018-04-03 cs.AI cs.CL
Romanization Encoding For Multilingual ASR
NVIDIA Corporation（英伟达公司）
提出罗马化编码结合平衡拼接分词器与Roman2Char模块，在FastConformer-RNNT框架中显著降低词汇量并提升中英及多语言ASR性能。
2024-12-17 cs.CL cs.SD eess.AS
N-gram Language Modeling using Recurrent Neural Network Estimation
Google（谷歌）
我们研究了RNN模型的有效记忆深度，并将其用于$n$ -文法语言模型（LM）平滑。在小型语料库（UPenn Treebank，100万字的训练数据和10 k词汇）上的实验发现，与前馈和香草RNN模型相比，具有dropout的LSTM细胞是编码$n$ -gram状态的最佳模型。当保持句子独立性假设时，LSTM $n$ -gram匹配$n=9$的LSTM LM性能，并且稍微优于$n=13$。当允许跨句子边界的依赖关系时，LSTM $13$ -gram几乎匹配无限历史LSTM LM的困惑。LSTM $n$ -gram平滑还具有随着$n$ -gram阶数的增加而改进的理想特性，这与Katz或Kneser-Ney退避估计器不同。在训练中使用多项分布作为目标，而不是通常的单热目标，对于低$n$ -gram阶数只有轻微的好处。十亿字基准测试的实验表明，结果在更大规模下也成立：虽然针对短$n$元语法上下文的LSTM平滑并不比经典N元语法模型具有显着优势，但它对长上下文（$n > 5$）变得有效;根据任务和数据量，它可以在大约$n=13$的情况下匹配完全循环的LSTM模型。这在对短格式文本（例如语音搜索/查询LM）进行建模时可能具有影响。构建LSTM $n$ -gram LM对于某些实际情况可能是有吸引力的：$n$ -gram LM中的状态可以用存储上下文中的单词的标识的$(n-1)*4$字节简洁地…
2017-06-20 cs.CL
Tackling Graphical NLP problems with Graph Recurrent Networks
University of Rochester（罗切斯特大学）
如何正确地对图进行建模是自然语言处理领域中一个长期存在的重要问题，其中几种流行的图类型是知识图谱、语义图和依赖图。与其他数据结构（如序列和树）相比，图通常在表示实体之间的复杂相关性方面更强大。例如，知识图谱存储真实词实体（诸如“Barack_Obama”和“U.S.）及其关系（例如“live_in”和“lead_by”）。正确地编码知识图谱有利于用户应用，例如问答和知识发现。对图进行建模也非常具有挑战性，可能是因为图通常包含大量和循环的关系。近年来，深度学习，特别是基于RNN的模型，在许多NLP问题上取得了成功。此外，RNN及其变体在一些图问题上得到了广泛的研究，并取得了初步的成功。尽管已经取得了成功，但基于RNN的模型在图上存在几个主要缺点。首先，它们只能消耗序列数据，因此需要线性化来序列化输入图，导致重要的结构信息丢失。其次，序列化结果通常很长，因此RNN需要很长时间对其进行编码。在这篇论文中，我们提出了一个新的图神经网络，命名为图递归网络（GRN）。我们研究了我们的GRN模型在4个非常不同的任务，如机器阅读理解，关系抽取和机器翻译。一些图没有边标签，而另一些有向图有边标签。为了考虑这些重要的差异，我们逐渐增强了我们的GRN模型，例如进一步考虑边缘标签和添加RNN解码器。精心设计的实验表明GRN在所有这些任务上的有效性。
2019-07-13 cs.CL cs.LG
Modelling Sentence Pairs with Tree-structured Attentive Encoder
Sun Yat-sen University（中山大学）
我们描述了一个细心的编码器，结合了树结构的递归神经网络和顺序递归神经网络建模的句子对。由于现有的注意力模型施加注意力的顺序结构，我们提出了一种方法，将注意力的树拓扑结构。特别地，给定一对句子，我们的细心编码器使用通过RNN生成的一个句子的表示来指导依赖解析树上另一个句子的结构编码。我们评估了三个任务：语义相似性，释义识别和真假问题选择拟议的专心编码器。实验结果表明，我们的编码器优于所有基线，并实现了国家的最先进的结果上的两个任务。
2016-10-10 cs.CL
Transducer-based language embedding for spoken language identification
National Institute of Information and Communications Technology (NICT)（国立信息与通信技术研究所）
声学特征和语言特征是口语识别任务的重要线索。目前先进的LID系统主要使用声学特征，缺乏显式语言特征编码的使用。在本文中，我们提出了一种新的基于转换器的语言嵌入方法，通过将RNN转换器模型集成到语言嵌入框架中来实现LID任务。受益于RNN换能器的语言表示能力的优点，所提出的方法可以利用语音感知的声学特征和显式语言特征用于LID任务。实验在大规模多语言LibriSpeech和VoxLingua107数据集上进行。实验结果表明，该方法显着提高了LID任务的性能，在域内和跨域数据集上的相对改善分别为12%至59%和16%至24%。
2022-07-29 cs.CL cs.SD eess.AS
Using BERT Encoding and Sentence-Level Language Model for Sentence Ordering
University of Tehran（德黑兰大学）；University of Rochester（罗切斯特大学）；Emory University（埃默里大学）
发现事件的逻辑顺序是自然语言理解的基石之一。学习事件顺序的一种方法是研究连贯文本中句子的顺序。句子排序可以应用于各种任务，例如基于检索的问答、文档摘要、讲故事、文本生成和对话系统。此外，我们可以通过学习如何对一组混洗的句子进行排序来学习建模文本连贯性。以前的研究依赖于RNN，LSTM和BiLSTM架构来学习文本语言模型。然而，由于缺乏注意力机制，这些网络表现不佳。我们提出了一个算法的句子排序的短篇小说语料库。我们提出的方法使用的语言模型的基础上通用Transformers（UT），捕捉句子的依赖关系，采用注意力机制。我们的方法在ROCStories数据集中的完美匹配率（PMR）得分方面改进了以前的最先进水平，ROCStories数据集是一个近10万短的人造故事的语料库。该模型包括三个部分：句子编码器，语言模型和句子排列与暴力搜索。第一个组件使用在ROCStories数据上微调的SBERT-WK预训练模型生成句子嵌入。然后，通用Transformer网络生成一个会话级语言模型。对于解码，网络生成候选句子作为当前句子的后续句子。我们使用余弦相似度作为评分函数来为候选嵌入和混洗集中其他句子的嵌入分配分数。然后，使用蛮力搜索来最大化连续句子对之间的相似性之和。
2021-08-24 cs.CL
DualVD: An Adaptive Dual Encoding Model for Deep Visual Understanding in Visual Dialogue
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）；University of Adelaide（阿德莱德大学）
与只需要回答关于图像的一个问题的视觉问答任务不同，视觉对话涉及多个问题，这些问题涵盖了广泛的视觉内容，这些内容可能与任何对象，关系或语义有关。因此，视觉对话任务的关键挑战是学习一个更全面和语义丰富的图像表示，这可能对图像的变化问题具有自适应的关注。在这项研究中，我们提出了一种新的模型来从视觉和语义的角度描述图像。具体而言，视觉视图有助于捕获外观级信息，包括对象及其关系，而语义视图使智能体能够理解从整个图像到局部区域的高级视觉语义。此外，在这样的多视图图像特征之上，我们提出了一个特征选择框架，该框架能够自适应地在细粒度级别分层捕获问题相关信息。所提出的方法在基准Visual Dialogue数据集上取得了最先进的结果。更重要的是，我们可以通过可视化门值来判断哪种模态（视觉或语义）对回答当前问题的贡献更大。它为我们理解视觉对话中的人类认知提供了启示。
2019-11-17 cs.CL cs.CV
Gated Recurrent Unit Based Acoustic Modeling with Future Context
Kwai（快手）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
未来的上下文信息的使用通常被示出为有助于声学建模。然而，对于递归神经网络（RNN），它不是那么容易有效地建模未来的时间上下文，同时保持较低的模型延迟。在本文中，我们试图设计一个RNN声学模型，能够有效地利用未来的上下文，与模型的延迟和计算成本尽可能低。该模型基于最小门控递归单元（mGRU），在mGRU中插入一个输入投影层，并设计了两个上下文模块：时间编码和时间卷积，用于对未来上下文进行建模。在Switchboard任务和内部普通话ASR任务上的实验结果表明，该模型的性能远远优于长短期记忆（LSTM）和mGRU模型，而在线解码的最大延迟为170 ms。该模型甚至优于非常强大的基线TDNN-LSTM，具有更小的模型延迟和几乎一半的参数。
2018-05-18 cs.CL cs.SD eess.AS
LemmaTag: Jointly Tagging and Lemmatizing for Morphologically-Rich Languages with BRNNs
Institute of Formal and Applied Linguistics（形式与应用语言学研究所）；Department of Applied Mathematics（应用数学系）；Charles University（查理大学）；Faculty of Mathematics and Physics（数学与物理学院）
我们提出了LemmaTag，这是一种无特征的神经网络架构，它通过使用具有字符级和单词级嵌入的双向RNN来联合生成句子的词性标签和词元。我们证明了这两个任务受益于共享网络的编码部分，预测标签子类别，并使用标签输出作为输入的lemmatizer。我们在几种具有复杂形态的语言中评估了我们的模型，该模型在捷克语、德语和阿拉伯语的词性标记和词形化方面都超过了最先进的准确性。
2018-08-27 cs.CL cs.LG cs.NE
Neural Responding Machine for Short-Text Conversation
Noah’s Ark Lab（诺亚方舟实验室）；Huawei Technologies Co. Ltd.（华为技术有限公司）
我们提出了神经应答机（NRM），一个基于神经网络的短文本会话响应生成器。NRM采用了通用的编码器-解码器框架：它将响应的生成形式化为基于输入文本的潜在表示的解码过程，而编码和解码都是用递归神经网络（RNN）实现的。NRM使用从微博服务收集的大量单轮对话数据进行训练。实证研究表明，NRM可以生成语法正确和内容上的适当的反应超过75%的输入文本，在相同的设置，包括基于检索和基于SMT的模型的最先进的性能优于。
2015-04-27 cs.AI cs.CL cs.NE
Neural Arabic Text Diacritization: State of the Art Results and a Novel Approach for Machine Translation
Jordan University of Science and Technology（约旦科技大学）
在这项工作中，我们提出了几个深度学习模型的阿拉伯语文本的自动变音。我们的模型是使用两种主要方法构建的，即前馈神经网络（FFNN）和递归神经网络（RNN），以及一些增强功能，如100热编码，嵌入，条件随机场（CRF）和块归一化梯度（BNG）。这些模型在唯一免费提供的基准数据集上进行了测试，结果表明，我们的模型要么更好，要么与其他模型相当，这些模型需要依赖于语言的后处理步骤，与我们不同。此外，我们表明，阿拉伯语的变音符号可以用来增强NLP任务的模型，如机器翻译（MT）提出的变音转换（ToD）方法。
2019-11-08 cs.CL cs.LG
Shortcut-Stacked Sentence Encoders for Multi-Domain Inference
UNC Chapel Hill（北卡罗来纳大学教堂山分校）
我们提出了一个简单的顺序句子编码器多领域自然语言推理。我们的编码器基于堆叠的双向LSTM-RNN，具有快捷连接和词嵌入的微调。整体监督模型使用上述编码器将两个输入句子编码为两个向量，然后使用向量组合上的分类器将这两个句子之间的关系标记为蕴涵，矛盾或神经。我们的Shortcut-Stacked句子编码器在匹配和不匹配的多域自然语言推理方面比现有编码器有了很大的改进（EMNLP RepEval 2017共享任务中的顶级非集成单模型结果（Nangia等人，2017））。此外，它们在原始SNLI数据集上实现了新的最先进的编码结果（Bowman等人，2015）。
2017-11-28 cs.AI cs.CL cs.LG
Refining Source Representations with Relation Networks for Neural Machine Translation
虽然神经机器翻译（NMT）与编码器-解码器框架在最近取得了巨大的成功，但它仍然存在一些缺点：RNN往往会忘记旧的信息，这些信息通常是有用的，编码器只通过单词进行操作，而不考虑单词之间的关系。为了解决这些问题，我们引入了一个关系网络（RN）的NMT细化的编码表示的源。在我们的方法中，RN首先用它的邻居来增强每个源词的表示，并推理它们之间所有可能的成对关系。然后，源表示和所有关系一起被馈送到注意模块和解码器，保持主编码器-解码器架构不变。在两个不同规模的汉英数据集上的实验都表明，我们的方法可以显着优于竞争基线。
2018-05-25 cs.AI cs.CL cs.LG
Dual-FOFE-net Neural Models for Entity Linking with PageRank
York University（约克大学）
提出了一种简单有效的实体连接方法，与递归神经网络（RNN）或卷积神经网络（CNN）相比，该方法利用前向神经网络（FFNN）和最近提出的双固定大小顺序遗忘编码（dual-FOFE）方法，将句子片段及其左右上下文完全编码为固定大小的表示。此外，在这项工作中，我们建议将基于PageRank的蒸馏在我们的候选生成模块。我们的神经链接模型包括三个部分：一个基于PageRank的候选生成模块，一个双FOFE网络神经排名模型和一个简单的NIL实体聚类系统。实验结果表明，我们提出的神经链接模型在基线系统上比TAC 2016任务数据集上的最先进模型实现了更高的EL准确性，而不需要任何内部数据或复杂的手工特征。此外，它在TAC 2017任务数据集上实现了具有竞争力的准确性。
2019-07-30 cs.CL cs.IR cs.LG
Sequential Dialogue Context Modeling for Spoken Language Understanding
Google Research（谷歌研究院）
口语语言理解是面向目标的对话系统的一个关键组成部分，它将用户的话语解析成语义框架表示。传统上，SLU不利用超出前一个系统回合的对话历史，上下文歧义由下游组件解决。在本文中，我们探讨了新的方法，在一个基于递归神经网络（RNN）的语言理解系统的对话上下文建模。我们提出了顺序对话编码器网络，它允许编码的时间顺序从对话历史的上下文。我们比较了我们提出的架构与两个上下文模型的性能，一个只使用前一个回合的上下文，另一个在记忆网络中编码对话上下文，但失去了对话历史中的话语顺序。多域对话数据集的实验表明，所提出的架构的结果在降低语义帧出错率。
2017-07-07 cs.AI cs.CL cs.LG
Recurrently Controlled Recurrent Networks
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（信息通信研究院）
循环神经网络（RNN），如长短期记忆和门控循环单元是跨广泛的序列建模问题的关键构建块。本文提出了一种递归控制递归网络（RCRN）的表达和强大的序列编码。更具体地说，我们方法背后的关键思想是使用递归网络学习递归门函数。我们的架构分为两个组件-一个控制器单元和一个监听器单元，从而经常性的控制器积极影响监听器单元的组合性。我们对NLP领域的大量任务进行了广泛的实验，例如情感分析（SST，IMDb，Amazon评论等），问题分类（TREC）、蕴涵分类（SNLI、SciTail）、答案选择（WikiQA、TrecQA）和阅读理解（NarrativeQA）。在所有26个数据集中，我们的结果表明，RCRN不仅始终优于BiLSTM，而且堆叠BiLSTM，这表明我们的控制器架构可能是广泛采用的堆叠架构的合适替代品。
2018-11-24 cs.AI cs.CL cs.IR
