A Baseline Neural Machine Translation System for Indian Languages
IIIT Hyderabad(印度海得拉巴国际信息技术学院);IIT Kanpur(印度坎普尔理工学院)
我们提出了一个简单而有效的印度语言神经机器翻译系统。我们证明了多语言对的可行性,并为进一步的研究建立了一个强有力的基线。
2019-07-29 cs.CL
Connecting Neural Response measurements & Computational Models of language: a non-comprehensive guide
University of Copenhagen(哥本哈根大学)
了解大脑中语言理解的神经基础一直是各种科学研究计划的长期目标。语言建模和神经成像方法学的最新进展有望在语言的神经生物学研究和更好的、更像人类的语言模型的构建方面取得潜在的进步。这项调查追溯了早期研究的路线,将事件相关电位和复杂性措施从简单的语言模型中提取出来,到当代研究,采用在大型语料库上训练的人工神经网络模型,结合使用自然刺激的多种形式的神经反应记录。
2022-03-10 cs.CL
Semantic Parsing Natural Language into SPARQL: Improving Target Language Representation with Neural Attention
语义解析是将自然语言句子映射成其意义的形式化表示的过程。在这项工作中,我们使用神经网络的方法来转换自然语言句子到查询的本体数据库中的SPARQL语言。这种方法不依赖于手工规则,高质量的词典,手工构建的模板或其他手工制作的复杂结构。我们的方法是基于向量空间模型和神经网络。该模型基于两个学习步骤。第一步生成自然语言和SPARQL查询的句子的向量表示。第二步使用此向量表示作为神经网络(具有注意力机制的LSTM)的输入,以生成能够编码自然语言和解码SPARQL的模型。
2018-03-12 cs.CL
A Primer on Neural Network Models for Natural Language Processing
在过去的几年里,神经网络已经重新成为强大的机器学习模型,在图像识别和语音处理等领域取得了最先进的成果。最近,神经网络模型也开始应用于文本自然语言信号,再次取得了非常有希望的结果。本教程从自然语言处理研究的角度调查神经网络模型,试图使自然语言研究人员加快神经技术的速度。本教程涵盖了自然语言任务的输入编码、前馈网络、卷积网络、递归网络和递归网络,以及自动梯度计算的计算图抽象。
2015-10-02 cs.CL
Factorization of Language Models through Backing-Off Lattices
统计语言模型的因子分解是将最具鉴别力的模型分解为因子化模型,并通过组合它们来确定一个新的模型,以提供更好的估计。以往的工作主要集中在序列事件的因子分解模型上,每个模型只允许一种因子分解方式。为了实现并行因子分解,这允许模型事件同时以多种方式被解析,我们提出了一个通用框架,其中我们采用退避格来反映并行因子分解并定义模型被解析为因子模型的路径,我们使用混合模型来组合格中的并行路径,推广Katz的backing-off方法,将遍历整个格得到的混合模型进行积分。基于这个框架,我们制定了两种类型的模型因子分解,用于自然语言建模。
2003-05-26 cs.CL
Rediscovering the Slavic Continuum in Representations Emerging from Neural Models of Spoken Language Identification
Saarland University(萨尔兰大学)
深度神经网络已经被用于各种口语识别任务,包括定义为多语言的任务,例如口语识别。在本文中,我们提出了一个神经模型斯拉夫语识别语音信号和分析其紧急表示,以调查它们是否反映语言相关性和/或非语言学家的感知语言相似性的客观措施。虽然我们的分析表明,语言表征空间确实在很大程度上捕捉语言相关性,但我们发现,在我们的研究中,语言之间的感知混淆是语言表征相似性的最佳预测因素。
2020-10-22 cs.CL
Do Neural Nets Learn Statistical Laws behind Natural Language?
The University of Tokyo(东京大学)
深度学习在自然语言处理中的表现非常出色,但由于深度学习固有的复杂性,这种成功的原因仍然不清楚。本文提供了经验证据的有效性和语言工程的神经网络的局限性。准确地说,我们证明了基于长短期记忆(LSTM)的神经语言模型有效地再现了Zipf定律和Heaps定律,这是自然语言的两个代表性统计特性。我们讨论了质量的再现性和出现的齐普夫定律和堆的法律培训的进展。我们还指出,神经语言模型在再现自然语言的另一个统计特性--长程相关性方面存在局限性。这种理解可以为改进神经网络的体系结构提供方向。
2017-11-28 cs.CL
Towards NLP with Deep Learning: Convolutional Neural Networks and Recurrent Neural Networks for Offensive Language Identification in Social Media
Imperial College London(帝国理工学院)
这篇简短的论文介绍了在完成SemEval任务6时所采取的设计决策和遇到的挑战,该任务提出了在推文中识别和分类攻击性语言的问题。我们提出的解决方案探索了深度学习技术、线性支持向量分类和随机森林来识别攻击性推文,将攻击分类为有针对性或无针对性,并最终识别目标主题类型。
2019-04-02 cs.CL
Pragmatic Neural Language Modelling in Machine Translation
University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
本文对神经语言模型在翻译系统中的集成进行了深入的研究。缩放神经语言模型是一项艰巨的任务,但对于现实世界的应用至关重要。本文评估了新的和现有的缩放技术对端到端MT质量的影响。我们展示了显式规范化神经模型的必要性,以及在这种情况下应该使用什么样的优化技巧。我们还专注于可扩展的训练算法,并研究噪声对比估计和对角上下文作为进一步提高速度的来源。我们探索了神经模型和退避n-gram模型之间的权衡,发现神经模型在内存受限的环境中成为自然语言应用的强有力候选者,但在原始翻译质量方面仍然落后于传统模型。最后,我们提出了一组建议,应该遵循建立一个可扩展的神经语言模型的机器翻译。
2015-03-20 cs.CL
A Computational Analysis of Natural Languages to Build a Sentence Structure Aware Artificial Neural Network
自然语言是结构复杂的实体。它们表现出特征性的特征,可以被利用来将它们彼此联系起来。在这项工作中,我比较两个形态方面的语言:书面模式和句子结构。我展示了语言如何自发地在两种分析中通过相似性分组,并得出平均语言距离。最后,利用句子结构,我开发了一个能够区分语言的人工神经网络,这表明不仅词根,而且语法句子结构也是一个特征,仅凭这些特征就足以识别它们。
2019-06-13 cs.CL
Syllable-based Neural Named Entity Recognition for Myanmar Language
University of Computer Studies, Yangon(仰光计算机研究大学)
缅甸语命名实体识别(NER)是缅甸语自然语言处理研究的重要内容。在这项工作中,缅甸语的NER被视为一个序列标记问题,深度神经网络对缅甸语的NER的有效性进行了研究。通过将深度神经网络架构应用于音节级缅甸语上下文来进行实验。第一个手动标注的缅甸语的NER语料库也被构建和提出。在开发我们内部的NER语料库时,也使用了来自在线新闻网站的句子和来自ALT平行语料库的句子。该ALT语料库是ASEAN IVO下的亚洲语言树库(ALT)项目的一部分。本文首次对缅甸语NER任务的神经网络模型进行了评估。实验结果表明,这些神经序列模型可以产生有前途的结果相比,基线CRF模型。在这些神经架构中,在上面添加CRF层的双向LSTM网络给出了最高的F得分值。本研究的目的也在于发现神经网络方法在缅甸语文本处理中的有效性,并促进对这一未被充分研究的语言的进一步研究。
2019-03-12 cs.CL
Dialog Context Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
在这项工作中,我们提出了上下文语言模型,将对话层次的话语信息到语言建模。以往的语境语言模型都是将前面的话语看作一个输入序列,而没有考虑对话的交互作用。我们设计了基于递归神经网络(RNN)的上下文语言模型,专门跟踪对话中说话者之间的交互。在Switchboard Dialog Act语料库上的实验结果表明,该模型在复杂度方面比传统的单轮RNN语言模型提高了3.3%。所提出的模型也表现出优于其他竞争的上下文语言模型的性能。
2017-01-15 cs.CL
What makes a language easy to deep-learn? Deep neural networks and humans similarly benefit from compositional structure
University of Southern Denmark(南丹麦大学);Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);Tel Aviv University(特拉维夫大学);University of Glasgow(格拉斯哥大学)
本文通过让大型语言模型和循环神经网络学习组合程度不同的语言,证明二者均像人类一样更易学习组合性强的语言,并表现出更系统的泛化与更高的一致性。
2024-10-10 cs.CL
Temporal Analysis of Language through Neural Language Models
New York University(纽约大学);Google Inc.(谷歌公司)
我们提供了一种通过按时间顺序训练的神经语言模型自动检测语言随时间变化的方法。我们在Google Books Ngram语料库上对模型进行训练,以获得特定于每一年的词向量表示,并识别出从1900年到2009年发生了显著变化的词。该模型将诸如“cell”和“gay”之类的词识别为在该时间段内发生了变化。该模型同时确定了这些词发生变化的具体年份。
2014-05-14 cs.CL
Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks
Carnegie Mellon University(卡内基梅隆大学)
说话人意图检测和语义槽填充是对话系统口语语言理解的两个关键任务。在本文中,我们描述了一个循环神经网络(RNN)模型,共同执行意图检测,插槽填充和语言建模。神经网络模型在转录话语中的单词到达时不断更新意图估计,并将其用作联合模型中的上下文特征。在ATIS基准测试数据集上对语言模型和在线SLU模型进行了评估。在语言建模任务上,与独立训练的语言模型相比,我们的联合模型实现了11.8%的困惑相对减少。在SLU任务上,我们的联合模型在意图检测出错率上比独立任务训练模型高出22.3%,在插槽填充F1得分上略有下降。联合模型也显示出有利的性能,在现实的ASR设置与嘈杂的语音输入。
2016-09-06 cs.CL
Cross-language Learning with Adversarial Neural Networks: Application to Community Question Answering
Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
我们解决问题的跨语言适应问题的问题,在社区问答的相似性重新排序,目的是端口的一种输入语言的系统训练到另一种输入语言给定的标记训练数据的第一种语言和第二种语言的未标记的数据。特别是,我们建议使用神经网络的对抗性训练来学习对主要学习任务具有区分性的高级特征,同时在输入语言中保持不变。评估结果表明,我们的跨语言对抗神经网络(CLANN)模型在强大的非对抗系统上有相当大的改进。
2017-06-21 cs.CL
Informative Language Representation Learning for Massively Multilingual Neural Machine Translation
Tianjin University(天津大学)
在跨所有语言完全共享参数的多语言神经机器翻译模型中,通常使用人工语言令牌来引导翻译成期望的目标语言。然而,最近的研究表明,前置语言令牌有时无法将多语言神经机器翻译模型导航到正确的翻译方向,特别是在zero-shot翻译中。为了缓解这个问题,我们提出了两种方法,语言嵌入体现和语言感知的多头注意力,学习信息丰富的语言表示通道翻译到正确的方向。前者体现为语言嵌入到从源语到译语的信息流中不同的关键转换点,目的是放大翻译方向引导信号。后者利用矩阵而不是向量来表示连续空间中的语言。矩阵被分成多个头部,以便在多个子空间中学习语言表示。在两个大规模多语言神经机器翻译数据集上的实验结果表明,语言感知的多头注意力对监督翻译和zero-shot翻译都有好处,并显著改善了脱靶翻译问题。进一步的语言类型学预测实验表明,通过我们的方法学习的基于矩阵的语言表示能够捕获丰富的语言类型学特征。
2022-09-04 cs.CL
Neural Morphology Dataset and Models for Multiple Languages, from the Large to the Endangered
University of Helsinki(赫尔辛基大学)
我们训练神经模型用于形态分析,生成和词法丰富的语言的词形化。我们提出了一种方法,自动提取大量的训练数据从FST的22种语言,其中17个濒危。神经模型遵循与FST相同的标记集,以便可以将它们与FST一起用作回退系统。源代码、模型和数据集已在Zenodo上发布。
2021-05-26 cs.CL
Examining the Inductive Bias of Neural Language Models with Artificial Languages
University of Cambridge(剑桥大学);ETH Zürich(苏黎世联邦理工学院)
由于语言模型用于对各种语言进行建模,因此很自然地会问用于任务的神经架构是否对特定类型的语言建模有归纳偏见。这些偏差的调查已被证明是复杂的,由于在实验设置中出现的许多变量。语言在许多类型学维度上都有差异,很难挑出一两种来进行研究,而不把其他语言作为混杂因素。我们提出了一种新的方法来调查的归纳偏见的语言模型使用人工语言。这些语言的构建是为了让我们能够创建跨语言的平行语料库,这些语言之间的差异仅在于所研究的类型学特征,如词序。然后我们使用它们来训练和测试语言模型。这构成了一个完全受控的因果框架,并展示了语法工程如何成为分析神经模型的有用工具。使用这种方法,我们发现,常用的神经架构表现出不同的归纳偏见:LSTM显示关于单词排序的偏好很小,而Transformers显示出明显的偏好,一些排序超过其他。此外,我们发现LSTM的归纳偏差和Transformer的归纳偏差似乎都没有反映出我们在经过验证的自然语言中看到的任何趋势。
2021-06-02 cs.CL
Neural Machine Translation with Pivot Languages
Tsinghua University(清华大学)
虽然最近的神经机器翻译方法已经为资源丰富的语言对提供了最先进的性能,但它们遭受资源稀缺语言对的数据稀缺问题。虽然这个问题可以通过利用枢纽语言来桥接源语言和目标语言来缓解,但是源到枢纽和枢纽到目标翻译模型通常是独立训练的。在这项工作中,我们介绍了一个联合训练算法的神经机器翻译。我们提出了三种方法来连接这两个模型,并使它们能够在训练过程中相互交互。在Europarl和WMT语料库上的实验表明,源到主元和主元到目标模型的联合训练比各种语言的独立训练有显著的改进。
2017-02-21 cs.CL
Navigating Brain Language Representations: A Comparative Analysis of Neural Language Models and Psychologically Plausible Models
Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Beijing Normal University(北京师范大学);China Agricultural University(中国农业大学)
本文通过多模态双语认知数据集比较神经语言模型与心理合理模型的编码性能,发现心理合理模型在fMRI和眼动追踪等任务中普遍优于神经语言模型,其中融合具身信息的模型在英汉词汇和语篇层面预测大脑激活表现最佳。
2024-04-30 cs.CL
Controlling Linguistic Style Aspects in Neural Language Generation
Bar-Ilan University(巴伊兰大学)
神经自然语言生成(NNLG)的大部分工作都集中在控制生成文本的内容上。我们尝试控制生成的文本的几个风格方面,除了它的内容。该方法基于条件RNN语言模型,其中所需的内容以及风格参数作为条件上下文。我们展示了电影评论域的方法,并表明它是成功的生成连贯的句子对应所需的语言风格和内容。
2017-07-09 cs.CL
Slim Embedding Layers for Recurrent Neural Language Models
Wright State University(莱特州立大学);SVAIL, Baidu Research(百度研究院硅谷人工智能实验室);University of Missouri(密苏里大学);Yitu. Inc(依图科技)
递归神经语言模型是语言建模的最新模型。当词汇量很大时,存储模型参数所占用的空间成为使用递归神经语言模型的瓶颈。在本文中,我们介绍了一个简单的空间压缩方法,随机共享的结构化参数在输入和输出嵌入层的递归神经语言模型,显着减少模型参数的大小,但仍然是compatibility表示原始的输入和输出嵌入层。该方法易于实现和调整。在多个数据集上的实验表明,该方法在使用极小部分参数的情况下,可以得到相似的困惑度和BLEU评分结果。
2017-12-22 cs.CL
Neural Morphological Tagging for Nguni Languages
Department of Computer Science(计算机科学系);University of Cape Town(开普敦大学)
针对恩古尼语形态解析难题,研究构建神经形态标注器,对比两类神经方法与传统规则方法,发现从头训练的神经标注器性能最优,验证了该方案的可行性。
2025-05-19 cs.CL
Neural Natural Language Inference Models Enhanced with External Knowledge
Queen’s University(女王大学);University of Ottawa(渥太华大学);iFLYTEK Research(科大讯飞研究院)
自然语言推理建模是一项非常具有挑战性的任务。随着大量注释数据的可用性,最近训练复杂模型(例如基于神经网络的推理模型)已变得可行,这些模型已显示出达到最先进的性能。虽然存在相对较大的注释数据,但机器是否可以从这些数据中学习执行自然语言推理(NLI)所需的所有知识?如果没有,基于神经网络的NLI模型如何从外部知识中受益,以及如何构建NLI模型来利用它?在本文中,我们丰富了最先进的神经自然语言推理模型与外部知识。我们证明了所提出的模型改进了神经NLI模型,以在SNLI和MultiNLI数据集上实现最先进的性能。
2018-06-23 cs.CL
Second Language Acquisition of Neural Language Models
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tohoku University(东北大学);RIKEN(理化学研究所)
该研究通过模拟人类第二语言习得过程训练双语语言模型,分析L1预训练及迁移配置对L2语言概括的影响,揭示其类人与非类人习得特征。
2023-06-05 cs.CL
Probing Neural Language Models for Human Tacit Assumptions
Johns Hopkins University(约翰斯·霍普金斯大学)
人类带有刻板的隐性假设(STA)(Prince,1978),或关于一般概念的命题信念。这种关联对于理解自然语言至关重要。我们构建了一个诊断集的单词预测提示,以评估最近的神经上下文语言模型训练的大型文本语料库捕获STA。我们的提示是基于对概念联想的心理学研究中的人类反应。我们发现模型在检索相关属性的概念时非常有效。我们的研究结果表明,经验证据表明,刻板的概念表征被捕获的神经模型来自半监督的语言曝光。
2020-06-16 cs.CL
A Neural-Symbolic Approach to Natural Language Understanding
Shanghai Jiaotong University(上海交通大学);ByteDance(字节跳动)
由预先训练的语言模型授权的深度神经网络在自然语言理解(NLU)任务中取得了显着的成果。然而,当需要逻辑推理时,它们的性能会急剧恶化。这是因为NLU原则上不仅依赖于深度神经网络擅长的类比推理,还依赖于逻辑推理。根据双加工理论,类比推理和逻辑推理分别由人脑中的系统1和系统2完成。受该理论的启发,我们提出了一个新的框架NLU称为神经符号处理器(NSP),它执行基于神经处理的类比推理和基于神经和符号处理的逻辑推理。作为一个案例研究,我们进行了两个NLU任务,问答(QA)和自然语言推理(NLI),当数值推理(一种逻辑推理)是必要的实验。实验结果表明,我们的方法显着优于国家的最先进的方法在这两个任务。
2022-10-21 cs.CL
On Training Bi-directional Neural Network Language Model with Noise Contrastive Estimation
Shanghai Jiao Tong University(上海交通大学);MIT(麻省理工学院);Microsoft Research(微软研究院)
本文提出用噪声对比估计(NCE)对双向神经网络语言模型(NNLM)进行训练。实验是在PTB数据集上进行的。结果表明,NCE训练的双向NNLM优于传统的最大似然训练的训练。但仍然(遗憾的是),它没有超过基线单向NNLM。
2016-02-25 cs.CL
Adapting Pretrained Transformer to Lattices for Spoken Language Understanding
National Taiwan University(国立台湾大学)
格是对多个假设进行编码的紧凑表示,例如语音识别结果或不同的分词。结果表明,与自动语音识别器(ASR)产生的1-最佳结果相比,编码格提高了口语语言理解(SLU)的性能。近年来,基于Transformer结构的预训练语言模型在自然语言理解方面取得了令人瞩目的成果,但其对格的编码能力尚未得到充分的研究。因此,本文旨在将预训练的Transformers适应于格输入,以便执行专门针对口语的理解任务。我们在基准ATIS数据集上的实验表明,使用lattice输入微调预训练的Transformers比使用1-best结果进行微调有明显的改善。进一步的评估表明,我们的方法在不同的声学条件下的有效性。我们的代码可在https://github.com/MiuLab/Lattice-SLU上获得
2020-11-02 cs.AI cs.CL
Addressing word-order Divergence in Multilingual Neural Machine Translation for extremely Low Resource Languages
Microsoft AI & Research(微软人工智能与研究院)
用于神经机器翻译(NMT)的迁移学习方法训练关于辅助-目标语言对(父模型)的NMT模型,其稍后针对感兴趣的源-目标语言对(子模型)进行微调,其中目标语言是相同的。在许多情况下,辅助语言具有与源语言不同的词序。我们发现,当源语言和目标语言之间几乎没有平行语料库时,不同的词序会限制迁移学习的益处。为了弥合这种分歧,我们提出了预排序的辅助语言句子匹配源语言的词序和训练父模型。我们对许多语言对的实验表明,弥合语序差距会显着提高翻译质量。
2019-04-10 cs.CL
Neural Language Modeling with Visual Features
Carnegie Mellon University(卡内基梅隆大学);Google Inc.(谷歌公司)
多模态语言模型试图为语言建模任务合并非语言特征。在这项工作中,我们扩展了一个标准的递归神经网络(RNN)语言模型与来自视频的功能。我们训练我们的模型的数据比以前工作中使用的数据集大两个数量级。我们进行了彻底的探索模型架构相结合的视觉和文本功能。我们在两个语料库(YouCookII和20 bn-something-v2)上的实验表明,性能最好的架构包括视觉和文本特征的中间融合,在困惑度上有超过25%的相对改善。我们报告的分析提供了为什么我们的多模态语言模型改进了标准RNN语言模型的见解。
2019-03-07 cs.CL
Implicit Representations of Meaning in Neural Language Models
Massachusetts Institute of Technology(麻省理工学院)
神经语言模型的有效性是否完全来自于对表面词共现统计数据的准确建模,或者这些模型是否代表和推理它们所描述的世界?在BART和T5 Transformer语言模型中,我们识别了上下文单词表示,这些单词表示在整个话语中演变时充当实体和情况的模型。这些神经表征与动态语义的语言模型具有功能相似性:它们支持每个实体当前属性和关系的线性读出,并且可以对语言生成产生可预测的影响进行操纵。我们的研究结果表明,在预训练的神经语言模型的预测支持,至少部分地,通过动态表示的意义和实体状态的隐式模拟,这种行为可以学习只有文本作为训练数据。代码和数据可在https://github.com/belindal/state-probes上获得。
2021-06-01 cs.CL
Extending the Vocabulary of Fictional Languages using Neural Networks
Tel Aviv University(特拉维夫大学)
近年来,小说、电影、电视节目、漫画和电子游戏中出现的虚构语言越来越受欢迎。虽然这些虚构的语言中有一些有完整的词汇表,但大多数都没有。我们提出了一个深度学习的解决方案。使用风格转换和机器翻译工具,我们为给定的目标小说语言生成新词,同时保持其创作者的风格,从而扩展该语言词汇。
2022-01-18 cs.CL
Syntactic Learnability of Echo State Neural Language Models at Scale
The University of Tokyo(东京大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tohoku University(东北大学);RIKEN(理化学研究所)
本文重新审视了回声状态网络(ESN),发现在约100M单词训练下,其在语法判断任务中表现与Transformer相当或更优,表明复杂架构对句法学习并非总是必要。
2025-03-03 cs.CL
Do Neural Language Representations Learn Physical Commonsense?
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
人类理解语言是基于丰富的关于物理世界如何运作的背景知识,这反过来又允许我们通过语言来推理物理世界。除了对象的属性(例如,船需要燃料)和它们的可供性,即,适用于它们的动作(例如,船可以被驾驶),我们还可以推理关于对象的什么属性暗示适用于它们的动作种类之间的if-then推断(例如,如果我们能驾驶某样东西,那么它可能需要燃料)。在本文中,我们研究了在大量自然语言文本上训练的最先进的神经语言表示在多大程度上展示了物理常识推理。虽然神经语言模型的最新进展在各种类型的自然语言推理任务上表现出了强大的性能,但我们基于超过20万个新收集的注释数据集的研究表明,神经语言表示仍然只学习明确写下的关联。
2019-08-08 cs.CL
Dependency-based Mixture Language Models
Wangxuan Institute of Computer Technology, Peking University(北京大学王选计算机研究所);Center for Data Science, Peking University(北京大学数据科学中心);The MOE Key Laboratory of Computational Linguistics, Peking University(北京大学计算语言学教育部重点实验室)
已经提出了各种模型来将句法结构的知识并入神经语言模型。然而,以前的工作在很大程度上依赖于特定语言模型的精细组件,通常是递归神经网络(RNN),这使得它们在实践中难以适应其他神经语言模型,如Transformer和GPT-2。本文介绍了基于依赖关系的混合语言模型。详细地说,我们首先训练神经语言模型与一个新的依赖建模目标,学习未来的依赖令牌给定的上下文的概率分布。然后,我们通过将先前的依赖建模概率分布与自注意混合来制定下一个令牌概率。大量的实验和人工评估表明,我们的方法可以轻松有效地应用于不同的神经语言模型,同时改善各种任务的神经文本生成。
2022-03-19 cs.CL
A Precis of Language Models are not Models of Language
University of Bergen(卑尔根大学)
自然语言处理是当前以人工神经网络为首的人工智能复苏的主要应用领域之一。我们发现,尽管他们在执行语言任务的许多成功,大型神经语言模型是不适合作为全面的自然语言模型。更广泛的含义是,尽管人们对人工智能往往过于乐观,但现代神经模型并不代表我们对认知理解的革命。
2022-05-16 cs.CL
Using CollGram to Compare Formulaic Language in Human and Neural Machine Translation
Universite catholique de Louvain(鲁汶天主教大学)
对高质量报纸文章的人工和神经机器翻译中公式化序列的比较表明,神经机器翻译包含较少的低频但强关联的公式化序列,以及更多的高频公式化序列。这些差异具有统计学显著性,效应量几乎总是中等或大。这些观察结果可能与不同水平的第二语言学习者之间以及翻译文本和未翻译文本之间的差异有关。神经机器翻译系统之间的比较表明,一些系统产生更多的公式化序列的两种类型比其他系统。
2021-07-23 cs.CL
Lower Bounds on the Expressivity of Recurrent Neural Language Models
本研究针对现有RNN语言模型表征容量研究多聚焦形式语言识别、无法描述其字符串分布特性的问题,通过关联概率FSA,证明线性有界精度的RNN语言模型可表达任意正则语言模型。
2024-06-18 cs.CL
A Parallelizable Lattice Rescoring Strategy with Neural Language Models
The Johns Hopkins University(约翰斯·霍普金斯大学);Xiaomi Corp.(小米公司)
本文提出了一种并行计算策略和基于后验的格扩展算法,用于自动语音识别的神经语言模型(LM)的格重评分。首先,提出了基于后验的格扩展算法,对第一遍解码得到的格进行扩展。其次,每个扩展的格被转换为覆盖每个弧的假设的最小列表。每个假设被约束为它所包括的至少一个弧的最佳路径。对于每个网格,并行计算最小列表的神经LM分数,然后在重新评分阶段将其整合回网格。在Switchboard数据集上的实验表明,该策略获得了相当的识别性能,并产生更紧凑的格比竞争的基线方法。此外,并行重新评分方法通过简化PyTorch训练的神经LM与Kaldi的晶格重新评分的集成提供了更大的灵活性。
2021-03-08 cs.CL cs.SD eess.AS
Multitask Finetuning for Improving Neural Machine Translation in Indian Languages
Savitribai Phule Pune University(萨维特里拜·普纳大学)
基于Transformer的语言模型在自然语言处理的所有领域都取得了令人印象深刻的结果。在语言建模任务上对这些模型进行预训练,并在文本分类、问答和神经机器翻译等下游任务上对它们进行微调,一直显示出示范性的结果。在这项工作中,我们提出了一个多任务微调方法,它结合了双语机器翻译任务与辅助因果语言建模任务,以提高性能的前一个任务上的印度语言。我们对三种语言对进行了实证研究,马拉地语-印地语,马拉地语-英语和印地语-英语,在那里我们将多任务微调方法与标准微调方法进行了比较,为此我们使用了mBART 50模型。我们的研究表明,多任务微调方法可能是一种比标准微调更好的技术,可以提高跨语言对的双语机器翻译。
2021-12-03 cs.CL
Voice trigger detection from LVCSR hypothesis lattices using bidirectional lattice recurrent neural networks
Apple(苹果公司)
我们提出了一种方法,以减少假语音触发的语音使能的个人助理后处理的假设格的服务器端大词汇量连续语音识别器(LVCSR)通过神经网络。我们首先讨论如何使用已知的技术来执行检测的假设格的触发短语的后验概率的估计可以获得,然后调查一个统计模型,处理网格中更明确的数据驱动,歧视性的方式。我们建议使用双向格型递归神经网络(LatticeRNN)的任务,并表明它可以显着提高检测精度比使用1-最好的结果或后验。
2020-02-29 cs.CL cs.SD eess.AS
Learning Spoken Language Representations with Neural Lattice Language Modeling
National Taiwan University(台湾大学)
预训练的语言模型在许多NLP任务上取得了巨大的进步。然而,这些方法通常是为书面文本设计的,因此它们不考虑口语的属性。因此,本文旨在将语言模型预训练的思想推广到由识别系统生成的格。我们提出了一个训练神经网格语言模型的框架,为口语语言理解任务提供上下文表示。提出的两阶段预训练方法减少了对语音数据的要求,具有更好的效率。在意图检测和对话行为识别数据集上的实验表明,我们提出的方法在语音输入上进行评估时始终优于强基线。该代码可在https://github.com/MiuLab/Lattice-ELMo上获得。
2020-11-02 cs.AI cs.CL cs.LG
A Study on Neural Network Language Modeling
本文对神经网络语言建模进行了详尽的研究。不同的架构的基本神经网络语言模型的描述和检查。研究了对基本神经网络语言模型的几种不同改进,包括重要性采样、词类、缓存和双向递归神经网络(BiRNN),并对每种技术的优缺点进行了评价。然后从模型体系结构和知识表示两个方面探讨了神经网络语言建模的局限性。当按一定的顺序逐字处理时,词序列中的部分统计信息会丢失,而神经网络的权值矩阵和权值向量的更新机制严重限制了NNLM的有效增强。对于知识表示,神经网络语言模型所表示的知识是来自某个训练数据集的词序列的近似概率分布,而不是语言本身的知识或自然语言中的词序列所传达的信息。最后,对神经网络语言建模的进一步改进方向进行了讨论。
2017-08-24 cs.AI cs.CL
LT-LM: a novel non-autoregressive language model for single-shot lattice rescoring
ITMO University(圣彼得堡国立信息技术机械与光学大学);STC-innovations Ltd(STC创新有限公司)
基于神经网络的语言模型通常用于重评分方法以提高现代自动语音识别(ASR)系统的质量。大多数现有的方法是计算昂贵的,因为它们使用自回归语言模型。我们提出了一种新的rescoring方法,它在一个单一的调用模型处理整个格。我们的rescoring政策的主要特点是一种新的非自回归格Transformer语言模型(LT-LM)。该模型将整个网格作为输入,并为每个弧预测新的语言得分。此外,我们提出了人工格生成方法,将大量的文本数据在LT-LM训练过程中。在我们的实验中,我们的单次重新评分比其他重新评分方法快几个数量级。它比RNNLM和N-best重评分快300倍以上,但在WER方面略逊一筹。
2021-04-06 cs.CL cs.LG eess.AS
From Tokens to Lattices: Emergent Lattice Structures in Language Models
Stanford University(斯坦福大学);University of Stuttgart(斯图加特大学);University of Southampton(南安普顿大学)
本文基于形式概念分析(FCA)框架,提出无需依赖人类定义概念的预训练掩码语言模型(MLMs)概念格构建新方法,通过创建三个数据集验证了MLM预训练隐式学习形式背景以涌现概念格的假设,还能发现潜在概念。
2025-04-04 cs.AI cs.CL
Neural Language Modeling by Jointly Learning Syntax and Lexicon
Department of Computer Science and Operations Research(计算机科学与运筹学系);Université de Montréal(蒙特利尔大学)
我们提出了一个神经语言模型能够无监督的句法结构归纳。该模型利用结构信息来形成更好的语义表示和更好的语言建模。标准的递归神经网络受到其结构的限制,无法有效地使用语法信息。另一方面,树结构递归网络通常需要额外的结构监督,代价是人类专家注释。在本文中,我们提出了一种新的神经语言模型,称为解析-阅读-预测网络(PRPN),它可以同时从未注释的句子中推断出句法结构,并利用推断出的结构来学习更好的语言模型。在我们的模型中,梯度可以直接从语言模型损失反向传播到神经解析网络。实验结果表明,该模型能够发现潜在的句法结构,并在单词/字符级语言模型任务上取得了最好的性能。
2018-02-19 cs.AI cs.CL
Deeper Text Understanding for IR with Contextual Neural Language Modeling
Carnegie Mellon University(卡内基梅隆大学)
神经网络为自动学习复杂的语言模式和查询-文档关系提供了新的可能性。神经IR模型在学习查询-文档相关模式方面取得了可喜的成果,但在理解查询或文档的文本内容方面却鲜有研究。本文研究了利用最近提出的上下文神经语言模型BERT来为信息检索提供更深层次的文本理解。实验结果表明,BERT的上下文文本表示比传统的词嵌入更有效。与词袋检索模型相比,上下文语言模型可以更好地利用语言结构,对用自然语言编写的查询带来很大的改进。将文本理解能力与搜索知识相结合导致增强的预训练BERT模型,其可以在训练数据有限的情况下有益于相关搜索任务。
2019-05-22 cs.CL cs.IR
NeuralLog: Natural Language Inference with Joint Neural and Logical Reasoning
Rose-Hulman Institute of Technology(罗斯-霍曼理工学院);Indiana University(印第安纳大学)
基于深度学习(DL)的语言模型在自然语言推理(NLI)的各种基准测试中实现了高性能。在这个时候,象征性的方法NLI受到较少的关注。这两种方法(符号和DL)都有其优点和缺点。然而,目前,没有方法将它们结合在一个系统中来解决NLI的任务。为了融合符号学习和深度学习方法,我们提出了一个名为NeuralLog的推理框架,它利用基于单调性的逻辑推理引擎和神经网络语言模型进行短语对齐。我们的框架模型的NLI任务作为一个经典的搜索问题,并使用束搜索算法搜索最佳推理路径。实验表明,我们的联合逻辑和神经推理系统提高了NLI任务的准确性,并可以在SICK和MED数据集上达到最先进的准确性。
2021-06-10 cs.AI cs.CL
Contextualizing ASR Lattice Rescoring with Hybrid Pointer Network Language Model
Facebook(脸书)
在社交媒体上上传的视频通常附有文字描述。在为视频构建自动语音识别(ASR)系统时,我们可以利用由这样的视频元数据提供的上下文信息。在本文中,我们探索ASR格rescoring有选择地参加视频描述。我们首先使用基于注意力的方法来提取视频元数据的上下文矢量表示,并使用这些表示作为输入的一部分,以神经语言模型在格重新评分。其次,我们提出了一种混合指针网络的方法来显式地插入元数据中的词出现的词概率。我们对语言建模和ASR任务进行了实验评估,并证明了这两种方法通过选择性地利用视频元数据来提高性能。
2020-05-15 cs.CL cs.SD eess.AS
Improving Neural Language Models with a Continuous Cache
Facebook AI Research(Facebook人工智能研究院)
我们提出了一个扩展神经网络语言模型,以适应他们的预测最近的历史。我们的模型是记忆增强网络的简化版本,它将过去的隐藏激活存储为记忆,并通过与当前隐藏激活的点积来访问它们。这种机制非常有效,可以扩展到非常大的内存大小。我们还绘制了神经网络中外部存储器的使用和基于计数的语言模型的缓存模型之间的联系。我们在几个语言模型数据集上证明,我们的方法比最近的记忆增强网络表现得更好。
2016-12-13 cs.CL cs.LG
Mitigating Data Scarcity for Large Language Models
The University of Arizona(亚利桑那大学)
近年来,预训练神经语言模型(PNLM)在自然语言处理领域掀起了风暴,实现了新的基准和最先进的性能。这些模型通常严重依赖于带注释的数据,而这些数据可能并不总是可用的。数据稀缺通常出现在医学等专业领域,或人工智能研究未充分探索的低资源语言中。在这篇论文中,我们专注于缓解数据稀缺性使用数据增强和神经集成学习技术的神经语言模型。在这两个研究方向中,我们实现神经网络算法,并评估其对下游NLP任务中辅助神经语言模型的影响。具体而言,对于数据增强,我们探索了两种技术:1)通过围绕其原始上下文移动答案跨度来创建正训练数据,以及2)使用文本简化技术来向原始训练数据引入各种写作风格。我们的研究结果表明,这些简单而有效的解决方案大大提高了神经语言模型在低资源NLP领域和任务的性能。对于神经集成学习,我们使用多标签神经分类器从各种单独的预训练神经语言模型中选择最佳预测结果,这些模型是为低资源医学文本简化任务训练的。
2023-02-03 cs.AI cs.CL
Neural Generation of Regular Expressions from Natural Language with Minimal Domain Knowledge
MIT(麻省理工学院);Microsoft(微软)
本文探讨了将自然语言查询转换为体现其含义的正则表达式的任务。与之前的工作相比,所提出的神经模型不使用特定领域的手工制作,而是直接从平行语料库中学习翻译。为了充分挖掘神经模型的潜力,我们提出了一种方法来收集一个大型的正则表达式,自然语言对语料库。我们得到的模型比以前的最先进的模型实现了19.6%的性能增益。
2016-08-09 cs.AI cs.CL