Neural Unsupervised Domain Adaptation in NLP---A Survey
University of Trento(特伦托大学);ITU Copenhagen(哥本哈根信息技术大学)
深度神经网络擅长从标记数据中学习,并在各种自然语言处理任务中实现最先进的结果。相比之下,从未标记数据中学习,特别是在域转移下,仍然是一个挑战。受最新进展的启发,在这次调查中,我们回顾了神经无监督领域自适应技术,不需要标记的目标域数据。这是一个更具挑战性但适用范围更广的设置。我们概述了从早期传统的非神经方法到预训练模型转移的方法。我们还重新审视了域的概念,我们发现了最受关注的自然语言处理任务类型的偏见。最后,我们概述了未来的发展方向,特别是对未来NLP的分布外泛化的更广泛需求。
2020-10-28 cs.CL
Deep Neural Approaches to Relation Triplets Extraction: A Comprehensive Survey
IIT Kharagpur(印度理工学院卡拉格普尔分校);Singapore University of Technology and Design(新加坡科技设计大学)
近年来,随着词的连续表示(词嵌入)和深层神经网络结构的发展,关系抽取领域的研究成果不断涌现,大量的论文已经难以统计。为了帮助未来的研究,我们提出了一个全面的评论最近发表的研究工作在关系抽取。我们主要关注使用深度神经网络的关系抽取,这些网络在公开可用的数据集上实现了最先进的性能。在本调查中,我们涵盖了文档级关系提取,基于管道的方法联合提取方法,注释数据集,远程监督数据集以及一些最近的研究方向,如zero-shot或Few-Shot关系抽取,远程监督数据集的噪声缓解。关于神经架构,我们在本调查中涵盖了卷积模型,递归网络模型,注意力网络模型和图卷积模型。
2021-03-31 cs.CL
Syntax Representation in Word Embeddings and Neural Networks -- A Survey
Charles University(查理大学)
在自然语言处理任务上训练的神经网络捕获语法,即使它不作为监督信号提供。这表明,句法分析是必不可少的理解语言的人工智能系统。这篇综述论文涵盖了评估不同神经网络架构的单词表示中包含的句法信息量的方法。本文主要综述了英语单语数据在语言建模任务中的应用、多语种数据在神经机器翻译系统和多语种语言模型中的应用。我们描述了哪些预训练的模型和语言表示最适合转移到句法任务。
2020-10-02 cs.CL
Innovations in Neural Data-to-text Generation: A Survey
Virginia Tech(弗吉尼亚理工大学)
本综述系统梳理了神经数据到文本生成的方法、基准与评估协议,并强调未来研究应兼顾语言能力与公平性、可问责性。
2024-04-02 cs.CL
A Survey on Neural Abstractive Summarization Methods and Factual Consistency of Summarization
McGill University(麦吉尔大学)
自动摘要是通过计算缩短一组文本数据的过程,以创建表示原始文本中最重要信息的子集(摘要)。现有的文摘方法大致可以分为两类:抽取式和抽象式。提取摘要器显式地选择文本片段(单词、短语、句子等)。从源文档,而抽象的摘要生成器生成新颖的文本片段,以传达源中流行的最突出的概念。
2022-04-20 cs.CL
Recent Neural Methods on Slot Filling and Intent Classification for Task-Oriented Dialogue Systems: A Survey
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
近年来,在深度学习技术和对会话AI的高需求的推动下,已经提出了各种方法来解决在面向任务的对话系统中引出和理解用户需求的能力。我们专注于两个核心任务,插槽填充(SF)和意图分类(IC),并调查如何基于神经的模型已经迅速发展,以解决自然语言理解对话系统。我们介绍了三种神经体系结构:独立模型,分别对SF和IC进行建模,联合模型,同时利用两个任务的共同利益,以及迁移学习模型,将模型扩展到新的领域。我们讨论了SF和IC的研究现状,并强调了仍然需要注意的挑战。
2020-11-01 cs.CL
A Survey of Methods to Leverage Monolingual Data in Low-resource Neural Machine Translation
Innopolis University(伊诺波利斯大学)
神经机器翻译已经成为大型平行语料库语言对的最新技术。然而,低资源语言的机器翻译的质量还有很多需要改进的地方。有几种方法可以缓解这个问题,例如迁移学习,半监督和无监督学习技术。在本文中,我们回顾了现有的方法,其主要思想是利用单语数据的力量,这与并行相比,通常更容易获得和显着更大的量。
2019-10-01 cs.CL
Multi-Task Neural Models for Translating Between Styles Within and Across Languages
University of Maryland(马里兰大学)
生成自然语言需要以适当的风格传达内容。我们探讨了两个相关的任务生成不同形式的文本:单语形式转移和形式敏感的机器翻译。我们建议使用多任务学习来联合解决这些任务,并表明我们的模型在形式转换方面达到了最先进的性能,并且能够在没有对风格注释的翻译示例进行显式训练的情况下执行形式敏感的翻译。
2018-06-12 cs.CL
A Brief Survey of Multilingual Neural Machine Translation
NICT(日本信息通信研究机构);Institute for Datability Science(数据可及性科学研究所);Osaka University(大阪大学);Microsoft AI & Research(微软人工智能研究院)
我们提出了一个调查多语言神经机器翻译(MNMT),这在最近几年获得了很大的牵引力。MNMT作为知识转移的结果,在提高翻译质量方面是有用的。MNMT比它的统计机器翻译同行更有前途和有趣,因为端到端建模和分布式表示开辟了新的途径。为了提高翻译质量,人们提出了许多方法来利用多语言平行语料库。然而,由于缺乏全面的调查,难以确定哪些方法是有希望的,因此值得进一步探讨。在本文中,我们提出了一个深入的调查现有的文献MNMT。我们根据资源场景以及底层建模原则对各种方法进行了分类。我们希望本文将作为一个起点,研究人员和工程师有兴趣在MNMT。
2020-01-04 cs.CL
Graph Neural Networks for Text Classification: A Survey
The University of Sydney(悉尼大学);The University of Western Australia(西澳大利亚大学)
本文系统综述了截至2023年的语料库级和文档级图神经网络文本分类方法,涵盖图构建、学习过程、数据集、评价指标及实验设计,并比较不同技术的优缺点与未来方向。
2024-07-05 cs.CL
Positioning yourself in the maze of Neural Text Generation: A Task-Agnostic Survey
Carnegie Mellon University(卡内基梅隆大学)
神经文本生成演变成几个关键的自然语言应用,从文本完成到自由形式的叙事生成。为了推进文本生成的研究,吸收现有的研究成果,并在这个巨大的增长领域中定位是至关重要的。具体来说,本文调查了建模方法的基本组成部分,这些建模方法在各种生成任务(如讲故事、总结、翻译等)中传递任务不可知论的影响,在这种情况下,我们提出了一个抽象的必要技术方面的学习范式,预训练,建模方法,解码和关键的挑战,在每个领域突出。因此,我们为该领域的研究人员提供了一站式目的地,以便于了解在哪里重新设计他们的工作以及它如何影响其他密切相关的生成任务。
2021-03-26 cs.CL
A Survey on Neural Open Information Extraction: Current Status and Future Directions
Nanyang Technological University(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-新加坡南洋理工大学联合研究院);Alibaba Group(阿里巴巴集团)
开放信息抽取(OpenIE)促进了从大型语料库中独立于领域的关系事实的发现。该技术非常适合许多开放世界的自然语言理解场景,如自动知识库构建,开放领域的问答,和显式推理。由于深度学习技术的快速发展,许多神经OpenIE架构被提出并实现了相当大的性能提升。在本调查中,我们提供了最先进的神经OpenIE模型,其关键设计决策,优势和劣势的广泛概述。然后,我们讨论了当前解决方案的局限性和OpenIE问题本身的开放性问题。最后,我们列出了最近的趋势,可以帮助扩大其范围和适用性,建立有前途的方向,在OpenIE的未来研究。据我们所知,本文是第一次审查这一特定的主题。
2022-06-28 cs.CL
Towards a Neural Era in Dialogue Management for Collaboration: A Literature Survey
University of Florida(佛罗里达大学)
该文献综述梳理了协作对话系统中对话管理从传统方法到神经时代的演进,分析了数据驱动及神经方法的应用与主流趋势,为人机协作对话管理的未来发展及大语言模型潜力挖掘提供基础背景。
2023-07-18 cs.CL
A Survey on Document-level Neural Machine Translation: Methods and Evaluation
Monash University(莫纳什大学)
机器翻译是自然语言处理中的一项重要任务,它使翻译过程自动化,减少了对人工翻译的依赖。随着神经网络的复兴,翻译质量超过了大多数语言对使用统计技术获得的翻译。直到几年前,几乎所有的神经翻译模型都是独立地翻译句子,而没有将更广泛的文档上下文和句子之间的相互依赖性结合起来。本文的目的是突出神经革命后在文档级机器翻译领域所做的主要工作,以便研究人员能够认识到该领域的现状和未来方向。我们提供了一个组织的文学的基础上的新颖性建模和架构,以及培训和解码策略。此外,我们还介绍了评估策略,以说明文档MT的改进,包括自动度量和以话语为目标的测试集。最后,我们提出了在这一研究领域的未来探索的可能途径。
2021-01-13 cs.CL
Neural relation extraction: a survey
Huawei Turkey Research and Development Center(华为土耳其研发中心);Ford Otosan(福特奥托桑);Bogazici University(海峡大学);Yildiz Technical University(伊尔迪兹技术大学)
神经关系抽取使用深度学习方法从非结构化文本中发现实体之间的语义关系。本文对基于神经网络的关系抽取方法进行了综述。我们讨论了现有研究的优势和不足之处,并探讨了这一领域的其他研究方向和改进思路。
2020-06-23 cs.CL cs.LG
A Survey on Neural Network Language Models
School of Computer Science and Technology, University of Chinese Academy of Sciences(中国科学院大学计算机科学与技术学院)
语言模型作为自然语言处理(NLP)系统的核心组成部分,能够提供词的表示和词序列的概率指示。神经网络语言模型克服了维数灾难,提高了传统语言模型的性能。本文对NNLM进行了综述。首先介绍了经典NNLM的结构,然后介绍和分析了NNLM的一些主要改进。我们总结和比较语料库和工具包的NNLM。最后,对NNLM的研究方向进行了讨论。
2019-06-13 cs.CL cs.LG
Thank you for Attention: A survey on Attention-based Artificial Neural Networks for Automatic Speech Recognition
Federation University Australia(澳大利亚联邦大学)
在基于人工神经网络的序列到序列模型中,注意力是一种非常流行和有效的机制。在这篇调查论文中,提供了一个全面的审查不同的注意力模型用于开发自动语音识别系统。本文重点介绍了在基于递归神经网络和Transformer的架构中离线和流式语音识别的注意力模型的发展和演变。
2021-02-14 cs.CL cs.SD eess.AS
What Formal Languages Can Transformers Express? A Survey
Umeå University(于默奥大学);New York University(纽约大学);EPFL(洛桑联邦理工学院);University of Notre Dame(圣母大学);Yale University(耶鲁大学)
本文综述了 Transformer 在形式语言表达方面的理论研究成果,梳理不同假设并构建统一框架,以协调看似矛盾的结论。
2024-09-04 cs.CL cs.FL cs.LG
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego(加州大学圣地亚哥分校)
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向,能够通过基于输入动态地调整其计算路径来扩展神经网络,其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案,它允许使用数万亿参数进行模型预训练,并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展:略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
First Experiments with Neural Translation of Informal to Formal Mathematics
University of Innsbruck(因斯布鲁克大学);Czech Technical University in Prague(布拉格捷克理工大学)
我们报告了我们的实验,训练深度神经网络,自动翻译非正式的LaTeX写的Mizar文本到正式的Mizar语言。据我们所知,这是第一次当神经网络已被采用在数学的形式化。Using Luong et al.的神经机器翻译模型(NMT),我们测试了我们对齐的非正式正式语料库对各种超参数和评估他们的结果。实验结果表明,我们的最佳模型配置能够在65.73%的推理数据上生成正确的Mizar语句,所有模型的联合覆盖率为79.17%。这些结果表明,通过人工神经网络的形式化是一种很有前途的方法自动形式化的数学。我们提出了几个案例研究来说明我们的结果。
2018-06-11 cs.AI cs.CL cs.LG
A Survey on Neural Machine Reading Comprehension
University of Chinese Academy of Sciences(中国科学院大学)
使机器能够阅读和理解自然语言文档,以便它可以回答一些问题仍然是一个难以捉摸的挑战。近年来,深度学习的普及和大规模数据集的建立,都促进了机器阅读理解的繁荣。本文介绍了如何利用神经网络来构建一个阅读器,并介绍了一些经典的模型,分析了它们的改进之处。进一步指出了现有模型的不足和未来的研究方向
2019-06-10 cs.CL cs.LG
A Survey on Low-Resource Neural Machine Translation
Microsoft Research Asia(微软亚洲研究院)
神经方法已经在机器翻译上实现了最先进的准确性,但是遭受收集大规模并行数据的高成本。因此,已经对具有非常有限的并行数据的神经机器翻译(NMT)进行了大量研究,即,低资源配置。本文综述了低资源的NMT,并根据其使用的辅助数据将相关工作分为三类:(1)利用源语言和/或目标语言的单语数据,(2)利用辅助语言的数据,(3)利用多模态数据。我们希望我们的调查能够帮助研究人员更好地了解该领域并激励他们设计更好的算法,并帮助行业从业者为他们的应用选择合适的算法。
2021-07-09 cs.CL cs.LG
A survey on learning models of spiking neural membrane systems and spiking neural networks
Institute of Engineering & Management, University of Engineering & Management(工程与管理学院,工程与管理大学)
本文综述了脉冲神经网络(SNN)与脉冲神经P系统(SNPS)的结构、功能及优缺点,并重点调查了两者在机器学习与深度学习模型方面的最新成果与应用。
2024-03-27 cs.CL cs.NE
Recent Advances in Neural Text Generation: A Task-Agnostic Survey
University of Surrey(萨里大学);The University of Sheffield(谢菲尔德大学)
本文是一篇任务无关的神经文本生成综述,从数据构建、神经框架等四大维度梳理最新进展,探讨未来研究方向,为该领域研发提供参考。
2023-06-12 cs.AI cs.CL
Analysis Methods in Neural Language Processing: A Survey
MIT Computer Science and Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室);Harvard School of Engineering and Applied Sciences(哈佛大学工程与应用科学学院)
近年来,自然语言处理领域取得了令人瞩目的进展,神经网络模型取代了许多传统系统。已经提出了大量的新模型,其中许多被认为是不透明的,相比之下,他们的功能丰富的同行。这促使研究人员以新颖且更细粒度的方式分析、解释和评估神经网络。在这篇综述论文中,我们回顾了神经语言处理中的分析方法,根据突出的研究趋势对其进行分类,突出现有的局限性,并指出未来工作的潜在方向。
2019-01-14 cs.CL cs.LG cs.NE
A Survey on Neural Question Generation: Methods, Applications, and Prospects
Renmin University of China(中国人民大学);Singapore Management University(新加坡管理大学);National University of Singapore(新加坡国立大学)
本文综述神经问题生成(NQG),按结构化、非结构化与混合输入分类梳理模型、应用、评估及挑战,并展望趋势、提供论文数据集与代码资源。
2024-05-07 cs.AI cs.CL
A Comprehensive Survey on Bengali Phoneme Recognition
Shahjalal University of Science & Technology(沙阿贾拉勒科学技术大学)
综述了基于隐马尔可夫模型的孟加拉语音素识别方法。本文综述了用多层神经网络进行孟加拉语音素自动识别的研究。讨论了多层神经网络相对于单层神经网络的收敛性。还讨论了孟加拉语语音识别中孟加拉语语音特征表的建立和增强。对这些方法进行了比较。
2018-04-26 cs.CL cs.SD
From Neural Activations to Concepts: A Survey on Explaining Concepts in Neural Networks
University of Hamburg(汉堡大学)
本文综述了神经网络中概念解释的近期方法,探讨了概念在学习与推理之间的桥梁作用,并指出其对实现基于可解释概念的神经符号人工智能具有重要意义。
2024-05-03 cs.AI cs.CL cs.CV
A Survey on Graph Neural Networks for Knowledge Graph Completion
Indian Institute of Technology Delhi(印度理工学院德里分校)
知识图谱越来越多地用于各种下游任务,如问答和信息检索。然而,知识图谱往往是不完整的,从而导致性能不佳。因此,人们对知识库完成的任务很感兴趣。最近,图神经网络已被用于捕获固有地存储在这些知识图谱中的结构信息,并已被证明可以在各种数据集上实现SOTA性能。在这项调查中,我们了解所提出的方法的各种优点和缺点,并试图找到新的令人兴奋的研究问题,在这一领域,需要进一步调查。
2020-07-24 cs.AI cs.CL cs.LG
Bridging the Empirical-Theoretical Gap in Neural Network Formal Language Learning Using Minimum Description Length
Ecole Normale Supérieure(巴黎高等师范学院);Tel Aviv University(特拉维夫大学);EHESS(高等研究实践学院);CNRS(法国国家科学研究中心)
本文通过一种简单形式语言学习任务证明理论正确解并非常用目标的最优解,并提出以最小描述长度目标替代标准目标可使正确解成为最优解。
2024-06-06 cs.CL cs.FL
A Survey of Domain Adaptation for Neural Machine Translation
Institute for Datability Science(数据智能科学研究所);Osaka University(大阪大学)
神经机器翻译(NMT)是一种基于深度学习的机器翻译方法,在大规模并行语料库可用的情况下,其产生最先进的翻译性能。虽然高质量和特定领域的翻译在现实世界中是至关重要的,特定领域的语料库通常是稀缺的或根本不存在,因此香草NMT在这种情况下表现不佳。领域自适应是一种利用领域外平行语料库和单语语料库进行领域内翻译的方法,对于特定领域的翻译非常重要。在本文中,我们给出了一个全面的调查,最先进的领域自适应技术的NMT。
2018-06-01 cs.AI cs.CL cs.LG
Graph Neural Networks Meet Neural-Symbolic Computing: A Survey and Perspective
UFRGS(里约热内卢联邦大学);City, University of London(伦敦城市大学);University of Siena(锡耶纳大学);Université Côte d’Azur(蔚蓝海岸大学);Rice University(莱斯大学)
神经符号计算现在已经成为学术和工业研究实验室感兴趣的主题。图神经网络在关系和符号领域有着广泛的应用,在组合优化、约束满足、关系推理等科学领域有着广泛的应用。一般来说,需要改进人工智能系统的可解释性,可解释性和信任度,这需要有原则的方法,正如神经符号计算所建议的那样。在本文中,我们回顾了使用GNN作为神经符号计算模型的最新技术。这包括GNN在几个领域的应用,以及它与神经符号计算当前发展的关系。
2021-06-12 cs.AI cs.CL cs.LG
Neural Networks for Entity Matching: A Survey
Cognite(Cognite公司);NTNU(挪威科技大学)
实体匹配是识别哪些记录引用相同的真实世界实体的问题。它已经被积极研究了几十年,并开发了各种不同的方法。即使在今天,它仍然是一个具有挑战性的问题,仍然有很大的改进余地。近年来,我们看到了基于深度学习技术的自然语言处理新方法的出现。在这篇综述中,我们介绍了神经网络是如何用于实体匹配的。具体来说,我们确定哪些步骤的实体匹配过程中现有的工作有针对性地使用神经网络,并提供了在每个步骤中使用的不同技术的概述。我们还讨论了与传统方法相比,深度学习在实体匹配中的贡献,并提出了用于实体匹配的深度神经网络的分类。
2021-05-31 cs.CL cs.DB cs.LG
A Survey on Knowledge integration techniques with Artificial Neural Networks for seq-2-seq/time series models
近年来,随着大规模计算能力的出现和大量数据的可用性,深度神经网络已经能够在多个领域探索未知领域。但有时,由于数据不足,数据质量差,数据可能没有广泛覆盖该领域等原因,它们表现不佳。基于知识的系统利用专家知识做出决策并适当采取行动。这种系统在决策过程中保持可解释性。本文的重点是探索技术,将专家知识集成到深度神经网络的序列到序列和时间序列模型,以提高其性能和可解释性。
2020-08-13 cs.AI cs.CL cs.LG
Topic Modelling Meets Deep Neural Networks: A Survey
Monash University(莫纳什大学)
主题建模是近二十年来文本分析的一种成功技术。当主题建模遇到深层神经网络时,出现了一个新的且越来越受欢迎的研究领域,神经主题模型,开发了一百多个模型,并在神经语言理解中有广泛的应用,例如文本生成,摘要和语言模型。有必要总结研究进展,并讨论开放的问题和未来的方向。在本文中,我们为人工智能社区中感兴趣的研究人员提供了一个集中而全面的神经主题模型概述,以促进他们在这个快速发展的研究领域中导航和创新。据我们所知,我们是第一次审查集中在这个特定的主题。
2021-02-28 cs.CL cs.IR cs.LG
How to Enable Effective Cooperation Between Humans and NLP Models: A Survey of Principles, Formalizations, and Beyond
Sichuan University(四川大学);Singapore Management University(新加坡国立大学);York University(约克大学);Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China(机器学习与产业智能工程研究中心,教育部,中国);National University of Singapore(新加坡国立大学)
本文综述了人类与NLP模型合作的新范式,提出统一分类法总结现有方法,并探讨前沿挑战,为未来研究奠定基础。
2025-05-22 cs.AI cs.CL cs.HC
A Survey on Neural Speech Synthesis
Microsoft Research Asia(微软亚洲研究院)
文本转语音(TTS)或语音合成,其目的是在给定文本的情况下合成可理解且自然的语音,是语音、语言和机器学习社区中的热门研究课题,并且在工业中具有广泛的应用。近年来,随着深度学习和人工智能的发展,基于神经网络的文语转换技术大大提高了合成语音的质量。在本文中,我们进行了全面的调查,神经TTS,旨在提供一个很好的理解,目前的研究和未来的趋势。我们重点介绍了神经TTS中的关键组件,包括文本分析,声学模型和声码器,以及几个高级主题,包括快速TTS,低资源TTS,鲁棒TTS,表达TTS和自适应TTS等。我们进一步总结了与TTS相关的资源(例如,数据集,开源实现),并讨论未来的研究方向。这项调查可以为学术研究人员和从事TTS工作的行业从业人员提供服务。
2021-07-23 cs.CL cs.LG cs.MM
A survey of neural models for the automatic analysis of conversation: Towards a better integration of the social sciences
Institut Polytechnique de Paris(巴黎理工学院);Carnegie Mellon University(卡内基梅隆大学);Inria Paris(法国国家信息与自动化研究所巴黎分部)
在过去的几年里,已经引入了一些令人兴奋的新方法来分析会话的神经架构。这些包括用于检测情感、对话行为和情感极性的神经架构。它们利用了当代机器学习的一些关键属性,例如具有注意力机制的递归神经网络和基于transformer的方法。然而,虽然架构本身非常有前途,但迄今为止应用它们的现象只是使对话引人入胜的一小部分。在本文中,我们调查这些神经架构和它们已被应用。在社会科学文献的基础上,我们描述了我们认为是最基本的和定义性的会话特征,这是随着时间的推移,由两个或两个以上的对话者的共同建设。我们将讨论如何将所调查的神经架构有益地应用于这些更基本的会话方面,以及这为我们带来了什么,以便更好地分析会话,甚至从长远来看,为会话系统生成会话的更好方法。
2022-03-31 cs.AI cs.CL cs.HC
Post-hoc Interpretability for Neural NLP: A Survey
École Polytechnique de Montréal(蒙特利尔综合理工学院);Mila(米拉研究所);McGill University(麦吉尔大学);Facebook(脸书)
本文综述了神经自然语言处理中的事后可解释性方法,系统分类其解释方式、深入分析各类方法并讨论验证问题,以促进模型的安全、伦理与问责。
2023-11-28 cs.CL cs.LG cs.NE
Text-based Question Answering from Information Retrieval and Deep Neural Network Perspectives: A Survey
Amirkabir University of Technology (Tehran Polytechnic)(阿米尔卡比尔理工大学(德黑兰理工大学))
基于文本的问答(QA)是一项具有挑战性的任务,旨在为用户的问题找到简短具体的答案。这条研究线已经被广泛研究了信息检索技术,并在近年来通过考虑深度神经网络方法而受到越来越多的关注。深度学习方法是本文的重点,它提供了一种强大的技术来学习问题和文本之间的多层表示和交互。在本文中,我们提供了一个全面的概述不同的模型提出的QA任务,包括传统的信息检索的角度来看,和最近的深度神经网络的角度来看。我们还介绍了众所周知的数据集的任务,并提出了现有的结果,从文献中有不同的技术之间的比较。
2020-05-27 cs.CL cs.IR cs.LG
A Survey On Neural Word Embeddings
Izmir Institute of Technology(伊兹密尔理工学院)
理解人类语言一直是智能机器道路上的一个子挑战。自然语言处理中的意义研究依赖于分布假设,即语言元素从上下文中共同出现的单词中获得意义。概念的分布式表征这一革命性的想法与人类思维的工作方式非常接近,因为一个单词的含义分散在几个神经元中,而失去激活只会轻微影响记忆提取过程。神经词嵌入通过在所有NLP任务中引入实质性的改进,改变了整个NLP领域。在这项调查中,我们提供了一个全面的文献综述神经词嵌入。我们给出了理论基础,并描述了现有的工作之间的相互作用词嵌入和语言建模。我们提供了广泛的覆盖神经词嵌入,包括早期的词嵌入,嵌入针对特定的语义关系,意义嵌入,词素嵌入,最后,上下文表示。最后,我们描述了字嵌入的性能评估和下游任务中的基准数据集以及词嵌入的性能结果。
2021-10-05 cs.AI cs.CL cs.LG