HuSpaCy: an industrial-strength Hungarian natural language processing toolkit
Institute of Informatics, University of Szeged(塞格德大学信息学研究所)
虽然有几个开放源语言处理管道可用于匈牙利语,但它们都不能满足当今NLP应用程序的要求。语言处理管道应该包括接近最先进的词形还原、形态句法分析、实体识别和词嵌入。工业文本处理应用程序必须满足非功能性的软件质量要求,支持多种语言的框架越来越受到青睐。本文介绍了HuSpaCy,一个行业就绪的匈牙利语言处理工具包。所提出的工具提供了最重要的基本语言分析任务的组件。它是开源的,并在许可证下可用。我们的系统是建立在spaCy的NLP组件上的,从而产生了一个易于使用,快速而准确的应用程序。实验证实,HuSpaCy具有高准确性,同时保持资源有效的预测能力。
2022-01-10 cs.CL stat.ML
Natural Language Processing using Hadoop and KOSHIK
Eastern Institute of Technology(东部理工学院)
自然语言处理作为一种数据分析相关技术,在人工智能、人类语言处理、翻译等领域有着广泛的应用。目前,由于数据的爆炸式增长,自然语言处理面临着许多挑战。Hadoop是能够处理自然语言处理所需的大量数据的平台之一。KOSHIK是自然语言处理架构之一,利用Hadoop并包含语言处理组件,如Stanford CoreNLP和OpenNLP。本文介绍了如何使用相关工具构建KOSHIK平台,并提供了分析wiki数据的步骤。最后,对KOSHIK体系结构的优缺点进行了评价和讨论,并给出了提高处理性能的建议。
2016-08-15 cs.CL
Simple Natural Language Processing Tools for Danish
ITU Copenhagen(哥本哈根信息技术大学)
本技术说明介绍了一套用于自动处理丹麦文文本的基线工具。这些工具是基于机器学习的,使用经过先前注释的文档训练的自然语言处理模型。它们保存在国际电联哥本哈根办事处,并将始终免费提供。
2019-07-26 cs.CL
ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管最近在自然语言处理方面取得了进展,但许多用于处理文本的统计模型在域转移下表现得非常差。生物医学和临床文本处理是自然语言处理的一个非常重要的应用领域,目前还没有成熟的、实用的、公开可用的模型。本文介绍了scispaCy,一个新的实用生物医学/科学文本处理的工具,它极大地利用了spaCy库。我们详细介绍了在scispaCy中发布的两个模型包的性能,并展示了它们在多个任务和数据集上的鲁棒性。型号和代码可在https://allenai.github.io/scispacy/上获得
2019-10-09 cs.CL
A Primer on Neural Network Models for Natural Language Processing
在过去的几年里,神经网络已经重新成为强大的机器学习模型,在图像识别和语音处理等领域取得了最先进的成果。最近,神经网络模型也开始应用于文本自然语言信号,再次取得了非常有希望的结果。本教程从自然语言处理研究的角度调查神经网络模型,试图使自然语言研究人员加快神经技术的速度。本教程涵盖了自然语言任务的输入编码、前馈网络、卷积网络、递归网络和递归网络,以及自动梯度计算的计算图抽象。
2015-10-02 cs.CL
Bayesian Compression for Natural Language Processing
National Research University Higher School of Economics(国立研究型大学高等经济学院);Samsung AI Center(三星人工智能中心)
在自然语言处理中,很多任务都是用递归神经网络成功地解决的,但是这样的模型有大量的参数。这些参数中的大多数通常集中在嵌入层中,其大小与词汇长度成比例地增长。我们提出了一种用于RNN的贝叶斯稀疏化技术,该技术允许将RNN压缩数十或数百次,而无需耗时的超参数调整。我们还推广了词汇稀疏化的模型,以过滤掉不必要的单词,并进一步压缩RNN。我们表明,保留的话的选择是可解释的。代码可以在github上找到:https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
Science is Exploration: Computational Frontiers for Conceptual Metaphor Theory
Cornell University(康奈尔大学);Aarhus University(奥胡斯大学)
本文探讨大型语言模型能否准确识别和解释自然语言中的概念隐喻,通过基于隐喻标注指南的新颖提示技术,证明其能有效应用人类标注程序并展现深厚语言学知识,为大规模计算研究提供了有力工具。
2024-10-11 cs.CL cs.LG
Deep Learning Based Natural Language Processing for End to End Speech Translation
Vivekanand Education Society's Institute of Technology(维韦卡南德教育协会理工学院)
深度学习方法采用多个处理层来学习数据的分层表示。它们已经被部署在大量的应用程序中,并产生了最先进的结果。近年来,随着计算机处理能力的增长,能够进行高维张量计算,自然语言处理(NLP)应用在效率和准确性方面得到了显著的提高。在本文中,我们将研究各种信号处理技术,然后将其应用于使用深度递归神经网络生成语音到文本系统。
2018-08-09 cs.CL
Early Prediction of 30-day ICU Re-admissions Using Natural Language Processing and Machine Learning
Northeast Yucai Foreign Language School(东北育才外国语学校);Northeast Yucai School(东北育才学校);Shenyang Pharmaceutical University(沈阳药科大学)
ICU再入院与住院时间、死亡率和不良结局相关。及早发现再入院可避免病情恶化,降低治疗费用。随着电子健康档案的日益丰富,利用机器学习技术对医疗大规模数据进行处理,设计临床决策工具已成为一种流行。我们设计了数据驱动的预测模型来估计ICU再入院的风险。每一次入院的出院总结都用自然语言处理技术仔细地表示。统一医学语言系统(UMLS)进一步用于规范出院小结的不一致性。采用5个机器学习分类器构建预测模型。最佳配置产生0.748的竞争性AUC。我们的工作表明,出院总结的自然语言处理能够在出院后向临床医生发出计划外30天再入院的警告。
2019-10-06 cs.CL cs.LG stat.ML
Using the DIFF Command for Natural Language Processing
Diff是一个软件程序,用于检测两个数据集之间的差异,在自然语言处理中很有用。本文给出了几个应用差异的例子。它们包括两个不同数据集之间的差异检测,重写规则的提取,两个不同数据集的合并,以及两个不同数据集的最佳匹配。由于diff随任何标准UNIX系统一起提供,因此它随时可用且非常易于使用。我们的研究表明diff是研究自然语言处理的一个实用工具。
2002-08-13 cs.CL
A perspective on the advancement of natural language processing tasks via topological analysis of complex networks
University of São Paulo(圣保罗大学)
对Cong和Liu的"Approaching human language with complex networks"的评论(Physics of Life Reviews,Volume 11,Issue 4,December 2014,Pages 598 - 618)。
2014-12-03 cs.CL
Representation Learning for Natural Language Processing
本书旨在回顾和介绍NLP分布式表示学习的最新进展,包括为什么表示学习可以改善NLP,表示学习如何参与NLP的各种重要主题,以及分布式表示仍然没有很好地解决哪些挑战。
2021-02-07 cs.CL
Problems and Countermeasures in Natural Language Processing Evaluation
Peking University(北京大学)
自然语言处理中的评价指导和促进了模型和方法的研究。近年来,新的评价数据集和评价任务不断提出。与此同时,考试测评暴露出的一系列问题也制约了自然语言处理技术的进步。本文从自然语言评价的概念、组成、发展和意义入手,对主流自然语言评价的任务和特点进行了分类和总结,进而总结了自然语言处理评价存在的问题及其原因。最后,本文参照人类语言能力评价标准,提出了类人机器语言能力评价的概念,并从信度、难度和效度三个方面提出了类人机器语言能力评价的一系列基本原则和实施思路。
2021-04-20 cs.CL
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University(卡内基梅隆大学)
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略,我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习(特别是使用深度神经模型)以及启动和停止AL。最后,我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
"I'm sorry Dave, I'm afraid I can't do that": Linguistics, Statistics, and Natural Language Processing circa 2001
对自然语言处理历史的简要概述,重点是数据驱动的方法。主题包括“歧义和语言分析”,“Firth things first”,“A 'C' change”和“The Questicists Strike Back”。
2003-04-21 cs.CL
Resources for Turkish Natural Language Processing: A critical survey
University of Tübingen(蒂宾根大学);Ghent University(根特大学);University of Stuttgart(斯图加特大学)
本文对土耳其语语料库和词汇资源进行了全面的调查。我们审查了广泛的资源,重点是那些公开可用的。除了提供有关可用语言资源的信息外,我们还提出了一系列建议,并确定了在土耳其语言学和自然语言处理中进行研究和建立应用程序的可用数据中的差距。
2023-02-25 cs.CL
Reasoning about Procedures with Natural Language Processing: A Tutorial
University of Pennsylvania(宾夕法尼亚大学)
本教程提供了一个全面而深入的研究过程,主要是在自然语言处理。程序是一系列旨在实现某个目标的步骤。理解自然语言的过程有着悠久的历史,最近的突破是由于技术的进步。首先,我们讨论了既定的方法来收集程序,通过人工注释或从网络资源中提取。然后,我们研究了不同的角度,从哪些程序可以推理,以及如何代表他们。最后,我们列举了程序知识可以应用于现实世界的场景。
2022-05-16 cs.CL
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.(AdresGezgini股份公司);Garanti BBVA Teknoloji(担保BBVA科技公司)
在这项研究中,提出了一种基于自然语言处理(NLP)的方法,用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21,000个标记广告文本组成。在这项研究中,双向编码器表示从Transformers(BERT)模型,这是一个基于transformer的语言模型,最近使用的领域,如文本分类在自然语言处理文献中,被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
Scientia Potentia Est -- On the Role of Knowledge in Computational Argumentation
Bocconi University(博科尼大学);Paderborn University(帕德博恩大学);University of Würzburg(维尔茨堡大学);TU Darmstadt(达姆施塔特工业大学)
尽管近年来人们进行了大量的研究,但计算论证仍然是自然语言处理中最具挑战性的领域之一。其原因是人类论证背后的认知过程固有的复杂性,它整合了大量不同类型的知识,从特定主题的事实和常识到修辞知识。在CA中集成来自如此广泛范围的知识需要远远超出许多其他自然语言理解任务的建模能力。现有的研究挖掘,评估,推理,并产生论点在很大程度上承认,需要更多的知识来准确地模拟计算论证。然而,缺乏对现有保护性农业模型中引入的知识类型的系统概述,阻碍了该领域有针对性的进展。采用知识的操作定义,即任何与任务相关的规范信息,而不是作为输入提供,手头的调查文件填补了这一空白,(1)提出了一个分类的知识类型所需的CA任务,(2)系统化的大量CA工作,根据依赖和利用这些知识类型的四个主要研究领域,以及(3)概述和讨论CA未来的研究方向。
2022-11-08 cs.CL
New Approaches for Natural Language Understanding based on the Idea that Natural Language encodes both Information and its Processing Procedures
我们必须认识到,自然语言是一种信息编码方式,它不仅对信息进行编码,而且对信息如何处理的过程进行编码。理解自然语言,就像构思和设计计算机语言一样,首先要把信息(或数据)和信息(或数据)的处理过程分开。在自然语言中,有些数据处理过程直接编码为结构块和指针块(本文将词汇块重新划分为数据块、结构块和指针块);有些数据处理过程隐含在句子结构中;有些处理过程的请求用信息块表示,由信息接收者处理。对于数据部分,讨论了属性信息的分类编码体系和信息组织结构(包括信息集的组成结构和信息集之间的层次结构)。在第二节中,对第二节中阐述的理论部分进行了实例验证,证明本文的研究达到了使机器能够理解对话中所传达信息的目的。第四部分总结了“理解”的基本条件,对“理解”是什么以及如何理解进行了反思。本文的研究为自然语言理解提供了实践、理论依据和研究方法。在人工智能(AI)领域,它也可以应用于大规模、多类型的信息处理。
2021-01-12 cs.CL
Exploring Chemical Space using Natural Language Processing Methodologies for Drug Discovery
Bogazici University(博阿齐奇大学);IBM Research(IBM研究院);University of Zurich(苏黎世大学)
化学物质和蛋白质的基于文本的表示可以被认为是由人类编码的非结构化语言,用于描述特定领域的知识。自然语言处理(NLP)方法在口语处理中的进步加速了NLP的应用,以阐明这些生化实体的文本表示中隐藏的知识,然后用它来构建模型来预测分子特性或设计新的分子。本文综述了这些进展对药物发现的影响,旨在促进药物化学家和计算机科学家之间的对话。
2020-02-10 cs.CL cs.LG q-bio.BM
Natural Language Processing: State of The Art, Current Trends and Challenges
Manav Rachna International University(马纳夫·拉奇纳国际大学);Accendere Knowledge Management Services Pvt. Ltd.(Accendere知识管理服务私人有限公司)
自然语言处理(NLP)近年来因其对人类语言的计算机表示和分析而受到广泛关注。它已经在机器翻译、垃圾邮件检测、信息抽取、摘要、医学、问答等领域得到了广泛的应用。本文通过讨论自然语言处理的不同层次和自然语言生成(NLG)的组成部分,将NLP分为四个阶段,介绍了NLP的各种应用以及当前的趋势和挑战。
2017-08-17 cs.CL
Fuzzy Modeling and Natural Language Processing for Panini's Sanskrit Grammar
印度语在世界自然语言中有着悠久的历史。帕尼尼是第一个在五世纪用大约4000条规则定义梵语语法的人。这些规则包含不确定性信息。用计算机处理具有不确定信息的梵语是不可能的。本文提出用模糊逻辑和模糊推理来处理梵语文法推理中的不确定性信息。本文还讨论了梵文的处理。
2010-06-14 cs.CL
A Survey of the Usages of Deep Learning in Natural Language Processing
University of Colorado at Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
在过去的几年里,自然语言处理领域已经被深度学习模型的爆炸式使用所推动。本调查简要介绍了该领域,并快速概述了深度学习架构和方法。然后,它筛选了过多的最近的研究,并总结了大量的相关贡献。分析的研究领域包括几个核心的语言处理问题,除了一些计算语言学的应用。然后提供了一个讨论的当前状态的最新技术,以及在该领域的未来研究的建议。
2019-12-21 cs.CL
Spoiler Alert: Using Natural Language Processing to Detect Spoilers in Book Reviews
University of Toronto(多伦多大学)
本文提出了一种NLP(自然语言处理)方法来检测书评中的剧透,使用加州大学圣地亚哥分校(UCSD)Goodreads Spoiler数据集。我们探索了使用LSTM、BERT和RoBERTa语言模型来在广告级别执行剧透检测。这与执行相同任务的UCSD论文形成对比,但在其数据准备中使用手工制作的功能。尽管避免了使用手工制作的功能,但我们的LSTM模型的结果仍然能够略微超过UCSD团队在扰流板检测方面的表现。
2021-02-07 cs.CL
Field-testing items using artificial intelligence: Natural language processing with transformers
Smarter Balanced(智能平衡组织)
本研究通过让RoBERTa模型的5000个变体完成29道多选题的英语读写考试,测试了项目的心理测量学属性,发现其与人类考生数据具有一定一致性。
2023-10-18 cs.CL
Recent Trends in Deep Learning Based Natural Language Processing
Beijing Institute of Technology(北京理工大学);National University of Singapore(新加坡国立大学);Temasek Laboratories(淡马锡实验室);Nanyang Technological University(南洋理工大学)
深度学习方法采用多个处理层来学习数据的分层表示,并在许多领域产生了最先进的结果。近年来,在自然语言处理(NLP)的背景下,各种模型设计和方法已经蓬勃发展。在本文中,我们回顾了许多NLP任务中使用的重要深度学习相关模型和方法,并提供了它们的演变过程。本文还对各种模型进行了总结、比较和对比,对深度学习在自然语言处理中的过去、现在和未来提出了详细的认识。
2018-11-25 cs.CL
The Role of Explanatory Value in Natural Language Processing
Utrecht University(乌得勒支大学)
科学的一个关键目标是解释,然而解释语言现象的想法在主流的自然语言处理(NLP)和人工智能的许多其他领域中已经退居二线。我认为,解释语言行为应该是NLP的主要目标,这与使NLP模型可解释是不一样的。为了说明这些想法,一些最近的人类语言生产模型进行了比较。最后,我问,如果我们的社区认真对待解释价值,同时注意一些可能的陷阱,这对NLP研究和机构政策意味着什么。
2022-09-13 cs.CL
HULK: An Energy Efficiency Benchmark Platform for Responsible Natural Language Processing
University of California Santa Barbara(加利福尼亚大学圣巴巴拉分校)
计算密集型的预训练模型已经在许多自然语言处理基准测试中处于领先地位,例如GLUE。然而,模型训练和推理过程中的能量效率成为关键瓶颈。我们介绍HULK,一个多任务能效基准测试平台,用于负责任的自然语言处理。使用HULK,我们从时间和成本的角度比较了预训练模型的能效。提供了基准测试结果,以供进一步分析。不同的预训练模型的微调效率在不同的任务中可能会有很大的差异,更少的参数数量并不一定意味着更好的效率。我们分析了这种现象,并展示了比较预训练模型的多任务效率的方法。我们的平台可以在https://sites.engineering.ucsb.edu/~xiyou/hulk/上找到。
2020-02-14 cs.CL
Concept-Based Embeddings for Natural Language Processing
Nanyang Technological University(南洋理工大学)
在这项工作中,我们专注于通过将概念和单词投影到低维空间,同时保留最关键的语义,有效地利用和集成概念级别和单词级别的信息。在一个广泛的背景下,意见理解系统,我们研究了使用融合嵌入的几个核心NLP任务:命名实体检测和分类,自动语音识别重新排序,并有针对性的情感分析。
2018-07-15 cs.CL
The impact of lexical and grammatical processing on generating code from natural language
Université de Paris(巴黎大学);CNRS(法国国家科学研究中心);onepoint
考虑到用于自然语言代码翻译的TranX的seq2seq架构,我们确定了四个重要的关键组件:语法约束、词汇预处理、输入表示和复制机制。为了研究这些组件的影响,我们使用一个国家的最先进的架构,依赖于BERT编码器和基于语法的解码器,其中提供了一个形式化。本文强调了当前自然语言中词汇替换组件对代码系统的重要性。
2022-03-16 cs.CL
Thoth: Improved Rapid Serial Visual Presentation using Natural Language Processing
Georgia Institute of Technology(佐治亚理工学院)
Thoth是一个旨在结合许多不同类型的快速阅读技术的工具。最大的启示是使用自然语言解析更优化的快速串行视觉呈现和更有效的阅读信息。
2019-08-05 cs.CL cs.HC
BNLP: Natural language processing toolkit for Bengali language
Begum Rokeya University, Rangpur, Bangladesh(贝古姆·罗基亚大学)
BNLP是一个开放的孟加拉语源语言处理工具包,包括标记化,词嵌入,POS标记,NER标记设施。BNLP提供高精度的预训练模型,用于孟加拉语的基于模型的标记,嵌入,POS标注,NER标注任务。BNLP预训练模型在孟加拉语文本标记、词嵌入、词性标注和NER标注任务中取得了显著的效果。BNLP在孟加拉研究社区中广泛使用,下载量为16K,119颗星和31个分叉。BNLP可在https://github.com/sagorbrur/bnlp上获得。
2021-12-01 cs.CL
Syntactic Enhancement to VSIMM for Roadmap Based Anomalous Trajectory Detection: A Natural Language Processing Approach
Cornell University(康奈尔大学)
句法跟踪的目的是使用自然语言处理模型对目标运动的时空模式进行分类。在本文中,我们概括了早期的工作,考虑一个受约束的随机上下文无关文法(CSCFG)建模模式局限于路线图。受约束的语法有助于在路线图中对特定方向和道路名称进行建模。我们提出了一种新的粒子滤波算法,利用CSCFG模型估计目标的模式。该元级算法与基本级跟踪算法结合操作。大量的数值模拟结果表明,使用模拟地面动目标指示器(GMTI)雷达测量目标跟踪精度的显着改善。
2018-08-04 cs.CL
Comparative Study of CNN and RNN for Natural Language Processing
LMU Munich(慕尼黑大学);IBM Research(IBM研究院)
深度神经网络(DNN)彻底改变了自然语言处理(NLP)领域。卷积神经网络(CNN)和递归神经网络(RNN)是DNN架构的两种主要类型,被广泛探索以处理各种NLP任务。CNN被认为擅长于提取位置不变的特征,而RNN则擅长于按顺序提取建模单元。由于CNN和RNN之间的斗争,许多NLP任务的最新技术经常发生变化。这项工作是CNN和RNN在广泛的代表性NLP任务上的首次系统比较,旨在为DNN的选择提供基本指导。
2017-02-07 cs.CL
Statistical Physics for Natural Language Processing
这篇论文已被作者撤回。
2011-07-01 cond-mat.stat-mech cs.CL cs.IR
Categorical Tools for Natural Language Processing
Wolfson College(沃尔夫森学院)
本论文将范畴理论与计算语言学之间的转换作为自然语言处理的基础。这三章涉及句法、语义和语用。首先,字符串图提供了形式语法中句法结构的统一模型。其次,函子通过将图转换为逻辑、张量、神经或量子计算来计算语义。第三,由此产生的函子模型可以组成游戏,其中均衡是语言处理任务的解决方案。这个框架是作为DisCoPy的一部分实现的,DisCoPy是一个Python库,用于使用字符串图进行计算。我们描述了范畴结构、语言结构和计算结构之间的对应关系,并展示了它们在组合自然语言处理中的应用。
2022-12-13 cs.CL math.CT
Integrating AI Planning with Natural Language Processing: A Combination of Explicit and Tacit Knowledge
Sun Yat-sen University(中山大学)
本文首次系统综述AI规划与自然语言处理的深层联系,提出二者通过基于规划的文本理解、NLP、可解释性、人机交互及应用五个方面相互促进,融合显性与隐性知识以改善人机通信。
2023-04-13 cs.AI cs.CL
Autonomous requirements specification processing using natural language processing
Auckland University of Technology(奥克兰理工大学)
我们描述了我们正在进行的研究,集中在自然语言处理(NLP)的软件工程和系统开发活动的应用。特别是,本文讨论了在需求分析和系统设计过程中使用NLP。我们已经开发了一个原型工具集,可以帮助系统分析师或软件工程师选择和验证与项目相关的术语。在本文中,我们描述的过程中所采用的系统提取和分类的兴趣对象的需求文件。这些过程是用一个小例子来说明。
2014-07-23 cs.CL cs.SE
VnCoreNLP: A Vietnamese Natural Language Processing Toolkit
Newcastle University(纽卡斯尔大学);The University of Melbourne(墨尔本大学);Deakin University(迪肯大学);Macquarie University(麦考瑞大学)
我们提出了一个易于使用和快速的工具包,即VnCoreNLP-越南语的Java NLP注释管道。我们的VnCoreNLP支持关键的自然语言处理(NLP)任务,包括分词、词性(POS)标注、命名实体识别(NER)和依存句法分析,并为这些任务获得最先进的(SOTA)结果。我们发布VnCoreNLP提供丰富的语言注释,以促进越南语NLP的研究工作。我们的VnCoreNLP是开源的,可在https://github.com/vncorenlp/VnCoreNLP获得
2018-04-01 cs.CL
Natural Language Processing for Music Knowledge Discovery
Universitat Pompeu Fabra(庞培法布拉大学);Cardiff University(卡迪夫大学);Technical University of Madrid(马德里理工大学)
今天,大量的音乐知识以书面形式存储,其证词可以追溯到几个世纪前。在这项工作中,我们提出了不同的自然语言处理(NLP)的方法来利用这些文本集合的自动音乐知识发现的潜力,涵盖不同阶段的原型NLP管道,即语料库编译,文本挖掘,信息抽取,知识图谱生成和情感分析。这些方法中的每一种都与不同的用例(即,弗拉门戈,文艺复兴和流行音乐),其中大量的文件进行处理,并从数据驱动的分析得出的结论进行了介绍和讨论。
2018-07-06 cs.CL
Mixed-Level Knowledge Representation and Variable-Depth Inference in Natural Language Processing
描述了一种系统,其使用基于标准Horn子句逻辑的混合级知识表示来表示自然语言文档的含义(的一部分)。一个可变深度的搜索策略,区分不同层次的抽象之间的知识表示,以定位特定的段落中的文件。对该系统的语言方面进行了详细描述。混合层次表示以及可变深度搜索策略适用于NLP之外的领域。
1999-12-23 cs.CL
A Survey on Natural Language Processing for Programming
Beihang University(北京航空航天大学);Harbin Institute of Technology(哈尔滨工业大学)
本文从编程语言的结构化与功能化特性出发,系统综述了面向编程的自然语言处理在任务、数据集、评估方法、技术和模型方面的研究现状,并指出未探索领域与未来方向。
2023-08-06 cs.CL
Exploiting Diversity in Natural Language Processing: Combining Parsers
三个国家的最先进的统计分析器相结合,以产生更准确的分析,以及新的界限可实现的树库解析精度。提出了两种通用方法,并针对每种方法描述了两种组合技术。探索了参数模型和非参数模型。由此产生的解析器超过了以前发表的最好的性能结果的Penn Treebank。
2000-06-01 cs.CL
Unnatural Language Processing: Bridging the Gap Between Synthetic and Natural Language Data
Massachusetts Institute of Technology(麻省理工学院);University of Michigan(密歇根大学)
大型的人工注释数据集是自然语言处理模型开发的核心。收集这些数据集可能是开发过程中最具挑战性的部分。我们解决这个问题,通过引入一个通用的技术,“模拟到真实”的转移语言理解问题与一组划定的目标行为,使之有可能开发模型,可以解释自然的话语,没有自然的训练数据。我们从一个合成数据生成过程开始,并训练一个模型,该模型可以准确地解释由数据生成器产生的话语。为了推广到自然话语,我们使用学习的句子嵌入来定义距离度量,自动找到自然语言话语到合成语言的支持上的投影。仅使用合成训练数据,我们的方法在几个领域中匹配或优于在自然语言数据上训练的最先进的模型。这些结果表明,模拟到真实的转移是开发自然语言处理应用程序的一个实用框架,改进的转移模型可能会为下游任务提供广泛的改进。
2020-04-28 cs.CL
A gentle introduction to Quantum Natural Language Processing
UPM(马德里理工大学)
本硕士论文的主要目标是以NLP工程师和量子计算从业者都能理解的方式介绍量子自然语言处理(QNLP)。QNLP是量子计算的最新应用,旨在将句子的含义表示为编码到量子计算机中的向量。为了实现这一点,单词的分布意义通过句子的组成意义(DisCoCat模型)来扩展:表示单词意义的向量通过句子的句法结构来组成。这是使用基于张量积的算法完成的。我们看到,这种算法在经典计算机上效率低下,但在量子电路上扩展得很好。在揭示了它的实现的实际细节之后,我们将介绍三个用例。
2022-02-23 cs.CL
Posterior calibration and exploratory analysis for natural language processing models
University of Maryland, College Park(马里兰大学帕克分校);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
自然语言处理中的许多模型定义了语言结构上的概率分布。我们认为:(1)模型的后验分布的质量可以也应该直接评估,以确定概率是否与经验频率相对应;(2)NLP的不确定性不仅可以投射到管道组件上,还可以投射到探索性数据分析上,告诉用户何时信任或不信任NLP分析。本文提出了一种分析校准的方法,并将其应用于几种常用模型的误校准比较。我们还贡献了一个共指抽样算法,可以创建一个政治事件提取任务的置信区间。
2015-09-02 cs.CL
Broader terms curriculum mapping: Using natural language processing and visual-supported communication to create representative program planning experiences
Escola Superior de Tecnologia de Setúbal(塞图巴尔高等技术学院);Instituto Politécnico de Setúbal(塞图巴尔理工学院);Escola Superior de Ciências Empresariais(高等企业科学学院);Universidade Aberta(阿贝塔大学)
认证机构要求课程开发过程向所有利益相关者开放,反映学生,行业,大学教师和社会的观点。然而,教师和非教师群体之间的沟通困难留下未开发的巨大合作潜力。使用学习目标分类、自然语言处理和数据可视化,本文提出了一种方法来提供通用的、自解释的和授权的程序计划表示。一个简单的例子表明,该方法有助于代表性的程序规划的经验和案例研究,以确认该方法的准确性和实用性。
2022-06-16 cs.CL
Natural Language Processing - A Survey
自然语言处理(NLP)的效用和力量似乎注定要以深刻和根本的方式改变我们的技术社会。然而,到目前为止,很少有针对大众的NLP科学的描述,甚至是针对聪明但不知情的科学家的描述。本文旨在提供这样一个概述。简而言之,本文的目的是以清晰,平衡和可读的方式描述NLP的目的,程序和实际应用。我们将研究描述NLP方法和过程的最新文献,分析研究人员面临的一些挑战,并简要概述这门科学在IT研究中的当前和未来应用。
2012-09-25 cs.CL
Enabling Quantum Natural Language Processing for Hindi Language
IIIT Dharwad(达拉瓦德印度信息技术学院)
本文首次将量子自然语言处理(QNLP)方法扩展到印地语,利用预群表示、DisCoCat框架和IQP风格拟设构建参数化量子电路,以训练语法和主题感知的印地语句子分类器。
2026-10-09 cs.CL
Symbolic, Distributed and Distributional Representations for Natural Language Processing in the Era of Deep Learning: a Survey
University of Rome Tor Vergata(罗马第二大学)
自然语言本质上是人类知识的离散符号表示。机器学习(ML)和自然语言处理(NLP)的最新进展似乎与上述直觉相矛盾:离散符号正在消失,被称为分布式和分布式表示的矢量或张量所消除。然而,在分布式/分布式表示和离散符号之间存在严格的联系,第一种是第二种的近似。更清楚地理解分布式/分布式表示和符号之间的严格联系肯定会导致全新的深度学习网络。在本文中,我们做了一个调查,旨在更新符号表示和分布式/分布式表示之间的联系。这是振兴解释离散符号在神经网络中如何表示的领域的正确时机。
2019-06-04 cs.CL
A systematic review of Hate Speech automatic detection using Natural Language Processing
University of Oulu(奥卢大学)
随着提供匿名、方便访问和在线社区形成的社交媒体平台以及在线辩论的增加,仇恨言论的检测和跟踪问题成为社会、个人、政策制定者和研究人员面临的日益严峻的挑战。尽管努力利用自动技术进行自动检测和监测,但其性能仍然远远不能令人满意,这不断要求对该问题进行进一步的研究。本文系统地回顾了该领域的文献,重点介绍了自然语言处理和深度学习技术,重点介绍了术语、处理流程和核心方法,并重点介绍了深度学习架构。从方法学的角度,我们采用PRISMA指南,对ACM数字图书馆和Google Scholar近10年的文献进行系统综述。在续集中,现有的调查,局限性和未来的研究方向进行了广泛的讨论。
2021-05-22 cs.CL
Natural Language Processing 4 All (NLP4All): A New Online Platform for Teaching and Learning NLP Concepts
Aarhus University(奥胡斯大学);Interacting Minds Center(互动心智中心);ScienceAtHome(居家科学中心)
自然语言处理为几乎所有学科和领域的语言数据提供了新的见解,并使我们能够证实和/或挑战现有的知识。扩大参与和使用这些新的研究工具的主要障碍是,第一,在整个K-16学生缺乏编码技能,并在广大人口,第二,缺乏知识的NLP方法可以用来回答语言学和/或计算机科学以外的学科感兴趣的问题。为了扩大对NLP的参与并提高NLP素养,我们引入了一个新的工具-基于Web的工具,称为自然语言处理4 All(NLP 4All)。NLP 4All的目的是帮助教师通过提供易于使用的NLP方法,数据和分析界面来促进NLP的学习,使非程序员和新手程序员能够交互式地学习NLP概念。
2021-05-28 cs.CL
Natural Language Processing: Structure and Complexity
本文介绍了一种分析自然语言处理任务复杂度的方法,以及预测新的自然语言处理任务难度的方法。我们的复杂性措施来自Kolmogorov复杂性的一类自动机- { \it的意思是自动机},其目的是提取相关的信息片段的句子。自然语言语义的定义仅与自动机可以回答的问题集相关。本文展示了各种NLP程序和任务的复杂性估计的例子,以及复杂性管理的一些方法。它将自然语言处理定位为软件工程的一个子领域,并奠定了其形式化的基础。
1996-07-13 cmp-lg cs.CL