Putting Natural in Natural Language Processing
Tilburg University(蒂尔堡大学)
本文指出NLP过度依赖文本而忽视口语,主张借助深度学习的进展统一语音处理与主流NLP,将口语视为人类交流的主要模式,从而构建更高效、拟人且超越文本模态的系统。
2023-05-23 cs.AI cs.CL eess.AS
Doing Natural Language Processing in A Natural Way: An NLP toolkit based on object-oriented knowledge base and multi-level grammar base
China Mobile Research Institute(中国移动研究院)
介绍了一个基于面向对象知识库和多级语法库的自然语言处理工具包。该工具包以语义解析为核心,具有自动发现新知识和语法的能力,新发现的知识和语法将由人工识别,并用于更新知识库和语法库。这个过程可以重复多次,以不断改进工具包。
2021-06-08 cs.AI cs.CL cs.LG
Machine Learning Meets Natural Language Processing -- The story so far
International Hellenic University(国际希腊大学)
自然语言处理(NLP)在过去十年中有了显著的发展。本文强调了这一时期最重要的里程碑,同时试图确定每个模型和算法对整体进展的贡献。此外,它侧重于仍然有待解决的问题,强调了Transformers,BERT和所有类似的基于注意力的模型的突破性建议。
2021-03-27 cs.AI cs.CL cs.LG
DeepZensols: Deep Natural Language Processing Framework
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
通过发布公开可用的源代码在出版物中复制结果变得越来越流行。鉴于再现机器学习(ML)实验的困难,在减少这些结果的方差方面已经做出了重大努力。正如在任何科学中一样,持续复制结果的能力有效地加强了工作的基本假设,因此,应该被视为与研究本身的新颖性一样重要。这项工作的贡献是一个框架,能够重现一致的结果,并提供了一种轻松创建,训练和评估自然语言处理(NLP)深度学习(DL)模型的方法。
2021-09-08 cs.AI cs.CL
Language Tasks and Language Games: On Methodology in Current Natural Language Processing Research
University of Potsdam(波茨坦大学);Department of Linguistics(语言学系)
“这篇论文介绍了一个新的任务和一个新的数据集”,“我们通过Y改进了X的最新技术水平”--很难找到一篇当前的自然语言处理论文(或更普遍的AI论文)不包含这样的陈述。然而,最隐含的是这样一种假设,即这必然构成进步,以及它构成了什么样的进步。在这里,我们更精确的印象通常使用的语言任务和语言游戏的概念,并询问如何建立在这些研究计划可能取得进展的目标建模一般的语言能力。
2019-08-28 cs.AI cs.CL
COOL, a Context Outlooker, and its Application to Question Answering and other Natural Language Processing Tasks
National University of Singapore(新加坡国立大学)
本文提出COOL,一种用于自然语言处理的展望注意力机制,通过编码局部句法上下文提升变换器模型性能,在问答等任务上取得竞争性结果。
2023-05-15 cs.AI cs.CL
Information Propagation by Composited Labels in Natural Language Processing
IBM Japan(IBM日本公司)
在自然语言处理中,对文本中的词、句子、段落等区域进行标注是一项基本任务。本文将标注定义为文本中某一区域实体的提及与包含该提及的文本中更广区域实体的上下文之间的映射。该定义自然地引入了由区域的包含关系引起的实体的链接,并且连接的实体形成表示由地图定义的信息流的图。它还允许使用熵计算通过地图的信息损失,熵损失被认为是图上的路径上的两个实体之间的距离。
2022-05-23 cs.AI cs.CL cs.LG
Using Natural Language Processing to Develop an Automated Orthodontic Diagnostic System
Institute for Datability Science(数据可及性科学研究所);Osaka University(大阪大学);Graduate School of Dentistry(牙医学研究生院)
我们的工作任务是根据牙医撰写的医疗证明中的发现自动设计治疗计划。为了开发一个处理牙医撰写的自由格式证书的人工智能系统,我们对研究结果进行了注释,并利用了自然语言处理方法。作为使用990个证书的实验的结果,从调查结果中提取正畸问题的任务实现了0.585 F1分数,并且治疗优先化任务实现了与人类排名的0.584相关系数。
2019-05-31 cs.AI cs.CL
Deep Learning, Natural Language Processing, and Explainable Artificial Intelligence in the Biomedical Domain
Medical University of Vienna(维也纳医科大学)
在这篇文章中,我们首先在第一部分介绍了人工智能及其在生物学和医学中的应用。然后在第2节中描述深度学习方法。我们在第3节中缩小了对文本数据的研究重点,其中描述了自然语言处理及其在生物医学领域的应用。在第4节中,我们介绍了可解释的人工智能,并讨论了可解释性的重要性,人工智能系统,特别是在生物医学领域。
2022-03-07 cs.AI cs.CL cs.LG
A Tutorial on Dual Decomposition and Lagrangian Relaxation for Inference in Natural Language Processing
对偶分解和更一般的拉格朗日松弛是组合优化的经典方法;它最近已被应用于自然语言处理(NLP)中的几个推理问题。本教程概述了该技术。我们描述了示例算法,描述了正式的方法保证,并描述了在实现算法的实际问题。虽然我们的例子主要来自NLP文献,但这些材料应该与机器学习中的推理问题具有普遍的相关性。本教程的一个中心主题是,拉格朗日松弛自然地与广泛的组合算法相结合,允许在模型中进行推理,这些推理远远超出了以前在图形模型中进行拉格朗日松弛推理的工作。
2014-01-23 cs.AI cs.CL
Information retrieval in folktales using natural language processing
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
我们的目标是从非结构化文本中提取文学人物的信息。我们对领域本体进行自然语言处理和推理。第一个任务是确定主要人物和故事中这些人物被描述或表演的部分。我们说明了在民间故事领域的一个场景中的系统。该系统依赖于一个民间故事本体,我们已经开发的基础上Propp的模型的民间故事形态。
2015-11-10 cs.AI cs.CL cs.IR
ANGLEr: A Next-Generation Natural Language Exploratory Framework
University of Ljubljana(卢布尔雅那大学)
自然语言处理用于解决各种各样的问题。一些从事语言资源工作的学者和兴趣小组并不精通编程,因此需要一个好的图形化框架,让用户在不需要编程的情况下,快速设计和测试自然语言处理管道。现有的框架并不能满足这种工具的所有要求。因此,我们提出了一个新的框架,为用户提供了一种简单的方法来构建语言处理管道。它还允许一种简单的程序设计语言不可知的方式来添加新模块,这将有助于自然语言处理开发人员和研究人员的采用。建议框架的主要部分包括(a)基于Docker的可插拔架构,(b)通用数据模型,以及(c)API描述和图形用户界面。所提出的设计被用于实现一个新的自然语言处理框架,称为ANGLEr。
2022-05-10 cs.AI cs.CL
Deep Natural Language Processing for LinkedIn Search Systems
LinkedIn(领英)
许多搜索系统与大量自然语言数据一起工作,搜索查询、用户简档和文档,其中基于深度学习的自然语言处理技术(deep NLP)可以提供很大帮助。在本文中,我们介绍了一个全面的研究应用深度自然语言处理技术的五个代表性的任务在搜索引擎。通过五个任务的模型设计和实验,读者可以找到三个重要问题的答案:(1)深度NLP在搜索系统中什么时候有用/没有帮助?(2)如何应对延迟挑战?(3)如何保证模型的鲁棒性?这项工作建立在LinkedIn搜索的现有努力之上,并在商业搜索引擎上进行了大规模测试。我们相信我们的经验可以为行业和研究界提供有用的见解。
2021-07-30 cs.AI cs.CL
Data Readiness for Natural Language Processing
RISE(瑞典研究院)
本文档涉及机器学习和自然语言处理背景下的数据准备。它描述了组织如何识别、提供、验证和准备数据,以促进自动化分析方法。该文件的内容基于我们作为应用研究机构在工作中遇到的实际挑战和常见问题,帮助公共和私营部门的组织和公司在其业务流程中使用数据。
2020-09-30 cs.AI cs.CL cs.CY
Architecture of a Web-based Predictive Editor for Controlled Natural Language Processing
Macquarie University(麦考瑞大学)
在本文中,我们描述了一个基于Web的预测文本编辑器正在开发的控制自然语言彭$^{ASP)$的体系结构。这种受控语言可用于编写非单调规范,其表达能力与答案集程序相同。为了支持这些规范的编写过程,预测文本编辑器与受控的自然语言处理器异步通信,该受控的自然语言处理器为规范文本的作者生成先行类别和附加辅助信息。文本编辑器可以为不同的可能的句子完成、照应表达式同时显示多组先行类别,并支持向词典中添加新的内容词。
2014-06-27 cs.AI cs.CL
Federated Learning Meets Natural Language Processing: A Survey
Deakin University(迪肯大学)
联邦学习旨在从多个分散的边缘设备(例如手机)或服务器学习机器学习模型,而不会牺牲本地数据隐私。最近的自然语言处理技术依赖于深度学习和大型预训练语言模型。然而,大型深度神经和语言模型都是用大量数据训练的,这些数据通常位于服务器端。由于文本数据广泛来源于最终用户,在这项工作中,我们研究了最近的NLP模型和技术,使用联邦学习作为学习框架。我们的调查讨论了联邦自然语言处理的主要挑战,包括算法挑战,系统挑战以及隐私问题。我们还对现有的联邦NLP评估方法和工具进行了严格的审查。最后,我们强调了目前的研究差距和未来的发展方向。
2021-07-27 cs.AI cs.CL cs.DC
Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain)
Neuroscience Institute(神经科学研究所);Department of Machine Learning(机器学习系);Carnegie Mellon University(卡内基梅隆大学)
NLP的神经网络模型通常在没有语言规则的显式编码的情况下实现,但它们能够打破一个又一个的性能记录。这引起了人们对解释这些网络所学习的表征的大量研究兴趣。我们在这里提出了一种新的解释方法,它依赖于我们唯一能理解语言的处理系统:人脑。我们使用受试者阅读复杂自然文本的大脑成像记录来解释最近4个NLP模型- ELMo,USE,BERT和Transformer-XL的单词和序列嵌入。我们研究了它们的表示如何在层深度,上下文长度和注意力类型上有所不同。我们的研究结果揭示了这些模型中与上下文相关的表示的差异。此外,在Transformer模型中,我们发现层深度和上下文长度之间以及层深度和注意类型之间存在相互作用。我们最后假设,改变BERT以更好地与大脑记录保持一致,将使它能够更好地理解语言。使用句法NLP任务探测改变后的BERT显示,具有增加的大脑对齐的模型优于原始模型。认知神经科学家已经开始使用NLP网络来研究大脑,这项工作关闭了NLP和认知神经科学之间的互动,使其成为真正的交叉授粉。
2019-11-13 cs.AI cs.CL cs.LG
A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods
University of Notre Dame(圣母大学)
多任务学习(MTL)在自然语言处理(NLP)中越来越受欢迎,因为它通过利用它们的共性和差异来提高相关任务的性能。然而,如何根据训练任务的相关性来实现多任务学习,目前还没有很好的理解。在这项调查中,我们回顾了NLP中多任务学习方法的最新进展,目的是根据任务相关性将其总结为两种通用的多任务训练方法:(i)联合训练和(ii)多步训练。我们提出了各种NLP下游应用程序的例子,总结了任务关系,并讨论了这个有前途的主题的未来发展方向。
2023-02-14 cs.AI cs.CL
Comprehensive Implementation of TextCNN for Enhanced Collaboration between Natural Language Processing and System Recommendation
Northern Arizona University(北亚利桑那大学);Stevens Institute of Technology(斯蒂文斯理工学院);University of Sydney(悉尼大学);Univeristy of California, Irvine(加利福尼亚大学尔湾分校);Trine University(特莱恩大学)
本文分析深度学习在NLP核心任务中的应用,并通过与TextCNN结合的交互式集成训练实证验证了文本分类性能的显著提升。
2024-03-12 cs.AI cs.CL
File mapping Rule-based DBMS and Natural Language Processing
本文描述了一种类似于自然语言结构的信息存储、提取和处理系统。对于递归推理,系统使用具有相同表示的规则作为数据。操作系统的文件映射(SHM)机制为信息的存储提供了环境。本文阐述了动态数据结构和推理规则记录语言的构造原则,考虑了现有实现的特点,并给出了在自然语言上实现语义信息检索的应用描述。
2001-06-10 cs.AI cs.CL cs.DB
A global analysis of metrics used for measuring performance in natural language processing
Institute of Artificial Intelligence(人工智能研究所);Center for Medical Statistics, Informatics, and Intelligent Systems(医学统计、信息学与智能系统中心);Medical University of Vienna(维也纳医科大学)
测量自然语言处理模型的性能是一项挑战。传统上使用的指标,如BLEU和ROUGE,最初是为机器翻译和摘要设计的,已经被证明与人类判断的相关性低,并且缺乏可转移到其他任务和语言。在过去的15年里,已经提出了广泛的替代指标。然而,目前还不清楚这在多大程度上影响了NLP基准测试工作。在这里,我们提供了第一个大规模的横截面分析的指标用于衡量性能的自然语言处理。我们对来自开放资源库“Papers with Code”的3500多个机器学习模型性能结果进行了策划、映射和系统化,以实现全球和全面的分析。我们的研究结果表明,目前使用的大多数自然语言处理指标都具有可能导致模型性能反映不足的属性。此外,我们发现,指标报告中的模糊性和不一致性可能导致难以解释和比较模型性能,损害NLP研究的透明度和可重复性。
2022-04-25 cs.AI cs.CL
Natural Language Processing for Information Extraction
Macquarie University(麦考瑞大学)
随着数字化时代的到来,新闻、文章、社交媒体等形式的信息爆炸式增长。这些数据中的大部分都是非结构化的,手动管理和有效利用这些数据是繁琐、无聊和劳动密集型的。这种信息爆炸和对更复杂和有效的信息处理工具的需求产生了信息抽取(IE)和信息检索(IR)技术。信息抽取系统将自然语言文本作为输入,并产生与特定应用相关的由特定标准指定的结构化信息。IE的各种子任务,如命名实体识别,共指消解,命名实体链接,关系抽取,知识库推理,形成了各种高端的自然语言处理(NLP)任务的构建块,如机器翻译,翻译系统,自然语言理解,文本摘要和数字助理,如Siri,Cortana和Google Now。本文介绍了信息抽取技术及其各个子任务,重点介绍了IE各个子任务的研究现状、当前面临的挑战和未来的研究方向。
2018-07-06 cs.AI cs.CL
Quantifying Uncertainties in Natural Language Processing Tasks
University of California, Santa Barbara(加州大学圣巴巴拉分校)
可靠的不确定性量化是构建可解释、透明和负责任的人工智能系统的第一步。贝叶斯深度学习的最新进展使这种量化成为可能。在本文中,我们提出了新的方法来研究自然语言处理(NLP)任务的特征模型和数据的不确定性的好处。通过对情感分析、命名实体识别和使用卷积和递归神经网络模型进行语言建模的实证实验,我们表明,显式建模不确定性不仅是测量输出置信度所必需的,而且有助于增强各种NLP任务中的模型性能。
2018-11-18 cs.AI cs.CL cs.LG
A Survey on Bias and Fairness in Natural Language Processing
Stanford University(斯坦福大学)
随着NLP模型与人们的日常生活越来越紧密地结合在一起,研究这些系统的使用所产生的社会影响变得非常重要。虽然这些模型能够理解语言,并在困难的下游任务上提高了准确性,但有证据表明,这些模型放大了性别、种族和文化陈规定型观念,并在许多情况下导致恶性循环。在这项调查中,我们分析了偏见的起源,公平的定义,以及NLP的不同子领域如何减轻偏见。最后,我们将讨论未来的研究如何消除NLP算法中的有害偏见。
2022-03-06 cs.AI cs.CL
Robust Natural Language Processing - Combining Reasoning, Cognitive Semantics and Construction Grammar for Spatial Language
Sony Computer Science Laboratories Inc.(索尼计算机科学实验室公司);University of Bremen(不来梅大学)
我们提出了一个系统,用于生成和理解机器人交互设置中的动态和静态空间关系。机器人描述了一个环境的移动块使用英语短语,包括空间关系,如“跨越”和“在前面”。我们在机器人-机器人交互中评估了该系统,并表明该系统可以鲁棒地处理视觉感知错误,语言遗漏和不合语法的话语。
2016-07-20 cs.AI cs.CL
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey
Raytheon BBN Technologies(雷神BBN技术公司);Harvard University(哈佛大学);University of Pennsylvania(宾夕法尼亚大学);University of Oregon(俄勒冈大学);University of the Basque Country (UPV/EHU)(巴斯克大学 (UPV/EHU))
像BERT这样的大型、预先训练的基于transformer的语言模型已经彻底改变了自然语言处理(NLP)领域。我们对最近的工作进行了调查,这些工作使用这些大语言模型通过预训练,然后微调,提示或文本生成方法来解决NLP任务。我们还提出了使用预训练的语言模型来生成用于训练增强或其他目的的数据的方法。最后,我们讨论的局限性和建议的未来研究方向。
2021-11-01 cs.AI cs.CL cs.LG
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego(加州大学圣地亚哥分校)
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向,能够通过基于输入动态地调整其计算路径来扩展神经网络,其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案,它允许使用数万亿参数进行模型预训练,并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展:略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
Natural Language Processing in-and-for Design Research
Singapore University of Technology and Design(新加坡科技设计大学)
我们回顾了利用自然语言处理(NLP)技术来支持设计过程的学术贡献。使用启发式的方法,我们收集了223篇文章,发表在32种期刊在1991年至今。我们根据自然语言文本来源的类型来回顾这些文章,以展示最先进的NLP设计研究:内部报告,设计概念,话语记录,技术出版物,消费者意见等。在总结和确定这些贡献中的差距后,我们利用现有的设计创新框架来确定目前由NLP支持的应用程序。然后,我们提出了一些方法和理论方向,为未来的NLP在和设计研究。
2022-07-02 cs.AI cs.CL cs.DL
Attention in Natural Language Processing
University of Bologna(博洛尼亚大学);University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
注意力是一种越来越受欢迎的机制,广泛应用于各种神经结构中。该机制本身已经以各种形式实现。然而,由于这一领域的快速发展,仍然缺乏对注意力的系统概述。在这篇文章中,我们定义了一个统一的模型,在自然语言处理的注意力架构,重点是那些设计工作与文本数据的矢量表示。我们提出了一个分类的注意力模型,根据四个维度:表示的输入,兼容性函数,分布函数,和输入和/或输出的多重性。我们提出的例子,先验信息可以利用注意力模型和讨论正在进行的研究工作和开放的挑战,在这个令人兴奋的领域提供了大量的文献的第一个广泛的分类。
2021-10-11 cs.AI cs.CL cs.LG
The neural correlates of logical-mathematical symbol systems processing resemble that of spatial cognition more than natural language processing
Tsinghua University(清华大学);Beijing Normal University(北京师范大学)
本研究通过元分析和合成神经图谱对比发现,逻辑-数学符号加工的神经关联更接近空间认知而非语言加工,支持空间认知是其基础的假说,可为解释大语言模型的逻辑推理局限提供参考。
2024-06-20 cs.AI cs.CL q-bio.NC
CADgpt: Harnessing Natural Language Processing for 3D Modelling to Enhance Computer-Aided Design Workflows
University of Derby(德比大学)
本文提出CADgpt插件,将GPT-4自然语言处理能力集成到Rhino3D中,使用户通过自然语言命令完成三维建模,降低CAD学习门槛并推动设计教育普及。
2024-01-10 cs.AI cs.GR cs.HC
Integrating Natural Language Processing Techniques of Text Mining Into Financial System: Applications and Limitations
University of Tirana(地拉那大学)
本文综述了2018至2023年自然语言处理文本挖掘技术在资产定价、公司金融等金融系统各领域的应用,指出常用模型与算法,并从工程视角提出分析路径及现存挑战。
2024-12-29 cs.AI cs.CL econ.GN
From Imitation to Prediction, Data Compression vs Recurrent Neural Networks for Natural Language Processing
Universidad de Buenos Aires(布宜诺斯艾利斯大学)
在最近的研究[1][13][14]中,循环神经网络被用于生成过程,其令人惊讶的性能可以通过其创建良好预测的能力来解释。另外,数据压缩也是基于预测的。问题归结为数据压缩器是否可以用于执行自然语言处理任务中的循环神经网络。如果这是可能的,那么问题就归结为确定在与人类语言相关的特定任务中,压缩算法是否比神经网络更智能。在我们的旅程中,我们发现了我们认为是数据压缩算法和递归神经网络之间的根本区别。
2017-05-01 cs.AI cs.CL cs.IT
A Novel Pipeline for Improving Optical Character Recognition through Post-processing Using Natural Language Processing
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
本文提出一种端到端流水线,先对手写或印刷文本执行OCR,再利用自然语言处理进行后处理,以解决相似字符和手写变体导致的识别准确率有限问题。
2023-07-09 cs.AI cs.CV
The Dawn of Quantum Natural Language Processing
Ceridian HCM Inc.(赛里迪安人力资本管理公司);University of Amsterdam(阿姆斯特丹大学);Brookhaven National Laboratory(布鲁克海文国家实验室);University of Pavia(帕维亚大学)
在本文中,我们讨论了基于量子计算的深度学习模型来增强人类语言理解的初步尝试。通过数值模拟,我们成功地训练了一个量子增强的长短期记忆网络来完成词性标注任务。此外,量子增强的Transformer被提出来执行基于现有数据集的情感分析。
2021-10-13 cs.AI cs.CL cs.CV
IDL-Expressions: A Formalism for Representing and Parsing Finite Languages in Natural Language Processing
University of Padua(帕多瓦大学)
我们提出了一个形式主义的有限语言,被称为类的IDL表达式,它结合了概念,只考虑在现有的形式主义隔离表示。建议的应用是在自然语言处理中,更具体地说,在表面自然语言生成和机器翻译中,通过首先生成以紧凑方式表示的候选句子的大集合,然后通过分析器过滤这样的集合来获得句子。我们研究了IDL表达式的几个形式属性,并将这种新的形式主义与更标准的形式主义进行了比较。我们还提出了一种新的解析算法的IDL表达式,并证明了其时间复杂度的一个非平凡的上限。
2011-06-30 cs.AI
Security Vulnerability Detection Using Deep Learning Natural Language Processing
Ball State University(鲍尔州立大学);Illinois State University(伊利诺伊州立大学)
几十年来,在软件被利用之前检测软件中的安全漏洞一直是一个具有挑战性的问题。传统的代码分析方法已经被提出,但通常是无效和低效的。在这项工作中,我们将软件漏洞检测建模为一个自然语言处理(NLP)问题,将源代码视为文本,并使用最近先进的深度学习NLP模型,辅以书面英语的迁移学习,来解决自动化软件venerability检测问题。为了进行培训和测试,我们对NIST NVD/SARD数据库进行了预处理,并使用$C$程序设计语言构建了一个包含123种漏洞的10万多个文件的数据集。大量的实验表明,该算法在安全漏洞检测中的准确率达到了93%以上。
2021-05-06 cs.AI cs.CR
Autogenic Training With Natural Language Processing Modules: A Recent Tool For Certain Neuro Cognitive Studies
学习对语音-文本输入做出响应涉及受试者理解基于语音和文本的内容的能力以及他/她基于他/她的经验进行交流的能力。主体的神经认知能力必须支持两个重要的领域,以使学习过程完整。在许多情况下,虽然理解是完整的,但反应是部分的。这就是为什么我们需要使用可扩展的技术(例如自然语言处理(NLP))来支持来自主题的信息,以便从输出中提取内容的一个有效原因。本文探讨了使用与神经网络交织的NLP模块来执行与医学应用相关的自生训练中所需任务的可行性。
2004-07-02 cs.AI