Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey
Raytheon BBN Technologies（雷神BBN技术公司）；Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Oregon（俄勒冈大学）；University of the Basque Country (UPV/EHU)（巴斯克大学 (UPV/EHU)）
像BERT这样的大型、预先训练的基于transformer的语言模型已经彻底改变了自然语言处理（NLP）领域。我们对最近的工作进行了调查，这些工作使用这些大语言模型通过预训练，然后微调，提示或文本生成方法来解决NLP任务。我们还提出了使用预训练的语言模型来生成用于训练增强或其他目的的数据的方法。最后，我们讨论的局限性和建议的未来研究方向。
2021-11-01 cs.AI cs.CL cs.LG
Integrating AI Planning with Natural Language Processing: A Combination of Explicit and Tacit Knowledge
Sun Yat-sen University（中山大学）
本文首次系统综述AI规划与自然语言处理的深层联系，提出二者通过基于规划的文本理解、NLP、可解释性、人机交互及应用五个方面相互促进，融合显性与隐性知识以改善人机通信。
2023-04-13 cs.AI cs.CL
Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain)
Neuroscience Institute（神经科学研究所）；Department of Machine Learning（机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
NLP的神经网络模型通常在没有语言规则的显式编码的情况下实现，但它们能够打破一个又一个的性能记录。这引起了人们对解释这些网络所学习的表征的大量研究兴趣。我们在这里提出了一种新的解释方法，它依赖于我们唯一能理解语言的处理系统：人脑。我们使用受试者阅读复杂自然文本的大脑成像记录来解释最近4个NLP模型- ELMo，USE，BERT和Transformer-XL的单词和序列嵌入。我们研究了它们的表示如何在层深度，上下文长度和注意力类型上有所不同。我们的研究结果揭示了这些模型中与上下文相关的表示的差异。此外，在Transformer模型中，我们发现层深度和上下文长度之间以及层深度和注意类型之间存在相互作用。我们最后假设，改变BERT以更好地与大脑记录保持一致，将使它能够更好地理解语言。使用句法NLP任务探测改变后的BERT显示，具有增加的大脑对齐的模型优于原始模型。认知神经科学家已经开始使用NLP网络来研究大脑，这项工作关闭了NLP和认知神经科学之间的互动，使其成为真正的交叉授粉。
2019-11-13 cs.AI cs.CL cs.LG
Including Signed Languages in Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）；Bar-Ilan University（巴伊兰大学）；Gallaudet University（加劳德特大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Pittsburgh（匹兹堡大学）
手语是许多聋人和重听人的主要交流手段。由于符号语言表现出自然语言的所有基本语言特性，我们认为自然语言处理（NLP）的工具和理论对其建模至关重要。然而，现有的研究在手语处理（SLP）很少尝试探索和利用的手语的语言组织。这份立场文件呼吁NLP社区将手语作为具有高度社会和科学影响的研究领域。我们首先讨论了在建模过程中要考虑的符号语言的语言属性。然后，我们回顾了当前SLP模型的局限性，并确定了将NLP扩展到签名语言的开放性挑战。最后，我们敦促（1）采用有效的标记化方法;（2）开发语言信息模型;（3）收集真实世界的手语数据;（4）将当地手语社区作为研究方向的积极和主导声音。
2021-07-22 cs.AI cs.CL cs.LG
Data Augmentation Approaches in Natural Language Processing: A Survey
Harbin Institute of Technology（哈尔滨工业大学）
作为一种有效的策略，数据增强（DA）可以解决深度学习技术可能失败的数据稀缺场景。它在计算机视觉中得到了广泛的应用，然后被引入到自然语言处理中，并在许多方面取得了改进。DA方法的主要重点之一是提高训练数据的多样性，从而帮助模型更好地推广到看不见的测试数据。在这项调查中，我们框架DA方法分为三类的基础上增强数据的多样性，包括释义，噪声和采样。我们的论文开始详细分析DA方法，根据上述类别。此外，我们还介绍了它们在NLP任务中的应用以及面临的挑战。附录中提供了一些有用的资源。
2022-06-27 cs.AI cs.CL cs.LG
Quantifying Uncertainties in Natural Language Processing Tasks
University of California, Santa Barbara（加州大学圣巴巴拉分校）
可靠的不确定性量化是构建可解释、透明和负责任的人工智能系统的第一步。贝叶斯深度学习的最新进展使这种量化成为可能。在本文中，我们提出了新的方法来研究自然语言处理（NLP）任务的特征模型和数据的不确定性的好处。通过对情感分析、命名实体识别和使用卷积和递归神经网络模型进行语言建模的实证实验，我们表明，显式建模不确定性不仅是测量输出置信度所必需的，而且有助于增强各种NLP任务中的模型性能。
2018-11-18 cs.AI cs.CL cs.LG
Semi-supervised Classification for Natural Language Processing
University of Western Ontario（西安大略大学）
半监督分类是一个有趣的想法，其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域，它与监督分类相比有许多优点。例如，监督分类只利用昂贵的标记数据，这些数据通常难以获得，数量不足，并且需要人类专家进行注释。另一方面，未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用，但由于其性能水平在经验上与监督分类一样好，因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Challenges Encountered in Turkish Natural Language Processing Studies
Iskenderun Technical University（伊斯肯德伦技术大学）
自然语言处理是计算机科学的一个分支，它将人工智能与语言学相结合。它旨在用软件分析语言元素，如写作或口语，并将其转换为信息。考虑到每种语言都有自己的语法规则和词汇多样性，这一领域的研究的复杂性是可以理解的。例如，土耳其语在许多方面都是一种非常有趣的语言。这方面的例子有粘着词结构、辅音/元音和谐、大量的生产性派生语素（几乎无限的词汇）、派生和句法关系、对词汇和语音规则的复杂强调。在这项研究中，土耳其语在自然语言处理方面的有趣功能被提到。此外，还给出了关于为土耳其语开发的自然语言处理技术、系统和各种来源的摘要信息。
2021-01-21 cs.AI cs.CL
Gap Analysis of Natural Language Processing Systems with respect to Linguistic Modality
Infosys（印孚瑟斯）
情态是语言学中语法的重要组成部分。它让说话者表达对事态的态度、评价或潜力。它意味着不同的意义，因此根据上下文有不同的感知。本文介绍了一个帐户显示的差距，在功能的当前状态的最先进的自然语言处理（NLP）系统。研究了语言情态的语境性质。本文综述了自然语言处理系统处理情态的工作和逻辑方法。它将人类认知和智能视为多层次的方法，可以由智能学习系统实现。最后，讨论了该领域目前的研究进展，为今后的研究提供了参考。
2015-04-18 cs.AI cs.CL
Putting Natural in Natural Language Processing
Tilburg University（蒂尔堡大学）
本文指出NLP过度依赖文本而忽视口语，主张借助深度学习的进展统一语音处理与主流NLP，将口语视为人类交流的主要模式，从而构建更高效、拟人且超越文本模态的系统。
2023-05-23 cs.AI cs.CL eess.AS
File mapping Rule-based DBMS and Natural Language Processing
本文描述了一种类似于自然语言结构的信息存储、提取和处理系统。对于递归推理，系统使用具有相同表示的规则作为数据。操作系统的文件映射（SHM）机制为信息的存储提供了环境。本文阐述了动态数据结构和推理规则记录语言的构造原则，考虑了现有实现的特点，并给出了在自然语言上实现语义信息检索的应用描述。
2001-06-10 cs.AI cs.CL cs.DB
DeepZensols: Deep Natural Language Processing Framework
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
通过发布公开可用的源代码在出版物中复制结果变得越来越流行。鉴于再现机器学习（ML）实验的困难，在减少这些结果的方差方面已经做出了重大努力。正如在任何科学中一样，持续复制结果的能力有效地加强了工作的基本假设，因此，应该被视为与研究本身的新颖性一样重要。这项工作的贡献是一个框架，能够重现一致的结果，并提供了一种轻松创建，训练和评估自然语言处理（NLP）深度学习（DL）模型的方法。
2021-09-08 cs.AI cs.CL
Language Tasks and Language Games: On Methodology in Current Natural Language Processing Research
University of Potsdam（波茨坦大学）；Department of Linguistics（语言学系）
“这篇论文介绍了一个新的任务和一个新的数据集”，“我们通过Y改进了X的最新技术水平”--很难找到一篇当前的自然语言处理论文（或更普遍的AI论文）不包含这样的陈述。然而，最隐含的是这样一种假设，即这必然构成进步，以及它构成了什么样的进步。在这里，我们更精确的印象通常使用的语言任务和语言游戏的概念，并询问如何建立在这些研究计划可能取得进展的目标建模一般的语言能力。
2019-08-28 cs.AI cs.CL
COOL, a Context Outlooker, and its Application to Question Answering and other Natural Language Processing Tasks
National University of Singapore（新加坡国立大学）
本文提出COOL，一种用于自然语言处理的展望注意力机制，通过编码局部句法上下文提升变换器模型性能，在问答等任务上取得竞争性结果。
2023-05-15 cs.AI cs.CL
Using Natural Language Processing to Develop an Automated Orthodontic Diagnostic System
Institute for Datability Science（数据可及性科学研究所）；Osaka University（大阪大学）；Graduate School of Dentistry（牙医学研究生院）
我们的工作任务是根据牙医撰写的医疗证明中的发现自动设计治疗计划。为了开发一个处理牙医撰写的自由格式证书的人工智能系统，我们对研究结果进行了注释，并利用了自然语言处理方法。作为使用990个证书的实验的结果，从调查结果中提取正畸问题的任务实现了0.585 F1分数，并且治疗优先化任务实现了与人类排名的0.584相关系数。
2019-05-31 cs.AI cs.CL
Understanding scholarly Natural Language Processing system diagrams through application of the Richards-Engelhardt framework
University of Manchester（曼彻斯特大学）
我们利用Richards-Engelhardt框架作为理解自然语言处理系统图的工具。通过四个例子，从学术会议，我们发现，这个生态和复杂的域的框架的应用是有效的，反映这些图。我们主张用词汇来描述图表中的多重编码、符号变异性以及视觉编码原则的不一致或滥用。此外，对于学术自然语言处理系统的应用，也许更广泛的系统图，我们建议增加“对象的”作为一个新的视觉编码原则，和“强调”作为一个新的视觉编码类型。
2020-08-26 cs.AI cs.CL cs.HC
Putting Humans in the Natural Language Processing Loop: A Survey
College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）
我们如何设计能够从人类反馈中学习的自然语言处理（NLP）系统？越来越多的人在回路（HITL）NLP框架的研究机构不断整合人类反馈以改进模型本身。HITL NLP研究是新兴的，但五花八门-解决各种NLP问题，从不同的人那里收集不同的反馈，并应用不同的方法从收集的反馈中学习。我们对机器学习（ML）和人机交互（HCI）社区的HITL NLP工作进行了调查，突出了其短暂但鼓舞人心的历史，并彻底总结了最近的框架，重点是他们的任务，目标，人类交互和反馈学习方法。最后，我们讨论了在NLP开发循环中整合人类反馈的未来方向。
2021-03-06 cs.AI cs.CL cs.HC
A Tutorial on Dual Decomposition and Lagrangian Relaxation for Inference in Natural Language Processing
对偶分解和更一般的拉格朗日松弛是组合优化的经典方法;它最近已被应用于自然语言处理（NLP）中的几个推理问题。本教程概述了该技术。我们描述了示例算法，描述了正式的方法保证，并描述了在实现算法的实际问题。虽然我们的例子主要来自NLP文献，但这些材料应该与机器学习中的推理问题具有普遍的相关性。本教程的一个中心主题是，拉格朗日松弛自然地与广泛的组合算法相结合，允许在模型中进行推理，这些推理远远超出了以前在图形模型中进行拉格朗日松弛推理的工作。
2014-01-23 cs.AI cs.CL
LINDA: Unsupervised Learning to Interpolate in Natural Language Processing
Hyundai Motor Company（现代汽车公司）；New York University（纽约大学）；Genentech（基因泰克公司）；CIFAR Fellow（加拿大高等研究院研究员）
尽管mixup在数据增强方面取得了成功，但由于自然语言的离散和可变长度性质，其对自然语言处理（NLP）任务的适用性受到限制。因此，最近的研究依赖于特定领域的语言学和手工制作的资源，如字典，以便在NLP中应用mixup。在本文中，我们提出了一种用于数据增强的文本插值的无监督学习方法，我们称之为“学习插值数据增强“（LINDA），它不需要任何语法分析，也不需要手动制作的资源，而是学习在自然语言流形上的任何一对自然语言句子之间插值。在经验证明LINDA的插值能力后，我们表明LINDA确实允许我们在NLP中无缝地应用mixup，并在域内和域外的文本分类中实现更好的泛化。
2021-12-28 cs.CL cs.LG
The Dawn of Quantum Natural Language Processing
Ceridian HCM Inc.（赛里迪安人力资本管理公司）；University of Amsterdam（阿姆斯特丹大学）；Brookhaven National Laboratory（布鲁克海文国家实验室）；University of Pavia（帕维亚大学）
在本文中，我们讨论了基于量子计算的深度学习模型来增强人类语言理解的初步尝试。通过数值模拟，我们成功地训练了一个量子增强的长短期记忆网络来完成词性标注任务。此外，量子增强的Transformer被提出来执行基于现有数据集的情感分析。
2021-10-13 cs.AI cs.CL cs.CV
Deep Natural Language Processing for LinkedIn Search Systems
LinkedIn（领英）
许多搜索系统与大量自然语言数据一起工作，搜索查询、用户简档和文档，其中基于深度学习的自然语言处理技术（deep NLP）可以提供很大帮助。在本文中，我们介绍了一个全面的研究应用深度自然语言处理技术的五个代表性的任务在搜索引擎。通过五个任务的模型设计和实验，读者可以找到三个重要问题的答案：（1）深度NLP在搜索系统中什么时候有用/没有帮助？(2)如何应对延迟挑战？(3)如何保证模型的鲁棒性？这项工作建立在LinkedIn搜索的现有努力之上，并在商业搜索引擎上进行了大规模测试。我们相信我们的经验可以为行业和研究界提供有用的见解。
2021-07-30 cs.AI cs.CL
Architecture of a Web-based Predictive Editor for Controlled Natural Language Processing
Macquarie University（麦考瑞大学）
在本文中，我们描述了一个基于Web的预测文本编辑器正在开发的控制自然语言彭$^{ASP)$的体系结构。这种受控语言可用于编写非单调规范，其表达能力与答案集程序相同。为了支持这些规范的编写过程，预测文本编辑器与受控的自然语言处理器异步通信，该受控的自然语言处理器为规范文本的作者生成先行类别和附加辅助信息。文本编辑器可以为不同的可能的句子完成、照应表达式同时显示多组先行类别，并支持向词典中添加新的内容词。
2014-06-27 cs.AI cs.CL
Information retrieval in folktales using natural language processing
Technical University of Cluj-Napoca（克卢日-纳波卡技术大学）
我们的目标是从非结构化文本中提取文学人物的信息。我们对领域本体进行自然语言处理和推理。第一个任务是确定主要人物和故事中这些人物被描述或表演的部分。我们说明了在民间故事领域的一个场景中的系统。该系统依赖于一个民间故事本体，我们已经开发的基础上Propp的模型的民间故事形态。
2015-11-10 cs.AI cs.CL cs.IR
A Survey of Multi-task Learning in Natural Language Processing: Regarding Task Relatedness and Training Methods
University of Notre Dame（圣母大学）
多任务学习（MTL）在自然语言处理（NLP）中越来越受欢迎，因为它通过利用它们的共性和差异来提高相关任务的性能。然而，如何根据训练任务的相关性来实现多任务学习，目前还没有很好的理解。在这项调查中，我们回顾了NLP中多任务学习方法的最新进展，目的是根据任务相关性将其总结为两种通用的多任务训练方法：（i）联合训练和（ii）多步训练。我们提出了各种NLP下游应用程序的例子，总结了任务关系，并讨论了这个有前途的主题的未来发展方向。
2023-02-14 cs.AI cs.CL
Comprehensive Implementation of TextCNN for Enhanced Collaboration between Natural Language Processing and System Recommendation
Northern Arizona University（北亚利桑那大学）；Stevens Institute of Technology（斯蒂文斯理工学院）；University of Sydney（悉尼大学）；Univeristy of California, Irvine（加利福尼亚大学尔湾分校）；Trine University（特莱恩大学）
本文分析深度学习在NLP核心任务中的应用，并通过与TextCNN结合的交互式集成训练实证验证了文本分类性能的显著提升。
2024-03-12 cs.AI cs.CL
Automatic evaluation of scientific abstracts through natural language processing
Universidade Federal de Alagoas（阿拉戈斯联邦大学）
这项工作提出了一个框架来分类和评估不同的研究摘要文本，重点是描述的过程及其应用。在此背景下，本文提出了自然语言处理算法来分类，分割和评估的科学工作的结果。首先，建议的框架分类的抽象文本到根据要解决的问题，采用文本分类方法。然后，将抽象文本分割为问题描述、方法和结果。最后，基于对摘要结果的情感分析，对摘要的方法论进行排序。所提出的框架使我们能够快速排名解决特定问题的最佳方法。为了验证所提出的框架，石油生产异常摘要进行了实验，并取得了可喜的成果。
2021-11-14 cs.CL cs.LG
Federated Learning Meets Natural Language Processing: A Survey
Deakin University（迪肯大学）
联邦学习旨在从多个分散的边缘设备（例如手机）或服务器学习机器学习模型，而不会牺牲本地数据隐私。最近的自然语言处理技术依赖于深度学习和大型预训练语言模型。然而，大型深度神经和语言模型都是用大量数据训练的，这些数据通常位于服务器端。由于文本数据广泛来源于最终用户，在这项工作中，我们研究了最近的NLP模型和技术，使用联邦学习作为学习框架。我们的调查讨论了联邦自然语言处理的主要挑战，包括算法挑战，系统挑战以及隐私问题。我们还对现有的联邦NLP评估方法和工具进行了严格的审查。最后，我们强调了目前的研究差距和未来的发展方向。
2021-07-27 cs.AI cs.CL cs.DC
A global analysis of metrics used for measuring performance in natural language processing
Institute of Artificial Intelligence（人工智能研究所）；Center for Medical Statistics, Informatics, and Intelligent Systems（医学统计、信息学与智能系统中心）；Medical University of Vienna（维也纳医科大学）
测量自然语言处理模型的性能是一项挑战。传统上使用的指标，如BLEU和ROUGE，最初是为机器翻译和摘要设计的，已经被证明与人类判断的相关性低，并且缺乏可转移到其他任务和语言。在过去的15年里，已经提出了广泛的替代指标。然而，目前还不清楚这在多大程度上影响了NLP基准测试工作。在这里，我们提供了第一个大规模的横截面分析的指标用于衡量性能的自然语言处理。我们对来自开放资源库“Papers with Code”的3500多个机器学习模型性能结果进行了策划、映射和系统化，以实现全球和全面的分析。我们的研究结果表明，目前使用的大多数自然语言处理指标都具有可能导致模型性能反映不足的属性。此外，我们发现，指标报告中的模糊性和不一致性可能导致难以解释和比较模型性能，损害NLP研究的透明度和可重复性。
2022-04-25 cs.AI cs.CL
Natural Language Processing for Information Extraction
Macquarie University（麦考瑞大学）
随着数字化时代的到来，新闻、文章、社交媒体等形式的信息爆炸式增长。这些数据中的大部分都是非结构化的，手动管理和有效利用这些数据是繁琐、无聊和劳动密集型的。这种信息爆炸和对更复杂和有效的信息处理工具的需求产生了信息抽取（IE）和信息检索（IR）技术。信息抽取系统将自然语言文本作为输入，并产生与特定应用相关的由特定标准指定的结构化信息。IE的各种子任务，如命名实体识别，共指消解，命名实体链接，关系抽取，知识库推理，形成了各种高端的自然语言处理（NLP）任务的构建块，如机器翻译，翻译系统，自然语言理解，文本摘要和数字助理，如Siri，Cortana和Google Now。本文介绍了信息抽取技术及其各个子任务，重点介绍了IE各个子任务的研究现状、当前面临的挑战和未来的研究方向。
2018-07-06 cs.AI cs.CL
A Survey on Bias and Fairness in Natural Language Processing
Stanford University（斯坦福大学）
随着NLP模型与人们的日常生活越来越紧密地结合在一起，研究这些系统的使用所产生的社会影响变得非常重要。虽然这些模型能够理解语言，并在困难的下游任务上提高了准确性，但有证据表明，这些模型放大了性别、种族和文化陈规定型观念，并在许多情况下导致恶性循环。在这项调查中，我们分析了偏见的起源，公平的定义，以及NLP的不同子领域如何减轻偏见。最后，我们将讨论未来的研究如何消除NLP算法中的有害偏见。
2022-03-06 cs.AI cs.CL
Robust Natural Language Processing - Combining Reasoning, Cognitive Semantics and Construction Grammar for Spatial Language
Sony Computer Science Laboratories Inc.（索尼计算机科学实验室公司）；University of Bremen（不来梅大学）
我们提出了一个系统，用于生成和理解机器人交互设置中的动态和静态空间关系。机器人描述了一个环境的移动块使用英语短语，包括空间关系，如“跨越”和“在前面”。我们在机器人-机器人交互中评估了该系统，并表明该系统可以鲁棒地处理视觉感知错误，语言遗漏和不合语法的话语。
2016-07-20 cs.AI cs.CL
Quantum Natural Language Processing: A Comprehensive Review of Models, Methods, and Applications
Victoria University（维多利亚大学）
该综述针对深度学习在NLP中资源需求大的问题，梳理量子自然语言处理（QNLP）的编码技术、任务模型与优化方法，按量子原理等分类模型，指出当前QNLP仍限于小数据集、研究模型少但关注度上升的现状。
2025-10-22 cs.AI cs.CL
Enhanced Transformer Architecture for Natural Language Processing
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Cho Chun Shik Graduate School of Mobility（赵春植移动性研究生院）
本文提出一种增强型Transformer架构，通过全层归一化、加权残差连接、强化学习位置编码和零掩码自注意力，在Multi30k数据集上BLEU分数较原始Transformer提高202.96%。
2023-10-17 cs.AI cs.CL
Introduction: Cognitive Issues in Natural Language Processing
CNRS（法国国家科学研究中心）；École normale supérieure（巴黎高等师范学院）；Université Sorbonne Nouvelle（索邦新大学）；University of Potsdam（波茨坦大学）
这期特刊致力于更好地了解计算语言学和认知科学之间的关系。它特别提出了两个问题：“计算语言建模对认知科学的潜在贡献是什么？“反过来说：“认知科学对当代计算语言学的影响是什么？"
2016-10-24 cs.AI cs.CL cs.HC
eRevise: Using Natural Language Processing to Provide Formative Feedback on Text Evidence Usage in Student Writing
Learning Research and Development Center（学习研究与发展中心）；University of Pittsburgh（匹兹堡大学）
写一篇好文章通常需要学生在收到反馈后修改最初的论文草稿。我们提出了eRevise，一个基于网络的写作和修改环境，使用自然语言处理功能生成的基于规则的论文评分，以触发形成反馈信息，学生的使用证据，在响应文本写作。通过帮助学生了解在写作过程中使用文本证据的标准，eRevise使学生能够更好地修改他们的论文草稿。在一个试点部署的eRevise在7个教室跨越5年级和6年级，在写作中的文本证据使用的质量提高后，学生收到形成性反馈，然后从事论文修订。
2019-08-06 cs.AI cs.CL
Chain Association-based Attacking and Shielding Natural Language Processing Systems
School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院）
本文利用人机理解鸿沟提出基于联想链的对抗攻击方法，通过构建汉字联想链图并采用离散粒子群优化算法搜索最优对抗样本，实验证明大模型等NLP系统易受攻击而人类能理解扰动文本，并提出对抗训练和联想图恢复两种防御方法。
2024-11-12 cs.AI cs.CL
Natural Language Processing in-and-for Design Research
Singapore University of Technology and Design（新加坡科技设计大学）
我们回顾了利用自然语言处理（NLP）技术来支持设计过程的学术贡献。使用启发式的方法，我们收集了223篇文章，发表在32种期刊在1991年至今。我们根据自然语言文本来源的类型来回顾这些文章，以展示最先进的NLP设计研究：内部报告，设计概念，话语记录，技术出版物，消费者意见等。在总结和确定这些贡献中的差距后，我们利用现有的设计创新框架来确定目前由NLP支持的应用程序。然后，我们提出了一些方法和理论方向，为未来的NLP在和设计研究。
2022-07-02 cs.AI cs.CL cs.DL
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.（AdresGezgini股份公司）；Garanti BBVA Teknoloji（担保BBVA科技公司）
在这项研究中，提出了一种基于自然语言处理（NLP）的方法，用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21，000个标记广告文本组成。在这项研究中，双向编码器表示从Transformers（BERT）模型，这是一个基于transformer的语言模型，最近使用的领域，如文本分类在自然语言处理文献中，被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
The neural correlates of logical-mathematical symbol systems processing resemble that of spatial cognition more than natural language processing
Tsinghua University（清华大学）；Beijing Normal University（北京师范大学）
本研究通过元分析和合成神经图谱对比发现，逻辑-数学符号加工的神经关联更接近空间认知而非语言加工，支持空间认知是其基础的假说，可为解释大语言模型的逻辑推理局限提供参考。
2024-06-20 cs.AI cs.CL q-bio.NC
Convolutional neural network compression for natural language processing
AGH University of Science and Technology（AGH科技大学）
卷积神经网络是一种在许多分类任务中非常有效的现代模型。它们最初是为了图像处理而创建的。然后进行了一些试验，将它们用于不同的领域，如自然语言处理。人工智能系统（如人形机器人）通常是基于嵌入式系统的内存，功耗等的限制，因此，卷积神经网络，因为它的内存容量应减少映射到给定的硬件。在本文中，压缩的有效卷积神经网络的情感分析的结果。主要步骤是量化和修剪过程。给出了压缩网络到FPGA的映射方法和实现结果。所描述的模拟表明，5位宽度足以使网络的浮点版本的准确性没有下降。此外，还实现了显著的内存占用减少（从85%减少到93%）。
2018-05-28 cs.CL cs.LG cs.NE
Integrating Natural Language Processing Techniques of Text Mining Into Financial System: Applications and Limitations
University of Tirana（地拉那大学）
本文综述了2018至2023年自然语言处理文本挖掘技术在资产定价、公司金融等金融系统各领域的应用，指出常用模型与算法，并从工程视角提出分析路径及现存挑战。
2024-12-29 cs.AI cs.CL econ.GN
From Imitation to Prediction, Data Compression vs Recurrent Neural Networks for Natural Language Processing
Universidad de Buenos Aires（布宜诺斯艾利斯大学）
在最近的研究[1][13][14]中，循环神经网络被用于生成过程，其令人惊讶的性能可以通过其创建良好预测的能力来解释。另外，数据压缩也是基于预测的。问题归结为数据压缩器是否可以用于执行自然语言处理任务中的循环神经网络。如果这是可能的，那么问题就归结为确定在与人类语言相关的特定任务中，压缩算法是否比神经网络更智能。在我们的旅程中，我们发现了我们认为是数据压缩算法和递归神经网络之间的根本区别。
2017-05-01 cs.AI cs.CL cs.IT
A Novel Pipeline for Improving Optical Character Recognition through Post-processing Using Natural Language Processing
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
本文提出一种端到端流水线，先对手写或印刷文本执行OCR，再利用自然语言处理进行后处理，以解决相似字符和手写变体导致的识别准确率有限问题。
2023-07-09 cs.AI cs.CV
IDL-Expressions: A Formalism for Representing and Parsing Finite Languages in Natural Language Processing
University of Padua（帕多瓦大学）
我们提出了一个形式主义的有限语言，被称为类的IDL表达式，它结合了概念，只考虑在现有的形式主义隔离表示。建议的应用是在自然语言处理中，更具体地说，在表面自然语言生成和机器翻译中，通过首先生成以紧凑方式表示的候选句子的大集合，然后通过分析器过滤这样的集合来获得句子。我们研究了IDL表达式的几个形式属性，并将这种新的形式主义与更标准的形式主义进行了比较。我们还提出了一种新的解析算法的IDL表达式，并证明了其时间复杂度的一个非平凡的上限。
2011-06-30 cs.AI
Natural language processing on customer note data
Manchester Metropolitan University（曼彻斯特城市大学）；Auto Trader Group（汽车交易商集团）
针对B2B客户备注数据学术研究少、大体量数据人工分析难度大的问题，将情感分析、主题建模与关键词提取应用于B2B数据集，验证了自动提取准确情感、按相关性归类主题的可行性，同时指出主题划分不清晰会导致其与业务场景脱节。
2023-05-03 cs.CL
Security Vulnerability Detection Using Deep Learning Natural Language Processing
Ball State University（鲍尔州立大学）；Illinois State University（伊利诺伊州立大学）
几十年来，在软件被利用之前检测软件中的安全漏洞一直是一个具有挑战性的问题。传统的代码分析方法已经被提出，但通常是无效和低效的。在这项工作中，我们将软件漏洞检测建模为一个自然语言处理（NLP）问题，将源代码视为文本，并使用最近先进的深度学习NLP模型，辅以书面英语的迁移学习，来解决自动化软件venerability检测问题。为了进行培训和测试，我们对NIST NVD/SARD数据库进行了预处理，并使用$C$程序设计语言构建了一个包含123种漏洞的10万多个文件的数据集。大量的实验表明，该算法在安全漏洞检测中的准确率达到了93%以上。
2021-05-06 cs.AI cs.CR
A Thorough Investigation into the Application of Deep CNN for Enhancing Natural Language Processing Capabilities
University of Missouri（密苏里大学）
本文针对传统NLP模型在准确性和效率上的不足，提出整合深度卷积神经网络（DCNN）、机器学习算法和生成对抗网络（GAN）的方法，显著提升了分词、词性标注等任务的性能，分割准确率提高10%，召回率提升4%。
2024-12-20 cs.CL
Autogenic Training With Natural Language Processing Modules: A Recent Tool For Certain Neuro Cognitive Studies
学习对语音-文本输入做出响应涉及受试者理解基于语音和文本的内容的能力以及他/她基于他/她的经验进行交流的能力。主体的神经认知能力必须支持两个重要的领域，以使学习过程完整。在许多情况下，虽然理解是完整的，但反应是部分的。这就是为什么我们需要使用可扩展的技术（例如自然语言处理（NLP））来支持来自主题的信息，以便从输出中提取内容的一个有效原因。本文探讨了使用与神经网络交织的NLP模块来执行与医学应用相关的自生训练中所需任务的可行性。
2004-07-02 cs.AI
Quantum Natural Language Processing based Sentiment Analysis using lambeq Toolkit
Universidad Politécnica de Madrid（马德里理工大学）；Karunya Institute of Technology and Sciences（卡鲁尼亚科技学院）
本文首次将量子自然语言处理（QNLP）应用于情感分析，使用lambeq和$t|ket>$工具包，在三种模拟中取得完美测试集准确率，并在噪声量子设备上获得良好准确率。
2023-05-30 cs.CL quant-ph
HuSpaCy: an industrial-strength Hungarian natural language processing toolkit
Institute of Informatics, University of Szeged（塞格德大学信息学研究所）
虽然有几个开放源语言处理管道可用于匈牙利语，但它们都不能满足当今NLP应用程序的要求。语言处理管道应该包括接近最先进的词形还原、形态句法分析、实体识别和词嵌入。工业文本处理应用程序必须满足非功能性的软件质量要求，支持多种语言的框架越来越受到青睐。本文介绍了HuSpaCy，一个行业就绪的匈牙利语言处理工具包。所提出的工具提供了最重要的基本语言分析任务的组件。它是开源的，并在许可证下可用。我们的系统是建立在spaCy的NLP组件上的，从而产生了一个易于使用，快速而准确的应用程序。实验证实，HuSpaCy具有高准确性，同时保持资源有效的预测能力。
2022-01-10 cs.CL stat.ML
CADgpt: Harnessing Natural Language Processing for 3D Modelling to Enhance Computer-Aided Design Workflows
University of Derby（德比大学）
本文提出CADgpt插件，将GPT-4自然语言处理能力集成到Rhino3D中，使用户通过自然语言命令完成三维建模，降低CAD学习门槛并推动设计教育普及。
2024-01-10 cs.AI cs.GR cs.HC
EEVEE: An Easy Annotation Tool for Natural Language Processing
IT University of Copenhagen（哥本哈根信息技术大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；LMU Munich（慕尼黑大学）
针对NLP数据集创建中标注工具设置繁琐的问题，提出EEVEE，一种无需安装、基于制表符文件、支持多任务和四种标注类型的简易浏览器标注工具。
2024-02-05 cs.CL cs.HC
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego（加州大学圣地亚哥分校）
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向，能够通过基于输入动态地调整其计算路径来扩展神经网络，其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案，它允许使用数万亿参数进行模型预训练，并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展：略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
Word Embeddings for Chemical Patent Natural Language Processing
Elsevier（爱思唯尔）
我们评估了化学专利词嵌入对已知的生物医学嵌入，并表明他们优于后者的外在和内在。我们还表明，使用上下文嵌入可以诱导预测模型的合理性能，这个领域在一个相对较小的黄金标准。
2020-10-24 cs.CL cs.LG
