Analyzing Fairness of Computer Vision and Natural Language Processing Models
Department of Physics, Shippensburg University of Pennsylvania（宾夕法尼亚州谢泼德斯大学物理系）；Islamic University of Madinah（麦地那伊斯兰大学）；University of Khartoum（喀土穆大学）
本文利用 Fairlearn 与 AIF360 比较 CV 和 NLP 模型在非结构化数据上的偏见缓解算法，发现跨阶段顺序应用可在保持性能的同时降低偏见。
2025-07-23 cs.CL cs.LG
ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
尽管最近在自然语言处理方面取得了进展，但许多用于处理文本的统计模型在域转移下表现得非常差。生物医学和临床文本处理是自然语言处理的一个非常重要的应用领域，目前还没有成熟的、实用的、公开可用的模型。本文介绍了scispaCy，一个新的实用生物医学/科学文本处理的工具，它极大地利用了spaCy库。我们详细介绍了在scispaCy中发布的两个模型包的性能，并展示了它们在多个任务和数据集上的鲁棒性。型号和代码可在https://allenai.github.io/scispacy/上获得
2019-10-09 cs.CL
A Primer on Neural Network Models for Natural Language Processing
在过去的几年里，神经网络已经重新成为强大的机器学习模型，在图像识别和语音处理等领域取得了最先进的成果。最近，神经网络模型也开始应用于文本自然语言信号，再次取得了非常有希望的结果。本教程从自然语言处理研究的角度调查神经网络模型，试图使自然语言研究人员加快神经技术的速度。本教程涵盖了自然语言任务的输入编码、前馈网络、卷积网络、递归网络和递归网络，以及自动梯度计算的计算图抽象。
2015-10-02 cs.CL
Teaching natural language to computers
Goldsmiths College, University of London（伦敦大学金史密斯学院）；US Department of State（美国国务院）
“自然语言”，无论是由人类说出和处理，还是由计算机处理和生成，都需要网络结构，这些结构反映了语义、句法、语音、语言、社会、情感和文化模块的创造性过程。能够在反复练习后产生新颖而有用的行为是人工智能和人类语言的根源。本文研究了计算机和程序员参与的类语言应用程序中所涉及的模式，旨在微调我们提出的问题，以更好地解释上下文，自我意识和体现。
2016-06-28 cs.AI cs.CL
A gentle introduction to Quantum Natural Language Processing
UPM（马德里理工大学）
本硕士论文的主要目标是以NLP工程师和量子计算从业者都能理解的方式介绍量子自然语言处理（QNLP）。QNLP是量子计算的最新应用，旨在将句子的含义表示为编码到量子计算机中的向量。为了实现这一点，单词的分布意义通过句子的组成意义（DisCoCat模型）来扩展：表示单词意义的向量通过句子的句法结构来组成。这是使用基于张量积的算法完成的。我们看到，这种算法在经典计算机上效率低下，但在量子电路上扩展得很好。在揭示了它的实现的实际细节之后，我们将介绍三个用例。
2022-02-23 cs.CL
Deep Learning Based Natural Language Processing for End to End Speech Translation
Vivekanand Education Society's Institute of Technology（维韦卡南德教育协会理工学院）
深度学习方法采用多个处理层来学习数据的分层表示。它们已经被部署在大量的应用程序中，并产生了最先进的结果。近年来，随着计算机处理能力的增长，能够进行高维张量计算，自然语言处理（NLP）应用在效率和准确性方面得到了显著的提高。在本文中，我们将研究各种信号处理技术，然后将其应用于使用深度递归神经网络生成语音到文本系统。
2018-08-09 cs.CL
Using the DIFF Command for Natural Language Processing
Diff是一个软件程序，用于检测两个数据集之间的差异，在自然语言处理中很有用。本文给出了几个应用差异的例子。它们包括两个不同数据集之间的差异检测，重写规则的提取，两个不同数据集的合并，以及两个不同数据集的最佳匹配。由于diff随任何标准UNIX系统一起提供，因此它随时可用且非常易于使用。我们的研究表明diff是研究自然语言处理的一个实用工具。
2002-08-13 cs.CL
A perspective on the advancement of natural language processing tasks via topological analysis of complex networks
University of São Paulo（圣保罗大学）
对Cong和Liu的"Approaching human language with complex networks"的评论（Physics of Life Reviews，Volume 11，Issue 4，December 2014，Pages 598 - 618）。
2014-12-03 cs.CL
Representation Learning for Natural Language Processing
本书旨在回顾和介绍NLP分布式表示学习的最新进展，包括为什么表示学习可以改善NLP，表示学习如何参与NLP的各种重要主题，以及分布式表示仍然没有很好地解决哪些挑战。
2021-02-07 cs.CL
Problems and Countermeasures in Natural Language Processing Evaluation
Peking University（北京大学）
自然语言处理中的评价指导和促进了模型和方法的研究。近年来，新的评价数据集和评价任务不断提出。与此同时，考试测评暴露出的一系列问题也制约了自然语言处理技术的进步。本文从自然语言评价的概念、组成、发展和意义入手，对主流自然语言评价的任务和特点进行了分类和总结，进而总结了自然语言处理评价存在的问题及其原因。最后，本文参照人类语言能力评价标准，提出了类人机器语言能力评价的概念，并从信度、难度和效度三个方面提出了类人机器语言能力评价的一系列基本原则和实施思路。
2021-04-20 cs.CL
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略，我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习（特别是使用深度神经模型）以及启动和停止AL。最后，我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
"I'm sorry Dave, I'm afraid I can't do that": Linguistics, Statistics, and Natural Language Processing circa 2001
对自然语言处理历史的简要概述，重点是数据驱动的方法。主题包括“歧义和语言分析”，“Firth things first”，“A 'C' change”和“The Questicists Strike Back”。
2003-04-21 cs.CL
Resources for Turkish Natural Language Processing: A critical survey
University of Tübingen（蒂宾根大学）；Ghent University（根特大学）；University of Stuttgart（斯图加特大学）
本文对土耳其语语料库和词汇资源进行了全面的调查。我们审查了广泛的资源，重点是那些公开可用的。除了提供有关可用语言资源的信息外，我们还提出了一系列建议，并确定了在土耳其语言学和自然语言处理中进行研究和建立应用程序的可用数据中的差距。
2023-02-25 cs.CL
Reasoning about Procedures with Natural Language Processing: A Tutorial
University of Pennsylvania（宾夕法尼亚大学）
本教程提供了一个全面而深入的研究过程，主要是在自然语言处理。程序是一系列旨在实现某个目标的步骤。理解自然语言的过程有着悠久的历史，最近的突破是由于技术的进步。首先，我们讨论了既定的方法来收集程序，通过人工注释或从网络资源中提取。然后，我们研究了不同的角度，从哪些程序可以推理，以及如何代表他们。最后，我们列举了程序知识可以应用于现实世界的场景。
2022-05-16 cs.CL
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.（AdresGezgini股份公司）；Garanti BBVA Teknoloji（担保BBVA科技公司）
在这项研究中，提出了一种基于自然语言处理（NLP）的方法，用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21，000个标记广告文本组成。在这项研究中，双向编码器表示从Transformers（BERT）模型，这是一个基于transformer的语言模型，最近使用的领域，如文本分类在自然语言处理文献中，被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
Statistical Physics for Natural Language Processing
这篇论文已被作者撤回。
2011-07-01 cond-mat.stat-mech cs.CL cs.IR
New Approaches for Natural Language Understanding based on the Idea that Natural Language encodes both Information and its Processing Procedures
我们必须认识到，自然语言是一种信息编码方式，它不仅对信息进行编码，而且对信息如何处理的过程进行编码。理解自然语言，就像构思和设计计算机语言一样，首先要把信息（或数据）和信息（或数据）的处理过程分开。在自然语言中，有些数据处理过程直接编码为结构块和指针块（本文将词汇块重新划分为数据块、结构块和指针块）;有些数据处理过程隐含在句子结构中;有些处理过程的请求用信息块表示，由信息接收者处理。对于数据部分，讨论了属性信息的分类编码体系和信息组织结构（包括信息集的组成结构和信息集之间的层次结构）。在第二节中，对第二节中阐述的理论部分进行了实例验证，证明本文的研究达到了使机器能够理解对话中所传达信息的目的。第四部分总结了“理解”的基本条件，对“理解”是什么以及如何理解进行了反思。本文的研究为自然语言理解提供了实践、理论依据和研究方法。在人工智能（AI）领域，它也可以应用于大规模、多类型的信息处理。
2021-01-12 cs.CL
Thoth: Improved Rapid Serial Visual Presentation using Natural Language Processing
Georgia Institute of Technology（佐治亚理工学院）
Thoth是一个旨在结合许多不同类型的快速阅读技术的工具。最大的启示是使用自然语言解析更优化的快速串行视觉呈现和更有效的阅读信息。
2019-08-05 cs.CL cs.HC
Natural Language Processing: State of The Art, Current Trends and Challenges
Manav Rachna International University（马纳夫·拉奇纳国际大学）；Accendere Knowledge Management Services Pvt. Ltd.（Accendere知识管理服务私人有限公司）
自然语言处理（NLP）近年来因其对人类语言的计算机表示和分析而受到广泛关注。它已经在机器翻译、垃圾邮件检测、信息抽取、摘要、医学、问答等领域得到了广泛的应用。本文通过讨论自然语言处理的不同层次和自然语言生成（NLG）的组成部分，将NLP分为四个阶段，介绍了NLP的各种应用以及当前的趋势和挑战。
2017-08-17 cs.CL
Fuzzy Modeling and Natural Language Processing for Panini's Sanskrit Grammar
印度语在世界自然语言中有着悠久的历史。帕尼尼是第一个在五世纪用大约4000条规则定义梵语语法的人。这些规则包含不确定性信息。用计算机处理具有不确定信息的梵语是不可能的。本文提出用模糊逻辑和模糊推理来处理梵语文法推理中的不确定性信息。本文还讨论了梵文的处理。
2010-06-14 cs.CL
Can a Computer Laugh ?
P.N.Lebedev Physical Institute（P.N.列别捷夫物理研究所）；P.L.Kapitza Institute for Physical Problems（P.L.卡皮察物理问题研究所）
先前提出的“幽默感”的计算机模型[arXiv：0711.2058，0711.2061]，将幽默效应与信息处理中的特定故障联系起来，在有些不同的阐述中给出。幽默的心理学方面被更彻底地阐述。笑的机制是在更一般的水平上阐述的。详细讨论了更高层次的信息处理，这是负责复杂的幽默样本的感知。幽默感的发展过程中的进化进行了讨论。
2007-11-14 cs.AI cs.CL q-bio.NC
A Survey of the Usages of Deep Learning in Natural Language Processing
University of Colorado at Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
在过去的几年里，自然语言处理领域已经被深度学习模型的爆炸式使用所推动。本调查简要介绍了该领域，并快速概述了深度学习架构和方法。然后，它筛选了过多的最近的研究，并总结了大量的相关贡献。分析的研究领域包括几个核心的语言处理问题，除了一些计算语言学的应用。然后提供了一个讨论的当前状态的最新技术，以及在该领域的未来研究的建议。
2019-12-21 cs.CL
Categorical Tools for Natural Language Processing
Wolfson College（沃尔夫森学院）
本论文将范畴理论与计算语言学之间的转换作为自然语言处理的基础。这三章涉及句法、语义和语用。首先，字符串图提供了形式语法中句法结构的统一模型。其次，函子通过将图转换为逻辑、张量、神经或量子计算来计算语义。第三，由此产生的函子模型可以组成游戏，其中均衡是语言处理任务的解决方案。这个框架是作为DisCoPy的一部分实现的，DisCoPy是一个Python库，用于使用字符串图进行计算。我们描述了范畴结构、语言结构和计算结构之间的对应关系，并展示了它们在组合自然语言处理中的应用。
2022-12-13 cs.CL math.CT
Integrating AI Planning with Natural Language Processing: A Combination of Explicit and Tacit Knowledge
Sun Yat-sen University（中山大学）
本文首次系统综述AI规划与自然语言处理的深层联系，提出二者通过基于规划的文本理解、NLP、可解释性、人机交互及应用五个方面相互促进，融合显性与隐性知识以改善人机通信。
2023-04-13 cs.AI cs.CL
Spoiler Alert: Using Natural Language Processing to Detect Spoilers in Book Reviews
University of Toronto（多伦多大学）
本文提出了一种NLP（自然语言处理）方法来检测书评中的剧透，使用加州大学圣地亚哥分校（UCSD）Goodreads Spoiler数据集。我们探索了使用LSTM、BERT和RoBERTa语言模型来在广告级别执行剧透检测。这与执行相同任务的UCSD论文形成对比，但在其数据准备中使用手工制作的功能。尽管避免了使用手工制作的功能，但我们的LSTM模型的结果仍然能够略微超过UCSD团队在扰流板检测方面的表现。
2021-02-07 cs.CL
Field-testing items using artificial intelligence: Natural language processing with transformers
Smarter Balanced（智能平衡组织）
本研究通过让RoBERTa模型的5000个变体完成29道多选题的英语读写考试，测试了项目的心理测量学属性，发现其与人类考生数据具有一定一致性。
2023-10-18 cs.CL
Autonomous requirements specification processing using natural language processing
Auckland University of Technology（奥克兰理工大学）
我们描述了我们正在进行的研究，集中在自然语言处理（NLP）的软件工程和系统开发活动的应用。特别是，本文讨论了在需求分析和系统设计过程中使用NLP。我们已经开发了一个原型工具集，可以帮助系统分析师或软件工程师选择和验证与项目相关的术语。在本文中，我们描述的过程中所采用的系统提取和分类的兴趣对象的需求文件。这些过程是用一个小例子来说明。
2014-07-23 cs.CL cs.SE
Recent Trends in Deep Learning Based Natural Language Processing
Beijing Institute of Technology（北京理工大学）；National University of Singapore（新加坡国立大学）；Temasek Laboratories（淡马锡实验室）；Nanyang Technological University（南洋理工大学）
深度学习方法采用多个处理层来学习数据的分层表示，并在许多领域产生了最先进的结果。近年来，在自然语言处理（NLP）的背景下，各种模型设计和方法已经蓬勃发展。在本文中，我们回顾了许多NLP任务中使用的重要深度学习相关模型和方法，并提供了它们的演变过程。本文还对各种模型进行了总结、比较和对比，对深度学习在自然语言处理中的过去、现在和未来提出了详细的认识。
2018-11-25 cs.CL
The Role of Explanatory Value in Natural Language Processing
Utrecht University（乌得勒支大学）
科学的一个关键目标是解释，然而解释语言现象的想法在主流的自然语言处理（NLP）和人工智能的许多其他领域中已经退居二线。我认为，解释语言行为应该是NLP的主要目标，这与使NLP模型可解释是不一样的。为了说明这些想法，一些最近的人类语言生产模型进行了比较。最后，我问，如果我们的社区认真对待解释价值，同时注意一些可能的陷阱，这对NLP研究和机构政策意味着什么。
2022-09-13 cs.CL
HULK: An Energy Efficiency Benchmark Platform for Responsible Natural Language Processing
University of California Santa Barbara（加利福尼亚大学圣巴巴拉分校）
计算密集型的预训练模型已经在许多自然语言处理基准测试中处于领先地位，例如GLUE。然而，模型训练和推理过程中的能量效率成为关键瓶颈。我们介绍HULK，一个多任务能效基准测试平台，用于负责任的自然语言处理。使用HULK，我们从时间和成本的角度比较了预训练模型的能效。提供了基准测试结果，以供进一步分析。不同的预训练模型的微调效率在不同的任务中可能会有很大的差异，更少的参数数量并不一定意味着更好的效率。我们分析了这种现象，并展示了比较预训练模型的多任务效率的方法。我们的平台可以在https://sites.engineering.ucsb.edu/~xiyou/hulk/上找到。
2020-02-14 cs.CL
Concept-Based Embeddings for Natural Language Processing
Nanyang Technological University（南洋理工大学）
在这项工作中，我们专注于通过将概念和单词投影到低维空间，同时保留最关键的语义，有效地利用和集成概念级别和单词级别的信息。在一个广泛的背景下，意见理解系统，我们研究了使用融合嵌入的几个核心NLP任务：命名实体检测和分类，自动语音识别重新排序，并有针对性的情感分析。
2018-07-15 cs.CL
The impact of lexical and grammatical processing on generating code from natural language
Université de Paris（巴黎大学）；CNRS（法国国家科学研究中心）；onepoint
考虑到用于自然语言代码翻译的TranX的seq2seq架构，我们确定了四个重要的关键组件：语法约束、词汇预处理、输入表示和复制机制。为了研究这些组件的影响，我们使用一个国家的最先进的架构，依赖于BERT编码器和基于语法的解码器，其中提供了一个形式化。本文强调了当前自然语言中词汇替换组件对代码系统的重要性。
2022-03-16 cs.CL
Natural Language Processing: Structure and Complexity
本文介绍了一种分析自然语言处理任务复杂度的方法，以及预测新的自然语言处理任务难度的方法。我们的复杂性措施来自Kolmogorov复杂性的一类自动机- { \it的意思是自动机}，其目的是提取相关的信息片段的句子。自然语言语义的定义仅与自动机可以回答的问题集相关。本文展示了各种NLP程序和任务的复杂性估计的例子，以及复杂性管理的一些方法。它将自然语言处理定位为软件工程的一个子领域，并奠定了其形式化的基础。
1996-07-13 cmp-lg cs.CL
A Tidy Data Model for Natural Language Processing using cleanNLP
cleanNLP包提供了一组快速工具，用于将文本语料库转换为一组规范化的表。底层的自然语言处理管道利用了斯坦福大学的CoreNLP库，为用英语、法语、德语和西班牙语编写的文本提供了许多注释任务。注释器包括标记化、词性标注、命名实体识别、实体链接、情感分析、依存句法分析、共指消解和信息抽取。
2018-05-03 cs.CL stat.CO
The Theoretical Status of Ontologies in Natural Language Processing
本文讨论了“本体论”在自然语言处理中的应用。它分类了各种类型的本体，已在自然语言处理，并讨论了各种好处和问题，这些设计。然后，特别关注的是在使用上模型，一个语言的动机“本体”最初设计用于与Penman文本生成系统中获得的经验。进一步的NLP本体设计标准的一些建议。
1997-04-25 cmp-lg cs.CL
Semi-supervised Classification for Natural Language Processing
University of Western Ontario（西安大略大学）
半监督分类是一个有趣的想法，其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域，它与监督分类相比有许多优点。例如，监督分类只利用昂贵的标记数据，这些数据通常难以获得，数量不足，并且需要人类专家进行注释。另一方面，未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用，但由于其性能水平在经验上与监督分类一样好，因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Challenges Encountered in Turkish Natural Language Processing Studies
Iskenderun Technical University（伊斯肯德伦技术大学）
自然语言处理是计算机科学的一个分支，它将人工智能与语言学相结合。它旨在用软件分析语言元素，如写作或口语，并将其转换为信息。考虑到每种语言都有自己的语法规则和词汇多样性，这一领域的研究的复杂性是可以理解的。例如，土耳其语在许多方面都是一种非常有趣的语言。这方面的例子有粘着词结构、辅音/元音和谐、大量的生产性派生语素（几乎无限的词汇）、派生和句法关系、对词汇和语音规则的复杂强调。在这项研究中，土耳其语在自然语言处理方面的有趣功能被提到。此外，还给出了关于为土耳其语开发的自然语言处理技术、系统和各种来源的摘要信息。
2021-01-21 cs.AI cs.CL
CVSS-BERT: Explainable Natural Language Processing to Determine the Severity of a Computer Security Vulnerability from its Description
SAMOVAR；Télécom SudParis（巴黎南电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）
当一个新的计算机安全漏洞被公开披露时，只有一个文本描述。网络安全专家随后使用通用漏洞评分系统（CVSS）对漏洞的严重性进行了分析。具体而言，漏洞的不同特征被总结为一个向量（由一组度量组成），从中计算严重性分数。然而，由于每天都有大量漏洞被披露，这个过程需要大量的人力，并且在分析漏洞之前可能需要几天时间。我们建议利用自然语言处理（NLP）领域的最新进展，以可解释的方式从其文本描述中确定CVSS向量和相关的漏洞严重性分数。为此，我们训练了多个BERT分类器，每个分类器用于组成CVSS向量的每个度量。实验结果表明，我们训练的分类器能够确定的CVSS向量的度量值具有较高的精度。从预测的CVSS向量计算的严重性分数也非常接近由人类专家归因的真实严重性分数。为了便于解释，基于梯度的输入显着性方法被用来确定最相关的输入词由我们的分类器所作的一个给定的预测。通常，最重要的相关词汇包括与人类网络安全专家的基本原理一致的术语，使最终用户能够理解解释。
2021-11-16 cs.AI cs.CL cs.LG
Natural Language Processing for Financial Regulation
Imperial College London（帝国理工学院）；CNRS, Complex Systems Institute of Paris Île-de-France（法国国家科学研究中心巴黎法兰西岛复杂系统研究所）；Oxford Man Institute of Quantitative Finance（牛津曼定量金融研究所）
本文探讨金融监管中无监督数据集下的语义匹配，提出利用免费资源超越预训练句子转换器，并解释NLP核心数学原理。
2023-11-14 cs.CL cs.LG q-fin.CP
Gap Analysis of Natural Language Processing Systems with respect to Linguistic Modality
Infosys（印孚瑟斯）
情态是语言学中语法的重要组成部分。它让说话者表达对事态的态度、评价或潜力。它意味着不同的意义，因此根据上下文有不同的感知。本文介绍了一个帐户显示的差距，在功能的当前状态的最先进的自然语言处理（NLP）系统。研究了语言情态的语境性质。本文综述了自然语言处理系统处理情态的工作和逻辑方法。它将人类认知和智能视为多层次的方法，可以由智能学习系统实现。最后，讨论了该领域目前的研究进展，为今后的研究提供了参考。
2015-04-18 cs.AI cs.CL
Translating Natural Language Instructions to Computer Programs for Robot Manipulation
Indian Institute of Science（印度科学学院）；Robert Bosch Center for Cyber Physical Systems（罗伯特·博世网络物理系统中心）
非常希望与人类一起工作的机器人能够理解自然语言的指令。现有的语言条件模仿学习模型直接从图像观察和指令文本中预测执行器命令。而不是直接预测执行器命令，我们建议将自然语言指令翻译为Python函数，该函数通过访问对象检测器的输出来查询场景并控制机器人执行指定的任务。这使得在计算对机器人的命令时能够使用诸如约束求解器之类的不可微模块。此外，在这种设置中的标签是信息量更大的计算机程序，它捕捉了专家的意图，而不是遥控演示。我们表明，所提出的方法比训练一个神经网络直接预测机器人的行动。
2021-03-20 cs.CL cs.LG cs.RO
Natural language processing: she needs something old and something new (maybe something borrowed and something blue, too)
鉴于目前自然语言处理的工作状态，本文首先认为，科学和应用的进步需要重新关注语言是关于什么的，广义地说是关于世界的;第二，对总结任务的攻击，这是越来越重要的电子文本资源的增长，并需要了解的作用，大-尺度语篇结构在标注重要文本内容时，是一个很好的前进方向。
1995-12-21 cmp-lg cs.CL
Putting Natural in Natural Language Processing
Tilburg University（蒂尔堡大学）
本文指出NLP过度依赖文本而忽视口语，主张借助深度学习的进展统一语音处理与主流NLP，将口语视为人类交流的主要模式，从而构建更高效、拟人且超越文本模态的系统。
2023-05-23 cs.AI cs.CL eess.AS
Doing Natural Language Processing in A Natural Way: An NLP toolkit based on object-oriented knowledge base and multi-level grammar base
China Mobile Research Institute（中国移动研究院）
介绍了一个基于面向对象知识库和多级语法库的自然语言处理工具包。该工具包以语义解析为核心，具有自动发现新知识和语法的能力，新发现的知识和语法将由人工识别，并用于更新知识库和语法库。这个过程可以重复多次，以不断改进工具包。
2021-06-08 cs.AI cs.CL cs.LG
Machine Learning Meets Natural Language Processing -- The story so far
International Hellenic University（国际希腊大学）
自然语言处理（NLP）在过去十年中有了显著的发展。本文强调了这一时期最重要的里程碑，同时试图确定每个模型和算法对整体进展的贡献。此外，它侧重于仍然有待解决的问题，强调了Transformers，BERT和所有类似的基于注意力的模型的突破性建议。
2021-03-27 cs.AI cs.CL cs.LG
Word Embeddings for Chemical Patent Natural Language Processing
Elsevier（爱思唯尔）
我们评估了化学专利词嵌入对已知的生物医学嵌入，并表明他们优于后者的外在和内在。我们还表明，使用上下文嵌入可以诱导预测模型的合理性能，这个领域在一个相对较小的黄金标准。
2020-10-24 cs.CL cs.LG
Towards Language Models That Can See: Computer Vision Through the LENS of Natural Language
Contextual AI；Stanford University（斯坦福大学）
提出LENS模块化方法，利用大型语言模型对独立视觉模块的输出进行推理，在零样本、少样本目标识别等任务中无需多模态训练即可媲美大型复杂系统。
2023-06-28 cs.CL cs.CV
Natural Language Processing and Multimodal Stock Price Prediction
本文提出利用股票百分比变化作为训练数据，并结合专门的BERT NLP模型与多模态数据分析来预测股票价格趋势，证明了小型模型在准确预测整体股票趋势方面的能力及特定数据特征的有效性。
2024-01-03 cs.CL cs.LG
Understanding scholarly Natural Language Processing system diagrams through application of the Richards-Engelhardt framework
University of Manchester（曼彻斯特大学）
我们利用Richards-Engelhardt框架作为理解自然语言处理系统图的工具。通过四个例子，从学术会议，我们发现，这个生态和复杂的域的框架的应用是有效的，反映这些图。我们主张用词汇来描述图表中的多重编码、符号变异性以及视觉编码原则的不一致或滥用。此外，对于学术自然语言处理系统的应用，也许更广泛的系统图，我们建议增加“对象的”作为一个新的视觉编码原则，和“强调”作为一个新的视觉编码类型。
2020-08-26 cs.AI cs.CL cs.HC
Robust Processing of Natural Language
以前的自然语言处理中的鲁棒性方法通常通过放松语法约束来处理异常输入，只要不能通过“正常”手段提供成功的分析。这种模式意味着，错误检测总是在错误处理之前，这种行为几乎无法与人类模型竞争，在人类模型中，许多错误的情况甚至没有注意到它们。本文分析了实现更高程度的鲁棒性在自然语言处理的必要前提条件，并提出了一个完全不同的方法的基础上的程序结构消歧。它不仅提供了以更自然的方式处理鲁棒性问题的可能性，而且最终可能适合于在单个框架内容纳鲁棒行为的不同方面。
1995-07-14 cmp-lg cs.CL
Racial Disparity in Natural Language Processing: A Case Study of Social Media African-American English
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
我们强调了算法公平性的一个重要前沿：当应用于来自不同社会群体的作者的语言时，自然语言处理算法的质量差异。例如，目前的系统有时对女性和少数民族语言的分析比对白人和男性的分析更差。我们进行了实证分析的种族差异的语言识别写在非洲裔美国人的英语推文，并讨论在NLP的差异的影响。
2017-06-30 cs.CL cs.CY
Information Propagation by Composited Labels in Natural Language Processing
IBM Japan（IBM日本公司）
在自然语言处理中，对文本中的词、句子、段落等区域进行标注是一项基本任务。本文将标注定义为文本中某一区域实体的提及与包含该提及的文本中更广区域实体的上下文之间的映射。该定义自然地引入了由区域的包含关系引起的实体的链接，并且连接的实体形成表示由地图定义的信息流的图。它还允许使用熵计算通过地图的信息损失，熵损失被认为是图上的路径上的两个实体之间的距离。
2022-05-23 cs.AI cs.CL cs.LG
DeepZensols: Deep Natural Language Processing Framework
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
通过发布公开可用的源代码在出版物中复制结果变得越来越流行。鉴于再现机器学习（ML）实验的困难，在减少这些结果的方差方面已经做出了重大努力。正如在任何科学中一样，持续复制结果的能力有效地加强了工作的基本假设，因此，应该被视为与研究本身的新颖性一样重要。这项工作的贡献是一个框架，能够重现一致的结果，并提供了一种轻松创建，训练和评估自然语言处理（NLP）深度学习（DL）模型的方法。
2021-09-08 cs.AI cs.CL
Features matching using natural language processing
特征匹配是对不同数据集进行匹配的基本步骤。本文提出了一种新的混合模型，该模型将基于预训练的自然语言处理（NLP）的模型称为BERT，并与基于Jaccard相似性的统计模型并行使用，以测量来自两个不同数据集的特征列表之间的相似性。这减少了搜索相关性或手动将每个特征从一个数据集匹配到另一个数据集所需的时间。
2023-03-14 cs.CL cs.DB cs.LG
