Machine Learning Meets Natural Language Processing -- The story so far
International Hellenic University（国际希腊大学）
自然语言处理（NLP）在过去十年中有了显著的发展。本文强调了这一时期最重要的里程碑，同时试图确定每个模型和算法对整体进展的贡献。此外，它侧重于仍然有待解决的问题，强调了Transformers，BERT和所有类似的基于注意力的模型的突破性建议。
2021-03-27 cs.AI cs.CL cs.LG
Understanding scholarly Natural Language Processing system diagrams through application of the Richards-Engelhardt framework
University of Manchester（曼彻斯特大学）
我们利用Richards-Engelhardt框架作为理解自然语言处理系统图的工具。通过四个例子，从学术会议，我们发现，这个生态和复杂的域的框架的应用是有效的，反映这些图。我们主张用词汇来描述图表中的多重编码、符号变异性以及视觉编码原则的不一致或滥用。此外，对于学术自然语言处理系统的应用，也许更广泛的系统图，我们建议增加“对象的”作为一个新的视觉编码原则，和“强调”作为一个新的视觉编码类型。
2020-08-26 cs.AI cs.CL cs.HC
Information Propagation by Composited Labels in Natural Language Processing
IBM Japan（IBM日本公司）
在自然语言处理中，对文本中的词、句子、段落等区域进行标注是一项基本任务。本文将标注定义为文本中某一区域实体的提及与包含该提及的文本中更广区域实体的上下文之间的映射。该定义自然地引入了由区域的包含关系引起的实体的链接，并且连接的实体形成表示由地图定义的信息流的图。它还允许使用熵计算通过地图的信息损失，熵损失被认为是图上的路径上的两个实体之间的距离。
2022-05-23 cs.AI cs.CL cs.LG
Data Readiness for Natural Language Processing
RISE（瑞典研究院）
本文档涉及机器学习和自然语言处理背景下的数据准备。它描述了组织如何识别、提供、验证和准备数据，以促进自动化分析方法。该文件的内容基于我们作为应用研究机构在工作中遇到的实际挑战和常见问题，帮助公共和私营部门的组织和公司在其业务流程中使用数据。
2020-09-30 cs.AI cs.CL cs.CY
File mapping Rule-based DBMS and Natural Language Processing
本文描述了一种类似于自然语言结构的信息存储、提取和处理系统。对于递归推理，系统使用具有相同表示的规则作为数据。操作系统的文件映射（SHM）机制为信息的存储提供了环境。本文阐述了动态数据结构和推理规则记录语言的构造原则，考虑了现有实现的特点，并给出了在自然语言上实现语义信息检索的应用描述。
2001-06-10 cs.AI cs.CL cs.DB
Evolutionary Automata and Deep Evolutionary Computation
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文聚焦进化自动机这一类比模型，指出其相比进化算法能提供更完整的进化计算对偶模型，可直接建模“进化的进化”，具有极强表达能力，还暗示了自然进化通过环境交互反馈实现自我进化的强大力量。
2025-08-25 cs.CL cs.NE
Evolutionary optimization of contexts for phonetic correction in speech recognition systems
SoldAI Research（索尔德艾研究所）
自动语音识别（ASR）是学术界和商业界日益关注的一个领域，这是由于对使用它来提供自然通信方法的应用的高需求。通用ASR系统在使用特定领域语言的应用程序中失败是很常见的。已经使用了各种策略来减少错误，例如提供修改语言模型的上下文和后处理校正方法。本文探讨了如何使用演化过程为特定的应用程序领域生成优化的上下文，以及基于语音距离度量的不同校正技术。结果表明，遗传算法作为上下文优化的工具，其中，添加到基于语音表示的后处理校正，可以减少识别语音的错误的可行性。
2021-02-23 cs.CL cs.SD eess.AS
Natural Language Processing using Hadoop and KOSHIK
Eastern Institute of Technology（东部理工学院）
自然语言处理作为一种数据分析相关技术，在人工智能、人类语言处理、翻译等领域有着广泛的应用。目前，由于数据的爆炸式增长，自然语言处理面临着许多挑战。Hadoop是能够处理自然语言处理所需的大量数据的平台之一。KOSHIK是自然语言处理架构之一，利用Hadoop并包含语言处理组件，如Stanford CoreNLP和OpenNLP。本文介绍了如何使用相关工具构建KOSHIK平台，并提供了分析wiki数据的步骤。最后，对KOSHIK体系结构的优缺点进行了评价和讨论，并给出了提高处理性能的建议。
2016-08-15 cs.CL
Simple Natural Language Processing Tools for Danish
ITU Copenhagen（哥本哈根信息技术大学）
本技术说明介绍了一套用于自动处理丹麦文文本的基线工具。这些工具是基于机器学习的，使用经过先前注释的文档训练的自然语言处理模型。它们保存在国际电联哥本哈根办事处，并将始终免费提供。
2019-07-26 cs.CL
ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
尽管最近在自然语言处理方面取得了进展，但许多用于处理文本的统计模型在域转移下表现得非常差。生物医学和临床文本处理是自然语言处理的一个非常重要的应用领域，目前还没有成熟的、实用的、公开可用的模型。本文介绍了scispaCy，一个新的实用生物医学/科学文本处理的工具，它极大地利用了spaCy库。我们详细介绍了在scispaCy中发布的两个模型包的性能，并展示了它们在多个任务和数据集上的鲁棒性。型号和代码可在https://allenai.github.io/scispacy/上获得
2019-10-09 cs.CL
A Primer on Neural Network Models for Natural Language Processing
在过去的几年里，神经网络已经重新成为强大的机器学习模型，在图像识别和语音处理等领域取得了最先进的成果。最近，神经网络模型也开始应用于文本自然语言信号，再次取得了非常有希望的结果。本教程从自然语言处理研究的角度调查神经网络模型，试图使自然语言研究人员加快神经技术的速度。本教程涵盖了自然语言任务的输入编码、前馈网络、卷积网络、递归网络和递归网络，以及自动梯度计算的计算图抽象。
2015-10-02 cs.CL
Statistical Physics for Natural Language Processing
这篇论文已被作者撤回。
2011-07-01 cond-mat.stat-mech cs.CL cs.IR
Deep Learning Based Natural Language Processing for End to End Speech Translation
Vivekanand Education Society's Institute of Technology（维韦卡南德教育协会理工学院）
深度学习方法采用多个处理层来学习数据的分层表示。它们已经被部署在大量的应用程序中，并产生了最先进的结果。近年来，随着计算机处理能力的增长，能够进行高维张量计算，自然语言处理（NLP）应用在效率和准确性方面得到了显著的提高。在本文中，我们将研究各种信号处理技术，然后将其应用于使用深度递归神经网络生成语音到文本系统。
2018-08-09 cs.CL
Using the DIFF Command for Natural Language Processing
Diff是一个软件程序，用于检测两个数据集之间的差异，在自然语言处理中很有用。本文给出了几个应用差异的例子。它们包括两个不同数据集之间的差异检测，重写规则的提取，两个不同数据集的合并，以及两个不同数据集的最佳匹配。由于diff随任何标准UNIX系统一起提供，因此它随时可用且非常易于使用。我们的研究表明diff是研究自然语言处理的一个实用工具。
2002-08-13 cs.CL
Thoth: Improved Rapid Serial Visual Presentation using Natural Language Processing
Georgia Institute of Technology（佐治亚理工学院）
Thoth是一个旨在结合许多不同类型的快速阅读技术的工具。最大的启示是使用自然语言解析更优化的快速串行视觉呈现和更有效的阅读信息。
2019-08-05 cs.CL cs.HC
A perspective on the advancement of natural language processing tasks via topological analysis of complex networks
University of São Paulo（圣保罗大学）
对Cong和Liu的"Approaching human language with complex networks"的评论（Physics of Life Reviews，Volume 11，Issue 4，December 2014，Pages 598 - 618）。
2014-12-03 cs.CL
Representation Learning for Natural Language Processing
本书旨在回顾和介绍NLP分布式表示学习的最新进展，包括为什么表示学习可以改善NLP，表示学习如何参与NLP的各种重要主题，以及分布式表示仍然没有很好地解决哪些挑战。
2021-02-07 cs.CL
Problems and Countermeasures in Natural Language Processing Evaluation
Peking University（北京大学）
自然语言处理中的评价指导和促进了模型和方法的研究。近年来，新的评价数据集和评价任务不断提出。与此同时，考试测评暴露出的一系列问题也制约了自然语言处理技术的进步。本文从自然语言评价的概念、组成、发展和意义入手，对主流自然语言评价的任务和特点进行了分类和总结，进而总结了自然语言处理评价存在的问题及其原因。最后，本文参照人类语言能力评价标准，提出了类人机器语言能力评价的概念，并从信度、难度和效度三个方面提出了类人机器语言能力评价的一系列基本原则和实施思路。
2021-04-20 cs.CL
Categorical Tools for Natural Language Processing
Wolfson College（沃尔夫森学院）
本论文将范畴理论与计算语言学之间的转换作为自然语言处理的基础。这三章涉及句法、语义和语用。首先，字符串图提供了形式语法中句法结构的统一模型。其次，函子通过将图转换为逻辑、张量、神经或量子计算来计算语义。第三，由此产生的函子模型可以组成游戏，其中均衡是语言处理任务的解决方案。这个框架是作为DisCoPy的一部分实现的，DisCoPy是一个Python库，用于使用字符串图进行计算。我们描述了范畴结构、语言结构和计算结构之间的对应关系，并展示了它们在组合自然语言处理中的应用。
2022-12-13 cs.CL math.CT
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略，我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习（特别是使用深度神经模型）以及启动和停止AL。最后，我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
Autonomous requirements specification processing using natural language processing
Auckland University of Technology（奥克兰理工大学）
我们描述了我们正在进行的研究，集中在自然语言处理（NLP）的软件工程和系统开发活动的应用。特别是，本文讨论了在需求分析和系统设计过程中使用NLP。我们已经开发了一个原型工具集，可以帮助系统分析师或软件工程师选择和验证与项目相关的术语。在本文中，我们描述的过程中所采用的系统提取和分类的兴趣对象的需求文件。这些过程是用一个小例子来说明。
2014-07-23 cs.CL cs.SE
"I'm sorry Dave, I'm afraid I can't do that": Linguistics, Statistics, and Natural Language Processing circa 2001
对自然语言处理历史的简要概述，重点是数据驱动的方法。主题包括“歧义和语言分析”，“Firth things first”，“A 'C' change”和“The Questicists Strike Back”。
2003-04-21 cs.CL
Resources for Turkish Natural Language Processing: A critical survey
University of Tübingen（蒂宾根大学）；Ghent University（根特大学）；University of Stuttgart（斯图加特大学）
本文对土耳其语语料库和词汇资源进行了全面的调查。我们审查了广泛的资源，重点是那些公开可用的。除了提供有关可用语言资源的信息外，我们还提出了一系列建议，并确定了在土耳其语言学和自然语言处理中进行研究和建立应用程序的可用数据中的差距。
2023-02-25 cs.CL
Reasoning about Procedures with Natural Language Processing: A Tutorial
University of Pennsylvania（宾夕法尼亚大学）
本教程提供了一个全面而深入的研究过程，主要是在自然语言处理。程序是一系列旨在实现某个目标的步骤。理解自然语言的过程有着悠久的历史，最近的突破是由于技术的进步。首先，我们讨论了既定的方法来收集程序，通过人工注释或从网络资源中提取。然后，我们研究了不同的角度，从哪些程序可以推理，以及如何代表他们。最后，我们列举了程序知识可以应用于现实世界的场景。
2022-05-16 cs.CL
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.（AdresGezgini股份公司）；Garanti BBVA Teknoloji（担保BBVA科技公司）
在这项研究中，提出了一种基于自然语言处理（NLP）的方法，用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21，000个标记广告文本组成。在这项研究中，双向编码器表示从Transformers（BERT）模型，这是一个基于transformer的语言模型，最近使用的领域，如文本分类在自然语言处理文献中，被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
Natural Language Processing: Structure and Complexity
本文介绍了一种分析自然语言处理任务复杂度的方法，以及预测新的自然语言处理任务难度的方法。我们的复杂性措施来自Kolmogorov复杂性的一类自动机- { \it的意思是自动机}，其目的是提取相关的信息片段的句子。自然语言语义的定义仅与自动机可以回答的问题集相关。本文展示了各种NLP程序和任务的复杂性估计的例子，以及复杂性管理的一些方法。它将自然语言处理定位为软件工程的一个子领域，并奠定了其形式化的基础。
1996-07-13 cmp-lg cs.CL
A Tidy Data Model for Natural Language Processing using cleanNLP
cleanNLP包提供了一组快速工具，用于将文本语料库转换为一组规范化的表。底层的自然语言处理管道利用了斯坦福大学的CoreNLP库，为用英语、法语、德语和西班牙语编写的文本提供了许多注释任务。注释器包括标记化、词性标注、命名实体识别、实体链接、情感分析、依存句法分析、共指消解和信息抽取。
2018-05-03 cs.CL stat.CO
The Theoretical Status of Ontologies in Natural Language Processing
本文讨论了“本体论”在自然语言处理中的应用。它分类了各种类型的本体，已在自然语言处理，并讨论了各种好处和问题，这些设计。然后，特别关注的是在使用上模型，一个语言的动机“本体”最初设计用于与Penman文本生成系统中获得的经验。进一步的NLP本体设计标准的一些建议。
1997-04-25 cmp-lg cs.CL
Semi-supervised Classification for Natural Language Processing
University of Western Ontario（西安大略大学）
半监督分类是一个有趣的想法，其中分类模型是从标记和未标记的数据中学习的。在自然语言处理领域，它与监督分类相比有许多优点。例如，监督分类只利用昂贵的标记数据，这些数据通常难以获得，数量不足，并且需要人类专家进行注释。另一方面，未标记的数据便宜且丰富。尽管许多因素限制了半监督分类的广泛使用，但由于其性能水平在经验上与监督分类一样好，因此它已经变得流行。本研究探讨了半监督分类在句法分析、生物医学信息处理、文本分类和摘要等自然语言处理任务中的可能性和成就以及复杂性和局限性。
2014-09-25 cs.CL cs.LG
Natural Language Processing for Financial Regulation
Imperial College London（帝国理工学院）；CNRS, Complex Systems Institute of Paris Île-de-France（法国国家科学研究中心巴黎法兰西岛复杂系统研究所）；Oxford Man Institute of Quantitative Finance（牛津曼定量金融研究所）
本文探讨金融监管中无监督数据集下的语义匹配，提出利用免费资源超越预训练句子转换器，并解释NLP核心数学原理。
2023-11-14 cs.CL cs.LG q-fin.CP
