LINDA: Unsupervised Learning to Interpolate in Natural Language Processing
Hyundai Motor Company（现代汽车公司）；New York University（纽约大学）；Genentech（基因泰克公司）；CIFAR Fellow（加拿大高等研究院研究员）
尽管mixup在数据增强方面取得了成功，但由于自然语言的离散和可变长度性质，其对自然语言处理（NLP）任务的适用性受到限制。因此，最近的研究依赖于特定领域的语言学和手工制作的资源，如字典，以便在NLP中应用mixup。在本文中，我们提出了一种用于数据增强的文本插值的无监督学习方法，我们称之为“学习插值数据增强“（LINDA），它不需要任何语法分析，也不需要手动制作的资源，而是学习在自然语言流形上的任何一对自然语言句子之间插值。在经验证明LINDA的插值能力后，我们表明LINDA确实允许我们在NLP中无缝地应用mixup，并在域内和域外的文本分类中实现更好的泛化。
2021-12-28 cs.CL cs.LG
Pre-trained Models for Natural Language Processing: A Survey
Fudan University（复旦大学）
近年来，预训练模型（PTM）的出现将自然语言处理（NLP）带入了一个新的时代。在这次调查中，我们对NLP的PTM进行了全面的回顾。我们首先简要介绍了语言表示学习及其研究进展。然后，我们系统地分类现有的PTM的基础上的分类与四个方面。接下来，我们将描述如何将PTM的知识适应下游任务。最后，我们概述了一些潜在的PTMs为未来的研究方向。本调查旨在成为理解，使用和开发各种NLP任务的PTM的实践指南。
2021-06-23 cs.CL cs.LG
Natural Language Processing using Hadoop and KOSHIK
Eastern Institute of Technology（东部理工学院）
自然语言处理作为一种数据分析相关技术，在人工智能、人类语言处理、翻译等领域有着广泛的应用。目前，由于数据的爆炸式增长，自然语言处理面临着许多挑战。Hadoop是能够处理自然语言处理所需的大量数据的平台之一。KOSHIK是自然语言处理架构之一，利用Hadoop并包含语言处理组件，如Stanford CoreNLP和OpenNLP。本文介绍了如何使用相关工具构建KOSHIK平台，并提供了分析wiki数据的步骤。最后，对KOSHIK体系结构的优缺点进行了评价和讨论，并给出了提高处理性能的建议。
2016-08-15 cs.CL
Simple Natural Language Processing Tools for Danish
ITU Copenhagen（哥本哈根信息技术大学）
本技术说明介绍了一套用于自动处理丹麦文文本的基线工具。这些工具是基于机器学习的，使用经过先前注释的文档训练的自然语言处理模型。它们保存在国际电联哥本哈根办事处，并将始终免费提供。
2019-07-26 cs.CL
L3Cube-MahaNLP: Marathi Natural Language Processing Datasets, Models, and Library
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；L3Cube Pune（L3Cube浦那）
尽管马拉地语是印度第三大流行语言，但它缺乏有用的NLP资源。此外，流行的NLP库不支持马拉地语。使用L3 Cube-MahaNLP，我们的目标是为马拉地语自然语言处理构建资源和库。我们提出的数据集和Transformer模型的监督任务，如情感分析，命名实体识别，仇恨语音检测。我们还发布了一个用于无监督语言建模任务的单语马拉地语语料库。总体而言，我们呈现了MahaCorpus，MahaSent，MahaNER和MahaHate数据集以及在这些数据集上微调的相应MahaBERT模型。我们的目标是领先于基准数据集，并为马拉地语准备有用的资源。这些资源可在https://github.com/l3cube-pune/MarathiNLP上获得。
2022-05-31 cs.CL cs.LG
Experimental Standards for Deep Learning in Natural Language Processing Research
IT University of Copenhagen（哥本哈根信息技术大学）；LMU Munich（慕尼黑大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
深度学习（DL）领域在过去十年中经历了爆炸式的增长，对自然语言处理（NLP）也产生了重大影响。然而，与更成熟的学科相比，缺乏通用的实验标准仍然是整个领域面临的一个公开挑战。从基本的科学原理出发，我们将正在进行的关于NLP实验标准的讨论提炼成一个单一的，广泛适用的方法。遵循这些最佳实践对于加强实验证据、提高重现性和支持科学进步至关重要。这些标准进一步收集在一个公共存储库中，以帮助它们透明地适应未来的需求。
2022-10-17 cs.CL cs.LG
Supervised Contextual Embeddings for Transfer Learning in Natural Language Processing Tasks
Carnegie Mellon University（卡内基梅隆大学）
预训练的词嵌入是几个自然语言处理（NLP）任务中迁移学习的主要方法。最近的工作集中在使用无监督技术，如语言建模，以获得这些嵌入。相比之下，这项工作的重点是从多个预先训练的监督模型中提取表示，这丰富了任务和领域特定知识的词嵌入。在跨任务、跨领域和跨语言环境中进行的实验表明，这种监督嵌入是有帮助的，特别是在低资源环境中，但增益的程度取决于任务和领域的性质。我们公开我们的代码。
2019-06-28 cs.CL cs.LG
Natural Language Processing for Financial Regulation
Imperial College London（帝国理工学院）；CNRS, Complex Systems Institute of Paris Île-de-France（法国国家科学研究中心巴黎法兰西岛复杂系统研究所）；Oxford Man Institute of Quantitative Finance（牛津曼定量金融研究所）
本文探讨金融监管中无监督数据集下的语义匹配，提出利用免费资源超越预训练句子转换器，并解释NLP核心数学原理。
2023-11-14 cs.CL cs.LG q-fin.CP
Explaining Natural Language Processing Classifiers with Occlusion and Language Modeling
University of Potsdam（波茨坦大学）
深度神经网络是强大的统计学习器。然而，他们的预测并没有解释他们的过程。为了分析这些模型，正在开发解释方法。我们提出了一种新的解释方法，称为OLM，自然语言处理分类器。该方法结合了遮挡和语言建模，这两种技术分别是可解释性和NLP的核心。OLM给出了理论上合理且易于理解的解释。我们对解释方法的理论做出了一些贡献。解释方法公理是一个有趣的理论概念，探讨其基础和推导方法。我们引入了一个新的公理，给出了它的直觉，并证明了它与另一个现有公理相矛盾。此外，我们指出了现有的基于梯度和一些基于遮挡的解释方法在自然语言处理的理论困难。我们提供了一个广泛的论点，为什么评价解释方法是困难的。我们将OLM与其他解释方法进行比较，并通过实验强调其独特性。最后，我们调查角的情况下，OLM和讨论其有效性和可能的改进。
2021-01-28 cs.CL cs.LG
Automatic evaluation of scientific abstracts through natural language processing
Universidade Federal de Alagoas（阿拉戈斯联邦大学）
这项工作提出了一个框架来分类和评估不同的研究摘要文本，重点是描述的过程及其应用。在此背景下，本文提出了自然语言处理算法来分类，分割和评估的科学工作的结果。首先，建议的框架分类的抽象文本到根据要解决的问题，采用文本分类方法。然后，将抽象文本分割为问题描述、方法和结果。最后，基于对摘要结果的情感分析，对摘要的方法论进行排序。所提出的框架使我们能够快速排名解决特定问题的最佳方法。为了验证所提出的框架，石油生产异常摘要进行了实验，并取得了可喜的成果。
2021-11-14 cs.CL cs.LG
Word2Vec is a special case of Kernel Correspondence Analysis and Kernels for Natural Language Processing
Okayama University（冈山大学）；Kyungpook National University（庆北国立大学）
我们表明，对应分析（CA）是等价于定义一个基尼指数与适当缩放的一热编码。利用这个关系，我们引入了一个非线性核扩展CA。这种扩展的CA通过使用适当列联表的专用内核给出了对自然语言的已知分析。我们提出了一个半监督CA，这是一个特殊情况下的核心扩展CA。由于CA在应用于众多类别时需要过多的内存，因此CA尚未用于自然语言处理。我们解决这个问题，引入延迟评估随机奇异值分解。然后将记忆高效的CA应用于词向量表示任务。我们提出了一个尾切内核，这是一个扩展的跳跃，在内核扩展CA的gram。我们的尾切内核优于现有的词向量表示方法。
2018-11-25 cs.CL cs.LG
Doing Natural Language Processing in A Natural Way: An NLP toolkit based on object-oriented knowledge base and multi-level grammar base
China Mobile Research Institute（中国移动研究院）
介绍了一个基于面向对象知识库和多级语法库的自然语言处理工具包。该工具包以语义解析为核心，具有自动发现新知识和语法的能力，新发现的知识和语法将由人工识别，并用于更新知识库和语法库。这个过程可以重复多次，以不断改进工具包。
2021-06-08 cs.AI cs.CL cs.LG
Machine Learning Meets Natural Language Processing -- The story so far
International Hellenic University（国际希腊大学）
自然语言处理（NLP）在过去十年中有了显著的发展。本文强调了这一时期最重要的里程碑，同时试图确定每个模型和算法对整体进展的贡献。此外，它侧重于仍然有待解决的问题，强调了Transformers，BERT和所有类似的基于注意力的模型的突破性建议。
2021-03-27 cs.AI cs.CL cs.LG
Classification of Misinformation in New Articles using Natural Language Processing and a Recurrent Neural Network
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文试图解决的分类错误的新闻文章使用长短期记忆循环神经网络。文章取自2018年;这一年充满了记者撰写关于唐纳德特朗普总统，特别顾问罗伯特穆勒，国际足联世界杯和俄罗斯的文章。该模型成功地将这些文章分类，准确率为0.779944。我们认为这是成功的，因为模型是在包括英语以外的语言以及不完整或碎片化的文章上训练的。
2022-10-24 cs.CL cs.LG
ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
尽管最近在自然语言处理方面取得了进展，但许多用于处理文本的统计模型在域转移下表现得非常差。生物医学和临床文本处理是自然语言处理的一个非常重要的应用领域，目前还没有成熟的、实用的、公开可用的模型。本文介绍了scispaCy，一个新的实用生物医学/科学文本处理的工具，它极大地利用了spaCy库。我们详细介绍了在scispaCy中发布的两个模型包的性能，并展示了它们在多个任务和数据集上的鲁棒性。型号和代码可在https://allenai.github.io/scispacy/上获得
2019-10-09 cs.CL
Information Propagation by Composited Labels in Natural Language Processing
IBM Japan（IBM日本公司）
在自然语言处理中，对文本中的词、句子、段落等区域进行标注是一项基本任务。本文将标注定义为文本中某一区域实体的提及与包含该提及的文本中更广区域实体的上下文之间的映射。该定义自然地引入了由区域的包含关系引起的实体的链接，并且连接的实体形成表示由地图定义的信息流的图。它还允许使用熵计算通过地图的信息损失，熵损失被认为是图上的路径上的两个实体之间的距离。
2022-05-23 cs.AI cs.CL cs.LG
A Primer on Neural Network Models for Natural Language Processing
在过去的几年里，神经网络已经重新成为强大的机器学习模型，在图像识别和语音处理等领域取得了最先进的成果。最近，神经网络模型也开始应用于文本自然语言信号，再次取得了非常有希望的结果。本教程从自然语言处理研究的角度调查神经网络模型，试图使自然语言研究人员加快神经技术的速度。本教程涵盖了自然语言任务的输入编码、前馈网络、卷积网络、递归网络和递归网络，以及自动梯度计算的计算图抽象。
2015-10-02 cs.CL
Features matching using natural language processing
特征匹配是对不同数据集进行匹配的基本步骤。本文提出了一种新的混合模型，该模型将基于预训练的自然语言处理（NLP）的模型称为BERT，并与基于Jaccard相似性的统计模型并行使用，以测量来自两个不同数据集的特征列表之间的相似性。这减少了搜索相关性或手动将每个特征从一个数据集匹配到另一个数据集所需的时间。
2023-03-14 cs.CL cs.DB cs.LG
An Empirical Study of Discriminative Sequence Labeling Models for Vietnamese Text Processing
College of Science, Vietnam National University（越南国立大学科学学院）；FPT Technology Research Institute, FPT University（FPT大学FPT技术研究院）；Alt Vietnam；FPT Technology Innovation, FPT Corp.（FPT集团FPT技术创新）
本文提出了两个广泛使用的序列预测模型，条件随机场（CRF）和长短期记忆网络（LSTM），越南语文本处理的两个基本任务，包括词性标注和命名实体识别的实证研究。我们表明，一个强大的下限标签准确性可以通过只依赖于简单的基于单词的功能，最小的手工制作的功能工程，90.65%和86.03%的性能得分的标准测试集上的两个任务分别获得。特别是，我们实证证明了惊人的效率词嵌入在这两个任务中，与两个模型。我们指出，最先进的LSTM模型并不总是优于传统的CRF模型，特别是在中等规模的数据集。最后，我们给出了一些建议和讨论，有效地使用序列标记模型在实际应用中。
2017-08-30 cs.CL
Deep Learning, Natural Language Processing, and Explainable Artificial Intelligence in the Biomedical Domain
Medical University of Vienna（维也纳医科大学）
在这篇文章中，我们首先在第一部分介绍了人工智能及其在生物学和医学中的应用。然后在第2节中描述深度学习方法。我们在第3节中缩小了对文本数据的研究重点，其中描述了自然语言处理及其在生物医学领域的应用。在第4节中，我们介绍了可解释的人工智能，并讨论了可解释性的重要性，人工智能系统，特别是在生物医学领域。
2022-03-07 cs.AI cs.CL cs.LG
Is the Best Better? Bayesian Statistical Model Comparison for Natural Language Processing
Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）；City University of New York（纽约城市大学）
最近的工作引起了人们对使用标准分割来比较自然语言处理模型的关注。我们提出了一种贝叶斯统计模型比较技术，该技术使用跨多个数据集的k折交叉验证来估计一个模型将优于另一个模型的可能性，或者两个模型将产生几乎等同的结果。我们使用这种技术来排名六个英语词性标注在两个数据集和三个评价指标。
2020-10-06 cs.CL cs.LG stat.ME
Deep Learning Based Natural Language Processing for End to End Speech Translation
Vivekanand Education Society's Institute of Technology（维韦卡南德教育协会理工学院）
深度学习方法采用多个处理层来学习数据的分层表示。它们已经被部署在大量的应用程序中，并产生了最先进的结果。近年来，随着计算机处理能力的增长，能够进行高维张量计算，自然语言处理（NLP）应用在效率和准确性方面得到了显著的提高。在本文中，我们将研究各种信号处理技术，然后将其应用于使用深度递归神经网络生成语音到文本系统。
2018-08-09 cs.CL
Using the DIFF Command for Natural Language Processing
Diff是一个软件程序，用于检测两个数据集之间的差异，在自然语言处理中很有用。本文给出了几个应用差异的例子。它们包括两个不同数据集之间的差异检测，重写规则的提取，两个不同数据集的合并，以及两个不同数据集的最佳匹配。由于diff随任何标准UNIX系统一起提供，因此它随时可用且非常易于使用。我们的研究表明diff是研究自然语言处理的一个实用工具。
2002-08-13 cs.CL
A perspective on the advancement of natural language processing tasks via topological analysis of complex networks
University of São Paulo（圣保罗大学）
对Cong和Liu的"Approaching human language with complex networks"的评论（Physics of Life Reviews，Volume 11，Issue 4，December 2014，Pages 598 - 618）。
2014-12-03 cs.CL
Representation Learning for Natural Language Processing
本书旨在回顾和介绍NLP分布式表示学习的最新进展，包括为什么表示学习可以改善NLP，表示学习如何参与NLP的各种重要主题，以及分布式表示仍然没有很好地解决哪些挑战。
2021-02-07 cs.CL
Problems and Countermeasures in Natural Language Processing Evaluation
Peking University（北京大学）
自然语言处理中的评价指导和促进了模型和方法的研究。近年来，新的评价数据集和评价任务不断提出。与此同时，考试测评暴露出的一系列问题也制约了自然语言处理技术的进步。本文从自然语言评价的概念、组成、发展和意义入手，对主流自然语言评价的任务和特点进行了分类和总结，进而总结了自然语言处理评价存在的问题及其原因。最后，本文参照人类语言能力评价标准，提出了类人机器语言能力评价的概念，并从信度、难度和效度三个方面提出了类人机器语言能力评价的一系列基本原则和实施思路。
2021-04-20 cs.CL
Empirical Analysis for Unsupervised Universal Dependency Parse Tree Aggregation
Iowa State University（爱荷华州立大学）
针对依存分析器跨领域和语言质量不稳定的问题，本文通过广泛实证研究比较多种无监督后处理聚合方法，以识别最合适的依存树结构聚合方案。
2024-04-03 cs.CL
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略，我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习（特别是使用深度神经模型）以及启动和停止AL。最后，我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
"I'm sorry Dave, I'm afraid I can't do that": Linguistics, Statistics, and Natural Language Processing circa 2001
对自然语言处理历史的简要概述，重点是数据驱动的方法。主题包括“歧义和语言分析”，“Firth things first”，“A 'C' change”和“The Questicists Strike Back”。
2003-04-21 cs.CL
Statistical Physics for Natural Language Processing
这篇论文已被作者撤回。
2011-07-01 cond-mat.stat-mech cs.CL cs.IR
Resources for Turkish Natural Language Processing: A critical survey
University of Tübingen（蒂宾根大学）；Ghent University（根特大学）；University of Stuttgart（斯图加特大学）
本文对土耳其语语料库和词汇资源进行了全面的调查。我们审查了广泛的资源，重点是那些公开可用的。除了提供有关可用语言资源的信息外，我们还提出了一系列建议，并确定了在土耳其语言学和自然语言处理中进行研究和建立应用程序的可用数据中的差距。
2023-02-25 cs.CL
Reasoning about Procedures with Natural Language Processing: A Tutorial
University of Pennsylvania（宾夕法尼亚大学）
本教程提供了一个全面而深入的研究过程，主要是在自然语言处理。程序是一系列旨在实现某个目标的步骤。理解自然语言的过程有着悠久的历史，最近的突破是由于技术的进步。首先，我们讨论了既定的方法来收集程序，通过人工注释或从网络资源中提取。然后，我们研究了不同的角度，从哪些程序可以推理，以及如何代表他们。最后，我们列举了程序知识可以应用于现实世界的场景。
2022-05-16 cs.CL
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.（AdresGezgini股份公司）；Garanti BBVA Teknoloji（担保BBVA科技公司）
在这项研究中，提出了一种基于自然语言处理（NLP）的方法，用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21，000个标记广告文本组成。在这项研究中，双向编码器表示从Transformers（BERT）模型，这是一个基于transformer的语言模型，最近使用的领域，如文本分类在自然语言处理文献中，被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
Thoth: Improved Rapid Serial Visual Presentation using Natural Language Processing
Georgia Institute of Technology（佐治亚理工学院）
Thoth是一个旨在结合许多不同类型的快速阅读技术的工具。最大的启示是使用自然语言解析更优化的快速串行视觉呈现和更有效的阅读信息。
2019-08-05 cs.CL cs.HC
COVID-Twitter-BERT: A Natural Language Processing Model to Analyse COVID-19 Content on Twitter
EPFL（洛桑联邦理工学院）；FISABIO-Public Health（FISABIO公共卫生机构）
在这项工作中，我们发布了COVID-Twitter-BERT（CT-BERT），这是一个基于transformer的模型，在关于COVID-19的大型Twitter消息语料库上进行了预训练。我们的模型在五个不同的分类数据集上显示出与其基础模型BERT-Large相比10-30%的边际改进。最大的改进是在目标域上。预训练的Transformer模型，如CT-BERT，在特定的目标领域进行训练，可用于各种自然语言处理任务，包括分类，问答和聊天机器人。CT-BERT经过优化，可用于COVID-19内容，特别是来自Twitter的社交媒体帖子。
2020-05-15 cs.CL cs.LG cs.SI
Bayesian Compression for Natural Language Processing
National Research University Higher School of Economics（国立研究型大学高等经济学院）；Samsung AI Center（三星人工智能中心）
在自然语言处理中，很多任务都是用递归神经网络成功地解决的，但是这样的模型有大量的参数。这些参数中的大多数通常集中在嵌入层中，其大小与词汇长度成比例地增长。我们提出了一种用于RNN的贝叶斯稀疏化技术，该技术允许将RNN压缩数十或数百次，而无需耗时的超参数调整。我们还推广了词汇稀疏化的模型，以过滤掉不必要的单词，并进一步压缩RNN。我们表明，保留的话的选择是可解释的。代码可以在github上找到：https://github.com/tipt0p/SparseBayesianRNN
2018-12-12 cs.CL cs.LG stat.ML
New Approaches for Natural Language Understanding based on the Idea that Natural Language encodes both Information and its Processing Procedures
我们必须认识到，自然语言是一种信息编码方式，它不仅对信息进行编码，而且对信息如何处理的过程进行编码。理解自然语言，就像构思和设计计算机语言一样，首先要把信息（或数据）和信息（或数据）的处理过程分开。在自然语言中，有些数据处理过程直接编码为结构块和指针块（本文将词汇块重新划分为数据块、结构块和指针块）;有些数据处理过程隐含在句子结构中;有些处理过程的请求用信息块表示，由信息接收者处理。对于数据部分，讨论了属性信息的分类编码体系和信息组织结构（包括信息集的组成结构和信息集之间的层次结构）。在第二节中，对第二节中阐述的理论部分进行了实例验证，证明本文的研究达到了使机器能够理解对话中所传达信息的目的。第四部分总结了“理解”的基本条件，对“理解”是什么以及如何理解进行了反思。本文的研究为自然语言理解提供了实践、理论依据和研究方法。在人工智能（AI）领域，它也可以应用于大规模、多类型的信息处理。
2021-01-12 cs.CL
Exploring Chemical Space using Natural Language Processing Methodologies for Drug Discovery
Bogazici University（博阿齐奇大学）；IBM Research（IBM研究院）；University of Zurich（苏黎世大学）
化学物质和蛋白质的基于文本的表示可以被认为是由人类编码的非结构化语言，用于描述特定领域的知识。自然语言处理（NLP）方法在口语处理中的进步加速了NLP的应用，以阐明这些生化实体的文本表示中隐藏的知识，然后用它来构建模型来预测分子特性或设计新的分子。本文综述了这些进展对药物发现的影响，旨在促进药物化学家和计算机科学家之间的对话。
2020-02-10 cs.CL cs.LG q-bio.BM
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey
Raytheon BBN Technologies（雷神BBN技术公司）；Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；University of Oregon（俄勒冈大学）；University of the Basque Country (UPV/EHU)（巴斯克大学 (UPV/EHU)）
像BERT这样的大型、预先训练的基于transformer的语言模型已经彻底改变了自然语言处理（NLP）领域。我们对最近的工作进行了调查，这些工作使用这些大语言模型通过预训练，然后微调，提示或文本生成方法来解决NLP任务。我们还提出了使用预训练的语言模型来生成用于训练增强或其他目的的数据的方法。最后，我们讨论的局限性和建议的未来研究方向。
2021-11-01 cs.AI cs.CL cs.LG
Natural Language Processing: State of The Art, Current Trends and Challenges
Manav Rachna International University（马纳夫·拉奇纳国际大学）；Accendere Knowledge Management Services Pvt. Ltd.（Accendere知识管理服务私人有限公司）
自然语言处理（NLP）近年来因其对人类语言的计算机表示和分析而受到广泛关注。它已经在机器翻译、垃圾邮件检测、信息抽取、摘要、医学、问答等领域得到了广泛的应用。本文通过讨论自然语言处理的不同层次和自然语言生成（NLG）的组成部分，将NLP分为四个阶段，介绍了NLP的各种应用以及当前的趋势和挑战。
2017-08-17 cs.CL
A Survey on Dynamic Neural Networks for Natural Language Processing
University of California, San Diego（加州大学圣地亚哥分校）
有效地缩放大型Transformer模型是自然语言处理最新进展的主要驱动力。动态神经网络作为一个新兴的研究方向，能够通过基于输入动态地调整其计算路径来扩展神经网络，其计算量和时间都呈次线性增长。动态神经网络可能是预训练语言模型参数数量不断增长的一个有前途的解决方案，它允许使用数万亿参数进行模型预训练，并在移动设备上进行更快的推理。本文综述了自然语言处理中三种类型的动态神经网络的研究进展：略读、混合专家模型和提前退出。我们还强调了当前动态神经网络的挑战和未来的研究方向。
2023-02-24 cs.AI cs.CL cs.LG
Early Prediction of 30-day ICU Re-admissions Using Natural Language Processing and Machine Learning
Northeast Yucai Foreign Language School（东北育才外国语学校）；Northeast Yucai School（东北育才学校）；Shenyang Pharmaceutical University（沈阳药科大学）
ICU再入院与住院时间、死亡率和不良结局相关。及早发现再入院可避免病情恶化，降低治疗费用。随着电子健康档案的日益丰富，利用机器学习技术对医疗大规模数据进行处理，设计临床决策工具已成为一种流行。我们设计了数据驱动的预测模型来估计ICU再入院的风险。每一次入院的出院总结都用自然语言处理技术仔细地表示。统一医学语言系统（UMLS）进一步用于规范出院小结的不一致性。采用5个机器学习分类器构建预测模型。最佳配置产生0.748的竞争性AUC。我们的工作表明，出院总结的自然语言处理能够在出院后向临床医生发出计划外30天再入院的警告。
2019-10-06 cs.CL cs.LG stat.ML
Fuzzy Modeling and Natural Language Processing for Panini's Sanskrit Grammar
印度语在世界自然语言中有着悠久的历史。帕尼尼是第一个在五世纪用大约4000条规则定义梵语语法的人。这些规则包含不确定性信息。用计算机处理具有不确定信息的梵语是不可能的。本文提出用模糊逻辑和模糊推理来处理梵语文法推理中的不确定性信息。本文还讨论了梵文的处理。
2010-06-14 cs.CL
Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain)
Neuroscience Institute（神经科学研究所）；Department of Machine Learning（机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
NLP的神经网络模型通常在没有语言规则的显式编码的情况下实现，但它们能够打破一个又一个的性能记录。这引起了人们对解释这些网络所学习的表征的大量研究兴趣。我们在这里提出了一种新的解释方法，它依赖于我们唯一能理解语言的处理系统：人脑。我们使用受试者阅读复杂自然文本的大脑成像记录来解释最近4个NLP模型- ELMo，USE，BERT和Transformer-XL的单词和序列嵌入。我们研究了它们的表示如何在层深度，上下文长度和注意力类型上有所不同。我们的研究结果揭示了这些模型中与上下文相关的表示的差异。此外，在Transformer模型中，我们发现层深度和上下文长度之间以及层深度和注意类型之间存在相互作用。我们最后假设，改变BERT以更好地与大脑记录保持一致，将使它能够更好地理解语言。使用句法NLP任务探测改变后的BERT显示，具有增加的大脑对齐的模型优于原始模型。认知神经科学家已经开始使用NLP网络来研究大脑，这项工作关闭了NLP和认知神经科学之间的互动，使其成为真正的交叉授粉。
2019-11-13 cs.AI cs.CL cs.LG
Categorical Tools for Natural Language Processing
Wolfson College（沃尔夫森学院）
本论文将范畴理论与计算语言学之间的转换作为自然语言处理的基础。这三章涉及句法、语义和语用。首先，字符串图提供了形式语法中句法结构的统一模型。其次，函子通过将图转换为逻辑、张量、神经或量子计算来计算语义。第三，由此产生的函子模型可以组成游戏，其中均衡是语言处理任务的解决方案。这个框架是作为DisCoPy的一部分实现的，DisCoPy是一个Python库，用于使用字符串图进行计算。我们描述了范畴结构、语言结构和计算结构之间的对应关系，并展示了它们在组合自然语言处理中的应用。
2022-12-13 cs.CL math.CT
Integrating AI Planning with Natural Language Processing: A Combination of Explicit and Tacit Knowledge
Sun Yat-sen University（中山大学）
本文首次系统综述AI规划与自然语言处理的深层联系，提出二者通过基于规划的文本理解、NLP、可解释性、人机交互及应用五个方面相互促进，融合显性与隐性知识以改善人机通信。
2023-04-13 cs.AI cs.CL
A Survey of the Usages of Deep Learning in Natural Language Processing
University of Colorado at Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
在过去的几年里，自然语言处理领域已经被深度学习模型的爆炸式使用所推动。本调查简要介绍了该领域，并快速概述了深度学习架构和方法。然后，它筛选了过多的最近的研究，并总结了大量的相关贡献。分析的研究领域包括几个核心的语言处理问题，除了一些计算语言学的应用。然后提供了一个讨论的当前状态的最新技术，以及在该领域的未来研究的建议。
2019-12-21 cs.CL
Autonomous requirements specification processing using natural language processing
Auckland University of Technology（奥克兰理工大学）
我们描述了我们正在进行的研究，集中在自然语言处理（NLP）的软件工程和系统开发活动的应用。特别是，本文讨论了在需求分析和系统设计过程中使用NLP。我们已经开发了一个原型工具集，可以帮助系统分析师或软件工程师选择和验证与项目相关的术语。在本文中，我们描述的过程中所采用的系统提取和分类的兴趣对象的需求文件。这些过程是用一个小例子来说明。
2014-07-23 cs.CL cs.SE
Data Readiness for Natural Language Processing
RISE（瑞典研究院）
本文档涉及机器学习和自然语言处理背景下的数据准备。它描述了组织如何识别、提供、验证和准备数据，以促进自动化分析方法。该文件的内容基于我们作为应用研究机构在工作中遇到的实际挑战和常见问题，帮助公共和私营部门的组织和公司在其业务流程中使用数据。
2020-09-30 cs.AI cs.CL cs.CY
Spoiler Alert: Using Natural Language Processing to Detect Spoilers in Book Reviews
University of Toronto（多伦多大学）
本文提出了一种NLP（自然语言处理）方法来检测书评中的剧透，使用加州大学圣地亚哥分校（UCSD）Goodreads Spoiler数据集。我们探索了使用LSTM、BERT和RoBERTa语言模型来在广告级别执行剧透检测。这与执行相同任务的UCSD论文形成对比，但在其数据准备中使用手工制作的功能。尽管避免了使用手工制作的功能，但我们的LSTM模型的结果仍然能够略微超过UCSD团队在扰流板检测方面的表现。
2021-02-07 cs.CL
Field-testing items using artificial intelligence: Natural language processing with transformers
Smarter Balanced（智能平衡组织）
本研究通过让RoBERTa模型的5000个变体完成29道多选题的英语读写考试，测试了项目的心理测量学属性，发现其与人类考生数据具有一定一致性。
2023-10-18 cs.CL
Recent Trends in Deep Learning Based Natural Language Processing
Beijing Institute of Technology（北京理工大学）；National University of Singapore（新加坡国立大学）；Temasek Laboratories（淡马锡实验室）；Nanyang Technological University（南洋理工大学）
深度学习方法采用多个处理层来学习数据的分层表示，并在许多领域产生了最先进的结果。近年来，在自然语言处理（NLP）的背景下，各种模型设计和方法已经蓬勃发展。在本文中，我们回顾了许多NLP任务中使用的重要深度学习相关模型和方法，并提供了它们的演变过程。本文还对各种模型进行了总结、比较和对比，对深度学习在自然语言处理中的过去、现在和未来提出了详细的认识。
2018-11-25 cs.CL
The Role of Explanatory Value in Natural Language Processing
Utrecht University（乌得勒支大学）
科学的一个关键目标是解释，然而解释语言现象的想法在主流的自然语言处理（NLP）和人工智能的许多其他领域中已经退居二线。我认为，解释语言行为应该是NLP的主要目标，这与使NLP模型可解释是不一样的。为了说明这些想法，一些最近的人类语言生产模型进行了比较。最后，我问，如果我们的社区认真对待解释价值，同时注意一些可能的陷阱，这对NLP研究和机构政策意味着什么。
2022-09-13 cs.CL
HULK: An Energy Efficiency Benchmark Platform for Responsible Natural Language Processing
University of California Santa Barbara（加利福尼亚大学圣巴巴拉分校）
计算密集型的预训练模型已经在许多自然语言处理基准测试中处于领先地位，例如GLUE。然而，模型训练和推理过程中的能量效率成为关键瓶颈。我们介绍HULK，一个多任务能效基准测试平台，用于负责任的自然语言处理。使用HULK，我们从时间和成本的角度比较了预训练模型的能效。提供了基准测试结果，以供进一步分析。不同的预训练模型的微调效率在不同的任务中可能会有很大的差异，更少的参数数量并不一定意味着更好的效率。我们分析了这种现象，并展示了比较预训练模型的多任务效率的方法。我们的平台可以在https://sites.engineering.ucsb.edu/~xiyou/hulk/上找到。
2020-02-14 cs.CL
