Fine-grained Interpretation and Causation Analysis in Deep NLP Models
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Facebook AI（脸书人工智能研究院）
本文是我们在NAACL 2021上展示的关于“深度NLP模型中的细粒度解释和因果关系分析”的教程的撰写。我们从两个角度介绍和讨论了解释模型细粒度组件的研究工作，i）细粒度解释，ii）因果关系分析。前者介绍了关于语言属性或任务来分析单个神经元和一组神经元的方法。后者研究神经元和输入特征在解释模型决策中的作用。我们还讨论了神经元分析的应用，如网络操作和领域自适应。此外，我们还提供了两个工具包，即NeuroX和Captum，它们支持本教程中讨论的功能。
2021-05-29 cs.CL
Systematicity, Compositionality and Transitivity of Deep NLP Models: a Metamorphic Testing Perspective
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap 研究院）
变形测试最近被用来检查神经NLP模型的安全性。它的主要优点是它不依赖于地面实况来生成测试用例。然而，现有的研究大多关注健壮类变质关系，限制了他们可以测试的语言属性的范围。我们提出了三类新的变质关系，解决系统性，组合性和传递性的属性。与鲁棒性不同，我们的关系是在多个源输入上定义的，从而增加了我们可以通过多项式因子产生的测试用例的数量。通过它们，我们测试了最先进的NLP模型的内部一致性，并表明它们并不总是按照预期的语言特性表现。最后，我们引入了一种新的图形符号，有效地总结了内部结构的变质关系。
2022-04-26 cs.CL
EasyTransfer -- A Simple and Scalable Deep Transfer Learning Platform for NLP Applications
Alibaba Group（阿里巴巴集团）；State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）
文献已经见证了将预训练语言模型（PLM）和迁移学习（TL）算法成功地应用于广泛的自然语言处理（NLP）应用，然而为此目的构建易于使用和可扩展的TL工具包并不容易。为了弥合这一差距，EasyTransfer平台旨在为NLP应用程序开发深度TL算法。EasyTransfer后端具有高性能和可扩展的引擎，可实现高效的训练和推理，并集成了全面的深度TL算法，使工业规模TL应用程序的开发更加容易。在EasyTransfer中，内置的数据和模型并行策略，结合AI编译器优化，比社区版本的分布式训练快4.0倍。EasyTransfer支持ModelZoo中的各种NLP模型，包括主流PLM和多模态模型。它还具有各种内部开发的TL算法，以及用于NLP应用程序的AppZoo。该工具包方便用户快速开始模型训练、评估和在线部署。EasyTransfer目前部署在阿里巴巴，支持多种业务场景，包括商品推荐、个性化搜索、会话式问答等。在真实数据集和在线应用上的大量实验表明，EasyTransfer适合在线生产，并具有各种应用的尖端性能。EasyTransfer的源代码发布在Github（https：//github.com/alibaba/EasyTransfer）。
2021-08-20 cs.CL
Striking a Balance between Classical and Deep Learning Approaches in Natural Language Processing Pedagogy
University of New South Wales（新南威尔士大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文针对NLP教学中经典与深度学习方法的平衡问题，结合澳印两门入门课程的实践，类比CS1教育的相关争论，论证了经典方法对构建学生直观理解的价值，主张其应被纳入当前NLP课程。
2024-07-09 cs.CL
CS-NLP team at SemEval-2020 Task 4: Evaluation of State-of-the-art NLP Deep Learning Architectures on Commonsense Reasoning Task
Western Michigan University（西密歇根大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）
在本文中，我们研究了一个常识推理任务，统一自然语言理解和常识推理。我们描述了我们在SemEval-2020任务4竞赛中的尝试：常识验证和解释（ComVE）挑战。我们讨论了几种最先进的深度学习架构来应对这一挑战。我们的系统使用准备好的标记文本数据集，这些数据集是针对三个不同的自然语言推理子任务手动策划的。第一个子任务的目标是测试模型是否能够区分有意义和无意义的自然语言语句。我们比较了几种语言模型和微调分类器的性能。然后，我们提出了一种受问答任务启发的方法，将分类问题视为多项选择题任务，以提高我们的实验结果的性能（96.06%），这明显优于基线。对于第二个子任务，即选择一个陈述没有意义的原因，我们站在前六个团队（93.7%）的27名参与者中，结果非常有竞争力。我们的结果为最后一个子任务的生成原因对无意义的声明显示了许多潜力，为未来的研究，因为我们应用了最强大的语言生成模型（GPT-2）与6.1732 BLEU得分在前四个团队。
2020-07-18 cs.CL
Neuron-level Interpretation of Deep NLP Models: A Survey
Dalhousie University（达尔豪斯大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
深度神经网络在各个领域的扩散已经看到了对这些模型的可解释性的增加的需求。在这方面所做的初步工作和调查这方面的文件，都集中在高级别代表性分析。然而，最近的一个分支的工作集中在更细粒度的分析这些模型中的神经元的可解释性。在本文中，我们综述了在神经元分析方面所做的工作，包括：i）发现和理解网络中神经元的方法，ii）评估方法，iii）主要发现，包括神经元分析所揭示的跨架构比较，iv）神经元探测的应用，例如：控制模型，领域自适应等，以及v）讨论未解决的问题和未来的研究方向。
2022-08-16 cs.CL
Cross-Demographic Portability of Deep NLP-Based Depression Models
Ellipsis Health, Inc.（埃利普西斯健康公司）
本文研究基于NLP的抑郁症预测模型在不同年龄人群间的可移植性，发现模型从年轻人语料库迁移到老年人语料库时性能仅适度下降，AUC从0.82降至0.76，且健康状况稳定的老年患者子集AUC可达0.81。
2024-12-26 cs.CL
Identifying beneficial task relations for multi-task learning in deep neural networks
University of Copenhagen（哥本哈根大学）
NLP的深度神经网络中的多任务学习（MTL）最近受到了越来越多的关注，因为它有一些引人注目的好处，包括它有可能有效地正则化模型并减少对标记数据的需求。虽然它在许多NLP任务中带来了显着的改进，但报告的结果好坏参半，并且对MTL导致NLP收益的条件知之甚少。本文揭示了特定的任务关系，可以导致收益MTL模型在单任务设置。
2017-02-27 cs.CL
Recent Trends in Deep Learning Based Natural Language Processing
Beijing Institute of Technology（北京理工大学）；National University of Singapore（新加坡国立大学）；Temasek Laboratories（淡马锡实验室）；Nanyang Technological University（南洋理工大学）
深度学习方法采用多个处理层来学习数据的分层表示，并在许多领域产生了最先进的结果。近年来，在自然语言处理（NLP）的背景下，各种模型设计和方法已经蓬勃发展。在本文中，我们回顾了许多NLP任务中使用的重要深度学习相关模型和方法，并提供了它们的演变过程。本文还对各种模型进行了总结、比较和对比，对深度学习在自然语言处理中的过去、现在和未来提出了详细的认识。
2018-11-25 cs.CL
Exploring transfer learning for Deep NLP systems on rarely annotated languages
University of Rostock（罗斯托克大学）
本文研究在印地语与尼泊尔语之间应用迁移学习进行词性标注，发现联合训练词嵌入结合BLSTM-CNN-CRF模型能有效提升低资源语言的标注性能。
2024-10-15 cs.CL
How to keep text private? A systematic review of deep learning methods for privacy-preserving natural language processing
Know-Center GmbH（Know-Center有限公司）；Graz University of Technology（格拉茨技术大学）
用于自然语言处理（NLP）任务的深度学习（DL）模型通常处理私人数据，需要保护以防止违规和泄露。数据保护法律，如欧盟的一般数据保护条例（GDPR），从而加强了对隐私的需求。虽然近年来提出了许多隐私保护的NLP方法，但尚未引入组织它们的类别，因此很难跟踪文献的进展。为了缩小这一差距，本文系统地回顾了2016年至2020年期间发表的60多种隐私保护NLP的DL方法，包括理论基础，隐私增强技术以及对现实场景的适用性分析。首先，我们引入了一种新的分类法，将现有的方法分为三类：数据保护方法，可信方法和验证方法。其次，我们对隐私威胁、应用程序数据集和隐私评估指标进行了广泛的总结。第三，在整个审查过程中，我们从整体上描述了NLP管道中的隐私问题。此外，我们还讨论了隐私保护NLP在数据可追溯性、计算开销、数据集大小、嵌入中人类偏见的普遍性以及隐私-效用权衡方面面临的挑战。最后，本文提出了未来的研究方向，以指导后续的研究和发展的隐私保护NLP模型。
2022-05-20 cs.CL
Scaling up Discovery of Latent Concepts in Deep NLP Models
Qatar Computing Research Institute（卡塔尔计算研究所）
针对预训练模型潜在概念发现的凝聚式层次聚类成本高、规模受限问题，本文研究聚类算法，提出概念质量评估指标，发现基于K-Means的方法在保质量的同时大幅提效，并验证其可扩展至LLMs与短语概念。
2024-02-01 cs.CL
A Thorough Investigation into the Application of Deep CNN for Enhancing Natural Language Processing Capabilities
University of Missouri（密苏里大学）
本文针对传统NLP模型在准确性和效率上的不足，提出整合深度卷积神经网络（DCNN）、机器学习算法和生成对抗网络（GAN）的方法，显著提升了分词、词性标注等任务的性能，分割准确率提高10%，召回率提升4%。
2024-12-20 cs.CL
Translational NLP: A New Paradigm and General Principles for Natural Language Processing Research
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）
自然语言处理（NLP）研究通过基础科学将普遍原理的研究与针对特定用例和设置的应用科学相结合。然而，基础NLP和应用程序之间的交换过程通常被认为是自然出现的，导致许多创新未被应用，许多重要问题未被研究。我们描述了一个新的范式翻译NLP，其目的是结构和促进的过程中，基础和应用NLP研究相互告知。因此，翻译NLP提出了第三种研究范式，专注于理解应用需求带来的挑战，以及这些挑战如何推动基础科学和技术设计的创新。我们表明，许多重大进展，在自然语言处理研究已经出现的基本原则与应用需求的交叉，并提出了一个概念框架，概述了利益相关者和关键问题的翻译研究。我们的框架为将翻译NLP发展为一个专门的研究领域提供了路线图，并确定了一般的翻译原则，以促进基础研究和应用研究之间的交流。
2021-04-16 cs.AI cs.CL
What Is One Grain of Sand in the Desert? Analyzing Individual Neurons in Deep NLP Models
Qatar Computing Research Institute, HBKU Research Complex（卡塔尔计算研究所，哈马德·本·哈利法大学研究中心）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
尽管深度神经网络在自然语言处理（NLP）中取得了显著的进步，但其可解释性仍然是一个挑战。以前的工作主要集中在这些模型在表示级别上学习什么。我们进一步分解这种分析，并研究NLP任务中端到端神经模型学习的向量表示中的各个维度（神经元）。我们提出两种方法：语言相关性分析，基于监督方法提取与外部任务最相关的神经元，以及跨模型相关性分析，一种无监督方法提取与外部任务最相关的突出神经元。模型本身。我们通过消融识别出的神经元并重新评估两项任务的网络性能来评估我们的技术的有效性：神经机器翻译（NMT）和神经语言建模（NLM）。我们进一步提出了一个全面的神经元分析，旨在解决以下问题：i）如何本地化或分布的模型中的不同的语言属性？ii）某些神经元是否只具有某些特性而不具有其他特性？iii）信息在NMT和NLM中的分布是否更大或更小？以及iv）通过语言相关方法识别的神经元对整体任务有多重要？我们的代码作为NeuroX工具包的一部分公开提供（Dalvi et al. 2019）。
2018-12-21 cs.CL
NeuroX Library for Neuron Analysis of Deep NLP Models
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（哈马德·本·哈利法大学））；Dalhousie University（达尔豪斯大学）
本文提出开源工具包 NeuroX，通过统一 API、数据处理和评估框架，简化深度自然语言处理模型的神经元分析，支持去偏、领域适应和架构搜索等应用。
2023-05-26 cs.CL
Interpreting Deep Learning Models in Natural Language Processing: A Review
Georgia Institute of Technology（佐治亚理工学院）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Amazon Alexa AI（亚马逊 Alexa AI）；Carnegie Mellon University（卡内基梅隆大学）；Zhejiang University（浙江大学）
神经网络模型已经在广泛的自然语言处理（NLP）任务中取得了最先进的性能。然而，对神经网络模型的长期批评是缺乏可解释性，这不仅降低了神经NLP系统的可靠性，而且限制了它们在可解释性至关重要的领域（例如，保健应用）。作为回应，近年来对解释神经NLP模型的兴趣越来越大，激发了各种各样的解释方法。在这篇综述中，我们对NLP中神经模型的各种解释方法进行了全面的回顾。我们首先对NLP中的解释方法进行了高级分类，即，基于训练的方法、基于测试的方法和混合方法。接下来，我们详细描述每个类别中的子类别，例如，基于影响函数的方法、基于KNN的方法、基于注意力模型的方法、基于显著性的方法、基于扰动的方法等。
2021-10-25 cs.CL
Evaluating neural network explanation methods using hybrid documents and morphological agreement
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
深度神经网络（DNN）的行为很难理解。这就需要探索事后解释方法。我们对NLP的解释方法进行了第一次全面评估。为此，我们设计了两个新的评估范式，涵盖两个重要的NLP问题：小背景和大背景的问题。这两种范例都不需要手动注释，因此具有广泛的适用性。我们还介绍了LIMSSE，这是一种受LIME启发的解释方法，专为NLP设计。我们的经验表明，LIMSSE，LRP和DeepLIFT是最有效的解释方法，并推荐它们用于解释NLP中的DNN。
2019-05-06 cs.CL
Aviation Safety Enhancement via NLP & Deep Learning: Classifying Flight Phases in ATSB Safety Reports
University of New South Wales（新南威尔士大学）
本研究针对航空安全报告的飞行阶段分类需求，采用NLP与LSTM、CNN等深度学习模型分析ATSB安全报告，其中LSTM性能最优，可实现安全事件分析自动化，助力航空安全提升。
2025-01-14 cs.CL cs.LG
Tensor Product Generation Networks for Deep NLP Modeling
Microsoft Research AI（微软研究院人工智能）；Johns Hopkins University（约翰斯·霍普金斯大学）；Citadel（城堡投资）；University of Florida（佛罗里达大学）
我们提出了一种用于自然语言处理（NLP）的深度网络设计的新方法，该方法基于用于编码和处理分布式神经网络中符号结构的张量积表示（TPR）的通用技术。提出了一种网络架构--张量积生成网络（TPGN）--它在原则上能够进行TPR计算，但使用无约束的深度学习来设计其内部表示。在图像标题生成模型中实例化，TPGN在COCO数据集上进行评估时优于LSTM基线。具有TPR能力的结构能够解释内部表示和操作，这些表示和操作被证明包含相当多的语法内容。我们的标题生成模型可以被解释为生成语法类别序列，并从编码为分布式表示的计划中按类别检索单词。
2017-12-16 cs.CL cs.CV
Interpretable Textual Neuron Representations for NLP
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
输入优化方法，如Google Deep Dream，为计算机视觉DNN创建了可解释的神经元表示。我们提出并评估了将这项技术转移到NLP的方法。我们的研究结果表明，梯度上升与gumbel softmax层产生的n-gram表示，在目标神经元激活方面优于幼稚语料库搜索。这些表征突出了Imaginet架构的语言和视觉模型之间的语法意识差异。
2018-09-19 cs.CL
belabBERT: a Dutch RoBERTa-based language model applied to psychiatric classification
UMC Groningen（格罗宁根大学医学中心）；UMC Utrecht Brain Center（乌得勒支大学医学中心脑中心）；UMC Utrecht（乌得勒支大学医学中心）；University Medical Center Groningen（格罗宁根大学医学中心）；University of Amsterdam（阿姆斯特丹大学）
自然语言处理（NLP）正在成为自动识别人类特征和状态的重要手段，例如中毒、精神障碍的存在、气道障碍的存在和压力状态。这些应用程序有可能成为在线帮助热线的一个重要支柱，并可能逐步引入电子保健模块。然而，NLP是语言特定的，对于荷兰语等语言，NLP模型是稀缺的。因此，最近的荷兰NLP模型对句子的长范围语义依赖关系的捕获率很低。为了克服这一点，在这里，我们提出belabBERT，一个新的荷兰语言模型扩展的RoBERTa架构。belabBERT是在一个大型荷兰语语料库（+32 GB）的网络抓取文本上训练的。我们将belabBERT应用于精神疾病的分类。首先，我们使用belabBERT评估了基于文本的分类的强度，并将结果与现有的RobBERT模型进行了比较。然后，我们将belabBERT的性能与精神疾病的音频分类进行了比较。最后，进行了简短的探索，扩展框架的混合文本和音频为基础的分类。我们的研究结果表明，belabBERT优于目前最好的荷兰语文本分类网络RobBERT。belabBERT也优于单独基于音频的分类。
2021-06-02 cs.CL
The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectures
University of Bridgeport（桥港大学）
近年来，自然语言处理（NLP）模型在语言和语义任务中取得了惊人的成功，如文本分类、机器翻译、认知对话系统、通过自然语言理解（NLU）的信息检索和自然语言生成（NLG）。这一壮举主要归功于开创性的Transformer架构，导致了BERT，GPT（I，II，III）等设计，虽然这些大尺寸的模型已经取得了前所未有的性能，他们在高计算成本。因此，最近的一些NLP架构已经利用了迁移学习、修剪、量化和知识蒸馏的概念来实现适度的模型大小，同时保持与其前辈几乎相似的性能。此外，为了从知识提取的角度减轻由语言模型引起的数据大小挑战，已经构建了知识检索器以更高的效率和准确性从大型数据库语料库中提取显式数据文档。最近的研究也集中在通过对较长的输入序列提供有效的注意力来进行高级推理。在本文中，我们总结并研究了当前最先进的（SOTA）NLP模型，这些模型已用于众多NLP任务，以获得最佳性能和效率。我们提供了对不同架构的详细理解和功能，NLP设计的分类，比较评估以及NLP的未来方向。
2021-04-24 cs.CL cs.LG
Costs to Consider in Adopting NLP for Your Business
Kata.ai Research Team（Kata.ai研究团队）；Universitas Indonesia（印度尼西亚大学）
自然语言处理（NLP）的最新进展在很大程度上推动了基于深度转换器的模型成为最先进的技术，而无需过多考虑生产和使用成本。计划在业务中采用这些方法的公司面临困难，因为缺乏机器，数据和人力资源来构建它们。我们比较的性能和成本的经典学习算法的最新的共同序列和文本标记任务。在我们的工业数据集中，我们发现经典模型的性能通常与深度神经模型相当，尽管成本较低。我们展示了各个模型中性能增益和成本之间的权衡，以提供更多关于AI枢转业务的见解。此外，我们呼吁对低成本模型进行更多研究，特别是针对资源不足的语言。
2021-04-15 cs.CL
Effectiveness of Deep Networks in NLP using BiDAF as an example architecture
Stanford Center for Professional Development（斯坦福专业发展中心）
通过高级模型架构的发展，如BERT和Birobot，以及更早的基于单词、字符和上下文的嵌入，NLP的问答已经取得了进展。由于BERT已经跨越了模型的准确性，下一个前沿领域的一个元素可以是引入深度网络和训练它们的有效方法。在这种情况下，我探索了深度网络的有效性，重点是Biodynamic的模型编码器层。具有异构层的Bioscience不仅提供了探索深度网络的有效性的机会，而且还提供了评估在较低层中进行的改进是否可以添加到模型架构的上层中进行的改进的机会。我相信NLP中下一个最伟大的模型实际上会像BERT一样融合在一个坚实的语言建模中，它具有一个复合架构，除了通用语言建模之外，它还将带来改进，并将拥有一个更广泛的分层架构。我试验了Bypass网络、Residual Highway网络和DenseNet架构。此外，我还评估了集成网络最后几层的有效性。我还研究了将字符嵌入添加到词嵌入中所产生的差异，以及这种影响是否与深度网络叠加。我的研究表明，深度网络实际上是有效的。此外，像嵌入这样的底层改进可以通过添加到通过深度网络获得的收益中。
2021-08-31 cs.CL cs.LG
A Survey of Adversarial Defences and Robustness in NLP
Robert Bosch Centre for Data Science and AI（罗伯特·博世数据科学与人工智能中心）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Bhupat and Jyoti Mehta School of Biosciences（布帕特与乔蒂·梅塔生物科学学院）
本文综述了 NLP 中对抗防御方法，提出新分类法，并分析了深度神经网络的脆弱性及防御挑战。
2023-04-18 cs.CL
Model Explainability in Deep Learning Based Natural Language Processing
Wells Fargo（富国银行）
机器学习（ML）模型的可解释性越来越受到关注，特别是在与模型风险和法规相关的领域。本文回顾和比较了一些流行的ML模型解释性方法，特别是与自然语言处理（NLP）模型相关的方法。然后，我们将NLP可解释性方法之一分层相关传播（LRP）应用于NLP分类模型。我们使用LRP方法为实例中的每个单词获得相关性得分，这是一种局部可解释性。然后将相关性得分聚合在一起以实现模型的全局变量重要性。通过案例研究，我们还展示了如何将局部可解释性方法应用于误报和漏报实例，以发现NLP模型的弱点。这些分析可以帮助我们更好地理解NLP模型，并降低由于NLP模型的黑箱性质而带来的风险。我们还确定了由于NLP模型的特殊性质而导致的一些常见问题，并讨论了可解释性分析如何在模型训练后作为检测这些问题的控制。
2021-06-14 cs.AI cs.CL
A Survey of Early Exit Deep Neural Networks in NLP
Department of IEOR, IIT Bombay（印度理工学院孟买分校工业与运筹工程系）
本文针对大规模DNN计算成本高、需适配样本难度的问题，系统综述了通过在不同层附加分类器实现自适应推理的早退策略，及其在NLP领域的应用与降延迟、提鲁棒性的优势。
2025-01-13 cs.CL cs.LG
Few-Shot Learning for Clinical Natural Language Processing Using Siamese Neural Networks
University of Pittsburgh（匹兹堡大学）
临床自然语言处理（NLP）已成为医疗保健领域的一项新兴技术，它利用电子健康记录（EHR）中的大量自由文本数据来改善患者护理，支持临床决策，并促进临床和转化科学研究。最近，深度学习在许多临床NLP任务中取得了最先进的性能。然而，训练深度学习模型通常需要大型带注释的数据集，这些数据集通常不公开，并且在临床领域中构建可能非常耗时。在临床NLP中，使用较小的注释数据集是典型的，因此，确保深度学习模型表现良好对于模型在现实世界中的应用至关重要。一种被广泛采用的方法是微调现有的预训练语言模型（PLM），但当训练数据集只包含少量注释样本时，这些尝试就显得不够了。少样本学习（FSL）最近被研究来解决这个问题。连体神经网络（SNN）作为一种FSL方法在计算机视觉中得到了广泛的应用，但在自然语言处理中还没有得到很好的研究。此外，关于其在临床领域应用的文献很少。在本文中，我们提出了两种基于SNN的临床NLP FSL方法，包括预训练SNN（PT-SNN）和SNN与二阶嵌入（SOE-SNN）。我们评估了两个临床任务，即临床文本分类和临床命名实体识别所提出的方法。我们测试了三种Few-Shot设置，包括4次、8次和16次学习。两个临床NLP任务都使用三个PLM进行基准测试，包括BERT、BioBERT和BioClinicalBERT。实验结果验证了所提出的基于SNN的FSL方法在两个NLP任务中的有效性。
2022-10-26 cs.CL
Discovering Salient Neurons in Deep NLP Models
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Dalhousie University（达尔豪斯大学）
本文提出语言相关性分析方法，用于识别深度 NLP 模型中承载特定语言属性的显著神经元，并通过细粒度分析揭示其层次分布、冗余性、微调迁移规律及跨模型与跨语言差异。
2024-01-14 cs.CL
Self-Explaining Structures Improve NLP Models
Zhejiang University（浙江大学）；Computer Center of Peking University（北京大学计算中心）；Peng Cheng Laboratory（鹏城实验室）
现有的解释NLP中深度学习模型的方法通常存在两个主要缺点：（1）主模型和解释模型是解耦的：使用额外的探测或代理模型来解释现有模型，因此现有的解释工具不是自解释的;（2）探测模型只能通过计算单个单词的显着性分数来解释模型的预测，但在高层次上是笨拙的。级别文本单元，如短语、句子或段落。为了解决这两个问题，在本文中，我们为自然语言处理中的深度学习模型提出了一个简单而通用且有效的自解释框架。所提出的框架的关键点是在任何现有的NLP模型之上添加一个额外的层，如解释层所称。该层聚合每个文本跨度的信息，然后将其与特定权重相关联，并将其加权组合馈送到softmax函数以进行最终预测。所提出的模型具有以下优点：（1）跨度权重使模型具有自解释性，并且不需要额外的探测模型进行解释;（2）所提出的模型是通用的，可以适应NLP中任何现有的深度学习结构;（3）与每个文本跨度相关联的权重为更高级别的文本单元（如短语和句子）提供直接的重要性得分。我们第一次表明，可解释性并不以性能为代价：自解释功能的神经模型比没有自解释功能的神经模型获得了更好的性能，在SST-5上实现了59.1的新SOTA性能，在SNLI上实现了92.3的新SOTA性能。
2020-12-09 cs.CL
A Unified Understanding of Deep NLP Models for Text Classification
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Cardiff University（卡迪夫大学）
用于文本分类的深度自然语言处理（NLP）模型的快速发展导致了对单独提出的这些模型的统一理解的迫切需要。现有的方法不能满足在一个框架中理解不同模型的需要，这是由于缺乏一个统一的措施来解释低水平（例如，字）和高级（例如，短语）特征。我们开发了一个可视化分析工具DeepNLPVis，以实现对文本分类的NLP模型的统一理解。其核心思想是一个基于互信息的度量，它提供了关于模型的每一层如何保持样本中输入单词信息的定量解释。我们在每一层对词内和词间信息进行建模，以测量词对最终预测的重要性以及词之间的关系，例如短语的形成。一个多层次的可视化，它包括语料库级，样本级，和单词级的可视化，支持从整体训练集到单个样本的分析。两个关于分类任务和模型之间比较的案例研究表明，DeepNLPVis可以帮助用户有效地识别样本和模型架构引起的潜在问题，然后做出明智的改进。
2022-06-19 cs.CL cs.LG
Delta Embedding Learning
Tsinghua University（清华大学）；University of Oregon（俄勒冈大学）
无监督的词嵌入已经成为自然语言处理任务中一种流行的词表示方法。然而，由无监督嵌入表示的语义存在局限性，并且嵌入的不充分微调可能导致次优性能。我们提出了一种新的学习技术，称为Delta嵌入学习，它可以应用于一般的NLP任务，以提高性能的优化调整的词嵌入。结构化正则化应用于嵌入，以确保它们以增量方式进行调整。因此，调整后的词嵌入通过从监督中吸收语义信息而不会“遗忘”，从而成为更好的词表示。“我们将该方法应用于各种NLP任务，并看到性能的持续改善。评价也证实了调整后的词嵌入具有更好的语义特性。
2019-06-07 cs.CL
Is it Time to Swish? Comparing Deep Learning Activation Functions Across NLP tasks
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（普适知识处理实验室（UKP-TUDA））；Department of Computer Science（计算机科学系）；Technische Universität Darmstadt（达姆施塔特工业大学）
激活函数在神经网络中起着至关重要的作用，因为它们是归因于深度学习成功故事的非线性。目前最流行的激活函数之一是ReLU，但最近已经提出或“发现”了几个竞争对手，包括LReLU函数和swish。虽然大多数作品在少数任务（通常来自图像分类）上比较新提出的激活函数，并与少数竞争对手（通常是ReLU）进行比较，但我们在8个不同的NLP任务中对21个激活函数进行了首次大规模比较。我们发现，一个很大程度上未知的激活函数执行最稳定的所有任务，所谓的惩罚双曲正切函数。我们还表明，它可以成功地取代LSTM单元中的sigmoid和tanh门，在具有挑战性的NLP任务中，比标准选择提高了2个百分点。
2019-01-09 cs.CL cs.LG cs.NE
A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing
Bosch Center for Artificial Intelligence（博世人工智能中心）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
许多自然语言处理（NLP）任务自然是不平衡的，因为某些目标类别比现实世界中的其他目标类别出现得更频繁。在这种情况下，当前的NLP模型在不太频繁的类上仍然表现不佳。解决NLP中的类不平衡是一个活跃的研究课题，然而，为特定的任务和不平衡场景找到一个好的方法是困难的。通过这项调查，我们首次对基于深度学习的NLP中的类不平衡进行了概述，为NLP研究人员和实践者处理不平衡数据提供了指导。我们首先讨论各种类型的控制和现实世界的阶级不平衡。然后，我们的调查涵盖了为类不平衡的NLP任务明确提出的方法，或者起源于计算机视觉社区的方法，已经对其进行了评估。我们组织的方法，无论是基于采样，数据增强，选择损失函数，分阶段学习，或模型设计。最后，我们讨论了开放的问题，如处理多标签场景，并提出系统的基准和报告，以推动这个问题作为一个社区。
2023-02-22 cs.AI cs.CL
Deep Dive into the Language of International Relations: NLP-based Analysis of UNESCO's Summary Records
University of Warsaw（华沙大学）；NASK (National Research Institute)（NASK（国家研究院））
本研究针对UNESCO遗产列入引发的国际冲突，开发了基于总结记录的主题建模与紧张局势检测方法，准确率达72%，并构建了辅助外交等人员高效检索的应用。
2023-08-01 cs.CL
PyText: A Seamless Path from NLP research to production
Facebook Conversational AI（Facebook对话式AI）；Facebook AI
我们介绍了PyText -一个基于PyTorch的基于深度学习的NLP建模框架。PyText解决了快速实验和大规模服务模型之间经常发生冲突的需求。它通过为模型组件提供简单和可扩展的接口，并通过使用PyTorch的导出模型的功能，通过优化的Caffe 2执行引擎进行推理来实现这一点。我们报告了我们自己将实验和生产工作流程迁移到PyText的经验，这使我们能够更快地开发新的建模想法，然后以工业规模无缝地交付它们。
2018-12-12 cs.CL
On the Explainability of Natural Language Processing Deep Models
American University of Beirut（贝鲁特美国大学）
虽然最近在图像和表格数据上操作的深度模型上的ExplainableAI ExAI工作激增，但文本数据集给ExAI社区带来了新的挑战。这些挑战可以归因于文本数据中缺乏输入结构，使用词嵌入增加了模型的不透明性，以及在文本数据上训练深度模型时难以可视化其内部工作。最近，已经开发出了解决上述挑战的方法，并对自然语言处理（NLP）模型给出了令人满意的解释。然而，这些方法还有待在一个全面的框架内加以研究，在这个框架内适当地说明共同的挑战，并提出严格的评价做法和衡量标准。出于民主化ExAI方法在NLP领域，我们在这项工作中提出了一项调查，研究模型不可知以及模型特定的解释方法对NLP模型。这些方法可以开发内在可解释的NLP模型，也可以以事后方式对预先训练的模型进行操作。我们进行了这种区分，并根据它们所解释的内容进一步将方法分为三类：（1）词嵌入（输入级），（2）NLP模型的内部工作（处理级）和（3）模型的决策（输出级）。我们还详细介绍了不同的评估方法解释性方法在自然语言处理领域。最后，我们在附录中对著名的神经机器翻译进行了案例研究，并提出了ExAI在NLP领域的未来研究方向。
2022-10-13 cs.CL cs.HC
Building Interpretable Interaction Trees for Deep NLP Models
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种方法来解开和量化的字之间的相互作用，编码在一个DNN的自然语言处理。我们构建了一棵树来编码DNN提取的显着交互。提出了六个度量标准来分析句子中成分之间的相互作用的性质。基于单词的Shapley值定义交互作用，Shapley值被认为是单词对网络预测贡献的无偏估计。我们的方法用于量化BERT、ELMo、LSTM、CNN和Transformer网络内部编码的单词交互。实验结果为理解这些DNN提供了一个新的视角，并证明了我们方法的有效性。
2021-01-16 cs.CL cs.LG
NLP-CIC at SemEval-2020 Task 9: Analysing sentiment in code-switching language using a simple deep-learning classifier
CIC, Instituto Politécnico Nacional（墨西哥国立理工学院计算机研究中心）
语码转换是指在同一信息中使用两种或两种以上语言的现象。如今，在社交媒体中发现语言混合的消息是很常见的。这种现象对情感分析提出了挑战。在本文中，我们使用标准的卷积神经网络模型来预测西班牙语和英语混合语言的推文的情绪。我们的简单方法在竞争测试集上获得了0.71的F1分数。我们分析了我们最好的模型能力，并进行错误分析，以暴露在代码切换设置中分类情感的重要困难。
2020-09-07 cs.AI cs.CL
High Throughput Phenotyping of Physician Notes with Large Language and Hybrid NLP Models
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Department of Veterans Affairs（退伍军人事务部）
针对电子健康记录中医生病历的高吞吐深度表型分析需求，研究验证大语言模型与结合词向量和机器学习分类器的混合NLP模型均可高精度完成该任务，指出大语言模型有望成为首选方法。
2024-03-09 cs.AI cs.CL
A Deep Learning Architecture for De-identification of Patient Notes: Implementation and Evaluation
Carnegie Mellon University（卡内基梅隆大学）
去识别是从临床记录中删除18个受保护的健康信息（PHI）的过程，以便将文本视为不可识别的。自然语言处理（NLP）的最新进展已经允许使用深度学习技术来执行去识别任务。在本文中，我们提出了一种深度学习架构，该架构基于最新的NLP进展，通过整合深度上下文化词嵌入和变分丢弃Bi-LSTM。我们在两个黄金标准数据集上测试了该架构，并表明该架构在两个数据集上都实现了最先进的性能，同时在不使用字典或其他知识源的情况下比其他系统更快地收敛。
2018-10-03 cs.CL
Clinical NLP with Attention-Based Deep Learning for Multi-Disease Prediction
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；DePaul University（德保罗大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；Northeastern University（东北大学）；University of Delaware（特拉华大学）
本文提出基于Transformer与多层自注意力的临床文本深度学习方法，在MIMIC-IV上统一实现信息抽取和多标签疾病预测，并通过多种实验验证其优于现有方法且泛化性强。
2025-07-02 cs.CL
NeuronBlocks: Building Your NLP DNN Models Like Playing Lego
Microsoft（微软）
深度神经网络（DNN）已被广泛应用于工业中以解决各种自然语言处理（NLP）任务。然而，许多工程师发现，当他们不得不从多个框架中选择，比较不同类型的模型，并了解各种优化机制时，这是一个很大的开销。DNN模型的NLP工具包具有通用性和灵活性，可以通过节省工程师的学习成本并指导他们找到任务的最佳解决方案来大大提高工程师的生产力。在本文中，我们介绍了NeuronBlocks \footnote{Code: \url{https://github.com/Microsoft/NeuronBlocks}} \footnote{Demo: \url{https://youtu.be/x6cOpVSZcdo}}，一个工具包封装了一套神经网络模块作为构建块，以构建各种具有复杂架构的DNN模型。这个工具包使工程师能够通过简单的JSON文件配置来构建、训练和测试各种NLP模型。在GLUE、WikiQA和CoNLL-2003等NLP数据集上的实验证明了NeuronBlocks的有效性。
2019-10-18 cs.CL
Deep Learning Brasil -- NLP at SemEval-2020 Task 9: Overview of Sentiment Analysis of Code-Mixed Tweets
Federal University of Goiás（戈亚斯联邦大学）
在本文中，我们描述了一种方法来预测情绪代码混合推文（印度英语）。我们的团队在CodaLab中称为verissimo. Verzel开发了一种基于四种模型（MultiFiT，BERT，AL BERT和XLNET）的集成的方法。最终的分类算法是这四个模型的所有softmax值的一些预测的集合。在SemEval 2020挑战赛（任务9）的背景下使用和评估了该架构，我们的系统在F1得分上获得了72.7%。
2020-07-28 cs.CL cs.IR cs.LG
Towards a Deep Multi-layered Dialectal Language Analysis: A Case Study of African-American English
Michigan State University（密歇根州立大学）
目前，自然语言处理（NLP）模型扩散了语言歧视，由于有偏见的结果而导致潜在有害的社会影响。例如，在主流美国英语（MAE）上训练的词性标注器在应用于非洲裔美国英语（AAE）时产生不可解释的结果，这是由于在训练期间没有看到语言特征。在这项工作中，我们结合了一个人在回路中的范例，以更好地了解AAE扬声器的行为和他们的语言使用，并强调方言语言包容性的需要，使母语AAE扬声器可以广泛地与NLP系统进行交互，同时减少被剥夺权利的感觉。
2022-06-03 cs.CL
DoT: An efficient Double Transformer for NLP tasks with tables
Google Research（谷歌研究院）；Symanto Research（Symanto研究院）
基于转换器的方法已经成功地用于在具有半结构化表的自然语言处理（NLP）任务上获得最先进的准确性。这些模型架构通常很深，导致训练和推理缓慢，特别是对于长输入。为了提高效率，同时保持高精度，我们提出了一种新的架构，DoT，一个双Transformer模型，将问题分解为两个子任务：一个浅修剪Transformer，选择前K个令牌，其次是一个深任务特定的Transformer，作为输入的K个令牌。此外，我们修改了特定于任务的注意力，将修剪分数。通过优化特定于任务的损耗来联合训练两个Transformers。我们在三个基准上进行了实验，包括蕴涵和问答。我们发现，对于一个小的准确率下降，DoT将训练和推理时间提高了至少50%。我们还表明，修剪Transformer有效地选择相关的令牌，使端到端的模型，以保持类似的精度较慢的基线模型。最后，我们分析了修剪，并给出了一些洞察其对任务模型的影响。
2021-06-01 cs.CL
A Systematic Review of Natural Language Processing Applied to Radiology Reports
University of Edinburgh（爱丁堡大学）；University of Oxford（牛津大学）
NLP在推进医疗保健方面发挥着重要作用，并且已被发现是从放射学报告中提取结构化信息的关键。了解NLP应用于放射学的最新发展是有意义的，但最近的评论是有限的。本研究系统地评估了NLP应用于放射学报告的最新文献。我们的自动化文献搜索使用自动过滤、元数据丰富步骤和引文搜索结合手动审查产生了4，799个结果。我们的分析基于21个变量，包括放射学特征、NLP方法、性能、研究和临床应用特征。我们对检索到的164篇出版物进行了全面分析，每一篇出版物都被归类为6个临床应用类别之一。深度学习的使用增加了，但传统的机器学习方法仍然很流行。当数据稀缺且几乎没有证据表明可应用于临床实践时，深度学习仍然面临挑战。尽管有17%的研究报告F1分数大于0.85，但由于大多数方法使用不同的数据集，因此很难对这些方法进行比较评估。只有14项研究提供了数据，15项研究提供了代码，10项研究获得了外部验证结果。放射学报告的临床叙述的自动化理解具有增强医疗保健过程的潜力，但是如果该领域要将应用程序转移到临床使用中，则模型的再现性和可解释性是重要的。可以做更多的工作来共享代码，使不同机构数据的方法验证，并减少研究属性报告的异质性，允许研究间的比较。我们的研究结果具有重要意义，为研究人员提供了一个系统的综合现有的工作，建立在，找出差距，合作的机会，避免重复。
2021-02-18 cs.CL
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
University of Science and Technology of China（中国科学技术大学）；UNSW Sydney（新南威尔士大学）；Genmab Inc.（Genmab公司）
基于NLP的计算机视觉模型，特别是视觉Transformer，在许多成像任务中表现优于CNN模型。然而，大多数数字病理学人工智能模型基于CNN架构，这可能是由于缺乏有关病理学图像的NLP模型的数据。在这项研究中，我们开发了数字病理学管道，以基准测试最近提出的五种NLP模型（视觉Transformer（ViT），Swin Transformer，MobileViT，CMT和Sequencer2D）和四种流行的CNN模型（ResNet18，ResNet50，MobileNetV2和EfficientNet），以预测结直肠癌的生物标志物（微卫星不稳定性，CpG岛甲基化表型和BRAF突变）。来自分子和细胞肿瘤学和癌症基因组图谱的苏木精和伊红染色的全载玻片图像分别用作训练和外部验证数据集。交叉研究外部验证显示，基于NLP的模型在生物标志物预测任务中显著优于基于CNN的模型，将总体预测和精度分别提高了约10%和26%。值得注意的是，与当前文献中使用大型训练数据集的现有模型相比，我们的NLP模型使用相对较小的训练数据集实现了所有三种生物标志物的最新预测，这表明大型训练数据集不是NLP模型或Transformers的先决条件，NLP可能更适合于通常收集小型训练数据集的临床研究。Sequencer2D的优越性能表明，在数字病理学领域，有必要对Transformer和双向长短期记忆架构进行进一步的研究…
2023-02-21 cs.CL cs.CV cs.LG
Deep Natural Language Processing for LinkedIn Search Systems
LinkedIn（领英）
许多搜索系统与大量自然语言数据一起工作，搜索查询、用户简档和文档，其中基于深度学习的自然语言处理技术（deep NLP）可以提供很大帮助。在本文中，我们介绍了一个全面的研究应用深度自然语言处理技术的五个代表性的任务在搜索引擎。通过五个任务的模型设计和实验，读者可以找到三个重要问题的答案：（1）深度NLP在搜索系统中什么时候有用/没有帮助？(2)如何应对延迟挑战？(3)如何保证模型的鲁棒性？这项工作建立在LinkedIn搜索的现有努力之上，并在商业搜索引擎上进行了大规模测试。我们相信我们的经验可以为行业和研究界提供有用的见解。
2021-07-30 cs.AI cs.CL
Empirical Evaluation of Multi-task Learning in Deep Neural Networks for Natural Language Processing
Beijing Ultrapower Software Co.,Ltd.（北京神州泰岳软件股份有限公司）；University of Pennsylvania（宾夕法尼亚大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
多任务学习（MTL）旨在通过利用多个相关任务中包含的有用信息来提高每个任务的整体性能。它在自然语言处理（NLP）中取得了巨大的成功。目前，许多MLT架构和学习机制已被提出用于各种NLP任务。然而，没有系统的探索和比较不同的MLT架构和学习机制，其强大的性能深入。在本文中，我们对典型的MTL方法进行了深入的研究，这些方法适用于广泛的代表性NLP任务。我们的主要目标是了解现有MTL方法在NLP任务中的优缺点，从而设计出新的混合架构，旨在结合它们的优势。
2020-08-07 cs.CL cs.LG
Surveying the Landscape of Text Summarization with Deep Learning: A Comprehensive Review
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文全面综述深度学习在文本摘要中的应用，涵盖抽取式、生成式、多文档等任务，总结模型、数据集及挑战，旨在指导技术选择并推动领域发展。
2023-10-13 cs.AI cs.CL cs.LG
Natural Language Processing Advancements By Deep Learning: A Survey
Virginia Polytechnic Institute and State University（弗吉尼亚理工大学）；University of Minnesota Twin Cities（明尼苏达大学双城校区）
自然语言处理（NLP）通过增强对人类语言的更好理解来帮助智能机器进行基于语言的人机通信。计算能力的最新发展和大量语言数据的出现提高了使用数据驱动方法进行自动语义分析的需求。由于在计算机视觉、自动语音识别，特别是NLP等领域使用深度学习方法所表现出的显著改进，数据驱动策略的利用现在很普遍。本调查对受益于深度学习的NLP的不同方面和应用进行了分类和解决。它涵盖了核心NLP任务和应用程序，并描述了深度学习方法和模型如何推进这些领域。我们进一步分析和比较不同的方法和最先进的模型。
2021-02-27 cs.AI cs.CL cs.LG
Deep Sentiment Classification and Topic Discovery on Novel Coronavirus or COVID-19 Online Discussions: NLP Using LSTM Recurrent Neural Network Approach
Nanjing University of Science and Technology（南京理工大学）；Dalhousie University（达尔豪斯大学）；Jiangsu University of Science and Technology（江苏科技大学）
互联网论坛和公共社交媒体，如在线医疗论坛，为关注健康问题的用户（人/患者）提供了一个方便的渠道，以相互讨论和分享信息。2019年12月下旬，据报道爆发了新型冠状病毒（感染导致的疾病称为COVID-19），由于该病毒在世界其他地区迅速传播，世界卫生组织宣布进入紧急状态。在这篇论文中，我们使用了从社交媒体中自动提取与COVID-19相关的讨论，以及基于主题建模的自然语言处理（NLP）方法，从公众舆论中发现与COVID-19相关的各种问题。此外，我们还研究了如何使用LSTM循环神经网络对COVID-19评论进行情感分类。我们的研究结果揭示了利用公众意见和合适的计算技术来理解COVID-19相关问题并指导相关决策的重要性。
2020-04-24 cs.CL cs.IR
