关于NLP深度学习的说明
Notes on Deep Learning for NLP
École Polytechnique（巴黎综合理工学院）
摘要：
关于NLP的深度学习的笔记。
英文摘要：
My notes on Deep Learning for NLP.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
相关论文
使用先进 NLP 与伪标签对临床患者记录进行自动评分
Automated Scoring of Clinical Patient Notes using Advanced NLP and Pseudo Labeling
Northern Arizona University（北亚利桑那大学）；Boston University（波士顿大学）；Trine University（三一大学）；Arizona State University（亚利桑那州立大学）
本文提出结合 MLM 预训练与伪标签的 NLP 方法，用于临床患者记录自动评分，在保持性能的同时减少训练时间并提升评估效果。
cs.CL
利用大语言模型与混合NLP模型实现医生病历的高吞吐表型分析
High Throughput Phenotyping of Physician Notes with Large Language and Hybrid NLP Models
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Department of Veterans Affairs（退伍军人事务部）
针对电子健康记录中医生病历的高吞吐深度表型分析需求，研究验证大语言模型与结合词向量和机器学习分类器的混合NLP模型均可高精度完成该任务，指出大语言模型有望成为首选方法。
cs.AIcs.CL
基于本体论和NLP的儿童不良经历识别
Adverse Childhood Experiences Identification from Clinical Notes with Ontologies and NLP
University College London（伦敦大学学院）；University of Edinburgh（爱丁堡大学）
不良童年经历（ACE）被定义为在整个童年和/或青春期发生的高度压力和潜在创伤性事件或环境的集合。它们已被证明与晚年精神健康疾病或其他异常行为的风险增加有关。然而，利用自然语言处理（NLP）从自由文本电子健康记录（EHR）中识别ACE具有挑战性，因为（a）没有NLP就绪的ACE本体;（b）可用于机器学习的病例有限，需要临床专家的数据注释。我们目前正在开发一种工具，它将使用NLP技术来帮助我们从临床笔记中发现ACE。这将使我们能够进一步研究确定ACE与精神疾病后续发展之间关系的证据（例如，成瘾）在大规模和纵向自由文本EHR，这是以前不可能的。
cs.CLcs.LG
DISCO --基于HPSG的NLP系统及其在预约排程中的应用（项目笔记）
DISCO---An HPSG-based NLP System and its Application for Appointment Scheduling (Project Note)
介绍了自然语言系统DISCO。它结合了o一个强大而灵活的语法开发系统; o德语语言能力，包括词法，语法和语义; o语言性能建模的基础上，高层次的能力语法的新方法; o建模多代理对话能力的新方法; o一个有趣的样本应用程序的预约安排和日历管理。
cmp-lgcs.CL
深度学习应用于NLP
Deep Learning applied to NLP
University of Colorado Colorado Springs（科罗拉多大学科罗拉多泉分校）
卷积神经网络（CNN）通常与计算机视觉相关联。CNN负责图像分类的重大突破，是当今大多数计算机视觉系统的核心。最近，CNN已经被应用于自然语言处理中的问题，并得到了一些有趣的结果。在本文中，我们将尝试解释CNN的基础知识，它的不同变体以及它们如何应用于NLP。
cs.CL
基于NLP的癌症相关EHR笔记信息提取的框架语义概述
A frame semantic overview of NLP-based information extraction for cancer-related EHR notes
School of Biomedical Informatics, The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心生物医学信息学院）；McGovern Medical School, The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心麦戈文医学院）
目的：在电子健康记录（EHR）笔记中有很多关于癌症的信息，这些信息可以用于生物医学研究，前提是自然语言处理（NLP）方法可以提取和结构化这些信息。在本文中，我们对现有的癌症临床NLP文献进行了范围审查。研究方法：我们确定了描述NLP方法的研究，以从PubMed，Google Scholar，ACL Anthology和现有综述的EHR来源中提取特定的癌症相关信息。本研究中使用了两个排除标准。我们排除了使用的提取技术过于广泛而无法表示为框架以及使用非常低水平提取方法的文章。79篇文章被纳入最终审查。我们根据框架语义原则组织这些信息，以帮助识别重叠的共同领域和潜在的差距。结果如下：根据与癌症信息相关的综述文章创建框架，如癌症诊断、肿瘤描述、癌症手术、乳腺癌诊断、前列腺癌诊断和前列腺癌患者疼痛。这些框架既包括定义，也包括特定的框架元素（即可提取属性）。我们发现，癌症诊断是审查论文中最常见的框架（79篇中的36篇），最近的工作重点是提取与治疗和乳腺癌诊断相关的信息。结论：本文中描述的常见框架列表确定了通过现有NLP技术提取的重要癌症相关信息，并为未来需要从EHR笔记中提取癌症信息的研究人员提供了有用的资源。我们还认为，由于癌症NLP系统的大量重复，注释的癌症框架和相应的NLP工具的通用资源将是有价值的。
cs.CLq-bio.QM
更多相关论文收起更多论文
HYPE：一个高性能的NLP系统，用于从电子健康记录中自动检测低血糖事件
HYPE: A High Performing NLP System for Automatically Detecting Hypoglycemia Events from Electronic Health Record Notes
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
低血糖症在糖尿病治疗者中很常见，而且有潜在的危险。电子健康记录（EHR）是低血糖监测的重要资源。在这项研究中，我们报告了基于深度学习的自然语言处理系统的开发和评估，以从电子病历叙述中自动检测低血糖事件。公共卫生专家注释了500名糖尿病患者的EHR笔记。我们使用这个注释数据集来训练和评估HYPE，用于低血糖检测的监督NLP系统。在我们的实验中，卷积神经网络模型在10倍交叉验证设置中产生了有前途的性能$Precision=0.96 \pm 0.03, Recall=0.86 \pm 0.03, F1=0.91 \pm 0.03$。尽管注释的数据是高度不平衡的，我们的基于CNN的HYPE系统仍然实现了高性能的低血糖检测。HYPE可用于基于EHR的低血糖监测，并帮助临床医生及时治疗高危患者。
cs.AIcs.CL
自然语言处理在癌症研究中分析电子健康记录与临床笔记的应用：综述
Natural Language Processing for Analyzing Electronic Health Records and Clinical Notes in Cancer Research: A Review
University of Florida（佛罗里达大学）；University of Sargodha（萨戈达大学）
本综述系统分析了2019-2024年间94项研究，揭示NLP在癌症研究中从规则方法向transformer模型转变的趋势，并指出未来需提升模型泛化能力和临床整合度。
cs.AIcs.CL
迁移学习如何影响深度NLP模型中的语言知识？
How transfer learning impacts linguistic knowledge in deep NLP models?
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
从预先训练好的神经语言模型向下游任务的迁移学习是近年来自然语言处理领域的一个研究热点。一些研究人员已经证明，深度NLP模型学习了在模型的不同层捕获的非平凡数量的语言知识。我们研究了对下游NLP任务的微调如何影响学习到的语言知识。我们使用层和神经元级诊断分类器对流行的预训练模型BERT、RoBERTa和XLNet进行了研究。我们发现，对于某些GLUE任务，网络依赖于核心语言信息，并将其保存在网络的更深处，而对于其他任务，它会忘记。语言信息分布在预训练的语言模型中，但在微调后变得局部化到较低层，为任务特定的知识保留较高层。这种模式在不同的架构中有所不同，与RoBERTa和XLNet相比，BERT在网络中保留的语言信息相对更深，主要是委托给较低的层。
cs.CL
使用深度学习实现NLP：用于社交媒体中攻击性语言识别的卷积神经网络和循环神经网络
Towards NLP with Deep Learning: Convolutional Neural Networks and Recurrent Neural Networks for Offensive Language Identification in Social Media
Imperial College London（帝国理工学院）
这篇简短的论文介绍了在完成SemEval任务6时所采取的设计决策和遇到的挑战，该任务提出了在推文中识别和分类攻击性语言的问题。我们提出的解决方案探索了深度学习技术、线性支持向量分类和随机森林来识别攻击性推文，将攻击分类为有针对性或无针对性，并最终识别目标主题类型。
cs.CL
一种用于患者笔记去识别的深度学习架构：实现与评估
A Deep Learning Architecture for De-identification of Patient Notes: Implementation and Evaluation
Carnegie Mellon University（卡内基梅隆大学）
去识别是从临床记录中删除18个受保护的健康信息（PHI）的过程，以便将文本视为不可识别的。自然语言处理（NLP）的最新进展已经允许使用深度学习技术来执行去识别任务。在本文中，我们提出了一种深度学习架构，该架构基于最新的NLP进展，通过整合深度上下文化词嵌入和变分丢弃Bi-LSTM。我们在两个黄金标准数据集上测试了该架构，并表明该架构在两个数据集上都实现了最先进的性能，同时在不使用字典或其他知识源的情况下比其他系统更快地收敛。
cs.CL
NLP中深度学习的能量和策略考虑
Energy and Policy Considerations for Deep Learning in NLP
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
用于训练神经网络的硬件和方法的最新进展已经迎来了在丰富数据上训练的新一代大型网络。这些模型在许多NLP任务中的准确性都有显著提高。然而，这些精度的提高取决于非常大的计算资源的可用性，这需要类似的大量能量消耗。因此，这些模型的训练和开发在经济上是昂贵的，这是由于硬件和电力或云计算时间的成本，并且在环境上是由于为现代张量处理硬件提供燃料所需的碳足迹。在本文中，我们通过量化训练各种最近成功的NLP神经网络模型的近似财务和环境成本来引起NLP研究人员的注意。基于这些发现，我们提出了可操作的建议，以降低成本，提高NLP研究和实践的公平性。
cs.CL
挖掘临床笔记中的物理康复锻炼信息：自然语言处理算法开发与验证研究
Mining Clinical Notes for Physical Rehabilitation Exercise Information: Natural Language Processing Algorithm Development and Validation Study
University of Pittsburgh（匹兹堡大学）；Umm Al-Qura University（乌姆古拉大学）
本研究开发并比较了多种NLP算法，从卒中患者临床笔记中提取康复锻炼信息，发现基于规则的方法在多数任务中表现最佳，而基于LLM的ChatGPT在特定运动检测上具有优势。
cs.AIcs.CL
NLP4PBM：基于规则、机器与深度学习方法的自然语言处理过程提取系统综述
NLP4PBM: A Systematic Review on Process Extraction using Natural Language Processing with Rule-based, Machine and Deep Learning Methods
Telfer School of Management, University of Ottawa（渥太华大学泰尔弗管理学院）
本文综述了自动化过程提取领域，指出ML/DL方法正越来越多地用于NLP组件且优于经典规则方法，但缺乏黄金标准标注数据集阻碍了客观评估与模型训练，并探讨了LLM在该领域的初步应用与发展前景。
cs.CL
深层NLP模型中的细粒度解释和因果分析
Fine-grained Interpretation and Causation Analysis in Deep NLP Models
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）；Facebook AI（脸书人工智能研究院）
本文是我们在NAACL 2021上展示的关于“深度NLP模型中的细粒度解释和因果关系分析”的教程的撰写。我们从两个角度介绍和讨论了解释模型细粒度组件的研究工作，i）细粒度解释，ii）因果关系分析。前者介绍了关于语言属性或任务来分析单个神经元和一组神经元的方法。后者研究神经元和输入特征在解释模型决策中的作用。我们还讨论了神经元分析的应用，如网络操作和领域自适应。此外，我们还提供了两个工具包，即NeuroX和Captum，它们支持本教程中讨论的功能。
cs.CL
从夹注到集注：面向中文古典文本注疏知识的上下文保留式组织
From Inline Notes to Collected Commentaries: Toward Context-Preserving Organization of Exegetical Knowledge in Classical Chinese Texts
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）
本文提出保留夹注上下文依赖的计算框架，将集注编纂化为NLP任务，在《山海经》案例中CoNLL F1超97%，为历史注疏知识大规模组织及下游任务奠定基础。
cs.CL
深层NLP模型的系统性、组合性和传递性：一个变形测试视角
Systematicity, Compositionality and Transitivity of Deep NLP Models: a Metamorphic Testing Perspective
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap 研究院）
变形测试最近被用来检查神经NLP模型的安全性。它的主要优点是它不依赖于地面实况来生成测试用例。然而，现有的研究大多关注健壮类变质关系，限制了他们可以测试的语言属性的范围。我们提出了三类新的变质关系，解决系统性，组合性和传递性的属性。与鲁棒性不同，我们的关系是在多个源输入上定义的，从而增加了我们可以通过多项式因子产生的测试用例的数量。通过它们，我们测试了最先进的NLP模型的内部一致性，并表明它们并不总是按照预期的语言特性表现。最后，我们引入了一种新的图形符号，有效地总结了内部结构的变质关系。
cs.CL
EasyTransfer --面向NLP应用的简单可扩展深度迁移学习平台
EasyTransfer -- A Simple and Scalable Deep Transfer Learning Platform for NLP Applications
Alibaba Group（阿里巴巴集团）；State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）
文献已经见证了将预训练语言模型（PLM）和迁移学习（TL）算法成功地应用于广泛的自然语言处理（NLP）应用，然而为此目的构建易于使用和可扩展的TL工具包并不容易。为了弥合这一差距，EasyTransfer平台旨在为NLP应用程序开发深度TL算法。EasyTransfer后端具有高性能和可扩展的引擎，可实现高效的训练和推理，并集成了全面的深度TL算法，使工业规模TL应用程序的开发更加容易。在EasyTransfer中，内置的数据和模型并行策略，结合AI编译器优化，比社区版本的分布式训练快4.0倍。EasyTransfer支持ModelZoo中的各种NLP模型，包括主流PLM和多模态模型。它还具有各种内部开发的TL算法，以及用于NLP应用程序的AppZoo。该工具包方便用户快速开始模型训练、评估和在线部署。EasyTransfer目前部署在阿里巴巴，支持多种业务场景，包括商品推荐、个性化搜索、会话式问答等。在真实数据集和在线应用上的大量实验表明，EasyTransfer适合在线生产，并具有各种应用的尖端性能。EasyTransfer的源代码发布在Github（https：//github.com/alibaba/EasyTransfer）。
cs.CL
在自然语言处理教学中平衡经典方法与深度学习方法
Striking a Balance between Classical and Deep Learning Approaches in Natural Language Processing Pedagogy
University of New South Wales（新南威尔士大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）
本文针对NLP教学中经典与深度学习方法的平衡问题，结合澳印两门入门课程的实践，类比CS1教育的相关争论，论证了经典方法对构建学生直观理解的价值，主张其应被纳入当前NLP课程。
cs.CL
用通用数据模型实现便携式临床NLP系统-Lisp透视
Implementing a Portable Clinical NLP System with a Common Data Model - a Lisp Perspective
Northwestern University（西北大学）；MIT（麻省理工学院）
本文提出了一种Lisp架构的便携式NLP系统，称为LAPNLP，用于处理临床笔记。LAPNLP集成了多种标准、定制和内部开发的NLP工具。我们的系统通过整合丰富的通用数据模型（CDM）来标准化必要的数据元素，从而促进了不同机构和数据系统之间的可移植性。它利用UMLS进行领域自适应时，集成通用领域自然语言处理工具。它还具有通过原始文档的位置参照指定的支座注释。我们建立了一个基于区间树的搜索引擎，通过指定位置要求来有效地查询和检索支座注释。我们还开发了一个实用程序，将内联注释格式转换为stand-off注释，以便重用具有内联注释的临床文本数据集。我们用我们的系统进行了几个NLP促进任务的实验，包括淋巴瘤患者的计算表型分析和临床笔记的语义关系抽取。这些实验展示了LAPNLP更广泛的适用性和实用性。
cs.AIcs.CL
SemEval-2020的CS-NLP团队任务4：在常识推理任务上评估最先进的NLP深度学习架构
CS-NLP team at SemEval-2020 Task 4: Evaluation of State-of-the-art NLP Deep Learning Architectures on Commonsense Reasoning Task
Western Michigan University（西密歇根大学）；Virginia Commonwealth University（弗吉尼亚联邦大学）
在本文中，我们研究了一个常识推理任务，统一自然语言理解和常识推理。我们描述了我们在SemEval-2020任务4竞赛中的尝试：常识验证和解释（ComVE）挑战。我们讨论了几种最先进的深度学习架构来应对这一挑战。我们的系统使用准备好的标记文本数据集，这些数据集是针对三个不同的自然语言推理子任务手动策划的。第一个子任务的目标是测试模型是否能够区分有意义和无意义的自然语言语句。我们比较了几种语言模型和微调分类器的性能。然后，我们提出了一种受问答任务启发的方法，将分类问题视为多项选择题任务，以提高我们的实验结果的性能（96.06%），这明显优于基线。对于第二个子任务，即选择一个陈述没有意义的原因，我们站在前六个团队（93.7%）的27名参与者中，结果非常有竞争力。我们的结果为最后一个子任务的生成原因对无意义的声明显示了许多潜力，为未来的研究，因为我们应用了最强大的语言生成模型（GPT-2）与6.1732 BLEU得分在前四个团队。
cs.CL
进度说明理解--评估和计划推理：2022年N2C2轨道3共享任务概述
Progress Note Understanding -- Assessment and Plan Reasoning: Overview of the 2022 N2C2 Track 3 Shared Task
University of Wisconsin Madison（威斯康星大学麦迪逊分校）；Loyola University Chicago（芝加哥洛约拉大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard University（哈佛大学）；George Mason University（乔治梅森大学）
每日进展记录是电子健康记录（EHR）中的常见类型，医疗保健提供者记录患者的每日进展和治疗计划。EHR旨在记录为患者提供的所有护理，但它也使笔记膨胀，其中包含无关的信息，分散了诊断和治疗计划的注意力。自然语言处理（NLP）在电子病历中的应用是一个不断发展的领域，其中大多数方法都是信息抽取。很少有任务使用NLP方法来支持下游诊断决策。我们介绍了2022年国家NLP临床挑战赛（N2 C2）轨道3：进度说明理解-评估和计划推理，作为迈向一套新任务的一步。评估和计划推理任务侧重于包含健康问题和诊断的进度记录、评估和计划小节中最关键的组成部分。该任务的目标是开发和评估NLP系统，该系统自动预测评估部分中包含的患者整体状态与包含诊断和治疗计划的计划部分的每个组成部分之间的因果关系。该任务的目标是识别诊断并确定诊断的优先级，作为诊断决策支持的第一步，以便在日常进度记录等长文档中找到最相关的信息。我们介绍了2022年n2 c2轨道3的结果，并提供了数据，评估，参与和系统性能的描述。
cs.AIcs.CL
基于生成式AI与合成病历的跨机构牙科电子健康记录实体抽取
Cross-Institutional Dental EHR Entity Extraction via Generative AI and Synthetic Notes
The University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）；University of California San Francisco（加利福尼亚大学旧金山分校）；Willamette Dental Group（威拉米特牙科集团）；Skourtes Institute（斯库特斯研究所）
本文提出利用GPT-4生成合成病历以微调RoBERTa模型，实现跨机构牙科电子健康记录中牙周诊断信息的精准实体抽取，在两个数据集上取得0.98以上的高准确率，展示了生成式AI与NLP在提升牙科诊断记录质量方面的潜力。
cs.CL
深层NLP模型的神经元层次解释
Neuron-level Interpretation of Deep NLP Models: A Survey
Dalhousie University（达尔豪斯大学）；Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
深度神经网络在各个领域的扩散已经看到了对这些模型的可解释性的增加的需求。在这方面所做的初步工作和调查这方面的文件，都集中在高级别代表性分析。然而，最近的一个分支的工作集中在更细粒度的分析这些模型中的神经元的可解释性。在本文中，我们综述了在神经元分析方面所做的工作，包括：i）发现和理解网络中神经元的方法，ii）评估方法，iii）主要发现，包括神经元分析所揭示的跨架构比较，iv）神经元探测的应用，例如：控制模型，领域自适应等，以及v）讨论未解决的问题和未来的研究方向。
cs.CL
从临床精神病学笔记中提取社会支持和社会隔离信息：基于规则的NLP系统与大型语言模型的比较
Extracting Social Support and Social Isolation Information from Clinical Psychiatry Notes: Comparing a Rule-based NLP System and a Large Language Model
Weill Cornell Medicine（威尔康奈尔医学院）；Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院）；Mayo Clinic（梅奥诊所）；Columbia University Vagelos College of Physicians and Surgeons（哥伦比亚大学瓦格洛斯内科医生与外科医生学院）；New York State Psychiatric Institute（纽约州精神病学研究所）
本文比较了基于规则的NLP系统与FLAN-T5-XL大型语言模型在临床精神病学笔记中提取社会支持和社会隔离信息的效果，发现规则系统在所有指标上均优于大语言模型，并分析了二者方法差异及各自优势。
cs.CL
基于深度自然语言处理的抑郁症模型的跨人口统计学可移植性
Cross-Demographic Portability of Deep NLP-Based Depression Models
Ellipsis Health, Inc.（埃利普西斯健康公司）
本文研究基于NLP的抑郁症预测模型在不同年龄人群间的可移植性，发现模型从年轻人语料库迁移到老年人语料库时性能仅适度下降，AUC从0.82降至0.76，且健康状况稳定的老年患者子集AUC可达0.81。
cs.CL
识别深度神经网络中多任务学习的有益任务关系
Identifying beneficial task relations for multi-task learning in deep neural networks
University of Copenhagen（哥本哈根大学）
NLP的深度神经网络中的多任务学习（MTL）最近受到了越来越多的关注，因为它有一些引人注目的好处，包括它有可能有效地正则化模型并减少对标记数据的需求。虽然它在许多NLP任务中带来了显着的改进，但报告的结果好坏参半，并且对MTL导致NLP收益的条件知之甚少。本文揭示了特定的任务关系，可以导致收益MTL模型在单任务设置。
cs.CL
基于深度学习的自然语言处理的最新趋势
Recent Trends in Deep Learning Based Natural Language Processing
Beijing Institute of Technology（北京理工大学）；National University of Singapore（新加坡国立大学）；Temasek Laboratories（淡马锡实验室）；Nanyang Technological University（南洋理工大学）
深度学习方法采用多个处理层来学习数据的分层表示，并在许多领域产生了最先进的结果。近年来，在自然语言处理（NLP）的背景下，各种模型设计和方法已经蓬勃发展。在本文中，我们回顾了许多NLP任务中使用的重要深度学习相关模型和方法，并提供了它们的演变过程。本文还对各种模型进行了总结、比较和对比，对深度学习在自然语言处理中的过去、现在和未来提出了详细的认识。
cs.CL
基于深度学习的自然语言处理在自由文本医疗叙述中的医疗不良事件检测：全髋关节置换脱位检测案例研究
Natural Language Processing with Deep Learning for Medical Adverse Event Detection from Free-Text Medical Narratives: A Case Study of Detecting Total Hip Replacement Dislocation
Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Karolinska Institutet（卡罗林斯卡学院）；Sahlgrenska University Hospital（萨尔格伦斯卡大学医院）
从自由文本医学叙述中准确和及时地检测医学不良事件（AE）是一项挑战。具有深度学习的自然语言处理（NLP）在分析自由文本数据方面已经显示出巨大的潜力，但其在医疗AE检测方面的应用有限。在这项研究中，我们提出了基于深度学习的NLP（DL-NLP）模型，用于从标准（放射学记录）和非标准（随访电话记录）自由文本医学叙述中有效准确地检测全髋关节置换术后的髋关节脱位AE。我们将这些提出的模型与各种传统的基于机器学习的NLP（ML-NLP）模型进行了基准测试，并评估了国际疾病分类（ICD）和当前手术术语（CPT）代码在多中心骨科登记研究中捕获这些髋关节脱位AE的准确性。所有DL-NLP模型的性能均优于所有ML-NLP模型，其中卷积神经网络（CNN）模型的整体性能最佳（放射学笔记的Kappa = 0.97，随访电话笔记的Kappa = 1.00）。另一方面，髋关节脱位AE患者的ICD/CPT代码准确率仅为75.24%，表明所提出的模型有可能用于大规模骨科登记研究，以准确有效地检测髋关节脱位AE，从而改善护理质量和患者结局。
cs.CLcs.IRcs.LG
探索针对罕见标注语言的深度NLP系统的迁移学习
Exploring transfer learning for Deep NLP systems on rarely annotated languages
University of Rostock（罗斯托克大学）
本文研究在印地语与尼泊尔语之间应用迁移学习进行词性标注，发现联合训练词嵌入结合BLSTM-CNN-CRF模型能有效提升低资源语言的标注性能。
cs.CL
如何保持文本私密？用于隐私保护自然语言处理的深度学习方法的系统综述
How to keep text private? A systematic review of deep learning methods for privacy-preserving natural language processing
Know-Center GmbH（Know-Center有限公司）；Graz University of Technology（格拉茨技术大学）
用于自然语言处理（NLP）任务的深度学习（DL）模型通常处理私人数据，需要保护以防止违规和泄露。数据保护法律，如欧盟的一般数据保护条例（GDPR），从而加强了对隐私的需求。虽然近年来提出了许多隐私保护的NLP方法，但尚未引入组织它们的类别，因此很难跟踪文献的进展。为了缩小这一差距，本文系统地回顾了2016年至2020年期间发表的60多种隐私保护NLP的DL方法，包括理论基础，隐私增强技术以及对现实场景的适用性分析。首先，我们引入了一种新的分类法，将现有的方法分为三类：数据保护方法，可信方法和验证方法。其次，我们对隐私威胁、应用程序数据集和隐私评估指标进行了广泛的总结。第三，在整个审查过程中，我们从整体上描述了NLP管道中的隐私问题。此外，我们还讨论了隐私保护NLP在数据可追溯性、计算开销、数据集大小、嵌入中人类偏见的普遍性以及隐私-效用权衡方面面临的挑战。最后，本文提出了未来的研究方向，以指导后续的研究和发展的隐私保护NLP模型。
cs.CL
通过临床记录自然语言处理识别的存在问题性阿片类药物使用的退伍军人与使用诊断代码识别者的比较
A Comparison of Veterans with Problematic Opioid Use Identified through Natural Language Processing of Clinical Notes versus Using Diagnostic Codes
Washington DC VA Medical Center（华盛顿特区退伍军人医疗中心）；George Washington University（乔治华盛顿大学）；Georgetown University School of Medicine（乔治城大学医学院）
本研究面向222,371名退伍军人，比较NLP临床记录识别与ICD诊断代码识别问题性阿片类药物使用的患者特征，证明NLP可有效发现诊断代码遗漏人群。
cs.AIcs.CLcs.LG
扩大深度NLP模型中潜在概念的发现规模
Scaling up Discovery of Latent Concepts in Deep NLP Models
Qatar Computing Research Institute（卡塔尔计算研究所）
针对预训练模型潜在概念发现的凝聚式层次聚类成本高、规模受限问题，本文研究聚类算法，提出概念质量评估指标，发现基于K-Means的方法在保质量的同时大幅提效，并验证其可扩展至LLMs与短语概念。
cs.CL
针对来源混杂的后门调整用于多机构临床文本的鲁棒文本分类
Backdoor Adjustment of Confounding by Provenance for Robust Text Classification of Multi-institutional Clinical Notes
University of Washington（华盛顿大学）；University of Minnesota（明尼苏达大学）
针对多机构临床数据整合带来的来源混杂偏差问题，本研究在药物滥用标注的多站点临床文本数据集上，验证了后门调整可有效缓解分布偏移、提升文本分类鲁棒性。
cs.CL
对应用深度CNN增强自然语言处理能力的深入研究
A Thorough Investigation into the Application of Deep CNN for Enhancing Natural Language Processing Capabilities
University of Missouri（密苏里大学）
本文针对传统NLP模型在准确性和效率上的不足，提出整合深度卷积神经网络（DCNN）、机器学习算法和生成对抗网络（GAN）的方法，显著提升了分词、词性标注等任务的性能，分割准确率提高10%，召回率提升4%。
cs.CL
沙漠中的一粒沙是什么？分析深度NLP模型中的单个神经元
What Is One Grain of Sand in the Desert? Analyzing Individual Neurons in Deep NLP Models
Qatar Computing Research Institute, HBKU Research Complex（卡塔尔计算研究所，哈马德·本·哈利法大学研究中心）；MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
尽管深度神经网络在自然语言处理（NLP）中取得了显著的进步，但其可解释性仍然是一个挑战。以前的工作主要集中在这些模型在表示级别上学习什么。我们进一步分解这种分析，并研究NLP任务中端到端神经模型学习的向量表示中的各个维度（神经元）。我们提出两种方法：语言相关性分析，基于监督方法提取与外部任务最相关的神经元，以及跨模型相关性分析，一种无监督方法提取与外部任务最相关的突出神经元。模型本身。我们通过消融识别出的神经元并重新评估两项任务的网络性能来评估我们的技术的有效性：神经机器翻译（NMT）和神经语言建模（NLM）。我们进一步提出了一个全面的神经元分析，旨在解决以下问题：i）如何本地化或分布的模型中的不同的语言属性？ii）某些神经元是否只具有某些特性而不具有其他特性？iii）信息在NMT和NLM中的分布是否更大或更小？以及iv）通过语言相关方法识别的神经元对整体任务有多重要？我们的代码作为NeuroX工具包的一部分公开提供（Dalvi et al. 2019）。
cs.CL
用于深度自然语言处理模型神经元分析的 NeuroX 库
NeuroX Library for Neuron Analysis of Deep NLP Models
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所（哈马德·本·哈利法大学））；Dalhousie University（达尔豪斯大学）
本文提出开源工具包 NeuroX，通过统一 API、数据处理和评估框架，简化深度自然语言处理模型的神经元分析，支持去偏、领域适应和架构搜索等应用。
cs.CL
使用自然语言处理从阿尔茨海默病患者临床笔记中提取睡眠信息
Extraction of Sleep Information from Clinical Notes of Patients with Alzheimer's Disease Using Natural Language Processing
University of Pittsburgh（匹兹堡大学）
本研究利用自然语言处理技术从阿尔茨海默病患者临床笔记中自动提取睡眠信息，开发了基于规则、机器学习和LLM的方法，其中基于规则的算法在F1和PPV上表现最佳，为大规模睡眠-AD关联研究提供了高效工具。
cs.AIcs.CL
深度学习模型在自然语言处理中的解释
Interpreting Deep Learning Models in Natural Language Processing: A Review
Georgia Institute of Technology（佐治亚理工学院）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Amazon Alexa AI（亚马逊 Alexa AI）；Carnegie Mellon University（卡内基梅隆大学）；Zhejiang University（浙江大学）
神经网络模型已经在广泛的自然语言处理（NLP）任务中取得了最先进的性能。然而，对神经网络模型的长期批评是缺乏可解释性，这不仅降低了神经NLP系统的可靠性，而且限制了它们在可解释性至关重要的领域（例如，保健应用）。作为回应，近年来对解释神经NLP模型的兴趣越来越大，激发了各种各样的解释方法。在这篇综述中，我们对NLP中神经模型的各种解释方法进行了全面的回顾。我们首先对NLP中的解释方法进行了高级分类，即，基于训练的方法、基于测试的方法和混合方法。接下来，我们详细描述每个类别中的子类别，例如，基于影响函数的方法、基于KNN的方法、基于注意力模型的方法、基于显著性的方法、基于扰动的方法等。
cs.CL
通过NLP与深度学习提升航空安全：ATSB安全报告中的飞行阶段分类
Aviation Safety Enhancement via NLP & Deep Learning: Classifying Flight Phases in ATSB Safety Reports
University of New South Wales（新南威尔士大学）
本研究针对航空安全报告的飞行阶段分类需求，采用NLP与LSTM、CNN等深度学习模型分析ATSB安全报告，其中LSTM性能最优，可实现安全事件分析自动化，助力航空安全提升。
cs.CLcs.LG
NLP的可解释文本神经元表示
Interpretable Textual Neuron Representations for NLP
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
输入优化方法，如Google Deep Dream，为计算机视觉DNN创建了可解释的神经元表示。我们提出并评估了将这项技术转移到NLP的方法。我们的研究结果表明，梯度上升与gumbel softmax层产生的n-gram表示，在目标神经元激活方面优于幼稚语料库搜索。这些表征突出了Imaginet架构的语言和视觉模型之间的语法意识差异。
cs.CL
为您的企业采用NLP时需要考虑的成本
Costs to Consider in Adopting NLP for Your Business
Kata.ai Research Team（Kata.ai研究团队）；Universitas Indonesia（印度尼西亚大学）
自然语言处理（NLP）的最新进展在很大程度上推动了基于深度转换器的模型成为最先进的技术，而无需过多考虑生产和使用成本。计划在业务中采用这些方法的公司面临困难，因为缺乏机器，数据和人力资源来构建它们。我们比较的性能和成本的经典学习算法的最新的共同序列和文本标记任务。在我们的工业数据集中，我们发现经典模型的性能通常与深度神经模型相当，尽管成本较低。我们展示了各个模型中性能增益和成本之间的权衡，以提供更多关于AI枢转业务的见解。此外，我们呼吁对低成本模型进行更多研究，特别是针对资源不足的语言。
cs.CL
用于深度NLP建模的张量积生成网络
Tensor Product Generation Networks for Deep NLP Modeling
Microsoft Research AI（微软研究院人工智能）；Johns Hopkins University（约翰斯·霍普金斯大学）；Citadel（城堡投资）；University of Florida（佛罗里达大学）
我们提出了一种用于自然语言处理（NLP）的深度网络设计的新方法，该方法基于用于编码和处理分布式神经网络中符号结构的张量积表示（TPR）的通用技术。提出了一种网络架构--张量积生成网络（TPGN）--它在原则上能够进行TPR计算，但使用无约束的深度学习来设计其内部表示。在图像标题生成模型中实例化，TPGN在COCO数据集上进行评估时优于LSTM基线。具有TPR能力的结构能够解释内部表示和操作，这些表示和操作被证明包含相当多的语法内容。我们的标题生成模型可以被解释为生成语法类别序列，并从编码为分布式表示的计划中按类别检索单词。
cs.CLcs.CV
NLP食谱：基于Transformer的深度学习架构的现代食谱
The NLP Cookbook: Modern Recipes for Transformer based Deep Learning Architectures
University of Bridgeport（桥港大学）
近年来，自然语言处理（NLP）模型在语言和语义任务中取得了惊人的成功，如文本分类、机器翻译、认知对话系统、通过自然语言理解（NLU）的信息检索和自然语言生成（NLG）。这一壮举主要归功于开创性的Transformer架构，导致了BERT，GPT（I，II，III）等设计，虽然这些大尺寸的模型已经取得了前所未有的性能，他们在高计算成本。因此，最近的一些NLP架构已经利用了迁移学习、修剪、量化和知识蒸馏的概念来实现适度的模型大小，同时保持与其前辈几乎相似的性能。此外，为了从知识提取的角度减轻由语言模型引起的数据大小挑战，已经构建了知识检索器以更高的效率和准确性从大型数据库语料库中提取显式数据文档。最近的研究也集中在通过对较长的输入序列提供有效的注意力来进行高级推理。在本文中，我们总结并研究了当前最先进的（SOTA）NLP模型，这些模型已用于众多NLP任务，以获得最佳性能和效率。我们提供了对不同架构的详细理解和功能，NLP设计的分类，比较评估以及NLP的未来方向。
cs.CLcs.LG
使用BiDAF作为示例架构的NLP中深度网络的有效性
Effectiveness of Deep Networks in NLP using BiDAF as an example architecture
Stanford Center for Professional Development（斯坦福专业发展中心）
通过高级模型架构的发展，如BERT和Birobot，以及更早的基于单词、字符和上下文的嵌入，NLP的问答已经取得了进展。由于BERT已经跨越了模型的准确性，下一个前沿领域的一个元素可以是引入深度网络和训练它们的有效方法。在这种情况下，我探索了深度网络的有效性，重点是Biodynamic的模型编码器层。具有异构层的Bioscience不仅提供了探索深度网络的有效性的机会，而且还提供了评估在较低层中进行的改进是否可以添加到模型架构的上层中进行的改进的机会。我相信NLP中下一个最伟大的模型实际上会像BERT一样融合在一个坚实的语言建模中，它具有一个复合架构，除了通用语言建模之外，它还将带来改进，并将拥有一个更广泛的分层架构。我试验了Bypass网络、Residual Highway网络和DenseNet架构。此外，我还评估了集成网络最后几层的有效性。我还研究了将字符嵌入添加到词嵌入中所产生的差异，以及这种影响是否与深度网络叠加。我的研究表明，深度网络实际上是有效的。此外，像嵌入这样的底层改进可以通过添加到通过深度网络获得的收益中。
cs.CLcs.LG
基于Siamese神经网络的临床自然语言处理少样本学习
Few-Shot Learning for Clinical Natural Language Processing Using Siamese Neural Networks
University of Pittsburgh（匹兹堡大学）
临床自然语言处理（NLP）已成为医疗保健领域的一项新兴技术，它利用电子健康记录（EHR）中的大量自由文本数据来改善患者护理，支持临床决策，并促进临床和转化科学研究。最近，深度学习在许多临床NLP任务中取得了最先进的性能。然而，训练深度学习模型通常需要大型带注释的数据集，这些数据集通常不公开，并且在临床领域中构建可能非常耗时。在临床NLP中，使用较小的注释数据集是典型的，因此，确保深度学习模型表现良好对于模型在现实世界中的应用至关重要。一种被广泛采用的方法是微调现有的预训练语言模型（PLM），但当训练数据集只包含少量注释样本时，这些尝试就显得不够了。少样本学习（FSL）最近被研究来解决这个问题。连体神经网络（SNN）作为一种FSL方法在计算机视觉中得到了广泛的应用，但在自然语言处理中还没有得到很好的研究。此外，关于其在临床领域应用的文献很少。在本文中，我们提出了两种基于SNN的临床NLP FSL方法，包括预训练SNN（PT-SNN）和SNN与二阶嵌入（SOE-SNN）。我们评估了两个临床任务，即临床文本分类和临床命名实体识别所提出的方法。我们测试了三种Few-Shot设置，包括4次、8次和16次学习。两个临床NLP任务都使用三个PLM进行基准测试，包括BERT、BioBERT和BioClinicalBERT。实验结果验证了所提出的基于SNN的FSL方法在两个NLP任务中的有效性。
cs.CL
发现深度 NLP 模型中的显著神经元
Discovering Salient Neurons in Deep NLP Models
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Dalhousie University（达尔豪斯大学）
本文提出语言相关性分析方法，用于识别深度 NLP 模型中承载特定语言属性的显著神经元，并通过细粒度分析揭示其层次分布、冗余性、微调迁移规律及跨模型与跨语言差异。
cs.CL
基于深度学习的自然语言处理中的模型可解释性
Model Explainability in Deep Learning Based Natural Language Processing
Wells Fargo（富国银行）
机器学习（ML）模型的可解释性越来越受到关注，特别是在与模型风险和法规相关的领域。本文回顾和比较了一些流行的ML模型解释性方法，特别是与自然语言处理（NLP）模型相关的方法。然后，我们将NLP可解释性方法之一分层相关传播（LRP）应用于NLP分类模型。我们使用LRP方法为实例中的每个单词获得相关性得分，这是一种局部可解释性。然后将相关性得分聚合在一起以实现模型的全局变量重要性。通过案例研究，我们还展示了如何将局部可解释性方法应用于误报和漏报实例，以发现NLP模型的弱点。这些分析可以帮助我们更好地理解NLP模型，并降低由于NLP模型的黑箱性质而带来的风险。我们还确定了由于NLP模型的特殊性质而导致的一些常见问题，并讨论了可解释性分析如何在模型训练后作为检测这些问题的控制。
cs.AIcs.CL
自然语言处理中早退深度神经网络综述
A Survey of Early Exit Deep Neural Networks in NLP
Department of IEOR, IIT Bombay（印度理工学院孟买分校工业与运筹工程系）
本文针对大规模DNN计算成本高、需适配样本难度的问题，系统综述了通过在不同层附加分类器实现自适应推理的早退策略，及其在NLP领域的应用与降延迟、提鲁棒性的优势。
cs.CLcs.LG
自解释结构对NLP模型的改进
Self-Explaining Structures Improve NLP Models
Zhejiang University（浙江大学）；Computer Center of Peking University（北京大学计算中心）；Peng Cheng Laboratory（鹏城实验室）
现有的解释NLP中深度学习模型的方法通常存在两个主要缺点：（1）主模型和解释模型是解耦的：使用额外的探测或代理模型来解释现有模型，因此现有的解释工具不是自解释的;（2）探测模型只能通过计算单个单词的显着性分数来解释模型的预测，但在高层次上是笨拙的。级别文本单元，如短语、句子或段落。为了解决这两个问题，在本文中，我们为自然语言处理中的深度学习模型提出了一个简单而通用且有效的自解释框架。所提出的框架的关键点是在任何现有的NLP模型之上添加一个额外的层，如解释层所称。该层聚合每个文本跨度的信息，然后将其与特定权重相关联，并将其加权组合馈送到softmax函数以进行最终预测。所提出的模型具有以下优点：（1）跨度权重使模型具有自解释性，并且不需要额外的探测模型进行解释;（2）所提出的模型是通用的，可以适应NLP中任何现有的深度学习结构;（3）与每个文本跨度相关联的权重为更高级别的文本单元（如短语和句子）提供直接的重要性得分。我们第一次表明，可解释性并不以性能为代价：自解释功能的神经模型比没有自解释功能的神经模型获得了更好的性能，在SST-5上实现了59.1的新SOTA性能，在SNLI上实现了92.3的新SOTA性能。
cs.CL
文本分类的深度NLP模型的统一认识
A Unified Understanding of Deep NLP Models for Text Classification
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）；Cardiff University（卡迪夫大学）
用于文本分类的深度自然语言处理（NLP）模型的快速发展导致了对单独提出的这些模型的统一理解的迫切需要。现有的方法不能满足在一个框架中理解不同模型的需要，这是由于缺乏一个统一的措施来解释低水平（例如，字）和高级（例如，短语）特征。我们开发了一个可视化分析工具DeepNLPVis，以实现对文本分类的NLP模型的统一理解。其核心思想是一个基于互信息的度量，它提供了关于模型的每一层如何保持样本中输入单词信息的定量解释。我们在每一层对词内和词间信息进行建模，以测量词对最终预测的重要性以及词之间的关系，例如短语的形成。一个多层次的可视化，它包括语料库级，样本级，和单词级的可视化，支持从整体训练集到单个样本的分析。两个关于分类任务和模型之间比较的案例研究表明，DeepNLPVis可以帮助用户有效地识别样本和模型架构引起的潜在问题，然后做出明智的改进。
cs.CLcs.LG
深入探究国际关系语言：基于NLP的UNESCO总结记录分析
Deep Dive into the Language of International Relations: NLP-based Analysis of UNESCO's Summary Records
University of Warsaw（华沙大学）；NASK (National Research Institute)（NASK（国家研究院））
本研究针对UNESCO遗产列入引发的国际冲突，开发了基于总结记录的主题建模与紧张局势检测方法，准确率达72%，并构建了辅助外交等人员高效检索的应用。
cs.CL
PyText：从NLP研究到生产的无缝路径
PyText: A Seamless Path from NLP research to production
Facebook Conversational AI（Facebook对话式AI）；Facebook AI
我们介绍了PyText -一个基于PyTorch的基于深度学习的NLP建模框架。PyText解决了快速实验和大规模服务模型之间经常发生冲突的需求。它通过为模型组件提供简单和可扩展的接口，并通过使用PyTorch的导出模型的功能，通过优化的Caffe 2执行引擎进行推理来实现这一点。我们报告了我们自己将实验和生产工作流程迁移到PyText的经验，这使我们能够更快地开发新的建模想法，然后以工业规模无缝地交付它们。
cs.CL
基于深度学习的自然语言处理中解决类不平衡的方法综述
A Survey of Methods for Addressing Class Imbalance in Deep-Learning Based Natural Language Processing
Bosch Center for Artificial Intelligence（博世人工智能中心）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）
许多自然语言处理（NLP）任务自然是不平衡的，因为某些目标类别比现实世界中的其他目标类别出现得更频繁。在这种情况下，当前的NLP模型在不太频繁的类上仍然表现不佳。解决NLP中的类不平衡是一个活跃的研究课题，然而，为特定的任务和不平衡场景找到一个好的方法是困难的。通过这项调查，我们首次对基于深度学习的NLP中的类不平衡进行了概述，为NLP研究人员和实践者处理不平衡数据提供了指导。我们首先讨论各种类型的控制和现实世界的阶级不平衡。然后，我们的调查涵盖了为类不平衡的NLP任务明确提出的方法，或者起源于计算机视觉社区的方法，已经对其进行了评估。我们组织的方法，无论是基于采样，数据增强，选择损失函数，分阶段学习，或模型设计。最后，我们讨论了开放的问题，如处理多标签场景，并提出系统的基准和报告，以推动这个问题作为一个社区。
cs.AIcs.CL
基于注意力深度学习的临床自然语言处理用于多疾病预测
Clinical NLP with Attention-Based Deep Learning for Multi-Disease Prediction
University of Massachusetts Boston（马萨诸塞大学波士顿分校）；DePaul University（德保罗大学）；University of California, Davis（加利福尼亚大学戴维斯分校）；Northeastern University（东北大学）；University of Delaware（特拉华大学）
本文提出基于Transformer与多层自注意力的临床文本深度学习方法，在MIMIC-IV上统一实现信息抽取和多标签疾病预测，并通过多种实验验证其优于现有方法且泛化性强。
cs.CL
是时候去Swish了吗？跨NLP任务比较深度学习激活函数
Is it Time to Swish? Comparing Deep Learning Activation Functions Across NLP tasks
Ubiquitous Knowledge Processing Lab (UKP-TUDA)（普适知识处理实验室（UKP-TUDA））；Department of Computer Science（计算机科学系）；Technische Universität Darmstadt（达姆施塔特工业大学）
激活函数在神经网络中起着至关重要的作用，因为它们是归因于深度学习成功故事的非线性。目前最流行的激活函数之一是ReLU，但最近已经提出或“发现”了几个竞争对手，包括LReLU函数和swish。虽然大多数作品在少数任务（通常来自图像分类）上比较新提出的激活函数，并与少数竞争对手（通常是ReLU）进行比较，但我们在8个不同的NLP任务中对21个激活函数进行了首次大规模比较。我们发现，一个很大程度上未知的激活函数执行最稳定的所有任务，所谓的惩罚双曲正切函数。我们还表明，它可以成功地取代LSTM单元中的sigmoid和tanh门，在具有挑战性的NLP任务中，比标准选择提高了2个百分点。
cs.CLcs.LGcs.NE
论自然语言处理深层模型的可解释性
On the Explainability of Natural Language Processing Deep Models
American University of Beirut（贝鲁特美国大学）
虽然最近在图像和表格数据上操作的深度模型上的ExplainableAI ExAI工作激增，但文本数据集给ExAI社区带来了新的挑战。这些挑战可以归因于文本数据中缺乏输入结构，使用词嵌入增加了模型的不透明性，以及在文本数据上训练深度模型时难以可视化其内部工作。最近，已经开发出了解决上述挑战的方法，并对自然语言处理（NLP）模型给出了令人满意的解释。然而，这些方法还有待在一个全面的框架内加以研究，在这个框架内适当地说明共同的挑战，并提出严格的评价做法和衡量标准。出于民主化ExAI方法在NLP领域，我们在这项工作中提出了一项调查，研究模型不可知以及模型特定的解释方法对NLP模型。这些方法可以开发内在可解释的NLP模型，也可以以事后方式对预先训练的模型进行操作。我们进行了这种区分，并根据它们所解释的内容进一步将方法分为三类：（1）词嵌入（输入级），（2）NLP模型的内部工作（处理级）和（3）模型的决策（输出级）。我们还详细介绍了不同的评估方法解释性方法在自然语言处理领域。最后，我们在附录中对著名的神经机器翻译进行了案例研究，并提出了ExAI在NLP领域的未来研究方向。
cs.CLcs.HC
为深度NLP模型构建可解释的交互树
Building Interpretable Interaction Trees for Deep NLP Models
Shanghai Jiao Tong University（上海交通大学）
本文提出了一种方法来解开和量化的字之间的相互作用，编码在一个DNN的自然语言处理。我们构建了一棵树来编码DNN提取的显着交互。提出了六个度量标准来分析句子中成分之间的相互作用的性质。基于单词的Shapley值定义交互作用，Shapley值被认为是单词对网络预测贡献的无偏估计。我们的方法用于量化BERT、ELMo、LSTM、CNN和Transformer网络内部编码的单词交互。实验结果为理解这些DNN提供了一个新的视角，并证明了我们方法的有效性。
cs.CLcs.LG
NLP-CIC在SemEval-2020任务9：使用简单的深度学习分类器分析语码转换语言中的情感
NLP-CIC at SemEval-2020 Task 9: Analysing sentiment in code-switching language using a simple deep-learning classifier
CIC, Instituto Politécnico Nacional（墨西哥国立理工学院计算机研究中心）
语码转换是指在同一信息中使用两种或两种以上语言的现象。如今，在社交媒体中发现语言混合的消息是很常见的。这种现象对情感分析提出了挑战。在本文中，我们使用标准的卷积神经网络模型来预测西班牙语和英语混合语言的推文的情绪。我们的简单方法在竞争测试集上获得了0.71的F1分数。我们分析了我们最好的模型能力，并进行错误分析，以暴露在代码切换设置中分类情感的重要困难。
cs.AIcs.CL
深层多层次的方言语言分析--以非裔美国人英语为例
Towards a Deep Multi-layered Dialectal Language Analysis: A Case Study of African-American English
Michigan State University（密歇根州立大学）
目前，自然语言处理（NLP）模型扩散了语言歧视，由于有偏见的结果而导致潜在有害的社会影响。例如，在主流美国英语（MAE）上训练的词性标注器在应用于非洲裔美国英语（AAE）时产生不可解释的结果，这是由于在训练期间没有看到语言特征。在这项工作中，我们结合了一个人在回路中的范例，以更好地了解AAE扬声器的行为和他们的语言使用，并强调方言语言包容性的需要，使母语AAE扬声器可以广泛地与NLP系统进行交互，同时减少被剥夺权利的感觉。
cs.CL
