Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing
Microsoft Research（微软研究院）
动机：生物医学研究人员和临床从业人员面临的一个长期挑战是跟上出版物和医学笔记的快速增长。自然语言处理（NLP）已经成为驯服信息过载的一个有前途的方向。特别是，大型神经语言模型通过对未标记文本进行预训练来促进迁移学习，例如BERT模型在各种NLP应用中的成功。然而，为最终任务微调这些模型仍然具有挑战性，特别是对于生物医学NLP中常见的小标记数据集。结果：我们对生物医学自然语言处理中的微调稳定性进行了系统的研究。我们表明，微调性能可能是敏感的预训练设置，特别是在低资源域。大型模型有可能获得更好的性能，但增加模型大小也会加剧微调的不稳定性。因此，我们进行了全面的探索技术解决微调不稳定性。我们表明，这些技术可以大大提高微调性能低资源的生物医学NLP应用。具体来说，冻结较低层对标准BERT-BASE模型有帮助，而逐层衰减对BERT-LARGE和ELECTRA模型更有效。对于低资源文本相似性任务（如BIOSSES），重新初始化顶层是最佳策略。总体而言，特定领域的词汇和预训练有助于更强大的模型进行微调。基于这些发现，我们在广泛的生物医学NLP应用中建立了最新的技术水平。可用性和实施：为了促进生物医学NLP的进步，我们发布了最先进的预训练和微调模型：https://aka.ms/BLURB。
2021-12-15 cs.CL cs.LG
Using Rule-Based Labels for Weak Supervised Learning: A ChemNet for Transferable Chemical Property Prediction
PNNL（太平洋西北国家实验室）
通过访问大型数据集，深度神经网络（DNN）在图像和语音识别任务中实现了人类水平的准确性。然而，在化学中，数据本身就很小，而且很分散。在这项工作中，我们开发了一种使用基于规则的知识来训练ChemNet的方法，ChemNet是一种用于化学性质预测的可转移和可推广的深度神经网络，它以弱监督的方式从大型未标记的化学数据库中学习。当结合迁移学习方法来预测其他较小的化学性质数据集时，我们发现ChemNet的准确性优于使用传统监督学习训练的当代DNN模型。此外，我们证明了ChemNet预训练方法在CNN（Chemception）和RNN（SMILES2vec）模型上同样有效，这表明这种方法与网络架构无关，并且在多种数据模式中有效。我们的研究结果表明，一个预先训练的ChemNet，结合化学领域的知识，使开发的通用神经网络更准确地预测新的化学性质。
2018-03-18 cs.AI cs.CV cs.LG
Transferable Neural Processes for Hyperparameter Optimization
Tencent AI Lab（腾讯人工智能实验室）；College of Information Science and Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院）
自动化机器学习旨在自动化机器学习的整个过程，包括模型配置。在本文中，我们专注于自动超参数优化（HPO）的顺序基于模型的优化（SMBO）的基础上。虽然传统的SMBO算法在丰富的HPO试验可用时工作良好，但它们在实际应用中远非令人满意，其中在巨大数据集上的试验可能是如此昂贵，以至于期望在尽可能少的试验中返回最佳超参数配置。观察到人类专家通过尝试曾经在其他数据集上表现良好的配置来利用他们在机器学习模型中的专业知识，我们受到启发，通过转移其他数据集上历史HPO试验的知识来加速HPO。我们提出了一种端到端的高效HPO算法，称为转移神经过程（TNP），它通过在其他数据集上进行试验来实现迁移学习，使用良好的广义参数初始化模型，并学习一组初始超参数来进行评估。在大量OpenML数据集和三个计算机视觉数据集上的实验表明，该模型可以在至少一个数量级的试验中达到最先进的性能。
2019-09-10 cs.AI cs.LG stat.ML
TARGET: Template-Transferable Backdoor Attack Against Prompt-based NLP Models via GPT4
Jinan University（暨南大学）；Guangzhou Xuanyuan Research Institute Co., Ltd.（广州轩辕研究院有限公司）；The Hong Kong Polytechnic University（香港理工大学）
本文提出TARGET方法，利用GPT4生成语气强烈模板作为后门触发器，并生成语气相似模板实现可迁移攻击，在多个NLP数据集和BERT模型上验证了其优于基线方法的攻击性能与隐蔽性。
2023-11-29 cs.AI cs.CL
Robust Tickets Can Transfer Better: Drawing More Transferable Subnetworks in Transfer Learning
Georgia Institute of Technology（佐治亚理工学院）；Rice University（莱斯大学）
本文提出一种基于对抗鲁棒性提取子网络的新迁移学习流程，证明鲁棒彩票比普通彩票子网络更具可迁移性，并在多任务与稀疏模式下实现更好的准确率-稀疏性权衡。
2025-01-04 cs.LG
A Novel Method For Designing Transferable Soft Sensors And Its Application
K.N.Toosi University of Technology（K.N.图西理工大学）；APAC Research Group（APAC研究组）
本文提出了一种新的方法来设计可转移的软测量。软测量是数据驱动方法在电厂状态监测中的重要应用之一。虽然硬传感器可以很容易地用于各种工厂，但软传感器仅限于它们所设计的特定工厂，不能用于新工厂，甚至不能用于同一工厂的一些新工作条件。在本文中，提出了一种解决方案，在数据驱动的状态监测系统的这一潜在的障碍。数据驱动方法的缺点在于，构建模型所依据的数据的分布可能与模型将被应用到的数据的分布不同。这最终导致模型精度的下降。提出了一种新的基于迁移学习（TL）的回归方法，称为领域对抗神经网络回归（DANN-R），并将其用于设计可迁移软测量。我们使用从工业电厂的SCADA系统收集的数据，全面调查所提出的方法的功能。结果表明，所提出的可转移软测量可以成功地适应新的植物。
2020-11-18 cs.LG cs.SY eess.SP
Node-wise Domain Adaptation Based on Transferable Attention for Recognizing Road Rage via EEG
Tianjin University（天津大学）；University of Electronic Science and Technology of China（电子科技大学）；Tianjin University of Traditional Chinese Medicine（天津中医药大学）
路怒症是一个值得关注的社会问题，但迄今为止研究甚少。本文基于多通道脑电信号的生物学拓扑结构，提出了一种结合可转移注意力（TA）和正则化图神经网络（RGNN）的脑电信号识别模型。首先，对EEG信号进行拓扑感知信息聚合，动态学习通道之间的复杂关系。然后，每个通道的可转移性被量化的基础上的结果的节点明智的域分类器，这是用来作为注意力得分。我们招募了10名受试者，并在模拟驾驶条件下收集了他们在愉悦和愤怒状态下的脑电信号。我们在这个数据集上验证了我们的方法的有效性，并与其他方法进行了比较。结果表明，该方法简单有效，跨学科实验的准确率为85.63%。它可以用来识别路怒症。我们的数据和代码是可用的。https://github.com/1CEc0ffee/dataAndCode.git
2022-11-06 cs.LG eess.SP
Transferable Neural Projection Representations
Mila, Université de Montréal（蒙特利尔大学米拉研究所）；Google Research（谷歌研究院）；Google（谷歌）
神经词表示是许多最先进的自然语言处理模型的核心。一种广泛使用的方法是预训练，存储和查找单词或字符嵌入矩阵。虽然有用，但这种表示占用了巨大的内存，难以在设备上部署，并且由于词汇修剪，通常不会推广到未知单词。在本文中，我们提出了一个跳跃的基础架构加上局部敏感哈希（LSH）预测学习高效的动态可计算表示。我们的模型不需要存储查找表，因为表示是动态计算的，需要很低的内存占用。这些表示可以以无监督的方式进行训练，并且可以很容易地转移到其他NLP任务中。对于定性评估，我们分析了最近的邻居的单词表示，并发现语义相似的单词，即使拼写错误。为了进行定量评估，我们将可转移投影插入到一个简单的LSTM中，并在多个NLP任务上运行它，并展示了与以前的工作相比，我们的可转移投影如何实现更好的性能。
2019-06-04 cs.AI cs.CL cs.LG
NOTABLE: Transferable Backdoor Attacks Against Prompt-based NLP Models
Rutgers University（罗格斯大学）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出可迁移后门攻击方法 NOTABLE，通过自适应 verbalizer 将触发器绑定到锚点并注入预训练语言模型编码器，使其独立于下游任务和提示策略，在多个 NLP 任务上攻击成功率超过 90%。
2023-05-28 cs.CL cs.CR
Audio Description Generation in the Era of LLMs and VLMs: A Review of Transferable Generative AI Technologies
University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科技大学）
本文综述了LLM和VLM时代用于音频描述（AD）自动生成的可迁移NLP与CV技术，探讨了前沿方法的应用并指出了未来研究方向。
2024-10-11 cs.CL cs.CV
Meta-KD: A Meta Knowledge Distillation Framework for Language Model Compression across Domains
Zhejiang Lab（之江实验室）；Alibaba Group（阿里巴巴集团）
预训练的语言模型已被应用于各种NLP任务，具有相当大的性能增益。然而，大的模型大小，加上较长的推理时间，限制了这种模型在实时应用中的部署。一种模型压缩方法考虑了知识蒸馏，将大型教师模型蒸馏成小型学生模型。这些研究大多集中在单一领域，忽略了其他领域的可转移知识。我们注意到，训练一个跨领域消化可转移知识的教师可以实现更好的泛化能力，以帮助知识蒸馏。因此，我们提出了一个Meta-知识蒸馏（Meta-KD）框架，建立一个元教师模型，捕获跨领域的可转移知识，并将这些知识传递给学生。具体来说，我们明确地迫使元教师从多个域中捕获实例级和特征级的可转移知识，然后提出一种元蒸馏算法，在元教师的指导下学习单域学生模型。在公共多领域自然语言处理任务上的实验表明了该框架的有效性和优越性。此外，我们还证明了元KD的能力，在设置中的训练数据是稀缺的。
2022-11-02 cs.CL
Story Ending Prediction by Transferable BERT
Harbin Institute of Technology（哈尔滨工业大学）
最近的进展，如GPT和BERT，已经成功地结合了预先训练的Transformer语言模型和微调操作，以改善下游NLP系统。然而，这个框架仍然有一些基本的问题，有效地将其他相关任务的监督知识。在这项研究中，我们研究了一个可转移的BERT（transBERT）训练框架，它不仅可以从大规模的未标记数据中转移一般的语言知识，而且可以从各种语义相关的监督任务中转移特定种类的知识，用于目标任务。特别地，我们提出利用三种转移任务，包括自然语言推理，情感分类和下一个动作预测，以进一步训练BERT的基础上预先训练的模型。这使模型能够为目标任务获得更好的初始化。我们以故事结局预测为目标任务进行实验。最终结果的准确率为91.8%，大大优于以前最先进的基线方法。几个对比实验为迁移任务的选择提供了有益的建议。误差分析显示了基于BERT的故事结局预测模型的优点和缺点。
2019-05-21 cs.CL cs.LG
Post-hoc Interpretability for Neural NLP: A Survey
École Polytechnique de Montréal（蒙特利尔综合理工学院）；Mila（米拉研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
本文综述了神经自然语言处理中的事后可解释性方法，系统分类其解释方式、深入分析各类方法并讨论验证问题，以促进模型的安全、伦理与问责。
2023-11-28 cs.CL cs.LG cs.NE
Schema Encoding for Transferable Dialogue State Tracking
POSTECH（浦项科技大学）；Graduate School of Artificial Intelligence（人工智能研究生院）
对话状态跟踪是面向任务的对话系统的一个重要子任务。最近的工作集中在DST的深度神经模型上。然而，神经模型需要大量的数据集进行训练。此外，将它们应用到另一个领域需要一个新的数据集，因为神经模型通常被训练来模仿给定的数据集。在本文中，我们提出了可转移对话状态跟踪（SETDST），这是一个神经DST方法有效地转移到新的域模式编码。可转移的DST可以帮助对话系统的发展，即使在目标领域的数据集很少。我们使用模式编码器不仅仅是为了模仿数据集，而是为了理解数据集的模式。我们的目标是通过编码新的模式并将其用于多域设置上的DST来将模型转移到新的域。因此，SET-DST在MultiWOZ 2.1上将接头精度提高了1.46个点。
2022-10-05 cs.CL
Pretraining with Artificial Language: Studying Transferable Knowledge in Language Models
The University of Tokyo（东京大学）
我们研究了在神经网络编码器中学习到的什么样的结构知识可以转移到处理自然语言中。我们设计具有模仿自然语言的结构属性的人工语言，对数据进行预训练编码器，并查看编码器在自然语言的下游任务中表现出多大的性能。我们的实验结果表明，使用具有嵌套依赖结构的人工语言进行预训练提供了一些可转移到自然语言的知识。后续的探测分析表明，它的成功转移与编码的语境信息量有关，转移的是语言的位置感知语境依赖知识。我们的研究结果为神经网络编码器如何处理人类语言以及最近多语言语言模型的跨语言可转移性的来源提供了见解。
2022-03-22 cs.CL
A Cross-Domain Transferable Neural Coherence Model
Borealis AI（Borealis人工智能公司）；McGill University（麦吉尔大学）；Mila（米拉研究所）
连贯是文本质量的一个重要方面，对保证文本的可读性至关重要。现有连贯性模型的一个重要限制是，在一个域上的训练不容易推广到看不见的文本类别。以前的工作提倡跨领域泛化的生成模型，因为对于区分模型，在训练期间要区分的不连贯句子顺序的空间非常大。在这项工作中，我们提出了一个局部判别神经模型，具有更小的负采样空间，可以有效地学习不正确的排序。所提出的连贯性模型结构简单，但在华尔街日报语料库的标准基准数据集上，以及在维基百科文章中转移到看不见的话语类别的多个新的具有挑战性的设置中，它显着优于以前的最先进的方法。
2019-07-09 cs.CL
SqueezeBERT: What can computer vision teach NLP about efficient neural networks?
UC Berkeley（加州大学伯克利分校）
人类每天阅读和编写数千亿条信息。此外，由于大型数据集、大型计算系统和更好的神经网络模型的可用性，自然语言处理（NLP）技术在理解、校对和组织这些消息方面取得了重大进展。因此，在无数应用程序中部署NLP以帮助Web用户，社交网络和企业是一个重要的机会。特别是，我们认为智能手机和其他移动设备是大规模部署NLP模型的关键平台。然而，当今高精度的NLP神经网络模型，如BERT和RoBERTa，计算成本非常高，BERT-base需要1.7秒才能在Pixel 3智能手机上对文本片段进行分类。在这项工作中，我们观察到分组卷积等方法为计算机视觉网络带来了显着的加速，但其中许多技术尚未被NLP神经网络设计者采用。我们演示了如何用分组卷积替换自注意层中的几个操作，并在一种名为SqueezeBERT的新型网络架构中使用这种技术，该架构在Pixel 3上的运行速度比BERT-base快4.3倍，同时在GLUE测试集上实现了有竞争力的准确性。SqueezeBERT代码将被释放。
2020-06-19 cs.CL cs.CV cs.LG
Graph Neural Networks for Natural Language Processing: A Survey
Pinterest（拼趣）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；Zhejiang University（浙江大学）；IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）；Central China Normal University（华中师范大学）；Nanjing University（南京大学）；Simon Fraser University（西蒙弗雷泽大学）
深度学习已成为处理自然语言处理（NLP）中各种任务的主要方法。虽然文本输入通常表示为一系列标记，但有各种各样的NLP问题可以用图结构最好地表达。因此，人们对在图上开发新的深度学习技术以用于大量NLP任务的兴趣激增。在本综述中，我们对用于自然语言处理的图神经网络（GNNs）进行了全面的概述。我们提出了一种新的NLP GNN分类法，它沿着三个轴系统地组织了NLP GNN的现有研究：图构造、图表示学习和基于图的编码器-解码器模型。我们进一步介绍了大量的NLP应用程序，这些应用程序正在利用GNN的力量，并总结了相应的基准数据集，评估指标和开源代码。最后，我们讨论了充分利用GNNs进行NLP的各种突出挑战以及未来的研究方向。据我们所知，这是第一次全面概述图神经网络的自然语言处理。
2022-10-20 cs.CL cs.LG
Analyzing and Interpreting Convolutional Neural Networks in NLP
University of California, Santa Barbara（加州大学圣巴巴拉分校）
卷积神经网络已成功地应用于各种NLP任务。然而，这是不明显的，他们是否模拟不同的语言模式，如否定，强化，和小句组合，以帮助决策过程。在本文中，我们应用可视化技术来观察模型如何捕捉不同的语言特征，以及这些特征如何影响模型的性能。随后，我们尝试识别模型误差及其来源。我们认为，解释CNN是理解潜在语义特征的第一步，这可以提高人们的意识，以进一步提高CNN模型的性能和可解释性。
2018-10-18 cs.CL cs.LG stat.ML
A Survey of Early Exit Deep Neural Networks in NLP
Department of IEOR, IIT Bombay（印度理工学院孟买分校工业与运筹工程系）
本文针对大规模DNN计算成本高、需适配样本难度的问题，系统综述了通过在不同层附加分类器实现自适应推理的早退策略，及其在NLP领域的应用与降延迟、提鲁棒性的优势。
2025-01-13 cs.CL cs.LG
Data Augmentation for Neural NLP
University of Zagreb, Faculty of Electrical Engineering and Computing（萨格勒布大学电气工程与计算学院）；Text Analysis and Knowledge Engineering Lab（文本分析与知识工程实验室）
数据稀缺是一个问题，发生在语言和任务中，我们没有大量的标记数据，但希望使用最先进的模型。此类模型通常是需要大量数据来进行训练的深度学习模型。获取各种机器学习问题的数据伴随着高标签成本。数据增强是解决数据稀缺问题的一种低成本方法。本文概述了当前用于自然语言处理的最先进的数据增强方法，重点是神经和基于转换器的模型的方法。此外，它还讨论了数据增强的实际挑战，可能的缓解措施和未来研究的方向。
2023-02-22 cs.CL cs.LG
Towards NLP with Deep Learning: Convolutional Neural Networks and Recurrent Neural Networks for Offensive Language Identification in Social Media
Imperial College London（帝国理工学院）
这篇简短的论文介绍了在完成SemEval任务6时所采取的设计决策和遇到的挑战，该任务提出了在推文中识别和分类攻击性语言的问题。我们提出的解决方案探索了深度学习技术、线性支持向量分类和随机森林来识别攻击性推文，将攻击分类为有针对性或无针对性，并最终识别目标主题类型。
2019-04-02 cs.CL
PerD: Perturbation Sensitivity-based Neural Trojan Detection Framework on NLP Applications
University of California San Diego（加州大学圣地亚哥分校）
深度神经网络（DNN）已被证明易受特洛伊木马攻击。神经木马是一种有针对性的中毒攻击，它将后门嵌入受害者，并由输入空间中的触发器激活。DNN在关键系统中的部署越来越多，外包DNN培训的激增（这使得特洛伊木马攻击更容易）使得检测特洛伊木马攻击变得必要。虽然神经木马检测已经在图像领域进行了研究，但在NLP领域缺乏解决方案。在本文中，我们提出了一个模型级的木马检测框架，通过分析的偏差模型输出时，我们引入了一个特制的扰动输入。特别是，我们提取模型的响应扰动输入的“签名”的模型和训练的元分类器，以确定是否一个模型是木马基于其签名。我们在我们创建的NLP模型数据集和来自TrojAI的特洛伊NLP模型公共数据集上证明了我们提出的方法的有效性。此外，我们提出了一个轻量级的变化，我们的检测方法，减少检测时间，同时保持检测率。
2022-08-08 cs.CL cs.CR cs.LG
Unsupervised Non-transferable Text Classification
Singapore University of Technology and Design（新加坡科技设计大学）
训练一个好的深度学习模型需要大量的数据和计算资源，这使得生成的神经模型成为一个有价值的知识产权。为了防止神经网络被不期望地利用，已经提出了不可转移学习来降低模型在特定目标域中的泛化能力。然而，现有的方法需要标记的目标域的数据，这可能是难以获得的。此外，它们没有机制来恢复模型访问目标域的能力。在本文中，我们提出了一种新的无监督的不可转移的学习方法的文本分类任务，不需要注释的目标域数据。我们进一步介绍了一个秘密密钥组件在我们的方法恢复访问目标域，在那里我们设计了一个显式和隐式的方法这样做。大量的实验证明了我们方法的有效性。
2023-02-19 cs.AI cs.CL
What matters in a transferable neural network model for relation classification in the biomedical domain?
Indian Institute of Technology Guwahati（印度理工学院古瓦哈提分校）
缺乏足够的标记数据通常会限制高级机器学习算法对现实生活问题的适用性。然而，有效地使用迁移学习（TL）已被证明是非常有用的跨域。TL利用在一个任务（源任务）中学习到的有价值的知识，其中有足够的数据，以感兴趣的任务（目标任务）。在生物医学和临床领域，缺乏足够的训练数据不允许充分利用机器学习模型是相当常见的。在这项工作中，我们提出了两个统一的递归神经模型，导致三个迁移学习框架的关系分类任务。我们系统地研究了所提出的框架在与源任务和目标任务相关的多个方面下传递知识的有效性，例如，源任务和目标任务之间的相似性或相关性，以及源任务的训练数据的大小。我们的实证结果表明，所提出的框架一般提高模型的性能，但这些改进依赖于与源和目标任务相关的方面。这种依赖关系最终决定了特定TL框架的选择。
2017-08-14 cs.CL
Low-Resource Adaptation of Neural NLP Models
Faculty of Mathematics and Natural Sciences（数学与自然科学学院）
自然语言处理（NLP）的实际应用具有挑战性。NLP模型严重依赖监督机器学习，需要大量带注释的数据。这些资源通常基于大量可用的语言数据，例如英语新闻专线。然而，在NLP的实际应用中，文本资源在几个维度上存在差异，例如语言，方言，主题和体裁。找到足够数量和质量的注释数据具有挑战性。本论文的目的是研究在信息抽取和自然语言理解中处理这种低资源场景的方法。为此，我们研究了远程监督和顺序迁移学习在各种低资源设置。我们开发和调整神经NLP模型，以探索一些研究问题，最少或没有训练数据的NLP任务。
2020-11-09 cs.CL
NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；National Research University Higher School of Economics（国立研究型大学高等经济学院）
神经结构搜索（NAS）是一个很有前途和快速发展的研究领域。训练大量的神经网络需要大量的计算能力，这使得NAS对于那些无法访问或无法访问高性能集群和超级计算机的研究人员来说是无法实现的。最近引入了一些具有预先计算的神经架构性能的基准测试来克服这个问题，并确保更多的可重复实验。然而，这些基准测试仅适用于计算机视觉领域，因此是从图像数据集和卷积衍生架构构建的。在这项工作中，我们走出计算机视觉领域，利用语言建模任务，这是自然语言处理（NLP）的核心。我们的主要贡献如下：我们在文本数据集上提供了递归神经网络的搜索空间，并在其中训练了14 k架构;我们使用语义相关性和语言理解评估数据集对训练模型进行了内在和外在评估;最后，我们测试了几种NAS算法，以证明如何利用预先计算的结果。我们相信我们的研究结果对NAS和NLP社区都有很高的使用潜力。
2020-06-12 cs.CL cs.LG stat.ML
A Survey on Out-of-Distribution Evaluation of Neural NLP Models
Deakin University（迪肯大学）；VinUniversity（文莱大学）
本综述探讨了神经NLP模型的分布外（OOD）评估，在统一定义下比较了对抗鲁棒性、领域泛化和数据集偏差三个研究方向，总结了各自的数据生成过程与评估协议，并指出了未来的挑战与机遇。
2023-06-27 cs.CL
FreeDOM: A Transferable Neural Architecture for Structured Information Extraction on Web Documents
University of Southern California（南加利福尼亚大学）；Google（谷歌）
从HTML文档中提取结构化数据是一个长期研究的问题，具有广泛的应用，如增强知识库，支持分面搜索，并为购物和电影等关键垂直领域提供特定领域的体验。以前的方法要么需要每个目标网站的少量示例，要么依赖于在网站视觉渲染上构建的精心手工的启发式方法。在本文中，我们提出了一种新的两阶段神经方法，称为自由DOM，它克服了这些限制。第一阶段通过结合文本和标记信息来学习页面中每个DOM节点的表示。第二阶段使用关系神经网络捕获较长范围的距离和语义相关性。通过结合这些阶段，Freedom能够在该垂直领域的少量种子站点上进行训练后推广到看不见的站点，而无需在页面的视觉渲染上使用昂贵的手工制作功能。通过在8个不同垂直领域的公共数据集上进行实验，我们发现FreeDOM平均比之前的技术水平高出近3.7个F1点，而不需要渲染页面上的功能或昂贵的手工制作功能。
2020-10-21 cs.CL cs.IR
Empirical Evaluation of Multi-task Learning in Deep Neural Networks for Natural Language Processing
Beijing Ultrapower Software Co.,Ltd.（北京神州泰岳软件股份有限公司）；University of Pennsylvania（宾夕法尼亚大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
多任务学习（MTL）旨在通过利用多个相关任务中包含的有用信息来提高每个任务的整体性能。它在自然语言处理（NLP）中取得了巨大的成功。目前，许多MLT架构和学习机制已被提出用于各种NLP任务。然而，没有系统的探索和比较不同的MLT架构和学习机制，其强大的性能深入。在本文中，我们对典型的MTL方法进行了深入的研究，这些方法适用于广泛的代表性NLP任务。我们的主要目标是了解现有MTL方法在NLP任务中的优缺点，从而设计出新的混合架构，旨在结合它们的优势。
2020-08-07 cs.CL cs.LG
Neural Unsupervised Domain Adaptation in NLP---A Survey
University of Trento（特伦托大学）；ITU Copenhagen（哥本哈根信息技术大学）
深度神经网络擅长从标记数据中学习，并在各种自然语言处理任务中实现最先进的结果。相比之下，从未标记数据中学习，特别是在域转移下，仍然是一个挑战。受最新进展的启发，在这次调查中，我们回顾了神经无监督领域自适应技术，不需要标记的目标域数据。这是一个更具挑战性但适用范围更广的设置。我们概述了从早期传统的非神经方法到预训练模型转移的方法。我们还重新审视了域的概念，我们发现了最受关注的自然语言处理任务类型的偏见。最后，我们概述了未来的发展方向，特别是对未来NLP的分布外泛化的更广泛需求。
2020-10-28 cs.CL
Reverse Transfer Learning: Can Word Embeddings Trained for Different NLP Tasks Improve Neural Language Models?
KU Leuven（鲁汶大学）；Apple Inc.（苹果公司）
自然语言处理（NLP）任务往往受到缺乏适当注释的训练数据的影响，因此最近迁移学习在各种各样的任务中取得了成功。典型的食谱包括：（i）训练具有与语言建模相关的目标的深度的、可能是双向的神经网络，对于该目标，训练数据是丰富的;以及（ii）使用训练的网络来导出比诸如word 2 vec的标准线性词嵌入丰富得多的上下文表示，并且因此导致重要的增益。在这项工作中，我们想知道相反的观点是否也是正确的：为不同的NLP任务训练的上下文表示是否可以改善语言建模本身？由于语言模型（LM）主要是局部优化的，其他NLP任务可以帮助它们基于文档的整个语义结构做出更好的预测。我们测试了神经LM中几种类型的预训练嵌入的性能，并研究了是否有可能通过用域分类模型预训练的嵌入使LM更了解全局语义信息。初步实验表明，只要在训练过程中使用适当的客观标准，预训练的嵌入可能对神经语言建模有益。
2019-09-09 cs.CL
SJTU-NLP at SemEval-2018 Task 9: Neural Hypernym Discovery with Term Embeddings
Shanghai Jiao Tong University（上海交通大学）；Huazhong University of Science and Technology（华中科技大学）
本文描述了我们参与SemEval-2018任务9的上位词发现系统，该系统旨在发现输入概念或实体的最佳（一组）候选上位词，给定预定义词汇的搜索空间。我们介绍了一个神经网络架构的有关任务，并实证研究各种神经网络模型，以建立潜在空间的单词和短语的表示。评价模型包括卷积神经网络、长短期记忆网络、门控递归单元和递归卷积神经网络。我们还探索了不同的嵌入方法，包括词嵌入和意义嵌入，以获得更好的性能。
2018-05-26 cs.CL
Analyzing and Interpreting Neural Networks for NLP: A Report on the First BlackboxNLP Workshop
Tilburg University（蒂尔堡大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
EMNLP 2018研讨会BlackboxNLP致力于专门开发的资源和技术，用于分析和理解语言神经模型获得的内部工作和表示。办法包括：系统地操纵神经网络的输入并调查对其性能的影响，测试可解释的知识是否可以从神经网络获得的中间表示中解码，提出对神经网络架构的修改以使其知识状态或生成的输出更可解释，并检查简化或形式语言上的网络性能。在这里，我们回顾了每个类别中的一些代表性研究。
2019-04-05 cs.CL stat.ML
Visualizing and Understanding Neural Models in NLP
Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）
虽然神经网络已经成功地应用于许多自然语言处理任务，但由此产生的基于向量的模型非常难以解释。例如，不清楚它们如何实现{ \em组合性}，从单词和短语的意义中构建句子意义。在本文中，我们描述了四种策略，可视化NLP神经模型中的组合性，灵感来自计算机视觉的类似工作。我们首先绘制单位值来可视化否定、强化和让步从句的组合性，让我们看到否定中众所周知的标记不对称。然后，我们介绍了三种简单而直接的方法来可视化一个单元的{ \em显着性}，它对最终组成的意义的贡献量：（1）梯度反向传播，（2）从平均单词节点的令牌的方差，（3）LSTM风格的门，测量信息流。我们使用简单的递归网络和LSTM来测试我们的方法。我们的通用方法可能在理解深度网络的组合性和其他语义属性方面具有广泛的应用，并且还揭示了为什么LSTM优于简单的递归网络，
2016-01-08 cs.CL
Time to Embrace Natural Language Processing (NLP)-based Digital Pathology: Benchmarking NLP- and Convolutional Neural Network-based Deep Learning Pipelines
University of Science and Technology of China（中国科学技术大学）；UNSW Sydney（新南威尔士大学）；Genmab Inc.（Genmab公司）
基于NLP的计算机视觉模型，特别是视觉Transformer，在许多成像任务中表现优于CNN模型。然而，大多数数字病理学人工智能模型基于CNN架构，这可能是由于缺乏有关病理学图像的NLP模型的数据。在这项研究中，我们开发了数字病理学管道，以基准测试最近提出的五种NLP模型（视觉Transformer（ViT），Swin Transformer，MobileViT，CMT和Sequencer2D）和四种流行的CNN模型（ResNet18，ResNet50，MobileNetV2和EfficientNet），以预测结直肠癌的生物标志物（微卫星不稳定性，CpG岛甲基化表型和BRAF突变）。来自分子和细胞肿瘤学和癌症基因组图谱的苏木精和伊红染色的全载玻片图像分别用作训练和外部验证数据集。交叉研究外部验证显示，基于NLP的模型在生物标志物预测任务中显著优于基于CNN的模型，将总体预测和精度分别提高了约10%和26%。值得注意的是，与当前文献中使用大型训练数据集的现有模型相比，我们的NLP模型使用相对较小的训练数据集实现了所有三种生物标志物的最新预测，这表明大型训练数据集不是NLP模型或Transformers的先决条件，NLP可能更适合于通常收集小型训练数据集的临床研究。Sequencer2D的优越性能表明，在数字病理学领域，有必要对Transformer和双向长短期记忆架构进行进一步的研究…
2023-02-21 cs.CL cs.CV cs.LG
Interpreting Graph Neural Networks for NLP With Differentiable Edge Masking
University of Amsterdam（阿姆斯特丹大学）；University of Edinburgh（爱丁堡大学）
图神经网络（GNN）已成为将结构归纳偏差集成到NLP模型中的流行方法。然而，很少有人解释它们，特别是理解图的哪些部分（例如语法树或共指结构）有助于预测。在这项工作中，我们引入了一种事后方法来解释GNN的预测，该方法可以识别不必要的边缘。给定一个经过训练的GNN模型，我们学习一个简单的分类器，对于每一层中的每个边缘，预测该边缘是否可以被丢弃。我们证明，这样的分类器可以训练在一个完全可区分的方式，采用随机门，并鼓励稀疏通过预期的$L_0$规范。我们使用我们的技术作为一种归因方法来分析GNN模型的两个任务-问答和语义角色标注-提供洞察这些模型中的信息流。我们表明，我们可以在不降低模型性能的情况下丢弃大部分边缘，同时我们可以分析剩余的边缘以解释模型预测。
2022-10-03 cs.CL cs.LG stat.ML
A Comparative Study on Regularization Strategies for Embedding-based Neural Networks
Peking University（北京大学）；University of Chinese Academy of Sciences（中国科学院大学）
本文旨在比较不同的正则化策略，以解决一个常见的现象，严重过拟合，在基于嵌入的神经网络的自然语言处理。我们选择了两个被广泛研究的神经模型和任务作为我们的测试平台。我们尝试了几种常用的或新提出的正则化策略，包括惩罚权重（嵌入除外），惩罚嵌入，重新嵌入单词和dropout。我们还强调了增量超参数调整，并结合不同的正则化。研究结果为神经NLP模型的超参数调整提供了一种思路。
2015-08-15 cs.CL cs.LG
Evaluating neural network explanation methods using hybrid documents and morphological agreement
Center for Information and Language Processing（信息与语言处理中心）；LMU Munich（慕尼黑大学）
深度神经网络（DNN）的行为很难理解。这就需要探索事后解释方法。我们对NLP的解释方法进行了第一次全面评估。为此，我们设计了两个新的评估范式，涵盖两个重要的NLP问题：小背景和大背景的问题。这两种范例都不需要手动注释，因此具有广泛的适用性。我们还介绍了LIMSSE，这是一种受LIME启发的解释方法，专为NLP设计。我们的经验表明，LIMSSE，LRP和DeepLIFT是最有效的解释方法，并推荐它们用于解释NLP中的DNN。
2019-05-06 cs.CL
Language Model Metrics and Procrustes Analysis for Improved Vector Transformation of NLP Embeddings
University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）
人工神经网络的核心是数学模型。当网络承担自然语言处理的任务时，这一真理会带来一些根本性的困难。一个关键的问题在于如何度量NLP嵌入空间中向量之间的相似性或距离，因为距离的数学概念并不总是与语言概念一致。我们认为，最好的方法来衡量向量之间的语言距离是通过采用语言模型（LM），创造他们。我们引入语言模型距离（LMD）来度量基于分布假设的向量转换的准确性（LMD准确性）。我们通过将其应用于一个简单的神经网络学习双语单词映射的Procrustes算法来证明这种度量的有效性。
2021-06-04 cs.CL cs.NE
How May I Help You? Using Neural Text Simplification to Improve Downstream NLP Tasks
University of Arizona（亚利桑那大学）
文本简化（TS）的总体目标是降低文本的复杂性以供人们使用。本文研究了神经TS的另一个潜在用途：辅助机器执行自然语言处理（NLP）任务。我们以两种方式评估神经TS的使用：在预测时简化输入文本，以及在训练期间增强数据以向机器提供额外信息。我们证明，后一种情况下提供了两个独立的数据集上的机器性能的积极影响。特别是，TS的后一种使用提高了LSTM（1.82-1.98%）和SpanBERT（0.7-1.3%）提取器在TACRED上的性能，TACRED是一种复杂的、大规模的、真实世界的关系抽取任务。此外，相同的设置产生高达0.65%的匹配和0.62%的失配精度的BERT文本分类MNLI，一个实用的自然语言推理数据集的改进。
2021-09-14 cs.CL
ANTONIO: Towards a Systematic Method of Generating NLP Benchmarks for Verification
Heriot-Watt University（赫瑞-瓦特大学）；University of Edinburgh（爱丁堡大学）；University of Birmingham（伯明翰大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
本文分析 NLP 模型难以用现有神经网络验证方法处理的技术原因，提出数据集与模型准备方法，并实现连接 ERAN 和 Marabou 的 Python 库 ANTONIO，用 R-U-A-Robot 数据集评估以支持 NLP 验证基准构建。
2023-08-15 cs.AI cs.CL cs.LG
Interpreting the Robustness of Neural NLP Models to Textual Perturbations
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；School of Computing, National University of Singapore（新加坡国立大学计算学院）
现代自然语言处理（NLP）模型对输入扰动敏感，当应用于真实世界的噪声数据时，其性能可能会下降。然而，目前还不清楚为什么模型对某些扰动的鲁棒性低于其他扰动。在这项工作中，我们测试的假设是，模型受到不可见的文本扰动（鲁棒性）的影响程度可以解释为扰动的可学习性（定义为模型如何学习识别扰动与少量的证据）。我们进一步给出了可学习性度量的因果理由。我们用四个著名的NLP模型-- TextRNN、BERT、RoBERTa和XLNet --在三个数据集上对八种类型的文本扰动进行了广泛的实验。我们发现，一个模型，这是更好地识别扰动（更高的可学习性）变得更糟，在测试时忽略这样的扰动（较低的鲁棒性），为我们的假设提供实证支持。
2022-03-18 cs.CL
A Fine-grained Interpretability Evaluation Benchmark for Neural NLP
Baidu Inc（百度公司）
虽然人们越来越关注神经模型的可解释性，但由于缺乏适当的评估数据集和指标，可解释性的评估仍然是一个悬而未决的问题。在本文中，我们提出了一个新的基准来评估神经模型和显着性方法的可解释性。该基准测试涵盖了三个具有代表性的NLP任务：情感分析、文本相似性和阅读理解，每个任务都提供了中英文注释数据。为了精确地评估可解释性，我们提供了标记级别的基本原理，这些基本原理经过仔细注释，以确保充分，紧凑和全面。我们还设计了一个新的度量，即，扰动前后理论基础的一致性，统一评价不同类型任务的可解释性。在此基础上，我们使用三种显著性方法对三种典型模型进行了实验，并揭示了它们在可解释性方面的优势和劣势。我们将在https://www.luge.ai/#/luge/task/taskDetail?上发布此基准测试taskId=15，希望能对构建可信系统的研究起到一定的促进作用。
2022-11-15 cs.CL
Identifying beneficial task relations for multi-task learning in deep neural networks
University of Copenhagen（哥本哈根大学）
NLP的深度神经网络中的多任务学习（MTL）最近受到了越来越多的关注，因为它有一些引人注目的好处，包括它有可能有效地正则化模型并减少对标记数据的需求。虽然它在许多NLP任务中带来了显着的改进，但报告的结果好坏参半，并且对MTL导致NLP收益的条件知之甚少。本文揭示了特定的任务关系，可以导致收益MTL模型在单任务设置。
2017-02-27 cs.CL
UIUC_BioNLP at SemEval-2021 Task 11: A Cascade of Neural Models for Structuring Scholarly NLP Contributions
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个级联的神经模型，执行句子分类，短语识别和三重提取，以自动构建NLP出版物的学术贡献。为了识别论文中最重要的贡献句子，我们使用了一个基于BERT的位置特征分类器（子任务1）。使用BERT-CRF模型识别和表征投稿句中的相关短语（子任务2）。我们根据它们的元素是否以及如何在文本中表达将三元组分为几种类型，并使用单独的基于BERT的分类器和规则来处理每种类型（子任务3）。我们的系统在第一阶段评估中正式排名第二，在第二阶段评估的两个部分中排名第一。在修复了Pharse 1中的提交错误后，我们的方法总体上产生了最好的结果。在本文中，除了系统描述，我们还提供了我们的结果进一步分析，突出其优势和局限性。我们在https://github.com/Liu-Hy/nlp-contrib-graph上公开发布我们的代码。
2021-05-12 cs.CL cs.IR
A Survey of Adversarial Defences and Robustness in NLP
Robert Bosch Centre for Data Science and AI（罗伯特·博世数据科学与人工智能中心）；Indian Institute of Technology Madras（印度理工学院马德拉斯分校）；Bhupat and Jyoti Mehta School of Biosciences（布帕特与乔蒂·梅塔生物科学学院）
本文综述了 NLP 中对抗防御方法，提出新分类法，并分析了深度神经网络的脆弱性及防御挑战。
2023-04-18 cs.CL
A survey of neural-network-based methods utilising comparable data for finding translation equivalents
Natural Language Processing Centre（自然语言处理中心）；Faculty of Informatics（信息学院）；Masaryk University（马萨里克大学）；Lexical Computing（词汇计算中心）
本文综述了基于神经网络利用可比数据自动诱导翻译等价对的方法，从词典学视角分析现有方法并指出可整合词典学见解的方向，以促进NLP与词典学的交叉研究。
2024-10-19 cs.CL
Domain-Transferable Method for Named Entity Recognition Task
Sberbank（俄罗斯联邦储蓄银行）；Higher School of Economics（高等经济大学）
命名实体识别（NER）是自然语言处理和信息抽取领域的一项基础性工作。NER已被广泛用作各种应用程序中的独立工具或重要组件，例如问答、对话助手和知识图谱开发。然而，训练可靠的NER模型需要大量的标记数据，这是昂贵的，特别是在专业领域。本文描述了一种方法来学习特定领域的NER模型的任意一组命名实体时，特定领域的监督是不可用的。我们假设监督可以在没有人为努力的情况下获得，并且神经模型可以相互学习。代码、数据和模型是公开的。
2020-11-24 cs.CL
Comparative Study of CNN and RNN for Natural Language Processing
LMU Munich（慕尼黑大学）；IBM Research（IBM研究院）
深度神经网络（DNN）彻底改变了自然语言处理（NLP）领域。卷积神经网络（CNN）和递归神经网络（RNN）是DNN架构的两种主要类型，被广泛探索以处理各种NLP任务。CNN被认为擅长于提取位置不变的特征，而RNN则擅长于按顺序提取建模单元。由于CNN和RNN之间的斗争，许多NLP任务的最新技术经常发生变化。这项工作是CNN和RNN在广泛的代表性NLP任务上的首次系统比较，旨在为DNN的选择提供基本指导。
2017-02-07 cs.CL
Interpreting Deep Learning Models in Natural Language Processing: A Review
Georgia Institute of Technology（佐治亚理工学院）；Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）；Amazon Alexa AI（亚马逊 Alexa AI）；Carnegie Mellon University（卡内基梅隆大学）；Zhejiang University（浙江大学）
神经网络模型已经在广泛的自然语言处理（NLP）任务中取得了最先进的性能。然而，对神经网络模型的长期批评是缺乏可解释性，这不仅降低了神经NLP系统的可靠性，而且限制了它们在可解释性至关重要的领域（例如，保健应用）。作为回应，近年来对解释神经NLP模型的兴趣越来越大，激发了各种各样的解释方法。在这篇综述中，我们对NLP中神经模型的各种解释方法进行了全面的回顾。我们首先对NLP中的解释方法进行了高级分类，即，基于训练的方法、基于测试的方法和混合方法。接下来，我们详细描述每个类别中的子类别，例如，基于影响函数的方法、基于KNN的方法、基于注意力模型的方法、基于显著性的方法、基于扰动的方法等。
2021-10-25 cs.CL
UTSA NLP at SemEval-2022 Task 4: An Exploration of Simple Ensembles of Transformers, Convolutional, and Recurrent Neural Networks
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
通过使用带有优越感的居高临下和居高临下的语言来表现出善良或乐于助人的行为可能会对那些经历过它的人产生严重的心理健康影响。因此，在线检测这种居高临下和居高临下的语言对于在线审核系统可能是有用的。因此，在本文中，我们描述了由UTSA SemEval-2022任务4开发的系统，检测光顾和居高临下的语言。我们的方法探索了几种深度学习架构的使用，包括RoberTa、卷积神经网络和双向长短期记忆网络。此外，我们探索简单而有效的方法来创建集成的神经网络模型。总的来说，我们对几个集成模型进行了实验，发现五个RoBERTa模型的简单组合在开发数据集上获得了.6441的F分数，在最终测试数据集上获得了.5745的F分数。最后，我们还进行了全面的误差分析，以更好地了解模型的局限性，并为进一步的研究提供思路。
2022-03-28 cs.CL
One Graph to Rule them All: Using NLP and Graph Neural Networks to analyse Tolkien's Legendarium
Universität Zürich（苏黎世大学）；Julius-Maximilians-Universität Würzburg（维尔茨堡朱利叶斯-马克西米利安大学）
自然语言处理和机器学习已经相当先进的计算文学研究。同样，文学人物共现网络的构建，以及运用社会网络分析和网络科学的方法对其进行的分析，为文学文本的微观和宏观结构提供了新的视角。结合这些观点，在这项工作中，我们研究字符网络提取的文本语料库的J.R.R.托尔金的传奇我们表明，这种观点有助于我们分析和可视化的叙事风格，托尔金的作品。解决字符分类，嵌入和共现预测，我们进一步研究了国家的最先进的图神经网络的优势，一个流行的词嵌入方法。我们的研究结果突出了图学习在计算文学研究中的巨大潜力。
2022-10-14 cs.AI cs.CL
NeuronBlocks: Building Your NLP DNN Models Like Playing Lego
Microsoft（微软）
深度神经网络（DNN）已被广泛应用于工业中以解决各种自然语言处理（NLP）任务。然而，许多工程师发现，当他们不得不从多个框架中选择，比较不同类型的模型，并了解各种优化机制时，这是一个很大的开销。DNN模型的NLP工具包具有通用性和灵活性，可以通过节省工程师的学习成本并指导他们找到任务的最佳解决方案来大大提高工程师的生产力。在本文中，我们介绍了NeuronBlocks \footnote{Code: \url{https://github.com/Microsoft/NeuronBlocks}} \footnote{Demo: \url{https://youtu.be/x6cOpVSZcdo}}，一个工具包封装了一套神经网络模块作为构建块，以构建各种具有复杂架构的DNN模型。这个工具包使工程师能够通过简单的JSON文件配置来构建、训练和测试各种NLP模型。在GLUE、WikiQA和CoNLL-2003等NLP数据集上的实验证明了NeuronBlocks的有效性。
2019-10-18 cs.CL
