Explaining and Improving Model Behavior with k Nearest Neighbor Representations
Salesforce Research（Salesforce研究院）
NLP中的可解释性技术主要集中在使用注意力可视化或基于标记的梯度显着图来理解个体预测。我们建议使用k近邻（kNN）表示来识别负责模型预测的训练样本，并获得对模型行为的语料库级别的理解。除了可解释性，我们表明，kNN表示是有效的发现学习虚假的关联，识别错误标记的例子，并提高微调模型的性能。我们专注于自然语言推理（NLI）作为一个案例研究和实验多个数据集。我们的方法部署回退到kNN的BERT和RoBERTa的例子与低模型的信心，没有任何更新的模型参数。我们的研究结果表明，kNN方法使微调模型对对抗性输入更具鲁棒性。
2020-10-18 cs.CL cs.LG
Federated Continual Learning for Text Classification via Selective Inter-client Transfer
DRIMCo GmbH（DRIMCo有限公司）；University of Munich (LMU)（慕尼黑大学（LMU））
在这项工作中，我们结合了两个范例：联邦学习（FL）和持续学习（CL）的云边缘连续体的文本分类任务。联邦持续学习（FCL）的目标是通过（相关和有效的）知识转移，在不共享数据的情况下，在每个客户端的生命周期内改进深度学习模型。在这里，我们解决的挑战，尽量减少客户端间的干扰，而知识共享，由于异构任务跨客户端在FCL设置。在这样做时，我们提出了一个新的框架，联邦选择性客户端间传输（FedSeIT），有选择地结合模型参数的外国客户端。为了进一步最大限度地提高知识转移，我们评估领域重叠，并从每个外国客户端的历史任务序列中选择信息任务，同时保护隐私。对基线进行评估，我们显示出改进的性能，在使用来自不同领域的五个数据集的一系列任务中，文本分类的（平均）增益为12.4%。据我们所知，这是第一个将FCL应用于NLP的工作。
2023-02-12 cs.AI cs.CL
NLPGuard: A Framework for Mitigating the Use of Protected Attributes by NLP Classifiers
Politecnico di Torino（都灵理工大学）；Nokia Bell Labs（诺基亚贝尔实验室）；University College London（伦敦大学学院）
针对NLP分类器依赖受保护属性的问题，提出NLPGuard框架，通过修改训练数据集在不损失准确性的前提下将依赖性降低高达79%。
2024-07-01 cs.AI cs.CL cs.HC
Improving Natural Language Inference in Arabic using Transformer Models and Linguistically Informed Pre-Training
Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）；Hochschule Bonn-Rhein-Sieg（波恩-莱茵-锡格应用技术大学）；University of Bonn（波恩大学）
本文针对阿拉伯语资源匮乏问题构建专用数据集，通过结合Transformer模型与命名实体识别等语言学预训练方法，有效提升了阿拉伯语自然语言推理和矛盾检测性能。
2023-07-27 cs.CL
Balanced Adversarial Training: Balancing Tradeoffs between Fickleness and Obstinacy in NLP Models
University of Virginia（弗吉尼亚大学）
传统的（变化无常的）对抗性例子涉及找到一个小的扰动，它不会改变输入的真实标签，但会混淆分类器，使其输出不同的预测。相反，当对手发现一个小的扰动，保持分类器的预测，但改变输入的真实标签时，就会出现顽固的对抗性例子。对抗性训练和认证的鲁棒训练在提高机器学习模型对变化无常的对抗性示例的鲁棒性方面表现出一定的有效性。我们表明，标准的对抗性训练方法专注于减少易变的对抗性示例的脆弱性，可能会使模型更容易受到顽固的对抗性示例的影响，实验包括自然语言推理和释义识别任务。为了应对这种现象，我们引入了平衡对抗训练，它结合了对比学习，以提高对反复无常和顽固对抗性示例的鲁棒性。
2022-10-29 cs.CL
Solving NLP Problems through Human-System Collaboration: A Discussion-based Approach
Tokyo Institute of Technology（东京工业大学）；Carnegie Mellon University（卡内基梅隆大学）
针对以往NLP可解释性研究无法实现人机观点双向交互的问题，本研究构建了支持人机讨论优化预测的数据集与计算框架，实验显示该系统在自然语言推理任务中最高可提升25个百分点的准确率。
2024-01-30 cs.CL
Exploring Selective Retrieval-Augmentation for Long-Tail Legal Text Classification
University of Cambridge（剑桥大学）
针对法律文本分类中的长尾标签问题，本文提出仅从训练集检索并增强低频标签样本的 SRA 方法，在 LEDGAR 和 UNFAIR-ToS 上相较 LexGLUE 基线持续提升 micro-F1 与 macro-F1。
2025-08-29 cs.CL cs.IR
Towards Unified Prompt Tuning for Few-shot Text Classification
East China Normal University（华东师范大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Lab（之江实验室）；Ant Group（蚂蚁集团）
基于任务的微调通过采用特定于任务的提示，提高了预训练语言模型（PLM）在Few-Shot文本分类上的性能。然而，PLM在预训练期间不熟悉机器学习风格的表达，这限制了下游任务的少样本学习性能。如果模型能够在适应特定的NLP任务之前获得一些提示性知识，那将是可取的。我们提出了统一提示微调（UPT）框架，通过显式捕获非目标NLP数据集的提示语义，为BERT风格的模型提供更好的Few-Shot文本分类。在UPT中，提出了一种新的范式，用于跨不同NLP任务的联合提示学习，迫使PLM捕获任务不变的提示知识。我们进一步设计了一个名为知识增强的选择性掩蔽语言建模的自监督任务，以提高PLM的泛化能力，以准确适应以前看不见的任务。在跨多个任务进行多任务学习之后，PLM可以更好地针对低资源设置中的任何不同目标任务进行自动调整。对各种NLP任务的实验表明，UPT在基于神经网络的微调方面始终优于最先进的技术。
2022-05-11 cs.AI cs.CL
The Annotation Bottleneck in Persian Text NLP: Persian as an Annotation-Scarce Language
本文提出波斯语是标注稀缺而非单纯低资源语言，通过三项定量交叉验证分析其34种文本资源，发现标注稀缺源于任务领域覆盖不均等问题，而非整体标注量不足。
2026-08-26 cs.CL
Subword ELMo
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯AI实验室）
从语言模型嵌入（ELMo）已被证明对改善许多自然语言处理（NLP）任务是有效的，并且ELMo采用字符信息来组成单词表示来训练语言模型。然而，字符是一个不充分的和不自然的语言单位为词表示。2因此，我们介绍了嵌入从子词感知语言模型（ESuLMo）它使用无监督的词分割从子词中学习词表示。我们表明，ESuLMo可以比ELMo更有效地增强四个基准NLP任务，包括句法依存句法分析，语义角色标注，隐含语篇关系识别和语篇蕴涵，这对ELMo带来了有意义的改进。
2019-09-18 cs.CL
Improving Aspect-Level Sentiment Analysis with Aspect Extraction
Singapore Institute of Technology and Design（新加坡科技设计大学）；Edinburgh Napier University（爱丁堡龙比亚大学）；Carnegie Mellon University（卡内基梅隆大学）
基于特征的情感分析（ABSA）是自然语言处理领域的一个研究热点，它包括特征提取（AE）和情感极性特征标注（ALSA）两部分。虽然这两项任务不同，但它们高度相关。这项工作主要假设从预先训练的AE模型中转移知识可以使ALSA模型的性能受益。基于这一假设，在AE期间获得词嵌入，随后将其馈送到ALSA模型。从经验上讲，这项工作表明，增加的信息显着提高了三个不同的基线ALSA模型在两个不同的域的性能。这种改进也可以很好地在AE和ALSA任务之间跨域转换。
2020-05-03 cs.CL
Syntax-Semantics Interaction Parsing Strategies. Inside SYNTAGMA
本文讨论了SYNTAGMA，一个基于规则的自然语言处理系统解决棘手的问题，句法歧义减少和词义消歧，以及提供创新和原始的解决方案，成分生成和约束管理。为了深入了解它是如何运作的，该系统的总体架构和组件，以及它的词汇，语法和语义资源进行了描述。在此基础上，本文提出了一种通过句法和语义信息的相互作用进行选择性句法分析的机制，从而使句法分析器对输入文本进行连贯而准确的解释。
2016-01-21 cs.CL
Semantic Decomposition and Selective Context Filtering -- Text Processing Techniques for Context-Aware NLP-Based Systems
Cebu Institute of Technology（宿务理工学院）
本文提出语义分解与选择性上下文过滤两项文本处理技术，以结构化提示和剔除无关上下文，增强基于 NLP 的上下文感知系统的接口、回复连贯性及工作流优化能力。
2025-02-19 cs.AI cs.CL cs.HC
Improving Downstream Task Performance by Treating Numbers as Entities
Duke University（杜克大学）；Amazon Alexa AI（亚马逊Alexa人工智能）；Emory University（埃默里大学）
数字是文本的基本组成部分，就像任何其他单词标记一样，自然语言处理（NLP）模型就是从这些文本中构建和部署的。虽然在大多数NLP任务中，数字通常不会被明确地解释，但NLP模型仍然表现出了潜在的计算能力。在这项工作中，我们试图挖掘最先进的NLP模型的潜力，并转移它们的能力，以提高相关任务的性能。我们提出的将数字分类为实体有助于NLP模型在几个任务上表现良好，包括手工填写空白（FITB）任务和使用联合嵌入的问答，优于BERT和RoBERTa基线分类。
2022-09-18 cs.CL cs.LG
Towards Improving Adversarial Training of NLP Models
University of Virginia（弗吉尼亚大学）
对抗性训练是一种用于学习鲁棒深度神经网络的方法，在训练期间构建对抗性示例。然而，最近生成NLP对抗性示例的方法涉及组合搜索和昂贵的句子编码器来约束生成的实例。因此，使用普通对抗训练来提高NLP模型的性能仍然具有挑战性，并且其好处主要是未经调查的。本文提出了一种简单的改进的NLP模型对抗训练过程，我们称之为攻击训练（A2T）。A2T的核心部分是一种新的、更便宜的词替换攻击，针对普通对抗训练进行了优化。我们使用A2T在IMDB、Rotten Tomatoes、Yelp和SNLI数据集上训练BERT和RoBERTa模型。我们的研究结果表明，它是可能的训练强大的NLP模型使用一个更便宜的对手。我们证明了使用A2T的香草对抗训练可以提高NLP模型对最初训练的攻击的鲁棒性，并且还可以保护模型免受其他类型的单词替换攻击。此外，我们表明，A2T可以提高NLP模型的标准精度，跨领域泛化和可解释性。代码可在https://github.com/QData/Textattack-A2T上获得。
2021-09-11 cs.AI cs.CL cs.LG
Improving Part-of-Speech Tagging for NLP Pipelines
RAGE Frameworks（RAGE Frameworks 公司）；Genpact（简柏特）
本文概述了基于句子级语言学的改进词性标注规则的结果。众所周知，如果初始阶段之一不完美，复杂NLP系统的性能就会受到负面影响。管道初始阶段的错误会对管道的最终性能产生滚雪球效应。我们已经创建了一套基于语言学的规则，在句子层面上调整部分的词性标签从国家的最先进的标签。在广泛使用的基准上与最先进的标记器进行比较，证明了标记准确性的显着提高，从而提高了NLP系统的质量和准确性。
2017-08-01 cs.CL
Improving Clinical NLP Performance through Language Model-Generated Synthetic Clinical Data
Mass General Brigham, Harvard Medical School（哈佛医学院麻省总医院布里格姆医疗系统）；Massachusetts Institute of Technology（麻省理工学院）；University of Wisconsin School of Medicine and Public Health（威斯康星大学医学与公共卫生学院）；Loyola University Chicago（芝加哥洛约拉大学）
本研究利用先进语言模型生成合成临床数据，以提升临床自然语言处理性能，并在高风险领域验证了该方法的可行性。
2024-03-28 cs.CL
Improving Interpretability via Explicit Word Interaction Graph Layer
University of Virginia（弗吉尼亚大学）
最近的NLP文献对提高模型的可解释性越来越感兴趣。沿着这个方向，我们提出了一个可训练的神经网络层，它学习单词之间的全局交互图，然后使用学习到的单词交互来选择更多信息的单词。我们的层，我们称之为WIGRAPH，可以插入任何基于神经网络的NLP文本分类器，就在它的词嵌入层之后。在多个SOTA NLP模型和各种NLP数据集上，我们证明了添加WIGRAPH层大大提高了NLP模型的可解释性，同时增强了模型的预测性能。
2023-02-03 cs.AI cs.CL
Improving the Adversarial Robustness of NLP Models by Information Bottleneck
Fudan University（复旦大学）；University of California, Los Angeles（加州大学洛杉矶分校）
现有的研究表明，对抗性示例可以直接归因于非鲁棒特征的存在，这些特征具有高度的预测性，但很容易被对手操纵来欺骗NLP模型。在这项研究中，我们探索的可行性，捕获特定于任务的鲁棒性的功能，同时消除非鲁棒性的信息瓶颈理论。通过大量的实验，我们表明，使用我们的基于信息校验的方法训练的模型能够在鲁棒准确性方面实现显着提高，超过所有先前报道的防御方法的性能，同时在SST-2，AGNEWS和IMDB数据集上几乎没有性能下降。
2022-06-11 cs.CL
Improving Academic Skills Assessment with NLP and Ensemble Learning
University of Chicago（芝加哥大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）；san jose state university（圣何塞州立大学）；Tulane University（杜兰大学）
本研究利用集成学习框架结合BERT等多个先进NLP模型，通过堆叠技术与伪标签学习优化性能，显著提升了学术技能评估的准确性与效率，为教育技术研究提供了新方案。
2024-10-13 cs.AI cs.CL cs.CY
A survey on improving NLP models with human explanations
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；Oldenburg University（奥尔登堡大学）
通过访问人类解释来训练模型可以提高数据效率和域内和域外数据的模型性能。除了这些经验发现之外，与人类学习过程的相似性使得从解释中学习成为建立富有成效的人机交互的一种有希望的方式。已经提出了几种方法来改进具有人类解释的自然语言处理（NLP）模型，这些方法依赖于不同的解释类型和机制来将这些解释集成到学习过程中。这些方法很少相互比较，使得从业者很难为特定用例选择解释类型和集成机制的最佳组合。在本文中，我们概述了从人类解释中学习的不同方法，并讨论了可以为特定用例选择哪种方法的不同因素。
2022-04-19 cs.CL
CAT-Gen: Improving Robustness in NLP Models via Controlled Adversarial Text Generation
University of Virginia（弗吉尼亚大学）；Google Research（谷歌研究院）
NLP模型被证明存在鲁棒性问题，即，模型的预测可以在对输入的小扰动下容易地改变。在这项工作中，我们提出了一个受控对抗文本生成（CAT-Gen）模型，该模型在给定输入文本的情况下，通过已知对任务标签不变的可控属性生成对抗文本。例如，为了攻击产品评论的情感分类模型，我们可以使用产品类别作为可控属性，这不会改变评论的情感。在真实世界的NLP数据集上的实验表明，与许多现有的对抗文本生成方法相比，我们的方法可以生成更多样化和流畅的对抗文本。我们进一步使用我们生成的对抗性示例通过对抗性训练来改进模型，并且我们证明了我们生成的攻击对模型重新训练和不同的模型架构更加强大。
2020-10-05 cs.CL
Identifying and Mitigating Spurious Correlations for Improving Robustness in NLP Models
University of Virginia（弗吉尼亚大学）；Georgia Institute of Technology（佐治亚理工学院）；Google Research（谷歌研究院）
最近，NLP模型在各种任务中取得了显着的进展;然而，它们也因不健壮而受到批评。许多鲁棒性问题可以归因于利用虚假相关性的模型，或者训练数据和任务标签之间的捷径。大多数现有的工作通过人类先验或错误分析确定了一组有限的特定于任务的捷径，这需要大量的专业知识和努力。在本文中，我们的目标是自动识别大规模NLP模型中的这种虚假相关性。我们首先利用现有的可解释性方法从输入文本中提取显著影响模型决策过程的标记。然后，我们通过分析跨多个语料库的模型预测来区分“真正的”令牌和“虚假的”令牌，并通过知识感知扰动进一步验证它们。我们表明，我们提出的方法可以有效地和高效地识别一组可扩展的“捷径”，并减轻这些导致在多个应用程序中更强大的模型。
2022-05-25 cs.CL
CultureMINE: Datasets and Methods for Improving the Cultural Capabilities of NLP Systems
Purdue University（普渡大学）；University of Pennsylvania（宾夕法尼亚大学）
本文通过分析375余篇论文，系统梳理文化NLP中的能力目标、数据创建与方法趋势，并发布交互式论文列表以促进社区研究。
2026-09-22 cs.CL
NLP Meets the World: Toward Improving Conversations With News Media About Natural Language Processing Research
Department of Human-Centered Computing and Social Informatics（人机交互与社会信息学系）
本文针对大型语言模型引发的公众对NLP的关注，提出了向大众有效传达NLP能力与局限性的沟通建议，涵盖术语模糊、期望不合理和伦理失败三大障碍，以促进透明沟通并加强公众理解与研究支持。
2026-10-20 cs.AI cs.CL cs.CY
Improving Autoregressive NLP Tasks via Modular Linearized Attention
Oregon State University（俄勒冈州立大学）
本文提出模块化线性化注意力（MLA），结合cosFormer等高效机制，在自回归NLP任务中显著提升计算效率与推理速度，同时保持有竞争力的性能。
2023-06-24 cs.AI cs.CL
Improving Korean NLP Tasks with Linguistically Informed Subword Tokenization and Sub-character Decomposition
Korea University（高丽大学）；Prediction（Prediction 公司）；Korea Institute of Science and Technology (KIST)（韩国科学技术研究院）
针对韩语形态丰富、书写系统独特导致BPE分词效果不佳的问题，提出结合子字分解的词素感知子词分词法，在PLMs中平衡语言准确性与效率，在NIKL-CoLA等任务上表现提升，证明语言学信息可增强韩语NLP效果。
2023-11-07 cs.CL
Mind Your Inflections! Improving NLP for Non-Standard Englishes with Base-Inflection Encoding
Salesforce AI Research（赛富时人工智能研究院）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
屈折变化是世界英语的一个共同特征，如新加坡口语英语和非洲裔美国人的英语。虽然人类读者的理解通常不受非标准屈折的影响，但目前的NLP系统还不健壮。我们提出了基本屈折编码（BITE），一种标记化英语文本的方法，在重新注入语法信息作为特殊符号之前，将屈折词还原为基本形式。使用我们的编码对下游任务的预训练NLP模型进行微调，可以抵御变形对手，同时保持对干净数据的性能。使用BITE的模型在没有显式训练的情况下更好地推广到具有非标准屈折变化的方言，并且使用BITE训练时，翻译模型收敛得更快。最后，我们证明了我们的编码提高了流行的数据驱动的子词标记器的词汇效率。由于还没有以前的工作，定量评估词汇效率，我们提出了这样做的指标。
2020-11-18 cs.AI cs.CL cs.LG
Selective Augmentation: Improving Universal Automatic Phonetic Transcription via G2P Bootstrapping
Fraunhofer Institute IAIS（弗劳恩霍夫研究所IAIS）；University of Bonn（波恩大学）
本文提出选择性增强方法，通过语言间差异转移提升语音转录准确性，引入爆破音气声识别，提升转录精度并减少混淆。
2026-04-29 cs.CL cs.LG
Improving VTE Identification through Adaptive NLP Model Selection and Clinical Expert Rule-based Classifier from Radiology Reports
Frost Institute for Data Science & Computing（弗罗斯特数据科学与计算研究所）；University of Miami（迈阿密大学）
本研究提出结合深度学习、数据增强、自适应预训练 NLP 模型选择及临床专家规则分类器的方法，从放射学报告中识别 VTE，在预测 DVT 和 PE 上分别达到 97% 和 98.3% 的准确率。
2023-10-20 cs.CL cs.IR cs.LG
Model Cascading: Towards Jointly Improving Efficiency and Accuracy of NLP Systems
Arizona State University（亚利桑那州立大学）
是否所有的实例都需要通过大模型进行推理才能得到正确的预测？也许不是;有些实例很容易，甚至可以通过小容量模型正确回答。这为提高系统的计算效率提供了机会。在这项工作中，我们提出了一个探索性的研究“模型预测”，一个简单的技术，利用不同的能力，准确而有效地输出预测模型的集合。通过在多个任务设置中进行全面的实验，这些任务设置在可用于级联的模型数量（K值）上不同，我们表明级联提高了计算效率和预测精度。例如，在K=3的设置中，级联节省了高达88.93%的计算成本，并始终如一地实现了高达2.18%的改进的卓越预测精度。我们还研究了在级联中引入额外模型的影响，并表明它进一步提高了效率。最后，我们希望我们的工作将促进高效NLP系统的开发，使其在现实世界中的应用成为可能。
2022-10-11 cs.AI cs.CL
Deep Learning Approaches for Improving Question Answering Systems in Hepatocellular Carcinoma Research
Virginia Tech（弗吉尼亚理工大学）；Northeastern University（东北大学）；University of Southern California（南加州大学）；Miami University（迈阿密大学）；Northern Arizona University（北亚利桑那大学）
本文探讨了基于BERT、GPT-3等大规模预训练模型的NLP问答系统在肝细胞癌研究中的应用现状与发展前景，旨在推动该领域的进一步探索。
2024-02-25 cs.AI cs.CL cs.LG
Improving Prediction Backward-Compatiblility in NLP Model Upgrade with Gated Fusion
AWS AI Labs（AWS人工智能实验室）；University of Waterloo（滑铁卢大学）
当将神经模型升级到新版本时，可能会引入旧版本中没有遇到的新错误，称为回归错误。在模型升级期间，这种不一致的行为通常会超过精度增益的好处，并阻碍新模型的采用。为了减轻模型升级带来的回归误差，蒸馏和集成已被证明是可行的解决方案，而不会显着损害性能。尽管取得了进展，这些方法实现了逐步减少回归，这仍然远远没有实现向后兼容的模型升级。在这项工作中，我们提出了一种新的方法，门控融合，通过学习混合新旧模型之间的预测来促进向后兼容性。两个不同的模型升级场景的实证结果表明，我们的方法平均减少了62%的回归误差，平均超过最强基线25%。
2023-02-04 cs.CL
Improving Natural Language Processing Tasks with Human Gaze-Guided Neural Attention
University of Stuttgart（斯图加特大学）；Institute for Visualization and Interactive Systems (VIS)（可视化与交互系统研究所）；Institute for Natural Language Processing (IMS)（自然语言处理研究所）
到目前为止，语料库的缺乏限制了将人类凝视数据作为自然语言处理（NLP）的神经注意力机制中的监督信号整合的进展。我们提出了一种新的混合文本显着性模型（TSM），首次将阅读的认知模型与明确的人类注视监督结合在一个单一的机器学习框架中。在四个不同的语料库中，我们证明了我们的混合TSM持续时间预测与人类凝视地面真相高度相关。我们进一步提出了一种新的联合建模方法，将TSM预测集成到为特定上游NLP任务设计的网络的注意力层中，而不需要任何特定于任务的人类凝视数据。我们证明了我们的联合模型在BLEU-4中的Quora问题对语料库上的释义生成性能优于最先进的水平超过10%，并在具有挑战性的Google句子压缩语料库上实现了句子压缩的最先进性能。因此，我们的工作引入了一种实用的方法来桥接数据驱动和认知模型，并展示了一种将人类凝视引导的神经注意力整合到NLP任务中的新方法。
2020-10-27 cs.CL cs.LG
Improving Clinical Document Understanding on COVID-19 Research with Spark NLP
John Snow Labs Inc.（约翰斯诺实验室公司）
在全球COVID-19大流行之后，研究该病毒的科学论文数量大幅增加，导致对自动化文字审查的兴趣增加。我们提出了一个临床文本挖掘系统，在三个方面改进了以前的努力。首先，它可以识别超过100种不同的实体类型，包括健康，解剖，风险因素和不良事件的社会决定因素，以及其他常用的临床和生物医学实体。其次，文本处理管道包括断言状态检测，以区分存在、不存在、有条件或关于患者以外的某人的临床事实。第三，使用的深度学习模型比以前更准确，利用了最先进的预训练命名实体识别模型的集成管道，并改进了以前的断言状态检测的最佳性能基准。我们举例说明如何从COVID-19开放研究数据集（CORD-19）中提取趋势和见解，例如最常见的疾病和症状，以及最常见的生命体征和EKG结果。该系统使用Spark NLP库构建，该库原生支持扩展以使用分布式集群，利用GPU，可配置和可重用的NLP管道，医疗保健特定嵌入以及训练模型以支持新实体类型或人类语言而无需更改代码的能力。
2020-12-07 cs.CL cs.IR
Improving a sequence-to-sequence nlp model using a reinforcement learning policy algorithm
Sidi Mohamed Ben Abdallah University（西迪·穆罕默德·本·阿卜杜拉大学）
目前，对话生成（聊天机器人）的神经网络模型显示出很大的希望，为聊天代理生成答案。但他们是短视的，因为他们一次预测一个话语，而忽略了它们对未来结果的影响。对对话的未来方向进行建模对于生成连贯、有趣的对话至关重要，这一需求导致了依赖于强化学习的传统NLP对话模型。在本文中，我们将解释如何通过使用深度强化学习来预测聊天机器人对话中的未来奖励，从而将这些目标结合起来。该模型模拟两个虚拟代理之间的对话，与策略梯度的方法来奖励序列，表现出三个有用的会话特征：流动的非正式性，连贯性和简单的响应（相关的前瞻性功能）。我们根据其多样性，长度和人类的复杂性来评估我们的模型。在对话模拟中，评估表明，所提出的模型产生更多的互动响应，并鼓励更持续的成功对话。这项工作是为了纪念在对话的长期成功的基础上开发神经对话模型的初步步骤。
2022-12-28 cs.AI cs.CL cs.LG
Joint Training for Selective Prediction
Pennsylvania State University（宾夕法尼亚州立大学）
针对选择性预测中分类与 deferral 策略优化分离的问题，提出联合训练方法同时优化分类器表征与 deferral 策略，在四项任务上超越强基线并提升双模块性能。
2024-10-31 cs.CL cs.LG
Improving Robustness and Generality of NLP Models Using Disentangled Representations
ShannonAI；Key Lab of Intelligent Information Processing of Chinese Academy of Sciences（中国科学院智能信息处理重点实验室）；Department of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Zhejiang University（浙江大学）
监督神经网络首先将输入$x$映射到单个表示$z$，然后将$z$映射到输出标签$y$，在广泛的自然语言处理（NLP）任务中取得了显著的成功。尽管取得了成功，但神经模型缺乏鲁棒性和通用性：对输入的微小扰动可能会导致绝对不同的输出;在一个域上训练的模型在另一个域上测试时，性能急剧下降。在本文中，我们提出的方法，以提高鲁棒性和通用性的NLP模型的立场，解开表示学习。所提出的策略不是将$x$映射到单个表示$z$，而是将$x$映射到一组表示$\{z_1,z_2,...,z_K\}$，同时强制它们被解开。然后将这些表示映射到不同的logit $l$，其集合用于进行最终预测$y$。我们提出了不同的方法将这一想法纳入目前广泛使用的模型，包括添加一个$L$ 2正则化的$z$ s或添加总相关（TC）的变分信息瓶颈（VIB）的框架下。我们表明，该标准训练的模型提供了更好的鲁棒性和域适应能力，在广泛的监督学习任务。
2020-09-21 cs.CL
Towards More Fine-grained and Reliable NLP Performance Prediction
Carnegie Mellon University（卡内基梅隆大学）；Fudan University（复旦大学）
性能预测是在不进行实验的情况下估计系统性能的任务，它允许我们减少由不同数据集、语言、任务和模型的组合爆炸造成的实验负担。在本文中，我们做了两个贡献，以提高NLP任务的性能预测。首先，我们不仅检查性能预测器的整体准确性度量，如F1或BLEU，而且还检查细粒度的性能度量，如单个类别的示例的准确性。其次，我们提出了从两个角度来理解性能预测模型的可靠性的方法：置信区间和校准。我们进行了四种类型的NLP任务的分析，都证明了细粒度的性能预测的可行性和必要性，在未来的性能预测方法进行可靠性分析。我们公开我们的代码：\url{https://github.com/neulab/Reliable-NLPPP}
2021-02-10 cs.CL cs.LG
Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning
University of Macau（澳门大学）；Tencent AI Lab（腾讯 AI 实验室）；The University of Sydney（悉尼大学）
编码器层融合（EncoderFusion）是一种融合序列到序列（Seq 2Seq）模型的所有编码器层（而不是最上层）的技术，已被证明对各种NLP任务有效。然而，目前还不完全清楚为什么以及何时EncoderFusion应该工作。在本文中，我们的主要贡献是进一步理解EncoderFusion。许多先前的研究认为，EncoderFusion的成功来自于利用嵌入在较低编码器层中的表面和语法信息。与它们不同的是，我们发现编码器嵌入层比其他中间编码器层更重要。此外，最上面的解码器层在NLP任务中始终更加关注编码器嵌入层。基于这一观察，我们提出了一种简单的融合方法，SurfaceFusion，只融合softmax层的编码器嵌入层。实验结果表明，SurfaceFusion在几个NLP基准测试中的表现优于EncoderFusion，包括机器翻译、文本摘要和语法错误纠正。它在WMT 16罗马尼亚语-英语和WMT 14英语-法语翻译任务上获得了最先进的性能。广泛的分析表明，SurfaceFusion通过在相关源和目标嵌入之间建立更紧密的关系来学习更具表达力的双语词嵌入。源代码可以在https://github.com/SunbowLiu/SurfaceFusion上免费获得。
2021-03-18 cs.CL cs.LG
UTSA-NLP at ArchEHR-QA 2025: Improving EHR Question Answering via Self-Consistency Prompting
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
本文提出一种基于大语言模型的两步 EHR 问答方法，通过少样本提示、自洽性与阈值化改进相关句子选择，并发现 8B 模型优于 70B 模型，验证了准确句子选择对生成高质量临床回复的关键作用。
2025-06-05 cs.CL
Large Language Models as Annotators: Enhancing Generalization of NLP Models at Minimal Cost
Microsoft Research India（微软印度研究院）
研究使用LLM作为标注器以低成本提升NLP模型泛化能力，提出基于基础模型与微调模型预测分数差异的采样策略，在分类和排序任务中显著提升了训练域和目标域的准确率。
2023-06-27 cs.CL cs.LG
The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction
MIT（麻省理工学院）；Microsoft Research（微软研究院）
本研究提出层选择性秩降低（LASER）方法，通过在训练后移除权重矩阵高阶分量，显著提升大型语言模型的推理性能，无需额外参数或数据，并验证了其广泛适用性。
2023-12-21 cs.AI cs.CL cs.CV
Interpreting and improving natural-language processing (in machines) with natural language-processing (in the brain)
Neuroscience Institute（神经科学研究所）；Department of Machine Learning（机器学习系）；Carnegie Mellon University（卡内基梅隆大学）
NLP的神经网络模型通常在没有语言规则的显式编码的情况下实现，但它们能够打破一个又一个的性能记录。这引起了人们对解释这些网络所学习的表征的大量研究兴趣。我们在这里提出了一种新的解释方法，它依赖于我们唯一能理解语言的处理系统：人脑。我们使用受试者阅读复杂自然文本的大脑成像记录来解释最近4个NLP模型- ELMo，USE，BERT和Transformer-XL的单词和序列嵌入。我们研究了它们的表示如何在层深度，上下文长度和注意力类型上有所不同。我们的研究结果揭示了这些模型中与上下文相关的表示的差异。此外，在Transformer模型中，我们发现层深度和上下文长度之间以及层深度和注意类型之间存在相互作用。我们最后假设，改变BERT以更好地与大脑记录保持一致，将使它能够更好地理解语言。使用句法NLP任务探测改变后的BERT显示，具有增加的大脑对齐的模型优于原始模型。认知神经科学家已经开始使用NLP网络来研究大脑，这项工作关闭了NLP和认知神经科学之间的互动，使其成为真正的交叉授粉。
2019-11-13 cs.AI cs.CL cs.LG
Improving the robustness and accuracy of biomedical language models through adversarial training
Medical University of Vienna（维也纳医科大学）
深度Transformer神经网络模型提高了生物医学领域智能文本处理系统的预测精度。他们在各种生物医学和临床自然语言处理（NLP）基准测试中获得了最先进的性能分数。然而，这些模型的鲁棒性和可靠性迄今为止还没有得到充分的研究。神经NLP模型很容易被对抗性样本欺骗，即对输入进行微小的更改，保留文本的含义和可理解性，但迫使NLP系统做出错误的决定。这引起了人们对生物医学NLP系统的安全性和可信度的严重担忧，特别是当它们打算部署在现实世界的用例中时。我们研究了几个Transformer神经语言模型，即BioBERT，SciBERT，BioMed-RoBERTa和Bio-ClinicalBERT，在广泛的生物医学和临床文本处理任务的鲁棒性。我们实现了各种对抗攻击方法来测试不同攻击场景下的NLP系统。实验结果表明，生物医学NLP模型对对抗性样本敏感;它们的性能在字符级和单词级对抗性噪声上分别平均下降了21%和18.9%。通过进行广泛的对抗性训练实验，我们在干净样本和对抗性输入的混合上微调了NLP模型。结果表明，对抗性训练是对抗性噪声的有效防御机制;模型的鲁棒性平均提高了11.3%。此外，模型在干净数据上的性能平均提高了2.4个绝对值，这表明对抗性训练可以提高生物医学NLP系统的泛化能力。
2021-11-16 cs.AI cs.CL
The Craft of Selective Prediction: Towards Reliable Case Outcome Classification -- An Empirical Study on European Court of Human Rights Cases
School of Computation, Information, and Technology（计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
本文首次在法律NLP的选择性预测框架下，实证研究了预训练语料、置信度估计器和微调损失对案件结果分类模型可靠性的影响，发现特定领域预训练语料、Monte Carlo dropout和置信错误正则化能有效提升模型校准并缓解过度自信。
2024-09-27 cs.CL
Surf at MEDIQA 2019: Improving Performance of Natural Language Inference in the Clinical Domain by Adopting Pre-trained Language Model
Samsung Research（三星研究院）；Seoul National University（首尔大学）
虽然深度学习技术在许多自然语言处理（NLP）任务中显示出了有希望的结果，但它尚未广泛应用于临床领域。缺乏大型数据集和在临床领域中普遍使用特定领域的语言（即缩写和首字母缩略词）导致NLP任务的进度比一般NLP任务慢。为了填补这一空白，我们采用了基于单词/子单词级别的模型，这些模型采用了大规模数据驱动的方法，例如预训练的语言模型和迁移学习，用于分析临床领域的文本。实验结果表明，所提出的方法的优越性，在医学领域的自然语言推理任务达到90.6%的准确率。此外，我们检查所提出的方法在定量和定性的方式的独立优势。这一分析将有助于研究人员选择必要的组成部分，在建立模型的医疗领域。
2019-06-19 cs.CL
ATEB: Evaluating and Improving Advanced NLP Tasks for Text Embedding Models
Yale University（耶鲁大学）；Google Deepmind（谷歌DeepMind）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
本文提出ATEB基准评估文本嵌入模型在事实性、安全性等高级NLP任务上的局限，并提出将分类任务重构为检索任务的新方法，通过单任务微调在事实性分类上提升8%，安全性分类上提升13%。
2025-03-03 cs.CL
Boosting Explainability through Selective Rationalization in Pre-trained Language Models
Hefei University of Technology（合肥工业大学）；School of Computer Science and Information Engineering（计算机与信息工程学院）；School of Computer Science（计算机学院）
针对选择性合理化用于PLM时因token同质性导致的理由退化问题，本文提出PLMR，通过生成器剪枝无关token、预测器利用全文规范预测，提升了可解释性与有效性。
2025-01-03 cs.AI cs.CL
Fact or Fiction? Improving Fact Verification with Knowledge Graphs through Simplified Subgraph Retrievals
University of Oslo（奥斯陆大学）
针对自然语言处理中事实验证的难题，研究提出基于知识图谱的高效声明验证方法，通过将证据检索从微调语言模型简化为逻辑检索，在FactKG数据集上实现了更低计算资源消耗与更高测试集准确率。
2024-08-14 cs.AI cs.CL cs.LG
The Hidden Signal of Verifier Strictness: Controlling and Improving Step-Wise Verification via Selective Latent Steering
Dartmouth College（达特茅斯学院）；Datadog AI Research（Datadog人工智能研究）；Salesforce AI Research（Salesforce人工智能研究）
本文研究了通过隐藏状态干预控制验证器严格性的方法，提出VerifySteer通过利用潜在正确性信号进行样本级路由并选择性干预段落边界，从而在ProcessBench和Hard2Verify数据集上优于基线方法，且在推理计算上更高效。
2026-05-20 cs.AI cs.CL cs.LG
Syntax-BERT: Improving Pre-trained Transformers with Syntax Trees
Peking University（北京大学）；Microsoft Research Asia（微软亚洲研究院）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）
像BERT这样的预训练语言模型在各种NLP任务中实现了卓越的性能，而无需显式考虑语法信息。同时，句法信息也被证明是自然语言处理成功的关键。然而，如何有效地将语法树合并到预先训练的Transformers中仍然没有解决。在本文中，我们解决这个问题，提出了一个新的框架命名为语法BERT。该框架以即插即用的方式工作，适用于基于Transformer架构的任意预训练检查点。在各种自然语言理解数据集上的实验验证了语法树的有效性，并在多个预训练模型（包括BERT，RoBERTa和T5）上实现了一致的改进。
2021-03-07 cs.CL
Explain in Your Own Words: Improving Reasoning via Token-Selective Dual Knowledge Distillation
Korea University（韩国大学）；SK Telecom（SK电信）
本文提出TSD-KD框架，通过令牌选择性双知识蒸馏提升学生模型的推理能力，结合间接和直接蒸馏方法，实验表明在10个挑战性推理基准上性能优于基线和亚军。
2026-02-25 cs.AI cs.CL cs.LG
GeoRisk-RAG: A Hierarchy-Aware Risk Framework for Improving RAG Reliability through Selective Answering
Virginia Tech（弗吉尼亚理工大学）；Florida Polytechnic University（佛罗里达理工大学）；Kuwait University（科威特大学）
GeoRisk-RAG是一种层级感知框架，通过选择性回答结合有向无环图距离估计地理适用性，在野火QA数据集上将位置相关问题错误置信率降至0.009，提升RAG可靠性，助力地理空间领域安全决策。
2026-08-25 cs.AI cs.CL
