Towards Explainability in NLP: Analyzing and Calculating Word Saliency through Word Properties
North China Electric Power University（华北电力大学）；Fayetteville State University（费耶特维尔州立大学）；Beijing Institute of Technology（北京理工大学）；Stevens Institute of Technology（史蒂文斯理工学院）
黑箱模型在自然语言处理中的广泛应用，给决策基础的理解、预测结果的可信度以及模型性能的提高带来了巨大的挑战。文本样本中的词具有反映其语义和上下文信息的属性，如词性、位置等，这些属性可能与词的显著性存在一定的关系，这对于研究模型预测的可解释性有很大帮助。在本文中，我们探讨了词的显着性和词的属性之间的关系。根据分析结果，基于序列标注的思想，进一步建立了一个从文本样本中的词及其属性到显著值的映射模型Seq 2Saliency。此外，我们建立了一个新的数据集称为PrSalM，其中包含文本样本中的每个单词，单词属性和单词显着性值。通过实验评估，分析了不同性质的词的显著性。验证了Seq 2显著性模型的有效性。
2022-09-02 cs.CL
Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology
该研究首次将基于预群语法的量子组合自然语言处理应用于阿拉伯语，通过将句子转换为拓扑反映语法结构的量子电路进行实验，对比量子电路方法与经典基线，为阿拉伯语处理提供新途径。
2026-07-17 cs.CL
Reverse Transfer Learning: Can Word Embeddings Trained for Different NLP Tasks Improve Neural Language Models?
KU Leuven（鲁汶大学）；Apple Inc.（苹果公司）
自然语言处理（NLP）任务往往受到缺乏适当注释的训练数据的影响，因此最近迁移学习在各种各样的任务中取得了成功。典型的食谱包括：（i）训练具有与语言建模相关的目标的深度的、可能是双向的神经网络，对于该目标，训练数据是丰富的;以及（ii）使用训练的网络来导出比诸如word 2 vec的标准线性词嵌入丰富得多的上下文表示，并且因此导致重要的增益。在这项工作中，我们想知道相反的观点是否也是正确的：为不同的NLP任务训练的上下文表示是否可以改善语言建模本身？由于语言模型（LM）主要是局部优化的，其他NLP任务可以帮助它们基于文档的整个语义结构做出更好的预测。我们测试了神经LM中几种类型的预训练嵌入的性能，并研究了是否有可能通过用域分类模型预训练的嵌入使LM更了解全局语义信息。初步实验表明，只要在训练过程中使用适当的客观标准，预训练的嵌入可能对神经语言建模有益。
2019-09-09 cs.CL
A Comprehensive Survey on Word Representation Models: From Classical to State-Of-The-Art Word Representation Language Models
The University of Sydney（悉尼大学）；Deakin University（迪肯大学）；RMIT University（皇家墨尔本理工大学）；University of Technology Sydney（悉尼科技大学）
词表示一直是自然语言处理（NLP）发展史上的一个重要研究领域。理解如此复杂的文本数据是必要的，因为它包含丰富的信息，可以在各种应用程序中广泛使用。在本调查中，我们探讨了不同的单词表示模型及其表达能力，从古典到现代最先进的单词表示语言模型（LMS）。我们描述了各种文本表示方法，模型设计在NLP的背景下蓬勃发展，包括SOTA LM。这些模型可以将大量文本转换为有效的矢量表示，捕获相同的语义信息。此外，这种表示可以由各种机器学习（ML）算法用于各种NLP相关任务。最后，本文简要讨论了常用的基于ML和DL的分类器、评价指标以及这些词嵌入在不同NLP任务中的应用。
2020-10-28 cs.CL
Probing What Different NLP Tasks Teach Machines about Function Word Comprehension
New York University（纽约大学）；Google AI Language（谷歌人工智能语言团队）；Harvard University（哈佛大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；Brown University（布朗大学）
我们介绍了一套九个挑战性的任务，测试功能词的理解。这些任务是通过从现有数据集中结构地突变句子来创建的，以针对特定类型的功能词的理解（例如，介词、wh词）。使用这些探测任务，我们探索了句子编码器的各种预训练目标的影响（例如，语言建模、CCG超标记和自然语言推理（NLI））。我们的研究结果表明，在我们的探测任务中，语言建模的预训练平均表现最好，支持其广泛用于预训练最先进的NLP模型，CCG超级标记和NLI预训练表现最好。总的来说，没有一个预训练目标是全面主导的，我们的功能词探测任务突出了预训练目标之间的几个直观差异，例如，NLI有助于理解否定。
2019-08-07 cs.CL
Uppsala NLP at SemEval-2021 Task 2: Multilingual Language Models for Fine-tuning and Feature Extraction in Word-in-Context Disambiguation
Uppsala University（乌普萨拉大学）
我们描述了乌普萨拉NLP提交给SemEval-2021任务2的多语言和跨语言上下文消歧。我们探索了三种预训练的多语言语言模型的有用性，XLM-RoBERTa（XLMR），多语言BERT（mBERT）和多语言蒸馏BERT（mDistilBERT）。我们在两个设置中比较这三个模型，微调和作为特征提取器。在第二种情况下，我们也尝试使用基于依赖性的信息。我们发现，微调是优于特征提取。XLMR在跨语言环境中的微调和特征提取性能优于mBERT，而这两个模型在多语言环境中的性能相似。mDistilBERT在微调方面表现不佳，但当用作特征提取器时，它给出了与其他模型相似的结果。我们提交了两个最好的系统，用XLMR和mBERT进行了微调。
2021-04-09 cs.CL
Are NLP Models really able to Solve Simple Math Word Problems?
Microsoft Research India（微软研究院印度）
设计数学应用题（MWP）的NLP求解器的问题已经看到了持续的研究活动和测试准确性的稳定增长。由于现有的求解器实现高性能的基准数据集上的初级水平MWPs包含一个未知的算术字的问题，这样的问题往往被认为是“解决”的大部分研究的注意力转移到更复杂的MWPs。在本文中，我们限制我们的注意力在四年级及以下的英语MWPs教学。我们提供了强有力的证据表明，现有的MWP求解器依赖于浅层算法来实现高性能的基准数据集。为此，我们表明，MWP求解器，没有访问的问题，在MWP仍然可以解决大部分的MWP。类似地，将MWP视为词袋的模型也可以实现令人惊讶的高准确性。此外，我们引入了一个挑战数据集，SVAMP，通过应用精心选择的变化从现有的数据集采样的例子。最先进的模型所达到的最佳精度在SVAMP上要低得多，因此即使是最简单的MWP也有很多工作要做。
2021-04-15 cs.CL
IRB-NLP at SemEval-2022 Task 1: Exploring the Relationship Between Words and Their Semantic Representations
Ruđer Bošković Institute（鲁杰尔·博什科维奇研究所）
一个词和它的描述，或者一个词和它的嵌入之间的关系是什么？描述和嵌入都是词的语义表征。但是，在这些表征中保留了来自原始词的哪些信息呢？或者更重要的是，这两种表征共享了关于一个词的哪些信息？定义建模和反向词典是解决这些问题的两个相反的学习任务。定义建模任务的目标是研究隐藏在词嵌入中的信息的力量，以人类可理解的方式表达单词的含义-作为字典定义。相反，反向词典任务探索直接从定义预测词嵌入的能力。在本文中，通过处理这两个任务，我们正在探索词和它们的语义表征之间的关系。我们根据对CODWOE数据集进行的描述性、探索性和预测性数据分析提出了我们的研究结果。我们详细介绍了我们为定义建模和反向字典任务设计的系统，并在SemEval-2022 CODWOE挑战赛的几个子任务中获得了最高分。我们希望我们提供的有关预测模型和数据分析的实验结果将被证明对未来单词表示及其关系的探索有用。
2022-05-13 cs.CL
Computing Word Classes Using Spectral Clustering
The Hebrew University（希伯来大学）
词汇聚类是自然语言处理中的一个重要问题。词聚类用于处理统计语言处理中的稀疏数据，以及解决各种NLP任务（文本分类，问答，命名实体识别等）的功能。谱聚类是图像处理和语音识别领域中广泛使用的技术。然而，它几乎没有在NLP的上下文中进行过探索;特别是，本文中使用的方法（Meila和Shi，2001）从未被用于聚类一般词汇。我们将谱聚类应用于词汇，通过使用它们作为解决两个经典NLP任务的特征来评估所产生的聚类：语义角色标注和依存句法分析。我们比较性能与布朗聚类，一个广泛使用的词聚类技术，以及与其他聚类方法。我们表明，谱聚类产生类似的结果布朗集群，并优于其他聚类方法。此外，我们量化了光谱和布朗集群之间的重叠，表明每个模型都捕获了一些其他模型未捕获的信息。
2018-08-16 cs.CL
Automatic Generation of Word Problems for Academic Education via Natural Language Processing (NLP)
Department of Industrial Engineering（工业工程系）；DHBW Center for Advanced Studies（DHBW高级研究中心）；Heilbronn（海尔布隆）
数字学习平台使学生能够按照灵活和个性化的时间表学习，并提供即时反馈机制。STEM教育领域要求学生解决大量的训练练习，以掌握基本概念。很明显，目前的在线教育在锻炼多样性和个性化方面存在限制。许多练习在结构和内容上几乎没有变化，阻碍了学生对抽象能力的采用。本文提出了一种生成多样化、上下文丰富的词汇问题的方法。除了要求生成的语言在语法上正确之外，应用题的性质还意味着对内容有效性的额外限制。所提出的方法被证明是有效的生成有效的数理统计应用题。实验结果提出了一个折衷的生成时间和行使的有效性。系统可以很容易地被参数化，以根据特定用例的要求来处理这种权衡。
2021-09-30 cs.CL
Latent Concept-based Explanation of NLP Models
Faculty of Computer Science, Dalhousie University（达尔豪斯大学计算机科学学院）；Qatar Computing Research Institute, Hamad Bin Khalifa University（哈马德·本·哈利法大学卡塔尔计算研究所）
针对现有NLP模型解释方法依赖离散词汇、信息量不足的问题，提出潜在概念归因方法LACOAT，通过将显著输入词表征映射到训练潜在空间，基于语境化潜在概念生成预测解释。
2024-10-07 cs.CL
Delta Embedding Learning
Tsinghua University（清华大学）；University of Oregon（俄勒冈大学）
无监督的词嵌入已经成为自然语言处理任务中一种流行的词表示方法。然而，由无监督嵌入表示的语义存在局限性，并且嵌入的不充分微调可能导致次优性能。我们提出了一种新的学习技术，称为Delta嵌入学习，它可以应用于一般的NLP任务，以提高性能的优化调整的词嵌入。结构化正则化应用于嵌入，以确保它们以增量方式进行调整。因此，调整后的词嵌入通过从监督中吸收语义信息而不会“遗忘”，从而成为更好的词表示。“我们将该方法应用于各种NLP任务，并看到性能的持续改善。评价也证实了调整后的词嵌入具有更好的语义特性。
2019-06-07 cs.CL
Lexicon and Rule-based Word Lemmatization Approach for the Somali Language
Jamhuriya University（贾姆胡里亚大学）；Aston University（阿斯顿大学）
本文针对低资源的索马里语，开发了基于词典和规则的词形还原器，构建了包含1247个词根和7173个派生词的初始词典及还原规则，在120篇文档测试中短文本准确率达95.87%。
2023-08-03 cs.CL
Improving Interpretability via Explicit Word Interaction Graph Layer
University of Virginia（弗吉尼亚大学）
最近的NLP文献对提高模型的可解释性越来越感兴趣。沿着这个方向，我们提出了一个可训练的神经网络层，它学习单词之间的全局交互图，然后使用学习到的单词交互来选择更多信息的单词。我们的层，我们称之为WIGRAPH，可以插入任何基于神经网络的NLP文本分类器，就在它的词嵌入层之后。在多个SOTA NLP模型和各种NLP数据集上，我们证明了添加WIGRAPH层大大提高了NLP模型的可解释性，同时增强了模型的预测性能。
2023-02-03 cs.AI cs.CL
A State of the Art of Word Sense Induction: A Way Towards Word Sense Disambiguation for Under-Resourced Languages
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
词义消歧是自动识别句子中多义词的过程，是自然语言处理的一项基本任务。WSD方法的进展为NLP及其应用领域开辟了许多有前途的发展。事实上，在当前性能水平上的改进可以让我们向自然语言理解迈出第一步。由于缺乏词汇资源，有时很难对资源不足的语言进行词义消歧。本文探讨了如何运用词义归纳法对资源匮乏的语言进行词义消歧研究，并提出了一些值得关注的问题。
2013-10-05 cs.CL
Polyglot: Distributed Word Representations for Multilingual NLP
Stony Brook University（石溪大学）
分布式词表示（词嵌入）最近在语言建模和几个NLP任务中的竞争性能做出了贡献。在这项工作中，我们训练词嵌入超过100种语言使用相应的维基百科。我们定量地证明了我们的词嵌入的效用，通过使用它们作为训练这些语言的一个子集的词性标注器的唯一功能。我们发现他们的表现与英语，丹麦语和瑞典语的最先进方法相比具有竞争力。此外，我们调查的语义特征，这些嵌入通过接近的词组。我们将公开发布这些嵌入，以帮助研究人员开发和增强多语言应用程序。
2014-06-27 cs.CL cs.LG
UIT-ISE-NLP at SemEval-2021 Task 5: Toxic Spans Detection with BiLSTM-CRF and ToxicBERT Comment Classification
University of Information Technology（信息技术大学）；Vietnam National University（越南国立大学）
我们在SemEval-2021任务5中介绍了我们关于有毒跨度检测的工作。本课题的目的是建立一个模型来识别整个帖子中的有毒词汇。我们使用BiLSTM-CRF模型结合ToxicBERT分类对检测模型进行训练，以识别帖子中的有毒词语。我们的模型在Toxic Spans Detection任务上的F1得分达到62.23%。
2021-07-30 cs.CL
Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
诸如由ELMo提供的上下文化词嵌入（CWE）（Peters等人，2018），Flair NLP（Akbik et al.，2018）或BERT（Devlin et al.，2019）是NLP最近的一项重大创新。CWE根据其各自的上下文提供单词的语义向量表示。它们相对于静态词嵌入的优势已经在许多任务中表现出来，例如文本分类、序列标记或机器翻译。由于相同词类型的向量可以根据相应的上下文而变化，因此它们隐含地提供了词义消歧（WSD）的模型。我们介绍了一个简单而有效的方法，WSD使用最近邻分类CWE。我们比较了不同CWE模型的性能，并报告了两个标准WSD基准数据集的改进情况。我们进一步表明，预训练的BERT模型能够将多义词放置到嵌入空间的不同“意义”区域中，而ELMo和Flair NLP似乎不具备这种能力。
2019-10-01 cs.CL
A Feature-Rich Vietnamese Named-Entity Recognition Model
Alt Vietnam Co., Ltd（Alt Vietnam Co., Ltd（Alt越南有限公司））
在本文中，我们提出了一个基于特征的命名实体识别（NER）模型，达到了越南语的最先进的准确性。我们在条件随机场（CRF）模型中结合了单词，单词形状特征，PoS，组块，基于布朗聚类的特征和基于单词嵌入的特征。我们还探讨了分词，PoS标签，和许多流行的越南NLP工具包的准确性上提出的基于特征的NER模型的分块结果的影响。到目前为止，我们的工作是第一个工作，系统地进行外部评估的基本越南NLP工具包的下游NER任务。实验结果表明，虽然自动生成的分词是有用的，越南NLP工具生成的PoS和组块信息并没有显示出他们的好处，建议基于特征的NER模型。
2018-03-12 cs.CL
Modeling Order in Neural Word Embeddings at Scale
Digital Reasoning Systems, Inc.（数字推理系统公司）
自然语言处理（NLP）系统通常利用词袋共现技术来捕获语义和句法词关系。由此产生的单词级分布式表示通常忽略形态信息，尽管字符级嵌入已被证明对NLP任务很有价值。我们提出了一种新的神经语言模型，在其嵌入的词序和字符顺序。该模型产生了几个向量空间有意义的子结构，证明了其性能的85.8%，最近的单词类比任务，超过最好的发表的句法单词类比分数的58%的误差幅度。此外，该模型包括几种并行训练方法，最值得注意的是允许在3个多核CPU上过夜训练具有1600亿个参数的skip-gram网络，比之前最大的神经网络大14倍。
2015-06-11 cs.CL
NYTWIT: A Dataset of Novel Words in the New York Times
Georgia Institute of Technology（佐治亚理工学院）；University of Wisconsin（威斯康星大学）；School for Poetic Computation（诗意计算学院）
我们展示了纽约时报单词创新类型数据集（NYTWIT），这是2017年11月至2019年3月期间在纽约时报上发表的2,500多个新英语单词的集合，手动注释了它们的新颖性（如词汇派生，方言变异，混合或复合）。我们目前的基线结果为非上下文和上下文预测的新颖类，显示有改进的空间，即使是最先进的NLP系统。我们希望这个资源能为语言学家和NLP从业者提供一个真实世界的新单词出现环境。
2020-10-23 cs.CL
Word Embedding based New Corpus for Low-resourced Language: Sindhi
University of Electronic Science and Technology of China（电子科技大学）
将词和短语表示为密集的实数向量，并将其语义和句法属性编码，是自然语言处理的一个重要组成部分。神经网络（NN）模型在自然语言处理中的成功很大程度上依赖于在大型未标记语料库上学习到的这种密集的词表示。信德语是一种丰富的形态语言，在巴基斯坦和印度有大量人口使用，但缺乏语料库，而语料库在生成词嵌入和开发独立于语言的NLP系统方面起着重要的测试作用。在本文中，超过61万字的大型语料库开发的低资源的信德语训练神经词嵌入。语料库是使用web-scrappy从多个网络资源中获取的。由于没有针对信德语的开源预处理工具，对如此庞大的语料库进行预处理成为一个具有挑战性的问题，特别是从Web资源中提取的噪声数据的清理。因此，采用预处理流水线来过滤噪声文本。然后，使用最先进的GloVe、Skip-Gram（SG）和连续词袋（CBoW）word 2 vec算法，利用清理后的词汇表来训练信德语词嵌入。采用余弦相似度矩阵的内在评价方法和WordSim-353对生成的信德语词嵌入进行评价。此外，我们比较建议的词嵌入与最近发现的信德快速文本（SdfastText）的单词表示。我们的内在评估结果表明，我们生成的信德语词嵌入使用SG，CBoW和GloVe相比，SdfastText词表示的高品质。
2020-12-30 cs.CL
Evaluation Of Word Embeddings From Large-Scale French Web Content
École Polytechnique（巴黎综合理工学院）；AUEB（雅典经济与商业大学）
分布式词表示在自然语言处理的许多任务中被广泛使用。在巨大的文本语料库上添加预训练的词向量在许多不同的NLP任务中获得了高性能。本文介绍了法语的多个高质量词向量，其中两个是在本研究中在大量爬行的法语数据上训练的，其他的是在现有的法语语料库上训练的。我们还评估了我们提出的词向量和现有的法语词向量的法语词类比任务的质量。此外，我们对多个真实的NLP任务进行了评估，结果表明，与现有的和随机的词向量相比，预训练的词向量的性能有了重要的提高。最后，我们创建了一个演示Web应用程序来测试和可视化所获得的词嵌入。生成的法语词嵌入以及NLU任务上的微调代码和演示代码都可供公众使用。
2022-03-10 cs.CL
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University（南洋理工大学）；Tsinghua University（清华大学）
PSDVec是一个学习词嵌入的Python/Perl工具箱，即将自然语言中的单词映射到连续向量，这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程，我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间，并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理（NLP）任务上，PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
On Evaluation of Bangla Word Analogies
Auburn University（奥本大学）
本文针对低资源的孟加拉语，提出了包含16678个样本的Mikolov风格词汇类比评估集及10594个样本的跨语言版本，实验表明现有嵌入模型表现不佳，为构建可靠NLP系统奠定基础。
2023-04-10 cs.CL
Analyzing Correlations Between Intrinsic and Extrinsic Bias Metrics of Static Word Embeddings With Their Measuring Biases Aligned
The University of Tokyo（东京大学）
本研究通过对齐内在与外在偏见指标的测量对象，分析静态词嵌入两类偏见指标的相关性，发现内在指标仅能预测特定场景下的NLP系统偏见行为。
2024-09-14 cs.CL
Sexism in the Judiciary
我们分析了670万份判例法文件，以确定我们的司法系统中存在性别偏见。我们发现，目前的偏见检测方法在自然语言处理是不够的，以确定性别偏见在我们的案例法数据库，并提出了一种替代方法。我们发现，现有算法的不一致的结果是先前研究的偏见定义本身的后果。偏置检测算法依赖于字组来表示偏置（例如，"工资"、"工作"和"老板"代表就业，作为文本中对妇女有潜在偏见的主题）。然而，建立这些单词组的方法有几个缺点，主要是单词列表是基于研究人员自己的直觉。我们提出了两种新的方法来自动创建单词列表来表示偏见。我们发现，我们的方法优于目前的NLP偏见检测方法。我们的研究提高了NLP技术检测偏见的能力，并突出了有影响力的判例法中存在的性别偏见。为了测试我们的NLP偏见检测方法的性能，我们回归我们的偏见的结果，在判例法对美国人口普查数据的妇女参与劳动力在过去的100年。
2021-06-29 cs.CL
Identifying Human Strategies for Generating Word-Level Adversarial Examples
University College London（伦敦大学学院）；Tilburg University（蒂尔堡大学）
NLP中的对抗性示例正受到越来越多的研究关注。研究的一条线是生成针对微调的Transformer模型的单词级对抗性示例，这些模型保留了自然性和语法性。以前的工作发现，人类和机器生成的对抗性示例在自然性和语法正确性方面具有可比性。最值得注意的是，人类能够比自动攻击更轻松地生成对抗性示例。在本文中，我们详细分析了人类如何创建这些对抗性示例。通过探索人类工作者在生成过程中的行为模式，我们根据人类更喜欢选择哪些词进行对抗性替换（例如，词频率、词显著性、情感）以及在输入序列中词被替换的位置和时间。通过我们的研究结果，我们试图激励人们努力利用人类策略来构建更强大的NLP模型。
2022-10-20 cs.CL
Broken Words, Broken Performance: Effect of Tokenization on Performance of LLMs
TCS Research（塔塔咨询服务研究）
本文研究了分词对大语言模型性能的影响，提出惩罚函数量化分词质量，并验证其在多个NLP任务上的统计显著性。
2025-12-26 cs.CL
Debiasing Multilingual Word Embeddings: A Case Study of Three Indian Languages
IIT Kharagpur（印度理工学院卡拉格布尔分校）
在本文中，我们提出了目前国家的最先进的方法去偏置单语词嵌入，以便推广到多语言设置。我们考虑不同的方法来量化偏见和不同的去偏置方法，单语以及多语言设置。我们证明了我们的偏见缓解方法对下游NLP应用的重要性。我们提出的方法建立了最先进的性能去偏置多语言嵌入三种印度语言-印地语，孟加拉语和泰卢固语，除了英语。我们相信，我们的工作将为构建无偏见的下游NLP应用程序开辟新的机会，这些应用程序本质上依赖于所使用的词嵌入的质量。
2021-07-22 cs.CL
Subword ELMo
Shanghai Jiao Tong University（上海交通大学）；Tencent AI Lab（腾讯AI实验室）
从语言模型嵌入（ELMo）已被证明对改善许多自然语言处理（NLP）任务是有效的，并且ELMo采用字符信息来组成单词表示来训练语言模型。然而，字符是一个不充分的和不自然的语言单位为词表示。2因此，我们介绍了嵌入从子词感知语言模型（ESuLMo）它使用无监督的词分割从子词中学习词表示。我们表明，ESuLMo可以比ELMo更有效地增强四个基准NLP任务，包括句法依存句法分析，语义角色标注，隐含语篇关系识别和语篇蕴涵，这对ELMo带来了有意义的改进。
2019-09-18 cs.CL
SanskritShala: A Neural Sanskrit NLP Toolkit with Web-Based Interface for Pedagogical and Annotation Purposes
IIT Kanpur（印度理工学院坎普尔分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）；IIT Mandi（印度理工学院曼迪分校）
本文提出首个带网页界面的神经梵语NLP工具包SanskritShala，集成词切分、形态标注、依存解析和复合词识别等模块，在多个基准上达到最先进性能，并公开代码、词嵌入模型及标注数据，以支持梵语教学与标注工作。
2023-05-29 cs.CL
Word Segmentation on Micro-blog Texts with External Lexicon and Heterogeneous Data
Soochow University（苏州大学）
本文介绍了我们为NLPCC 2016共享任务设计的微博文本分词系统。
2016-09-29 cs.CL
Contextual LSTM (CLSTM) models for Large scale NLP tasks
Google Research（谷歌研究院）
文档在多个抽象级别上展示顺序结构（例如，句子、段落、章节）。这些抽象构成了一个自然的层次结构，用于表示上下文，在上下文中推断单词和更大的文本片段的含义。在本文中，我们提出了CLSTM（Contextual LSTM），这是递归神经网络LSTM（长短期记忆）模型的扩展，其中我们结合了上下文特征（例如，#21453;的模式）。我们在三个特定的NLP任务上评估CLSTM：单词预测，下一句选择和句子主题预测。在两个语料库上运行的实验结果表明，使用单词和主题作为特征可以提高CLSTM模型在这些任务中的性能，这两个语料库分别是维基百科中的英语文档和最近的英语Google News快照中的文章子集。例如，在下一个句子选择任务中，维基百科数据集的相对准确率提高了21%，谷歌新闻数据集提高了18%。这清楚地表明了在自然语言（NL）任务中适当使用上下文的显著好处。这对各种各样的NL应用程序，如问答，句子完成，释义生成，以及对话系统中的下一个话语预测都有影响。
2016-05-31 cs.CL
SJTU-NLP at SemEval-2018 Task 9: Neural Hypernym Discovery with Term Embeddings
Shanghai Jiao Tong University（上海交通大学）；Huazhong University of Science and Technology（华中科技大学）
本文描述了我们参与SemEval-2018任务9的上位词发现系统，该系统旨在发现输入概念或实体的最佳（一组）候选上位词，给定预定义词汇的搜索空间。我们介绍了一个神经网络架构的有关任务，并实证研究各种神经网络模型，以建立潜在空间的单词和短语的表示。评价模型包括卷积神经网络、长短期记忆网络、门控递归单元和递归卷积神经网络。我们还探索了不同的嵌入方法，包括词嵌入和意义嵌入，以获得更好的性能。
2018-05-26 cs.CL
Order-sensitive Shapley Values for Evaluating Conceptual Soundness of NLP Models
Carnegie Mellon University（卡内基梅隆大学）
以前的工作表明，深度NLP模型并不总是概念上合理的：它们并不总是学习正确的语言概念。具体来说，他们可能对词序不敏感。为了系统地评估模型的概念合理性，相对于词序，我们介绍了一种新的解释方法：顺序敏感Shapley值（OSV）。我们进行了广泛的实证评估，以验证该方法，并揭示各种深度NLP模型学习词序的效果。使用合成数据，我们首先表明，OSV是更忠实地解释模型的行为比基于梯度的方法。其次，应用于HANS数据集，我们发现基于BERT的NLI模型只使用单词出现而不使用单词顺序。虽然简单的数据增强提高了HANS的准确性，但OSV表明，增强模型并没有从根本上提高模型的阶次学习。第三，我们发现并非所有的情感分析模型都能正确地学习否定：有些模型无法捕捉到否定结构的正确语法。最后，我们证明了预训练的语言模型，如BERT，可能依赖于主题词的绝对位置来学习长距离主谓一致。对于每个NLP任务，我们还演示了如何利用OSV来生成对抗性示例。
2022-06-01 cs.AI cs.CL
Unknown Words Analysis in POS tagging of Sinhala Language
Virtusa Pvt. Ltd.（Virtusa私人有限公司）；University of Kelaniya（凯拉尼亚大学）
词性分析是任何语言的自然语言处理（NLP）任务中的一个非常重要的课题，它涉及到分析语言的结构、行为和动态，这些知识可以用于计算语言学分析和自动化应用。在这种情况下，处理未知词（未出现在词典中的词称为未知词）也是一项重要任务，因为越来越多的NLP系统用于越来越多的新应用。预测未知词的词汇类别的一个辅助手段是使用语言的句法知识。在标注过程中，通过区分开类词和闭类词，并结合本研究所用语言的句法特征来预测未登录词的词汇类别。通过实验研究了该方法在没有人工干预的情况下利用句法知识解析未登录词的能力。这个实验表明，当词类区分与句法规则一起使用时，标记过程的性能得到增强，以解析包含未知词的句子在僧伽罗语。
2015-01-06 cs.CL
The Word and the Way: Strategies for Domain-Specific BERT Pre-Training in German Medical NLP
School of Computation, Information and Technology（计算信息科技学院）；Technical University of Munich（慕尼黑技术大学）；Chair of IT Infrastructure for Translational Medical Research（转化医学研究信息基础设施主任）；Faculty of Applied Computer Science（应用计算机科学学院）；University of Augsburg（艾希施泰特大学）；Institute of General Practice（基础医学研究所）；Faculty of Medicine and Medical Center（医学学院和医学中心）
本文提出ChristBERT系列模型，通过对比持续预训练、从头训练和领域词汇适应三种策略，在德语医学NLP任务中实现最优性能，并建立新的基准。
2026-06-02 cs.CL
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉影像工程技术研究中心）
本文提出一种基于句法与概率视角的上下文词表示模型，利用条件随机场和平均场变分推断建模词的潜在表示及依存弧，发现其计算图与transformers相似，在中小型数据集上表现具竞争力，旨在弥合传统与神经方法间的差距。
2023-11-26 cs.CL
LABOR-LLM: Language-Based Occupational Representations with Large Language Models
Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）；Graduate School of Business（商学院）；Harvard Data Science Initiative（哈佛大学数据科学倡议）；Harvard University（哈佛大学）
LABOR-LLM通过大语言模型微调，利用职业历史预测下一个职业，展现优于传统模型的预测性能。
2026-01-02 cs.CL cs.LG econ.EM
Semantic Tokenizer for Enhanced Natural Language Processing
Inspird, Inc.（Inspird公司）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
本文提出语义驱动的SentencePiece替代分词器，通过词干提取与编码优化扩充词形覆盖，从而改善模型收敛及词、句嵌入，并以BERT-base在两项GLUE任务上超过50倍规模模型。
2023-04-24 cs.CL
Deconstructing word embedding algorithms
BMO AI Capabilities Team（BMO人工智能能力团队）；Bank of Montreal（蒙特利尔银行）；Mila - Québec AI Institute（Mila-魁北克人工智能研究所）；McGill University（麦吉尔大学）
词嵌入是词的可靠特征表示，用于获得各种NLP应用的高质量结果。无语境的词嵌入在当今的许多NLP任务中使用，特别是在高内存容量和GPU不可用的资源有限的设置中。鉴于词嵌入在NLP中的历史成功，我们提出了一些最知名的词嵌入算法的回顾。在这项工作中，我们解构Word2vec，GloVe，和其他人，到一个共同的形式，揭示了一些共同的条件，似乎是所需的性能词嵌入。我们相信，本文的理论研究结果可以为未来模型的更明智的发展提供基础。
2020-11-12 cs.AI cs.CL
A Comparative Study of Transformers on Word Sense Disambiguation
Mastercard AI（万事达卡人工智能部门）；Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））
本文比较研究了九种Transformer模型在词义消歧任务中的上下文化能力，通过在上下文词嵌入上使用kNN分类方法，在SensEval-2和SensEval-3上取得了优于现有最优方法的结果。
2021-11-30 cs.CL
Multilingual Word Sense Disambiguation with Unified Sense Representation
HKUST（香港科技大学）；Tencent AI lab（腾讯人工智能实验室）
词义消歧是自然语言处理的一项重要任务，它评估自然语言处理模型在特定语境下对词汇语义的理解能力。得益于大规模标注，当前的词义消歧系统通过将监督学习与词汇知识相结合，在英语中取得了令人印象深刻的性能。然而，这样的成功是很难被复制在其他语言中，我们只有有限的annotations.In本文中，基于多语种词典BabelNet描述跨语言的同一组概念，我们提出了建立知识和监督为基础的多语种词义消歧（MWSD）系统。我们为多种语言建立统一的意义表示，并通过将注释从丰富的语言转移到贫穷的语言来解决MWSD的注释稀缺问题。通过统一的意义表示，可以联合训练来自多种语言的注释，以使MWSD任务受益。SemEval-13和SemEval-15数据集的评估证明了我们方法的有效性。
2022-10-14 cs.CL
Contextualized Spoken Word Representations from Convolutional Autoencoders
Shiv Nadar University（希夫·纳达尔大学）
人们已经做了大量的工作来构建基于文本的语言模型来执行不同的NLP任务，但是在基于音频的语言模型的情况下还没有做太多的研究。本文提出了一种基于卷积自动编码器的神经架构，以模拟不同长度的口语单词的语法和语义适当的上下文表示。使用这种表示不仅可以在基于音频的NLP任务中取得巨大进步，而且还可以在将语音转换为文本以执行这些任务时减少音调，表情，口音等信息的丢失。该模型的性能通过以下方式进行验证：（1）检查生成的向量空间，以及（2）评估其在三个用于测量单词相似性的基准数据集上的性能，与现有广泛使用的基于文本的语言模型进行比较。与其他两种基于语言的模型相比，该模型能够证明其鲁棒性。
2020-09-29 cs.CL
Contextual Word Representations: A Contextual Introduction
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
这篇介绍旨在讲述我们如何将文字输入计算机的故事。它是人工智能的一个分支自然语言处理（NLP）领域故事的一部分。它的目标受众广泛，对计算机编程有基本的了解，但避免了详细的数学处理，也没有提出任何算法。它也不关注NLP的任何特定应用，如翻译，问答或信息抽取。这里提出的想法是由许多研究人员在几十年中发展起来的，所以引用并不详尽，而是引导读者阅读一些论文，在作者看来，这些论文是开创性的。阅读本文档后，您应该对词向量（也称为词嵌入）有一个大致的了解：它们为什么存在，它们解决了什么问题，它们来自哪里，它们如何随着时间的推移而变化，以及关于它们的一些开放性问题是什么。对于已经熟悉词向量的读者，建议跳到第5节来讨论最新的进展，上下文词向量。
2020-04-17 cs.CL
Comparison of Turkish Word Representations Trained on Different Morphological Forms
Istanbul Technical University（伊斯坦布尔理工大学）
不同文本表示的日益普及也带来了自然语言处理（NLP）任务的许多改进。在不需要监督数据的情况下，在大型语料库上训练的嵌入为我们提供了用于不同NLP任务的有意义的关系。尽管使用最近的方法训练这些向量相对容易，但从数据中获得的信息在很大程度上取决于语料库语言的结构。由于人们普遍研究的语言具有相似的形态结构，形态丰富的语言所出现的问题在研究中往往被忽视。对于形态丰富的语言，上下文无关词向量忽略了语言的形态结构。在这项研究中，我们准备了文本在形态上不同的形式在形态丰富的语言，土耳其语，并比较了不同的内在和外在的任务的结果。为了观察形态结构的效果，我们在词元和后缀被不同处理的文本上训练word2vec模型。我们还训练了子词模型fastText，并比较了词类比，文本分类，情感分析和语言模型任务的嵌入。
2020-02-13 cs.CL
Task-specific Word-Clustering for Part-of-Speech Tagging
Google, Inc.（谷歌公司）
虽然聚类特征的使用在核心NLP任务中变得无处不在，但NLP中的大多数聚类特征都基于分布相似性。我们提出了一种新类型的聚类标准，具体到词性标注的任务。而不是分布相似性，这些集群是基于一个基线标记时，适用于一个大型语料库的行为。这些集群功能提供了类似的收益，在准确性所取得的分布相似性派生的集群。同时使用这两种类型的聚类特征进一步提高了标记准确性。我们表明，该方法是有效的域和域外的情况下，英语，法语，德语和意大利语。域外文本的影响更大。
2012-05-19 cs.CL
Word Embeddings from Large-Scale Greek Web Content
Athens University of Economics and Business（雅典经济与商业大学）
词嵌入无疑是许多NLP任务中非常有用的组件。在本文中，我们提出了词嵌入和其他语言资源上最大的数字希腊语语料库训练。我们还提出了一个实时的网络工具，用于测试希腊词嵌入，通过提供“类比”，“相似度得分”和“最相似的话”的功能。通过我们的探索者，人们可以与希腊词向量互动。
2018-10-26 cs.CL
Stemmers for Tamil Language: Performance Analysis
K.S.Rangasamy College of Arts and Science（K.S.兰加斯米文理学院）
词干提取是从给定的屈折词中提取词根的过程，在自然语言处理（NLP）的众多应用中起着重要的作用。泰米尔语对NLP提出了一些挑战，因为它比其他语言有丰富的形态模式。本文提出了基于规则的方法轻词干，找到干词的变形泰米尔语单词。所提出的方法的性能相比，基于规则的后缀去除词干的基础上正确和不正确的预测。实验结果清楚地表明，所提出的方法轻词干泰米尔语比后缀去除词干，也更有效的信息检索系统（IRS）。
2013-10-02 cs.CL
ERAS: Evaluating the Robustness of Chinese NLP Models to Morphological Garden Path Errors
Tandon School of Engineering（坦登工程学院）；New York University（纽约大学）；Center for Data Science（数据科学中心）
本文提出基准ERAS，通过对比有无局部分割歧义的句子，揭示中文分词和情感分析模型因忽视形态句法上下文而易犯形态学花园路径错误。
2024-10-16 cs.AI cs.CL
Are We Consistently Biased? Multidimensional Analysis of Biases in Distributional Word Vectors
University of Mannheim（曼海姆大学）
词嵌入最近被证明反映了许多明显的社会偏见（例如，性别偏见或种族偏见）。然而，现有的研究范围有限，并且没有调查嵌入模型，文本类型和不同语言等相关维度的偏差的一致性。在这项工作中，我们提出了一个系统的研究编码在分布式词向量空间的偏见：我们分析如何一致的偏见影响是跨语言，语料库和嵌入模型。此外，我们分析了双语嵌入空间中编码的跨语言偏差，表明NLP模型的跨语言迁移中包含的偏差迁移的影响。我们的研究产生了一些意想不到的发现，例如，偏见可以通过不同的嵌入模型来强调或淡化，或者用户生成的内容可能比百科全书文本的偏见更少。我们希望我们的工作能够促进NLP中的偏见研究，并为偏见减少技术的发展提供信息。
2019-04-29 cs.CL
Character, Word, or Both? Revisiting the Segmentation Granularity for Chinese Pre-trained Language Models
State Key Lab of Software Development Environment, Beihang University（北京航空航天大学软件开发环境国家重点实验室）；School of Computer Science and Engineering, Northeastern University（东北大学计算机科学与工程学院）；Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部）；Lark Platform Engineering-AI（飞书平台工程-人工智能）
预训练的语言模型（PLM）在各种NLP任务中表现出惊人的改进。大多数中文PLM只是将输入文本视为字符序列，而完全忽略了单词信息。虽然整个词掩码可以缓解这一点，但单词中的语义仍然没有得到很好的表示。在本文中，我们重新审视了中文PLM的分割粒度。本文提出了一种同时考虑字和词的混合粒度汉语BERT（MigBERT）。为了实现这一点，我们设计了学习字符和单词级表示的目标函数。我们对各种中文NLP任务进行了广泛的实验，以评估现有的PLM以及建议的MigBERT。实验结果表明，MigBERT在所有这些任务上都实现了新的SOTA性能。进一步的分析表明，词比字的语义更丰富。更有趣的是，我们表明MigBERT也适用于日本人。我们的代码和模型已经在这里发布了~ \footnote{https://github.com/xnliang98/MigBERT}。
2023-03-22 cs.CL
Semantic Structure and Interpretability of Word Embeddings
ASELSAN Research Center（ASELSAN研究中心）；Bilkent University（比尔肯大学）
密集词嵌入是一种将词的语义编码到低维向量空间中的方法，由于其在许多自然语言处理（自然语言处理）任务中的优异性能，已成为自然语言处理研究的热点。词嵌入在捕获词之间的语义关系方面是非常成功的，因此在相应的向量空间中必须存在有意义的语义结构。然而，在许多情况下，这种语义结构广泛且不均匀地分布在嵌入维度上，这使得解释成为一个很大的挑战。在这项研究中，我们提出了一种统计方法来揭示隐藏在密集的词嵌入的语义结构。为了进行我们的分析，我们引入了一个新的数据集（SEMCAT），其中包含超过6500个单词的语义分组下110个类别。我们进一步提出了一种方法来量化的词嵌入的可解释性，所提出的方法是一个实用的替代经典的词入侵测试，需要人为干预。
2018-05-16 cs.CL
