Towards Explainability in NLP: Analyzing and Calculating Word Saliency through Word Properties
North China Electric Power University(华北电力大学);Fayetteville State University(费耶特维尔州立大学);Beijing Institute of Technology(北京理工大学);Stevens Institute of Technology(史蒂文斯理工学院)
黑箱模型在自然语言处理中的广泛应用,给决策基础的理解、预测结果的可信度以及模型性能的提高带来了巨大的挑战。文本样本中的词具有反映其语义和上下文信息的属性,如词性、位置等,这些属性可能与词的显著性存在一定的关系,这对于研究模型预测的可解释性有很大帮助。在本文中,我们探讨了词的显着性和词的属性之间的关系。根据分析结果,基于序列标注的思想,进一步建立了一个从文本样本中的词及其属性到显著值的映射模型Seq 2Saliency。此外,我们建立了一个新的数据集称为PrSalM,其中包含文本样本中的每个单词,单词属性和单词显着性值。通过实验评估,分析了不同性质的词的显著性。验证了Seq 2显著性模型的有效性。
2022-09-02 cs.CL
Quantum Compositional NLP for Arabic: Grammar, Morphology, and Word Sense in Circuit Topology
该研究首次将基于预群语法的量子组合自然语言处理应用于阿拉伯语,通过将句子转换为拓扑反映语法结构的量子电路进行实验,对比量子电路方法与经典基线,为阿拉伯语处理提供新途径。
2026-07-17 cs.CL
BERT for Monolingual and Cross-Lingual Reverse Dictionary
Fudan University(复旦大学)
逆向词典是在给定单词描述的情况下找到合适的目标单词的任务。在本文中,我们试图将BERT纳入到这个任务。然而,由于BERT基于字节对编码(BPE)子字编码,因此使BERT生成给定描述的字是不平凡的。我们提出了一个简单而有效的方法,使BERT产生的目标词为这个特定的任务。此外,跨语言反向词典的任务是找到正确的目标词描述的另一种语言。以前的模型必须保持两个不同的词嵌入,并学习对齐这些嵌入。然而,通过使用多语言BERT(mBERT),我们可以有效地进行跨语言的反向字典与一个子词嵌入,和语言之间的对齐是不必要的。更重要的是,mBERT在没有平行语料库的情况下也能实现出色的跨语言逆向词典性能,即只需要对应的单语数据就可以进行跨语言逆向词典。代码可在https://github.com/yhcc/BertForRD.git上公开获取。
2020-09-30 cs.CL
A Comprehensive Survey on Word Representation Models: From Classical to State-Of-The-Art Word Representation Language Models
The University of Sydney(悉尼大学);Deakin University(迪肯大学);RMIT University(皇家墨尔本理工大学);University of Technology Sydney(悉尼科技大学)
词表示一直是自然语言处理(NLP)发展史上的一个重要研究领域。理解如此复杂的文本数据是必要的,因为它包含丰富的信息,可以在各种应用程序中广泛使用。在本调查中,我们探讨了不同的单词表示模型及其表达能力,从古典到现代最先进的单词表示语言模型(LMS)。我们描述了各种文本表示方法,模型设计在NLP的背景下蓬勃发展,包括SOTA LM。这些模型可以将大量文本转换为有效的矢量表示,捕获相同的语义信息。此外,这种表示可以由各种机器学习(ML)算法用于各种NLP相关任务。最后,本文简要讨论了常用的基于ML和DL的分类器、评价指标以及这些词嵌入在不同NLP任务中的应用。
2020-10-28 cs.CL
Probing What Different NLP Tasks Teach Machines about Function Word Comprehension
New York University(纽约大学);Google AI Language(谷歌人工智能语言团队);Harvard University(哈佛大学);Johns Hopkins University(约翰斯·霍普金斯大学);Brown University(布朗大学)
我们介绍了一套九个挑战性的任务,测试功能词的理解。这些任务是通过从现有数据集中结构地突变句子来创建的,以针对特定类型的功能词的理解(例如,介词、wh词)。使用这些探测任务,我们探索了句子编码器的各种预训练目标的影响(例如,语言建模、CCG超标记和自然语言推理(NLI))。我们的研究结果表明,在我们的探测任务中,语言建模的预训练平均表现最好,支持其广泛用于预训练最先进的NLP模型,CCG超级标记和NLI预训练表现最好。总的来说,没有一个预训练目标是全面主导的,我们的功能词探测任务突出了预训练目标之间的几个直观差异,例如,NLI有助于理解否定。
2019-08-07 cs.CL
Reverse Operation based Data Augmentation for Solving Math Word Problems
Kyoto University(京都大学);Peking University(北京大学);Waseda University(早稻田大学)
数学应用题的自动求解是自然语言处理领域的一个重要课题。最近的模型已经达到了性能瓶颈,需要更多高质量的数据进行训练。我们提出了一种新的数据增强方法,该方法反转数学应用题的数学逻辑,以产生新的高质量数学问题,并引入新的知识点,可以帮助学习数学推理逻辑。我们将增强的数据应用于两个SOTA数学单词问题解决模型,并将我们的结果与强大的数据增强基线进行比较。实验结果表明了该方法的有效性。我们在https://github.com/yiyunya/RODA上发布我们的代码和数据。
2021-11-10 cs.CL
Uppsala NLP at SemEval-2021 Task 2: Multilingual Language Models for Fine-tuning and Feature Extraction in Word-in-Context Disambiguation
Uppsala University(乌普萨拉大学)
我们描述了乌普萨拉NLP提交给SemEval-2021任务2的多语言和跨语言上下文消歧。我们探索了三种预训练的多语言语言模型的有用性,XLM-RoBERTa(XLMR),多语言BERT(mBERT)和多语言蒸馏BERT(mDistilBERT)。我们在两个设置中比较这三个模型,微调和作为特征提取器。在第二种情况下,我们也尝试使用基于依赖性的信息。我们发现,微调是优于特征提取。XLMR在跨语言环境中的微调和特征提取性能优于mBERT,而这两个模型在多语言环境中的性能相似。mDistilBERT在微调方面表现不佳,但当用作特征提取器时,它给出了与其他模型相似的结果。我们提交了两个最好的系统,用XLMR和mBERT进行了微调。
2021-04-09 cs.CL
Are NLP Models really able to Solve Simple Math Word Problems?
Microsoft Research India(微软研究院印度)
设计数学应用题(MWP)的NLP求解器的问题已经看到了持续的研究活动和测试准确性的稳定增长。由于现有的求解器实现高性能的基准数据集上的初级水平MWPs包含一个未知的算术字的问题,这样的问题往往被认为是“解决”的大部分研究的注意力转移到更复杂的MWPs。在本文中,我们限制我们的注意力在四年级及以下的英语MWPs教学。我们提供了强有力的证据表明,现有的MWP求解器依赖于浅层算法来实现高性能的基准数据集。为此,我们表明,MWP求解器,没有访问的问题,在MWP仍然可以解决大部分的MWP。类似地,将MWP视为词袋的模型也可以实现令人惊讶的高准确性。此外,我们引入了一个挑战数据集,SVAMP,通过应用精心选择的变化从现有的数据集采样的例子。最先进的模型所达到的最佳精度在SVAMP上要低得多,因此即使是最简单的MWP也有很多工作要做。
2021-04-15 cs.CL
IRB-NLP at SemEval-2022 Task 1: Exploring the Relationship Between Words and Their Semantic Representations
Ruđer Bošković Institute(鲁杰尔·博什科维奇研究所)
一个词和它的描述,或者一个词和它的嵌入之间的关系是什么?描述和嵌入都是词的语义表征。但是,在这些表征中保留了来自原始词的哪些信息呢?或者更重要的是,这两种表征共享了关于一个词的哪些信息?定义建模和反向词典是解决这些问题的两个相反的学习任务。定义建模任务的目标是研究隐藏在词嵌入中的信息的力量,以人类可理解的方式表达单词的含义-作为字典定义。相反,反向词典任务探索直接从定义预测词嵌入的能力。在本文中,通过处理这两个任务,我们正在探索词和它们的语义表征之间的关系。我们根据对CODWOE数据集进行的描述性、探索性和预测性数据分析提出了我们的研究结果。我们详细介绍了我们为定义建模和反向字典任务设计的系统,并在SemEval-2022 CODWOE挑战赛的几个子任务中获得了最高分。我们希望我们提供的有关预测模型和数据分析的实验结果将被证明对未来单词表示及其关系的探索有用。
2022-05-13 cs.CL
Computing Word Classes Using Spectral Clustering
The Hebrew University(希伯来大学)
词汇聚类是自然语言处理中的一个重要问题。词聚类用于处理统计语言处理中的稀疏数据,以及解决各种NLP任务(文本分类,问答,命名实体识别等)的功能。谱聚类是图像处理和语音识别领域中广泛使用的技术。然而,它几乎没有在NLP的上下文中进行过探索;特别是,本文中使用的方法(Meila和Shi,2001)从未被用于聚类一般词汇。我们将谱聚类应用于词汇,通过使用它们作为解决两个经典NLP任务的特征来评估所产生的聚类:语义角色标注和依存句法分析。我们比较性能与布朗聚类,一个广泛使用的词聚类技术,以及与其他聚类方法。我们表明,谱聚类产生类似的结果布朗集群,并优于其他聚类方法。此外,我们量化了光谱和布朗集群之间的重叠,表明每个模型都捕获了一些其他模型未捕获的信息。
2018-08-16 cs.CL
Automatic Generation of Word Problems for Academic Education via Natural Language Processing (NLP)
Department of Industrial Engineering(工业工程系);DHBW Center for Advanced Studies(DHBW高级研究中心);Heilbronn(海尔布隆)
数字学习平台使学生能够按照灵活和个性化的时间表学习,并提供即时反馈机制。STEM教育领域要求学生解决大量的训练练习,以掌握基本概念。很明显,目前的在线教育在锻炼多样性和个性化方面存在限制。许多练习在结构和内容上几乎没有变化,阻碍了学生对抽象能力的采用。本文提出了一种生成多样化、上下文丰富的词汇问题的方法。除了要求生成的语言在语法上正确之外,应用题的性质还意味着对内容有效性的额外限制。所提出的方法被证明是有效的生成有效的数理统计应用题。实验结果提出了一个折衷的生成时间和行使的有效性。系统可以很容易地被参数化,以根据特定用例的要求来处理这种权衡。
2021-09-30 cs.CL
Improving Interpretability via Explicit Word Interaction Graph Layer
University of Virginia(弗吉尼亚大学)
最近的NLP文献对提高模型的可解释性越来越感兴趣。沿着这个方向,我们提出了一个可训练的神经网络层,它学习单词之间的全局交互图,然后使用学习到的单词交互来选择更多信息的单词。我们的层,我们称之为WIGRAPH,可以插入任何基于神经网络的NLP文本分类器,就在它的词嵌入层之后。在多个SOTA NLP模型和各种NLP数据集上,我们证明了添加WIGRAPH层大大提高了NLP模型的可解释性,同时增强了模型的预测性能。
2023-02-03 cs.AI cs.CL
Latent Concept-based Explanation of NLP Models
Faculty of Computer Science, Dalhousie University(达尔豪斯大学计算机科学学院);Qatar Computing Research Institute, Hamad Bin Khalifa University(哈马德·本·哈利法大学卡塔尔计算研究所)
针对现有NLP模型解释方法依赖离散词汇、信息量不足的问题,提出潜在概念归因方法LACOAT,通过将显著输入词表征映射到训练潜在空间,基于语境化潜在概念生成预测解释。
2024-10-07 cs.CL
Polyglot: Distributed Word Representations for Multilingual NLP
Stony Brook University(石溪大学)
分布式词表示(词嵌入)最近在语言建模和几个NLP任务中的竞争性能做出了贡献。在这项工作中,我们训练词嵌入超过100种语言使用相应的维基百科。我们定量地证明了我们的词嵌入的效用,通过使用它们作为训练这些语言的一个子集的词性标注器的唯一功能。我们发现他们的表现与英语,丹麦语和瑞典语的最先进方法相比具有竞争力。此外,我们调查的语义特征,这些嵌入通过接近的词组。我们将公开发布这些嵌入,以帮助研究人员开发和增强多语言应用程序。
2014-06-27 cs.CL cs.LG
Delta Embedding Learning
Tsinghua University(清华大学);University of Oregon(俄勒冈大学)
无监督的词嵌入已经成为自然语言处理任务中一种流行的词表示方法。然而,由无监督嵌入表示的语义存在局限性,并且嵌入的不充分微调可能导致次优性能。我们提出了一种新的学习技术,称为Delta嵌入学习,它可以应用于一般的NLP任务,以提高性能的优化调整的词嵌入。结构化正则化应用于嵌入,以确保它们以增量方式进行调整。因此,调整后的词嵌入通过从监督中吸收语义信息而不会“遗忘”,从而成为更好的词表示。“我们将该方法应用于各种NLP任务,并看到性能的持续改善。评价也证实了调整后的词嵌入具有更好的语义特性。
2019-06-07 cs.CL
Lexicon and Rule-based Word Lemmatization Approach for the Somali Language
Jamhuriya University(贾姆胡里亚大学);Aston University(阿斯顿大学)
本文针对低资源的索马里语,开发了基于词典和规则的词形还原器,构建了包含1247个词根和7173个派生词的初始词典及还原规则,在120篇文档测试中短文本准确率达95.87%。
2023-08-03 cs.CL
Creating Reverse Bilingual Dictionaries
University of Colorado(科罗拉多大学)
双语词典是昂贵的资源,当其中一种语言资源贫乏时,可用的词典并不多。在本文中,我们提出了算法,从现有的双语词典,其中英语是两种语言之一,创建新的反向双语词典。我们的算法利用词概念对之间的相似性,使用英语Wordnet产生反向字典条目。由于我们的算法依赖于可用的双语词典,它们适用于任何双语词典,只要两种语言之一具有Wordnet类型的词汇本体。
2022-08-08 cs.CL
A State of the Art of Word Sense Induction: A Way Towards Word Sense Disambiguation for Under-Resourced Languages
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
词义消歧是自动识别句子中多义词的过程,是自然语言处理的一项基本任务。WSD方法的进展为NLP及其应用领域开辟了许多有前途的发展。事实上,在当前性能水平上的改进可以让我们向自然语言理解迈出第一步。由于缺乏词汇资源,有时很难对资源不足的语言进行词义消歧。本文探讨了如何运用词义归纳法对资源匮乏的语言进行词义消歧研究,并提出了一些值得关注的问题。
2013-10-05 cs.CL
Indian Language Wordnets and their Linkages with Princeton WordNet
IIT Bombay(印度理工学院孟买分校);Monash University(莫纳什大学);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什研究学院)
词网是丰富的词汇语义资源。链接词网是词网的扩展,它将不同语言的词网中相似的概念联系起来。这些资源在许多自然语言处理(NLP)应用程序中非常有用,主要是那些基于知识的方法。在这种方法中,这些资源被认为是黄金标准/甲骨文。因此,至关重要的是,这些资源拥有正确的信息。它们是由人类专家创造的。然而,掌握多种语言的人类专家很难找到。因此,社区将受益于共享这种手动创建的资源。在本文中,我们发布了18个与普林斯顿WordNet链接的印度语言WordNet的映射。我们相信,这些资源的可用性将对这些语言的NLP进展产生直接影响。
2022-01-09 cs.CL
UIT-ISE-NLP at SemEval-2021 Task 5: Toxic Spans Detection with BiLSTM-CRF and ToxicBERT Comment Classification
University of Information Technology(信息技术大学);Vietnam National University(越南国立大学)
我们在SemEval-2021任务5中介绍了我们关于有毒跨度检测的工作。本课题的目的是建立一个模型来识别整个帖子中的有毒词汇。我们使用BiLSTM-CRF模型结合ToxicBERT分类对检测模型进行训练,以识别帖子中的有毒词语。我们的模型在Toxic Spans Detection任务上的F1得分达到62.23%。
2021-07-30 cs.CL
Does BERT Make Any Sense? Interpretable Word Sense Disambiguation with Contextualized Embeddings
Indian Institute of Technology (BHU)(印度理工学院(瓦拉纳西))
诸如由ELMo提供的上下文化词嵌入(CWE)(Peters等人,2018),Flair NLP(Akbik et al.,2018)或BERT(Devlin et al.,2019)是NLP最近的一项重大创新。CWE根据其各自的上下文提供单词的语义向量表示。它们相对于静态词嵌入的优势已经在许多任务中表现出来,例如文本分类、序列标记或机器翻译。由于相同词类型的向量可以根据相应的上下文而变化,因此它们隐含地提供了词义消歧(WSD)的模型。我们介绍了一个简单而有效的方法,WSD使用最近邻分类CWE。我们比较了不同CWE模型的性能,并报告了两个标准WSD基准数据集的改进情况。我们进一步表明,预训练的BERT模型能够将多义词放置到嵌入空间的不同“意义”区域中,而ELMo和Flair NLP似乎不具备这种能力。
2019-10-01 cs.CL
A Feature-Rich Vietnamese Named-Entity Recognition Model
Alt Vietnam Co., Ltd(Alt Vietnam Co., Ltd(Alt越南有限公司))
在本文中,我们提出了一个基于特征的命名实体识别(NER)模型,达到了越南语的最先进的准确性。我们在条件随机场(CRF)模型中结合了单词,单词形状特征,PoS,组块,基于布朗聚类的特征和基于单词嵌入的特征。我们还探讨了分词,PoS标签,和许多流行的越南NLP工具包的准确性上提出的基于特征的NER模型的分块结果的影响。到目前为止,我们的工作是第一个工作,系统地进行外部评估的基本越南NLP工具包的下游NER任务。实验结果表明,虽然自动生成的分词是有用的,越南NLP工具生成的PoS和组块信息并没有显示出他们的好处,建议基于特征的NER模型。
2018-03-12 cs.CL
Modeling Order in Neural Word Embeddings at Scale
Digital Reasoning Systems, Inc.(数字推理系统公司)
自然语言处理(NLP)系统通常利用词袋共现技术来捕获语义和句法词关系。由此产生的单词级分布式表示通常忽略形态信息,尽管字符级嵌入已被证明对NLP任务很有价值。我们提出了一种新的神经语言模型,在其嵌入的词序和字符顺序。该模型产生了几个向量空间有意义的子结构,证明了其性能的85.8%,最近的单词类比任务,超过最好的发表的句法单词类比分数的58%的误差幅度。此外,该模型包括几种并行训练方法,最值得注意的是允许在3个多核CPU上过夜训练具有1600亿个参数的skip-gram网络,比之前最大的神经网络大14倍。
2015-06-11 cs.CL
NYTWIT: A Dataset of Novel Words in the New York Times
Georgia Institute of Technology(佐治亚理工学院);University of Wisconsin(威斯康星大学);School for Poetic Computation(诗意计算学院)
我们展示了纽约时报单词创新类型数据集(NYTWIT),这是2017年11月至2019年3月期间在纽约时报上发表的2,500多个新英语单词的集合,手动注释了它们的新颖性(如词汇派生,方言变异,混合或复合)。我们目前的基线结果为非上下文和上下文预测的新颖类,显示有改进的空间,即使是最先进的NLP系统。我们希望这个资源能为语言学家和NLP从业者提供一个真实世界的新单词出现环境。
2020-10-23 cs.CL
Word Embedding based New Corpus for Low-resourced Language: Sindhi
University of Electronic Science and Technology of China(电子科技大学)
将词和短语表示为密集的实数向量,并将其语义和句法属性编码,是自然语言处理的一个重要组成部分。神经网络(NN)模型在自然语言处理中的成功很大程度上依赖于在大型未标记语料库上学习到的这种密集的词表示。信德语是一种丰富的形态语言,在巴基斯坦和印度有大量人口使用,但缺乏语料库,而语料库在生成词嵌入和开发独立于语言的NLP系统方面起着重要的测试作用。在本文中,超过61万字的大型语料库开发的低资源的信德语训练神经词嵌入。语料库是使用web-scrappy从多个网络资源中获取的。由于没有针对信德语的开源预处理工具,对如此庞大的语料库进行预处理成为一个具有挑战性的问题,特别是从Web资源中提取的噪声数据的清理。因此,采用预处理流水线来过滤噪声文本。然后,使用最先进的GloVe、Skip-Gram(SG)和连续词袋(CBoW)word 2 vec算法,利用清理后的词汇表来训练信德语词嵌入。采用余弦相似度矩阵的内在评价方法和WordSim-353对生成的信德语词嵌入进行评价。此外,我们比较建议的词嵌入与最近发现的信德快速文本(SdfastText)的单词表示。我们的内在评估结果表明,我们生成的信德语词嵌入使用SG,CBoW和GloVe相比,SdfastText词表示的高品质。
2020-12-30 cs.CL
The presence of occupational structure in online texts based on word embedding NLP models
Centre for Social Sciences – MTA Centre of Excellence(社会科学中心 – 匈牙利科学院卓越中心);Eötvös Loránd University(罗兰大学);Central European University(中欧大学)
社会分层研究与分析不同职业的声望密切相关。本研究的重点是职业在大量文本数据所代表的语义空间中的位置。将结果与社会分层中的标准结果进行比较,以查看是否再现经典结果,以及是否可以获得对职业社会地位的更多见解。本文对这两个问题都作了肯定的回答。结果表明,从文本分析所描述的声望和社会距离量表的结构的职业结构的基本相似性。虽然我们的研究加强了许多理论和实证研究结果的传统机构的文献对社会分层,特别是职业等级,它指出了一个因素的重要性,没有讨论的主线分层文献迄今为止:权力和组织方面。
2021-05-17 cs.CL
Order-sensitive Shapley Values for Evaluating Conceptual Soundness of NLP Models
Carnegie Mellon University(卡内基梅隆大学)
以前的工作表明,深度NLP模型并不总是概念上合理的:它们并不总是学习正确的语言概念。具体来说,他们可能对词序不敏感。为了系统地评估模型的概念合理性,相对于词序,我们介绍了一种新的解释方法:顺序敏感Shapley值(OSV)。我们进行了广泛的实证评估,以验证该方法,并揭示各种深度NLP模型学习词序的效果。使用合成数据,我们首先表明,OSV是更忠实地解释模型的行为比基于梯度的方法。其次,应用于HANS数据集,我们发现基于BERT的NLI模型只使用单词出现而不使用单词顺序。虽然简单的数据增强提高了HANS的准确性,但OSV表明,增强模型并没有从根本上提高模型的阶次学习。第三,我们发现并非所有的情感分析模型都能正确地学习否定:有些模型无法捕捉到否定结构的正确语法。最后,我们证明了预训练的语言模型,如BERT,可能依赖于主题词的绝对位置来学习长距离主谓一致。对于每个NLP任务,我们还演示了如何利用OSV来生成对抗性示例。
2022-06-01 cs.AI cs.CL
Evaluation Of Word Embeddings From Large-Scale French Web Content
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
分布式词表示在自然语言处理的许多任务中被广泛使用。在巨大的文本语料库上添加预训练的词向量在许多不同的NLP任务中获得了高性能。本文介绍了法语的多个高质量词向量,其中两个是在本研究中在大量爬行的法语数据上训练的,其他的是在现有的法语语料库上训练的。我们还评估了我们提出的词向量和现有的法语词向量的法语词类比任务的质量。此外,我们对多个真实的NLP任务进行了评估,结果表明,与现有的和随机的词向量相比,预训练的词向量的性能有了重要的提高。最后,我们创建了一个演示Web应用程序来测试和可视化所获得的词嵌入。生成的法语词嵌入以及NLU任务上的微调代码和演示代码都可供公众使用。
2022-03-10 cs.CL
PSDVec: a Toolbox for Incremental and Scalable Word Embedding
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY), Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
PSDVec是一个学习词嵌入的Python/Perl工具箱,即将自然语言中的单词映射到连续向量,这些向量对单词之间的语义/语法进行编码。PSDVec实现了一种基于加权低秩半正定近似的词嵌入学习方法。为了扩大学习过程,我们实现了一个分块在线学习算法来学习增量嵌入。该策略大大减少了大词汇量下词嵌入的学习时间,并且可以在不重新学习整个词汇的情况下学习新单词的嵌入。在9个单词相似性/类比基准集和2个自然语言处理(NLP)任务上,PSDVec生成的嵌入在流行的词嵌入工具中具有最佳的平均性能。PSDVec为NLP从业者提供了一个新的选择。
2016-06-10 cs.CL
Extrapolation in NLP
University College London(伦敦大学学院)
我们认为,对于捕获全局结构的模型,外推到训练空间之外的示例通常更容易,而不仅仅是最大化它们对训练数据的局部拟合。我们表明,这是真的两个流行的模型:可分解的注意力模型和word2vec。
2018-05-17 cs.CL
On Evaluation of Bangla Word Analogies
Auburn University(奥本大学)
本文针对低资源的孟加拉语,提出了包含16678个样本的Mikolov风格词汇类比评估集及10594个样本的跨语言版本,实验表明现有嵌入模型表现不佳,为构建可靠NLP系统奠定基础。
2023-04-10 cs.CL
Analyzing Correlations Between Intrinsic and Extrinsic Bias Metrics of Static Word Embeddings With Their Measuring Biases Aligned
The University of Tokyo(东京大学)
本研究通过对齐内在与外在偏见指标的测量对象,分析静态词嵌入两类偏见指标的相关性,发现内在指标仅能预测特定场景下的NLP系统偏见行为。
2024-09-14 cs.CL
Sexism in the Judiciary
我们分析了670万份判例法文件,以确定我们的司法系统中存在性别偏见。我们发现,目前的偏见检测方法在自然语言处理是不够的,以确定性别偏见在我们的案例法数据库,并提出了一种替代方法。我们发现,现有算法的不一致的结果是先前研究的偏见定义本身的后果。偏置检测算法依赖于字组来表示偏置(例如,"工资"、"工作"和"老板"代表就业,作为文本中对妇女有潜在偏见的主题)。然而,建立这些单词组的方法有几个缺点,主要是单词列表是基于研究人员自己的直觉。我们提出了两种新的方法来自动创建单词列表来表示偏见。我们发现,我们的方法优于目前的NLP偏见检测方法。我们的研究提高了NLP技术检测偏见的能力,并突出了有影响力的判例法中存在的性别偏见。为了测试我们的NLP偏见检测方法的性能,我们回归我们的偏见的结果,在判例法对美国人口普查数据的妇女参与劳动力在过去的100年。
2021-06-29 cs.CL
Deconstructing word embedding algorithms
BMO AI Capabilities Team(BMO人工智能能力团队);Bank of Montreal(蒙特利尔银行);Mila - Québec AI Institute(Mila-魁北克人工智能研究所);McGill University(麦吉尔大学)
词嵌入是词的可靠特征表示,用于获得各种NLP应用的高质量结果。无语境的词嵌入在当今的许多NLP任务中使用,特别是在高内存容量和GPU不可用的资源有限的设置中。鉴于词嵌入在NLP中的历史成功,我们提出了一些最知名的词嵌入算法的回顾。在这项工作中,我们解构Word2vec,GloVe,和其他人,到一个共同的形式,揭示了一些共同的条件,似乎是所需的性能词嵌入。我们相信,本文的理论研究结果可以为未来模型的更明智的发展提供基础。
2020-11-12 cs.AI cs.CL
Identifying Human Strategies for Generating Word-Level Adversarial Examples
University College London(伦敦大学学院);Tilburg University(蒂尔堡大学)
NLP中的对抗性示例正受到越来越多的研究关注。研究的一条线是生成针对微调的Transformer模型的单词级对抗性示例,这些模型保留了自然性和语法性。以前的工作发现,人类和机器生成的对抗性示例在自然性和语法正确性方面具有可比性。最值得注意的是,人类能够比自动攻击更轻松地生成对抗性示例。在本文中,我们详细分析了人类如何创建这些对抗性示例。通过探索人类工作者在生成过程中的行为模式,我们根据人类更喜欢选择哪些词进行对抗性替换(例如,词频率、词显著性、情感)以及在输入序列中词被替换的位置和时间。通过我们的研究结果,我们试图激励人们努力利用人类策略来构建更强大的NLP模型。
2022-10-20 cs.CL
Broken Words, Broken Performance: Effect of Tokenization on Performance of LLMs
TCS Research(塔塔咨询服务研究)
本文研究了分词对大语言模型性能的影响,提出惩罚函数量化分词质量,并验证其在多个NLP任务上的统计显著性。
2025-12-26 cs.CL
Debiasing Multilingual Word Embeddings: A Case Study of Three Indian Languages
IIT Kharagpur(印度理工学院卡拉格布尔分校)
在本文中,我们提出了目前国家的最先进的方法去偏置单语词嵌入,以便推广到多语言设置。我们考虑不同的方法来量化偏见和不同的去偏置方法,单语以及多语言设置。我们证明了我们的偏见缓解方法对下游NLP应用的重要性。我们提出的方法建立了最先进的性能去偏置多语言嵌入三种印度语言-印地语,孟加拉语和泰卢固语,除了英语。我们相信,我们的工作将为构建无偏见的下游NLP应用程序开辟新的机会,这些应用程序本质上依赖于所使用的词嵌入的质量。
2021-07-22 cs.CL
Subword ELMo
Shanghai Jiao Tong University(上海交通大学);Tencent AI Lab(腾讯AI实验室)
从语言模型嵌入(ELMo)已被证明对改善许多自然语言处理(NLP)任务是有效的,并且ELMo采用字符信息来组成单词表示来训练语言模型。然而,字符是一个不充分的和不自然的语言单位为词表示。2因此,我们介绍了嵌入从子词感知语言模型(ESuLMo)它使用无监督的词分割从子词中学习词表示。我们表明,ESuLMo可以比ELMo更有效地增强四个基准NLP任务,包括句法依存句法分析,语义角色标注,隐含语篇关系识别和语篇蕴涵,这对ELMo带来了有意义的改进。
2019-09-18 cs.CL
WordAlchemy: A transformer-based Reverse Dictionary
Dept. of Computer Engineering and Dept. of Computer Engineering and Information Technology Information Technology College of Engineering, Pune College of Engineering, Pune Maharashtra, India Maharashtra, India(计算机工程系和计算机工程与信息技术系,工程学院,比拉尔,马哈拉施特拉邦,印度)
针对缺乏印度语言反向词典的问题,本文提出开源跨语言系统 WordAlchemy,采用基于 mT5 的 transformer 架构和 TLM 技术以替代传统 MLM。
2025-09-28 cs.AI cs.CL
SanskritShala: A Neural Sanskrit NLP Toolkit with Web-Based Interface for Pedagogical and Annotation Purposes
IIT Kanpur(印度理工学院坎普尔分校);IIT Kharagpur(印度理工学院克勒格布尔分校);IIT Mandi(印度理工学院曼迪分校)
本文提出首个带网页界面的神经梵语NLP工具包SanskritShala,集成词切分、形态标注、依存解析和复合词识别等模块,在多个基准上达到最先进性能,并公开代码、词嵌入模型及标注数据,以支持梵语教学与标注工作。
2023-05-29 cs.CL
ERAS: Evaluating the Robustness of Chinese NLP Models to Morphological Garden Path Errors
Tandon School of Engineering(坦登工程学院);New York University(纽约大学);Center for Data Science(数据科学中心)
本文提出基准ERAS,通过对比有无局部分割歧义的句子,揭示中文分词和情感分析模型因忽视形态句法上下文而易犯形态学花园路径错误。
2024-10-16 cs.AI cs.CL
Contextual LSTM (CLSTM) models for Large scale NLP tasks
Google Research(谷歌研究院)
文档在多个抽象级别上展示顺序结构(例如,句子、段落、章节)。这些抽象构成了一个自然的层次结构,用于表示上下文,在上下文中推断单词和更大的文本片段的含义。在本文中,我们提出了CLSTM(Contextual LSTM),这是递归神经网络LSTM(长短期记忆)模型的扩展,其中我们结合了上下文特征(例如,#21453;的模式)。我们在三个特定的NLP任务上评估CLSTM:单词预测,下一句选择和句子主题预测。在两个语料库上运行的实验结果表明,使用单词和主题作为特征可以提高CLSTM模型在这些任务中的性能,这两个语料库分别是维基百科中的英语文档和最近的英语Google News快照中的文章子集。例如,在下一个句子选择任务中,维基百科数据集的相对准确率提高了21%,谷歌新闻数据集提高了18%。这清楚地表明了在自然语言(NL)任务中适当使用上下文的显著好处。这对各种各样的NL应用程序,如问答,句子完成,释义生成,以及对话系统中的下一个话语预测都有影响。
2016-05-31 cs.CL
The emergent algebraic structure of RNNs and embeddings in NLP
Excella Consulting AI Research(Excella Consulting人工智能研究(公司))
我们研究了一个单向GRU和词嵌入的代数和几何性质的训练端到端的文本分类任务。在词嵌入维度、GRU隐藏维度和GRU输出的线性组合上执行超参数搜索。我们的结论是,单词自然地嵌入到李群中,RNN形成了李群的非线性表示。呼吁这些结果,我们提出了一类新的递归类神经网络和词嵌入计划。
2018-03-07 cs.AI cs.CL stat.ML
SJTU-NLP at SemEval-2018 Task 9: Neural Hypernym Discovery with Term Embeddings
Shanghai Jiao Tong University(上海交通大学);Huazhong University of Science and Technology(华中科技大学)
本文描述了我们参与SemEval-2018任务9的上位词发现系统,该系统旨在发现输入概念或实体的最佳(一组)候选上位词,给定预定义词汇的搜索空间。我们介绍了一个神经网络架构的有关任务,并实证研究各种神经网络模型,以建立潜在空间的单词和短语的表示。评价模型包括卷积神经网络、长短期记忆网络、门控递归单元和递归卷积神经网络。我们还探索了不同的嵌入方法,包括词嵌入和意义嵌入,以获得更好的性能。
2018-05-26 cs.CL
Unknown Words Analysis in POS tagging of Sinhala Language
Virtusa Pvt. Ltd.(Virtusa私人有限公司);University of Kelaniya(凯拉尼亚大学)
词性分析是任何语言的自然语言处理(NLP)任务中的一个非常重要的课题,它涉及到分析语言的结构、行为和动态,这些知识可以用于计算语言学分析和自动化应用。在这种情况下,处理未知词(未出现在词典中的词称为未知词)也是一项重要任务,因为越来越多的NLP系统用于越来越多的新应用。预测未知词的词汇类别的一个辅助手段是使用语言的句法知识。在标注过程中,通过区分开类词和闭类词,并结合本研究所用语言的句法特征来预测未登录词的词汇类别。通过实验研究了该方法在没有人工干预的情况下利用句法知识解析未登录词的能力。这个实验表明,当词类区分与句法规则一起使用时,标记过程的性能得到增强,以解析包含未知词的句子在僧伽罗语。
2015-01-06 cs.CL
Decrypting Cryptic Crosswords: Semantically Complex Wordplay Puzzles as a Target for NLP
Stanford University(斯坦福大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出密码线索数据集作为NLP新基准,通过课程学习方法(先在单词重组等任务微调)改进T5,虽未达人类泛化能力,但为处理组合性语言提供新方向。
2025-02-17 cs.AI cs.CL
The Word and the Way: Strategies for Domain-Specific BERT Pre-Training in German Medical NLP
School of Computation, Information and Technology(计算信息科技学院);Technical University of Munich(慕尼黑技术大学);Chair of IT Infrastructure for Translational Medical Research(转化医学研究信息基础设施主任);Faculty of Applied Computer Science(应用计算机科学学院);University of Augsburg(艾希施泰特大学);Institute of General Practice(基础医学研究所);Faculty of Medicine and Medical Center(医学学院和医学中心)
本文提出ChristBERT系列模型,通过对比持续预训练、从头训练和领域词汇适应三种策略,在德语医学NLP任务中实现最优性能,并建立新的基准。
2026-06-02 cs.CL
Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉影像工程技术研究中心)
本文提出一种基于句法与概率视角的上下文词表示模型,利用条件随机场和平均场变分推断建模词的潜在表示及依存弧,发现其计算图与transformers相似,在中小型数据集上表现具竞争力,旨在弥合传统与神经方法间的差距。
2023-11-26 cs.CL
Building Interpretable Interaction Trees for Deep NLP Models
Shanghai Jiao Tong University(上海交通大学)
本文提出了一种方法来解开和量化的字之间的相互作用,编码在一个DNN的自然语言处理。我们构建了一棵树来编码DNN提取的显着交互。提出了六个度量标准来分析句子中成分之间的相互作用的性质。基于单词的Shapley值定义交互作用,Shapley值被认为是单词对网络预测贡献的无偏估计。我们的方法用于量化BERT、ELMo、LSTM、CNN和Transformer网络内部编码的单词交互。实验结果为理解这些DNN提供了一个新的视角,并证明了我们方法的有效性。
2021-01-16 cs.CL cs.LG
1D-Touch: NLP-Assisted Coarse Text Selection via a Semi-Direct Gesture
City University of Hong Kong(香港城市大学);University of California San Diego(加利福尼亚大学圣迭戈分校);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出1D-Touch文本选择方法,通过垂直滑动手势按单词或NLP切分的语义块动态扩展选择区域,并在Android上实现比默认单词吸附方法提升20%的粗粒度选择性能。
2023-10-26 cs.CL cs.HC
A Unified Understanding of Deep NLP Models for Text Classification
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院);Cardiff University(卡迪夫大学)
用于文本分类的深度自然语言处理(NLP)模型的快速发展导致了对单独提出的这些模型的统一理解的迫切需要。现有的方法不能满足在一个框架中理解不同模型的需要,这是由于缺乏一个统一的措施来解释低水平(例如,字)和高级(例如,短语)特征。我们开发了一个可视化分析工具DeepNLPVis,以实现对文本分类的NLP模型的统一理解。其核心思想是一个基于互信息的度量,它提供了关于模型的每一层如何保持样本中输入单词信息的定量解释。我们在每一层对词内和词间信息进行建模,以测量词对最终预测的重要性以及词之间的关系,例如短语的形成。一个多层次的可视化,它包括语料库级,样本级,和单词级的可视化,支持从整体训练集到单个样本的分析。两个关于分类任务和模型之间比较的案例研究表明,DeepNLPVis可以帮助用户有效地识别样本和模型架构引起的潜在问题,然后做出明智的改进。
2022-06-19 cs.CL cs.LG
PREDICT: Persian Reverse Dictionary
Amirkabir University of Technology(阿米尔卡比尔理工大学)
找到适当的词语来表达概念(即,词汇通达)对于有效的交流是必不可少的。反向词典通过帮助个人找到可能与特定概念或想法相关的单词来满足这一需求。据我们所知,该资源不适用于波斯语。在本文中,我们比较了四种不同的架构实现波斯语反向字典(PREDICT)。我们评估我们的模型使用(短语,单词)元组提取的唯一波斯语字典在线,即Amid,Moein和Dehkhoda的短语描述的单词。给定短语,模型建议在传达概念的能力方面最相关的词。如果正确的词是其最重要的建议之一,则该模型被认为表现良好。我们的实验表明,由添加注意力机制增强的长短期记忆(LSTM)单元组成的模型足以产生与原始词典中的单词相当(或在某些情况下更好)的建议。该研究还表明,该模型有时会产生同义词作为其输出,这使得我们引入了一个新的度量标准,用于评估反向词典,称为同义词准确度,占产生单词或同义词的事件发生的次数的百分比。使用这个新指标对最佳模型的评估还表明,至少有62%的时间,它在前100个建议中产生了准确的结果。
2021-10-30 cs.CL cs.IR
Between words and characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP
Johns Hopkins University(约翰霍普金斯大学);HuggingFace;King Fahd University of Petroleum and Minerals(法赫德国王石油矿产大学);SAP(SAP公司);Naver Labs Europe;Institute for Infocomm Research, A*STAR Singapore(新加坡科技研究局资讯通信研究院);University of Maryland(马里兰大学);BigScience Workshop(BigScience研讨会);Inria Paris(法国国家信息与自动化研究所巴黎中心);Salesforce Research Asia(Salesforce亚洲研究院);National University of Singapore(新加坡国立大学)
我们要建模的文本单元是什么?从字节到多词表达式,文本可以以多种粒度进行分析和生成。直到最近,大多数自然语言处理(NLP)模型都是在单词上运行的,将单词视为离散和原子标记,但从字节对编码(BPE)开始,基于子词的方法在许多领域都占据主导地位,支持小词汇表,同时仍然允许快速推理。路的尽头是字符级模型还是字节级处理?在这项调查中,我们连接了前神经和神经时代的几条工作线,通过展示如何提出和评估单词和字符的混合方法以及基于学习分割的基于子词的方法。我们得出的结论是,对于所有应用程序来说,永远不会有一个银弹单一解决方案,并且认真考虑令牌化对许多应用程序仍然很重要。
2021-12-20 cs.CL cs.LG
Semantic Tokenizer for Enhanced Natural Language Processing
Inspird, Inc.(Inspird公司);University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
本文提出语义驱动的SentencePiece替代分词器,通过词干提取与编码优化扩充词形覆盖,从而改善模型收敛及词、句嵌入,并以BERT-base在两项GLUE任务上超过50倍规模模型。
2023-04-24 cs.CL