Multi-level biomedical NER through multi-granularity embeddings and enhanced labeling
Isfahan University of Technology(伊斯法罕理工大学);Medical University of Vienna(维也纳医科大学)
本文提出一种混合方法,结合BERT、多通道CNN和BiLSTM+CRF,并引入增强标注预处理,以提升生物医学命名实体识别性能,在i2b2/2010数据集上取得90.11的F1分数。
2023-12-24 cs.AI cs.CL cs.LG
Distillation of encoder-decoder transformers for sequence labelling
Bloomberg(彭博);University of Houston(休斯顿大学)
在一系列令人鼓舞的任务成果的推动下,NLP领域正在经历一场加速的竞赛,以开发更大的语言模型。这种对更大模型的竞争也强调了继续追求实用的蒸馏方法的必要性,这些方法可以以计算效率高的方式利用这些大模型获得的知识。考虑到这一目标,我们在最近的工作基础上提出了一个无幻觉的序列标记框架,特别适合于蒸馏。我们展示了跨多个序列标签数据集的最新性能的实证结果,并验证了该框架在少样本学习场景中提取大型模型的有用性。
2023-02-10 cs.CL cs.IR
Joint Learning of Word and Label Embeddings for Sequence Labelling in Spoken Language Understanding
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Intapp Inc.(Intapp公司)
我们提出了一个架构,共同学习单词和标签嵌入槽填充口语语言理解。所提出的方法使用组合的词嵌入和直接的词标签关联从训练数据的标签编码。与最先进的方法相比,我们的方法不需要将标签嵌入作为输入的一部分,因此可以很好地适用于各种模型架构。此外,我们的架构计算单词和标签之间的上下文距离,以避免添加上下文窗口,从而减少内存占用。我们在已建立的口语对话数据集上验证了该方法,并表明它可以用更少的可训练参数实现最先进的性能。
2019-10-16 cs.AI cs.CL cs.LG
Tapping BERT for Preposition Sense Disambiguation
IIT Bombay(印度理工学院孟买分校)
介词是常见的多义词。介词的消歧在语义角色标注、问答、文本蕴涵和名词复合词释义等任务中至关重要。在本文中,我们提出了一种新的方法介词意义消歧(PSD),它不使用任何语言工具。在有监督的设置中,机器学习模型被呈现有其中介词已经用意义注释的句子。这些意义在所谓的介词项目(TPP)中是ID。我们使用来自预训练的BERT和BERT变体的隐藏层表示。然后使用多层感知器将潜在表示分类为正确的感觉ID。本任务使用的数据集来自SemEval-2007 Task-6。我们的方法给出了86.85%的准确性,这是优于国家的最先进的。
2021-11-27 cs.CL
Automatic Labelling of Topics with Neural Embeddings
IBM Research(IBM研究院);The University of Melbourne(墨尔本大学)
由主题模型生成的主题通常表示为术语列表。为了减少为最终用户解释这些主题的认知开销,我们建议用一个简洁的短语来概括主题或想法。使用维基百科文档标题作为标签候选者,我们计算文档和单词的神经嵌入,以选择与主题最相关的标签。与最先进的主题标签系统相比,我们的方法更简单,更有效,并找到更好的主题标签。
2016-12-23 cs.CL
Investigating the Effectiveness of Representations Based on Word-Embeddings in Active Learning for Labelling Text Datasets
Teagasc Agriculture and Food Development Authority(Teagasc农业与食品发展局)
手动标记大量文本数据集是一项耗时、昂贵且费力的任务,但对于支持基于文本数据集的机器学习来说是必要的。主动学习已被证明是一种有效的方法,可以减轻在利用大量未标记数据进行机器学习任务时所需的一些工作,而无需完全标记它们。然而,在执行主动学习时,用于表示文本文档的表示机制对该过程的有效性具有重要影响。虽然简单的向量表示(如单词袋)已被证明是在主动学习期间表示文档的有效方法,但基于神经网络研究中流行的词嵌入的表示机制(例如word 2 vec和基于transformer的模型,如BERT)的出现提供了一种有前途的,但尚未完全探索的替代方案。本文描述了一个大规模的评估不同的文本表示机制的有效性,主动学习跨越8个数据集,从不同的领域。这项评估表明,使用基于现代词嵌入的表示-特别是BERT-,这还没有广泛用于主动学习,比更常用的基于矢量的方法,如词袋,取得了显着的改善。
2019-10-10 cs.CL cs.LG stat.ML
Joint Learning of Correlated Sequence Labelling Tasks Using Bidirectional Recurrent Neural Networks
IBM Research - Bangalore(IBM研究院-班加罗尔);IBM Research - Haifa(IBM研究院-海法)
由自动语音识别(ASR)系统产生的单词流通常没有标点和格式化。大多数自然语言处理应用程序都希望输入经过分割且格式良好的文本,这在ASR输出中是不可用的。本文提出了一种新的技术,使用双向循环神经网络联合建模多个相关的任务,如标点符号和大写,从而提高这些任务的性能。该方法可以扩展到任何其他相关序列标记任务的联合建模。
2017-07-18 cs.CL
From a Word-Level Dictionary to Sentence-Level Semantics: Multilingual Grievance Labelling with Contextual Models
University of Technology Sydney(悉尼科技大学)
研究针对多语言不满情绪标注,指出词级词典存在问题,提出用上下文阅读模型取代术语匹配,在非循环基准上评估,结果显示阅读上下文能更准确测量不满情绪,在未选文本上测试更诚实,还发布了代码和基准。
2026-07-24 cs.CL
Gated Task Interaction Framework for Multi-task Sequence Tagging
Ulster University(阿尔斯特大学)
最近的研究表明,神经模型可以在几个序列标记/标签问题上实现高性能,而无需显式使用语言特征,如词性(POS)标签。这些模型仅使用字符级和词嵌入向量作为输入来训练。其他人已经表明,语言特征可以提高神经模型在组块和命名实体识别(NER)等任务上的性能。然而,性能的变化取决于语言特征和目标任务之间的语义相关程度;在某些情况下,语言特征可能会对性能产生负面影响。本文提出了一种方法来共同学习这些语言特征,以及目标序列标记任务与一个新的多任务学习(MTL)框架称为门控任务交互(GTI)网络解决多个序列标记任务。GTI网络通过神经门模块利用多个任务之间的关系。这些门模块控制不同任务之间的信息流。在用于组块和NER的基准数据集上的实验表明,我们的框架在有和没有外部训练资源的情况下训练的性能优于其他竞争基线。
2019-09-29 cs.CL cs.LG stat.ML
hauWE: Hausa Words Embedding for Natural Language Processing
Ahmadu Bello University(阿赫马杜·贝洛大学);Bayero University(巴耶罗大学)
词嵌入(分布式词向量表示)已经成为许多自然语言处理(NLP)任务的重要组成部分,例如机器翻译、情感分析、词类比、命名实体识别和词相似性。尽管如此,为豪萨语提供词向量的唯一工作是Bojanowski等人的工作。[1]使用fastText训练,仅由几个词向量组成。这项工作提出了使用Word2Vec的连续词袋(CBoW)和Skip Gram(SG)模型的单词嵌入模型。模型hauWE(Hausa Words Embedding)比之前的模型更大更好,使它们在NLP任务中更有用。为了比较这些模型,他们被用来预测10个最相似的单词,随机选择30个豪萨语单词。hauWE CBoW的88.7%和hauWE SG的79.3%的预测准确率大大优于Bojanowski等人[1]的22.3%。
2019-11-25 cs.AI cs.CL cs.IR
How big is big enough? Unsupervised word sense disambiguation using a very large corpus
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所);National Centre for Text Mining, University of Manchester(曼彻斯特大学国家文本挖掘中心)
在本文中,消除歧义的波兰语目标词的问题是通过搜索相关的词与已知的含义。这些亲属被用来建立一个训练语料库从未注释的文本。该技术通过提出新的丰富的替换源来改进,这些替换源用基于词网关系的语义学来替代传统的单义性要求。朴素贝叶斯分类器已被修改,以考虑未知的感官分布。由NEKST搜索引擎收集的6亿个Web文档(5940亿个令牌)的语料库允许我们评估训练集大小和消歧准确性之间的关系。使用wordnet基线和语料库对分类器进行评估,语料库中有17,314个手动注释的54个歧义词。
2017-10-22 cs.CL
Classifier identification in Ancient Egyptian as a low-resource sequence-labelling task
University of Manchester(曼彻斯特大学);Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本文将古埃及语分类符识别形式化为低资源序列标注任务,提出多种神经序列标注模型,在有限训练数据下取得有前景的性能,并与频率基线进行对比。
2024-06-29 cs.CL
BERTRAM: Improved Word Embeddings Have Big Impact on Contextualized Model Performance
Sulzer GmbH(苏尔寿有限公司);LMU Munich(慕尼黑大学)
预训练深度语言模型使NLP的性能大幅提升。尽管取得了这一成功,Schick和Schütze(2020)最近表明,这些模型很难理解罕见的单词。对于静态词嵌入,这个问题已经通过单独学习稀有词的表示来解决。在这项工作中,我们将这一想法转移到预训练的语言模型中:我们引入了BERTRAM,这是一种基于BERT的强大架构,能够推断出适合作为深度语言模型输入表示的稀有单词的高质量嵌入。这是通过使单词的表面形式和上下文在深层架构中相互作用来实现的。将BERTRAM集成到BERT中会导致性能大幅提高,这是由于在稀有词探测任务和三个下游任务上稀有和中频词的表示得到了改进。
2020-04-29 cs.CL
Improving part-of-speech tagging via multi-task learning and character-level word representations
ABBYY(ABBYY公司);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
在本文中,我们探讨了如何提高POS标记使用各种类型的辅助损失和不同的词表示。作为基线,我们使用了BiLSTM标签器,它能够在序列标签任务上实现最先进的结果。提出了一种基于前向神经网络的字符级词表示方法。这种表示在模型的速度和性能方面给了我们更好的结果。我们还应用了一种新的技术,用现有的词向量来预训练这种词表示。最后,我们为序列标签任务设计了一种新的辅助损失变体:对相邻标签的额外预测。这种损失迫使模型学习标签序列中的依赖关系,并加速训练过程。我们测试这些方法对英语和俄语。
2018-07-02 cs.AI cs.CL cs.LG
Investigating the Effectiveness of Representations Based on Pretrained Transformer-based Language Models in Active Learning for Labelling Text Datasets
University College Dublin(都柏林大学学院)
主动学习已被证明是一种有效的方法,可以减轻在利用大量未标记数据进行机器学习任务时所需的一些工作,而无需完全标记它们。然而,在执行主动学习时,用于表示文本文档的表示机制对该过程的有效性具有重要影响。虽然简单的向量表示(如词袋)和基于word 2 vec等技术的基于嵌入的表示已被证明是在主动学习期间表示文档的有效方法,但基于自然语言处理研究中流行的预训练的基于transformer的神经网络模型(例如BERT)的表示机制的出现提供了一种有前途的,但尚未完全探索的替代方案。本文描述了一种基于预训练的基于transformer的语言模型的主动学习表示的有效性的综合评估。该评估表明,基于transformer的模型,特别是BERT类模型,尚未在主动学习中广泛使用,与更常用的向量表示(如词袋或其他经典的词嵌入,如word 2 vec)相比,取得了显着的改进。本文还研究了基于BERT变体(如Roberta,Albert)的表示的有效性,并比较了[CLS]令牌表示和使用BERT类模型生成的聚合表示的有效性。最后,我们提出了一种自适应调整主动学习的方法。我们的实验表明,在主动学习中获得的有限的标签信息,不仅可以用于训练分类器,但也可以自适应地改善BERT类语言模型以及生成的嵌入。
2020-04-21 cs.CL cs.IR cs.LG
FlexiTerm: A more efficient implementation of flexible multi-word term recognition
Azbookus Ltd(Azbookus 有限公司)
术语是特定领域概念的语言能指。自由文本中多词术语的自动识别(MWT)是一个序列标记问题,通常使用监督机器学习方法来解决。它们需要对训练数据进行手动注释,这使得很难跨域移植这些方法。另一方面,MSTerm是一种完全无监督的方法,用于从特定领域的语料库中识别MWT。它最初是作为概念验证在Java中实现的,但扩展性不好,因此在大数据环境中几乎没有实用价值。在本文中,我们描述了它在Python中的重新实现,并比较了这两种实现的性能。结果表明,在效率方面有了重大改进,这使得CITRITIME能够从概念验证过渡到生产级应用。
2021-11-05 cs.CL
Extracting adverse drug reactions and their context using sequence labelling ensembles in TAC2017
University of Manchester(曼彻斯特大学);Manchester Institute of Innovation Research, Alliance Manchester Business School, The University of Manchester(曼彻斯特大学联盟曼彻斯特商学院曼彻斯特创新研究所)
药物不良反应(ADR)是指在使用某种药物或药物组合后出现的不良反应,对药物开发和药物管理提出了挑战。在本文中,我们提出了一套标签提取药物不良反应和相关的实体,包括因素,严重程度,否定,药物类别和动物。该系统混合使用基于规则的机器学习(CRF)和深度学习(BLSTM与word2vec嵌入)方法来注释数据。这些系统已提交给美国国家标准与技术研究所在2017年文本分析会议期间组织的药物不良反应共享任务,存档F1评分分别为76.00和75.61。
2019-05-28 cs.CL cs.LG
KeypartX: Graph-based Perception (Text) Representation
大数据的可用性为个人、企业和学者提供了巨大的机会,让他们能够深入了解世界上正在发生的事情。以往的文本表征研究多从大量词汇的出现频率或共现程度来研究其信息量。然而,大数据是一把双刃剑,它的数量很大,但在格式上是非结构化的。非结构化边缘需要特定的技术来将“大”转换为有意义的,而不仅仅是信息。本研究提出了KeypartX,一个基于图形的方法来表示感知(一般文本)的关键部分的讲话。与基于词袋/向量的机器学习不同,该技术是类似于人类的学习,可以从语言(语义,句法和语用)信息中提取含义。此外,KeypartX具有大数据能力,但并不饥饿,这甚至适用于最小文本单元:句子。
2022-09-23 cs.CL
Correspondence Factor Analysis of Big Data Sets: A Case Study of 30 Million Words; and Contrasting Analytics using Apache Solr and Correspondence Analysis in R
我们考虑了大量的文本数据集。这些是烹饪食谱。项分布和其他分布特性的数据进行了研究。我们的目的是看看各种分析方法,允许挖掘的信息,高和低的细节尺度。度量空间嵌入是我们对这些数据的语义属性感兴趣的基础。我们考虑将所有数据投影到数据的汇总版本的分析中。我们将其与将数据的聚合版本投影到所有数据的分析中进行对比。类似地,对于术语集,我们查看对所选术语的分析。我们还将研究术语的固有关联,例如单数和复数之间的关联。除了使用R中的对应分析,对于潜在语义空间映射,我们还使用Apache Solr。描述了Solr服务器的建立和查询。另一个新颖之处在于,Solr基于所有数据的主因子平面映射来支持查询。它使用基于因子投影的限界框查询。
2015-07-06 cs.CL
Gram-CTC: Automatic Unit Selection and Target Decomposition for Sequence Labelling
Baidu Silicon Valley AI Lab(百度硅谷人工智能实验室)
大多数现有的序列标记模型依赖于将靶序列固定分解为基本单元的序列。这些方法有两个主要缺点:1)基本单元的集合是固定的,例如语音识别中的单词、字符或音素的集合,以及2)目标序列的分解是固定的。这些缺点通常导致建模序列的次优性能。本文对目前流行的CTC损失准则进行了扩展,提出了一种新的损失函数Gram-CTC。在保留CTC优点的同时,Gram-CTC自动学习最佳的基本单位(克)集,以及最合适的目标序列分解。与CTC不同的是,Gram-CTC允许模型在每个时间步输出可变数量的字符,这使得模型能够捕获更长时间的依赖关系,并提高计算效率。我们表明,建议的Gram-CTC提高CTC的性能和效率方面的大词汇量语音识别任务在多个尺度的数据,并与Gram-CTC,我们可以超越国家的最先进的标准语音基准。
2017-08-12 cs.CL cs.LG cs.NE
When Word Embeddings Become Endangered
University of Helsinki(赫尔辛基大学)
像英语和芬兰语这样的大语言有许多自然语言处理(NLP)资源和模型,但对于低资源和濒危语言来说,情况并非如此,因为这些资源非常稀缺,尽管它们将为语言社区提供巨大的优势。低资源和濒危语言最常见的资源类型是翻译词典和通用依赖。在本文中,我们提出了一种方法来构建濒危语言的词嵌入使用现有的词嵌入的不同资源丰富的语言和资源贫乏的语言的翻译词典。此后,使用通用依赖关系中的句子对嵌入进行微调,并对齐以匹配大语言的语义空间;从而产生跨语言嵌入。我们在这里工作的濒危语言是Erzya,Moksha,Komi-Zyrian和Skolt Sami。此外,我们建立了一个通用的情感分析模型,所有的语言是本研究的一部分,无论濒危与否,通过利用跨语言的词嵌入。进行的评估表明,我们的濒危语言的词嵌入与资源丰富的语言是一致的,他们是适合于训练特定于任务的模型,我们的情感分析模型,达到了很高的准确性证明。我们所有的跨语言词嵌入和情感分析模型都通过一个易于使用的Python库公开发布。
2021-03-24 cs.CL
Sentence-State LSTM for Text Representation
Singapore University of Technology and Design(新加坡科技设计大学);Department of Computer Science, University of Rochester(罗切斯特大学计算机科学系)
双向LSTM是文本表示的强大工具。另一方面,由于它们的连续性,它们已被证明受到各种限制。我们研究了一种用于编码文本的替代LSTM结构,它由每个单词的并行状态组成。循环步骤用于同时执行单词之间的局部和全局信息交换,而不是递增地读取单词序列。各种分类和序列标记基准测试的结果表明,该模型具有很强的表示能力,与具有类似参数数的堆叠BiLSTM模型相比,具有很强的竞争力。
2018-05-07 cs.CL cs.LG stat.ML
A Variational Approach to Unsupervised Sentiment Analysis
Hong Kong University of Science and Technology(香港科技大学);University of Southern California(南加州大学);University of Hong Kong(香港大学)
在本文中,我们提出了一种变分方法,无监督的情感分析。我们使用目标意见词对作为监督信号,而不是使用领域专家提供的基础事实。例如,在文档片段“the room is big”中,(room,big)是目标意见词对。这些词对可以通过使用依赖分析器和简单的规则来提取。我们的目标函数是预测一个给定目标词的观点词,而我们的最终目标是学习一个情感分类器。通过引入潜在变量,即,情感极性,对目标函数,我们可以通过证据下限注入情感分类器的目标函数。我们可以通过优化下限来学习情感分类器。我们还对意见词施加复杂的约束,作为正则化,鼓励如果两个文档具有相似(不相似)的意见词,则情感分类器应该产生相似(不同)的概率分布。我们将我们的方法应用于客户评论和临床叙述的情感分析。实验结果表明,该方法在两个领域的情感分析任务中均优于无监督基线,在客户评论领域与每个方面有数百个标签的有监督方法获得了相当的结果,在临床叙述领域与有监督方法获得了相当的结果。
2020-08-21 cs.CL
Automated Word Prediction in Bangla Language Using Stochastic Language Models
North South University(北南大学);Daffodil International University(达夫迪尔国际大学);Prime University(普莱姆大学)
单词补全和单词预测是打字中的两个重要现象,其有益于使用键盘或其他类似设备打字的用户。他们可以对残疾人的打字产生深远的影响。我们的工作是基于孟加拉语句子的单词预测,通过使用随机的,即N-gram语言模型,如unigram,bigram,trigram,删除插值和退避模型,通过预测句子中的正确单词来自动完成句子,这节省了时间和打字的时间,也减少了拼写错误。我们使用大量的孟加拉语不同词类型的数据语料库,以尽可能高的准确率预测正确的词。我们发现了有希望的结果。我们希望我们的工作将对自动化孟加拉语输入的基线产生影响。
2016-02-25 cs.CL
Rapid-Rate: A Framework for Semi-supervised Real-time Sentiment Trend Detection in Unstructured Big Data
University of Waterloo(滑铁卢大学)
像餐馆、服务中心和零售商这样的商业机构有几个关于产品和服务的客户反馈来源,其中大部分不需要像Yelp或亚马逊等服务提供的评级评论那样结构化。例如,亚马逊为产品评论提供了一个细粒度的数字评分。然而,一些来源,如社交媒体(Twitter,Facebook),邮件列表(Google Groups)和论坛(Quora)包含大量的文本数据,但非结构化和未标记。评估这些平台上对其品牌的普遍情绪可能也符合商业机构的最佳利益。该文本可以被流水线传输到具有内置预测模型的系统中,其目的是生成关于意见和情绪趋势的实时的【形】图形。虽然这样的任务,如一个描述已经探讨了在过去的文档分类问题,本文中描述的实现,凭借学习一个连续的函数,而不是一个离散的,提供了很多更深入的洞察力相比,文档分类方法。本研究的目的是探讨这种连续函数预测模型的有效性,以量化的情感对一个实体,没有额外的开销手动标记,计算预处理和特征提取。该研究项目还旨在设计和实现一个可重用的文档回归管道作为框架,Rapid-Rate,可用于实时的【形】预测文档分数。
2017-03-25 cs.CL
How COVID-19 Is Changing Our Language : Detecting Semantic Shift in Twitter Word Embeddings
École Polytechnique(巴黎综合理工学院);AUEB(雅典经济与商业大学)
文字是可塑的物体,受到书面文本中反映的事件的影响。在全球爆发COVID-19的背景下,我们的研究旨在检测由健康危机引发的社交媒体语言的语义转变。利用从Twitter中提取的COVID-19相关大数据,我们针对疫情爆发后的不同时间段,对单独的词嵌入模型进行了训练。我们采用了一种基于嵌入的方法,将这些嵌入与一个与COVID-19无关的通用Twitter嵌入进行比较。我们还比较了它们之间的训练嵌入,以观察历时演变。通过对一组由话题检测所选择的词进行案例研究,我们验证了我们的对齐方法是有效的。最后,我们量化的规模的全球语义转移的稳定性措施的基础上来回旋转对齐。
2021-02-15 cs.CL
Mapping ChatGPT in Mainstream Media to Unravel Jobs and Diversity Challenges: Early Quantitative Insights through Sentiment Analysis and Word Frequency Analysis
Brock University(布鲁克大学)
本文通过文本挖掘和NLP方法分析了10,902条主流媒体新闻标题,揭示ChatGPT在主流媒体中情感偏正面,但就业与多样性等议题被严重忽视,批判了大型科技公司与媒体在排斥这些挑战时的权力结构与共谋。
2023-08-03 cs.CL cs.CY
Convolutional Neural Network with Word Embeddings for Chinese Word Segmentation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于序列标注的汉语分词框架是一种灵活、高效的分词框架。近年来,许多基于特征的神经网络模型已被应用于CWS。虽然他们取得了很好的成绩,但他们有两个明显的弱点。首先,它们严重依赖于手动设计的bigram特征,即它们不善于自动捕获n-gram特征。第二,他们没有使用完整的单词信息。对于第一个弱点,我们提出了一个卷积神经模型,它能够在没有任何特征工程的情况下捕获丰富的n-gram特征。对于第二个,我们提出了一个有效的方法来整合所提出的模型与词嵌入。我们在两个基准数据集上评估了模型:PKU和MSR。在没有任何特征工程的情况下,该模型获得了有竞争力的性能-在PKU上为95.7%,在MSR上为97.3%。借助词嵌入,该模型在两个数据集上都实现了最先进的性能-在PKU上为96.5%,在MSR上为98.0%,而不使用任何外部标记资源。
2017-11-13 cs.CL
Component-Enhanced Chinese Character Embeddings
The Hong Kong Polytechnic University(香港理工大学);Chinese Academy of Sciences(中国科学院);Peking University(北京大学)
分布式词表示对于捕获语义信息非常有用,并且已经成功地应用于各种NLP任务,特别是英语。在这项工作中,我们创新性地开发了两个组件增强的汉字嵌入模型和它们的二元组扩展。区别于英语词嵌入,我们的模型探讨的是汉字的组成,这往往是固有的语义指示符。对词相似度和文本分类的评价表明了模型的有效性。
2015-08-26 cs.CL
Word Similarity Datasets for Thai: Construction and Evaluation
King Mongkut’s Institute of Technology Ladkrabang (KMITL)(先皇技术学院(拉卡邦));ITMO University(ITMO大学)
词嵌入形式的分布语义是许多现代自然语言处理系统的基本组成部分。词语之间的语义相似度的量化可以用于评估系统执行语义解释的能力。为此,在过去的几十年中,已经为英语创建了许多单词相似性数据集。对于泰国语言,很少有这样的资源可用。在这项工作中,我们通过翻译和重新评级流行的WordSim-353,SimLex-999和SemEval-2017-Task-2数据集来创建三个泰语单词相似度数据集。这三个数据集总共包含1852个词对,在难度、领域覆盖率和相似性概念(相关性与~)方面具有不同的特征。相似性)。这些特征有助于更广泛地了解评估的词嵌入模型的属性。我们使用现有的泰语嵌入模型进行了基线评估,并将词汇表外单词的高比例确定为最大的挑战之一。所有的数据集、评估结果和一个用于轻松评估新的泰语嵌入模型的工具都可以在线提供给NLP社区。
2019-04-08 cs.CL
Zoho at SemEval-2019 Task 9: Semi-supervised Domain Adaptation using Tri-training for Suggestion Mining
Zoho(Zoho公司)
本文描述了我们为SemEval-2019建议挖掘任务提交的内容。一个简单的卷积神经网络(CNN)分类器与上下文单词表示从预先训练的语言模型用于句子分类。该模型使用tri-training进行训练,这是一种用于标记未见过数据的半监督自举机制。三训练被证明是一种有效的技术,以适应跨域建议挖掘(子任务B),其中没有手工标记的训练数据域转移。对于域内评估(子任务A),我们使用相同的技术来增加训练集。我们的系统在子任务A中排名第十三,$F_1$得分为68.07,在子任务B中排名第三,$F_1$得分为81.94。
2019-04-06 cs.CL
Semantic Structure and Interpretability of Word Embeddings
ASELSAN Research Center(ASELSAN研究中心);Bilkent University(比尔肯大学)
密集词嵌入是一种将词的语义编码到低维向量空间中的方法,由于其在许多自然语言处理(自然语言处理)任务中的优异性能,已成为自然语言处理研究的热点。词嵌入在捕获词之间的语义关系方面是非常成功的,因此在相应的向量空间中必须存在有意义的语义结构。然而,在许多情况下,这种语义结构广泛且不均匀地分布在嵌入维度上,这使得解释成为一个很大的挑战。在这项研究中,我们提出了一种统计方法来揭示隐藏在密集的词嵌入的语义结构。为了进行我们的分析,我们引入了一个新的数据集(SEMCAT),其中包含超过6500个单词的语义分组下110个类别。我们进一步提出了一种方法来量化的词嵌入的可解释性,所提出的方法是一个实用的替代经典的词入侵测试,需要人为干预。
2018-05-16 cs.CL
$gen$CNN: A Convolutional Architecture for Word Sequence Prediction
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Noah’s Ark Lab, Huawei Technologies(华为技术有限公司诺亚方舟实验室);Centre for Next Generation Localisation, Dublin City University(都柏林城市大学下一代本地化中心)
我们提出了一种新的卷积架构,命名为$gen$ CNN,字序列预测。不同于先前关于基于神经网络的语言建模和生成的工作(例如,RNN或LSTM),我们选择不将单词的历史粗略地总结为固定长度的向量。相反,我们使用一个卷积神经网络来预测下一个单词与历史的单词的可变长度。与现有的语言建模前馈网络不同,我们的模型可以有效地融合词序列中的局部相关性和全局相关性,并采用专门为任务设计的卷积门控策略。我们认为,我们的模型可以给出足够的代表性的历史,因此可以自然地利用短期和长期的依赖关系。我们的模型是快速的,易于训练,并容易并行化。我们对文本生成和$n$ -机器翻译中的最佳重新排名的广泛实验表明,$gen$ CNN的性能优于最先进的机器翻译。
2015-04-24 cs.CL
Mixed Membership Word Embeddings for Computational Social Science
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
词嵌入通过揭示词之间隐藏的结构关系来提高NLP系统的性能。尽管在许多应用中取得了成功,但词嵌入在计算社会科学NLP任务中的应用很少,可能是因为它们依赖于大数据,并且缺乏可解释性。本文提出了一种基于概率模型的词嵌入方法,该方法可以在不需要大数据的情况下恢复可解释的嵌入。关键的洞察力是利用混合成员建模,其中全局表示是共享的,但各个实体(即字典单词)可以自由地使用这些表示,以独特的不同程度。我将展示如何结合使用最先进的词嵌入和主题模型训练技术来训练模型。实验结果表明,在预测语言建模的MRR高达63%的跳跃-gram的改进,并证明表示是有益的监督学习。我说明了模型的可解释性与计算社会科学的国情咨文和NIPS文章的案例研究。
2018-02-20 cs.AI cs.CL cs.LG
A big data approach towards sarcasm detection in Russian
Plekhanov Russian University of Economics(俄罗斯普列汉诺夫经济大学)
本文提出俄语词形变化与文本合成的确定性算法,并通过公开 web 服务实现,依托 OpenCorpora 评估其性能及俄语词类形态复杂性。
2023-06-01 cs.AI cs.CL
Unsupervised Low-Dimensional Vector Representations for Words, Phrases and Text that are Transparent, Scalable, and produce Similarity Metrics that are Complementary to Neural Embeddings
University of Illinois College of Medicine(伊利诺伊大学医学院)
神经嵌入是一组流行的方法,用于将单词,短语或文本表示为低维向量(通常为50 - 500维)。然而,很难以有意义的方式解释这些维度,并且创建神经嵌入需要对多个参数和超参数进行广泛的训练和调整。我们在这里提出了一个简单的无监督的方法来表示单词,短语或文本作为一个低维向量,其中的意义和维度的相对重要性是透明的检查。我们已经创建了一个近乎全面的矢量表示的话,并选择二元组,三元组和缩写,使用的标题和摘要集在PubMed作为语料库。这个向量被用来创建几个新的隐式词-词和文本-文本相似性度量。隐式词-词相似性度量与人类对词对相似性和相关性的判断密切相关,并且在各种生物医学基准上优于或等于所有其他报告的方法,包括在PubMed语料库上训练的神经嵌入的几种实现。与基于word2vec的度量相比,我们的隐式词-词度量捕获了词-词相关性的不同方面,并且仅部分相关(rho =~0.5 - 0.8,取决于任务和语料库)。单词、双字母组、三字母组、缩写和PubMed标题+摘要的矢量表示都可以从www.example.com公开获得,并在CC-BY-NC许可下发布。在同一个网站上也提供了几个公共网络查询界面,其中一个允许用户指定一个给定的单词,并根据直接同现以及不同的隐式相似性度量来查看其最密切相关的术语。
2018-01-09 cs.CL cs.IR
Loss in Translation: Learning Bilingual Word Mapping with a Retrieval Criterion
Facebook AI Research(脸书人工智能研究院)
在不同语言中分别学习的连续单词表示可以对齐,以便它们的单词在共同的空间中具有可比性。现有的作品通常解决一个最小二乘回归问题,学习旋转对齐一个小的双语词典,并使用检索标准进行推理。在本文中,我们提出了一个统一的配方,直接优化检索标准的端到端的方式。我们在标准基准测试上的实验表明,我们的方法在单词翻译上的表现优于最先进的技术,对于遥远的语言对,如英语-汉语,我们观察到了最大的改进。
2018-09-05 cs.CL cs.LG
Embracing Domain Differences in Fake News: Cross-domain Fake News Detection using Multi-modal Data
随着社交媒体的快速发展,假新闻已成为一个重大的社会问题,无法通过人工调查及时解决。这激发了许多关于自动化虚假新闻检测的研究。大多数研究探索了具有不同模式的监督训练模型(例如,文本、图像和传播网络)来识别假新闻。然而,如果新闻记录来自不同的域(例如,政治、娱乐),尤其是在训练过程中看不到或很少看到的领域。作为动机,我们经验表明,来自不同领域的新闻记录有显着不同的词的使用和传播模式。此外,由于大量未标记的新闻记录,选择新闻记录进行手动标记以使标记数据集的域覆盖最大化是具有挑战性的。因此,这项工作:(1)提出了一种新的框架,该框架联合保留新闻记录中的特定领域和跨领域知识,以检测来自不同领域的假新闻;(2)引入了一种无监督技术,以选择一组未标记的信息新闻记录进行手动标记,这最终可以用于训练假新闻检测模型,该模型在许多领域表现良好,同时最小化标记成本。我们的实验表明,所提出的假新闻模型和选择性注释方法的集成实现了跨领域新闻数据集的最新性能,同时对新闻数据集中很少出现的领域产生了显着的改进。
2021-02-24 cs.CL cs.IR cs.LG
Better Word Embeddings by Disentangling Contextual n-Gram Information
EPFL(洛桑联邦理工学院);Iprova SA(Iprova公司)
预先训练的词向量在自然语言处理应用中是普遍存在的。在本文中,我们展示了如何训练词嵌入联合二元组,甚至三元组嵌入,结果在改进的unigram嵌入。我们声称,训练词嵌入以及更高的n-gram嵌入有助于从unigrams中移除上下文信息,从而产生更好的独立词嵌入。我们的经验表明,我们的假设的有效性优于其他竞争词表征模型的显着保证金上各种各样的任务。我们公开我们的模型。
2019-04-10 cs.AI cs.CL cs.IR
Using Word Embeddings for Visual Data Exploration with Ontodia and Wikidata
Intern. Lab. of Information Science and Semantic Technologies, ITMO University(信息科学与语义技术国际实验室,ITMO大学);Vismart Ltd.(Vismart有限公司);ITMO University(ITMO大学)
关联数据消费的一大挑战是为非技术用户创建可用的数据的可视化和自然语言界面。Ontodia提供了对图表数据探索的支持,在本出版物中与Wikidata数据集结合展示。我们提出了关于探索和查询关联数据实体的自然语言接口的改进。该方法使用分布式语义模型来查找和排列Ontodia中与用户输入相关的实体属性。各种词嵌入类型和模型设置进行了评估,结果表明,用户体验在可视化数据探索中的好处,从所提出的方法。
2019-03-04 cs.CL cs.IR
How Contentious Terms About People and Cultures are Used in Linked Open Data
Centrum Wiskunde & Informatica(数学与计算机科学中心);VU University Amsterdam(阿姆斯特丹自由大学)
研究分析了Wikidata等四个数据集中关于人物与文化的争议性术语的使用频率及标记情况,发现此类术语频繁出现且标记方式缺乏一致性,为系统性解决LOD中的刻板印象传播问题提供了见解。
2023-11-13 cs.AI cs.CL
Lexical Co-occurrence, Statistical Significance, and Word Association
IIT Bombay(印度理工学院孟买分校);Microsoft Research India(微软印度研究院)
词汇同现是检测词汇联想的重要线索。我们提出了一个理论框架,发现统计上显着的词汇共现从一个给定的语料库。与普遍的做法给予权重的unigram频率相比,我们只关注包含两个术语(候选bigram)的文档。我们检测的相关词的跨度分布的偏见,而不可知的全球单字频率的变化。我们的框架具有保真度,区分不同类别的词汇同现,根据强度的文件和语料库水平的线索的同现数据。我们在基准数据集上进行了大量的实验,以研究目前文献中已知的各种同现措施的性能。我们发现,一个相对模糊的措施称为Ochiai,和一个新推出的措施CSA捕获词汇共现的概念最好的,其次是LLR,骰子,和TTest,而另一个流行的措施,PMI,令人惊讶的是,表现不佳的上下文中的词汇共现。
2010-08-31 cs.CL cs.IR
A Deep Language-independent Network to analyze the impact of COVID-19 on the World via Sentiment Analysis
2019年底,武汉爆发新型冠状病毒,并迅速蔓延至全球,导致全球数百万人感染致命的大流行病。政府和公共卫生机构采取了许多策略来对抗这种致命的病毒。然而,该病毒严重影响了人民的社会和经济生活。在本文中,我们提取并研究了受病毒影响最严重的五个国家,即美国,巴西,印度,俄罗斯和南非的人们的意见。我们提出了一个深度语言无关的基于多级注意力的Conv-BiGRU网络(MACBiG-Net),它包括嵌入层、词级编码注意力和词级编码注意力机制,用于提取积极、消极和中性情感。嵌入层将句子序列编码为实值向量。单词级和句子级编码由基于1D Conv-BiGRU的机制执行,然后分别进行单词级和句子级注意。我们通过抓取Twitter上的推文进一步开发了COVID-19情绪数据集。在我们提出的数据集上进行的大量实验证明了所提出的MACBiG-Net的有效性。此外,注意力权重可视化和深入的结果分析表明,该网络有效地捕捉了人们的情绪。
2020-11-20 cs.CL cs.IR