Word Embedding-based Text Processing for Comprehensive Summarization and Distinct Information Extraction
School of Systems and Enterprises, Stevens Institute of Technology(史蒂文斯理工学院系统与企业学院)
在本文中,我们提出了两个自动化的文本处理框架,专门设计用于分析在线评论。第一个框架的目标是通过提取基本句子来总结评论数据集。这是通过将句子转换为数字向量并使用基于其相似性水平的社区发现算法对其进行聚类来执行的。然后,测量每个句子的相关性得分,以确定其在每个聚类中的重要性级别,并将其分配为该社区的标签。第二个框架是基于一个问答神经网络模型训练,以提取多个不同的问题的答案。收集的答案被有效地聚类,以找到客户可能提出的单个问题的多个不同答案。拟议的框架比现有的审查处理解决方案更全面。
2020-04-21 cs.CL cs.LG
Natural Language Processing: State of The Art, Current Trends and Challenges
Manav Rachna International University(马纳夫·拉奇纳国际大学);Accendere Knowledge Management Services Pvt. Ltd.(Accendere知识管理服务私人有限公司)
自然语言处理(NLP)近年来因其对人类语言的计算机表示和分析而受到广泛关注。它已经在机器翻译、垃圾邮件检测、信息抽取、摘要、医学、问答等领域得到了广泛的应用。本文通过讨论自然语言处理的不同层次和自然语言生成(NLG)的组成部分,将NLP分为四个阶段,介绍了NLP的各种应用以及当前的趋势和挑战。
2017-08-17 cs.CL
Query Expansion with Locally-Trained Word Embeddings
Microsoft(微软)
连续空间词嵌入由于其建模术语相似性和其他关系的能力而在自然语言处理和机器学习社区中受到了极大的关注。我们研究的背景下,临时信息检索的查询扩展的术语相关性的使用。我们证明了词嵌入,如word2vec和GloVe,在全球范围内训练时,表现不佳的语料库和查询特定的嵌入检索任务。这些结果表明,受益于全局嵌入的其他任务也可能受益于局部嵌入。
2016-06-23 cs.CL cs.IR
RiverText: A Python Library for Training and Evaluating Incremental Word Embeddings from Text Data Streams
Department of Computer Science, University of Chile(智利大学计算机科学系);National Center for Artificial Intelligence (CENIA)(人工智能国家中心);Millennium Institute for Foundational Research on Data (IMFD)(数据基础研究千年研究所)
针对传统静态词嵌入难以适应动态语言模式的问题,提出Python库RiverText,基于PyTorch实现Skip-gram等增量词嵌入算法,并提供流式评估模块,为流式场景下的词嵌入训练与评估提供标准化框架。
2025-06-29 cs.CL cs.LG
A Tidy Data Model for Natural Language Processing using cleanNLP
cleanNLP包提供了一组快速工具,用于将文本语料库转换为一组规范化的表。底层的自然语言处理管道利用了斯坦福大学的CoreNLP库,为用英语、法语、德语和西班牙语编写的文本提供了许多注释任务。注释器包括标记化、词性标注、命名实体识别、实体链接、情感分析、依存句法分析、共指消解和信息抽取。
2018-05-03 cs.CL stat.CO
Information retrieval in folktales using natural language processing
Technical University of Cluj-Napoca(克卢日-纳波卡技术大学)
我们的目标是从非结构化文本中提取文学人物的信息。我们对领域本体进行自然语言处理和推理。第一个任务是确定主要人物和故事中这些人物被描述或表演的部分。我们说明了在民间故事领域的一个场景中的系统。该系统依赖于一个民间故事本体,我们已经开发的基础上Propp的模型的民间故事形态。
2015-11-10 cs.AI cs.CL cs.IR
File mapping Rule-based DBMS and Natural Language Processing
本文描述了一种类似于自然语言结构的信息存储、提取和处理系统。对于递归推理,系统使用具有相同表示的规则作为数据。操作系统的文件映射(SHM)机制为信息的存储提供了环境。本文阐述了动态数据结构和推理规则记录语言的构造原则,考虑了现有实现的特点,并给出了在自然语言上实现语义信息检索的应用描述。
2001-06-10 cs.AI cs.CL cs.DB
Post-Processing of Word Representations via Variance Normalization and Dynamic Embedding
University of Southern California(南加州大学);University of California, Berkeley(加州大学伯克利分校)
虽然嵌入式向量表示的单词提供了令人印象深刻的性能在许多自然语言处理(NLP)的应用,有序的输入序列的信息在一定程度上丢失,如果只有基于上下文的样本在训练中使用。为了进一步提高性能,两个新的后处理技术,称为后处理通过方差归一化(PVN)和后处理通过动态嵌入(PDE),提出了这项工作。PVN方法将词向量的主成分方差归一化,而PDE方法从有序输入序列中学习正交潜变量。PVN和PDE方法可以集成以实现更好的性能。我们将这些后处理技术应用于两种流行的词嵌入方法(即,word2vec和GloVe)以产生它们的后处理表示。进行了大量的实验,以证明所提出的后处理技术的有效性。
2019-02-04 cs.CL
Concept-Based Embeddings for Natural Language Processing
Nanyang Technological University(南洋理工大学)
在这项工作中,我们专注于通过将概念和单词投影到低维空间,同时保留最关键的语义,有效地利用和集成概念级别和单词级别的信息。在一个广泛的背景下,意见理解系统,我们研究了使用融合嵌入的几个核心NLP任务:命名实体检测和分类,自动语音识别重新排序,并有针对性的情感分析。
2018-07-15 cs.CL
SECNLP: A Survey of Embeddings in Clinical Natural Language Processing
National Institute of Technology Tiruchirappalli(特里奇拉普里国家理工学院)
传统的表示方法如Bagofwords是高维的、稀疏的,忽略了顺序以及句法和语义信息。分布式向量表示或嵌入将可变长度的文本映射到密集的固定长度向量,并捕获可以传输到下游任务的先验知识。尽管嵌入已经成为一般和临床领域基于深度学习的NLP任务的事实标准表示,但没有调查论文对临床自然语言处理中的嵌入进行详细审查。在这篇综述论文中,我们讨论了各种医学语料库及其特点,医学代码,并简要概述了流行的嵌入模型,以及比较。我们将临床嵌入分为九种类型,并详细讨论每种嵌入类型。我们讨论了各种评估方法,随后是临床嵌入中各种挑战的可能解决方案。最后,我们总结了一些未来的方向,这将推动临床嵌入的研究。
2020-11-25 cs.CL
Effects of Pre- and Post-Processing on type-based Embeddings in Lexical Semantic Change Detection
Institute for Natural Language Processing, University of Stuttgart(斯图加特大学自然语言处理研究所)
词汇语义变化检测是一个新兴的研究领域。包括预处理和后处理在内的模型的最佳微调在很大程度上尚不清楚。我们通过以下方式优化现有模型:(i)对大型语料库进行预训练,并对历时目标语料库进行改进,以解决臭名昭著的小数据问题;(ii)应用已被证明可以提高同步任务性能的后处理转换。我们的研究结果提供了一个指导的应用和优化的词汇语义变化检测模型在各种学习场景。
2021-01-26 cs.CL
Multilingual Multi-modal Embeddings for Natural Language Processing
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学);Trinity College Dublin(都柏林三一学院)
我们提出了一种新的判别模型,可以从多语言和多模态数据中学习嵌入,这意味着我们的模型可以利用多种语言的图像和描述来提高嵌入质量。为此,我们引入了成对对比估计优化函数的修改作为我们的训练目标。我们评估我们的嵌入图像句子排名(ISR),语义文本相似性(STS),和神经机器翻译(NMT)任务。我们发现,额外的多语言信号导致ISR和STS任务的改进,和歧视性成本也可以用于重新排名$n$ -最好的NMT模型产生的列表,产生强大的改进。
2017-02-03 cs.CL
Word Embeddings for Chemical Patent Natural Language Processing
Elsevier(爱思唯尔)
我们评估了化学专利词嵌入对已知的生物医学嵌入,并表明他们优于后者的外在和内在。我们还表明,使用上下文嵌入可以诱导预测模型的合理性能,这个领域在一个相对较小的黄金标准。
2020-10-24 cs.CL cs.LG
Meemi: A Simple Method for Post-processing and Integrating Cross-lingual Word Embeddings
Universidade de Vigo(维戈大学);Cardiff University(卡迪夫大学)
词嵌入已经成为任何自然语言处理从业者工具集中的标准资源。单语词嵌入在特定语言的上下文中编码关于词的信息,而跨语言嵌入定义了多语言空间,其中来自两种或更多种语言的词嵌入被集成在一起。当前最先进的方法通过保持单语对应物的结构的正交变换对齐两个不相交的单语向量空间来学习这些嵌入。在这项工作中,我们建议在这个初始对齐步骤之后应用额外的变换,其目的是使给定单词及其翻译的矢量表示更接近它们的平均值。由于这种额外的变换是非正交的,它也会影响单语空间的结构。我们表明,我们的方法既提高了单语空间的整合,也提高了单语空间本身的质量。此外,由于我们的转换可以应用于任意数量的语言,我们能够有效地获得一个真正的多语言空间。由此产生的(单语和多语言)的空间显示一致的收益超过目前国家的最先进的标准内在的任务,即字典归纳和单词相似性,以及在外在的任务,如跨语言的上位词发现和跨语言的自然语言推理。
2020-11-11 cs.CL
Evaluating Word Embedding Models: Methods and Experimental Results
University of Southern California(南加州大学);University of California, Berkeley(加州大学伯克利分校)
在这项工作中,大量的词嵌入模型的语言处理应用进行了广泛的评估。首先,我们介绍了流行的词嵌入模型,并讨论了词模型和评估方法(或评估器)所需的属性。然后,我们将评价者分为内在和外在两种类型。内在评估独立于特定的自然语言处理任务测试表示的质量,而外在评估使用词嵌入作为下游任务的输入特征,并测量特定于该任务的性能指标的变化。我们报告的实验结果的内在和外在的评价六个词嵌入模型。结果表明,不同的评价者侧重于词模型的不同方面,有些人更相关的自然语言处理任务。最后,我们采用相关性分析来研究内外部评价者的绩效一致性。
2019-01-29 cs.CL
Supervised Contextual Embeddings for Transfer Learning in Natural Language Processing Tasks
Carnegie Mellon University(卡内基梅隆大学)
预训练的词嵌入是几个自然语言处理(NLP)任务中迁移学习的主要方法。最近的工作集中在使用无监督技术,如语言建模,以获得这些嵌入。相比之下,这项工作的重点是从多个预先训练的监督模型中提取表示,这丰富了任务和领域特定知识的词嵌入。在跨任务、跨领域和跨语言环境中进行的实验表明,这种监督嵌入是有帮助的,特别是在低资源环境中,但增益的程度取决于任务和领域的性质。我们公开我们的代码。
2019-06-28 cs.CL cs.LG
Vec2Sent: Probing Sentence Embeddings with Natural Language Generation
Technische Universität Darmstadt(达姆施塔特工业大学)
我们反思黑盒句子嵌入,有条件地从他们的目标是检索潜在的离散句子。我们认为这是一个新的无监督探测任务,并表明它与下游任务的性能相关。我们还说明了从不同编码器生成的语言是如何不同的。我们应用我们的方法从句子嵌入生成句子类比。
2020-11-01 cs.CL
word representation or word embedding in Persian text
文本处理是自然语言处理的一个分支。最近,机器学习和神经网络方法的使用得到了更多的考虑。因此,文字的表现变得非常重要。本文介绍的是波斯语文本中的单词表示或将单词转换为矢量。在这项研究中,GloVe,CBOW和skip-gram方法更新,以产生嵌入向量的波斯语单词。为了训练一个神经网络,我们将Bijankhan语料库、Hamshahri语料库和UPEC语料库进行了合成和使用。最后,我们有342,362个单词在所有三个模型中获得了这些单词的向量。这些向量在波斯语自然语言处理中有许多用途。
2017-12-18 cs.CL
Portuguese Word Embeddings: Evaluating on Word Analogies and Natural Language Tasks
University of São Paulo(圣保罗大学);Institute of Mathematics and Computer Sciences(数学与计算机科学学院);Federal University of São Carlos(圣卡洛斯联邦大学)
已经发现词嵌入以有效的方式为词提供有意义的表示;因此,它们在自然语言处理系统中变得普遍。在本文中,我们评估了在大型葡萄牙语语料库上训练的不同词嵌入模型,包括巴西和欧洲变体。我们使用FastText、GloVe、Wang 2 Vec和Word 2 Vec训练了31个词嵌入模型。我们在句法和语义类比上对他们进行了内在评价,在词性标注和句子语义相似性任务上进行了外在评价。所获得的结果表明,词类比是不适合词嵌入评价,任务特定的评价似乎是一个更好的选择。
2017-08-20 cs.CL
Interactive Re-Fitting as a Technique for Improving Word Embeddings
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
词嵌入是从词共现中学习到的语料库中词的上下文的固定的、分布的表示。虽然词嵌入已被证明在自然语言处理任务中有许多实际用途,但它们反映了它们所训练的语料库的属性。最近的研究表明,对词嵌入进行后处理,以应用在词典中找到的信息,可以提高其质量。我们通过使其具有交互性来建立这种后处理技术。我们的方法使人类有可能通过移动单词集合来调整词嵌入空间的部分。该功能的一个激励用例是使用户能够识别并减少词嵌入中存在的偏见。我们的方法允许用户触发选择性的后处理,因为他们与词嵌入和评估潜在的偏见。
2020-09-30 cs.CL cs.LG
QCSE: A Pretrained Quantum Context-Sensitive Word Embedding for Natural Language Processing
QCSE是一种利用量子计算的上下文敏感词嵌入模型,通过创新的上下文矩阵计算方法提升自然语言处理的表达能力。
2026-03-10 cs.CL
On Dimensional Linguistic Properties of the Word Embedding Space
Carnegie Mellon University(卡内基梅隆大学);University of Utah(犹他大学)
词嵌入已经成为几个自然语言处理任务的主要内容,但关于它们的属性还有很多东西需要了解。在这项工作中,我们分析了词嵌入的主成分,并得出了一些新颖的和违反直觉的意见。特别是,我们的特点的效用方差解释的主成分作为下游性能的代理。此外,通过句法探测的主要嵌入空间,我们表明,句法信息捕获的主成分不相关的方差,它解释的量。因此,我们研究了基于方差的嵌入后处理的局限性,并证明了这种后处理在句子分类和机器翻译任务中是适得其反的。最后,我们提供了一些关于应用基于方差的嵌入后处理的预防指南,并解释了为什么非各向同性几何形状可能是词嵌入性能不可或缺的。
2020-05-20 cs.CL cs.LG
Evaluating Word Embeddings for Sentence Boundary Detection in Speech Transcripts
CPqD
本文的动机是自动化的神经心理学测试,涉及话语分析的复述叙述的患者有潜在的认知障碍。在这种情况下,语音转录中的句子边界检测的任务是重要的,因为话语分析涉及自然语言处理工具的应用,例如标记器和解析器,其依赖于句子作为处理单元。在本文中,我们的目的是验证嵌入感应方法最适合句子边界检测任务,特别是它是否是那些被提出来捕捉语义,句法或形态相似性。
2017-08-15 cs.CL
Natural Language Processing using Hadoop and KOSHIK
Eastern Institute of Technology(东部理工学院)
自然语言处理作为一种数据分析相关技术,在人工智能、人类语言处理、翻译等领域有着广泛的应用。目前,由于数据的爆炸式增长,自然语言处理面临着许多挑战。Hadoop是能够处理自然语言处理所需的大量数据的平台之一。KOSHIK是自然语言处理架构之一,利用Hadoop并包含语言处理组件,如Stanford CoreNLP和OpenNLP。本文介绍了如何使用相关工具构建KOSHIK平台,并提供了分析wiki数据的步骤。最后,对KOSHIK体系结构的优缺点进行了评价和讨论,并给出了提高处理性能的建议。
2016-08-15 cs.CL
An Empirical Study on Post-processing Methods for Word Embeddings
University of California, San Diego(加利福尼亚大学圣迭戈分校)
从大型语料库中学习的词嵌入已被广泛应用于自然语言处理中,并作为学习系统的通用输入表示。近年来,人们提出了一系列的后处理方法来提高词嵌入在相似性比较和类比检索任务中的性能,其中一些方法已被应用于句子表征。这些方法背后的一般假设是,通过强制嵌入空间更加各向同性,可以更好地表达单词之间的相似性。我们认为这些方法作为一种方法来缩小协方差/克矩阵,这是通过学习词向量估计,对一个缩放的单位矩阵。通过使用集中式核对齐(CKA)优化半黎曼流形中的目标,我们能够搜索最佳收缩参数,并提供一种后处理方法来平滑学习单词向量的频谱,从而提高下游任务的性能。
2019-10-23 cs.CL cs.LG stat.ML
Simple Natural Language Processing Tools for Danish
ITU Copenhagen(哥本哈根信息技术大学)
本技术说明介绍了一套用于自动处理丹麦文文本的基线工具。这些工具是基于机器学习的,使用经过先前注释的文档训练的自然语言处理模型。它们保存在国际电联哥本哈根办事处,并将始终免费提供。
2019-07-26 cs.CL
Effect of Text Processing Steps on Twitter Sentiment Classification using Word Embedding
Tennessee State University(田纳西州立大学);Old Dominion University(欧道明大学)
原始文本的处理是文本分类和情感分析中至关重要的第一步。然而,文本处理步骤通常使用现成的例程和预构建的单词词典来执行,而不针对域、应用和上下文进行优化。本文研究了七种文本处理方案对特定文本域(Twitter)和应用程序(情感分类)的影响。基于跳过语法的词嵌入被开发为包括Twitter口语词、表情符号和主题标签关键词,这些关键词通常由于在传统文学语料库中不可用而被移除。我们的实验揭示了两个常见的文本处理步骤对情感分类的负面影响:1)停止词去除和2)平均词向量来表示单个推文。新的有效步骤1)包括非ASCII表情符号字符,2)从词嵌入中测量词的重要性,3)将词向量聚合到推文嵌入中,以及4)开发线性可分离的特征空间,以优化情感分类管道。文本处理步骤的最佳组合在对具有三个情感标签的14,640条推文进行分类时产生最高的平均曲线下面积(AUC)88.4(+/-0.4)。从上下文驱动的词嵌入中进行的词选择显示,只有推文中最重要的十个词累积产生超过98%的最大准确率。结果表明,数据驱动的选择的重要的话,而不是使用预先建立的单词词典的推文分类的手段。所提出的推文嵌入对几个文本处理步骤是鲁棒的,并且简化了对几个文本处理步骤的需要。
2020-07-25 cs.CL cs.IR cs.LG
Analyzing autoencoder-based acoustic word embeddings
University of Edinburgh(爱丁堡大学);Stellenbosch University(斯泰伦博斯大学)
最近的研究介绍了学习声学词嵌入(AWE)的方法--固定大小的矢量表示的单词编码其声学特征。尽管AWE在语音处理研究中被广泛使用,但它们仅在区分整个单词标记的能力方面进行了定量评估。为了更好地理解AWE在各种下游任务和认知建模中的应用,我们需要分析AWE的表示空间。在这里,我们分析了AWE空间的基本属性学习序列到序列编码器-解码器模型在六个类型不同的语言。我们首先表明,这些AWE保留了一些关于单词的绝对持续时间和扬声器的信息。同时,这些AWE的表示空间被组织成使得词的嵌入之间的距离随着那些词的语音相异性而增加。最后,AWE表现出一个词的起始偏差,类似于人类语音处理和词汇访问的各种研究中报道的模式。我们认为,这是一个有前途的结果,并鼓励进一步评估AWE作为一个潜在的有用的工具,在认知科学,它可以提供语音处理和词汇记忆之间的联系。
2020-04-03 cs.CL
Overcoming Poor Word Embeddings with Word Definitions
NEC Laboratories America(美国 NEC 实验室);Princeton(普林斯顿大学)
现代自然语言理解模型依赖于预训练的子词嵌入,但应用程序可能需要对预训练期间从未或很少看到的词进行推理。我们表明,严重依赖于一个罕见的词的例子是更具有挑战性的自然语言推理模型。然后,我们将探讨模型如何学习使用自然文本中提供的定义来克服这一障碍。我们的模型对定义的理解通常比良好建模的词嵌入弱,但它可以从使用完全未经训练的词中恢复大部分性能差距。
2021-03-05 cs.CL
Comparing Fifty Natural Languages and Twelve Genetic Languages Using Word Embedding Language Divergence (WELD) as a Quantitative Measure of Language Distance
University of California, Berkeley(加州大学伯克利分校)
我们引入了一种新的基于词嵌入的语言间距离度量,称为词嵌入语言分歧(WELD)。WELD定义为不同语言之间词汇相似性分布的差异。使用这样的措施,我们进行语言比较的50个自然语言和12个遗传语言。我们的自然语言数据集是一个从圣经翻译的跨各种语系的50种语言的平行语料库的集合。尽管我们使用并行语料库,可以保证所有语言都有相同的内容,但有趣的是,在许多情况下,同一家族中的语言会聚集在一起。除了自然语言之外,我们还对12种不同生物(4种植物,6种动物和2种人类)基因组中的编码区进行了语言比较。我们的结果证实了人类/动物与植物的遗传语言模型存在显著的高水平差异。所提出的方法是一个步骤,以定义一个定量的语言之间的相似性度量,在语言分类,体裁识别,方言识别和评估的翻译应用。
2016-04-28 cs.CL
ScispaCy: Fast and Robust Models for Biomedical Natural Language Processing
Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
尽管最近在自然语言处理方面取得了进展,但许多用于处理文本的统计模型在域转移下表现得非常差。生物医学和临床文本处理是自然语言处理的一个非常重要的应用领域,目前还没有成熟的、实用的、公开可用的模型。本文介绍了scispaCy,一个新的实用生物医学/科学文本处理的工具,它极大地利用了spaCy库。我们详细介绍了在scispaCy中发布的两个模型包的性能,并展示了它们在多个任务和数据集上的鲁棒性。型号和代码可在https://allenai.github.io/scispacy/上获得
2019-10-09 cs.CL
Gender Bias in Neural Natural Language Processing
Carnegie Mellon University(卡内基梅隆大学)
我们研究神经自然语言处理(NLP)系统是否反映了训练数据中的历史偏差。我们定义了一个通用的基准来量化各种神经NLP任务中的性别偏见。我们使用最先进的神经共指消解和在基准数据集上训练的基于RNN的语言模型进行的实证评估发现,模型如何看待职业存在显著的性别偏见。然后,我们减轻偏见与CDA:一个通用的方法,语料库增强通过因果干预,打破性别和性别中性词之间的关联。我们的经验表明,CDA有效地减少性别偏见,同时保持准确性。我们还探讨了空间的缓解策略与CDA,一个事先的方法,词嵌入去偏置(WED),和他们的组合。我们表明,CDA优于WED,大大,所以当词嵌入的训练。对于预训练的嵌入,这两种方法可以有效地组合。我们还发现,随着对原始数据集进行梯度下降训练,性别偏见随着损失的减少而增加,这表明优化鼓励偏见; CDA减轻了这种行为。
2019-05-30 cs.CL
A Primer on Neural Network Models for Natural Language Processing
在过去的几年里,神经网络已经重新成为强大的机器学习模型,在图像识别和语音处理等领域取得了最先进的成果。最近,神经网络模型也开始应用于文本自然语言信号,再次取得了非常有希望的结果。本教程从自然语言处理研究的角度调查神经网络模型,试图使自然语言研究人员加快神经技术的速度。本教程涵盖了自然语言任务的输入编码、前馈网络、卷积网络、递归网络和递归网络,以及自动梯度计算的计算图抽象。
2015-10-02 cs.CL
Paraphrase Thought: Sentence Embedding Module Imitating Human Language Recognition
Korea University(高丽大学)
句子嵌入是自然语言处理中的一个重要研究课题。为了提高各种自然语言处理任务(如机器翻译和文档分类)的性能,必须生成一个能够充分反映句子语义的嵌入向量。到目前为止,已经提出了各种句子嵌入模型,并且它们的可行性已经通过在嵌入之后的任务(诸如情感分析和句子分类)上的良好性能而被证明。然而,因为句子分类和情感分析的性能可以通过使用简单的句子表示方法来增强,所以基于这些任务的良好性能,声称这些模型完全反映了句子的含义是不够的。本文受人类语言识别的启发,提出了语义连贯性的概念,一个好的句子嵌入方法应该满足这一概念:相似的句子应该在嵌入空间中相互靠近。然后,我们提出了释义-思维(P-thought)模型,以尽可能地追求语义连贯。在MS COCO和STS benchmark两个数据集上的实验结果表明,P-thought模型的性能优于基准句子嵌入方法。
2018-10-15 cs.CL
Definition Modeling: Learning to define word embeddings in natural language
Northwestern University(西北大学)
词的分布式表征已被证明可以捕捉词汇语义,这在词相似性和类比关系任务中表现出了有效性。但是,这些任务只是间接地评估词汇语义。在本文中,我们研究是否有可能利用分布式表示来生成单词的字典定义,作为嵌入语义的更直接和透明的表示。我们将介绍定义建模,即为给定单词及其嵌入生成定义的任务。我们提出了几种基于递归神经网络的定义模型架构,并在多个数据集上对模型进行了实验。我们的研究结果表明,控制被定义的单词和定义单词之间的依赖关系的模型表现得更好,并且旨在利用形态学的字符级卷积层可以补充单词级嵌入。最后,一个错误分析表明,由一个定义模型的错误可能会提供洞察词嵌入的缺点。
2016-12-01 cs.CL
Development of Word Embeddings for Uzbek Language
Copper City Labs(铜城实验室)
在本文中,我们分享了为乌兹别克语的西里尔变体开发词嵌入的过程。我们工作的结果是第一个公开可用的词向量集,使用内部开发的高质量Web抓取语料库在word2vec,GloVe和fastText算法上进行训练。所开发的词嵌入可以用于许多自然语言处理的下游任务。
2020-09-30 cs.CL
Discrete Word Embedding for Logical Natural Language Understanding
MIT-IBM Watson AI Lab(麻省理工-IBM沃森人工智能实验室);IBM Research(IBM研究院)
我们提出了一个无监督的神经模型,用于学习单词的离散嵌入。与现有的离散嵌入不同,我们的二进制嵌入支持类似于连续嵌入的向量算术运算。我们的嵌入表示每个词作为一组命题语句描述的过渡规则在经典/CIPPS规划形式主义。这使得嵌入直接兼容的象征性,国家的最先进的经典规划求解器。
2020-10-15 cs.AI cs.CL
Deep Learning Based Natural Language Processing for End to End Speech Translation
Vivekanand Education Society's Institute of Technology(维韦卡南德教育协会理工学院)
深度学习方法采用多个处理层来学习数据的分层表示。它们已经被部署在大量的应用程序中,并产生了最先进的结果。近年来,随着计算机处理能力的增长,能够进行高维张量计算,自然语言处理(NLP)应用在效率和准确性方面得到了显著的提高。在本文中,我们将研究各种信号处理技术,然后将其应用于使用深度递归神经网络生成语音到文本系统。
2018-08-09 cs.CL
Word Embedding Dimension Reduction via Weakly-Supervised Feature Selection
University of Southern California(南加州大学)
针对词嵌入随词汇量增长维度升高、模型规模大且资源消耗高的问题,提出弱监督特征选择方法WordFS,在多任务上以更低计算成本实现优于现有降维方法的性能,并开源代码。
2024-11-04 cs.CL
Using the DIFF Command for Natural Language Processing
Diff是一个软件程序,用于检测两个数据集之间的差异,在自然语言处理中很有用。本文给出了几个应用差异的例子。它们包括两个不同数据集之间的差异检测,重写规则的提取,两个不同数据集的合并,以及两个不同数据集的最佳匹配。由于diff随任何标准UNIX系统一起提供,因此它随时可用且非常易于使用。我们的研究表明diff是研究自然语言处理的一个实用工具。
2002-08-13 cs.CL
Multilingual acoustic word embedding models for processing zero-resource languages
Stellenbosch University(斯泰伦博斯大学);University of Edinburgh(爱丁堡大学)
声学词嵌入是可变长度语音段的固定维表示。在未标记语音是唯一可用资源的设置中,这种嵌入可以用于“零资源”语音搜索、索引和发现系统。在这里,我们建议训练一个单一的监督嵌入模型标记的数据从多个资源丰富的语言,然后将其应用到看不见的零资源语言。对于这种迁移学习方法,我们考虑了两种多语言递归神经网络模型:一种是在所有训练语言的联合词汇上训练的判别分类器,另一种是训练用于重建单词对的对应自动编码器。我们使用六个目标零资源语言的单词歧视任务来测试这些。当在七种资源丰富的语言上训练时,两种模型的表现相似,并且优于在零资源语言上训练的无监督模型。在只有一种训练语言的情况下,第二种模型工作得更好,但性能更多地取决于特定的训练-测试语言对。
2020-02-21 cs.CL eess.AS
Learning Meta-Embeddings by Using Ensembles of Embedding Sets
Center for Information and Language Processing(信息与语言处理中心);University of Munich(慕尼黑大学)
深度学习中的词嵌入(词的分布式表示)对自然语言处理(NLP)中的许多任务都有好处。然而,不同的嵌入集在所捕获的语义的质量和特征方面差异很大。本文提出了一种集成方法,而不是依赖于一个更先进的算法进行嵌入学习,结合不同的公共嵌入集的目的是学习元嵌入。词相似性和类比任务和词性标注的实验表明,元嵌入比单个嵌入集有更好的性能。元嵌入的一个优点是增加了词汇覆盖率。我们将公开发布我们的元嵌入。
2015-12-30 cs.CL
A perspective on the advancement of natural language processing tasks via topological analysis of complex networks
University of São Paulo(圣保罗大学)
对Cong和Liu的"Approaching human language with complex networks"的评论(Physics of Life Reviews,Volume 11,Issue 4,December 2014,Pages 598 - 618)。
2014-12-03 cs.CL
Analyzing the Representational Geometry of Acoustic Word Embeddings
Saarland University(萨尔大学);Saarland Informatics Campus(萨尔兰信息学园区)
声学词嵌入(AWE)是一种矢量表示,使得同一个词的不同声学样本在嵌入空间中被投影到附近。除了它们在语音技术应用中的使用,如口语术语发现和关键字定位,AWE模型已被采用作为口语字处理的模型在几个认知动机的研究,并已被证明在一些听觉处理任务中表现出类似人类的性能。然而,AWE的代表性几何形状仍然是一个未被研究的主题,尚未在文献中研究。在本文中,我们采取了更密切的分析看看从英语语音学习AWE和学习目标的选择和架构如何塑造他们的代表性的个人资料。为此,我们采用了一套分析技术,从机器学习和神经科学在三个不同的分析:嵌入空间均匀性,词的可辨别性,和代表性的一致性。我们的主要研究结果突出了突出的作用,学习目标塑造的代表性配置文件相比,模型架构。
2023-01-08 cs.CL
Representation Learning for Natural Language Processing
本书旨在回顾和介绍NLP分布式表示学习的最新进展,包括为什么表示学习可以改善NLP,表示学习如何参与NLP的各种重要主题,以及分布式表示仍然没有很好地解决哪些挑战。
2021-02-07 cs.CL
Problems and Countermeasures in Natural Language Processing Evaluation
Peking University(北京大学)
自然语言处理中的评价指导和促进了模型和方法的研究。近年来,新的评价数据集和评价任务不断提出。与此同时,考试测评暴露出的一系列问题也制约了自然语言处理技术的进步。本文从自然语言评价的概念、组成、发展和意义入手,对主流自然语言评价的任务和特点进行了分类和总结,进而总结了自然语言处理评价存在的问题及其原因。最后,本文参照人类语言能力评价标准,提出了类人机器语言能力评价的概念,并从信度、难度和效度三个方面提出了类人机器语言能力评价的一系列基本原则和实施思路。
2021-04-20 cs.CL
Theme-weighted Ranking of Keywords from Text Documents using Phrase Embeddings
University of Arkansas at Little Rock(阿肯色大学小石城分校);Infosys Ltd.(印孚瑟斯有限公司);IIIT-Delhi(德里英迪拉·甘地信息技术学院);National University of Singapore(新加坡国立大学)
关键词提取是自然语言处理中的一项基本任务,它有助于将文档映射到一组简洁的代表性单词和多词短语。文本文档中的关键词主要使用监督和非监督方法提取。在本文中,我们提出了一种无监督的技术,使用主题加权个性化PageRank算法和神经短语嵌入的组合提取和排名关键字。我们还介绍了一种有效的方法来处理文本文档和训练短语嵌入使用现有的技术。我们共享一个从现有数据集派生的评估数据集,该数据集用于选择底层嵌入模型。排名关键词提取的评估是在两个基准数据集上进行的,包括短摘要(Inspec)和长科学论文(SemEval 2010),并显示出比最先进的系统更好的结果。
2018-07-16 cs.CL
A Survey of Active Learning for Natural Language Processing
Carnegie Mellon University(卡内基梅隆大学)
本文综述了主动学习在自然语言处理中的应用。除了细粒度分类的查询策略,我们还研究了其他几个重要方面的应用AL自然语言处理问题。其中包括用于结构化预测任务的AL、注释成本、模型学习(特别是使用深度神经模型)以及启动和停止AL。最后,我们以相关主题和未来方向的讨论结束。
2023-02-03 cs.CL
"I'm sorry Dave, I'm afraid I can't do that": Linguistics, Statistics, and Natural Language Processing circa 2001
对自然语言处理历史的简要概述,重点是数据驱动的方法。主题包括“歧义和语言分析”,“Firth things first”,“A 'C' change”和“The Questicists Strike Back”。
2003-04-21 cs.CL
Resources for Turkish Natural Language Processing: A critical survey
University of Tübingen(蒂宾根大学);Ghent University(根特大学);University of Stuttgart(斯图加特大学)
本文对土耳其语语料库和词汇资源进行了全面的调查。我们审查了广泛的资源,重点是那些公开可用的。除了提供有关可用语言资源的信息外,我们还提出了一系列建议,并确定了在土耳其语言学和自然语言处理中进行研究和建立应用程序的可用数据中的差距。
2023-02-25 cs.CL
Reasoning about Procedures with Natural Language Processing: A Tutorial
University of Pennsylvania(宾夕法尼亚大学)
本教程提供了一个全面而深入的研究过程,主要是在自然语言处理。程序是一系列旨在实现某个目标的步骤。理解自然语言的过程有着悠久的历史,最近的突破是由于技术的进步。首先,我们讨论了既定的方法来收集程序,通过人工注释或从网络资源中提取。然后,我们研究了不同的角度,从哪些程序可以推理,以及如何代表他们。最后,我们列举了程序知识可以应用于现实世界的场景。
2022-05-16 cs.CL
Ad Text Classification with Transformer-Based Natural Language Processing Methods
AdresGezgini A.Ş.(AdresGezgini股份公司);Garanti BBVA Teknoloji(担保BBVA科技公司)
在这项研究中,提出了一种基于自然语言处理(NLP)的方法,用于在线广告平台上创建的广告文本的行业自动分类。我们的数据集由来自12个不同行业的约21,000个标记广告文本组成。在这项研究中,双向编码器表示从Transformers(BERT)模型,这是一个基于transformer的语言模型,最近使用的领域,如文本分类在自然语言处理文献中,被使用。使用预训练的BERT模型的土耳其语的分类效率得到详细的。
2021-06-23 cs.CL
Magnitude: A Fast, Efficient Universal Vector Embedding Utility Package
Plasticity Inc.(普拉斯特蒂克公司);University of Pennsylvania(宾夕法尼亚大学);LIMSI, CNRS(法国国家科学研究中心LIMSI实验室);Université Paris-Saclay(巴黎萨克雷大学)
矢量空间嵌入模型,如word2vec、GloVe、fastText和ELMo,是自然语言处理(NLP)应用中非常流行的表示。我们目前的幅度,一个快速,轻量级的工具,利用和处理嵌入。Magnitude是一个开源Python包,具有紧凑的矢量存储文件格式,允许有效地操作大量的嵌入。Magnitude执行常见操作的速度比Gensim快60到6,000倍。Magnitude引入了几个新特性来提高鲁棒性,如词汇表外查找。
2018-10-26 cs.AI cs.CL
How Familiar Does That Sound? Cross-Lingual Representational Similarity Analysis of Acoustic Word Embeddings
Saarland University(萨尔兰大学)
神经网络如何“感知”来自未知语言的语音?模型的训练语言(L1)和未知语言(L2)之间的类型相似性是否会对L2语音信号的模型表示产生影响?为了回答这些问题,我们提出了一个新的实验设计的基础上表征相似性分析(RSA)分析声学词嵌入(AWE)-矢量表示的可变持续时间的口语词段。首先,我们训练单语AWE模型上的七个印欧语言具有不同程度的类型相似性。然后,我们采用RSA量化的跨语言的相似性,通过模拟本地和非本地口语字处理使用AWE。我们的实验表明,在我们的研究中,类型相似性确实会影响模型的表征相似性。我们进一步讨论了我们的工作与神经网络的语音处理和语言相似性建模的影响。
2021-09-21 cs.CL