Current Trends and Approaches in Synonyms Extraction: Potential Adaptation to Arabic
Birzeit University(比尔宰特大学)
从词典或语料库中提取同义词正受到特别关注,因为同义词在提高NLP应用程序性能方面发挥着重要作用。本文综述了同义词自动提取的各种方法和发展趋势。这些方法可分为四大类。第一种方法是使用翻译图来找到同义词。第二种方法是发现新的转换对,例如(阿拉伯语-英语)(英语-法语)然后(阿拉伯语-法语)。第三种方法是通过探索同义图来构建新的WordNet,第四种方法是使用深度学习方法从语料库中找到相似的单词,例如词嵌入和最近的BERT模型。本文还提出了这些方法之间的比较分析,并强调潜在的适应自动生成同义词在阿拉伯语作为未来的工作。
2022-05-20 cs.AI cs.CL cs.IR
Japanese word sense disambiguation based on examples of synonyms
(This不是抽象的):语言是日语。如果您的打印机没有日文字体,则数字中的字符将无法正确打印出来。京都大学(长尾实验室)学士学位论文,1994年3月
1994-07-05 cmp-lg cs.CL
Semantic Word Clusters Using Signed Normalized Graph Cuts
University of Pennsylvania(宾夕法尼亚大学);Amazon(亚马逊)
词的向量空间表示捕捉词相似性的许多方面,但是这样的方法倾向于使反义词(以及同义词)彼此接近的向量空间。我们提出了一个新的有符号的谱归一化图切割算法,有符号的聚类,覆盖现有的叙词表分布派生的向量表示的话,使反义词之间的关系词对表示负权重。我们签署的聚类算法产生的集群的话,同时捕捉分布和同义词的关系。我们针对SimLex-999数据集(Hill等人,2014)的人类判断词对相似性,也显示了使用我们的集群来预测给定文本的情感的好处。
2016-01-20 cs.AI cs.CL
Words That Stick: Predicting Decision Making and Synonym Engagement Using Cognitive Biases and Computational Linguistics
State University of New York at Albany(纽约州立大学奥尔巴尼分校);Google(谷歌公司)
本研究基于认知心理学和NLP技术,提出READ模型整合四种认知偏差,预测数字平台上的用户决策与同义词参与度,发现符合特定认知特征的同义词能显著提升用户参与度,为跨领域数字内容设计提供了新视角。
2023-07-26 cs.AI cs.CL cs.HC
Calculated attributes of synonym sets
Institute of Applied Mathematical Research of the Karelian Research Centre of the Russian Academy of Sciences(俄罗斯科学院卡累利阿研究中心应用数学研究所)
本文提出的形式化的目标是尽可能地将同义词概念的理论语言学问题和通常基于经验直觉的不合理因素的计算机语言学方法结合起来。利用词向量表示方法,提出了同义词集的几何建模方法。词嵌入是基于神经网络(Skip-gram,CBOW)的,由T.米科洛夫标准余弦相似度被用作词向量之间的距离。介绍了同义集合词的几个几何特征:同义集合内部、同义集合词的秩和中心性。这些概念旨在选择最重要的同义词集单词,即意义最接近同义词集意义的单词。一些实验提出的概念,根据RusVectores资源,表示。有关这项工作的简要说明,请参见幻灯片https://goo.gl/K82Fei
2018-03-05 cs.CL cs.IR
Watset: Automatic Induction of Synsets from a Graph of Synonyms
Ural Federal University(乌拉尔联邦大学);Krasovskii Institute of Mathematics and Mechanics(克拉索夫斯基数学力学研究所);Universität Hamburg(汉堡大学)
本文提出了一种新的基于图的方法,归纳同义词集使用同义词典和词嵌入。首先,我们构建一个从常用资源(如Wiktionary)中提取的同义词的加权图。第二,运用词义归纳法处理歧义词。最后,我们将歧义输入图的消歧版本聚类成同义词集。我们的元聚类方法让我们使用一个有效的硬聚类算法来执行模糊聚类的图形。尽管它的简单性,我们的方法表现出出色的结果,优于五个竞争力的国家的最先进的方法的F-分数方面的三个金标准数据集的英语和俄语来自大规模的手动构建的词汇资源。
2017-04-24 cs.CL
Translating near-synonyms: Possibilities and preferences in the interlingua
本文认为,语际表征必须明确地将情景意义的某些部分表示为可能性(或偏好),而不是必要的或确定的意义成分(或限制)。可能使细微差别的分析和生成成为可能,这是忠实翻译所必需的。此外,词语的意义,尤其是近义词的意义的表示是至关重要的,因为它规定了词语在什么样的上下文中可以传达什么样的细微差别。
1998-11-02 cs.CL
A visual observation on the geometry of UMAP projections of the difference vectors of antonym and synonym word pair embeddings
Faculty of Information Technology, University of Jyväskylä(于韦斯屈莱大学信息科技学院);HUS Helsinki University Hospital(赫尔辛基大学医院);Digital Workforce Services(数字劳动力服务)
本文通过UMAP投影分析反义词与同义词词对嵌入差向量的几何特性,发现特定投影下出现独特的漩涡结构,探讨了Transformer模型中概念编码的几何表示方法。
2026-03-25 cs.CL cs.LG
Extrofitting: Enriching Word Representation and its Vector Space with Semantic Lexicons
AI Lab, LG Electronics(LG电子人工智能实验室)
我们提出了后处理方法,不仅丰富了词的表示,但它的向量空间使用语义词典,我们称之为外拟合。该方法包括以下3个步骤:(i)在所有词向量上扩展1个或更多个维度,填充它们的代表值。(ii)通过平均同义词的每个代表值并将其填充到扩展的维度中来传递语义知识。这两个步骤使同义词的表示紧密地结合在一起。(iii)使用线性判别分析投影向量空间,该线性判别分析消除了具有语义知识的扩展维度。当实验与GloVe,我们发现,我们的方法优于Faruqui的改造的一些单词相似性任务。我们还报告了对我们的方法在词向量维度、词汇量以及其他众所周知的预训练词向量(例如,Word2Vec,Fasttext)。
2018-06-03 cs.AI cs.CL
A Tale of Two Laws of Semantic Change: Predicting Synonym Changes with Distributional Semantic Models
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院)
本文首次构建完整评估框架,利用分布语义模型检测同义词演变中分化定律与平行变化定律何者占主导,实验表明分化定律更具优势,最佳方法平衡准确率超过0.6。
2023-05-30 cs.CL
Lexical Substitution is not Synonym Substitution: On the Importance of Producing Contextually Relevant Word Substitutes
Technical University of Munich(慕尼黑工业大学)
本文提出 ConCat 方法,通过利用原始句子增强上下文信息来改进词汇替换任务,实验表明其优于现有方法,并揭示了 CoInCo 基准的评估缺陷。
2025-02-06 cs.CL
Domain-Specific Sentiment Word Extraction by Seed Expansion and Pattern Generation
Harbin Institute of Technology(哈尔滨工业大学);The Chinese University of Hong Kong(香港中文大学)
本文主要研究情感分析的一个基本子任务--领域情感词的自动抽取。大多数以前的工作都使用手动模式来完成此任务。然而,这些方法的性能高度依赖于标记的模式或选择的种子。为了克服上述问题,本文提出了一个自动框架来检测大规模领域特定模式的DSSW提取。为此,情感种子是从大量的用户评论数据集中提取的。随后,这些情感种子使用自举机制通过同义词扩展。同时,建立同义图,并在所建立的同义图上应用图传播算法。然后,自动提取目标词和高排名的情感词之间的句法和顺序关系,构建大规模模式,进一步用于提取DSSW。在三个领域的实验结果表明,我们的方法的有效性。
2013-09-26 cs.CL
Improve Lexicon-based Word Embeddings By Word Sense Disambiguation
Keio University(庆应义塾大学)
已经有一些工作是结合语料库学习词典来提高词嵌入。然而,他们要么单独建模的词典,但更新神经网络的语料库和词典由相同的可能性,或最小化之间的距离在所有的同义词对的词典。这些方法没有考虑语料库和词典的相关性和差异性,可能不是最佳的。在本文中,我们提出了一种新的方法,考虑语料库和词典的相关性和差异。它通过学习语料库来训练词嵌入,同时在上下文下对一个词及其对应的同义词进行谓语。对于多义词,我们使用词义消歧过滤器来消除上下文中具有不同含义的同义词。为了评估所提出的方法,我们比较了我们提出的模型训练的词嵌入的性能,没有过滤器或词典的对照组,以及在词相似性任务和文本分类任务中的先前工作。实验结果表明,该模型能更好地嵌入多义词,提高文本分类性能。
2017-07-24 cs.CL
Synonym Detection Using Syntactic Dependency And Neural Embeddings
Shandong Jianzhu University(山东建筑大学)
向量空间模型的最新进展显著改善了一些NLP应用,如神经机器翻译和自然语言生成。虽然上下文中的词共现已被广泛用于基于计数/预测的分布模型,句法依赖在推导分布语义中的作用尚未得到彻底的研究。通过比较不同的向量空间模型在TOEFL同义词检测中的应用,系统地研究了句法依赖在解释分布相似性时的显著性。我们将句法依赖根据其不同的语法角色分成不同的组,然后使用上下文计数来构建相应的原始矩阵和SVD压缩矩阵。此外,使用相同的训练超参数和语料库,我们研究了评估中的典型神经嵌入。我们进一步研究了将人工编译的语义知识注入神经嵌入计算分布相似性的有效性。我们的研究结果表明,句法条件的上下文可以解释词汇语义比无条件的,而改装的神经嵌入与语义知识可以显着提高同义词检测。
2022-09-30 cs.AI cs.CL
Hubs in Languages: Scale Free Networks of Synonyms
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文用同义词网络来描述自然语言:一个词用一个节点来标识,同义词用无向链接来连接。我们对波兰语同义词网络的统计分析表明,它是无标度的;类似于英语。网络的统计特性也是相似的。因此,网络的统计方面是人类语言的文化独立元素的良好候选者。我们假设,鲁棒性和效率的优化是负责这种普遍性。尽管统计相似,但这两种语言的网络之间没有一对一的映射。尽管波兰语中的许多枢纽在英语中被翻译成类似的高度连接的枢纽,但也有一些枢纽只针对其中一种语言:一种语言中的一个单词相当于另一种语言中许多不同且不相连的单词,这与沃尔夫关于语言相对性的假设一致。识别特定语言的枢纽对于自动翻译至关重要,对于理解在天真的文学翻译中经常错过或扭曲的上下文,文化相关的信息至关重要。
2008-02-28 cs.CL physics.data-an physics.soc-ph
BERT is Robust! A Case Against Synonym-Based Adversarial Examples in Text Classification
ETH Zurich(苏黎世联邦理工学院)
深度神经网络已经席卷了自然语言处理。虽然这导致了许多任务的惊人改进,但它也开创了一个新的研究领域,通过攻击这些神经网络来质疑它们的鲁棒性。在本文中,我们研究了四个字替换为基础的攻击BERT。我们结合了对单个单词替换的人工评估和概率分析,结果表明,96%到99%的分析攻击不保留语义,这表明它们的成功主要是基于向模型提供不良数据。为了进一步证实这一点,我们引入了一个有效的数据增强过程,并表明可以通过在训练过程中包含类似于攻击的数据来防止许多对抗性示例。额外的后处理步骤将最先进攻击的成功率降低到5%以下。最后,通过寻找更合理的阈值对词替换的约束,我们得出结论,BERT是一个更强大的攻击研究表明。
2021-09-15 cs.CL
Antonym-Synonym Classification Based on New Sub-space Embeddings
UNSW(新南威尔士大学);DGUT(东莞理工学院);NUDT(国防科技大学)
区分反义词和同义词是许多专注于词汇-语义关系抽取的自然语言处理应用的关键挑战。现有的解决方案依赖于大规模的语料库,因为反义词和同义词对的巨大的上下文重叠产生低性能。我们提出了一种完全基于预训练嵌入的新方法。我们假设预训练的嵌入理解了词汇语义信息的混合,我们可以使用本文提出的Distiller模型提取特定于任务的信息。随后,基于从提取的子空间构造的特征以及一些词级特征来训练分类器,以区分反义词和同义词。实验结果表明,该模型在速度和性能上都优于已有的反义词同义词区分研究。
2019-06-13 cs.CL
Linear Ensembles of Word Embedding Models
University of Tartu(塔尔图大学)
本文探讨了线性方法结合成一个整体的几个词嵌入模型。我们使用基于普通最小二乘回归或正交Procrustes问题的解决方案的迭代法构建组合模型。我们评估爱沙尼亚语-一种形态复杂的语言,可用的语料库训练词嵌入是相对较小的建议的方法。我们比较两个组合模型彼此之间,并与输入词嵌入模型使用同义词和类比测试。实验结果表明,普通最小二乘回归方法在实验中表现不佳,而正交Procrustes方法将多个词嵌入模型组合成一个集成模型,在同义词测试中比初始模型的平均结果相对提高了7-10%,在类比测试中比初始模型的平均结果相对提高了19-47%。
2017-04-05 cs.CL
WSD algorithm based on a new method of vector-word contexts proximity calculation via epsilon-filtration
本文研究了词义消歧问题。给出一组同义词(synsets)和包含这些同义词的句子。有必要自动选择句子中单词的含义。1285个句子被专家标记,即专家为目标词选择一个词典含义。为了解决WSD问题,提出了一种基于向量词上下文邻近度计算的新方法。为了实现更高的准确性,在句子和同义词集合中执行单词的初步ε过滤。进行了广泛的实验计划。实现了四种算法,包括一种新的算法。实验结果表明,该算法在很多情况下都能取得较好的效果。开发的软件和标记的语料库有一个开放的许可证,并在网上提供。Wiktionary和Wikisdictionary被使用。有关这项工作的简要说明,请参阅幻灯片(https://goo.gl/9ak6Gt)。关于这项研究的俄语视频讲座可在网上查阅(https://youtu.be/-DLmRkepf58)。
2018-06-18 cs.CL cs.IR
Certified Robustness to Text Adversarial Attacks by Randomized [MASK]
Fudan University(复旦大学)
最近,一些认证的防御方法已经开发出可证明地保证了文本分类器的鲁棒性对抗性同义词替换。然而,所有现有的认证防御方法都假设防御者被告知对手如何生成同义词,这是不现实的情况。在本文中,我们提出了一种可证明的鲁棒防御方法,通过随机屏蔽输入文本中的一定比例的单词,其中上述不切实际的假设不再是必要的。该方法不仅可以抵御基于单词替换的攻击,而且可以抵御字符级扰动。我们可以证明超过50%的文本分类对AGNEWS上的5个词和SST 2数据集上的2个词的任何扰动都是鲁棒的。实验结果表明,我们的随机平滑方法显着优于最近提出的防御方法在多个数据集。
2021-07-25 cs.CL
Bhav-Net: Knowledge Transfer for Cross-Lingual Antonym vs Synonym Distinction via Dual-Space Graph Transformers
Department of Computer Science and Engineering(计算机科学与工程系);Indian Institute of Technology Delhi(印度理工学院德里)
Bhav-Net提出双空间图变换器架构,利用语言特定BERT编码器与图网络结合,实现跨八种语言的反义词与同义词区分,兼顾性能与可解释性。
2025-10-25 cs.CL
Unsupervised Classification of English Words Based on Phonological Information: Discovery of Germanic and Latinate Clusters
Chubu University(中部大学);Nagoya University(名古屋大学);McGill University(麦吉尔大学);Mila(米拉);Mila — Quebec AI Institute(米拉——魁北克人工智能研究所)
本研究通过无监督聚类发现英语词源结构,表明语音学信息可帮助学习词源区分。
2026-02-06 cs.CL
Robust Textual Embedding against Word-level Adversarial Attacks
Huazhong University of Science and Technology(华中科技大学)
我们属性的脆弱性自然语言处理模型的事实,类似的输入被转换为不同的表示在嵌入空间中,导致不一致的输出,我们提出了一种新的强大的训练方法,称为快速三重度量学习(FTML)。具体来说,我们认为原始样本应该与其对抗性对应物具有相似的表示,并将其表示与其他样本区分开来,以获得更好的鲁棒性。为此,我们在标准训练中采用三重度量学习,以将单词拉近其正样本(即,同义词)并推开它们的阴性样本(即,非同义词)在嵌入空间中。大量的实验表明,FTML可以显著提高模型对各种高级对抗攻击的鲁棒性,同时保持对原始样本有竞争力的分类精度。此外,我们的方法是有效的,因为它只需要调整嵌入,并在标准训练上引入很少的开销。我们的工作显示了通过鲁棒的词嵌入来提高文本鲁棒性的巨大潜力。
2022-07-27 cs.CL
Detecting Textual Adversarial Examples through Randomized Substitution and Vote
Huazhong University of Science and Technology(华中科技大学)
一系列工作表明,自然的文本处理模型容易受到对抗性示例的影响。相应地,提出了各种防御方法,以减轻威胁的文本对抗性的例子,例如,对抗性训练,输入变换,检测等。在这项工作中,我们对待的优化过程同义词替换为基础的文本对抗攻击作为一个特定的序列的字替换,其中每个字相互影响其他的话。我们发现,我们可以破坏这种相互作用,消除敌对扰动随机替换一个词与它的同义词。基于这一观察,我们提出了一种新的文本对抗性示例检测方法,称为随机替换和投票(RS&V),它通过累积k个样本的logits来投票预测标签,这些样本是通过用同义词随机替换输入文本中的单词而生成的。所提出的RS&V通常适用于任何现有的神经网络,而无需修改架构或额外的训练,并且它与使分类网络本身更鲁棒的先前工作正交。在三个基准数据集上的实证评估表明,我们的RS&V可以比现有的检测方法更成功地检测文本对抗性示例,同时保持良性样本的高分类准确率。
2022-07-20 cs.CL cs.LG
Using Context-to-Vector with Graph Retrofitting to Improve Word Embeddings
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院)
尽管从大规模预训练模型生成的上下文化嵌入在许多任务中表现良好,但传统的静态嵌入(例如,Skip-gram,Word 2 Vec)由于其低计算成本,易于部署和稳定性,仍然在低资源和轻量级设置中发挥重要作用。在本文中,我们的目标是通过以下方式改进词嵌入:1)将来自现有预训练模型的更多上下文信息纳入Skip-gram框架,我们称之为Context-to-Vec; 2)通过采用先验同义词知识和加权向量分布,提出一种独立于训练的静态嵌入后处理改进方法。通过外在和内在的任务,我们的方法被很好地证明了优于基线的大幅度。
2023-03-23 cs.AI cs.CL
Text-CRS: A Generalized Certified Robustness Framework against Textual Adversarial Attacks
Zhejiang University(浙江大学);University of Connecticut(康涅狄格大学);Illinois Institute of Technology(伊利诺伊理工学院)
本文提出Text-CRS框架,基于随机平滑为NLP模型提供针对同义词替换、单词重排、插入和删除四种词级对抗攻击的可证明鲁棒性认证,并在多个模型和数据集上取得优于现有方法的认证准确率与半径。
2024-06-11 cs.CL cs.CR cs.LG
Effect of Text Color on Word Embeddings
Kyushu University(九州大学)
在自然场景和文档中,我们可以找到文本与其颜色之间的相关性。例如,“热”这个词通常用红色印刷,而“冷”通常用蓝色印刷。这种相关性可以被认为是表示单词之间语义差异的特征。基于这一观察,我们提出了将文本颜色用于词嵌入的想法。虽然纯文本的词嵌入(例如word2vec)非常成功,但它们通常表示反义词相似,因为它们通常在句子中可以互换。在本文中,我们尝试了两个任务,以验证文本颜色在理解单词的含义,特别是在识别同义词和反义词的有用性。首先,我们量化了书籍封面图像中单词的颜色分布,并分析了颜色与单词含义之间的相关性。其次,我们尝试以词的颜色分布作为约束来重新训练词嵌入。通过观察重新训练前后同义词和反义词的词嵌入的变化,我们的目标是了解在加入文本颜色信息时,哪些词的词嵌入会产生积极或消极的影响。
2020-04-18 cs.CL cs.CV cs.LG
Expansional Retrofitting for Word Vector Enrichment
LG Electronics(LG电子)
改造技术,注入外部资源到词表示,弥补了分布式表示的弱点,在语义和词之间的关系知识。在词向量泛化的词相似性任务中,通过扩展技术实现的词向量改进优于词向量改进。在本文中,我们提出了无监督的outrofitting:扩展改装(outrofitting)没有外部语义词典。我们还提出了深度外装:外装的深度堆叠以及外装与改造的进一步组合。当实验GloVe,我们表明,我们的方法优于以前的方法在大多数单词相似性任务,而只需要同义词作为外部资源。最后,我们展示了词向量丰富对文本分类任务的影响,作为下游任务。
2019-01-22 cs.CL
Stress Test Evaluation of Biomedical Word Embeddings
Pontificia Universidad Católica de Chile(智利天主教大学);Millennium Institute for Foundational Research on Data (IMFD)(千禧基础数据研究所);Elsevier(爱思唯尔)
预训练的词嵌入的成功激发了它们在生物医学领域的使用,上下文嵌入在几个生物医学NLP任务中产生了显着的结果。然而,缺乏量化他们在严重“压力”情景下的行为的研究。在这项工作中,我们系统地评估了三个语言模型与对抗性的例子-自动构建的测试,使我们能够检查模型的鲁棒性。我们提出了两种类型的压力场景集中在生物医学命名实体识别(NER)的任务,一个灵感来自拼写错误,另一个基于使用同义词的医学术语。我们的实验与三个基准测试表明,原始模型的性能大大降低,除了揭示他们的弱点和优势。最后,我们证明了对抗性训练可以提高模型的鲁棒性,甚至在某些情况下超过原始性能。
2021-07-24 cs.AI cs.CL
Random vector generation of a semantic space
我们展示了如何随机向量和随机投影可以在通常的向量空间模型中实现,从法语同义词词典构建一个欧几里德语义空间。我们从理论上评估所产生的噪声,并显示实验分布的相似性的条款在附近根据参数的选择。我们还表明,施密特正交化过程是适用的,可以用来分离具有不同语义的同音异义词。相邻的条款很容易安排成语义上的显着集群,这是非常适合于现实的同义词列表的生成和自动文本生成的单词选择等应用程序。这一过程适用于任何语言,可以很容易地扩展到搭配,速度极快,并且每当提出新的同义词时,可以实时的更新。
2017-03-05 cs.CL
Sparse Overcomplete Word Vector Representations
Carnegie Mellon University(卡内基梅隆大学)
当前单词的分布式表示与词汇语义理论几乎没有相似之处。前者是密集和不可解释的,后者主要基于熟悉的离散类(例如,超意义)和关系(例如,同义词和上位词)。我们提出了将词向量转换为稀疏(可选二进制)向量的方法。结果表示更类似于NLP中通常使用的可解释特征,尽管它们是从原始语料库中自动发现的。因为向量是高度稀疏的,所以它们在计算上很容易处理。最重要的是,我们发现它们在基准任务上的表现优于原始向量。
2015-06-05 cs.CL
Enhanced Word Representations for Bridging Anaphora Resolution
IBM Research Ireland(IBM爱尔兰研究公司(IBM Research Ireland))
大多数当前的单词表示模型(例如,GloVe)已经成功地捕获了细粒度的语义。然而,这些词嵌入中表现出的语义相似性不适合于解析桥接回指,这需要关联相似性的知识(即,相关性)而不是同义词或上位词之间的语义相似性信息。我们创建了词嵌入(embeddings_PP),通过探索名词短语的句法结构来捕捉这种相关性。我们证明,单独使用embeddings_PP实现了约30%的准确度,用于在ISNotes语料库上桥接回指解析。此外,我们实现了超过现有技术系统的实质性增益(Hou等人,2013年),用于桥接先行选择。
2018-04-13 cs.CL
Are you tough enough? Framework for Robustness Validation of Machine Comprehension Systems
Warsaw University of Technology(华沙理工大学);Tooploox(Tooploox公司)
深度学习NLP领域缺乏分析模型鲁棒性的程序。在本文中,我们提出了一个框架,通过模型解释器验证任何问答模型的鲁棒性。我们建议,一个强大的模型应该超越最初的概念,语义相似性诱导的词嵌入学习更像人类的理解的意义。我们通过两种方式操作问题来测试此属性:将重要的问题词交换为1)其语义正确的同义词和2)在嵌入空间中接近的词向量。我们使用局部可解释模型不可知解释方法(LIME)来估计提问中单词的重要性。通过这两个步骤,我们比较了最先进的Q&A模型。我们表明,虽然国家的最先进的模型的准确性是高的,他们是非常脆弱的输入的变化。此外,我们还提出了两种对抗性训练场景,将模型对真实同义词的敏感度提高了7%。我们的研究结果有助于了解哪些模型更稳定以及如何改进它们。此外,我们还创建并发布了一个新的数据集,可用于验证Q&A模型的鲁棒性。
2018-12-05 cs.CL
Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings
Westlake University(西湖大学)
语言模型中的语境化词嵌入给自然语言处理带来了很大的进步。直观的,潜在的信息被集成到词的表示中,这可以帮助建模多义。然而,上下文敏感性也会导致表征的变化,这可能会破坏同义词的语义一致性。我们量化了在典型的预训练模型中,每个词义的上下文嵌入在上下文中的变化程度。结果表明,语境化的嵌入可以高度一致的上下文。此外,词性、词义数量和句子长度对意义表征的方差也有影响。有趣的是,我们发现单词表征是有位置偏见的,不同语境中的第一个单词往往更相似。我们分析了这种现象,并提出了一种简单的方法来减轻这种偏见,在基于距离的词义消歧设置。
2022-08-20 cs.CL
Using Paraphrases to Study Properties of Contextual Embeddings
University of Michigan(密歇根大学)
我们使用释义作为一个独特的数据源来分析上下文嵌入,特别关注BERT。由于释义自然地编码一致的单词和短语语义,它们为研究嵌入的属性提供了独特的镜头。使用释义数据库的路线,我们研究的释义以及短语表示的话。我们发现,上下文嵌入有效地处理多义词,但在许多情况下,给同义词令人惊讶的不同表示。我们证实了以前的研究结果,BERT是敏感的词序,但发现略有不同的模式比以前的工作在跨BERT的层的语境化的水平。
2022-07-12 cs.CL
Solving Verbal Comprehension Questions in IQ Test by Knowledge-Powered Word Embedding
The University of Virginia(弗吉尼亚大学);University of Science and Technology of China(中国科学技术大学);Microsoft Research(微软研究院);Yidian Inc(一点公司)
智商测试是一套标准化的问题,旨在评估人类的智力。言语理解题是智商测试中经常出现的一种题型,它主要测试人的言语能力,包括对多义词、同义词和反义词的理解,以及词与词之间的类比。在这项工作中,我们探索此类测试是否可以通过人工智能技术自动解决,特别是最近开发并成功应用于多个领域的深度学习技术。然而,我们发现这项任务相当具有挑战性,并且简单地应用现有技术(例如,词嵌入)不能取得很好的效果,这主要是由于词的多义性和词之间的复杂关系。为了应对这些挑战,我们提出了一个新的框架,包括三个组成部分。首先,我们建立一个分类器来识别口头问题的特定类型(例如,类比、分类、同义词或反义词)。其次,我们获得分布式表示的单词和关系,利用一种新的词嵌入方法,考虑到多意义的单词和字典中包含的单词(或其意义)之间的关系知识。第三,对于每种类型的问题,我们提出了一个具体的解决方案的基础上获得的分布式单词表示和关系表示。实验结果表明,所提出的框架不仅可以优于现有的方法来解决口头理解问题,但也超过了亚马逊机械土耳其工人参与研究的平均表现。结果表明,适当使用深度学习技术,我们可能会更接近人类的智能。
2016-04-26 cs.CL cs.IR cs.LG
Introduction of a novel word embedding approach based on technology labels extracted from patent data
EQMania UG
本文提出一种基于人工标注专利技术标签统计分析的词嵌入方法,生成语言无关的准确技术词向量,并展示初步定性结果。
2021-01-31 cs.CL
Detecting Cross-Lingual Plagiarism Using Simulated Word Embeddings
University of Sunderland(桑德兰大学)
跨语言剽窃(CLP)是指用一种语言编写的文本被翻译成另一种语言,并在不承认原始来源的情况下使用。用于检测CLP的最常见方法之一需要在线机器翻译器(例如Google或Microsoft翻译),但这些翻译器并不总是可用的,并且鉴于剽窃检测通常涉及大型文档比较,所需的翻译量将压倒在线机器翻译器,特别是在检测网络上的剽窃时。此外,当翻译的文本被替换为同义词时,使用在线机器翻译器来检测CLP将导致较差的性能。针对跨语言剽窃检测(CLPD)问题,提出了一种利用模拟词嵌入重现在线机器翻译器(Google translate)在检测CLP时的预测的模型。模拟嵌入包括映射在公共空间中的不同语言的翻译单词,并复制以增加从模型中检索单词(及其同义词)的翻译的预测概率。与大多数现有的模型,该模型不需要并行语料库,并容纳多种语言(多语种)。我们证明了所提出的模型在包含CLP案例的标准数据集中检测CLP的有效性,并根据依赖于在线机器翻译器(T + MA模型)的最新基线评估了其性能。评估结果表明,该模型不仅是有效的检测CLP,它优于基线。结果表明,CLP可以通过利用具有词嵌入的互联网翻译器的预测准确性来检测,而不依赖于互联网翻译器。
2018-01-03 cs.CL cs.IR
Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings
RPI(伦斯勒理工学院)
关键词提取是在文本文档中找到几个有趣的短语的任务,这些短语提供了文档中的主要主题列表。现有的基于图的模型大多使用共现链接作为衔接指标来模拟句法元素之间的关系。但是,一个词在文档中可能有不同的表达形式,也可能有几个同义词。仅仅使用共现信息无法捕获这些信息。在本文中,我们利用词嵌入作为背景知识来增强基于图的排序模型,以向词间图添加语义信息。我们的方法进行了评估,建立基准数据集和实证结果表明,词嵌入邻域信息提高了模型的性能。
2021-11-13 cs.CL cs.IR cs.LG
Counter-fitting Word Vectors to Linguistic Constraints
University of Cambridge(剑桥大学);Apple Inc.(苹果公司)
在这项工作中,我们提出了一种新的反拟合方法,注入反义和同义词的限制,以提高向量的能力,判断语义相似性的向量空间表示。将这种方法应用于公开的预训练词向量,可以在SimLex-999数据集上实现最新的性能。我们还展示了如何使用该方法来定制对话状态跟踪的下游任务的词向量空间,从而在不同的对话域中实现鲁棒的改进。
2016-03-02 cs.CL cs.LG
Can Network Embedding of Distributional Thesaurus be Combined with Word Vectors for Better Representation?
IIT Kharagpur, India(印度理工学院卡格拉普尔分校(IIT Kharagpur))
近年来,从文本中学习的单词的分布式表示已被证明在各种自然语言处理任务中是成功的。虽然一些方法将单词表示为使用预测模型(Word2vec)或基于密集计数的模型(GloVe)从文本计算的向量,但其他方法试图在分布式词库网络结构中表示这些,其中单词的邻域是具有足够上下文重叠的单词集合。受最近网络嵌入技术(DeepWalk、LINE、node2vec等)研究激增的推动,我们把一个分布式词库网络转换成密集的词向量,并研究分布式词库嵌入在提高整体词表示方面的有用性。这是我们第一次尝试将分布式词库嵌入所获得的单词表示与最先进的单词表示相结合,有助于在针对单词相似性和相关性,同义词检测,类比检测等NLP任务进行评估时显着提高性能。此外,我们表明,即使不使用任何手工制作的词汇资源,我们可以拿出表示具有可比的性能在单词相似性和相关性的任务相比,表示的词汇资源已被使用。
2018-02-17 cs.CL
WOVe: Incorporating Word Order in GloVe Word Embeddings
University of Arkansas(阿肯色大学)
词向量表示为从非结构化文本中提取有用信息提供了新的机会。将单词定义为矢量使得机器学习算法很容易理解文本并从中提取信息。词向量表示已被用于许多应用中,诸如词同义词、词类比、句法分析等。GloVe是一种基于词上下文和矩阵向量化的有效的向量学习算法。它改进了以往的矢量学习算法。然而,GloVe模型未能明确考虑单词在其上下文中出现的顺序。本文提出了多种在GloVe词嵌入中加入词序的方法。实验结果表明,在自然语言的类比完成和词相似度测试中,我们的WOVe词嵌入方法的性能优于未修改的GloVe.在单词相似性任务上,具有直接连接的WOVe略微优于GloVe,平均排名提高了2%。然而,它大大提高了GloVe基线上的单词类比任务,实现了平均36.34%的准确性提高。
2021-05-18 cs.CL cs.LG
Affect Enriched Word Embeddings for News Information Retrieval
Adobe(奥多比)
词的分布式表示已被证明是有用的,以提高效率的IR系统在许多子任务,如查询扩展,检索和排名。像word 2 vec、GloVe等算法也是不同NLP任务中许多改进的关键因素。这种嵌入模型的一个常见问题是,像快乐和悲伤这样的词出现在类似的上下文中,因此在嵌入空间中被错误地聚集在一起。在本文中,我们利用Aff 2 Vec,一组词嵌入模型,其中包括影响信息,以更好地捕捉新闻文本中的影响方面,以实现更好的结果在信息检索任务,也这样的嵌入是由同义词/反义词的问题较少击中。我们评估其有效性的两个IR相关的任务(查询扩展和排名)在纽约时报数据集(TREC-core '17)比较他们对其他词嵌入为基础的模型和经典的排名模型。
2019-09-04 cs.CL cs.IR
Fuzzy paraphrases in learning word representations with a lexicon
一个多义词的同义词通常只是许多意义中的一个意义的释义。当使用词典来改进向量空间词表示时,这样的释义是不可靠的,并且给向量空间带来噪声。现有的工作使用一个系数来调整整体学习的词汇。他们平等地看待释义。在本文中,我们提出了一种新的方法,考虑到释义的差异,以减轻一词多义的不利影响。我们对每个释义都作了一定程度的可靠性注释。当我们的模型学习单词表示时,根据程度随机消除释义。通过这种方式,我们的方法丢弃了不可靠的释义,同时保留了更可靠的释义。实验结果表明,该方法提高了词向量。我们的方法是试图解决一词多义的问题保持一个向量。这使得该方法比传统的估计一个单词的多个向量的方法更容易使用。我们的方法也优于以前的工作在实验中。
2017-09-08 cs.CL
MUSE: Modularizing Unsupervised Sense Embeddings
National Taiwan University(台湾大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出了一种无监督的方式来解决词义歧义问题,其中词义表示是沿着给定上下文的词义选择机制来学习的。以前的工作集中在设计一个单一的模型来提供这两种机制,因此遭受粗粒度的表示学习或低效的意义选择。建议的模块化方法,MUSE,实现灵活的模块,以优化不同的机制,实现第一个纯意义级的表示学习系统与线性时间的意义选择。我们利用强化学习来实现对所提出的模块的联合训练,并在意义选择上引入各种探索技术以提高鲁棒性。在基准数据上的实验表明,该方法在同义词选择和上下文词相似度方面达到了MaxSimC的最佳性能。
2018-06-30 cs.CL
Improving Cross-Lingual Word Embeddings by Meeting in the Middle
Universidade de Vigo(维戈大学);Cardiff University(卡迪夫大学)
跨语言词嵌入在多语言NLP中变得越来越重要。最近,已经表明,这些嵌入可以通过线性变换对齐两个不相交的单语向量空间来有效地学习,使用不超过一个小的双语词典作为监督。在这项工作中,我们建议在初始对齐步骤之后应用额外的转换,该转换将跨语言同义词移向它们之间的中间点。通过应用这种转换,我们的目标是获得更好的向量空间的跨语言整合。此外,也许令人惊讶的是,单语空间也通过这种转换得到改善。这与原始对齐形成对比,原始对齐通常被学习为使得单语空间的结构被保留。我们的实验证实,由此产生的跨语言嵌入优于国家的最先进的模型在单语和跨语言的评估任务。
2018-08-27 cs.CL
Closed Form Word Embedding Alignment
School of Computing(计算学院)
我们开发了一系列技术来对齐来自不同源数据集或使用不同机制(例如,GloVe或word2vec)。我们的方法很简单,并且有一个封闭的形式来优化旋转,平移和缩放,以最大限度地减少均方根误差或最大限度地提高相同词汇的两个嵌入到同一维空间之间的平均余弦相似性。我们的方法扩展了称为绝对方向的方法,这种方法在三维中对齐对象时很流行,并推广了Smith等人的方法(ICLR 2017)。我们证明了新的最佳缩放和最大限度地提高余弦相似性的结果。然后,我们演示了如何评估来自不同来源或机制的嵌入的相似性,以及在嵌入中保留某些属性(如同义词和类比),并且可以通过简单地对齐和平均嵌入集合来增强。
2020-11-17 cs.CL stat.ML
Block-Segmentation Vectors for Arousal Prediction using Semi-supervised Learning
The University of Electro-Communications(电气通信大学)
为了处理计算机应用中的情感表达,Russell的circumplex模型对于根据效价和唤醒来表示情感是有用的。在SentiWordNet中,使用半监督学习将效价级别自动分配给大量同义词集(WordNet中的同义词组)。然而,在分配唤醒水平时,为SentiWordNet提出的现有方法降低了情感预测的准确性。在本文中,我们提出了一个块分割向量预测唤醒水平的许多同义词从少量的标记的话,使用半监督学习。我们通过对比唤醒词和非唤醒词在句子语料库中的分布和配价词的分布来分析唤醒词和非唤醒词在句子语料库中的分布。我们解决的问题,唤醒水平预测失败时,唤醒和非唤醒词混合在一起的一些句子。为了捕捉这些唤醒和非唤醒词的特征,我们根据块ID的倒排索引生成词向量,其中语料库在句子流中被划分为块。在评估实验中,我们表明,唤醒预测与块分割向量的结果优于以前的方法在SentiWordNet的结果。
2022-04-11 cs.CL
Towards Automatic Construction of Filipino WordNet: Word Sense Induction and Synset Induction Using Sentence Embeddings
De La Salle University(德拉萨大学);Samsung R&D Institute Philippines(三星菲律宾研发院)
本研究提出一种仅依赖未标注语料库和句子嵌入语言模型进行词义与同义词集归纳的方法,并应用于 Filipino 文本,实证表明30%归纳词义有效、40%归纳同义词集有效(含20%新颖集),助力低资源语言 wordnet 自动构建。
2023-10-19 cs.CL
The Expressive Power of Word Embeddings
我们试图更好地理解几个公开发布的嵌入的质量差异。我们提出了几个任务,有助于区分不同的嵌入的特点。我们对情感极性和同义词/反义词关系的评估表明,即使在没有句子结构的情况下,嵌入也能够捕捉到令人惊讶的细微差别的语义。此外,基准测试的嵌入显示了很大的差异,在质量和测试嵌入捕获的语义特性。最后,我们展示了不同维数和每个维度的分辨率对嵌入空间捕获的有效有用特征的影响。我们的贡献突出了嵌入对于NLP任务的重要性以及它们的质量对最终结果的影响。
2013-05-29 cs.CL cs.LG stat.ML
Sparse Structure Learning via Graph Neural Networks for Inductive Document Classification
Seoul National University(首尔大学);AIGENDRUG Co., Ltd.(AIGENDRUG有限公司)
近年来,图神经网络(GNNs)已被广泛用于文档分类。然而,大多数现有的方法都是基于静态的词共现图,没有词级信息,这带来了三个挑战:(1)词的歧义,(2)词的同义词,和(3)动态上下文依赖。为了解决这些挑战,我们提出了一种新的基于GNN的稀疏结构学习模型的归纳文档分类。具体地说,文档级图最初由文档级词共现图的不相交并集生成。我们的模型收集了一组可训练的边缘连接句子之间的不相交的单词,并采用结构学习稀疏地选择动态上下文依赖关系的边缘。具有稀疏结构的图可以通过GNN联合利用文档中的局部和全局上下文信息。对于归纳学习,细化后的文档图被进一步馈送到通用读出函数中,用于以端到端的方式进行图级分类和优化。在几个真实数据集上的大量实验表明,该模型的性能优于大多数最先进的结果,并揭示了为每个文档学习稀疏结构的必要性。
2022-03-21 cs.CL
Embodying Pre-Trained Word Embeddings Through Robot Actions
Waseda University(早稻田大学);Fujitsu Laboratories LTD.(富士通研究所);National Institute of Advanced Industrial Science and Technology(产业技术综合研究所)
我们提出了一个有前途的神经网络模型,获得接地表示机器人的行动和语言描述。正确响应各种语言表达,包括多义词,是机器人通过语言对话与人交互的重要能力。先前的研究表明,机器人可以通过使用预先训练的词嵌入来使用未包含在动作描述配对数据集中的词。然而,在分布假设下训练的词嵌入是不接地的,因为它们纯粹来自文本语料库。在这封信中,我们通过使用机器人的感觉运动经验将预先训练的词嵌入转换为具体化的词嵌入。我们扩展了一个双向翻译模型的行动和描述,将非线性层改造的词嵌入。通过交替训练改进层和双向翻译模型,我们提出的模型能够转换预训练的词嵌入以适应成对的动作描述数据集。我们的研究结果表明,嵌入的同义词形成一个语义集群,反映了经验(行动和环境)的机器人。这些嵌入允许机器人从未与数据集中的动作配对的未见过的单词中正确地生成动作。
2021-04-17 cs.AI cs.CL cs.LG
Chinese Lexical Simplification
Hefei University of Technology(合肥工业大学);Mininglamp Academy of Sciences(明略科学院)
词汇简化在许多语言中都引起了广泛的关注,它是将句子中复杂的词替换为意义相同的简单词的过程。尽管汉语词汇的丰富性使得儿童和非母语人士阅读汉语文本非常困难,但目前还没有关于汉语词汇简化的研究。为了克服获取注释的困难,我们手动创建了CLS的第一个基准数据集,它可以用于自动评估词汇简化系统。为了获得更全面的比较,我们提出了五种不同类型的方法作为基准,以产生替代候选的复杂的词,包括基于句法的方法,基于词嵌入的方法,基于预训练的语言模型的方法,基于义素的方法,和混合方法。最后,我们设计了这些基线的实验评估,并讨论了它们的优点和缺点。据我们所知,这是CLS任务的第一次研究。
2020-10-14 cs.CL
Dictionary-Guided Editing Networks for Paraphrase Generation
Microsoft Research(微软研究院);Beihang University(北京航空航天大学)
一个人写释义句子的直观方法是用相应的同义词替换原句子中的单词或短语,并进行必要的修改,以确保新句子流畅且语法正确。我们提出了一种新的方法来建模的过程与字典引导的编辑网络,有效地进行重写的源句子生成释义句子。它共同学习选择合适的单词级和短语级释义对的上下文中的原始句子从现成的字典,以及流畅的自然语言句子的生成。具体地说,该系统检索一组词级和短语级araphrased对派生的释义数据库(PPDB)的原始句子,这是用来指导的决定,哪些词可能会被删除或插入与软注意力机制下的序列到序列的框架。我们进行实验的两个基准数据集的释义生成,即MSCOCO和Quora数据集。评估结果表明,我们的字典引导的编辑网络优于基线方法。
2018-06-21 cs.CL