Accounting for Agreement Phenomena in Sentence Comprehension with Transformer Language Models: Effects of Similarity-based Interference on Surprisal and Attention
University of Michigan(密歇根大学)
我们提出了一种新的解释,基于相似性的干扰效应在主谓和反身代词一致性处理,接地在从预训练的大规模Transformer模型,GPT-2计算的crossal值。具体而言,我们表明,动词或反身代词的替代预测促进干扰效果在不合语法的句子,在那里一个干扰名词,在数量上与动词或代词匹配导致更快的阅读时间,尽管干扰不参与协议关系。我们回顾了人类的经验证据,包括最近的荟萃分析和大规模的研究。我们还表明,注意模式(索引熵和其他措施)在Transformer显示模式的分散注意力在存在类似的干扰,符合基于线索的检索模型的解析。但与这些模型相反,注意力线索和记忆表征完全是从预测下一个单词的简单自我监督任务中学习的。
2021-04-26 cs.CL
Corpus-Based Word Sense Disambiguation
词汇歧义的解决,通常被称为“词义消歧”,有望提高对词汇语义敏感的任务的分析准确性。这些任务包括机器翻译、信息检索、解析、自然语言理解和词典编纂。随着机器阅读文本使用率的提高,基于语料库的词义消歧技术得到了广泛的研究。在一个基于语料库的框架内,即基于相似性的方法,系统使用数据库,其中例句用正确的词义手动注释。给定一个输入,系统在数据库中搜索与输入最相似的示例。通过选择检索到的示例的意义注释来解决输入中包含的单词的词汇歧义。在本研究中,我们采用这种方法的解决方案的动词一词多义,其中两个例子之间的相似度计算为加权平均值的相似度之间的补语管辖的一个目标多义动词。本文主要从以下三个方面探讨了基于相似性的动词词义消歧方法。首先,我们提出了一个加权模式的每个动词补语的相似度计算。第二,在基于相似性的技术中,人工监督和搜索大型数据库的开销可能是令人望而却步的。为了解决这个问题,我们提出了一种方法来选择少量的有效的例子,供系统使用。最后,我们的系统的效率是高度依赖于所使用的相似性计算。为了最大限度地提高效率,我们提出了一种方法,它集成了以前的相似性计算方法的优点。
1998-04-29 cmp-lg cs.CL
Picking BERT's Brain: Probing for Linguistic Dependencies in Contextualized Embeddings Using Representational Similarity Analysis
Johns Hopkins University(约翰斯·霍普金斯大学)
顾名思义,语言的语境化表征通常是由它们编码语境的能力所激发的。这些表征捕捉了上下文的哪些方面?我们介绍了一种方法来解决这个问题,使用代表性相似性分析(RSA)。作为案例研究,我们调查在何种程度上动词嵌入编码动词的主语,代词嵌入编码代词的先行词,和一个完整的句子表示编码句子的头词(由依赖分析确定)。在所有情况下,我们表明,BERT的语境化嵌入反映了正在研究的语言依赖性,并且BERT编码这些依赖性在更大程度上比它编码更少的语言突出的控制。这些结果表明,我们的方法之间的假设,哪些方面的情况下编码的语言表示进行裁决的能力。
2020-11-24 cs.CL
Using Syntactic Features for Phishing Detection
Purdue University(普渡大学)
本文比较了钓鱼邮件和合法邮件中动词的主语和宾语的用法。本研究旨在探讨动词的句法结构和主语、宾语是否可以作为网络钓鱼检测的特征。为了达到这一目的,我们进行了两个系列的实验:句子的句法相似性和动词的主语和宾语比较。实验结果表明,这两种特征都可以用于某些动词,但对其他动词还需要做更多的工作。
2015-05-29 cs.CL
Identifying and interpreting non-aligned human conceptual representations using language modeling
Center for Mind/Brain Sciences (CIMeC)(心智/脑科学中心(CIMeC));University of Trento(特伦托大学)
本研究提出有监督表征对齐方法,通过对GloVe模型特征剪枝与线性探测分析,发现先天性失明会引发多语义领域的概念重组与语义偏移,为研究词语意义的个体差异提供了正式方法。
2024-03-10 cs.CL
A Rank-Based Similarity Metric for Word Embeddings
University of California Santa Barbara(加州大学圣巴巴拉分校);Aix-Marseille University(艾克斯-马赛大学);Singapore University of Technology and Design(新加坡科技设计大学)
词嵌入最近已经成为NLP中表示词义的标准。词对之间的语义相似度已经成为这些表示的最常见的评估基准,向量余弦通常被用作唯一的相似度度量。在本文中,我们报告的实验与排名为基础的度量的WE,它执行的相似性估计和超越它在最近推出的离群点检测和具有挑战性的任务,从而表明,基于排名的措施可以提高聚类质量的向量余弦。
2018-05-04 cs.CL
Grounding and Distinguishing Conceptual Vocabulary Through Similarity Learning in Embodied Simulations
Colorado State University(科罗拉多州立大学)
提出一种利用具身仿真中智能体经验,通过相似性学习和仿射变换将上下文化词向量对齐到对象表示的方法,揭示了不同Transformer模型嵌入空间属性并验证了对齐对象token向量比对齐动词和属性更有帮助。
2023-05-23 cs.CL cs.LG
Representing Sentences as Low-Rank Subspaces
University of Illinois at Urbana Champaign(伊利诺伊大学香槟分校)
句子是自然语言的重要语义单位。一个通用的,分布式表示的句子,可以捕捉潜在的语义是有益的多个下游应用程序。我们观察到一个简单的句子几何--给定句子的单词表示(在所有SemEval数据集中平均10.23个单词,标准差为4.84)大致位于低秩子空间(大致为4)。基于这种观察,我们用词向量所构成的低秩子空间来表示句子。这种无监督的表示通过19个不同数据集上的语义文本相似性任务进行了经验验证,平均比复杂的神经网络模型(包括跳过思维向量)高出15%。
2017-04-18 cs.CL
Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity
Japan Advanced Institute of Science and Technology (JAIST)(日本先进科学技术学院(JAIST));Toshiba Research & Development Center, Japan(日本东芝研发中心)
不同的词嵌入模型捕捉语言属性的不同方面。这启发我们提出了一个模型(M-MaxLSTM-CNN),用于采用多组词嵌入来评估句子相似性/关系。MaxLSTM-CNN编码器通过多个词嵌入来表示每个词,从而生成新颖的句子嵌入。然后,我们通过多级比较来学习我们的句子嵌入之间的相似性/关系。我们的方法M-MaxLSTM-CNN在几个任务中始终表现出很强的性能(即,测量文本相似性、识别释义、识别文本蕴涵)。根据STS Benchmark数据集和SemEval的SICK数据集上的实验结果,M-MaxLSTM-CNN在文本相似性任务中的表现优于最先进的方法。我们的模型不使用手工制作的功能(例如,对齐特征、Ngram重叠、依赖性特征),并且不需要预先训练的词嵌入具有相同的维度。
2018-05-21 cs.CL
Distinguishing Word Senses in Untagged Text
本文描述了三种无监督学习算法的实验比较,区分无标签文本中歧义词的意义。本文所描述的方法,McQuitty的相似性分析,沃德的最小方差方法,和EM算法,分配一个模糊的词的每个实例到一个已知的意义定义的基础上,仅在文本中自动识别功能的值。这些方法和功能集被发现是更成功的消歧名词,而不是形容词或动词。总的来说,这些程序中最准确的是McQuitty的相似性分析结合高维特征集。
1997-06-09 cmp-lg cs.CL
Optimal Multi-Paragraph Text Segmentation by Dynamic Programming
存在几种计算相似性曲线或相似性值序列的方法,表示连续文本成分的词汇衔接,例如,段落。然而,确定碎片边界位置的方法却很少。提出了一种基于动态规划的分片方法。该方法在理论上是合理的,并保证在相似性曲线、优选片段长度和定义的成本函数的基础上提供最佳分裂。当控制片段大小很重要时,该方法特别有用。
1998-12-04 cs.CL
Unsupervised Low-Dimensional Vector Representations for Words, Phrases and Text that are Transparent, Scalable, and produce Similarity Metrics that are Complementary to Neural Embeddings
University of Illinois College of Medicine(伊利诺伊大学医学院)
神经嵌入是一组流行的方法,用于将单词,短语或文本表示为低维向量(通常为50 - 500维)。然而,很难以有意义的方式解释这些维度,并且创建神经嵌入需要对多个参数和超参数进行广泛的训练和调整。我们在这里提出了一个简单的无监督的方法来表示单词,短语或文本作为一个低维向量,其中的意义和维度的相对重要性是透明的检查。我们已经创建了一个近乎全面的矢量表示的话,并选择二元组,三元组和缩写,使用的标题和摘要集在PubMed作为语料库。这个向量被用来创建几个新的隐式词-词和文本-文本相似性度量。隐式词-词相似性度量与人类对词对相似性和相关性的判断密切相关,并且在各种生物医学基准上优于或等于所有其他报告的方法,包括在PubMed语料库上训练的神经嵌入的几种实现。与基于word2vec的度量相比,我们的隐式词-词度量捕获了词-词相关性的不同方面,并且仅部分相关(rho =~0.5 - 0.8,取决于任务和语料库)。单词、双字母组、三字母组、缩写和PubMed标题+摘要的矢量表示都可以从www.example.com公开获得,并在CC-BY-NC许可下发布。在同一个网站上也提供了几个公共网络查询界面,其中一个允许用户指定一个给定的单词,并根据直接同现以及不同的隐式相似性度量来查看其最密切相关的术语。
2018-01-09 cs.CL cs.IR
Similarity-Aware Multimodal Prompt Learning for Fake News Detection
Qingdao University of Science and Technology(青岛科技大学);University of Sheffield(谢菲尔德大学)
本文提出相似性感知的多模态提示学习框架(SAMPLE),通过提示学习与相似性感知融合,减少噪声并高效检测虚假新闻,在两个基准数据集上超越现有方法。
2023-06-16 cs.CL
In-Context Example Selection via Similarity Search Improves Low-Resource Machine Translation
Inria(法国国家信息与自动化研究所)
本文系统研究了基于句子嵌入相似性的上下文示例选择对机器翻译的影响,发现该方法尤其能改善低资源语言方向的翻译效果,并提出适配LLM的COMET评估协议。
2024-08-01 cs.CL
Gating Mechanisms for Combining Character and Word-level Word Representations: An Empirical Study
The University of Tokyo(东京大学)
在本文中,我们研究如何不同的方式相结合的字符和单词级的表征影响的质量,最终的单词和句子的表征。我们提供了强有力的经验证据表明,建模字符提高了单词和句子级别的学习表示,这样做是特别有用的,当代表不太频繁的单词。我们进一步表明,一个功能明智的sigmoid门控机制是一个强大的方法,用于创建表示,编码语义相似性,因为它在几个单词相似性数据集表现相当不错。最后,我们的研究结果表明,正确地捕捉语义相似性在单词水平上并不总是在下游的任务水平上产生更好的性能。我们的代码可在https://github.com/jabalazs/gating上获得
2019-04-11 cs.CL stat.ML
Generating Context-Appropriate Word Orders in Turkish
土耳其语的词序比英语自由得多。土耳其语中不同语序的解释依赖于描述句子如何与其话语语境相关的信息。为了捕捉一个自由词序语言的句法特征,我提出了一个适应的组合范畴语法称为{}-CCGs(集CCGs)。在{}-CCGs中,动词的次范畴化要求被放宽,因此它需要一组参数,而无需指定它们的线性顺序。我整合了一个层次的信息结构,代表语用功能,如主题和焦点,与{}-CCGs允许一定的语用意义上的区别,影响一个句子的词序组成的方式。最后,我将讨论如何使用这种策略内实现的生成系统,产生土耳其语句子与上下文适当的词序在一个简单的数据库查询任务。
1994-07-20 cmp-lg cs.CL
Multidirectional Associative Optimization of Function-Specific Word Representations
University of Cambridge(剑桥大学);Imperial College London(帝国理工学院);Technion, IIT(以色列理工学院);PolyAI Limited(PolyAI有限公司)
我们提出了一个神经框架,用于学习相关的单词组之间的关联,如发现在主谓宾(SVO)结构。我们的模型诱导了一个联合功能特定的词向量空间,例如,合理的SVO组合物的向量躺在一起。该模型即使在联合空间中也保留了关于词组成员的信息,从而可以有效地应用于SVO结构上的一些推理任务。我们显示的鲁棒性和多功能性的建议框架报告国家的最先进的结果估计选择偏好和事件相似性的任务。结果表明,使用我们的任务无关模型学习的表示组合优于先前工作中的任务特定架构,同时将参数数量减少了95%。
2020-05-11 cs.CL
Structure-semantics interplay in complex networks and its effects on the predictability of similarity in texts
Institute of Physics of São Carlos(圣卡洛斯物理研究所);University of São Paulo(圣保罗大学)
有不同的方法来定义相似性,以将相似的文本分组到集群中,因为相似性的概念可能取决于任务的目的。例如,在主题提取中,相似文本意味着那些在相同的语义场,而在作者识别中,应该考虑文体特征。在这项研究中,我们介绍的方法来分类文本采用复杂网络的概念,它可能能够捕捉句法,语义,甚至语用功能。复杂网络的各种指标之间的相互作用进行了分析与三个应用程序,即识别的机器翻译(MT)系统,机器翻译文本的质量评估和作者识别。我们将表明,代表文本的网络的拓扑特征可以提高识别MT系统在特定情况下的能力。另一方面,为了评估MT文本的质量,使用能够捕获语义的方法获得了高相关性。这是意料之中的,因为所使用的黄金标准本身就是基于单词共现的。尽管如此,Katz相似性,其中涉及文本比较中的语义和结构,实现了与NIST测量的最高相关性,这表明在某些情况下,这两种方法的结合可以提高量化MT质量的能力。在作者身份识别中,拓扑特征在某些情况下也是相关的,尽管对于所分析的书籍和作者,语义特征也获得了良好的结果。由于混合的方法,包括语义和拓扑特征还没有被广泛使用,我们认为,这里提出的方法可能是有用的,大大提高文本分类,因为它结合了完善的战略。
2013-03-02 cs.CL physics.soc-ph