A Psycholinguistic Evaluation of Language Models' Sensitivity to Argument Roles
University of Maryland(马里兰大学);Institute for Advanced Computer Studies(高级计算机研究院);Department of Linguistics(语言学系)
本文通过复现心理语言学实验系统评估大语言模型对论元角色的敏感性,发现模型虽能区分动词的语境合理性,但无法复现人类实时预测的选择性模式,揭示其机制与人类句子加工存在本质差异。
2024-10-21 cs.CL
Syntactic and semantic classification of verb arguments using dependency-based and rich semantic features
Università di Roma “La Sapienza”(罗马第一大学)
语料库模式分析(CPA)是Semeval 2015年任务15的主题,旨在创建一个系统,帮助词典编纂者使用CPA注释过程构建英语动词的含义词典。CPA解析是这个注释过程的子任务之一,也是本报告的重点。一个监督的机器学习方法已经实现,其中来自解析树和语义特征来自WordNet和词嵌入的语法特征。结果表明,这种方法表现良好,即使与数据稀疏性问题,表征数据集,并可以获得更好的结果比其他系统的利润约4%的f-score。
2016-04-19 cs.CL
Neural reality of argument structure constructions
University of Toronto(多伦多大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);Unity Health Toronto(多伦多团结健康医院)
在词汇主义语言学理论中,论元结构被认为是可以从动词的意义预测的。因此,动词是决定从句意义的主要因素。相反,构式语法学家认为论元结构编码在构式(或形式-意义对)中,与动词不同。几十年的心理语言学研究已经产生了大量的实证证据支持构式观点。在这里,我们采用一些心理语言学的研究,探讨存在的论点结构建设(ASC)的转换为基础的语言模型(LM)。首先,通过一个句子排序实验,我们发现,共享同一个结构的句子比共享同一个动词的句子在嵌入空间上更接近。此外,母语学习者越来越倾向于使用更多输入数据的结构进行分组,这反映了非母语学习者的行为。第二,在一个基于“Jabberwocky”启动的实验中,我们发现LM将ASC与意义联系起来,即使是在语义上无意义的句子中。我们的工作提供了第一个证据,ASCs在LM和突出的潜力,设计新颖的探测方法,在心理语言学研究的基础上。
2022-02-24 cs.CL
Unsupervised Transfer of Semantic Role Models from Verbal to Nominal Domain
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
语义角色标注(Semantic role labeling,SRL)是一个NLP任务,涉及将谓词参数分配给类型,称为语义角色。尽管SRL的研究主要集中在动词谓词上,并且许多可用于SRL的资源仅为动词提供注释,但语义关系通常由其他语言结构触发,例如,名词化在这项工作中,我们调查的情况下,我们假设的角色注释的数据为源动词域,但只有未标记的数据为目标名词域的转移。我们的关键假设,使两个域之间的转移,是一个角色的选择偏好(即,对可接受论元的偏好或约束)并不强烈地依赖于关系是由动词还是名词触发的。例如,相同的一组参数可以填补动词谓词“acquire”及其名词形式“acquisition”的获取者角色。我们从变分自编码的角度来处理转移任务。标签器充当编码器(预测给定句子的角色标签),而选择偏好在解码器组件中捕获(为预测角色生成参数)。在训练数据中没有标记名义角色,而是学习目标推动标记器分配预测参数的角色。跨域共享解码器参数鼓励了针对两个域预测的标签之间的一致性,并且促进了传输。该方法大大优于基线,如无监督和“直接转移”的方法,对英语CoNLL-2009数据集。
2020-09-26 cs.CL cs.LG
Open Information Extraction
Ryerson University(瑞尔森大学)
开放式信息抽取(Open IE)系统旨在通过识别任意句子中的各种关系短语及其论元来获得具有高度可扩展性的关系元组。第一代Open IE学习基于非词汇化特征的线性链模型,如词性(POS)或浅标签,以标记潜在参数对之间的中间词,以识别可提取的关系。Open IE目前是第二代开发的,能够提取最常见的关系类型的实例,如动词,名词和Prep,动词和Prep,以及具有深度语言分析的不定式。它们揭示了动词在语言学中表达关系的简单而有原则的方式,例如基于动词短语的提取或基于子句的提取。他们获得了显着更高的性能比以前的系统在第一代。在本文中,我们描述了两代开放IE的概述,包括优点,缺点和应用领域。
2016-07-10 cs.AI cs.CL
Neural language modeling of free word order argument structure
Columbia University(哥伦比亚大学);Inria(法国国家信息与自动化研究所);ENS/CNRS/EHESS/Inria(巴黎高等师范学院/法国国家科学研究中心/巴黎高等社会科学研究学校/法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学)
用预测或掩蔽目标训练的神经语言模型已被证明在捕获短距离和长距离句法依赖性方面是成功的。德语动词论元结构有一个有趣的特点,即动词论元在从句中可以以相对自由的顺序出现。因此,检查动词论元结构是否正确不能以严格的顺序方式完成,而是需要跟踪论元的情况,而不管它们的顺序。我们引入了一种基于最小变差集的新探测方法,并证明了Transformers和LSTM在该测试中的得分远高于机会。作为人类,他们也表现出等级判断,更喜欢规范的词序和合理的情况分配。然而,我们也发现这些效应的强度存在意想不到的差异,LSTM很难拒绝包含频繁论元结构类型(双主格)的不合语法的句子,而Transformers倾向于过度概括,接受一些不常见的语序或人类几乎不接受的不可信句子。
2021-03-04 cs.CL
Paraphrasing Verbs for Noun Compound Interpretation
Bulgarian Academy of Sciences(保加利亚科学院)
英语书面文本的自动分析面临的一个重要挑战是大量的名词复合词:充当单个名词的名词序列。在我们看来,它们的语义最好由所有可能的释义动词的集合来表征,并具有相关的权重,例如,使用亚马逊的Mechanical Turk,我们收集了以前在语言学文献中提出的250个名词-名词复合词的释义动词,从而为名词复合词的解释创造了宝贵的资源。使用这些动词,我们进一步构建了一个数据集的句子对代表一种特殊的文本蕴涵任务,其中一个二元的决定是关于是否涉及一个动词和两个名词的表达可以转化为名词复合,同时保持句子的意义。
2019-11-20 cs.AI cs.CL cs.IR
Morphological Reinflection with Multiple Arguments: An Extended Annotation schema and a Georgian Case Study
Bar-Ilan University(巴伊兰大学)
近年来,出现了一系列形态数据集,最著名的是UniMorph,一个多语言的屈折变化表库。然而,当前形态学注释图式的扁平结构使得对某些语言的处理变得古怪,如果不是不可能的话,特别是在多人称协议的情况下,其中动词同意使用真正的词缀的多个论点。在本文中,我们建议解决这一现象,通过扩展UniMorph注释模式的层次特征结构,自然适应复杂的参数标记。我们将这种扩展模式应用于这样一种语言,格鲁吉亚,并提供了一个人类验证,准确和平衡的格鲁吉亚动词形态数据集。与现有的UniMorph数据集相比,该数据集具有4倍多的表和6倍多的动词形式,涵盖了所有可能的参数标记变体,证明了我们提出的方案的充分性。标准反射模型的实验表明,当数据在表单级别分裂时,泛化很容易,但当沿着引理线分裂时,泛化非常困难。将UniMorph中的其他语言扩展到这个模式有望提高这个基准的覆盖率,一致性和可解释性。
2022-03-20 cs.CL
Identifying Metaphor Hierarchies in a Corpus Analysis of Finance Articles
Trinity College Dublin(都柏林圣三一大学);University College Dublin(都柏林大学学院)
使用超过17,000财经新闻报道(涉及超过1000万字)的语料库,我们执行的参数分布的UP-和DOWN-动词用于描述指数,股票和股票。使用措施的重叠,这些动词的参数分布和K-均值聚类的分布,我们提出的建议,这些动词所指的隐喻组织成层次结构的上级和下级组的证据。
2012-12-13 cs.CL
Valence extraction using EM selection and co-occurrence matrices
Instytut Podstaw Informatyki PAN(波兰科学院基础信息技术研究所);Centrum Wiskunde & Informatica(数学与计算机科学中心)
本文讨论了两个新的程序提取动词配价从原始文本中,与波兰语的应用。第一个新技术,EM选择算法,执行无监督的消歧的价框架森林,通过应用非概率深度语法分析器和一些后处理的文本。第二个新的想法涉及过滤不正确的框架中检测到的解析文本,并采取类似的论点往往有类似的框架动词的观察动机。这种现象是描述在新引入的共生矩阵。使用共生矩阵,我们将过滤分为两步。首先为每个动词确定有效参数的列表,而在下一阶段计算将参数组合到框架中所依据的模式。我们最好的提取字典达到$F$ -分数为45%,相比之下,标准的基于帧的BHT过滤的$F$ -分数为39%。
2009-11-27 cs.CL
Learning Semantic Role Labeling from Compatible Label Sequences
Google Research(谷歌研究院);University of Colorado Boulder(科罗拉多大学博尔德分校);University of Utah(犹他大学)
提出将VerbNet和PropBank标签联合建模为单一序列的框架,通过在解码时强制Semlink约束并引入受限边缘模型,有效解决了多任务解码的结构不一致问题,在CoNLL05基准上取得了最先进的F1成绩。
2023-10-19 cs.CL cs.LG
Identifying Metaphoric Antonyms in a Corpus Analysis of Finance Articles
Trinity College Dublin(都柏林圣三一大学);University College Dublin(都柏林大学学院)
本文利用17,000多篇财经新闻报道的语料库(涉及超过1000万字),对用于描述指数、股票和股票走势的UP和DOWN动词的论元分布进行了分析。在研究1中,参与者确定了这些动词的反义词在一个自由反应任务和匹配的任务,最常见的确定反义词编译。在研究2中,我们确定这些反义词对中动词的论元分布是否足够相似,以预测最常见的反义词。余弦相似性与人们识别的反义词对比例呈中度相关(r = 0.31)。更令人印象深刻的是,87%的情况下,最常被识别的反义词是备选词集中第一或第二相似的反义词。这些结果的影响,以确定隐喻知识的分布方法进行了讨论。
2013-02-04 cs.CL
A Processing Model for Free Word Order Languages
像许多动词词尾语言一样,日耳曼语显示出相当大的词序自由度:只要动词保持在词尾位置,动词的名词性论元的顺序就没有句法约束。这种效应被称为“混乱”,在转换框架中被解释为论点的重复移动。此外,来自嵌入式子句的参数可能会移出它们的子句;这种效果被称为“长距离扰乱”。虽然打乱最近在句法文献中得到了相当大的关注,但长距离打乱的地位很少被提及。其原因是数据的问题状态:不仅是长距离加扰高度依赖于语用上下文,它也很容易受到处理约束的退化。与中心嵌入的情况一样,我们并不立即清楚是否应该假设观察到的高度复杂句子的不可接受性是由于语法限制,或者我们是否应该假设能力语法对混乱没有任何限制(因此,所有这些句子实际上都是合乎语法的),并且某些(或大多数)语法上可能的词序的不可接受性是由于处理限制。在本文中,我们将通过提出德语的处理模型来支持第二种观点。
1995-04-15 cmp-lg cs.CL
Using a Diathesis Model for Semantic Parsing
本文提出了一种面向非限制文本的语义解析方法。语义解析是自然语言理解(NLU)系统的主要瓶颈之一,并且通常需要构建不容易移植到其他领域的昂贵资源。我们的方法获得了一个案例角色分析,其中动词的语义角色被确定。为了涵盖动词的所有可能的句法实现,我们的系统结合了它们的论元结构与一组通用的语义标记的素质模型。将它们结合起来,系统构建了一组具有自己的角色-情况表示的语法-语义模式。一旦模式建立,我们使用近似树模式匹配算法来识别句子的最可靠模式。在句法-语义模式和代表分析句子的形态、句法和语义信息的特征-结构树之间执行模式匹配。对于分配给正确模型的句子,我们提出的语义解析系统可以正确识别73%以上的可能语义格角色。
2000-06-29 cs.AI cs.CL
On Using Selectional Restriction in Language Models for Speech Recognition
在本文中,我们研究了选择性限制的使用-谓词施加在其参数的约束-在语音识别的语言模型。我们使用一个未标记的语料库,其次是一个公共领域的标签和一个非常简单的有限状态机,以获得动词和对象对不受限制的英语文本。然后,我们衡量的影响,知识的动词的预测的直接对象的困惑基于集群的语言模型。结果表明,即使聚类二元模型比动宾模型更有用,但两者的结合导致了聚类二元模型的改进。
1994-08-19 cmp-lg cs.CL
Measuring Thematic Fit with Distributional Feature Overlap
Singapore University of Technology and Design(新加坡科技设计大学);Aix-Marseille University(艾克斯-马赛大学);University of Pisa(比萨大学)
在本文中,我们介绍了一个新的分布模型的谓词-论元主题适合判断的方法。我们使用一个基于语法的DSM建立一个动词特定的角色的原型表示:对于每个动词,我们提取最突出的二阶上下文的每个角色(即最突出的尺寸典型的角色填充),然后我们计算主题适合候选填充和角色原型的顶部功能之间的加权重叠。我们的实验表明,我们的方法始终优于基线重新实现一个国家的最先进的系统,并取得更好的或可比的结果,在文献中报道的其他无监督系统。此外,它提供了一个明确的表示特征动词特定的语义角色。
2017-07-26 cs.CL
Dynamic Relation Inference via Verb Embeddings
Brown University(布朗大学)
针对CLIP在图像对象关系推断上的局限,提出DRIVE方法,通过扩充COCO数据集、利用困难负样本三元组微调CLIP并引入新损失函数,显著提升了零样本关系推断准确率并优于现有模型。
2025-09-16 cs.CL cs.CV
Visual Semantic Role Labeling for Video Understanding
University of Southern California(南加州大学);University of Pennsylvania(宾夕法尼亚大学);Allen Institute for AI(艾伦人工智能研究所)
我们提出了一个新的框架,用于理解和表示相关的视频中的显着事件,使用视觉语义角色标注。我们将视频表示为一组相关事件,其中每个事件由一个动词和多个实体组成,这些实体履行与该事件相关的各种角色。为了研究视频或VidSRL中的语义角色标注的挑战性任务,我们引入了VidSitu基准测试,这是一个大规模的视频理解数据源,具有$29K$ $10$ -秒电影剪辑,每$2$秒用动词和语义角色进行丰富注释。实体在影片剪辑内的事件之间被共同引用,并且事件通过事件-事件关系彼此连接。VidSitu中的剪辑是从大量的电影(${\sim}3K$)中提取的,并且被选择为既复杂(视频中的${\sim}4.2$唯一动词)又多样(每个${\sim}200$动词有多个$100$注释)。我们提供了一个全面的分析数据集相比,其他公开的视频理解基准,几个说明性的基线,并评估了一系列标准的视频识别模型。我们的代码和数据集可以在vidsitu.org上找到。
2021-04-02 cs.CL cs.CV
Separating Argument Structure from Logical Structure in AMR
University of Groningen(格罗宁根大学)
表示自然语言句子意义的AMR(抽象意义表示)形式主义不是为了处理范围和量词而设计的。通过扩展AMR与索引的上下文和制定这些上下文中的约束条件,推导出一种形式主义,使正确的预测涉及否定和绑定变量的推理。AMR的核心谓词-论元结构被保留了下来。由此产生的框架是类似的话语表征理论。
2020-10-27 cs.CL
Video Event Extraction via Tracking Visual States of Arguments
Tsinghua University(清华大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学)
视频事件提取的目的是从视频中检测出显著事件,并识别每个事件的论点以及它们的语义角色。现有的方法侧重于捕捉每帧的整体视觉场景,忽略了细粒度的参数级信息。受事件作为状态变化的定义的启发,我们提出了一种新的框架来检测视频事件,通过跟踪所有涉及的参数的视觉状态的变化,预计将提供最翔实的证据提取视频事件。为了捕捉参数的视觉状态变化,我们将它们分解为对象内像素的变化、对象的位移以及多个参数之间的交互。我们进一步提出了对象状态嵌入,对象运动感知嵌入和参数交互嵌入来编码和跟踪这些变化。各种视频事件提取任务的实验表明,显着的改进相比,国家的最先进的模型。特别是在动词分类上,我们在视频情景识别的F1@5中获得了3.49%的绝对增益(19.53%的相对增益)。
2022-11-05 cs.CL cs.CV
Key Point Analysis via Contrastive Learning and Extractive Argument Summarization
Paderborn University(帕德博恩大学);Leipzig University(莱比锡大学);Bielefeld University(比勒费尔德大学)
关键点分析的任务是从一组给定的论点中提取一组简洁和高层次的陈述,代表这些论点的主旨。本文介绍了我们提出的关键点分析共享任务的方法,并与第八届研讨会上的论点挖掘。这一办法包括两个相辅相成的组成部分。一个组件通过siamese神经网络采用对比学习,用于将参数与关键点匹配;另一个组件是基于图形的提取摘要模型,用于生成关键点。在自动和手动评估中,我们的方法在所有提交的共享任务中排名最好。
2021-10-22 cs.CL
Computational linking theory
Johns Hopkins University(约翰斯·霍普金斯大学)
链接理论解释了动词的语义论元如何映射到它们的句法论元-这是浅层语义解析文献中语义角色标注任务的逆过程。在本文中,我们开发了计算链接理论框架作为一种方法,用于实现和测试理论文献中提出的链接理论。我们部署这个框架来评估两个交叉类型的连接理论:局部与全局模型和分类与特征模型。为了进一步研究这些模型的行为,我们开发了一个测量模型的精神,以前的工作在语义角色归纳:语义原型角色链接模型。我们使用这个模型,它实现了道蒂的开创性的原型角色理论的概括,诱导语义原型角色,我们比较那些道蒂建议。
2016-10-08 cs.CL
CLAR: A Cross-Lingual Argument Regularizer for Semantic Role Labeling
IBM Research(IBM研究院);Google Research(谷歌研究院)
语义角色标注(SRL)识别给定句子中的谓词-论元结构。虽然不同的语言有不同的参数注释,但多语言训练,即在多种语言上训练一个模型的想法,以前已经被证明优于单语基线,特别是对于低资源语言。事实上,即使是简单的数据组合也被证明是有效的,通过在共享的表示空间中表示遥远的词汇表来进行多语言训练。同时,尽管不同语言之间的参数注释不同,但某些参数标签确实在不同语言之间共享共同的语义含义(例如,参数标签在不同语言之间具有或多或少相似的语义含义)。为了利用跨语言注释空间中的这种相似性,我们提出了一种称为跨语言参数正则化器(CLAR)的方法。CLAR识别跨语言的这种语言注释相似性,并利用该信息来使用源语言参数所在的空间的变换来映射目标语言参数。通过这样做,我们的实验结果表明,CLAR一贯提高SRL性能的多语言单语和多语种基线低资源语言。
2020-11-09 cs.CL