Nearly all existing techniques for automated video annotation (or captioning) describe videos using natural language sentences. However, this has several shortcomings: (i) it is very hard to then further use the generated natural language annotations in automated data processing, (ii) generating natural language annotations requires to solve the hard subtask of generating semantically precise and syntactically correct natural language sentences, which is actually unrelated to the task of video annotation, (iii) it is difficult to quantitatively measure performance, as standard metrics (e.g., accuracy and F1-score) are inapplicable, and (iv) annotations are language-specific. In this paper, we propose the new task of knowledge graph extraction from videos, i.e., producing a description in the form of a knowledge graph of the contents of a given video. Since no datasets exist for this task, we also include a method to automatically generate them, starting from datasets where videos are annotated with natural language. We then describe an initial deep-learning model for knowledge graph extraction from videos, and report results on MSVD* and MSR-VTT*, two datasets obtained from MSVD and MSR-VTT using our method.
Analyzing the Influence of Knowledge Graph Information on Relation Extraction
Universität Hamburg, Department of Informatics, Semantic Systems, Germany(汉堡大学信息学院语义系统研究所,德国);Leuphana Universität Lüneburg, Institute for Information Systems, Artificial Intelligence(吕贝克大学信息学院人工智能研究所)
A Benchmark for Structured Procedural Knowledge Extraction from Cooking Videos
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Asia(微软亚洲研究院);Beijing Institute of Technology(北京理工大学);University of Southern California(南加利福尼亚大学)
Knowledge-guided Convolutional Networks for Chemical-Disease Relation Extraction
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Foreign Languages, Dalian University of Technology(大连理工大学外国语学院);School of Mathematical Sciences, Dalian University of Technology(大连理工大学数学科学学院)
背景资料:从非结构化文本中自动提取化学-疾病关系对于疾病治疗和药物开发具有重要意义。与此同时,生物医学专家已经建立了许多高度结构化的知识库(KBs),其中包含有关化学品和疾病的先验知识。先验知识为CDR提取提供了强有力的支持。如何充分利用它是值得研究的问题。结果:本文提出了一种新的模型,称为“知识引导卷积网络(KCN)”,利用先验知识的CDR提取。该模型首先从知识库中学习包括实体嵌入和关系嵌入的知识表示。然后,使用实体嵌入来控制上下文特征向具有门控卷积的化学疾病对的传播。在此基础上,通过共享注意池,利用关系嵌入进一步获取加权上下文特征。最后,包含额外知识信息的加权上下文特征用于CDR提取。在BioCreative V CDR数据集上的实验表明,所提出的KCN达到了71.28%的F1分数,这优于大多数最先进的系统。结论:本文提出了一种新的CDR提取模型KCN,以充分利用先验知识。实验结果表明,KCN可以有效地集成先验知识和上下文的性能提高。
Knowledge-aware Attention Network for Protein-Protein Interaction Extraction
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Foreign Languages, Dalian University of Technology(大连理工大学外国语学院);School of Mathematical Sciences, Dalian University of Technology(大连理工大学数学科学学院)
从已发表的科学文献中提取蛋白质-蛋白质相互作用(PPI)为精准医学工作提供了额外的支持。然而,目前的许多PPI提取方法需要大量的特征工程,不能充分利用知识库(KB)中的先验知识。知识库包含了大量的实体和关系的结构化信息,因此在PPI抽取中起着关键作用。本文提出了一种知识感知的注意力网络(KAN)融合蛋白质-蛋白质对的先验知识和上下文信息的PPI提取。该模型首先采用对角禁用的多头注意力机制编码上下文序列以及从知识库中学习的知识表示。然后,一个新的多维注意力机制被用来选择的功能,可以最好地描述编码的上下文。在BioCreative VI PPI数据集上的实验结果表明,该方法能够获得序列中不同单词之间的知识感知依赖关系,并获得新的性能。
Improving Neural Protein-Protein Interaction Extraction with Knowledge Selection
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Mathematical Sciences, Dalian University of Technology(大连理工大学数学科学学院)
从已发表的科学文献中提取蛋白质-蛋白质相互作用(PPI)为精准医学工作提供了额外的支持。同时,知识库(KBs)包含了大量的蛋白质实体及其关系的结构化信息,这些信息可以编码在实体和关系嵌入中,以帮助PPI提取。然而,必须有选择地使用蛋白质-蛋白质对的先验知识,以便它适用于不同的背景。本文提出了一种知识选择模型(KSM)融合选择的先验知识和上下文信息的PPI提取。首先,两个Transformers根据每个蛋白质嵌入分别编码蛋白质对的上下文序列。然后,将两个输出馈送到相互关注以捕获针对蛋白质对的重要上下文特征。然后,利用上下文特征通过知识选择器提取关系嵌入。最后,所选择的关系嵌入和上下文特征连接PPI提取。在BioCreative VI PPI数据集上的实验表明,KSM通过添加知识选择实现了新的最先进的性能(38.08%F1分数)。
Leveraging Prior Knowledge for Protein-Protein Interaction Extraction with Memory Network
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院)
从生物医学文献中自动提取蛋白质-蛋白质相互作用(PPI)为精准医学工作提供了额外的支持。本文提出了一种新的基于记忆网络的PPI提取模型(MNM),利用记忆网络的蛋白质-蛋白质对的先验知识。所提出的MNM捕获重要的上下文线索相关的知识表示从知识库中学习。先验知识的实体嵌入和关系嵌入都能有效地改进PPI提取模型,从而在BioCreative VI PPI数据集上实现新的最先进性能。本文还表明,在外部存储器上的多个计算层优于具有本地存储器的长短期记忆网络。
Chemical-induced Disease Relation Extraction with Dependency Information and Prior Knowledge
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院)
化学-疾病关系(CDR)提取对于生物医学研究和医疗保健的各个领域都非常重要。目前,许多大型生物医学知识库(KBs)已经建立,其中包含关于实体对及其关系的三元组。知识库是生物医学关系抽取的重要资源。然而,以往的研究很少关注先验知识。此外,依赖树包含了重要的句法和语义信息,有助于改进关系抽取。因此如何有效地利用它也是值得研究的。在本文中,我们提出了一种新的卷积注意力网络(CAN)的CDR提取。首先,我们提取一个句子中的化学和疾病对之间的最短依赖路径(SDP),它包括一个单词序列,依赖方向,和依赖关系标签。然后对SDP执行卷积运算以产生深度语义依赖特征。之后,采用注意力机制来学习与从知识库学习的知识表示相关的每个语义依赖向量的重要性/权重。最后,为了结合依赖信息和先验知识,加权语义依赖表示和知识表示的级联被馈送到softmax层进行分类。在BioCreative V CDR数据集上的实验表明,该方法的性能与最先进的系统相当,依赖信息和先验知识在CDR提取任务中起着重要作用。
Open Visual Knowledge Extraction via Relation-Oriented Multimodality Model Prompting
Emory University(埃默里大学);Tongji University(同济大学);The Hong Kong University of Science and Technology(香港科技大学);Georgia Institute of Technology(佐治亚理工学院);Northwestern University(西北大学)
Enhanced Language Representation with Label Knowledge for Span Extraction
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Tencent(腾讯);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Dalian University of Technology(大连理工大学)
Combining Context and Knowledge Representations for Chemical-Disease Relation Extraction
School of Computer Science and Technology at Dalian University of Technology(大连理工大学计算机科学与技术学院)
自动提取化学物质与疾病之间的关系对于生物医学研究和医疗保健的各个领域都非常重要。生物医学专家已经建立了许多大规模的知识库(KB),以推动生物医学研究的发展。知识库中包含了大量的实体和关系的结构化信息,因此在化学疾病关系(CDR)提取中起着至关重要的作用。然而,以往的研究较少关注知识库中存在的先验知识。本文提出了一种基于神经网络的注意力模型(NAM)用于CDR提取,该模型充分利用了文档中的上下文信息和知识库中的先验知识。对于文档中的一对实体,采用注意力机制来选择关于从知识库中学习的关系表示的重要上下文词。在BioCreative V CDR数据集上的实验表明,通过注意力机制将上下文和知识表示相结合,可以显着提高CDR提取性能,同时实现与最先进系统相当的结果。
Distantly Supervised Relation Extraction with Sentence Reconstruction and Knowledge Base Priors
Toyota Technological Institute(丰田工业大学);Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology(日本产业技术综合研究所人工智能研究中心)