Similarity-based Memory Enhanced Joint Entity and Relation Extraction
Alphamoon Ltd.(Alphamoon有限公司);Wroclaw University of Science and Technology(弗罗茨瓦夫理工大学)
针对文档级联合实体与关系抽取中现有序列多任务方法忽略任务间复杂关联的问题,提出带双向类记忆依赖的多任务学习框架,在BioCreative V CDR数据集上取得SOTA结果。
2023-07-14 cs.CL cs.LG
BERT-based knowledge extraction method of unstructured domain text
University of Chinese Academy of Sciences(中国科学院大学)
随着知识图的发展和商业应用,从非结构化领域文档中提取知识图谱的实体和关系的需求越来越大。这使得领域文本的自动知识抽取具有重要意义。提出一种基于BERT的知识抽取方法,用于从非结构化的特定领域文本(如保险行业的保险条款)中自动抽取知识点,以节省构建知识图谱的人力。与常用的基于规则、模板或实体抽取模型的方法不同,本文将领域知识点转化为问题和答案对,并以文档中答案周围的文本作为上下文。该方法采用了一个基于BERT的模型,类似于BERT的SQuAD阅读理解任务。该模型是微调。并用于从更多的保险条款中直接提取知识点。根据测试结果,该模型性能良好。
2021-03-01 cs.CL cs.LG
Leveraging Knowledge Graph Embeddings to Enhance Contextual Representations for Relation Extraction
Opscidia(Opscidia公司)
该研究针对现有关系抽取方法依赖外部知识或大规模预训练模型的问题,提出将语料级预训练知识图谱嵌入融入句子级上下文表示的方法,在不引入外部知识的前提下提升了关系抽取性能。
2023-06-07 cs.CL cs.LG
Embedding and Extraction of Knowledge in Tree Ensemble Classifiers
University of Liverpool(利物浦大学)
有用知识的嵌入和提取是机器学习应用中的最近趋势,例如,以补充现有的小数据集。同时,随着机器学习模型在安全关键应用中的广泛应用,恶意知识的嵌入和提取分别相当于臭名昭著的后门攻击和后门防御。本文研究了树集成分类器中知识的嵌入和提取问题,重点研究了用布尔公式表示的知识,例如,鲁棒性和后门攻击。对于嵌入,它需要是防腐的(保留分类器的原始性能),可验证的(知识可以证明)和隐形的(嵌入不容易被检测到)。为了实现这一点,我们提出了两种新颖有效的嵌入算法,其中一种是黑盒设置,另一种是白盒设置。除了嵌入,我们开发了一种算法来提取嵌入的知识,减少问题的SMT(可满足性模理论)求解器是可解决的。虽然这种新的算法可以成功地提取知识,减少导致NP计算。因此,如果应用嵌入作为后门攻击和提取作为防御,我们的研究结果表明,当使用树集成分类器时,攻击和防御之间存在复杂性差距(P与NP)。我们将我们的算法应用于一组不同的数据集,以广泛地验证我们的结论。
2021-10-26 cs.CR cs.LG
Knowledge Graph Enhanced Event Extraction in Financial Documents
ShanghaiTech University(上海科技大学)
事件抽取是自然语言处理中的一个经典任务,在处理大量快速增长的金融、法律、医疗和政府文档中得到了广泛的应用,这些文档通常包含多个事件,并且这些事件的元素分散和混合在文档中,使得问题变得更加困难。虽然被提取的事件元素之间的潜在关系提供了有用的上下文信息,但它们在以前的研究中被忽视了。我们展示了利用知识图谱捕获实体关系及其属性所带来的增强。我们提出了第一个事件提取框架,该框架通过图神经网络嵌入知识图谱,并将嵌入与常规特征集成,所有这些都在文档级。具体来说,对于从中国的财务公告中提取事件,我们的方法优于国家的最先进的方法在F1分数的5.3%。
2021-09-06 cs.CL cs.IR cs.LG
An enhanced neural network based approach towards object extraction
National Institute of Technology, India(印度国家技术学院)
卫星图像光谱和空间分辨率的提高促进了从卫星图像和航空照片中自动提取和识别特征。提出了一种自动目标提取方法,用于从卫星图像中提取和识别各种目标,并针对IRS卫星图像验证了该系统的准确性。该系统以神经网络为基础,模拟遥感图像的目视解译过程,提高了图像分析的效率。该方法获得了各种特征的基本特征,并通过自动学习方法、智能解释和智能插值来提高性能。该方法的主要优点是其简单,系统识别的特征不仅基于像素值,而且基于形状,haralick特征等的对象。此外,该系统允许基于大小和形状来识别相同类别内的特征的灵活性。该系统的成功应用验证了其有效性,并通过地面实况验证对系统的精度进行了评估。
2014-02-05 cs.CV cs.LG cs.NE
FrameNet CNL: a Knowledge Representation and Information Extraction Language
Institute of Mathematics and Computer Science, University of Latvia(拉脱维亚大学数学与计算机科学研究所)
提出了一种基于FrameNet的信息抽取和知识表示框架,称为FrameNet-CNL。该框架用于自然语言文档,并表示提取的知识,在一个定制的框架本体,明确的FrameNet-CNL释义文本可以自动生成多种语言。这种方法将信息抽取和CNL领域结合在一起,因为如果信息抽取解析器产生正确的知识表示,则可以认为源文本属于FrameNet-CNL。我们描述了一个国家的最先进的信息抽取解析器使用的国家新闻机构和推测,FrameNet-CNL最终可以塑造自然语言子集用于写新闻专线文章。
2014-06-10 cs.AI cs.CL cs.IR
Entity Extraction with Knowledge from Web Scale Corpora
The University of Western Australia(西澳大利亚大学);The University of Melbourne(墨尔本大学)
实体抽取是文本挖掘和自然语言处理中的一项重要任务。一种流行的实体提取方法是将来自自由文本的子串与实体字典进行比较。在本文中,我们提出了几种技术作为后处理步骤,以提高现有的实体提取技术的有效性。这些技术利用网络规模语料库训练的模型,这使得我们的技术强大而通用。实验结果表明,我们的技术带来了显着的效率和效果的提高。
2019-11-21 cs.CL cs.DB cs.LG
On Analyzing the Role of Image for Visual-enhanced Relation Extraction
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Hangzhou Innovation Center, Zhejiang University(浙江大学杭州国际科创中心);Alibaba Group(阿里巴巴集团)
多模态关系抽取是知识图谱构建的一项重要任务。在本文中,我们采取了深入的实证分析表明,视觉场景图中的不准确的信息会导致不良的模态对齐权重,进一步降低性能。此外,视觉洗牌实验表明,目前的方法可能没有充分利用视觉信息。基于上述观察,我们进一步提出了一个强大的基线与隐式细粒度的多模态对齐的基础上Transformer的多模态关系抽取。实验结果表明,我们的方法具有更好的性能。代码可在https://github.com/zjunlp/DeepKE/tree/main/example/re/multimodal上获得。
2022-11-14 cs.AI cs.CL cs.CV
Clustering-Based Approaches for Symbolic Knowledge Extraction
Università degli Studi di Urbino “Carlo Bo”(乌尔比诺“卡洛·博”大学)
属于机器学习世界的不透明模型在大多数不同的应用领域中得到了越来越多的利用。从人类的角度来看,这些模型就像是黑盒(BB),如果应用程序是关键的,就不能完全信任,除非有一种方法可以从中提取符号和人类可读的知识。在本文中,我们分析了符号知识提取BB回归器所采用的递归设计-也就是说,与超立方输入空间区域相关的规则的创建。我们认为,这种分区可能会导致次优的解决方案时,手头的数据集是高维或不满足对称约束。然后,我们提出了一种基于(深度)聚类的方法,在符号知识提取之前进行,以实现更好的性能与任何类型的数据集。
2022-11-01 cs.AI cs.LG
Relation Extraction with Contextualized Relation Embedding (CRE)
Stanford University(斯坦福大学)
关系抽取是在给定语料库的情况下识别两个实体之间的关系实例的任务,而知识库建模是根据实体之间的关系来表示知识库的任务。本文提出了一个架构的关系抽取任务,集成语义信息与知识库建模的一种新的方式。现有的关系抽取方法要么不利用知识库建模,要么使用单独训练的知识库模型进行RE任务。我们提出了一个模型架构,内在知识库建模关系抽取。该模型采用了一种新的方法将句子编码成上下文化的关系嵌入,然后可以与参数化的实体嵌入一起使用来对关系实例进行评分。建议的CRE模型在来自纽约时报注释语料库和FreeBase的数据集上实现了最先进的性能。源代码已经提供。
2020-11-19 cs.CL cs.LG
Symbolic Knowledge Extraction using Łukasiewicz Logics
Instituto Superior de Engenharia de Lisboa(里斯本高等工程学院)
这项工作描述了一种方法,结合逻辑为基础的系统和连接系统。我们的方法使用有限的真值逻辑,其中每个连接可以定义一个人工网络中的神经元。这允许将一阶公式注入到网络架构中,并且还简化了符号规则提取。为此,我们使用Levenderg-Marquardt算法训练了一个神经网络,其中我们限制了网络结构中的知识传播。这个过程降低了神经网络的可塑性,而不会严重损害学习性能,从而使所产生的神经网络的描述能力类似于Mikukasiewicz逻辑语言的描述能力,并简化了符号和连接结构之间的转换。我们将这种方法用于逆向工程真值表和从实际数据集中提取公式。
2016-04-11 cs.AI cs.LG
A Dynamic Self-Evolving Extraction System
Megagon Labs(Megagon实验室)
提出DySECT系统,通过LLM抽取三元组构建知识库,结合概率知识和图推理丰富知识,再反馈优化抽取器,形成闭环持续提升。
2026-06-04 cs.CL cs.LG
An Information Extraction and Knowledge Graph Platform for Accelerating Biochemical Discoveries
IBM Research(IBM研究院);HAYASHIBARA & CO., LTD.(林原株式会社);NAGASE & CO., LTD.(长濑产业株式会社)
生物化学文献中的信息抽取和数据采掘是一项艰巨的任务,需要资源密集型计算和适当的方法来扩展知识摄取。能够利用这一巨大的技术信息来源有助于大幅降低从食品安全到制药的多个应用领域的解决方案的成本和时间。我们提出了一个可扩展的文件摄取系统,集成数据库和出版物(PDF格式)中的生物化学知识图谱(BCKG)的数据。BCKG是一个全面的知识来源,可以查询以检索已知的生物化学事实并产生新的见解。在描述了知识摄取框架之后,我们展示了我们的系统在碳水化合物酶领域中的应用。BCKG代表了一种扩展知识摄取和自动利用先验知识以加速生物化学科学发现的方法。
2019-07-19 cs.IR cs.LG
Cross-stitching Text and Knowledge Graph Encoders for Distantly Supervised Relation Extraction
Tohoku University(东北大学);RIKEN AIP(理化学研究所人工智能研究中心)
设计了用于远程监督关系抽取的双编码器架构,以利用在文本和知识图谱(KG)中发现的互补信息。然而,当前架构具有两个缺点。它们要么根本不允许文本编码器和KG编码器之间的任何共享,要么在具有KG到文本注意力的模型的情况下,只在一个方向上共享信息。在这里,我们介绍了十字绣双编码器,它允许通过十字绣机制在文本编码器和KG编码器之间进行充分的交互。交叉缝合机制允许在任何层的两个编码器之间共享和更新表示,共享量通过基于交叉注意的门动态控制。在两个不同领域的两个关系抽取基准测试上的实验结果表明,在两个编码器之间实现充分的交互会产生很大的改进。
2022-11-02 cs.CL cs.LG
ASPER: Answer Set Programming Enhanced Neural Network Models for Joint Entity-Relation Extraction
New Mexico State University(新墨西哥州立大学)
本文提出ASPER模型,通过在神经网络学习过程中结合答案集编程(ASP)表示的事实知识与推导知识,实现联合实体关系抽取,在两个真实数据集上持续优于基线方法。
2023-05-24 cs.AI cs.CL cs.LG
Understanding Finetuning for Factual Knowledge Extraction from Language Models
Google Research(谷歌研究院)
已经观察到在来自网络的大型文本语料库上预训练的语言模型(LM)包含大量关于世界的各种类型的知识。这一观察导致了知识图谱构建中一个新的令人兴奋的范例,其中,而不是手动策展或文本挖掘,从LM的参数中提取知识。最近,它已被证明,微调LM的一组事实知识,使他们产生更好的答案,从一个不同的集合查询,从而使微调LM知识提取,因此,知识图谱建设的一个很好的候选人。在本文中,我们分析了微调LM的事实知识提取。我们发现,除了先前已知的积极影响外,微调还导致了一种(潜在有害的)现象,我们称之为频率冲击,即在测试时,模型过度预测出现在训练集中的罕见实体,并低估未出现在训练集中的常见实体。我们发现,频率冲击会导致模型预测的退化,超过一定程度,频率冲击的危害甚至会超过微调的积极影响,使微调总体上有害。然后,我们考虑两种解决方案来弥补所识别的负面影响:1-模型混合和2-混合微调LM的预训练任务。这两个解决方案相结合,导致显着的改进相比,香草微调。
2023-01-26 cs.CL cs.LG
Layerwise Knowledge Extraction from Deep Convolutional Networks
City, University of London(伦敦大学城市学院)
知识提取是用来将神经网络转换成符号描述,目的是产生更容易理解的学习模型。核心的挑战是找到一个解释,这是更容易理解的比原来的模型,同时仍然代表该模型忠实。深度网络的分布式特性让许多人认为,神经网络的隐藏特征无法用简单到可以理解的逻辑描述来解释。在本文中,我们提出了一种新的分层知识提取方法,该方法使用M-of-N规则,旨在获得描述深度网络隐藏特征的规则的复杂性和准确性之间的最佳权衡。我们的经验表明,这种方法产生的规则接近最佳的复杂性错误权衡。我们将这种方法应用于各种深度网络,发现在内部层中,我们通常无法找到具有令人满意的复杂性和准确性的规则,这表明规则提取作为解释神经网络内部逻辑的通用方法可能是不可能的。然而,我们还发现,使用tanh或relu激活函数的卷积神经网络和自动编码器中的softmax层通过规则提取是高度可解释的,紧凑的规则由128个单元中的3个单元组成,通常达到99%以上的准确度。这表明规则提取可以成为解释深度神经网络的部分(或模块)的有用组件。
2020-03-19 cs.AI cs.LG
Connecting Language and Knowledge Bases with Embedding Models for Relation Extraction
Google(谷歌);Heudiasyc UMR CNRS 7253(法国国家科学研究中心Heudiasyc混合研究单位7253);U. Tech. de Compiègne(贡比涅技术大学)
本文提出了一种新的方法,关系抽取从自由文本,这是训练,以共同使用的信息,从文本和现有的知识。我们的模型是基于两个评分功能,通过学习低维嵌入的单词和实体和关系的知识库。我们在《纽约时报》与Freebase关系相关的文章中实证表明,我们的方法能够有效地使用Freebase数据的一个大子集(4M实体,23k关系)提供的额外信息,以改进现有的仅依赖文本特征的方法。
2013-07-30 cs.CL cs.IR cs.LG
DemoSG: Demonstration-enhanced Schema-guided Generation for Low-resource Event Extraction
Beijing University of Posts and Telecommunications(北京邮电大学)
提出DemoSG模型,通过演示学习和模式引导生成,在低资源事件抽取中显著提升性能。
2023-10-16 cs.AI cs.CL cs.IR
OpenKI: Integrating Open Information Extraction and Knowledge Bases with Relation Inference
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Amazon(亚马逊)
在本文中,我们考虑推进网络规模的知识提取和对齐集成OpenIE提取(主题,谓词,对象)三元组的形式与知识库(KB)。传统的通用模式和模式映射技术有两个极端:要么他们执行实例级推理依赖于嵌入(主体,对象)对,因此不能处理任何现有的三元组中缺少的对;或者他们执行谓词级映射,完全忽略来自单个实体的背景证据,因此不能达到令人满意的质量。我们建议OpenKI通过执行实例级推理来处理OpenIE提取的稀疏性:对于每个实体,我们在KB和OpenIE提取中对其邻域中的丰富信息进行编码,并通过探索不同的聚合和注意力方法来利用这些信息进行关系推理。为了处理看不见的实体,我们的模型在设计时没有创建实体特定的参数。大量的实验表明,该方法不仅显著提高了传统OpenIE提取(如ReVerb)的最新技术水平,而且还提高了OpenIE对半结构化数据的性能,其中新实体对非常丰富,数据相当稀疏。
2019-04-12 cs.IR cs.LG stat.ML
Probing the Knowledge Boundary: An Interactive Agentic Framework for Deep Knowledge Extraction
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Westlake University(西交利物浦大学)
提出一种交互式智能体框架,通过四种自适应探索策略和三级知识处理流水线,系统性地提取和量化大语言模型的知识,发现递归分类法最有效,并揭示了知识缩放定律、Pass@1与Pass@k的权衡以及训练数据对知识轮廓的影响。
2026-05-26 cs.CL cs.LG
MAPLE: A Multi-Axis Parametric Knowledge Extraction Lens for LLM Evaluation
Ewha Womans University(梨花女子大学);Seoul National University(首尔大学);Institute for Multiscale Matter and Systems, Ewha Womans University(梨花女子大学多尺度物质与系统研究所)
提出MAPLE框架,通过多轴诊断指标解析KEE技术对LLM参数化知识提取的影响,评估6种KEE技术在3类模型上的表现,为KEE技术的评估提供更细致的视角。
2026-10-15 cs.CL cs.LG
AGGRNet: Selective Feature Extraction and Aggregation for Enhanced Medical Image Classification
Indian Institute of Technology Kanpur(印度理工学院坎普尔学院)
针对现有医学图像分类模型难以区分类间相似性与类内变异性易致误诊的问题,提出AGGRNet框架,通过选择性提取并聚合信息性与非信息性特征捕捉细粒度模式,在多数据集上达到SOTA,Kvasir数据集上最高提升5%。
2025-11-15 cs.CV cs.LG
TXtract: Taxonomy-Aware Knowledge Extraction for Thousands of Product Categories
Columbia University(哥伦比亚大学)
从产品档案中提取结构化知识对于电子商务中的各种应用至关重要。最先进的知识提取方法都是针对单一类别的产品设计的,因此不适用于现实生活中的电子商务场景,这些场景通常包含数千个不同的类别。本文提出了TXtract,一个分类意识的知识提取模型,适用于成千上万的产品类别组织在一个层次分类。通过类别条件自我注意和多任务学习,我们的方法既具有可扩展性,因为它为数千个类别训练单个模型,又有效,因为它提取了特定于类别的属性值。在4,000个类别的分类产品上进行的实验表明,TXtract在F1中的性能比最先进的方法高出10%,在所有类别中的覆盖率高出15%。
2020-05-01 cs.CL cs.IR cs.LG
Application of Top-hat Transformation for Enhanced Blood Vessel Extraction
ITER, Siksha ‘O’ Anusandhan (Deemed to be University)(ITER,锡克沙·奥·阿努桑德汉(被视为大学))
在医学领域,已经提出了不同的计算机辅助诊断系统来从视网膜眼底图像中提取血管,用于血管疾病的临床治疗。使用计算机生成的方法从眼底图像中准确提取血管可以帮助临床医生为患有这些疾病的患者提供及时准确的报告。在这篇文章中,我们集成了基于顶帽的预处理方法与微调B-COSFIRE滤波器,以实现更准确的分离血管像素从背景中。在预处理阶段中使用顶帽变换增强了算法的功效,以提取血管中存在的结构,如中央凹,渗出液,出血等,此外,为了减少误报,血管像素的小集群被删除在后处理阶段。此外,我们发现,所提出的算法是更有效的各种现代算法相比,在文献中报道。
2022-03-18 cs.CV cs.LG eess.IV
Open Visual Knowledge Extraction via Relation-Oriented Multimodality Model Prompting
Emory University(埃默里大学);Tongji University(同济大学);The Hong Kong University of Science and Technology(香港科技大学);Georgia Institute of Technology(佐治亚理工学院);Northwestern University(西北大学)
本文提出OpenVik,通过开放式关系区域检测器和大型多模态模型提示生成无格式限制的视觉知识,并验证其在知识质量与视觉推理应用中的有效性。
2023-10-28 cs.AI cs.CL cs.CV
Keyphrase Extraction Using Neighborhood Knowledge Based on Word Embeddings
RPI(伦斯勒理工学院)
关键词提取是在文本文档中找到几个有趣的短语的任务,这些短语提供了文档中的主要主题列表。现有的基于图的模型大多使用共现链接作为衔接指标来模拟句法元素之间的关系。但是,一个词在文档中可能有不同的表达形式,也可能有几个同义词。仅仅使用共现信息无法捕获这些信息。在本文中,我们利用词嵌入作为背景知识来增强基于图的排序模型,以向词间图添加语义信息。我们的方法进行了评估,建立基准数据集和实证结果表明,词嵌入邻域信息提高了模型的性能。
2021-11-13 cs.CL cs.IR cs.LG
A LayoutLMv3-Based Model for Enhanced Relation Extraction in Visually-Rich Documents
Ecole Polytechnique(巴黎综合理工学院);BNP Paribas CIB(法国巴黎银行企业及投资银行部门)
针对视觉富文档中实体关系抽取研究不足的问题,提出基于LayoutLMv3的模型,无需特定预训练且参数更少,在FUNSD和CORD数据集上性能达当前最优,并通过消融实验验证了特征与建模选择的影响。
2024-04-16 cs.AI cs.CL cs.LG
Graph Neural Network-Based Entity Extraction and Relationship Reasoning in Complex Knowledge Graphs
Shanghai Jiao Tong University(上海交通大学);San Francisco State University(旧金山州立大学);Stevens Institute of Technology(史蒂文斯理工学院);New York University(纽约大学);Tulane University(杜兰大学);Columbia University(哥伦比亚大学)
本文提出基于图卷积网络和图注意力网络的端到端联合模型,用于复杂知识图谱的实体抽取与关系推理,实验证明其在AUC、召回率、精确率和F1值等指标上优于多种深度学习方法,并展现出更强的泛化能力与稳定性。
2024-11-19 cs.AI cs.CL cs.LG
Long-tail Relation Extraction via Knowledge Graph Embeddings and Graph Convolution Networks
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团);Tencent(腾讯)
我们提出了一个距离监督的关系抽取方法长尾,不平衡的数据,这是在现实世界中普遍存在的。在这里,挑战是学习精确的“Few-Shot”模型,用于存在于类分布的尾部的类,对于这些类,几乎没有可用的数据。受长尾类和头部类之间丰富的语义相关性的启发,我们利用分布头部数据丰富类的知识来提高尾部数据贫乏类的性能。首先,我们提出利用知识图谱嵌入的类标签之间的隐式关系知识,并使用图卷积网络学习显式关系知识。其次,通过知识感知的注意力机制将关系知识集成到关系抽取模型中。我们展示了我们的结果,一个大规模的基准数据集,这表明我们的方法显着优于其他基线,特别是长尾关系。
2019-03-04 cs.AI cs.CL cs.DB
Symbolic Knowledge Extraction from Opaque Predictors Applied to Cosmic-Ray Data Gathered with LISA Pathfinder
University of Urbino Carlo Bo(乌尔比诺卡罗·博大学);INFN(意大利国家核物理研究所)
机器学习模型现在在太空任务中无处不在,执行各种各样的任务,从预测多变量时间序列到检测输入数据中的特定模式。采用的模型通常是深度神经网络或其他复杂的机器学习算法,提供不透明的预测,即,不允许人类用户理解所提供的预测背后的基本原理。文献中存在几种技术,将不透明机器学习模型令人印象深刻的预测性能与人类可理解的预测解释相结合,例如符号知识提取程序的应用。在本文中报道的结果不同的知识提取器适用于合奏预测器能够再现宇宙射线数据收集在船上的LISA探路者空间任务。还讨论了所提取的知识的可读性/保真度的权衡。
2022-09-10 astro-ph.HE astro-ph.IM cs.LG
Generalized knowledge-enhanced framework for biomedical entity and relation extraction
University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对生物医学文本复杂、出版物增长快的问题,该研究提出一种知识增强框架,借鉴人类学习机制构建可迁移的通用神经网络知识图谱,在生物医学实体与关系抽取任务的多个基准上取得有竞争力的性能。
2024-08-13 cs.AI cs.CL cs.IR
Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple Extraction
Zhejiang University(浙江大学);AZFT Joint Lab for Knowledge Engine(AZFT知识引擎联合实验室);Alibaba Group(阿里巴巴集团)
目前的监督关系三元组提取方法需要大量的标记数据,因此在Few-Shot设置中性能较差。然而,人们可以通过学习一些实例来掌握新知识。为此,我们采取的第一步,研究Few-Shot关系三元组提取,这还没有得到很好的理解。与以前的单任务Few-Shot问题不同,关系三元组提取更具挑战性,因为实体和关系具有隐式相关性。本文提出了一种新的多原型嵌入网络模型,用于联合提取关系三元组的组成,即实体对和对应关系。具体而言,我们设计了一个混合原型学习机制,桥梁文本和知识的实体和关系。因此,实体和关系之间的隐式相关性被注入。此外,我们还提出了一个原型感知的正则化来学习更多有代表性的原型。实验结果表明,该方法可以提高Few-Shot三重提取的性能。
2020-10-30 cs.AI cs.CL cs.DB
OneKE: A Dockerized Schema-Guided LLM Agent-based Knowledge Extraction System
Zhejiang University(浙江大学);Ant Group(蚂蚁集团)
本文提出OneKE,一个Docker化的模式引导多智能体知识抽取系统,通过可配置知识库支持多领域Web与PDF知识抽取,并在基准测试中验证了其有效性和广泛适用性。
2025-02-06 cs.AI cs.CL cs.DB
Relation Extraction as Open-book Examination: Retrieval-enhanced Prompt Tuning
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
本文将关系抽取建模为开卷考试,提出检索增强提示调优的半参数化方法,通过查询存储的键值对实例辅助推理,在监督和少样本设置下均取得最优性能。
2023-09-19 cs.AI cs.CL cs.IR
KEDformer:Knowledge Extraction Seasonal Trend Decomposition for Long-term Sequence Prediction
School of Information Technology, Guangxi Police College(广西警察学院信息技术学院);Juniata College(朱尼亚塔学院)
针对Transformer类模型长序列预测计算效率低、泛化性差的问题,提出融合季节-趋势分解的知识提取驱动框架KEDformer,通过聚焦自注意力高信息量权重降本、分量分解增强模式捕捉能力,在5个跨领域数据集上验证了有效性。
2024-12-06 cs.AI cs.LG stat.ML
Structured Extraction of Real World Medical Knowledge using LLMs for Summarization and Search
RespondHealth(伦波医疗);Drexel University(德雷塞尔大学)
提出基于大语言模型的患者知识图谱提取方法,映射现有本体以支持自然语言数据提取,并在3360万患者的EHR数据库中验证其对Dravet综合征搜索及无标签BPAN患者发现的有效性。
2024-12-16 cs.AI cs.CL cs.LG
Neural Knowledge Extraction From Cloud Service Incidents
Microsoft Research(微软研究院);Microsoft(微软)
在过去的十年中,两个范式转变重塑了软件行业-从盒装产品到服务的转变以及云计算的广泛采用。这对软件开发生存周期和DevOps流程产生了巨大的影响。特别是,事件管理已成为开发和运营大规模服务的关键。创建事件是为了确保及时沟通服务问题及其解决方案。以前的事件管理工作主要集中在事件分类和重复数据消除方面的挑战。在这项工作中,我们解决的基本问题,从服务事件的结构化知识提取。我们已经建立了SoftNER,这是一个从服务事件中进行无监督知识提取的框架。我们框架的知识提取问题作为一个命名实体识别任务,提取事实信息。SoftNER利用键、值对和表等结构模式来引导训练数据。此外,我们建立了一个新的基于多任务学习的BiLSTM-CRF模型,它不仅利用语义上下文,而且还利用命名实体提取的数据类型。我们已经在主要的云服务提供商Microsoft部署了SoftNER,并在超过2个月的云事件中对其进行了评估。我们表明,基于无监督机器学习的方法具有0.96的高精度。我们基于多任务学习的深度学习模型也优于最先进的NER模型。最后,使用SoftNER提取的知识,我们能够为重要的下游任务(如事件分类)构建更准确的模型。
2021-01-15 cs.AI cs.DC cs.LG
Multimodal Learning on Graphs for Disease Relation Extraction
Beijing Institute of Technology(北京理工大学);University of Southern California(南加州大学);Tsinghua University(清华大学);Harvard T.H.Chan School of Public Health(哈佛陈曾熙公共卫生学院);Harvard Medical School(哈佛医学院);Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学博德研究所);Harvard Data Science Initiative(哈佛数据科学研究院)
目的:疾病知识图谱是一种连接、组织和访问有关疾病的不同信息的方法,对人工智能(AI)有许多好处。为了创建知识图谱,有必要以疾病概念之间的关系的形式从多模态数据集中提取知识,并规范概念和关系类型。方法:我们介绍REMAP,一种用于疾病关系抽取和分类的多模式方法。REMAP机器学习方法将部分不完整的知识图谱和医学语言数据集联合嵌入到紧凑的潜在向量空间中,然后对齐多模态嵌入以进行最佳疾病关系抽取。结果:我们将REMAP方法应用于具有96,913个关系和124万个句子的文本数据集的疾病知识图谱。在由人类专家注释的数据集上,REMAP通过融合疾病知识图谱与文本信息,将基于文本的疾病关系抽取提高了10.0%(准确率)和17.2%(F1分数)。此外,REMAP利用文本信息来推荐知识图谱中的新关系,比基于图的方法高出8.4%(准确度)和10.4%(F1分数)。结论:REMAP是一种融合结构化知识和文本信息的多模态疾病关系提取和分类方法。REMAP提供了一个灵活的神经架构,可以轻松地找到、访问和验证疾病概念之间的AI驱动关系。
2022-08-30 cs.AI cs.CL cs.LG
KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization for Relation Extraction
Zhejiang University(浙江大学);Alibaba Group(阿里巴巴集团)
KnowPrompt通过将关系标签中的潜在知识注入可学习的虚拟类型词和答案词,并结合结构化约束协同优化表示,在标准和低资源场景下有效提升了关系抽取的提示调优性能。
2023-09-18 cs.AI cs.CL cs.IR