Learning for Biomedical Information Extraction: Methodological Review of Recent Advances
Nuance Communications(Nuance通信公司);University of Massachusetts Medical School(马萨诸塞大学医学院);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校);VA Central West Massachusetts(马萨诸塞州中部西部退伍军人医疗系统)
生物医学信息抽取(BioIE)在临床决策支持、整合生物学、药物警戒等方面具有重要的应用价值,因此一直是研究的热点。与现有的综述涵盖了BioIE的整体观点,这篇综述主要集中在学习为基础的方法的最新进展,通过系统地总结他们到方法发展的不同方面。此外,我们深入研究了开放式信息抽取和深度学习,这两种新兴且有影响力的技术,并展望了下一代BioIE。
2016-06-26 cs.CL
Building a Corpus for Biomedical Relation Extraction of Species Mentions
Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室)
本研究构建了聚焦肠道微生物组的物种间二元关系人工标注语料库Species-Species Interaction,经评估不同NER物种标注器后采用PubTator标注全文物种,用BERT及生物医学变体抽取关系的初步结果良好。
2023-06-14 cs.CL
Chemical-protein Interaction Extraction via Gaussian Probability Distribution and External Biomedical Knowledge
Dalian University of Technology(大连理工大学);Beijing Institute of Health Administration and Medical Information(北京卫生健康管理与医学信息研究所)
动机:生物医学文献包含了丰富的化学蛋白质相互作用(CPI)。自动提取生物医学文献中描述的CPI对于药物发现、精准医学以及基础生物医学研究至关重要。大多数现有的方法只关注句子序列来识别这些CPI。然而,句子的局部结构和外部生物医学知识也包含有价值的信息。有效利用这些信息可以提高CPI提取的性能。结果:在本文中,我们提出了一种新的神经网络为基础的方法来改善CPI提取。具体来说,该方法首先采用BERT来生成标题序列、实例序列和知识序列的高质量上下文表示。然后,高斯概率分布被引入到捕获的局部结构的实例。同时,利用注意力机制分别对标题信息和生物医学知识进行融合。最后,相关的表示被连接并馈送到softmax函数中以提取CPI。我们评估我们提出的模型的CHEMPROT语料库。我们提出的模型是优于性能相比,与其他国家的最先进的模型。实验结果表明,高斯概率分布和外部知识是相辅相成的。将它们结合起来可以有效地提高CPI提取性能。此外,高斯概率分布可以有效地提高生物医学关系抽取任务中具有重叠关系的句子的抽取性能。可用性:数据和代码可在https://github.com/CongSun-dlut/CPI_extraction上获取。联系:yangzh@dlut.edu.cn,wangleibihami@gmail.com补充信息:补充数据可在生物信息学在线。
2020-04-24 cs.CL
Intent Detection and Entity Extraction from BioMedical Literature
IIT Kharagpur(印度理工学院卡哈拉格普尔分校);Columbia University(哥伦比亚大学)
本文实证评估生物医学文本的意图检测与命名实体识别,证明监督微调的PubMedBERT等模型仅需5个样本即可在NER上超越ChatGPT。
2024-08-05 cs.CL
Relation Extraction from Biomedical and Clinical Text: Unified Multitask Learning Framework
Indian Institute of Technology Patna(印度理工学院巴特那分校)
为了最大限度地减少在生物医学文献搜索中投入的加速时间,已经提出了许多用于自动化知识提取的方法。关系抽取就是这样一个任务,其中实体之间的语义关系是从自由文本中识别的。在生物医学领域,提取调控途径、代谢过程、药物不良反应或疾病模型需要来自个体关系的知识,例如,基因、蛋白质、药物、化学品、疾病或表型之间的物理或调控相互作用。在本文中,我们研究了关系抽取任务从三个主要的生物医学和临床任务,即药物-药物相互作用,蛋白质-蛋白质相互作用,医学概念关系抽取。为此,我们在多任务学习(MTL)框架中建模关系抽取问题,并首次引入结构化自我关注网络的概念,并辅以对抗性学习方法来预测生物医学和临床文本中的关系。MTL的基本概念是通过利用共享表示的概念同时学习多个问题。此外,我们还生成了高效的单任务模型,该模型利用了在注意门控递归单元上学习的最短依赖路径嵌入来比较我们提出的MTL模型。我们提出的框架显着提高了整体基线(深度学习技术)和单任务模型来预测关系,而不会影响所有任务的性能。
2020-09-20 cs.CL
An Effective Approach to Biomedical Information Extraction with Limited Training Data
总的来说,这项工作的两个主要贡献包括应用句子简化关联提取如上所述,和使用分布式语义概念提取。概念提取的拟议工作首次融合了两个不同的研究领域-分布式语义和信息抽取。这种方法提供了其他半监督机器学习系统中提供的所有优点,并且与其他提出的半监督方法不同,它可以在不同的基本框架和算法之上使用。http://gradworks.umi.com/34/49/3449837.html
2011-09-12 cs.CL
Decorate the Examples: A Simple Method of Prompt Design for Biomedical Relation Extraction
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心)
关系抽取是生物医学领域自然语言处理的核心问题。最近的关系抽取研究表明,基于神经网络的学习提高了全训练集和Few-Shot训练的微调性能。然而,在特定领域的任务上所做的努力较少,在这些任务中,良好的快速设计可能更加困难。在本文中,我们研究了生物医学关系抽取的提示,在ChemProt数据集上的实验。我们提出了一个简单而有效的方法,系统地产生全面的提示,重新制定的关系抽取任务作为一个完形填空测试任务下一个简单的提示制定。特别是,我们实验不同的排名分数,以及时选择。使用BioMed-RoBERTa-base,我们的结果表明,基于优化的微调比常规微调基线获得了14.21 F1的增益,比SciFive-Large获得了1.14 F1的增益,SciFive-Large是目前ChemProt上最先进的算法。此外,我们发现,基于神经网络的学习需要更少的训练样本来做出合理的预测。结果表明,我们的方法在这样一个特定领域的关系抽取任务的潜力。
2022-04-21 cs.CL
On the Effectiveness of the Pooling Methods for Biomedical Relation Extraction with Deep Learning
University of Oregon(俄勒冈大学);Adobe Research(奥多比研究院)
深度学习模型在许多关系抽取数据集上取得了最先进的性能。这些深度学习模型中的一个共同元素涉及池化机制,其中隐藏向量的序列被聚合以生成单个表示向量,用作执行RE预测的特征。不幸的是,在文献中的模型往往采用不同的策略来执行池的RE,导致的挑战,以确定最好的池机制,这个问题,特别是在生物医学领域。为了回答这个问题,在这项工作中,我们进行了全面的研究,以评估生物医学RE中深度学习模型的不同池机制的有效性。实验结果表明,依赖性为基础的池是最好的池策略RE在生物医学领域,产生的国家的最先进的性能在两个基准数据集上的这个问题。
2019-11-04 cs.CL
BERE: An accurate distantly supervised biomedical entity relation extraction network
从文献中自动抽取实体关系抽取(RE)是构建生物医学数据库的重要来源,它比人工处理更高效、可扩展。然而,现有的RE模型通常忽略了句子结构和目标实体中包含的信息。在本文中,我们提出了BERE,这是一种基于深度学习的模型,它使用Gumbel Tree-GRU来学习句子结构,并使用联合嵌入来整合实体信息。它还采用词级注意力改进的关系抽取和事件级注意力,以适应远程监督数据集。由于现有的数据集相对较小,我们进一步构建了一个更大的药物靶点相互作用提取(DTIE)数据集的远程监督。在DDIExtraction 2013任务和DTIE数据集上进行的实验表明,我们的模型在F1测量和PR曲线方面优于最先进的基线。
2019-06-22 cs.CL
Investigation of BERT Model on Biomedical Relation Extraction Based on Revised Fine-tuning Mechanism
Department of Computer and Information Science University of Delaware(特拉华大学计算机与信息科学系);University of Delaware(特拉华大学);Department of Computer and Information Science(计算机与信息科学系)
随着生物医学文献的爆炸式增长,设计自动化的文献信息抽取工具对生物医学研究具有重要意义。最近,基于变压器的BERT模型适应于生物医学领域已经产生了领先的结果。然而,所有现有的BERT模型的关系分类只利用部分知识的最后一层。在本文中,我们将研究的方法,利用整个层的微调过程中的BERT模型。据我们所知,我们是第一个探索这种方法的。实验结果表明,我们的方法提高了BERT模型的性能,并优于国家的最先进的方法在三个基准数据集的不同关系抽取任务。进一步分析表明,关于关系的关键知识可以从BERT模型的最后一层学习。
2020-11-01 cs.CL
An Attentive Sequence Model for Adverse Drug Event Extraction from Biomedical Text
SAAMA AI Research Lab(SAAMA人工智能研究实验室)
药物不良反应是一个潜在的危险问题,可能导致患者的死亡和发病。药物不良事件信息提取是生物医学研究中的一个重要问题。我们将ADE抽取建模为一个推理问题,并从机器阅读理解(MRC)文献中获得灵感,设计了我们的模型。我们设计这样一个模型的目的是利用临床文本中的局部语言背景,并实现序列内的相互作用,以便共同学习对药物和疾病实体进行分类,并提取由给定药物引起的不良反应。我们的模型利用自我注意力机制来促进文本序列中的序列内交互。这使我们能够可视化和理解网络如何利用本地和更广泛的上下文进行分类。
2018-01-02 cs.CL
Claim Extraction in Biomedical Publications using Deep Discourse Model and Transfer Learning
University of Pennsylvania(宾夕法尼亚大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Syracuse University(雪城大学)
主张是科学论述的基本单位。科学出版物数量的指数增长使得自动索赔提取成为研究人员的一个重要问题,他们被这种信息过载所淹没。这种自动化的索赔提取系统对于人工和程序化探索科学知识都是有用的。在本文中,我们介绍了一个新的数据集,其中包含来自生物医学领域的1,500篇科学摘要,每个句子都有专家注释,表明该句子是否提出了科学主张。我们介绍了一种新的索赔提取模型,并将其与几种基线模型进行了比较,包括基于规则的技术和深度学习技术。此外,我们表明,使用带有微调步骤的迁移学习方法可以提高大型话语注释数据集的性能。与没有迁移学习的基线模型相比,我们的最终模型将F1分数提高了14个百分点以上。我们发布了一个可公开访问的工具,用于话语和索赔预测以及注释工具。我们讨论了生物医学文献之外的进一步应用。
2020-01-16 cs.CL
Context awareness and embedding for biomedical event extraction
City University of Hong Kong(香港城市大学)
动机:生物医学事件检测是分子生物学和生物医学研究中信息抽取的基础。所检测到的事件形成了综合生物医学知识融合的中心基础,促进了对大量文献信息的消化。受特征上下文的限制,现有的事件检测模型大多适用于单一任务。生物医学知识管理迫切需要一个通用的、可扩展的计算模型。结果:我们认为,并提出了一个自下而上的检测框架,以确定从公认的参数的事件。为了捕捉参数之间的关系,我们训练了一个双向长短期记忆(LSTM)网络来模拟它们的上下文嵌入。利用组合属性,我们进一步推导出用于训练事件分类器的候选样本。我们在BioNLP共享任务的数据集上构建了我们的模型进行评估。我们的方法在BioNLPST-BGI和BioNLPST-BB数据集上分别实现了0.81和0.92的平均F分数。与7种最先进的方法相比,我们的方法在BioNLPST-BB数据集上的现有F分数性能几乎翻了一番(0.92 vs 0.56)。进行了案例研究,以揭示潜在的原因。可用性:https://github.com/cskyan/evntextrc
2019-05-02 cs.CL
How Important is Domain Specificity in Language Models and Instruction Finetuning for Biomedical Relation Extraction?
University of Kentucky, Lexington, KY USA(肯塔基大学)
本文在四个生物医学关系抽取数据集上比较通用与生物医学预训练LM及不同指令微调来源,发现通用模型通常更优,而少量生物医学指令微调即可取得与通用指令微调相近的收益。
2025-07-25 cs.CL
Feature extraction and evaluation for BioMedical Question Answering
在本文中,我们介绍了我们在BioASQ管道上的工作。目标是回答四种类型的问题:摘要,是/否,事实和列表。我们的目标是根据经验评估不同的模块:特征提取器和句子选择块。我们使用我们的管道来测试每个模块对各种问题类型的有效性,并进行错误分析。我们定义了对未来与BioASQ管道相关的研究有用的指标,这些指标对提高训练管道的性能至关重要。
2021-05-28 cs.CL
Iteratively Improving Biomedical Entity Linking and Event Extraction via Hard Expectation-Maximization
Virginia Tech(弗吉尼亚理工大学)
本文提出联合生物医学实体链接与事件抽取方法,通过硬期望最大化将事件结构和实体引用作为隐变量,在Genia 2011和BC4GO数据集上显著优于基线并改进单项任务表现。
2023-05-24 cs.CL
Fine-Tuning Models for Biomedical Relation Extraction
本文针对生物医学变异-表型关系抽取,提出微调小型BERT模型(如DeBERTa)和Gemini Pro 1.0,在SNPPhenA语料库上接近或超越现有最先进水平。
2026-09-18 cs.CL
SnapToGrid: From Statistical to Interpretable Models for Biomedical Information Extraction
University of Arizona(亚利桑那大学)
我们提出了一种生物医学信息抽取的方法,该方法结合了机器学习模型的优点,例如,直接从数据中学习,具有基于规则的方法的优点,例如,可解释性我们的方法首先训练一个基于特征的统计模型,然后通过将其特征转换为规则,将该模型转换为基于规则的变体,并将特征权重“捕捉到网格”为离散投票。在这样做的过程中,我们的建议利用了机器学习中的大量工作,但它产生了一个可解释的模型,可以由专家直接编辑。我们在BioNLP 2009事件提取任务上评估我们的方法。我们的研究结果表明,在将统计模型转换为规则时会有一个小的性能损失,但可解释性的提高弥补了这一点:人类专家只需付出最小的努力,就可以改进此模型,使其具有与作为起点的统计模型相似的性能。
2016-06-30 cs.CL
BioSimplify: an open source sentence simplification engine to improve recall in automatic biomedical information extraction
Department of Biomedical Informatics, Arizona State University(亚利桑那州立大学生物医学信息学系)
Biocompatibility是一个用Java编写的开源工具,它引入并促进了一种用于自动话语分析和信息抽取的句子简化新模型的使用(与用于提高人类可读性的句子简化相反)。该模型基于一种“猎枪”方法,通过组合其组成要素的变体,产生原始句子的许多不同(更简单)版本。该工具针对处理生物医学科学文献进行了优化,例如PubMed中索引的摘要。我们测试了我们的工具对PPI提取任务的影响,它将PPI工具的f分数提高了约7%,召回率提高了约20%。生物统计工具和测试语料库可以从https://biosimplify.sourceforge.net下载。
2011-07-28 cs.CL
Into the Single Cell Multiverse: an End-to-End Dataset for Procedural Knowledge Extraction in Biomedical Texts
Rice University(莱斯大学);University of Washington(华盛顿大学)
针对生物医学文本程序性知识提取缺乏端到端数据集的问题,提出FlaMBé数据集,涵盖单细胞研究流程标注及最大规模组织/细胞类型NER/NED数据,助力NLP模型发展并推动研究可重复性。
2023-09-04 cs.CL
Sentence Simplification Aids Protein-Protein Interaction Extraction
Arizona State University(亚利桑那州立大学)
从生物医学文章中自动提取蛋白质-蛋白质相互作用(PPI)的精确系统可以帮助加速生物医学研究。生物医学信息学研究人员正在合作提供元服务,并推进PPI提取的最新技术。当前自然语言处理系统经常忽略的一个问题是生物医学文献中句子的特征复杂性。在本文中,我们报告的影响,自动简化的句子有一个国家的最先进的PPI提取系统的性能,显示了显着改善召回(8%)时,句子简化方法的应用,没有显着影响精度。
2010-01-24 cs.CL
A Structure-aware Generative Model for Biomedical Event Extraction
University of Hawaii at Manoa(夏威夷大学马诺阿分校);Nanyang Technological University(南洋理工大学)
针对现有生成式生物医学事件抽取模型忽略复杂事件结构跨实例信息的问题,提出结构感知生成模型GenBEE,通过事件提示和结构前缀提示融合语义与结构特征,在多个基准上取得优异性能。
2025-02-21 cs.CL
PubMedCausal: A Span-Level Annotated Corpus for Causal Relation Extraction in Biomedical Text
Edyah Limited(Edyah有限公司);University of Ibadan(伊巴丹大学);Indiana University(印第安纳大学);Creighton University(克雷顿大学)
为解决现有资源将因果关系与广义关联混淆、限制句子级标注或仅关注显式因果线索的问题,构建了基于PubMed摘要的跨度级因果关抽取语料库PubMedCausal,包含30,000段落级行、3,945因果行和6,491个裁决的因果对,并基准测试了判别式编码器和开源生成模型。
2026-10-28 cs.CL
BioBERT Based SNP-traits Associations Extraction from Biomedical Literature
University of Tehran(德黑兰大学);Tarbiat Modares University(塔比亚特·莫达雷斯大学)
本文提出BioBERT-GRU方法,从生物医学文献中提取SNP与性状的关联,并在SNPPhenA数据集上取得优于以往机器学习与深度学习方法的性能。
2023-08-03 cs.CL
An Empirical Study on Relation Extraction in the Biomedical Domain
Peking University(北京大学)
关系抽取是自然语言处理中的一个基本问题。现有的大多数模型都是针对一般领域中的关系抽取而定义的。然而,它们在特定领域的表现(例如,生物医学还不清楚。为了填补这一空白,本文对生物医学研究论文中的关系抽取进行了实证研究。具体来说,我们考虑了文档级和文档级的关系抽取,并在几个基准数据集上运行了一些最先进的方法。研究结果表明:(1)现有的文档级关系抽取方法具有较强的泛化能力;(2)现有方法需要大量的标记数据用于生物医学领域的模型微调。我们的观察可能会启发人们在这一领域的发展更有效的生物医学关系抽取模型。
2021-12-11 cs.CL cs.LG
Attending To Syntactic Information In Biomedical Event Extraction Via Graph Neural Networks
Monash University, Malaysia(莫纳什大学(马来西亚));Monash University, Australia(莫纳什大学(澳大利亚))
针对生物医学事件抽取中依赖路径信息不完整的问题,提出用图卷积网络嵌入完整依赖图邻接矩阵,显著提升性能并略超现有最优模型。
2025-01-21 cs.CL
Improving Automatic Evaluation of Large Language Models (LLMs) in Biomedical Relation Extraction via LLMs-as-the-Judge
York University(约克大学);Vector Institute Toronto(多伦多向量研究所)
本文研究使用 LLMs-as-the-Judge 评估生物医学关系抽取,发现因输出格式不规范导致评判准确率低,通过引入结构化输出格式与领域适应技术显著提升了评估性能并公开了相关数据。
2025-06-01 cs.CL
Multimodal Graph-based Transformer Framework for Biomedical Relation Extraction
Indian Institute of Technology Patna(印度理工学院巴特那分校)
预训练的Transformer模型的最新进展推动了跨各种生物医学任务的有效文本挖掘模型的开发。然而,这些模型主要是在文本数据上学习的,并且通常缺乏实体的领域知识来捕获句子之外的上下文。在这项研究中,我们引入了一个新的框架,使模型能够在分子结构等额外多模态线索的帮助下学习有关实体(蛋白质)的多全能生物信息。为此,而不是开发特定于模态的架构,我们设计了一种通用的和优化的基于图的多模态学习机制,该机制利用GraphBERT模型对文本和分子结构信息进行编码,并利用各种模态的底层特征来实现端到端学习。我们评估了我们提出的方法对ProteinProtein Interaction任务的生物医学语料库,我们提出的广义方法被观察到受益于额外的特定领域的方式。
2021-07-01 cs.CL
Joint Biomedical Entity and Relation Extraction with Knowledge-Enhanced Collective Inference
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Adobe Research(Adobe研究院)
与一般新闻领域相比,生物医学文本的信息抽取需要更广泛的领域知识。然而,许多以前的IE方法在推理过程中不利用任何外部知识。由于生物医学出版物的指数增长,不超过其固定参数集的模型可能会落后。受人类如何查找相关信息来理解科学文本的启发,我们提出了一个新的框架,利用外部知识进行联合实体和关系抽取命名为KECI(知识增强集体推理)。给定一个输入文本,KECI首先构造一个初始跨度图,表示它对文本的初始理解。然后使用实体链接器形成包含文本中提到的实体的相关背景知识的知识图谱。为了做出最终的预测,KECI使用注意力机制将初始跨度图和知识图谱融合成一个更精细的图。KECI采用一种集体方法,通过使用图卷积网络将全局关系信息集成到局部表示中,将提及跨度与实体联系起来。我们的实验结果表明,该框架是非常有效的,在两个不同的基准数据集:BioRelEx(结合相互作用检测)和ADE(不良药物事件提取)实现了新的最先进的结果。例如,KECI在BioRelEx实体和关系抽取任务上的F1得分比最先进的技术分别提高了4.59%和4.91%。
2021-06-01 cs.CL
From Chaos to Clarity: Schema-Constrained AI for Auditable Biomedical Evidence Extraction from Full-Text PDFs
Methodological Implementation Research(方法学实施研究);Ottawa Hospital Research Institute(渥太华医院研究所在);School of Engineering Design and Teaching Innovation(工程设计与教学创新学院)
本文提出了一种基于模式约束的AI系统,用于可审计地从复杂科学PDF中提取生物医学证据,提升提取精度和可追溯性。
2025-12-31 cs.CL
High-throughput Biomedical Relation Extraction for Semi-Structured Web Articles Empowered by Large Language Models
Tsinghua University(清华大学)
本文提出一种基于大语言模型的高通量生物医学关系抽取方法,将任务表述为二分类问题,结合外部语料库与世界知识进行事实验证,并针对半结构化网页文章优化实体匹配与文本检索,最终从三个网站提取超24万个三元组,性能媲美GPT-4。
2024-03-26 cs.AI cs.CL
MedDistant19: Towards an Accurate Benchmark for Broad-Coverage Biomedical Relation Extraction
German Research Center for Artificial Intelligence(德国人工智能研究中心);Saarland University(萨尔大学);Yale Center for Medical Informatics(耶鲁医学信息学中心);UCL Centre for Artificial Intelligence(伦敦大学学院人工智能中心)
由于缺乏标记数据和高昂的注释成本,生物医学领域的关系抽取具有挑战性,需要领域专家。远程监督通常用于通过将知识图谱关系与原始文本自动配对来解决注释数据的稀缺性。这样的流水线容易产生噪声,并且为覆盖大量生物医学概念的规模增加了挑战。我们调查了现有的广泛覆盖的远程监督生物医学关系抽取基准,发现训练和测试关系之间的重叠范围从26%到86%。此外,我们注意到这些基准测试的数据构建过程中存在一些不一致之处,并且在没有训练测试泄漏的情况下,重点是更窄的实体类型之间的交互。这项工作提出了一个更准确的基准MedDistant19广泛覆盖的远程监督的生物医学关系抽取,解决了这些缺点,并通过调整MEDLINE摘要与广泛使用的SNOMED临床术语知识库。缺乏与特定领域的语言模型进行彻底的评估,我们还进行实验验证一般领域的关系抽取的结果,生物医学关系抽取。
2022-09-13 cs.CL cs.LG
Biomedical Information Extraction for Disease Gene Prioritization
Stanford University(斯坦福大学);OccamzRazor
我们介绍了一个生物医学信息抽取(IE)管道,从文本中提取生物关系,并证明其组件,如命名实体识别(NER)和关系抽取(RE),优于国家的最先进的BioNLP。我们将其应用于数千万的PubMed摘要中,以提取蛋白质-蛋白质相互作用(PPI),并将这些提取增强到生物医学知识图谱中,该图谱已经包含从领先的结构化PPI数据库STRING中提取的PPI。我们表明,尽管已经包含来自已建立的结构化来源的PPI,但将我们自己的基于IE的提取增加到图中,使我们能够预测新的疾病-基因关联,hit@30相对增加20%,这是为未治愈疾病开发药物靶点的重要一步。
2020-11-12 cs.CL cs.LG
Pipelined Biomedical Event Extraction Rivaling Joint Learning
本文提出基于BERT的n元关系抽取方法构建Binding事件,在BioNLP GE11和GE13上F1达63.14%和59.40%,使流水线方法性能媲美甚至超越联合学习。
2024-03-19 cs.AI cs.CL
BioDEX: Large-Scale Biomedical Adverse Drug Event Extraction for Real-World Pharmacovigilance
Ghent University – imec(根特大学-校际微电子中心);Aarhus University(奥胡斯大学);Parexel AI Labs(帕雷塞尔人工智能实验室);Stanford University(斯坦福大学)
为改善药物警戒,本文提出大规模生物医学不良药物事件抽取资源BioDEX,包含大量文献与专家标注报告,并训练模型预测报告核心信息,发现最佳模型达62.3% F1但仍低于人类表现,具有显著提升空间。
2023-10-20 cs.CL
Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction
University of Delaware(特拉华大学);Weill Cornell Medicine(威尔康奈尔医学院)
在计算机视觉中,对比学习已被用于学习图像的高质量表示。然而,对比学习并没有被广泛地应用于自然语言处理中,这是由于缺乏一种通用的文本数据数据增强方法。在这项工作中,我们探索的方法,采用对比学习,以改善文本表示的BERT模型的关系抽取。我们的框架的关键旋钮是一个独特的对比预训练步骤,通过将语言知识无缝集成到数据增强中,为关系抽取任务量身定制。此外,我们研究了如何从外部知识库构建的大规模数据可以增强BERT的对比预训练的通用性。在三个关系抽取基准数据集上的实验结果表明,该方法能够提高BERT模型的表示能力,达到最佳性能。此外,我们通过展示具有对比预训练的BERT更多地依赖于预测的基本原理来探索模型的可解释性。我们的代码和数据可在https://github.com/udel-biotm-lab/BERT-CLRE上公开获取。
2021-04-28 cs.CL
Cross-lingual German Biomedical Information Extraction: from Zero-shot to Human-in-the-Loop
Saarland University(萨尔大学);German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Oldenburg(奥尔登堡大学)
本文介绍了我们的项目建议,从德国临床叙述中提取生物医学信息的注释数量有限。我们首先描述了迁移学习和主动学习的应用策略来解决我们的问题。在此之后,我们讨论了设计的用户界面提供模型检查和获得用户注释的交互环境。
2023-01-24 cs.CL cs.HC
Enhancing Biomedical Relation Extraction with Directionality
National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国立卫生研究院国立医学图书馆)
针对生物医学关系抽取缺乏方向性标注的问题,本文标注了BioRED语料库的实体角色,并提出带软提示学习的多任务语言模型,联合识别关系、新发现和方向性,优于GPT-4和Llama-3。
2025-01-23 cs.CL
Abstractified Multi-instance Learning (AMIL) for Biomedical Relation Extraction
University of California, San Diego(加州大学圣地亚哥分校);IBM Research-Almaden(IBM阿尔马登研究院)
生物医学领域中的关系抽取是一个具有挑战性的任务,由于缺乏标记数据和长尾分布的事实三元组。许多作品利用远程监督,通过将知识图谱与原始文本数据配对来自动生成标记数据。远程监督产生噪声标签,并需要额外的技术,如多实例学习(MIL),去噪的训练信号。然而,MIL需要多个数据实例,并且需要处理非常长尾的数据集,例如生物医学领域中的数据集。在这项工作中,我们提出了一种新的重新制定的MIL的生物医学关系抽取,抽象的生物医学实体到其相应的语义类型。通过按类型对实体进行分组,我们能够更好地利用MIL的优势,并进一步对训练信号进行降噪。我们展示了这种重新表述,我们称之为抽象化多实例学习(AMIL),提高了生物医学关系提取的性能。我们还提出了一种新的关系嵌入架构,进一步提高模型的性能。
2021-10-24 cs.CL cs.LG
A Benchmark for End-to-End Zero-Shot Biomedical Relation Extraction with LLMs: Experiments with OpenAI Models
Division of Biomedical Informatics(生物医学信息学系);Department of Internal Medicine(内科部);University of Kentucky(肯塔基大学)
本文提出一个基于LLM的端到端零样本生物医学关系抽取基准,评估了OpenAI模型在不同数据集上的表现,发现其在部分数据集上接近监督方法,但在复杂输入上仍有不足。
2026-01-13 cs.CL
Predicting Annotation Difficulty to Improve Task Routing and Model Performance for Biomedical Information Extraction
Google AI(谷歌人工智能);University of Pennsylvania(宾夕法尼亚大学);Northeastern University(东北大学)
现代NLP系统需要高质量的注释数据。在专业领域,专家注释可能过于昂贵。另一种选择是依靠众包来降低成本,但可能会带来噪音。在本文中,我们证明了直接建模实例的难度可以用来提高模型的性能,并路由实例到适当的注释器。我们的难度预测模型结合了两个学习表示:一个“通用”编码器训练的域外数据,和一个特定于任务的编码器。使用专家和外行注释器对复杂的生物医学信息抽取任务进行的实验表明:(i)简单地从训练数据中排除预测为困难的实例会产生性能的小幅提升;(ii)在训练过程中使用难度分数来加权实例提供进一步的一致收益;(iii)将预测为困难的实例分配给领域专家是任务路由的有效策略。我们的实验证实了预期,专业任务专家注释质量高于人群标签,因此,如果可行,最好获得。此外,用更大的一组外行注释来扩充少量的专家数据会进一步提高模型性能。
2019-05-19 cs.CL
Benchmarking Large Language Models for Biomedical Relation Extraction
Interdisciplinary School of Doctoral Studies(跨学科博士研究学院);Faculty of Mathematics and Computer Science, University of Bucharest(布加勒斯特大学数学与计算机科学学院);HLT Research Center(HLT研究中心)
本研究在SNPPhenA语料库上基准测试多种LLM,发现OpenAI O1和微调Gemini 2.0 Pro分别在句子级和关联强度分类中取得最佳性能,证实了现代LLM在基因组知识提取中的优势。
2026-09-17 cs.CL
Entangled Relations: Leveraging NLI and Meta-analysis to Enhance Biomedical Relation Extraction
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出MetaEntailRE方法,通过元类别分析、可行假设过滤和分组预测选择三项增强,将关系抽取转化为文本蕴含任务,在BioRED和ReTACRED上分别取得17.6和13.4个百分点的F1提升。
2025-03-07 cs.CL
ANCHOR-RE: An Agentic Biomedical Relation Extraction Framework with Retrieval Augmentation and Error-Driven Verification
该研究提出ANCHOR-RE框架,将本体引导推理等集成到LLM推理中,在多个BioRE基准及2026年生物医学文章数据集上,该框架性能优于直接LLM提示及部分现有方法,是实用的无训练生物医学文献挖掘方法。
2026-10-15 cs.CL
Joint Learning-based Causal Relation Extraction from Biomedical Literature
Soochow University(苏州大学);The Hong Kong Polytechnic University(香港理工大学)
生物医学实体的因果关系抽取是生物医学文本挖掘中最复杂的任务之一,涉及实体关系和实体函数两类信息。一种可行的方法是将关系抽取和函数检测作为两个独立的子任务。然而,这种分离的学习方法忽略了它们之间的内在相关性,并导致性能不令人满意。本文提出了一种联合学习模型,将实体关系抽取和实体功能检测结合起来,利用它们的共性,捕捉它们之间的相互关系,从而提高生物医学因果关系抽取的性能。同时,在模型训练阶段,损失函数中的不同函数类型被分配不同的权重。具体地说,针对负函数实例的惩罚系数增加,有效地提高了函数检测的精度。在BioCreative-V Track 4语料库上的实验结果表明,我们的联合学习模型在BEL语句提取方面优于单独的模型,在第2阶段和第1阶段的测试集上分别获得了58.4%和37.3%的F1分数。这表明,我们的联合学习系统达到了最先进的性能,在第二阶段与其他系统相比。
2022-08-02 cs.AI cs.CL
A Data-driven Approach for Noise Reduction in Distantly Supervised Biomedical Relation Extraction
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
事实三元组是生物医学领域中使用的结构化知识的常见形式。随着非结构化科学文本数量的持续增长,用于关系抽取任务的这些文本的手动注释变得越来越昂贵。远程监控提供了一种可行的方法来解决这个问题,它可以快速生成大量带标签但噪音很大的数据。我们的目标是通过扩展实体丰富的关系分类BERT模型的多实例学习的问题,并定义一个简单的数据编码方案,显着降低噪声,达到国家的最先进的性能远程监督生物医学关系抽取,以减少这种噪音。我们的方法进一步编码知识的关系三元组的方向,允许通过减少噪音和减轻联合学习与知识图谱完成的需要,增加对关系学习的关注。
2020-05-26 cs.CL cs.LG
Knowledge-augmented Pre-trained Language Models for Biomedical Relation Extraction
Humboldt-Universität zu Berlin(洪堡大学柏林分校);AstraZeneca(阿斯利康)
本文在统一评估框架下评估了知识增强的预训练语言模型在生物医学关系抽取中的表现,发现底层模型选择与超参数优化是关键,且外部知识对小模型提升显著。
2025-06-01 cs.CL
Using Neural Networks for Relation Extraction from Biomedical Literature
LASIGE, Faculdade de Ciências, Universidade de Lisboa(里斯本大学理学院 LASIGE 实验室)
使用不同的信息源来支持自动提取生物医学概念之间的关系,有助于我们对生物系统的理解的发展。这些关系的主要综合来源是生物医学文献。已经提出了几种关系抽取方法来识别生物医学文献中概念之间的关系,即使用神经网络算法。使用由多个数据表示组成的多通道架构,如在深度神经网络中,正在产生最先进的结果。数据表示的正确组合最终可以使我们在关系抽取任务中获得更高的评估分数。因此,生物医学本体通过提供关于实体的语义和祖先信息而发挥基本作用。生物医学本体的纳入已经被证明可以增强以前的最先进的结果。
2020-09-18 cs.CL cs.LG stat.ML
An Entity-based Claim Extraction Pipeline for Real-world Biomedical Fact-checking
Institut für Maschinelle Sprachverarbeitung, University of Stuttgart(斯图加特大学机器语言处理研究所)
本文提出面向医学推文的声明抽取流程,结合命名实体识别与实体链接,研究自动实体检测和术语规范化对真实世界生物医学事实核查的影响。
2023-04-11 cs.CL
Sentence Bag Graph Formulation for Biomedical Distant Supervision Relation Extraction
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);University of Rochester(罗切斯特大学);School of Electrical and Information Engineering, Beijing University of Civil Engineering and Architecture(北京建筑大学电气与信息工程学院);Beijing Key Laboratory of Intelligent Processing for Building Big Data, Beijing University of Civil Engineering and Architecture(北京建筑大学北京市建筑大数据智能处理重点实验室)
本文提出句子袋图建模框架,通过消息传递聚合实体对信息并融合句间依赖,有效缓解远程监督关系抽取中的噪声标注问题,在生物医学和通用文本数据集上均显著超越现有方法。
2023-10-29 cs.CL cs.LG
A Domain-Specific Curated Benchmark for Entity and Document-Level Relation Extraction
University of Padova(帕多瓦大学)
本文提出GutBrainIE基准,用于生物医学领域实体和文档级关系提取,通过精细标注和多任务设计提升IE方法的评估与开发
2026-02-04 cs.CL
Multi-layer Sequence Labeling-based Joint Biomedical Event Extraction
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Department of Chinese and Bilingual Studies, The Hong Kong Polytechnic University(香港理工大学中文及双语学系)
针对生物医学事件抽取现有方法复杂、未有效显式利用触发词信息的问题,提出基于多层序列标注的联合抽取方法MLSL,显式融入候选触发词信息学习交互关系,以简单工作流实现更优的抽取性能。
2024-08-14 cs.AI cs.CL
Global Locality in Biomedical Relation and Event Extraction
IBM Research Australia(IBM澳大利亚研究院)
随着生物医学文献数量的快速增长,事件和关系抽取成为生物医学文本挖掘的重要任务。大多数工作只关注于关系抽取,并且在短的文本跨度上检测单个实体对提及,由于出现在生物医学背景中的长句,这是不理想的。我们提出了一种方法,关系和事件提取,同时预测所有提及对在一个文本中的关系。我们还进行了实证研究,以讨论不同的网络设置,为此目的。性能最佳的模型包括一组多头注意力和卷积,适应的Transformer架构,它提供了自我注意力的能力,以加强相关元素之间的依赖关系,并模拟多个注意力头提取的特征之间的相互作用。实验结果表明,我们的方法优于最先进的一组基准生物医学语料库,包括BioNLP 2009,2011,2013和BioCreative 2017共享任务。
2020-05-07 cs.CL cs.IR cs.LG
Biomedical relation extraction with pre-trained language representations and minimal task-specific architecture
BenevolentAI(贝尼沃伦泰人工智能)
本文介绍了我们参与2019年BioNLP开放共享任务的AGAC轨道。我们为任务3提供了一个解决方案,其目的是提取“基因-功能变化-疾病”三元组,其中“基因”和“疾病”分别提到特定的基因和疾病,“功能变化”是四种预定义的关系类型之一。我们的系统扩展了BERT(Devlin等人,2018),一个最先进的语言模型,它从一个大型的未标记的语料库中学习上下文语言表示,其参数可以微调,以最小的额外架构解决特定的任务。我们在BERT中将提及对及其文本上下文编码为两个连续序列,由特殊符号分隔。然后,我们使用一个线性层将它们的关系分为五类(四个预定义的,以及“没有关系”)。尽管有相当大的类不平衡,我们的系统显着优于随机基线,同时依赖于一个非常简单的设置,没有专门设计的功能。
2019-09-26 cs.CL