Bioformer: an efficient transformer language model for biomedical text mining
Sun Yat-sen University(中山大学);National Institutes of Health(美国国立卫生研究院);University of Pennsylvania(宾夕法尼亚大学)
预训练的语言模型,如来自Transformers的双向编码器表示(BERT),在自然语言处理(NLP)任务中实现了最先进的性能。最近,BERT已被应用于生物医学领域。尽管有效,但这些模型具有数亿个参数,并且在应用于大规模NLP应用时计算昂贵。我们假设原始BERT的参数数量可以大大减少,对性能的影响很小。在这项研究中,我们提出了Bioformer,一个紧凑的BERT模型的生物医学文本挖掘。我们预训练了两个Bioformer模型(名为Bioformer 8L和Bioformer 16 L),与BERTBase相比,它们将模型大小减少了60%。Bioformer使用生物医学词汇表,并在PubMed摘要和PubMed Central全文文章上从头开始进行预训练。我们全面评估了Bioformer以及现有生物医学BERT模型(包括BioBERT和PubMed BERT)在四种不同生物医学NLP任务(命名实体识别、关系抽取、问答和文档分类)的15个基准数据集上的性能。结果表明,在参数减少60%的情况下,Bioformer 16 L的准确度仅比PubMedBERT低0.1%,而Bioformer 8L的准确度比PubMedBERT低0.9%。Bioformer 16 L和Bioformer 8L的性能均优于BioBERTBase-v1.1。此外,Bioformer 16 L和Bioformer 8…
2023-02-03 cs.CL
Comparison of Syntactic Parsers on Biomedical Texts
Luxembourg Center for Contemporary and Digital History, University of Luxembourg(卢森堡大学卢森堡当代与数字历史中心);Luxembourg Center for Systems Biomedicine, University of Luxembourg(卢森堡大学卢森堡系统生物医学中心)
句法分析是以信息抽取为目的的自动文本分析中的重要环节。句法分析的质量在很大程度上决定了文本挖掘结果的查全率和查准率。在本文中,我们评估了几个流行的句法分析器在生物医学文本挖掘中的应用性能。
2020-08-17 cs.CL
BioGPT: Generative Pre-trained Transformer for Biomedical Text Generation and Mining
Microsoft Research AI4Science(微软研究院AI4Science);Peking University(北京大学);Microsoft Research(微软研究院)
本文提出BioGPT,一个在大规模生物医学文献上预训练的领域特定生成式Transformer语言模型,解决了现有生物医学预训练模型缺乏生成能力的问题,在六个生物医学NLP任务上表现优异并创下新纪录。
2023-04-03 cs.AI cs.CL
A framework for information extraction from tables in biomedical literature
University of Manchester(曼彻斯特大学);AstraZeneca plc(阿斯利康公司)
科学文献呈指数级增长,专业人员无法应付当前的出版物数量。文本挖掘在过去提供了从文本中检索和提取信息的方法,然而,这些方法大多忽略了表格和图形。在挖掘表数据方面所做的研究仍然没有一个综合的挖掘方法,可以考虑表的所有复杂性和挑战。我们的研究正在检查从临床文献中的表格中提取数字(患者数量、年龄、性别分布)和文本(不良反应)信息的方法。本文提出了一个需求分析模板和一个完整的临床领域表格信息抽取方法,包括7个步骤:(1)表格检测,(2)功能处理,(3)结构处理,(4)语义标注,(5)语用处理,(6)单元选择和(7)句法处理和抽取。根据变量、任务及其复杂性的不同,我们的方法的F度量值在82%到92%之间。
2019-02-26 cs.CL cs.CV cs.LG
COVID-19Base: A knowledgebase to explore biomedical entities related to COVID-19
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
我们正在介绍COVID-19 Base,这是一个基于文献挖掘的知识库,突出了与COVID-19疾病相关的生物医学实体。为开发COVID-19数据库,我们从公开的科学文献和相关公共资源中挖掘信息。我们考虑了七个特定主题的字典,包括人类基因,人类miRNA,人类lncRNA,疾病,蛋白质数据库,药物和药物副作用,整合以挖掘与COVID-19相关的所有科学证据。我们采用了一种自动化的文献挖掘和标记系统,通过一种新的方法来衡量基于自然语言处理、情感分析和深度学习的药物对疾病的有效性。据我们所知,这是第一个专门针对COVID-19的知识库,通过文献挖掘整合了如此大量的相关生物医学实体。对开采的生物医学实体以及COVID-19 Base中报告的已识别的相互作用进行适当调查,将有助于研究界发现COVID-19治疗的可能方法。
2020-05-12 cs.CL cs.DL cs.IR
A Retrieval-Augmented Knowledge Mining Method with Deep Thinking LLMs for Biomedical Research and Clinical Support
Guangzhou National Laboratory(广州国家实验室);BYHEALTH Institute of Nutrition & Health(汤臣倍健营养与健康研究院)
提出基于深度思考LLM的检索增强知识挖掘方法,通过构建BioStrataKG和BioCDQA,并引入IP-RAR框架提升检索与推理能力,显著优于现有方法,助力临床与科研决策。
2025-03-29 cs.CL
Quantitative Evidence Mining for Plausibility-Aware Biomedical AI: A Narrative Review and Conceptual Framework
Fraunhofer Institute for Algorithms and Scientific Computing (SCAI)(弗劳恩霍夫算法与科学计算研究所(SCAI));Kairntech SAS(Kairntech公司);Bonn-Aachen International Center for Information Technology (b-it), University of Bonn(波恩大学波恩-亚琛国际信息技术中心(b-it))
该研究针对生物医学AI证据提取的缺陷,提出定量证据挖掘框架,将提取的主张作为可审计证据对象,以构建可信度感知AI。
2026-09-23 cs.CL
BioPars: A Pretrained Biomedical Large Language Model for Persian Biomedical Text Mining
Department of Computer Science, Faculty of Education, University of Kufa(计算机科学系,教育学院,科菲大学);Department of Computer Science, Florida State University(计算机科学系,佛罗里达州立大学);Department of Computer Engineering, Velayat University(计算机工程系,瓦莱yat大学);Department of Mechanical Engineering, Amirkabir University of Technology(机械工程系,阿米卡比尔技术大学);Department of Computer Engineering, Ferdowsi University of Mashhad(计算机工程系,法尔德大学)
本文提出面向波斯语生物医学文本挖掘的预训练大语言模型BioPars,并构建BIOPARS-BENCH和BioParsQA数据集,在波斯语医学问答任务上取得优于GPT-4等模型的结果。
2025-07-01 cs.AI cs.CL cs.LG
BiCA: Effective Biomedical Dense Retrieval with Citation-Aware Hard Negatives
University of Copenhagen(哥本哈根大学)
BiCA通过利用引用链接生成引用感知硬负样本,提升生物医学领域密集检索性能,实现零样本检索和长尾主题的优越表现。
2025-12-21 cs.CL cs.IR
Sectioning of Biomedical Abstracts: A Sequence of Sequence Classification Task
University of Delaware(特拉华大学)
生物医学文献的快速增长导致了生物医学文本挖掘领域的许多进展。在海量的信息中,生物医学文章摘要是最容易获取的信息来源。然而,以背景、目的、方法、结果和结论为分类的结构化摘要的数量仍然不多。序列句子分类任务的改进可以加快对生物医学摘要中有价值信息的探索。基于深度学习的模型在这项任务中取得重大成果方面具有很大的性能/潜力。然而,它们往往过于复杂,并过度拟合特定数据。在这个项目中,我们研究了一个最先进的深度学习模型,我们称之为SSN-4模型。我们调查的SSN-4模型的不同组成部分,研究性能和复杂性之间的权衡。我们探讨如何以及这个模型推广到一个新的数据集以外的随机对照试验(RCT)数据集。我们解决的问题是,词嵌入是否可以调整到任务,以提高性能。此外,我们开发了第二个模型,解决了第一个模型中的混淆对。结果表明,SSN-4模型似乎没有推广到RCT数据集之外。
2022-01-18 cs.CL cs.LG
Quantifying Similarity: Text-Mining Approaches to Evaluate ChatGPT and Google Bard Content in Relation to BioMedical Literature
Faculty of Computer Science, AGH(AGH计算机科学学院);Sano Centre for Computational Medicine(Sano计算医学中心)
本研究通过文本挖掘和网络分析比较ChatGPT与Google Bard生成的临床内容与生物医学文献的相似度,发现ChatGPT在文档相似度、二元词组及网络中心性上均优于Google Bard,且能产生文献中不存在的新术语链接以启发新假设。
2024-02-11 cs.CL cs.DL cs.IR
Global Locality in Biomedical Relation and Event Extraction
IBM Research Australia(IBM澳大利亚研究院)
随着生物医学文献数量的快速增长,事件和关系抽取成为生物医学文本挖掘的重要任务。大多数工作只关注于关系抽取,并且在短的文本跨度上检测单个实体对提及,由于出现在生物医学背景中的长句,这是不理想的。我们提出了一种方法,关系和事件提取,同时预测所有提及对在一个文本中的关系。我们还进行了实证研究,以讨论不同的网络设置,为此目的。性能最佳的模型包括一组多头注意力和卷积,适应的Transformer架构,它提供了自我注意力的能力,以加强相关元素之间的依赖关系,并模拟多个注意力头提取的特征之间的相互作用。实验结果表明,我们的方法优于最先进的一组基准生物医学语料库,包括BioNLP 2009,2011,2013和BioCreative 2017共享任务。
2020-05-07 cs.CL cs.IR cs.LG
BioSentVec: creating sentence embeddings for biomedical texts
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国立卫生研究院国家医学图书馆国家生物技术信息中心)
句子嵌入已经成为当今自然语言处理(NLP)系统的重要组成部分,特别是与先进的深度学习方法结合在一起。尽管在一般领域中可以使用预训练的句子编码器,但迄今为止还不存在用于生物医学文本的编码器。在这项工作中,我们介绍了BioSentVec:第一个开放的句子嵌入集,使用来自PubMed学术文章和MIMIC-III临床数据库中的临床笔记的超过3000万个文档进行训练。我们评估BioSentVec嵌入在两个句子对相似性任务,在不同的文本类型。我们的基准测试结果表明,与其他竞争对手相比,BioSentVec嵌入可以更好地捕捉句子语义,并在两项任务中实现最先进的性能。我们希望BioSentVec能够促进生物医学文本挖掘的研究和开发,并补充生物医学词嵌入的现有资源。BioSentVec可在https://github.com/ncbi-nlp/BioSentVec上公开获取
2020-01-24 cs.AI cs.CL cs.LG
BioBERT Based SNP-traits Associations Extraction from Biomedical Literature
University of Tehran(德黑兰大学);Tarbiat Modares University(塔比亚特·莫达雷斯大学)
本文提出BioBERT-GRU方法,从生物医学文献中提取SNP与性状的关联,并在SNPPhenA数据集上取得优于以往机器学习与深度学习方法的性能。
2023-08-03 cs.CL
Towards Effective Sentence Simplification for Automatic Processing of Biomedical Text
Arizona State University(亚利桑那州立大学)
生物医学文章特有的句子的复杂性对自然语言解析器提出了挑战,自然语言解析器通常在非技术文本的大规模语料库上进行训练。我们提出了一个文本简化过程,生物医学,旨在降低句子的复杂性,在生物医学摘要,以提高处理后的句子的句法分析器的性能。句法分析通常是文本挖掘管道中的第一步。因此,性能的任何改进都会对所有处理步骤产生连锁反应。我们评估我们的方法使用语料库的生物医学句子注释的句法链接。我们的实证结果表明,当处理简化的句子,而不是原来的句子在语料库中的Charniak-McClosky分析器和4.23%的链接语法分析器的2.90%的改善。
2010-01-24 cs.CL
A Brief Survey of Text Mining: Classification, Clustering and Extraction Techniques
University of Georgia(佐治亚大学)
每天生成的文本数量正在急剧增加。这些大量的非结构化文本不能简单地被计算机处理和感知。因此,需要高效和有效的技术和算法来发现有用的模式。文本挖掘是从文本中提取有意义信息的任务,近年来受到了广泛的关注。在本文中,我们描述了几个最基本的文本挖掘任务和技术,包括文本预处理,分类和聚类。此外,我们简要介绍了文本挖掘在生物医学和医疗保健领域。
2017-07-28 cs.AI cs.CL cs.IR
Biomedical Document Clustering and Visualization based on the Concepts of Diseases
Purdue School of Engineering and Technology, IUPUI(印第安纳大学与普渡大学印第安纳波利斯联合分校普渡工程与技术学院)
文档聚类是一种文本挖掘技术,用于在数字图书馆或在线语料库中提供更好的文档搜索和浏览。基于现有本体的生物医学文档聚类已经有了很多研究。但是,医学概念的关联和同现并没有很好地表示使用本体。在本研究中,提出了一种疾病概念的向量表示和概念间的相似性度量。他们在语料库的背景下识别最接近的疾病概念。每个文档都使用向量空间模型表示。一个权重计划,提出了考虑本地内容和概念之间的关联。采用自组织映射作为文档聚类算法。SOM的矢量投影和可视化特性使其能够可视化和分析二维的空间上的聚类分布和相互关系。实验结果表明,提出的文档聚类框架产生有意义的集群,并促进可视化的疾病概念的基础上的集群。
2018-10-22 cs.AI cs.CL cs.LG
Data Mining in Clinical Trial Text: Transformers for Classification and Question Answering Tasks
University of Bristol(布里斯托大学);University of Sussex(萨塞克斯大学)
本研究将自然语言处理的最新进展应用于基于医学文本的证据合成。感兴趣的文本包括英文和多语种背景下的临床试验摘要。主要重点是通过人口,干预,比较和结果(PICO)框架表征的信息,但数据提取并不限于这些领域。最近的神经网络架构的基础上Transformers器显示迁移学习和下游自然语言处理任务,如通用阅读理解,提出了这种架构的使用上下文的词嵌入和自我注意力机制的性能提高。本文有助于解决PICO句子预测任务中的歧义相关问题,以及强调如何训练命名实体识别系统的注释用于训练高性能,但灵活的体系结构系统评价自动化中的问答。此外,它还演示了如何通过增强来解决PICO实体提取的训练注释量不足的问题。本文中的所有模型都是为了支持系统性综述(半)自动化而创建的。他们取得了很高的F1分数,并证明了应用基于变换的分类方法,以支持生物医学文献中的数据采掘的可行性。
2020-01-30 cs.CL cs.LG
BioALBERT: A Simple and Effective Pre-trained Language Model for Biomedical Named Entity Recognition
School of Computer Science, University of Sydney(悉尼大学计算机科学学院);School of Information Technology, Deakin University(迪肯大学信息技术学院)
近年来,随着生物医学文档数量的不断增长,以及自然语言处理算法的不断进步,生物医学命名实体识别(BioNER)的研究呈指数级增长。然而,BioNER研究是具有挑战性的NER在生物医学领域是:(i)往往受到限制,由于有限的训练数据量,(ii)实体可以指多个类型和概念,这取决于其上下文,(iii)严重依赖于首字母缩略词是子域特定的。现有的BioNER方法往往忽视这些问题,直接采用在一般语料库中训练的最先进的(SOTA)模型,这往往会产生不满意的结果。我们提出了生物医学ALBERT(一个精简的双向编码器表示从Transformers的生物医学文本挖掘)bioALBERT,一个有效的特定领域的语言模型训练的大规模生物医学语料库,旨在捕捉生物医学上下文相关的NER。我们采用了ALBERT中使用的自监督损失,专注于建模句子间的连贯性,以更好地学习上下文相关的表示,并采用参数减少技术来降低内存消耗并提高BioNER的训练速度。在我们的实验中,BioALBERT在八个生物医学NER基准数据集上的表现优于SOTA BioNER模型,这些数据集具有四种不同的实体类型。我们训练了BioALBERT模型的四种不同变体,可供研究界在未来的研究中使用。
2020-09-19 cs.CL
Biomedical Entity Linking with Triple-aware Pre-Training
HITEC e.V.(HITEC协会);Universität Hamburg(汉堡大学)
针对通用大语言模型在生物医学实体链接中存在的实体稀疏、缺乏实体间语义关联等问题,提出利用知识图谱合成语料预训练生成式大模型的新框架,但实验未证实加入同义词、描述或关系信息可提升性能。
2023-08-28 cs.AI cs.CL
BioConceptVec: creating and evaluating literature-based biomedical concept embeddings on a large scale
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国立卫生研究院国立医学图书馆国家生物技术信息中心)
捕获相关生物学概念的语义,如基因和突变,对于计算生物学中的许多研究任务,如蛋白质-蛋白质相互作用检测,基因-药物关联预测和基于生物医学文献的发现具有重要意义。在这里,我们建议利用最先进的文本挖掘工具和机器学习模型,通过向量表示(又名。嵌入)的超过400,000生物学概念中提到的整个PubMed摘要。我们学习的嵌入,即BioConceptVec,可以根据文献中的周围上下文信息捕获相关概念,这超出了精确的术语匹配或基于共现的方法。BioConceptVec已在多个生物信息学任务中进行了全面评估,这些任务包括来自9个不同生物数据集的2500多万个实例。评估结果表明,BioConceptVec在所有任务中具有比现有方法更好的性能。最后,BioConceptVec通过https://github.com/ncbi-nlp/BioConceptVec免费提供给研究社区和公众。
2019-12-23 cs.CL cs.IR cs.LG
Measuring Risk of Bias in Biomedical Reports: The RoBBR Benchmark
Laboratory for Emerging Intelligence(新兴智能实验室);University of California, San Diego(加州大学圣地亚哥分校)
本文提出RoBBR基准,基于500多项生物医学研究构建偏倚风险评估任务,并分析大语言模型推理与检索能力对评估效果的影响。
2025-09-19 cs.CL
Open Domain Suggestion Mining Leveraging Fine-Grained Analysis
Delhi Technological University(德里理工大学)
建议挖掘任务通常在语义上是复杂的,并且缺乏可以应用于现实世界数据的复杂方法。跨大量领域的建议的存在以及缺乏大型标记和平衡的数据集使得这项任务特别具有挑战性。为了克服这些挑战,我们提出了一个两层管道,利用话语标记基于过采样和细粒度的建议挖掘技术,从在线论坛检索建议。通过对真实世界的开放域建议数据集进行广泛比较,我们展示了过采样技术与基于Transformer的细粒度分析相结合如何超越最新技术水平。此外,我们还进行了广泛的定性和定性分析,以赋予构造有效性我们提出的管道。最后,我们讨论了我们的管道在网络上的部署的实际,计算和再现性方面。
2020-07-11 cs.CL
Effective Use of Bidirectional Language Modeling for Transfer Learning in Biomedical Named Entity Recognition
Petuum Inc(Petuum公司)
生物医学命名实体识别(NER)是医学文档文本挖掘的一项基础工作,具有广泛的应用前景。近年来,基于深度学习的方法越来越受到关注,因为它们的参数可以端到端学习,而不需要手工设计的功能。然而,这些方法依赖于高质量的标记数据,这是昂贵的获得。为了解决这个问题,我们研究如何使用未标记的文本数据来提高NER模型的性能。具体来说,我们训练一个双向语言模型(BiLM)的未标记的数据和转移其权重“预训练”NER模型与相同的架构的BiLM,这导致在一个更好的参数初始化的NER模型。我们评估了我们的方法在四个基准数据集的生物医学NER,并表明,它导致了一个实质性的改善F1分数相比,国家的最先进的方法。我们还表明,BiLM权重转移导致更快的模型训练和预训练模型需要更少的训练样本,以达到特定的F1分数。
2018-08-15 cs.CL
Enhancing Readmission Prediction with Deep Learning: Extracting Biomedical Concepts from Clinical Texts
提出结合BDSS文本嵌入、PCA特征提取与MLP的再入院预测方法,在MIMIC-III上以94%召回率和75%AUC超越现有方法。
2024-04-06 cs.AI cs.CL
Joint Learning-based Causal Relation Extraction from Biomedical Literature
Soochow University(苏州大学);The Hong Kong Polytechnic University(香港理工大学)
生物医学实体的因果关系抽取是生物医学文本挖掘中最复杂的任务之一,涉及实体关系和实体函数两类信息。一种可行的方法是将关系抽取和函数检测作为两个独立的子任务。然而,这种分离的学习方法忽略了它们之间的内在相关性,并导致性能不令人满意。本文提出了一种联合学习模型,将实体关系抽取和实体功能检测结合起来,利用它们的共性,捕捉它们之间的相互关系,从而提高生物医学因果关系抽取的性能。同时,在模型训练阶段,损失函数中的不同函数类型被分配不同的权重。具体地说,针对负函数实例的惩罚系数增加,有效地提高了函数检测的精度。在BioCreative-V Track 4语料库上的实验结果表明,我们的联合学习模型在BEL语句提取方面优于单独的模型,在第2阶段和第1阶段的测试集上分别获得了58.4%和37.3%的F1分数。这表明,我们的联合学习系统达到了最先进的性能,在第二阶段与其他系统相比。
2022-08-02 cs.AI cs.CL
Taiyi: A Bilingual Fine-Tuned Large Language Model for Diverse Biomedical Tasks
Dalian University of Technology(大连理工大学)
本文提出双语微调生物医学大语言模型Taiyi,基于140个中英数据集和两阶段监督微调策略,在13个测试集上验证其多任务性能优于通用LLM。
2023-12-19 cs.AI cs.CL
Flood of Techniques and Drought of Theories: Emotion Mining in Disasters
Lehigh University(理海大学);University of Georgia(佐治亚大学)
本文梳理了灾害情境下情绪挖掘的研究现状,指出其技术准确率尚可但普遍缺乏理论驱动,并呼吁计算机科学与社会科学的跨学科合作以提升方法的稳健性与可靠性。
2024-09-03 cs.CL
Harvesting comparable corpora and mining them for equivalent bilingual sentences using statistical classification and analogy- based heuristics
平行句子是一种相对稀缺但非常有用的资源,对于许多应用,包括跨语言检索和统计机器翻译。这项研究探索了我们从以前获得的可比语料库中挖掘此类数据的新方法。这项任务是非常实用的,因为非平行的多语言数据存在的数量远远超过平行语料库,但平行的句子是一个更有用的资源。在这里,我们提出了一种网络爬行方法,用于从例如维基百科转储和Euronews网页构建主题对齐的可比语料库。机器翻译的改进显示在各种文本域的波兰语-英语语言对上。我们还测试了另一种基于可比语料库数据构建平行语料库的方法。它可以自动扩大现有的语料库的句子从语料库的主题之间的类比的基础上。
2015-11-18 cs.CL stat.ML
Detecting Speculative Language in Biomedical Texts using Recurrent Neural Tensor Networks
Stevens Institute of Technology(史蒂文斯理工学院)
利用分布式句子表示和深度学习技术,提出递归神经张量网络(RNTN)用于自动检测生物医学文献中的推测性语言,性能略优于线性双元SVM(F1=0.885 vs 0.881)。
2026-06-09 cs.AI cs.CL
PubMedCausal: A Span-Level Annotated Corpus for Causal Relation Extraction in Biomedical Text
Edyah Limited(Edyah有限公司);University of Ibadan(伊巴丹大学);Indiana University(印第安纳大学);Creighton University(克雷顿大学)
为解决现有资源将因果关系与广义关联混淆、限制句子级标注或仅关注显式因果线索的问题,构建了基于PubMed摘要的跨度级因果关抽取语料库PubMedCausal,包含30,000段落级行、3,945因果行和6,491个裁决的因果对,并基准测试了判别式编码器和开源生成模型。
2026-10-28 cs.CL
Deeper Clinical Document Understanding Using Relation Extraction
John Snow Labs Inc.(John Snow Labs 公司)
大量的生物医学文献和数字化临床记录对文本挖掘技术提出了越来越大的需求,这些技术不仅可以识别非结构化数据中的实体,而且还可以在语义上关联实体。在本文中,我们提出了一个文本挖掘框架,包括命名实体识别(NER)和关系抽取(RE)模型,扩展了以前的工作在三个主要方面。首先,我们介绍了两种新的RE模型架构-一种基于BioBERT的精度优化架构和一种利用全连接神经网络(FCNN)上的精心制作的功能的速度优化架构。其次,我们在公共基准数据集上评估了这两个模型,并在2012年i2 b2临床时间关系挑战赛中获得了最新的F1分数(F1为73.6,比之前的SOTA高出1.2%),2010年i2 b2临床关系挑战(F1为69.1,+1.2%),2019年表型-基因关系数据集(F1为87.9,+8.5%),2012年药物不良事件药物反应数据集(F1为90.0,+6.3%)和2018 n2 c2剂量学关系数据集(F1为96.7,+0.6%)。第三,我们展示了这个框架的两个实际应用--用于构建生物医学知识图谱和用于提高将实体映射到临床代码的准确性。该系统使用Spark NLP库构建,该库提供了一个生产级,原生可扩展,硬件优化,可训练和可调的NLP框架。
2021-12-25 cs.AI cs.CL cs.LG
A PubMed-Scale Dataset of Structured Biomedical Abstracts
Department of Biomedical Informatics & Data Science, School of Medicine, Yale University(耶鲁大学生物医学信息学与数据科学系,医学院)
针对PubMed中大量非结构化摘要阻碍下游文本处理的问题,构建了包含2320万条记录的结构化摘要语料库,其中590万条来自官方XML,1720万条通过大语言模型自动标注,统一为五段格式。
2026-06-11 cs.CL cs.IR
Into the Single Cell Multiverse: an End-to-End Dataset for Procedural Knowledge Extraction in Biomedical Texts
Rice University(莱斯大学);University of Washington(华盛顿大学)
针对生物医学文本程序性知识提取缺乏端到端数据集的问题,提出FlaMBé数据集,涵盖单细胞研究流程标注及最大规模组织/细胞类型NER/NED数据,助力NLP模型发展并推动研究可重复性。
2023-09-04 cs.CL
Drug and Disease Interpretation Learning with Biomedical Entity Representation Transformer
Insilico Medicine(英矽智能)
自由文本中的概念规范化是文本挖掘流程中的关键步骤。基于来自Transformers的双向编码器表示(BERT)的神经架构在生物医学领域取得了最先进的成果。在药物发现和开发的背景下,临床试验对于确定药物的有效性和安全性是必要的。我们调查的有效性转移概念规范化从一般的生物医学领域的临床试验域中的zero-shot设置与标记数据的情况下。我们提出了一个简单而有效的两阶段神经方法的基础上微调BERT架构。在第一阶段,我们训练一个度量学习模型,通过三元组损失优化提及和概念的相对相似性。该模型在现有的科学摘要标注语料库上进行训练,以获得文本中概念名称和实体提及的向量嵌入。在第二阶段中,我们在嵌入空间中找到与给定临床提及最接近的概念名称表示。我们评估了几个模型,包括最先进的架构,在摘要数据集和真实世界的试验记录数据集上,将干预措施和条件映射到药物和疾病术语。大量的实验验证了我们的方法在知识转移的有效性,从科学文献到临床试验。
2021-01-22 cs.CL cs.IR
BioRED: A Rich Biomedical Relation Extraction Dataset
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国立卫生研究院国家医学图书馆国家生物技术信息中心);University of Delaware(特拉华大学)
从生物医学文献中自动提取关系抽取(RE)对于研究和现实世界中的许多下游文本挖掘应用至关重要。然而,用于生物医学RE的大多数现有基准数据集仅关注单一类型的关系(例如,蛋白质-蛋白质相互作用),极大地限制了RE系统在生物医学中的发展。在这项工作中,我们首先审查常用的命名实体识别(NER)和RE数据集。然后,我们介绍了BioRED,这是一个具有多种实体类型(例如,基因/蛋白质、疾病、化学物质)和关系对(例如,基因-疾病;化学-化学)在文件级别,对一组600 PubMed摘要。此外,我们将每个关系标记为描述新发现或先前已知的背景知识,从而使自动算法能够区分新信息和背景信息。我们评估BioRED的效用,通过基准测试几个现有的国家的最先进的方法,包括基于BERT的模型,在NER和RE任务。我们的研究结果表明,虽然现有的方法可以达到高性能的NER任务(F分数为89.3%),有很大的改进空间的RE任务,特别是在提取新的关系(F分数为47.7%)。我们的实验还表明,这样一个丰富的数据集可以成功地促进更准确,高效和强大的RE系统的生物医学的发展。BioRED数据集和注释指南可在https://ftp.ncbi.nlm.nih.gov/pub/lu/BioRED/上免费获得。
2022-06-19 cs.CL
Textual Data Mining for Financial Fraud Detection: A Deep Learning Approach
HKUST(香港科技大学)
本文利用HKEX公告提取欺诈公司MD&A文本,并对比MLP、RNN、LSTM和GRU等深度学习模型在金融欺诈二元分类任务中的准确性,为金融欺诈检测提供了有价值的实证参考。
2023-08-05 cs.AI cs.CL cs.LG
PubSqueezer: A Text-Mining Web Tool to Transform Unstructured Documents into Structured Data
每天发表的科学论文数量令人生畏,而且还在不断增加。与文学同行是一个挑战。如果一个人想开始探索新的主题,不阅读大量的文章是很难有一个大局。此外,当一个人阅读文学作品时,建立心理联系对于提出可能导致发现的新问题至关重要。在这项工作中,我提出了一个Web工具,它使用文本挖掘策略将大量的非结构化生物医学文章转化为结构化数据。生成的结果可以快速概述可能暗示未明确报告信息的复杂主题。特别是,我展示了两个数据科学分析。首先,我提出了一个基于文献的罕见疾病网络使用这个工具,希望它将有助于澄清这些不太流行的病理学的一些方面。其次,我展示了如何与PubSqueezer结果进行基于文献的分析,可以描述已知的事实,SARS冠状病毒2。一句话,PubSqueezer生成的数据可以轻松地在任何计算分析中使用科学知识,如机器学习,自然语言处理等。可用性:http://www.pubsqueezer.com
2020-11-09 cs.CL cs.IR q-bio.QM
Data-to-Value: An Evaluation-First Methodology for Natural Language Projects
University of Zurich(苏黎世大学);Thomson Reuters(汤森路透);Essex University(埃塞克斯大学);Coburg University of Applied Sciences(科堡应用科学大学);University of Sheffield(谢菲尔德大学)
大数据,即大规模地收集、存储和处理数据,最近由于由应用级分布式并行操作系统(如HDFS/Hadoop/Spark)驱动的商品计算机集群的到来而成为可能,并且这样的基础设施已经大规模地革命化了数据采掘。为了使数据采掘项目更加一致地取得成功,开发了一些方法(例如CRISP-DM,SEMMA,KDD),但这些方法没有考虑到(1)非常大规模的处理,(2)处理文本(非结构化)数据(即自然语言处理(NLP,“文本分析”)),以及(3)非技术考虑因素(例如法律,道德,项目管理方面)。为了解决这些缺点,引入了一种称为“数据到价值”(D2 V)的新方法,该方法由详细的问题目录指导,以避免大数据文本分析项目团队在面对通常与方法相关的相当抽象的框和箭头图时与主题脱节。
2022-01-19 cs.CL stat.ME
AIONER: All-in-one scheme-based biomedical named entity recognition using deep learning
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)(美国国立卫生研究院国家医学图书馆国家生物技术信息中心);School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院)
针对生物医学命名实体识别数据标注成本高、易过拟合且泛化能力有限的问题,提出基于深度学习的多合一方案及通用工具AIONER,利用外部标注数据增强模型性能,在14个基准任务上表现优异且支持大规模文本处理。
2023-05-16 cs.AI cs.CL
DiMB-RE: Mining the Scientific Literature for Diet-Microbiome Associations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
构建了最大且最多样化的饮食-微生物组关联标注语料库DiMB-RE,并微调NLP模型与评估生成式大模型,发现微调模型在实体识别表现尚可但关系提取受限于领域复杂性,为生物医学文献挖掘提供了基准。
2025-03-29 cs.CL
Revolutionizing Process Mining: A Novel Architecture for ChatGPT Integration and Enhanced User Experience through Optimized Prompt Engineering
Iran University of Science and Technology(伊朗科技大学);Shahid Beheshti University(沙希德·贝赫什提大学)
本研究提出将ChatGPT集成到流程挖掘工具的新型架构,通过为各子模块定制提示工程策略、依托ETL流程实现对话式交互,经17家企业数据验证,72%结果获专家“良好”评价,有效提升用户体验与分析可及性。
2024-05-17 cs.CL
Recent Advances in Automated Question Answering In Biomedical Domain
IIT Delhi(印度理工学院德里分校);TCS Research(TCS研究院)
自动化问答(QA)系统的目标是以时间有效的方式为用户查询提供答案。答案通常可以在数据库(或知识库)或通常称为语料库的文档集合中找到。在过去的几十年里,知识的获取激增,因此生物医学领域的新科学文章呈指数增长。因此,即使是领域专家,也很难跟踪领域中的所有信息。随着商业搜索引擎的改进,用户可以键入他们的查询并获得与回答他们的查询最相关的一小组文档,以及在某些情况下来自文档的相关片段。然而,手动查找所需的信息或答案可能仍然是乏味和耗时的。这就需要开发高效的QA系统,其目的是为生物医学领域中用户提供的自然语言问题找到准确和精确的答案。在本文中,我们介绍了用于开发一般领域QA系统的基本方法,其次是生物医学QA系统的不同方面,包括基准数据集和几个建议的方法,使用结构化数据库和收集的文本进行了深入的调查。我们还探讨了当前系统的局限性,并探索进一步发展的潜在途径。
2021-11-10 cs.AI cs.CL cs.IR
Evaluation of GPT and BERT-based models on identifying protein-protein interactions in biomedical text
University of North Dakota(北达科他大学);Bogazici University(博阿齐奇大学);University of Michigan(密歇根大学)
本研究在三个金标准生物医学语料库上评估GPT与BERT类模型的PPI识别性能,发现BERT类模型整体最优,GPT-4表现也接近顶尖BERT模型,为生物医学文献挖掘提供新方向。
2023-12-13 cs.AI cs.CL
Coronavirus Knowledge Graph: A Case Study
University of Texas at Austin(得克萨斯大学奥斯汀分校);Peking University(北京大学)
新型COVID-19疫情的出现在过去数月对全球医疗保健及经济产生重大影响。该病毒的迅速传播导致针对该流行病及其相关主题的生物医学研究激增。知识图谱是一种重要的知识发现工具,可以帮助生物医学研究界了解并最终找到治愈COVID-19的方法。CORD-19数据集是最近发表的关于COVID-19和冠状病毒主题的公开全文研究文章的集合。在这里,我们使用几种机器学习、深度学习和知识图谱构建和挖掘技术,从PubMed数据集和CORD-19数据集中形式化和提取见解,以识别COVID-19相关专家和生物实体。此外,我们还提出了预测相关疾病、候选药物、基因、基因突变和相关化合物的可能技术,作为应用知识发现方法帮助生物医学研究人员应对这一流行病的系统性努力的一部分。
2020-07-04 cs.AI cs.CL
AutoPCR: Automated Phenotype Concept Recognition by Prompting
University of Michigan(密歇根大学)
本文提出AutoPCR,一种基于提示的表型概念识别方法,无需领域特定训练即可自动泛化至新本体和未见数据,实验显示其在多个数据集上表现最佳。
2026-04-02 cs.CL
Learning to Rank Scientific Documents from the Crowd
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Massachusetts Medical School(马萨诸塞大学医学院)
在任何科学中,寻找相关的已发表文章都是一项重要的任务,但随着生物医学领域新工作的爆炸式增长,它变得特别具有挑战性。大多数现有的方法使用文本相似性度量来识别两篇文章是否相关。然而,生物医学知识发现是假设驱动的。最相关的文章可能不是具有最高文本相似性的文章。在这项研究中,我们首先开发了一种创新的众包方法来建立一个专家注释的文档排名语料库。使用这个语料库作为金标准,我们然后评估的方法,使用文本相似度排名的相关性的文章。最后,我们开发和评估了一个新的监督模型,自动排名相关的科学文章。我们的研究结果表明,作者的排名显着不同的排名基于文本相似性的模型。通过在注释语料库的一个子集上训练学习排名模型,我们发现最好的监督学习排名模型(SVM-Rank)显着超过了最先进的基线系统。
2016-11-04 cs.CL cs.DL cs.IR