Query-Focused Extractive Summarisation for Finding Ideal Answers to Biomedical and COVID-19 Questions
Macquarie University（麦考瑞大学）
本文介绍了麦考瑞大学对BioASQ协同任务和BioASQ 9 b B阶段的参与。在这些任务中，我们的参与集中在使用以查询为中心的提取摘要，以获得医学问题的理想答案。协同任务是一项关于COVID-19的端到端问答任务，系统需要返回相关文档、片段和给定问题的答案。由于缺乏训练数据，我们使用了一个以查询为中心的总结系统，该系统使用BioASQ 8b训练数据集进行训练，我们试验了检索文档和片段的方法。考虑到我们的系统检索到的文档和片段的质量很差，我们在返回的答案中观察到了相当好的质量。对于BioASQ 9 b任务的B阶段，相关文档和片段已包含在测试数据中。我们的系统将片段分割成候选句子，并在句子分类设置下使用BERT变体。该系统使用问题和候选句子作为输入，并经过训练以预测候选句子作为理想答案的一部分的可能性。运行获得了所有BioASQ 9 b批次的所有参与者的最佳或次佳ROUGE-F1结果。这表明，在分类设置中使用BERT是识别理想答案的非常强的基线。
2021-08-31 cs.CL cs.IR
BERT Goes to Law School: Quantifying the Competitive Advantage of Access to Large Legal Corpora in Contract Understanding
Lexion
在特定领域的语料库上微调语言模型，如BERT，已被证明在科学论文和生物医学文本等领域有价值。在本文中，我们表明，微调BERT的法律文件同样提供了宝贵的改善自然语言处理任务的法律领域。证明这一结果对于分析商业协议具有重要意义，因为由于其机密性，获得大型法律语料库具有挑战性。因此，我们表明，能够访问大型法律语料库是商业应用和分析合同的学术研究的竞争优势。
2019-11-01 cs.AI cs.CL cs.LG
A Multilingual Modeling Method for Span-Extraction Reading Comprehension
Tsinghua University（清华大学）；Beijing MoreHealth Technology Group Co. Ltd（北京妙健康科技集团有限公司）
跨度提取阅读理解模型已经取得了巨大的进步，这得益于大规模，高质量的训练数据集的可用性。尽管取得了如此迅速的进展和广泛的应用，但英语以外的其他语言的提取阅读理解数据集仍然很少，并且为每种语言创建如此大量的训练数据是昂贵的，甚至是不可能的。创建大规模高质量单语跨度提取训练数据集的替代方案是开发多语言建模方法和系统，其可以转换到目标语言而不需要该语言的训练数据。本文针对目标语言中提取阅读理解训练数据的稀缺性，提出了一种多语言提取阅读理解方法XLRC，该方法利用自适应注意和多语言注意同时对多语言环境中已有的提取阅读理解训练数据进行建模。具体而言，我们首先通过翻译现有的提取阅读理解数据集（即，CMRC 2018）从目标语言（即，中文）分为不同的语系（即，英文）。其次，为了提高最终的目标表示，我们采用自适应注意（SAA），结合自我注意和相互注意，提取每对目标和源语言的语义关系。此外，我们提出了多语言注意（MLA），学习丰富的知识，从各种语言的家庭。实验结果表明，我们的模型优于最先进的基线（即，RoBERTa_Large）在CMRC 2018任务上的应用，证明了我们提出的多语言建模方法的有效性，并显示了多语言NLP任务的潜力。
2021-05-31 cs.AI cs.CL
Sequence tagging for biomedical extractive question answering
Korea University（高丽大学）；AstraZeneca UK（阿斯利康英国分公司）；AstraZeneca SE（阿斯利康瑞典分公司）；AIGEN Sciences Inc.（AIGEN科学公司）
目前的研究提取问答（EQA）建模的单跨度提取设置，其中一个单一的答案跨度是一个标签来预测一个给定的问题-通道对。这种设置对于一般领域的EQA来说是很自然的，因为一般领域中的大多数问题都可以用一个跨度来回答。继一般领域EQA模型之后，当前的生物医学EQA（BioEQA）模型利用带有后处理步骤的单跨度提取设置。在这篇文章中，我们调查了一般和生物医学领域的问题分布，发现生物医学问题更可能需要列表型答案（多个答案）而不是事实型答案（单个答案）。这就需要模型能够为一个问题产生多个答案。基于这一初步研究，我们提出了一个序列标记方法的BioEQA，这是一个多跨度的提取设置。我们的方法直接处理问题的数量可变的短语作为他们的答案，并可以学习决定一个问题的答案数量从训练数据。我们在BioASQ 7 b和8b列表型问题上的实验结果优于现有的最佳模型，而无需后处理步骤。源代码和资源可在https://github.com/dmis-lab/SeqTagQA免费下载
2022-07-07 cs.CL
JEBS: A Fine-grained Biomedical Lexical Simplification Task
Tufts University（塔夫茨大学）；Johns Hopkins University（约翰霍普金斯大学）；Yale University（耶鲁大学）；National Library of Medicine（国家医学图书馆）
针对现有生物医学文本简化语料库混淆多种简化操作的问题，该研究提出细粒度词汇简化任务JEBS及对应数据集，涵盖三个子任务与多系统基线，为相关系统开发与评估提供支撑。
2025-06-15 cs.CL
A Hybrid Hierarchical 1D-CNN-BiLSTM Framework for Extractive Summarization of Biomedical and Clinical Text
NUCES-FAST Lahore（拉合尔国立计算机与新兴科学大学（FAST））
提出混合分层1D-CNN-BiLSTM框架，通过抽取式句子选择避免生成式幻觉，在生物医学文本摘要中优于基线，实现事实有据的可靠摘要。
2026-09-15 cs.CL
Neural Extractive Search
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
领域专家经常需要从大型语料库中提取结构化信息。我们提倡一种名为“提取搜索”的搜索范式，在这种范式中，搜索查询被丰富了捕获槽，以允许这种快速提取。这样的提取搜索系统可以围绕句法结构构建，从而产生高精度、低召回率的结果。我们展示了如何使用神经检索和对齐来提高召回率。本文的目标是简要介绍提取搜索范式，并展示了一个原型的神经检索系统提取搜索和它的好处和潜力。我们的原型可在\url{https://spike.neural-sim.apps.allenai.org/}上获得，视频演示可在\url{https://vimeo.com/559586687}上获得。
2021-06-08 cs.CL cs.IR
Learning A Unified Named Entity Tagger From Multiple Partially Annotated Corpora For Efficient Adaptation
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）；University of Southern California（南加州大学）；Outreach, Inc.（Outreach公司）
命名实体识别（NER）识别原始文本中提到的类型化实体。虽然任务已经很好地建立，但没有通用的标签集：通常，数据集被注释用于下游应用程序，因此只覆盖与特定任务相关的一小部分实体类型。例如，在生物医学领域，一个语料库可能注释基因，另一种化学物质和另一种疾病-尽管每个语料库中的文本包含对所有三种类型实体的引用。在本文中，我们提出了一个深度结构化的模型来整合这些“部分注释”的数据集，以共同识别出现在训练语料库中的所有实体类型。通过利用多个数据集，该模型可以学习鲁棒的输入表示;通过构建联合结构化模型，它避免了在测试时组合多个模型的预测所导致的潜在冲突。实验表明，当在多个部分注释的数据集上进行训练以及在包含来自多个训练语料库的标签的数据集上进行测试时，所提出的模型显著优于强多任务学习基线。
2019-10-04 cs.CL
The Effects of In-domain Corpus Size on pre-training BERT
Microsoft Corporation（微软公司）；Coleridge Initiative（科尔里奇倡议组织）
许多先前的语言建模工作已经表明，在域内语料库上进行预训练可以显着提高下游特定领域NLP任务的性能。然而，与收集足够的域内数据相关的困难可能会阻止研究人员接近这个预训练任务。在本文中，我们进行了一系列的实验，预训练双向编码器表示从Transformers（BERT）与不同大小的生物医学语料库。结果表明，与在一般语料库上预训练的微调模型相比，在相对少量的域内数据（4GB）上进行预训练，训练步骤有限，可以在下游特定领域的NLP任务上获得更好的性能。
2022-12-15 cs.CL
Query-focused Extractive Summarisation for Biomedical and COVID-19 Complex Question Answering
Macquarie University（麦考瑞大学）
本文介绍了麦考瑞大学参与最近两个BioASQ协同任务（截至2022年6月）和BioASQ 10任务B（BioASQ 10 b），阶段B。在这些任务中，参与系统预计将生成生物医学问题的复杂答案，其中答案可能包含一个以上的句子。我们采用以查询为中心的提取摘要技术。特别地，我们遵循基于句子分类的方法，该方法对与问题相关联的每个候选句子进行评分，并且将$n$得分最高的句子作为答案返回。Synergy Task对应于一个端到端系统，它需要文档选择、片段选择和找到最终答案，但它的训练数据非常有限。对于Synergy任务，我们选择了两个阶段的候选句子：文档检索和片段检索，最终的答案是通过使用一个DistilBERT/ALBERT分类器，已被训练的训练数据的BioASQ 9 b。使用BioASQ组织者提供的搜索API对CORD-19数据进行标准搜索，实现了文件检索，并通过使用问题和候选句子的余弦相似性对检索到的顶级文件的句子进行重新排序，实现了片段检索。我们观察到，通过sBERT表示的向量具有超过tf. idf的边缘。BioASQ 10 b B阶段侧重于寻找生物医学问题的具体答案。对于这项任务，我们遵循以数据为中心的方法。我们假设第一个BioASQ年的训练数据可能有偏差，我们用训练数据的不同子集进行了实验。当系统在BioASQ 10 b训练数据的后半部分上训练时，我们观察到结果的改善。
2022-09-05 cs.CL
Jointly Embedding Entities and Text with Distant Supervision
The Ohio State University（俄亥俄州立大学）；National Institutes of Health（美国国立卫生研究院）；Washington University in St. Louis（圣路易斯华盛顿大学）
知识库实体和概念的学习表示对于NLP应用变得越来越重要。然而，最近的实体嵌入方法依赖于为新域和语料库创建昂贵的结构化资源。我们提出了一种远程监督的方法，用于联合学习嵌入的实体和文本从unnanotated语料库，只使用实体和表面形式之间的映射列表。我们从开放领域和生物医学语料库中学习嵌入，并与依赖于人类注释文本或大型知识图谱结构的先前方法进行比较。我们的嵌入比以前的工作更好地捕捉实体相似性和相关性，无论是在现有的生物医学数据集还是我们发布给社区的新的基于维基百科的数据集。类比完成和实体意义消歧的结果表明，实体和词捕捉互补的信息，可以有效地结合下游使用。
2018-07-09 cs.AI cs.CL
Making Science Simple: Corpora for the Lay Summarisation of Scientific Literature
University of Sheffield（谢菲尔德大学）；Beihang University（北京航空航天大学）
本文构建PLOS与eLife两个含专家通俗摘要的生物医学文献数据集，刻画其可读性与抽象性差异，并通过主流模型基准测试和专家人工评估验证效用。
2023-12-12 cs.CL
Applying deep learning techniques on medical corpora from the World Wide Web: a prototypical system and evaluation
Medical University of Vienna（维也纳医科大学）；University of Alicante（阿利坎特大学）；Medical University of Graz（格拉茨医科大学）
背景技术背景：生物医学文献的数量正在迅速增长，并且越来越难以保持手动管理的知识库和本体最新。在这项研究中，我们将word 2 vec深度学习工具包应用于医学语料库，以测试其从非结构化文本中识别关系的潜力。我们评估了word 2 vec在基于网络上的中型非结构化医学文本语料库识别药物属性方面的效率。属性包括与疾病的关系（“可以治疗”）或生理过程（“具有生理效应”）。我们将word 2 vec识别的关系与来自国家药物文件参考术语（NDF-RT）本体的手动策划信息作为金标准进行了比较。研究结果：我们的研究结果显示，最大的准确率为49.28%，这表明有限的能力word 2 vec捕捉语言的收集医学语料库相比，其他已发表的结果。我们能够记录不同参数设置对结果准确性的影响，并发现排名质量和准确性之间的意外权衡。预处理语料库，以减少句法的变化被证明是一个很好的策略，提高训练的向量模型的效用。结论：Word 2 vec是一个非常有效的实现，用于计算向量表示，并能够在没有任何先验领域知识的情况下识别文本数据中的关系。我们发现word 2 vec生成的排名和检索结果的质量不足以自动填充知识库和本体，但可以作为进一步手动策展的起点。
2015-02-12 cs.CL cs.IR cs.LG
Building the Intent Landscape of Real-World Conversational Corpora with Extractive Question-Answering Transformers
Bell Canada（加拿大贝尔）
对于提供客户服务的公司来说，在会话数据中映射意图对于构建基于自然语言理解（NLU）的应用程序至关重要。然而，目前还没有建立自动化技术来从嘈杂的在线聊天或语音记录中收集意图。简单的聚类方法不适合意图稀疏的对话。为了解决这个意图景观任务，我们提出了一个无监督的管道，从现实世界的对话中提取意图和意图的分类。我们的管道使用提取问答Electra模型挖掘意图跨度候选项，并利用句子嵌入应用低级别密度聚类，然后是顶级层次聚类。我们的研究结果证明了在SQuAD 2数据集上微调的ELECTRA大型模型的泛化能力，以理解对话。通过正确的提示问题，该模型实现了超过85%的意图跨度的语言验证率。我们还从MultiDoGo数据集重建了五个领域的意图方案，平均召回率为94.3%。
2022-08-30 cs.AI cs.CL cs.LG
Improved Biomedical Word Embeddings in the Transformer Era
University of Kentucky（肯塔基大学）
生物医学词嵌入通常是在自由文本语料库上预先训练的，神经方法可以捕获局部和全局分布特性。它们在下游任务中被利用，使用各种神经架构，旨在优化可能进一步调整此类嵌入的特定任务目标。然而，自2018年以来，从这些静态嵌入到由语言模型驱动的上下文嵌入（例如，ELMo、诸如BERT和ULMFiT的Transformers）。这些动态嵌入还有一个额外的好处，即能够根据上下文区分同音异义词和首字母缩略词。然而，静态嵌入在低资源设置（例如，智能设备，物联网元素），并从计算语言学的角度研究词汇语义。在本文中，我们共同学习单词和概念嵌入，首先使用跳过语法方法，并进一步微调它们与相关信息，体现在共同出现的医学主题标题（MeSH）的概念，在生物医学引文。这种微调是在两句输入模式下使用BERT Transformer架构完成的，其分类目标是捕获MeSH对共现。从本质上讲，我们重新设计了一个Transformer架构（通常用于生成动态嵌入），以使用概念相关性来改进静态嵌入。我们使用多个数据集对这些调整后的静态嵌入进行评估，这些数据集是由以前的努力开发的。在没有选择性地剔除概念和术语的情况下（正如以前的工作所追求的那样），我们相信我们提供了迄今为止最详尽的静态嵌入评估，并全面提高了性能。我们为下游应用和研究工作提供公开使用的代码和嵌入：https://github.com/bionlproc/BERT-CRel-…
2021-07-23 cs.CL
PhenoTagger: A Hybrid Method for Phenotype Concept Recognition using Human Phenotype Ontology
National Center for Biotechnology Information (NCBI), National Library of Medicine (NLM), National Institutes of Health (NIH)（国家生物技术信息中心（NCBI），国家医学图书馆（NLM），国立卫生研究院（NIH））；The Jackson Laboratory for Genomic Medicine（杰克逊基因组医学实验室）
从非结构化文本中自动识别表型概念一直是生物医学文本挖掘研究的一个挑战性课题。以前的工作，解决的任务通常使用基于字典的匹配方法，可以实现高精度，但遭受较低的召回。最近，基于机器学习的方法被提出来识别生物医学概念，它可以通过自动特征学习来识别更多看不见的概念同义词。然而，大多数方法需要大量的人工标注数据进行模型训练，由于人工标注的成本很高，因此很难获得。在本文中，我们提出了PhenoTagger，一个混合的方法，结合字典和机器学习为基础的方法来识别人类表型本体（HPO）的概念，在非结构化的生物医学文本。我们首先使用HPO中的所有概念和同义词来构建一个字典，然后使用它来自动构建一个用于机器学习的远程监督训练数据集。接下来，训练一个尖端的深度学习模型，将每个候选短语（来自输入句子的n-gram）分类到相应的概念标签中。最后，结合基于字典和机器学习的预测结果以提高性能。我们的方法进行了验证与两个HPO语料库，结果表明，PhenoTagger相比，优于以前的方法。此外，为了证明我们的方法的通用性，我们使用疾病本体MEDIC对PhenoTagger进行了重新训练，以研究不同本体的训练效果。NCBI疾病语料库上的实验结果表明，PhenoTagger不需要手动注释的训练数据实现竞争力的性能相比，国家的最先进的监督方法。
2021-01-25 cs.CL
BioBERT: a pre-trained biomedical language representation model for biomedical text mining
Korea University（高丽大学）；Clova AI Research, Naver Corp（Naver公司Clova人工智能研究院）
随着生物医学文档数量的快速增长，生物医学文本挖掘变得越来越重要。随着自然语言处理（NLP）的发展，从生物医学文献中提取有价值的信息越来越受到研究人员的欢迎，深度学习推动了有效的生物医学文本挖掘模型的发展。然而，直接应用自然语言处理的进步，生物医学文本挖掘往往会产生不满意的结果，由于一个词的分布偏移从一般领域语料库的生物医学语料库。在这篇文章中，我们研究了最近引入的预训练语言模型BERT如何适用于生物医学语料库。我们介绍了BioBERT（Bidirectional Encoder Representations from Transformers for Biomedical Text Mining），这是一个在大规模生物医学语料库上预训练的特定领域语言表示模型。在任务之间具有几乎相同的架构，BioBERT在生物医学语料库上进行预训练时，在各种生物医学文本挖掘任务中的性能大大优于BERT和以前的最先进模型。虽然BERT获得的性能与以前的国家的最先进的模型，生物BERT显着优于他们在以下三个代表性的生物医学文本挖掘任务：生物医学命名实体识别（0.62%的F1分数提高），生物医学关系抽取（2.80%的F1分数提高）和生物医学问答（12.24%的MRR提高）。我们的分析结果表明，生物医学语料库上的预训练BERT有助于它理解复杂的生物医学文本。我们在https：//github.com/na…
2019-10-18 cs.CL
Developing a general-purpose clinical language inference model from a large corpus of clinical notes
Bakar Computational Health Sciences Institute, University of California, San Francisco（加州大学旧金山分校巴卡尔计算健康科学研究所）；Center for Data-driven Insights and Innovation, University of California, Office of the President（加州大学校长办公室数据驱动洞察与创新中心）；University of California, San Francisco（加州大学旧金山分校）
已经开发了几种用于临床语言推理的生物医学语言模型。然而，这些模型通常使用通用词汇表，并在相对较小的临床语料库上进行训练。我们试图评估使用特定领域的词汇和大型临床训练语料库对这些语言模型在临床语言推理中的性能的影响。我们使用在加州大学旧金山分校（UCSF）撰写的7500万份去识别临床笔记的多样化、去识别语料库，从Transformers（BERT）模型中训练了一个双向编码器解码器。我们评估了几个临床语言推理基准任务：临床和时间概念识别，关系抽取和医学语言推理的模型。我们还评估了我们的模型上的两个任务，从加州大学旧金山分校的出院摘要：诊断代码分配和治疗类推理。我们的模型在公共基准任务上的表现与最好的公开可用的生物医学语言模型相当，并且在使用UCSF数据的两个任务的系统内评估中明显优于这些模型。域内词汇表的使用似乎改善了较长文档的编码。使用大型临床语料库似乎可以提高文档编码和推理的准确性。然而，需要进一步的研究，以提高缩写分辨率，数值，时间和隐含的因果推理。
2022-10-12 cs.CL
Revised JNLPBA Corpus: A Revised Version of Biomedical NER Corpus for Relation Extraction Task
Academia Sinica（中央研究院）；National Yang Ming University（国立阳明大学）；National Tsing-Hua University（国立清华大学）；National Central University（国立中央大学）
生物医学命名实体识别（BNER）和生物医学关系抽取（BRE）研究的进展推动了生物领域文本挖掘的发展。作为BRE的基石，需要健壮的BNER系统来识别纯文本中提到的NE，以用于进一步的关系抽取阶段。然而，目前的BNER语料库，在这些任务中发挥了重要作用，很少注意达到BRE任务的标准。在本研究中，我们提出了修订的JNLPBA语料库，JNLPBA语料库的修订，扩大了一个NER语料库的适用性，从BNER到BRE任务。我们保留了原始的实体类型，包括蛋白质，DNA，RNA，细胞系和细胞类型，而JNLPBA语料库中的所有摘要都是由领域专家根据新的注释准则重新手工策划的，该准则专注于特定的NE而不是一般术语。同时指出了JNLPBA中存在的一些不足之处，并在新的语料库中得到了弥补。为了比较不同的NER系统在修订的JNLPBA和JNLPBA语料库中的适应性，测量了三个开源NER系统（BANNER，Gimli和NERSuite）的F1-measure。在相同的情况下，所有系统的性能平均提高10%，在JNLPBA的JNLPBA的修订。此外，交叉验证测试，我们训练的NER系统上JNLPBA/修订JNLPBA语料库，并评估在蛋白质相互作用提取（PPIE）和生物医学事件提取（BEE）语料库的性能，以确认新的改进JNLPBA是一个称职的生物医学关系应用的NER语料库。修订后的JNLPBA语料库可在iasl-btm.…
2019-01-29 cs.CL cs.IR
BVS Corpus: A Multilingual Parallel Corpus of Biomedical Scientific Texts
Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
BVS数据库（保健虚拟图书馆）是拉丁美洲和加勒比生物医学信息的集中来源，创建于1998年，由BIREME（区域医学图书馆）与泛美卫生组织（OPAS）协调。摘要有英语、西班牙语和葡萄牙语版本，其中一个子集有一种以上的语言版本，因此可能是平行语料库的来源。在这篇文章中，我们提出了平行语料库的发展，从BVS在三种语言：英语，葡萄牙语和西班牙语。使用Hunalign算法自动对齐EN/ES和EN/PT语言对的句子，以及三语文章的子集。我们通过为每个语言对训练神经机器翻译（OpenNMT）系统来展示我们语料库的能力，该系统在科学生物医学文章中的表现优于相关工作。句子对齐也进行了手动评估，在所有语言中平均有96%的句子正确对齐。我们的平行语料库是免费提供的，有关于文章元数据的补充信息。
2019-05-05 cs.CL cs.IR
Benchmarking for Biomedical Natural Language Processing Tasks with a Domain Specific ALBERT
The University of Sydney（悉尼大学）
生物医学文本数据的可用性和自然语言处理（NLP）的进步使生物医学NLP的新应用成为可能。使用领域特定语料库训练或微调的语言模型可以胜过一般模型，但迄今为止，生物医学NLP的工作在语料库和任务方面受到限制。我们提出了BioALBERT，这是一个特定于领域的自适应Transformers（ALBERT）的精简双向编码器表示，在生物医学（PubMed和PubMed Central）和临床（MIMIC-III）语料库上进行了训练，并针对20个基准数据集的6个不同任务进行了微调。实验表明，BioALBERT在命名实体识别（+11.09%BLURB分数提高）、关系抽取（+0.80%BLURB分数）、句子相似度（+1.05%BLURB分数）、文档分类（+0.62%F1-分数）和问答（+2.83%BLURB分数）方面优于现有技术。它代表了20个基准数据集中的17个的最新技术水平。通过提供BioALBERT模型和数据，我们的目标是帮助生物医学NLP社区避免培训的计算成本，并为未来广泛的生物医学NLP任务建立一套新的基线。
2021-07-09 cs.CL
NUBES: A Corpus of Negation and Uncertainty in Spanish Clinical Texts
Vicomtech Foundation（维孔特克基金会）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA））；HiTZ centre（HiTZ中心）；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））
本文介绍了NUBes语料库的第一个版本（西班牙语生物医学文本中的否定和不确定性注释）。该语料库是一项正在进行的研究的一部分，目前由29，682个句子组成，这些句子来自匿名健康记录，并附有否定和不确定性。文章包括一个详尽的比较与西班牙语类似的语料库，并提出了主要的注释和设计决策。此外，我们使用深度学习算法进行初步实验，以验证带注释的数据集。据我们所知，NUBes是西班牙语中最大的公开否定语料库，也是第一个包含推测线索，范围和事件注释的语料库。
2020-04-02 cs.CL
How Important is Domain Specificity in Language Models and Instruction Finetuning for Biomedical Relation Extraction?
University of Kentucky, Lexington, KY USA（肯塔基大学）
本文在四个生物医学关系抽取数据集上比较通用与生物医学预训练LM及不同指令微调来源，发现通用模型通常更优，而少量生物医学指令微调即可取得与通用指令微调相近的收益。
2025-07-25 cs.CL
GRETEL: Graph Contrastive Topic Enhanced Language Model for Long Document Extractive Summarization
National Centre for Text Mining（国家文本挖掘中心）；The University of Manchester（曼彻斯特大学）；Chancefocus AMC
最近，神经主题模型（NTM）已被纳入到预训练的语言模型（PLM），以捕捉全局语义信息的文本摘要。然而，在这些方法中，仍然存在的方式，他们捕获和集成的全局语义信息的限制。在本文中，我们提出了一种新的模型，图对比主题增强语言模型（GRETEL），它结合了图对比主题模型与预训练的语言模型，充分利用全局和局部上下文语义的长文档提取摘要。为了更好地捕获全局语义信息并将其合并到PLM中，图对比主题模型集成了分层Transformer编码器和图对比学习，以融合来自全局文档上下文和黄金摘要的语义信息。为此，GRETEL鼓励模型有效地提取与黄金摘要主题相关的突出句子，而不是覆盖次优主题的冗余句子。在一般领域和生物医学数据集上的实验结果表明，我们提出的方法优于SOTA方法。
2022-08-21 cs.CL
What Do Biomedical NER and Entity Linking Benchmarks Measure? A Corpus-Centric Diagnostic Framework
National Library of Medicine（国家医学图书馆）
本文提出一种以语料库为中心的诊断框架，用于分析生物医学NER和实体链接基准测试的相关属性，揭示语料库特性对评估信号、泛化需求和基准测试结论范围的影响。
2026-05-19 cs.CL
Can Classical Semantic-Extractive Summarization Be Evaluated in Hindi? A Replication Study
University of Kashmir（克什米尔大学）；IBM Research（IBM研究院）；Manipal University Jaipur（马尼帕尔大学斋浦尔分校）
本研究复制并适配了经典语义抽取式摘要方法至印地语，发现其性能显著低于领先基线，特征消融表明仅句子位置有效，印地语基准无法奖励非领先内容，需构建专用评估资源。
2026-09-25 cs.AI cs.CL
KBioXLM: A Knowledge-anchored Biomedical Multilingual Pretrained Language Model
Institute of Artificial Intelligence, Soochow University（苏州大学人工智能研究院）；Peking University（北京大学）；The Hong Kong Polytechnic University（香港理工大学）；Pharmcube（药智魔方）；Changping Laboratory（昌平实验室）
针对生物医学领域多语言模型训练数据稀缺的问题，提出知识锚定模型KBioXLM，通过融入多粒度知识对齐与对应训练任务增强XLM-R的跨语言能力，在零样本和少样本场景下显著优于现有模型。
2023-11-20 cs.CL
Gextext: Disease Network Extraction from Biomedical Literature
目的：我们提出了一种完全无监督的方法，直接从非结构化生物医学文本语料库中学习潜在疾病网络。该方法解决了当前无监督知识提取中的挑战，例如检测远程依赖关系和大型训练语料库的要求。方法：设C为n个语块的语料库.设V是语料库中出现的p个疾病术语的集合。设X表示V在C中的出现。Gextext通过正相关的发生模式来识别疾病的相似性。这些信息被组合以生成一个图，在该图上测地距离描述相异性。通过Gextext和GloVE在100-1000份PubMed摘要的语料库上学习疾病。对生物医学语义相似性度量和基因图谱相似性进行了相似性矩阵估计验证。结果：Gextext推断的疾病体上的测地线距离与语义相似性的外部度量呈负相关。基因图谱相似性也与推断图上的接近性显著相关。Gextext在我们的实验中表现优于GloVE。Gextext图中包含的信息超过了文本中的显式信息内容。结论：Gextext从非结构化文本中提取潜在的关系，使PubMed摘要中的疾病组图完全无监督建模成为可能。
2019-12-17 cs.CL cs.DL
Experiments on transfer learning architectures for biomedical relation extraction
Loria, CNRS, Inria, Université de Lorraine（洛里亚研究所、法国国家科学研究中心、法国国家信息与自动化研究所、洛林大学）
关系抽取（RE）是从文本中自动识别和构造感兴趣的关系。最近，BERT提高了几个NLP任务的最佳性能，包括RE。然而，在机器学习架构和迁移学习策略中使用BERT的最佳方式仍然是一个悬而未决的问题，因为它高度依赖于每个特定的任务和领域。在这里，我们探索各种基于BERT的架构和迁移学习策略（即，冷冻或微调）用于两个语料库上的生物医学RE任务。在测试的架构和策略中，我们的 *BERT-segMCNN在两个语料库上的性能高于最先进的水平（在ChemProt和PGxCorpus语料库上分别有1.73%和32.77%的绝对改进）。更一般地说，我们的实验说明了使用BERT进行微调的预期兴趣，以及除了BERT经典地利用的上下文之外，使用结构信息（与句子分割）的未开发优势。
2020-11-24 cs.CL cs.LG
ELECTRAMed: a new pre-trained language representation model for biomedical NLP
Politecnico di Milano（米兰理工大学）
大量的生物医学科学文本要求开发能够处理广泛的生物医学自然语言处理（NLP）任务的有效语言模型。最新的主流方法是特定领域的模型，用一般领域的文本数据初始化，然后在各种科学语料库上训练。然而，已经观察到，对于存在大型语料库的专业领域，仅使用领域内知识从头开始训练模型可能会产生更好的结果。此外，越来越多的关注预训练的计算成本，最近导致了更有效的架构的设计，如ELECTRA。在本文中，我们提出了一个预先训练的特定领域的语言模型，称为ELECTRAMed，适合于生物医学领域。新的方法继承了一般域ELECTRA架构的学习框架，以及其计算优势。在几个生物医学NLP任务的基准数据集上进行的实验支持ELECTRAMed的有用性，它在BC 5CDR语料库上为命名实体识别设置了最新的最先进的结果，并在第7次BioASQ-factoid Challange的5次运行中为问答任务提供了2次最佳结果。
2021-04-19 cs.CL
From POS tagging to dependency parsing for biomedical event extraction
The University of Melbourne（墨尔本大学）
背景资料：鉴于从生物医学研究出版物中提取关系或事件以支持知识捕获和合成的重要性，以及该信息抽取任务对句法信息的强烈依赖性，了解哪些方法对生物医学文本的句法处理具有最高性能是有价值的。结果如下：我们在两个基准生物医学语料库GENIA和CRAFT上进行了一项实证研究，比较了最先进的传统基于特征的模型和基于神经网络的模型，用于词性（POS）标记和依存句法分析这两个核心自然语言处理任务。据我们所知，最近没有在生物医学背景下进行这种比较的工作;具体来说，没有对这些数据的神经模型进行详细分析。实验结果表明，在一般情况下，神经模型优于基于特征的模型在两个基准生物医学语料库GENIA和CRAFT。我们还进行了面向任务的评估，以调查这些模型在下游应用程序的生物医学事件提取的影响，并表明，更好的内在解析性能并不总是意味着更好的外在事件提取性能。结论：我们已经提出了一个详细的实证研究比较传统的基于特征的和基于神经网络的模型的POS标记和依存句法分析在生物医学的背景下，还调查了分析器的选择的生物医学事件提取下游任务的影响。数据和材料的可用性：我们在https://github.com/datquocnguyen/BioPosDep上提供重新训练的模型
2019-01-02 cs.CL
MedMentions: A Large Biomedical Corpus Annotated with UMLS Concepts
Chan Zuckerberg Initiative（陈·扎克伯格倡议）
本文介绍了正式发布的MedMentions，一个新的手动注释的资源，用于识别生物医学概念。MedMentions与其他注释生物医学语料库的区别在于它的大小（超过4，000个摘要和超过350，000个链接提及），以及概念本体的大小（来自UMLS 2017的300多万个概念）及其对生物医学学科的广泛覆盖。除了完整的语料库之外，还提供了MedMentions的子语料库，包括针对文档检索的UMLS 2017子集的注释。为了鼓励生物医学命名实体识别和链接方面的研究，该版本中包含了用于训练和测试的数据分割，还描述了用于实体链接的基线模型及其度量。
2019-02-25 cs.CL cs.LG
Applying BioBERT to Extract Germline Gene-Disease Associations for Building a Knowledge Graph from the Biomedical Literature
Charleston Southern University（查尔斯顿南方大学）；Medical University of South Carolina（南卡罗来纳医科大学）
本文提出SimpleGermKG，利用BioBERT提取种系基因与疾病，结合基于本体和规则的算法进行术语标准化与消歧，构建包含297个基因、130种疾病和46,747个三元组的知识图谱，并可视化展示实体与数据源的语义关系。
2024-04-22 cs.CL cs.CY
A Benchmark Evaluation of Clinical Named Entity Recognition in French
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）；LISN（计算机科学与数字技术跨学科实验室）；Sorbonne Université（索邦大学）；Inserm（法国国家健康与医学研究院）；Université Sorbonne Paris Nord（索邦巴黎北大学）；LIMICS（医学信息学与知识工程实验室）
本文首次对法语临床命名实体识别中的生物医学掩码语言模型进行基准评估，比较CamemBERT-bio、DrBERT及多个标准和多语言模型，发现CamemBERT-bio性能最佳、FlauBERT具有竞争力、FrAlBERT碳足迹最低。
2024-03-28 cs.AI cs.CL q-bio.QM
Improving accuracy of GPT-3/4 results on biomedical data using a retrieval-augmented language model
Genmab（杰特贝姆公司）
针对GPT-3/4等大模型在生物医学领域的幻觉问题，提出检索增强（RetA）方法，在DLBCL疾病的19个问题测试中，其准确性与相关性优于通用LLMs，证明特定领域语料库增强模型的有效性。
2023-05-30 cs.AI cs.CL
HunFlair2 in a cross-corpus evaluation of biomedical named entity recognition and normalization tools
Humboldt-Universität zu Berlin（柏林洪堡大学）；Ludwig Maximilian University Munich（慕尼黑大学）；Research Industrial Systems Engineering (RISE) Forschungs-, Entwicklungs- und Großprojektberatung GmbH（RISE工业系统工程研究开发及大型项目咨询有限责任公司）
本研究通过跨语料库基准测试评估了5种生物医学命名实体提取工具，发现其跨语料库性能显著下降，其中HunFlair2表现最佳，表明BTM工具在野外应用时需进一步提升稳健性。
2024-02-20 cs.CL
Recovering Patient Journeys: A Corpus of Biomedical Entities and Relations on Twitter (BEAR)
University of Stuttgart（斯图加特大学）
医学领域的文本挖掘和信息抽取主要集中在研究人员生成的科学文本上。然而，他们直接存取个别病人的经验或病人与医生的互动可能是有限的。在社交媒体上提供的信息，例如，患者及其家属的意见，补充了科学文本中的知识。它反映了病人的旅程和他们对症状发展过程的主观看法，被诊断和提供治疗，被治愈或学习与医疗条件一起生活。因此，这类数据的价值是双重的：首先，它提供了直接存取人们的观点。第二，它可能涵盖其他地方没有的信息，包括自我治疗或自我诊断。命名实体识别和关系抽取是对非结构化文本中可用的信息进行结构化的方法。然而，现有的医疗社交媒体语料库集中在一个非常小的实体和关系以及特定的领域，而不是把病人放在分析的中心。在本文中，我们贡献了一个语料库，其中包含一组丰富的注释层，旨在更详细地揭示和建模患者的旅程和体验。我们标记了14个实体类（包括环境因素、诊断、生物化学过程、患者的生活质量描述、病原体、医学状况和治疗）和20个关系类（例如，防止、影响、交互、原因），其中大部分在社交媒体数据之前都没有考虑过。公开的数据集包括2，100条推文，大约有2，000条推文。6,000个实体和3,000个关系注释。在语料库分析中，我们发现超过80%的文档包含相关实体。超过50%的推文表达了我们认为对于揭示患者对他们旅程的叙述至关重要的关系。
2022-04-21 cs.CL cs.IR
Knowledge-Driven Agentic Scientific Corpus Distillation Framework for Biomedical Large Language Models Training
Computer Network Information Center, Chinese Academy of Sciences, Beijing, China（中国科学院计算机网络信息中心）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学）；Duke-NUS Medical School, National University of Singapore, Singapore（新加坡国立大学杜克-新加坡医学部）
本文提出一种知识驱动的代理框架，用于生物医学大语言模型训练中的语料库精简，通过多代理协作提升问答任务性能。
2025-12-18 cs.AI cs.CL q-bio.QM
En-ViMedNER: An English-Vietnamese Parallel Biomedical Corpus with UMLS Semantic Type Annotations
College of Engineering and Computer Science, VinUniversity（VinUniversity工程与计算机科学学院）；Faculty of Engineering and IT, University of Technology Sydney（悉尼科技大学工程与信息技术学院）；Center for AI Research, VinUniversity（VinUniversity人工智能研究中心）；Monash University, Australia（莫纳什大学）
本文提出首个带UMLS语义类型标注的英越双语生物医学NER语料库En-ViMedNER，经多环节构建后在两类NER任务中取得F1值结果，相关资源公开发布以推动越南语生物医学NLP研究。
2026-09-01 cs.CL
Deep learning for extracting protein-protein interactions from biomedical literature
National Center for Biotechnology Information（国家生物技术信息中心）；National Library of Medicine（国家医学图书馆）；National Institutes of Health（国立卫生研究院）
用于蛋白质-蛋白质相互作用（PPI）提取的最新方法主要是通过利用词汇和句法信息的基于特征或基于核的方法。但是如何将这些知识融入到最近的深度学习方法中仍然是一个悬而未决的问题。本文提出了一种基于多通道依赖性的卷积神经网络模型（McDepCNN）。它将一个通道应用于句子中每个单词的嵌入向量，另一个通道应用于相应单词的头部的嵌入向量。因此，该模型可以使用从不同渠道获得的更丰富的信息。在两个公共基准数据集AIMed和BioInfer上的实验表明，McDepCNN与最先进的基于丰富特征和单核的方法相比毫不逊色。此外，McDepCNN在跨语料库评估方面的F1分数比最先进的方法提高了24.4%，在“困难”实例上的F1分数比基于内核的方法提高了12%。这些结果表明，McDepCNN更容易在不同的语料库中推广，并且能够捕获句子中的长距离特征。
2017-06-07 cs.CL cs.LG q-bio.QM
Localising In-Domain Adaptation of Transformer-Based Biomedical Language Models
University of Pavia（帕维亚大学）；IRCCS Istituto Centro San Giovanni di Dio Fatebenefratelli（圣乔瓦尼·迪·迪奥·法泰贝内弗拉泰利研究所IRCCS中心）
本文以意大利语为用例，比较基于机器翻译的大规模数据和高质量小规模原生语料两种域内自适应方法，发现数据数量约束更严格，但高质量数据拼接可提升生物医学语言模型性能。
2023-06-28 cs.AI cs.CL cs.LG
Injecting Structured Biomedical Knowledge into Language Models: Continual Pretraining vs. GraphRAG
本文提出通过持续预训练和GraphRAG两种方法将结构化生物医学知识注入语言模型，提升其在生物医学领域的表现，实验显示BERTUMLS在知识密集型问答任务中表现优异，GraphRAG在PubMedQA和BioASQ上提升显著。
2026-04-03 cs.AI cs.CL cs.LG
Pre-training technique to localize medical BERT and enhance biomedical BERT
Osaka University Graduate School of Medicine（大阪大学医学系研究科）；Osaka University（大阪大学）
本文提出通过对领域语料上采样并扩充词汇表进行均衡同步预训练，以解决医学等小语料领域 BERT 训练困难问题，并在日语医学分类和 BLUE 基准上验证了模型性能提升。
2021-02-25 cs.CL
