Fine-Tuned Large Language Models for Symptom Recognition from Spanish Clinical Text
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carleton University（卡尔顿大学）
本研究针对临床症状识别需求，参与SympTEMIST西班牙文医疗文本症状检测共享任务，提出结合多组经主办方发布数据微调的大语言模型的方案，为临床信息抽取及决策支持系统构建提供支撑。
2024-01-28 cs.CL cs.LG
GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain
深度神经语言模型在自然语言处理（NLP）的许多任务中取得了新的突破。最近的研究表明，深度Transformer语言模型（在大量文本上进行预训练）可以实现与最先进的模型相当的高水平的特定于任务的Few-Shot性能。然而，这些大语言模型在Few-Shot迁移学习中的能力尚未在生物医学领域中被探索。我们研究了两个强大的Transformer语言模型，即GPT-3和BioBERT，在各种生物医学NLP任务的Few-Shot设置的性能。实验结果表明，在很大程度上，这两种模型的表现都不如在完整训练数据上微调的语言模型。虽然GPT-3已经在开放域NLP任务的Few-Shot知识转移方面取得了接近最先进的结果，但它无法像BioBERT那样有效，BioBERT比GPT-3小几个数量级。关于BioBERT已经在大型生物医学文本语料库上进行了预训练，我们的研究表明，语言模型可能在很大程度上受益于特定于任务的少样本学习中的域内预训练。然而，域内预训练似乎是不够的;在生物医学NLP领域需要新的预训练和少样本学习策略。
2022-06-01 cs.AI cs.CL cs.LG
AMMU : A Survey of Transformer-based Biomedical Pretrained Language Models
National Institute of Technology Trichy（蒂鲁吉拉伯利国立理工学院）
基于transformer的预训练语言模型（PLM）开创了现代自然语言处理（NLP）的新纪元。这些模型结合了Transformers、迁移学习和自监督学习（SSL）的强大功能。随着这些模型在一般领域的成功，生物医学研究界开发了各种领域内的PLM，从BioBERT到最新的BioELECTRA和BioALBERT模型。我们坚信需要一份调查论文，可以对各种基于transformer的生物医学预训练语言模型（BPLM）进行全面调查。在本调查中，我们首先简要概述了自监督学习、嵌入层和Transformer编码器层等基础概念。我们讨论了基于transformer的PLM的核心概念，如预训练方法，预训练任务，微调方法，以及特定于生物医学领域的各种嵌入类型。我们介绍了一个基于transformer的BPLM分类，然后讨论所有的模型。我们将讨论各种挑战并提出可能的解决方案。最后，我们强调了一些开放的问题，这将推动研究界进一步改善基于transformer的BPLM。
2021-09-02 cs.AI cs.CL cs.LG
Spanish Biomedical and Clinical Language Embeddings
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
我们使用FastText计算单词和子词嵌入。对于子词嵌入我们选择了字节对编码（BPE）算法来表示子字。我们评估了生物医学词嵌入，获得了比以前的版本更好的结果，这表明随着数据的增加，我们获得了更好的表示。
2021-02-25 cs.AI cs.CL
From Memorization to Generalization: Fine-Tuning Large Language Models for Biomedical Term-to-Identifier Normalization
本研究通过微调Llama 3.1 8B评估生物医学术语标准化中的记忆与泛化，发现标识符流行度和词汇化程度决定微调效果，为预测微调适用性提供框架。
2025-10-21 cs.CL
To Adapt or not to Adapt, Rethinking the Value of Medical Knowledge-Aware Large Language Models
University of the Basque Country（巴斯克大学）
研究通过比较通用与临床LLM在多选题任务中的表现，发现临床模型在英语任务中不占优势，但在西班牙语任务中表现更好，表明现有评估框架可能不足以体现真实医疗专业知识。
2026-04-08 cs.CL
Addressing Exposure Bias With Document Minimum Risk Training: Cambridge at the WMT20 Biomedical Translation Task
Department of Engineering, University of Cambridge（剑桥大学工程系）
2020年WMT生物医学翻译任务评估了Medline摘要翻译。这是一个小领域的翻译任务，意味着有限的相关训练数据具有非常独特的风格和词汇。在这些数据上训练的模型容易受到暴露偏差效应的影响，特别是当训练句子对彼此之间的翻译不完美时。如果模型学会忽略源句子，这可能会导致推理过程中的不良行为。UNICAM条目在微调期间使用最小风险培训的强大变体解决了这个问题。我们对比这种方法与数据过滤，以消除“问题”的训练样本。在MRT微调下，我们在英-德和英-西两个方向的生物医学翻译中都取得了良好的效果。特别是，我们实现了最好的英语到西班牙语的翻译结果和第二好的西班牙语到英语的结果，尽管只使用单一的模型，没有集成。
2020-10-11 cs.CL
BigBIO: A Framework for Data-Centric Biomedical Natural Language Processing
Humboldt-Universität zu Berlin（柏林洪堡大学）；EleutherAI；Stanford University（斯坦福大学）；BigScience；Max Delbrück Center for Molecular Medicine（马克斯·德尔布吕克分子医学中心）；Sherlock Biosciences（夏洛克生物科学公司）；Tempus Labs Inc.（Tempus实验室公司）；University of Virginia（弗吉尼亚大学）；Immuneering（Immuneering公司）；Booz Allen Hamilton（博思艾伦咨询公司）；Medical University of Vienna（维也纳医科大学）；Brown University（布朗大学）；TU Wien（维也纳工业大学）；The Hong Kong University of Science and Technology（香港科技大学）
训练和评估语言模型越来越需要构建元数据集--具有明确出处的各种精选数据集。最近，自然语言提示通过将现有的监督数据集转换为各种新颖的预训练任务，从而改进了zero-shot泛化，突出了元数据集策展的好处。虽然在通用领域文本中取得了成功，但将这些以数据为中心的方法转化为生物医学语言建模仍然具有挑战性，因为标记的生物医学数据集在流行的数据中心中的代表性明显不足。为了应对这一挑战，我们引入了BigBIO，这是一个包含126多个生物医学NLP数据集的社区库，目前涵盖12个任务类别和10多种语言。BigBIO通过对数据集及其元数据的编程访问促进了可再现的元数据集管理，并与当前平台兼容，以进行提示工程和端到端少量/zero shot语言模型评估。我们讨论了我们的任务模式协调，数据审计，贡献准则的过程，并概述了两个说明性的用例：生物医学提示和大规模，多任务学习的zero-shot评价。BigBIO是一项持续的社区工作，可在https://github.com/bigscience-workshop/biomedical上获得
2022-06-30 cs.CL
Improving Low-Resource Translation with Dictionary-Guided Fine-Tuning and RL: A Spanish-to-Wayuunaiki Study
Universidad de los Andes（洛斯安第斯大学）
本文针对西班牙语到瓦尤纳基语的低资源翻译，提出词典工具增强的决策框架，结合监督微调与GRPO强化学习，使模型学会何时及如何查询词典，在AmericasNLP 2025测试集上取得最高+3.37 BLEU提升和18%相对增益。
2025-08-26 cs.AI cs.CL
When Specialization Helps: Using Pooled Contextualized Embeddings to Detect Chemical and Biomedical Entities in Spanish
Goethe University Frankfurt（法兰克福歌德大学）
药理学物质、化合物和蛋白质的识别是识别化学品和其他生物医学相关单位之间关系的基本前期工作。在本文中，我们描述了一种方法，任务1的PharmaCoNER挑战，其中涉及到识别提到的化学品和药物在西班牙医学文本。我们训练了一个最先进的BiLSTM-CRF序列标记器，它使用开源框架FLAIR堆叠池上下文嵌入，单词和子词嵌入。我们提出了一个新的语料库组成的文章和论文从西班牙健康科学期刊，称为西班牙健康语料库，并使用它来训练特定领域的嵌入，我们将在我们的模型训练。我们使用预训练的嵌入实现了89.76%的F1分数，并且能够使用专门的嵌入将这些结果提高到90.52%的F1分数。
2019-10-08 cs.CL cs.LG
A Comprehensive Evaluation of Large Language Models on Benchmark Biomedical Text Processing Tasks
York University（约克大学）；School of Information Technology, York University（约克大学信息技术学院）；Department of Biology, York University（约克大学生物系）
本文首次在26个生物医学数据集上综合评估4种大型语言模型，发现零样本LLM在小训练集任务中可超越微调模型，且不同LLM表现因任务而异，表明LLM对缺乏标注数据的生物医学任务具有潜在价值。
2024-02-19 cs.AI cs.CL
PMC-CLIP: Contrastive Language-Image Pre-training using Biomedical Documents
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
在大规模数据集上训练的基础模型最近在CV和NLP中获得了激增。相比之下，由于数据匮乏，生物医学领域的发展远远落后。为了解决这个问题，我们构建并发布了PMC-OA，这是一个生物医学数据集，包含从PubMedCentral的OpenAccess子集中收集的160万个图像-标题对，比以前大8倍。PMC-OA涵盖了不同的模式或疾病，其中大多数图像标题样本在更细粒度的水平上对齐，即，子图和子标题。在PMC-OA上预训练CLIP风格的模型时，我们的模型PMC-CLIP在各种下游任务上实现了最先进的结果，包括ROCO，MedMNIST图像分类，Medical VQA上的图像-文本检索，即图像-文本检索的R@10为+8.1%，图像分类的准确率为+3.9%。
2023-03-13 cs.CL cs.CV cs.LG
BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model
Tsinghua University（清华大学）；International Digital Economy Academy（国际数字经济研究院）
预训练语言模型是自然语言处理的重要基础。最近，域内预训练已被证明有利于各种特定领域的下游任务。在生物医学领域，自然语言生成（NLG）任务是至关重要的，但研究不足。自然语言理解通过约束语言生成或语言提示在一般领域中实现令人满意的性能。我们强调，缺乏领域内的生成语言模型和非系统的生成下游基准在生物医学领域，阻碍了研究社区的发展。在这项工作中，我们介绍了生成语言模型BioBART适应BART的生物医学领域。我们整理了各种生物医学语言生成任务，包括对话，摘要，实体链接，和命名实体识别。与BART相比，在PubMed摘要上预训练的BioBART提高了性能，并在几项任务上设置了强大的基线。此外，我们对BioBART的预训练任务进行了消融研究，发现句子排列对下游任务有负面影响。
2022-04-22 cs.CL
BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs
Microsoft Research（微软研究院）；Providence Genomics（普罗维登斯基因组学公司）
本文构建含1500万对图文的PMC-15M数据集，并据此预训练多模态生物医学基础模型BiomedCLIP，在检索、分类、VQA及放射学任务上达到最先进水平。
2025-01-08 cs.CL cs.CV
Biomedical term normalization of EHRs with UMLS
Vicomtech；UPV/EHU（巴斯克大学）
本文提出了一种新的原型，生物医学术语规范化的电子健康记录摘录与统一医学语言系统（UMLS）元词库。尽管设计上是多语言和跨语言的，但我们首先专注于处理西班牙语的临床文本，因为目前还没有针对这种语言和特定目的的工具。该工具基于Apache Lucene来索引Metathesaurus并从输入文本生成映射候选项。它使用IXA管道进行基本语言处理，并使用UKB工具包解决歧义。它已通过测量其协议MetaMap在两个英语-西班牙语平行语料库进行了评估。此外，我们提出了一个基于Web的界面的工具。
2018-05-24 cs.CL
RadLing: Towards Efficient Radiology Report Understanding
Siemens Healthineers（西门子医疗）；Siemens AG（西门子股份公司）
本文提出 RadLing 持续预训练模型，利用 50 多万份放射学报告、知识感知掩码与知识库辅助词表扩展，在低数据条件下达到放射学微调任务的先进性能。
2023-06-04 cs.CL
Creation of an Annotated Corpus of Spanish Radiology Reports
Hospital De Pediatría, Prof. Dr. Juan P. Garrahan（加尔拉汉儿科医院）
本文介绍了一个新的注释语料库的513匿名放射学报告写在西班牙语。报告用实体、否定和不确定性术语和关系手工注释。该语料库被认为是命名实体识别和关系抽取算法的评估资源，并作为使用监督方法的输入。由于保密问题和相关费用，生物医学注释资源稀缺。这项工作提供了一些指导方针，可以帮助其他研究人员承担类似的任务。
2017-10-30 cs.CL
UCAM Biomedical translation at WMT19: Transfer learning multi-domain ensembles
University of Cambridge（剑桥大学）；SDL Research（SDL研究院）
2019年WMT生物医学翻译任务涉及翻译Medline摘要。我们使用迁移学习来实现这一点，以获得一系列不同领域的强神经模型，并将它们组合成多领域集成。我们进一步实验了自适应语言模型集成加权方案。我们的提交在英语-西班牙语两个方向上都取得了最好的提交结果。
2019-06-13 cs.CL
English-Catalan Neural Machine Translation in the Biomedical Domain through the cascade approach
TALP Research Center（TALP研究中心）
本文介绍了建立一个神经机器翻译系统在生物医学领域的英语-加泰罗尼亚语对的方法。从领域和语言对的角度来看，这个任务可以被认为是一个低资源的任务。面对这一任务，本文报告了实验的级联枢轴战略，通过西班牙语的神经机器翻译使用英语-西班牙语SCIELO和西班牙语-加泰罗尼亚语El Periódico数据库。为了测试该系统的最终性能，我们已经创建了一个新的测试数据设置为英语加泰罗尼亚语在生物医学领域，这是免费提供的要求。
2018-04-26 cs.AI cs.CL
BioPulse-QA: A Dynamic Biomedical Question-Answering Benchmark for Evaluating Factuality, Robustness, and Bias in Large Language Models
Yale University（耶鲁大学）；Yale School of Medicine（耶鲁医学院）
BioPulse-QA是一个动态生物医学问答基准，用于评估大型语言模型在事实性、鲁棒性和偏见方面的性能。
2026-01-19 cs.CL cs.IR
Deep Bidirectional Language-Knowledge Graph Pretraining
Stanford University（斯坦福大学）；EPFL（洛桑联邦理工学院）
在文本上预训练语言模型（LM）已被证明有助于各种下游NLP任务。最近的工作表明，知识图谱（KG）可以补充文本数据，提供结构化的背景知识，为推理提供了一个有用的支架。然而，这些作品没有预先训练来学习两种模式的深度融合，限制了获得文本和KG的完全联合表示的潜力。在这里，我们提出了DRAGON（Deep Bidirectional Language-知识图谱预训练），这是一种自监督的方法，可以从文本和KG中预训练深度联合的语言知识基础模型。具体来说，我们的模型将成对的文本片段和相关的KG子图作为输入，并双向融合来自两种模式的信息。我们通过统一两个自监督推理任务来预训练该模型，掩蔽语言建模和KG链接预测。DRAGON在各种下游任务（包括通用和生物医学领域的问答）上优于现有的LM和LM + KG模型，平均绝对增益为+5%。特别是，DRAGON在关于语言和知识的复杂推理（在涉及长上下文或多步推理的问题上+10%）和低资源QA（在OBQA和RiddleSense上+8%）方面取得了显着的性能，并在各种BioNLP任务上取得了最新的成果。我们的代码和训练模型可以在www.example.com上找到。
2022-10-19 cs.AI cs.CL cs.LG
NUBES: A Corpus of Negation and Uncertainty in Spanish Clinical Texts
Vicomtech Foundation（维孔特克基金会）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA））；HiTZ centre（HiTZ中心）；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））
本文介绍了NUBes语料库的第一个版本（西班牙语生物医学文本中的否定和不确定性注释）。该语料库是一项正在进行的研究的一部分，目前由29，682个句子组成，这些句子来自匿名健康记录，并附有否定和不确定性。文章包括一个详尽的比较与西班牙语类似的语料库，并提出了主要的注释和设计决策。此外，我们使用深度学习算法进行初步实验，以验证带注释的数据集。据我们所知，NUBes是西班牙语中最大的公开否定语料库，也是第一个包含推测线索，范围和事件注释的语料库。
2020-04-02 cs.CL
BioFLAIR: Pretrained Pooled Contextualized Embeddings for Biomedical Sequence Labeling Tasks
Manipal Institute of Technology（马尼帕尔理工学院）；Elsevier Labs（爱思唯尔实验室）
生物医学命名实体识别（NER）是生物医学信息处理中的一个具有挑战性的问题。由于BERT、GPT和XLNet等技术的进步，bioNER基准测试的性能不断提高。FLAIR（1）是一种替代嵌入模型，其计算强度低于其他提到的模型。我们在各种生物NER任务上测试FLAIR及其预训练的PubMed嵌入（我们称之为BioFLAIR），并将其与BERT类型网络的结果进行比较。我们还研究了少量额外的预训练对PubMed内容的影响，以及FLAIR和ELMO模型的结合。我们发现，通过提供的嵌入，FLAIR的性能与BERT网络不相上下-甚至在一个基准上建立了一个新的最先进的水平。额外的预培训并没有提供明显的好处，尽管这可能会随着更多的预培训而改变。将FLAIR嵌入与其他嵌入叠加通常会提高基准测试结果。
2019-08-13 cs.CL
UFRGS Participation on the WMT Biomedical Translation Shared Task
本文介绍了南里奥格兰德联邦大学（UFRGS）团队为生物医学翻译共享任务开发的机器翻译系统。我们的系统基于统计机器翻译和神经机器翻译，分别使用Moses和OpenNMT工具包。我们参与了英语/西班牙语和英语/葡萄牙语对的四个翻译方向。为了创建我们的训练数据，我们连接了几个平行的语料库，既有来自域内和域外的资源，也有来自UMLS的术语资源。根据官方的共享任务评估，我们的系统获得了最好的BLEU分数。
2019-05-06 cs.CL
Meeting the Needs of Low-Resource Languages: The Value of Automatic Alignments via Pretrained Models
University of Colorado Boulder（科罗拉多大学博尔德分校）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Edinburgh（爱丁堡大学）；Universidad de la República（共和国大学）；Northeastern University（东北大学）；Universidade Tecnológica Federal do Paraná（巴拉那联邦技术大学）；Dartmouth College（达特茅斯学院）
大型多语言模型激发了一类新的单词对齐方法，这些方法适用于模型的预训练语言。然而，最需要自动对齐的语言是低资源的，因此通常不包括在预训练数据中。在这项工作中，我们要问：现代对齐器在看不见的语言上表现如何，它们比传统方法更好吗？我们为布里布里语-西班牙语、瓜拉尼语-西班牙语、盖丘亚语-西班牙语和Shipibo-Konibo语-西班牙语提供了黄金标准排列。有了这些，我们评估国家的最先进的对齐与不适应目标语言的模型。最后，我们还评估了由此产生的路线外，通过两个下游任务：命名实体识别和词性标注。我们发现，虽然基于变换的方法通常优于传统的模型，这两类方法仍然相互竞争。
2023-02-15 cs.CL
Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining
The Hong Kong Polytechnic University（香港理工大学）；Sun Yat-sen University（中山大学）；InfiX.ai；PolyU-Daya Bay Technology and Innovation Research Institute（PolyU-大亚湾技术与创新研究院）
针对医学多模态持续预训练中图像-文本对数据存在的上下文缺失、结构噪声等问题，提出PMC-InterCPT交错语料库，通过恢复缺失标题、清洗文本、重建交错样本及LLM监督过滤，结合模态感知重采样，有效提升医学与通用多模态性能。
2026-10-08 cs.CL
Can Performant LLMs Be Ethical? Quantifying the Impact of Web Crawling Opt-Outs
EPFL（苏黎世联邦理工学院）；ETH Zürich（苏黎世联邦理工学院）
本研究提出“数据合规差距”概念，通过1.5B模型实验发现，截至2025年1月，遵守网络爬取退出对通用知识影响极小，但专业领域性能下降，表明通用模型可用开放数据训练，专业领域需版权数据。
2025-08-05 cs.CL cs.LG
Self-Alignment Pretraining for Biomedical Entity Representations
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）；Amazon Alexa（亚马逊Alexa）
尽管通过掩蔽语言模型（MLM）的自监督学习取得了广泛的成功，但在生物医学领域中准确地捕获细粒度的语义关系仍然是一个挑战。这对于实体级任务（如实体链接）至关重要，其中建模实体关系（特别是同义关系）的能力至关重要。为了应对这一挑战，我们提出了SapBERT，这是一种预训练方案，可以自对齐生物医学实体的表示空间。我们设计了一个可扩展的度量学习框架，可以利用UMLS，一个庞大的收集生物医学本体与4M+的概念。与以前基于流水线的混合系统相比，SapBERT为医疗实体链接（MEL）问题提供了一个优雅的一个模型解决方案，在六个MEL基准数据集上实现了新的最先进的（SOTA）。在科学领域，即使没有特定任务的监督，我们也能实现SOTA。与各种特定领域的预训练MLMs（如BioBERT，SciBERT和PubMedBERT）相比，我们的预训练方案有了很大的改进，证明了它的有效性和鲁棒性。
2021-04-07 cs.AI cs.CL cs.LG
BVS Corpus: A Multilingual Parallel Corpus of Biomedical Scientific Texts
Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
BVS数据库（保健虚拟图书馆）是拉丁美洲和加勒比生物医学信息的集中来源，创建于1998年，由BIREME（区域医学图书馆）与泛美卫生组织（OPAS）协调。摘要有英语、西班牙语和葡萄牙语版本，其中一个子集有一种以上的语言版本，因此可能是平行语料库的来源。在这篇文章中，我们提出了平行语料库的发展，从BVS在三种语言：英语，葡萄牙语和西班牙语。使用Hunalign算法自动对齐EN/ES和EN/PT语言对的句子，以及三语文章的子集。我们通过为每个语言对训练神经机器翻译（OpenNMT）系统来展示我们语料库的能力，该系统在科学生物医学文章中的表现优于相关工作。句子对齐也进行了手动评估，在所有语言中平均有96%的句子正确对齐。我们的平行语料库是免费提供的，有关于文章元数据的补充信息。
2019-05-05 cs.CL cs.IR
MDAPT: Multilingual Domain Adaptive Pretraining in a Single Model
University of Copenhagen（哥本哈根大学）；PricewaterhouseCoopers (PwC)（普华永道）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）
领域自适应预训练，即在领域特定文本上对语言模型进行持续的无监督预训练，改进了域内下游任务的文本建模。许多现实世界的应用程序都是基于特定领域的文本，例如处理金融或生物医学文档，这些应用程序通常需要支持多种语言。然而，由于法规、立法或仅仅是缺乏特定于语言和领域的文本，很难获得针对此类场景的大规模特定于领域的多语言预训练数据。一种解决方案是训练单个多语言模型，利用尽可能多语言的可用数据。在这项工作中，我们探索了领域自适应预训练的好处，重点是适应特定领域内的多种语言。我们提出了不同的技术来组成预训练语料库，使语言模型成为特定领域和多语言。针对生物医学命名实体识别和金融句子分类的九个特定领域的分类器的评估涵盖了七种不同的语言，表明一个单一的多语言特定领域的模型可以优于一般的多语言模型，并执行接近其单语言对应。这一发现适用于两种不同的预训练方法，基于适配器的预训练和全模型预训练。
2021-09-14 cs.CL
Domain-Specific Pretraining for Vertical Search: Case Study on Biomedical Literature
Microsoft Research（微软研究院）
信息过载是许多高价值领域的普遍挑战。一个突出的例子是关于COVID-19的生物医学文献的爆炸式增长，在几个月内膨胀到数十万篇论文。一般来说，生物医学文献每分钟增加两篇论文，每年新增论文超过一百万篇。由于缺乏来自点击日志的直接监督，生物医学领域和许多其他垂直领域的搜索具有挑战性。自监督学习已经成为克服标注瓶颈的一个有前途的方向。我们提出了一种基于特定领域预训练的垂直搜索的通用方法，并为生物医学领域提供了一个案例研究。尽管非常简单，并且没有使用任何相关标签进行训练或开发，但我们的方法在官方TREC-COVID评估中的表现比最好的系统要好或更好，这是一项与COVID相关的生物医学搜索竞赛。在现代云基础设施中使用分布式计算，我们的系统可以扩展到PubMed上的数千万篇文章，并已部署为Microsoft Biomedical Search，这是生物医学文献的新搜索体验：https://aka.ms/biomedsearch。
2021-09-16 cs.CL cs.DL cs.IR
A New NMT Model for Translating Clinical Texts from English to Spanish
College of Information and Computer Science, University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特信息与计算机科学学院）；Department of Computer Sciences, University of Massachusetts Lowell（马萨诸塞大学洛约拉计算机科学系）；Department of Quantitative Health Sciences, University of Massachusetts Medical School（马萨诸塞大学医学学院定量健康科学系）；Bedford VAMC and CHOIR（贝德福德退伍军人医疗中心和CHOIR）
针对英语到西班牙语临床文本翻译因缺乏平行语料库和未知词多而困难的问题，提出仅需少量域内平行语料库训练的NOOV系统，通过集成双语词典和生物医学短语查询表提升翻译准确性与流畅性。
2025-08-26 cs.CL
Neural FOXP2 -- Language Specific Neuron Steering for Targeted Language Improvement in LLMs
Meta, USA（Meta, 美国）；Apple, USA（Apple, 美国）；Pragya Lab, BITS Pilani Goa, India（Pragya实验室，BITS Pilani Goa，印度）
提出Neural FOXP2方法，通过定位语言神经元、计算引导方向和施加稀疏激活偏移，将模型默认语言从英语切换为印地语或西班牙语，实现可控的语言主导性。
2026-06-11 cs.AI cs.CL
Sparse*BERT: Sparse Models Generalize To New tasks and Domains
the University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Neural Magic Inc.（Neural Magic公司）
本文研究 Gradual Unstructured Magnitude Pruning 剪枝模型的跨领域与任务迁移，证明通用稀疏模型 Sparse*BERT 可通过预训练转化为 SparseBioBERT，且仅用 10% 参数即可匹配 BioBERT 质量。
2023-04-05 cs.AI cs.CL
MASIVE: Open-Ended Affective State Identification in English and Spanish
Columbia University（哥伦比亚大学）
本研究提出开放式情感状态识别新任务，发布英西双语数据集MASIVE，发现微调小型多语言模型优于大型LLM，预训练提升基准表现，且母语数据对性能至关重要。
2024-11-12 cs.CL
BioMamba: Domain-Adaptive Biomedical Language Models
Rensselaer Polytechnic Institute（拉特格斯理工学院）；Jiaxing New Jies Thermal Power Co. Ltd.（嘉兴新捷热电有限公司）；North University of China（北方大学）；Zhejiang University（浙江大学）；IBM Research（IBM研究院）；Nanjing University（南京大学）
提出基于Mamba2的领域自适应预训练方法BioMamba，在PubMed、C4和Wikipedia混合数据上持续训练，显著降低生物医学困惑度并保持通用语言能力。
2026-06-11 cs.CL
Fine-Tuning Large Neural Language Models for Biomedical Natural Language Processing
Microsoft Research（微软研究院）
动机：生物医学研究人员和临床从业人员面临的一个长期挑战是跟上出版物和医学笔记的快速增长。自然语言处理（NLP）已经成为驯服信息过载的一个有前途的方向。特别是，大型神经语言模型通过对未标记文本进行预训练来促进迁移学习，例如BERT模型在各种NLP应用中的成功。然而，为最终任务微调这些模型仍然具有挑战性，特别是对于生物医学NLP中常见的小标记数据集。结果：我们对生物医学自然语言处理中的微调稳定性进行了系统的研究。我们表明，微调性能可能是敏感的预训练设置，特别是在低资源域。大型模型有可能获得更好的性能，但增加模型大小也会加剧微调的不稳定性。因此，我们进行了全面的探索技术解决微调不稳定性。我们表明，这些技术可以大大提高微调性能低资源的生物医学NLP应用。具体来说，冻结较低层对标准BERT-BASE模型有帮助，而逐层衰减对BERT-LARGE和ELECTRA模型更有效。对于低资源文本相似性任务（如BIOSSES），重新初始化顶层是最佳策略。总体而言，特定领域的词汇和预训练有助于更强大的模型进行微调。基于这些发现，我们在广泛的生物医学NLP应用中建立了最新的技术水平。可用性和实施：为了促进生物医学NLP的进步，我们发布了最先进的预训练和微调模型：https://aka.ms/BLURB。
2021-12-15 cs.CL cs.LG
A Multilingual Neural Machine Translation Model for Biomedical Data
Naver Labs Europe（Naver Labs 欧洲研究院）；Naver Papago
我们发布了一个多语言神经机器翻译模型，可用于生物医学领域的文本翻译。该模型可以从5种语言（法语，德语，意大利语，韩语和西班牙语）翻译成英语。它使用大量通用和生物医学数据进行训练，使用域标签。我们的基准测试表明，它在新闻（通用领域）和生物医学测试集上的表现接近最先进的水平，并且优于现有的公开发布的模型。我们相信，此次发布将有助于对COVID-19危机的数字内容及其对社会、经济和医疗保健政策的影响进行大规模多语言分析。我们还发布了一个测试集的生物医学文本的韩国英语。它由官方指南和最近的论文中的758句话组成，都是关于COVID-19的。
2020-08-06 cs.CL cs.LG
Injecting Structured Biomedical Knowledge into Language Models: Continual Pretraining vs. GraphRAG
本文提出通过持续预训练和GraphRAG两种方法将结构化生物医学知识注入语言模型，提升其在生物医学领域的表现，实验显示BERTUMLS在知识密集型问答任务中表现优异，GraphRAG在PubMedQA和BioASQ上提升显著。
2026-04-03 cs.AI cs.CL cs.LG
Annotating and normalizing biomedical NEs with limited knowledge
命名实体识别（NER）是任何新领域语言处理的第一步。目前，这是BioNLP对英文临床文本的常见处理。然而，它在其他主要语言中仍处于起步阶段，西班牙语就是如此。在PharmaCoNER共享任务的保护伞下，本文描述了一种非常简单的方法，用于临床病例中药理学，化学和最终生物医学命名实体的注释和规范化。为共享任务开发的系统是基于有限的知识，收集，结构化和munged的方式，显然优于过去的类似的基于字典的系统获得的分数为英语。随着这种恢复的知识为基础的方法，NER在子域中，本文还强调了基于资源的系统在验证和巩固的注释指南和人类注释的做法的关键贡献。从这个意义上说，一些作者对人类注释数据集的整体质量提出了质疑，该系统获得的上述“官方”结果在两个PharmaCoNER子任务中分别排名第二（0.91 F1分数）和第一（0.916 F1分数）。
2019-12-19 cs.CL
Inexpensive Domain Adaptation of Pretrained Language Models: Case Studies on Biomedical NER and Covid-19 QA
LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
预训练语言模型（PTLM）的领域自适应通常通过对目标领域文本的无监督预训练来实现。虽然这种方法是成功的，但在硬件、运行时间和CO_2排放方面是昂贵的。在这里，我们提出了一个更便宜的替代方案：我们训练Word 2 Vec的目标域的文本，并将得到的词向量与一个通用域PTLM的词片向量。我们评估了八个生物医学命名实体识别（NER）任务，并与最近提出的BioBERT模型进行比较。我们覆盖了超过60%的BioBERT-BERT F1 delta，占BioBERT CO_2排放量的5%，占其云计算成本的2%。我们还展示了如何快速调整现有的通用领域问答（QA）模型，以适应新冠肺炎大流行这一新兴领域。
2020-06-27 cs.CL
The Effectiveness of Intermediate-Task Training for Code-Switched Natural Language Understanding
Indian Institute of Technology, Bombay（印度理工学院孟买分校）
虽然最近的基准测试已经激发了许多关于改进预训练的多语言模型在多语言任务上的泛化的新工作，但改进代码转换自然语言理解任务的技术却很少被探索。在这项工作中，我们提出使用双语中间预训练作为一种可靠的技术，以获得大的和一致的性能增益在三个不同的NLP任务使用代码切换文本。我们实现了7.87%，20.15%，和10.99%，平均准确率和F1分数比以前的国家的最先进的系统印地语-英语自然语言推理（NLI），问答（QA）任务，西班牙语-英语情感分析（SA）分别大幅绝对改善。我们表现出一致的性能增益四个不同的代码切换语言对（印地语-英语，西班牙语-英语，泰米尔语-英语和马拉雅拉姆语-英语）SA。我们还提出了一种代码切换的掩蔽语言建模（MLM）预训练技术，与使用真正代码切换文本的标准MLM预训练相比，该技术始终有利于SA。
2021-07-21 cs.CL cs.LG
Latent Knowledge as a Predictor of Fact Acquisition in Fine-Tuned Large Language Models
Department of Neurology and Rehabilitation, University of Illinois at Chicago（神经学与康复医学系，伊利诺伊大学芝加哥分校）；Engineering Program, Missouri State University（工程学院，密苏里州立大学）
研究通过微调大语言模型，发现潜在知识是预测事实获取速度和泛化能力的关键因素，同时揭示了训练强化对事实退化的影响。
2026-01-26 cs.CL
ClinText-SP and RigoBERTa Clinical: a new set of open resources for Spanish Clinical NLP
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Ingeniería del Conocimiento（知识工程研究所）
本研究推出西班牙语最大公开临床语料库ClinText-SP与领域自适应预训练的临床语言模型RigoBERTa Clinical，二者性能优于现有模型，公开发布后将推动临床NLP研究与医疗应用发展。
2025-03-24 cs.AI cs.CL
Comparing and combining some popular NER approaches on Biomedical tasks
Concordia University（康考迪亚大学）
本文比较了SEQ、SeqCRF和SpanPred三种NER方法在4个生物医学数据集上的表现，并提出学习式组合系统，在GENIA上显著提升F1和召回率。
2023-05-30 cs.CL cs.LG
ClinLinker: Medical Entity Linking of Clinical Concept Mentions in Spanish
Universidad de Málaga（马拉加大学）；Research Institute of Multilingual Language Technologies（多语言语言技术研究所）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
ClinLinker提出基于SapBERT双编码器检索与交叉编码器重排序的两阶段西班牙语医学实体链接方法，在DisTEMIST和MedProcNER上分别超越先前基准40和43个百分点。
2024-04-09 cs.CL
Hallucination Augmented Recitations for Language Models
Center for Information and Language Processing, LMU Munich（慕尼黑大学语言与信息处理中心）；Munich Center of Machine Learning（慕尼黑机器学习中心）；Google Research（谷歌研究院）
提出幻觉增强复述（HAR）方法，利用LLM幻觉生成反事实数据集以增强开放书问答的归因能力，实验显示F1最高提升8.0%，且在小模型和小数据集上仍优于人类标注数据。
2023-11-13 cs.AI cs.CL
A Causal Language Modeling Detour Improves Encoder Continued Pretraining
Sorbonne Université / INRIA Paris ALMAnaCH Team（索邦大学 / 巴黎INRIA ALMAnaCH团队）；INRIA Paris ALMAnaCH Team（巴黎INRIA ALMAnaCH团队）
本文通过在持续预训练中临时切换到因果语言模型并随后进行短时掩码语言模型衰减，提升了下游任务性能，特别是在生物医学文本上表现更优。
2026-05-12 cs.AI cs.CL
One Model, Many Morals: Uncovering Cross-Linguistic Misalignments in Computational Moral Reasoning
University of Michigan（密歇根大学）
本研究通过将道德推理基准翻译成五种语言，系统评估了LLMs的跨语言道德判断，发现显著不一致和文化错位，并提炼出道德推理错误类型学，呼吁更具文化意识的AI。
2026-09-29 cs.AI cs.CL
LinkBERT: Pretraining Language Models with Document Links
Stanford University（斯坦福大学）
语言模型（LM）预训练可以从文本语料库中学习各种知识，为后续任务提供帮助。然而，诸如BERT的现有方法对单个文档建模，并且不捕获跨文档的依赖关系或知识。在这项工作中，我们提出了LinkBERT，一种利用文档之间链接的LM预训练方法，例如，超链接。给定一个文本语料库，我们将其视为文档图，并通过将链接的文档放置在相同的上下文中来创建LM输入。然后，我们用两个联合自监督目标预训练LM：掩蔽语言建模和我们的新建议，文档关系预测。我们发现LinkBERT在两个领域的各种下游任务上都优于BERT：一般领域（在维基百科上使用超链接进行预训练）和生物医学领域（在PubMed上使用引用链接进行预训练）。LinkBERT对于多跳推理和Few-Shot QA特别有效（HotpotQA和TriviaQA的绝对改进率为+5%），我们的生物医学LinkBERT在各种BioNLP任务上设定了最新的技术水平（BioASQ和USMLE为+7%）。我们在https://github.com/michiyasunaga/LinkBERT上发布我们的预训练模型LinkBERT和BioLinkBERT，以及代码和数据。
2022-03-29 cs.CL cs.LG
Multilingual Pretraining Using a Large Corpus Machine-Translated from a Single Source Language
University College London（伦敦大学学院）；Together AI；University of Waterloo（滑铁卢大学）；National Institute of Informatics（情报信息研究所）
本研究利用机器翻译将高质量英语数据集FineWeb-Edu扩展为多语言语料TransWeb-Edu，并训练13亿参数的CuatroLLM，在多个非英语推理任务上以更少数据超越现有最先进模型，并开源全部资源。
2024-11-06 cs.CL
SuMe: A Dataset Towards Summarizing Biomedical Mechanisms
Stony Brook University（石溪大学）；Delft University of Technology（代尔夫特理工大学）；University of Arizona（亚利桑那大学）
语言模型能否阅读生物医学文本并解释所讨论的生物医学机制？在这项工作中，我们介绍了一个生物医学机制总结任务。生物医学研究经常调查一个实体（例如，蛋白质或化学物质）在生物学背景下影响另一个。这些出版物的摘要通常包括一组集中的句子，这些句子提供了关于这种关系的相关支持声明，相关的实验证据，以及总结这种关系的机制的结论性句子。我们利用这种结构并创建一个摘要任务，其中输入是一组句子和摘要中的主要实体，输出包括关系和总结机制的句子。使用少量的手动标记的机械句，我们训练一个机械句分类器过滤一个大型的生物医学摘要集合，并创建一个摘要数据集与22k的实例。我们还介绍了结论句生成作为预训练任务与611k实例。我们对大型生物领域语言模型的性能进行了基准测试。我们发现，虽然预训练任务有助于提高性能，但最佳模型仅在32%的情况下产生可接受的机制输出，这表明该任务在生物医学语言理解和摘要方面存在重大挑战。
2022-05-10 cs.AI cs.CL cs.IR
LLMs-in-the-Loop Part 2: Expert Small AI Models for Anonymization and De-identification of PHI Across Multiple Languages
本文利用LLM-in-the-loop方法开发跨八种语言的专家小型去标识化NER模型，在PHI匿名化任务中性能超越通用大语言模型如GPT-4o，实现高f1-micro分数，为医疗AI提供高效且隐私安全的解决方案。
2024-12-14 cs.AI cs.CL
Evaluating the Factuality of Zero-shot Summarizers Across Varied Domains
Northeastern University（东北大学）；Carnegie Mellon University（卡内基梅隆大学）
本研究评估零样本摘要器在生物医学和法律等专业领域的事实性，通过专家标注错误并分析预训练语料领域普遍性的影响，发布标注数据集以促进事实准确摘要研究。
2024-02-05 cs.AI cs.CL cs.LG
