Automatic Biomedical Term Clustering by Learning Fine-grained Term Representations
Tsinghua University（清华大学）
术语聚类在生物医学知识图谱构建中具有重要意义。使用术语之间的相似性嵌入有助于术语聚类。最先进的术语嵌入利用预训练的语言模型对术语进行编码，并使用知识图谱中的同义词和关系知识来指导对比学习。这些嵌入为属于同一概念的术语提供了紧密的嵌入。然而，从我们的探测实验，这些嵌入是不敏感的微小的文本差异，导致失败的生物医学术语聚类。为了缓解这个问题，我们调整预训练项嵌入的采样策略，在对比学习过程中提供动态硬阳性和阴性样本，以学习细粒度表示，从而获得更好的生物医学项聚类。我们命名我们提出的方法为CODER++，它已被应用于聚类生物医学概念在新发布的生物医学知识图谱命名为BIOS。
2022-04-01 cs.CL
Context Variance Evaluation of Pretrained Language Models for Prompt-based Biomedical Knowledge Probing
College of Information and Computer Science, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）；Department of Computer Science, University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校计算机科学系）；Department of Medicine, University of Massachusetts Medical School（马萨诸塞大学医学院医学系）；Center for Healthcare Organization and Implementation Research, Bedford Veterans Affairs Medical Center（贝德福德退伍军人事务医疗中心医疗保健组织与实施研究中心）
预训练的语言模型（PLM）激发了关于这些模型学习什么样的知识的研究。填空题（例如，完形填空）是测量这些知识的自然方法。BioLAMA生成生物医学事实知识三元组的提示，并使用Top-k准确度指标来评估不同PLM的知识。然而，现有的研究表明，这种基于知识的探测方法只能探测知识的下限。许多因素，如基于探针的探测偏差，使LAMA基准不可靠和不稳定。这个问题在BioLAMA中更为突出。词汇量的严重长尾分布和大N-M关系使得LAMA和BioLAMA之间的性能差距仍然显着。为了解决这些问题，我们引入上下文方差到提示生成，并提出了一个新的排名变化为基础的评价指标。与以往的已知-未知评价标准不同，本文首次提出了LAMA中的“误解”概念。通过在12个PLM上的实验，我们的上下文方差提示和理解-混淆-误解（UCM）度量使BioLAMA对大N-M关系和稀有关系更友好。我们还进行了一系列对照实验，以将“理解”从“阅读和复制”中分离出来。
2023-01-25 cs.AI cs.CL
Go Beyond Plain Fine-tuning: Improving Pretrained Models for Social Commonsense
Amazon（亚马逊公司）
预训练的语言模型最近在许多NLP任务中表现出了出色的性能。然而，他们的社会智力仍在发展，这需要对他人的现状和精神状态进行常识推理。为了提高语言模型的社会智能，我们专注于社会IQA数据集，一个需要社会和情感常识推理的任务。在预训练的RoBERTa和GPT2模型的基础上，我们提出了几种架构变体和扩展，并利用外部常识语料库来优化社交IQA的模型。我们所提出的系统实现了竞争力的结果，因为那些在排行榜上排名靠前的模型。这项工作展示了预训练的语言模型的优势，并提供了可行的方法来提高它们在特定任务中的性能。
2021-05-12 cs.CL
Improving Automatic Evaluation of Large Language Models (LLMs) in Biomedical Relation Extraction via LLMs-as-the-Judge
York University（约克大学）；Vector Institute Toronto（多伦多向量研究所）
本文研究使用 LLMs-as-the-Judge 评估生物医学关系抽取，发现因输出格式不规范导致评判准确率低，通过引入结构化输出格式与领域适应技术显著提升了评估性能并公开了相关数据。
2025-06-01 cs.CL
GPT-3 Models are Poor Few-Shot Learners in the Biomedical Domain
深度神经语言模型在自然语言处理（NLP）的许多任务中取得了新的突破。最近的研究表明，深度Transformer语言模型（在大量文本上进行预训练）可以实现与最先进的模型相当的高水平的特定于任务的Few-Shot性能。然而，这些大语言模型在Few-Shot迁移学习中的能力尚未在生物医学领域中被探索。我们研究了两个强大的Transformer语言模型，即GPT-3和BioBERT，在各种生物医学NLP任务的Few-Shot设置的性能。实验结果表明，在很大程度上，这两种模型的表现都不如在完整训练数据上微调的语言模型。虽然GPT-3已经在开放域NLP任务的Few-Shot知识转移方面取得了接近最先进的结果，但它无法像BioBERT那样有效，BioBERT比GPT-3小几个数量级。关于BioBERT已经在大型生物医学文本语料库上进行了预训练，我们的研究表明，语言模型可能在很大程度上受益于特定于任务的少样本学习中的域内预训练。然而，域内预训练似乎是不够的;在生物医学NLP领域需要新的预训练和少样本学习策略。
2022-06-01 cs.AI cs.CL cs.LG
Measuring and Improving Consistency in Pretrained Language Models
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；LMU Munich（慕尼黑大学）；Carnegie Mellon University（卡内基梅隆大学）
在自然语言处理中，模型的一致性--即在其输入中保持意义的变化下其行为的不变性--是非常需要的属性。在本文中，我们研究的问题：预训练的语言模型（PLM）与事实知识一致吗？为此，我们创建了ParaRel，一个高质量的完形填空式查询英语释义资源。它包含了328个释义共38个关系。使用ParaRel，我们发现我们实验的所有PLM的一致性都很差-尽管关系之间的差异很大。我们的分析表明，他们有一个穷人的结构，目前不适合鲁棒地表示知识的代表空间。最后，我们提出了一种改进模型一致性的方法，并通过实验证明了其有效性。
2021-05-29 cs.CL
Improving Stability of Fine-Tuning Pretrained Language Models via Component-Wise Gradient Norm Clipping
University of Chicago（芝加哥大学）；University of Southern California（南加州大学）
对大型预训练语言模型（PLM）的微调已经建立了许多最先进的结果。尽管其性能优越，但这种微调可能是不稳定的，导致性能的显著差异和实际应用的潜在风险。以前的工作归因于这种不稳定性的灾难性遗忘问题，在PLM的顶层，这表明反复微调层自上而下的方式是一个有前途的解决方案。在本文中，我们首先指出，这种方法并不总是工作，由于不同的层/模块的收敛速度不同。受此启发，我们提出了一个简单的分量方向梯度范数裁剪方法来调整不同分量的收敛速度。实验结果表明，该方法在泛化性能、收敛速度和训练稳定性等方面都取得了一致的改善。代码库可以在https://github.com/yangalan123/FineTuningStability上找到。
2022-10-19 cs.CL
Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario
Text Mining Unit Barcelona Supercomputing Center（文本挖掘组 巴塞罗那超级计算中心）
这项工作提出了西班牙语的生物医学和临床语言模型，通过实验不同的预训练选择，如在单词和子单词级掩蔽，不同的词汇量和测试域数据，寻找更好的语言表示。有趣的是，在没有足够的临床数据从头开始训练模型的情况下，我们应用混合域预训练和跨域转移方法来生成适合真实世界临床数据的高性能生物临床模型。我们评估了我们的模型上的命名实体识别（NER）任务的生物医学文件和具有挑战性的出院报告。当与具有竞争力的mBERT和BETO模型相比时，我们在所有NER任务中的表现都明显优于它们。最后，我们通过提供一个有趣的以词汇为中心的分析，研究了模型的词汇对NER性能的影响。结果证实，特定领域的预训练是在下游NER任务中实现更高性能的基础，即使在中间资源的情况下。据我们所知，我们为西班牙语提供了第一个基于生物医学和临床转换器的预训练语言模型，旨在促进西班牙语NLP在生物医学中的应用。我们最好的模型可以在HuggingFace中心免费获得：https://huggingface.co/BSC-TeMU。
2021-09-17 cs.CL
AVocaDo: Strategy for Adapting Vocabulary to Downstream Domain
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
在迁移学习的微调阶段，预训练的词汇保持不变，而模型参数更新。当存在领域差异时，基于预训练数据生成的词汇表对于下游数据是次优的。我们建议将词汇表视为一个可优化的参数，允许我们通过基于标记化统计的特定于域的词汇表来扩展词汇表。此外，我们通过利用从具有正则化项的预训练语言模型中学习的知识，将添加的单词的嵌入从过度拟合到下游数据中。我们的方法在不同的域上实现了一致的性能改进（即，生物医学、计算机科学、新闻和评论）。
2021-10-26 cs.CL
BioPars: A Pretrained Biomedical Large Language Model for Persian Biomedical Text Mining
Department of Computer Science, Faculty of Education, University of Kufa（计算机科学系，教育学院，科菲大学）；Department of Computer Science, Florida State University（计算机科学系，佛罗里达州立大学）；Department of Computer Engineering, Velayat University（计算机工程系，瓦莱yat大学）；Department of Mechanical Engineering, Amirkabir University of Technology（机械工程系，阿米卡比尔技术大学）；Department of Computer Engineering, Ferdowsi University of Mashhad（计算机工程系，法尔德大学）
本文提出面向波斯语生物医学文本挖掘的预训练大语言模型BioPars，并构建BIOPARS-BENCH和BioParsQA数据集，在波斯语医学问答任务上取得优于GPT-4等模型的结果。
2025-07-01 cs.AI cs.CL cs.LG
JMedBench: A Benchmark for Evaluating Japanese Biomedical Large Language Models
The University of Tokyo（东京大学）；National Institute of Informatics（信息学研究所）
针对日语生物医学LLM缺乏大规模评估基准的问题，提出包含8个模型和20个数据集的JMedBench基准，实验揭示了模型表现差异与改进空间，并公开评估工具及数据集以促进研究。
2024-09-20 cs.CL
Improving Estonian Text Simplification through Pretrained Language Models and Custom Datasets
Institute of Computer Science（计算机科学研究所）；University of Tartu（塔尔图大学）
本文利用预训练语言模型和定制数据集，改进爱沙尼亚文本简化效果，验证了LLaMA在低资源语言中的优越性。
2026-01-23 cs.CL
Exploring the Impact of Corpus Diversity on Financial Pretrained Language Models
Department of Applied Artificial Intelligence, Hanyang University（应用人工智能系，翰阳大学）；Division of Computer Science, Hanyang University（计算机科学系，翰阳大学）；Ramply Inc.（Ramply公司）
针对金融预训练语言模型因训练语料多样性不足而泛化性能差的问题，本文收集广泛金融语料训练FiLM模型，实验证明其在多个下游任务上优于现有金融及通用PLMs，且对未见语料组同样有效。
2025-05-26 cs.CL
Arithmetic-Based Pretraining -- Improving Numeracy of Pretrained Language Models
Technical University of Darmstadt（达姆施塔特工业大学）；Hessian Center for AI (hessian.AI)（黑森人工智能中心（hessian.AI））；The University of Sheffield（谢菲尔德大学）
针对预训练语言模型数感不足的问题，提出无需改架构或从头预训练的基于算术的预训练方法，结合对比学习和新型可推断数字预测任务目标，在多类数感相关任务上验证了有效性。
2023-06-09 cs.CL
MA-COIR: Leveraging Semantic Search Index and Generative Models for Ontology-Driven Biomedical Concept Recognition
RIKEN AIP；University of Tsukuba（茨川大学）；RIKEN R-IH；RIKEN BRC；Osaka Electro-Communication University（大阪电讯大学）
MA-COIR通过结合语义搜索索引和生成模型，提升生物医学领域本体驱动的概念识别能力。
2025-05-19 cs.CL
Adapt-and-Distill: Developing Small, Fast and Effective Pretrained Language Models for Domains
Shandong University（山东大学）；Microsoft Research（微软研究院）
大型预训练模型在许多自然语言处理任务中取得了巨大的成功。然而，当它们应用于特定领域时，这些模型遭受域转移，并在延迟和容量限制的微调和在线服务方面带来挑战。在本文中，我们提出了一种为特定领域开发小型，快速和有效的预训练模型的通用方法。这是通过调整现成的一般预训练模型并在目标域中执行任务不可知的知识蒸馏来实现的。具体而言，我们提出了在适应阶段的特定领域的词汇扩展，并采用语料库级别的出现概率来自动选择增量词汇的大小。然后，我们系统地探索不同的策略来压缩特定领域的大型预训练模型。我们在生物医学和计算机科学领域进行实验。实验结果表明，我们的方法在特定领域的任务取得了更好的性能比BERT BASE模型，而3.3倍的小和5.1倍的速度比BERT BASE。代码和预训练模型可在https://aka.ms/adalm上获得。
2021-06-29 cs.CL
Inexpensive Domain Adaptation of Pretrained Language Models: Case Studies on Biomedical NER and Covid-19 QA
LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
预训练语言模型（PTLM）的领域自适应通常通过对目标领域文本的无监督预训练来实现。虽然这种方法是成功的，但在硬件、运行时间和CO_2排放方面是昂贵的。在这里，我们提出了一个更便宜的替代方案：我们训练Word 2 Vec的目标域的文本，并将得到的词向量与一个通用域PTLM的词片向量。我们评估了八个生物医学命名实体识别（NER）任务，并与最近提出的BioBERT模型进行比较。我们覆盖了超过60%的BioBERT-BERT F1 delta，占BioBERT CO_2排放量的5%，占其云计算成本的2%。我们还展示了如何快速调整现有的通用领域问答（QA）模型，以适应新冠肺炎大流行这一新兴领域。
2020-06-27 cs.CL
BALI: Enhancing Biomedical Language Representations through Knowledge Graph and Language Model Alignment
AIRI；Sber AI；ISP RAS Research Center for Trusted AI（俄罗斯科学院信息与系统研究所可信人工智能研究中心）
BALI通过联合预训练语言模型和知识图谱编码器并对齐两者表示，增强生物医学语言模型对概念结构和事实信息的理解，在PubMedBERT和BioLinkBERT上显著提升语言理解任务性能。
2025-09-09 cs.AI cs.CL
Domain-Specific Language Model Pretraining for Biomedical Natural Language Processing
Microsoft Research（微软研究院）
预训练大型神经语言模型，如BERT，已经在许多自然语言处理（NLP）任务上取得了令人印象深刻的进展。然而，大多数预训练工作集中在一般领域语料库，如新闻专线和Web。一个普遍的假设是，即使是特定领域的预训练也可以从通用领域的语言模型开始。在本文中，我们挑战了这一假设，证明了对于具有大量未标记文本的领域，如生物医学，从头开始预训练语言模型比一般领域语言模型的持续预训练有很大的收益。为了促进这项调查，我们从公开的数据集中编译了一个全面的生物医学NLP基准。我们的实验表明，特定于领域的预训练为广泛的生物医学NLP任务奠定了坚实的基础，从而全面带来了新的最先进的结果。此外，在对建模选择进行彻底评估时，无论是预训练还是特定于任务的微调，我们发现BERT模型中的一些常见做法是不必要的，例如在命名实体识别（NER）中使用复杂的标记方案。为了帮助加速生物医学NLP的研究，我们为社区发布了最先进的预训练和特定任务模型，并在https://aka.ms/BLURB上创建了一个排行榜，其中包括我们的BLURB基准（生物医学语言理解和推理基准的缩写）。
2021-09-16 cs.CL cs.LG
BioFLAIR: Pretrained Pooled Contextualized Embeddings for Biomedical Sequence Labeling Tasks
Manipal Institute of Technology（马尼帕尔理工学院）；Elsevier Labs（爱思唯尔实验室）
生物医学命名实体识别（NER）是生物医学信息处理中的一个具有挑战性的问题。由于BERT、GPT和XLNet等技术的进步，bioNER基准测试的性能不断提高。FLAIR（1）是一种替代嵌入模型，其计算强度低于其他提到的模型。我们在各种生物NER任务上测试FLAIR及其预训练的PubMed嵌入（我们称之为BioFLAIR），并将其与BERT类型网络的结果进行比较。我们还研究了少量额外的预训练对PubMed内容的影响，以及FLAIR和ELMO模型的结合。我们发现，通过提供的嵌入，FLAIR的性能与BERT网络不相上下-甚至在一个基准上建立了一个新的最先进的水平。额外的预培训并没有提供明显的好处，尽管这可能会随着更多的预培训而改变。将FLAIR嵌入与其他嵌入叠加通常会提高基准测试结果。
2019-08-13 cs.CL
Hierarchical Pretraining for Biomedical Term Embeddings
Stanford University（斯坦福大学）；Tsinghua University（清华大学）；Beijing Institute of Technology（北京理工大学）；Alibaba Damo Academy（阿里巴巴达摩院）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
提出HiPrBERT模型，通过在包含分层结构的额外数据上微调并修改对比损失函数，有效捕捉生物医学术语间的分层相似度，生成信息量更大的语义嵌入。
2023-07-01 cs.AI cs.CL
Improving Non-autoregressive Translation Quality with Pretrained Language Model, Embedding Distillation and Upsampling Strategy for CTC
National Taiwan University（台湾大学）
本文提出通过CTC损失微调PMLMs、采用MASK插入上采样及嵌入蒸馏技术提升非自回归翻译质量，在多数据集上超越自回归基线，并实现16.35倍推理加速。
2024-10-14 cs.CL
DKE-Research at SemEval-2024 Task 2: Incorporating Data Augmentation with Generative Models and Biomedical Knowledge to Enhance Inference Robustness
Xi’an Jiaotong Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）；University of Surrey（萨里大学）；Duke Kunshan University（昆山杜克大学）
针对临床试验生物医学自然语言推理中预训练模型偏差问题，提出结合语义扰动、领域词汇替换、数值推理任务的多任务数据增强方法，搭配DeBERTa架构，在NLI4CT 2024基准取得显著提升，消融验证各模块有效性，最终在32支队伍中获忠实度第12、一致性第8。
2024-04-14 cs.CL
Can We Edit LLMs for Long-Tail Biomedical Knowledge?
University of Glasgow（格拉斯哥大学）
针对生物医学知识长尾分布问题，本文首次全面研究知识编辑方法的有效性，发现现有方法虽能提升LLMs长尾知识性能，但仍不及高频知识，且一对多知识限制其效果，需定制策略弥合差距。
2025-04-14 cs.AI cs.CL
AF Adapter: Continual Pretraining for Building Chinese Biomedical Language Model
Shanghai AI Lab.（上海人工智能实验室）
提出Attention-FFN Adapter持续预训练方法，仅训练17%参数，在中文生物医学下游任务上平均提升0.6%-2%，并将灾难性遗忘缓解11%。
2023-10-20 cs.CL cs.LG
MirrorWiC: On Eliciting Word-in-Context Representations from Pretrained Language Models
University of Cambridge（剑桥大学）
最近的研究表明，预训练的语言模型（PLM），如BERT和RoBERTa，甚至可以通过简单的自监督技术转换为有效的句子和单词编码器。受这一系列工作的启发，在本文中，我们提出了一种完全无监督的方法来改善PLM中的词上下文（WiC）表示，通过一个简单而有效的WiC目标微调过程实现：WiC WiC。所提出的方法仅利用从维基百科采样的原始文本，假设没有意义注释的数据，并在标准的对比学习设置中学习上下文感知的单词表示。我们实验了一系列跨多种语言的标准和全面的WiC基准测试。我们提出的完全无监督的MPLWiC模型在所有单语，多语言和跨语言设置中获得了比现成PLM更大的收益。此外，在一些标准的WiC基准测试中，WiC甚至可以与使用任务内数据和感觉标签进行微调的监督模型相提并论。
2021-09-19 cs.CL
Reprogramming Pretrained Language Models for Protein Sequence Representation Learning
Brown University（布朗大学）；IBM Research（IBM研究院）
近年来，蛋白质学习任务的机器学习指导解决方案取得了重大进展。然而，在科学发现任务的成功是有限的定义和标记的域内数据的可访问性。为了解决低数据约束，最近对数百万个蛋白质序列进行预训练的深度学习模型的适应已经显示出了希望;然而，构建这种特定领域的大规模模型在计算上是昂贵的。在这里，我们提出了通过字典学习（R2 DL）的表示学习，这是一个端到端的表示学习框架，在这个框架中，我们为交替域任务重新编程了深度模型，这些任务可以在蛋白质属性预测上表现良好，并且训练样本显著减少。R2 DL重新编程一个预先训练的英语语言模型，通过学习英语和蛋白质序列词汇嵌入之间的稀疏线性映射来学习蛋白质序列的嵌入。我们的模型可以获得更好的准确性，并显着提高数据效率高达$10^5$倍的基线设置的预训练和标准的监督方法。为此，我们重新编程了一个现成的预先训练的英语语言Transformer，并在一组蛋白质理化预测任务（二级结构，稳定性，同源性，稳定性）以及一组生物医学相关的蛋白质功能预测任务（抗菌，毒性，抗体亲和力）上对其进行基准测试。
2023-01-05 cs.CL cs.LG q-bio.BM
Improving Pre-trained Language Model Sensitivity via Mask Specific losses: A case study on Biomedical NER
University of Liverpool（利物浦大学）；Civic Health Innovation Labs（市民健康创新实验室）
本文提出掩码特定语言建模MSLM，通过在微调时对领域特定术语施加更大预测惩罚来提升预训练语言模型对目标领域词的敏感性，并在生物医学NER上验证其优于span和PMI掩码策略。
2024-03-28 cs.AI cs.CL cs.IR
Better Generalizing to Unseen Concepts: An Evaluation Framework and An LLM-Based Auto-Labeled Pipeline for Biomedical Concept Recognition
RIKEN AIP；University of Tsukuba（大学）
本文提出了一种评估框架和基于LLM的自动标注流水线，用于提升生物医学概念识别中对未见概念的泛化能力。
2026-01-23 cs.CL cs.IR
BioBART: Pretraining and Evaluation of A Biomedical Generative Language Model
Tsinghua University（清华大学）；International Digital Economy Academy（国际数字经济研究院）
预训练语言模型是自然语言处理的重要基础。最近，域内预训练已被证明有利于各种特定领域的下游任务。在生物医学领域，自然语言生成（NLG）任务是至关重要的，但研究不足。自然语言理解通过约束语言生成或语言提示在一般领域中实现令人满意的性能。我们强调，缺乏领域内的生成语言模型和非系统的生成下游基准在生物医学领域，阻碍了研究社区的发展。在这项工作中，我们介绍了生成语言模型BioBART适应BART的生物医学领域。我们整理了各种生物医学语言生成任务，包括对话，摘要，实体链接，和命名实体识别。与BART相比，在PubMed摘要上预训练的BioBART提高了性能，并在几项任务上设置了强大的基线。此外，我们对BioBART的预训练任务进行了消融研究，发现句子排列对下游任务有负面影响。
2022-04-22 cs.CL
Improving accuracy of GPT-3/4 results on biomedical data using a retrieval-augmented language model
Genmab（杰特贝姆公司）
针对GPT-3/4等大模型在生物医学领域的幻觉问题，提出检索增强（RetA）方法，在DLBCL疾病的19个问题测试中，其准确性与相关性优于通用LLMs，证明特定领域语料库增强模型的有效性。
2023-05-30 cs.AI cs.CL
Tabular LLMs for Interpretable Few-Shot Alzheimer's Disease Prediction with Multimodal Biomedical Data
University of Pennsylvania（宾夕法尼亚大学）；Stony Brook University（石溪大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Medical University of South Carolina（南卡罗来纳医科大学）；Cedars-Sinai Medical Center（西格拉姆山医疗中心）
本文提出TAP-GPT框架，利用预训练的大语言模型进行少样本阿尔茨海默病分类，展示了其在多模态生物医学数据中的优越性能和可解释性。
2026-03-17 cs.CL cs.LG q-bio.QM
MedicalBERT: enhancing biomedical natural language processing using pretrained BERT-based model
R. V. College of Engineering（R. V. 工程学院）
本文提出在大型生物医学语料上预训练并配备领域词表的MedicalBERT，经微调后在多类医学NLP任务中多数基准优于BioBERT等模型，平均超过通用BERT 5.67%。
2025-07-25 cs.AI cs.CL cs.LG
Lessons from the TREC Plain Language Adaptation of Biomedical Abstracts (PLABA) track
Yale School of Medicine（耶鲁医学院）；Tufts University（塔夫茨大学）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）；Johns Hopkins University（约翰霍普金斯大学）；Georgia Institute of Technology（佐治亚理工学院）；National Institute of Standards（国家标准研究院）；National Library of Medicine（国家医学图书馆）
本文总结 TREC PLABA 评测任务经验，发现大语言模型在生物医学摘要简明化中事实准确性和完整性接近人类，但在简洁性、术语识别及自动评测指标方面仍存在明显不足。
2025-07-21 cs.AI cs.CL cs.IR
Distilling Large Language Models for Biomedical Knowledge Extraction: A Case Study on Adverse Drug Events
Microsoft Research（微软研究院）
本文提出通过自监督蒸馏将 GPT-3.5 的能力迁移至 PubMedBERT，在无标注 ADE 提取及其他生物医学任务上以小超千倍的模型超过通用 LLM。
2023-07-12 cs.AI cs.CL
Improving Medical Reasoning through Retrieval and Self-Reflection with Retrieval-Augmented Large Language Models
Korea University（高丽大学）；Kyung Hee University（庆熙大学）；AIGEN Sciences（AIGEN科学公司）
本文提出 Self-BioRAG 框架，通过生物医学指令训练、领域检索与自定义反思 token，使 7B/13B LLM 能自我评估并结合检索知识推理，在三大医学问答基准上平均提升 7.2%。
2024-06-18 cs.AI cs.CL cs.IR
How Important is Domain Specificity in Language Models and Instruction Finetuning for Biomedical Relation Extraction?
University of Kentucky, Lexington, KY USA（肯塔基大学）
本文在四个生物医学关系抽取数据集上比较通用与生物医学预训练LM及不同指令微调来源，发现通用模型通常更优，而少量生物医学指令微调即可取得与通用指令微调相近的收益。
2025-07-25 cs.CL
Biomed-Enriched: A Biomedical Dataset Enriched with LLMs for Pretraining and Extracting Rare and Hidden Content
Sorbonne Université（索邦大学）；INRIA Paris（巴黎国家信息与自动化研究所）
本文介绍了 Biomed-Enriched 生物医学数据集，通过两阶段标注从 PubMed 提取临床病例等子集，实验证明其质量过滤与上采样策略能显著提升模型性能并加速收敛。
2025-06-25 cs.CL cs.LG
Multimodal Integrated Knowledge Transfer to Large Language Models through Preference Optimization with Biomedical Applications
Children's Hospital of Philadelphia（费城儿童医院）；University of Pennsylvania（宾夕法尼亚大学）
MINT通过偏好优化整合多模态知识，提升大语言模型在生物医学任务中的表现，特别是在罕见遗传疾病预测和组织类型分类中取得显著成效。
2026-02-16 cs.CL cs.CV cs.LG
MMRAG: Multi-Mode Retrieval-Augmented Generation with Large Language Models for Biomedical In-Context Learning
University of Minnesota（明尼苏达大学）
该研究提出整合四种检索策略的MMRAG框架，通过优化示例选择增强生物医学上下文学习，在多个生物医学NLP任务上验证了其有效性与适应性。
2025-02-21 cs.AI cs.CL
BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks
Lehigh University（理海大学）；University of Georgia（佐治亚大学）；Samsung Research America（三星美国研究院）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；University of Pennsylvania（宾夕法尼亚大学）；Children’s Hospital of Philadelphia（费城儿童医院）；University of Central Florida（中佛罗里达大学）；University of California, Santa Cruz（加州大学圣克鲁兹分校）；UTHealth Houston（休斯顿德克萨斯大学健康科学中心）；Mayo Clinic（妙佑医疗国际）；Penn Institute for Biomedical Informatics（宾夕法尼亚生物医学信息学研究所）；Leonard Davis Institute of Health Economics（伦纳德·戴维斯健康经济学研究所）；Stanford University School of Medicine（斯坦福大学医学院）；Stanford University（斯坦福大学）
本文提出首个开源轻量级视觉-语言基础模型BiomedGPT，可处理多种生物医学任务，并在25项实验中16项达到SOTA，人工评估显示其问答、报告生成与摘要能力优异。
2024-08-11 cs.AI cs.CL
Video-Grounded Dialogues with Pretrained Generation Language Models
Singapore Management University（新加坡管理大学）；Salesforce Research Asia（Salesforce亚洲研究院）
预训练的语言模型在改进各种下游NLP任务方面取得了显着的成功，因为它们能够捕获文本数据中的依赖关系并生成自然响应。在本文中，我们利用预训练的语言模型的力量来改进基于视频的对话，这是非常具有挑战性的，涉及不同动态的复杂特征：（1）可以跨越空间和时间维度的视频特征;（2）涉及多个对话回合的语义依赖的对话特征。我们提出了一个框架，通过扩展GPT-2模型来解决这些挑战，将视频对话任务制定为序列到序列任务，将视觉和文本表示结合到结构化序列中，并微调大型预训练的GPT-2网络。我们的框架允许微调语言模型，以捕获依赖性跨多个模态在不同层次的信息：时空水平的视频和令牌的句子水平的对话上下文。我们在DSTC 7的视听场景感知对话（AVSD）基准测试上取得了可喜的进步，这支持了这一研究方向的潜在方向。
2020-06-27 cs.CL cs.CV cs.LG
Bioformer: an efficient transformer language model for biomedical text mining
Sun Yat-sen University（中山大学）；National Institutes of Health（美国国立卫生研究院）；University of Pennsylvania（宾夕法尼亚大学）
预训练的语言模型，如来自Transformers的双向编码器表示（BERT），在自然语言处理（NLP）任务中实现了最先进的性能。最近，BERT已被应用于生物医学领域。尽管有效，但这些模型具有数亿个参数，并且在应用于大规模NLP应用时计算昂贵。我们假设原始BERT的参数数量可以大大减少，对性能的影响很小。在这项研究中，我们提出了Bioformer，一个紧凑的BERT模型的生物医学文本挖掘。我们预训练了两个Bioformer模型（名为Bioformer 8L和Bioformer 16 L），与BERTBase相比，它们将模型大小减少了60%。Bioformer使用生物医学词汇表，并在PubMed摘要和PubMed Central全文文章上从头开始进行预训练。我们全面评估了Bioformer以及现有生物医学BERT模型（包括BioBERT和PubMed BERT）在四种不同生物医学NLP任务（命名实体识别、关系抽取、问答和文档分类）的15个基准数据集上的性能。结果表明，在参数减少60%的情况下，Bioformer 16 L的准确度仅比PubMedBERT低0.1%，而Bioformer 8L的准确度比PubMedBERT低0.9%。Bioformer 16 L和Bioformer 8L的性能均优于BioBERTBase-v1.1。此外，Bioformer 16 L和Bioformer 8…
2023-02-03 cs.CL
A Survey on Pretrained Language Models for Neural Code Intelligence
EPFL（洛桑联邦理工学院）；UCLA（加州大学洛杉矶分校）
随着现代软件的复杂性不断升级，软件工程已成为一项日益艰巨和容易出错的工作。近年来，神经代码智能（NCI）领域已经成为一个有前途的解决方案，利用深度学习技术的力量来处理源代码的分析任务，目标是提高编程效率并最大限度地减少软件行业中的人为错误。预训练的语言模型已成为NCI研究中的主导力量，在广泛的任务中持续提供最先进的结果，包括代码摘要，生成和翻译。在本文中，我们对NCI领域进行了全面的调查，包括对预训练技术，任务，数据集和模型架构的全面审查。我们希望本文将作为自然语言和程序设计语言社区之间的桥梁，为这个快速发展的领域的未来研究提供见解。
2022-12-20 cs.CL cs.LG cs.SE
Enriching Biomedical Knowledge for Low-resource Language Through Large-Scale Translation
VietAI Research（VietAI研究院）；University of Massachusetts-Amherst（马萨诸塞大学阿默斯特分校）；New York University（纽约大学）；Case Western Reserve University（凯斯西储大学）
生物医学数据和基准是非常有价值的，但非常有限的低资源语言以外的英语，如越南语。在本文中，我们利用最先进的英语-越南语翻译模型来翻译和生成生物医学领域的预训练和监督数据。由于如此大规模的翻译，我们引入了ViPubmedT5，这是一个预训练的编码器-解码器Transformer模型，它是在来自高质量公共PubMed语料库的2000万翻译摘要上训练的。ViPubMedT5在总结和首字母缩略词消歧方面展示了两种不同生物医学基准的最新结果。此外，我们发布了ViMedNLI-一个新的越南语NLP任务，使用最近公开的En-vi翻译模型从MedNLI翻译而来，并由人类专家仔细改进，并对ViPubmedT5的现有方法进行了评估。
2023-01-29 cs.AI cs.CL
Improving Multi-Word Entity Recognition for Biomedical Texts
Benha University（本哈大学）；Mangalore University（门格洛尔大学）；Nara Institute of Science and Technology（奈良科学技术研究所）
生物医学命名实体识别（BioNER）是分析生物医学文本的关键步骤，其目的是从给定的文本中提取生物医学命名实体。不同的监督机器学习算法已经被各种研究人员应用于BioNER。这些方法的主要要求是用于学习机器学习算法的参数的注释数据集。段表示（SR）模型包括用于表示注释数据的不同标记集，例如IOB 2、IOE 2和IOBES。在本文中，我们提出了IOBES模型的扩展，以提高性能的BioNER。所提出的SR模型，FROBES，提高了多词实体的表示。我们使用双向长短期记忆（BiLSTM）网络;递归神经网络（RNN）的一个实例，为BioNER设计了一个基线系统，并在两个数据集上评估了新的SR模型，i2 b2/VA 2010挑战数据集和JNLPBA 2004共享任务数据集。对于长度大于2的多词实体，所提出的SR模型优于其他模型。此外，不同的SR模型的输出已经结合使用多数表决集成方法，其性能优于基线模型的性能。
2019-08-15 cs.CL
Improving Natural Language Inference with a Pretrained Parser
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们介绍了一种新的方法，将语法到自然语言推理（NLI）模型。我们的方法使用来自预训练的依赖解析器的上下文标记级向量表示。像其他上下文嵌入器一样，我们的方法广泛适用于任何神经模型。我们用四个强NLI模型（可分解注意力模型，ESIM，BERT和MT-DNN）进行了实验，并在三个NLI基准测试中显示出一致的准确性优势。
2019-09-18 cs.CL
Iteratively Improving Biomedical Entity Linking and Event Extraction via Hard Expectation-Maximization
Virginia Tech（弗吉尼亚理工大学）
本文提出联合生物医学实体链接与事件抽取方法，通过硬期望最大化将事件结构和实体引用作为隐变量，在Genia 2011和BC4GO数据集上显著优于基线并改进单项任务表现。
2023-05-24 cs.CL
BioBERT: a pre-trained biomedical language representation model for biomedical text mining
Korea University（高丽大学）；Clova AI Research, Naver Corp（Naver公司Clova人工智能研究院）
随着生物医学文档数量的快速增长，生物医学文本挖掘变得越来越重要。随着自然语言处理（NLP）的发展，从生物医学文献中提取有价值的信息越来越受到研究人员的欢迎，深度学习推动了有效的生物医学文本挖掘模型的发展。然而，直接应用自然语言处理的进步，生物医学文本挖掘往往会产生不满意的结果，由于一个词的分布偏移从一般领域语料库的生物医学语料库。在这篇文章中，我们研究了最近引入的预训练语言模型BERT如何适用于生物医学语料库。我们介绍了BioBERT（Bidirectional Encoder Representations from Transformers for Biomedical Text Mining），这是一个在大规模生物医学语料库上预训练的特定领域语言表示模型。在任务之间具有几乎相同的架构，BioBERT在生物医学语料库上进行预训练时，在各种生物医学文本挖掘任务中的性能大大优于BERT和以前的最先进模型。虽然BERT获得的性能与以前的国家的最先进的模型，生物BERT显着优于他们在以下三个代表性的生物医学文本挖掘任务：生物医学命名实体识别（0.62%的F1分数提高），生物医学关系抽取（2.80%的F1分数提高）和生物医学问答（12.24%的MRR提高）。我们的分析结果表明，生物医学语料库上的预训练BERT有助于它理解复杂的生物医学文本。我们在https：//github.com/na…
2019-10-18 cs.CL
Clinical ModernBERT: An efficient and long context encoder for biomedical text
研究推出Clinical ModernBERT编码器，通过整合大规模生物医学与临床数据及ModernBERT架构升级，专为长上下文临床NLP任务生成语义丰富的表示并经基准验证有效。
2025-04-04 cs.AI cs.CL cs.LG
Improving Biomedical Abstractive Summarisation with Knowledge Aggregation from Citation Papers
The University of Surrey（萨里大学）；The University of Sheffield（谢菲尔德大学）；The University of Manchester（曼彻斯特大学）
针对语言模型因缺乏背景知识难以生成高质量生物医学摘要的问题，提出基于注意力的引文聚合模型，整合引文知识生成摘要，并构建大规模数据集，实验证明其性能优于现有方法。
2023-10-24 cs.AI cs.CL
Domain-specific or Uncertainty-aware models: Does it really make a difference for biomedical text classification?
Université de Lorraine（洛林大学）；Institut de Cancérologie（癌症研究所）；University of Helsinki（赫尔辛基大学）
本研究探讨领域特定性与不确定性感知在生物医学文本分类中的结合效果，发现二者可结合但任务本身影响更大。
2024-07-17 cs.CL
Improving BERT Model Using Contrastive Learning for Biomedical Relation Extraction
University of Delaware（特拉华大学）；Weill Cornell Medicine（威尔康奈尔医学院）
在计算机视觉中，对比学习已被用于学习图像的高质量表示。然而，对比学习并没有被广泛地应用于自然语言处理中，这是由于缺乏一种通用的文本数据数据增强方法。在这项工作中，我们探索的方法，采用对比学习，以改善文本表示的BERT模型的关系抽取。我们的框架的关键旋钮是一个独特的对比预训练步骤，通过将语言知识无缝集成到数据增强中，为关系抽取任务量身定制。此外，我们研究了如何从外部知识库构建的大规模数据可以增强BERT的对比预训练的通用性。在三个关系抽取基准数据集上的实验结果表明，该方法能够提高BERT模型的表示能力，达到最佳性能。此外，我们通过展示具有对比预训练的BERT更多地依赖于预测的基本原理来探索模型的可解释性。我们的代码和数据可在https://github.com/udel-biotm-lab/BERT-CLRE上公开获取。
2021-04-28 cs.CL
Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word Alignment
Beijing Institute of Technology（北京理工大学）；Microsoft Research（微软研究院）
跨语言语言模型通常是在多语言文本或平行句子上使用掩蔽语言建模进行预训练的。在本文中，我们引入了去噪单词对齐作为一项新的跨语言预训练任务。具体来说，该模型首先为平行句子自标记单词对齐。然后，我们随机屏蔽一个bitext对中的标记。给定一个掩码标记，该模型使用指针网络来预测另一种语言中的对齐标记。我们以期望最大化的方式交替执行上述两个步骤。实验结果表明，该方法提高了跨语言的可移植性在各种数据集上，特别是在令牌级的任务，如问答，结构化预测。此外，该模型可以作为一个预先训练的字对齐器，实现合理的低出错率的对齐基准。代码和预训练参数可在https://github.com/CZWin32768/XLM-Align上获得。
2021-09-13 cs.CL
