Understanding patient complaint characteristics using contextual clinical BERT embeddings
Medius Health
在临床会话应用中,所提取的实体倾向于捕获患者的主诉的主要主题,即症状或疾病。然而,他们大多未能认识到投诉的特征,如时间,发病和严重程度。例如,如果输入是“我头痛,而且很严重”,那么最先进的模型仅识别主要症状实体-头痛,但忽略表征头痛的“严重”的严重性因素。在本文中,我们设计了一个两阶段的方法来检测实体的特征,如一般用户在上下文中,他们会描述他们的症状,临床医生提出的症状。我们使用Word 2 Vec和BERT对患者提供的临床文本进行编码。我们转换输出并将任务重新构建为多标签分类问题。最后,我们将处理后的编码与线性判别分析(LDA)算法相结合,对主要实体的特征进行分类。实验结果表明,我们的方法实现了40-50%的提高的准确性比国家的最先进的模型。
2020-02-14 cs.CL
UzBERT: pretraining a BERT model for Uzbek
Copper City Labs(铜城实验室)
基于Transformer架构的预训练语言模型在各种自然语言处理任务中取得了最先进的结果,例如词性标注、命名实体识别和问答。然而,没有公开的乌兹别克语单语模式。在本文中,我们介绍了Uz BERT,一个基于BERT架构的预训练乌兹别克语言模型。我们的模型大大优于多语言BERT掩蔽语言模型的准确性。我们在MIT开源许可证下公开提供该模型。
2021-08-22 cs.CL
Harnessing the Power of BERT in the Turkish Clinical Domain: Pretraining Approaches for Limited Data Scenarios
Ege University(埃格大学)
本研究探索多种预训练方法对土耳其语临床语言模型在放射学报告多标签分类任务中的影响,发现结合通用领域知识与任务特定微调(如BERTurk和TurkRadBERT-task v1)性能最佳,并首次评估了同时预训练方法。
2023-05-05 cs.CL
MT-Clinical BERT: Scaling Clinical Information Extraction with Multitask Learning
Virginia Commonwealth University(弗吉尼亚联邦大学)
临床记录包含大量重要但不易获得的患者信息。自动提取该信息的系统依赖于大量的训练数据,对于这些训练数据,它们存在有限的资源来创建。此外,它们是分开开发的;这意味着特定任务系统之间不能共享信息。这个瓶颈不必要地使实际应用复杂化,降低了每个单独解决方案的性能能力,并且关联了管理多个信息抽取系统的工程债务。我们通过开发多任务临床BERT来解决这些挑战:一个单一的深度学习模型,通过在任务之间共享表示,同时执行八个临床任务,包括实体提取,PHI识别,语言蕴涵和相似性。我们发现我们的单一系统与所有最先进的特定任务系统相比具有竞争力,同时还受益于大量的计算优势。
2020-04-21 cs.CL cs.IR cs.LG
Bio+Clinical BERT, BERT Base, and CNN Performance Comparison for Predicting Drug-Review Satisfaction
University of California, Berkeley(加州大学伯克利分校)
本文比较了 Bio+Clinical BERT、BERT Base 和 CNN 在药物评论满意度三分类任务上的表现,发现医学领域专用的 Bio+Clinical BERT 显著优于通用 BERT,宏平均 f1 和召回率提升 11%,并指出两类模型各具优势。
2023-08-02 cs.AI cs.CL cs.LG
KliniskVestBERT: BERT Model Specialised to Norwegian Clinical Texts
helse-vest-ikt(赫尔塞-维斯特信息科技)
通过继续预训练现有BERT模型,在挪威临床文本上构建KliniskVestBERT模型,在临床NLP任务中显著优于基线模型。
2026-06-02 cs.AI cs.CL
Transfer Learning in Biomedical Natural Language Processing: An Evaluation of BERT and ELMo on Ten Benchmarking Datasets
National Center for Biotechnology Information(国家生物技术信息中心);National Library of Medicine, National Institutes of Health(美国国立卫生研究院国家医学图书馆)
受通用语言理解评估基准成功的启发,我们引入了生物医学语言理解评估(BLUE)基准,以促进生物医学领域中预训练语言表征开发的研究。该基准测试由五个任务和十个数据集组成,涵盖了不同数据集大小和难度的生物医学和临床文本。我们还评估了基于BERT和ELMo的几个基线,发现在PubMed摘要和MIMIC-III临床笔记上预训练的BERT模型达到了最佳结果。我们在https://github.com/ncbi-nlp/BLUE_Benchmark上公开提供数据集、预训练模型和代码。
2019-06-18 cs.CL
The Word and the Way: Strategies for Domain-Specific BERT Pre-Training in German Medical NLP
School of Computation, Information and Technology(计算信息科技学院);Technical University of Munich(慕尼黑技术大学);Chair of IT Infrastructure for Translational Medical Research(转化医学研究信息基础设施主任);Faculty of Applied Computer Science(应用计算机科学学院);University of Augsburg(艾希施泰特大学);Institute of General Practice(基础医学研究所);Faculty of Medicine and Medical Center(医学学院和医学中心)
本文提出ChristBERT系列模型,通过对比持续预训练、从头训练和领域词汇适应三种策略,在德语医学NLP任务中实现最优性能,并建立新的基准。
2026-06-02 cs.CL
Prediction of ICD Codes with Clinical BERT Embeddings and Text Augmentation with Label Balancing using MIMIC-III
University of California, Berkeley(加州大学伯克利分校)
本文使用MIMIC-III数据集实现了ICD代码预测任务的最新结果。这是通过使用临床BERT(Alsentzer等人,2019年)。嵌入和文本增强以及标签平衡,以提高ICD章节和ICD疾病代码的F1评分。我们将改进的性能主要归因于使用新颖的文本增强来在训练过程中打乱句子的顺序。与Top-32 ICD代码预测(Keyang Xu,et.(见上文)在F1得分为0.76的情况下,我们实现了0.75的最终F1得分,但是在总共前50个ICD代码上。
2020-08-24 cs.AI cs.CL
L2D-Clinical: Learning to Defer for Adaptive Model Selection in Clinical Text Classification
University of Minnesota, Northeastern University Minneapolis, Boston, USA(明尼苏达大学、东北大学)
本文提出L2D-Clinical框架,通过不确定性信号和文本特征决定在BERT和LLM之间延迟决策,提升临床文本分类的准确率,实验表明在ADE检测和治疗结果分类任务中均取得显著提升。
2026-04-14 cs.AI cs.CL
Preserving Empirical Probabilities in BERT for Small-sample Clinical Entity Recognition
针对临床 NER 中实体标签不平衡导致少数类性能下降的问题,本文分析 BERT 在随机化数据集上的损失计算与传播机制,并提出保留经验概率的 token 分类改进方法。
2024-09-05 cs.CL cs.LG
Distilling Large Language Models for Efficient Clinical Information Extraction
Poolesville High School(普尔斯维尔高中);University of California Santa Cruz(加州大学圣克鲁兹分校);Stanford University School of Medicine(斯坦福大学医学院);Clinical Excellence Research Center(临床卓越研究中心);Stanford Health Care(斯坦福医疗保健系统)
本文利用LLM和医学本体作为教师标注器蒸馏BERT模型,在临床NER任务上以最高101倍成本降低和12倍速度提升实现了与大型LLM相近的性能。
2024-12-21 cs.CL
An Eye on Clinical BERT: Investigating Language Model Generalization for Diabetic Eye Disease Phenotyping
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins School of Medicine, Wilmer Eye Institute(约翰斯·霍普金斯大学医学院威尔默眼科研究所)
本研究开发糖尿病眼病表型分析系统,发现临床预训练BERT在适应新临床领域时并无显著优势,挑战了临床NLP必须使用临床预训练模型的观念。
2023-11-15 cs.AI cs.CL cs.LG
Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study
Aalto University(阿尔托大学)
无监督预训练是许多自然语言处理系统的组成部分,而带有语言模型的迁移学习在许多下游任务中取得了显著的效果。在医疗代码分配的临床应用中,诊断和程序代码是从冗长的临床笔记(如出院摘要)中推断出来的。然而,在没有进一步架构工程的情况下,尚不清楚预训练模型是否对医疗代码预测有用。本文对在不同领域预训练的各种上下文化语言模型在临床笔记中的医疗代码分配的性能进行了全面的定量分析。我们提出了一个层次化的微调架构,以捕捉遥远的话之间的相互作用,并采用标签明智的注意,利用标签信息。与目前的趋势相反,我们证明了一个精心训练的经典CNN在具有频繁代码的MIMIC-III子集上优于基于注意力的模型。我们的实证研究结果提出了改进医疗代码分配应用的方向。
2021-10-26 cs.CL
Extracting Lifestyle Factors for Alzheimer's Disease from Clinical Notes Using Deep Learning with Weak Supervision
University of Minnesota(明尼苏达大学);Arizona State University(亚利桑那州立大学);Mayo Clinic(梅奥诊所)
由于阿尔茨海默病(AD)没有有效的治疗方法,因此通过改变生活方式和干预措施进行预防变得更加重要。分析AD患者的电子健康记录(EHR)可以帮助我们更好地了解生活方式对AD的影响。然而,生活方式信息通常存储在临床叙述中。因此,该研究的目的是证明自然语言处理(NLP)模型对生活方式因素(例如,体力活动和过度饮食)。我们通过使用基于规则的NLP算法自动生成训练数据的标签。我们对预训练的双向编码器表示从Transformers(BERT)模型进行弱监督弱标记的训练语料库。这些模型包括BERT基础模型、PubMed BERT(摘要+全文)、PubMed BERT(仅摘要)、统一医学语言系统(UMLS)BERT、生物BERT和生物临床BERT。我们进行了两个案例研究:体力活动和过度饮食,以验证BERT模型在分类AD的生活方式因素中的有效性。这些模型进行了比较,在发达的黄金标准语料库(GSC)的两个案例研究。PubmedBERT(Abs)模型在体力活动方面表现最好,其精确度、召回率和F-1得分分别为0.96、0.96和0.96。关于对过度饮食进行分类,Bio BERT模型表现出最高的性能,具有完美的精确度、召回率和F-1分数。所提出的利用弱监督的方法可以显著增加样本量,这是训练深度学习模型所必需的。该研究还证明了BERT模型从临床记录中提取阿尔茨海默病生活方式因素的有效性。
2021-01-25 cs.CL cs.IR
Multilingual Clinical NER for Diseases and Medications Recognition in Cardiology Texts using BERT Embeddings
Transilvania University of Brasov(布拉索夫Transilvania大学);Siemens Healthineers(西门子医疗)
面向 BioASQ MultiCardioNER,本研究评估多种通用领域单语与多语言 BERT 模型,用于英、西、意三语心脏病学文本的疾病和药物 NER,并在四个子任务上超过排行榜平均与中位 F1。
2025-10-20 cs.CL
Revealing the impact of social circumstances on the selection of cancer therapy through natural language processing of social work notes
Bakar Computational Health Sciences Institute, University of California, San Francisco(加州大学旧金山分校巴卡尔计算健康科学研究所);University of California, Office of the President(加州大学校长办公室);Division of Hematology/Oncology, Department of Medicine, University of California, San Francisco(加州大学旧金山分校医学系血液学/肿瘤学分部)
本研究利用基于BERT的分层多步模型分析乳腺癌患者的社工记录,发现健康社会决定因素会导致治疗选择存在系统性差异,社工报告对理解临床决策差异至关重要。
2023-06-16 cs.CL
Ensemble BERT for Medication Event Classification on Electronic Health Records (EHRs)
Center of Excellence in Research and Education for Big Military Data Intelligence (CREDIT Center)(大数据智能研究与教育中心);Department of Electrical and Computer Engineering(电气与计算机工程系);Prairie View A&M University(普拉姆维尤农业与机械大学);Texas A&M University System(德克萨斯农工大学系统)
本研究针对n2c2 2022挑战Track 1子任务2,构建基于BERT的集成模型从临床笔记中检测和分类药物事件,通过在Wikipedia和MIMIC上预训练并在CMED上微调后采用投票策略整合预测,有效提升了严格Micro-F和Macro-F分数。
2025-06-29 cs.CL cs.LG
Information Extraction from Clinical Notes: Are We Ready to Switch to Large Language Models?
McWilliams School of Biomedical Informatics, The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心麦克威廉姆斯生物医学信息学学院);Yale School of Medicine, Yale University(耶鲁大学医学院)
本研究基于多源临床笔记比较开源 LLaMA 与 BERT 的 NER/RE 性能,发现 LLaMA 泛化更优但成本更高、速度更慢,并发布临床 IE 工具 Kiwi。
2025-01-07 cs.CL
Adapting and evaluating a deep learning language model for clinical why-question answering
Mayo Clinic(梅奥诊所);Suez Canal University(苏伊士运河大学)
目的:调整和评估深度学习语言模型,以基于患者特定的临床文本回答为什么问题。材料与方法:使用不同的数据源训练来自Transformers(BERT)模型的双向编码器表示,以对临床笔记执行SQuAD 2.0风格的why-问答(why-QA)。评估的重点是:1)比较不同训练数据的优点,2)误差分析。结果:最佳模型的准确度为0.707(部分匹配为0.760)。针对临床语言定制的培训有助于提高6%的准确性。讨论内容:错误分析表明,该模型并没有真正执行深度推理,临床why-QA可能需要更复杂的解决方案。结论:BERT模型在临床why-QA中达到了中等准确度,应该从快速发展的技术中受益。尽管存在已识别的局限性,但它可以作为问题驱动的临床信息抽取的合格代理。
2019-11-13 cs.CL
Robustness and Sensitivity of BERT Models Predicting Alzheimer's Disease from Text
Winterlight Labs
了解从文本预测阿尔茨海默病的BERT模型的鲁棒性和灵敏度对于开发更好的分类模型以及了解其能力和局限性都很重要。在本文中,我们分析了如何控制所需的和不需要的文本更改量的影响性能的BERT。我们表明,BERT是强大的文本中的自然语言的变化。另一方面,我们表明,BERT是不敏感的临床重要信息从文本中删除。
2021-10-26 cs.CL
Does BERT Pretrained on Clinical Notes Reveal Sensitive Data?
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Northeastern University(东北大学);Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
在来自电子健康记录(EHR)的临床笔记上预训练的大型Transformers在预测性临床任务的性能方面提供了实质性的增益。训练这种模型的成本(以及这样做的数据访问的必要性)与它们的效用相结合,激励参数共享,即,发布ClinicalBERT等预训练模型。虽然大多数工作都使用了去识别的EHR,但许多研究人员可以访问大量敏感的、非去识别的EHR,他们可以用这些EHR训练BERT模型(或类似模型)。如果他们这样做了,释放这样一个模型的权重是否安全?在这项工作中,我们设计了一个电池的方法,旨在从一个训练有素的BERT恢复个人健康信息(PHI)。具体来说,我们试图恢复患者的姓名和与他们相关的条件。我们发现,简单的探测方法是不能够有意义地提取敏感信息的BERT训练的MIMIC-III语料库的EHR。然而,更复杂的“攻击”可能会成功做到这一点:为了促进这种研究,我们在https://github.com/elehman16/exposing_patient_data_release上提供了我们的实验设置和基线探测模型。
2021-04-22 cs.AI cs.CL cs.LG
An Empirical Study of Multi-Task Learning on BERT for Biomedical Text Mining
National Center for Biotechnology Information(国家生物技术信息中心);National Library of Medicine, National Institutes of Health(美国国立卫生研究院国家医学图书馆)
多任务学习(MTL)在自然语言处理中的应用取得了显著的成功。在这项工作中,我们研究了一个多任务的学习模型与多种生物医学和临床自然语言处理任务,如文本相似性,关系抽取,命名实体识别,文本推理的多个解码器。我们的实证结果表明,MTL微调模型优于最先进的Transformer模型(例如,BERT及其变体)在生物医学和临床领域分别增长2.0%和1.3%。配对MTL进一步展示了哪些任务可以改善或减少其他任务的更多细节。这在研究人员为新问题选择合适模型的背景下特别有用。代码和模型可在https://github.com/ncbi-nlp/bluebert上公开获取
2020-05-06 cs.CL
An Interpretable End-to-end Fine-tuning Approach for Long Clinical Text
Flatiron Health, Inc.(Flatiron Health公司);Harvard University(哈佛大学)
EHR中的非结构化临床文本包含决策支持、试验匹配和回顾性研究等应用的关键信息。最近的工作已经将基于BERT的模型应用于临床信息抽取和文本分类,因为这些模型在其他NLP领域具有最先进的性能。然而,BERT很难应用于临床笔记,因为它不能很好地扩展到长序列的文本。在这项工作中,我们提出了一种新的微调方法,称为SnipBERT。SnipBERT不使用整个笔记,而是识别关键的片段,然后以分层的方式将它们馈送到截断的BERT模型中。从经验上讲,SnipBERT不仅在三个任务中具有显著的预测性能增益,而且还提供了改进的可解释性,因为模型可以识别导致其预测的关键文本。
2020-11-12 cs.CL cs.CY
San-BERT: Extractive Summarization for Sanskrit Documents using BERT and it's variants
Sri Sathya Sai Institute of Higher Learning(斯里萨提亚赛高等研究院)
本研究基于天城体梵语语料库开发BERT及其变体模型,通过特征提取、降维与聚类技术实现梵语文档的抽取式摘要,并公开发布了相关语料库。
2023-04-04 cs.CL
Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks
Sberbank Artificial Intelligence Laboratory(俄罗斯联邦储蓄银行人工智能实验室);New York University(纽约大学)
在本文中,我们研究的问题,预测的文本电子健康记录(EHR)数据的临床诊断。我们显示了这个问题在医学界的重要性,并提出了全面的历史回顾的问题和建议的方法。作为主要的科学贡献,我们提出了一个修改的双向编码器表示从Transformers(BERT)模型的序列分类,实现了一种新的方式的全连接(FC)层组成和BERT模型预训练只在域数据。为了从经验上验证我们的模型,我们使用了一个大规模的俄罗斯EHR数据集,其中包括大约400万次独特的患者访问。这是对俄语最大的研究,也是全球最大的研究之一。我们进行了一些比较实验,与其他文本表示模型的多类分类的ICD-10的265个疾病子集的任务。实验表明,与其他基线相比,我们的模型的性能有所改善,包括微调的俄罗斯BERT(RuBERT)变体。我们还展示了我们的模型与经验丰富的医学专家小组的可比性能。这使我们希望该系统的实施将减少误诊。
2020-07-15 cs.AI cs.CL cs.LG
Multilingual BERT language model for medical tasks: Evaluation on domain-specific adaptation and cross-linguality
Erasmus University Medical Center Rotterdam(鹿特丹伊拉斯姆斯大学医学中心);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本研究探讨在领域特定语料库上进一步预训练多语言BERT对医疗NLP任务的影响,发现领域适应和跨语言迁移能显著提升低资源语言(荷兰语、罗马尼亚语、西班牙语)的临床任务性能。
2025-10-31 cs.CL
ABB-BERT: A BERT model for disambiguating abbreviations and contractions
Novartis Pharmaceuticals(诺华制药)
缩略语和缩略语在不同领域的文本中很常见。例如,医生的笔记包含许多收缩,可以根据他们的选择进行个性化。现有的拼写校正模型不适合处理扩展,因为许多减少的字符在词。在这项工作中,我们提出了ABB-BERT,BERT为基础的模型,它处理一个模糊的语言包含缩写和缩写。ABB-BERT可以从数千个选项中对它们进行排名,并为规模而设计。它是在维基百科文本上训练的,该算法允许它以很小的计算量进行微调,以获得更好的域或个人性能。我们正在公开发布来自维基百科的缩写和缩写的训练数据集。
2022-07-08 cs.CL
Improving Extraction of Clinical Event Contextual Properties from Electronic Health Records: A Comparative Study
King’s College London(伦敦国王学院);Guy’s and St Thomas’ NHS Foundation Trust(盖伊和圣托马斯 NHS 基金会信托);King’s College Hospital NHS Foundation Trust(国王学院医院 NHS 基金会信托);University College London(伦敦大学学院);Health Data Research UK London(英国健康数据研究伦敦中心)
本文比较多种医学文本分类模型,发现结合类别不平衡缓解技术的 BERT 在少数类别召回率上显著优于 Bi-LSTM 和基线 BERT,并已集成到 CogStack/MedCAT 框架中。
2024-08-30 cs.CL
Information Extraction from Swedish Medical Prescriptions with Sig-Transformer Encoder
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
依赖于大型预训练语言模型,例如来自Transformers的双向编码器表示(BERT)进行编码并添加简单的预测层,在许多临床自然语言处理(NLP)任务中取得了令人印象深刻的性能。在这项工作中,我们提出了一种新的扩展的Transformer架构,将签名转换与自我注意力模型。该架构被添加在嵌入层和预测层之间。一个新的瑞典处方数据上的实验表明,该架构是优于三个信息抽取任务中的两个,与基线模型。最后,我们评估了应用多语言BERT和将瑞典语文本翻译为英语然后使用临床笔记预训练的BERT模型进行编码之间的两种不同嵌入方法。
2020-10-10 cs.CL
CACER: Clinical Concept Annotations for Cancer Events and Relations
University of Washington(华盛顿大学);George Mason University(乔治梅森大学);Huntsman Cancer Institute(亨茨曼癌症研究所);University of Utah(犹他大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
本文构建含4.8万余个癌症相关事件和1万条关系的 CACER 标注语料,并评估多种 transformer 信息抽取模型,证明微调小模型可接近标注者一致性且优于 ICL 下的 GPT-4。
2024-09-05 cs.CL
A Small and Fast BERT for Chinese Medical Punctuation Restoration
Guangdong University of Technology(广东工业大学);PKU-HKUST Shenzhen Hong Kong Institute(北大港深创新及科技园(北京大学香港科技大学深圳研究院));Shenzhen Raisound Technologies, Co., Ltd(深圳瑞声科技股份有限公司)
本文提出一种基于预训练与微调的中文医学标点恢复轻量模型,通过监督对比学习和标点符号预测辅助任务蒸馏预训练模型,在仅10%模型规模下达到中文RoBERTa约95%的性能。
2024-06-28 cs.CL
Enhancing Clinical Information Extraction with Transferred Contextual Embeddings
The Australian National University (ANU)(澳大利亚国立大学);Data61, Commonwealth Scientific and Industrial Research Organization (CSIRO)(澳大利亚联邦科学与工业研究组织Data61部门);University of Canberra(堪培拉大学);University of Turku(图尔库大学)
Transformers的双向编码器表示(BERT)模型在许多自然语言处理(NLP)任务中取得了最先进的性能。然而,当目标域从预训练语料库转移时,例如,对于生物医学或临床NLP应用,有限的研究有助于研究其有效性。在本文中,我们将其应用到一个广泛研究的医院信息抽取(IE)的任务,并分析其性能下的迁移学习设置。与现有的IE模型相比,我们的应用程序成为了新的最先进的结果。具体来说,在这个护理交接数据集上,我们模型的宏观平均F1得分为0.438,而之前最好的深度学习模型为0.416。总之,我们证明了基于BERT的预训练模型可以在温和的条件下通过适当的微调过程转移到健康相关的文档中。
2021-09-22 cs.CL
Adaptation of Biomedical and Clinical Pretrained Models to French Long Documents: A Comparative Study
Nantes Université(南特大学);CHU Nantes(南特大学医院中心);INSERM(法国国家健康与医学研究院);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室)
本文比较了三种基于Longformer的法语生物医学长文档适配策略,发现用英语临床模型继续预训练法语生物医学文本效果最佳,长序列模型在多数下游任务上优于BERT,但BERT在命名实体识别上仍最高效。
2024-02-26 cs.AI cs.CL
FRASIMED: a Clinical French Annotated Resource Produced through Crosslingual BERT-Based Annotation Projection
University Hospitals of Geneva(日内瓦大学医院);University of Geneva(日内瓦大学)
本文提出基于语言无关BERT的跨语言标注投影方法,以极低人工成本扩充低资源语料库,并据此构建了包含2051个法语临床病例的FRASIMED标注语料库,成为法语临床NLP领域最大的开放标注资源。
2023-09-19 cs.AI cs.CL
BERT Based Clinical Knowledge Extraction for Biomedical Knowledge Graph Construction and Analysis
School of Information Sciences(信息科学学院);Mohammed V University in Rabat(拉巴特穆罕默德五世大学);ENSIAS(国立高等计算机与系统分析学院)
提出一种结合BERT与CRF的端到端临床知识抽取框架,用于构建生物医学知识图谱并支持问答,在505份真实临床笔记上NER和RE准确率分别达90.7%和88%。
2023-04-21 cs.AI cs.CL
Pre-training technique to localize medical BERT and enhance biomedical BERT
Osaka University Graduate School of Medicine(大阪大学医学系研究科);Osaka University(大阪大学)
本文提出通过对领域语料上采样并扩充词汇表进行均衡同步预训练,以解决医学等小语料领域 BERT 训练困难问题,并在日语医学分类和 BLUE 基准上验证了模型性能提升。
2021-02-25 cs.CL
Predicting Antibiotic Resistance Patterns Using Sentence-BERT: A Machine Learning Approach
Duke University School of Medicine(杜克大学医学院);Duke University(杜克大学)
该研究利用MIMIC-III临床记录生成Sentence-BERT嵌入,结合神经网络和XGBoost预测抗生素敏感性,XGBoost平均F1达0.86,为抗菌药物管理提供了新思路。
2025-09-16 cs.CL
AD-BERT: Using Pre-trained contextualized embeddings to Predict the Progression from Mild Cognitive Impairment to Alzheimer's Disease
Northwestern University(西北大学);University of Florida(佛罗里达大学);Weill Cornell Medicine(威尔康奈尔医学院);Mayo Clinic(梅奥诊所)
目的:我们开发了一个深度学习框架,该框架基于预训练的来自Transformers的双向编码器表示(BERT)模型,使用来自电子健康记录(EHR)的非结构化临床笔记来预测从轻度认知障碍(MCI)到阿尔茨海默病(AD)的疾病进展风险。材料与方法:我们确定了2000-2020年间从西北医药企业数据仓库(NMEDW)中诊断为MCI的3657例患者及其病程记录。不迟于第一次MCI诊断的病程记录用于预测。我们首先通过去识别、清洗和拆分对笔记进行预处理,然后基于预处理后的笔记上公开可用的Bio+Clinical BERT,预训练AD的BERT模型(AD-BERT)。由AD-BERT处理的患者笔记的所有部分的嵌入通过MaxPooling组合以计算MCI到AD进展的概率。为了重复,我们在同一时间段内对威尔康奈尔医学(WCM)确定的2563名MCI患者进行了一组类似的实验。结果如下:与7个基线模型相比,AD-BERT模型在两个数据集上均取得了最佳性能,在NMEDW数据集上的受试者操作特征曲线下面积(AUC)为0.8170,F1评分为0.4178,在WCM数据集上的AUC为0.8830,F1评分为0.6836。结论:我们使用BERT模型开发了一个深度学习框架,该框架为使用临床笔记分析预测MCI到AD的进展提供了有效的解决方案。
2022-11-07 cs.CL cs.LG
Noise reduction in BERT NER models for clinical entity extraction
ConcertAI LLC
本文提出噪声去除模型提升BERT NER在临床实体提取中的精度,通过概率密度图优化预测分类,减少假阳性至90%
2026-02-03 cs.AI cs.CL cs.IR
When BERT Fails -- The Limits of EHR Classification
Brown University(布朗大学)
Transformers是强大的文本表示学习器,可用于各种临床决策支持任务。尽管它们在再入院预测方面优于基线,但它们并非绝对可靠。在这里,我们研究了一个这样的失败案例,并报告了导致预测性能低下的模式。
2022-07-26 cs.CL cs.LG
CHiRPE: A Step Towards Real-World Clinical NLP with Clinician-Oriented Model Explanations
Orygen and The University of Melbourne(Orygen和墨尔本大学);AIM for Health Lab, Monash University(AIM for Health实验室,墨尔本大学);University of Liverpool(利物浦大学);Yale School of Medicine, Yale University(耶鲁医学院,耶鲁大学);Brigham and Women’s Hospital, Harvard Medical School(哈佛医学院布里奇沃特医院)
CHiRPE通过临床医生共同开发的新型SHAP解释格式,实现了高准确率的临床风险预测,并展示了临床指导的模型开发在真实世界中的应用潜力。
2026-01-26 cs.CL
GREEK-BERT: The Greeks visiting Sesame Street
Athens University of Economics and Business(雅典经济与商业大学)
基于转换器的语言模型,如BERT及其变体,在通用基准数据自然语言处理(例如,胶水,SQUAD,RACE)。然而,这些模型大多被应用于资源丰富的英语语言。在本文中,我们提出了GREEK-BERT,一个单语BERT为基础的语言模型的现代希腊语。我们在三个NLP任务中评估其性能,即,词性标注、命名实体识别和自然语言推理,获得最先进的性能。有趣的是,在其中两个基准测试中,GREEK-BERT的表现优于两个基于多语言transformer的模型(M-BERT,XLM-R),以及在预训练的词嵌入上操作的较浅神经基线(5%-10%)。最重要的是,我们公开了GREEK-BERT和我们的训练代码,以及说明如何为下游NLP任务微调GREEK-BERT的代码。我们希望这些资源能够促进现代希腊语的NLP研究和应用。
2020-09-03 cs.CL
Gender bias in (non)-contextual clinical word embeddings for stereotypical medical categories
Utrecht University(乌得勒支大学)
临床词嵌入作为一种最先进的特征向量表示,广泛应用于各种生物自然语言处理问题。虽然他们在单词的语义表示方面非常成功,但由于他们接受培训的数据集-可能带有统计和社会偏见-他们可能会表现出性别刻板印象。本研究分析性别偏见的临床嵌入三个医学类别:精神障碍,性传播疾病和人格特质。在这种程度上,我们分析了两种不同的预训练嵌入,即(情境化)临床BERT和(非情境化)BioWordVec。我们发现,这两种嵌入都偏向于敏感的性别群体,但BioWordVec在所有三个类别中表现出比临床BERT更高的偏差。此外,我们的分析表明,临床嵌入进行了高度的偏见,一些医学术语和疾病,这是与医学文献相冲突。这种缺乏根据的关系可能会对使用临床嵌入的下游应用造成损害。
2022-08-08 cs.CL cs.CY
BERT for Monolingual and Cross-Lingual Reverse Dictionary
Fudan University(复旦大学)
逆向词典是在给定单词描述的情况下找到合适的目标单词的任务。在本文中,我们试图将BERT纳入到这个任务。然而,由于BERT基于字节对编码(BPE)子字编码,因此使BERT生成给定描述的字是不平凡的。我们提出了一个简单而有效的方法,使BERT产生的目标词为这个特定的任务。此外,跨语言反向词典的任务是找到正确的目标词描述的另一种语言。以前的模型必须保持两个不同的词嵌入,并学习对齐这些嵌入。然而,通过使用多语言BERT(mBERT),我们可以有效地进行跨语言的反向字典与一个子词嵌入,和语言之间的对齐是不必要的。更重要的是,mBERT在没有平行语料库的情况下也能实现出色的跨语言逆向词典性能,即只需要对应的单语数据就可以进行跨语言逆向词典。代码可在https://github.com/yhcc/BertForRD.git上公开获取。
2020-09-30 cs.CL
Cross-Lingual BERT Transformation for Zero-Shot Dependency Parsing
Harbin Institute of Technology(哈尔滨工业大学);MIT(麻省理工学院)
本文研究了在语境空间中学习跨语言表征的问题。我们提出了跨语言BERT转换(CLBT),这是一种基于公开可用的预训练BERT模型生成跨语言上下文化词嵌入的简单而有效的方法(Devlin等人,2018年)。在这种方法中,从上下文单词对齐中学习线性变换,以对齐在不同语言中独立训练的上下文化嵌入。我们证明了这种方法的有效性zero-shot跨语言迁移分析。实验表明,我们的嵌入大大优于以前的国家的最先进的使用静态嵌入。我们进一步将我们的方法与XLM(Lample和Conneau,2019)进行了比较,XLM是最近提出的一种使用大量并行数据训练的跨语言语言模型,并取得了极具竞争力的结果。
2019-09-15 cs.CL
Cost-effective Selection of Pretraining Data: A Case Study of Pretraining BERT on Social Media
CSIRO Data61(澳大利亚联邦科学与工业研究组织数据61);University of Sydney(悉尼大学);Harrison ai(哈里森人工智能)
最近对特定领域BERT模型的研究表明,当模型在域内数据上进行预训练时,下游任务的有效性可以得到提高。通常,这些模型中使用的预训练数据是基于其主题选择的,例如,生物学或计算机科学。考虑到使用社交媒体文本的应用范围及其独特的语言多样性,我们分别在推文和论坛文本上预训练两个模型,并实证证明这两种资源的有效性。此外,我们还研究了如何使用相似性度量来提名域内预训练数据。我们在https://bit.ly/35RpTf0公开发布我们的预训练模型。
2020-10-02 cs.CL
Supervised Fine-Tuning or In-Context Learning? Evaluating LLMs for Clinical NER
Andrei Baroian(独立研究者)
本研究在CADEC语料库上比较了BERT类编码器、GPT-4o的上下文学习与监督微调在临床NER中的表现,发现监督微调性能最优(F1约87.1%),且简化任务可提升准确率。
2025-10-25 cs.AI cs.CL
Enhancing Clinical Concept Extraction with Contextual Embeddings
School of Biomedical Informatics(生物医学信息学院);The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心)
基于神经网络的表示(“嵌入”)极大地推进了自然语言处理(NLP)任务,包括临床NLP任务,诸如概念提取。然而,最近,更先进的嵌入方法和表示(例如,ELMo、BERT)进一步推动了NLP的发展,但对于如何将这些表示集成到临床任务中,还没有通用的最佳实践。本研究的目的,然后,是探索在利用这些新的模型进行临床概念提取的可能选项的空间,包括比较这些传统的词嵌入方法(word 2 vec,GloVe,fastText)。评估了MIMIC-III的现成开放域嵌入和预训练的临床嵌入。我们探索了一系列由传统词嵌入和上下文嵌入组成的嵌入方法,并在四个概念提取语料库上进行了比较:i2 b2 2010,i2 b2 2012,SemEval 2014和SemEval 2015。我们还分析了ELMo或BERT等大语言模型的预训练时间对提取性能的影响。最后,我们提出了一个直观的方式来理解的语义信息编码的上下文嵌入。在大型临床语料库上预训练的上下文嵌入在所有概念提取任务中实现了新的最先进的性能。表现最好的模型优于所有最先进的方法,其F1测量值分别为90.25、93.18(部分)、80.74和81.65。我们展示了上下文嵌入的潜力,通过国家的最先进的性能,这些方法实现临床概念提取。此外,我们证明了上下文嵌入编码有价值的语义信息不占传统的词表示。
2019-08-14 cs.CL
DECK: Behavioral Tests to Improve Interpretability and Generalizability of BERT Models Detecting Depression from Text
从文本中准确检测抑郁症的模型是应对大流行后心理健康危机的重要工具。基于BERT的分类器有前途的性能和现成的可用性使它们成为这项任务的理想候选者。然而,已知这些模型遭受性能不一致和较差的泛化。在本文中,我们介绍了DECK(抑郁症患者Klist),抑郁症特定的模型行为测试,允许更好的解释性和提高概括性的BERT分类器在抑郁症领域。我们创建了23个测试来评估BERT,RoBERTa和AL BERT抑郁分类器在三个数据集上,两个基于Twitter和一个基于临床访谈。我们的评估表明,这些模型:1)对文本中某些性别敏感的变化具有鲁棒性; 2)依赖于第一人称代词使用增加的重要抑郁语言标记; 3)未能检测到其他一些抑郁症状,如自杀意念。我们还证明了DECK测试可以用于将特定于训练数据的信息整合到训练数据中,并始终如一地提高所有三个BERT模型的泛化能力,分布外F1分数增加高达53.93%。
2022-09-12 cs.CL
Publicly Shareable Clinical Large Language Model Built on Synthetic Clinical Notes
KAIST(韩国科学技术院);Yonsei University College of Medicine(延世大学医学院);Seoul National University(首尔大学)
为解决临床笔记隐私限制问题,研究利用生物医学文献合成的临床笔记训练专用大模型 Asclepius,评估证明其性能可媲美真实数据训练的模型,并已开源全部资源。
2024-07-29 cs.AI cs.CL
Clinical Relation Extraction Using Transformer-based Models
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心)
新出现的Transformer技术对自然语言处理研究产生了巨大的影响。在一般的英语领域,基于transformer的模型在各种NLP基准测试中取得了最先进的性能。在临床领域,研究人员还研究了用于临床应用的Transformer模型。本研究的目标是系统地探索三种广泛使用的基于变压器的模型(即,BERT、RoBERTa和XLNet)进行临床关系抽取,并开发具有临床预训练的基于转换器的模型的开源包,以促进临床领域中的信息抽取。我们开发了一系列基于三种Transformer架构的临床RE模型,即BERT、RoBERTa和XLNet。我们使用来自2018年MADE 1.0和2018年n2 c2挑战的2个公开数据集评估了这些模型。我们比较了两种分类策略(二进制与多类分类),并研究了两种方法来生成候选关系,在不同的实验设置。在这项研究中,我们比较了三个基于转换器(BERT,RoBERTa和XLNet)的关系抽取模型。我们证明了RoBERTA-临床RE模型在2018年MADE 1.0数据集上实现了最佳性能,F1得分为0.8958。在2018年的n2 c2数据集中,XLNet临床模型获得了最佳F1评分0.9610。我们的研究结果表明,二元分类策略始终优于临床关系抽取的多类分类策略。我们的方法和模型可在https://github.com/uf-hobi-informatics-lab/Clinica…
2021-08-16 cs.CL cs.IR cs.LG
Enhancing Pharmacovigilance with Drug Reviews and Social Media
University of California, Berkeley(加州大学伯克利分校)
本文探讨了是否可以利用药物评论和社交媒体作为药物不良反应(ADR)药物警戒的潜在替代来源。我们检查了BERT的性能以及在生物医学论文BioBERT 7和临床笔记Clinical BERT 8上训练的两个变体。对各种8种不同的BERT模型进行微调,并在三个不同的任务中进行比较,以评估它们在ADR任务中彼此的相对表现。这些任务包括药物评论的情感分类、Twitter帖子中ADR的存在以及Twitter帖子中ADR的命名实体识别。BERT在所有三种不同的药物警戒相关任务中表现出高性能的灵活性。
2020-04-18 cs.CL cs.IR cs.LG
Comparing representations of long clinical texts for the task of patient note-identification
Inria(法国国家信息与自动化研究所);Inserm(法国国家健康与医学研究院);Data Science Platform, Imagine Institute(伊马金研究所数据科学平台);Hôpital Universitaire Necker-Enfants Malades(内克尔-恩范茨-马拉德大学医院);Assistance Publique - Hôpitaux de Paris (APHP)(巴黎公共医疗援助医院集团);Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);LORIA(洛林计算机科学与应用实验室);INESC-ID(里斯本大学学院计算机与系统工程研究中心);Instituto Superior Técnico(里斯本高等技术学院);Universidade de Lisboa(里斯本大学)
本文针对患者笔记识别任务,比较了HAN、HTN、LongFormer及BERT等嵌入方法与池化策略,发现BERT结合mean_max池化在处理长临床文本和捕捉患者级表示上效果最优,并在MIMIC和Necker数据上验证了泛化性。
2025-03-31 cs.CL