MedDoc-Bot: A Chat Tool for Comparative Analysis of Large Language Models in the Context of the Pediatric Hypertension Guideline
Peter L. Reichertz Institute for Medical Informatics of TU Braunschweig and Hannover Medical School(布伦瑞克工业大学与汉诺威医学院Peter L. Reichertz医学信息学研究所);Hannover Medical School(汉诺威医学院)
本研究评估了Meditron等4个开源LLM解读PDF医疗指南的效能,以ESC儿童高血压指南为测试场景,开发MedDoc-Bot工具,结合专家评分与METEOR等指标发现Mistral和Llama-2表现较好,为医疗文档解读LLM发展提供参考。
2024-05-06 cs.AI cs.CL cs.IR
Stabilizing Reasoning in Medical LLMs with Continued Pretraining and Reasoning Preference Optimization
Preferred Networks Inc.(Preferred Networks公司);Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
本文提出Preferred-MedLLM-Qwen-72B,通过持续预训练和推理偏好优化,在日语医学领域实现高准确率(0.868)与稳定推理,超越GPT-4o,并开源模型权重。
2025-04-25 cs.AI cs.CL cs.LG
Can Large Language Models abstract Medical Coded Language?
University of California, Los Angeles(加州大学洛杉矶分校)
本研究评估GPT、LLaMA-2和Meditron等大型语言模型对ICD-10等医学编码本体的理解与名称生成能力,发现其在编码语言上表现不佳,并提出改进推理的方法。
2024-06-06 cs.CL
Self-supervised vision-language pretraining for Medical visual question answering
Harbin Engineering University(哈尔滨工程大学);Monash University(莫纳什大学)
医学图像视觉问答(VQA)是在给定的射线图像下回答临床问题的任务,这是一个具有挑战性的问题,需要一个模型来集成视觉和语言信息。为了解决训练数据数量有限的医学VQA问题,预训练-微调范式被广泛用于提高模型的泛化能力。在本文中,我们提出了一种自监督的方法,应用掩码图像建模,屏蔽语言建模,图像文本匹配和图文对齐通过对比学习(M2 I2)的预训练的医学图像字幕数据集,并微调到下游的医学VQA任务。所提出的方法在所有三个公共医疗VQA数据集上实现了最先进的性能。我们的代码和型号可在https://github.com/pengfeiliHEU/M2I2上获得。
2022-11-24 cs.AI cs.CV
NoteContrast: Contrastive Language-Diagnostic Pretraining for Medical Text
Brigham and Women’s Hospital(布里格姆妇女医院);Harvard Medical School(哈佛医学院)
针对医学笔记诊断编码,提出基于ICD-10代码序列模型、医学文本大语言模型和对比预训练的集成方法,在多个MIMIC-III任务上超越现有最优模型。
2024-12-16 cs.CL cs.LG
CUPCase: Clinically Uncommon Patient Cases and Diagnoses Dataset
Ben-Gurion University of the Negev(内盖夫本-古里安大学)
本文构建了基于3,562份真实病例报告的CUPCase数据集,用于评估大语言模型在罕见及非典型临床病例中的诊断能力,发现GPT-4o在多项选择和开放式诊断任务中均优于专用医学LLMs,并展示了其在仅用部分病例信息时仍能保持较高性能,支持早期诊断辅助。
2025-03-08 cs.AI cs.CL cs.LG
OpenMedQ: Broad Open Pretraining for Medical Vision-Language Models
Stanford University(斯坦福大学);Stanford University School of Medicine(斯坦福大学医学院);Ghent University(根特大学)
提出OpenMedQ,在14个数据集(约335万样本)上预训练医学视觉语言模型,在PathVQA上BLEU-1达75.9,超越562B参数的Med-PaLM M,并在8个未见医学分类任务上取得最高平均macro-F1(0.757)。
2026-06-12 cs.AI cs.CV cs.LG
UnibucLLM: Harnessing LLMs for Automated Prediction of Item Difficulty and Response Time for Multiple-Choice Questions
University of Bucharest(布加勒斯特大学)
本研究提出基于 LLM 的数据增强方法,利用零样本 LLM 回答和 Transformer 模型预测 USMLE 多项选择题的难度与作答时间,发现 LLM 回答的差异性有助于提升医学执照考试的自动化评估效果。
2024-04-20 cs.AI cs.CL cs.LG
Towards Medical Artificial General Intelligence via Knowledge-Enhanced Multimodal Pretraining
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯);Starfleet Academy(星际舰队学院)
本文提出知识增强多模态预训练范式MOTOR,融合通用与特定医疗知识,统一理解与生成,并构建医疗多模态基准,验证其适配效果与可解释性。
2023-04-26 cs.AI cs.CV
Location-Aware Pretraining for Medical Difference Visual Question Answering
Department of Electrical and Computer Engineering, Carnegie Mellon University, Kigali, Rwanda(电气与计算机工程系,卡内基梅隆大学,刚果(金)基利齐);University of Melbourne, Melbourne, Australia(墨尔本大学,墨尔本,澳大利亚)
本文提出一种面向位置的预训练框架,结合AREF、GCAP和CAREF任务,提升医学差异VQA中细粒度空间视觉表征能力,实现胸部X光图像中临床相关变化的准确识别与推理。
2026-04-22 cs.AI cs.CV
Generative Medical Event Models Improve with Scale
Epic Systems(Epic系统);Microsoft Research(微软研究院);Yale School of Medicine(耶鲁医学院);Cosmos Governing Council(Cosmos管理委员会)
本文提出生成式医疗事件基础模型 Curiosity,在 Epic Cosmos 大规模纵向健康记录上预训练,揭示医疗事件数据的缩放定律,并在 78 个真实世界任务上无需微调即达到或超越任务特定监督模型,验证了生成式基础模型在临床决策和医疗运营中的可扩展性与泛化能力。
2025-11-07 cs.AI cs.CL cs.LG
Measuring Pretraining Contamination in Public Medical Vision-Language Benchmarks
Stanford University(斯坦福大学);University of California, Berkeley(加州大学伯克利分校);Mayo Clinic(梅奥诊所)
审计发现公共医学VLM基准存在图像源重叠和文本规范顺序交换性信号,但确认的像素级重复罕见,且现有成员推理检测器在小规模医学VLM队列中不可靠。
2026-10-23 cs.AI cs.CV cs.LG
Prompt Sensitivity and Answer Consistency of Small Open-Source Language Models for Clinical Question Answering in Low-Resource Healthcare
Independent Researcher(独立研究者)
研究评估了五种开源模型在三个医疗问答数据集上的表现,发现一致性与准确性独立,Llama 3.2在准确性与可靠性上表现最佳,但领域预训练不足以保证结构化医疗问答的正确性。
2026-03-16 cs.AI cs.CL
The Limited Impact of Medical Adaptation of Large Language and Vision-Language Models
Carnegie Mellon University(卡内基梅隆大学);Abridge;Mistral AI;Johns Hopkins University(约翰霍普金斯大学)
本文对比了多个医学LLM和VLM与其基础模型,发现在零样本/少样本提示和监督微调下,医学适应未能持续提升医学问答性能,表明通用模型已具较强医学能力。
2025-06-28 cs.AI cs.CL cs.LG
BiMediX: Bilingual Medical Mixture of Experts LLM
Mohamed Bin Zayed University of Artificial Intelligence (MBZUAI)(穆罕默德·本·扎耶德人工智能大学(MBZUAI))
本研究推出首个英阿双语医学混合专家大语言模型BiMediX,配套构建了130万条规模的双语医学指令数据集与阿拉伯语医学评估基准,实验证明其在多类医学任务上性能优于现有模型且推理速度更快。
2024-12-10 cs.CL
Pretraining of Medical Visual Encoders Toward Multi-modal Large Language Models
University of Bern(伯尔尼大学)
针对MLLM中视觉编码器与自回归LLM的语义接口差距,提出MedMLIP框架,通过报告生成预训练视觉编码器并采用局部关系蒸馏避免视觉崩溃,实验证明跨LLM迁移的有效性。
2026-09-22 cs.AI
Measuring Stability Beyond Accuracy in Small Open-Source Medical Large Language Models for Pediatric Endocrinology
本文研究了儿科内分泌学中医疗小型开源大语言模型的稳定性,发现高一致性不等于正确性,且系统扰动会影响输出,强调了评估框架的必要性。
2025-12-26 cs.AI cs.CL
Medical Adaptation of Large Language and Vision-Language Models: Are We Making Progress?
Carnegie Mellon University(卡内基梅隆大学);Mistral AI;Abridge AI;Johns Hopkins University(约翰斯·霍普金斯大学)
本文通过头对头比较多个医学LLMs和VLMs与其基础模型,发现医学领域适配预训练在医学问答少样本/零样本设置下普遍未能带来一致提升,并指出通用模型已具备较强医学能力。
2024-11-19 cs.AI cs.CL cs.LG
Balancing Safety and Helpfulness in Healthcare AI Assistants through Iterative Preference Alignment
University of Maryland(马里兰大学);Oracle Labs(Oracle实验室);Oracle Health AI(Oracle健康AI)
本文提出通过迭代偏好对齐框架提升医疗AI助手的安全性与帮助性,通过KTO和DPO优化改进模型,提升有害查询检测性能并平衡安全与效用。
2025-12-03 cs.AI cs.CL cs.CY
MISS: A Generative Pretraining and Finetuning Approach for Med-VQA
Academy for Engineering and Technology, Fudan University(复旦大学工程技术研究院);Cognition and Intelligent Technology Laboratory (CIT Lab)(认知与智能技术实验室);Engineering Research Center of AI and Robotics(人工智能与机器人工程研究中心);Jilin Provincial Key Laboratory of Intelligence Science and Engineering(吉林省智能科学与工程重点实验室)
针对医学VQA现有分类范式难落地、预训练多模态数据不足的问题,提出生成式多任务自监督框架MISS,统一编码器并对齐特征,还提出Transfer-and-Caption方法借助LLMs复用单模态医学数据,在少多模态数据下取得优异效果。
2024-06-19 cs.AI cs.CV
Small Language Models Learn Enhanced Reasoning Skills from Medical Textbooks
Korea University(高丽大学);Imperial College London(帝国理工学院);AIGEN Sciences(AIGEN 科学公司)
本文提出基于医学教科书思维链数据训练的 Meerkat 系列医学模型,在多个医学基准上超越 MediTron、BioMistral 和 GPT-3.5,并使 7B 模型首次通过 USMLE 门槛,显著缩小小型模型与大型商用模型的性能差距。
2024-06-30 cs.CL
Medical foundation models converge less under label supervision
RWTH Aachen University(亚琛工业大学);University Hospital RWTH Aachen(亚琛工业大学附属医院);Technical University of Munich(慕尼黑工业大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Technical University Dresden(德累斯顿工业大学);University Hospital Dresden(德累斯顿大学附属医院);University Hospital Heidelberg(海德堡大学附属医院)
研究探讨医学基础模型中表征趋同问题,通过对多个编码器剖析发现自我监督比临床监督更能驱动收敛,虽收敛有限但线性分类器可跨编码器转移,表明医学成像收敛由预训练目标决定,为互操作性设计与验证提供依据。
2026-10-12 cs.AI cs.CL cs.CV
VIVID-Med: LLM-Supervised Structured Pretraining for Deployable Medical ViTs
Shanghai University of Engineering Science(上海工程技术大学);National University of Singapore(新加坡国立大学);Case Western Reserve University(凯斯西储大学)
VIVID-Med通过LLM监督的结构化预训练方法,实现轻量级可部署的医学ViT模型,在医学图像分析中表现出高效和强泛化能力。
2026-03-11 cs.AI cs.CV
CheXmix: Unified Generative Pretraining for Vision Language Models in Medical Imaging
Stanford AIMI, Stanford University(斯坦福大学AIMI研究所,斯坦福大学);Oracle Health AI(Oracle健康AI);Department of Radiology, Stanford University(斯坦福大学放射科)
CheXmix通过统一早融合生成方法,在医学影像中实现更精确的联合表征学习,优于现有生成模型,在多个任务上表现突出。
2026-04-24 cs.AI cs.CV
Improved Hierarchical Patient Classification with Language Model Pretraining over Clinical Notes
Google Health(谷歌健康)
电子健康记录中的临床记录包含高度异质的书写风格,包括非标准术语或缩写。在预测建模中使用这些注释传统上需要预处理(例如,获取频繁术语或主题建模),这会去除源数据的大部分丰富性。我们提出了一个预训练的分层递归神经网络模型,该模型以直观的方式解析最小化处理的临床笔记,并表明与将笔记视为无序术语集合或不进行预训练的模型相比,它提高了重症监护医学信息市场III(MIMIC-III)数据集上出院诊断分类任务的性能。我们还将归因技术应用于示例,以识别模型用于进行预测的单词,并显示单词附近上下文的重要性。
2019-11-15 cs.CL cs.LG stat.ML
Boosting Medical Vision-Language Pretraining via Momentum Self-Distillation under Limited Computing Resources
Faculty of Information Technology, University of Science, Ho Chi Minh City, Vietnam(信息科技学院,科学大学,胡志明市,越南);Vietnam National University, Ho Chi Minh City, Vietnam(越南国家大学,胡志明市,越南)
本研究通过动量自蒸馏与梯度累积提升医学视觉-语言预训练效率,实现高效多模态学习并提升零样本分类和少量样本适应性能。
2025-12-02 cs.AI cs.CV
Enhancing Healthcare through Large Language Models: A Study on Medical Question Answering
Independent Researcher San Jose, USA;Independent Researcher Boston, USA;Independent Researcher Mill Creek, USA;Independent Researcher Brea, USA
本文研究多种大型语言模型在MedQuAD医学问答数据集上的表现,发现Sentence-t5结合Mistral 7B以0.762精确率最优,证明复杂LLMs能有效提升医学知识检索和患者支持。
2024-08-08 cs.AI cs.CL
Bridging Language Barriers in Healthcare: A Study on Arabic LLMs
M42 Health(M42医疗)
该研究针对多语言医学大语言模型开发难题,通过实验发现训练数据最优语言组合因任务而异,更大模型经语言比例校准后母语临床表现更优,指出预训练比微调更能提升多语言医疗性能,为普惠医疗AI构建提供指导。
2025-01-16 cs.AI cs.CL
Towards Evaluating and Building Versatile Large Language Models for Medicine
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);China Mobile Communications Group Co., Ltd.(中国移动通信集团有限公司);China Mobile Communications Group Shanghai Co., Ltd.(中国移动通信集团上海有限公司)
本文提出医学综合基准 MedS-Bench 和大规模指令微调数据集 MedS-Ins,并通过微调得到 MMedIns-Llama 3,显著提升大语言模型在多种临床任务上的表现。
2024-09-05 cs.CL
70B-parameter large language models in Japanese medical question-answering
The University of Tokyo(东京大学)
针对日文医疗大语言模型研究不足的问题,本研究首次对多款70B参数模型开展日文医疗问答指令微调,使模型解答日本医师资格考试的准确率突破50%,验证了本地语言持续预训练、分词器调整及提示格式优化的价值。
2024-06-21 cs.CL
CT-GLIP: 3D Grounded Language-Image Pretraining with CT Scans and Radiology Reports for Full-Body Scenarios
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团);University of Rochester(罗切斯特大学);Hupan Lab, \postcode 10587, \state Hangzhou, \country China(华普实验室,浙江省杭州市,中国);Department of Radiology, Shanghai Institution of Pancreatic Disease, \state Shanghai, \country China(胰腺疾病研究所放射科,上海市,中国)
CT-GLIP通过构建细粒度CT报告对,提升3D grounded语言-图像预训练,实现更精确的跨模态对齐,从而在零样本任务中提升器官识别和肿瘤检测性能。
2025-12-02 cs.AI cs.CL cs.CV
Evaluating LLM Abilities to Understand Tabular Electronic Health Records: A Comprehensive Study of Patient Data Extraction and Retrieval
Université Paul Sabatier(保罗·萨巴蒂埃大学);IRIT(信息论与电信研究所);Centre Hospitalier Universitaire de Toulouse(图卢兹大学医院中心);INSERM(法国国家健康与医学研究院);Université de Toulouse(图卢兹大学);Faculté de Médecine(医学院)
本研究首次探究大语言模型理解表格型电子健康记录的能力,通过MIMICSQL数据集实验验证了特征选择、序列化方法及上下文学习对任务表现的提升作用,并提出相关设计准则以支持健康搜索。
2025-01-16 cs.CL cs.IR
Can Generalist Vision Language Models (VLMs) Rival Specialist Medical VLMs? Benchmarking and Strategic Insights
The Chinese University of Hong Kong(香港中文大学);The University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
研究比较了通用与专门化医疗VLMs的性能,发现高效微调的通用模型在多数任务中表现可比或更优,尤其在处理未见医疗模态时。
2026-08-14 cs.AI cs.CV eess.IV
TCLA: Training-Free Class-wise Logit Adaptation for Medical Vision-Language Models
University of Bern(伯尔尼大学);Shanghai Jiao Tong University(上海交通大学)
针对医学视觉语言模型在分布外数据上有效性下降问题,提出无训练的少样本适应方法TCLA。该方法基于支持样本校正推理对数几率,提升模型性能,实验表明其能持续提高模型OOD性能且多数情况下优于现有训练方法。
2026-07-13 cs.AI cs.CV
MedXIAOHE: A Comprehensive Recipe for Building Medical MLLMs
ByteDance XiaoHe Medical AI(字节跳动小荷医疗AI)
MedXIAOHE通过实体感知持续预训练框架和强化学习提升医疗理解与推理,实现医疗多模态大模型的突破性进展。
2026-04-07 cs.AI cs.CL cs.CV
UniDCP: Unifying Multiple Medical Vision-language Tasks via Dynamic Cross-modal Learnable Prompts
Zhejiang University(浙江大学);Zhejiang University-University of Illinois Urbana-Champaign Institute(浙江大学伊利诺伊大学厄巴纳香槟校区联合学院)
针对现有医学视觉语言预训练模型跨任务灵活性差的问题,本研究提出搭载动态跨模态可学习提示的UniDCP模型,通过统一框架适配多任务并优化共享临床知识处理,在8类任务14个数据集上性能优于现有先进方法。
2023-12-18 cs.AI cs.CV
MedLLM: An Open Medical Language Model at the Sub-Billion Scale
本研究提出亚十亿参数规模的开源医疗语言模型MedLLM,经三阶段流程训练,在医疗基准测试中展现出亚十亿规模特有的能力分化现象,为医疗小模型研究提供了新方向。
2026-07-31 cs.AI
SentZero: An Enhanced Sentence-Centric Vision-Language Pretraining for Multi-Task Zero-Shot Chest X-Ray Analysis
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
SentZero提出了一种增强的句子中心视觉-语言预训练框架,通过LLM抽象级句子结构、假阴性缓解损失和句子条件残差调制,显著提升了多任务零样本胸部X光分析的泛化性能。
2026-09-29 cs.AI cs.CV
MMBERT: Multimodal BERT Pretraining for Improved Medical VQA
IIIT Hyderabad(海得拉巴国际信息技术学院)
医学领域的图像与一般领域的图像有着本质的不同。因此,它是不可行的,直接采用一般领域的视觉问答(VQA)模型的医疗领域。此外,医学图像注释是一个昂贵且耗时的过程。为了克服这些限制,我们提出了一个解决方案,灵感来自于对NLP,Vision和语言任务的Transformer风格架构的自我监督预训练。我们的方法涉及学习更丰富的医学图像和文本的语义表示使用掩码语言建模(MLM)与图像特征作为借口任务的大型医学图像+字幕数据集。该解决方案在两个放射学图像VQA数据集(VQA-Med 2019和VQA-RAD)上实现了新的最先进性能,甚至优于以前最佳解决方案的集成模型。此外,我们的解决方案提供了注意力地图,有助于模型的可解释性。代码可在https://github.com/VirajBagal/MMBERT上获得
2021-04-03 cs.CL cs.CV cs.LG
Multimodal Pretraining of Medical Time Series and Notes
Texas A&M University(德克萨斯农工大学)
针对ICU医疗数据标注稀缺的问题,提出结合对比学习与掩码标记预测的多模态自监督预训练方法,对齐临床测量数据与病历记录,在少标注场景下显著提升下游任务性能。
2023-12-11 cs.CL cs.LG
Medical Vision Language Pretraining: A survey
NepAl Applied Mathematics and Informatics Institute for research (NAAMII)(尼泊尔应用数学与信息学研究所(NAAMII));Rochester Institute of Technology(罗切斯特理工学院);University of Aberdeen(阿伯丁大学)
本文综述医学视觉语言预训练,从预训练目标、架构、下游任务与数据集梳理现有工作,并分析挑战、解决方案及未来方向。
2023-12-11 cs.CL cs.CV
PhenoLIP: Integrating Phenotype Ontology Knowledge into Medical Vision-Language Pretraining
School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
PhenoLIP通过整合表型本体知识提升医学视觉-语言模型的表型识别与跨模态检索性能。
2026-02-05 cs.CL cs.CV
TOP-Training: Target-Oriented Pretraining for Medical Extractive Question Answering
Pennsylvania State University(宾夕法尼亚州立大学);Indian Institute of Technology (IIT) Bhubaneswar(印度理工学院布巴内斯瓦尔分校);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对医疗抽取式问答的领域特异性与自回归LLM幻觉问题,提出无需目标领域大量无标注数据的TOP-Training预训练范式,通过实体合成文本预训练提升性能,释放双向LLM潜力。
2024-12-12 cs.CL
The Utility of General Domain Transfer Learning for Medical Language Tasks
Mount Sinai Health System(西奈山医疗系统)
本研究的目的是分析迁移学习技术和基于transformer的模型应用于医学自然语言处理(NLP)任务,特别是放射性文本分类的有效性。我们使用了来自96,303份报告的语料库中的1,977份标记的头部CT报告,以评估使用一般领域语料库和综合的一般和医学领域语料库进行预训练的有效性,该语料库具有双向表示的Transformers(BERT)模型,用于放射学文本分类。使用词袋向量化和长短期记忆(LSTM)多标签多类分类模型将模型性能基准化为逻辑回归,并与医学文本分类中的已发表文献进行比较。使用任何一组预训练检查点的BERT模型都优于逻辑回归模型,对于一般领域模型和组合的一般和生物医学领域模型,样本加权平均F1得分分别为0.87和0.87。一般文本迁移学习可能是一种可行的技术,可以在放射学语料库的医学NLP任务中生成最先进的结果,优于其他深度模型,如LSTM。预训练和基于transformer的模型的有效性可以促进在医学文本这一具有独特挑战性的数据环境中创建突破性的NLP模型。
2020-02-16 cs.CL cs.LG
BERT-XML: Large Scale Automated ICD Coding Using BERT Pretraining
NYU Langone Health(纽约大学朗格尼医学中心)
临床相互作用最初记录并记录在自由文本医学笔记中。ICD编码是对与患者就诊相关的所有诊断、症状和程序进行分类和编码的任务。这个过程通常是手动的,对医院来说非常耗时和昂贵。在本文中,我们提出了一个机器学习模型,BERT-XML,大规模的自动ICD编码从EHR笔记,利用最近开发的无监督预训练,已达到各种NLP任务的最先进的性能。我们在EHR笔记上从头开始训练一个BERT模型,学习更适合EHR任务的词汇,从而胜过现成的模型。我们适应的BERT架构的ICD编码与多标签注意。虽然其他工作主要集中在小型公共医疗数据集上,但我们已经使用数百万个EHR笔记来预测数千个独特的ICD代码,从而产生了第一个大规模的ICD-10分类模型。
2020-05-26 cs.CL cs.IR cs.LG
Generating multiple-choice questions for medical question answering with distractors and cue-masking
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);KU Leuven(鲁汶大学)
医学多项选择问答(MCQA)特别难。问题可能描述患者症状并要求正确的诊断,这需要领域知识和复杂的推理。标准语言建模预训练本身不足以达到最佳效果。\citet{jin2020disease}表明,当使用医学百科段落作为输入时,将掩蔽语言建模集中在疾病名称预测上,导致MCQA准确性的显著提高。在这项工作中,我们证明了(1)对生成的MCQA数据集进行微调优于基于掩蔽语言建模的目标,(2)正确掩蔽答案的提示对于良好的性能至关重要。我们发布了新的预训练数据集,并在4个MCQA数据集上获得了最先进的结果,特别是MedQA-USMLE上的基础大小模型为+5.7\%。
2023-03-13 cs.CL
Temporal Entailment Pretraining for Clinical Language Models over EHR Data
本文提出面向EHR数据的时序蕴含预训练目标,将EHR片段构建为时序句子对以训练模型进行潜在临床推理,在时序临床问答、早期预警预测和疾病进展建模任务上取得最优结果。
2025-04-25 cs.CL cs.LG
Medical Vision-Language Pre-Training for Brain Abnormalities
UCLA(加州大学洛杉矶分校)
本文以脑部异常为例,提出一种从PubMed自动收集图文数据并构建高性能医学视觉-语言模型的预训练流水线,解决了医学领域子图与子标题映射的挑战。
2024-04-27 cs.CL
Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining
The Hong Kong Polytechnic University(香港理工大学);Sun Yat-sen University(中山大学);InfiX.ai;PolyU-Daya Bay Technology and Innovation Research Institute(PolyU-大亚湾技术与创新研究院)
针对医学多模态持续预训练中图像-文本对数据存在的上下文缺失、结构噪声等问题,提出PMC-InterCPT交错语料库,通过恢复缺失标题、清洗文本、重建交错样本及LLM监督过滤,结合模态感知重采样,有效提升医学与通用多模态性能。
2026-10-08 cs.CL
Medical-VLBERT: Medical Visual Language BERT for COVID-19 CT Report Generation With Alternate Learning
The First Affiliated Hospital of Jinan University(暨南大学附属第一医院);The Fifth Affiliated Hospital of Sun Yat-sen University(中山大学附属第五医院);Shenzhen Research Institute of Big Data(深圳大数据研究院);The Chinese University of Hong Kong(香港中文大学);Future Network of Intelligence Institute (FNii)(未来智能网络研究院);Sun Yat-sen University(中山大学);Jinan University(暨南大学);Guangdong Provincial Key Laboratory of Big Data Computing(广东省大数据计算重点实验室)
医学成像技术,包括计算机断层扫描(CT)或胸部X射线(CXR),主要用于促进COVID-19的诊断。由于人工撰写报告通常过于耗时,因此迫切需要一种更智能的辅助医疗系统,可以自动和立即生成医疗报告。在本文中,我们提出使用医学视觉语言BERT(Medical-VL BERT)模型来识别COVID-19扫描上的异常,并基于检测到的病变区域自动生成医疗报告。为了生成更准确的医疗报告,并最大限度地减少视觉和语言的差异,该模型采用了交替学习策略,包括知识预训练和迁移两个过程。更准确地说,知识预训练过程是从医学文本中记忆知识,而转移过程是通过观察医学图像,利用所获得的知识生成专业的医学句子。在实践中,为了自动生成COVID-19病例的医疗报告,我们构建了一个数据集,其中包含来自中国广州暨南大学附属第一医院和中国珠海中山大学附属第五医院的368例中文医学发现和1104例胸部CT扫描。此外,为了缓解COVID-19训练样本的不足,我们的模型首先在大规模的中国CX-CT数据集上进行训练,然后转移到COVID-19 CT数据集上进行进一步的微调。实验结果表明,Medical-VLBERT在中国COVID-19 CT数据集和CX-Risk数据集的术语预测和报告生成方面达到了最先进的性能。中国COVID-19 CT数据集可在https://covid19ct.github.io/获得。
2021-08-18 cs.CL cs.CV
Diagnosing our datasets: How does my language model learn clinical information?
Duke University(杜克大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室)
本研究通过临床术语理解和无依据医学主张两个视角,考察开源语言模型如何从预训练语料中学习临床信息,发现数据频率与性能相关但存在数据与真实使用不匹配,并分析来源类型以指导未来数据集构建。
2025-05-23 cs.CL
Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study
Aalto University(阿尔托大学)
无监督预训练是许多自然语言处理系统的组成部分,而带有语言模型的迁移学习在许多下游任务中取得了显著的效果。在医疗代码分配的临床应用中,诊断和程序代码是从冗长的临床笔记(如出院摘要)中推断出来的。然而,在没有进一步架构工程的情况下,尚不清楚预训练模型是否对医疗代码预测有用。本文对在不同领域预训练的各种上下文化语言模型在临床笔记中的医疗代码分配的性能进行了全面的定量分析。我们提出了一个层次化的微调架构,以捕捉遥远的话之间的相互作用,并采用标签明智的注意,利用标签信息。与目前的趋势相反,我们证明了一个精心训练的经典CNN在具有频繁代码的MIMIC-III子集上优于基于注意力的模型。我们的实证研究结果提出了改进医疗代码分配应用的方向。
2021-10-26 cs.CL
Efficient Few-Shot Medical Image Analysis via Hierarchical Contrastive Vision-Language Learning
Autonomous University of Nuevo León(新莱昂自治大学)
针对医学图像小样本分类标注数据不足的问题,提出带分层对比对齐的自适应视觉-语言微调框架HiCA,通过两阶段微调实现多模态表征多层级对齐,在两个医学基准数据集的小样本、零样本任务上均达SOTA,兼具鲁棒性与可解释性。
2025-01-16 cs.CL cs.CV