arXiv 2503.201792025-03-26cs.CLcs.IRq-bio.QM

ProtoBERT-LoRA：用于免疫治疗研究识别的参数高效原型微调

ProtoBERT-LoRA: Parameter-Efficient Prototypical Finetuning for Immunotherapy Study Identification

Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）；Takeda Pharmaceuticals（武田制药）；Boston University Graduate School of Arts and Science（波士顿大学文理研究生院）；University of Maryland School of Medicine（马里兰大学医学院）；Johns Hopkins University Bloomberg School of Public Health（约翰斯·霍普金斯大学布隆伯格公共卫生学院）

Shijia Zhang, Xiyu Ding, Kai Ding, Jacob Zhang, Kevin Galinsky, Mengrui Wang, Ryan P. Mayers, Zheyu Wang, Hadi Kharrazi

备注：: Submitted to AMIA 2025 Annual Symposium

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

针对免疫治疗研究识别中的语义模糊和类别不平衡问题，提出ProtoBERT-LoRA混合框架，结合原型网络与LoRA高效微调，在测试集上F1达0.624，并将人工审查工作量减少82%。

摘要：

在基因表达综合库（GEO）等基因组存储库中识别免疫检查点抑制剂（ICI）研究对癌症研究至关重要，但由于语义模糊、极端类别不平衡以及低资源环境中标记数据有限，这一任务仍具挑战性。我们提出了ProtoBERT-LoRA，一种将PubMedBERT与原型网络和低秩适应（LoRA）相结合的混合框架，用于高效微调。该模型通过情景原型训练强制实现类别可分离的嵌入，同时保留生物医学领域知识。我们的数据集划分如下：训练集（20个阳性，20个阴性）、原型集（10个阳性，10个阴性）、验证集（20个阳性，200个阴性）和测试集（71个阳性，765个阴性）。在测试数据集上评估，ProtoBERT-LoRA取得了0.624的F1分数（精确率：0.481，召回率：0.887），优于基于规则的系统、机器学习基线和微调的PubMedBERT。应用于44,287个未标记研究时，人工审查工作量减少了82%。消融研究证实，将原型与LoRA相结合比单独使用LoRA性能提升了29%。

英文摘要：

Identifying immune checkpoint inhibitor (ICI) studies in genomic repositories like Gene Expression Omnibus (GEO) is vital for cancer research yet remains challenging due to semantic ambiguity, extreme class imbalance, and limited labeled data in low-resource settings. We present ProtoBERT-LoRA, a hybrid framework that combines PubMedBERT with prototypical networks and Low-Rank Adaptation (LoRA) for efficient fine-tuning. The model enforces class-separable embeddings via episodic prototype training while preserving biomedical domain knowledge. Our dataset was divided as: Training (20 positive, 20 negative), Prototype Set (10 positive, 10 negative), Validation (20 positive, 200 negative), and Test (71 positive, 765 negative). Evaluated on test dataset, ProtoBERT-LoRA achieved F1-score of 0.624 (precision: 0.481, recall: 0.887), outperforming the rule-based system, machine learning baselines and finetuned PubMedBERT. Application to 44,287 unlabeled studies reduced manual review efforts by 82%. Ablation studies confirmed that combining prototypes with LoRA improved performance by 29% over stand-alone LoRA.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。