SemEval-2023 Task 7: Multi-Evidence Natural Language Inference for Clinical Trial Data
University of Manchester（曼彻斯特大学）；Idiap Research Institute（Idiap研究所）；Cancer Research UK Manchester Institute（英国癌症研究院曼彻斯特研究所）
本文介绍SemEval-2023任务7（NLI4CT），包含临床试验数据的蕴含与证据选择两个子任务，发现增加模型参数比生物医学预训练更有效，并公开了数据集和结果。
2023-05-11 cs.AI cs.CL cs.LG
Rethinking STS and NLI in Large Language Models
MBZUAI（穆罕默德·本·扎耶德人工智能大学）；LibrAI；Monash University（莫纳什大学）
本文重新审视大型语言模型在语义文本相似性和自然语言推理任务中的表现，指出其受限于低资源领域准确性、过度自信及难以捕捉人类分歧，并评估了模型在临床生物医学领域的性能与置信度。
2024-02-04 cs.CL
UniBuc at SemEval-2024 Task 2: Tailored Prompting with Solar for Clinical NLI
University of Bucharest（布加勒斯特大学）
UniBuc团队在SemEval-2024任务2中，通过定制提示和输入操作，利用SOLAR Instruct模型无需微调，在临床试验NLI任务上取得0.72一致性分数，排名第14，并发现模型依赖简单启发式方法的倾向。
2026-10-02 cs.CL
SEME at SemEval-2024 Task 2: Comparing Masked and Generative Language Models on Natural Language Inference for Clinical Trials
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS（法国国家科学研究中心）
本文比较了微调集成掩码语言模型与提示大语言模型在临床试验自然语言推理任务上的表现，发现 2-shot 提示 Flan-T5-large 效果最佳，F1 为 0.57。
2024-04-05 cs.CL
Embracing Ambiguity: Shifting the Training Target of NLI Models
The University of Tokyo（东京大学）；National Institute of Informatics（国立信息学研究所）
自然语言推理（NLI）数据集包含具有高度模糊标签的示例。虽然许多研究工作并没有注意到这一事实，但最近的一些努力已经承认并接受了歧义的存在，如UNLI和ChaosNLI。在本文中，我们探索了直接在NLI任务中的注释器的估计标签分布上进行训练的选项，使用基于这种模糊性分布的学习损失而不是黄金标签。我们准备了AmbiNLI，一个从现成来源获得的试验数据集，并表明在对这些数据进行微调时可以降低ChaosNLI分歧分数，这是学习如何捕捉语言歧义的有希望的第一步。此外，我们还表明，在相同数量的数据上进行训练，但以模糊度分布而不是黄金标签为目标，可以使模型实现更高的性能，并为下游任务学习更好的表示。
2021-06-06 cs.CL
Mixture-of-Partitions: Infusing Large Biomedical Knowledge Graphs into BERT
University of Cambridge（剑桥大学）；Monash University（莫纳什大学）
将事实知识注入预先训练的模型是许多知识密集型任务的基础。在本文中，我们提出了混合分区（MoP），一种注入方法，可以处理一个非常大的知识图谱（KG）划分成更小的子图，并注入他们的特定知识到各种BERT模型使用轻量级适配器。为了利用目标任务的整体事实知识，这些子图适配器与底层的BERT一起通过混合层进一步微调。我们评估我们的MoP与三个生物医学BERT（SciBERT，BioBERT，PubmedBERT）的六个下游任务（包括。NLI，QA，Classification），结果表明，我们的MoP在任务性能方面始终增强了底层BERT，并在五个评估数据集上实现了新的SOTA性能。
2021-09-10 cs.CL
BioNLI: Generating a Biomedical NLI Dataset Using Lexico-semantic Constraints for Adversarial Examples
Stony Brook University（石溪大学）；University of Arizona（亚利桑那大学）
自然语言推理（NLI）是生物医学领域复杂决策的关键。例如，一个关键问题是，给定的生物医学机制是否得到实验证据的支持。这可以被看作是一个NLI问题，但没有直接可用的数据集来解决这个问题。主要的挑战是，手动创建此任务的信息负面的例子是困难和昂贵的。我们引入了一种新的半监督程序，该程序从现有的生物医学数据集中引导NLI数据集，该数据集将机制与摘要中的实验证据配对。我们使用九种策略生成了一系列负面示例，这些策略操纵了底层机制的结构，这些机制都具有规则，例如，翻转实体在交互中的角色，更重要的是，作为神经逻辑解码系统中逻辑约束的扰动。我们使用这个过程来创建一个新的数据集NLI在生物医学领域，称为BioNLI和基准两个国家的最先进的生物医学分类器。我们获得的最佳结果是在F1的70年代中期左右，这表明了任务的难度。重要的是，不同类别的负面例子的表现差异很大，从97%的F1的简单角色变化的负面例子，几乎比机会的负面例子使用神经逻辑解码。
2022-10-26 cs.CL cs.IR cs.LG
SylloBio-NLI: Evaluating Large Language Models on Biomedical Syllogistic Reasoning
University of Manchester（曼彻斯特大学）；CRUK Manchester Institute（英国癌症研究曼彻斯特研究所）；Idiap Research Institute（Idiap研究所）
本文提出 SylloBio-NLI 框架，利用外部本体构建生物医学三段论推理基准，评估 LLMs 在 28 种三段论模式上的表现，发现零样本和少样本方法均受词汇变化影响，现有模型尚不足以安全应用于生物医学 NLI。
2025-02-10 cs.CL
TLDR at SemEval-2024 Task 2: T5-generated clinical-Language summaries for DeBERTa Report Analysis
Carnegie Mellon University（卡内基梅隆大学）；Machine Learning Department（机器学习系）
针对临床试验自然语言推理任务中上下文窗口小、前提长的问题，提出融合T5生成前提摘要的TLDR方法，显著提升Macro F1分数，经实验验证其预测一致性与忠实度更优。
2024-04-14 cs.AI cs.CL cs.LG
Entangled Relations: Leveraging NLI and Meta-analysis to Enhance Biomedical Relation Extraction
University of California, San Diego（加利福尼亚大学圣迭戈分校）
本文提出MetaEntailRE方法，通过元类别分析、可行假设过滤和分组预测选择三项增强，将关系抽取转化为文本蕴含任务，在BioRED和ReTACRED上分别取得17.6和13.4个百分点的F1提升。
2025-03-07 cs.CL
Am I eligible? Natural Language Inference for Clinical Trial Patient Recruitment: the Patient's Point of View
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）
本研究聚焦患者自主判断临床试验入组资格的需求，构建患者语言表述的医疗档案与试验匹配的NLI4PR数据集及任务，测试开源大模型性能，验证患者视角招募的可行性。
2025-03-19 cs.CL
Can NLI Provide Proper Indirect Supervision for Low-resource Biomedical Relation Extraction?
Harvard University（哈佛大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Southern California（南加利福尼亚大学）
提出NBR框架，通过自然语言推理间接监督将生物医学关系抽取转化为NLI任务，利用基于排序的损失校准弃权实例，在低资源下实现更清晰的决策边界和更优性能。
2023-10-19 cs.AI cs.CL q-bio.QM
BioDivergence: A Benchmark and Evaluation Framework for Hidden Contextual Contradictions in Biomedical Abstracts
College of Engineering and Computer Science, University of Central Florida（中佛罗里达大学工程与计算机科学学院）；Burnett School of Biomedical Sciences, University of Central Florida（中佛罗里达大学伯内特生物医学科学学院）
提出BioDivergence框架，通过六类冲突分类、13轴分歧本体和结构化输出，解决现有NLI基准无法捕捉生物医学研究中上下文依赖的差异问题，并发布包含11865个声明对的基准数据集。
2026-09-01 cs.AI cs.CL
IITK at SemEval-2024 Task 2: Exploring the Capabilities of LLMs for Safe Biomedical Natural Language Inference for Clinical Trials
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
本研究在 SemEval-2024 任务 2 中探索 LLMs 对乳腺癌临床试验报告进行安全生物医学 NLI 的能力，通过 RAG 框架和多种推理链比较 PLMs、GPT-3.5 与 Gemini Pro，取得 F1 0.69、一致性 0.71、忠实性 0.90 的结果。
2024-04-06 cs.AI cs.CL cs.LG
Probing Biomedical Embeddings from Language Models
University of Pittsburgh（匹兹堡大学）；Carnegie Mellon University（卡内基梅隆大学）；Google, Inc.（谷歌公司）
从预训练的语言模型（LM）中获得的上下文化词嵌入在下游NLP任务上显示出显着的改进。针对特定领域语料库（如生物医学文章）的预训练进一步提高了它们的性能。在本文中，我们进行了探索实验，以确定哪些额外的信息是由域内训练的上下文嵌入固有的。为此，我们使用预先训练的LM作为固定的特征提取器，并限制下游任务模型不具有额外的序列建模层。我们比较了BERT、ELMo、BioBERT和BioELMo，BioELMo是在10M PubMed摘要上训练的ELMo的生物医学版本。令人惊讶的是，虽然微调BioBERT在生物医学NER和NLI任务中优于BioELMo，但作为固定特征提取器，BioELMo在我们的探测任务中优于BioBERT。我们使用可视化和最近邻分析表明，更好的编码实体类型和关系信息导致这种优势。
2019-04-03 cs.CL
What Makes a Medical Checker Trainable? Diagnosing Signal Collapse and Reward Hacking in Checker-Guided RAG for Biomedical QA
University of Pittsburgh（匹兹堡大学）
本文通过比较四种NLI检查器作为GRPO训练的医学RAG代理的过程奖励，诊断了信号崩溃和奖励黑客现象，发现检查器的输出分布而非保留准确率决定了其是否提供可训练梯度，并提出了验证器作为奖励系统的边界条件。
2026-05-25 cs.CL
Learning Disentangled Representations of Texts with Application to Biomedical Abstracts
Northeastern University（东北大学）；King’s College London（伦敦国王学院）
我们提出了一种方法，用于学习不同的和互补的方面的代码的文本的解开表示，提供有效的模型转移和可解释性的目的。为了诱导解开嵌入，我们提出了一个对抗性的目标的基础上（dissimilarity）之间的三元组的文件相对于特定的方面。我们的激励应用程序是嵌入生物医学摘要描述临床试验的方式，解开人口，干预措施和结果在一个给定的试验。我们表明，我们的方法学习表示编码这些临床上突出的方面，这些可以有效地用于执行特定方面的检索。我们证明了这种方法的推广超出了我们的激励应用在两个多方面的评论语料库的实验。
2018-09-03 cs.CL
Sent2Span: Span Detection for PICO Extraction in the Biomedical Text without Span Annotations
The University of Sydney（悉尼大学）；Northeastern University（东北大学）；IHPC, A*STAR（新加坡科技研究局高性能计算研究所）；Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Harvard Medical School（哈佛医学院）
发表的临床试验的快速增长使得很难保持最新的系统评价，这需要找到所有相关的试验。这导致政策和实践决策的基础上过时的，不完整的，有偏见的子集可用的临床证据。从临床试验文章中提取并标准化人群、干预、对照和结局（PICO）信息可能是自动将试验分配给系统性综述并避免检索和筛选（两个最耗时的系统性综述过程）的有效方法。我们提出并测试了一种新的PICO跨度检测方法。我们提出的方法和以前的方法之间的主要区别来自于检测跨度，而不需要注释的跨度数据，只使用众包的文件级注释。在两个数据集上的实验表明，与完全监督的方法相比，PICO跨度检测结果在召回方面取得了更高的结果，PICO句子检测至少与人类注释一样好。通过消除对专家注释进行跨度检测的依赖，这项工作可以用于人机管道，将低质量的众包和高级PICO注释转换为结构化信息，可用于快速将试验分配给相关的系统评价。
2021-09-06 cs.CL
Drug and Disease Interpretation Learning with Biomedical Entity Representation Transformer
Insilico Medicine（英矽智能）
自由文本中的概念规范化是文本挖掘流程中的关键步骤。基于来自Transformers的双向编码器表示（BERT）的神经架构在生物医学领域取得了最先进的成果。在药物发现和开发的背景下，临床试验对于确定药物的有效性和安全性是必要的。我们调查的有效性转移概念规范化从一般的生物医学领域的临床试验域中的zero-shot设置与标记数据的情况下。我们提出了一个简单而有效的两阶段神经方法的基础上微调BERT架构。在第一阶段，我们训练一个度量学习模型，通过三元组损失优化提及和概念的相对相似性。该模型在现有的科学摘要标注语料库上进行训练，以获得文本中概念名称和实体提及的向量嵌入。在第二阶段中，我们在嵌入空间中找到与给定临床提及最接近的概念名称表示。我们评估了几个模型，包括最先进的架构，在摘要数据集和真实世界的试验记录数据集上，将干预措施和条件映射到药物和疾病术语。大量的实验验证了我们的方法在知识转移的有效性，从科学文献到临床试验。
2021-01-22 cs.CL cs.IR
Faithful by Design: Evaluating and Improving LLM-Generated Clinical Trial Summaries for Multi-Stakeholder Audiences
University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究针对大语言模型生成的临床试验摘要的忠实性问题，引入基准评估框架，用特定数据库试验、提示模板和注释模式评估，对比多个模型的基线测量，开发知识图谱增强检索系统，结果显示该系统改进显著，且不同模型改进途径有别。
2026-07-14 cs.AI cs.CL
Exploring the Effectiveness of Instruction Tuning in Biomedical Language Processing
University of Oxford（牛津大学）；NLPie Research（NLPie研究）；Oxford-Suzhou Centre for Advanced Research（牛津-苏州先进研究中心）；Sharif University of Technology（谢里夫理工大学）
本研究探讨指令微调在生物医学NLP中的潜力，通过构建约20万样本的数据集训练模型，在NER、RE和NLI等任务上取得与专用编码器模型相媲美的效果。
2023-12-31 cs.AI cs.CL cs.LG
Sectioning of Biomedical Abstracts: A Sequence of Sequence Classification Task
University of Delaware（特拉华大学）
生物医学文献的快速增长导致了生物医学文本挖掘领域的许多进展。在海量的信息中，生物医学文章摘要是最容易获取的信息来源。然而，以背景、目的、方法、结果和结论为分类的结构化摘要的数量仍然不多。序列句子分类任务的改进可以加快对生物医学摘要中有价值信息的探索。基于深度学习的模型在这项任务中取得重大成果方面具有很大的性能/潜力。然而，它们往往过于复杂，并过度拟合特定数据。在这个项目中，我们研究了一个最先进的深度学习模型，我们称之为SSN-4模型。我们调查的SSN-4模型的不同组成部分，研究性能和复杂性之间的权衡。我们探讨如何以及这个模型推广到一个新的数据集以外的随机对照试验（RCT）数据集。我们解决的问题是，词嵌入是否可以调整到任务，以提高性能。此外，我们开发了第二个模型，解决了第一个模型中的混淆对。结果表明，SSN-4模型似乎没有推广到RCT数据集之外。
2022-01-18 cs.CL cs.LG
HeCiX: Integrating Knowledge Graphs and Large Language Models for Biomedical Research
PES University（PES大学）；IIT Madras（印度理工学院马德拉斯分校）；Manipal University（马尼帕尔大学）；Indian Institute of Science Education and Research, Bhopal（印度科学教育与研究学院博帕尔分校）
针对临床试验高失败率问题，提出HeCiX系统，融合ClinicalTrials.gov与Hetionet构建知识图谱，并结合GPT-4，在临床评估中表现优异，提升研究效率。
2024-07-19 cs.AI cs.CL cs.IR
DKE-Research at SemEval-2024 Task 2: Incorporating Data Augmentation with Generative Models and Biomedical Knowledge to Enhance Inference Robustness
Xi’an Jiaotong Liverpool University（西交利物浦大学）；University of Liverpool（利物浦大学）；University of Surrey（萨里大学）；Duke Kunshan University（昆山杜克大学）
针对临床试验生物医学自然语言推理中预训练模型偏差问题，提出结合语义扰动、领域词汇替换、数值推理任务的多任务数据增强方法，搭配DeBERTa架构，在NLI4CT 2024基准取得显著提升，消融验证各模块有效性，最终在32支队伍中获忠实度第12、一致性第8。
2024-04-14 cs.CL
Predicting the clinical citation count of biomedical papers using multilayer perceptron neural network
Huazhong University of Science and Technology（华中科技大学）；Tongji Medical College（同济医学院）；Central China Normal University（华中师范大学）；Wuhan University（武汉大学）
从临床指南或临床试验中收到的临床引文数量被认为是量化生物医学论文临床影响的最合适指标之一。因此，早期预测生物医学论文的临床引文数量对于生物医学领域的科学活动，如研究评估、资源分配和临床翻译至关重要。在这项研究中，我们设计了一个四层多层感知器神经网络（MPNN）模型来预测未来的生物医学论文的临床引用计数使用9,822,620发表的生物医学论文1985年至2005年。我们从三个维度中提取了91个论文特征作为模型的输入，其中论文维度21个，参考文献维度35个，引用论文维度35个。在每个维度上，特征可以被分为三类，即，引文相关特征、临床诊断相关特征和主题相关特征。此外，在论文维度中，我们还考虑了以前被证明与研究论文的引用次数有关的特征。结果表明，所提出的MPNN模型优于其他五个基线模型，在参考维度的特征是最重要的。
2022-10-21 cs.CL cs.LG
BioACE: An Automated Framework for Biomedical Answer and Citation Evaluations
Division of Intramural Research（院内研究部）；National Library of Medicine（国家医学图书馆）
BioACE提出了一种自动化框架，用于评估生物医学答案和引用的质量，通过多方面指标和实验分析，提供最佳的评估方法。
2026-02-06 cs.CL
A Natural Language Processing Approach to Support Biomedical Data Harmonization: Leveraging Large Language Models
Boston University Chobanian & Avedisian School of Medicine（波士顿大学乔巴尼安与阿维迪西安医学院）；Boston University Faculty of Computing & Data Sciences（波士顿大学计算与数据科学学院）；Slone Epidemiology Center（斯隆流行病学中心）；Boston University School of Public Health（波士顿大学公共卫生学院）
本研究利用大型语言模型和集成学习开发自动化生物医学变量匹配方法，在GERAS队列数据上，随机森林集成方法优于单一模型，显著提升匹配准确率。
2024-11-05 cs.CL cs.LG
Lisbon Computational Linguists at SemEval-2024 Task 2: Using A Mistral 7B Model and Data Augmentation
INESC-ID；IST；University of Lisbon（里斯本大学）；NOVA-LINCS；NOVA University of Lisbon（里斯本新大学）
本文针对 SemEval-2024 NLI4CT 任务，提出基于 Mistral-7B 量化微调并结合数据增强的方法，在宏 F1 指标上取得显著效果，但在忠实性与一致性上仍有局限。
2024-08-06 cs.CL
EvidenceOutcomes: a Dataset of Clinical Trial Publications with Clinically Meaningful Outcomes
Weill Cornell Medicine（韦尔·科恩医学中心）；Columbia University（哥伦比亚大学）；Montclair State University（蒙特克莱尔州立大学）
本文构建了EvidenceOutcomes数据集，通过制定标注指南并对PubMed摘要进行高质量标注，用于支持从生物医学文献中提取临床有意义结局的机器学习算法开发与评估。
2025-06-03 cs.CL
AD-CDO: A Lightweight Ontology for Representing Eligibility Criteria in Alzheimer's Disease Clinical Trials
University of Texas Health Science Center at Houston（德克萨斯大学休斯顿健康科学中心）；Indiana University School of Medicine（印第安纳大学医学院）；Mayo Clinic in Florida（佛罗里达梅奥诊所）
AD-CDO是一种用于阿尔茨海默病临床试验资格标准表示的轻量本体，通过标准化词汇和语义丰富性，支持临床试验建模和数据整合。
2025-11-20 cs.CL
Data Mining in Clinical Trial Text: Transformers for Classification and Question Answering Tasks
University of Bristol（布里斯托大学）；University of Sussex（萨塞克斯大学）
本研究将自然语言处理的最新进展应用于基于医学文本的证据合成。感兴趣的文本包括英文和多语种背景下的临床试验摘要。主要重点是通过人口，干预，比较和结果（PICO）框架表征的信息，但数据提取并不限于这些领域。最近的神经网络架构的基础上Transformers器显示迁移学习和下游自然语言处理任务，如通用阅读理解，提出了这种架构的使用上下文的词嵌入和自我注意力机制的性能提高。本文有助于解决PICO句子预测任务中的歧义相关问题，以及强调如何训练命名实体识别系统的注释用于训练高性能，但灵活的体系结构系统评价自动化中的问答。此外，它还演示了如何通过增强来解决PICO实体提取的训练注释量不足的问题。本文中的所有模型都是为了支持系统性综述（半）自动化而创建的。他们取得了很高的F1分数，并证明了应用基于变换的分类方法，以支持生物医学文献中的数据采掘的可行性。
2020-01-30 cs.CL cs.LG
Trialstreamer: Mapping and Browsing Medical Evidence in Real-Time
Northeastern University（东北大学）；UPenn（宾夕法尼亚大学）；King’s College London（伦敦国王学院）
我们介绍Trialstreamer，临床试验报告的实时数据库。在这里，我们主要描述证据提取组件;这从生物医学摘要中提取临床医生在评估文献时需要的关键信息，以及这些信息之间的关系。具体而言，该系统提取试验参与者的描述，每组（干预）中比较的治疗以及测量的结果。然后，该系统试图通过确定其与确定的试验结果测量的关系来推断哪些干预措施被报告为最有效。除了汇总单个试验外，这些提取的数据元素还可以自动合成同一主题的多项试验的结果。我们将该系统大规模应用于MEDLINE中索引的所有随机对照试验报告，为自动生成证据地图提供动力，这些证据地图提供了不同干预措施的疗效的全局视图，结合了所有相关临床试验的数据。我们免费提供所有代码和模型以及Web界面演示。
2020-05-21 cs.CL cs.HC cs.IR
The Leaf Clinical Trials Corpus: a new resource for query generation from clinical trial eligibility criteria
University of Washington（华盛顿大学）；Northeastern University（东北大学）；George Mason University（乔治梅森大学）
根据医疗条件、程序和药物使用等资格标准确定患者队列对于临床试验的招募至关重要。这些标准通常是最自然的描述在自由文本，使用语言熟悉的临床医生和研究人员。为了大规模地识别潜在的参与者，这些标准必须首先转化为对临床数据库的查询，这可能是劳动密集型的并且容易出错。自然语言处理（NLP）方法提供了一种将这种转换自动地转换成数据库查询的潜在手段。然而，它们必须首先使用语料库进行培训和评估，这些语料库足够详细地捕获临床试验标准。在本文中，我们介绍了叶临床试验（LCT）语料库，超过1,000个临床试验资格标准描述的人类注释语料库，使用高度粒度结构化的标签捕捉一系列生物医学现象。我们提供了我们的模式，注释过程，语料库质量和统计数据的细节。此外，我们目前的基线信息抽取结果在此语料库作为基准，为今后的工作。
2022-07-27 cs.CL
ctELM: Decoding and Manipulating Embeddings of Clinical Trials with Embedding Language Models
Yale School of Medicine（耶鲁医学院）
ctELM通过嵌入语言模型解码和操控临床试验嵌入，实现对未见过的临床试验描述和生成，提升生物医学领域语言模型与嵌入空间对齐的透明度和应用价值。
2026-01-26 cs.AI cs.CL cs.LG
BioPulse-QA: A Dynamic Biomedical Question-Answering Benchmark for Evaluating Factuality, Robustness, and Bias in Large Language Models
Yale University（耶鲁大学）；Yale School of Medicine（耶鲁医学院）
BioPulse-QA是一个动态生物医学问答基准，用于评估大型语言模型在事实性、鲁棒性和偏见方面的性能。
2026-01-19 cs.CL cs.IR
Large Language Models for Biomedical Knowledge Graph Construction: Information extraction from EMR notes
Yerevan State University（埃里温国立大学）；Amaros（阿马罗斯）；Macula & Retina Institute（黄斑与视网膜研究所）
提出基于大型语言模型的端到端机器学习解决方案，利用电子病历记录构建生物医学知识图谱，全面评估12种LLMs的定量与定性性能，并证明仅解码器架构需进一步研究。
2023-12-09 cs.CL cs.LG
Evaluation of Clinical Trials Reporting Quality using Large Language Models
Université Paris-Saclay, CNRS, LISN（巴黎-萨克雷大学、法国国家科学研究中心、LISN）
本研究针对临床试验论文报告质量评估问题，构建CONSORT-QA评估语料库，测试不同大语言模型结合思维链等提示方法按CONSORT标准评估质量的效果，最优组合准确率达85%，且思维链可提供推理过程信息。
2025-10-05 cs.CL
CliniDigest: A Case Study in Large Language Model Based Large-Scale Summarization of Clinical Trial Descriptions
Stanford University（斯坦福大学）
本文提出基于GPT-3.5的批量临床试验摘要工具CliniDigest，能将大量试验描述高效缩减为简洁摘要，有效解决信息过载问题。
2023-07-31 cs.CL
Advancing PICO Element Detection in Biomedical Text via Deep Neural Networks
Massachusetts Institute of Technology（麻省理工学院）
在循证医学（EBM）中，根据特定的患者问题定义临床问题有助于医生有效地识别适当的资源并寻找最佳的可用证据进行治疗。为了制定一个定义明确、重点突出的临床问题，广泛使用了一个名为PICO的框架，该框架确定了给定医学文本中属于临床试验中通常报告的四个组成部分的句子：参与者/问题（P），干预（I），比较（C）和结果（O）。在这项工作中，我们提出了一种新的深度学习模型，用于识别生物医学摘要中的PICO元素。基于先前最先进的双向长短期记忆（biLSTM）加条件随机场（CRF）架构，我们在句子表示向量上添加了另一层biLSTM，以便可以收集周围句子的上下文信息，以帮助推断当前句子的解释。此外，我们提出了两种方法来进一步推广和改进模型：对抗训练和大型语料库上的无监督预训练。我们在两个基准数据集上测试了我们提出的方法。一个是PubMed-PICO数据集，在F1得分方面，我们的最佳结果分别比之前的最佳结果高出5.5%，7.9%和5.8%。对于另一个名为NICTA-PIBOSO的数据集，P/I/O元素的F1得分分别提高了2.4%，13.6%和1.0%。总的来说，我们提出的深度学习模型可以获得前所未有的PICO元素检测精度，同时避免任何手动特征选择的需要。
2019-11-10 cs.AI cs.CL cs.LG
Impact of detecting clinical trial elements in exploration of COVID-19 literature
The University of Melbourne（墨尔本大学）；RMIT University（皇家墨尔本理工大学）
COVID-19疫情推动了对能够有效探索生物医学文献的工具的需求不断增加。虽然半结构化信息产生的概念识别和检测的定义元素的临床试验（如PICO标准）已被普遍用于支持文献检索，这种抽象的贡献仍然知之甚少，特别是在基于文本的检索。在这项研究中，我们比较了标准的搜索引擎检索的结果与过滤使用临床相关的概念和它们的关系。通过基于TREC-COVID共享任务的注释的分析，我们获得了对关系和基于概念的文献探索特征的定量和定性见解。最重要的是，我们发现，关系概念的选择过滤器的方式，降低了未判断的文件的比例，并增加了精度，这意味着用户可能会接触到大量的相关文件的原始检索集合。
2021-05-25 cs.CL cs.IR
Harnessing Large Language Models for Biomedical Named Entity Recognition
Department of Data Science and Big Data Technology, Hainan University, Haikou 570228, China（数据科学与大数据技术学院，海南大学，海口570228，中国）；Department of Mathematics, Hainan University, Haikou 570228, China（数学学院，海南大学，海口570228，中国）；Department of Population Health Sciences, Weill Cornell Medicine, New York 10022, USA（流行病学与公共卫生科学学院，韦尔·柯尔医学中心，纽约10022，美国）
本文提出BioSelectTune框架，通过高效的数据筛选方法提升生物医学命名实体识别的性能，实现优于现有模型的准确率。
2025-12-28 cs.AI cs.CL
Quantitative Evidence Mining for Plausibility-Aware Biomedical AI: A Narrative Review and Conceptual Framework
Fraunhofer Institute for Algorithms and Scientific Computing (SCAI)（弗劳恩霍夫算法与科学计算研究所（SCAI））；Kairntech SAS（Kairntech公司）；Bonn-Aachen International Center for Information Technology (b-it), University of Bonn（波恩大学波恩-亚琛国际信息技术中心（b-it））
该研究针对生物医学AI证据提取的缺陷，提出定量证据挖掘框架，将提取的主张作为可审计证据对象，以构建可信度感知AI。
2026-09-23 cs.CL
CaresAI at CT-DEB26: Detecting Dosing Errors In Clinical Trials Using Domain-Specific Transformer Embeddings and Classification Models
本研究利用基于生物医学语料训练的Transformer模型（如BioBERT）编码临床试验文本，结合结构化元数据，通过机器学习模型检测剂量错误，最高ROC-AUC达0.853。
2026-06-29 cs.CL
Automatically Extracting Numerical Results from Randomized Controlled Trials with Large Language Models
Northeastern University（东北大学）；King’s College London（伦敦国王学院）
本研究评估了七个零样本大型语言模型从随机对照试验报告中条件性提取数值结果的能力，发现超大规模模型在二元结局上接近实现自动化荟萃分析，但在复杂结局和需推理时表现不佳。
2024-07-25 cs.AI cs.CL
Dissecting Clinical Reasoning in Language Models: A Comparative Study of Prompts and Model Adaptation Strategies
本研究首次系统比较了四类提示策略与LoRA微调在临床自然语言推理中的作用，发现提示结构可解释高达44%的性能方差，且紧凑模型结合强提示与LoRA可接近前沿模型水平。
2025-07-05 cs.AI cs.CL
ClinAgent: A ReAct-Based Agent for Conversational Access to Clinical Trial Information
University of Pisa（比萨大学）；University of Calabria（卡拉布里亚大学）；National Research Council（国家研究委员会）
ClinAgent是一个基于ReAct的对话式智能体，利用检索增强生成和多种工具，实现临床试验信息的自然语言查询与综合，实验表明Gemini性能最佳，DeepSeek思考模式规划质量最优。
2026-09-15 cs.AI cs.CL cs.IR
CT Open: An Open-Access, Uncontaminated, Live Platform for the Open Challenge of Clinical Trial Outcome Prediction
Laboratory for Emerging Intelligence, University of California, San Diego（新兴智能实验室，加州大学圣地亚哥分校）；Department of Dermatology, University of California, San Diego（皮肤科系，加州大学圣地亚哥分校）；Elsevier
本文介绍CT Open平台，通过开放挑战预测临床试验结果，采用自动化方法解决数据污染问题，提供训练集和测试基准，推动AI在现实结果预测中的应用。
2026-08-07 cs.AI cs.CL
Summarizing, Simplifying, and Synthesizing Medical Evidence Using GPT-3 (with Varying Success)
Northeastern University（东北大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；King’s College London（伦敦国王学院）
本文评估GPT-3在生物医学领域零样本生成摘要的能力，发现其能忠实总结单篇文献，但综合多文档证据时准确性不足。
2023-05-11 cs.CL
Cancer Vaccine Adjuvant Name Recognition from Biomedical Literature using Large Language Models
University of North Dakota School of Medicine and Health Sciences（北达科他大学医学与健康科学学院）；University of North Dakota（北达科他大学）；University of Michigan（密歇根大学）；Bogazici University（博阿齐奇大学）
本文评估 GPT-4o 与 Llama 3.2 在零样本/少样本设置下从临床试验和摘要中识别癌症疫苗佐剂名称，证明加入干预上下文可显著提升召回与F1表现。
2025-02-12 cs.AI cs.CL cs.CY
Edinburgh Clinical NLP at SemEval-2024 Task 2: Fine-tune your model unless you have access to GPT-4
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Usher Institute, University of Edinburgh（爱丁堡大学厄舍研究所）；Edinburgh Futures Institute, University of Edinburgh（爱丁堡未来学院）；School of Literatures, Languages and Cultures, University of Edinburgh（爱丁堡大学文学、语言与文化学院）
本文研究临床试验NLI任务中LLM的推理一致性，提出合并三元组与语言建模目标微调的PEFT适配器方法，虽提升F1和一致性，但仍不及GPT-4。
2024-03-30 cs.CL
LeafAI: query generator for clinical cohort discovery rivaling a human programmer
University of Washington（华盛顿大学）；George Mason University（乔治梅森大学）
本文提出 LeafAI，一种结合深度学习、规则与 UMLS 知识库的临床队列查询生成系统，可跨数据模型推理，并在 8 项试验中优于人工查询效率与匹配表现。
2023-08-14 cs.CL
Accelerating Complex Disease Treatment through Network Medicine and GenAI: A Case Study on Drug Repurposing for Breast Cancer
Binghamton University（宾汉姆顿大学）；Polish Academy of Sciences（波兰科学院）；Texas Tech University HSC（德克萨斯理工大学健康科学中心）
本研究提出一种多层网络医学方法，结合ChatGPT提示工程系统提取临床试验药物提及，并连接真实世界证据与疾病信号通路，在乳腺癌案例中成功识别出38条可被多药物覆盖的通路，展现出GenAI在加速高特异性药物组合识别方面的潜力。
2024-06-27 cs.AI cs.CL cs.IR
A Scoping Review of Publicly Available Language Tasks in Clinical Natural Language Processing
University of Wisconsin（威斯康星大学）；Loyola University Chicago（芝加哥洛约拉大学）；George Mason University（乔治梅森大学）
目的：提供关于临床自然语言处理（NLP）任务的论文的范围审查，这些任务使用来自一组患者的公开电子健康记录数据。材料和方法：检索了6个数据库，包括生物医学研究和计算机科学文献数据库。由两名评审员进行一轮标题/摘要筛选和全文筛选。我们的方法遵循系统性综述和荟萃分析（PRISMA）指南的首选报告项目。结果：2007年至2021年，共有35篇论文，47项临床NLP任务符合纳入标准。我们根据NLP问题的类型对任务进行了分类，包括名称实体识别，摘要和其他NLP任务。以药物滥用、表型分析、临床试验队列选择等临床决策支持应用为主题，介绍了一些任务。我们通过出版物和数据集信息总结了任务。讨论：随着NLP领域随着语言系统的进步而发展，临床NLP任务的广度不断增长。然而，在一般领域NLP社区和临床信息学社区之间的不同利益以及数据源的可概括性方面存在差距。我们还发现了数据选择和准备方面的问题，包括缺乏对时间敏感的数据，以及问题规模和评估的无效性。结论：现有的临床NLP任务涵盖了广泛的主题，该领域将继续增长，并吸引更多来自一般领域NLP和临床信息学社区的关注。我们鼓励未来的工作纳入多学科合作，报告透明度和数据准备的标准化。
2021-12-07 cs.AI cs.CL
