OLAPH: Improving Factuality in Biomedical Long-form Question Answering
Korea University(高丽大学);Upstage AI;AIGEN Sciences
本文提出MedLFQA基准数据集和OLAPH框架,通过多方面自动评估构建合成偏好集,逐步训练LLMs以减少幻觉并包含关键医学陈述,显著提升生物医学长篇问答的事实性。
2024-10-15 cs.AI cs.CL
VerifAI: A Verifiable Open-Source Search Engine for Biomedical Question Answering
The Institute for Artificial Intelligence Research and Development of Serbia(塞尔维亚人工智能研究与开发研究所);Bayer A.G.(拜耳公司)
VerifAI是一种开源专家系统,结合检索增强生成与新型事后断言验证机制,通过分解生成答案为原子断言并验证其与检索证据的一致性,提升生物医学问答的准确性。
2026-01-16 cs.AI cs.CL cs.IR
Small LLMs for Biomedical Claim Verification: Cost-Effective Fine-Tuning, Structural Dataset Shortcuts, and Cross-Domain Generalization
Moveworks AI;University of California San Diego(加州大学圣迭戈分校)
通过QLoRA微调小型LLM(Phi-3-mini、Qwen2.5-3B、Mistral-7B),在生物医学声明验证中超越GPT-4o和GPT-5(F1提升12%),并发现SciFact数据集的结构性伪影,提出基于结构稳健数据的跨域迁移方法。
2026-06-12 cs.CL q-bio.QM
Biomedical Question Answering via Multi-Level Summarization on a Local Knowledge Graph
University of Michigan(密歇根大学)
本文提出一种利用命题主张从检索文档构建局部知识图谱,并通过逐层摘要上下文化小型语言模型以执行生物医学问答的新方法,在多个基准上性能优于RAG基线。
2025-04-02 cs.AI cs.CL cs.IR
Med-V1: Small Language Models for Zero-shot and Scalable Biomedical Evidence Attribution
Division of Intramural Research, National Library of Medicine, National Institutes of Health(国家医学图书馆内部研究部,国立卫生研究院);Department of Computer Science, University of Virginia(弗吉尼亚大学计算机科学系);Center for Cancer Research, National Cancer Institute, National Institutes of Health(国家癌症研究所癌症研究中心,国立卫生研究院);Department of Population Health Sciences, Weill Cornell Medicine Institute of AI for Digital Health, Weill Cornell Medicine(韦尔·科恩医学中心流行病学与健康科学系,韦尔·科恩医学中心人工智能与数字健康研究所)
提出仅3B参数的小语言模型Med-V1,通过高质量合成数据训练,在生物医学证据归因任务上性能媲美GPT-5等前沿大模型,并用于量化LLM幻觉和识别临床指南中的证据错误归因。
2026-09-24 cs.AI cs.CL
Evidence-Bound Reasoning: Neuro-Semantic Verification of Biomedical AI in Glioblastoma Radiogenomics
Faculty of Mathematics and Informatics – Sofia University St. Kliment Ohridski(圣克莱门特奥赫里德斯基索非亚大学数学与信息学院)
该研究提出神经语义验证框架,将放射组学数据转化为可验证证据,在胶质母细胞瘤影像基因组学中实现独立于预测性能的确定性验证,确保AI解释有据可依。
2026-10-07 cs.CL
Extracting Fine-Grained Knowledge Graphs of Scientific Claims: Dataset and Transformer-Based Results
SIFT(SIFT研究所);Northeastern University(东北大学)
最近的基于transformer的方法在关系科学信息抽取方面取得了可喜的成果。现有的数据集侧重于对研究如何进行的高层次描述。相反,我们专注于如何通过构建SciClaim来呈现实验关联的微妙之处,SciClaim是一个从社会和行为科学(SBS),PubMed和CORD-19论文中提取的科学声明数据集。我们新的图注释模式不仅将粗粒度的实体跨度作为节点,将关系作为它们之间的边,而且还将修改实体及其关系的细粒度属性,语料库中共有12,738个标签。通过包含更多的标签类型和超过以前数据集两倍的标签密度,SciClaim捕获了实验变量及其资格,亚型和证据的因果,比较,预测,统计和比例关联。我们扩展了基于转换器的联合实体和关系抽取的工作,以有效地推断我们的模式,展示了细粒度知识图谱在科学索赔和超越的承诺。
2021-09-21 cs.CL
Combining Evidence and Reasoning for Biomedical Fact-Checking
University of Naples Federico II(那不勒斯费德里科二世大学);Northwestern University(西北大学)
本文提出CER框架,通过整合科学证据检索、大语言模型推理和有监督真实性预测,有效缓解幻觉风险,在多个生物医学数据集上实现最先进的事实核查性能与跨数据集泛化。
2025-09-17 cs.AI cs.CL cs.IR
Four Ledgers, Not One Score: Responsible Communication of LLM-Judge Calibration in Biomedical ML
Blossom AI
该研究通过审计一个私有工作流,指出LLM评判器校准中混淆不同账本的问题,提出来源感知审计、存储契约和最小校准门,以负责任地沟通生物医学ML能力主张。
2026-09-15 cs.AI
EviDAG: Auditable Causal DAG Authoring with Biomedical Literature
Massachusetts General Hospital(麻省总医院);Harvard University(哈佛大学);Northeastern University(东北大学)
该研究针对生物医学因果分析中构建因果DAG多为手动过程的问题,提出DAGForge系统。它能基于研究概念描述创作可审计的因果DAG,经评估在召回率等方面表现良好,减轻了DAG策划负担,支持生物医学研究相关工作。
2026-07-29 cs.AI
HypothesisMed: Inference-Time Answer Fusion and Structured Hypothesis-Space Reporting for Biomedical Question Answering
Department of Computer Science Rensselaer Polytechnic Institute(计算机科学系雷士打理工学院);Department of Biomedical Engineering Rensselaer Polytechnic Institute(生物医学工程系雷士打理工学院)
提出HypothesisMed推理时可靠性流水线,通过答案融合和SPACE标签(有效/不完整/矛盾)提升生物医学多项选择问答的准确率、可解析性和结构化可靠性报告。
2026-05-31 cs.CL
Same Claim, Different Interpretations: How LLM Agents Resolve Ambiguity in Scientific Claims
University of Pennsylvania(宾夕法尼亚大学)
该研究引入Claim Cards明确科学主张验证的解读,通过GPT-5.4智能体实验发现解读变化可显著改变判定结果,主张判定结果需附带解读。
2026-10-15 cs.CL
Biomedical knowledge graph-optimized prompt generation for large language models
University of California San Francisco(加州大学旧金山分校);San Diego Supercomputer Center, University of California, San Diego(加州大学圣地亚哥分校圣地亚哥超级计算机中心);University of California, San Francisco(加州大学旧金山分校);Institute for Systems Biology(系统生物学研究所);Bakar Computational Health Sciences Institute, University of California, San Francisco(加州大学旧金山分校巴卡尔计算健康科学研究所);Mate Bioservices, Inc.(Mate 生物服务公司)
本研究提出基于生物医学知识图谱SPOKE的令牌优化KG-RAG框架,通过极简图谱模式和嵌入剪枝降低令牌消耗,显著提升开源与专有大模型在生物医学问答任务上的性能,实现低成本的领域适配。
2024-05-13 cs.CL
Deterministic Integrity Gates for LLM-Assisted Clinical Manuscript Preparation: An Auditable Biomedical Informatics Architecture
University of Ulsan College of Medicine(蔚山大学医学院);Asan Medical Center(峨山医疗中心);Aperivue;AMIST, Asan Medical Center(AMIST,峨山医疗中心)
提出一种确定性完整性门控架构,通过将工作流分解为可独立验证的技能并在每个阶段设置确定性检查,解决了LLM生成临床手稿中的虚假引用、数据漂移和报告指南缺失问题。
2026-06-16 cs.AI cs.DL
Beyond Verdicts: A Graph-Based Analysis of Human and LLM Reasoning in Scientific Fact-Checking
Interdisciplinary Transformation University Austria (ITU)(奥地利跨学科转型大学(ITU))
本研究提出类型化推理图框架,用于对比科学事实核查中人类与LLM的推理路径,基于MISSCIPLUS数据集评估GPT-5等模型,发现各模型在裁决性能与人类对齐度上存在差异。
2026-08-25 cs.AI cs.CL
Missci: Reconstructing Fallacies in Misrepresented Science
TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);MBZUAI(穆罕默德·本·扎耶德人工智能大学);IBM Research, Ireland(IBM爱尔兰研究中心)
本文提出 Missci 模型与数据集,针对歪曲生物医学文献的错误信息,要求模型在零样本下识别并表述隐性谬误推理,并评估了 LLMs 的批判性推理能力。
2024-06-05 cs.CL
MedRAGChecker: Claim-Level Verification for Biomedical Retrieval-Augmented Generation
University of Pittsburgh(匹兹堡大学)
MedRAGChecker通过声明级验证和诊断框架,提高生物医学RAG生成答案的可靠性与安全性。
2026-08-24 cs.CL
Uncertainty Estimation of Large Language Models in Medical Question Answering
The University of Hong Kong(香港大学);Harvard Medical School(哈佛医学院)
针对医疗问答中LLM易出现幻觉、现有不确定性估计方法效果差的问题,提出无概率的两阶段验证方法,通过验证答案不一致性衡量不确定性,在多数据集和模型规模下取得最优准确性与稳定性。
2024-07-11 cs.AI cs.CL
Claim Detection in Biomedical Twitter Posts
University of Stuttgart(斯图加特大学)
社交媒体包含未经过滤和独特的信息,这些信息可能具有巨大的价值,但在错误信息的情况下,也可能造成巨大的伤害。关于生物医学主题,虚假信息可能特别危险。自动事实核查和假新闻检测方法解决了这个问题,但尚未应用于社交媒体中的生物医学领域。我们的目标是填补这一研究空白,并注释语料库的1200条推文的隐含和明确的生物医学索赔(后者也与跨度注释的索赔短语)。通过这个语料库,我们采样与COVID-19,麻疹,囊性纤维化和抑郁症有关,我们开发了自动检测包含索赔的推文的基线模型。我们的分析显示,生物医学推文中充斥着大量的声明(在一个包含1200条推文的语料库中,45%的推文集中在上述领域)。基于嵌入的分类器和基于BERT的迁移学习的基线分类实验表明,检测是具有挑战性的,然而,显示出可接受的性能,用于识别明确的表达的权利要求。隐式声明推文更难检测。
2021-05-01 cs.CL cs.SI
Medical Causal Hypothesis Verification with Large Language Models
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本研究提出医学因果假设验证的LLM评估框架,测试8个LLM在17个医学因果假设上的性能,发现其虽召回率高,但提供有效证据及拒绝无依据假设的表现差,凸显需严格评估LLM在医疗领域的应用。
2026-09-02 cs.AI cs.CL
Claim Extraction in Biomedical Publications using Deep Discourse Model and Transfer Learning
University of Pennsylvania(宾夕法尼亚大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所);Syracuse University(雪城大学)
主张是科学论述的基本单位。科学出版物数量的指数增长使得自动索赔提取成为研究人员的一个重要问题,他们被这种信息过载所淹没。这种自动化的索赔提取系统对于人工和程序化探索科学知识都是有用的。在本文中,我们介绍了一个新的数据集,其中包含来自生物医学领域的1,500篇科学摘要,每个句子都有专家注释,表明该句子是否提出了科学主张。我们介绍了一种新的索赔提取模型,并将其与几种基线模型进行了比较,包括基于规则的技术和深度学习技术。此外,我们表明,使用带有微调步骤的迁移学习方法可以提高大型话语注释数据集的性能。与没有迁移学习的基线模型相比,我们的最终模型将F1分数提高了14个百分点以上。我们发布了一个可公开访问的工具,用于话语和索赔预测以及注释工具。我们讨论了生物医学文献之外的进一步应用。
2020-01-16 cs.CL
SciLens: Multi-modal Scientific Claim Verification with Agentic Entailment and Grounding
The Hong Kong University of Science and Technology(香港科技大学);Hong Kong Baptist University(香港浸会大学);NVIDIA AI Technology Center(英伟达人工智能技术中心)
提出SciLens框架,通过将声明分解为原子命题并归因到表格/图表证据,实现多模态科学声明验证,在SciClaimEval上达到79.2%宏F1和63.1%配对准确率。
2026-06-23 cs.CL
Detecting Contradictory COVID-19 Drug Efficacy Claims from Biomedical Literature
Stanford University(斯坦福大学);Robert Gordon University(罗伯特戈登大学)
2019冠状病毒病大流行造成了大量关于药物疗效的可疑和矛盾的科学说法--这是一种对科学和社会产生持久影响的“信息流行病”。在这项工作中,我们认为NLP模型可以帮助领域专家提取和理解这个复杂,高风险领域的文献。我们的任务是自动识别关于COVID-19药物疗效的相互矛盾的说法。我们将其视为一个自然语言推理问题,并提供了一个由领域专家创建的新的NLI数据集。NLI框架允许我们创建课程,结合现有的数据集和我们自己的。由此产生的模型是有用的调查工具。我们提供了一个案例研究,这些模型如何帮助领域专家总结和评估有关瑞地西韦和羟氯喹的证据。
2022-12-19 cs.CL
An Entity-based Claim Extraction Pipeline for Real-world Biomedical Fact-checking
Institut für Maschinelle Sprachverarbeitung, University of Stuttgart(斯图加特大学机器语言处理研究所)
本文提出面向医学推文的声明抽取流程,结合命名实体识别与实体链接,研究自动实体检测和术语规范化对真实世界生物医学事实核查的影响。
2023-04-11 cs.CL
BioDivergence: A Benchmark and Evaluation Framework for Hidden Contextual Contradictions in Biomedical Abstracts
College of Engineering and Computer Science, University of Central Florida(中佛罗里达大学工程与计算机科学学院);Burnett School of Biomedical Sciences, University of Central Florida(中佛罗里达大学伯内特生物医学科学学院)
提出BioDivergence框架,通过六类冲突分类、13轴分歧本体和结构化输出,解决现有NLI基准无法捕捉生物医学研究中上下文依赖的差异问题,并发布包含11865个声明对的基准数据集。
2026-09-01 cs.AI cs.CL
Domain-Specific Hallucination Detection in Large Language Models
Purdue University Fort Wayne(普渡大学韦恩堡分校)
提出多信号幻觉检测流水线,在HaluEval上达F1=0.915,并利用DPO将生成器幻觉率降低55.9%,同时发现领域匹配预训练对跨领域适应至关重要。
2026-09-11 cs.AI cs.CL cs.LG
The Limited Impact of Medical Adaptation of Large Language and Vision-Language Models
Carnegie Mellon University(卡内基梅隆大学);Abridge;Mistral AI;Johns Hopkins University(约翰霍普金斯大学)
本文对比了多个医学LLM和VLM与其基础模型,发现在零样本/少样本提示和监督微调下,医学适应未能持续提升医学问答性能,表明通用模型已具较强医学能力。
2025-06-28 cs.AI cs.CL cs.LG
BioDSA-1K: Benchmarking Data Science Agents for Biomedical Research
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
BioDSA-1K是一个包含1,029个假设验证任务和1,177个分析计划的基准,用于评估AI智能体在真实生物医学研究中的假设验证能力,涵盖决策准确性、证据一致性、推理正确性和代码可执行性四个维度,并包含不可验证假设以贴近现实科学场景。
2025-05-22 cs.AI cs.CL
Medical Adaptation of Large Language and Vision-Language Models: Are We Making Progress?
Carnegie Mellon University(卡内基梅隆大学);Mistral AI;Abridge AI;Johns Hopkins University(约翰斯·霍普金斯大学)
本文通过头对头比较多个医学LLMs和VLMs与其基础模型,发现医学领域适配预训练在医学问答少样本/零样本设置下普遍未能带来一致提升,并指出通用模型已具备较强医学能力。
2024-11-19 cs.AI cs.CL cs.LG
CurateGPT: A flexible language-model assisted biocuration tool
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);Queen Mary University of London(伦敦玛丽女王大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);European Bioinformatics Institute (EMBL-EBI)(欧洲生物信息研究所(欧洲分子生物学实验室-欧洲生物信息研究所));Berlin Institute of Health - Charité, Universitätsmedizin(柏林健康研究所-夏里特医科大学)
针对生物医学数据编目耗时、人工产能不足的问题,研究团队推出LLM驱动的工具CurateGPT,结合生成式AI与可信知识库,借助智能体扩展信息获取范围并提供溯源链接,提升编目效率与协作能力。
2024-10-29 cs.AI cs.CL cs.DB
Self-MedRAG: a Self-Reflective Hybrid Retrieval-Augmented Generation Framework for Reliable Medical Question Answering
Bina Nusantara University(建国大学)
Self-MedRAG通过混合检索与自反思机制提升医学问答的准确性和可靠性。
2026-01-08 cs.AI cs.IR
Generating Scientific Claims for Zero-Shot Scientific Fact Checking
University of Copenhagen(哥本哈根大学);University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
由于科学语言的复杂性和缺乏大量的训练数据,自动化的科学事实检查是困难的,因为注释需要领域专业知识。为了解决这一挑战,我们提出了科学的索赔生成,从科学的句子生成一个或多个原子和可验证的索赔的任务,并证明其实用性的zero-shot事实检查的生物医学索赔。我们提出了索赔BART,一个新的监督方法生成索赔文献支持,以及KBIN,一种新的方法生成索赔否定。此外,我们适应现有的无监督的实体为中心的索赔生成方法的生物医学索赔,我们称之为索赔实体。zero-shot事实检查的实验表明,CLAIMGEN-ENTITY和CLAIMGEN-BART,加上KBIN,实现了高达90%的性能完全监督模型训练手动注释的索赔和证据。一项严格的评估研究表明,与现有基线相比,生成的索赔和否定质量有了显著改善
2022-03-24 cs.CL
Comparing Knowledge Sources for Open-Domain Scientific Claim Verification
Technical University of Munich(慕尼黑工业大学)
本研究比较了开放域科学声明验证中不同知识来源与检索技术,发现PubMed适合专业生物医学声明,Wikipedia适合日常健康问题,BM25精度高而语义搜索召回率高。
2024-02-05 cs.AI cs.CL cs.IR
What Makes Medical Claims (Un)Verifiable? Analyzing Entity and Relation Properties for Fact Verification
University of Stuttgart(斯图加特大学);University of Bamberg(班贝格大学)
本研究分析生物医学声明中实体与关系属性对可验证性的影响,构建了标注三元组、证据及核查结论的BEAR-Fact语料库,揭示否定声明难验证等发现,证明可通过声明文本估计证据检索成功率。
2024-02-02 cs.CL
LLM4SCREENLIT: Recommendations on assessing the performance of large language models for screening literature in systematic reviews
University of Kent(肯特大学);University of Leicester(利兹大学);University of Birmingham(伯明翰大学)
本文提出LLM4SCREENLIT建议,针对系统综述文献筛选中大型语言模型的评估,提出基于加权马修相关系数的改进方法,强调在不平衡和成本不对称条件下使用成本敏感的WMCC进行评估。
2026-11-13 cs.AI cs.LG cs.SE
What Makes a Medical Checker Trainable? Diagnosing Signal Collapse and Reward Hacking in Checker-Guided RAG for Biomedical QA
University of Pittsburgh(匹兹堡大学)
本文通过比较四种NLI检查器作为GRPO训练的医学RAG代理的过程奖励,诊断了信号崩溃和奖励黑客现象,发现检查器的输出分布而非保留准确率决定了其是否提供可训练梯度,并提出了验证器作为奖励系统的边界条件。
2026-05-25 cs.CL
Scientific Claim Verification with VERT5ERINI
David R. Cheriton School of Computer Science(David R. Cheriton计算机科学学院);University of Waterloo(滑铁卢大学)
这项工作描述了一个预先训练的序列到序列模型的适应任务的科学主张验证在生物医学领域。我们提出了VERT 5ERINI,它利用T5进行摘要检索,句子选择和标签预测,这是索赔验证的三个关键子任务。我们在SCIFACT上评估了我们的管道,SCIFACT是一个新策划的数据集,它要求模型不仅要预测声明的准确性,还要从支持这一决定的科学文献语料库中提供相关句子。从经验上讲,我们的管道在三个步骤中的每一个都优于强大的基线。最后,我们展示了VERT 5ERINI使用来自不断扩展的CORD-19语料库的证据推广到两个新的COVID-19索赔数据集的能力。
2020-10-22 cs.CL cs.IR
Grounding Fallacies Misrepresenting Scientific Publications in Evidence
Ubiquitous Knowledge Processing Lab (UKP Lab)(通用知识处理实验室(UKP实验室));TU Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);IT:U Interdisciplinary Transformation University Austria(奥地利跨学科转型大学(IT:U));IBM Research Ireland(IBM爱尔兰研究院);MBZUAI(穆罕默德·本·扎耶德人工智能大学)
本文提出MissciPlus数据集,将逻辑谬误与被错误表述的真实科学段落配对,用于基准测试检索模型、评估大语言模型表述谬误的能力以及事实核查模型的反驳效果,发现现有模型难以有效利用被错误表述的证据反驳虚假健康声明。
2025-02-07 cs.CL
Scientific Discourse Tagging for Evidence Extraction
University of Texas at Dallas(德克萨斯大学达拉斯分校);Chan Zuckerburg Initiative(陈和扎克伯格倡议);University of California Los Angeles(加州大学洛杉矶分校)
该研究将生物医学领域预训练的深度表示学习用于科学语篇标注与证据片段提取,验证了标注器的最优性能与可迁移性,以及语篇标签对下游任务的助益,为提升科学主张质量提供了新路径。
2021-01-25 cs.CL
PubMedCausal: A Span-Level Annotated Corpus for Causal Relation Extraction in Biomedical Text
Edyah Limited(Edyah有限公司);University of Ibadan(伊巴丹大学);Indiana University(印第安纳大学);Creighton University(克雷顿大学)
为解决现有资源将因果关系与广义关联混淆、限制句子级标注或仅关注显式因果线索的问题,构建了基于PubMed摘要的跨度级因果关抽取语料库PubMedCausal,包含30,000段落级行、3,945因果行和6,491个裁决的因果对,并基准测试了判别式编码器和开源生成模型。
2026-10-28 cs.CL
Beyond True or False: Retrieval-Augmented Hierarchical Analysis of Nuanced Claims
Department of Computer Science, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校计算机科学系)
针对主张难以简单判定真假的问题,提出基于检索增强生成的ClaimSpect框架,可分层拆解主张的方面并挖掘语料库中的不同观点,在多类真实主张上表现优于基线。
2025-06-12 cs.CL cs.IR
The Minimum Information about CLinical Artificial Intelligence Checklist for Generative Modeling Research (MI-CLAIM-GEN)
University of California, San Francisco(加州大学旧金山分校);University of California, Berkeley(加州大学伯克利分校);University of California, Office of the President(加州大学校长办公室);Bayesian Health(贝叶斯健康公司);Johns Hopkins University(约翰斯·霍普金斯大学);Scripps Research(斯克里普斯研究所);University of Chicago(芝加哥大学);Qualified Health PBC(合格健康公益公司)
针对临床生成式AI研究报告缺乏规范的问题,研究基于原有MI-CLAIM清单制定了MI-CLAIM-GEN清单,覆盖训练、评估等多方面差异及伦理要求,填补相关标准空白。
2024-07-12 cs.CL cs.CV