For Generated Text, Is NLI-Neutral Text the Best Text?
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文利用预训练NLI模型检测生成句与提示及前文的推理关系,并为GPT-J设计NLI引导生成策略,实验证明最大化中性类别可稳定获得最高文本质量。
2024-01-20 cs.CL
Adversarially Regularising Neural NLI Models to Integrate Logical Background Knowledge
University College London(伦敦大学学院)
对抗性示例是机器学习模型的输入,旨在导致模型出错。它们对于理解机器学习模型的缺点、解释其结果以及正则化都很有用。然而,在NLP中,大多数示例生成策略通过使用已知的、预先指定的语义转换来生成输入文本,这需要大量的手动工作以及对问题和领域的深入理解。本文研究了在自然语言推理(NLI)中自动生成违反给定一阶逻辑约束的对抗性实例的问题。我们减少了识别这种对抗性的例子的问题,一个组合优化问题,通过最大化的数量测量违反这些约束的程度,并通过使用一个语言模型生成语言上合理的例子。此外,我们提出了一种方法,逆向正则化神经NLI模型,将背景知识。我们的研究结果表明,虽然所提出的方法并不总是改善SNLI和MultiNLI数据集的结果,但它显着且一致地提高了对恶意数据集的预测准确性-相对提高高达79.6%-同时大大减少了背景知识违规的数量。此外,我们表明,对抗性的例子之间的模型架构的转移,并提出的对抗性训练过程提高了NLI模型的对抗性的例子的鲁棒性。
2018-08-26 cs.AI cs.CL cs.LG
Knowledge-Enhanced Evidence Retrieval for Counterargument Generation
Carnegie Mellon University(卡内基梅隆大学);KAIST(韩国科学技术院);Sungkyunkwan University(成均馆大学);University of Dundee(邓迪大学)
寻找反证是许多任务的关键,包括反驳生成。我们建立了一个系统,给定一个声明,检索反证从不同的来源在Web上。该系统的核心是一个自然语言推理(NLI)模型,用于确定候选句子是否是有效的反证。然而,大多数NLI模型,到目前为止,缺乏适当的推理能力,需要找到反证,涉及复杂的推理。因此,我们提出了一个知识增强的NLI模型,旨在处理因果关系和基于实例的推理,将知识图谱。我们的NLI模型优于NLI任务的基线,特别是对于需要有针对性的推理的实例。此外,该NLI模型进一步改进了反证检索系统,特别是更好地发现复杂反证。
2021-09-19 cs.CL
Knowledge Enhanced Attention for Robust Natural Language Inference
Alexa AI, Amazon(亚马逊Alexa AI)
神经网络模型在自然语言推理(NLI)任务上已经非常成功地实现了高精度。然而,正如最近的文献所证明的那样,当在一些简单的对抗性示例上进行测试时,大多数模型的性能都会显着下降。这引起了对NLI模型稳健性的关注。在本文中,我们提出了将外部知识的注意力机制使用一个简单的转换,使NLI模型的鲁棒性。我们将新的注意力应用于两种流行的NLI模型:一种是Transformer编码器,另一种是可分解模型,并表明我们的方法可以显着提高其鲁棒性。此外,当与BERT预训练相结合时,我们的方法在对抗性SNLI数据集上实现了人类水平的性能。
2019-08-31 cs.CL cs.CR cs.LG
GatorTron: A Large Clinical Language Model to Unlock Patient Information from Unstructured Electronic Health Records
University of Florida(佛罗里达大学);NVIDIA(英伟达)
人们对开发人工智能(AI)系统来处理和解释电子健康记录(EHR)的兴趣越来越大。由预训练的语言模型驱动的自然语言处理(NLP)是利用临床叙述的医疗AI系统的关键技术。然而,临床语言模型很少,在临床领域中训练的最大的语言模型相对较小,只有1.1亿个参数(与一般领域中的数十亿个参数相比)。目前尚不清楚具有数十亿参数的大型临床语言模型如何帮助医疗AI系统利用非结构化EHR。在这项研究中,我们从头开始开发了一个大型临床语言模型- GatorTron -使用超过900亿字的文本(包括超过820亿字的去识别临床文本),并在5个临床NLP任务上对其进行了系统评估,包括临床概念提取,医学关系抽取,语义文本相似性,自然语言推理(NLI)和医学问答(MQA)。我们研究了(1)扩大参数的数量和(2)扩大训练数据的大小如何使这些NLP任务受益。GatorTron模型将临床语言模型的参数从1.1亿扩展到89亿,并改进了5项临床NLP任务(例如,NLI和MQA的准确性提高了9.6%和9.5%),可应用于医疗AI系统,以改善医疗保健服务。GatorTron模型可在https://catalog.ngc.nvidia.com/orgs/nvidia/teams/clara/models/gatortron_og上公开获取。
2022-12-16 cs.AI cs.CL cs.LG
IITP at MEDIQA 2019: Systems Report for Natural Language Inference, Question Entailment and Question Answering
Government College Of Engineering And Textile Technology Berhampore(贝兰普尔政府工程与纺织技术学院);Indian Institute of Technology Patna(印度理工学院巴特那分校)
本文介绍了作为我们参与MEDIQA挑战的一部分完成的实验,以及(Abacha等人,#20199;的共同任务。我们参与了这一特定共同任务中定义的所有三项任务。任务是,i。自然语言推理(NLI)识别问题蕴涵及其在医学问答中的应用。我们使用多个基于深度学习的系统(运行)为这三个任务中的每一个提交运行。我们在NLI和RQE任务中提交了五个系统结果,在QA任务中提交了四个系统结果。这些系统在所有三项任务中都取得了令人鼓舞的成果。在NLI、RQE和QA任务中获得的最高绩效分别为81.8%、53.2%和71.7%。
2019-06-14 cs.AI cs.CL
Incorporating Voice Instructions in Model-Based Reinforcement Learning for Self-Driving Cars
Georgetown University(乔治城大学)
本文提出了一种新的方法,该方法支持自然语言语音指令,以在训练自动驾驶汽车时指导深度强化学习(DRL)算法。DRL方法是用于自主车辆(AV)代理的流行方法。然而,大多数现有的方法是样本和时间效率低下,缺乏与人类专家的自然沟通渠道。在本文中,新的人类驾驶员如何从人类教练那里学习激励我们研究新的人类在环学习方法和更自然、更平易近人的智能体训练界面。我们建议将自然语言语音指令(NLI)纳入基于模型的深度强化学习,以训练自动驾驶汽车。我们评估所提出的方法与一些国家的最先进的DRL方法在CARLA模拟器。结果表明,NLI可以帮助简化训练过程,并显着提高智能体的学习速度。
2022-06-21 cs.CL cs.CV cs.HC
Semantic Diversity in Dialogue with Natural Language Inference
UC Berkeley(加州大学伯克利分校)
生成多样化的,有趣的回应闲聊会话是一个问题的神经会话代理。本文对提高对话生成的多样性做出了两个实质性贡献。首先,我们提出了一种新的度量,它使用自然语言推理(NLI)来衡量一组模型的会话响应的语义多样性。我们使用一个已建立的框架(Tevet和Berant,2021)来评估这个指标,并发现了强有力的证据表明NLI多样性与语义多样性相关。具体来说,我们表明,矛盾关系是更有用的中性关系,用于测量这种多样性,并将NLI模型的信心达到国家的最先进的结果。其次,我们演示了如何迭代地提高语义多样性的采样集的响应,通过一个新的生成程序称为多样性阈值生成,这导致平均137%的增加NLI多样性相比,标准的生成程序。
2022-05-03 cs.CL
Enhancing Natural Language Inference Performance with Knowledge Graph for COVID-19 Automated Fact-Checking in Indonesian Language
School of Electrical Engineering and Informatics, Institut Teknologi Bandung(万隆理工学院电气工程与信息学院);Center for Artificial Intelligence (U-COE AI-VLB), Institut Teknologi Bandung(万隆理工学院人工智能中心)
针对深度学习因缺乏知识导致性能停滞的问题,提出在印尼语COVID-19自动事实核查中引入知识图谱作为外部知识,构建含事实、NLI和分类器模块的模型,显著提升了自然语言推理性能,最佳准确率达0.8616。
2025-09-03 cs.AI cs.CL
DoubleTransfer at MEDIQA 2019: Multi-Source Transfer Learning for Natural Language Understanding in the Medical Domain
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
本文介绍了我们参加MEDIQA-2019竞赛的竞争系统。我们使用多源迁移学习方法将MT-DNN和SciBERT的知识迁移到医学领域的自然语言理解任务中。对于迁移学习微调,我们对一般和医疗领域的NLI、RQE和QA任务使用多任务学习来提高性能。所提出的方法被证明是有效的自然语言理解在医学领域,我们排名第一的QA任务。
2019-06-11 cs.CL
Revisiting text decomposition methods for NLI-based factuality scoring of summaries
M Health Information Systems(3M健康信息系统);Carnegie Mellon University(卡内基梅隆大学)
对生成的摘要的真实性进行评分涉及使用输入文档作为支持来测量目标文本包含事实信息的程度。鉴于问题表述的相似性,以前的工作表明,自然语言推理模型可以有效地重新利用来执行这项任务。由于这些模型被训练为在句子级别上对蕴涵进行评分,最近的几项研究表明,将输入文档或摘要分解为句子有助于真实性评分。但是细粒度分解总是一个成功的策略吗?在本文中,我们系统地比较了不同的粒度分解-从文档到子句子级别,我们的答案是否定的。我们的结果表明,将额外的上下文可以产生改善,但这并不一定适用于所有的数据集。我们还表明,以前提出的基于蕴涵的评分方法的小的变化可以导致更好的性能,强调需要谨慎的模型和方法选择下游任务。
2022-11-30 cs.CL
Resolving Word Vagueness with Scenario-guided Adapter for Natural Language Inference
Fudan University(复旦大学);University of Trento(特伦托大学)
针对传统NLI模型因缺乏情境视觉信息导致词语语义模糊、推理受限的问题,提出融合预训练语言知识与视觉信息的ScenaFuse适配器,通过交互与融合模块实现模态协同,经基准实验验证可有效提升NLI性能。
2024-05-21 cs.CL
A MISMATCHED Benchmark for Scientific Natural Language Inference
Computer Science(计算机科学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Kansas State University(堪萨斯州立大学)
本文提出覆盖心理学、工程学和公共卫生三个非计算机科学领域的科学NLI基准MISMATCHED,并通过实验表明引入隐式NLI关系句子对可提升模型性能。
2025-06-05 cs.CL
Pair-Level Supervised Contrastive Learning for Natural Language Inference
Tsinghua University(清华大学)
自然语言推理(NLI)是自然语言理解中一项日益重要的任务,它要求人们推断句子对(前提和假设)之间的关系。最近的许多研究都使用了对比学习,通过结合NLI数据集的句子对的关系来学习句子表示。然而,这些方法仅关注与双级表示的比较。在本文中,我们提出了一个对级监督对比学习方法(PairSCL)。我们采用交叉注意模块来学习句子对的联合表征。对比学习的目的是通过将一类句子对拉在一起,将另一类句子对推开来区分不同类别的句子对。我们在NLI的两个公共数据集上对PairSCL进行了评估,其中PairSCL的准确性平均优于其他方法2.1%。此外,我们的方法优于以前的国家的最先进的方法上的七个转移任务的文本分类。
2022-04-01 cs.CL
KNSE: A Knowledge-aware Natural Language Inference Framework for Dialogue Symptom Status Recognition
Fudan University(复旦大学)
本文提出KNSE框架,将症状状态识别形式化为自然语言推理任务,利用BERT及注意力、GRU等模块编码症状知识与假设三元组,在中文医疗对话数据上取得优于基线方法的效果,并具备跨疾病和跨症状优势。
2023-05-26 cs.CL
Lessons from Natural Language Inference in the Clinical Domain
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);IBM Almaden Research Center(IBM阿尔马登研究中心)
使用深度神经网络的现有技术模型在学习从输入到输出的准确映射方面已经变得非常好。然而,他们仍然缺乏泛化能力,在不同的条件下遇到的培训。这在训练数据有限的专业化和知识密集型领域中甚至更具挑战性。为了解决这一差距,我们引入了MedNLI -一个由医生注释的数据集,执行自然语言推理任务(NLI),以患者的病史为基础。我们提出的战略是:1)利用来自开放领域(例如SNLI)的数据集的迁移学习,以及2)结合来自外部数据和词汇源(例如医学术语)的领域知识。我们的研究结果表明,使用这两种策略的性能增益。
2018-08-27 cs.CL
IndoNLI: A Natural Language Inference Dataset for Indonesian
Universitas Indonesia(印度尼西亚大学);Kata.ai Research(Kata.ai研究院);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of St Andrews(圣安德鲁斯大学);Amazon(亚马逊)
我们提出了IndoNLI,第一个人类引起的NLI数据集印度尼西亚。我们采用了MNLI的数据汇集协议,并收集了近18 K的句子对人群工作人员和专家的注释。专家注释的数据专门用作测试集。它的目的是提供一个具有挑战性的测试台,印尼NLI明确纳入各种语言现象,如数字推理,结构变化,成语,或时间和空间推理。实验结果表明,XLM-R在我们的数据中优于其他预训练模型。专家注释数据的最佳性能仍然远低于人类性能(13.4%的准确率差距),这表明该测试集特别具有挑战性。此外,我们的分析表明,我们的专家注释的数据更多样化,包含更少的注释工件比人群注释的数据。我们希望这个数据集可以帮助加快印度尼西亚NLP研究的进展。
2021-10-27 cs.CL
Multi-Ontology Integration with Dual-Axis Propagation for Medical Concept Representation
University of Kansas(堪萨斯大学)
针对多医学本体难以统一建模的问题,提出 LLM 增强的 LINKO 框架,以本体内部垂直与本体间水平双轴传播学习概念表示,并在两个公共数据集上验证其性能、低数据鲁棒性和罕见病预测优势。
2025-08-29 cs.AI cs.LG
Sentence Embeddings using Supervised Contrastive Learning
Princeton University(普林斯顿大学)
句子嵌入将句子编码在固定的密集向量中,并在各种NLP任务和系统中发挥了重要作用。构建句子嵌入的方法包括无监督学习(如Quick-Thoughts)和监督学习(如Infersent)。随着预训练的NLP模型的成功,最近的研究表明,在SNLI和Multi-NLI数据上微调预训练的BERT可以创建最先进的句子嵌入,在各种评估基准上优于以前的句子嵌入方法。在本文中,我们提出了一种新的方法来建立句子嵌入进行监督对比学习。具体来说,我们的方法在SNLI数据上微调预训练的BERT,同时包含监督交叉熵损失和监督对比损失。与仅使用类似于当前最先进方法SBERT的监督交叉熵损失进行微调的基线相比,我们的监督对比方法在语义文本相似性(STS)基准测试中平均提高了2.8%,在各种句子迁移任务中平均提高了1.05%。
2021-06-09 cs.CL cs.LG
KG4Diagnosis: A Hierarchical Multi-Agent LLM Framework with Knowledge Graph Enhancement for Medical Diagnosis
University of Warwick(华威大学);Cranfield University(克兰菲尔德大学);University of Cambridge(剑桥大学);University of Oxford(牛津大学)
KG4Diagnosis提出层级多智能体LLM框架,结合自动化知识图谱构建,覆盖362种疾病,通过全科与专科智能体协作,实现可扩展的医学诊断。
2025-03-28 cs.AI cs.LG
Learning and inference in knowledge-based probabilistic model for medical diagnosis
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院);The 2nd Affiliated Hospital of Harbin Medical University(哈尔滨医科大学附属第二医院)
基于加权知识图谱来表示一阶知识,并结合概率模型,我们提出了一种用于创建医学诊断中的医学知识网络(MKN)的方法。当针对特定患者激活一组症状时,我们可以生成由症状节点和潜在疾病节点组成的基础医学知识网络。通过将玻尔兹曼机转化为马尔可夫网络的势函数,研究了MKN的联合概率分布。为了处理数值征兆,提出了一种使用条件概率的多变量推理模型。此外,知识图谱的权重是有效地从人工标注的中国电子病历(CEMR)学习。在实验中,我们通过数值计算发现,疾病节点的质量和症状变量的表达的最佳选择可以提高医疗诊断的有效性。我们的实验结果比较马尔可夫逻辑网络和逻辑回归算法在一个实际的CEMR数据库表明,我们的方法有希望,MKN可以促进智能诊断的研究。
2017-03-28 cs.AI
MIPO: Mutual Integration of Patient Journey and Medical Ontology for Healthcare Representation Learning
Australian AI Institute, Faculty of Engineering and IT, University of Technology Sydney(澳大利亚人工智能研究所,工程与信息技术学院,悉尼技术大学);School of Information Technology and Electrical Engineering, The University of Queensland(信息科技与电气工程学院,昆士兰大学);Department of Data Science and AI, The Hong Kong Polytechnic University(数据科学与人工智能学院,香港理工大学);Health Economics and Research Division, Department of Health and Aged Care(健康经济学与研究部,健康与老龄化部)
MIPO通过整合患者旅程与医学本体,提升医疗表示学习的鲁棒性和可解释性。
2026-01-09 cs.AI
Am I eligible? Natural Language Inference for Clinical Trial Patient Recruitment: the Patient's Point of View
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
本研究聚焦患者自主判断临床试验入组资格的需求,构建患者语言表述的医疗档案与试验匹配的NLI4PR数据集及任务,测试开源大模型性能,验证患者视角招募的可行性。
2025-03-19 cs.CL
Ontology-based knowledge representation for bone disease diagnosis: a foundation for safe and sustainable medical artificial intelligence systems
University of Science, VNUHCM(胡志明市国家大学科学大学);Viet Nam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Ho Chi Minh City Hospital for Traumatology and Orthopedics(胡志明市创伤与骨科医院)
本文提出一个基于本体的骨病诊断框架,通过本体引导的分层神经网络、本体增强VQA和多模态深度学习整合影像、临床与实验室数据,为安全可持续的医学AI奠定理论基础。
2025-06-05 cs.AI cs.CV eess.IV
FActBench: A Benchmark for Fine-grained Automatic Evaluation of LLM-Generated Text in the Medical Domain
Technical University of Munich(慕尼黑技术大学)
针对大语言模型在医学领域的事实性评估难题,提出覆盖4项生成任务、6款大模型的事实核查基准FActBench,结合CoT提示与NLI技术,证实二者一致投票的分数与专家评估相关性最优。
2025-09-02 cs.CL
Beyond Keywords: A Context-based Hybrid Approach to Mining Ethical Concern-related App Reviews
University of Calgary(卡尔加里大学)
本研究提出结合自然语言推理(NLI)和大型语言模型(LLM)的混合方法,从心理健康领域的应用评论中大规模提取伦理关切相关的隐私评论,克服了传统关键词方法的局限。
2024-11-11 cs.AI cs.CL cs.SE
Incorporating Dictionaries into a Neural Network Architecture to Extract COVID-19 Medical Concepts From Social Media
Birkbeck, University of London(伦敦大学伯贝克学院);National Physical Laboratory(英国国家物理实验室)
本研究将小型领域词典融入神经网络,用于从社交媒体提取COVID-19医学概念,在论坛和推文数据上分别取得90%和81%的F1分数,证明词典能提升概念提取效果并增强模型迁移能力。
2023-09-05 cs.CL cs.SI
DKE-Research at SemEval-2024 Task 2: Incorporating Data Augmentation with Generative Models and Biomedical Knowledge to Enhance Inference Robustness
Xi’an Jiaotong Liverpool University(西交利物浦大学);University of Liverpool(利物浦大学);University of Surrey(萨里大学);Duke Kunshan University(昆山杜克大学)
针对临床试验生物医学自然语言推理中预训练模型偏差问题,提出结合语义扰动、领域词汇替换、数值推理任务的多任务数据增强方法,搭配DeBERTa架构,在NLI4CT 2024基准取得显著提升,消融验证各模块有效性,最终在32支队伍中获忠实度第12、一致性第8。
2024-04-14 cs.CL
Enriching Unsupervised User Embedding via Medical Concepts
University of Memphis(孟菲斯大学);Adobe Research(奥多比研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
电子健康记录(EHR)中的临床记录提供了丰富的患者记录信息,以推断疾病诊断的表型和研究队列选择的患者特征。无监督用户嵌入的目的是在没有人类监督的情况下将患者编码为固定长度的向量。从临床笔记中提取的医学概念包含患者与其临床类别之间的丰富联系。然而,现有的从临床笔记中嵌入用户的无监督方法没有明确地结合医学概念。在这项研究中,我们提出了一个概念感知的无监督用户嵌入,共同利用文本文档和医学概念,从两个临床语料库,MIMIC-III和糖尿病。我们评估用户嵌入的外在和内在的任务,包括表型分类,在医院死亡率预测,病人检索,和病人的相关性。在两个临床语料库上的实验表明,我们的方法超过了无监督的基线,并纳入医疗概念可以显着提高基线性能。
2022-03-29 cs.CL cs.LG
DKEC: Domain Knowledge Enhanced Multi-Label Classification for Diagnosis Prediction
University of Virginia(弗吉尼亚大学)
针对医疗多标签分类的长尾标签分布问题,提出融合外部医疗知识构建异质图谱并结合标签级注意力的DKEC方法,在少样本类别上优于现有模型,还能让小模型达到大模型相当性能。
2024-06-19 cs.AI cs.CL cs.LG
MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models
University of Texas at Austin(德克萨斯大学奥斯汀分校);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Drexel University(德雷塞尔大学)
本文提出含10,000个问答对的医学幻觉检测基准MedHallu,评估多种LLM并证明领域知识与“不确定”类别可显著提升检测性能。
2025-02-20 cs.AI cs.CL cs.LG
On the Generation of Medical Question-Answer Pairs
University of California at Berkeley(加州大学伯克利分校);Alibaba Group(阿里巴巴集团);Tencent(腾讯)
问答技术近年来取得了可喜的进展。然而,由于对外部知识的需求和高质量训练数据的数量不足,在诸如医疗领域的真实世界场景中回答问题仍然具有挑战性。针对这些挑战,本文研究了医学问答对的生成问题。有了洞察力,每个医疗问题可以被认为是一个样本的潜在分布的问题给出答案,我们提出了一个自动化的医疗QA对生成框架,包括一个无监督的关键短语检测器,探索非结构化材料的有效性,和一个发电机,涉及一个多通道解码器,以整合结构知识的多样性。在中国医师资格考试的真实数据集上进行了一系列实验。自动评估和人工标注都证明了该方法的有效性。进一步的研究表明,通过将生成的QA对用于训练,可以实现考试QA系统的准确性方面的显着改善。
2019-12-06 cs.AI cs.CL
Bridging Language Barriers in Healthcare: A Study on Arabic LLMs
M42 Health(M42医疗)
该研究针对多语言医学大语言模型开发难题,通过实验发现训练数据最优语言组合因任务而异,更大模型经语言比例校准后母语临床表现更优,指出预训练比微调更能提升多语言医疗性能,为普惠医疗AI构建提供指导。
2025-01-16 cs.AI cs.CL
On the Interplay of Human-AI Alignment,Fairness, and Performance Trade-offs in Medical Imaging
University of Bern(伯恩大学);Shanghai Jiao Tong University(上海交通大学)
本文首次系统研究医学影像中人类-AI对齐与公平性的关系,证明适度引入人类洞见可缩小群体差距并提升域外泛化,但过度对齐会造成性能权衡。
2025-05-15 cs.AI cs.CL cs.CV
Terminology-aware Medical Dialogue Generation
The University of Surrey(萨里大学);The University of Sheffield(谢菲尔德大学)
医学对话生成的目的是根据医生和患者之间的对话轮的历史来生成响应。与开放域对话生成不同,这需要特定于医学领域的背景知识。现有的医疗对话生成生成框架没有纳入特定领域的知识,特别是关于医学术语。在本文中,我们提出了一个新的框架,以提高医疗对话生成考虑集中在特定领域的术语的功能。我们利用一个注意力机制,将术语为中心的功能,并通过强制执行语言模型,以学习术语表示与辅助术语识别任务,以填补医学背景知识和常见的话语之间的语义差距。实验结果表明,我们的方法,其中我们提出的框架优于SOTA语言模型的有效性。此外,我们提供了一个新的数据集与医学术语注释,以支持医疗对话生成的研究。我们的数据集和代码可以在https://github.com/tangg555/meddialog上找到。
2023-03-15 cs.CL
LLM-MedQA: Enhancing Medical Question Answering through Case Studies in Large Language Models
University at Buffalo(布法罗大学);University at Albany(奥尔巴尼大学);Tunghai University(东海大学);Purdue University(普渡大学)
针对大语言模型在医学问答中理解术语和复杂推理的不足,提出基于Llama3.1:70B的多智能体MedQA系统,通过零样本相似案例生成,在准确率和F1上均提升7%,无需额外训练数据。
2025-01-18 cs.AI cs.CL cs.IR
PrinciplismQA: A Philosophy-Grounded Approach to Assessing LLM-Human Clinical Medical Ethics Alignment
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));National Health Data Institute, Shenzhen(深圳国家健康数据研究院);Shenzhen Research Institute of Big Data(深圳大数据研究院)
本文提出PrinciplismQA,一种基于哲学框架的评估方法,用于评估LLM在临床医学伦理上的对齐情况,通过专家验证的问题集揭示模型在伦理推理上的不足。
2026-07-28 cs.AI cs.CL
MAM: Modular Multi-Agent Framework for Multi-Modal Medical Diagnosis via Role-Specialized Collaboration
University of Macau(澳门大学)
本文提出多模态医学诊断模块化多智能体框架MAM,通过将诊断流程分解为全科医生、专家团队等五个基于LLM的角色化智能体,实现高效知识更新与协作,在多模态医疗数据集上性能显著超越基线模型18%至365%。
2025-06-24 cs.CL
Improving Medical Dialogue Generation with Abstract Meaning Representations
The University of Manchester(曼彻斯特大学);The University of Surrey(萨里大学)
本文提出利用抽象语义表示(AMR)图建模医疗对话,并通过双重注意力机制融合文本与图形知识,以提升医学知识和逻辑关系的表示能力,实验证明其在医疗对话生成上优于强基线模型。
2023-09-19 cs.CL
SMedBERT: A Knowledge-Enhanced Pre-trained Language Model with Structured Semantics for Medical Text Mining
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团);DXY(丁香园);Shanghai Research Institute for Intelligent Autonomous Systems(上海自主智能无人系统研究中心)
近年来,通过在预训练语言模型中加入知识事实来提高其语言理解能力,使得预训练语言模型的性能得到了显著提高。对于医学领域来说,由于医学术语数量庞大,关系复杂,在文本中难以理解,因此背景知识源就显得尤为重要。在这项工作中,我们介绍了SMedBERT,一个医疗PLM上训练的大规模医学语料库,纳入深结构化语义知识从邻居的链接实体。在SMedBERT中,提到邻居混合注意力被提出来学习异构实体信息,注入实体类型的语义表示到同构的相邻实体结构。除了作为外部特征的知识整合外,我们还提出将知识图谱中链接实体的邻居作为文本提及的额外全局上下文,允许它们通过共享邻居进行通信,从而丰富它们的语义表示。实验表明,SMedBERT显着优于强基线在各种知识密集型的中国医疗任务。它还提高了其他任务的性能,如问答,问题匹配和自然语言推理。
2021-08-20 cs.CL
Hybrid-IR: Dual-Path Hybrid Retrieval with Iterative Reasoning for Complex Medical Question Answering
College of Artificial Intelligence, Nanjing Agricultural University(南京农业大学人工智能学院);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院)
提出Hybrid-IR框架,结合图检索与稠密检索的双路径检索机制,并通过迭代检索-推理循环逐步优化推理轨迹,有效解决复杂医学问答中知识碎片化和静态检索不足的问题。
2026-06-25 cs.CL
Effects of Cross-lingual Evidence in Multilingual Medical Question Answering
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学希茨中心 - Ixa,巴斯克国家大学UPV/EHU)
本文研究了多语言医疗问答中跨语言证据的作用,探讨了不同规模模型在三种外部证据源下的表现,发现大模型在英语中表现更优,而低资源语言需结合英式和目标语言检索以获得相近准确率。
2026-04-22 cs.CL
Exploration of Attention Mechanism-Enhanced Deep Learning Models in the Mining of Medical Textual Data
University of California San Diego(加州大学圣迭戈分校);Columbia University(哥伦比亚大学);Brandeis University(布兰迪斯大学);New York University(纽约大学);North Carolina State University(北卡罗来纳州立大学)
研究提出融合领域知识的自适应注意力深度学习模型,优化医疗文本理解,在疾病预测等任务中提升准确性与鲁棒性,为智能医疗信息处理与临床决策提供新方法。
2024-05-23 cs.CL
Towards Omni-RAG: Comprehensive Retrieval-Augmented Generation for Large Language Models in Medical Applications
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对大语言模型在医疗应用中因知识有限产生幻觉的问题,提出MedOmniKB知识库和Source Planning Optimisation方法,通过专家模型探索计划并训练小模型学习来源对齐,显著提升多源规划性能并达到SOTA。
2025-05-31 cs.CL
HeteroRAG: A Heterogeneous Retrieval-Augmented Generation Framework for Medical Vision Language Tasks
Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出HeteroRAG框架,通过异构知识源增强医疗大视觉语言模型,解决异构数据检索问题,提升事实准确性与可靠性。
2026-05-02 cs.CL