LLMs for Doctors: Leveraging Medical LLMs to Assist Doctors, Not Replace Them
Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对LLMs在医疗中误导患者的问题，构建医生导向数据集DoctorFLAN（92K问答，22任务，27专科）及基准，调优LLMs辅助医生，实验证明其能显著提升开源模型在医生场景的表现。
2024-06-26 cs.CL
Efficient Fine-Tuning of Large Language Models for Automated Medical Documentation
Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）
本研究提出MediGen，通过微调LLaMA3-8B模型自动生成医疗报告，以减轻医生行政负担，实验显示ROUGE达58%，BERTScore-F1达72%，有效提升效率与福祉。
2025-09-24 cs.AI cs.CL
Leveraging Large Language Models for Automated Definition Extraction with TaxoMatic A Case Study on Media Bias
National Institute of Informatics（情报学研究所）；The Chinese University of Hong Kong（香港中文大学）
本文提出TaxoMatic框架，利用大型语言模型从学术文献中自动提取定义，并在媒介偏见领域的2398篇文章上验证了其有效性，其中Claude-3-sonnet表现最佳。
2025-04-01 cs.CL
MedAide: Leveraging Large Language Models for On-Premise Medical Assistance on Edge Devices
National University of Sciences & Technology（国家科学技术大学）
本文提出边缘本地化医疗聊天机器人 MedAide，通过集成 LangChain 的微型 LLM、LoRA、RLHF 与模型优化，在 GPU 和 Nvidia Jetson 上实现低资源、隐私友好的初步医疗辅助。
2024-02-28 cs.AI cs.CL
ACE-ICD: Acronym Expansion As Data Augmentation For Automated ICD Coding
Moffitt Cancer Center and Research Institute（莫菲特癌症中心和研究所在）；University of South Florida（佛罗里达州立大学）
针对自动ICD编码中临床笔记医学首字母缩写被忽略的问题，提出ACE-ICD方法，通过大语言模型扩展首字母缩写并结合一致性训练，在MIMIC-III数据集上的多种设置中实现了新的最先进性能。
2025-11-10 cs.CL
MedVisionLlama: Leveraging Pre-Trained Large Language Model Layers to Enhance Medical Image Segmentation
Montreal Neurological Institute, McGill University（蒙特利尔神经科学研究所，麦吉尔大学）
MedVisionLlama通过将冻结的预训练LLM transformer模块集成到ViT编码器中，并结合混合注意力与多尺度融合机制，在多种医学成像模态上显著提升了分割性能，平均Dice分数从0.74提升至0.79。
2025-08-19 cs.CL cs.CV eess.IV
Leveraging Hierarchical Organization for Medical Multi-document Summarization
National Tsing Hua University（清华大学）；University of Washington（华盛顿大学）；Allen Institute for AI（人工智能研究院）
本文研究在医学多文档摘要输入中引入层次化结构，以提升模型跨文档组织和情境化信息的能力，实验证明该方法能保持事实性、覆盖度与连贯性，并提高人类对摘要的偏好。
2025-11-04 cs.AI cs.CL cs.IR
AR-Med: Automated Relevance Enhancement in Medical Search via LLM-Driven Information Augmentation
Meituan Inc.（美团公司）；Tsinghua University（清华大学）；Independent Researcher（独立研究者）
AR-Med通过LLM驱动的信息增强，实现医疗搜索的自动化相关性提升，提高了准确性和用户满意度。
2025-12-03 cs.CL cs.IR
Leveraging Medical Knowledge Graphs Into Large Language Models for Diagnosis Prediction: Design and Application Study
University of Colorado Anschutz Medical Campus（科罗拉多大学安舒茨医学园区）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of Aberdeen（阿伯丁大学）；Boston Children's Hospital, Harvard Medical School（哈佛医学院波士顿儿童医院）；Loyola University Chicago（芝加哥洛约拉大学）
本研究提出结合医学知识图谱（UMLS）与图模型Dr.Knows增强大语言模型，无需预训练即可提高自动诊断生成的准确性，并提供可解释的诊断路径，助力AI诊断决策支持系统。
2025-02-25 cs.AI cs.CL
Leveraging Computerized Adaptive Testing for Cost-effective Evaluation of Large Language Models in Medical Benchmarking
Institute of Medical Education, Health Science Center, Peking University（北京大学医学教育研究院、健康科学中心）；School of Public Health, Peking University（北京大学公共卫生学院）；Peking University Health Science Center-Chaoxing Joint Laboratory for Digital and Smart Medical（北京大学健康科学中心-超星数字与智能医疗联合实验室）；Graduate School of Education, Peking University（北京大学教育学院）
本文提出基于项目反应理论的计算自适应测试框架，用于高效评估大型语言模型在标准化医学知识中的表现，通过模拟和实证研究验证了其在成本效益和评估效率上的优势。
2026-02-28 cs.AI cs.CL
Towards Generalist Foundation Model for Radiology by Leveraging Web-scale 2D&3D Medical Data
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
本研究提出放射学基础模型RadFM，通过构建大规模多模态数据集MedMD和RadMD，设计视觉条件生成预训练架构，并在新基准RadBench上超越现有模型，推动放射学AI发展。
2023-11-16 cs.CL cs.CV
Leveraging Large Language Models to Extract and Translate Medical Information in Doctors' Notes for Health Records and Diagnostic Billing Codes
Department of Computer Science & Information Technologies, Frostburg State University（弗罗斯堡州立大学计算机科学与信息科技系）；Department of Emergency Medicine, FAU Charles E Schmidt College of Medicine（FAU查尔斯·E·施密特医学院急诊医学系）
本文研究利用本地大语言模型提取医生笔记中的临床信息并翻译为ICD-10-CM诊断代码，探讨隐私保护下的医疗信息提取方法，发现需结合人类辅助以提高准确性。
2026-01-14 cs.CL cs.IR
Towards an Automated SOAP Note: Classifying Utterances from Medical Conversations
Abridge AI, Inc.（Abridge AI 公司）
从医疗对话中生成的摘要可以提高患者对护理计划的回忆和理解，并减少医生的文档负担。自动语音识别（ASR）和自然语言理解（NLU）的最新进展为自动生成这些摘要提供了潜在的解决方案，但缺乏用于该领域基准研究的严格定量基线。在本文中，我们弥合这一差距的两个任务：从医疗对话的话语分类（i）SOAP部分和（ii）扬声器的作用。两者都是实现医疗对话的端到端、自动化SOAP注释的基本构建块。我们提供了一个数据集的详细信息，该数据集包含人类和ASR的医疗对话和相应的机器学习优化的SOAP注释。然后，我们提出了一个系统的分析，其中我们适应现有的深度学习架构，以上述两个任务。结果表明，建模上下文的层次化的方式，它捕获单词和话语水平的背景下，产生实质性的改进，这两个分类任务。此外，我们开发和分析了一个模块化的方法，使我们的模型适应ASR输出。
2020-07-27 cs.CL cs.LG
Training without training data: Improving the generalizability of automated medical abbreviation disambiguation
University of Toronto（多伦多大学）；The Hospital for Sick Children（病童医院）
由于缩写在临床环境中的频繁使用，因此缩写消歧对于自动化临床记录处理是重要的。现有的缩略语自动消歧模型受到标记训练数据的稀缺性和不平衡性的限制，降低了它们对正交源的泛化能力。在这项工作中，我们提出了一种新的数据增强技术，利用相关的医学概念，提高了我们的模型的概括能力的信息。此外，我们表明，将全球范围内的整个医疗记录的背景信息（除了传统的本地上下文窗口），可以显着提高模型的缩写表示。我们在公共数据集（MIMIC III）上训练我们的模型，并在来自不同来源的数据集（CASI，i2b2）上测试其性能。总之，这两种技术在CASI数据集上将缩写消歧的准确性提高了近14%，在i2b2上提高了4%。
2019-12-12 cs.CL cs.LG stat.ML
Automated Question Answer medical model based on Deep Learning Technology
Satbayev University（萨塔巴耶夫大学）；Assiut University（艾斯尤特大学）；International IT University（国际信息技术大学）
人工智能现在可以为不同的问题提供更多的解决方案，尤其是在医疗领域。其中一个问题是缺乏任何特定医疗/健康相关问题的答案。互联网上充满了论坛，让人们提出一些具体的问题，并为他们得到很好的答案。然而，浏览这些问题，以找到一个类似于你自己的，也找到一个满意的答案是一个困难和耗时的任务。本研究将通过自动化生成这些问题的合格答案的过程并创建一种数字医生来解决这个问题。此外，本研究将使用RNN框架和编码器-解码器训练一个端到端模型，以生成一小部分医疗/健康问题的合理和有用的答案。使用来自各种在线服务（如WebMD，HealthTap，eHealthForums和iCliniq）的数据对所提出的模型进行了训练和评估。
2020-05-21 cs.AI cs.CL cs.LG
Automated text summarisation and evidence-based medicine: A survey of two domains
Macquarie University（麦考瑞大学）；CSIRO Australia（澳大利亚联邦科学与工业研究组织）
循证医学（EBM）的实践促使医生在做出临床决策时利用最新的研究证据。由于各种医学主题的大量和不断增长的出版研究，从业者经常发现自己的信息超载。因此，自然语言处理研究最近已经开始探索用于执行医学领域特定的自动文本摘要（ATS）技术的技术-针对压缩大型医学文本的任务。然而，为这项任务开发有效的摘要技术需要跨领域的知识。我们提出了一个调查的循证医学，特定领域的需求，循证医学，自动摘要技术，以及它们是如何被应用到迄今为止。我们设想，这项调查将作为第一资源，为循证医学的未来业务文本摘要技术的发展。
2017-06-25 cs.CL
Toward Automated Regulatory Decision-Making: Trustworthy Medical Device Risk Classification with Multimodal Transformers and Self-Training
Institute of Biomedical Engineering, Department of Engineering Science, University of Oxford（生物医学工程研究所，工程科学系，牛津大学）；Birmingham Law School, University of Birmingham（伯明翰法学院，伯明翰大学）
针对医疗器械风险分类问题，提出基于Transformer的多模态框架，融合文本与视觉信息，结合交叉注意力机制与自训练策略，在真实数据集上达到90.4%准确率，显著优于单模态基线。
2025-05-01 cs.CL cs.LG
Neural translation and automated recognition of ICD10 medical entities from natural language
CépiDc（塞皮DC）；Inserm（法国国家健康与医学研究院）；Paris Saclay University（巴黎萨克雷大学）
从自然语言中识别医学实体是医学领域中普遍存在的问题，其应用范围从医学行为编码到公共卫生的电子健康数据的分析。然而，这是一项复杂的任务，通常需要人类专家的干预，从而使其扩展和耗时。人工智能的最新进展，特别是深度学习方法的兴起，使计算机能够对许多复杂问题做出有效的决策，其中值得注意的例子是神经序列模型及其在自然语言处理中的强大应用。然而，它们需要大量的数据来学习，这通常是它们的主要限制因素。然而，CépiDc存储了法国全国范围内的详尽死亡证明数据库，总计数百万个自然语言示例，并提供了机器学习从业者可用的相关人类编码医疗实体。本文从自然语言问题出发，研究了深度神经序列模型在医学实体识别中的应用。
2020-05-06 cs.CL cs.CY cs.LG
AutoMedic: An Automated Evaluation Framework for Clinical Conversational Agents with Medical Dataset Grounding
Yonsei University College of Medicine（延世大学医学院）；Yonsei Institute for Digital Health（延世大学数字健康研究所）；Yonsei University（延世大学）；Institute of Behavioral Sciences in Medicine（医学行为科学研究所）
AutoMedic是一种基于医学数据集的自动化评估框架，用于评估临床对话代理的多方面性能，包括准确性、效率、同理心和鲁棒性。
2025-12-11 cs.CL cs.LG cs.MA
A Unified Review of Deep Learning for Automated Medical Coding
Aalto University（阿尔托大学）；University of Helsinki（赫尔辛基大学）；Dalian Maritime University（大连海事大学）；KU Leuven（鲁汶大学）；University of Exeter（埃克塞特大学）；Institute for Molecular Medicine Finland (FIMM)（芬兰分子医学研究所）；Terveystalo Healthcare Services（Terveystalo医疗服务公司）；School of Health and Wellbeing, University of Glasgow（格拉斯哥大学健康与福祉学院）
该综述针对基于深度学习的自动医疗编码缺乏统一架构视角的问题，提出包含四大组件的统一框架以梳理现有模型，并介绍基准、应用及未来研究方向。
2024-05-10 cs.CL cs.IR
Automated Generation of Accurate \& Fluent Medical X-ray Reports
University of Alberta（阿尔伯塔大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
我们的论文重点是自动生成的医疗报告，从胸部X射线图像输入，一个关键的，但耗时的任务，放射科医生。与现有的倾向于生成人类可读报告的医疗报告生成工作不同，我们的目标是生成流畅且临床准确的医疗报告。这是通过我们的完全可区分和端到端的范例来实现的，该范例包含三个互补模块：以患者的胸部X射线图像和临床历史文档作为输入，我们的分类模块生成疾病相关主题的内部检查列表，称为丰富的疾病嵌入;然后将嵌入表示传递到我们基于transformer的生成器，生成医疗报告;同时，我们的生成器还产生了加权嵌入表示，并将其提供给我们的解释器，以确保与疾病相关的主题的一致性。我们的方法在常用的语言流畅性和临床准确性方面取得了令人满意的结果。此外，当额外的输入信息可用时，如临床文档和不同视图的额外扫描，可以持续观察到显著的性能提升。
2021-08-27 cs.CL
Clinical Text Generation through Leveraging Medical Concept and Relations
Seoul National University（首尔大学）
本研究以神经序列产生模式为基础，提出一种书写病人简短病史的临床文本的方法。作为一个概念的证明，我们已经证明，它可以在临床文本生成中使用医学概念嵌入是可行的。我们的模型基于Sequence-to-Sequence架构，并使用大量去识别的临床文本数据进行训练。定量结果表明，我们的概念嵌入方法减少了基线架构的困惑。此外，我们还讨论了由医生进行的人体评价的分析结果。
2019-10-02 cs.AI cs.CL
Automated Medical Report Generation for ECG Data: Bridging Medical Text and Signal Processing with Deep Learning
Zuse Institut Berlin（柏林Zuse研究所）；BIOTRONIK SE & Co KG（百多力公司）
本研究将深度学习驱动的图像描述生成技术应用于心电图数据，提出基于编码器-解码器的方法，利用医疗专业人员撰写的报告训练模型生成类临床医生解读，性能显著优于现有模型，源代码公开且具临床应用潜力。
2024-12-05 cs.AI cs.CL
Comparative Experimentation of Accuracy Metrics in Automated Medical Reporting: The Case of Otitis Consultations
Utrecht University（乌得勒支大学）；Verticai；NIVEL (Netherlands institute for health services research)（荷兰健康服务研究所）
本文针对Otitis问诊的AI生成医疗报告，对比了10种准确度指标，并引入复合准确度得分，发现ROUGE-L和Word Mover's Distance为首选指标，助力减轻医疗人员行政负担。
2024-01-08 cs.CL
Leveraging the Inherent Hierarchy of Vacancy Titles for Automated Job Ontology Expansion
TechWolf（泰克沃尔夫）
机器学习在在线招聘中发挥着越来越大的作用，为全球许多最大的就业平台提供智能配对和职位推荐。然而，正文很少足以完全理解一个招聘信息：通常情况下，大部分所需信息都浓缩在职位名称中。已经做出了一些有组织的努力，将职位名称映射到手工制作的知识库中，以提供这一信息，但这些仅覆盖了大约60%的在线空缺。我们引入了一种新的，纯粹的数据驱动的方法来检测新的职位。我们的方法在概念上是简单的，非常有效的和传统的基于NER的方法的竞争力。虽然我们的方法的独立应用并不优于微调的BERT模型，但它也可以作为预处理步骤应用，从而大大提高了几种架构的准确性。
2020-04-06 cs.CL cs.LG
Automated Generation of Custom MedDRA Queries Using SafeTerm Medical Map
ClinBAY Limited（ClinBAY有限公司）
SafeTerm系统通过多维向量空间和相似度计算，实现自动生成MedDRA查询，优化查询生成的精度与召回率。
2025-12-08 cs.CL
Explainable Automated Coding of Clinical Notes using Hierarchical Label-wise Attention Networks and Label Embedding Initialisation
University of Edinburgh（爱丁堡大学）；Health Data Research UK（英国健康数据研究所）；University College London（伦敦大学学院）
临床记录的诊断或程序编码旨在获得患者疾病相关信息的编码摘要。这种编码通常在医院中手动完成，但可能会自动化，以提高医疗编码的效率和准确性。最近关于自动医疗编码的深度学习的研究取得了令人鼓舞的成绩。然而，这些模型的可解释性通常很差，这使得它们不能自信地用于支持临床实践。另一个局限性是，这些模型大多假设标签之间的独立性，忽略了医疗代码之间的复杂相关性，这可能被用来提高性能。我们提出了一个分层标签式注意力网络（HLAN），旨在通过量化与每个标签相关的单词和句子的重要性（作为注意力权重）来解释模型。其次，我们建议使用标签嵌入（LE）初始化方法来增强主要的深度学习模型，该方法学习密集的连续向量表示，然后将表示注入模型中的最终层和标签注意力层。我们使用MIMIC-III出院摘要的三种设置评估了这些方法：完整代码，前50名代码和英国NHS COVID-19屏蔽代码。进行实验以将HLAN和LE初始化与最先进的基于神经网络的方法进行比较。HLAN在前50名代码预测中实现了最佳的微观水平AUC和$F_1$，并在NHS COVID-19屏蔽代码预测中获得了与其他模型相当的结果。通过突出每个标签最突出的单词和句子，HLAN与其降级的基线和基于CNN的模型相比，显示出更有意义和更全面的模型解释。LE初始化始终提升了用于自动化医疗编码的大多数深度学习模型。
2021-07-16 cs.CL cs.LG
Automated Coding of Under-Studied Medical Concept Domains: Linking Physical Activity Reports to the International Classification of Functioning, Disability, and Health
University of Pittsburgh（匹兹堡大学）；National Institutes of Health Clinical Center（美国国立卫生研究院临床中心）；The Ohio State University（俄亥俄州立大学）
将临床叙述与标准化词汇和编码系统联系起来是解锁医学文本中的信息以进行分析的关键组成部分。然而，许多领域的医学概念缺乏发达的术语，可以支持有效的编码的医学文本。我们提出了一个框架，用于开发自然语言处理（NLP）技术的自动化编码的研究类型的医疗信息，并证明其适用性通过物理移动功能的案例研究。行动能力是许多健康措施的组成部分，从急性期后护理和手术结果到慢性虚弱和残疾，并在国际功能、残疾和健康分类（ICF）中进行编码。然而，移动性和其他类型的功能活动在医学信息学中仍然研究不足，ICF和常用的医学术语都没有在实践中捕获功能状态术语。我们研究了两个数据驱动的范例，分类和候选人选择，使用物理治疗遇到的临床叙述数据集，将移动性的叙述性观察与标准化ICF代码联系起来。语言建模和词嵌入方面的最新进展被用作已建立的机器学习模型和一种新的深度学习方法的特征，在将移动活动报告与ICF代码联系起来方面实现了84%的宏观F-1评分。分类和候选人选择方法在未充分研究的领域中为自动编码提供了独特的优势，我们强调（i）小注释数据集的组合;（ii）感兴趣代码的专家定义;（iii）代表性文本语料库足以产生高性能的自动编码系统。这项研究对NLP工具在临床护理和研究中的各种专业应用的持续增长具有影响。
2021-03-10 cs.AI cs.CL
An Advanced NLP Framework for Automated Medical Diagnosis with DeBERTa and Dynamic Contextual Positional Gating
K.N. Toosi University of Technology（科努西理工大学）；Islamic Azad University（伊斯兰阿扎德大学）；Shahed University（沙希德大学）
本文提出整合数据增强、特征提取与分类技术的NLP框架，通过回译生成复述数据集，结合DeBERTa与DCPG捕捉细粒度关系，用ABFNN分类，在医疗文本诊断中取得99.78%准确率等优异结果，优于现有方法。
2025-02-11 cs.AI cs.CL
Leveraging Dependency Forest for Neural Medical Relation Extraction
University of Rochester（罗切斯特大学）；Tencent AI Lab（腾讯人工智能实验室）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究院）；IBM T.J. Watson Research（IBM托马斯·J·沃森研究中心）；Amazon AWS（亚马逊云科技）；Xiamen University（厦门大学）
医学关系抽取发现文本（例如研究文章）中实体提及之间的关系。对于这个任务，依赖语法被认为是一个重要的功能来源。然而，在医疗领域，1-best解析树遭受相对较低的准确性，降低了它们的有用性。我们研究了一种方法来缓解这个问题，利用依赖森林。森林包含许多可能的决策，因此与1-最佳输出相比，具有更高的召回率，但噪声更多。一个图神经网络被用来表示森林，自动区分有用的句法信息从分析噪音。两个生物医学基准的结果表明，我们的方法优于标准的基于树的方法，在文献中的最先进的结果。
2019-12-16 cs.CL
Leveraging Medical Sentiment to Understand Patients Health on Social Media
Indian Institute of Technology Patna（巴特那印度理工学院）；Wright State University（莱特州立大学）
近年来，互联网用户的空前增长导致了大量以社交媒体文本形式出现的非结构化信息。这一人群中有很大比例的人积极参与卫生社交网络，分享与卫生有关的信息。在本文中，我们通过分析用户的情绪和情感w.r.t他们的医疗条件来解决一个重要而及时的话题。为此，我们研究了流行医学论坛（Patient.info，dailystrength.org）上的用户，他们在那里发布了重要的主题，如哮喘，过敏，抑郁和焦虑。首先，我们通过抓取数据为任务提供了一个基准设置，并进一步定义了情绪特定的细粒度医疗条件（已死亡，存在，恶化和其他）。我们提出了一种有效的架构，使用卷积神经网络（CNN）作为数据驱动的特征提取器和支持向量机（SVM）作为分类器。我们进一步开发了一个情感功能，这是敏感的医疗背景。在这里，我们表明，使用医学情感特征以及从CNN提取的特征提高了模型性能。除了我们的数据集，我们还评估了我们的方法在基准“CLEF电子健康2014”语料库，并表明我们的模型优于国家的最先进的技术。
2018-07-30 cs.CL
Leveraging Summary Guidance on Medical Report Summarization
Hainan University（海南大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
本研究提出了三个去识别的大型医学文本数据集，名为DISCHARGE，ECHO和RADIOLOGY，分别包含来自MIMIC-III的50 K，16 K和378 K对报告和摘要。我们实现了令人信服的基线的自动抽象摘要建议的数据集与预训练的编码器-解码器语言模型，包括BERT 2BERT，T5-大和BART。此外，基于BART模型，我们利用采样摘要从训练集作为先验知识指导，编码器编码额外的上下文表示的指导和增强解码器中的解码表示。实验结果证实了所提出的方法的ROUGE分数和BERTScore的改善，优于更大的模型T5-large。
2023-02-08 cs.AI cs.CL
Leveraging Online Data to Enhance Medical Knowledge in a Small Persian Language Model
Faculty of Computer Engineering University of Isfahan（计算机工程系 岛岛大学）；School of Medicine Isfahan University of Medical Sciences（医学院 岛岛医学科学大学）
针对波斯语等低资源语言小型模型在医疗领域的不足，本研究首次构建含2万医患问答对和5.4亿token医学语料的数据集，通过参数高效微调增强aya-expanse-8b模型，使其通过伊朗基础医学入学考试且波斯语MMLU准确率提升2.67%，为相关应用提供新方案。
2025-11-16 cs.AI cs.CL
Finding Hidden Relationships Between Medical Concepts by Leveraging Metamap and Text Mining Techniques
Department of Computer Science, North Dakota State University（北达科塔州立大学计算机科学系）；Department of Computer Science and Engineering, Daffodil International University（达芙妮国际大学计算机科学与工程系）；Department of Computer Science and Engineering, University of North Texas（德克萨斯大学诺丁汉分校计算机科学与工程系）
提出一种结合MetaMap和文本挖掘的新模型，通过构建综合索引结构发现医学概念间的跨文档隐藏关联，实验验证了其有效性。
2026-04-30 cs.CL
Automated Metrics for Medical Multi-Document Summarization Disagree with Human Evaluations
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Melbourne（墨尔本大学）；Northeastern University（东北大学）
研究医学多文档摘要自动评估指标与人工评估的不一致，引入人工评估数据集分析指标相关性，发现自动指标与人工排名常呈反相关。
2023-05-23 cs.CL
Citrus: Leveraging Expert Cognitive Pathways in a Medical Language Model for Advanced Medical Decision Support
JD Health International Inc.（京东健康国际公司）
Citrus通过模拟专家认知路径训练医学语言模型，利用合成推理数据提升疾病诊断决策支持，在MedQA基准上优于同类模型。
2025-02-26 cs.AI cs.CL
Leveraging Medical Visual Question Answering with Supporting Facts
IBM Research AI, Almaden Research Center（IBM研究AI，阿尔马登研究中心）
在这篇工作笔记论文中，我们描述了IBM Research AI（Almaden）团队参与ImageCLEF 2019 VQA-Med竞赛的情况。该挑战包括四个基于放射学图像的问答任务。成像方式、器官和疾病类型的多样性与小的不平衡训练集相结合，使其成为一个高度复杂的问题。为了克服这些困难，我们实现了一个模块化的流水线架构，利用迁移学习和多任务学习。我们的研究结果导致了一种名为支持事实网络（SFN）的新模型的发展。SFN背后的主要思想是交叉利用来自上游任务的信息，以提高下游任务的准确性。这种方法显著提高了验证集的得分（F-1得分提高了18分）。最后，我们提交了四个运行的竞争，并排名第七。
2019-05-28 cs.AI cs.CL cs.CV
An Investigation of Evaluation Metrics for Automated Medical Note Generation
Microsoft Health AI（微软健康人工智能部门）
本文针对自动临床记录生成评估难题，提出任务特定指标并与多种SOTA指标比较，基于七个专家标注数据集发现一个稳定指标子集与人工判断相关性最高。
2023-05-27 cs.AI cs.CL cs.LG
Leveraging Automated Unit Tests for Unsupervised Code Translation
Facebook AI Research（脸书人工智能研究院）；Paris-Dauphine University（巴黎第九大学）；University College London（伦敦大学学院）；Facebook（脸书）
由于程序设计语言几乎没有并行数据，无监督方法非常适合源代码翻译。然而，大多数无监督机器翻译方法依赖于回译，这是在自然语言翻译的背景下开发的一种方法，并且本质上涉及对噪声输入的训练。不幸的是，源代码对微小的变化非常敏感;单个标记可能导致编译失败或错误的程序，这与自然语言不同，在自然语言中，微小的不准确可能不会改变句子的含义。为了解决这个问题，我们建议利用一个自动化的单元测试系统来过滤掉无效的翻译，从而创建一个完全测试的并行语料库。我们发现，使用此过滤数据集对无监督模型进行微调，可以显著降低如此生成的翻译中的噪声，对于所研究的所有语言对，其表现都优于最先进的技术。特别是，对于Java $\to$ Python和Python $\to$ C++，我们的性能分别比以前最好的方法高出16%和24%以上，出错率降低了35%以上。
2022-02-16 cs.CL cs.LG cs.SE
Multitask Balanced and Recalibrated Network for Medical Code Prediction
Aalto University（阿尔托大学）；Nanyang Technological University（南洋理工大学）
人类编码器将标准化的医疗代码分配给患者住院期间生成的临床文档，这容易出错且劳动密集。已经使用诸如深度神经网络的机器学习方法开发了自动化医疗编码方法。然而，由于不平衡的类问题，复杂的代码关联和冗长文档中的噪声，自动化医疗编码仍然具有挑战性。为了解决这些问题，我们提出了一种新的神经网络称为多任务平衡和重新校准神经网络。值得注意的是，多任务学习方案共享不同代码分支之间的关系知识以捕获代码关联。通过级联卷积块来开发重新校准的聚合模块，以提取高级语义特征，从而减轻文档中噪声的影响。此外，重新校准模块的级联结构可以从冗长的笔记中受益。为了解决类别不平衡的问题，我们部署了焦点损失来重新分配低频和高频医学代码的注意力。实验结果表明，我们提出的模型在现实世界的临床数据集MIMIC-III上优于竞争基线。
2022-09-06 cs.CL
Leveraging Open Data and Task Augmentation to Automated Behavioral Coding of Psychotherapy Conversations in Low-Resource Scenarios
University of Southern California（南加州大学）；Apple Inc.（苹果公司）；University of Utah（犹他大学）；University of Washington（华盛顿大学）
在心理治疗互动中，通过人工观察和注释，将参与者在对话期间的交流行为编入法典，从而评估会话的质量。开发自动行为编码的计算方法可以减轻人类编码人员的负担，并促进对干预措施的客观评估。然而，在现实世界中，实现这样的算法与数据稀疏性挑战相关联，因为隐私问题导致有限的可用域内数据。在本文中，我们利用一个公开的基于对话的数据集，并通过元学习执行中间语言模型训练，将知识转移到低资源的行为编码任务。我们引入了一个任务增强的方法来产生大量的“类比任务”-任务类似的目标之一-并证明，所提出的框架预测目标行为比所有其他基线模型更准确。
2022-10-25 cs.CL
Towards Dog Bark Decoding: Leveraging Human Speech Processing for Automated Bark Classification
University of Michigan（密歇根大学）；National Institute of Astrophysics, Optics and Electronics (INAOE)（国家天体物理、光学和电子研究所（INAOE））
本文提出利用在人类语音上预训练的自监督语音表示模型进行狗吠分类，在狗识别、品种、性别和上下文四个任务上显著优于基线方法。
2024-04-29 cs.CL
Leveraging cross-platform data to improve automated hate speech detection
仇恨言论在网上越来越普遍，其负面后果包括偏见、极端主义甚至线下仇恨犯罪的增加。自动检测网络仇恨言论可以帮助我们更好地了解这些影响。然而，虽然该领域最近通过自然语言处理的进步取得了进展，但挑战仍然存在。特别是，大多数现有的仇恨言论检测方法都集中在孤立的单一社交媒体平台上。这限制了这些模型的使用及其有效性，因为语言的性质因平台而异。在这里，我们提出了一种新的跨平台方法来检测仇恨言论，该方法利用来自不同平台的多个数据集和分类模型，并训练一个超级学习者，该超级学习者可以结合现有的和新的训练数据来提高检测和增加模型的适用性。我们展示了这种方法如何优于现有的模型，并在测试来自新的社交媒体平台的消息时取得了良好的性能，这些消息未包含在原始训练数据中。
2021-02-09 cs.CL
Leveraging Intra-User and Inter-User Representation Learning for Automated Hate Speech Detection
University of California, Santa Barbara（加州大学圣巴巴拉分校）
仇恨语音检测是自然语言处理（NLP）中的一个关键而又具有挑战性的问题。尽管存在许多致力于开发NLP仇恨言论检测方法的研究，但准确性仍然很差。核心问题是，社交媒体帖子简短而嘈杂，大多数现有的仇恨言论检测解决方案将每个帖子作为孤立的输入实例，这可能会产生高误报率和误报率。在本文中，我们从根本上提高了自动仇恨言论检测，提出了一种新的模型，利用内部用户和用户间的表示学习强大的仇恨言论检测在Twitter上。除了目标推文，我们收集和分析用户的历史帖子，以模拟用户内推文表示。为了抑制单个推文中的噪声，我们还使用增强的用户间表示学习技术对所有其他用户发布的类似推文进行建模。实验表明，利用这两种表示可以将强双向LSTM基线模型的f分数显著提高10.1%。
2018-09-14 cs.AI cs.CL
BERT-XML: Large Scale Automated ICD Coding Using BERT Pretraining
NYU Langone Health（纽约大学朗格尼医学中心）
临床相互作用最初记录并记录在自由文本医学笔记中。ICD编码是对与患者就诊相关的所有诊断、症状和程序进行分类和编码的任务。这个过程通常是手动的，对医院来说非常耗时和昂贵。在本文中，我们提出了一个机器学习模型，BERT-XML，大规模的自动ICD编码从EHR笔记，利用最近开发的无监督预训练，已达到各种NLP任务的最先进的性能。我们在EHR笔记上从头开始训练一个BERT模型，学习更适合EHR任务的词汇，从而胜过现成的模型。我们适应的BERT架构的ICD编码与多标签注意。虽然其他工作主要集中在小型公共医疗数据集上，但我们已经使用数百万个EHR笔记来预测数千个独特的ICD代码，从而产生了第一个大规模的ICD-10分类模型。
2020-05-26 cs.CL cs.IR cs.LG
Large-scale Generative Modeling to Improve Automated Veterinary Disease Coding
Tsinghua University（清华大学）；Stanford University（斯坦福大学）
监督学习受到标记数据的数量和质量的限制。在病历标注领域，不同医院的书写风格差异很大。从一家医院学到的知识可能无法很好地转移到另一家医院。这个问题在兽医领域被放大，因为兽医诊所很少将医疗代码应用于他们的记录。我们提出并训练了自动疾病编码中的第一个大规模生成式建模算法。我们证明了生成式建模可以学习判别特征时，额外的监督微调训练。我们系统地消融和评估生成建模对最终系统性能的影响。我们比较了我们的模型的性能与几个基线在一个具有挑战性的跨医院设置与实质性的域转移。我们的表现远远超过竞争对手的基准。此外，我们还解释了我们的模型所学到的东西。
2018-11-29 cs.CL
AutoMeTS: The Autocomplete for Medical Text Simplification
University of Arizona（亚利桑那大学）；Pomona College（波莫纳学院）
文本简化（TS）的目标是将困难的文本转换为更容易理解和更广泛地为各种读者所接受的版本。在某些领域，如医疗保健，不能使用全自动化的方法，因为信息必须准确保存。相反，可以使用半自动化方法来帮助人类作家更快地简化文本，并提高质量。在本文中，我们研究了自动完成在医学领域的文本简化的应用。我们引入了一个新的并行医疗数据集，包括对齐的英文维基百科与简单的英文维基百科句子，并检查预训练的神经语言模型（PNLM）在这个数据集上的应用。我们比较了四个PNLM（BERT，RoBERTa，XLNet和GPT-2），并展示了如何将要简化的句子的附加上下文合并以获得更好的结果（比最佳个体模型绝对提高6.17%）。我们还引入了一个集成模型，它结合了四个PNLM，比最好的单个模型高出2.1%，从而使整体单词预测准确率达到64.52%。
2020-10-20 cs.CL
Automated Scoring of Clinical Patient Notes using Advanced NLP and Pseudo Labeling
Northern Arizona University（北亚利桑那大学）；Boston University（波士顿大学）；Trine University（三一大学）；Arizona State University（亚利桑那州立大学）
本文提出结合 MLM 预训练与伪标签的 NLP 方法，用于临床患者记录自动评分，在保持性能的同时减少训练时间并提升评估效果。
2024-01-18 cs.CL
Unsupervised Neural Network for Automated Classification of Surgical Urgency Levels in Medical Transcriptions
Binghamton University（宾汉姆顿大学）
本文提出一种无监督神经网络方法，通过BioClinicalBERT生成嵌入并聚类医疗转录文本，实现手术紧急程度的三类分类，结合专家验证和BiLSTM模型提升分类准确性和泛化能力。
2026-03-16 cs.AI cs.CL
Advancing Automated Speaking Assessment Leveraging Multifaceted Relevance and Grammar Information
Department of Computer Science and Information Engineering（计算机科学与信息工程系）；Department of Computer Science（计算机科学系）
本文提出混合评分模型，通过多方面相关性模块整合图像与范例信息，并利用语法纠错提取细粒度错误特征，显著提升自动化口语评估的内容相关性与整体性能。
2026-09-15 cs.CL cs.SD eess.AS
