Modelling Temporal Document Sequences for Clinical ICD Coding
Imperial College London（伦敦帝国理工学院）；Transformative AI（变革性人工智能公司）
过去关于ICD编码问题的研究主要集中在基于出院小结预测临床编码。这只涵盖了每次住院期间生成的一小部分笔记，并通过分析所有可用的临床笔记来提高性能。我们提出了一个分层的Transformer架构，使用文本在整个序列的临床笔记在每个住院ICD编码，并结合嵌入文本元数据，如他们的位置，时间和类型的说明。虽然使用所有临床笔记会大大增加数据量，但超收敛可以用于降低训练成本。我们在MIMIC-III数据集上对模型进行了评估。当仅使用出院总结作为输入时，我们的模型超过了现有的最先进技术，并且当使用所有临床记录作为输入时，实现了进一步的性能改进。
2023-02-24 cs.AI cs.CL cs.LG
An Automatic ICD Coding Network Using Partition-Based Label Attention
Korea Advanced Institute of Science & Technology (KAIST)（韩国科学技术院）；NAVER CLOVA AI Lab（NAVER CLOVA人工智能实验室）
国际疾病分类（ICD）是一个全球性的医学分类系统，它提供了适合患者临床记录的诊断和程序的唯一代码。然而，由人类编码器进行的手动编码是昂贵且容易出错的。自动ICD编码有可能解决这个问题。随着深度学习技术的进步，正在开发许多基于深度学习的自动ICD编码方法。特别地，标签注意力机制对于多标签分类是有效的，即，ICD编码它有效地从输入的临床记录中获得标签特定的表示。然而，由于现有的标签注意力机制一次在整个文本中找到关键标记，因此分散在每个段落中的重要信息可能从注意力图中遗漏。为了克服这一点，我们提出了一种新的神经网络架构组成的两个部分的编码器和两种标签注意层。输入的文本在前一个编码器中进行分段编码，并由跟随器进行整合。然后，传统的和基于分区的标签注意力机制提取重要的全局和局部特征表示。我们的分类器有效地集成了它们，以提高ICD编码性能。我们验证了所提出的方法使用MIMIC-III，ICD编码的基准数据集。我们的研究结果表明，我们的网络提高了基于分区的机制的ICD编码性能。
2022-11-15 cs.AI cs.IR cs.LG
A Label Attention Model for ICD Coding from Clinical Text
Australian e-Health Research Centre, CSIRO（澳大利亚电子健康研究中心，澳大利亚联邦科学与工业研究组织）；VinAI Research（VinAI研究院）
ICD编码是将国际疾病分类诊断代码分配给卫生专业人员（如临床医生）记录的临床/医疗记录的过程。该过程需要大量的人力资源，因此成本高且容易出错。为了处理该问题，机器学习已经被用于自动ICD编码。以前的最先进的模型是基于卷积神经网络，使用单个/几个固定的窗口大小。然而，临床文本中与ICD代码相关的文本片段之间的长度和相互依赖性差异很大，导致难以确定最佳窗口大小。在本文中，我们提出了一个新的标签注意力模型的自动ICD编码，它可以处理的ICD代码相关的文本片段的不同长度和相互依赖性。此外，由于大多数ICD代码不经常使用，导致数据极不平衡的问题，我们还提出了一个分层的联合学习机制，扩展我们的标签注意力模型来处理这个问题，使用代码之间的层次关系。我们的标签注意力模型在三个基准MIMIC数据集上取得了新的最先进的结果，联合学习机制有助于提高非频繁代码的性能。
2020-07-13 cs.CL cs.LG
ShifaMind: A Multiplicative Concept Bottleneck for Interpretable ICD-10 Coding
College of Information Science, University of Arizona（亚利桑那大学信息科学学院）
本文提出ShifaMind，一种基于乘法概念瓶颈的架构，通过改变瓶颈形式而非宽度，提升ICD-10编码的准确性和可解释性。
2026-05-08 cs.CL cs.LG
Understanding the Limits of Agentic ICD Coding
Nanyang Technological University（南洋理工大学）；ASUS Intelligent Cloud Services (AICS)（华硕智能云服务）
本研究评估神经、工作流和智能体系统在稀有度分层的MIMIC-IV数据上的ICD-10-CM编码性能，发现神经分类器在稀有代码上存在0.43微F1差距，工作流系统在损伤代码上近乎失败，而工具增强的智能体配置可恢复0.34微F1，但无单一系统全面占优。
2026-09-15 cs.AI cs.CL cs.LG
Generalized Zero-shot ICD Coding
Cornell University（康奈尔大学）；Petuum Inc（Petuum公司）
国际疾病分类（ICD）是诊断的分类代码列表。自动ICD编码的需求很高，因为手动编码可能是劳动密集型的，而且容易出错。这是一个具有极长尾标签分布的多标签文本分类任务，使得很难同时对频繁代码和zero-shot代码进行细粒度分类。在本文中，我们提出了一个潜在的特征生成框架，广义zero-shot ICD编码，我们的目标是提高预测的代码，没有标记的数据，而不损害性能看到的代码。我们的框架生成伪功能的ICD代码描述的条件，并利用ICD代码的层次结构。为了保证生成的特征和真实特征之间的语义一致性，我们在输入文档中重建与条件ICD代码相关的关键字。据我们所知，这项工作代表了第一个提出了一个对抗生成模型的广义零样本学习多标签文本分类。大量的实验证明了我们的方法的有效性。在公开的MIMIC-III数据集上，我们的方法将zero-shot代码的F1分数从接近0提高到20.91%，并将AUC分数从以前的最先进水平提高了3%（绝对提高）。我们还表明，该框架提高了Few-Shot代码的性能。
2019-09-28 cs.CL cs.LG
Description-based Label Attention Classifier for Explainable ICD-9 Classification
TU Munich（慕尼黑工业大学）；LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）；TU Wien（维也纳工业大学）
ICD-9编码是一项相关的临床计费任务，其中包含患者诊断和治疗信息的非结构化文本使用多个ICD-9代码进行注释。自动ICD-9编码是一个活跃的研究领域，其中基于CNN和RNN的模型架构代表了最先进的方法。在这项工作中，我们提出了一个基于警告的标签注意力分类器，以提高模型的可解释性时，处理嘈杂的文本，如临床笔记。我们在MIMIC-III-50数据集上使用不同的基于transformer的编码器来评估我们提出的方法。我们的方法实现了强大的结果与增强的可解释性。
2021-09-24 cs.IR cs.LG
Explainable Automated Coding of Clinical Notes using Hierarchical Label-wise Attention Networks and Label Embedding Initialisation
University of Edinburgh（爱丁堡大学）；Health Data Research UK（英国健康数据研究所）；University College London（伦敦大学学院）
临床记录的诊断或程序编码旨在获得患者疾病相关信息的编码摘要。这种编码通常在医院中手动完成，但可能会自动化，以提高医疗编码的效率和准确性。最近关于自动医疗编码的深度学习的研究取得了令人鼓舞的成绩。然而，这些模型的可解释性通常很差，这使得它们不能自信地用于支持临床实践。另一个局限性是，这些模型大多假设标签之间的独立性，忽略了医疗代码之间的复杂相关性，这可能被用来提高性能。我们提出了一个分层标签式注意力网络（HLAN），旨在通过量化与每个标签相关的单词和句子的重要性（作为注意力权重）来解释模型。其次，我们建议使用标签嵌入（LE）初始化方法来增强主要的深度学习模型，该方法学习密集的连续向量表示，然后将表示注入模型中的最终层和标签注意力层。我们使用MIMIC-III出院摘要的三种设置评估了这些方法：完整代码，前50名代码和英国NHS COVID-19屏蔽代码。进行实验以将HLAN和LE初始化与最先进的基于神经网络的方法进行比较。HLAN在前50名代码预测中实现了最佳的微观水平AUC和$F_1$，并在NHS COVID-19屏蔽代码预测中获得了与其他模型相当的结果。通过突出每个标签最突出的单词和句子，HLAN与其降级的基线和基于CNN的模型相比，显示出更有意义和更全面的模型解释。LE初始化始终提升了用于自动化医疗编码的大多数深度学习模型。
2021-07-16 cs.CL cs.LG
TransICD: Transformer Based Code-wise Attention Model for Explainable ICD Coding
The Ohio State University（俄亥俄州立大学）
国际疾病分类（ICD）编码程序是指在医疗记录上标注诊断代码，已被证明是有效的，对医疗部门的计费系统至关重要。目前，ICD代码是手动分配给临床记录的，这可能会导致许多错误。此外，培训熟练的程序员也需要时间和人力资源。因此，自动化ICD代码确定过程是一项重要任务。随着人工智能理论和计算硬件的发展，机器学习方法已经成为一种合适的解决方案来自动化这个过程。在这个项目中，我们应用基于transformer的架构来捕获文档的令牌之间的相互依赖性，然后使用代码方面的注意力机制来学习整个文档的特定于代码的表示。最后，它们被馈送到单独的密集层，用于相应的代码预测。此外，为了处理临床数据集的代码频率的不平衡，我们采用标签分布感知边缘（LDAM）损失函数。MIMIC-III数据集上的实验结果表明，我们提出的模型明显优于其他基线。特别是，我们的最佳设置实现了0.923的微AUC得分，而双向递归神经网络的得分为0.868。我们还表明，通过使用代码明智的注意力机制，该模型可以提供更多的见解，其预测，因此它可以支持临床医生作出可靠的决定。我们的代码可在线获取（https：//github.com/biplob1ly/TransICD）
2021-03-28 cs.CL cs.LG
Reinforcement Learning for Out-of-Distribution Reasoning in LLMs: An Empirical Study on Diagnosis-Related Group Coding
School of Computing and Data Science, UIUC（计算与数据科学学院，UIUC）；Mayo Clinic Health System（梅奥诊所健康系统）；Mayo Clinic Rochester（梅奥诊所罗切斯特分部）；Mayo Clinic Phoenix（梅奥诊所凤凰城分部）；Carle Illinois College of Medicine, UIUC（Carle伊利诺伊医学院，UIUC）
本研究提出DRG-Sapphire，利用强化学习（GRPO）从临床笔记自动进行DRG编码，在MIMIC-IV上达到最先进精度，并发现RL性能受限于基础模型知识，扩展SFT比单独扩展RL更有效。
2025-10-14 cs.AI cs.LG
AutoMap: Automatic Medical Code Mapping for Clinical Prediction Model Deployment
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Amplitude（Amplitude公司）；IQVIA（艾昆纬）；Northwestern University（西北大学）
给定一个基于源站点数据训练的深度学习模型，如何将模型自动部署到目标医院？如何适应不同医院的异构医疗编码系统？标准方法依赖于现有的医疗代码映射工具，其具有显著的实际局限性。为了解决这个问题，我们提出了AutoMap，以粗到细的方式自动映射不同EHR系统之间的医疗代码：（1）本体级对齐：我们利用本体结构来学习源和目标医疗编码系统之间的粗对齐;（2）代码级细化：我们使用师生框架在细粒度代码级细化下游任务的对齐。我们使用几个深度学习模型和两个真实世界的EHR数据集：eICU和MIMIC-III来评估AutoMap。结果表明，AutoMap在死亡率预测方面实现了高达3.9%（AUC-ROC）和8.7%（AUC-PR）的相对改善，在住院时间估计方面实现了高达4.7%（AUC-ROC）和3.7%（F1）的相对改善。此外，我们表明，AutoMap可以提供跨编码系统的准确映射。最后，我们证明了AutoMap可以适应两个具有挑战性的场景：（1）完全不同的编码系统之间的映射和（2）完全不同的医院之间的映射。
2022-03-04 cs.AI cs.LG
Harmonising the Clinical Melody: Tuning Large Language Models for Hospital Course Summarisation in Clinical Coding
Centre for Big Data Research in Health, The University of New South Wales（新南威尔士大学健康大数据研究中心）
本研究采用量化低秩适应微调 Llama 3 等预训练模型进行住院病程摘要，构建MIMIC III临床数据集，证实领域微调显著提升摘要性能，具临床编码辅助潜力。
2024-09-24 cs.CL cs.LG
Natural language processing of MIMIC-III clinical notes for identifying diagnosis and procedures with neural networks
Indiana University-Purdue University Indianapolis（印第安纳大学-普渡大学印第安纳波利斯分校）；Emory University（埃默里大学）
在医疗记录中编码诊断和程序是医疗保健行业的一个关键过程，包括创建准确的账单，从付款人那里获得报销，以及创建标准化的患者护理记录。在美国，2012年与账单和保险相关的活动花费约4710亿美元，占美国所有医院支出的25%左右。在本文中，我们报告了一个自然语言处理模型的性能，该模型可以将临床笔记映射到医疗代码，并从当前病史、入院时症状等非结构化条目中预测最终诊断。以前的研究表明，与传统的机器学习模型相比，深度学习模型在这种映射方面表现更好。因此，我们采用了最先进的深度学习方法，ULMFiT在最大的急诊科临床笔记数据集MIMIC III上，该数据集有120万个临床笔记，可用于选择前10名和前50名诊断和手术代码。我们的模型能够以80.3%和80.5%的准确率预测前10名诊断和程序，而前50名ICD-9诊断和程序代码的预测准确率为70.7%和63.9%。从非结构化临床笔记预测诊断和程序有利于人类编码器节省时间，消除错误并最大限度地降低成本。从我们目前的模型中获得了有希望的分数，下一步将是将其部署在小规模的现实世界场景中，并将其与人类程序员作为黄金标准进行比较。我们相信，对这种方法的进一步研究可以创建高度准确的预测，从而简化临床环境中的工作流程。
2019-12-28 cs.CL cs.LG
List Autoencoder: Towards Deep Learning Based Reliable Transmission Over Noisy Channels
Samsung Semiconductor Inc（三星半导体公司）
在本文中，我们提出了列表自动编码器（listAE）模仿经典编码理论中使用的列表解码。使用listAE，解码器网络输出解码的消息字候选的列表。为了训练列表AE，假设在解码器的输出处有一个精灵可用。提出了一种特殊的损失函数来优化遗传算法列表解码的性能。listAE是一个通用框架，可以与任何AE架构一起使用。我们提出了一个特定的架构，称为增量冗余AE（IR-AE），它解码接收到的字的一个序列的组件代码与非递增率。然后，使用IR-AE和Turbo-AE对listAE进行训练和评估。最后，我们使用循环冗余校验（CRC）码来取代解码器输出端的精灵，得到一个CRC辅助（CA）列表解码器。我们的仿真结果表明，在低块出错率范围内，CA列表解码下的IR-AE比Turbo-AE和极化码表现出有意义的编码增益。
2022-08-03 cs.IT cs.LG math.IT
An Explainable CNN Approach for Medical Codes Prediction from Clinical Text
SWJTU（西南交通大学）
方法：我们开发了基于CNN的方法，用于基于重症监护病房（ICU）住院患者的临床文本进行自动ICD编码。我们提出了浅层和广泛注意力卷积机制（SWAM），它允许我们的模型学习每个标签的局部和低级特征。我们模型设计背后的关键思想是在与每个代码相关的临床文本中寻找信息片段的存在，并且我们推断“信息片段”和卷积滤波器之间存在对应关系。结果：我们在MIMIC-III上评估了我们的方法，MIMIC-III是一个开放获取的ICU病历数据集。我们的方法在MIMIC-III数据集上的前50个医疗代码预测上大大优于以前的结果。我们将这种改进归功于SWAM，通过SWAM，宽架构使模型能够更广泛地学习不同代码的独特功能，并通过消融实验证明了这一点。此外，我们对不同代码之间的性能不平衡进行了人工分析，并初步总结了决定特定代码学习难度的特征。结论：我们提出了SWAM，一种用于多标签文档分类的可解释的CNN方法，该方法采用宽卷积层来学习每个标签的局部和低级特征，在ICD-9代码预测任务上比以前的指标有了很大的改进，同时为其内部机制提供了令人满意的解释。
2021-01-14 cs.CL cs.LG
Classifying Unstructured Clinical Notes via Automatic Weak Supervision
Carnegie Mellon University（卡内基梅隆大学）
医疗保健提供者通常记录向每个患者提供的临床护理的详细说明，用于临床，研究和计费目的。由于这些叙述的非结构化性质，提供者雇用专门的工作人员使用国际疾病分类（ICD）编码系统为患者的诊断分配诊断代码。这种手动过程不仅耗时，而且成本高且容易出错。先前的工作证明了机器学习（ML）方法在自动化这一过程中的潜在效用，但它依赖于大量手动标记的数据来训练模型。此外，诊断编码系统随着时间的推移而发展，这使得传统的监督学习策略无法推广到局部应用之外。在这项工作中，我们引入了一个通用的弱监督文本分类框架，该框架仅从类别标签描述中学习，而不需要使用任何人类标记的文档。它利用存储在预训练的语言模型和数据编程框架中的语言领域知识为各个文本分配代码标签。我们证明了我们的方法的有效性和灵活性，通过比较它的国家的最先进的弱文本分类器在四个现实世界的文本分类数据集，除了分配ICD代码的医疗记录在公开的MIMIC-III数据库。
2022-08-02 cs.CL cs.LG
Read, Attend, and Code: Pushing the Limits of Medical Codes Prediction from Clinical Notes by Machines
AKASA（AKASA公司）
从临床笔记中预测医疗代码对于当前医疗系统中的每个医疗保健提供组织来说都是实际的和必要的需求。自动化注释将节省当今人类编码人员花费的大量时间和过多的精力。然而，最大的挑战是从非结构化的自由文本临床笔记中直接识别出数千个高维代码中的适当医疗代码。在过去的三年里，卷积神经网络（CNN）和长短期记忆（LTSM）网络在解决MIMIC-III全标签住院患者临床记录数据集的最具挑战性的基准方面取得了巨大的进步。这一进展提出了一个基本问题，即自动化机器学习（ML）系统与人类编码员的工作性能有多远。我们评估了人类程序员在相同子采样测试集上的表现基线。我们还提出了我们的读，参加，和代码（RAC）模型学习的医疗代码分配映射。通过将卷积嵌入与自我注意力和代码标题引导注意力模块相连接，结合基于句子置换的数据增强和随机权重平均训练，RAC建立了一个新的最新技术水平（SOTA），比当前最好的Macro-F1高出18.7%，并超过了人类水平的编码基线。这一新的里程碑标志着机器在完全自主医疗编码（AMC）方面迈出了有意义的一步，达到了与人类编码人员在医疗代码预测方面的性能相当的水平。
2021-07-10 cs.CL cs.LG
Generating Clinically Realistic EHR Data via a Hierarchy- and Semantics-Guided Transformer
University of Queensland（昆士兰大学）
本文提出 HiSGT 框架，融合临床代码层次图嵌入与 ClinicalBERT 语义嵌入以生成高保真 EHR，并在 MIMIC-III/IV 上验证其统计一致性和下游任务效用。
2025-07-25 cs.AI cs.LG
