Retrieval augmented text-to-SQL generation for epidemiological question answering using electronic health records
Bayer AG（拜耳公司）
本文提出结合医学编码与 RAG 的端到端 text-to-SQL 方法，用于基于 EHR 和理赔数据回答流行病学问题，并在真实行业场景中验证其优于简单提示。
2024-05-16 cs.CL
Benchmarking Modern Named Entity Recognition Techniques for Free-text Health Record De-identification
Brown University（布朗大学）
电子健康记录（EHR）已成为美国医疗数据保存的主要形式。联邦法律限制共享任何包含受保护健康信息（PHI）的EHR数据。去识别，即识别和删除所有PHI的过程，对于使EHR数据公开用于科学研究至关重要。该项目探讨了几种基于深度学习的命名实体识别（NER）方法，以确定哪种方法在去识别任务上表现更好。我们在i2 b2训练数据集上训练和测试了我们的模型，并使用从当地医院收集的EHR数据对其性能进行了定性评估。我们发现1）BiLSTM-CRF代表了性能最好的编码器/解码器组合，2）字符嵌入和CRF倾向于以召回为代价提高精度，3）单独的Transformers作为上下文编码器表现不佳。未来的工作集中在结构化的医疗文本可能会提高提取的语义和句法信息的EHR去识别的目的。
2021-03-25 cs.CL
Unsupervised Annotation of Phenotypic Abnormalities via Semantic Latent Representations on Electronic Health Records
Data Science Institute, Imperial College London（帝国理工学院数据科学研究所）
提取自然包含在电子健康记录（EHR）中的表型信息已被发现在各种临床信息学应用（如疾病诊断）中是有用的。然而，由于描述不精确，缺乏黄金标准和对效率的需求，在数百万EHR叙述中注释表型异常仍然具有挑战性。在这项工作中，我们提出了一种新的无监督深度学习框架，通过语义潜在表示来注释EHR的表型异常。该框架利用人类表型本体（HPO），这是一个表型异常的知识库，标准化的注释结果。在MIMIC-III数据集的52，722个EHR上进行了实验。定量和定性分析表明，该框架实现了最先进的注释性能和计算效率相比，其他方法。
2019-11-10 cs.CL
Natural Language Processing to Detect Cognitive Concerns in Electronic Health Records Using Deep Learning
Massachusetts General Hospital（麻省总医院）
痴呆症在社区中认识不足，医疗保健专业人员诊断不足，索赔数据编码不足。然而，关于认知功能障碍的信息通常在医疗记录内的非结构化临床医生笔记中找到，但是专家的手动审查是耗时的并且经常容易出错。这些笔记的自动挖掘提供了一个潜在的机会，可以标记有认知问题的患者，这些患者可以从评估中受益或被转诊到专家护理。为了识别电子病历中存在认知问题的患者，我们应用了自然语言处理（NLP）算法，并将模型性能与仅使用结构化诊断代码和药物数据的基线模型进行了比较。基于注意力的深度学习模型优于基线模型和其他更简单的模型。
2020-11-12 cs.CL
Rephrasing Electronic Health Records for Pretraining Clinical Language Models
Australian e-Health Research Centre, CSIRO（澳大利亚电子健康研究中心，联邦科学与工业研究组织）
针对临床语言模型预训练因患者隐私难以获取大规模EHR文本的问题，本研究借鉴网络数据重述方法，用四种小型LLMs重述临床笔记生成合成语料，在语言建模和下游任务中表现优于现有合成方法，且小token预算下增强原始笔记可提升性能。
2024-11-28 cs.CL
TriageSim: A Conversational Emergency Triage Simulation Framework from Structured Electronic Health Records
University of New South Wales, Sydney, Australia（新南威尔士大学，悉尼，澳大利亚）
本文提出TriageSim框架，通过结构化电子健康记录生成模拟分诊对话，包含800条合成对话及音频，结合自动分析和人工评估验证其有效性，用于分诊分类任务。
2026-08-17 cs.CL
EHRKit: A Python Natural Language Processing Toolkit for Electronic Health Record Texts
Yale University（耶鲁大学）
本文提出用于电子健康记录文本的Python自然语言处理工具包EHRKit，包含MIMIC-III专用函数和任务专用函数两部分，集成多达12种NLP任务，为处理非结构化临床笔记提供了便捷工具。
2023-06-28 cs.CL
Generating patient cohorts from electronic health records using two-step retrieval-augmented text-to-SQL generation
Bayer AG（勃林格殷曼公司）
本文提出一种利用大语言模型结合标准解析、两级检索增强生成和SQL生成的自动化系统，从电子健康记录中识别患者队列，达到0.75的F1分数，验证了自动化队列生成的可行性。
2025-10-17 cs.CL
Scaling Electronic Health Record Foundation Models for Population Health Management
Carnegie Mellon University（卡内基梅隆大学）；Georgetown University（乔治城大学）
该研究提出面向人群健康管理的电子健康记录基础模型，跨500万患者数据预训练，在11项慢性病预测任务及EHRShot基准中表现优于同类模型，将开源代码。
2026-08-25 cs.CL cs.LG
Assessing Risks of Large Language Models in Mental Health Support: A Framework for Automated Clinical AI Red Teaming
Northeastern University（东北大学）；Harvard Medical School（哈佛医学院）
本文提出了一种评估AI心理治疗师在心理健康支持中安全风险的框架，通过模拟测试发现AI在治疗中的潜在风险，并验证了交互式可视化工具的有效性。
2026-03-05 cs.AI cs.CL cs.CY
Identifying Mentions of Pain in Mental Health Records Text: A Natural Language Processing Approach
Institute of Psychiatry, Psychology and Neurosciences, King’s College London（伦敦国王学院精神病学、心理学与神经科学研究所）；Health Data Research UK（英国健康数据研究中心）；South London and Maudsley Biomedical Research Centre（南伦敦和莫兹利生物医学研究中心）；The South London and Maudsley NHS Foundation Trust（南伦敦和莫兹利国民保健信托基金会）
本研究利用匿名心理健康电子健康记录数据，训练机器学习分类算法识别文本中的疼痛提及，最佳模型F1分数达0.98，有助于从大型数据库中提取疼痛信息以支持相关研究。
2023-04-05 cs.CL cs.LG
Risks from Language Models for Automated Mental Healthcare: Ethics and Structure for Implementation
Northwestern University（西北大学）；Stanford University（斯坦福大学）
本文针对自动化心理健康护理AI的伦理与实践挑战，提出含自主级别、伦理要求和默认行为的结构化框架，经临床医生评估14个主流语言模型发现其未达专业标准、存在安全风险，呼吁开发者按准则优化以保障用户安全。
2024-08-14 cs.AI cs.CL cs.CY
A Biomedical Entity Extraction Pipeline for Oncology Health Records in Portuguese
INESC TEC（葡萄牙系统与计算机工程研究所）；FCUP（波尔图大学理学院）
本文针对资源受限的欧洲葡萄牙语，提出一种结合神经架构与实体链接的生物医学实体抽取流水线，在肿瘤记录中抽取手术操作、药物和疾病，F1分别达88.6%、95.0%和55.8%。
2023-04-18 cs.AI cs.CL
Bidirectional Recurrent Neural Networks for Medical Event Detection in Electronic Health Records
University of Massachusetts（马萨诸塞大学）；Bedford VAMC and CHOIR（贝德福德退伍军人医疗中心与CHOIR）
从电子健康记录（EHR）中的非结构化文本中提取医疗事件及其属性的序列标记是实现EHR语义理解的关键步骤。它在健康信息学中有重要的应用，包括药物警戒和药物监测。该领域中的现有技术监督机器学习模型基于条件随机场（CRF），其特征从固定的上下文窗口计算。在这个应用中，我们探索了各种递归神经网络框架，并表明它们的性能明显优于CRF模型。
2016-07-12 cs.CL cs.LG cs.NE
Neural Natural Language Processing for Unstructured Data in Electronic Health Records: a Review
Yale University（耶鲁大学）
电子健康记录（EHR）是患者医疗保健事件和观察结果的数字集合，在医学中无处不在，对医疗保健提供，运营和研究至关重要。尽管EHR扮演着核心角色，但它很难自动处理。电子健康档案中存储的信息有一半以上是以非结构化文本的形式（如供应商说明、运营报告），并且大部分未被开发用于二次使用。然而，最近，用于自然语言处理（NLP）的新的神经网络和深度学习方法取得了相当大的进步，在各种任务上优于传统的基于统计和规则的系统。在这篇综述论文中，我们总结了当前EHR应用的神经NLP方法。我们专注于广泛的任务，即分类和预测，词嵌入，提取，生成，以及其他主题，如问答，表型，知识图谱，医学对话，多语言，可解释性等。
2021-07-07 cs.AI cs.CL
Ontology-driven weak supervision for clinical entity classification in electronic health records
Stanford University（斯坦福大学）
在电子健康记录中，使用临床记录来识别诸如疾病及其时间性（例如，事件相对于时间索引的顺序）之类的实体可以为许多重要的分析提供信息。然而，为临床实体任务创建训练数据是耗时的，并且由于隐私问题，共享标记数据是具有挑战性的。COVID-19大流行的信息需求凸显了对训练临床笔记机器学习模型的敏捷方法的需求。我们提出了Trove，一个弱监督实体分类框架，使用医学本体和专家生成的规则。与手工标记的笔记不同，我们的方法易于共享和修改，同时提供与从手动标记的训练数据中学习相当的性能。在这项工作中，我们在六个基准任务上验证了我们的框架，并展示了Trove分析因COVID-19出现症状和风险因素而前往斯坦福医疗中心急诊科的患者记录的能力。
2021-04-06 cs.CL cs.LG
Considerations for health care institutions training large language models on electronic health records
本文针对医疗机构利用电子健康记录训练大型语言模型时面临的自建与微调选择及预算限制问题，通过分析数据集规模、模型规模和成本，提出了一个基于数据规模、计算规模和训练预算的决策框架。
2023-08-24 cs.AI cs.CL cs.CY
Comparative Analysis of Text Classification Approaches in Electronic Health Records
King’s College London（伦敦国王学院）
文本分类任务旨在从电子健康记录中收集和/或组织信息，是支持临床和转化研究的关键。然而，与其他分类任务相比，这些任务提出了具体的挑战，特别是由于临床记录中使用的医学词汇和语言的特殊性质。嵌入方法的最新进展已经显示出对几个临床任务的有希望的结果，但是没有将这些方法与其他常用的词表示和分类模型进行详尽的比较。在这项工作中，我们分析了不同的词表示，文本预处理和分类算法对四个不同的文本分类任务的性能的影响。结果表明，传统的方法，当定制的特定语言和结构的文本固有的分类任务，可以达到或超过最近的基于上下文嵌入，如BERT的性能。
2020-05-08 cs.CL cs.LG
End-to-end Clinical Event Extraction from Chinese Electronic Health Record
Nanjing Medical University（南京医科大学）；the First Affiliated Hospital（第一附属医院）
事件抽取是医学文本处理的一项重要工作。针对医学文本标注复杂的特点，采用端到端的事件抽取模型增强事件的输出格式信息。通过预训练和微调，我们可以提取医学文本的四个维度的属性：解剖位置，主题词，描述词和发生状态。在测试集上，准确率为0.4511，召回率为0.3928，F1值为0.42。该模型方法简单，在第七届中国卫生信息处理大会（chip2021）中文电子病历临床发现事件挖掘任务（task2）中获得第二名。
2022-08-19 cs.AI cs.CL
Validating transformers for redaction of text from electronic health records in real-world healthcare
King’s College London（伦敦国王学院）；King’s College Hospital（国王学院医院）；Guy’s and St Thomas’ NHS Foundation Trust（盖伊和圣托马斯国民保健服务基金会信托）；University College London（伦敦大学学院）
针对医疗记录脱敏精度低、适配性差的问题，本研究提出基于Transformer的AnonCAT模型，在英国3家医院3116份记录上取得高召回率，为真实医疗场景去标识化算法的部署与优化提供了可行蓝图。
2023-10-05 cs.AI cs.CL
HYPE: A High Performing NLP System for Automatically Detecting Hypoglycemia Events from Electronic Health Record Notes
University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
低血糖症在糖尿病治疗者中很常见，而且有潜在的危险。电子健康记录（EHR）是低血糖监测的重要资源。在这项研究中，我们报告了基于深度学习的自然语言处理系统的开发和评估，以从电子病历叙述中自动检测低血糖事件。公共卫生专家注释了500名糖尿病患者的EHR笔记。我们使用这个注释数据集来训练和评估HYPE，用于低血糖检测的监督NLP系统。在我们的实验中，卷积神经网络模型在10倍交叉验证设置中产生了有前途的性能$Precision=0.96 \pm 0.03, Recall=0.86 \pm 0.03, F1=0.91 \pm 0.03$。尽管注释的数据是高度不平衡的，我们的基于CNN的HYPE系统仍然实现了高性能的低血糖检测。HYPE可用于基于EHR的低血糖监测，并帮助临床医生及时治疗高危患者。
2018-11-29 cs.AI cs.CL
Distantly supervised end-to-end medical entity extraction from electronic health records with human-level quality
Sber Artificial Intelligence Laboratory（Sber人工智能实验室）
医学实体抽取是医学文本处理的第一步。通常，医学EE是一个两步过程：命名实体识别（NER）和命名实体规范化（NEN）。我们提出了一种从电子健康记录（EHR）中进行医疗EE的新方法，作为一个单步多标签分类任务，通过微调在大型EHR数据集上预训练的Transformer模型。我们的模型使用从医学知识库中自动提取的目标，以远程监督的方式进行端到端的训练。我们表明，我们的模型可以学习对足够频繁出现的实体进行泛化，从而为最频繁的实体实现人类级别的分类质量。我们的工作表明，医疗实体提取可以在没有人类监督的情况下进行端到端的提取，并且在提供足够大量的未标记EHR和医疗知识库的情况下具有人类质量。
2022-01-25 cs.AI cs.CL
Adapting Pretrained Language Models for Solving Tabular Prediction Problems in the Electronic Health Record
Austin Health（奥斯汀健康）；University of Melbourne（墨尔本大学）
我们提出了一种使用领域自适应来适应电子健康记录（EHR）任务的DeBERTa模型的方法。我们在由MIMIC-III出院总结、临床笔记、放射学报告和PubMed摘要组成的数据集上预训练了一个小型DeBERTa模型。我们将该模型的性能与根据我们机构EHR（MeDeBERTa）的临床文本预训练的DeBERTa模型和XGBoost模型进行比较。我们使用MIMIC-IV-ED数据集评估急诊科结果的三个基准任务的性能。我们对数据进行预处理，将其转换为文本格式，并生成原始数据集的四个版本，以比较数据处理和数据包含。结果表明，我们提出的方法在三个任务中的两个任务上优于替代模型（p<0.001），并且在第三个任务上与性能相匹配，使用描述性列比原始列名提高了性能。
2023-03-27 cs.CL cs.LG
Named Entity Recognition for Electronic Health Records: A Comparison of Rule-based and Machine Learning Approaches
University of Edinburgh（爱丁堡大学）
本文研究了电子健康记录（EHR）数据中文本的命名实体识别（NER）的多种方法。特别是，我们研究了（i）基于规则，（ii）深度学习和（iii）迁移学习系统在脑成像报告中的NER任务中的应用，重点是中风患者的记录。我们探讨每种方法的优点和缺点，制定规则和训练的一个共同的数据集，并评估每个系统的性能，从两个来源（脑成像报告在ESS -爱丁堡中风研究NHS洛锡安收集的数据，以及在NHS泰赛德创建的放射学报告）的苏格兰放射学报告的共同测试集。我们的比较表明，手工制作的系统是自动标记EHR的最准确的方法，但机器学习方法可以提供一个可行的替代方案，手动系统的资源是不容易获得的。
2019-06-05 cs.AI cs.CL
Language Models Are An Effective Patient Representation Learning Technique For Electronic Health Record Data
电子健康记录（EHR）的广泛采用推动了使用机器学习为各种临床结果构建预测模型的发展。这个过程通常受到用于训练模型的患者记录数量相对较少的限制。我们证明，使用患者表示方案的灵感来自自然语言处理技术可以提高临床预测模型的准确性，通过转移从整个患者群体的信息，以训练一个特定的模型，其中只有一个子集的人口是相关的。与标准基线相比，这种患者表示方案使五个预测任务的AUROC平均改善3.5%，当只有少量患者记录可用于训练临床预测模型时，平均改善上升到19%。
2020-05-12 cs.CL cs.LG stat.ML
Collaborative Synthesis of Patient Records through Multi-Visit Health State Inference
Renmin University of China（中国人民大学）
提出MSIC模型，通过概率图建模潜在健康状态并利用多就诊历史记录，协同生成高质量合成电子健康记录及医疗报告，在MIMIC-III/IV上取得最优效果且隐私风险低。
2023-12-22 cs.AI cs.CL cs.LG
MiME: Multilevel Medical Embedding of Electronic Health Records for Predictive Healthcare
Georgia Institute of Technology（佐治亚理工学院）；Google Brain（谷歌大脑）；IBM Research（IBM研究院）；Sutter Health（萨特医疗）；HINT Consultants（HINT咨询公司）
深度学习模型对于使用电子健康记录（EHR）数据的许多预测性医疗保健任务表现出最先进的性能，但这些模型通常需要超过大多数医疗保健系统容量的训练数据量。外部资源，如医学本体被用来桥接数据量的限制，但这种方法往往是不直接适用或有用的，因为与术语不一致。为了解决数据不足的挑战，我们利用EHR数据的固有多级结构，特别是医疗代码之间的编码关系。我们提出了多级医疗嵌入（MiME），它学习EHR数据的多级嵌入，同时联合执行依赖于这种固有EHR结构的辅助预测任务，而不需要外部标签。我们进行了两个预测任务，心力衰竭预测和连续疾病预测，其中MiME在不同的评估环境中优于基线方法。特别是，MiME在不同体积的数据集上预测心力衰竭时始终优于所有基线，特别是在最小数据集上表现出最大的性能改善（PR-AUC相对于最佳基线增加15%），证明了其有效建模EHR数据多级结构的能力。
2018-10-22 cs.CL cs.LG stat.ML
Natural Language Generation for Electronic Health Records
Centers for Disease Control and Prevention（美国疾病控制与预防中心）
现有的各种方法用于生成合成电子健康记录（EHR），但它们不能生成非结构化文本，如急诊科（ED）主任投诉，当前疾病或进展记录的历史。在这里，我们使用编码器-解码器模型，这是一种在许多当代机器翻译系统中具有特色的深度学习算法，从EHR中的离散变量（如年龄组，性别和出院诊断）生成合成主诉。在真实记录上进行端到端训练后，该模型可以生成真实的主诉文本，保留原始数据中的大部分流行病学信息。作为模型优化目标的副作用，这些合成的主诉也没有相对不常见的缩写和拼写错误，并且它们不包括训练数据中的个人身份信息（PII），这表明它可以用于支持EHR中文本的去识别。当与生成对抗网络（GANs）等算法相结合时，我们的模型可用于生成完全合成的EHR，促进医疗保健提供者和研究人员之间的数据共享，并提高我们开发针对医疗保健数据中信息的机器学习方法的能力。
2018-06-01 cs.CL cs.LG stat.ML
From Text to Topics in Healthcare Records: An Unsupervised Graph Partitioning Methodology
Imperial College London（伦敦帝国学院）
电子医疗记录包含大量非结构化数据，包括大量的自由文本。然而，由于缺乏及时提取可解释内容的方法，这一详细信息来源往往没有得到充分利用。在这里，我们应用网络理论工具来分析自由文本的医院患者事件报告从国家卫生服务，找到集群的文件具有类似的内容在不同级别的分辨率在一个无监督的方式。我们将深度神经网络段落向量文本嵌入与多尺度马尔可夫稳定性社区发现相结合，应用于文档向量的稀疏相似性图，并展示了伦敦帝国理工学院医疗保健NHS信托基金的事件报告方法。多尺度社区结构揭示了数据集主题中不同层次的含义，如从记录集群中提取的描述性术语所示。我们还比较了后验对手工编码的类别分配的医护人员，并表明，我们的方法优于基于LDA的模型。我们的内容集群表现出良好的对应关系，两个级别的手工编码的类别，但他们也提供了进一步的医疗细节，在某些领域，并揭示了外部分类分类以外的事件的互补描述符。
2018-07-07 cs.CL cs.IR cs.LG
From Free Text to Clusters of Content in Health Records: An Unsupervised Graph Partitioning Approach
Imperial College London（帝国理工学院）
电子医疗记录包含大量不同形式的非结构化数据。自由文本构成了此类数据的很大一部分，但由于缺乏及时提取可解释内容的合适方法，这种丰富详细信息的来源在实践中往往使用不足。在这里，我们应用网络理论工具的分析免费文本在医院病人的事件报告在英国国民健康服务，找到集群的报告，在一个无监督的方式，并在不同级别的分辨率直接根据其中包含的免费文本描述。为此，我们将最近开发的基于段落向量的深度神经网络文本嵌入方法与多尺度马尔可夫稳定性社区发现相结合，应用于从稀疏文本向量相似性获得的文档的相似性图。我们展示了在帝国理工学院医疗保健NHS信托，伦敦提交的事件报告的分析方法。多尺度社区结构揭示了数据集主题中具有不同分辨率的含义水平，如从记录组中提取的相关描述性术语所示，以及通过比较后验对医疗保健人员分配的手动编码类别。我们的内容社区与定义明确的手工编码类别表现出良好的对应关系，但我们的结果还提供了某些领域的进一步医疗细节，并揭示了外部分类之外的事件的补充描述符。我们还讨论了如何使用该方法来监测报告随着时间的推移和不同的医疗保健提供者，并检测新出现的趋势，属于预先存在的类别之外。
2018-11-14 cs.CL cs.IR cs.LG
