The Russian Drug Reaction Corpus and Neural Models for Drug Reactions and Effectiveness Detection in User Reviews
Kazan Federal University(喀山联邦大学);Steklov Institute of Mathematics at St. Petersburg(圣彼得堡斯捷克洛夫数学研究所)
本文构建了俄语药物反应部分标注语料库RuDReC,并提出基于RuDR-BERT的基线模型用于命名实体识别与多标签句子分类,在两项任务上均取得优于基线的F1分数,且已开源语料库与模型权重。
2020-04-07 cs.CL
Automatic Extraction of Medication Names in Tweets as Named Entity Recognition
NVIDIA(英伟达)
社交媒体帖子包含有关医疗条件和健康相关行为的潜在有价值的信息。Biocreative VII任务3的重点是通过识别推文中提到的药物和膳食补充剂来挖掘这些信息。我们通过微调多个BERT风格的语言模型来执行标记级分类,并将它们组合成集成来生成最终预测,从而完成这项任务。我们最好的系统由五个Megatron-BERT-345 M模型组成,在看不见的测试数据上达到了0.764的严格F1分数。
2021-11-30 cs.CL
BERT based Transformers lead the way in Extraction of Health Information from Social Media
Manipal Institute of Technology, Manipal Academy of Higher Education(曼尼帕尔理工学院,曼尼帕尔高等教育学院)
本文介绍了我们提交的2021年健康社交媒体挖掘(SMM 4 H)共享任务。我们参与了两项任务:(1)对英文推文中提及的药物不良反应(ADE)进行分类、提取和标准化(任务1);(2)对包含症状的COVID-19推文进行分类(任务6)。我们的第一个任务的方法使用的语言表示模型RoBERTa与二进制分类头。对于第二个任务,我们使用基于RoBERTa的BERTweet。对这两个任务的预训练模型进行微调。模型被放置在定制的特定于域的处理管道之上。我们的系统在子任务1(a)的所有提交中排名第一,F1分数为61%。对于子任务1(b),我们的系统获得了50%的F1分数,比所有提交的平均分数提高了+8%F1。BERTweet模型在SMM 4 H 2021 Task-6上取得94%的F1分数。
2021-04-15 cs.CL cs.SI
Language Models sounds the Death Knell of Knowledge Graphs
Optum, India(Optum(印度))
医疗保健领域生成大量非结构化和半结构化文本。自然语言处理(NLP)已被广泛用于处理这些数据。基于深度学习的NLP,特别是大语言模型(LLM),如BERT,已被广泛接受,并广泛用于许多应用程序。语言模型是单词序列上的概率分布。对大型数据语料库的自监督学习自动生成基于深度学习的语言模型。BioBERT和Med-BERT是针对医疗保健领域预先训练的语言模型。医疗保健使用典型的NLP任务,如问答,信息抽取,命名实体识别和搜索,以简化和改进流程。然而,为了确保结果的强大应用,NLP从业者需要将其规范化和标准化。实现规范化和标准化的主要方法之一是使用知识图谱。知识图捕捉特定领域的概念及其关系,但它们的创建非常耗时,需要领域专家的手动干预,这可能会被证明是昂贵的。SNOMED CT(系统化医学名词-临床术语)、统一医学语言系统(UMLS)和基因本体(GO)是来自医疗保健领域的流行本体。SNOMED CT和UMLS捕捉疾病、症状和诊断等概念,GO是世界上最大的基因功能信息来源。医疗保健一直在处理有关不同类型的药物,疾病和程序的信息爆炸。本文认为,使用知识图谱是不是解决这个领域的问题的最佳解决方案。我们目前的实验使用LLM的医疗领域证明,语言模型提供相同的功能,知识图谱,从而使知识图谱冗余。
2023-01-10 cs.AI cs.CL
Building Extractive Question Answering System to Support Human-AI Health Coaching Model for Sleep Domain
Lee Kong Chian School of Medicine, NTU(南洋理工大学李光前医学院);School of Computer Science and Engineering, NTU(南洋理工大学计算机科学与工程学院);Salesforce AI Research(赛富时人工智能研究院);Imperial College London(帝国理工学院)
本文构建了面向睡眠领域的抽取式问答系统 SleepQA,并微调领域 BERT 模型,通过数据为中心的框架提升检索与问题改写性能,最终在试点随机对照试验中验证其人机协同健康指导效果。
2023-05-31 cs.CL
Bridging the Knowledge Gap: Enhancing Question Answering with World and Domain Knowledge
Lister Hill National Center for Biomedical Communications(利斯特·希尔国家生物医学交流中心);U.S. National Library of Medicine(美国国家医学图书馆)
在本文中,我们提出了OSCAR(基于本体的语义组合增强正则化),一种方法注入任务无关的知识从本体或知识图谱到神经网络在预训练。我们评估了在使用维基百科文章预训练BERT时包含OSCAR的影响,通过测量两个涉及世界知识和因果推理的问答任务和一个需要领域(医疗保健)知识的问答任务的微调性能,与没有OSCAR的预训练BERT相比,准确率提高了33:3%,18:6%和4%,并在其中两个任务上获得了新的最先进的结果。
2019-10-16 cs.CL
SPBERTQA: A Two-Stage Question Answering System Based on Sentence Transformers for Medical Texts
University of Information Technology(信息技术大学);Vietnam National University Ho Chi Minh City(越南胡志明市国家大学)
近年来,问答(QA)系统获得了爆炸性的关注。然而,越南语的QA任务没有太多的数据集。值得注意的是,在医学领域几乎没有数据集。因此,我们建立了一个越南医疗保健问答数据集(ViHealthQA),包括10,015个问答段落对,其中对健康感兴趣的用户在著名的健康网站上提出的问题和高素质专家的答案。本文提出了一种基于句子BERT(SBERT)的两阶段问答系统,该系统使用多个否定排序(MNR)损失并结合BM 25。然后,我们进行了不同的实验与许多袋的话模型,以评估我们的系统的性能。与传统的方法相比,该系统取得了更好的性能。
2022-06-20 cs.CL
A Novel Corpus of Annotated Medical Imaging Reports and Information Extraction Results Using BERT-based Language Models
University of Washington(华盛顿大学);George Mason University(乔治梅森大学);Stanford University(斯坦福大学)
本文提出带标注医学影像报告语料库CAMIR,结合细粒度事件结构与概念归一化,并基于BERT架构探索mSpERT与增强的PL-Marker++方法进行事件信息抽取。
2024-03-27 cs.CL
Ensemble BERT for Medication Event Classification on Electronic Health Records (EHRs)
Center of Excellence in Research and Education for Big Military Data Intelligence (CREDIT Center)(大数据智能研究与教育中心);Department of Electrical and Computer Engineering(电气与计算机工程系);Prairie View A&M University(普拉姆维尤农业与机械大学);Texas A&M University System(德克萨斯农工大学系统)
本研究针对n2c2 2022挑战Track 1子任务2,构建基于BERT的集成模型从临床笔记中检测和分类药物事件,通过在Wikipedia和MIMIC上预训练并在CMED上微调后采用投票策略整合预测,有效提升了严格Micro-F和Macro-F分数。
2025-06-29 cs.CL cs.LG
Fine-tuning BERT-based models for Plant Health Bulletin Classification
Institut Supérieur d’Electronique de Paris(巴黎高等电子学院);Université de Reims Champagne Ardenne(兰斯大学)
在数字化时代,农业的不同参与者产生了大量数据。这些数据包含了该领域中已经潜在的历史知识。这些知识使我们能够精确地研究全球或地方方面的自然灾害,然后改进风险预防任务并增加产量,这有助于应对人口增长和饮食习惯改变的挑战。特别是,《法国植物卫生公报》(BSV,因其在《法国植物卫生公报》中的名称而得名)提供了关于农业生产中植物检疫风险发展阶段的信息。然而,它们是用自然语言编写的,因此,机器和人类无法尽可能有效地利用它们。自然语言处理(NLP)技术旨在自动处理和分析大量自然语言数据。自2010年代以来,随着计算能力和并行化的增加,表示学习和深度学习方法在NLP中变得广泛。Transformers的双向编码表示(BERT)的最新进展启发我们重新思考植物健康管理领域的知识表示和自然语言理解。这项工作的目标是提出一种基于BERT的方法来自动分类BSV,使其数据易于索引。我们采样了200个BSV来微调预训练的BERT语言模型,并将其分类为害虫或/和疾病,我们展示了初步结果。
2021-01-29 cs.CL
Med-BERT: pre-trained contextualized embeddings on large-scale structured electronic health records for disease prediction
School of Biomedical Informatics, University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心生物医学信息学院)
电子健康记录(EHR)中基于深度学习(DL)的预测模型在许多临床任务中提供了令人印象深刻的性能。然而,通常需要大的训练队列来实现高精度,这阻碍了在具有有限训练数据大小的场景中采用基于DL的模型。近年来,基于Transformers的双向编码器表示(BERT)及其相关模型在自然语言处理领域取得了巨大的成功。BERT在一个非常大的训练语料库上的预训练生成了上下文化的嵌入,可以提高在较小数据集上训练的模型的性能。我们提出了Med-BERT,它采用BERT框架对来自28,490,650名患者EHR数据集的结构化诊断数据进行预训练情境化嵌入模型。对两个疾病预测任务进行微调实验:(1)预测糖尿病患者的心力衰竭和(2)从两个临床数据库预测胰腺癌。Med-BERT大大提高了预测精度,使受试者工作特征曲线下面积(AUC)提高了2.02- 7.12%。特别是,预训练的Med-BERT大大提高了任务的性能,非常小的微调训练集(300-500个样本)将AUC提高了20%以上,或相当于10倍大的训练集的AUC。我们相信Med-BERT将有利于使用小型本地训练数据集进行疾病预测研究,降低数据汇集费用,并加快人工智能辅助医疗保健的步伐。
2020-05-22 cs.CL cs.LG cs.NE
Enhancing Clinical Information Extraction with Transferred Contextual Embeddings
The Australian National University (ANU)(澳大利亚国立大学);Data61, Commonwealth Scientific and Industrial Research Organization (CSIRO)(澳大利亚联邦科学与工业研究组织Data61部门);University of Canberra(堪培拉大学);University of Turku(图尔库大学)
Transformers的双向编码器表示(BERT)模型在许多自然语言处理(NLP)任务中取得了最先进的性能。然而,当目标域从预训练语料库转移时,例如,对于生物医学或临床NLP应用,有限的研究有助于研究其有效性。在本文中,我们将其应用到一个广泛研究的医院信息抽取(IE)的任务,并分析其性能下的迁移学习设置。与现有的IE模型相比,我们的应用程序成为了新的最先进的结果。具体来说,在这个护理交接数据集上,我们模型的宏观平均F1得分为0.438,而之前最好的深度学习模型为0.416。总之,我们证明了基于BERT的预训练模型可以在温和的条件下通过适当的微调过程转移到健康相关的文档中。
2021-09-22 cs.CL
Detecting Redundant Health Survey Questions Using Language-agnostic BERT Sentence Embedding (LaBSE)
College of Natural Sciences, Seoul National University(首尔大学自然科学学院);College of Nursing, Seoul National University(首尔大学护理学院);The Research Institute of Nursing Science, Seoul National University(首尔大学护理科学研究所);Samsung Medical Center(三星医疗中心);David Geffen School of Medicine, University of California Los Angeles(加州大学洛杉矶分校大卫·格芬医学院)
本研究为促进基于调查的PGHD标准化,收集英韩双语健康调查问题构建STS数据集,对比三种分类器后发现SBERT-LaBSE跨语言语义相似度评估表现最佳,ROC和精确召回曲线下面积超0.99,为跨语言PGHD语义互操作提供支持。
2024-12-05 cs.CL
Benchmarking for Public Health Surveillance tasks on Social Media with a Domain-Specific Pretrained Language Model
University of Sydney(悉尼大学)
社交媒体上的用户生成文本使卫生工作者能够跟踪信息,确定可能的疫情,预测疾病趋势,监测紧急病例,并确定对疾病的认识和对官方卫生通信的反应。这种在社交媒体上交流健康信息的做法被认为是加强公共卫生监督的一种尝试。尽管有潜力,但这项技术仍处于早期阶段,尚未准备好广泛应用。预训练语言模型(PLM)的进步促进了几个特定领域的PLM和各种下游应用程序的开发。但是,没有涉及PHS的社交媒体任务的PLM。我们提出并发布了PHS-BERT,一个基于transformer的PLM,用于识别与社交媒体上的公共卫生监测相关的任务。我们比较了PHS-BERT在来自不同社交媒体平台的25个数据集上的性能,这些数据集与7个不同的PHS任务相关。与主要在有限任务上进行评估的现有PLM相比,PHS-BERT在所有25个测试数据集上都达到了最先进的性能,表明我们的PLM在常见的PHS任务中是鲁棒的和可推广的。通过提供PHS-BERT,我们的目标是促进社区降低计算成本,并为未来各种PHS相关任务的工作引入新的基线。
2022-04-09 cs.CL
Multilingual Clinical NER for Diseases and Medications Recognition in Cardiology Texts using BERT Embeddings
Transilvania University of Brasov(布拉索夫Transilvania大学);Siemens Healthineers(西门子医疗)
面向 BioASQ MultiCardioNER,本研究评估多种通用领域单语与多语言 BERT 模型,用于英、西、意三语心脏病学文本的疾病和药物 NER,并在四个子任务上超过排行榜平均与中位 F1。
2025-10-20 cs.CL
Biomedical Entity Linking for Dutch: Fine-tuning a Self-alignment BERT Model on an Automatically Generated Wikipedia Corpus
Leiden University(莱顿大学);Leiden Institute of Advanced Computer Science(莱顿高级计算机科学研究所);Erasmus University Medical Center(伊拉斯姆斯大学医学中心)
本文提出首个经评估的荷兰语生物医学实体链接模型,基于 MedRoBERTa.nl 进行本体自对齐预训练并用 Wikipedia 语料微调,在 Mantra GSC 上验证其性能与局限。
2024-05-20 cs.CL
Predicting Clinical Diagnosis from Patients Electronic Health Records Using BERT-based Neural Networks
Sberbank Artificial Intelligence Laboratory(俄罗斯联邦储蓄银行人工智能实验室);New York University(纽约大学)
在本文中,我们研究的问题,预测的文本电子健康记录(EHR)数据的临床诊断。我们显示了这个问题在医学界的重要性,并提出了全面的历史回顾的问题和建议的方法。作为主要的科学贡献,我们提出了一个修改的双向编码器表示从Transformers(BERT)模型的序列分类,实现了一种新的方式的全连接(FC)层组成和BERT模型预训练只在域数据。为了从经验上验证我们的模型,我们使用了一个大规模的俄罗斯EHR数据集,其中包括大约400万次独特的患者访问。这是对俄语最大的研究,也是全球最大的研究之一。我们进行了一些比较实验,与其他文本表示模型的多类分类的ICD-10的265个疾病子集的任务。实验表明,与其他基线相比,我们的模型的性能有所改善,包括微调的俄罗斯BERT(RuBERT)变体。我们还展示了我们的模型与经验丰富的医学专家小组的可比性能。这使我们希望该系统的实施将减少误诊。
2020-07-15 cs.AI cs.CL cs.LG
Question-Answering Model for Schizophrenia Symptoms and Their Impact on Daily Life using Mental Health Forums Data
University of Bielefeld(比勒费尔德大学)
提出从心理健康论坛活跃用户帖子构建低偏差、无隐私问题的医学QA数据集的方法,并微调BERT系列模型,其中BioBERT以0.885的F1分数取得最优效果。
2023-09-30 cs.CL cs.LG
A Qualitative Evaluation of Language Models on Automatic Question-Answering for COVID-19
Mayo Clinic(梅奥诊所)
COVID-19导致持续的大流行,截至二零二零年六月十二日,已造成超过740万例病例及超过418,000人死亡。COVID-19的高度动态和快速变化的情况使得难以获得有关该疾病的准确,按需信息。在线社区、论坛和社交媒体提供了搜索相关问题和答案或发布问题并向其他成员寻求答案的潜在场所。然而,由于这些网站的性质,总是有数量有限的相关问题和响应,以搜索,并张贴的问题很少立即回答。随着自然语言处理领域的进步,特别是在语言模型领域,设计能够自动回答消费者问题的聊天机器人已经成为可能。然而,这样的模型很少在医疗保健领域中应用和评估,以满足准确和最新的医疗保健数据的信息需求。在本文中,我们提出应用语言模型来自动回答与COVID-19相关的问题,并对生成的回答进行定性评估。我们利用GPT-2语言模型,并应用迁移学习在COVID-19开放研究数据集(CORD-19)语料库上对其进行重新训练。为了提高生成的响应的质量,我们应用了4种不同的方法,即tf-idf,BERT,BioBERT和USE来过滤和保留响应中的相关句子。在性能评估步骤中,我们请两位医学专家对回答进行评分。我们发现,平均而言,BERT和BioBERT在基于相关性的句子过滤任务中的表现优于tf-idf和USE。此外,基于聊天机器人,我们创建了一个用户友好的交互式Web应用程序,可以在线托管。
2020-06-23 cs.AI cs.CL cs.IR
KG-MTT-BERT: Knowledge Graph Enhanced BERT for Multi-Type Medical Text Classification
Alibaba Group(阿里巴巴集团)
由于电子健康记录(EHR)系统的广泛采用,医疗文本学习最近成为改善医疗保健的一个有前途的领域。医学文本的复杂性,如长度的多样性、文本类型的混合性、医学术语的大量使用等,给开发有效的深度学习模型带来了巨大的挑战。BERT在许多NLP任务中呈现了最先进的结果,例如文本分类和问答。然而,独立的BERT模型不能处理医学文本的复杂性,特别是冗长的临床笔记。在此,我们开发了一个新的模型称为KG-MTT-BERT(知识图增强多类型文本BERT)通过扩展BERT模型的长和多类型的文本与医学知识图谱的集成。我们的模型在诊断相关组(DRG)分类中的表现优于所有基线和其他最先进的模型,这需要全面的医学文本来进行准确的分类。我们还证明了我们的模型可以有效地处理多类型的文本和医学知识图谱的集成可以显着提高性能。
2022-10-08 cs.AI cs.CL cs.LG
Federated pretraining and fine tuning of BERT using clinical notes from multiple silos
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
近年来,大规模上下文表示模型,如BERT,极大地促进了自然语言处理(NLP)。然而,在医疗保健等特定领域,由于隐私和监管原因,从多个机构访问各种大规模文本数据极具挑战性。在这篇文章中,我们展示了可以使用来自不同孤岛的临床文本以联邦方式预训练和微调BERT模型,而无需移动数据。
2020-02-20 cs.CL cs.LG
Crowdsourcing with Enhanced Data Quality Assurance: An Efficient Approach to Mitigate Resource Scarcity Challenges in Training Large Language Models for Healthcare
The University of Arizona(亚利桑那大学);UC San Diego(加州大学圣迭戈分校)
针对医疗领域高质量标注数据稀缺问题,提出带多阶段质量控制的众包框架,经Bio-BERT自闭症预测实验,实时控制提升数据质量19%,微调提高召回率但降低精确率。
2024-05-16 cs.AI cs.CL
Quantification of BERT Diagnosis Generalizability Across Medical Specialties Using Semantic Dataset Distance
nference LLC(恩弗伦斯有限责任公司);Massachusetts Institute of Technology(麻省理工学院);University of Pennsylvania Health System(宾夕法尼亚大学医疗系统)
医疗保健领域的深度学习模型可能无法从看不见的语料库中概括数据。此外,没有定量指标可以告诉现有模型如何处理新数据。以前的研究表明,医疗记录的NLP模型概括了机构之间的联系,但忽略了其他层次的医疗组织。我们使用MIMIC-III中的EHR语句测量了SciBERT诊断情感分类器在医学专业之间的通用性。在一个专业上训练的模型在内部测试集上的表现优于混合或外部测试集(平均AUC分别为0.92,0.87和0.83; p = 0.016)。当模型在更多的专业上训练时,它们具有更好的测试性能(p <1 e-4)。新语料库上的模型性能与训练和测试句子内容之间的相似性直接相关(p <1 e-4)。未来的研究应该评估其他泛化轴,以确保深度学习模型在机构、专业和实践中实现其预期目的。
2021-02-19 cs.CL
Detecting Adverse Drug Reactions from Twitter through Domain-Specific Preprocessing and BERT Ensembling
UC Berkeley School of Information(加州大学伯克利分校信息学院)
社交媒体中的药物不良反应(ADR)检测自动化将彻底改变药物警戒实践,支持药物监管机构,制药行业和公众确保日常实践中处方药物的安全性。根据2019年8月发布的健康社交媒体挖掘(SMM 4H)应用研讨会和共享任务的会议记录,我们旨在开发一个深度学习模型,对包含药物提及的Twitter推文中的ADR进行分类。我们的方法涉及微调$BERT_{LARGE}$和两个特定领域的BERT实现,$BioBERT$和$Bio + clinicalBERT$,应用特定领域的预处理器,并开发一个最大预测集成方法。我们的最终模型在$F_1$评分(0.6681)和召回率(0.7700)方面的最新性能优于SMM4H 2019和迄今为止的后评价期间提交的所有模型。
2020-05-11 cs.CL cs.LG cs.SI
Does BERT Pretrained on Clinical Notes Reveal Sensitive Data?
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Northeastern University(东北大学);Memorial Sloan Kettering Cancer Center(纪念斯隆凯特琳癌症中心);Bar Ilan University(巴伊兰大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
在来自电子健康记录(EHR)的临床笔记上预训练的大型Transformers在预测性临床任务的性能方面提供了实质性的增益。训练这种模型的成本(以及这样做的数据访问的必要性)与它们的效用相结合,激励参数共享,即,发布ClinicalBERT等预训练模型。虽然大多数工作都使用了去识别的EHR,但许多研究人员可以访问大量敏感的、非去识别的EHR,他们可以用这些EHR训练BERT模型(或类似模型)。如果他们这样做了,释放这样一个模型的权重是否安全?在这项工作中,我们设计了一个电池的方法,旨在从一个训练有素的BERT恢复个人健康信息(PHI)。具体来说,我们试图恢复患者的姓名和与他们相关的条件。我们发现,简单的探测方法是不能够有意义地提取敏感信息的BERT训练的MIMIC-III语料库的EHR。然而,更复杂的“攻击”可能会成功做到这一点:为了促进这种研究,我们在https://github.com/elehman16/exposing_patient_data_release上提供了我们的实验设置和基线探测模型。
2021-04-22 cs.AI cs.CL cs.LG
Decoding Linguistic Nuances in Mental Health Text Classification Using Expressive Narrative Stories
University of Missouri(密苏里大学);Texas A&M University-Corpus Christi(德州农工大学科珀斯克里斯蒂分校)
本研究利用Reddit数据评估BERT、MentalBERT等模型在表达性叙事故事心理健康文本分类中的表现,发现BERT对主题词缺失敏感性低且能保持句序打乱时的准确率,更具实际应用优势。
2024-12-20 cs.CL cs.LG
LT4SG@SMM4H24: Tweets Classification for Digital Epidemiology of Childhood Health Outcomes Using Pre-Trained Language Models
NirvanaClouds(涅槃云);University of Adelaide(阿德莱德大学)
面向 SMM4H24 儿童医疗障碍推文二分类任务,论文比较 RoBERTa-large 微调和 BERTweet-large 集成方法,后者以 0.938 的 F1 分数超越基准 1.18%。
2024-06-11 cs.CL
Prompt-based mental health screening from social media text
本研究针对大规模含噪社交媒体文本的心理健康筛查问题,提出结合GPT 3.5提示筛选相关内容与词袋分类器预测标签的方法,性能媲美BERT混合专家模型且训练成本大幅降低。
2024-05-11 cs.CL
Early Risk Detection of Pathological Gambling, Self-Harm and Depression Using BERT
University of Bucharest(布加勒斯特大学);Politehnica University Bucharest(布加勒斯特理工大学)
精神疾病的早期风险检测对人们的福祉有着巨大的积极影响。eRisk研讨会一直处于跨学科研究的前沿,开发计算方法,以自动估计抑郁症,自残,厌食症和病理性赌博等精神问题的早期风险因素。在本文中,我们介绍了BLUE团队在2021年版研讨会上的贡献,其中我们解决了早期发现赌博成瘾,自我伤害和从社交媒体帖子中估计抑郁症严重程度的问题。我们采用预先训练的BERT Transformers和从心理健康子数据库自动抓取的数据,并在所有三项任务上获得合理的结果。
2021-06-30 cs.CL
Detecting mental disorder on social media: a ChatGPT-augmented explainable approach
University of Calabria(卡拉布里亚大学)
本研究提出一种结合LLM、XAI和ChatGPT的可解释抑郁症检测方法,通过BERT-XDD模型实现分类与解释,并转化为人类可读评论,以支持早期干预。
2025-03-10 cs.AI cs.CL cs.LG
A Multi-Layered Large Language Model Framework for Disease Prediction
Faculty of Computer Science, MSA University(MSA大学计算机科学学院)
本研究提出一种多层大型语言模型框架,结合阿拉伯语医疗文本预处理技术(文本摘要、润色和NER),并使用LoRA微调CAMeL-BERT等模型,在疾病类型分类和症状严重程度评估上取得83%和69%的最佳表现,显著提升了社交远程医疗的诊断准确性。
2025-01-30 cs.AI cs.CL
Balanced and Explainable Social Media Analysis for Public Health with Large Language Models
The University of Queensland(昆士兰大学)
本文提出ALEX框架,通过数据增强流水线解决社交媒体公共卫生数据集的不平衡问题,并利用BERT预测结果提示LLM实现可解释性,在SMM4H 2023竞赛中取得优异成绩。
2023-09-12 cs.CL
Ensemble BERT: A student social network text sentiment classification model based on ensemble learning and BERT architecture
Southwest University(西南大学);Central China Normal University(华中师范大学);Dalian Neusoft University of Information(大连东软信息学院);Zhejiang University of Science and Technology(浙江科技大学);University of Sydney(悉尼大学)
本文提出基于BERT与多数投票的Ensemble BERT,用于微博中学生文本情感分类,发现其效果接近三层BERT但训练更耗时,深层BERT更适合兼顾效果与效率。
2024-08-09 cs.AI cs.CL
Students Need More Attention: BERT-based AttentionModel for Small Data with Application to AutomaticPatient Message Triage
Duke University(杜克大学)
医疗保健中常见的小型和不平衡数据集在基于深度学习模型训练分类器时是一个挑战。因此,我们提出了一个新的框架的基础上BioBERT(双向编码器表示从Transformers生物医学文本挖掘)。具体来说,(i)我们在BERT的每一层中引入自注意标签嵌入,我们称之为LESA-BERT,以及(ii)通过将LESA-BERT蒸馏为更小的变体,我们的目标是在处理小数据集时减少过拟合和模型大小。作为一个应用程序,我们的框架是用来建立一个模型,病人门户网站的消息分诊,分类的紧急性的消息分为三类:非紧急,中等和紧急。实验表明,我们的方法可以优于几个强大的基线分类器的4.3%,在宏观F1得分的显着保证金。该项目的代码可在\url{https://github.com/shijing001/text_classifiers}上公开获得。
2020-06-22 cs.CL cs.LG
CASE: Efficient Curricular Data Pre-training for Building Assistive Psychology Expert Models
IIIT Bangalore(印度信息技术研究所班加罗尔分校);NIMHANS(国家精神卫生和神经科学研究所);Ashoka University(阿肖克大学);IBM(国际商业机器公司)
针对心理健康论坛文本分析中的数据隐私与稀缺问题,提出利用专业课程文本预训练的CASE-BERT,高效标记需紧急关注的抑郁与焦虑用户。
2024-10-02 cs.AI cs.CL cs.LG
Revealing the impact of social circumstances on the selection of cancer therapy through natural language processing of social work notes
Bakar Computational Health Sciences Institute, University of California, San Francisco(加州大学旧金山分校巴卡尔计算健康科学研究所);University of California, Office of the President(加州大学校长办公室);Division of Hematology/Oncology, Department of Medicine, University of California, San Francisco(加州大学旧金山分校医学系血液学/肿瘤学分部)
本研究利用基于BERT的分层多步模型分析乳腺癌患者的社工记录,发现健康社会决定因素会导致治疗选择存在系统性差异,社工报告对理解临床决策差异至关重要。
2023-06-16 cs.CL
Larger models yield better results? Streamlined severity classification of ADHD-related concerns using BERT-based knowledge distillation
BRAC University(BRAC大学);North South University(北南大学)
本研究通过知识蒸馏构建轻量BERT模型LastBERT,在参数量大减的情况下保持ADHD社交媒体文本严重程度分类性能,为资源受限场景的心理健康评估提供高效工具。
2024-10-30 cs.AI cs.CL
Data Augmentation for Mental Health Classification on Social Media
在线用户的精神障碍是通过社交媒体帖子确定的。在这个领域的主要挑战是利用道德清除使用社交媒体平台上的用户生成的文本。学术研究发现了心理健康分类数据不足和未标记的问题。为了解决这个问题,我们研究了数据增强技术对特定领域的用户生成的文本心理健康分类的影响。在现有的完善的数据增强技术,我们已经确定了简单的数据增强(EDA),条件BERT,和回翻译(BT)作为潜在的技术,用于生成额外的文本,以提高分类器的性能。此外,三种不同的分类器随机森林(RF),支持向量机(SVM)和逻辑回归(LR)用于分析数据增强对两个公开可用的社交媒体数据集的影响。实验结果表明,在增强数据上训练时,分类器的性能有了显着的提高。
2021-12-19 cs.CL
OPTIC: Optimizing Patient-Provider Triaging & Improving Communications in Clinical Operations using GPT-4 Data Labeling and Model Distillation
Microsoft Health AI(微软健康人工智能);Johns Hopkins University(约翰斯·霍普金斯大学);Health Information Technology(健康信息技术);Johns Hopkins Medicine(约翰斯·霍普金斯医学);University of Washington(华盛顿大学);Microsoft(微软)
本研究提出OPTIC工具,利用GPT-4标注405,487条患者消息并蒸馏训练BERT模型进行行政/临床分诊,准确率达88.85%,已成功部署于Epic云平台以减轻医生负担。
2025-02-05 cs.CL cs.LG
Semantic Decomposition Improves Learning of Large Language Models on EHR Data
EQRx Inc.(EQRx公司)
人们普遍认为,电子健康记录(EHR)包含大量可操作的见解,这些见解以不规则的半结构化格式加密,并处于嘈杂的背景中。为了简化健康和疾病的学习模式,EHR中的医疗代码可以被分解成由层次图连接的语义单元。基于早期Transformers的双向编码器表示(BERT)和图形注意力网络(GAT)之间的协同作用,我们提出了H-BERT,它摄取分层医疗代码的完整图形树扩展,而不是只摄取叶子,并将患者级别的标签推到每次访问。该方法显著改善了通过聚集的AUC和APS测量的超过500种医学诊断类别中的患者成员资格的预测,并且在密切相关但临床上不同的表型中创建了患者的不同表示。
2022-11-14 cs.CL cs.LG
A Study of Social and Behavioral Determinants of Health in Lung Cancer Patients Using Transformers-based Natural Language Processing Models
University of Florida(佛罗里达大学);Weill Cornell Medicine(威尔康奈尔医学院)
健康的社会和行为决定因素(SBDoH)在塑造人们的健康方面发挥着重要作用。在临床研究中,特别是比较有效性研究中,未能调整SBDoH因素可能会在统计分析和基于机器学习的模型中导致混淆问题和错误分类错误。然而,有有限的研究,以检查SBDoH因素的临床结果,由于缺乏结构化的SBDoH信息在当前的电子健康记录(EHR)系统,而大部分的SBDoH信息记录在临床叙述。因此,自然语言处理(NLP)是从非结构化临床文本中提取此类信息的关键技术。然而,目前还没有一个成熟的临床NLP系统专注于SBDoH。在这项研究中,我们检查了两个最先进的基于转换器的NLP模型,包括BERT和RoBERTa,以从临床叙述中提取SBDoH概念,应用表现最好的模型提取肺癌筛查患者队列的SBDoH概念,分析了自然语言处理结果和结构化EHR中SBDoH信息的差异(SBDoH信息以标准词汇表(如国际疾病分类代码)获取)。实验结果表明,基于BERT的自然语言处理模型取得了最好的严格/宽松的F1分数分别为0.8791和0.8999。NLP提取的SBDoH信息和结构化EHR在864例肺癌患者队列中的161,933种不同类型的临床记录之间的比较表明,关于吸烟,教育和就业的更详细的信息仅在临床叙述中获得,并且有必要使用临床叙述和结构化EHR来构建患者SBDoH因素的更完整的图片。
2021-08-10 cs.CL cs.LG
Psychological Health Knowledge-Enhanced LLM-based Social Network Crisis Intervention Text Transfer Recognition Method
Weill Cornell Medicine(威尔康奈尔医学院);University of Chicago(芝加哥大学);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
针对社交媒体心理健康危机识别的紧迫挑战,本研究提出结合特定领域心理健康知识的LLM文本迁移识别方法,通过多层次框架集成迁移学习、知识与多技术,在危机检测准确性和敏感性上优于传统模型。
2025-04-14 cs.AI cs.CL
Mentalic Net: Development of RAG-based Conversational AI and Evaluation Framework for Mental Health Support
Texas State University(德克萨斯州立大学)
本研究开发了基于RAG框架、结合提示工程与微调的心理健康支持对话AI Mentalic Net,构建多维度评估体系验证其性能达标,倡导以人在回路的负责任策略开发此类技术。
2025-08-27 cs.CL
Exploring Hybrid and Ensemble Models for Multiclass Prediction of Mental Health Status on Social Media
RWTH Aachen University(亚琛工业大学);University of Amsterdam(阿姆斯特丹大学)
近年来,利用自然语言处理和机器学习技术的进步,对来自社交媒体数据的自动心理健康检测(MHD)的研究兴趣激增。虽然在这一跨学科的研究领域取得了重大进展,但绝大多数工作都将MHD视为二元分类任务。然而,如果我们要揭示与特定心理健康状况相关的语言使用统计模式之间的细微差异,多类分类设置是必不可少的。在这里,我们报告了旨在从Reddit社交媒体帖子中预测六种疾病(焦虑,注意缺陷多动障碍,双相情感障碍,创伤后应激障碍,抑郁症和心理压力)的实验。我们探索并比较了混合模型和集成模型的性能,这些模型利用了基于transformer的架构(BERT和RoBERTa)和BiLSTM神经网络,这些神经网络是在不同语言特征集的文本内分布上训练的。这个集合包括句法复杂性,词汇复杂性和多样性,可读性和特定于寄存器的ngram频率,以及情感和情感词汇的测量。此外,我们进行功能消融实验,以调查哪些类型的功能是最能表明特定的心理健康状况。
2022-12-19 cs.CL
Mental Multi-class Classification on Social Media: Benchmarking Transformer Architectures against LSTM Models
Dept. of Computer Science Missouri State University Springfield, MO, USA(计算机科学系 莫斯科州立大学 斯普林菲尔德 MO 美国)
本文构建Reddit六类心理健康帖子数据集,系统对比五种Transformer与多种LSTM变体,发现RoBERTa性能最佳,而BERT嵌入的注意力LSTM以更快训练速度接近其表现,为多分类心理健康检测提供了首个基准与模型选择指导。
2025-09-20 cs.CL cs.IR cs.LG
Variants of BERT, Random Forests and SVM approach for Multimodal Emotion-Target Sub-challenge
Chonnam National University(全南国立大学)
近年来,情感识别已成为计算机视觉的一个主要问题,研究人员为克服这一难题做了大量的工作。在情感计算领域,情感识别有着广泛的应用,例如医疗保健、机器人、人机交互等。由于其对其他任务的实际重要性,许多技术和方法已被研究用于不同的问题和各种数据源。然而,如何将视听和语言两种形式全面融合,并从中获益,仍然是一个亟待解决的问题。在本文中,我们提出并讨论了我们的分类方法MuSe主题子挑战,以及数据和结果。对于主题分类,我们集成了两个语言模型ALBERT和RoBERTa来预测10类主题。此外,对于效价和唤醒的分类,SVM和随机森林与特征选择相结合,以提高性能。
2020-07-28 cs.CL cs.CV cs.LG
Utilizing Large Language Models to Generate Synthetic Data to Increase the Performance of BERT-Based Neural Networks
University of Arizona(亚利桑那大学);University of California San Diego(加利福尼亚大学圣迭戈分校)
针对医疗领域训练数据标注成本高的问题,该研究用ChatGPT和GPT-Premium生成自闭症相关合成医疗数据扩充数据集,经临床验证83%标签正确,可提升BERT分类器召回率13%,为低资源医疗场景模型训练提供可行路径。
2024-05-08 cs.AI cs.CL
Advancing Mental Disorder Detection: A Comparative Evaluation of Transformer and LSTM Architectures on Social Media
Dept. of Computer Science Missouri State University Springfield, MO, USA(计算机科学系 摩西州立大学 斯普林菲尔德 MO 美国)
该研究在Reddit精神健康分类任务上比较多种Transformer与LSTM模型,验证大型标注数据集后发现RoBERTa表现最佳,BERT嵌入增强的LSTM则以更低资源取得较强性能。
2025-07-17 cs.CL cs.LG
Towards Fairer Health Recommendations: finding informative unbiased samples via Word Sense Disambiguation
Loyola Marymount University(洛约拉马利蒙特大学);Worcester Polytechnic Institute(伍斯特理工学院);Northeastern University(东北大学);University of Connecticut(康涅狄格大学)
为解决医疗数据偏差导致健康推荐不公的问题,本研究借助词义消歧优化负样本数据集质量,实验发现微调BERT模型在医疗文本偏差检测上表现优于零/少样本LLM。
2024-09-11 cs.CL cs.CY cs.LG
Research on Violent Text Detection System Based on BERT-fasttext Model
School of Information Engineering, Zhongnan University of Economics and Law(中南财经政法大学信息工程学院)
本文提出基于BERT-fasttext模型的暴力文本检测系统,结合BERT的语义理解与Fasttext的高效分类,准确率较单一模型提升0.7%和0.8%,有效净化网络环境。
2024-12-21 cs.CL cs.CY
Advancing Pancreatic Cancer Prediction with a Next Visit Token Prediction Head on top of Med-BERT
McWilliams School of Biomedical Informatics, UTHealth at Houston(休斯顿德克萨斯大学健康科学中心麦克威廉姆斯生物医学信息学院);Mayo Clinic(梅奥诊所)
本文提出在 Med-BERT 上采用 token 预测及下一次就诊掩码 token 预测头,使胰腺癌预测任务契合预训练目标,在少样本场景下较二分类提升 3%–7%。
2025-01-03 cs.AI cs.CL
UQ at #SMM4H 2023: ALEX for Public Health Analysis with Social Media
The University of Queensland(昆士兰大学)
本文提出ALEX框架,通过数据增强、平衡训练及LLMs解释机制,解决社交媒体公共卫生数据不平衡与LLMs训练成本高的问题,在SMM4H 2023任务中取得优异成绩。
2023-09-12 cs.AI cs.CL
UATTA-EB: Uncertainty-Aware Test-Time Augmented Ensemble of BERTs for Classifying Common Mental Illnesses on Social Media Posts
Manipal Institute of Technology, Manipal Academy of Higher Education(马尼帕尔高等教育学院马尼帕尔理工学院)
针对深度学习模型在社交媒体心理健康状况识别中缺乏可靠性和校准不佳的问题,提出 UATTA-EB 方法,通过不确定性感知的测试时增强 BERT 集成,对 Reddit 上的六种心理疾病进行可靠且校准良好的分类预测。
2023-04-10 cs.AI cs.CL cs.LG
Sexism Prediction in Spanish and English Tweets Using Monolingual and Multilingual BERT and Ensemble Models
Universitat Politècnica de València(瓦伦西亚理工大学);Escola Politécnica da Universidade de São Paulo(圣保罗大学)
社交媒体的普及带来了仇恨言论和性别歧视等问题。识别和分类社交媒体中的性别歧视是非常相关的任务,因为它们将有助于建立一个更健康的社会环境。然而,这些任务相当具有挑战性。这项工作提出了一个系统,使用多语言和单语言的BERT和数据点翻译和合奏策略的性别歧视识别和分类在英语和西班牙语。它是在伊比利亚语言评估论坛(IberLEF)提出的2021年社交网络共享(EXIST 2021)任务中进行的。本文介绍了所提出的系统及其主要组成部分,并进行了深入的超参数分析。观察到的主要结果是:(i)该系统获得了比基线模型(多语言BERT)更好的结果;(ii)集成模型获得了比单语言模型更好的结果;(iii)考虑到所有单个模型和最佳标准化值的集成模型获得了两项任务的最佳准确度和F1分数。这项工作在EXIST的两项任务中均获得第一名,准确率最高(任务1为0.780,任务2为0.658),F1得分最高(任务1的F1二进制为0.780,任务2的F1宏为0.579)。
2021-11-08 cs.AI cs.CL cs.CY