Multimodal Learning on Graphs for Disease Relation Extraction
Beijing Institute of Technology（北京理工大学）；University of Southern California（南加州大学）；Tsinghua University（清华大学）；Harvard T.H.Chan School of Public Health（哈佛陈曾熙公共卫生学院）；Harvard Medical School（哈佛医学院）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学博德研究所）；Harvard Data Science Initiative（哈佛数据科学研究院）
Objective: Disease knowledge graphs are a way to connect, organize, and access disparate information about diseases with numerous benefits for artificial intelligence (AI). To create knowledge graphs, it is necessary to extract knowledge from multimodal datasets in the form of relationships between disease concepts and normalize both concepts and relationship types.
Methods: We introduce REMAP, a multimodal approach for disease relation extraction and classification. The REMAP machine learning approach jointly embeds a partial, incomplete knowledge graph and a medical language dataset into a compact latent vector space, followed by aligning the multimodal embeddings for optimal disease relation extraction.
Results: We apply REMAP approach to a disease knowledge graph with 96,913 relations and a text dataset of 1.24 million sentences. On a dataset annotated by human experts, REMAP improves text-based disease relation extraction by 10.0% (accuracy) and 17.2% (F1-score) by fusing disease knowledge graphs with text information. Further, REMAP leverages text information to recommend new relationships in the knowledge graph, outperforming graph-based methods by 8.4% (accuracy) and 10.4% (F1-score).
Conclusion: REMAP is a multimodal approach for extracting and classifying disease relationships by fusing structured knowledge and text information. REMAP provides a flexible neural architecture to easily find, access, and validate AI-driven relationships between disease concepts.
Integrating Medical Imaging and Clinical Reports Using Multimodal Deep Learning for Advanced Disease Analysis
Penn State University（宾夕法尼亚州立大学）；Mississippi State University（密西西比州立大学）；Northwest Missouri State University（西北密苏里州立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of California, Berkeley（加利福尼亚大学伯克利分校）；Colorado State University（科罗拉多州立大学）
Knowledge-guided Convolutional Networks for Chemical-Disease Relation Extraction
School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；School of Foreign Languages, Dalian University of Technology（大连理工大学外国语学院）；School of Mathematical Sciences, Dalian University of Technology（大连理工大学数学科学学院）
背景资料：从非结构化文本中自动提取化学-疾病关系对于疾病治疗和药物开发具有重要意义。与此同时，生物医学专家已经建立了许多高度结构化的知识库（KBs），其中包含有关化学品和疾病的先验知识。先验知识为CDR提取提供了强有力的支持。如何充分利用它是值得研究的问题。结果：本文提出了一种新的模型，称为“知识引导卷积网络（KCN）”，利用先验知识的CDR提取。该模型首先从知识库中学习包括实体嵌入和关系嵌入的知识表示。然后，使用实体嵌入来控制上下文特征向具有门控卷积的化学疾病对的传播。在此基础上，通过共享注意池，利用关系嵌入进一步获取加权上下文特征。最后，包含额外知识信息的加权上下文特征用于CDR提取。在BioCreative V CDR数据集上的实验表明，所提出的KCN达到了71.28%的F1分数，这优于大多数最先进的系统。结论：本文提出了一种新的CDR提取模型KCN，以充分利用先验知识。实验结果表明，KCN可以有效地集成先验知识和上下文的性能提高。
Flexible Multimodal Neuroimaging Fusion for Alzheimer's Disease Progression Prediction
Department of Computer Science and Engineering（计算机科学与工程系）；Department of Biomedical Informatics（生物医学信息学系）；Department of Neurology（神经病学系）；Translational Data Analytics Institute（转化数据分析研究所）
Combining Context and Knowledge Representations for Chemical-Disease Relation Extraction
School of Computer Science and Technology at Dalian University of Technology（大连理工大学计算机科学与技术学院）
自动提取化学物质与疾病之间的关系对于生物医学研究和医疗保健的各个领域都非常重要。生物医学专家已经建立了许多大规模的知识库（KB），以推动生物医学研究的发展。知识库中包含了大量的实体和关系的结构化信息，因此在化学疾病关系（CDR）提取中起着至关重要的作用。然而，以往的研究较少关注知识库中存在的先验知识。本文提出了一种基于神经网络的注意力模型（NAM）用于CDR提取，该模型充分利用了文档中的上下文信息和知识库中的先验知识。对于文档中的一对实体，采用注意力机制来选择关于从知识库中学习的关系表示的重要上下文词。在BioCreative V CDR数据集上的实验表明，通过注意力机制将上下文和知识表示相结合，可以显着提高CDR提取性能，同时实现与最先进系统相当的结果。
Automatic Extraction of Disease Risk Factors from Medical Publications
School of Computer Science, The Academic College of Tel Aviv-Yaffo（特拉维夫-雅法学术学院计算机科学学院）；Division of Cardiology, Tel-Aviv Sourasky Medical Center（特拉维夫苏拉斯基医疗中心心脏病科）；Faculty of Medicine, The Hebrew University of Jerusalem（希伯来大学医学院）；Bioinformatics, School of Computer Science, The Academic College of Tel Aviv-Yaffo（特拉维夫-雅法学术学院计算机科学学院生物信息学方向）
Boosting drug-disease association prediction for drug repositioning via dual-feature extraction and cross-dual-domain decoding
Institute of Computing Science and Technology, Guangzhou University（广州大学计算科学与技术学院）；School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）；Electronics and Communication Sciences Unit, Indian Statistical Institute（印度统计研究所电子与通信科学部）
Chemical-induced Disease Relation Extraction with Dependency Information and Prior Knowledge
School of Computer Science and Technology, Dalian University of Technology（大连理工大学计算机科学与技术学院）
化学-疾病关系（CDR）提取对于生物医学研究和医疗保健的各个领域都非常重要。目前，许多大型生物医学知识库（KBs）已经建立，其中包含关于实体对及其关系的三元组。知识库是生物医学关系抽取的重要资源。然而，以往的研究很少关注先验知识。此外，依赖树包含了重要的句法和语义信息，有助于改进关系抽取。因此如何有效地利用它也是值得研究的。在本文中，我们提出了一种新的卷积注意力网络（CAN）的CDR提取。首先，我们提取一个句子中的化学和疾病对之间的最短依赖路径（SDP），它包括一个单词序列，依赖方向，和依赖关系标签。然后对SDP执行卷积运算以产生深度语义依赖特征。之后，采用注意力机制来学习与从知识库学习的知识表示相关的每个语义依赖向量的重要性/权重。最后，为了结合依赖信息和先验知识，加权语义依赖表示和知识表示的级联被馈送到softmax层进行分类。在BioCreative V CDR数据集上的实验表明，该方法的性能与最先进的系统相当，依赖信息和先验知识在CDR提取任务中起着重要作用。
Multimodal Question Answering for Unified Information Extraction
The Ohio State University（俄亥俄州立大学）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；School of Engineering, Westlake University（西湖大学工学院）
A Sparse-Attention Deep Learning Model Integrating Heterogeneous Multimodal Features for Parkinson's Disease Severity Profiling
School of Computing, Mathematics, and Engineering, Charles Sturt University（计算、数学与工程学院，查尔斯·斯特劳特大学）；School of Dentistry and Medical Sciences, Charles Sturt University（牙科学院与医学科学学院，查尔斯·斯特劳特大学）；AI and Cyber Futures Centre (AICF)（人工智能与未来技术中心（AICF））；Hawkins Clinic General Medical Practice（霍金斯诊所普通医疗实践）
Multimodal Relation Extraction with Cross-Modal Retrieval and Synthesis
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Cambridge（剑桥大学）
M-MRE: Extending the Mutual Reinforcement Effect to Multimodal Information Extraction
Yokohama National University（Yokohama国立大学）；Monash University（墨尔本大学）；Southern University of Science and Technology（南方科技大学）；Hong Kong University of Science and Technology（香港科学大学）；University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所）
Knowledge Graph Extraction from Biomedical Literature for Alkaptonuria Rare Disease
Department of Computer Science, University of Pisa（计算机科学系，比萨大学）；Department of Biotechnology, Chemistry and Pharmacy, University of Siena（生物技术、化学与药学系，锡耶纳大学）；Department of Information Engineering and Mathematics, University of Siena（信息工程与数学系，锡耶纳大学）；Department of Scienze Economiche e Aziendali, University of Sassari（经济与企业科学系，萨萨里大学）；Department of Computer Science and Engineering, University of Bologna（计算机科学与工程系，博洛尼亚大学）
Multimodal Audio-based Disease Prediction with Transformer-based Hierarchical Fusion Network
Purdue University（普渡大学）；Beijing University of Chemical Technology（北京化工大学）；New York University（纽约大学）；University of Cincinnati（辛辛那提大学）；Indiana University（印第安纳大学）
Machine Learning Algorithm for Noise Reduction and Disease-Causing Gene Feature Extraction in Gene Sequencing Data
Health Management Center, Fengtai District Education Committee of Beijing Municipality, China（北京市丰台区教育委员会健康管理中心）；Department of Traditional Chinese Medicine, Beijing Direction Community Health Service Station, China（北京市方向社区卫生服务中心中医科）；Georgia Institute of Technology, USA（佐治亚理工学院）；University of Glasgow, U.K.（格拉斯哥大学）
Multimodal Ordinal Modeling of Alzheimer's Disease Severity Using Structural MRI and Clinical Data
Department of Neuroradiology, LMU University Hospital, Ludwig Maximilian University of Munich（神经放射科，慕尼黑路德维希-马克西米利安大学医院，慕尼黑路德维希-马克西米利安大学）；Department of Psychiatry and Psychotherapy, LMU University Hospital, Ludwig Maximilian University of Munich（精神病学与心理治疗系，慕尼黑路德维希-马克西米利安大学医院，慕尼黑路德维希-马克西米利安大学）
Towards Multimodal Representation Learning in Paediatric Kidney Disease
Institute of Health Informatics（健康信息学研究所）；University College London（伦敦大学学院）；Data Research, Innovation and Virtual Environments Unit（数据研究、创新与虚拟环境单位）；Great Ormond Street Hospital（格雷特奥蒙德医院）；Department of Computer Science（计算机科学系）
A Generative Imputation Method for Multimodal Alzheimer's Disease Diagnosis
School of Electrical and Computer Engineering, Georgia Institute of Technology, Atlanta, GA, USA（电气与计算机工程学院，佐治亚理工学院，亚特兰大，GA，USA）；Courtesy Faculty Appointment, College of Pharmacy, University of Florida, Gainesville, FL, USA（佛罗里达大学药学院荣誉教职）
