Multimodal Deep Learning for Flaw Detection in Software Programs
Sandia National Laboratories(桑迪亚国家实验室)
我们探索使用多个深度学习模型来检测软件程序中的缺陷。当前用于缺陷检测的标准方法依赖于软件程序的单个表示(例如,源代码或程序二进制)。我们说明,通过使用多模态深度学习的技术,我们可以同时利用软件程序的多个表示,以改善单一表示分析的缺陷检测。具体来说,我们从多模态学习文献中改编了三个深度学习模型用于缺陷检测,并演示了这些模型如何优于传统的深度学习模型。我们展示了使用Juliet测试套件和Linux内核检测软件缺陷的结果。
2020-09-09 cs.AI cs.CR cs.LG
DeepVision-103K: A Visually Diverse, Broad-Coverage, and Verifiable Mathematical Dataset for Multimodal Reasoning
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
DeepVision-103K是一个用于多模态推理的视觉多样、覆盖面广且可验证的数学数据集,通过增强模型的视觉反思和推理能力推动多模态推理发展。
2026-02-18 cs.AI cs.LG
Attentive Cross-modal Connections for Deep Multimodal Wearable-based Emotion Recognition
Queen’s University(女王大学);Ingenuity Labs Research Institute(创新实验室研究所)
人类情感的分类在人机系统的设计和改进中起着至关重要的作用。虽然诸如心电图(ECG)和皮肤电活动(EDA)之类的个体生物信号已被广泛用于机器学习方法的情感识别,但多模态方法通常融合提取的特征或最终分类/回归结果以提高性能。为了增强多模态学习,我们提出了一种新的专注的跨模态连接,以在负责学习各个模态的卷积神经网络之间共享信息。具体来说,这些连接通过在EDA和ECG之间共享中间表示来改进情感分类,并将注意力权重应用于共享信息,从而学习更有效的多模态嵌入。我们在WESAD数据集上进行实验,以确定所提出的情感分类方法的最佳配置。我们的实验表明,该方法能够学习强大的多模态表示,并优于一些基线方法。
2021-08-04 cs.LG eess.SP
Analysis of Social Media Data using Multimodal Deep Learning for Disaster Response
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
社交媒体平台中的多媒体内容在灾害事件期间提供了重要信息。共享的信息类型包括受伤或死亡人员、基础设施损坏以及失踪或找到人员等报告。虽然许多研究已经表明文本和图像内容对于灾害响应的目的都是有用的,但过去的研究大多集中在仅分析文本模态。在本文中,我们建议使用社交媒体数据的文本和图像模态,使用最先进的深度学习技术来学习联合表示。具体来说,我们利用卷积神经网络来定义一个具有模态不可知共享表示的多模态深度学习架构。对真实世界灾难数据集的广泛实验表明,所提出的多模态架构比使用单一模态训练的模型(例如,文本或图像)。
2020-04-14 cs.CV cs.CY cs.LG
MIS-AVoiDD: Modality Invariant and Specific Representation for Audio-Visual Deepfake Detection
University of North Texas(北德克萨斯大学)
提出MIS-AVoiDD方法,通过联合模态不变与特定表示解决音视频深度伪造检测中模态差距问题,在FakeAVCeleb和KoDF数据集上分别超越SOTA达17.8%和18.4%的准确率提升。
2023-10-13 cs.AI cs.CV cs.LG
Toxicity Prediction using Deep Learning
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);RISC Software GmbH(RISC软件有限公司)
每天我们都通过食品添加剂、清洁和化妆品以及药物接触到各种化学物质,其中一些可能是有毒的。然而,通过生物实验测试所有现有化合物的毒性在经济上和后勤上都不可行。因此,美国国家卫生研究院、美国环保署和美国食品药品监督管理局在“21世纪毒理学”(Tox21)倡议中发起了Tox21数据挑战。这项挑战的目标是评估计算方法在预测化合物毒性方面的性能。最先进的毒性预测方法建立在几十年来开发的专门设计的化学描述符基础上。虽然深度学习是该领域的新技术,以前从未应用于毒性预测,但它显然优于所有其他参与方法。在这篇应用论文中,我们展示了深度网络自动学习类似于成熟的toxophores的特征。总的来说,我们的深度学习方法赢得了小组挑战(核受体和应激反应)以及整体大挑战,从而为毒性预测树立了新的标准。
2015-03-04 cs.LG cs.NE q-bio.BM
FakeAVCeleb: A Novel Audio-Video Multimodal Deepfake Dataset
Sungkyunkwan University(成均馆大学)
虽然使用深度学习技术在生成deepfake方面取得了重大进展,但其滥用现在是一个众所周知的问题。Deepfakes可能会导致严重的安全和隐私问题,因为它们可以通过将他/她的脸替换为另一个人的脸来在视频中冒充一个人的身份。最近,一个新的问题是生成一个人的合成人声,其中基于AI的深度学习模型可以合成任何人的声音,只需要几秒钟的音频。随着使用deepfake音频和视频的模仿攻击的威胁不断出现,需要新一代的deepfake检测器来集中关注视频和音频。为了开发一个合格的deepfake检测器,通常需要大量的高质量数据来捕获真实世界(或实际)的场景。现有的deepfake数据集包含deepfake视频或音频,这些都是有种族偏见的。因此,开发一个高质量的视频和音频deepfake数据集至关重要,该数据集可用于同时检测音频和视频deepfake。为了填补这一空白,我们提出了一个新的音频-视频Deepfake数据集FakeAVCeleb,它不仅包含deepfake视频,还包含相应的合成假唱假音频。我们使用最流行的deepfake生成方法生成此数据集。我们选择了具有四个种族背景的名人的真实YouTube视频,以开发一个更现实的多模态数据集,以解决种族偏见问题,并进一步帮助开发多模态deepfake检测器。我们使用最先进的检测方法进行了几次实验,以评估我们的deepfake数据集,并展示了我们的多模式音…
2022-03-01 cs.CV cs.MM cs.SD
Efficient Toxicity Prediction via Simple Features Using Shallow Neural Networks and Decision Trees
Griffith University(格里菲斯大学);Novo Informatics Private Limited(诺沃信息私人有限公司)
化合物的毒性预测是一个巨大的挑战。最近,它在准确性方面取得了重大进展,但使用了大量的特征,实现了复杂的黑盒技术,如深度神经网络,并利用了巨大的计算资源。在本文中,我们强烈主张的模型和方法是简单的机器学习的特点,有效的计算资源的使用,并强大的,以达到非常高的精度水平。为了证明这一点,我们开发了一个基于任务的化学毒性预测框架,仅使用计算密集度较低的2D特征。我们有效地使用一个决策树,以获得一个最佳数量的功能,从一个集合的数千人。我们使用一个浅层神经网络,并联合优化它与决策树考虑到网络参数和输入的功能。我们的模型在单个CPU上只需要一分钟的训练时间,而使用深度神经网络的现有方法在NVidia Tesla K40 GPU上需要大约10分钟。然而,我们在几个毒性基准任务上获得了类似或更好的性能。我们还开发了一个累积的功能排名方法,使我们能够识别的功能,可以帮助化学家有效地进行预筛选的有毒化合物。
2019-01-26 cs.LG stat.ML
Combining Deep Learning and Explainable AI for Toxicity Prediction of Chemical Compounds
Analytical Chemistry Department Iuliu Haţieganu University of Medicine;Pharmacy, Cluj-Napoca, Romania acernat.umfcluj.ro
本研究利用DenseNet121处理化合物二维结构图像,结合Grad-CAM可解释技术,在Tox21数据集上实现了有竞争力的毒性预测,兼顾准确性与模型透明度。
2025-10-26 cs.AI cs.LG
Comparison of multi-task convolutional neural network (MT-CNN) and a few other methods for toxicity prediction
Michigan State University(密歇根州立大学)
毒性分析和预测对人类健康和环境保护至关重要。现有的计算方法是建立在各种各样的描述符和回归,这使得他们的性能分析困难。例如,深度神经网络(DNN),在许多情况下是一种成功的方法,就像一个黑盒子,几乎没有概念上的优雅或物理上的理解。目前的工作构建了一个共同的微观描述符的基础上建立的物理模型的电荷,表面积和自由能,以评估多任务卷积神经网络(MT-CNN)架构的性能和其他一些方法,包括随机森林(RF)和梯度提升决策树(GBDT),在平等的基础上。还比较了卷积神经网络(CNN)和非卷积深度神经网络(DNN)算法。四个基准毒性数据集(即,端点)用于评估各种方法。广泛的数值研究表明,目前的MT-CNN架构能够超越最先进的方法。
2017-03-31 cs.LG q-bio.QM stat.ML
Deep Learning Based Regression and Multi-class Models for Acute Oral Toxicity Prediction with Automatic Chemical Feature Extraction
Center for Quantitative Biology, Academy for Advanced Interdisciplinary Studies, Peking University(北京大学前沿交叉学科研究院定量生物学中心);Beijing National Laboratory for Molecular Sciences, State Key Laboratory for Structural Chemistry of Unstable and Stable Species, College of Chemistry and Molecular Engineering, Peking University(北京分子科学国家实验室,不稳定与稳定物种结构化学国家重点实验室,北京大学化学与分子工程学院);Peking-Tsinghua Center for Life Sciences, Peking University(北京大学-清华大学生命科学联合中心)
在化学信息学的定量结构-性质关系(QSPR)研究中,获得化学性质与化学特征之间可解释的关系是非常重要的。然而,QSPR模型的预测能力和可解释性通常是两个难以同时实现的不同目标。使用分子图编码卷积神经网络(MGE-CNN)的深度学习架构提供了一种构建具有高预测能力的可解释QSPR模型的通用策略。代替使用特定于应用的预设分子描述符或指纹,可以使用原始和相关特征来解析模型,而无需手动干预或选择。在这项研究中,我们使用MGE-CNN架构作为案例研究开发了化合物的急性口服毒性(AOT)模型。构建了三种高级预测模型:回归模型(deepAOT-R)、多分类模型(deepAOT-C)和多任务模型(deepAOT-CR)。这些模型大大优于以前报道的模型。对于包含1673种(测试集I)和375种(测试集II)化合物的两个外部数据集,deepAOT-R在测试集I上的R2和平均绝对误差(MAE)分别为0.864和0.195,deepAOT-C在测试集I和II上的预测准确率分别为95.5%和96.3%。对于测试集I,deepAOT-CR的两个外部预测准确度分别为95.0%和94.1%,而R2和MAE分别为0.861和0.204。
2017-05-04 cs.LG q-bio.QM stat.ML
RECAST: Interactive Auditing of Automatic Toxicity Detection Models
Georgia Institute of Technology(佐治亚理工学院);Mailchimp
随着有毒语言在网上变得几乎无处不在,人们越来越关注利用自然语言处理(NLP)的进步,从非常大的Transformer模型到自动检测和删除有毒评论。尽管存在公平性问题,缺乏对抗性鲁棒性,以及深度学习系统的预测可解释性有限,但目前几乎没有工作来审计这些系统并了解它们如何为开发人员和用户工作。我们提出了我们正在进行的工作,RECAST,一个交互式工具,用于检查毒性检测模型,通过可视化解释预测和检测到的有毒语音提供替代措辞。
2020-07-01 cs.CL cs.CY cs.LG
SMILESGNN: Interpretable Clinical Toxicity Prediction via SMILES-Graph Cross-Attention Fusion
National Economics University(国民经济大学);VNU University of Science(越南国立大学自然科学大学)
SMILESGNN通过SMILES与图编码器的交叉注意力融合,在保持高预测性能的同时支持基于图的可解释毒性分析,并在ClinTox和Tox21基准上验证了其有效性。
2026-09-25 cs.AI cs.LG
A survey of multimodal deep generative models
The University of Tokyo(东京大学)
多模态学习是一个用于构建模型的框架,该模型基于不同类型的模态进行预测。多模态学习中的重要挑战是从任意模态中推断共享表示并通过这些表示生成跨模态;然而,实现这一目标需要考虑多模态数据的异构性。近年来,深度生成模型,即,其中分布由深度神经网络参数化的生成模型已经吸引了很多关注,特别是变分自编码器,其适合于完成上述挑战,因为它们可以考虑异质性并推断数据的良好表示。因此,近年来已经提出了各种基于变分自编码器的多模态生成模型,称为多模态深度生成模型。在本文中,我们对多模态深度生成模型的研究进行了分类调查。
2022-07-05 cs.LG stat.ML
Benchmarking graph-based models for in-silico toxicity prediction in drug discovery
Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学智能技术卓越研究中心(CiTIUS))
本研究提出一个统一标准化基准框架,系统评估20多种图深度学习模型在药物发现中的毒性预测性能,并辅以文献分析,提供可靠评估并开源以促进可复现比较。
2026-09-30 cs.LG q-bio.BM q-bio.QM
CoTox: Chain-of-Thought-Based Molecular Toxicity Reasoning and Prediction
Department of Computer Science and Engineering(计算机科学与工程系);AIGEN Sciences(AIGEN公司)
本文提出CoTox框架,将大语言模型与思维链推理结合,融合化学结构、生物通路和基因本体信息进行可解释的多毒性预测,并通过IUPAC命名和细胞生物学背景模拟提升性能,优于传统机器学习和深度学习模型。
2025-11-05 cs.AI cs.LG
Beyond Chemical Language: A Multimodal Approach to Enhance Molecular Property Prediction
IBM Research Brazil(IBM巴西研究院);IBM Research Almaden(IBM阿尔马登研究院)
本文提出多模态模型MULTIMODAL-MOLFORMER,通过因果多阶段特征选择将Mordred物理化学特征与MOLFORMER分子嵌入相融合,在生物降解性和PFAS毒性预测等任务上优于现有最先进算法,并有效降低了特征维度。
2023-06-22 cs.LG physics.chem-ph q-bio.QM
Chemception: A Deep Neural Network with Minimal Chemistry Knowledge Matches the Performance of Expert-developed QSAR/QSPR Models
Pacific Northwest National Laboratory(太平洋西北国家实验室)
在过去的几年里,我们已经看到了深度学习在许多应用中的变革性影响,特别是在语音识别和计算机视觉方面。受Google用于图像分类的Inception-ResNet深度卷积神经网络(CNN)的启发,我们开发了“Chemception”,这是一种用于预测化学性质的深度CNN,仅使用分子的2D绘图图像。我们在开发Chemception时不提供任何额外的明确的化学知识,例如周期性等基本概念,或分子描述符和指纹等高级特征。然后,我们展示了如何Chemception可以作为一个通用的神经网络架构,用于预测毒性,活性和溶剂化性质时,训练一个温和的数据库600至40,000化合物。当与使用ECFP指纹训练的多层感知器(MLP)深度神经网络相比时,Chemception在活性和溶剂化预测方面略胜一筹,在毒性预测方面略逊一筹。在与专家开发的QSAR/QSPR深度学习模型的性能相匹配之后,我们的工作证明了使用深度神经网络来协助计算化学研究的可行性,其中特征工程过程主要由深度学习算法执行。
2017-06-20 cs.AI cs.CE cs.CV
EmbraceNet: A robust deep learning architecture for multimodal classification
Yonsei University(延世大学)
使用多模态数据的分类出现在许多机器学习应用中。这不仅是至关重要的模型跨模态的关系,有效地,而且要确保鲁棒性,防止丢失的部分数据或模态。在本文中,我们提出了一种新的基于深度学习的多模态融合架构的分类任务,它保证与任何类型的学习模型的兼容性,仔细处理跨模态信息,并防止由于部分数据缺失而导致的性能下降。我们使用两个数据集进行多模态分类任务,基于我们的架构和其他最先进的模型构建模型,并分析它们在各种情况下的性能。实验结果表明,当部分数据不可用时,我们的架构优于其他多模态融合架构。
2019-04-19 cs.LG stat.ML
How Much Chemistry Does a Deep Neural Network Need to Know to Make Accurate Predictions?
Pacific Northwest National Lab(太平洋西北国家实验室)
深度学习模型在计算机视觉研究中的迅速崛起,在图像识别任务中达到了人类水平的准确性,这是深度神经网络表示学习影响的有力证据。在化学领域,最近的进展也导致了类似的CNN模型的发展,例如Chemception,它被训练成使用分子图的图像来预测化学性质。在这项工作中,我们研究了系统地删除和添加局部域特定信息的训练数据的图像通道的影响。通过仅用3个额外的基本信息来增强图像,并且不引入任何结构变化,我们证明了增强的Chemception(AugChemception)在预测毒性,活性和溶剂化自由能方面优于原始模型。然后,通过改变图像中的信息内容,并检查所得模型的性能,我们还确定了两种不同的学习模式,预测毒性/活性相比,溶剂化自由能。这些模式表明,Chemception正在以与现有知识一致的方式学习其任务。因此,我们的工作表明,先进的化学知识并不是深度学习模型准确预测复杂化学性质的先决条件。
2018-03-18 cs.AI cs.CV cs.LG
Generalized K-fan Multimodal Deep Model with Shared Representations
University at Buffalo, SUNY(纽约州立大学布法罗分校)
使用深度玻尔兹曼机(DBMs)的多模态学习是一种融合多模态输入的生成方法,并且可以通过对比发散(CD)学习共享表示,用于分类和信息检索任务。然而,它是一个2风扇DBM模型,不能有效地处理多个预测任务。此外,当多个模态缺失时,该模型不能通过从条件分布中采样来很好地恢复隐藏的表示。本文提出了一种K-fan深度结构模型,该模型可以有效地处理多输入多输出的学习问题。特别地,深度结构具有针对不同输入的K分支,其中每个分支可以由多层深度模型组成,并且以区别性的方式学习共享表示以处理多模态任务。给出了深层结构,我们提出了两个目标函数来处理两个多输入和多输出任务:联合视觉恢复和标记,以及多视图多类对象识别任务。为了估计模型参数,我们使用CD初始化深度模型参数以最大化联合分布,然后根据特定的目标函数使用反向传播来更新模型。实验结果表明,该模型可以有效地利用多源信息,并预测多个任务,以及在竞争基线。
2015-03-26 cs.LG stat.ML
Integration-free Training for Spatio-temporal Multimodal Covariate Deep Kernel Point Processes
Hangzhou Dianzi University(杭州电子科技大学);Alibaba Group(阿里巴巴集团);Renmin University of China(中国人民大学)
本研究提出融合多模态协变量的深度核混合点过程模型DKMPP,采用基于得分匹配的无积分方法解决训练难题,实验证明其性能优于基线模型。
2023-10-09 cs.LG stat.ML
MHVAE: a Human-Inspired Deep Hierarchical Generative Model for Multimodal Representation Learning
INESC-ID(INESC-ID(葡萄牙系统与计算机工程研究所))
人类能够创造丰富的表征他们的外部现实。它们的内部表征允许跨模态推理,其中可用的感知可以诱导缺失输入模态的感知体验。在本文中,我们贡献的多模态分层变分自动编码器(MHVAE),一个分层的多模态生成模型的表示学习。受人类认知模型的启发,MHVAE能够学习任意数量的模态的特定模态分布,以及负责跨模态推理的联合模态分布。我们正式推导出模型的证据下限,并提出了一种新的方法来近似联合模态后验的基础上模态特定的表示辍学。我们在标准多模态数据集上评估MHVAE。我们的模型表现与其他国家的最先进的生成模型关于联合模态重建从任意输入模态和跨模态推理。
2020-06-04 cs.LG stat.ML
A C++ library for Multimodal Deep Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
MDL,Multimodal深度学习库,是一个支持多个模型的深度学习框架,本文解释了它的原理和功能。MDL在Linux、Mac和Unix平台上运行。这取决于OpenCV。
2016-04-12 cs.LG
Learning Social Image Embedding with Deep Multimodal Attention Networks
Beihang University(北京航空航天大学);Microsoft Research(微软研究院);National Computer Network Emergency Response Technical Team/Coordination Center of China(国家计算机网络应急技术处理协调中心)
基于深度模型的社交媒体数据嵌入学习已经引起了广泛的研究兴趣,并在链接预测、分类、跨模态搜索等方面得到了广泛的应用。然而,对于包含链接信息和多模态内容两者的社交图像(例如,文本描述和视觉内容),简单地采用从网络结构或数据内容学习的嵌入导致次优的社交图像表示。在本文中,我们提出了一种新的社交图像嵌入方法,称为深度多模态注意力网络(DMAN),它采用深度模型来联合嵌入多模态内容和链接信息。具体来说,为了有效地捕捉多模态内容之间的相关性,我们提出了一个多模态注意力网络来编码图像区域和文本单词之间的细粒度关系。为了利用网络结构进行嵌入学习,提出了一种新的Siamese-Triplet神经网络来建模图像之间的链接。利用联合深度模型,学习的嵌入可以捕获多模态内容和非线性网络信息。大量的实验进行了调查,我们的方法在多标签分类和跨模态搜索的应用程序的有效性。与最先进的图像嵌入相比,我们提出的DMAN在多标签分类和跨模态搜索任务方面取得了显着的改进。
2017-10-18 cs.LG cs.MM stat.ML
ProtoMol: Enhancing Molecular Property Prediction via Prototype-Guided Multimodal Learning
MBZUAI(穆扎芬人工智能研究所);University of Zhengzhou(郑州大学);HKUST(香港科技大学);University of Aberdeen(爱丁堡大学);MBZUAI, Weizmann Institute of Science(穆扎芬人工智能研究所、威斯曼科学研究所)
针对现有分子图-文本多模态方法层级交互不足和缺乏统一对齐空间的问题,提出 ProtoMol 框架,通过层级双向跨模态注意力与类别原型共享空间提升分子性质预测性能。
2025-10-19 cs.LG q-bio.MN
Measuring AI Progress in Drug Discovery: A Reproducible Leaderboard for the Tox21 Challenge
ELLIS Unit Linz and LIT AI Lab, Institute for Machine Learning(ELLIS单位林茨和LIT AI实验室,机器学习研究所);Clinical Research Institute for Medical AI(医学人工智能临床研究 institutes);Johannes Kepler University(约翰·开普勒大学)
针对Tox21数据集整合后可比性丧失导致药物发现AI进展不明的问题,本文在Hugging Face上构建原始数据集的可复现排行榜并提供基线方法,发现十年间毒性预测未取得实质性进展,同时开放模型供公开推理。
2025-11-18 cs.LG
EmbraceNet for Activity: A Deep Multimodal Fusion Architecture for Activity Recognition
Yonsei University(延世大学)
使用多个传感器的人体活动识别是近几十年来一个具有挑战性但有前途的任务。在本文中,我们提出了一个深度多模态融合模型的活动识别的基础上最近提出的特征融合架构命名为EmbraceNet。我们的模型独立处理每个传感器数据,将特征与EmbraceNet架构相结合,并对融合的特征进行后处理以预测活动。此外,我们还提出了额外的流程来提高模型的性能。我们将从我们提出的模型中获得的结果提交给SHL识别挑战,团队名称为“Yonsei-MCML”。"
2020-04-29 cs.LG eess.SP stat.ML
Variational methods for Conditional Multimodal Deep Learning
Indian Institute of Science(印度科学理工学院)
在本文中,我们解决的问题,条件模态学习,其中一个有兴趣在生成一个模态给定的其他。虽然使用深度多模态架构学习多模态的联合分布很简单,但我们观察到这些模型在条件生成方面不是很有效。因此,我们通过学习模态之间的条件分布来解决这个问题。我们使用变分方法最大化相应的条件对数似然。由此产生的深度模型,我们称之为条件多模态自动编码器(CMMA),迫使单独从单个模态获得的潜在表示“接近”从多个模态获得的联合表示。我们使用所提出的模型来生成属性的面孔。我们表明,使用所提出的模型从属性中生成的人脸,在定性和定量上比其他深度生成模型更能代表它们生成的属性。我们还提出了一个次要的任务,即现有的面孔修改相应的属性进行修改。我们观察到,所提出的模型中引入的面的修改是相应的修改属性的代表。
2016-08-26 cs.CV cs.LG stat.ML
Factorized Inference in Deep Markov Models for Incomplete Multimodal Time Series
A*STAR(新加坡科技研究局);MIT(麻省理工学院);National University of Singapore(新加坡国立大学)
将深度学习与潜在的状态空间模型相结合,有可能产生功能强大、易于处理和解释的时间模型。不幸的是,目前的模型并没有设计用于处理丢失的数据或多种数据模式,这两者在现实世界的数据中都很普遍。在这项工作中,我们引入了一种多模态深度马尔可夫模型(MDMMs)的因子分解推理方法,使我们能够在存在缺失数据的情况下进行过滤和平滑,同时还可以执行不确定性感知的多模态融合。我们通过对后验p(z)进行因式分解来推导该方法。|x)对于非线性状态空间模型,并开发了用于推理的变分向后-向前算法。由于我们的方法处理时间和模态上的不完整性,因此它能够对多模态时间序列进行内插、外推、条件生成、标签预测和弱监督学习。我们在高水平的数据删除下,在合成和真实世界的多模态数据上展示了这些功能。我们的方法即使在缺失数据超过50%的情况下也表现良好,并且在潜在时间序列中的推理方面优于现有的深度方法。
2019-11-22 cs.AI cs.LG cs.NE
ModalSurv: Investigating opportunities and limitations of multimodal deep survival learning in prostate and bladder cancer
TIA Centre, Department of Computer Science, University of Warwick, UK(沃里克大学计算机科学系TIA中心,英国)
ModalSurv通过多模态数据整合提升生存预测,但在外部测试中临床特征表现更优,揭示了多模态对齐的挑战和泛化能力的限制。
2025-12-18 cs.LG
Multimodal deep learning approach for joint EEG-EMG data compression and classification
University of British Columbia(不列颠哥伦比亚大学)
在本文中,我们提出了一个联合的压缩和分类方法的EEG和EMG信号使用深度学习的方法。具体来说,我们建立我们的系统的基础上,深度自动编码器架构,其设计不仅提取判别特征的多模态数据表示,但也重建数据的潜在表示使用编码器-解码器层。由于自动编码器可以被看作是一种压缩方法,我们将其扩展到在编码器层处理多模态数据,在解码器层重建和检索。我们通过实验结果表明,利用多模态数据intercorellation和intracorellation 1)显着减少信号失真,特别是对于高压缩水平2)实现更好的准确性,在分类EEG和EMG信号记录和标记根据志愿者的情绪。
2017-03-27 cs.LG
Multimodal Deep Learning for Mental Disorders Prediction from Audio Speech Samples
Dalhousie University(达尔豪斯大学);Kinaxis Inc.(Kinaxis公司)
精神疾病的主要特征反映在言语中。我们的研究重点是设计一种多模态深度学习结构,该结构可以从记录的语音样本中自动提取显著特征,用于预测各种精神障碍,包括抑郁症,躁郁症和精神分裂症。我们采用各种预训练模型来从音频和文本片段中提取嵌入。我们使用了几种最先进的嵌入技术,包括用于文本表示学习的BERT、FastText和Doc 2 VecC,以及用于音频编码的WaveNet和VGG-ish模型。我们还利用巨大的辅助情感标记的文本和音频语料库来训练特定于情感的嵌入,并使用迁移学习来解决可用的注释多模态数据不足的问题。所有这些嵌入,然后组合成一个联合表示在一个多模态融合层,最后一个递归神经网络被用来预测的精神障碍。我们的研究结果表明,精神障碍可以通过临床访谈的多模态分析预测可接受的准确性。
2020-04-13 cs.LG cs.SD eess.AS
Multimodal Emotion Recognition Using Multimodal Deep Learning
Center for Brain-like Computing and Machine Intelligence(类脑计算与机器智能中心);Department of Computer Science and Engineering(计算机科学与工程系);Shanghai Jiao Tong University(上海交通大学)
为了提高情感模型的性能并降低获取生理信号的成本,我们采用多模态深度学习方法从多个生理信号中构建情感模型。对于单峰增强任务,我们指出,通过深度自动编码器(DAE)模型生成的共享表示,在SEED数据集上实现了82.11%的最佳识别准确率。对于多模态促进任务,我们证明了双模态深度自动编码器(BDAE)在SEED和DEAP数据集上分别实现了91.01%和83.25%的平均准确率,这远远优于最先进的方法。对于跨模态学习任务,我们的实验结果表明,通过基于EEG的DAE作为训练样本生成的共享表示和基于眼睛的DAE作为测试样本生成的共享表示,在SEED数据集上实现了66.34%的平均准确率,反之亦然。
2016-02-26 cs.CV cs.HC cs.LG
Multimodal Deep Neural Networks using Both Engineered and Learned Representations for Biodegradability Prediction
Pacific Northwest National Lab (PNNL)(西北太平洋国家实验室);University of Washington (UW)(华盛顿大学)
深度学习算法擅长从原始数据中提取模式,对于大型数据集,它们在计算机视觉和自然语言应用中非常成功。然而,在其他领域中,可能不存在从中学习表示的大型数据集。在这项工作中,我们开发了一种新的多模态CNN-MLP神经网络架构,利用特定领域的特征工程以及从原始数据中学习的表示。我们说明了这种网络设计在化学科学中的有效性,用于预测生物降解性。DeepBioD是一种多模式CNN-MLP网络,比任何一种独立网络设计都更准确,并且实现了0.125的错误分类率,比当前最先进的技术低27%。因此,我们的工作表明,将传统的特征工程与表示学习相结合是有效的,特别是在标记数据有限的情况下。
2018-09-13 cs.AI cs.CV cs.LG
A Review on Methods and Applications in Multimodal Deep Learning
Zhejiang University(浙江大学);East China Normal University(华东师范大学)
深度学习已经实现了广泛的应用,近年来变得越来越流行。多模态深度学习(MMDL)的目标是创建可以使用各种模态处理和链接信息的模型。尽管单模态学习得到了广泛的发展,但它仍然不能涵盖人类学习的所有方面。当各种感官参与信息处理时,多模态学习有助于更好地理解和分析。本文着重于多种形式,即,图像、视频、文本、音频、身体姿势、面部表情和生理信号。详细分析了过去五年(2017年至2021年)多模态深度学习应用的基线方法和最新进展。提出了各种多模态深度学习方法的细粒度分类,更深入地阐述了不同的应用。最后,每个领域的主要问题分别突出,以及他们可能的未来研究方向。
2022-02-18 cs.LG cs.MM
Supervised Deep Multimodal Matrix Factorization for Interpretable Brain Network Analysis
Dept. of Mathematics & Operational Research University of Mons(数学与运筹学系蒙斯大学);Dept. of Computer Science & Engineering Lehigh University(计算机科学与工程系莱斯大学);Dept. of Industrial & Systems Engineering Lehigh University(工业与系统工程系莱斯大学)
本文提出SD3MF框架,通过深度层次分解和共享潜在表示整合多模态脑网络数据,实现可解释的群体预测。实验表明SD3MF在多模态连接组数据上优于CNN和GNN等基线模型。
2026-09-28 cs.LG
Deep Multimodal Neural Architecture Search
Hangzhou Dianzi University(杭州电子科技大学);Hefei University of Technology(合肥工业大学);The University of Sydney(悉尼大学);Huawei Cloud & AI(华为云与人工智能)
设计有效的神经网络在深度多模态学习中至关重要。现有的大多数工作集中在一个单一的任务和人工设计的神经架构,这是高度特定于任务,很难推广到不同的任务。在本文中,我们设计了一个广义的深度多模态神经架构搜索(MMnas)框架,用于各种多模态学习任务。给定多模态输入,我们首先定义一组原语操作,然后构建一个基于深度编码器-解码器的统一主干,其中每个编码器或解码器块对应于从预定义操作池中搜索的操作。在统一的主干之上,我们附加了特定任务的头来处理不同的多模态学习任务。通过使用基于梯度的NAS算法,有效地学习不同任务的最佳架构。广泛的消融研究,综合分析和比较实验结果表明,所获得的MMnasNet显着优于现有的国家的最先进的方法在三个多模态学习任务(超过五个数据集),包括视觉问答,图像-文本匹配,视觉接地。
2020-10-11 cs.CL cs.CV cs.LG
Self-Supervised Neural Architecture Search for Multimodal Deep Neural Networks
Kagoshima University(鹿儿岛大学)
本文提出了一种自监督学习方法,用于多模态深度神经网络的架构搜索,能够在未标记数据上有效设计DNN架构。
2025-12-31 cs.LG cs.NE
Multimodal Deep Unfolding for Guided Image Super-Resolution
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
针对引导图像超分辨率任务,提出融入稀疏先验的多模态深度展开框架,兼具可解释性与性能优势,在多类图像超分任务中优于现有最优方法。
2020-01-21 cs.CV cs.LG eess.IV
Multimodal Data Integration for Oncology in the Era of Deep Neural Networks: A Review
Moffitt Cancer Center(莫菲特癌症中心);Rowan University(罗文大学)
本文综述了深度神经网络时代肿瘤学中多模态数据整合的最新进展,重点分析了图神经网络和Transformers在多模态数据融合中的应用,并探讨了其基础、挑战与机遇。
2024-03-28 cs.LG
Deep Multimodal Transfer-Learned Regression in Data-Poor Domains
Texas A&M University(德克萨斯农工大学);Army Research Lab(陆军研究实验室)
在深度学习的许多现实应用中,目标的估计可能依赖于各种类型的输入数据模式,例如音频-视频、图像-文本等。在这里,我们提出了一种深度多模态转移学习回归器(DMTL-R),用于在深度回归架构中对图像和特征数据进行多模态学习,有效地预测数据贫乏领域的目标参数。我们的模型能够在少量训练图像数据上微调给定的一组预训练CNN权重,同时在网络训练期间对来自互补数据模式的特征信息进行调节,从而产生比单独使用图像或特征更准确的单目标或多目标回归。我们使用相场模拟微观结构图像与一组附带的物理特征,使用来自各种知名的CNN架构的预训练权重,展示了所提出的多模态方法的有效性。
2020-06-16 cs.CV cs.LG
Understanding Unimodal Bias in Multimodal Deep Linear Networks
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院);Sainsbury Wellcome Centre(桑斯伯里惠康中心)
本文利用多模态深度线性网络研究单模态偏置问题,首次推导出单模态阶段持续时间与融合深度、数据统计和初始化的函数关系,发现深层融合会导致更长的单模态阶段及永久性偏置。
2024-06-02 cs.LG
Deep Multimodal Learning with Missing Modality: A Survey
The Australian National University(澳大利亚国立大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Adelaide University(阿德莱德大学);The University of Surrey(萨里大学)
本文综述了缺失模态下的多模态学习方法,分析了其动机、技术细节、应用及挑战,为该领域的发展提供了全面的视角。
2026-02-04 cs.AI cs.CV cs.LG
Rethinking Multimodality: Optimizing Multimodal Deep Learning for Biomedical Signal Classification
Morgan State University(摩根州立大学);Yale University(耶鲁大学)
本研究通过五种模型对比,证明生物医学信号分类中多模态融合效果取决于域间信息论互补性而非模态数量,并提出量化框架指导最优融合。
2025-08-01 cs.AI cs.LG
Deep Metric Loss for Multimodal Learning
Gwangju Institute of Science and Technology(光州科学技术院)
本文提出 MultiModal 损失,依据各单模态对预测的贡献对实例分组,以缓解过拟合并优化多模态模型,在合成数据和四个真实数据集上验证了性能提升。
2023-08-21 cs.AI cs.LG
Multimodal Deep Learning for Finance: Integrating and Forecasting International Stock Markets
Sejong University(世宗大学)
在当今日益国际化的经济中,国际股票市场的回报和波动溢出效应是股票动态的主要宏观经济驱动力。因此,有关外国市场的信息是预测国内股票价格的最重要因素之一。然而,国内和国外市场之间的相互关系非常复杂。因此,很难用动力学方程明确地表达这种互相关。在这项研究中,我们使用多模态深度学习开发了可以共同考虑国际市场的股票收益预测模型。我们的贡献有三个方面:(1)我们通过散点图可视化韩国和美国股票市场之间的传递信息;(2)我们在多模态深度学习的帮助下将信息纳入股票预测模型;(3)我们最终证明,与后期融合和单一模态模型相比,早期和中期融合模型实现了显着的性能提升。我们的研究表明,联合考虑国际股票市场可以提高预测精度,深度神经网络对此类任务非常有效。
2019-09-19 cs.LG q-fin.CP
A Multimodal Deep Learning Framework for Early Diagnosis of Liver Cancer via Optimized BiLSTM-AM-VMD Architecture
Department of Encephalopathy, Chengdu Pidu District Hospital of Traditional Chinese Medicine, Chengdu 611730, China(成都Pidu区中医医院神经病科);Department of Tuina, Chengdu Pidu District Hospital of Traditional Chinese Medicine, Chengdu 611730, China(成都Pidu区中医医院推拿科);Department of Electrical and Computer Engineering, Carnegie Mellon University, Pittsburgh, PA 15213, USA(卡内基梅隆大学电气与计算机工程系)
本研究提出整合BiLSTM、多头注意力与VMD的多模态深度学习框架,利用多类异质数据实现肝癌早期诊断,在真实数据集上性能优于传统及基线模型,兼具准确率与可解释性。
2025-09-01 cs.LG eess.IV
A multimodal deep learning framework for scalable content based visual media retrieval
University of Waterloo(滑铁卢大学)
我们提出了一种新颖的,高效的,模块化和可扩展的框架,基于内容的视觉媒体检索系统,利用深度学习的力量,这是灵活的工作,无论是图像和视频结合,我们还介绍了一个有效的比较和过滤检索指标。我们提出了我们的研究结果,从关键的性能测试比较我们的方法,以证明所提出的解决方案的可行性和效率与最佳实践,可能的改进,可能进一步增强检索架构的能力。
2021-05-18 cs.CV cs.LG
Training an Interactive Humanoid Robot Using Multimodal Deep Reinforcement Learning
University of Lincoln(林肯大学);University of Toulouse III(图卢兹第三大学)
训练机器人使用多种模式进行感知、行动和通信仍然是一个具有挑战性的问题,特别是如果机器人希望从少量的示例交互中有效学习的话。我们描述了一种学习方法,作为朝着这个方向迈出的一步,我们教一个人形机器人如何玩零和十字架的游戏。考虑到可以训练多种多模态技能来玩这个游戏,我们将注意力集中在训练机器人感知游戏,并在这个游戏中进行交互。我们的多模态深度强化学习代理感知多模态特征,并在玩耍时表现出言语和非言语动作。使用模拟的实验结果表明,机器人可以学习赢得或绘制高达98%的游戏。一个试点测试所提出的多模式系统的目标游戏-整合语音,视觉和手势-报告,合理和流畅的互动,可以实现使用所提出的方法。
2016-11-26 cs.AI cs.LG cs.RO
Images Don't Lie: Transferring Deep Visual Semantic Features to Large-Scale Multimodal Learning to Rank
Etsy
搜索是现代电子商务的核心。因此,自动对搜索结果进行排序(学习排序)的任务是一个价值数十亿美元的机器学习问题。传统模型基于项目的文本对一些手工构建的特征进行优化。在本文中,我们介绍了一种多模态学习排序模型,该模型将这些传统特征与从深度卷积神经网络转移的视觉语义特征相结合。在一个大规模的实验中,使用来自在线市场Etsy的数据,我们验证了移动到多模态表示显着提高排名质量。我们展示了如何图像功能可以捕获细粒度的风格信息,而不是在纯文本表示。此外,我们展示了图像信息如何成功地解开高度不同的项目,排名相似的纯文本模型对具体的例子。
2015-11-20 cs.CV cs.LG
A Hybrid Method for Traffic Flow Forecasting Using Multimodal Deep Learning
School of Information Science and Technology, National Engineering Laboratory of Integrated Transportation Big Data Application Technology(信息科学与技术学院,集成交通大数据应用技术国家工程实验室);Department of Computer Science and Information Engineering, National Taiwan University of Science and Technology(计算机科学与工程系,台湾大学科技学院)
本文提出了一种混合多模态深度学习方法,用于短期交通流预测,通过注意力辅助多模态深度学习架构联合和自适应学习多模态交通数据的空间时间相关特征和长期时间依赖性。
2019-03-19 cs.LG cs.SY eess.SY
An Audio-Video Deep and Transfer Learning Framework for Multimodal Emotion Recognition in the wild
Ulm University(乌尔姆大学);ITMO University(圣彼得堡国立信息技术机械与光学大学);St. Petersburg Federal Research Center of the Russian Academy of Sciences(俄罗斯科学院圣彼得堡联邦研究中心);Utrecht University(乌得勒支大学)
在本文中,我们提出了我们的贡献ABAW面部表情的挑战。我们报告了拟议的系统和遵守挑战协议的正式挑战结果。使用端到端深度学习并受益于迁移学习方法,我们达到了42.10%的测试集挑战性能指标。
2020-11-02 cs.LG cs.SD eess.AS
Multimodal Image Super-resolution via Deep Unfolding with Side Information
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
深度学习方法已成功应用于各种计算机视觉任务。然而,现有的神经网络架构本身并不包含关于所解决问题的领域知识,因此,理解模型已经学习到的内容是一个开放的研究课题。在本文中,我们依赖于一种迭代算法的展开,用于稀疏近似和边信息,并设计了一种用于多模态图像超分辨率的深度学习架构,该架构结合了稀疏先验并有效地利用了来自另一种图像模态的信息。我们开发了两种深度模型,在第二种模态的高分辨率图像的帮助下,从其低分辨率变体重建目标图像模态的高分辨率图像。我们将所提出的模型应用于超分辨率近红外图像,使用高分辨率RGB图像作为边信息。实验结果表明,所提出的模型对国家的最先进的方法,包括单峰和多峰的方法的优越性能。
2019-10-18 cs.CV cs.LG eess.IV