EmbraceNet: A robust deep learning architecture for multimodal classification
Yonsei University(延世大学)
使用多模态数据的分类出现在许多机器学习应用中。这不仅是至关重要的模型跨模态的关系,有效地,而且要确保鲁棒性,防止丢失的部分数据或模态。在本文中,我们提出了一种新的基于深度学习的多模态融合架构的分类任务,它保证与任何类型的学习模型的兼容性,仔细处理跨模态信息,并防止由于部分数据缺失而导致的性能下降。我们使用两个数据集进行多模态分类任务,基于我们的架构和其他最先进的模型构建模型,并分析它们在各种情况下的性能。实验结果表明,当部分数据不可用时,我们的架构优于其他多模态融合架构。
2019-04-19 cs.LG stat.ML
Generalized K-fan Multimodal Deep Model with Shared Representations
University at Buffalo, SUNY(纽约州立大学布法罗分校)
使用深度玻尔兹曼机(DBMs)的多模态学习是一种融合多模态输入的生成方法,并且可以通过对比发散(CD)学习共享表示,用于分类和信息检索任务。然而,它是一个2风扇DBM模型,不能有效地处理多个预测任务。此外,当多个模态缺失时,该模型不能通过从条件分布中采样来很好地恢复隐藏的表示。本文提出了一种K-fan深度结构模型,该模型可以有效地处理多输入多输出的学习问题。特别地,深度结构具有针对不同输入的K分支,其中每个分支可以由多层深度模型组成,并且以区别性的方式学习共享表示以处理多模态任务。给出了深层结构,我们提出了两个目标函数来处理两个多输入和多输出任务:联合视觉恢复和标记,以及多视图多类对象识别任务。为了估计模型参数,我们使用CD初始化深度模型参数以最大化联合分布,然后根据特定的目标函数使用反向传播来更新模型。实验结果表明,该模型可以有效地利用多源信息,并预测多个任务,以及在竞争基线。
2015-03-26 cs.LG stat.ML
Integration-free Training for Spatio-temporal Multimodal Covariate Deep Kernel Point Processes
Hangzhou Dianzi University(杭州电子科技大学);Alibaba Group(阿里巴巴集团);Renmin University of China(中国人民大学)
本研究提出融合多模态协变量的深度核混合点过程模型DKMPP,采用基于得分匹配的无积分方法解决训练难题,实验证明其性能优于基线模型。
2023-10-09 cs.LG stat.ML
MHVAE: a Human-Inspired Deep Hierarchical Generative Model for Multimodal Representation Learning
INESC-ID(INESC-ID(葡萄牙系统与计算机工程研究所))
人类能够创造丰富的表征他们的外部现实。它们的内部表征允许跨模态推理,其中可用的感知可以诱导缺失输入模态的感知体验。在本文中,我们贡献的多模态分层变分自动编码器(MHVAE),一个分层的多模态生成模型的表示学习。受人类认知模型的启发,MHVAE能够学习任意数量的模态的特定模态分布,以及负责跨模态推理的联合模态分布。我们正式推导出模型的证据下限,并提出了一种新的方法来近似联合模态后验的基础上模态特定的表示辍学。我们在标准多模态数据集上评估MHVAE。我们的模型表现与其他国家的最先进的生成模型关于联合模态重建从任意输入模态和跨模态推理。
2020-06-04 cs.LG stat.ML
Learning Relationships between Text, Audio, and Video via Deep Canonical Correlation for Multimodal Language Analysis
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Curai(Curai公司)
多模态语言分析通常考虑基于文本的特征与基于声学和视觉特性的特征之间的关系。文本特征通常在情感分析或情感识别任务中优于非文本特征,部分原因是文本特征源自在海量数据源上训练的高级语言模型或词嵌入,而音频和视频特征是人工设计的并且相对不发达。考虑到文本、音频和视频以不同的方式描述相同的话语,我们假设可以通过学习(隐藏)从文本和音频的外积(我们称之为基于文本的音频)和类似的基于文本的视频中提取的特征之间的相关性来改进多模态情感分析和情感识别。本文提出了一种新的模型,交互典型相关网络(ICCN),学习这样的多模态嵌入。ICCN通过深度典型相关分析(DCCA)学习所有三种模式之间的相关性,然后在几个基准数据集上测试所提出的嵌入,并与其他最先进的多模态嵌入算法进行比较。经验结果和消融研究证实了ICCN在从所有三个视图捕获有用信息方面的有效性。
2019-11-30 cs.LG stat.ML
A C++ library for Multimodal Deep Learning
Johns Hopkins University(约翰斯·霍普金斯大学)
MDL,Multimodal深度学习库,是一个支持多个模型的深度学习框架,本文解释了它的原理和功能。MDL在Linux、Mac和Unix平台上运行。这取决于OpenCV。
2016-04-12 cs.LG
Generalized Bilinear Deep Convolutional Neural Networks for Multimodal Biometric Identification
West Virginia University(西弗吉尼亚大学)
在本文中,我们建议采用一组模态专用卷积神经网络(CNN),融合,训练,并将它们优化在一起,用于人员分类任务。模态专用的CNN用于每个模态以提取模态特定的特征。我们证明,与卷积层的空间融合不同,融合可以在特定模态CNN的全连接层的输出上执行,而不会损失任何性能,并且参数数量显著减少。我们表明,在特征级别使用具有多模态融合的多个CNN,我们的性能显着优于使用单模态表示的系统。我们研究加权特征,双线性,紧凑的双线性特征级融合算法的多模态生物特征的人识别。最后,我们提出了一种广义紧双线性融合算法,将加权特征融合和紧双线性融合结合起来。我们提供了三个具有挑战性的数据库:CMU多PIE,BioCop和BIOMDATA的算法的结果。
2018-07-03 cs.LG stat.ML
Learning Social Image Embedding with Deep Multimodal Attention Networks
Beihang University(北京航空航天大学);Microsoft Research(微软研究院);National Computer Network Emergency Response Technical Team/Coordination Center of China(国家计算机网络应急技术处理协调中心)
基于深度模型的社交媒体数据嵌入学习已经引起了广泛的研究兴趣,并在链接预测、分类、跨模态搜索等方面得到了广泛的应用。然而,对于包含链接信息和多模态内容两者的社交图像(例如,文本描述和视觉内容),简单地采用从网络结构或数据内容学习的嵌入导致次优的社交图像表示。在本文中,我们提出了一种新的社交图像嵌入方法,称为深度多模态注意力网络(DMAN),它采用深度模型来联合嵌入多模态内容和链接信息。具体来说,为了有效地捕捉多模态内容之间的相关性,我们提出了一个多模态注意力网络来编码图像区域和文本单词之间的细粒度关系。为了利用网络结构进行嵌入学习,提出了一种新的Siamese-Triplet神经网络来建模图像之间的链接。利用联合深度模型,学习的嵌入可以捕获多模态内容和非线性网络信息。大量的实验进行了调查,我们的方法在多标签分类和跨模态搜索的应用程序的有效性。与最先进的图像嵌入相比,我们提出的DMAN在多标签分类和跨模态搜索任务方面取得了显着的改进。
2017-10-18 cs.LG cs.MM stat.ML
EmbraceNet for Activity: A Deep Multimodal Fusion Architecture for Activity Recognition
Yonsei University(延世大学)
使用多个传感器的人体活动识别是近几十年来一个具有挑战性但有前途的任务。在本文中,我们提出了一个深度多模态融合模型的活动识别的基础上最近提出的特征融合架构命名为EmbraceNet。我们的模型独立处理每个传感器数据,将特征与EmbraceNet架构相结合,并对融合的特征进行后处理以预测活动。此外,我们还提出了额外的流程来提高模型的性能。我们将从我们提出的模型中获得的结果提交给SHL识别挑战,团队名称为“Yonsei-MCML”。"
2020-04-29 cs.LG eess.SP stat.ML
Using Neural Architecture Search for Improving Software Flaw Detection in Multimodal Deep Learning Models
Sandia National Laboratories(桑迪亚国家实验室)
使用多模态深度学习模型的软件缺陷检测已被证明是基准问题上非常有竞争力的方法。在这项工作中,我们证明了使用神经架构搜索(NAS)与多模态学习模型相结合可以实现更好的性能。我们适应的NAS框架,旨在调查图像分类的问题,软件缺陷检测和证明朱丽叶测试套件,一个流行的基准测试数据集,用于测量性能的机器学习模型在这个问题域的改进结果。
2020-09-22 cs.AI cs.CR cs.LG
Variational methods for Conditional Multimodal Deep Learning
Indian Institute of Science(印度科学理工学院)
在本文中,我们解决的问题,条件模态学习,其中一个有兴趣在生成一个模态给定的其他。虽然使用深度多模态架构学习多模态的联合分布很简单,但我们观察到这些模型在条件生成方面不是很有效。因此,我们通过学习模态之间的条件分布来解决这个问题。我们使用变分方法最大化相应的条件对数似然。由此产生的深度模型,我们称之为条件多模态自动编码器(CMMA),迫使单独从单个模态获得的潜在表示“接近”从多个模态获得的联合表示。我们使用所提出的模型来生成属性的面孔。我们表明,使用所提出的模型从属性中生成的人脸,在定性和定量上比其他深度生成模型更能代表它们生成的属性。我们还提出了一个次要的任务,即现有的面孔修改相应的属性进行修改。我们观察到,所提出的模型中引入的面的修改是相应的修改属性的代表。
2016-08-26 cs.CV cs.LG stat.ML
ModalSurv: Investigating opportunities and limitations of multimodal deep survival learning in prostate and bladder cancer
TIA Centre, Department of Computer Science, University of Warwick, UK(沃里克大学计算机科学系TIA中心,英国)
ModalSurv通过多模态数据整合提升生存预测,但在外部测试中临床特征表现更优,揭示了多模态对齐的挑战和泛化能力的限制。
2025-12-18 cs.LG
Multimodal deep learning approach for joint EEG-EMG data compression and classification
University of British Columbia(不列颠哥伦比亚大学)
在本文中,我们提出了一个联合的压缩和分类方法的EEG和EMG信号使用深度学习的方法。具体来说,我们建立我们的系统的基础上,深度自动编码器架构,其设计不仅提取判别特征的多模态数据表示,但也重建数据的潜在表示使用编码器-解码器层。由于自动编码器可以被看作是一种压缩方法,我们将其扩展到在编码器层处理多模态数据,在解码器层重建和检索。我们通过实验结果表明,利用多模态数据intercorellation和intracorellation 1)显着减少信号失真,特别是对于高压缩水平2)实现更好的准确性,在分类EEG和EMG信号记录和标记根据志愿者的情绪。
2017-03-27 cs.LG
Multimodal Deep Learning for Flaw Detection in Software Programs
Sandia National Laboratories(桑迪亚国家实验室)
我们探索使用多个深度学习模型来检测软件程序中的缺陷。当前用于缺陷检测的标准方法依赖于软件程序的单个表示(例如,源代码或程序二进制)。我们说明,通过使用多模态深度学习的技术,我们可以同时利用软件程序的多个表示,以改善单一表示分析的缺陷检测。具体来说,我们从多模态学习文献中改编了三个深度学习模型用于缺陷检测,并演示了这些模型如何优于传统的深度学习模型。我们展示了使用Juliet测试套件和Linux内核检测软件缺陷的结果。
2020-09-09 cs.AI cs.CR cs.LG
Human Action Recognition Using Deep Multilevel Multimodal (M2) Fusion of Depth and Inertial Sensors
多年来,已经提出了使用深度和惯性传感器数据的用于人类动作识别(HAR)的多模态融合框架。在大多数现有的作品中,融合是在一个单一的水平(特征级或决策级),错过了机会融合丰富的中级功能,更好的分类。为了解决这个问题,在本文中,我们提出了三种新的深度多级多模态融合框架,利用不同的融合策略在不同的阶段,并利用多级融合的优势。在输入时,我们将深度数据转换为称为序列前视图图像(SFI)的深度图像,并将惯性传感器数据转换为信号图像。通过与Prewitt滤波器进行卷积,进一步使每个输入模态(深度和惯性)成为多模态。创建“模态中的模态”使得能够通过卷积神经网络(CNN)进行进一步的互补和区分特征提取。CNN在每种模态的输入图像上进行训练,以学习低级,高级和复杂的特征。在所提出的框架的不同阶段提取和融合学习特征,以结合鉴别和互补信息。这些高度信息化的特征被用作多类支持向量机(SVM)的输入。我们在三个公开的多模态HAR数据集上评估了所提出的框架,即UTD多模态人类动作数据集(MHAD),伯克利MHAD和UTD-MHAD Kinect V2。实验结果表明,所提出的融合框架优于现有的方法。
2019-10-25 cs.CV cs.LG stat.ML
Multimodal Deep Learning
LMU(慕尼黑大学)
这本书是一个研讨会的结果,在研讨会上,我们回顾了多模态方法,并试图创建一个坚实的领域概述,从深度学习的两个子领域的当前最先进的方法开始。此外,建模框架进行了讨论,其中一个模态转换成其他,以及模型,其中一个模态被用来增强表示学习的其他。为了结束第二部分,重点介绍了同时处理这两种模式的架构。最后,我们还介绍了其他模态以及通用多模态模型,这些模型能够在一个统一的架构中处理不同模态上的不同任务。一个有趣的应用(生成艺术)最终结束了这本小册子。
2023-01-12 cs.CL cs.LG stat.ML
Toxicity Prediction by Multimodal Deep Learning
Griffith University(格里菲斯大学);Indian Institute of Technology(印度理工学院);Morgan State University(摩根州立大学)
化合物毒性水平的预测是定量构效关系(QSAR)建模中的一个重要问题。虽然毒性预测在最近通过深度学习取得了重大进展,但即使是最近的方法获得的预测准确度水平也不是很高。我们提出了一种使用多个异构神经网络类型和数据表示的多模态深度学习方法。我们通过字符串、图像和数字特征来表示化合物。我们训练全连接、卷积和递归神经网络及其集成。每种数据表示或神经网络类型都有其自身的优点和缺点。我们的动机是获得一个集体的性能,可以超越每个数据表示或每个神经网络类型的个人性能。在一个标准的毒性基准,我们提出的方法获得了显着更好的准确性水平比国家的最先进的毒性预测方法。
2019-07-19 cs.LG physics.chem-ph stat.ML
Factorized Inference in Deep Markov Models for Incomplete Multimodal Time Series
A*STAR(新加坡科技研究局);MIT(麻省理工学院);National University of Singapore(新加坡国立大学)
将深度学习与潜在的状态空间模型相结合,有可能产生功能强大、易于处理和解释的时间模型。不幸的是,目前的模型并没有设计用于处理丢失的数据或多种数据模式,这两者在现实世界的数据中都很普遍。在这项工作中,我们引入了一种多模态深度马尔可夫模型(MDMMs)的因子分解推理方法,使我们能够在存在缺失数据的情况下进行过滤和平滑,同时还可以执行不确定性感知的多模态融合。我们通过对后验p(z)进行因式分解来推导该方法。|x)对于非线性状态空间模型,并开发了用于推理的变分向后-向前算法。由于我们的方法处理时间和模态上的不完整性,因此它能够对多模态时间序列进行内插、外推、条件生成、标签预测和弱监督学习。我们在高水平的数据删除下,在合成和真实世界的多模态数据上展示了这些功能。我们的方法即使在缺失数据超过50%的情况下也表现良好,并且在潜在时间序列中的推理方面优于现有的深度方法。
2019-11-22 cs.AI cs.LG cs.NE
Multimodal Deep Learning for Mental Disorders Prediction from Audio Speech Samples
Dalhousie University(达尔豪斯大学);Kinaxis Inc.(Kinaxis公司)
精神疾病的主要特征反映在言语中。我们的研究重点是设计一种多模态深度学习结构,该结构可以从记录的语音样本中自动提取显著特征,用于预测各种精神障碍,包括抑郁症,躁郁症和精神分裂症。我们采用各种预训练模型来从音频和文本片段中提取嵌入。我们使用了几种最先进的嵌入技术,包括用于文本表示学习的BERT、FastText和Doc 2 VecC,以及用于音频编码的WaveNet和VGG-ish模型。我们还利用巨大的辅助情感标记的文本和音频语料库来训练特定于情感的嵌入,并使用迁移学习来解决可用的注释多模态数据不足的问题。所有这些嵌入,然后组合成一个联合表示在一个多模态融合层,最后一个递归神经网络被用来预测的精神障碍。我们的研究结果表明,精神障碍可以通过临床访谈的多模态分析预测可接受的准确性。
2020-04-13 cs.LG cs.SD eess.AS
Supervised Deep Multimodal Matrix Factorization for Interpretable Brain Network Analysis
Dept. of Mathematics & Operational Research University of Mons(数学与运筹学系蒙斯大学);Dept. of Computer Science & Engineering Lehigh University(计算机科学与工程系莱斯大学);Dept. of Industrial & Systems Engineering Lehigh University(工业与系统工程系莱斯大学)
本文提出SD3MF框架,通过深度层次分解和共享潜在表示整合多模态脑网络数据,实现可解释的群体预测。实验表明SD3MF在多模态连接组数据上优于CNN和GNN等基线模型。
2026-09-28 cs.LG
Multimodal Deep Neural Networks using Both Engineered and Learned Representations for Biodegradability Prediction
Pacific Northwest National Lab (PNNL)(西北太平洋国家实验室);University of Washington (UW)(华盛顿大学)
深度学习算法擅长从原始数据中提取模式,对于大型数据集,它们在计算机视觉和自然语言应用中非常成功。然而,在其他领域中,可能不存在从中学习表示的大型数据集。在这项工作中,我们开发了一种新的多模态CNN-MLP神经网络架构,利用特定领域的特征工程以及从原始数据中学习的表示。我们说明了这种网络设计在化学科学中的有效性,用于预测生物降解性。DeepBioD是一种多模式CNN-MLP网络,比任何一种独立网络设计都更准确,并且实现了0.125的错误分类率,比当前最先进的技术低27%。因此,我们的工作表明,将传统的特征工程与表示学习相结合是有效的,特别是在标记数据有限的情况下。
2018-09-13 cs.AI cs.CV cs.LG
Multimodal Emotion Recognition Using Multimodal Deep Learning
Center for Brain-like Computing and Machine Intelligence(类脑计算与机器智能中心);Department of Computer Science and Engineering(计算机科学与工程系);Shanghai Jiao Tong University(上海交通大学)
为了提高情感模型的性能并降低获取生理信号的成本,我们采用多模态深度学习方法从多个生理信号中构建情感模型。对于单峰增强任务,我们指出,通过深度自动编码器(DAE)模型生成的共享表示,在SEED数据集上实现了82.11%的最佳识别准确率。对于多模态促进任务,我们证明了双模态深度自动编码器(BDAE)在SEED和DEAP数据集上分别实现了91.01%和83.25%的平均准确率,这远远优于最先进的方法。对于跨模态学习任务,我们的实验结果表明,通过基于EEG的DAE作为训练样本生成的共享表示和基于眼睛的DAE作为测试样本生成的共享表示,在SEED数据集上实现了66.34%的平均准确率,反之亦然。
2016-02-26 cs.CV cs.HC cs.LG
Multimodal Data Integration for Oncology in the Era of Deep Neural Networks: A Review
Moffitt Cancer Center(莫菲特癌症中心);Rowan University(罗文大学)
本文综述了深度神经网络时代肿瘤学中多模态数据整合的最新进展,重点分析了图神经网络和Transformers在多模态数据融合中的应用,并探讨了其基础、挑战与机遇。
2024-03-28 cs.LG
A Review on Methods and Applications in Multimodal Deep Learning
Zhejiang University(浙江大学);East China Normal University(华东师范大学)
深度学习已经实现了广泛的应用,近年来变得越来越流行。多模态深度学习(MMDL)的目标是创建可以使用各种模态处理和链接信息的模型。尽管单模态学习得到了广泛的发展,但它仍然不能涵盖人类学习的所有方面。当各种感官参与信息处理时,多模态学习有助于更好地理解和分析。本文着重于多种形式,即,图像、视频、文本、音频、身体姿势、面部表情和生理信号。详细分析了过去五年(2017年至2021年)多模态深度学习应用的基线方法和最新进展。提出了各种多模态深度学习方法的细粒度分类,更深入地阐述了不同的应用。最后,每个领域的主要问题分别突出,以及他们可能的未来研究方向。
2022-02-18 cs.LG cs.MM
DeepVision-103K: A Visually Diverse, Broad-Coverage, and Verifiable Mathematical Dataset for Multimodal Reasoning
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
DeepVision-103K是一个用于多模态推理的视觉多样、覆盖面广且可验证的数学数据集,通过增强模型的视觉反思和推理能力推动多模态推理发展。
2026-02-18 cs.AI cs.LG
Understanding Unimodal Bias in Multimodal Deep Linear Networks
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学单元);University College London(伦敦大学学院);Sainsbury Wellcome Centre(桑斯伯里惠康中心)
本文利用多模态深度线性网络研究单模态偏置问题,首次推导出单模态阶段持续时间与融合深度、数据统计和初始化的函数关系,发现深层融合会导致更长的单模态阶段及永久性偏置。
2024-06-02 cs.LG
Self-Supervised Neural Architecture Search for Multimodal Deep Neural Networks
Kagoshima University(鹿儿岛大学)
本文提出了一种自监督学习方法,用于多模态深度神经网络的架构搜索,能够在未标记数据上有效设计DNN架构。
2025-12-31 cs.LG cs.NE
Deep Multimodal Neural Architecture Search
Hangzhou Dianzi University(杭州电子科技大学);Hefei University of Technology(合肥工业大学);The University of Sydney(悉尼大学);Huawei Cloud & AI(华为云与人工智能)
设计有效的神经网络在深度多模态学习中至关重要。现有的大多数工作集中在一个单一的任务和人工设计的神经架构,这是高度特定于任务,很难推广到不同的任务。在本文中,我们设计了一个广义的深度多模态神经架构搜索(MMnas)框架,用于各种多模态学习任务。给定多模态输入,我们首先定义一组原语操作,然后构建一个基于深度编码器-解码器的统一主干,其中每个编码器或解码器块对应于从预定义操作池中搜索的操作。在统一的主干之上,我们附加了特定任务的头来处理不同的多模态学习任务。通过使用基于梯度的NAS算法,有效地学习不同任务的最佳架构。广泛的消融研究,综合分析和比较实验结果表明,所获得的MMnasNet显着优于现有的国家的最先进的方法在三个多模态学习任务(超过五个数据集),包括视觉问答,图像-文本匹配,视觉接地。
2020-10-11 cs.CL cs.CV cs.LG
Deep Multimodal Subspace Clustering Networks
Rutgers University(罗格斯大学);Johns Hopkins University(约翰霍普金斯大学)
提出基于CNN的无监督多模态子空间聚类框架,包含多模态编码器、自表达层和解码器,通过空间融合和亲和融合策略,显著优于现有方法。
2019-01-04 cs.AI cs.CV cs.LG
Multimodal Deep Unfolding for Guided Image Super-Resolution
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
针对引导图像超分辨率任务,提出融入稀疏先验的多模态深度展开框架,兼具可解释性与性能优势,在多类图像超分任务中优于现有最优方法。
2020-01-21 cs.CV cs.LG eess.IV
Deep Multimodal Transfer-Learned Regression in Data-Poor Domains
Texas A&M University(德克萨斯农工大学);Army Research Lab(陆军研究实验室)
在深度学习的许多现实应用中,目标的估计可能依赖于各种类型的输入数据模式,例如音频-视频、图像-文本等。在这里,我们提出了一种深度多模态转移学习回归器(DMTL-R),用于在深度回归架构中对图像和特征数据进行多模态学习,有效地预测数据贫乏领域的目标参数。我们的模型能够在少量训练图像数据上微调给定的一组预训练CNN权重,同时在网络训练期间对来自互补数据模式的特征信息进行调节,从而产生比单独使用图像或特征更准确的单目标或多目标回归。我们使用相场模拟微观结构图像与一组附带的物理特征,使用来自各种知名的CNN架构的预训练权重,展示了所提出的多模态方法的有效性。
2020-06-16 cs.CV cs.LG
Applications of 0-1 Neural Networks in Prescription and Prediction
Tepper School of Business, Carnegie Mellon University(卡内基梅隆大学泰珀商学院);Maternal-Fetal Medicine University of Wisconsin – Madison(威斯康星大学麦迪逊分校母胎医学系);Industrial and Systems Engineering, University of Wisconsin – Madison(威斯康星大学麦迪逊分校工业与系统工程系)
针对有限观测数据下的医疗治疗策略学习难题,提出结合混合整数规划训练的浅层0-1处方网络PNNs,可结合反事实估计优化策略,在合成数据与产后高血压案例中表现优于现有方法,且更能识别临床有效特征、减少偏差。
2024-02-29 cs.AI cs.LG math.OC
Deep Survival Analysis in Multimodal Medical Data: A Parametric and Probabilistic Approach with Competing Risks
Information Processing and Telecommunications Center, ETSI Telecomunicación, Universidad Politécnica de Madrid, Spain(信息处理与电信中心,电信工程学院,马德里理工大学,西班牙)
提出多模态深度学习框架SAMVAE,整合临床、分子与病理图像等六种模态数据,首次在建模连续事件时间下纳入竞争风险,在乳腺癌和胶质瘤队列中实现高竞争力的生存预测。
2025-07-10 cs.LG
Rethinking Multimodality: Optimizing Multimodal Deep Learning for Biomedical Signal Classification
Morgan State University(摩根州立大学);Yale University(耶鲁大学)
本研究通过五种模型对比,证明生物医学信号分类中多模态融合效果取决于域间信息论互补性而非模态数量,并提出量化框架指导最优融合。
2025-08-01 cs.AI cs.LG
Deep Metric Loss for Multimodal Learning
Gwangju Institute of Science and Technology(光州科学技术院)
本文提出 MultiModal 损失,依据各单模态对预测的贡献对实例分组,以缓解过拟合并优化多模态模型,在合成数据和四个真实数据集上验证了性能提升。
2023-08-21 cs.AI cs.LG
Deep Multimodal Learning with Missing Modality: A Survey
The Australian National University(澳大利亚国立大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Adelaide University(阿德莱德大学);The University of Surrey(萨里大学)
本文综述了缺失模态下的多模态学习方法,分析了其动机、技术细节、应用及挑战,为该领域的发展提供了全面的视角。
2026-02-04 cs.AI cs.CV cs.LG
Multimodal Deep Learning for Finance: Integrating and Forecasting International Stock Markets
Sejong University(世宗大学)
在当今日益国际化的经济中,国际股票市场的回报和波动溢出效应是股票动态的主要宏观经济驱动力。因此,有关外国市场的信息是预测国内股票价格的最重要因素之一。然而,国内和国外市场之间的相互关系非常复杂。因此,很难用动力学方程明确地表达这种互相关。在这项研究中,我们使用多模态深度学习开发了可以共同考虑国际市场的股票收益预测模型。我们的贡献有三个方面:(1)我们通过散点图可视化韩国和美国股票市场之间的传递信息;(2)我们在多模态深度学习的帮助下将信息纳入股票预测模型;(3)我们最终证明,与后期融合和单一模态模型相比,早期和中期融合模型实现了显着的性能提升。我们的研究表明,联合考虑国际股票市场可以提高预测精度,深度神经网络对此类任务非常有效。
2019-09-19 cs.LG q-fin.CP
A Multimodal Deep Learning Framework for Early Diagnosis of Liver Cancer via Optimized BiLSTM-AM-VMD Architecture
Department of Encephalopathy, Chengdu Pidu District Hospital of Traditional Chinese Medicine, Chengdu 611730, China(成都Pidu区中医医院神经病科);Department of Tuina, Chengdu Pidu District Hospital of Traditional Chinese Medicine, Chengdu 611730, China(成都Pidu区中医医院推拿科);Department of Electrical and Computer Engineering, Carnegie Mellon University, Pittsburgh, PA 15213, USA(卡内基梅隆大学电气与计算机工程系)
本研究提出整合BiLSTM、多头注意力与VMD的多模态深度学习框架,利用多类异质数据实现肝癌早期诊断,在真实数据集上性能优于传统及基线模型,兼具准确率与可解释性。
2025-09-01 cs.LG eess.IV
A multimodal deep learning framework for scalable content based visual media retrieval
University of Waterloo(滑铁卢大学)
我们提出了一种新颖的,高效的,模块化和可扩展的框架,基于内容的视觉媒体检索系统,利用深度学习的力量,这是灵活的工作,无论是图像和视频结合,我们还介绍了一个有效的比较和过滤检索指标。我们提出了我们的研究结果,从关键的性能测试比较我们的方法,以证明所提出的解决方案的可行性和效率与最佳实践,可能的改进,可能进一步增强检索架构的能力。
2021-05-18 cs.CV cs.LG
Images Don't Lie: Transferring Deep Visual Semantic Features to Large-Scale Multimodal Learning to Rank
Etsy
搜索是现代电子商务的核心。因此,自动对搜索结果进行排序(学习排序)的任务是一个价值数十亿美元的机器学习问题。传统模型基于项目的文本对一些手工构建的特征进行优化。在本文中,我们介绍了一种多模态学习排序模型,该模型将这些传统特征与从深度卷积神经网络转移的视觉语义特征相结合。在一个大规模的实验中,使用来自在线市场Etsy的数据,我们验证了移动到多模态表示显着提高排名质量。我们展示了如何图像功能可以捕获细粒度的风格信息,而不是在纯文本表示。此外,我们展示了图像信息如何成功地解开高度不同的项目,排名相似的纯文本模型对具体的例子。
2015-11-20 cs.CV cs.LG
Training an Interactive Humanoid Robot Using Multimodal Deep Reinforcement Learning
University of Lincoln(林肯大学);University of Toulouse III(图卢兹第三大学)
训练机器人使用多种模式进行感知、行动和通信仍然是一个具有挑战性的问题,特别是如果机器人希望从少量的示例交互中有效学习的话。我们描述了一种学习方法,作为朝着这个方向迈出的一步,我们教一个人形机器人如何玩零和十字架的游戏。考虑到可以训练多种多模态技能来玩这个游戏,我们将注意力集中在训练机器人感知游戏,并在这个游戏中进行交互。我们的多模态深度强化学习代理感知多模态特征,并在玩耍时表现出言语和非言语动作。使用模拟的实验结果表明,机器人可以学习赢得或绘制高达98%的游戏。一个试点测试所提出的多模式系统的目标游戏-整合语音,视觉和手势-报告,合理和流畅的互动,可以实现使用所提出的方法。
2016-11-26 cs.AI cs.LG cs.RO
A Hybrid Method for Traffic Flow Forecasting Using Multimodal Deep Learning
School of Information Science and Technology, National Engineering Laboratory of Integrated Transportation Big Data Application Technology(信息科学与技术学院,集成交通大数据应用技术国家工程实验室);Department of Computer Science and Information Engineering, National Taiwan University of Science and Technology(计算机科学与工程系,台湾大学科技学院)
本文提出了一种混合多模态深度学习方法,用于短期交通流预测,通过注意力辅助多模态深度学习架构联合和自适应学习多模态交通数据的空间时间相关特征和长期时间依赖性。
2019-03-19 cs.LG cs.SY eess.SY
Attentive Cross-modal Connections for Deep Multimodal Wearable-based Emotion Recognition
Queen’s University(女王大学);Ingenuity Labs Research Institute(创新实验室研究所)
人类情感的分类在人机系统的设计和改进中起着至关重要的作用。虽然诸如心电图(ECG)和皮肤电活动(EDA)之类的个体生物信号已被广泛用于机器学习方法的情感识别,但多模态方法通常融合提取的特征或最终分类/回归结果以提高性能。为了增强多模态学习,我们提出了一种新的专注的跨模态连接,以在负责学习各个模态的卷积神经网络之间共享信息。具体来说,这些连接通过在EDA和ECG之间共享中间表示来改进情感分类,并将注意力权重应用于共享信息,从而学习更有效的多模态嵌入。我们在WESAD数据集上进行实验,以确定所提出的情感分类方法的最佳配置。我们的实验表明,该方法能够学习强大的多模态表示,并优于一些基线方法。
2021-08-04 cs.LG eess.SP
An Audio-Video Deep and Transfer Learning Framework for Multimodal Emotion Recognition in the wild
Ulm University(乌尔姆大学);ITMO University(圣彼得堡国立信息技术机械与光学大学);St. Petersburg Federal Research Center of the Russian Academy of Sciences(俄罗斯科学院圣彼得堡联邦研究中心);Utrecht University(乌得勒支大学)
在本文中,我们提出了我们的贡献ABAW面部表情的挑战。我们报告了拟议的系统和遵守挑战协议的正式挑战结果。使用端到端深度学习并受益于迁移学习方法,我们达到了42.10%的测试集挑战性能指标。
2020-11-02 cs.LG cs.SD eess.AS
Multimodal Image Super-resolution via Deep Unfolding with Side Information
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
深度学习方法已成功应用于各种计算机视觉任务。然而,现有的神经网络架构本身并不包含关于所解决问题的领域知识,因此,理解模型已经学习到的内容是一个开放的研究课题。在本文中,我们依赖于一种迭代算法的展开,用于稀疏近似和边信息,并设计了一种用于多模态图像超分辨率的深度学习架构,该架构结合了稀疏先验并有效地利用了来自另一种图像模态的信息。我们开发了两种深度模型,在第二种模态的高分辨率图像的帮助下,从其低分辨率变体重建目标图像模态的高分辨率图像。我们将所提出的模型应用于超分辨率近红外图像,使用高分辨率RGB图像作为边信息。实验结果表明,所提出的模型对国家的最先进的方法,包括单峰和多峰的方法的优越性能。
2019-10-18 cs.CV cs.LG eess.IV
A Deep Multimodal Approach for Cold-start Music Recommendation
Universitat Pompeu Fabra(庞培法布拉大学);Pandora Media, Inc.(潘多拉媒体公司)
每天都有越来越多的数字音乐被发布。音乐流媒体服务通常会摄取所有可用的音乐,但这带来了一个挑战:如何推荐缺乏先验知识的新艺术家?在这项工作中,我们的目标是通过使用深度网络架构将文本和音频信息与用户反馈数据相结合来解决这个所谓的冷启动问题。我们的方法分为三个步骤。首先,通过结合语义、文本特征和聚合使用数据,从传记中学习艺术家嵌入。第二,从音频信号和可用的反馈数据学习轨道嵌入。最后,艺术家和轨道嵌入在一个多模态网络相结合。结果表明,在特征级别之间分割推荐问题(即,艺术家元数据和音轨),并且在多模式方法中合并特征嵌入提高了推荐的准确性。
2017-07-24 cs.IR cs.LG
Evidential Softmax for Sparse Multimodal Distributions in Deep Generative Models
Stanford University(斯坦福大学)
生成模型的许多应用依赖于其高维输出概率分布的边缘化。产生稀疏概率分布的归一化函数可以使精确边缘化在计算上更易于处理。然而,稀疏归一化函数通常需要用于训练的替代损失函数,因为对数似然对于稀疏概率分布是未定义的。此外,许多稀疏归一化函数经常会破坏分布的多峰性。在这项工作中,我们提出了$\textit{ev-softmax}$,一个稀疏的归一化函数,保留了多峰的概率分布。我们推导出它的属性,包括它的封闭形式的梯度,并引入一个连续的家庭近似$\textit{ev-softmax}$,有充分的支持,可以训练概率损失函数,如负对数似然和Kullback-Leibler分歧。我们评估我们的方法在各种生成模型,包括变分自编码器和自回归架构。我们的方法优于现有的密集和稀疏归一化技术的分布精度。我们证明,$\textit{ev-softmax}$成功地降低了概率分布的维数,同时保持多模态。
2021-10-27 cs.AI cs.CL cs.CV
A Data-Efficient Deep Learning Approach for Deployable Multimodal Social Robots
University of Lincoln(林肯大学)
深度监督和强化学习范式(以及其他)有可能赋予交互式多模态社交机器人自主获取技能的能力。但目前还不清楚如何将它们最好地部署在现实世界的应用程序中。作为朝着这个方向迈出的一步,我们提出了一种基于深度学习的方法,用于有效地训练人形机器人玩多模态游戏-并使用具有两个变体的“Noughts & Crosses”游戏作为案例研究。它学习感知和交互的最低要求是基于几百个示例图像,一些示例多模态对话和机器人操作的物理演示以及自动模拟。此外,我们提出了新的算法,强大的视觉游戏跟踪和竞争策略学习与高胜率,大大优于基于DQN的基线。虽然自动评估表明,所提出的方法可以很容易地扩展到具有竞争性机器人行为的新游戏,但130名人类与Pepper机器人一起玩的人类评估证实,成功玩游戏需要高度准确的视觉感知。
2019-08-27 cs.AI cs.LG cs.RO
Deep Multimodal Learning for Audio-Visual Speech Recognition
Istituto Italiano di Tecnologia(意大利理工学院);IBM T.J Watson Research Center(IBM托马斯·J·沃森研究中心)
在本文中,我们提出了深度多模态学习的方法,用于融合语音和视觉模态,以实现视听自动语音识别(AV-ASR)。首先,我们研究了一种方法,其中单峰深度网络被单独训练,它们的最终隐藏层被融合以获得一个联合特征空间,在该空间中构建另一个深度网络。在IBM大词汇量视听工作室数据集上,在干净条件下,单独的音频网络实现了$41\%$的音素出错率(PER),而该融合模型实现了$35.83\%$的PER,证明了即使在具有高信噪比的音频中,视觉通道在音素分类中的巨大价值。其次,我们提出了一种新的深度网络架构,该架构使用双线性softmax层来解释模态之间的类特定相关性。我们表明,将来自双线性网络的后验与来自上述融合模型的后验相结合,可以进一步显着降低电话出错率,从而产生最终的PER $34.03\%$。
2015-01-22 cs.CL cs.LG
Fuse It or Lose It: Deep Fusion for Multimodal Simulation-Based Inference
University of Stuttgart(斯图加特大学);TU Dortmund University(多特蒙德工业大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文提出多模态神经后验估计(MultiNPE),通过早期、晚期和混合三种深度融合策略整合异构数据,在认知神经科学和心脏病学模型中优于单源基线,并指出晚期和混合融合为实际应用首选。
2024-11-04 cs.AI cs.LG
Multimodal deep learning for short-term stock volatility prediction
University of York(约克大学)
股票市场波动率预测是一项与评估市场风险相关的任务。我们使用最先进的深度学习方法研究了新闻和价格之间的相互作用,以进行一天前的波动预测。所提出的模型是端到端或使用从其他任务转移的句子编码器进行训练的。我们评估了广泛的股票市场行业,即消费必需品、能源、公用事业、医疗和金融行业。我们的实验结果表明,添加新闻改善了波动率预测相比,只依赖于价格数据的主流模型。特别是,我们的模型在决定系数$R^2$,$MSE$和$MAE$方面优于广泛认可的所有部门的GARCH(1,1)模型,在从新闻和价格数据进行训练时实现了最佳性能。
2018-12-25 cs.CL cs.LG q-fin.RM
Geometric Multimodal Deep Learning with Multi-Scaled Graph Wavelet Convolutional Network
University of Isfahan(伊斯法罕大学);University of Grenoble Alpes(格勒诺布尔-阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔理工学院)
多模态数据通过整合来自具有非常不同的统计特性的各个领域的数据来提供自然现象的补充信息。获取多模态数据的模态内和跨模态信息是多模态学习方法的基本能力。几何感知数据分析方法通过基于其几何底层结构以各种模态隐式地表示数据来提供这些能力。此外,在许多应用中,数据是明确定义在一个内在的几何结构。将深度学习方法推广到非欧域是一个新兴的研究领域,最近有许多研究对其进行了研究。大多数流行的方法都是针对单峰数据开发的。本文提出了一种多模态多尺度图小波卷积网络(M-GWCN)作为端到端网络。M-GWCN通过应用多尺度图小波变换在每个模态的图域中提供有用的本地化属性来同时找到模态内表示,并且通过学习对各种模态之间的相关性进行编码的排列来找到跨模态表示。M-GWCN不限于具有相同数量的数据的同质模态,或者指示模态之间的对应关系的任何先验知识。几个半监督节点分类实验已经进行了三个流行的单峰显式基于图的数据集和五个多模态隐式的。实验结果表明,与谱图域卷积神经网络和现有的多模态方法相比,所提方法具有优越性和有效性.
2021-11-26 cs.AI cs.LG
Multimodal Fusion Using Deep Learning Applied to Driver's Referencing of Outside-Vehicle Objects
BMW Group(宝马集团);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI))
人们对更智能的自然用户与汽车的交互越来越感兴趣。手势和语音已经被应用于驾驶员与汽车的互动。此外,多模式方法在汽车行业也显示出希望。在本文中,我们将深度学习用于多模态融合网络,以参考车辆外部的对象。我们同时使用来自凝视、头部姿势和手指指向的特征来精确地预测不同汽车姿势中的参考对象。我们展示了每种模态在用于自然形式的参考时的实际限制,特别是在车内。从我们的结果中可以看出,我们在很大程度上通过添加其他模式来克服模式特定的限制。这项工作突出了多模态传感的重要性,特别是在走向自然的用户交互。此外,我们基于用户的分析显示,根据车辆姿态识别用户行为的显着差异。
2021-07-26 cs.CV cs.HC cs.LG
Body Composition Estimation Based on Multimodal Multi-task Deep Neural Network
Bodygram Japan K.K.(Bodygram日本株式会社)
除了体重和身体质量指数(BMI),身体成分是一个重要的数据点,可以让人们了解他们的整体健康和身体健康。然而,身体成分主要由肌肉,脂肪,骨骼和水组成,这使得估计不像测量体重那样简单和直接。在本文中,我们介绍了一种多模式多任务深度神经网络,通过分析面部图像以及一个人的身高,性别,年龄和体重信息来估计体脂百分比和骨骼肌质量。使用代表日本人口统计数据集,我们证实,所提出的方法比现有的方法表现更好。此外,本研究中实施的多任务方法也能够掌握体脂百分比与骨骼肌质量增加/减少之间的负相关性。
2022-05-23 cs.CV cs.LG