The Influence of Audio on Video Memorability with an Audio Gestalt Regulated Video Memorability System
Insight Centre for Data Analytics（洞察数据分析中心）；Dublin City University（都柏林城市大学）
记忆是将我们与世界联系在一起的绳索，而记忆力是衡量其拉伸强度的标准。记忆之线是由多种形态的纤维编织而成的，这模糊了单一纤维对记忆线整体抗拉强度的贡献。展开这些纤维是理解它们相互作用的本质以及我们如何最终创造更有意义的媒体内容的关键。在本文中，我们研究了音频对视频识别记忆的影响，发现证据表明，它可以促进整体视频识别记忆丰富的高层次（完形）音频功能。我们介绍了一种新的基于多模态深度学习的后期融合系统，该系统使用音频完形来估计给定视频的音频对其整体短期识别记忆性的影响，并选择性地利用音频特征进行相应的预测。我们基于Memento 10 k短期视频记忆数据集对基于音频完形的系统进行基准测试，获得了前2名最先进的结果。
2021-04-23 cs.CV cs.LG cs.MM
A Case Study of Deep Learning Based Multi-Modal Methods for Predicting the Age-Suitability Rating of Movie Trailers
University of Houston（休斯顿大学）
在这项工作中，我们探索不同的方法来结合模式的问题，自动年龄适合性评级的电影预告片。首先，我们引入了一个新的数据集，包含从IMDB和YouTube下载的英语电影预告片视频，以及相应的年龄适合性评级标签。其次，我们提出了一个多模态深度学习管道，解决电影预告片年龄适合性评级问题。这是第一次尝试将视频，音频和语音信息结合起来解决这个问题，我们的实验结果表明，多模态方法在这项任务中显着优于最好的单模态和双模态模型。
2021-01-26 cs.LG cs.MM cs.SD
Predicting emotion from music videos: exploring the relative contribution of visual and auditory information to affective responses
National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Goethe University Frankfurt（法兰克福大学）
尽管媒体内容越来越多地以多种形式的组合来生产、分发和消费，但个体形式如何对媒体项目的感知情感做出贡献仍然知之甚少。在本文中，我们提出了MusicVideos（MuVi），情感多媒体内容分析的一种新的数据集，研究听觉和视觉模态如何有助于感知媒体的情感。通过在三种条件下向参与者展示音乐视频来收集数据：音乐，视觉和视听。参与者对音乐视频进行了注释，以了解随着时间的推移的效价和唤醒程度，以及传达的整体情感。我们提供了数据集中关键指标的详细描述性统计数据，以及每种条件下特征重要性分析的结果。最后，我们提出了一种新的迁移学习架构，训练预测模型增强与孤立的模态评级（PAIR），并证明了潜在的孤立的模态评级，以提高多模态情感识别。我们的研究结果表明，觉醒的看法主要是由听觉信息的影响，而感知价更主观，可以同时受到视觉和听觉信息的影响。数据集是公开的。
2022-02-19 cs.CV cs.LG cs.MM
Predicting Internet Connectivity in Schools: A Feasibility Study Leveraging Multi-modal Data and Location Encoders in Low-Resource Settings
UNICEF（联合国儿童基金会）；University of Oxford（牛津大学）；European Space Agency（欧洲空间局）
本研究利用多模态卫星图像和位置编码器，结合机器学习预测学校互联网连接，在博茨瓦纳和卢旺达验证了方法的有效性，为低资源环境下的数字基础设施建设提供支持。
2024-12-13 cs.AI cs.CV cs.SI
Multi-modal Predictive Models of Diabetes Progression
University of Delaware（特拉华大学）
随着可穿戴设备的日益可用性，对个人的生理和行为模式的连续监测已经变得明显更容易获得。获得这些关于个人状态的连续模式为研究2型糖尿病（T2 D）等复杂疾病和健康状况提供了前所未有的机会。T2 D是一种广泛常见的慢性疾病，其根源和进展模式尚未完全了解。预测T2 D的进展可以为及时和更有效的干预措施提供信息，以预防或管理疾病。在这项研究中，我们使用了与63名T2 D患者相关的数据集，其中包括来自患者佩戴的两种不同类型的可穿戴设备的数据：连续葡萄糖监测（CGM）设备和活动跟踪器（ActiGraphs）。使用该数据集，我们创建了一个模型，用于预测一年后与T2 D相关的四种主要生物标志物的水平。我们开发了一个广泛而深入的神经网络，并使用来自人口统计信息、实验室测试和可穿戴传感器的数据来创建模型。我们的方法的深层部分是基于长短期记忆（LSTM）结构开发的，用于处理可穿戴设备收集的时间序列数据集。在预测四种生物标志物的模式时，我们获得了HBA 1c的均方根误差为1.67%，HDL胆固醇为6.22 mg/dl，LDL胆固醇为10.46 mg/dl，甘油三酯为18.38 mg/dl。与现有的研究T2 D的模型相比，我们的模型提供了一个更全面的工具，用于结合导致该疾病的各种因素。
2019-07-29 cs.LG eess.SP stat.ML
An Open and Large-Scale Dataset for Multi-Modal Climate Change-aware Crop Yield Predictions
University of Delaware（特拉华大学）
本文提出首个TB级、多模态、公开的CropNet数据集及配套API，融合Sentinel-2影像、WRF-HRRR气象和USDA作物数据，覆盖2200多个美国县6年数据，用于气候变化感知的县级作物产量预测，并通过多种深度学习实验验证其有效性。
2024-06-17 cs.CV cs.LG
Multi-modal Data Binding for Survival Analysis Modeling with Incomplete Data and Annotations
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Fudan University Shanghai Cancer Center（复旦大学附属肿瘤医院）
针对癌症生存分析中多模态数据与删失标签不完整的问题，提出一种同时处理模态缺失和标签缺失的新框架，利用基础模型编码对齐并生成伪标签结合不确定性，显著提升了预测准确性。
2024-07-25 cs.CV cs.LG
Predicting Parkinson's Disease with Multimodal Irregularly Collected Longitudinal Smartphone Data
University of Rochester（罗切斯特大学）
帕金森病是一种神经系统疾病，在老年人中很常见。诊断这种疾病的传统方法依赖于对一组活动测试质量的亲自主观临床评估。如今，智能手机应用程序收集的高分辨率纵向活动数据使远程和方便的健康评估成为可能。然而，实验室外的测试通常受到质量控制不佳以及不规则收集的观察结果的影响，从而导致噪声测试结果。为了解决这些问题，我们提出了一种新的基于时间序列的方法来预测帕金森病与原始活动测试数据收集的智能手机在野外。该方法首先在统一的时间点将离散的活动测试转换为多模态特征。接下来，它通过两个注意力模块从模态和时间观测的噪声数据中提取和丰富局部和全局表示。通过所提出的机制，我们的模型能够处理噪声观测，同时提取精细的时间特征，以提高预测性能。在一个大型公共数据集上的定量和定性结果证明了所提出的方法的有效性。
2020-10-15 cs.LG eess.SP
A Benchmark Dataset for Multimodal Prediction of Enzymatic Function Coupling DNA Sequences and Natural Language
School of Computing（计算机学院）；Department of Epidemiology & Biostatistics（流行病学与生物统计学系）；Department of Marine Sciences（海洋科学系）；Institute for Artificial Intelligence（人工智能研究所）；University of Georgia（佐治亚大学）
提出一个耦合DNA序列与自然语言描述的酶功能预测多模态基准数据集，支持大型多模态神经网络模型开发，并展示整合多模态数据在功能预测中的优势。
2024-07-21 cs.LG q-bio.GN
Detecting Hate Speech in Multi-modal Memes
Carnegie Mellon University（卡内基梅隆大学）
在过去的几年里，人们对多模态问题的兴趣激增，从图像描述到视觉问答等等。在本文中，我们专注于仇恨语音检测多模态模因，其中模因提出了一个有趣的多模态融合问题。我们的目标是解决Facebook模因挑战赛\cite{kiela2020hateful}，该挑战赛旨在解决预测模因是否可恨的二元分类问题。挑战的一个关键特征是，它包括“良性混杂因素”，以对抗利用单峰先验的模型的可能性。挑战指出，与人类相比，最先进的模型表现不佳。在对数据集的分析过程中，我们发现大部分原本可恶的数据点都变成了良性的，只是描述了模因的形象。此外，大多数多模态基线更倾向于仇恨言论（语言模态）。为了解决这些问题，我们探索的视觉模态使用目标检测和图像描述模型来获取“实际的标题”，然后将其与多模态表示进行二进制分类。这种方法解决了数据集中存在的良性文本混淆因素，以提高性能。我们实验的另一种方法是使用情感分析来改进预测。我们不仅使用从预训练的神经网络获得的多模态表示，还包括单峰情感来丰富特征。我们对上述两种方法进行了详细的分析，为所使用的方法提供了令人信服的理由。
2020-12-29 cs.CV cs.LG
Predicting and visualizing psychological attributions with a deep neural network
Radboud University Nijmegen（拉德堡德大学奈梅亨分校）
基于面部外观的人格判断是社会决策的强大影响力，并且已知对从总统选举到陪审团决定的领域产生影响。最近的工作表明，它是可能的，以预测感知的可记忆性，可信度，智力和其他属性的人脸图像。这些方法中最成功的方法需要用关键的面部标志熟练地注释面部图像。我们展示了一个卷积神经网络（CNN）模型，该模型能够执行相同的任务，而不需要地标特征，从而大大提高了效率。该模型具有高准确性，在某些情况下超过了人类水平的性能。此外，我们使用去卷积的方法来可视化的重要功能的感知22个属性，并展示了一种新的方法，分别可视化的积极和消极的功能。
2016-12-24 cs.CV cs.LG cs.NE
Cross-modal Affinity-aligned Multimodal Learning Analytics for Predicting Student Collaboration Satisfaction in Game-Based Learning
Institute of Education, National Cheng Kung University（国立成功大学教育研究所）；Institute of Intelligent System, National Yang Ming Chiao Tung University（阳明交通大学智能系统研究所）；Department of Computer Science, University at Albany, State University of New York（纽约州立大学水牛城分校计算机科学系）
本文提出了一种跨模态亲和对齐的多模态学习分析框架，通过建模模态间关系和对比学习来增强学生协作满意度预测的鲁棒性和可解释性。
2026-05-16 cs.AI cs.CV cs.LG
Predicting Airbnb Rental Prices Using Multiple Feature Modalities
对于房东和客户来说，确定Airbnb租赁价格是一项重要而艰巨的任务。对于前者，它可以使他们在不影响利润的情况下制定合理的价格。对于客户来说，它有助于了解价格的关键驱动因素，并为他们提供价格相似的地方。此价格预测回归任务还可以具有多个下游用途，例如基于价格推荐类似的租金。我们建议使用地理位置，时间，视觉和自然语言功能，以创建一个可靠和准确的价格预测算法。
2021-12-13 cs.LG
Multi-Modal Machine Learning Framework for Predicting Early Recurrence of Brain Tumors Using MRI and Clinical Biomarkers
Department of Encephalopathy, Chengdu Pidu District Hospital of Traditional Chinese Medicine（脑病科，成都_pidu区中医医院）；Department of Tuina, Chengdu Pidu District Hospital of Traditional Chinese Medicine（推拿科，成都_pidu区中医医院）；Wuhan Hospital of Integrated Traditional Chinese and Western Medicine, Affiliated to Hubei University of Chinese Medicine（中西医结合医院，湖北中医药大学附属医院）；Department of Electrical and Computer Engineering, Carnegie Mellon University（电气与计算机工程系，卡内基梅隆大学）
针对脑肿瘤术后早期复发预测的临床难题，提出整合结构MRI与临床生物标志物的多模态机器学习框架，采用四种算法并经多指标验证，为风险分层和个性化随访提供工具。
2025-09-01 cs.LG
Predicting Stock Price Direction on Earnings Announcement Days using Multi-modal Deep Learning
ETH Zürich（苏黎世联邦理工学院）
本研究结合基本面指标、技术指标和新闻情感，利用LSTM和Transformer模型预测盈利公告日的股价方向，发现Transformer在识别波动方面更敏感，且新闻情感有助于提升性能。
2026-05-25 cs.LG q-fin.ST
Predicting Student Dropout Risk With A Dual-Modal Abrupt Behavioral Changes Approach
The Hong Kong Polytechnic University（香港理工大学）；The Education University of Hong Kong（香港教育大学）
针对离线教育场景下辍学预测数据质量差、教育理论指标难量化的问题，提出整合学业与行为数据的双模态多尺度滑动窗口模型，通过捕捉行为突变提升15%预测准确率，为早期干预提供工具。
2025-05-16 cs.AI cs.CY cs.LG
Developing a Multi-Modal Machine Learning Model For Predicting Performance of Automotive Hood Frames
Clemson University（克莱姆森大学）
本文提出一种多模态机器学习（MMML）架构，通过结合多种数据模态预测汽车引擎盖框架性能，减少对昂贵仿真的依赖，加速概念设计阶段的迭代并展现出优于单模态方法的泛化能力。
2025-09-13 cs.LG
Predicting Density of States via Multi-modal Transformer
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）；KRICT（韩国化学技术研究院）
本文提出DOSTransformer模型，通过多模态Transformer整合晶体结构与能量的异构信息，预测材料的态密度（DOS），并在声子DOS和电子DOS实验中验证了其优越性。
2023-04-10 cond-mat.mtrl-sci cs.LG physics.comp-ph
SentiDrop: A Multi Modal Machine Learning model for Predicting Dropout in Distance Learning
Artificial Intelligence Institute, University of Téluq（人工智能研究所，特卢克大学）
本文提出SentiDrop多模态模型，结合BERT情感分析与XGBoost特征选择预测远程学习辍学，准确率达84%，为降低辍学率提供个性化策略支持。
2025-07-14 cs.AI cs.ET cs.IR
Predicting multiple sclerosis disease severity with multimodal deep neural networks
University of Texas Health Sciences Center at Houston（休斯顿德克萨斯大学健康科学中心）；McGovern Medical School（麦戈文医学院）；San Jose State University（圣何塞州立大学）
提出利用患者多模态纵向EHR数据（结构化EHR、神经影像和临床笔记）构建深度学习框架预测多发性硬化症严重程度，AUROC较单模态提升达25%，并分析了各模态信号量。
2023-04-08 cs.AI cs.LG
Transformer-Based Classification Outcome Prediction for Multimodal Stroke Treatment
Stevens Institute of Technology（史蒂文斯理工学院）；University of Sofia（索非亚大学）；University of Electronic Science and Technology of China（电子科技大学）
本研究提出基于Transformer和自注意力机制的多模态融合框架Multitrans，结合NCCT图像与出院诊断报告预测中风治疗结果，发现多模态组合优于单一模态。
2024-11-16 cs.AI cs.CV cs.LG
Predicting Time-to-conversion for Dementia of Alzheimer's Type using Multi-modal Deep Survival Analysis
Simon Fraser University（西蒙弗雷泽大学）；Wake Forest University（维克森林大学）；University of Victoria（维多利亚大学）；University of Nottingham（诺丁汉大学）；Memorial University of Newfoundland（纽芬兰纪念大学）；University of British Columbia（不列颠哥伦比亚大学）；University of Miami Miller School of Medicine（迈阿密大学米勒医学院）；Ohio State University Wexner Medical Center（俄亥俄州立大学韦克斯纳医学中心）
阿尔茨海默型痴呆（DAT）是一种受多种因素影响的复杂疾病，但目前尚不清楚每个因素如何促进疾病进展。对这些因素的深入研究可以准确估计不同疾病阶段患者转换为DAT的时间。我们使用了401名受试者的63个特征，这些特征来自阿尔茨海默病神经影像学倡议（ADNI）数据库中的MRI、遗传学和CDC（认知测试、人口统计学和CSF）数据模式。我们使用了一个基于深度学习的生存分析模型，该模型扩展了经典的Cox回归模型来预测转换为DAT的时间。我们的研究结果表明，遗传特征对生存分析的贡献最小，而CDC特征贡献最大。结合MRI和遗传特征比单独使用任何一种方式都能提高生存预测，但将CDC添加到任何特征组合中只会起到仅使用CDC特征的作用。因此，我们的研究表明，使用当前的临床程序，包括收集认知测试结果，可以优于使用昂贵的遗传或CSF数据产生的生存分析结果。
2022-05-02 cs.LG
CXR-TFT: Multi-Modal Temporal Fusion Transformer for Predicting Chest X-ray Trajectories
Duke University（杜克大学）；Emory University（埃默里大学）
本文提出CXR-TFT多模态时序融合Transformer，整合稀疏胸部X光影像、放射学报告与高频临床数据，可提前12小时预测ICU患者异常CXR发现，为时间敏感性疾病管理提供可操作的“全患者”洞察。
2025-07-19 cs.AI cs.CV cs.LG
Predicting Distant Metastases in Soft-Tissue Sarcomas from PET-CT scans using Constrained Hierarchical Multi-Modality Feature Learning
ARC Training Centre for Innovative BioEngineering（ARC创新生物工程培训中心）
远处转移（DM）是指肿瘤的扩散，通常超出肿瘤起源的器官。它们是软组织肉瘤（STS）患者死亡的主要原因。正电子发射断层扫描-计算机断层扫描（PET-CT）被认为是治疗STS的首选成像方式。很难从影像学研究中确定哪些STS患者会发生转移。“放射组学”是指从医学图像中提取和分析定量特征，并已用于帮助识别此类肿瘤。放射组学的最新技术是基于卷积神经网络（CNN）。大多数CNN被设计用于单模态成像数据（单独的CT或PET），并且不利用PET-CT中嵌入的信息，其中存在解剖和功能成像模态的组合。此外，大多数放射组学方法依赖于来自成像专家的手动输入来进行肿瘤描绘、放射组学特征的定义和选择。然而，这种方法可能无法扩展到具有复杂边界的肿瘤以及存在多个其他疾病部位的肿瘤。我们概述了一种新的3D CNN，以帮助预测糖尿病STS患者的PET-CT数据。3D CNN使用约束特征学习模块和分层多模态特征学习模块，该模块利用来自模态的补充信息来关注语义上重要的区域。我们对STS患者的公共PET-CT数据集的研究结果表明，多模态信息提高了识别发展为DM的患者的能力。此外，我们的方法优于所有其他相关的最先进的方法。
2021-04-23 cs.CV cs.LG eess.IV
A Multi-Modal Graph-Based Semi-Supervised Pipeline for Predicting Cancer Survival
Georgia Institute of Technology（佐治亚理工学院）；Emory University（埃默里大学）
癌症生存预测是一个活跃的研究领域，可以帮助预防不必要的治疗，提高患者的生活质量。基因表达谱被广泛用于癌症研究，以发现有助于预测不同临床终点预测的信息生物标志物。我们使用来自RNA深度测序（RNA-seq）的多种数据模式来预测癌症患者的生存率。尽管在癌症肿瘤的表达谱中可获得丰富的信息，但在大多数情况下，由于与表达谱的高维度相比数据样本的缺乏，实现上述目标仍然是一个巨大的挑战。因此，转录组数据模式的分析需要最先进的大数据分析技术，这些技术可以最大限度地使用所有可用数据来发现隐藏在大量噪声中的相关信息。在本文中，我们提出了一个管道，预测癌症患者的生存，利用输入的结构（流形学习），并利用未标记的样本使用拉普拉斯支持向量机，基于图的半监督学习（GSSL）的范例。我们表明，在某些情况下，没有单一的模态本身会导致最佳的准确性，通过堆叠泛化策略将不同的模型融合在一起，我们可以协同提高准确性。我们将我们的方法应用于两个癌症数据集，并提出了有希望的结果。我们认为，类似的管道可以用于预测任务，其中标记的样本是昂贵的获取。
2016-11-17 cs.LG stat.ML
MuseCL: Predicting Urban Socioeconomic Indicators via Multi-Semantic Contrastive Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学北京校区人工智能学院）
MuseCL通过多语义对比学习融合视觉与文本信息，提升城市社会经济预测的精度与鲁棒性。
2024-06-23 cs.AI cs.CV cs.CY
Tensor-based Fusion of Multi-modal Data for Predicting Cancer Risk Levels
University of Technology Sydney（悉尼科技大学）；University of New South Wales（新南威尔士大学）；University of Sydney（悉尼大学）
本文提出整合特征提取、张量分解与聚类的无监督机器学习框架，融合多模态数据，在LinkedOmics数据集上验证其优于其他配置，可提升癌症风险预测精度。
2026-10-12 cs.LG q-bio.QM
MAVEN: Multi-modal Attention for Valence-Arousal Emotion Network
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）；Monash University（墨尔本大学）
针对自然环境动态情感识别中多模态线索时间不对齐及效价与唤醒度相关性被忽略的问题，提出MAVEN网络，通过双向跨模态注意力机制融合视觉、音频和文本特征并在极坐标系预测情感，在Aff-Wild2数据集上超越ResNet-50基线。
2025-05-02 cs.AI cs.CV cs.LG
Video Affective Effects Prediction with Multi-modal Fusion and Shot-Long Temporal Context
Alibaba Group（阿里巴巴集团）；South China University of Technology（华南理工大学）
使用机器学习预测视频的情感影响是一项具有挑战性的任务，考虑到各种形式，视频的复杂时间上下文以及情感状态的时间依赖性。特征提取、多模态融合和时间背景融合是预测情感影响中的效价和唤醒值的关键阶段，但尚未成功开发。在本文中，我们提出了一个全面的框架与新颖的设计的模态结构和多模态融合策略。我们分别为效价和唤醒任务选择最合适的模态，并使用大型通用数据集上特定于模态的预训练深度模型提取每个模态特征。两个时间尺度的结构，一个用于帧内剪辑和其他的帧间剪辑，提出了捕捉视频内容和情感状态的时间依赖性。为了结合多种模态的互补信息，提出了一种有效且高效的基于剩余的渐进训练策略。每个模态被逐步组合到多模态模型中，负责完成特征的缺失部分。通过上述所有这些改进，我们提出的预测框架在LIRIS-ACCEDE数据集上实现了更好的性能，与最先进的预测框架相比，具有更大的优势。
2019-09-01 cs.CV cs.LG
Graph2MDA: a multi-modal variational graph embedding model for predicting microbe-drug associations
School of Computer Science and Engineering, Central South University（中南大学计算机科学与工程学院）；School of Computer Science and Technology, Nanjing Tech University（南京工业大学计算机科学与技术学院）
大量临床研究表明，人体内的微生物与人体宿主相互作用密切，参与药物疗效和毒性的调节。微生物已经成为开发抗菌剂的新目标。因此，微生物-药物联合体的筛选对药物研发具有重要意义。随着微生物基因组和药理学数据集的增加，我们非常有动力开发一种有效的计算方法来识别新的微生物-药物关联。本文提出了一种基于变分图自动编码器（VGAE）的微生物-药物缔合预测新方法Graph2MDA。我们基于微生物和药物的多个特征，如分子结构、微生物基因序列和功能注释，构建了多模态属性图。以多模态属性图作为输入，训练VGAE学习每个节点和整个图的信息丰富、可解释的潜在表示，然后使用深度神经网络分类器预测微生物-药物关联。超参数分析和模型消融研究表明，我们的模型的敏感性和鲁棒性。我们在三个独立的数据集上对我们的方法进行了评估，实验结果表明，我们提出的方法优于现有的六种最先进的方法。我们还探讨了药物的学习潜在表征的意义，发现药物显示出明显的聚类模式，与药物ATC分类显著一致。此外，我们对两种微生物和两种药物进行了案例研究，发现PubMed文献中有75%-95%的预测关联。我们广泛的性能评估验证了我们提出的方法的有效性。
2021-08-14 cs.LG q-bio.QM
"Is this an example image?" -- Predicting the Relative Abstractness Level of Image and Text
Leibniz Information Centre for Science and Technology (TIB)（莱布尼茨科学技术信息中心（TIB））；L3S Research Center, Leibniz Universität Hannover（莱布尼茨汉诺威大学L3S研究中心）；Leibniz Universität Hannover（莱布尼茨汉诺威大学）；L3S Research Center（L3S研究中心）
成功的多模态检索需要对语义跨模态关系的自动理解，然而，这仍然是一个开放的研究问题。已有的研究工作提出了跨模态互信息和语义相关度的度量方法来对图像和文本的跨模态语义关系进行建模和预测。在本文中，我们提出了一种方法来预测（跨模态）相对抽象水平的一个给定的图像-文本对，即图像是否是一个抽象的文本，反之亦然。为此，我们引入了一个新的指标，可以在抽象级别（ABS）上捕捉图像和文本之间的这种特定关系。我们提出了一种深度学习方法来预测这个指标，它依赖于一个自动编码器架构，使我们能够显着减少所需的标记训练数据的量。已经收集了一套全面的可公开获得的科学文件。在一个具有挑战性的测试集上的实验结果证明了该方法的可行性。
2019-01-23 cs.CL cs.CV cs.IR
GlacierCastAI: Predicting Glacier Retreat from Multi-Modal Satellite Imagery and Climate Signals
Independent Researcher（独立研究者）
研究将冰川边界预测重构为多模态时空预测问题，融合多源数据，用特定架构预测冰川边界，对比传统基线及实验条件，发现气候信号有预测信息，深度学习模型优于传统基线。
2026-07-07 cs.CV cs.LG
OPTIMUS: Predicting Multivariate Outcomes in Alzheimer's Disease Using Multi-modal Data amidst Missing Values
University Lausanne Hospital (CHUV)（洛桑大学医院）；University of Lausanne (UNIL)（洛桑大学）；Zhejiang University（浙江大学）；Zhejiang University School of Medicine（浙江大学医学院）
本文提出模块化可解释框架OPTIMUS，通过模态特异插补、多模态预测建模与XAI，在缺失数据下识别AD多变量认知结局的神经及转录组生物标志物。
2025-03-14 cs.LG q-bio.NC
Predicting gestational age at birth in the context of preterm birth from multi-modal fetal MRI
Leibniz University Hannover（莱布尼茨汉诺威大学）
提出结合多模态胎儿MRI和机器学习流程预测出生胎龄，包括数据插补、特征选择和回归模型，在333例对照和93例早产数据上评估，R²=0.13，MAE=2.74周，准确率0.77。
2026-06-19 cs.LG
Deep Semi-Supervised Survival Analysis for Predicting Cancer Prognosis
本文提出了一种基于深度半监督学习的Cox-MT模型，利用标记和未标记数据提升癌症预后预测的准确性。
2026-01-28 cs.LG
Multi-modal Probabilistic Prediction of Interactive Behavior via an Interpretable Model
University of California, Berkeley（加州大学伯克利分校）
对于自主智能体来说，预测场景中周围实体未来运动的能力可以大大提高它们的安全水平，因为可以提前避免潜在的危险情况。虽然令人印象深刻的结果已经显示在预测每个代理的行为独立，我们认为，这是不有效的，考虑道路实体单独的车辆状态的转换是高度耦合的。此外，随着预测范围变得更长，对未来序列的预测不确定性和多模态分布进行建模将成为一项更具挑战性的任务。在本文中，我们提出了一种多模态概率预测方法来解决这一挑战。所提出的方法是基于生成模型，并能够联合预测每对相互作用的代理的顺序运动。最重要的是，我们的模型是可解释的，这可以解释底层的逻辑，以及获得更多的可靠性，在实际应用中使用。一个复杂的现实世界的环形交叉口的情况下，利用实现和检查所提出的方法。
2019-06-02 cs.LG stat.ML
Predicting Cardiopulmonary Exercise Testing Outcomes in Congenital Heart Disease Through Multi-modal Data Integration and Geometric Learning
School of Computing Science at University of Glasgow（格拉斯哥大学计算科学学院）；Golden Jubilee National Hospital（金禧国家医院）；Helen DeVos Children’s Hospital, Corewell Health（科尔韦尔健康海伦·德沃斯儿童医院）
本研究首次通过整合12导联心电图与临床文本数据，利用黎曼几何学习方法构建模型，可更准确地预测先天性心脏病患者的心肺运动试验结果，为患者死亡风险评估提供新的技术路径。
2025-03-18 cs.LG
Towards Multimodal MIR: Predicting individual differences from music-induced movement
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术研究所）；University of Jyväskylä（于韦斯屈莱大学）
随着音乐信息检索领域的发展，重要的是要考虑到音乐的多模态以及如何考虑音乐参与的方面，如运动和手势。身体运动普遍与音乐相关，反映了与音乐偏好相关的重要个人特征，如个性，情绪和同理心。未来的多模式MIR系统可能会受益于考虑这些方面。目前的研究通过识别个体差异来解决这个问题，特别是大五人格特质，以及参与者自由舞蹈动作的移情和系统化商数（EQ/SQ）得分。我们的模型成功地探索了人格以及EQ，SQ的看不见的空间，这是以前没有完成的。人格、情商和SQ的R2分别为76.3%、77.1%和86.7%。作为后续，我们调查了哪些身体关节在定义这些特征时最重要。我们将讨论如何进一步的研究可以探索如何将这些特征映射到运动模式，以建立一个更个性化的，多模式的推荐系统，以及潜在的治疗应用。
2020-07-21 cs.LG cs.MM stat.ML
Joint Self-Supervised and Supervised Contrastive Learning for Multimodal MRI Data: Towards Predicting Abnormal Neurodevelopment
University of Cincinnati（辛辛那提大学）；University of Cincinnati College of Medicine（辛辛那提大学医学院）；Perinatal Institute（围产期研究所）
针对多模态MRI特征简单融合存在信息捕捉不足、冗余等问题，提出联合自监督与监督对比学习方法，将异构特征投影到共享空间融合信息，在两个独立数据集上的异常神经发育预测效果优于现有深度多模态方法，可助力临床计算机辅助诊断。
2023-12-22 cs.AI cs.CV cs.LG
Learning Representations of Missing Data for Predicting Patient Outcomes
从电子健康记录（EHR）中提取可操作的见解对传统的机器学习方法提出了几个挑战。患者之间往往缺少相关数据;数据有多种形式，如多变量时间序列、自由文本和分类人口统计信息;患者之间的重要关系可能难以检测;以及许多其他数据。在这项工作中，我们提出了一种新的方法来解决这前三个挑战，使用基于消息传递的表示学习计划。我们表明，我们提出的方法是有竞争力的，或优于最先进的预测住院死亡率（二进制分类），住院时间（回归）和出院目的地（多类分类）。
2018-11-12 cs.LG stat.ML
Multi-modal learning for geospatial vegetation forecasting
Max-Planck-Institute for Biogeochemistry（马克斯·普朗克生物地球化学研究所）；ELLIS Unit Jena（耶拿ELLIS单元）；ETH Zürich（苏黎世联邦理工学院）；Hong Kong University of Science and Technology（香港科技大学）
本研究推出首个高分辨率植被预测数据集GreenEarthNet与多模态模型Contextformer，结合卫星影像与气象数据预测欧洲高分辨率植被动态，性能超越多种基线及现有最优模型，为大陆尺度植被异常预测提供支撑。
2024-03-07 cs.CV cs.LG
Temporal Data Requirement for Predicting Unplanned Hospital Readmissions
Northeastern University（东北大学）；Partners Healthcare Connected Health Innovation（Partners Healthcare 连接健康创新）；MGH Institute for Technology Assessment（MGH 技术评估研究所）；Harvard Medical School（哈佛医学院）；Tufts University School of Medicine（塔夫茨大学医学院）；Department of Public Health and Community Medicine（公共卫生与社区医学系）
本文研究了不同观察窗口对预测髋膝关节置换术后30天再入院的影响，发现非结构化临床笔记的最佳时间窗口比结构化数据更短，而结构化数据在延长窗口后性能趋于稳定。
2026-05-01 cs.LG
Multi-Modal Trajectory Prediction of NBA Players
Temple University（天普大学）；Uber Advanced Technology Group（优步先进技术集团）；Spotify
美国国家篮球协会（NBA）的球员是高度积极性和熟练的专家，解决复杂的决策问题，在每一个时间点在比赛中。作为了解玩家如何做出决定的一步，我们专注于他们在游戏中的运动轨迹。我们提出了一种方法，捕捉球员的多模态行为，他们可能会考虑多个轨迹，并选择最有利的一个。该方法建立在基于LSTM的架构上，预测多个轨迹及其概率，由更新最佳轨迹的多模态损失函数训练。在大规模、细粒度的NBA跟踪数据上的实验表明，该方法的性能优于现有技术，并且能够生成更真实的运动轨迹，能够学习特定球员的个人风格。
2020-08-18 cs.LG stat.ML
Predicting Mood Disorder Symptoms with Remotely Collected Videos Using an Interpretable Multimodal Dynamic Attention Fusion Network
BlackThorn Therapeutics（黑刺治疗公司）
我们开发了一种新颖的，可解释的多模态分类方法，以识别情绪障碍的症状，即抑郁，焦虑和快感缺乏，使用从智能手机应用程序收集的音频，视频和文本。我们使用基于CNN的单峰编码器来学习每种模态的动态嵌入，然后通过Transformer编码器将它们组合起来。我们将这些方法应用于一个新的数据集-由智能手机应用程序收集-在多达三个记录会话的3002名参与者。我们的方法表现出更好的多模态分类性能相比，现有的方法，采用静态嵌入。最后，我们使用SHapley加法解释（SHAP）来优先考虑我们模型中可以作为潜在数字标记的重要特征。
2021-09-07 cs.LG
MIRAGE: Adaptive Multimodal Gating for Whole-Brain fMRI Encoding
Qwen3-Omni-30B-A3B-Thinking（通义千问3- Omni-30B-A3B-Thinking）
提出MIRAGE框架，通过原生多模态骨干网络和自适应特征门控，实现全脑fMRI对自然视听刺激的高精度编码，并证明原生多模态特征优于后期融合的单模态特征。
2026-05-28 cs.LG
Multimodal Ensemble Approach to Incorporate Various Types of Clinical Notes for Predicting Readmission
Emory University（埃默里大学）
电子健康记录（EHR）已被大量用于预测各种下游临床任务，如再入院或死亡率。电子病历中的模式之一，临床笔记，由于其非结构化和难以解释的性质，尚未充分探讨这些任务。尽管深度学习（DL）的最新进展使模型能够从非结构化数据中提取可解释的特征，但它们通常需要大量的训练数据。然而，医疗领域中的许多任务固有地由具有冗长文档的小样本数据组成;以肾移植为例，仅可获得来自几千名患者的数据，并且每个患者的文档在大医院中由数百万字组成。因此，复杂的DL方法不能应用于这些类型的域。在本文中，我们提出了一个综合集成模型，使用向量空间建模和主题建模。我们所提出的模型进行评估，肾移植患者的再入院任务，并提高了0.0211从以前的国家的最先进的方法，使用结构化数据的c-统计方面，而典型的DL方法未能击败这种方法。所提出的架构提供了可解释的分数为每个功能从两种方式，结构化和非结构化的数据，这是有意义的，通过医生的评价。
2019-05-31 cs.CL cs.LG stat.ML
Leveraging Multi-modal Representations to Predict Protein Melting Temperatures
MoleculeMind Ltd.（分子心智有限公司）
本研究针对蛋白质熔解温度变化预测问题，基于ESM-2、ESM-3、AlphaFold等蛋白质语言模型结合多模态表征构建预测模型，在s571数据集上取得0.50的PCC最优结果，为蛋白质稳定性评估与工程设计提供支持。
2025-03-22 cs.CE cs.LG
MultiMAE: Multi-modal Multi-task Masked Autoencoders
Swiss Federal Institute of Technology Lausanne (EPFL)（洛桑联邦理工学院）
我们提出了一种预训练策略，称为多模态多任务掩码自编码器（MultiMAE）。它在两个关键方面不同于标准的Masked Autoencoding：I）它可以可选地接受输入中除了RGB图像之外的其他信息模态（因此“多模态”），以及II）其训练目标相应地包括预测除了RGB图像之外的多个输出（因此“多任务”）。我们利用掩蔽（跨图像块和输入模态）使训练MultiMAE易于处理，并确保网络确实学习了跨模态预测编码。我们表明，这种预训练策略导致了一个灵活，简单，高效的框架，改善了向下游任务的传输结果。特别是，当除RGB图像外的其他信息可用或除RGB外没有其他信息可用时，可以灵活地使用相同的精确预训练网络-在所有配置中都会产生与基线竞争或明显优于基线的结果。为了避免需要具有多种模态和任务的训练数据集，我们完全使用伪标记来训练MultiMAE，这使得该框架广泛适用于任何RGB数据集。实验在多个传输任务（图像分类、语义分割、深度估计）和数据集（ImageNet、ADE 20 K、Taskonomy、Hypersim、NYUv 2）上进行。结果表明，该模型在跨模态/任务预测编码和转移方面具有令人印象深刻的能力。
2022-04-04 cs.CV cs.LG
Constructing multi-modality and multi-classifier radiomics predictive models through reliable classifier fusion
UT Southwestern Medical Center（德克萨斯大学西南医学中心）；Xidian University（西安电子科技大学）
放射组学旨在从医学图像中提取和分析大量的定量特征，并且在癌症治疗的分期，诊断和预测结果方面具有很大的前景。然而，需要解决几个挑战，以构建最佳的放射组学预测模型。首先，当从个体成像模态提取的特征被盲组合到单个预测模型中时，模型的预测性能可能降低。其次，由于许多不同类型的分类器可用于构建预测模型，因此为特定应用选择最佳分类器仍然具有挑战性。在这项工作中，我们开发了多模态和多分类器放射组学预测模型，解决了目前可用模型中的上述问题。具体而言，提出了一种新的可靠的分类器融合策略，以最佳地组合来自不同模态和分类器的输出。在该策略中，首先训练特定于模态的分类器，并开发分析证据推理（ER）规则来融合每个模态的输出分数以构建最佳预测模型。一个公共数据集和两个临床病例研究进行了验证模型的性能。实验结果表明，所提出的ER规则为基础的放射组学模型优于传统的模型，依赖于一个单一的分类器或简单地使用组合的功能，从不同的方式。
2017-10-05 cs.LG physics.med-ph stat.ML
Model enhancement and personalization using weakly supervised learning for multi-modal mobile sensing
Qualcomm Techonologies Inc.（高通技术公司）
对移动终端用户的上下文信息的始终在线感测对于如今的许多智能用例（诸如医疗保健、驾驶辅助、语音UI）是至关重要的。用于预测用户上下文的最先进的方法已经证明了利用多个感测模态以获得更好的准确性的价值。然而，目前运行在应用处理器上的上下文推理算法往往会消耗大量的功率，使得它们不适合始终在线的实现。我们声称，并不是每一个传感模态都适合被激活的所有时间，它仍然具有挑战性，以建立一个推理引擎使用电源友好的传感模态。同时，由于人口的多样性，我们发现学习一个具有良好概括性的上下文推理模型是具有挑战性的，训练数据有限，特别是当只使用始终在线的低功耗传感器时。在这项工作中，我们提出了一种方法来利用设备中的机会性对应物来改进始终在线的预测模型，从而获得个性化的解决方案。我们使用弱监督学习框架来建模这个问题，并提供理论和实验结果来验证我们的设计。该框架在基于IMU的活动识别应用中取得了令人满意的结果。
2019-10-29 cs.LG eess.SP stat.ML
Path-GPTOmic: A Balanced Multi-modal Learning Framework for Survival Outcome Prediction
Capital Normal University（首都师范大学）；Novartis（诺华公司）；University of Notre Dame（圣母大学）
本文提出Path-GPTOmic多模态框架，通过调节scGPT嵌入空间提取基因生物学见解，并设计针对Cox损失的梯度调制机制平衡病理与基因组模态，在TCGA数据集上显著提升生存预测精度。
2024-03-18 cs.CV cs.LG q-bio.GN
Multi-modal Dynamic Graph Network: Coupling Structural and Functional Connectome for Disease Diagnosis and Classification
Harbin Institute of Technology at Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
多模态神经影像学技术极大地提高了诊断的效率和准确性，为发现客观疾病的生物标志物提供了补充信息。传统的深度学习方法，例如卷积神经网络，忽略了节点之间的关系，并且无法捕获图中的拓扑属性。图神经网络已被证明是非常重要的建模大脑连接体网络和相关的疾病特异性模式。然而，大多数现有的图方法明确地要求已知的图结构，这是不可获得的复杂的大脑系统。特别是在异构的多通道脑网络中，考虑通道间的依赖性，对脑区域间的交互进行建模是一个很大的挑战。在这项研究中，我们提出了一个多模态动态图卷积网络（MDGCN）的结构和功能的大脑网络学习。我们的方法受益于建模模态间表示和相关的关注多模型关联到动态图与组成的对应矩阵。此外，提出了一个双边图卷积层来聚合多模态表示的多模态关联。在三个数据集上的大量实验表明，我们提出的方法在疾病分类方面的优越性，在预测轻度认知障碍（MCI），帕金森病（PD）和精神分裂症（SCHZ）的准确率分别为90.4%，85.9%和98.3%。此外，我们对对应矩阵的统计评价显示出与先前生物标志物证据的高度对应性。
2022-10-25 cs.CV cs.LG eess.IV
Improving Paratope and Epitope Prediction by Multi-Modal Contrastive Learning and Interaction Informativeness Estimation
College of Informatics, Huazhong Agricultural University（华中农业大学信息学院）；Hubei Key Laboratory of Agricultural Bioinformatics, Huazhong Agricultural University（华中农业大学湖北省农业生物信息重点实验室）；Engineering Research Center of Intelligent Technology for Agriculture, Ministry of Education（教育部农业智能技术工程研究中心）
提出MIPE方法，通过多模态对比学习整合序列与结构数据并利用交互信息量估计空间交互，显著提升了抗体-抗原结合残基（paratope和epitope）的预测性能。
2024-05-31 cs.LG q-bio.BM q-bio.QM
SAFE: Similarity-Aware Multi-Modal Fake News Detection
Syracuse University（雪城大学）
有效检测假新闻最近引起了极大的关注。目前的研究在预测假新闻方面做出了重大贡献，但较少关注利用新闻文章中文本和视觉信息之间的关系（相似性）。重视这种相似性有助于识别假新闻故事，例如，试图使用不相关的图像来吸引读者的注意力。在这项工作中，我们提出了一个$\mathsf{S}$ imilarity- $\mathsf{A}$ ware $\mathsf{F}$ ak $\mathsf{E}$新闻检测方法（$\mathsf{SAFE}$），调查多模态（文本和视觉）信息的新闻文章。首先，采用神经网络分别提取新闻文本和视觉特征。我们进一步研究跨模态提取的特征之间的关系。新闻文本和视觉信息的这种表示及其关系被联合学习并用于预测假新闻。提出的方法有助于识别虚假的新闻文章的基础上，他们的文字，图像，或他们的“不匹配”。“我们对大规模的真实数据进行了广泛的实验，证明了所提出的方法的有效性。
2020-02-19 cs.CL cs.CV cs.LG
