Multimodal Classification: Current Landscape, Taxonomy and Future Directions
Virginia Commonwealth University(弗吉尼亚联邦大学)
多模态分类研究在许多领域越来越受欢迎,这些领域从多个来源收集更多数据,包括卫星图像,生物识别和医学。但是,由于缺乏一致的术语和体系结构描述,很难比较不同的现有解决方案。我们解决这些挑战,提出了一个新的分类方法来描述这种系统的基础上发现的趋势,在最近的出版物多模态分类。单峰分类的许多最困难的方面尚未完全解决多模态数据集,包括大数据,类不平衡和实例级难度。我们还讨论了这些挑战和未来的发展方向。
2021-09-18 cs.AI cs.LG
Beyond Objective Expressivity: Geometry Preservation in Multimodal Contrastive Learning
Berlin Institute of Health, Charité - Universitätsmedizin Berlin(柏林健康研究院,柏林夏里特大学医学中心);Department of Mathematics and Computer Science, Freie Universität Berlin(柏林自由大学数学与计算机科学系);Intelligent Medicine Institute, Fudan University(复旦大学智能医学研究院)
研究多模态对比学习从成对扩展到高阶对齐的挑战,确定编码器雅可比条件是关键因素,引入几何保留编码器,通过正则化调节雅可比,实验证明改善其条件可提升检索和线性探针性能,表明多模态对比学习还取决于编码器几何和优化属性。
2026-07-21 cs.AI cs.LG
Cross-modal Recurrent Models for Weight Objective Prediction from Multimodal Time-series Data
University of Cambridge(剑桥大学);Nokia Bell Labs(诺基亚贝尔实验室);University of Oxford(牛津大学);Nokia Digital Health - Withings(诺基亚数字健康-Withings)
我们分析多模态时间序列数据对应的重量,睡眠和步骤的测量。我们专注于预测用户是否会成功实现他/她的体重目标。为此,我们设计了几种深度长短期记忆(LSTM)架构,包括一种新的交叉模态LSTM(X-LSTM),并证明了它们优于基线方法。X-LSTM通过单独处理每个模态并允许它们之间通过循环交叉连接的方式进行信息流来提高参数效率。我们提出了一种用于X-LSTM的通用超参数优化技术,它使我们能够使用相当数量的参数,显着改进LSTM和现有的最先进的交叉模态方法。最后,我们将模型的预测可视化,揭示了这项任务中潜在变量的含义。
2017-11-29 cs.AI cs.LG q-bio.QM
Multimodal deep learning approach for joint EEG-EMG data compression and classification
University of British Columbia(不列颠哥伦比亚大学)
在本文中,我们提出了一个联合的压缩和分类方法的EEG和EMG信号使用深度学习的方法。具体来说,我们建立我们的系统的基础上,深度自动编码器架构,其设计不仅提取判别特征的多模态数据表示,但也重建数据的潜在表示使用编码器-解码器层。由于自动编码器可以被看作是一种压缩方法,我们将其扩展到在编码器层处理多模态数据,在解码器层重建和检索。我们通过实验结果表明,利用多模态数据intercorellation和intracorellation 1)显着减少信号失真,特别是对于高压缩水平2)实现更好的准确性,在分类EEG和EMG信号记录和标记根据志愿者的情绪。
2017-03-27 cs.LG
UniPhyNet: A Unified Network For Multimodal Physiological Raw Signal Classification
Department of Computer Science, University of Copenhagen(计算机科学系,哥本哈根大学)
UniPhyNet提出一种无需手工特征的多模态生理信号分类网络,融合多尺度卷积、通道注意力与双向GRU,在CL-Drive上显著提升认知负荷分类准确率。
2025-07-08 cs.LG eess.SP stat.ML
Leukocyte Classification using Multimodal Architecture Enhanced by Knowledge Distillation
Monash University(莫纳什大学);Inception Institute of Artificial Intelligence(Inception人工智能研究院)
近来,已经开发了许多自动白细胞(WBC)或白细胞分类技术。然而,所有这些方法仅利用单一模态显微图像,即基于血液涂片或荧光的显微图像,因此错过了从多模态图像进行更好学习的潜力。在这项工作中,我们开发了一个高效的多模式架构的基础上,第一种多模式WBC数据集的任务WBC分类。具体来说,我们提出的想法分为两个步骤:1)首先,我们只在单个网络中学习特定于模态的独立子网络; 2)我们通过从高复杂度的独立教师网络中提取知识来进一步增强独立子网络的学习能力。有了这个,我们提出的框架可以实现高性能,同时保持低复杂性的多模态数据集。我们的独特贡献是双重的- 1)我们提出了第一个用于WBC分类的多模式WBC数据集; 2)我们开发了一个高性能的多模式架构,同时也是高效和低复杂性的。
2022-08-17 cs.CV cs.LG eess.IV
MuG: A Multimodal Classification Benchmark on Game Data with Tabular, Textual, and Visual Fields
Emory University(埃默里大学)
本研究提出含8个跨4类游戏、覆盖三类模态的多模态分类基准MuG,完成多维度数据分析与基线实验验证其特性,已开源相关资源。
2023-10-17 cs.LG
Large Scale Multimodal Classification Using an Ensemble of Transformer Models and Co-Attention
Palo Alto Research Center(帕洛阿尔托研究中心)
准确和高效的产品分类对于电子商务应用非常重要,因为它可以实现各种下游任务,如推荐,检索和定价。项目通常包含文本和视觉信息,并且利用这两种模式通常优于单独使用任何一种模式的分类。在本文中,我们描述了我们的方法和结果的SIGIR电子商务乐天数据挑战。我们采用双重注意力技术,使用预训练的语言和图像嵌入来建模图像-文本关系。虽然双重注意已被广泛用于视觉问答(VQA)任务,我们是第一次尝试应用多模态分类的概念。
2020-11-23 cs.AI cs.CV cs.LG
Convolutional autoencoder-based multimodal one-class classification
Tampere University(坦佩雷大学);Finnish Environment Institute(芬兰环境研究所);University of Jyväskylä(于韦斯屈莱大学);Aarhus University(奥胡斯大学)
本文提出一种基于双卷积自编码器联合训练的多模态单类分类方法,以潜在表示到原点的距离作为异常分数,并在多模态图像数据集上验证其优于单模态方法,同时证明特征多样性正则化器可进一步提升性能。
2023-09-25 cs.CV cs.LG
CAMO: Causality-Guided Adversarial Multimodal Domain Generalization for Crisis Classification
Arizona State University(亚利桑那州立大学);DEVCOM Army Research Laboratory(陆军研究实验室)
CAMO通过结合对抗去耦与统一表示学习,解决多模态危机分类中的领域泛化问题,提升模型在未见灾害场景下的性能。
2025-12-08 cs.LG
Towards Balanced Active Learning for Multimodal Classification
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research A*STAR(新加坡科技研究局资讯通信研究院);NVIDIA AI Tech Center(英伟达人工智能技术中心)
针对现有单模态主动学习策略应用于多模态分类时存在主导模态样本选择偏差的问题,提出三条平衡策略设计准则及基于模态主导度调制梯度嵌入的公平样本选择方法,在多类任务上性能优于现有方法。
2023-08-21 cs.LG cs.MM
Multimodal Feature Fusion and Knowledge-Driven Learning via Experts Consult for Thyroid Nodule Classification
Sapienza University(罗马大学)
计算机辅助诊断(CAD)正在成为一种重要的方法,以帮助临床医生跨越多个领域。这些自动化系统利用各种计算机视觉(CV)程序以及人工智能(AI)技术来制定给定图像的诊断,例如,计算机断层扫描和超声波。这两个领域(CV和AI)的进步使CAD系统的性能不断提高,最终可以避免进行细针穿刺等侵入性手术。在这项研究中,一个新的端到端的知识驱动的分类框架。该系统侧重于由甲状腺超声检查生成的多模态数据,并通过将甲状腺结节分类为良性和恶性类别来充当CAD系统。具体来说,所提出的系统利用专家集合提供的线索来指导密集连接卷积网络(DenseNet)的学习阶段。该集成由在ImageNet上预训练的各种网络组成,包括AlexNet,ResNet,VGG等。先前计算的多模态特征参数用于通过转移学习创建超声领域专家,此外,减少了训练所需的样本数量。为了验证所提出的方法,进行了大量的实验,提供了详细的性能专家集成和知识驱动的DenseNet。如结果所示,所提出的系统在甲状腺结节分类任务的定性指标方面实现了相关性能,从而在制定诊断时产生了巨大的资产。
2021-10-25 cs.LG eess.IV stat.ML
Multimodal Side-Tuning for Document Classification
在本文中,我们提出了利用侧调框架多模态文档分类。侧调谐是最近引入的用于网络自适应的方法,以解决与先前方法相关的一些问题。由于这种技术,实际上可以通过微调来克服迁移学习的模型刚性和灾难性遗忘。所提出的解决方案使用现成的深度学习架构,利用侧调优框架将基本模型与两侧网络的串联相结合。我们表明,侧调也可以成功地采用时,考虑不同的数据源,例如,文本和图像在文档分类。实验结果表明,这种方法进一步推动了文档分类精度的限制相对于最先进的。
2023-01-23 cs.CV cs.LG
MuMIC -- Multimodal Embedding for Multi-label Image Classification with Tempered Sigmoid
多标签图像分类是各个领域的基础性课题。多模态学习方法最近在图像表示和单标签图像分类方面取得了突出的成果。例如,对比图像预训练(CLIP)展示了令人印象深刻的图像-文本表示学习能力,并且对自然的分布偏移具有鲁棒性。这一成功激励我们利用多模态学习进行多标签分类任务,并从对比学习的预训练模型中受益。我们提出了多模态多标签图像分类(MuMIC)框架,该框架利用基于二进制交叉熵损失函数的硬度感知的回火sigmoid,从而实现了多标签目标的优化和CLIP上的迁移学习。MuMIC能够提供高分类性能,处理真实世界的噪声数据,支持zero-shot预测,并产生特定于域的图像嵌入。在这项研究中,总共定义了120个图像类,并在大约60 K的Booking.com图像上收集了超过140 K的正注释。最终的MuMIC模型部署在Booking.com内容智能平台上,它优于其他最先进的模型,在所有120个类上的GAP@10和GAP分别为85.6%和83.8%,在32个多数类上的宏观mAP得分为90.1%。我们总结了通过消融研究进行广泛测试的建模选择。据我们所知,我们是第一个将对比学习的多模态预训练用于现实世界的多标签图像分类问题的人,并且创新可以转移到其他领域。
2022-11-02 cs.CV cs.LG
Supervised Multimodal Bitransformers for Classifying Images and Text
Facebook AI(Facebook人工智能);NYU(纽约大学)
自监督双向Transformer模型,如BERT,在各种文本分类任务中取得了显著的改进。然而,现代数字世界越来越多模态,文本信息通常伴随着其他模态,如图像。我们引入了一个有监督的多模态bittransformer模型,该模型融合了来自文本和图像编码器的信息,并在各种多模态分类基准任务上获得了最先进的性能,超过了强基线,包括专门用于测量多模态性能的硬测试集。
2020-11-12 cs.CL cs.CV cs.LG
Boomda: Balanced Multi-objective Optimization for Multimodal Domain Adaptation
针对多模态域自适应中标注数据稀缺、不同模态域偏移各异的问题,提出Boomda方法,通过信息瓶颈学习模态表示、相关性对齐匹配域并以多目标优化平衡对齐,实验表明其性能优于现有方案。
2025-11-11 cs.CV cs.LG
Multimodal Quantum Vision Transformer for Enzyme Commission Classification from Biochemical Representations
Purdue University(普渡大学);NC State University(北卡罗来纳州立大学)
针对结构注释有限或序列同源性低的酶功能预测挑战,提出整合四种生化模态的多模态量子机器学习框架,采用带模态编码器和交叉注意力融合的量子视觉Transformer,实现85.1%的top-1准确率,优于现有基线及QML模型。
2025-08-20 cs.LG
Multimodal Material Classification for Robots using Spectroscopy and High Resolution Texture Imaging
Georgia Institute of Technology(佐治亚理工学院)
材料识别可以帮助机器人了解如何正确地与现实世界的物体进行交互和操作。在本文中,我们提出了一种多模态传感技术,利用近红外光谱和近距离高分辨率纹理成像,使机器人能够估计家居物品的材料。我们发布了一个数据集的高分辨率纹理图像和光谱测量收集的移动机械手与144个家庭对象进行交互。然后,我们提出了一个神经网络架构,学习一个紧凑的多模态表示的光谱测量和纹理图像。当将材料分类推广到新对象时,我们表明,与现有的最先进的方法相比,这种多模态表示使机器人能够以更高的性能识别材料。最后,我们介绍了机器人如何将这种高分辨率的局部传感与机器人头戴式摄像机的图像相结合,以实现对桌子上物体场景的准确材料分类。
2020-07-30 cs.LG cs.RO
Multimodal Late Fusion Model for Problem-Solving Strategy Classification in a Machine Learning Game
TUD Dresden University of Technology(德累斯顿技术大学);RWTH Aachen University(亚琛工业大学)
针对数字学习隐性评估现有方法易忽略细微行为线索的问题,提出融合屏幕视觉数据与游戏动作序列的多模态晚期融合模型,在149名中学生的教育游戏试点中分类准确率较单模态基线提升超15%,为策略敏感型评估与自适应支持提供新思路。
2025-07-30 cs.LG
HybridVFL: Disentangled Feature Learning for Edge-Enabled Vertical Federated Multimodal Classification
University of Hull(赫尔大学)
HybridVFL通过客户端特征解耦与服务器跨模态Transformer融合,提升边缘计算中多模态分类的隐私保护性能。
2025-12-11 cs.LG
Indication as Prior Knowledge for Multimodal Disease Classification in Chest Radiographs with Transformers
The University of Edinburgh(爱丁堡大学);Canon Medical Research Europe(佳能医疗欧洲研究中心);The Alan Turing Institute(艾伦·图灵研究所)
当临床医生转诊患者进行成像检查时,他们会在扫描请求中包含原因(例如,相关患者病史、疑似疾病);这在放射学报告中显示为指示字段。图像的解释和报告在很大程度上受到该请求文本的影响,从而引导放射科医师专注于图像的特定方面。我们使用的指示字段,以推动更好的图像分类,通过采取一个Transformer网络,这是unimodally预训练的文本(BERT)和微调它的多模态分类的双图像-文本输入。我们在MIMIC-CXR数据集上评估了该方法,并进行了消融研究,以研究指示字段对分类性能的影响。实验结果表明,我们的方法实现了87.8平均微观AUROC,优于最先进的单峰(84.4)和多峰(86.0)分类方法。我们的代码可在https://github.com/jacenkow/mmbt上获得。
2022-02-12 cs.CV cs.LG
An Empirical Analysis of Calibration and Selective Prediction in Multimodal Clinical Condition Classification
New York University(纽约大学);University of Toronto(多伦多大学)
本研究通过实证分析多标签临床状况分类中基于不确定性的选择性预测,发现其性能可能严重下降,原因是类别依赖的误校准,尤其对少数类别,并强调需要校准感知评估来确保临床AI的安全性。
2026-05-22 cs.LG
Can We Predict the Unpredictable? Leveraging DisasterNet-LLM for Multimodal Disaster Classification
TERI School Of Advanced Studies(TERI高级研究学院);Macquarie University(麦考瑞大学);Cornell University(康奈尔大学);Eudoxia Research University(欧多西亚研究大学)
针对传统方法难以整合多模态数据进行灾难管理的问题,提出专用大模型DisasterNet-LLM,通过预训练与跨模态注意力机制提升灾难分类性能,在多项指标上优于现有模型。
2025-06-30 cs.AI cs.LG
Multimodal Data-Driven Classification of Mental Disorders: A Comprehensive Approach to Diagnosing Depression, Anxiety, and Schizophrenia
IIIT Allahabad(阿拉哈巴德印度信息技术学院)
本研究提出结合EEG与社会人口学数据的多模态方法,利用Apache Spark和CNN构建大数据分类流程,发现相干性特征能显著提升精神分裂症、抑郁症和焦虑症的诊断准确性。
2025-02-06 cs.LG
Hybrid Hypergraph Networks for Multimodal Sequence Data Classification
Feng Xu 1,2(作者1单位);Hui Wang 1(作者1单位);Yuting Huang 3(作者3单位);Danwei Zhang 4(作者4单位);Zizhu Fan 5(作者5单位)
针对多模态序列分类中时间依赖和跨模态交互建模不足的问题,提出混合超图网络HHN,采用先分段后建图策略,结合超图卷积与图注意力,在四个数据集上取得SOTA结果。
2025-07-30 cs.LG
ECG Heartbeat Classification Using Multimodal Fusion
Ryerson University(瑞尔森大学)
心电图(ECG)是诊断和应对心律失常和心肌梗死(MI)等严重心血管综合征的权威来源。当前的机器学习技术要么依赖于手动提取的特征,要么依赖于仅直接利用1D ECG信号的大型且复杂的深度学习网络。由于智能多模态融合可以在最先进的水平上使用高效的深度网络执行,因此,在本文中,我们提出了两种用于ECG心跳分类的计算高效的多模态融合框架,称为多模态图像融合(MIF)和多模态特征融合(MFF)。在这些框架的输入端,我们使用Gramian角场(GAF),递归图(RP)和马尔可夫转移场(MTF)将原始ECG数据转换为三种不同的图像。在MIF中,我们首先通过组合三种成像模态来执行图像融合,以创建单个图像模态,该图像模态用作卷积神经网络(CNN)的输入。在MFF中,我们从CNN的倒数第二层提取特征,并将它们融合,以获得更好的分类器性能所需的唯一且相互依赖的信息。这些信息特征最终被用来训练一个用于ECG心跳分类的支持向量机(SVM)分类器。我们通过在PhysioNets MIT-BIH数据集上进行实验来证明所提出的融合模型的优越性,该数据集用于五种不同的心律失常条件,这些心律失常条件与AAMI EC 57协议和PTB诊断数据集用于心肌梗死(MI)分类是一致的。我们在心律失常和MI分类上分别实现了99.7%和99.2%的分类准确率。
2021-07-21 cs.LG cs.NE eess.SP
Longitudinal Ensemble Integration for sequential classification with multimodal data
Department of Genetics and Genomic Sciences, Icahn School of Medicine at Mount Sinai(遗传学与基因组科学系,伊坎医学院-西奈山医院);Department of Computer Science and Engineering, University of North Texas(计算机科学与工程系,北德克萨斯大学);Department of Radiology, Keck School of Medicine, University of Southern California(放射学系,凯克医学院,南加州大学)
本研究提出纵向集成集成(LEI)框架,利用多模态数据的中间预测进行序列分类,在痴呆早期检测中优于现有方法,并能识别随时间一致重要的特征。
2025-07-08 cs.AI cs.LG
Modular Multimodal Classification Without Fine-Tuning: A Simple Compositional Approach
Chalmers University of Technology and University of Gothenburg(查尔姆斯理工大学和哥德堡大学);Vector Institute(向量研究所);University of Toronto(多伦多大学)
本文提出CoMET,一种无需微调的多模态分类方法,通过冻结预训练的backbone对每个模态进行处理,使用PCA压缩嵌入并输入到表格基础模型中进行预测,展示了PCA作为适配器在不同模态上的强大鲁棒性能,并提出了PALPooling来提升表示质量,实现了无需训练的多模态学习最佳结果。
2026-05-20 cs.LG
Multimodal Techniques for Malware Classification
San Jose State University(圣何塞州立大学)
本研究利用多模态机器学习方法,基于Windows PE文件不同部分提取的特征训练SVM、LSTM和CNN模型,并组合其输出概率,发现多模态模型优于基线,提高了恶意软件分类准确性。
2025-01-19 cs.CR cs.LG
TIER-MoE: Trust-Informed Expert Routing via Conditional Modality Risk for Multimodal Fusion in Biomedical Classification
该研究提出TIER-MoE风险引导子空间混合专家模型,用于生物医学分类多模态融合,可提升预测性能与概率校准,在多数据集上优于现有最优方法且具备强零样本泛化能力。
2026-07-31 cs.LG
Rethinking Multimodality: Optimizing Multimodal Deep Learning for Biomedical Signal Classification
Morgan State University(摩根州立大学);Yale University(耶鲁大学)
本研究通过五种模型对比,证明生物医学信号分类中多模态融合效果取决于域间信息论互补性而非模态数量,并提出量化框架指导最优融合。
2025-08-01 cs.AI cs.LG
Attentive Cross-modal Connections for Deep Multimodal Wearable-based Emotion Recognition
Queen’s University(女王大学);Ingenuity Labs Research Institute(创新实验室研究所)
人类情感的分类在人机系统的设计和改进中起着至关重要的作用。虽然诸如心电图(ECG)和皮肤电活动(EDA)之类的个体生物信号已被广泛用于机器学习方法的情感识别,但多模态方法通常融合提取的特征或最终分类/回归结果以提高性能。为了增强多模态学习,我们提出了一种新的专注的跨模态连接,以在负责学习各个模态的卷积神经网络之间共享信息。具体来说,这些连接通过在EDA和ECG之间共享中间表示来改进情感分类,并将注意力权重应用于共享信息,从而学习更有效的多模态嵌入。我们在WESAD数据集上进行实验,以确定所提出的情感分类方法的最佳配置。我们的实验表明,该方法能够学习强大的多模态表示,并优于一些基线方法。
2021-08-04 cs.LG eess.SP
Confidence Falls Short: Asymmetric Certainty Gains from Optimization Hinder Multimodal Classification
Nanjing University of Science and Technology(南京理工大学);Alibaba Group(阿里巴巴集团)
针对多模态优化中置信度不对称问题,提出MaxCR正则化方法,通过动态干预模态语义置信度,提升多模态分类整体性能。
2026-09-24 cs.LG
Adaptive Discovery of Interpretable Audio Attributes with Multimodal LLMs for Low-Resource Classification
Kyoto University(京都大学)
本文提出利用多模态大语言模型自适应发现可解释音频属性,提升低资源音频分类的效率和准确性。
2026-03-07 cs.LG cs.SD
Random Channel Ablation for Robust Hand Gesture Classification with Multimodal Biosignals
Worcester Polytechnic Institute(伍斯特理工学院);Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室)
针对多模态生物信号手势分类中通道缺失影响性能的问题,提出训练阶段引入随机通道消融的方法,经实验验证可显著提升分类器在通道缺失场景下的鲁棒性。
2024-07-15 cs.CV cs.HC cs.LG
D3G: Diverse Demographic Data Generation Increases Zero-Shot Image Classification Accuracy within Multimodal Models
Javon Hickmon(独立研究者)
D3G通过生成多样化的人口数据,减少多模态模型中的偏见,提高零样本图像分类的准确性。
2025-12-10 cs.CL cs.CV cs.CY
COMPRER: A Multimodal Multi-Objective Pretraining Framework for Enhanced Medical Image Representation
Weizmann Institute of Science(魏茨曼科学研究学院);Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
COMPRER是一个多模态多目标预训练框架,通过整合多模态、时间、医学测量和重建损失,增强医学图像表示,并在心血管疾病预测上超越现有模型,且数据效率更高。
2024-02-04 cs.CV cs.LG
Classification of Important Segments in Educational Videos using Multimodal Features
TIB -- Leibniz Information Centre for Science and Technology(TIB——莱布尼茨科学技术信息中心);L3S Research Center, Leibniz University Hannover(汉诺威莱布尼茨大学L3S研究中心)
视频是在网络搜索期间学习中常用的内容类型。许多电子学习平台提供高质量的内容,但有时教育视频很长,涵盖许多主题。人类擅长从视频中提取重要部分,但这对计算机来说仍然是一个重大挑战。在本文中,我们解决的问题,分配的重要性分数的视频片段,这是多少信息,它们包含相对于整体主题的教育视频。我们提出了一个注释工具和一个新的数据集的注释教育视频收集流行的在线学习平台。此外,我们提出了一个多模态神经架构,利用国家的最先进的音频,视觉和文本功能。我们的实验研究视觉和时间信息的影响,以及多模态特征的组合对重要性预测。
2020-10-26 cs.CV cs.LG
MultiFusionNet: Multilayer Multimodal Fusion of Deep Neural Networks for Chest X-Ray Image Classification
MultiFusionNet通过多层多模态融合和FDSFM模块提升胸部X光图像分类的准确率,达到97.21%和99.60%
2024-01-01 cs.CV cs.LG eess.IV
ECG Heart-beat Classification Using Multimodal Image Fusion
Ryerson University(瑞尔森大学)
在本文中,我们提出了一种新的图像融合模型(IFM)的ECG心跳分类,以克服现有的机器学习技术,依赖于手动特征提取或直接利用一维原始ECG信号的弱点。在IFM的输入端,我们首先使用Gramian角场(GAF),递归图(RP)和马尔可夫转移场(MTF)将ECG的心跳转换为三种不同的图像,然后将这些图像融合以创建单个成像模态。我们使用AlexNet进行特征提取和分类,从而采用端到端深度学习。我们根据AAMI EC 57标准对PhysioNet MIT-BIH数据集进行了五种不同心律失常的实验,并对PTB诊断数据集进行了心肌梗死(MI)分类。我们在预测准确性、精确度和召回率方面取得了最先进的结果。
2021-05-28 cs.CV cs.LG eess.SP
Improving Multimodal Classification of Social Media Posts by Leveraging Image-Text Auxiliary Tasks
University of Sheffield(谢菲尔德大学);Bloomberg(彭博公司)
本研究提出在微调多模态模型时联合使用图像-文本对比和图像-文本匹配两个辅助损失,以改进社交媒体帖子的多模态分类,在五个数据集上实现高达2.6个F1分数点的提升。
2024-02-03 cs.CL cs.LG cs.SI
Toward Automated Regulatory Decision-Making: Trustworthy Medical Device Risk Classification with Multimodal Transformers and Self-Training
Institute of Biomedical Engineering, Department of Engineering Science, University of Oxford(生物医学工程研究所,工程科学系,牛津大学);Birmingham Law School, University of Birmingham(伯明翰法学院,伯明翰大学)
针对医疗器械风险分类问题,提出基于Transformer的多模态框架,融合文本与视觉信息,结合交叉注意力机制与自训练策略,在真实数据集上达到90.4%准确率,显著优于单模态基线。
2025-05-01 cs.CL cs.LG
Multimodal Sleep Stage and Sleep Apnea Classification Using Vision Transformer: A Multitask Explainable Learning Approach
University of Turku(图尔库大学);University of California, Irvine(加利福尼亚大学欧文分校);The UCI Comprehensive Sleep Center(加州大学欧文分校综合睡眠中心)
本文提出一种1D-Vision Transformer多任务学习方法,利用多模态传感数据同时进行睡眠分期和睡眠呼吸暂停分类,分别达到78%和74%的准确率,并通过注意力权重分析揭示呼吸波谷和波峰对分类的关键作用。
2025-02-18 cs.LG eess.SP
Multimodal Classification via Modal-Aware Interactive Enhancement
Nanjing University of Science and Technology(南京理工大学)
本文提出模态感知交互增强方法,结合锐度感知最小化与梯度修正策略,缓解模态不平衡和遗忘问题,提升多模态分类性能。
2024-07-05 cs.CV cs.LG
Targeted Neural Architectures in Multi-Objective Frameworks for Complete Glioma Characterization from Multimodal MRI
School of Computer Science and Engineering, Vellore Institute of Technology(韦洛尔理工学院计算机科学与工程学院);College of Engineering, Guindy, Anna University(安娜大学金迪工程学院);Institute of Neurosurgery, Madras Medical College(马德拉斯医学院神经外科研究所)
本文提出多目标框架下的定向神经架构,利用多模态MRI完成胶质瘤定位、分割与分级,并在分割和分类任务中分别取得96% IoU与98.53%准确率。
2025-03-18 cs.CV cs.LG eess.IV
Multimodal Open-Vocabulary Video Classification via Pre-Trained Vision and Language Models
Google Research(谷歌研究院);Cornell University(康奈尔大学);University of Copenhagen(哥本哈根大学)
利用在大规模图像-文本对上预训练的视觉和语言模型(VLM)正在成为开放词汇视觉识别的一个有前途的范例。在这项工作中,我们扩展了这种模式,利用运动和音频,自然存在于视频。我们提出了\textbf{MOV},一个简单而有效的方法\textbf{M}多模态\textbf{O}笔- \textbf{V}枕视频分类。在MOV中,我们直接使用来自预训练VLM的视觉编码器,只需进行最小的修改即可对视频,光流和音频频谱图进行编码。我们设计了一个跨模态融合机制来聚合互补的多模态信息。在Kinetics-700和VGGSound上的实验表明,与预先训练的VLM和现有方法相比,引入流或音频模态会带来很大的性能提升。具体来说,MOV大大提高了基类的准确性,同时更好地推广了新类。MOV在UCF和HMDB zero-shot视频分类基准测试中取得了最先进的结果,显著优于传统的zero-shot方法和基于VLM的最新方法。代码和模型将被释放。
2022-07-15 cs.CV cs.LG
Classification of freshwater snails of the genus Radomaniola with multimodal triplet networks
Goethe University Frankfurt(法兰克福大学);Justus Liebig University(吉森大学);Bavarian State Collection for Palaeontology and Geology, SNSB(巴伐利亚古生物学与地质学收藏馆(巴伐利亚国家收藏馆))
本文提出首个用于Radomaniola属淡水螺分类的机器学习系统,针对数据集小且不平衡、类别多且视觉高度相似的挑战,采用三元组网络融合图像、测量与遗传信息三种模态,最终达到与领域专家相当的性能。
2024-07-30 cs.CV cs.LG
MMPareto: Boosting Multimodal Learning with Innocent Unimodal Assistance
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Beijing Key Laboratory of Big Data Management and Analysis Methods(北京市大数据管理与分析方法重点实验室)
针对多模态学习中多模态与单模态目标间的梯度冲突,提出MMPareto算法,通过帕累托整合确保通用梯度方向并增强幅度,提升泛化性能,实验验证其优越性与可扩展性。
2024-05-28 cs.AI cs.CV cs.LG
A multimodal slice discovery framework for systematic failure detection and explanation in medical image classification
Department of Computing, Imperial College London, UK(帝国理工学院 computing 部,英国);Aival, London, UK(Aival,伦敦,英国)
该研究提出了一种多模态切片发现框架,用于医学图像分类中的系统性故障检测与解释,展示了其在故障发现和解释生成方面的有效性。
2026-02-27 cs.CV cs.LG
Auto-weighting for Breast Cancer Classification in Multimodal Ultrasound
Shenzhen University(深圳大学);Southeast University(东南大学);Shanghai Jiaotong University(上海交通大学)
乳腺癌是女性最常见的侵袭性癌症。除了主要的B超筛查外,超声医师还探索了多普勒、应变和剪切波弹性成像的应用,以提高诊断水平。然而,在所有类型的图像中识别有用的模式并权衡每种模式的重要性可能会使经验不足的临床医生感到困惑。在本文中,我们首次探索了一种自动的方法,结合四种类型的超声检查,以区分良性和恶性乳腺结节。提出了一种新的多模态网络,以及有前途的可学习性和简单性,以提高分类精度。关键是采用权重分担战略,鼓励模式之间的互动,并采用额外的跨模式目标,以整合全球信息。与硬编码模型中每个模态的权重不同,我们将其嵌入到强化学习框架中,以端到端的方式学习此权重。因此,该模型被训练以寻求最佳的多模态组合,而无需手工设计。建议的框架进行评估的数据集包含1616组多模态图像。实验结果表明,该模型的分类准确率高达95.4%,表明了该方法的有效性。
2020-08-08 cs.CV cs.LG eess.IV
Dynamic Multimodal Sentiment Analysis: Leveraging Cross-Modal Attention for Enabled Classification
本研究针对多模态情感分类问题,在transformer架构下对比三种融合策略,基于CMU-MOSEI数据集验证早期融合效果更优,为多模态情感分析的特征融合方向提供参考。
2025-01-14 cs.CL cs.LG
Multimodal Brain Tumour Classification Using Feature Fusion
School of Physics, Engineering and Computer Science(物理、工程与计算机科学学院);University of Hertfordshire(赫特福德郡大学)
提出双分支多模态网络,融合MRI图像与91个放射组学特征,通过门控融合实现脑肿瘤分类,准确率达96.13%。
2026-06-11 cs.CV cs.LG eess.IV
Fusion-Free Multimodal Classification with Heterogeneous Deep Ensembles
ScaDS.AI, Technische Universität Dresden(ScaDS.AI,德累斯顿工业大学);Constructor University Bremen(不来梅建造者大学)
研究多模态分类,对比深度集成与模态融合网络,证明单模态网络深度集成可有效分类,提出选模型数量方法,还给出合成框架探索优化挑战,估计集成渐近性能。
2026-11-16 cs.CV cs.LG
GAUGE: Granularity-Adaptive Counterfactual Gating of Evidence for Incomplete Multimodal Classification
针对不完整多模态分类问题,提出轻量型GAUGE框架,通过细粒度反事实证据门控实现更优性能,为模态不完整下的证据控制提供了可扩展方案。
2026-08-07 cs.AI cs.LG