HySurvPred: Multimodal Hyperbolic Embedding with Angle-Aware Hierarchical Contrastive Learning and Uncertainty Constraints for Survival Prediction
Shenzhen University(深圳大学);University of Nottingham(诺丁汉大学);City University of Hong Kong(香港城市大学);Stanford University(斯坦福大学)
针对癌症生存预测中欧氏建模难以表征层级结构、风险区间离散化及删失样本利用不足的问题,本文提出 HySurvPred,通过双曲映射、角度感知排序对比损失和删失条件不确定性约束提升多模态预测性能。
2025-03-18 cs.CV cs.LG
A Survey on Self-supervised Contrastive Learning for Multimodal Text-Image Analysis
PIEAS(巴基斯坦工程与应用科学学院)
本文综述了自监督对比学习在多模态文本-图像分析中的最新进展,根据模型结构对方法进行分类,并探讨了代理任务、架构及先进应用。
2025-10-09 cs.CV cs.LG
UrbanFusion: Stochastic Multimodal Fusion for Contrastive Learning of Robust Spatial Representations
ETH Zurich(苏黎世联邦理工学院)
提出UrbanFusion模型,通过随机多模态融合(SMF)和Transformer模块整合街景、遥感、地图和POI数据,在56个城市41项任务中优于现有GeoAI模型。
2026-05-29 cs.CV cs.LG
Multimodal contrastive learning for remote sensing tasks
Google Research(谷歌研究院)
自监督方法在计算机视觉领域取得了巨大的成功,包括在遥感和医学成像中的应用。大多数流行的基于对比度损失的方法,如Simplified,MoCo,MoCo-v2,通过在图像上应用人为的增强来使用同一图像的多个视图,以创建积极的对,并将它们与消极的例子进行对比。虽然这些技术工作得很好,但这些技术中的大多数已经在ImageNet(以及类似的计算机视觉数据集)上进行了调整。虽然已经有一些尝试,以捕捉更丰富的变形集的积极样本,在这项工作中,我们探索一个有前途的替代生成积极的例子遥感数据的对比学习框架内。从相同位置和附近时间戳的不同传感器捕获的图像可以被认为是同一场景的强增强实例,从而消除了探索和调整一组手工制作的强增强的需要。在本文中,我们提出了一个简单的双编码器框架,该框架在Sentinel-1和Sentinel-2图像对的大型未标记数据集(约1 M)上进行了预训练。我们测试的嵌入在两个遥感下游任务:洪水分割和土地覆盖制图,经验表明,从这种技术中学习的嵌入优于传统的技术,通过积极的数据增强收集正面的例子。
2022-09-06 cs.CV cs.LG
FormNetV2: Multimodal Graph Contrastive Learning for Form Document Information Extraction
Google Cloud AI Research(谷歌云人工智能研究院);Google Research(谷歌研究院);Google Cloud AI(谷歌云人工智能)
针对表单文档理解现有多模态预训练方法调优复杂、需额外数据的问题,提出FormNetV2集中式多模态图对比学习框架,用统一损失实现多模态自监督预训练,结合边界框图像特征提取,以更紧凑的模型在多个基准上取得SOTA性能。
2023-06-13 cs.CL cs.CV cs.LG
Continual Multimodal Contrastive Learning
National University of Singapore(新加坡国立大学)
本文提出持续多模态对比学习(CMCL)问题,基于稳定性与可塑性原则推导出将双侧梯度投影到无干扰子空间的优化方法,并通过理论分析和多数据集实验验证了其有效性。
2025-09-22 cs.LG
Identifiability Results for Multimodal Contrastive Learning
ETH Zurich(苏黎世联邦理工学院)
对比学习是多视图和多模态学习中的最新进展的基础,例如,在图像/字幕对的表示学习中。虽然其有效性尚未完全理解,但最近的一系列工作表明,对比学习可以反转数据生成过程,并恢复视图之间共享的地面真相潜在因素。在这项工作中,我们提出了新的多模态对比学习的可识别性结果,表明它是可能的,以恢复共享的因素,在一个更一般的设置比以前研究的多视图设置。具体地,我们区分具有一个生成机制的多视图设置(例如,相同类型的多个摄像机)和以不同机制为特征的多模式设置(例如,摄像头和麦克风)。我们的工作概括了以前的可识别性的结果,重新定义的生成过程中的不同机制与模态特定的潜变量。我们证明,对比学习可以块识别模态之间共享的潜在因素,即使有非平凡的依赖因素之间。我们经验验证我们的可识别性的结果与数值模拟和证实我们的研究结果的一个复杂的多模态数据集的图像/文本对。缩小,我们的工作提供了一个多模态表示学习的理论基础,并解释了在哪些设置多模态对比学习可以在实践中有效。
2023-03-16 cs.LG stat.ML
IMU2CLIP: Multimodal Contrastive Learning for IMU Motion Sensors from Egocentric Videos and Text
Meta Reality Labs(Meta现实实验室)
我们提出了IMU 2CLIP,这是一种新的预训练方法,通过将它们投影到对比图像预训练(CLIP)的联合表示空间中,将惯性测量单元(IMU)运动传感器记录与视频和文本对齐。所提出的方法允许IMU 2CLIP将人类运动(由IMU传感器测量)转换为相应的文本描述和视频-同时保留这些模态的传递性。我们探讨了几个新的基于IMU的应用程序,IMU 2CLIP使,如基于运动的媒体检索和自然语言推理任务与运动数据。此外,我们还证明了IMU 2CLIP在为每个应用程序(例如活动识别)进行微调时可以显着提高下游性能,证明了IMU 2CLIP作为一种新的预训练资源的普遍使用。我们的代码将公开提供。
2022-10-26 cs.CL cs.CV cs.LG
What to align in multimodal contrastive learning?
EPFL(洛桑联邦理工学院);NeuroSpin, CEA(法国原子能和替代能源委员会神经自旋研究所);CEDRIC, CNAM(法国国立工艺学院CEDRIC实验室);Radiology Department, CHUV(瑞士洛桑大学医院放射科)
本文提出CoMM多模态对比学习策略,通过最大化多模态特征增强版本间的互信息来对齐表示,使模型能捕获模态间的冗余、独特和协同信息,在七个多模态基准上取得最先进成果。
2025-03-05 cs.AI cs.CL cs.CV
Explaining and Mitigating the Modality Gap in Contrastive Multimodal Learning
Department of Electrical Engineering \& Computer Science, University of Michigan
本文通过分析对比多模态学习中的模态差距成因,提出通过温度调度和模态交换等策略缓解模态差距,从而提升多模态任务性能。
2026-02-13 cs.AI cs.CV cs.LG
Structure-aware Contrastive Learning for Diagram Understanding of Multimodal Models
The Japan Research Institute, Limited(日本研究机构)
本文提出结构感知对比学习方法,通过专门的损失函数提升多模态模型对图表图像的理解能力,在图像-文本匹配和视觉问答任务中取得显著改进。
2025-09-02 cs.AI cs.CV cs.LG
Geometric Multimodal Contrastive Representation Learning
KTH Royal Institute of Technology(KTH皇家理工学院);INESC-ID(葡萄牙系统与计算机工程研究所);Instituto Superior Técnico, University of Lisbon(里斯本大学高等理工学院)
由于从不同通道获得的数据的固有异质性,在测试时对缺失模态既有信息又鲁棒的多模态数据的学习表示仍然是一个具有挑战性的问题。为了解决这个问题,我们提出了一种新的几何多模态对比(GMC)表示学习方法,该方法由两个主要部分组成:i)由模态特定的基本编码器和共享投影头组成的两级架构,该编码器允许将任意数量的模态处理为固定维度的中间表示,该投影头将中间表示映射到潜在表示空间; ii)多模态对比损失函数,其鼓励所学习的表示的几何对齐。我们的实验表明,GMC表示是语义丰富,并实现了国家的最先进的性能与丢失的模态信息的三个不同的学习问题,包括预测和强化学习任务。
2022-11-18 cs.AI cs.LG
Beyond Objective Expressivity: Geometry Preservation in Multimodal Contrastive Learning
Berlin Institute of Health, Charité - Universitätsmedizin Berlin(柏林健康研究院,柏林夏里特大学医学中心);Department of Mathematics and Computer Science, Freie Universität Berlin(柏林自由大学数学与计算机科学系);Intelligent Medicine Institute, Fudan University(复旦大学智能医学研究院)
研究多模态对比学习从成对扩展到高阶对齐的挑战,确定编码器雅可比条件是关键因素,引入几何保留编码器,通过正则化调节雅可比,实验证明改善其条件可提升检索和线性探针性能,表明多模态对比学习还取决于编码器几何和优化属性。
2026-07-21 cs.AI cs.LG
Face-to-Face Contrastive Learning for Social Intelligence Question-Answering
Carnegie Mellon University(卡内基梅隆大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
创建人工社交智能-可以理解多人交互的细微差别的算法-是处理多模式视频中面部表情和手势的一个令人兴奋的新兴挑战。最近的多模态方法已经在许多任务上设置了最先进的技术,但是在社交交互中,特别是在自我监督设置中,难以对说话回合中的复杂的面对面会话动态进行建模。在本文中,我们提出了面对面的对比学习(F2 F-CL),一个图神经网络,旨在模拟社会互动,使用分解节点的上下文的多模态面对面的互动沿边界的发言轮。利用F2 F-CL模型,我们提出在同一视频中不同说话回合的分解节点之间执行对比学习。我们通过实验评估了具有挑战性的Social-IQ数据集,并展示了最先进的结果。
2022-10-27 cs.AI cs.CV cs.LG
Multimodal Dual Emotion with Fusion of Visual Sentiment for Rumor Detection
近年来,谣言对社会产生了毁灭性的影响,使得谣言检测成为一项重大挑战。然而,谣言检测的研究忽略了谣言内容中图像的强烈情感。本文验证了图像情感提高了谣言检测的效率。提出了一种用于谣言检测的多模态双情感特征,该特征由视觉情感和文本情感组成。据我们所知,这是第一个将视觉情感用于谣言检测的研究。在真实数据集上的实验验证了所提出的特征优于最先进的情感特征,并且可以在谣言检测器中扩展,同时提高其性能。
2022-11-23 cs.CV cs.CY
Joint Self-Supervised and Supervised Contrastive Learning for Multimodal MRI Data: Towards Predicting Abnormal Neurodevelopment
University of Cincinnati(辛辛那提大学);University of Cincinnati College of Medicine(辛辛那提大学医学院);Perinatal Institute(围产期研究所)
针对多模态MRI特征简单融合存在信息捕捉不足、冗余等问题,提出联合自监督与监督对比学习方法,将异构特征投影到共享空间融合信息,在两个独立数据集上的异常神经发育预测效果优于现有深度多模态方法,可助力临床计算机辅助诊断。
2023-12-22 cs.AI cs.CV cs.LG
Contrastive Learning on Multimodal Analysis of Electronic Health Records
Harvard T.H. Chan School of Public Health(哈佛T.H. 柏林公共卫生学院);Harvard Medical School(哈佛医学院);Rutgers University(罗格斯大学);National University of Singapore(新加坡国立大学)
研究针对电子健康记录多模态数据传统分析方法不足,提出多模态特征嵌入生成模型及对比损失来学习特征表示,经理论分析、模拟研究和真实数据验证,该方法有效且具隐私保护特性,展现了多模态学习优势。
2026-07-13 cs.LG stat.ML
ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波茨坦大学哈索·普拉特纳数字工程研究所);TU Kaiserslautern(凯泽斯劳滕工业大学);Hasso Plattner Institute for Digital Health at the Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院哈索·普拉特纳数字健康研究所)
高注释成本是将现代深度学习架构应用于临床相关医疗用例的一个重要瓶颈,这证实了对从未标记数据中学习的新算法的需求。在这项工作中,我们提出了ContIG,这是一种自监督方法,可以从未标记的医学图像和遗传数据的大型数据集中学习。我们的方法使用对比损失在特征空间中对齐图像和几种遗传方式。我们设计了我们的方法,将每个人的多个模态集成到同一个模型中,即使可用的模态因个人而异。我们的程序在所有评估的下游基准任务上都优于最先进的自监督方法。我们还采用了基于梯度的可解释性算法,以更好地理解图像和遗传方式之间的跨模态关联。最后,我们对模型学习到的特征进行全基因组关联研究,揭示图像和遗传数据之间有趣的关系。
2021-11-26 cs.AI cs.CV cs.LG
Prior-Fitted and Frozen Scorers for Multimodal Contrastive Learning
Berlin Institute of Health(柏林卫生研究所);Charité - Universitätsmedizin Berlin(柏林夏里特医学院);Freie Universität Berlin(柏林自由大学);Intelligent Medicine Institute(智能医学研究所);Fudan University(复旦大学)
该研究针对多模态对比学习,提出先验拟合评分器(PFS),发现冻结的Transformer评分器性能优于手工基线,先验拟合可进一步提升效果,表明Transformer结合因果预置可替代人工相似度函数。
2026-10-14 cs.AI cs.LG
Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based Contrastive Learning for Enhanced Fusion Representation
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
本文提出基于监督角度间隔的对比学习框架,通过关注同类情感分数差异和单模态重要性,增强多模态情感分析中融合表示的判别力与泛化性。
2023-12-04 cs.CL cs.LG
CL-DMDF:Dynamic Multimodal Data Fusion Model Based on Contrastive Learning
Tsinghua University(清华大学)
针对多模态数据融合中模态缺失和局部交互忽视全局互补线索的问题,提出基于对比学习的动态多模态数据融合模型(CL-DMDF),通过跨特征和模态维度的注意力机制、实体质心对比学习模块和自适应融合模块,提升动态融合的效率和准确性。
2026-06-01 cs.AI cs.LG
Local-Global Multimodal Contrastive Learning for Molecular Property Prediction
School of Mathematical Sciences(数学科学学院);University of Electronic Science and Technology of China(电子科技大学);Department of Computer Science and Engineer(计算机科学与工程系);Oakland University(奥克兰大学);Department of Electrical and Computer Engineering(电气与计算机工程系);College of Management Science(管理科学学院);Chengdu University of Technology(成都理工大学)
LGM-CL通过局部-全局多模态对比学习框架,整合分子结构和化学语义信息,提升分子性质预测的准确性与性能。
2026-01-30 cs.AI cs.LG
Weighted Point Set Embedding for Multimodal Contrastive Learning Toward Optimal Similarity Metric
Sony AI(索尼人工智能);The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);Sony Group Corporation(索尼集团公司)
针对单点表示难以捕捉实例相似度结构的问题,提出加权点集嵌入方法,通过理论证明其能实现最优相似度并在下游分类任务中降低超额风险。
2025-03-03 cs.LG
Joint Multimodal Contrastive Learning for Robust Spoken Term Detection and Keyword Spotting
Electrical Engineering(电子工程);Artificial Intelligence(人工智能)
本文提出一种联合多模态对比学习框架,通过统一音频和跨模态监督提升语音术语检测和关键词 spotting 的鲁棒性。
2025-12-16 cs.LG cs.SD
Contrastive Graph Multimodal Model for Text Classification in Videos
Tencent(腾讯)
视频文本信息的提取是实现视频语义理解的关键步骤。它通常包括两个步骤:(1)文本识别和(2)文本分类。为了定位视频中的文本,我们可以求助于大量基于OCR技术的文本识别方法。然而,据我们所知,还没有现有的工作集中在视频文本分类的第二步,这将限制指导下游任务,如视频索引和浏览。在本文中,我们首次通过融合多模态信息来解决视频文本分类的新任务,以应对不同类型的视频文本可能与各种颜色,未知字体和复杂布局混淆的挑战性场景。此外,我们定制了一个特定的模块称为CorrelationNet,以加强明确提取布局信息的特征表示。此外,利用对比学习来探索样本之间的内在联系,使用大量的未标记的视频。最后,我们从新闻领域构建了一个新的定义良好的工业数据集,称为TI-News,它致力于构建和评估视频文本识别和分类应用程序。在TI-News上的大量实验证明了该方法的有效性。
2022-06-06 cs.CV
Understanding Multimodal Contrastive Learning and Incorporating Unpaired Data
Rutgers University(罗格斯大学);Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
在计算机视觉中,图像监督视觉模型引起了广泛的关注。构建这种模型的常见方法是在两种模态的配对数据上使用对比学习,如对比图像预训练(CLIP)所示。在本文中,在线性表示设置,(i)我们开始调查的一般类的非线性损失函数的多峰对比学习(MMCL),包括CLIP损失,并显示其连接到奇异值分解(SVD)。也就是说,我们表明,通过梯度下降的损失最小化的每一步可以被看作是执行SVD的对比互协方差矩阵。基于这种见解,(ii)我们分析了MMCL的性能。我们定量地表明,MMCL的特征学习能力可以更好地比单峰对比学习适用于每一个模态,即使在存在错误的匹配对。这表征了MMCL对噪声数据的鲁棒性。此外,当我们有机会获得额外的未配对的数据,(iii)我们提出了一个新的MMCL损失,包括额外的未配对的数据集。我们表明,该算法可以检测地面真值对,并通过充分利用未配对的数据集提高性能。数值实验验证了算法的性能。
2023-03-15 cs.LG stat.ML
Orthogonalized Multimodal Contrastive Learning with Asymmetric Masking for Structured Representations
Peter L. Reichertz Institute for Medical Informatics of TU Braunschweig and Hannover Medical School(图林根工业大学和汉诺威医学院医学信息学研究所);Lower Saxony Center for AI and Causal Methods in Medicine (CAIMed)(下萨克森人工智能与因果医学中心(CAIMed))
COrAL通过正交化多模态对比学习与不对称掩码,显式保留冗余、独特和协同信息,提升多模态表示的稳定性与全面性。
2026-02-16 cs.LG
Hidden in the Multiplicative Interaction: Uncovering Fragility in Multimodal Contrastive Learning
Berlin Institute of Health, Charité - Universitätsmedizin Berlin(柏林健康研究所,柏林查理医院);Intelligent Medicine Institute, Fudan University(智能医学研究院,复旦大学);Department of Mathematics and Computer Science, Freie Universität Berlin(数学与计算机科学系,柏林自由大学)
本文提出Gated Symile,通过引入对比门机制,解决多模态对比学习中因单个模态信息不足、错位或缺失导致的脆弱性问题,提升检索准确率。
2026-05-07 cs.LG
Cross-Contrastive Clustering for Multimodal Attributed Graphs with Dual Graph Filtering
Hong Kong Baptist University(香港 Baptist 大学)
本文提出双图过滤方案,通过特征去噪和三交叉对比学习提升多模态属性图的聚类性能。
2025-11-25 cs.LG
SCMPPI: Supervised Contrastive Multimodal Framework for Predicting Protein-Protein Interactions
Cuiying Honors College(萃英学院);Lanzhou University(兰州大学);City University of Hong Kong(香港城市大学);School of Mathematics and Statistics(数学与统计学院)
SCMPPI是一种监督对比多模态框架,通过融合序列特征与网络拓扑并引入负样本过滤的对比学习策略,在8个基准数据集上实现了98.13%的准确率和99.69%的AUC,展现出卓越的跨物种泛化能力与疾病靶点发现潜力。
2025-04-27 cs.AI cs.LG q-bio.QM
Global Contrastive Training for Multimodal Electronic Health Records with Language Supervision
University of Florida(佛罗里达大学)
本文提出融合时间交叉注意力transformer、动态嵌入分词与全局对比损失的语言监督多模态EHR框架,并在三家医院逾12万例手术的九类术后并发症预测中优于现有方法。
2024-04-10 cs.CL cs.LG
Thin Bridges for Drug Text Alignment: Lightweight Contrastive Learning for Target Specific Drug Retrieval
Rochester Institute of Technology(罗切斯特技术研究所)
本文提出基于冻结单模态编码器加轻量级投影头的细对比桥方法,通过难负样本加权和间隔损失实现药物文本跨模态对齐,在骨架划分下提升靶点特异性药物检索效果,算力效率更高。
2025-09-30 cs.LG q-bio.BM
Multimodal contrastive learning for diagnosing cardiovascular diseases from electrocardiography (ECG) signals and patient metadata
VinUniversity(文大学);Hanoi University of Science and Technology(河内科技大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对12导联 ECG 难以完整获取的问题,本文通过对比损失对齐全导联与少导联信号的嵌入表示,提升了所有导联组合的心血管疾病诊断性能。
2023-04-18 cs.LG eess.SP
Hierarchical Contrastive Learning for Multimodal Data
University of Chinese Academy of Sciences(中国科学院大学);National University of Singapore(新加坡国立大学)
本文提出层次对比学习框架,通过统一模型学习全局共享、部分共享和模态特定的表示,解决多模态数据中部分共享因素的建模问题,提升预测性能。
2026-04-07 cs.LG math.ST stat.ML
Multimodal Semantic-Aware Contrastive Learning For False Negative Mitigation in 3D Medical Imaging
University of Toronto(多伦多大学);The Hospital for Sick Children(病童医院);Vector Institute(向量研究所);University Hospital Augsburg(奥格斯堡大学医院)
研究针对3D医学成像中假阴性问题,提出多模态语义感知对比学习框架MseaCL,通过纳入放射学报告语义相似性作指导信号,经实验验证该框架用于预训练可提升下游任务表现,如儿科脑肿瘤分子分类AUC至少增22.6%。
2026-07-17 cs.LG q-bio.QM
Machine Unlearning in Hyperbolic vs. Euclidean Multimodal Contrastive Learning: Adapting Alignment Calibration to MERU
Aalborg University(奥尔堡大学);University of Barcelona(巴塞罗那大学);Computer Vision Center(计算机视觉中心);Milestone Systems(里程碑系统公司);Pioneer Center for Artificial Intelligence(先锋人工智能中心)
本文研究双曲对比学习中的机器遗忘,通过将对齐校准适配到双曲多模态模型MERU,证明双曲几何在概念移除上的优势,揭示其与欧几里得模型遗忘动态的差异,推进机器遗忘技术并提供几何特性对概念表示的见解。
2025-04-14 cs.AI cs.CL cs.CV
FOCAL: Contrastive Learning for Multimodal Time-Series Sensing Signals in Factorized Orthogonal Latent Space
Shanghai Jiao Tong University(上海交通大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Meta
本文提出FOCAL对比学习框架,通过因子化正交潜在空间分离共享与私有特征,并引入时间结构约束,在多模态时间序列感知任务中显著超越现有方法。
2023-10-30 cs.AI cs.LG cs.MM
Cross-modal Contrastive Learning for Multimodal Fake News Detection
Institute of Information Engineering, CAS(中国科学院信息工程研究所);School of Cyber Security, UCAS(中国科学院大学网络空间安全学院)
本文提出跨模态对比学习框架COOLANT,通过辅助任务软化负样本损失、跨模态融合模块和注意力引导机制提升多模态假新闻检测性能,并在Twitter和Weibo数据集上取得最优结果。
2023-08-11 cs.AI cs.CL cs.LG
Multimodal Contrastive Representation Learning in Augmented Biomedical Knowledge Graphs
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Washington University in St. Louis(华盛顿大学圣路易斯分校)
本文提出一种结合语言模型嵌入与图对比学习的多模态方法,并构建了增强知识图谱PrimeKG++,通过统一语义与关系信息显著提升了生物医学知识图谱中链接预测的准确性与泛化能力。
2025-06-28 cs.CL cs.LG
Understanding the Gain from Data Filtering in Multimodal Contrastive Learning
Paul G. Allen School of Computer Science and Engineering(保罗·G·艾伦计算机科学与工程学院)
本文研究了数据过滤在多模态对比学习中的收益,通过理论分析证明了过滤能有效降低误差,提升模型性能。
2025-12-16 cs.LG stat.ML
Token-Level Contrastive Learning with Modality-Aware Prompting for Multimodal Intent Recognition
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Hebei University of Science and Technology(河北科技大学)
本文提出TCL-MAP方法,通过模态感知提示对齐文本、视频和音频特征,并利用令牌级对比学习利用意图标签指导多模态学习,显著提升多模态意图识别性能。
2024-06-06 cs.LG cs.MM
A Cross-Modal Rumor Detection Scheme via Contrastive Learning by Exploring Text and Image internal Correlations
本文提出基于对比学习的跨模态谣言检测方案MICC,通过SCLIP编码器、跨模态多尺度对齐和尺度感知融合网络,充分挖掘文本与多尺度图像内部关联,在两个真实数据集上显著优于现有方法。
2025-08-15 cs.AI cs.CL cs.CV
Multimodal and Contrastive Learning for Click Fraud Detection
Alibaba Group(阿里巴巴集团)
广告点击欺诈检测在当前电子商务网站中扮演着重要的角色之一,因为广告是其商业模式的重要组成部分。它的目的是,给定一组相应的特征,例如,用户的人口统计信息和点击的统计特征,预测社区中的点击是否是欺诈性的。近年来,人们尝试将属性行为序列和异构网络相结合,提取用户的复杂特征,并在点击欺诈检测中取得了显著的效果。本文提出了一种用于点击欺诈检测的多模态对比学习网络(MCCF)。具体而言,MCCF通过观察电子商务平台上欺诈者和真实用户之间的人口统计信息、行为序列和媒体关系的差异,综合利用广泛而深入的特征、行为序列和异构网络来提取点击表征。此外,这三个模块通过对比学习整合在一起,并共同为最终的预测做出贡献。利用阿里巴巴平台上包含254万次点击的真实数据集,我们研究了MCCF的有效性。实验结果表明,该方法能够提高AUC的7.2%和F1分数的15.6%,与国家的最先进的方法相比。
2021-05-08 cs.AI cs.CR cs.LG
Linking Representations with Multimodal Contrastive Learning
Harvard University(哈佛大学);National Bureau of Economic Research(美国国家经济研究局)
针对跨数据集实体链接任务中传统字符串匹配方法精度不足、单模态方法易受OCR噪声或模态能力局限的问题,提出多模态对比学习框架CLIPPINGS,在历史企业记录链接任务上性能显著优于传统方法,且多模态预训练能提升单模态推理的效果。
2024-06-21 cs.CL cs.CV econ.GN
Hypergraph Contrastive Sensor Fusion for Multimodal Fault Diagnosis in Induction Motors
针对感应电机多模态故障诊断,提出多模态超图对比注意力网络(MM-HCAN),首次在超图拓扑中集成对比学习,实现多故障联合诊断,在三个基准上达到99.82%准确率。
2025-10-17 cs.AI cs.ET cs.LG
An Enhanced Dual Transformer Contrastive Network for Multimodal Sentiment Analysis
Ho Chi Minh City Open University, Ho Chi Minh, Vietnam Insight Centre for Data Analytics \& School of Computing, Dublin City University, Dublin, Ireland
针对多模态情感分析任务,本文提出基于早期融合的BERT-ViT-EF模型及扩展的DTCN模型,通过新增Transformer层优化文本上下文、结合对比学习对齐模态表征,在两个基准数据集上取得了优异性能。
2025-10-20 cs.AI cs.CL cs.LG
Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出多模态保相似性对比学习(MUSE)框架,通过定制多元时间序列编码器和正则化对比EEG-Image预训练,解决零样本EEG图像分类问题,在200路分类中达到SOTA,并揭示了人脑视觉处理动态。
2024-06-05 cs.AI cs.HC cs.LG
Extracting Molecular Properties from Natural Language with Multimodal Contrastive Learning
Stanford University(斯坦福大学)
本研究通过多模态对比学习对齐分子图与文本描述,实现性质信息迁移,并引入化学有效的图增强策略,在MoleculeNet任务上较图预训练模型AUROC提升4.26%。
2023-07-22 cs.AI cs.CL cs.IR
CL-MFAP: A Contrastive Learning-Based Multimodal Foundation Model for Molecular Property Prediction and Antibiotic Screening
Western University(西安大略大学);University of Toronto(多伦多大学)
本文提出 CL-MFAP,一种利用 SMILES、分子图和 Morgan 指纹三模态进行无监督对比预训练的分子基础模型,在抗生素性质预测与筛选任务上优于基线。
2025-02-16 cs.AI cs.LG q-bio.BM
Privileged Contrastive Pretraining for Multimodal Affect Modelling
Institute of Digital Games University of Malta(数字游戏研究所马耳他大学);Department of Artificial Intelligence University of Malta(人工智能系马耳他大学)
针对情感模型从实验室到现实环境迁移难的问题,提出特权对比预训练框架,利用监督对比学习和特权信息提升鲁棒性,在RECOLA和AGAIN上优于现有方法。
2025-07-30 cs.HC cs.LG cs.MM
VGA: Vision and Graph Fused Attention Network for Rumor Detection
Beijing Jiaotong University(北京交通大学)
本文提出视觉与图融合注意力网络VGA,利用传播结构获取群体意见,并挖掘图像篡改特征和隐藏文本,在多模态谣言检测上显著超越现有方法。
2024-01-03 cs.CL cs.CV cs.MM
Rumor Classification through a Multimodal Fusion Framework and Ensemble Learning
Université de Lyon(里昂大学);Laboratoire Cogitamus(科吉塔穆斯实验室)
社交媒体上的谣言扩散已成为一个主要问题,因为它能够造成毁灭性的影响。手动评估社交媒体消息的准确性是一项非常耗时的任务,机器学习可以提供很大帮助。大多数消息真实性验证方法仅利用文本内容和元数据。很少有人同时考虑文本和视觉内容,特别是图像。此外,先前的工作已经使用了许多经典的机器学习模型来检测谣言。然而,尽管最近的研究已经证明了集成机器学习方法的有效性,但这种模型很少被应用。因此,在本文中,我们提出了一套先进的图像质量评估领域的启发,并介绍了多模态融合框架来评估社交网络(MONITOR),它利用所有的消息功能,通过探索各种机器学习模型的消息的真实性。此外,我们证明了集成学习算法的谣言检测的有效性,通过使用五个元学习模型。最后,我们在两个真实世界的数据集上进行了广泛的实验。结果表明,MONITOR的性能优于最先进的机器学习基线,集成模型显著提高了MONITOR的性能。
2023-01-04 cs.AI cs.CL cs.CV
Deep Multimodal Image-Repurposing Detection
USC Information Sciences Institute(南加州大学信息科学研究所)
社交媒体和其他平台上的邪恶行为者经常通过其元数据(例如,标题)已被修改,以提供谣言/谎言的视觉证实。这种类型的修改被称为图像重新利用,其中通常会将未经处理的图像与不正确或经过处理的元数据一起发布,以服务于行为者的不可告人的动机。我们提出了多模态实体图像再利用(MEIR)数据集,这是一个非常具有挑战性的数据集,以前可用于支持图像再利用检测的研究。新的数据集包括位置,人员和组织对来自Flickr的真实世界数据的操作。我们还提出了一种新型的端到端的深度多模态学习模型,用于通过将从图像中提取的信息与知识库中的相关信息相结合来评估图像的完整性。将所提出的方法与现有数据集以及MEIR上的最先进技术进行比较,其中它全面优于现有方法,AUC改善高达0.23。
2018-08-20 cs.AI cs.CV cs.LG
On the Importance of Contrastive Loss in Multimodal Learning
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文从理论角度分析了简单多模态对比学习模型的训练动态,揭示正对驱动表示对齐但增加条件数,负对则减小条件数以保持表示平衡,证明了对比对在多模态学习中的重要性。
2023-04-07 cs.CL cs.CV cs.LG