CorMulT: A Semi-supervised Modality Correlation-aware Multimodal Transformer for Sentiment Analysis
Information Networking Institute at Carnegie Mellon University (CMU)(卡内基梅隆大学信息网络研究所);School of Computer Science and Technology at Tongji University(同济大学计算机科学与技术学院)
针对弱相关多模态数据情感识别难题,提出两阶段半监督模型CorMulT,通过对比学习模态相关系数并融合模态表示,在CMU-MOSEI上显著超越现有方法。
2025-07-18 cs.AI cs.CV
Enhancing Weakly Supervised Multimodal Video Anomaly Detection through Text Guidance
School of Computer Science and Technology, Hangzhou Dianzi University(杭州电子科技大学计算机科学与技术学院);Alibaba Cloud(阿里云);College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与电子工程学院)
本文提出文本引导框架,通过多阶段文本增强和多尺度瓶颈Transformer融合模块,提升弱监督多模态视频异常检测的性能。
2026-02-11 cs.AI cs.CV
Semi-supervised Learning: Fusion of Self-supervised, Supervised Learning, and Multimodal Cues for Tactical Driver Behavior Detection
Honda Research Institute, USA(美国本田研究院)
在本文中,我们提出了一个初步的研究,从未经修剪的自然驾驶记录的战术驾驶员行为检测。虽然基于监督学习的检测是一种常见的方法,但当标记数据稀缺时,它会受到影响。手动注释既耗时又昂贵。为了强调这个问题,我们在一个104小时的真实自然驾驶数据集上进行了实验,其中标注了一组预定义的驾驶行为。数据集中有三个挑战。首先,预定义的驾驶行为在自然驾驶环境中是稀疏的。第二,驾驶行为的分布是长尾的。第三,观察到巨大的类内变化。为了解决这些问题,最近的自我监督和监督学习和融合的多模态线索利用到我们的架构设计。初步的实验和讨论报告。
2018-07-02 cs.CV
SCHEMA for Gemini 3 Pro Image: A Structured Methodology for Controlled AI Image Generation on Google's Native Multimodal Model
Independent Researcher(独立研究者)
SCHEMA为Google Gemini 3 Pro图像提供结构化提示工程方法,通过三级系统提升AI图像生成的可控性,实现高合规率和跨领域应用。
2026-02-21 cs.CV cs.HC
Multimodal Semi-Supervised Learning for Text Recognition
AWS AI Labs(亚马逊云科技人工智能实验室);Technion(以色列理工学院)
直到最近,公开的真实世界文本图像的数量还不足以训练场景文本识别器。因此,大多数现代训练方法依赖于合成数据,并以完全监督的方式运行。然而,最近公开的真实世界文本图像的数量显著增加,其中包括大量未标记的数据。利用这些资源需要半监督方法;然而,现有的几种方法不考虑视觉语言的多模态结构,因此对于最先进的多模态架构来说是次优的。为了弥补这一差距,我们提出了多模态文本识别器(SemiMTR)的半监督学习,它在每个模态训练阶段利用未标记的数据。值得注意的是,我们的方法避免了额外的训练阶段,并保持了当前的三阶段多模式训练过程。我们的算法首先通过将自监督学习与监督训练相结合的单阶段训练来预训练视觉模型。更具体地说,我们扩展了现有的视觉表示学习算法,并提出了第一个基于对比度的场景文本识别方法。在文本语料库上预训练语言模型后,我们通过文本图像的弱增强视图和强增强视图之间的顺序、字符级、一致性正则化来微调整个网络。在一个新的设置中,一致性分别在每个模态上强制执行。大量的实验验证了我们的方法优于当前的训练方案,并在多个场景文本识别基准测试中取得了最先进的结果。
2022-05-08 cs.AI cs.CV cs.LG
Deep Multimodal Learning: An Effective Method for Video Classification
Institute for Interdisciplinary Information Sciences(交叉信息研究院);Tsinghua University(清华大学)
视频在互联网上变得无处不在。视频分析可以为检测和识别对象提供大量信息,并帮助人们理解人类行为以及与现实世界的交互。然而,面对结核病水平这样庞大的数据,必须采用有效的方法。递归神经网络(RNN)架构已被广泛用于许多顺序学习问题,如语言模型,时间序列分析等。在本文中,我们提出了一些变体的RNN,如堆叠双向LSTM/GRU网络与注意力机制分类大规模视频数据。我们还探讨了不同的多模态融合方法。我们的模型结合了视频和帧级的视觉和音频信息,并收到了很好的效果。还应用了包围方法。由于其多模态特性,我们决定将这种方法称为深度多模态学习(DML)。我们基于DML的模型在Google Cloud和我们自己的服务器上进行了训练,并在Google举办的Kaggle上的知名视频分类竞赛中进行了测试。
2018-11-30 cs.CV cs.MM
Joint Self-Supervised and Supervised Contrastive Learning for Multimodal MRI Data: Towards Predicting Abnormal Neurodevelopment
University of Cincinnati(辛辛那提大学);University of Cincinnati College of Medicine(辛辛那提大学医学院);Perinatal Institute(围产期研究所)
针对多模态MRI特征简单融合存在信息捕捉不足、冗余等问题,提出联合自监督与监督对比学习方法,将异构特征投影到共享空间融合信息,在两个独立数据集上的异常神经发育预测效果优于现有深度多模态方法,可助力临床计算机辅助诊断。
2023-12-22 cs.AI cs.CV cs.LG
Decoupling Common and Unique Representations for Multimodal Self-supervised Learning
Technical University of Munich(慕尼黑工业大学);German Aerospace Center(德国航空航天中心);Munich Center for Machine Learning(慕尼黑机器学习中心)
针对现有方法忽略模态内训练和独特表示的问题,提出DeCUR方法,通过多模态冗余减少区分模态间与模态内嵌入,在三种多模态场景中一致提升性能,适用于多模态及模态缺失设置。
2024-07-19 cs.CV
SemiMemes: A Semi-supervised Learning Approach for Multimodal Memes Analysis
FPT University(FPT大学)
本研究提出多模态半监督学习方法SemiMemes,结合自编码器与分类任务利用未标记数据,在两个数据集上优于现有最先进模型,有效解决模因有害内容审查的标注难题。
2023-05-16 cs.AI cs.CL cs.CV
Noise Estimation Using Density Estimation for Self-Supervised Multimodal Learning
IBM Research AI(IBM研究院人工智能部门);Technion(以色列理工学院)
使机器学习模型能够理解和解决现实世界任务的关键因素之一是利用多模态数据。不幸的是,多模态数据的注释是具有挑战性的和昂贵的。最近,结合视觉和语言的自监督多模态方法被提出来学习没有注释的多模态表示。然而,这些方法通常选择忽略高水平噪声的存在,从而产生次优结果。在这项工作中,我们表明,多模态数据的噪声估计问题可以减少到一个多模态密度估计任务。使用多模态密度估计,我们提出了一个多模态表示学习的噪声估计构建块,它严格基于不同模态之间的固有相关性。我们展示了我们的噪声估计可以广泛集成,并实现了可比较的结果,以国家的最先进的性能在五个不同的基准数据集的两个具有挑战性的多模态任务:视频问答和文本到视频检索。此外,我们提供了一个理论上的概率误差界证实我们的经验结果,并分析失败的情况。代码:https://github.com/elad-amrani/ssml.
2020-12-10 cs.CV
MarsRecon: Self-Supervised and Multimodal Surface Representations for Mars
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
MarsRecon提出地理感知流程,利用HiRISE影像训练掩码自编码器,并融合文本坐标上下文,实现火星表面多模态表征与检索,降低重建损失并取得显著检索性能。
2026-09-22 cs.AI cs.CV
How Robust is Google's Bard to Adversarial Image Attacks?
Tsinghua University(清华大学);RealAI(瑞莱智慧)
本研究通过白盒替代攻击评估Google Bard等商业多模态大语言模型的对抗鲁棒性,发现22%成功率可误导Bard,并识别其防御漏洞,同时验证对其他模型的可迁移性。
2023-10-14 cs.AI cs.CR cs.CV
Survey on Self-Supervised Multimodal Representation Learning and Foundation Models
New Mexico Tech(新墨西哥理工学院)
近年来,深度学习一直是人们越来越感兴趣的主题。具体而言,一种称为多模态学习的特定类型已经显示出解决语言,视觉,音频等领域中广泛问题的巨大潜力。一个有前途的研究方向是进一步改善这一点,在互联网上存在的大规模数据集的帮助下,学习高维世界的丰富而强大的低维数据表示。由于它有可能避免注释大规模数据集的成本,自监督学习近年来一直是这项任务的事实标准。本文总结了一些具有里程碑意义的研究论文,这些论文直接或间接地为当今表征的多模态自监督学习奠定了基础。本文回顾了表示学习在过去几年中的发展,以及它们是如何结合起来得到一个多模态代理。
2022-11-29 cs.AI cs.CV cs.GT
EVLP:Learning Unified Embodied Vision-Language Planner with Reinforced Supervised Fine-Tuning
Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
本文提出统一具身视觉-语言规划器EVLP,通过动态感知预训练和强化监督微调联合建模语言推理与视觉生成,提升长时程操作任务中的多模态规划一致性与空间感知能力。
2025-11-03 cs.AI cs.CV
Supervised Multimodal Bitransformers for Classifying Images and Text
Facebook AI(Facebook人工智能);NYU(纽约大学)
自监督双向Transformer模型,如BERT,在各种文本分类任务中取得了显著的改进。然而,现代数字世界越来越多模态,文本信息通常伴随着其他模态,如图像。我们引入了一个有监督的多模态bittransformer模型,该模型融合了来自文本和图像编码器的信息,并在各种多模态分类基准任务上获得了最先进的性能,超过了强基线,包括专门用于测量多模态性能的硬测试集。
2020-11-12 cs.CL cs.CV cs.LG
Addressing Data Scarcity in Multimodal User State Recognition by Combining Semi-Supervised and Supervised Learning
Bielefeld University(比勒费尔德大学);Honda Research Institute Europe(欧洲本田研究院)
检测人类用户的精神状态对于开发合作和智能机器人至关重要,因为它使机器人能够理解用户的意图和愿望。尽管它们很重要,但很难获得大量高质量的数据来训练自动识别算法,因为收集和标记这些数据所需的时间和精力非常高。在本文中,我们提出了一个多模态机器学习方法检测不一致/协议和混乱状态的人机交互环境中,只使用少量的手动注释的数据。我们通过进行人机交互研究来收集数据集,并为我们的机器学习方法开发了一种新的预处理管道。通过结合半监督和监督架构,我们能够实现81.1\%的平均F1分数的不一致/不一致检测与少量的标记数据和大量的未标记数据集,同时增加模型的鲁棒性相比,监督的方法。
2022-02-08 cs.CV
Deeply Supervised Multimodal Attentional Translation Embeddings for Visual Relationship Detection
National Technical University of Athens(雅典国立技术大学)
检测视觉关系,即<Subject,Predicate,Object>三元组,是一个具有挑战性的场景理解任务,过去通过单个特征分支中的语言先验或空间信息来实现。我们引入了一种新的深度监督的两分支架构,多模态注意翻译嵌入,其中每个分支的视觉特征由多模态注意机制驱动,该机制利用低维空间中的空间语言相似性。我们提出了各种各样的实验比较对所有相关的方法在文献中,以及通过重新实施和微调其中几个。在常用的VRD数据集[1]上的结果表明,所提出的方法明显优于所有其他方法,同时我们也在定量和定性上证明了我们的主张。
2019-02-15 cs.CV
SOLAR: Self-supervised Joint Learning for Symmetric Multimodal Retrieval
Ant Group(蚂蚁集团)
本文提出SOLAR框架,通过自监督学习解决对称多模态检索问题,利用未标记数据提升模型性能,实验显示其在基准测试中优于现有方法。
2026-07-14 cs.CV
Robust Semi-supervised Multimodal Medical Image Segmentation via Cross Modality Collaboration
The Chinese University of Hong Kong(香港中文大学)
本文提出一种鲁棒的半监督多模态医学图像分割框架,通过跨模态协作蒸馏模态无关知识并结合通道级语义一致性损失与对比一致学习,有效应对标注数据稀缺和模态不对齐问题,在多个医学分割任务中取得竞争性性能。
2024-09-04 cs.AI cs.CV eess.IV
Multimodal Semi-Supervised Learning for 3D Objects
Clemson University(克莱姆森大学);The City University of New York(纽约市立大学)
近年来,半监督学习得到了广泛的探索,并显示出出色的数据效率的二维数据。由于标记的3D数据的稀缺性,因此需要提高3D任务的数据效率。本文探讨了如何使用3D数据(例如点云,图像和网格)的不同模型的一致性来提高3D分类和检索任务的数据效率。通过引入实例级一致性约束和一种新的多模态对比原型损失(M2CP),提出了一种新的多模态半监督学习框架。实例级一致性强制网络为同一对象的多模态数据生成一致的表示,而不管其模态如何。M2CP为每个类维护多模态原型,并通过最小化每个对象到其原型的特征距离同时最大化到其他对象的距离来学习具有小类内变化的特征。我们提出的框架在modelNet10和modelNet40数据集上的分类和检索任务上都大大优于所有最先进的同行。
2021-10-25 cs.CV
Milking CowMask for Semi-Supervised Image Classification
School of Computing Sciences(计算科学学院);University of East Anglia(东英吉利大学);Google Research(谷歌研究院)
一致性正则化是一种用于半监督学习的技术,其在具有少量标记数据的情况下支持许多强有力的分类结果。它的工作原理是鼓励学习模型对未标记数据的扰动具有鲁棒性。在这里,我们提出了一种新的基于掩码的增强方法,称为CowMask。使用它来为半监督一致性正则化提供扰动,我们在ImageNet上实现了最先进的结果,具有10%的标记数据,前5个错误为8.76%,前1个错误为26.06%。此外,我们使用的方法比许多替代方法简单得多。我们通过在SVHN、CIFAR-10和CIFAR-100数据集上运行许多小规模实验,进一步研究了CowMask用于半监督学习的行为,在这些实验中,我们获得了与现有技术相竞争的结果,表明CowMask具有广泛的适用性。我们在https://github.com/google-research/google-research/tree/master/milking_cowmask上开源我们的代码
2020-06-05 cs.CV
Self-Supervised Learning for Multimodal Non-Rigid 3D Shape Matching
University of Bonn(波恩大学)
3D形状的匹配已经被广泛地研究用于表示为表面网格的形状以及表示为点云的形状。虽然点云是原始真实世界3D数据(例如来自激光扫描仪)的常见表示,但网格编码丰富且富有表现力的拓扑信息,但它们的创建通常需要某种形式的(通常是手动的)管理。反过来,纯粹依赖于点云的方法无法满足利用附加拓扑结构的基于网格的方法的匹配质量。在这项工作中,我们通过引入一种自监督的多模态学习策略来缩小这一差距,该策略将基于网格的功能图正则化与耦合网格和点云数据的对比损失相结合。我们的形状匹配方法允许获得三角形网格,完整的点云和部分观察到的点云,以及在这些数据模式的对应关系的模内对应。我们证明,即使与最近的监督方法相比,我们的方法在几个具有挑战性的基准数据集上也取得了最先进的结果,并且我们的方法达到了以前从未见过的跨数据集泛化能力。
2023-03-20 cs.AI cs.CG cs.CV
Weakly supervised multimodal segmentation of acoustic borehole images with depth-aware cross-attention
Federal University of Bahia, Institute of Geosciences, Department of Geophysics(巴伊亚联邦大学,地质科学学院,地球物理学系);Grupo de Estudos e Aplicação de Inteligência Artificial em Geofísica (GAIA)(地质物理中人工智能研究与应用小组)
本文提出一种弱监督多模态分割框架,通过深度感知的跨注意力机制提升钻孔图像分割性能,结合二维图像纹理与一维井下数据,实现无监督的高精度分割。
2026-03-21 cs.AI cs.CV physics.geo-ph
UniS-MMC: Multimodal Classification via Unimodality-supervised Multimodal Contrastive Learning
Nanyang Technological University(南洋理工大学)
针对传统多模态融合忽略模态间关系且易受噪声影响的问题,提出在单模态预测弱监督下的多模态对比学习方法UniS-MMC,通过捕获并对齐单模态表示以获取更可靠的多模态表示,在多个图文分类基准上超越现有方法。
2023-05-16 cs.CL cs.CV
SSL-R1: Self-Supervised Visual Reinforcement Post-Training for Multimodal Large Language Models
Max Planck Institute for Informatics, SIC(马克斯·普朗克信息研究所,SIC);VIA Research Center(VIA研究中心);Google(谷歌)
SSL-R1通过自监督学习生成可验证奖励,提升多模态大语言模型的推理能力,无需人工或外部监督,有效增强视觉理解。
2026-04-22 cs.CV
TCT: A Cross-supervised Learning Method for Multimodal Sequence Representation
Didi Chuxing(滴滴出行)
在大多数任务中,多模态提供了比单峰更有前途的性能。然而,有效地从多模态学习表示的语义是极具挑战性的。为了解决这个问题,我们提出了基于Transformer的跨模态翻译器(TCT)学习单峰序列表示通过从其他相关的多模态序列上的监督学习方法进行翻译。将TCT与多模态Transformer Network(MTN)相结合,在基于视频的多模态对话中对MTN-TCT进行了评估。所提出的方法报告了新的国家的最先进的性能视频接地的对话,这表明表示学习TCT更语义相比,直接使用单峰。
2019-10-23 cs.CL cs.CV cs.LG
Leveraging Unimodal Self-Supervised Learning for Multimodal Audio-Visual Speech Recognition
Shanghai Jiao Tong University(上海交通大学);Horizon Robotics(地平线机器人)
训练基于transformer的模型需要大量的数据,而在多模态中获得对齐和标记的数据是相当昂贵的,特别是对于视听语音识别(AVSR)。因此,使用未标记的单峰数据非常有意义。另一方面,尽管大规模自监督学习的有效性在音频和视觉模式中都得到了很好的证实,但如何将这些预先训练的模型集成到多模式场景中仍然没有得到充分的探索。在这项工作中,我们成功地利用单峰自监督学习,以促进多模态AVSR。特别是,音频和视觉前端在大规模单峰数据集上进行训练,然后我们将两个前端的组件集成到一个更大的多模态框架中,该框架通过CTC和seq2seq解码的组合学习将并行视听数据识别为字符。我们发现,这两个组件继承自单峰自监督学习合作良好,从而导致多模态框架产生竞争力的结果,通过微调。我们的模型是实验验证的单词级和单词级的任务。特别是,即使没有一个外部的语言模型,我们提出的模型提高了国家的最先进的性能上广泛接受的唇读句子2(LRS 2)数据集的大幅度,相对提高了30%。
2022-03-26 cs.AI cs.CL cs.CV
A Multimodal Supervised Machine Learning Approach for Satellite-based Wildfire Identification in Europe
LINKS Foundation(LINKS基金会);Politecnico di Torino(都灵理工大学)
本文融合MODIS、VIIRS热点数据与EFFIS数据库构建欧洲野火数据集,并提出一种结合LULC和Sentinel-3数据的多模态监督学习方法,以提升卫星热点检测中野火识别的准确性。
2023-07-27 cs.AI cs.CV eess.IV
S4-Driver: Scalable Self-Supervised Driving Multimodal Large Language Modelwith Spatio-Temporal Visual Representation
UC Berkeley(加州大学伯克利分校);Waymo LLC(Waymo公司);Cornell University(康奈尔大学);Georgia Institute of Technology(佐治亚理工学院)
S4-Driver提出一种基于PaLI的自监督运动规划算法,通过稀疏体素策略将MLLM视觉表示从2D转换到3D时空空间,无需人工标注即可在nuScenes和Waymo数据集上取得优于有监督多任务方法的性能。
2025-06-03 cs.AI cs.CV
Weakly-Supervised Learning of Visual Relations in Multimodal Pretraining
Google DeepMind(谷歌DeepMind);University of Copenhagen(哥本哈根大学)
本文提出两种预训练方法,利用小规模视觉关系数据的监督信号,通过语言化场景图和掩码关系预测在多模态设置中情境化视觉实体,在零样本评估中有效提升了多模态表示学习能力。
2023-10-19 cs.CL cs.CV
Tasting the cake: evaluating self-supervised generalization on out-of-distribution multimodal MRI data
Georgia Institute of Technology(佐治亚理工学院);TReNDS Center(TReNDS中心);Delft University of Technology(代尔夫特理工大学)
自监督学习在自然图像基准测试方面取得了显著的进步。然而,在这一领域的医学成像领域的工作较少。各种备选方案中的最佳模式尚未确定。此外,很少有工作评估了新的自我监督方法的当前适用性限制。在本文中,我们评估了一系列目前的对比自我监督方法的分布外泛化,以评估其适用于医学成像。我们表明,自监督模型并不像预期的那样强大,基于他们的结果在自然成像基准,可以优于监督学习与辍学。我们还表明,这种行为可以反击广泛的增强。我们的研究结果强调了需要分布外泛化标准和基准,以在医学成像界采用自我监督的方法。
2022-05-23 cs.CV
Self-Supervised Multimodal Domino: in Search of Biomarkers for Alzheimer's Disease
Georgia Institute of Technology(佐治亚理工学院);Georgia State University(佐治亚州立大学);Emory University(埃默里大学);Center for Translational Research in Neuroimaging and Data Science(神经影像学与数据科学转化研究中心);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Delft University of Technology(代尔夫特理工大学)
来自多个来源的感官输入对于强大和连贯的人类感知至关重要。不同的来源提供了互补的解释因素。类似地,研究通常收集多模态成像数据,其中每一个都可以提供共享和独特的信息。这一观察激发了强大的多模态自监督表示学习算法的设计。在本文中,我们统一在一个单一的框架下的多模态自监督学习最近的工作。观察到大多数自监督方法都会优化一组模型组件之间的相似性度量,我们提出了组织该过程的所有合理方法的分类法。我们首先评估玩具多模式MNIST数据集上的模型,然后将其应用于阿尔茨海默病患者的多模式神经成像数据集。我们发现,(1)多模态对比学习具有显着的优势,其单峰对应,(2)多个对比目标的具体组成是关键的性能上的下游任务,(3)表示之间的相似性的最大化有一个正则化的影响神经网络,这有时会导致下游性能下降,但仍然揭示多模态关系。实验结果表明,该方法在线性评估协议下,在不同数据集上的性能优于基于典型相关分析(CCA)的自监督编码器-解码器方法和基于专家混合的多模态变分自编码器变分自编码器(MMVAE)。重要的是,我们找到了一个有前途的解决方案,通过共同共享的子空间来揭示模态之间的联系,这可以帮助我们推进神经成像生物标志物的研究。
2021-06-16 cs.CV cs.LG
Multimodal Clustering Networks for Self-supervised Learning from Unlabeled Videos
Columbia University(哥伦比亚大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Central Florida(中佛罗里达大学);Goethe University Frankfurt(法兰克福大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research AI(IBM研究院人工智能部门);UT Austin(德克萨斯大学奥斯汀分校);NYU(纽约大学)
多模态自监督学习正受到越来越多的关注,因为它不仅允许在没有人类监督的情况下训练大型网络,而且还可以跨各种模态搜索和检索数据。在这种情况下,本文提出了一个自我监督的训练框架,学习一个共同的多模态嵌入空间,除了在不同的模态共享表示,强制执行一组语义相似的实例。为此,我们扩展了实例级对比学习的概念,在训练管道中使用多模态聚类步骤来捕获模态之间的语义相似性。由此产生的嵌入空间可以在所有模态中检索样本,甚至可以从看不见的数据集和不同的域中检索。为了评估我们的方法,我们在HowTo100 M数据集上训练我们的模型,并在两个具有挑战性的领域评估其zero-shot检索能力,即文本到视频检索和时间动作定位,在四个不同的数据集上显示最先进的结果。
2021-09-03 cs.CV
Self-MI: Efficient Multimodal Fusion via Self-Supervised Multi-Task Learning with Auxiliary Mutual Information Maximization
VNU - University of Engineering and Technology, Hanoi, Vietnam(越南国立大学-工程技术大学)
针对现有多模态表示学习难以利用各模态独特特性的问题,提出自监督的Self-MI方法,借助CPC最大化互信息并设计自监督标签生成模块,经三个基准数据集验证有效提升了多模态融合效果。
2023-11-07 cs.CV cs.MM
Self-Supervised Learning from Web Data for Multimodal Retrieval
Eurecat, Centre Tecnològic de Catalunya(加泰罗尼亚技术中心);Computer Vision Center, Universitat Autònoma de Barcelona(巴塞罗那自治大学计算机视觉中心)
多模态图像和文本数据的自监督学习允许深度神经网络学习强大的特征,而无需人工注释数据。网络和社交媒体平台提供了几乎无限数量的这种多模态数据。在这项工作中,我们建议利用这些免费的可用数据来学习多模态图像和文本嵌入,旨在利用在文本域中学习的语义知识,并将其转移到语义图像检索的视觉模型。我们证明了所提出的流水线可以从具有相关texý out监督的图像中学习,并分析学习的联合图像和文本嵌入空间的语义结构。我们在三个不同的基准测试中对五种不同的最先进的文本嵌入进行了深入的分析和性能比较。我们表明,在基于文本的图像检索任务中,使用Web和社交媒体数据学习的嵌入与监督方法相比具有竞争力的性能,并且在目标数据中进行训练时,我们在MIRFlickr数据集中的表现明显优于最先进的技术。此外,我们展示了如何语义多模态图像检索可以使用学习嵌入,超越经典的实例级检索问题。最后,我们提出了一个新的数据集InstaCities 1 M,由Instagram图像及其相关文本组成,可用于图像-文本嵌入的公平比较。
2019-01-07 cs.CV
ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波茨坦大学哈索·普拉特纳数字工程研究所);TU Kaiserslautern(凯泽斯劳滕工业大学);Hasso Plattner Institute for Digital Health at the Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院哈索·普拉特纳数字健康研究所)
高注释成本是将现代深度学习架构应用于临床相关医疗用例的一个重要瓶颈,这证实了对从未标记数据中学习的新算法的需求。在这项工作中,我们提出了ContIG,这是一种自监督方法,可以从未标记的医学图像和遗传数据的大型数据集中学习。我们的方法使用对比损失在特征空间中对齐图像和几种遗传方式。我们设计了我们的方法,将每个人的多个模态集成到同一个模型中,即使可用的模态因个人而异。我们的程序在所有评估的下游基准任务上都优于最先进的自监督方法。我们还采用了基于梯度的可解释性算法,以更好地理解图像和遗传方式之间的跨模态关联。最后,我们对模型学习到的特征进行全基因组关联研究,揭示图像和遗传数据之间有趣的关系。
2021-11-26 cs.AI cs.CV cs.LG
Temporal Embeddings: Scalable Self-Supervised Temporal Representation Learning from Spatiotemporal Data for Multimodal Computer Vision
Apple(苹果公司)
本文提出一种自监督时间嵌入方法,将时空移动轨迹经频域变换和收缩自编码器压缩为类图像表示,用于地理空间多模态语义分割,并在住宅区与商业区分类中验证其有效性。
2023-10-16 cs.AI cs.CV cs.LG
A Multimodal Deviation Perceiving Framework for Weakly-Supervised Temporal Forgery Localization
School of Computer Science and Engineering, Sun Yat-sen University(计算机科学与工程学院,中山大学);State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室);School of Cyber Science and Engineering, Wuhan University(网络科学与工程学院,武汉大学)
提出一种多模态偏差感知框架(MDP),利用视频级标注实现弱监督时间伪造定位,通过跨模态注意力和偏差感知损失精确定位伪造片段,性能媲美全监督方法。
2025-08-04 cs.CV
Progressive Video Summarization via Multimodal Self-supervised Learning
The University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
现代视频摘要方法基于深度神经网络,其需要大量注释数据用于训练。然而,现有的视频摘要数据集规模较小,容易导致深度模型的过拟合。考虑到大规模数据集的标注是耗时的,我们提出了一个多模态自监督学习框架来获得视频的语义表示,这有利于视频摘要任务。具体而言,自监督学习是通过探索视频和文本之间的语义一致性,在粗粒度和细粒度的时尚,以及恢复视频中的掩蔽帧。多模态框架在新收集的由视频-文本对组成的数据集上进行训练。此外,我们引入了一种渐进式视频摘要方法,其中视频中的重要内容被逐步精确定位以生成更好的摘要。大量的实验证明了我们的方法的有效性和优越性的秩相关系数和F-得分。
2022-10-19 cs.CL cs.CV
MWSIS: Multimodal Weakly Supervised Instance Segmentation with 2D Box Annotations for Autonomous Driving
University of Science and Technology of China(中国科学技术大学);Shanghai Jiao Tong University(上海交通大学);COWAROBOT(库瓦机器人)
针对自动驾驶实例分割掩码标注成本高的问题,提出仅用2D框标注的多模态弱监督实例分割框架MWSIS,结合细粒度标签校正与CSCS跨模态监督,在Waymo数据集上2D、3D分割mAP分别提升2.59%、12.75%,且少量标注下性能超全监督方法。
2023-12-17 cs.CV
Multimodal Self-Supervised Learning for Medical Image Analysis
Hasso-Plattner Institute, Potsdam University(波茨坦大学哈索·普拉特纳研究所);SAP AI Research(SAP人工智能研究院)
自监督学习方法利用未标记的样本来获取关于不同概念的通用知识,从而允许注释高效的下游任务学习。在本文中,我们提出了一种新的自我监督的方法,利用多种成像方式。我们引入了多模态拼图任务,这有利于丰富的表示学习从多种图像模态。学习的表示允许对不同下游任务进行后续微调。为了实现这一点,我们通过在数据级混淆图像模态来学习模态不可知的特征嵌入。与Sinkhorn算子一起,我们将解谜优化制定为置换矩阵推理而不是分类,它们允许有效解决具有不同复杂程度的多模态谜题。此外,我们还建议利用跨模态生成技术的多模态数据增强用于训练自我监督的任务。换句话说,我们利用合成图像进行自我监督的预训练,而不是直接进行下游任务,以规避与合成图像相关的质量问题,同时提高数据效率和表示质量。我们的实验结果评估了下游性能和数据效率的收益,结果表明,与独立处理每种模态相比,解决我们的多模态难题会产生更好的语义表示。我们的研究结果还强调了利用合成图像进行自我监督预训练的好处。我们展示了我们在四个下游任务上的方法:使用四种MRI模式进行脑肿瘤分割和生存天数预测,使用两种MRI模式进行前列腺分割,以及使用未注册的CT和MRI模式进行肝脏分割。我们超越了许多以前的解决方案,并取得了与最先进的竞争力的结果。
2020-10-25 cs.CV cs.LG
Semi-supervised multimodal coreference resolution in image narrations
School of Informatics, University of Edinburgh(爱丁堡大学信息学院);CFAR, IHPC, A*STAR(新加坡科技研究局高性能计算研究所认知智能实验室)
针对图像叙述多模态共指消解中图文对齐、语言歧义与标注缺乏的挑战,提出数据高效的半监督跨模态方法,在共指与叙述歧义任务上优于强基线。
2023-10-20 cs.CL cs.CV
Weakly Supervised Multimodal Temporal Forgery Localization via Multitask Learning
School of Computer Science and Engineering, MoE Key Laboratory of Information Technology, Guangdong Province Key Laboratory of Information Security Technology, Sun Yat-sen University(计算机科学与工程学院、信息科技教育部重点实验室、广东省信息安全技术重点实验室、中山大学);State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室)
针对弱监督多模态细粒度时间伪造定位(WS-MTFL),提出基于多任务学习的WMMT方法,仅用视频级标注实现多模态检测与时间定位,利用专家混合结构和偏差感知损失,性能媲美全监督方法。
2025-08-04 cs.CV
Aligning First, Then Fusing: A Novel Weakly Supervised Multimodal Violence Detection Method
School of Software Engineering(软件工程学院);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Xi’an Jiaotong University(西安交通大学);Chinese Academy of Sciences(中国科学院)
针对弱监督多模态暴力检测中的模态差异问题,提出先将音频、光流等语义特征稀疏对齐到 RGB 空间再融合的框架,在 XD-Violence 上达到 86.07% AP。
2025-03-14 cs.CV
Scalable Self-Supervised Representation Learning from Spatiotemporal Motion Trajectories for Multimodal Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在这项工作中,我们提出了一个自我监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像般的表示,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所隐含的观察到的马尔可夫路径。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,使用精确-召回曲线下的面积(AUPRC)度量,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的张量表示,这些张量表示可以与其他图像源相结合,旨在促进地理空间计算机视觉中的多模态学习。
2022-10-07 cs.AI cs.CV cs.LG
Reachability Embeddings: Scalable Self-Supervised Representation Learning from Mobility Trajectories for Multimodal Geospatial Computer Vision
Apple(苹果公司)
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征,这些特征可以方便地转移以解决各种各样的下游监督任务。在本文中,我们提出了一种自监督的方法来学习表示的地理位置从未标记的GPS轨迹,以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像一样的张量,称为可达性摘要,瓷砖和他们的邻居之间的空间连接模式所观察到的马尔可夫路径暗示。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示,称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示,作为监督语义分割问题,我们定量地证明了可达性嵌入是语义上有意义的表示,并导致4-23%的性能增益,同时使用高达67%的轨迹数据,如使用精确度-召回曲线下的面积(AUPRC)度量所测量的,当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的图像状张量表示,这些张量表示可以与其他图像源相结合,并且旨在促进地理空间计算机视觉中的多模态学习。
2022-07-15 cs.AI cs.CV cs.LG
Towards Scalable SOAP Note Generation: A Weakly Supervised Multimodal Framework
Department of Computer Science, University of Maryland, Baltimore County(计算机科学系,马里兰大学巴尔的摩县分校);Department of Dermatology, Johns Hopkins University School of Medicine(皮肤科系,约翰霍普金斯大学医学院)
针对临床手动生成SOAP病历负担重、标注数据需求大的问题,提出弱监督多模态框架,可基于有限输入生成结构化SOAP病历,性能对标主流大模型,并推出两个新的临床质量评估指标。
2025-06-12 cs.AI cs.CV cs.LG
MMSF: Multitask and Multimodal Supervised Framework for WSI Classification and Survival Analysis
University of Chinese Academy of Sciences(中国科学院大学);Shanghai Advanced Research Institute, Chinese Academy of Sciences(中国科学院上海先进研究院);Department of Radiology, Changhai Hospital(昌海医院放射科)
MMSF通过多任务和多模态监督框架,结合组织拓扑和临床数据,提升全滑片图像分类和生存分析的准确性和预后预测能力。
2026-02-04 cs.CV
Beyond Just Vision: A Review on Self-Supervised Representation Learning on Multimodal and Temporal Data
RMIT University(皇家墨尔本理工大学);University of New South Wales(新南威尔士大学);Philips Research(飞利浦研究院);Data61, CSIRO(联邦科学与工业研究组织数据61所)
最近,自监督表示学习(SSRL)在计算机视觉,语音,自然语言处理(NLP)领域引起了广泛的关注,最近,与其他类型的模态,包括来自传感器的时间序列。自监督学习的流行是由于传统模型通常需要大量注释良好的数据进行训练。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自监督方法,以通过使用从原始数据自由获得的监督信号对模型进行有区别的预训练来提高训练数据的效率。与SSRL的现有综述主要集中在CV或NLP领域的单一模式的方法不同,我们的目标是提供第一个全面的回顾多模态自监督学习方法的时间数据。为此,我们1)提供了一个全面的分类现有的SSRL方法,2)通过定义一个SSRL框架的关键组件,3)比较现有的模型在其目标函数,网络架构和潜在的应用,和4)审查现有的多模态技术在每个类别和各种形式。最后,我们提出了现有的弱点和未来的机会。我们相信,我们的工作发展的角度来看,在利用多模态和/或时态数据的领域的SSRL的要求
2022-06-08 cs.CV cs.LG
STiL: Semi-supervised Tabular-Image Learning for Comprehensive Task-Relevant Information Exploration in Multimodal Classification
Imperial College London(伦敦帝国学院);MRC Laboratory of Medical Science(医学研究理事会医学科学实验室)
针对多模态图像-表格半监督学习中的模态信息鸿沟,提出 STiL 框架,通过解耦对比一致性、共识伪标签和原型标签平滑充分挖掘任务相关信息,实验性能优于现有方法。
2025-03-15 cs.CV
CIEC: Coupling Implicit and Explicit Cues for Multimodal Weakly Supervised Manipulation Localization
School of Computer Science and Engineering(计算机科学与工程学院);MoE Key Laboratory of Information Technology(信息技术关键实验室);Key Laboratory of Information Security Technology(信息安全技术重点实验室);Sun Yat-sen University(中山大学);State Key Laboratory of Mathematical Engineering and Advanced Computing(数学工程与先进计算国家重点实验室);Alibaba Group(阿里巴巴集团)
CIEC通过耦合隐式和显式线索,实现多模态弱监督操作定位,利用粗粒度标注提升图像-文本对的定位效果。
2026-02-03 cs.CV
Mutual Information Regularization for Weakly-supervised RGB-D Salient Object Detection
Northwestern Polytechnical University(西北工业大学);Xidian University(西安电子科技大学);the Australian National University(澳大利亚国立大学)
提出基于涂鸦监督的弱监督 RGB-D 显著目标检测模型,利用互信息正则化实现多模态解耦表示,并结合非对称特征提取器与多模态变分自编码器细化预测,达到接近全监督 SOTA 的性能。
2023-06-06 cs.CV
Multimodal ML: Quantifying the Improvement of Calorie Estimation Through Image-Text Pairs
该研究基于TensorFlow与Nutrition5k数据集训练多模态CNN模型,验证了引入菜品名称文本输入可使卡路里估计的MAE降低1.06千卡,实现1.25%的性能提升。
2025-11-12 cs.CV cs.LG
Rethinking the constraints of multimodal fusion: case study in Weakly-Supervised Audio-Visual Video Parsing
Beijing University of Posts and Telecommunications(北京邮电大学);University of Technology Sydney(悉尼科技大学);Australian AI Institute(澳大利亚人工智能研究所)
对于多模态任务,一个好的特征提取网络应该尽可能多地提取信息,并确保所提取的特征嵌入和其他模态特征嵌入具有极好的相互理解。在特征融合中,后者往往比前者更为关键。因此,选择最优的特征提取网络配置是多模态任务中一个非常重要的子问题。现有的研究大多忽略了这个问题或采用遍历的方法。本文将此问题建模为一个优化问题。借鉴数学中极值转换的一般做法,提出了一种将最优化问题转化为比较上界问题的新方法。与传统方法相比,减少了时间成本。同时,针对多模态时间序列问题中特征相似度和特征语义相似度不一致的问题,借鉴对比学习的思想,提出了一种多模态时间序列对比损失(MTSC)算法。基于上述问题,我们证明了我们的方法在视听视频解析任务中的可行性。大量的分析表明,我们的方法促进了不同模态特征的融合。
2021-05-30 cs.CV