Discriminative Supervised Subspace Learning for Cross-modal Retrieval
Jiangnan University（江南大学）
异构数据间的度量是目前跨模态检索中的一个未解决的问题。跨模态检索的核心是如何度量不同类型数据之间的相似性。已经开发了许多方法来解决这个问题。作为主流方法之一，基于子空间学习的方法注重学习一个公共子空间，在该子空间中可以直接度量多模态数据之间的相似性。然而，许多现有的方法只专注于学习一个潜在的子空间。它们忽视了对判别信息的充分利用，使得语义结构信息没有得到很好的保留。因此，无法达到预期的满意结果。本文提出了一种判别式监督子空间学习的跨模态检索算法（DS 2L），以充分利用判别信息，更好地保留语义结构信息。具体来说，我们首先构建一个共享的语义图，以保持每个模态内的语义结构。然后引入Hilbert-Schmidt独立性准则（HSIC）来保持样本的特征相似度和语义相似度之间的一致性。第三，我们引入了一个相似性保持项，从而我们的模型可以弥补不足的歧视性数据的使用和更好地保持语义结构信息内的每一个模态。在三个著名的基准数据集上的实验结果表明，该方法相对于经典的子空间学习方法的有效性和竞争力。
2022-01-26 cs.AI cs.CV cs.LG
Weakly Supervised Dense Video Captioning via Jointly Usage of Knowledge Distillation and Cross-modal Matching
Hangzhou Dianzi University（杭州电子科技大学）；Baidu Inc.（百度公司）；Zhejiang International Studies University（浙江外国语学院）
提出了一种无需事件句标注的密集视频描述（DVC）方法。首先，我们采用从相关和解决好的任务中提取的知识来生成高质量的活动提案。然后，我们将通常应用于跨模态检索任务的对比损失和循环一致性损失，以建立建议和句子之间的语义匹配，最终用于训练字幕生成模块。此外，匹配模块的参数通过预训练的基础上标注的图像进行初始化，以提高匹配性能。在ActivityNet-Caption数据集上的大量实验表明，基于提取的事件建议生成和基于跨模态检索的语义匹配对弱监督DVC具有重要意义，并证明了该方法相对于现有方法的优越性.
2021-05-18 cs.CV
Unsupervised Cross-Modality Domain Adaptation for Vestibular Schwannoma Segmentation and Koos Grade Prediction based on Semi-Supervised Contrastive Learning
Radboud University Medical Center（拉德堡德大学医学中心）；The Netherlands Cancer Institute（荷兰癌症研究所）；Nanjing University of Information Science and Technology（南京信息工程大学）
领域自适应已被广泛采用，以在多个供应商和多个中心之间传输样式，以及补充缺失的模态。在这项挑战中，我们提出了一个无监督的领域自适应框架，用于跨模态前庭神经鞘瘤（VS）和耳蜗分割和Koos等级预测。我们从ceT 1和hrT 2图像中学习共享表示，并从潜在表示中恢复另一种模态，并且我们还利用VS分割和大脑分割的代理任务来限制领域自适应中图像结构的一致性。在生成缺失模态后，nnU-Net模型用于VS和耳蜗分割，而半监督对比学习预训练方法用于提高Koos等级预测的模型性能。在CrossMoDA验证阶段排行榜上，我们的方法在task 1中获得了4级，平均Dice得分为0.8394，在task 2中获得了2级，宏观平均均方误差为0.3941。我们的代码可在https://github.com/fiy2W/cmda2022.superpolymerization上获得。
2022-10-09 cs.CV
Watch, Listen and Tell: Multi-modal Weakly Supervised Dense Event Captioning
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（Vector人工智能研究所）
多模态学习，特别是在成像和语言模态中，在许多高层次的基本视觉理解问题上取得了惊人的进步，从语言基础到密集的事件字幕。然而，大部分的研究已被限制到的方法，要么不考虑对应于视频的音频在所有，或那些模型的视听相关性服务的声音或声源定位。在本文中，我们提出的证据，音频信号可以携带惊人的信息量，当涉及到高层次的视觉语言任务。具体来说，我们专注于视频中弱监督密集事件字幕的问题，并表明音频本身几乎可以媲美最先进的视觉模型的性能，并与视频相结合，可以提高最先进的性能。在ActivityNet Captions数据集上进行的大量实验表明，我们提出的多模态方法优于最先进的单峰方法，并验证了特定的特征表示和架构设计选择。
2019-10-25 cs.CV
OmniSat: Self-Supervised Modality Fusion for Earth Observation
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（LIGM实验室、巴黎桥路学校、古斯塔夫·埃菲尔大学、法国国家科学研究中心）；CNES（法国国家太空研究中心）；IGN（法国国家地理学会）；Univ Gustave Eiffel, IGN, ENSG, LASTIG（古斯塔夫·埃菲尔大学、法国国家地理学会、法国国家地理与学校测绘学院、LASTIG实验室）
OmniSat提出一种自监督多模态融合架构，利用模态对齐学习无标签特征，在林业、土地覆盖和作物制图任务中达到最优性能，并支持单模态推理。
2024-07-17 cs.CV
DoGFlow: Self-Supervised LiDAR Scene Flow via Cross-Modal Doppler Guidance
KTH Royal Institute of Technology（皇家理工学院）；Autonomous Transport Solutions Lab, Scania Group（自主运输解决方案实验室，斯堪尼亚集团）
针对自主系统3D场景流估计中人工标注数据集的瓶颈问题，提出DoGFlow自监督框架，通过跨模态多普勒引导迁移运动伪标签，无需人工标注即可提升LiDAR场景流性能，在MAN TruckScenes数据集上大幅超越现有自监督方法并提高标签效率。
2025-08-25 cs.CV
Robust Multi-Modal Face Anti-Spoofing with Domain Adaptation: Tackling Missing Modalities, Noisy Pseudo-Labels, and Model Degradation
College of Computer and Cyber Security, Fujian Normal University（计算机与网络安全部，福建师范大学）；Department of Computer Science, National Tsing Hua University（计算机科学系，国立清华大学）
针对域适应多模态人脸防伪中的模态缺失、含噪伪标签和模型退化问题，提出MFAS-DANet，通过跨模态互补、不确定性伪标签筛选和自适应损失加权实现最先进性能。
2025-09-27 cs.CV
CMD: Self-supervised 3D Action Representation Learning with Cross-modal Mutual Distillation
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
本文提出跨模态互蒸馏框架CMD，通过近邻相似性分布建模和非对称教师-学生配置实现骨架模态间双向知识蒸馏，在多个三维动作识别数据集上超越现有自监督方法并刷新纪录。
2023-05-25 cs.CV
Modality-Aware Contrastive Instance Learning with Self-Distillation for Weakly-Supervised Audio-Visual Violence Detection
Fudan University（复旦大学）
弱监督的视听暴力检测旨在用视频级标签区分包含多模态暴力事件的片段。许多先前的研究都是以早期或中期的方式进行视听整合和互动，但忽略了弱监督环境下的模态异质性。本文分析了多示例学习过程中的模态混淆和未区分示例现象，并进一步探讨了其对弱监督视听学习的负面影响。为了解决这些问题，我们提出了一个模态感知的对比实例学习与自蒸馏（MACIL-SD）策略。具体来说，我们利用一个轻量级的双流网络来生成音频和视觉包，其中单峰背景，暴力和正常实例以无监督的方式聚集到半包中。然后，音频和视觉的暴力半袋表征组装为积极的对，和暴力半袋与背景和正常的情况下，在相反的模态作为对比的消极对相结合。此外，一个自蒸馏模块被应用到单模态视觉知识转移到视听模型，消除噪音和关闭单模态和多模态特征之间的语义差距。实验表明，我们的框架优于以前的方法，具有较低的复杂性，在大规模的XD-Violence数据集。结果还表明，我们提出的方法可以作为插件模块，以提高其他网络。代码可在https://github.com/JustinYuu/MACIL_SD上获得。
2022-07-12 cs.CV cs.MM
Semi-Supervised Learning by Label Gradient Alignment
OpenAI；University of Waterloo（滑铁卢大学）
我们提出了标签梯度对齐，半监督学习的一种新的算法，该算法为未标记的数据输入标签，并在输入的标签上进行训练。我们通过将点（x，y）映射到模型在（x，y）处的梯度，在输入空间上定义一个语义上有意义的距离度量。然后，我们制定了一个优化问题，其目标是最小化在这个空间中的标记和未标记的数据之间的距离，我们解决它的梯度下降的估算标签。我们使用Oliver等人（2018）引入的标准化架构评估标签梯度对齐，并在半监督CIFAR-10分类中展示了最先进的准确性。
2019-02-06 cs.LG stat.ML
Why the pseudo label based semi-supervised learning algorithm is effective?
Peking University（北京大学）；Moqi Technology（墨奇科技）
近年来，基于伪标签的半监督学习在许多领域取得了巨大的成功。基于伪标签的半监督学习算法的核心思想是使用在标记数据上训练的模型来生成未标记数据上的伪标签，然后训练模型来拟合先前生成的伪标签。本文从理论上分析了基于伪标签的半监督学习的有效性。我们主要比较了在两种设置下训练的模型的泛化误差：（1）有N个标记数据。(2)有N个未标记的数据和一个合适的初始模型。分析表明，当未标记数据量趋于无穷大时，基于伪标记的半监督学习算法可以得到与标记数据量趋于无穷大时正常训练得到的模型具有相同泛化误差上界的模型。更重要的是，我们证明了当未标记数据量足够大时，基于伪标记的半监督学习算法得到的模型泛化误差上界能够以线性收敛速度收敛到最优上界。我们还给出了采样复杂度的下界，以达到线性收敛速度。我们的分析有助于理解基于伪标签的半监督学习的经验成功。
2023-01-25 cs.AI cs.LG
A Comparative Study on Effects of Original and Pseudo Labels for Weakly Supervised Learning for Car Localization Problem
本研究以Car Dataset为数据源，采用弱监督学习方法，研究了由于多个概念含义而产生的不同类别标签对定位的影响。此外，生成的标签也包含在比较中，解决方案变成了无监督学习。本文研究了多种设置的汽车定位的图像与其他方法，而不是监督学习。为了预测定位标签，类激活映射（CAM）的实施和从结果中，边界框提取使用形态边缘检测。除了原始的类标签，生成的类标签还用于训练CAM，并在此基础上给出了一个解决无监督学习问题的例子。在实验中，我们首先分析了Compcars数据集上弱监督本地化中类标签的影响。然后，我们表明，在这个特定的数据集中，所提出的无监督方法比弱监督方法的性能高出约%6。
2022-11-21 cs.AI cs.CV
Webly Supervised Joint Embedding for Cross-Modal Image-Text Retrieval
University of California, Riverside（加州大学河滨分校）
视觉数据和自然语言描述之间的跨模态检索一直是多媒体领域的一个挑战。虽然最近的图像-文本检索方法通过学习跨模态对齐的深度表示提供了很大的希望，但这些方法中的大多数都受到小规模数据集的训练问题的困扰，这些小规模数据集覆盖了有限数量的具有地面真理句子的图像。此外，通过用句子注释数百万张图像来创建更大的数据集是非常昂贵的，并且可能导致有偏见的模型。受最近深度神经网络中Web监督学习的成功启发，我们利用带有噪声注释的现成Web图像来学习鲁棒的图像-文本联合表示。具体来说，我们的主要想法是利用Web图像和相应的标签，以及完全注释的数据集，来训练学习视觉语义联合嵌入。我们提出了一个两阶段的任务，可以增强一个典型的监督成对排序损失为基础的配方与弱注释的网络图像学习更强大的视觉语义嵌入。两个标准的基准数据集上的实验表明，我们的方法实现了显着的性能增益相比，国家的最先进的方法在图像-文本检索。
2018-08-23 cs.CV cs.IR cs.MM
Missing Modality Robustness in Semi-Supervised Multi-Modal Semantic Segmentation
Georgia Institute of Technology（佐治亚理工学院）
针对标签效率与测试时模态缺失问题，提出 Linear Fusion 融合机制和半监督框架 M3L，并建立首个相关基准，鲁棒 mIoU 最高提升 10%。
2023-04-21 cs.CV cs.LG
Self-Supervised Audio-Visual Representation Learning with Relaxed Cross-Modal Synchronicity
Queen’s University（女王大学）；Vector Institute（向量研究所）
我们提出了CrissCross，一个用于学习视听表示的自我监督框架。在我们的框架中引入了一个新的概念，除了学习模态内和标准的“同步”跨模态关系，CrissCross还学习“异步”跨模态关系。我们进行了深入的研究，表明通过放松音频和视觉模态之间的时间同步性，网络学习了对各种下游任务有用的强广义表示。为了预训练我们提出的解决方案，我们使用了3个不同大小的数据集，Kinetics-Sound，Kinetics 400和AudioSet。学习的表示进行评估的一些下游任务，即动作识别，声音分类和动作检索。我们的实验表明，CrissCross在动作识别和动作检索方面优于或达到了与当前最先进的自监督方法（UCF 101和HMDB 51）以及声音分类（ESC 50和DCASE）相当的性能。此外，CrissCross在Kinetics-Sound上进行预训练时优于完全监督的预训练。代码和预训练模型可在项目网站上获得。
2022-11-25 cs.CV cs.LG
TCGM: An Information-Theoretic Framework for Semi-Supervised Multi-Modality Learning
Microsoft Research-Asia（微软亚洲研究院）；Peking University（北京大学）；Capital Medical University（首都医科大学）；UC Berkeley（加州大学伯克利分校）；Deepwise AI Lab（深睿人工智能实验室）
融合来自多个模态的数据为训练机器学习系统提供更多信息。然而，它是昂贵的和耗时的标记每个模态与大量的数据，这导致了一个关键的问题，半监督多模态学习。现有方法要么存在跨模态融合无效的问题，要么缺乏适当假设下的理论保证。在本文中，我们提出了一种新的信息理论方法，即\textbf{T}总\textbf{C}或关系\textbf{G}和\textbf{M}最大化（TCGM），用于半监督多模态学习，它被赋予了有前途的属性：（i）它可以有效地利用未标记数据点的不同模态之间的信息，以便于训练每种模态的分类器。（ii）它具有识别贝叶斯分类器的理论保证，也就是说，所有模态的地面真实后验。具体而言，通过在所有模态的分类器上最大化TC引起的损失（即TC增益），这些分类器可以协作地发现地面实况分类器的等效类;并且通过利用有限百分比的标记数据来识别独特的分类器。我们将我们的方法应用于各种任务，并取得了最先进的结果，包括新闻分类，情感识别和疾病预测。
2020-07-14 cs.CV cs.LG
Enhancing Cardiovascular Disease Prediction through Multi-Modal Self-Supervised Learning
ETH Zürich（苏黎世联邦理工学院）；Brigham and Women’s Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）；University of Zürich（苏黎世大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
本文提出一种多模态自监督学习框架，结合心脏磁共振图像、心电图和医疗信息，通过掩码自编码器和对比学习在有限标注下提升心血管疾病预测，在心肌梗死任务上平衡准确率比监督方法高7.6%。
2024-11-08 cs.CV cs.LG
Cross-Modality Clustering-based Self-Labeling for Multimodal Data Classification
Faculty of Information；Communication Technology Wrocław University of Science；School of Computer Science University of Birmingham Birmingham, United Kingdom
本文提出CMCSL方法，通过跨模态聚类与标签交叉传播，在少量预标注数据下实现更可靠的多模态自标注，并在MM-IMDb的20个数据集上验证其提升各模态分类性能的有效性。
2024-08-05 cs.CV cs.LG
Enhancing Multi-Modal Video Sentiment Classification Through Semi-Supervised Clustering
Viterbi School of Engineering（维特比工程学院）；University of Southern California（南加州大学）
针对视频情感分类依赖大量标注数据的问题，提出结合聚类半监督预训练与监督微调的多模态方法，利用视频、文本及声学特征提升分类效果，尤其适用于标注数据有限的场景。
2025-01-11 cs.CV cs.LG
Investigating a Baseline Of Self Supervised Learning Towards Reducing Labeling Costs For Image Classification
监督学习中的数据标注被认为是一种昂贵的工具，在某些情况下是不可行的。提出了自监督学习方法来解决具有较少标记数据的学习有效性，然而，对实现足够结果所需的标记数据的大小缺乏信心。这项研究的目的是绘制一个基线的标记数据的比例，模型可以欣赏，以产生合格的准确性相比，训练与额外的标签。该研究实现了www.example.com 'cats-vs-dogs数据集Mnist和Fashion-Mnist，通过在原始数据集上实现随机旋转增强来研究自监督学习任务。为了揭示自监督学习中借口过程的真实有效性，原始数据集被分成较小的批次，并且在每个批次上重复学习，有和没有借口预训练。结果表明，与普通监督学习相比，自监督学习中的借口过程在下游分类任务中提高了约15%的准确率。
2021-08-17 cs.CV cs.LG
Self-semi-supervised Learning to Learn from NoisyLabeled Data
New York University（纽约大学）
当今深度神经网络的巨大成功高度依赖于大量正确标记的数据。然而，获得高质量的人类标记数据的成本相当高，导致对噪声标签鲁棒的训练模型的研究领域非常活跃。为了实现这一目标，一方面，许多论文致力于区分噪声标签和干净标签，以提高DNN的泛化能力。另一方面，越来越流行的自半监督学习方法已被证明有利于标签不完整时的任务。通过“semi”，我们将检测到的错误标记数据视为未标记数据;通过“self”，我们选择一种自监督技术进行半监督学习。在这个项目中，我们设计了一些方法来更准确地区分干净和有噪声的标签，并借用自半监督学习的智慧来训练有噪声的标签数据。
2020-11-03 cs.CV cs.LG
SwAMP: Swapped Assignment of Multi-Modal Pairs for Cross-Modal Retrieval
Samsung AI Center（三星人工智能中心）
我们解决了跨模态检索问题，其中学习仅由数据中的相关多模态对监督。虽然对比学习是最流行的方法，这使得潜在的错误假设，在不同对的实例自动无关。为了解决这个问题，我们提出了一种新的损失函数，是基于自标记的未知语义类。具体来说，我们的目标是预测每种模态中数据实例的类标签，并将这些标签分配给另一种模态中的相应实例（即，交换伪标签）。通过这些交换的标签，我们使用监督交叉熵损失来学习每个模态的数据嵌入。这样，来自语义相关的不同对的跨模态实例可以通过类预测器彼此对齐。我们测试了我们的方法在几个现实世界的跨模态检索问题，包括基于文本的视频检索，基于草图的图像检索，和图像-文本检索。对于所有这些任务，我们的方法实现了显着的性能改善的对比学习。
2022-10-11 cs.CV cs.LG
Accuracy Improvement of Semi-Supervised Segmentation Using Supervised ClassMix and Sup-Unsup Feature Discriminator
Meijo University（名城大学）
本文提出通过监督类混合和监督-无监督特征判别器提升半监督分割性能，实验显示在Chase和COVID-19数据集上mIoU平均提升2.07%。
2026-04-08 cs.CV cs.LG
COCOA: Cross Modality Contrastive Learning for Sensor Data
RMIT University（皇家墨尔本理工大学）；University of New South Wales（新南威尔士大学）；Philips Research（飞利浦研究院）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）
自监督学习（Self-Supervised Learning，SSL）是一种新的学习模式，用于在没有标记数据的情况下学习判别表示，并且与监督学习模式相比，SSL已经达到了相当的甚至是最先进的结果。对比学习（CL）是SSL中最著名的方法之一，它试图学习数据的一般性、信息性表示。CL方法主要针对仅使用单个传感器模态的计算机视觉和自然语言处理中的应用而开发。然而，大多数普适计算应用程序利用来自一系列不同传感器模态的数据。虽然现有的CL方法仅限于从一个或两个数据源的学习，我们提出了COCOA（交叉mOdality对比学习），一个自我监督的模型，采用了一种新的目标函数，通过计算不同的数据模态之间的互相关，并最大限度地减少不相关的实例之间的相似性，从多传感器数据学习质量表示。我们评估了COCOA对八个最近引入的最先进的自监督模型的有效性，以及五个公共数据集的两个监督基线。我们表明，COCOA实现了优于所有其他方法的分类性能。此外，COCOA的标签效率远远高于其他基线，包括仅使用十分之一可用标签数据的完全监督模型。
2022-08-03 cs.CV cs.LG
Co-training for Deep Object Detection: Comparing Single-modal and Multi-modal Approaches
Computer Vision Center (CVC)（计算机视觉中心（CVC））；Universitat Autònoma de Barcelona (UAB)（巴塞罗那自治大学（UAB））
性能最好的计算机视觉模型由卷积神经网络（CNN）提供支持。训练准确的CNN高度依赖于原始传感器数据及其相关的地面实况（GT）。收集这样的GT通常是通过人工标记完成的，这很耗时，而且不能像我们希望的那样扩展。由于图像传感器之间的域偏移，这种数据标记瓶颈可能会加剧，这可能会迫使每个传感器的数据标记。在本文中，我们专注于使用协同训练，一种半监督学习（SSL）方法，用于获得自标记对象边界框（BB），即，GT用于训练深层物体探测器。特别是，我们通过依赖图像的两个不同视图（即外观（RGB）和估计深度（D））来评估多模态协同训练的优点。此外，我们比较了基于外观的单模态协同训练与多模态协同训练。我们的研究结果表明，在标准SSL设置（没有域转移，一些人类标记的数据）和虚拟到真实域转移（许多虚拟世界标记的数据，没有人类标记的数据）下，多模态协同训练优于单模态。在后一种情况下，通过执行基于GAN的域翻译，两种协同训练模式都是成对的;至少在使用未在翻译图像上专门训练的现成深度估计模型时是这样。
2021-04-23 cs.CV cs.LG
Semi-supervised deep learning based on label propagation in a 2D embedded space
University of Campinas（坎皮纳斯大学）
虽然卷积神经网络需要大的标记集来训练图像，但对此类数据集的专家人工监督可能非常费力。所提出的解决方案将标签从监督图像的小集合传播到非监督图像的大集合，以获得足够的真实和人工标记的样本来训练深度神经网络模型。然而，这样的解决方案需要许多监督图像进行验证。我们提出了一个循环，其中深度神经网络（VGG-16）是从一组具有更正确标记的样本中训练出来的，这些样本是通过使用t-SNE将其最后一个最大池化层的特征投影到一个2D嵌入空间中来创建的，在这个嵌入空间中，使用最优路径森林半监督分类器来传播标签。随着标记集随着迭代而改进，它改进了神经网络的特征。我们表明，这可以显着提高分类结果的测试数据（仅使用1\%至5\%的监督样本）的三个私人挑战数据集和两个公共的。
2021-01-15 cs.CV cs.LG
Semi-MedRef: Semi-Supervised Medical Referring Image Segmentation with Cross-Modal Alignment
The University of Sydney（悉尼大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Changzhou University（常州大学）
本文提出Semi-MedRef框架，通过三个组件维持医学图像与位置语言的一致性，实验显示其在低标签条件下优于其他方法。
2026-08-04 cs.CV cs.LG
DIGEST: Deeply supervIsed knowledGE tranSfer neTwork learning for brain tumor segmentation with incomplete multi-modal MRI scans
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；University of Chinese Academy of Sciences（中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；Guangdong Provincial People’s Hospital（广东省人民医院）；Guangdong Academy of Medical Sciences（广东省医学科学院）
基于多模态磁共振成像（MRI）的脑肿瘤分割在辅助脑肿瘤诊断、治疗和术后评估中起着关键作用。尽管现有的自动分割方法取得了令人鼓舞的性能，但由于相当多的不可控因素（例如，不同的成像协议、数据损坏和患者条件限制），多模态MRI数据在现实世界的临床应用中仍然不可用，这导致在实际应用中的性能大幅下降。在这项工作中，我们提出了一个深度监督的知识传输网络（DIGEST），它实现了准确的脑肿瘤分割在不同的模态缺失的情况下。具体而言，构建知识转移学习框架，使学生模型能够从用完整的多模态MRI数据预训练的教师模型学习模态共享语义信息。为了模拟给定多模态数据下所有可能的模态缺失条件，我们基于伯努利采样生成不完全多模态MRI样本。最后，设计了一个深度监督的知识传递损失，以保证不同解码阶段师生结构的一致性，从而有助于提取内在有效的情态表征。在BraTS 2020数据集上的实验表明，我们的方法对于不完整的多模态MR图像分割任务取得了令人满意的结果。
2022-11-15 cs.CV cs.LG eess.IV
Towards Transferable Multi-modal Perception Representation Learning for Autonomy: NeRF-Supervised Masked AutoEncoder
University of Michigan（密歇根大学）；Research Center of Jueying Intelligence（绝影智能研究中心）
提出NS-MAE自监督预训练框架，利用NeRF神经渲染与掩码多模态重建学习可迁移表征，并验证其在多种3D感知任务和模态模型上的迁移效果。
2023-12-06 cs.AI cs.CV cs.LG
Multi-Label Product Categorization Using Multi-Modal Fusion Models
New York University（纽约大学）；U.S. Bank（美国合众银行）
在这项研究中，我们研究了多模态方法，使用图像，描述和标题对亚马逊上的电子商务产品进行分类。具体来说，我们研究了后期融合模型，其中的方式融合在决策层。每个产品都被分配了多个标签，标签中的层次结构被扁平化和过滤。对于我们的个人基线模型，我们修改了CNN架构来分类描述和标题，然后修改了Keras的ResNet-50来分类图像，分别获得了77.0%，82.7%和61.0%的$F_1$分数。相比之下，我们的三模态后期融合模型可以比单模态模型更有效地分类产品，将$F_1$得分提高到88.2%。每种模式都补充了其他模式的缺点，表明增加模式的数量可以是提高多标签分类问题性能的有效方法。
2019-09-17 cs.CV cs.LG stat.ML
On self-supervised multi-modal representation learning: An application to Alzheimer's disease
Georgia Institute of Technology（佐治亚理工学院）；Georgia State University（佐治亚州立大学）；Emory University（埃默里大学）；Center for Translational Research in Neuroimaging and Data Science（神经影像与数据科学转化研究中心）；Mila（米拉）；Université de Montréal（蒙特利尔大学）
在功能和结构脑成像上训练的深度监督预测模型的内省可能会发现阿尔茨海默病（AD）的新标志物。然而，监督式训练容易从虚假特征中学习（捷径学习），这会削弱其在发现过程中的价值。深度无监督和最近的对比自监督方法，不偏向于分类，是这项任务的更好候选者。他们的多模态选项通过模态交互提供了额外的正则化。在本文中，我们介绍了一种方法来详尽地考虑多模态架构的对比自我监督融合功能磁共振成像和MRI的AD患者和对照。我们表明，这种多模态融合的结果表示，提高了两种方式的下游分类的结果。我们研究了投射到大脑空间的融合自监督特征，并引入了一种数值稳定的方法来实现。
2022-05-23 cs.LG
Cross-Modality Multi-Atlas Segmentation via Deep Registration and Label Fusion
Fuzhou University（福州大学）；Fudan University（复旦大学）；Shanghai Jiao Tong University（上海交通大学）
多图谱分割（MAS）是一种很有前途的医学图像分割框架。通常，MAS方法注册多个地图集，即，将具有对应标签的医学图像转换为目标图像;并且可以通过标签融合方案组合变换的图谱标签以生成目标分割。许多传统的MAS方法采用来自与目标图像相同的模态的图谱。然而，在许多临床应用中，具有相同模态的图谱的数量可能是有限的，甚至是缺失的。此外，传统的MAS方法遭受注册或标签融合过程的计算负担。在这项工作中，我们设计了一个新的跨模态MAS框架，它使用从某一模态的可用图集分割目标图像从另一个模态。为了提高框架的计算效率，图像配准和标签融合都通过精心设计的深度神经网络来实现。对于图谱-目标图像配准，我们提出了一种双向配准网络（BiRegNet），它可以有效地对齐来自不同模态的图像。对于标签融合，我们设计了一个相似性估计网络（SimNet），它通过测量每个图谱与目标图像的相似性来估计融合权重。SimNet可以学习多尺度信息进行相似性估计，以提高标签融合的性能。分别在MM-WHS和CHAOS数据集上通过左心室和肝脏分割任务对所提出的框架进行了评估。结果表明，该框架是有效的跨模态MAS在注册和标签融合。
2022-03-28 cs.CV cs.LG eess.IV
Neural Modes: Self-supervised Learning of Nonlinear Modal Subspaces
ETH Zürich（苏黎世联邦理工学院）
提出一种自监督方法，通过在训练中直接最小化系统机械能来学习基于物理的子空间，解决了现有方法高能量、潜在空间纠缠及泛化差的问题，获得了反映物理平衡且具可解释性的子空间。
2024-04-26 cs.CV cs.GR cs.LG
MAG: MAnifold Guided Semi-Supervised Multi-modal In-Context Learning
本研究提出MAG框架，通过将未标记多模态数据用于半监督传播的演示选择，提升多模态大语言模型的上下文学习性能，在8个基准的标签稀缺场景下优于强基线。
2026-08-14 cs.LG
Dual-Granularity Cross-Modal Identity Association for Weakly-Supervised Text-to-Person Image Matching
Kunming University of Science and Technology（昆明理工大学）
针对弱监督文本到人物图像匹配中复杂一对多身份关系难以预测的问题，提出局部与全局双粒度身份关联机制及信息不对称样本对构建方法，显著提升跨模态匹配精度。
2025-07-09 cs.CV cs.LG cs.MM
Semi-supervised Deep Generative Modelling of Incomplete Multi-Modality Emotional Data
University of Chinese Academy of Sciences（中国科学院大学）；Search Lab（360搜索实验室）；Center for Excellence in Brain Science and Intelligence Technology, Chinese Academy of Sciences（中国科学院脑科学与智能技术卓越创新中心）
情感识别面临三重挑战。首先，仅考虑单一模态难以识别人的情绪状态。其次，手动注释情感数据是昂贵的。第三，由于不可预见的传感器故障或配置问题，情感数据通常会丢失模态。在本文中，我们解决所有这些问题下一个新的多视图深度生成框架。具体来说，我们建议使用具有共享潜在空间的多个特定模态生成网络来建模多模态情感数据的统计关系。通过对共享潜变量的后验近似施加高斯混合假设，我们的框架可以从多个模态中学习联合深度表示，并同时评估每个模态的重要性。为了解决标记数据稀缺的问题，我们将我们的多视图模型扩展到半监督学习场景，将半监督分类问题作为一个专门的缺失数据填补任务。为了解决丢失模态的问题，我们进一步扩展了我们的半监督多视图模型来处理不完整的数据，其中丢失的视图被视为一个潜在变量，并在推理过程中整合出来。通过这种方式，所提出的整体框架可以利用所有可用的（标记和未标记的，以及完整和不完整的）数据来提高其泛化能力。在两个真实的多模态情感数据集上进行的实验证明了该框架的优越性。
2018-07-27 cs.CV cs.LG cs.MM
Multiview Pseudo-Labeling for Semi-supervised Learning from Video
Facebook AI Research (FAIR)（脸书人工智能研究院）
我们提出了一个多视图伪标记的方法来视频学习，一个新的框架，使用互补的意见的形式的外观和运动信息的半监督学习在视频。互补视图有助于在未标记的视频上获得更可靠的伪标签，以学习比纯监督数据更强的视频表示。虽然我们的方法利用了多个视图，但它仍然训练了一个跨外观和运动输入共享的模型，因此，通过设计，在推理时不会产生额外的计算开销。在多个视频识别数据集上，我们的方法大大优于其监督对应，并与以前在自监督视频表示学习中的标准基准上的工作相比毫不逊色。
2021-04-01 cs.AI cs.CV cs.LG
Deep Supervised Information Bottleneck Hashing for Cross-modal Retrieval based Computer-aided Diagnosis
Huazhong University of Science and Technology（华中科技大学）；Guizhou Normal University（贵州师范大学）；Hubei University（湖北大学）
将X射线图像、放射学报告和其他医学数据映射为公共空间中的二进制代码，这可以帮助临床医生从异构模态（即，基于散列的跨模态医学数据检索），为促进计算机辅助诊断提供了新的视角。然而，仍然存在一个障碍，以提高医疗检索的准确性：如何揭示模糊的语义的医疗数据，而不分心的多余信息。为了克服这个缺点，我们提出了深度监督信息瓶颈哈希（DSIBH），它有效地增强了哈希码的可区分性。具体而言，针对单模态的深度确定性信息瓶颈（Yu，Yu和Principe 2021）被扩展到跨模态场景。这样就减少了多余的信息，从而提高了散列码的可鉴别性。实验结果表明，所提出的DSIBH相比，国家的最先进的跨模态医学数据检索任务的优越的准确性。
2022-05-06 cs.AI cs.CV cs.LG
Just Dance with $π$! A Poly-modal Inductor for Weakly-supervised Video Anomaly Detection
INRIA；Côte d’Azur University（科西嘉-阿兹尔大学）；Woven by Toyota（丰田编织公司）；Toyota Motor Europe（丰田欧洲公司）；Eindhoven University of Technology（埃因霍温理工大学）
针对仅用RGB特征的弱监督视频异常检测可靠性不足的问题，提出PI-VAD框架，通过训练阶段的五类额外模态与两个插件模块增强RGB表征，在三个主流数据集上实现SOTA准确率且推理无额外计算开销。
2025-05-19 cs.AI cs.CV cs.LG
Curriculum Labeling: Revisiting Pseudo-Labeling for Semi-Supervised Learning
University of Virginia（弗吉尼亚大学）
在本文中，我们重新审视伪标签的思想，在半监督学习的上下文中，学习算法可以访问一个小的一组标记的样本和一个大的未标记的样本。伪标记的工作原理是通过使用在标记样本和任何先前伪标记样本的组合上训练的模型将伪标记应用于未标记集合中的样本，并在自训练周期中迭代地重复该过程。当前的方法似乎已经放弃了这种方法，而倾向于一致性正则化方法，该方法在未标记样本上的不同类型的自监督损失和标记样本上的标准监督损失的组合下训练模型。我们的经验表明，伪标记实际上可以与最先进的竞争，同时对未标记集中的分布外样本更具弹性。我们确定了两个关键因素，使伪标签，以取得如此显着的结果（1）应用课程学习原则和（2）避免概念漂移，通过重新启动模型参数之前，每个自我训练周期。我们在CIFAR-10上仅使用4，000个标记样本获得了94.91%的准确度，在Imagenet-ILSVRC上仅使用10%的标记样本获得了68.87%的top-1准确度。代码可在https://github.com/uvavision/Curriculum-Labeling上获得
2020-12-10 cs.CV cs.LG stat.ML
Self-Supervised learning with cross-modal transformers for emotion recognition
情感识别是一项具有挑战性的任务，由于有限的可用性在野生标记数据集。自监督学习已经在语音和自然语言等领域的有限标记数据集的任务上显示出改进。像BERT这样的模型学会了在词嵌入中加入上下文，这转化为在下游任务（如问答）中的性能提高。在这项工作中，我们将自监督训练扩展到多模态应用程序。我们学习多模态表示使用Transformer训练的掩蔽语言建模任务的音频，视觉和文本功能。该模型在情感识别的下游任务上进行了微调。我们在CMU-MOSEI数据集上的结果表明，与基线相比，这种预训练技术可以将情感识别性能提高3%。
2020-11-20 cs.CL cs.LG
Multi-Modality Spatio-Temporal Forecasting via Self-Supervised Learning
Southern University of Science and Technology（南方科技大学）；The University of Tokyo（东京大学）；Jilin University（吉林大学）
本文提出基于自监督学习的多模态时空预测框架MoSSL，从时间、空间和模态视角挖掘潜在模式并量化动态异质性，在两个真实数据集上验证了其优于现有方法。
2024-05-06 cs.LG
Cross-modal Zero-shot Hashing by Label Attributes Embedding
Southwest University（西南大学）；Shandong University（山东大学）；Joint SDU-NTU Centre for Artificial Intelligence Research（山东大学-南洋理工大学人工智能联合研究中心）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；George Mason University（乔治梅森大学）
跨模态哈希算法是跨模态近似最近邻搜索中最有前途的方法之一。大多数CMH解决方案理想地假设训练集和测试集的标签是相同的。然而，该假设经常被违反，导致zero-shot CMH问题。最近的努力，以解决这个问题的重点是转移知识从可见的类看不见的标签属性。然而，属性是孤立的多模态数据的特征。为了减少信息差距，我们引入了一种方法，称为LAEH（标签属性嵌入zero-shot跨模态哈希）。LAEH首先通过word2vec模型得到标签的初始语义属性向量，然后使用一个转换网络将它们转换到一个公共子空间中。接下来，它利用哈希向量和特征相似性矩阵来指导不同模态的特征提取网络。同时，利用属性相似度作为标签相似度的补充，对标签嵌入和公共子空间进行修正。实验表明，LAEH算法优于相关的代表性的zero-shot和跨模态散列方法。
2021-11-07 cs.AI cs.CV cs.LG
Semi-supervised Bayesian Deep Multi-modal Emotion Recognition
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Shanghai Jiao Tong University（上海交通大学）
在情感识别中，仅使用单一的模态很难识别人的情感状态。此外，生理情感数据的注释特别昂贵。这两个方面使得建立有效的情感识别模型具有挑战性。本文首先建立了一个多视图深度生成模型，模拟多模态情感数据的生成过程。通过对潜在变量的后验近似施加高斯假设的混合，我们的模型可以从多个模态中学习共享的深度表示。为了解决标记数据稀缺的问题，我们进一步扩展我们的多视图模型的半监督学习的情况下，铸造的半监督分类问题作为一个专门的缺失数据填补任务。我们的半监督多视图深度生成框架可以利用来自多个模态的标记和未标记数据，其中可以自动学习每个模态的权重因子。与以往的情感识别方法相比，该方法具有更强的鲁棒性和灵活性。在两个真实的多模态情感数据集上进行的实验表明，我们的框架优于一些竞争对手。
2017-04-25 cs.AI cs.LG stat.ML
CroSSL: Cross-modal Self-Supervised Learning for Time-series through Latent Masking
University of New South Wales（新南威尔士大学）；Nokia Bell Labs（诺基亚贝尔实验室）
针对多模态时间序列标注数据稀缺问题，提出CroSSL框架，通过掩码模态编码器中间嵌入并经跨模态聚合器生成全局嵌入，实现无需负样本对采样的端到端跨模态自监督学习，在处理缺失模态和低资源场景下优于现有方法。
2024-02-19 cs.LG
Semi-supervised Classification: Cluster and Label Approach using Particle Swarm Optimization
分类使用在训练阶段学习的知识来预测对象的类别。这个过程需要从标记的样本中学习。然而，标记的样品通常是有限的。注释过程令人厌烦、乏味、昂贵，并且需要人类专家。同时，未标记的数据是可用的，几乎是免费的。半监督学习方法利用标记和未标记的数据。本文介绍了基于粒子群算法的半监督分类算法。粒子群优化算法是传统聚类算法无法比拟的。提出了一种新的局部最优粒子群算法对未标记数据进行聚类。可用的标记数据指导学习过程。实验使用四个国家的最先进的数据集从不同的领域进行。实验结果与流行的半监督分类器LabelPropagation和两种最先进的监督分类模型k-近邻和决策树进行了比较。实验结果表明了该模型的有效性。
2017-06-03 cs.LG
Multi-Modal Mutual Information (MuMMI) Training for Robust Self-Supervised Deep Reinforcement Learning
National University of Singapore（新加坡国立大学）
这项工作的重点是使用多个可能不可靠的传感器来学习有用且鲁棒的深度世界模型。我们发现，目前的方法不足以鼓励模态之间的共享表示，这可能会导致下游任务的性能不佳和过度依赖特定的传感器。作为解决方案，我们贡献了一个新的多模态深层潜在状态空间模型，使用互信息下限进行训练。关键的创新是一个专门设计的密度比估计，鼓励每一种形式的潜在代码之间的一致性。我们的任务是在多模态Natural MuJoCo基准和具有挑战性的Table Wiping任务上学习策略（以自我监督的方式）。实验表明，我们的方法明显优于最先进的深度强化学习方法，特别是在存在缺失观测的情况下。
2021-07-06 cs.AI cs.LG cs.RO
Feature-Label Modal Alignment for Robust Partial Multi-Label Learning
School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；Shenzhen Key Laboratory of Visual Object Detection and Recognition, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）深圳市视觉目标检测与识别重点实验室）；School of Computer Science and Engineering, Sun Yat-Sen University（中山大学计算机科学与工程学院）
本文提出PML-MA方法，通过特征-标签模态对齐恢复一致性，利用低秩正交分解生成伪标签并增强判别性，实验表明在真实和合成数据集上优于现有方法。
2026-04-10 cs.LG
Semi-supervised Learning Approach to Generate Neuroimaging Modalities with Adversarial Training
The University of Sydney（悉尼大学）
大脑的磁共振成像（MRI）可以以不同的形式出现，例如T1加权和液体衰减反转恢复（FLAIR），已用于研究广泛的神经系统疾病。目前最先进的脑组织分割和疾病分类模型需要多种模式进行训练和推理。然而，所有这些模态的获取都是昂贵的、耗时的、不方便的，并且所需的模态常常不可用。因此，这些数据集包含大量的\emph{unpaired}数据，其中数据集中的示例不包含所有模态。另一方面，包含所有模态（\emph{paired}数据）的示例的比例较小，而且与数据点的数量相比，每个模态都是高维的。在这项工作中，我们开发了一种方法来解决这些问题与半监督学习在两种神经成像模式之间的转换。我们提出的模型，半监督对抗性CycleGAN（SSA-CGAN），使用对抗性损失从\emph{unpaired}数据点学习，循环损失强制一致的映射重建和另一个对抗性损失利用\emph{paired}数据点。我们的实验表明，我们提出的框架产生了改进的重建误差和减少方差的成对翻译的多模态和更强大的热噪声相比，现有的方法。
2019-12-09 cs.LG eess.IV stat.ML
Weakly Supervised Label Learning Flows
Motional（莫申公司）；Northeast Normal University（东北师范大学）；Google（谷歌公司）；Snorkel AI（Snorkel AI公司）
本文提出基于归一化流的弱监督学习通用框架标签学习流（LLF），通过逆向训练条件流并在弱信号约束空间内优化所有可能标签的条件似然，避免显式估计标签，在三个弱监督任务上优于多个基线。
2024-11-25 cs.LG
Co-learning: Learning from Noisy Labels with Self-supervision
Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
由于人工标注错误或监督学习的网络数据采集错误而导致的噪声标注会导致神经网络过拟合误导信息，从而降低泛化性能。自监督学习在没有标签的情况下工作，从而消除了噪声标签的负面影响。受监督学习和自监督学习的共同训练的启发，我们提出了一种简单而有效的方法，称为Co-learning学习噪声标签。协同学习以协同的方式进行监督学习和自监督学习。与自监督模块的内在相似性和与噪声监督模块的结构相似性的约束施加在共享的共同特征编码器上，以正则化网络，从而最大化两个约束之间的一致性。在基准数据集上对协同学习与对等方法进行了比较，并提供了大量的结果，表明协同学习优于许多最先进的方法。
2021-10-30 cs.LG
Multi-Evidence Filtering and Fusion for Multi-Label Classification, Object Detection and Semantic Segmentation Based on Weakly Supervised Learning
The University of Hong Kong（香港大学）
监督目标检测和语义分割需要对象甚至像素级注释。当仅存在图像级标签时，弱监督算法实现准确预测是具有挑战性的。顶级弱监督算法实现的准确性仍然明显低于完全监督算法。在本文中，我们提出了一种新的弱监督课程学习管道多标签对象识别，检测和语义分割。在这个管道中，我们首先获得训练图像的中间对象定位和像素标记结果，然后使用这些结果以完全监督的方式训练特定于任务的深度网络。整个过程由四个阶段组成，包括训练图像中的对象定位，过滤和融合对象实例，训练图像的像素标记，以及特定任务的网络训练。为了在训练图像中获得干净的对象实例，我们提出了一种新的算法，用于过滤，融合和分类从多个解决方案机制收集的对象实例。在该算法中，我们将度量学习和基于密度的聚类过滤检测到的对象实例。实验表明，我们的弱监督流水线实现了最先进的多标签图像分类以及弱监督目标检测和非常有竞争力的结果，在弱监督语义分割的MS-COCO，PASCAL VOC 2007和PASCAL VOC 2012。
2018-02-26 cs.AI cs.CV cs.LG
A Survey on Semi-Supervised Learning for Delayed Partially Labelled Data Streams
University of Waikato（怀卡托大学）；Warsaw University of Technology（华沙工业大学）；University of São Paulo（圣保罗大学）；École Polytechnique（巴黎综合理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Télécom Paris（巴黎电信学院）
未标记的数据出现在许多领域中，并且与流应用程序特别相关，即使数据丰富，标记的数据也很少。为了解决与这些数据相关的学习问题，可以忽略未标记的数据，只关注标记的数据（监督学习）;使用标记的数据并尝试利用未标记的数据（半监督学习）;或者假设一些标签将根据请求提供（主动学习）。第一种方法是最简单的，但可用的标记数据量将限制预测性能。第二个依赖于发现和利用数据分布的基本特征。第三个依赖于外部代理商及时提供所需的标签。这项调查特别关注在半监督环境中利用未标记数据的方法。我们还讨论了延迟标记问题，它影响了完全监督和半监督方法。我们提出了一个统一的问题设置，讨论了学习的保证和现有的方法，解释相关的问题设置之间的差异。最后，我们回顾了当前的基准测试实践，并提出了改进建议。
2021-06-16 cs.LG
Pseudo-Label Calibration Semi-supervised Multi-Modal Entity Alignment
Renmin University of China（中国人民大学）
针对半监督多模态实体对齐中的模态噪声与标签利用不足问题，提出 PCMEA，通过多模态特征编码、互信息最大化去噪及伪标签校准动量对比学习，在两个数据集上达到 SOTA。
2024-03-02 cs.CL cs.DB cs.LG
