A Novel Diffusion Model for Pairwise Geoscience Data Generation with Unbalanced Training Dataset
George Mason University(乔治梅森大学);Northeastern University(东北大学);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出UB-Diff扩散模型,通过一进二出编码器-解码器网络从共潜在表示生成多模态成对科学数据,以解决数据模态不平衡问题,并在OpenFWI数据集上验证其优于现有方法。
2025-01-01 cs.CV cs.LG physics.geo-ph
Mix and match networks: cross-modal alignment for zero-pair image-to-image translation
Computer Vision Center Barcelona(巴塞罗那计算机视觉中心)
本文讨论了多模态之间的推断看不见的跨模态图像到图像的翻译的问题。我们假设只有一些成对的翻译已经被看到(即训练),并推断剩余的未被看到的翻译(其中训练对不可用)。我们提出了混合和匹配网络,这种方法将多个编码器和解码器对齐,以便通过简单地级联源编码器和目标解码器来获得所需的翻译,即使它们在训练阶段没有相互作用(即看不见)。主要的挑战在于在编码器-解码器对的瓶颈处的潜在表示的对齐。我们提出了一个架构与几个工具,以鼓励对齐,包括自动编码器和强大的边信息和潜在的一致性损失。我们展示了我们的方法的有效性和可扩展性方面的好处相比,其他成对的图像到图像的翻译方法。我们还提出了零对跨模态图像翻译,这是一个具有挑战性的设置,其中目标是从深度推断语义分割(反之亦然),而无需显式的分割深度对,并且仅从两个(不相交的)分割-RGB和深度-RGB训练集。我们观察到,看不见的模态之间的共享信息的某一部分可能无法到达,因此我们进一步提出了一个变体,该变体利用伪对,使我们能够利用看不见的模态之间的共享信息。
2020-05-15 cs.CV
Cross-Modality Gait Recognition: Bridging LiDAR and Camera Modalities for Human Identification
Southern University of Science and Technology(南方科技大学);The University of Hong Kong(香港大学);University of Cordoba(科尔多瓦大学);The Hong Kong Polytechnic University(香港理工大学)
本文针对 LiDAR 与相机间的跨模态步态识别问题,提出 CrossGait,通过模态内特征提取、跨模态对齐、共享注意力与特征适配器实现准确行人检索。
2024-04-04 cs.CV
Learning Aligned Cross-Modal Representations from Weakly Aligned Data
University of Toronto(多伦多大学);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);University of Maryland - Baltimore County(马里兰大学巴尔的摩县分校)
人们可以在自然图像之外的许多不同模态中识别场景。在本文中,我们研究如何学习跨模态场景表示,跨模态传输。为了研究这个问题,我们引入了一个新的跨模态场景数据集。虽然卷积神经网络可以很好地对跨模态场景进行分类,但它们也会学习跨模态不对齐的中间表示,这对于跨模态传输应用是不期望的。我们提出了正则化交叉模态卷积神经网络的方法,使它们具有与模态无关的共享表示。我们的实验表明,我们的场景表示可以帮助传输表示跨模态检索。此外,我们的可视化表明,单位出现在共享表示,往往激活一致的概念独立的模态。
2016-07-25 cs.CV
Cross-modal Center Loss
跨模态检索的目标是学习不同模态数据的区别性和模态不变特征。不同于现有的方法,通常从离线网络提取的特征,在本文中,我们提出了一种方法,联合训练组件的跨模态检索框架与元数据,使网络找到最佳的功能。提出的端到端框架更新了三个损失函数:1)一个新的跨模态中心损失,以消除跨模态差异,2)交叉熵损失,以最大限度地提高类间的变化,和3)均方误差损失,以减少模态变化。特别是,我们提出的跨模态中心损失最大限度地减少了所有模态中属于同一类的对象的特征距离。在多模态检索任务上进行了广泛的实验,包括2D图像,3D点云和网格数据。该框架在ModelNet40数据集上的性能明显优于最先进的方法。
2020-08-08 cs.CV
CrossWeaver: Cross-modal Weaving for Arbitrary-Modality Semantic Segmentation
The University of Sydney(悉尼大学);University of Technology Sydney(悉尼科技大学)
本文提出CrossWeaver框架,通过Modality Interaction Block和Seam-Aligned Fusion模块实现高效跨模态融合,在多模态语义分割中取得最佳性能。
2026-06-27 cs.CV
CrossOver: 3D Scene Cross-Modal Alignment
Stanford University(斯坦福大学);Microsoft Spatial AI Lab(微软空间人工智能实验室);ETH Zurich(苏黎世联邦理工学院);HUN-REN SZTAKI(匈牙利科学院研究网络中心计算机科学与控制研究所)
提出CrossOver框架,通过灵活的场景级模态对齐学习统一模态无关嵌入空间,在模态缺失下实现稳健的3D场景检索与物体定位,并在ScanNet和3RScan上表现优越。
2025-04-04 cs.CV
Cross-Modal Manifold Learning for Cross-modal Retrieval
Technische Universität München(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);IBM Almaden Research Center(IBM阿尔马登研究中心)
本文提出了一种新的可扩展的学习流形空间中的跨模态相似性保持检索算法。与现有的方法,保持全球和本地的几何形状之间的妥协,所提出的技术方面同时在歧管对齐。通过部署部分对应的实例,在联合流形空间中恢复底层映射函数来维护全局拓扑。然后计算模态间和模态内亲和矩阵,以分别使用扰动最小生成树(pMST)和最大化相似跨模态实例之间的亲和度来增强原始数据骨架。所提出的算法的性能进行评估,两个多模态图像数据集(冠状动脉粥样硬化组织学和脑MRI)的两个应用程序:分类,回归。我们详尽的验证和结果表明,我们的技术优于比较方法及其可行性,以改善计算机辅助诊断系统,疾病特异性的补充信息应汇总和解释跨模式,形成最终的决定。
2016-12-19 cs.CV
Spatio-channel Attention Blocks for Cross-modal Crowd Counting
Inha University(仁荷大学)
人群计数研究在现实世界的应用中取得了重大进展,但在跨模态环境中仍然是一个巨大的挑战。大多数现有的方法仅仅依赖于RGB图像的光学特征,忽略了其他模态(如热图像和深度图像)的可行性。不同模态之间固有的显著差异和模型架构设计选择的多样性使得跨模态人群计数更具挑战性。在本文中,我们提出了跨模态空间通道注意力(CSCA)块,它可以很容易地集成到任何特定于模态的架构。CSCA模块首先通过空间方向的跨通道注意以较少的开销在空间上捕获多通道之间的全局功能相关性。随后通过自适应通道特征聚合来细化具有空间注意力的跨模态特征。在我们的实验中,所提出的块在各种骨干网络中始终显示出显着的性能改进,从而在RGB-T和RGB-D人群计数中获得了最先进的结果。
2022-11-14 cs.CV
Hierarchical Cross-modal Transformer for RGB-D Salient Object Detection
School of Computer Science, Southeast University(东南大学计算机科学与工程学院)
大多数现有的RGB-D显着目标检测(SOD)方法遵循基于CNN的范式,由于CNN的自然局部性,该范式无法对跨空间和模态的长距离依赖性进行建模。本文提出了一种新的多模态Transformer,即分层交叉模态Transformer(HCT)。与以前的多模态Transformers直接连接来自两个模态的所有补丁不同,我们分层地探索跨模态互补性,以尊重未对齐区域中的模态间隙和空间差异。具体来说,我们建议使用通道内自我注意力来探索互补的全局上下文,并测量空间对齐的通道间注意力本地捕获跨通道的相关性。此外,我们提出了一个特征金字塔模块的Transformer(FPT),以提高信息的跨尺度集成,以及一致性互补模块,解开多模态集成路径,提高融合自适应性。在大量公共数据集上进行的综合实验验证了我们设计的有效性以及对最先进模型的一致改进。
2023-02-16 cs.CV
OPT: Omni-Perception Pre-Trainer for Cross-Modal Understanding and Generation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
在本文中,我们提出了一个全感知预训练器(OPT)的跨模态的理解和生成,通过联合建模的视觉,文本和音频资源。OPT是在一个编码器-解码器框架中构建的,包括三个单模态编码器,用于为每种模态生成基于令牌的嵌入,一个跨模态编码器,用于编码三种模态之间的相关性,以及两个跨模态解码器,分别生成文本和图像。对于OPT的预训练,我们设计了一个多任务借口学习方案,从三个不同的数据粒度,\ie,令牌,模态和样本级建模,通过它OPT学习对齐和不同的模态之间的翻译建模多模态资源。预训练任务是在来自Open Images的大量图像-文本-音频三元组上进行的。实验结果表明,OPT可以学习强大的图像-文本-音频多模态表示,并在各种跨模态理解和生成任务上取得了令人满意的结果。
2021-07-06 cs.CV
Non-target Divergence Hypothesis: Toward Understanding Domain Gaps in Cross-Modal Knowledge Distillation
本文提出非目标发散假说(NTDH),揭示模态间域差距通过非目标类别分布差异影响跨模态知识蒸馏性能,并基于VC理论推导误差上下界,在五个数据集上验证了该假说的有效性。
2024-09-04 cs.CV
Deep Unsupervised Contrastive Hashing for Large-Scale Cross-Modal Text-Image Retrieval in Remote Sensing
Technische Universität Berlin(柏林工业大学)
由于大规模多模态数据的可用性(例如,不同传感器获取的卫星图像、文本句子等)档案,跨模态检索系统的发展已经引起了RS的极大关注,该系统可以基于任何模态的查询来搜索和检索跨不同模态的语义相关数据。在本文中,我们将注意力集中在跨模态文本图像检索上,其中来自一种模态的查询(例如,文本)可以与来自另一个的存档条目匹配(例如,图片)。大多数现有的跨模态文本图像检索系统需要大量的标记的训练样本,也不允许快速和内存效率的检索,由于其固有的特点。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题,在本文中,我们介绍了一种新的深度无监督跨模态对比哈希(DUCH)方法的RS文本图像检索。所提出的DUCH由两个主要模块组成:1)特征提取模块(其提取文本-图像模态的深度表示);以及2)散列模块(其学习从所提取的表示生成跨模态二进制散列码)。在散列模块中,我们引入了一个新的多目标损失函数,包括:i)对比目标,使相似性保留在两个模态内和模态间的相似性; ii)一个对抗性的目标,在两个模态之间执行跨模态表示一致性; iii)二进制化目标,用于生成代表性的散列代码。实验结果表明,建议DUCH优于国家的最先进的无监督跨模态哈希方法在两个多模态(图像和文本)基准档案在RS。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-01-20 cs.CV
Multi-Modal Mutual Information Maximization: A Novel Approach for Unsupervised Deep Cross-Modal Hashing
Singapore University of Technology and Design(新加坡科技设计大学);Monash University(蒙纳士大学);University of Dayton(代顿大学)
在本文中,我们采用最大化的互信息(MI)的方法来解决问题的无监督学习的二进制哈希码的有效跨模态检索。我们提出了一种新的方法,称为跨模态信息最大哈希(CMIMH)。首先,学习信息表示,可以保持内和模态间的相似性,我们利用最近的进展,估计变分下限MI最大限度地提高MI之间的二进制表示和输入功能和二进制表示不同的方式。通过联合最大化这些MI的假设下,二进制表示是由多变量伯努利分布建模,我们可以学习二进制表示,它可以保持内部和内部模式的相似性,有效地在一个小批量的方式与梯度下降。此外,我们发现,试图通过从不同模态中学习相同实例的相似二进制表示来最小化模态间隙可能会导致信息量较少的表示。因此,在减少模态间隔和丢失模态私有信息之间取得平衡对于跨模态检索任务是重要的。标准基准数据集上的定量评估表明,该方法始终优于其他国家的最先进的跨模态检索方法。
2021-12-13 cs.CV
Locality-aware Cross-modal Correspondence Learning for Dense Audio-Visual Events Localization
School of Computer Science and Engineering, Nanjing University of Science and Technology(计算机科学与工程学院,南京理工大学)
本文提出LoCo框架,通过局部对应特征调制和局部自适应跨模态交互,利用事件局部时间连续性增强音视频对齐,解决密集音视频事件定位中的异步与语义不相关问题,性能优于现有方法。
2025-05-09 cs.CV
Dual-Space Modality Consistency Learning for Universal Cross-Modal Re-Identification
School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);School of Humanities and Social Sciences, Beihang University(北京航空航天大学人文与社会科学高等研究院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Informatics, Xiamen University(厦门大学信息学院)
提出DSMCL即插即用框架,联合建模空间与频域一致性,在5个数据集的17项协议上提升跨模态ReID基线性能,适配多样化异构模态场景。
2026-08-10 cs.CV
Revisiting Cross Modal Retrieval
University of Insubria(因苏布里亚大学);National University of Sciences and Technology(国立科技大学)
本文提出了一个利用图像和文本编码的跨模态检索系统。大多数多模态架构为每个模态使用单独的网络来捕获它们之间的语义关系。然而,在我们的工作中,图像-文本编码可以在跨模态检索方面实现可比的结果,而不必为每个模态使用单独的网络。我们表明,文本编码可以捕捉多个模态之间的语义关系。据我们所知,这项工作是第一次采用单一的网络和融合的图像-文本嵌入的跨模态检索。我们在两个著名的多模态数据集上评估了我们的方法:MS-COCO和Flickr 30 K。
2018-07-19 cs.CV
Cross-Modal Retrieval Meets Inference:Improving Zero-Shot Classification with Cross-Modal Retrieval
Graduate School of AI, KAIST(KAIST人工智能研究生院);Samsung Advanced Institute of Technology(三星先进技术研究院)
本文提出X-MoRe方法,通过外部图像-文本对的跨模态检索与模态置信度集成,在推理时增强CLIP零样本分类,无需额外训练,提升未见类别的泛化性能。
2023-08-29 cs.CV
ERNIE-UniX2: A Unified Cross-lingual Cross-modal Framework for Understanding and Generation
Baidu Inc.(百度公司)
最近的跨语言跨模态作品试图将视觉语言预训练(VLP)模型扩展到非英语输入,并取得了令人印象深刻的性能。然而,这些模型只关注于理解使用仅编码器架构的任务。在本文中,我们提出了ERNIE-UniX 2,这是一个统一的跨语言跨模态预训练框架,用于生成和理解任务。ERNIE-UniX 2集成了多个预训练范例(例如,对比学习和语言建模),并尝试学习跨语言和模态的更好的联合表示。此外,ERNIE-UniX 2可以无缝微调,以适应各种生成和理解下游任务。ERNIE-UniX 2在多语言纯文本和图像-文本数据集上进行了预训练,在各种跨语言跨模态生成和理解任务上实现了SOTA结果,例如多模态机器翻译和多语言视觉问答。
2022-11-09 cs.CV
CrossVideo: Self-supervised Cross-modal Contrastive Learning for Point Cloud Video Understanding
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海期智研究院);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对点云视频理解中监督学习数据稀缺、标签难获取的问题,提出CrossVideo自监督跨模态对比学习方法,利用点云与图像视频的跨模态关系,结合模态内、跨模态及多层次对比策略,性能超越现有最优方法。
2024-01-17 cs.CV
Unsupervised Contrastive Hashing for Cross-Modal Retrieval in Remote Sensing
跨模态检索系统是遥感领域的一个研究热点,它能够基于任意模态的查询,跨模态检索语义相关的数据。在本文中,我们将注意力集中在跨模态文本图像检索上,其中来自一种模态的查询(例如,文本)可以与来自另一个的存档条目匹配(例如,图片)。现有的跨模态文本图像检索系统中,大多数RS需要大量的标记的训练样本,也不允许快速和内存有效的检索。这些问题限制了现有的跨模态检索系统在大规模遥感应用中的适用性。为了解决这个问题,在本文中,我们介绍了一种新的无监督跨模态对比哈希(DUCH)方法在RS的文本图像检索。为此,所提出的DUCH由两个主要模块组成:1)特征提取模块,其提取两种模态的深度表示; 2)散列模块,其学习从所提取的表示生成跨模态二进制散列码。我们引入了一种新的多目标损失函数,包括:i)对比目标,使相似性保留内和模态间的相似性; ii)一个对抗性的目标,在两个模态之间实施跨模态表示的一致性;和iii)二进制化目标生成哈希码。实验结果表明,所提出的DUCH优于国家的最先进的方法。我们的代码可在https://git.tu-berlin.de/rsim/duch上公开获取。
2022-04-19 cs.CV
Cross and Learn: Cross-Modal Self-Supervision
Heidelberg University(海德堡大学)
在本文中,我们提出了一个自我监督的方法表示学习利用两种不同的方式。基于对跨模态信息具有高度语义意义的观察,我们提出了一种有效利用这种信号的方法。对于我们的方法,我们利用视频数据,因为它是在一个大规模的,并提供了易于访问的方式给出的RGB和光流。我们在自监督学习的背景下,在高度竞争的动作识别数据集上展示了最先进的性能。我们表明,我们的功能表示也转移到其他任务,并进行广泛的消融研究,以验证我们的核心贡献。代码和模型可以在https://github.com/nawidsayed/Cross-and-Learn上找到。
2019-04-29 cs.CV
Rethink Cross-Modal Fusion in Weakly-Supervised Audio-Visual Video Parsing
National University of Singapore(新加坡国立大学)
针对弱监督音视频解析中早期融合纠缠不相关模态的问题,提出信使引导的中期融合变压器及跨音频预测一致性,减少不相关跨模态上下文,提升单模态事件检测性能。
2023-11-14 cs.CV
GRAMformer: Any-Order Modality Interactions via Volumetric Multimodal Cross-Attention
Dept. of Information Engineering, Electronics, and Telecommunications, Sapienza University of Rome(信息工程、电子与电信系,罗马萨皮恩扎大学)
提出体积多模态交叉注意力(VMA)机制,通过计算查询与多模态键向量的联合几何体积来建模任意顺序的模态交互,并集成到新型多模态Transformer架构GRAMformer中,提升多模态学习的有效性和效率。
2026-06-04 cs.CV cs.LG
Cross-Modal-Domain Generalization Through Semantically Aligned Discrete Representations
Peter L. Reichertz Institute for Medical Informatics(汉诺威医学院彼得·L·里赫茨医学信息学研究所);Lower Saxony Center for AI and Causal Methods in Medicine (CAIMed)(下萨克森医学人工智能与因果方法中心(CAIMed))
本文提出CoDAAR框架,通过语义对齐解决跨模态泛化与模态特异性之间的平衡问题,结合离散时间对齐和语义对齐机制,在统一离散空间中实现通用跨模态表示。
2026-05-13 cs.CV
Audio-Visual Instance Discrimination with Cross-Modal Agreement
UC San Diego(加州大学圣迭戈分校);Facebook AI Research(脸书人工智能研究院)
我们提出了一个自监督学习的方法来学习视听表示的视频和音频。我们的方法使用对比学习的跨模态歧视的视频从音频,反之亦然。我们表明,优化跨模态的歧视,而不是模态内的歧视,是很重要的学习良好的表示,从视频和音频。有了这个简单但强大的洞察力,我们的方法在微调动作识别任务时实现了极具竞争力的性能。此外,虽然最近的工作在对比学习定义的积极和消极的样本作为个体的情况下,我们推广这个定义,探索跨模态协议。我们通过测量视频和音频特征空间中的相似性将多个实例分组为阳性。跨模态协议创建更好的积极和消极的设置,这使我们能够校准视觉相似性,寻求内模态歧视的积极情况下,并实现下游任务的显着收益。
2021-03-29 cs.CV
ACIT: Attention-Guided Cross-Modal Interaction Transformer for Pedestrian Crossing Intention Prediction
Technische Universität Berlin(柏林工业大学)
ACIT通过跨模态交互和注意力机制提升行人过街意图预测的准确性,实验显示在两个数据集上均优于现有方法。
2025-11-25 cs.CV
MRI Cross-Modality NeuroImage-to-NeuroImage Translation
Research Institute of Beihang University in Shenzhen(北京航空航天大学深圳研究院);Beihang University(北京航空航天大学);Chongqing University(重庆大学);Microsoft Research(微软研究院)
我们提出了一个跨模态生成框架,学习生成翻译的方式从给定的模态在MR图像中,而无需真正的收购。我们提出的方法通过利用条件生成对抗网络(cGAN)的深度学习模型来执行神经图像到神经图像的转换(简称为N2N)。我们的框架联合利用低级别特征(像素信息)和高级别表示(例如,脑肿瘤,脑结构如灰质等)。这对于解决大脑结构中具有挑战性的复杂性非常重要。该框架可作为临床诊断的辅助手段,具有很大的应用潜力。基于我们提出的框架,我们首先提出了一种跨模态配准的方法,通过融合变形场,采用跨模态信息从翻译模态。其次,我们提出了一种用于MRI分割的方法,即平移多通道分割(TMS),其中给定的模态以及平移模态通过全卷积网络(FCN)以多通道方式进行分割。这两种方法都成功地利用了跨通道信息,在不增加任何额外数据的情况下提高了性能。实验表明,我们提出的框架在五个脑MRI数据集上取得了最新的进展。我们还在一些广泛采用的大脑数据集上观察到跨模态配准和分割的令人鼓舞的结果。总体而言,我们的工作可以作为临床诊断的辅助方法,并应用于医学领域的各种任务。关键词:图像到图像,跨模态,配准,分割,脑MRI
2018-09-11 cs.CV
Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models
Nanyang Technological University(南洋理工大学);Rice University(莱斯大学);Alibaba AI Labs(阿里巴巴人工智能实验室)
文本-视觉跨模态检索一直是计算机视觉和自然语言处理领域的研究热点。学习多模态数据的适当表示对于跨模态检索性能至关重要。与现有的图像-文本检索方法,嵌入图像-文本对作为单一的特征向量在一个共同的表示空间,我们建议将生成过程的跨模态特征嵌入,通过它,我们不仅能够学习的全球抽象功能,但也本地接地功能。实验结果表明,该框架能够很好地匹配内容复杂的图像和句子,并在MSCOCO数据集上取得了较好的跨模态检索效果。
2018-06-13 cs.CV
Mx2M: Masked Cross-Modality Modeling in Domain Adaptation for 3D Semantic Segmentation
Tencent(腾讯)
本文提出Mx2M方法,通过掩码跨模态建模解决3D语义分割领域自适应中目标域缺乏监督的问题,利用跨模态去除与预测和动态跨模态滤波器提升跨域性能。
2023-07-09 cs.CV
Deep Cross-modality Adaptation via Semantics Preserving Adversarial Learning for Sketch-based 3D Shape Retrieval
由于2D草图和3D形状之间存在很大的跨模态差异,因此通过草图检索3D形状是一项非常具有挑战性的任务。为了解决这个问题,本文提出了一个新的框架来学习有区别的深度跨模态适应模型。具体来说,我们首先分别采用两个度量网络,然后是两个深度卷积神经网络(CNN),基于重要性感知度量学习方法学习特定于模态的判别特征。随后,我们显式地引入了一个跨模态转换网络来补偿两种模态之间的分歧,它可以将2D草图的特征转换到3D形状的特征空间。我们开发了一种基于对抗学习的方法来训练转换模型,通过同时增强两种模态的数据分布之间的整体相关性,并通过最小化跨模态平均差异项来减轻局部语义分歧。在SHREC 2013和SHREC 2014数据集上的实验结果清楚地表明,与最先进的方法相比,我们提出的模型具有更好的检索性能。
2018-07-04 cs.CV
CrossFlowDG: Bridging the Modality Gap with Cross-modal Flow Matching for Domain Generalization
National Technical University of Athens(希腊国家技术大学)
本文提出CrossFlowDG,通过无噪声的跨模态流匹配解决领域泛化中的模态差距问题,利用联合欧几里得潜在空间中的连续变换,将领域偏向的图像嵌入向领域不变的文本嵌入迁移。
2026-04-18 cs.CV
CNN-based RGB-D Salient Object Detection: Learn, Select and Fuse
City University of Hong Kong(香港城市大学)
本文的目标是提出一个系统的RGB-D显著目标检测的解决方案,该方案在统一的框架下解决了以下三个方面:特定于情态的表示学习、互补线索选择和跨情态补语融合。为了学习有区别的模态特定的功能,我们提出了一个分层的跨模态蒸馏方案,其中学习良好的源模态提供监督信号,以促进新模态的学习过程。为了更好地提取互补线索,我们制定了一个残差函数,以自适应地将互补从成对的模态。此外,一个自顶向下的融合结构被构造为充分的跨模态的相互作用和跨级别的传输。实验结果表明,该方法在zero-shot显著性检测和新模态的预训练中具有较好的效果,在选择和融合跨模态/跨层次补语方面具有一定的优势.
2019-09-20 cs.CV
Cross-modal knowledge distillation for action recognition
University of Bonn(波恩大学)
在这项工作中,我们解决了这样一个问题,即如何在RGB视频等模态上训练的动作识别网络可以适应于识别另一种模态的动作,如3D人体姿势序列。为此,我们提取源模态的训练教师网络的知识,并将其转移到目标模态的学生网络的一个小集合。对于跨模态知识蒸馏,我们不需要任何注释数据。相反,我们使用两种模态的序列对作为监督,这是直接获得的。在以前的作品相比,使用KL损失的知识蒸馏,我们表明,交叉熵损失与相互学习的一个小合奏的学生网络表现得更好。事实上,所提出的跨模态知识蒸馏方法几乎达到了在完全监督下训练的学生网络的准确性。
2019-10-10 cs.CV
A unifying mutual information view of metric learning: cross-entropy vs. pairwise losses
ÉTS Montreal(蒙特利尔高等技术学院);CentraleSupelec-CNRS-Université Paris-Saclay(法国中央理工-高等电力学院-法国国家科学研究中心-巴黎萨克雷大学)
最近,深度度量学习(DML)的大量研究工作集中在设计复杂的成对距离损失上,这需要复杂的方案来简化优化,例如样本挖掘或对加权。在DML中,分类的标准交叉熵损失在很大程度上被忽视了。从表面上看,交叉熵似乎与度量学习无关,因为它没有明确涉及成对距离。然而,我们提供了一个理论分析,将交叉熵与几个众所周知的和最近的成对损失联系起来。我们的连接来自两个不同的角度:一个基于明确的优化洞察力;另一个基于标签和学习特征之间的互信息的判别和生成视图。首先,我们明确地证明了交叉熵是一个新的成对损失的上界,它具有类似于各种成对损失的结构:它最小化类内距离,同时最大化类间距离。因此,最小化交叉熵可以被视为用于最小化这种成对损失的近似边界优化(或Majorize-Minimize)算法。其次,我们表明,更一般地说,最小化的交叉熵实际上相当于最大化的互信息,我们连接到几个众所周知的成对损失。此外,我们表明,各种标准的成对损失可以明确地通过绑定关系彼此相关。我们的研究结果表明,交叉熵代表了最大化互信息的代理-成对损失-而不需要复杂的样本挖掘算法。我们的实验超过四个标准的DML基准强烈支持我们的研究结果。我们获得了最先进的结果,优于最近和复杂的DML方法。
2021-11-26 cs.CV cs.LG stat.ML
Cross-Modality Perturbation Synergy Attack for Person Re-identification
Xiamen University(厦门大学);Hefei University of Technology(合肥工业大学)
该研究首次探索跨模态行人重识别模型的安全性,提出一种利用多模态梯度优化、破坏判别器并强化模态差异的通用扰动协同攻击方法,在三个主流跨模态数据集上验证了有效性,为提升系统鲁棒性提供参考。
2025-03-21 cs.CV
Cross-Modal Message Passing for Two-stream Fusion
Northwestern Polytechnical University(西北工业大学)
多模态信息的处理与融合是解决计算机视觉问题的有效手段。为了更有效地处理多模态信息,我们引入了一种新的多模态融合框架:跨模态消息传递(CMMP)。具体来说,我们提出了一种跨模态的消息传递机制,融合双流网络的动作识别,它由一个外观模态网络(RGB图像)和一个运动模态(光流图像)网络。在这个框架中,单个网络的目标是双重的:标准分类目标和竞争目标。分类目标确保每个模态网络预测真实的动作类别,而竞争目标鼓励每个模态网络超越另一个。我们定量地表明,提出的CMMP融合传统的双流网络更有效,并优于所有现有的双流融合方法在UCF-101和HMDB-51数据集。
2019-04-30 cs.CV
Unsupervised Generative Adversarial Cross-modal Hashing
Institute of Computer Science and Technology, Peking University(北京大学计算机科学技术研究所)
跨模态哈希算法将异构的多媒体数据映射到一个共同的汉明空间中,实现跨模态的快速、灵活的检索。无监督跨模态哈希比监督方法更灵活和适用,因为不涉及密集的标记工作。然而,现有的无监督方法通过保留内部和内部相关性来学习散列函数,同时忽略了不同模态之间的底层流形结构,这对于捕获不同模态的有意义的最近邻居以用于跨模态检索非常有帮助。为了解决上述问题,在本文中,我们提出了一种无监督的生成对抗跨模态哈希方法(UGACH),它充分利用了GAN的无监督表示学习的能力,以利用跨模态数据的底层流形结构。主要贡献可以概括如下:(1)我们提出了一个生成对抗网络,以无监督的方式对跨模式哈希进行建模。在所提出的UGACH中,给定一种模态的数据,生成模型试图拟合流形结构上的分布,并选择另一种模态的信息数据来挑战判别模型。判别模型学习区分生成的数据和从相关图中采样的真阳性数据,以实现更好的检索精度。这两个模型以对抗的方式进行训练,以相互改进并促进哈希函数学习。(2)我们提出了一种基于相关图的方法来捕获跨不同模态的底层流形结构,使不同模态但在同一流形内的数据可以具有较小的汉明距离,并提高检索精度。与6种最先进的方法进行了大量的实验比较,验证了我们所提出的方法的有效性。
2017-12-01 cs.CV
Cross Modal Distillation for Supervision Transfer
University of California, Berkeley(加州大学伯克利分校)
在这项工作中,我们提出了一种技术,从不同的方式之间的图像转移监督。我们使用从一个大的标记模态学习的表示作为监督信号,用于训练表示一个新的未标记的成对模态。我们的方法可以学习未标记模态的丰富表示,并且可以用作具有有限标记数据的新模态的预训练过程。我们展示了实验结果,其中我们将监督从标记的RGB图像转移到未标记的深度和光流图像,并展示了这些跨模态监督转移的巨大改进。代码、数据和预训练模型可在https://github.com/s-gupta/fast-rcnn/tree/distillation上获得
2015-11-25 cs.CV
Cross-modal Prompting for Balanced Incomplete Multi-modal Emotion Recognition
本文提出跨模态提示方法,通过增强模态特定特征和动态加权提升多模态情绪识别的准确性和鲁棒性。
2025-12-27 cs.CV
Sparse-to-dense Feature Matching: Intra and Inter domain Cross-modal Learning in Domain Adaptation for 3D Semantic Segmentation
Sichuan University(四川大学);University of Electronic Science and Technology of China(电子科技大学);Dalian University of Technology(大连理工大学);National University of Defense Technology(国防科技大学)
当一个新领域缺少注释时,领域自适应是成功的关键。由于三维点云标记过程耗时巨大,三维语义分割的领域自适应方法具有很大的应用前景。随着多模态数据集的兴起,除了3D点云之外,还可以访问大量的2D图像。鉴于此,我们建议通过域内和域间交叉模态学习进一步利用2D数据进行3D领域自适应。对于域内跨模态学习,现有的大多数工作都将密集的2D像素级特征采样到与稀疏的3D点级特征相同的大小,从而导致大量有用的2D特征被丢弃。为了解决这个问题,我们提出了动态稀疏到密集交叉模态学习(DsCML),以增加充分的多模态信息交互的领域自适应。对于域间交叉模态学习,我们进一步在包含不同语义内容的2D和3D数据上推进交叉模态对抗学习(CMAL),旨在促进高级模态互补。我们在各种多模态领域自适应设置下评估我们的模型,包括白天到晚上,国家到国家和电子邮件到数据集,在所有设置下都比单模态和多模态领域自适应方法带来了很大的改进。
2021-08-08 cs.CV
CoMLP: Cooperatively-Gated MLPs for Fine-Grained Cross-Modal Information Fusion in Medical Image Segmentation
Institute of Translational Medicine, Shanghai Jiao Tong University(上海交通大学转化医学研究院);Zhongguancun Academy(中关村学院);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院);School of Computer Science, the University of Sydney(悉尼大学计算机学院);China United Network Communications Group Co., Ltd.(中国联合网络通信集团有限公司)
本研究提出CoMLP协作门控多层感知机模块,通过协作交叉门控实现异源信息的细粒度跨模态融合,在5个医学分割基准上优于现有最优方法,为医学图像分割提供了MLP交互的有效替代方案。
2026-09-07 cs.CV
Knowledge as Priors: Cross-Modal Knowledge Generalization for Datasets without Superior Knowledge
Rutgers University(罗格斯大学);University of Delaware(特拉华大学)
跨模态知识蒸馏涉及将知识从用高级模态(教师)训练的模型转移到用弱模态(学生)训练的另一个模型。现有的方法需要成对的训练样本存在于两种模态中。然而,从高级模态访问数据可能并不总是可行的。例如,在3D手部姿态估计的情况下,深度图、点云或立体图像通常比RGB图像捕获更好的手部结构,但是它们中的大多数采集起来是昂贵的。在本文中,我们提出了一种新的计划,训练学生在目标数据集的教师是不可用的。我们的主要思想是通过将知识建模为学生参数的先验知识,将从源数据集(包含来自两种模态的配对示例)中学习到的提取的跨模态知识推广到目标数据集。我们将我们的方法命名为“跨模态知识泛化”,并证明我们的方案在标准基准数据集上的3D手姿态估计具有竞争力的性能。
2020-04-01 cs.CV
Learning Cross-Modal Deep Embeddings for Multi-Object Image Retrieval using Text and Sketch
Autonomous University of Barcelona(巴塞罗那自治大学);Indian Statistical Institute(印度统计研究所)
在这项工作中,我们介绍了一个跨模态图像检索系统,允许文本和草图作为输入方式的查询。跨模态深度网络架构被制定为联合建模草图和文本输入模态以及图像输出模态,学习文本和图像之间以及草图和图像之间的共同嵌入。此外,注意力模型用于选择性地将注意力集中在图像的不同对象上,从而允许在查询中检索多个对象。实验表明,该方法在标准数据集上的单目标和多目标图像检索中均取得了较好的效果。
2018-04-28 cs.CV
MOS: Mitigating Optical-SAR Modality Gap for Cross-Modal Ship Re-Identification
School of Artificial Intelligence, Beihang University(北京航空航天大学人工智能学院);School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院)
MOS通过模态一致表示学习和跨模态数据生成与融合,有效缓解光学与SAR图像间的模态差距,提升舰船跨模态重识别的准确率。
2025-12-03 cs.CV
Learning by Aligning: Visible-Infrared Person Re-identification using Cross-Modal Correspondences
Yonsei University(延世大学)
我们解决的问题,可见光红外人重新识别(VI-reID),即检索一组人的图像,由可见光或红外摄像机,在一个跨模态设置。VI-reID中的两个主要挑战是人物图像的类内变化,以及可见光和红外图像之间的跨模态差异。假设人的图像是粗略对齐的,以前的方法试图学习粗糙的图像或刚性的部分级别的人的表示,是有区别的,并概括在不同的模态。然而,通常由现成的对象检测器裁剪的人图像不一定是良好对准的,这分散了辨别性人表示学习。在本文中,我们介绍了一种新的特征学习框架,以统一的方式解决这些问题。为此,我们建议利用交叉模态的人的图像之间的密集对应。这允许解决像素级的跨模态差异,更有效地抑制来自人表征的模态相关特征。这也鼓励了跨模态局部特征之间的像素关联,进一步促进了VI-reID的区分性特征学习。在标准VI-reID基准上进行的大量实验和分析表明了我们方法的有效性,其性能明显优于最先进的方法。
2021-08-17 cs.CV
CR-JEPA: Cross-Modal Joint-Embedding Predictive Learning for Remote Sensing Image Retrieval
Space Applications Centre, Indian Space Research Organisation(印度空间研究组织空间应用中心);Centre of Studies in Resources Engineering, Indian Institute of Technology Bombay(印度理工学院孟买资源工程研究中心)
提出CR-JEPA架构,通过模态特定主干、共享Transformer和JEPA预测目标实现跨模态语义对齐与同模态邻域保持,在BEN-14K等数据集上显著提升跨模态检索性能。
2026-06-06 cs.CV
Cross-Modal Discrete Representation Learning
Massachusetts Institute of Technology(麻省理工学院);Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室)
表示学习的最新进展已经证明了在单个高级嵌入向量中表示来自不同模态(诸如视频、文本和音频)的信息的能力。在这项工作中,我们提出了一个自监督学习框架,该框架能够学习一种表示,该表示可以在不同的模态(如由视觉对象或口语表示的概念或事件)中捕获更精细的粒度级别。我们的框架依赖于通过矢量量化创建的离散化嵌入空间,该空间在不同的模态之间共享。除了共享的嵌入空间,我们提出了一个跨模态代码匹配的目标,迫使来自不同的视图(模态)的表示在离散嵌入空间上具有类似的分布,这样跨模态对象/动作本地化可以在没有直接监督的情况下进行。在我们的实验中,我们表明,所提出的离散化多模态细粒度表示(例如,像素/字/帧)可以补充高级概要表示(例如,视频/句子/波形),以提高跨模态检索任务的性能。我们还观察到,离散化表示使用单独的集群来表示跨模态的相同语义概念。
2021-06-10 cs.CV
Transferable Multiform Attack for Cross-Modal Person Re-Identification
School of Informatics(信息学院);Xiamen University(厦门大学);The Hong Kong Polytechnic University(香港理工大学)
本文提出一种基于梯度-进化的双层优化框架及多形态攻击策略,通过学习模态内通用扰动并利用进化算法搜索跨模态共享扰动,有效提升了红外、热成像和RGB图像间对抗攻击的可迁移性。
2026-10-30 cs.CV
Cross-modal Learning for Multi-modal Video Categorization
Samsung Research America(三星美国研究院)
多模态机器学习(ML)模型可以以多个模态(例如,视频、音频、文本)并且对于各种问题中的视频内容分析是有用的(例如,目标检测、场景理解、活动识别)。在本文中,我们专注于使用多模态ML技术的视频分类问题。特别是,我们开发了一种新的多模态ML方法,我们称之为“跨模态学习”,其中一种模态影响另一种模态,但只有当模态之间存在相关性时-为此,我们首先训练一个相关塔,它指导模型中的主要多模态视频分类塔。我们展示了如何将这种跨模态原理应用于不同类型的模型(例如,RNN,Transformer,NetVLAD),并通过实验演示了我们提出的具有跨模态学习的多模态视频分类模型如何超越最先进的基线模型。
2020-06-06 cs.CV cs.LG
Vision-and-Language or Vision-for-Language? On Cross-Modal Influence in Multimodal Transformers
University of Trento(特伦托大学);University of Copenhagen(哥本哈根大学)
预先训练的视觉和语言BERT旨在学习结合来自两种模式的信息的表示。我们提出了一种诊断方法的基础上跨模态输入消融,以评估在何种程度上,这些模型实际上整合跨模态信息。该方法涉及从一种模态中完全或选择性地基于跨模态接地对齐来消融输入,并评估另一种模态上的模型预测性能。模型性能通过反映模型预训练目标的特定模态任务来衡量(例如,文本的掩蔽语言建模)。已经学会使用两种模态来构建跨模态表示的模型在模态中缺少输入时的表现会更差。我们发现,最近提出的模型有更大的相对困难预测文本时,视觉信息被消融,预测视觉对象类别时,文本被消融,这表明这些模型是不对称的跨模态。
2021-09-09 cs.CL cs.CV
Cross-modal Prototype Driven Network for Radiology Report Generation
University of Warwick(华威大学)
放射学报告生成(RRG)的目的是自动描述一个放射学图像与人类一样的语言,并可能支持放射科医生的工作,减少人工报告的负担。以前的方法通常采用编码器-解码器架构,专注于单模态特征学习,而很少有研究探讨跨模态特征交互。在这里,我们提出了一个跨模态原型驱动的网络(XPRONET),以促进跨模态模式学习,并利用它来提高放射学报告生成的任务。这是通过三个精心设计的,完全可区分的和互补的模块来实现的:一个共享的跨模态原型矩阵,用于记录跨模态原型;一个跨模态原型网络,用于学习跨模态原型,并将跨模态信息嵌入到视觉和文本特征中;以及一个改进的多标签对比损失,用于实现和增强多标签原型学习。XPRONET在IU-X射线和MIMIC-CXR基准测试中获得了实质性的改进,其性能在IU-X射线上超过了最新的最先进的方法,并且在MIMIC-CXR上的性能相当。
2022-07-11 cs.CL cs.CV
Cognitively Inspired Cross-Modal Data Generation Using Diffusion Models
University of Southern California(南加州大学)
针对现有扩散模型跨模态生成存在信息损失且仅支持单向条件生成的问题,本文受人类多模态同步学习启发,提出在训练阶段利用通道级图像条件化学习跨模态相关性的多模态扩散模型方案,实现了以所有相关模态为条件的生成。
2023-05-28 cs.CV cs.LG
SwAMP: Swapped Assignment of Multi-Modal Pairs for Cross-Modal Retrieval
Samsung AI Center(三星人工智能中心)
我们解决了跨模态检索问题,其中学习仅由数据中的相关多模态对监督。虽然对比学习是最流行的方法,这使得潜在的错误假设,在不同对的实例自动无关。为了解决这个问题,我们提出了一种新的损失函数,是基于自标记的未知语义类。具体来说,我们的目标是预测每种模态中数据实例的类标签,并将这些标签分配给另一种模态中的相应实例(即,交换伪标签)。通过这些交换的标签,我们使用监督交叉熵损失来学习每个模态的数据嵌入。这样,来自语义相关的不同对的跨模态实例可以通过类预测器彼此对齐。我们测试了我们的方法在几个现实世界的跨模态检索问题,包括基于文本的视频检索,基于草图的图像检索,和图像-文本检索。对于所有这些任务,我们的方法实现了显着的性能改善的对比学习。
2022-10-11 cs.CV cs.LG