Double Banking on Knowledge: Customized Modulation and Prototypes for Multi-Modality Semi-supervised Medical Image Segmentation
College of Computer Science, Sichuan University（四川大学计算机学院）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；College of Electrical Engineering, Sichuan University（四川大学电气工程学院）；School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院）
本文提出DBDC多模态半监督医学图像分割方法，通过模态一体化网络、双存储库原型对比学习、自适应加权和双一致性策略，解决模态数量受限、模态特定特征缺失及无标签数据利用不可靠问题，在2至4模态任务上超越现有方法。
2024-10-23 cs.CV
UniMRSeg: Unified Modality-Relax Segmentation via Hierarchical Self-Supervised Compensation
Yale University, USA（耶鲁大学）；Nanyang Technological University, Singapore（南洋理工大学）；Dalian University of Technology, China（大连理工大学）
UniMRSeg通过分层自监督补偿在输入、特征和输出层面弥合完整与缺失模态差距，以统一网络高效应对多模态分割中的模态缺失问题，并在多个任务上显著超越现有方法。
2025-09-19 cs.CV
HRTransNet: HRFormer-Driven Two-Modality Salient Object Detection
Hefei University（合肥学院）；Anhui University（安徽大学）
高分辨率Transformer（HRFormer）可以保持高分辨率表示并共享全局感受野。该算法对显著目标检测（SOD）具有较好的适应性，输入输出分辨率相同。然而，双模态SOD需要解决两个关键问题。一个问题是双模态融合。另一个问题是HRFormer输出的融合。为了解决第一个问题，一个补充的模态被注入到主模态通过使用全局优化和注意力机制选择和净化的输入级的模态。为了解决第二个问题，双向短连接融合模块被用来优化HRFormer的输出特征，从而在输出层面上增强对象的详细表示。该模型首先引入一个辅助流来提取补充模态的特征提取。然后，在每个多分辨率分支的开始处将特征注入到主模态中。接下来，应用HRFormer来实现转发传播。最后通过特征内和特征间交互Transformers对不同分辨率的输出特征进行聚合。所提出的模型的应用结果在驱动双模态SOD任务，例如，RGB-D、RGB-T和光场SOD.https://github.com/liuzywen/HRTransNet
2023-01-08 cs.CV
Learning Modality-agnostic Representation for Semantic Segmentation from Any Modalities
Hong Kong University of Science and Technology（香港科技大学）
针对多模态语义分割中模态缺失或失效问题，提出Any2Seg框架，通过从视觉-语言模型蒸馏语义知识并融合模态无关特征，实现任意模态组合下的鲁棒分割，在基准上取得显著提升。
2024-07-16 cs.CV
MAGIC++: Efficient and Resilient Modality-Agnostic Semantic Segmentation via Hierarchical Modality Selection
AI Thrust, HKUST(GZ)（香港科技大学（广州）AI方向）；Dept. of EEE, NTU（南洋理工大学电子与电气工程学院）；Dept. of CSE, HKUST（香港科技大学计算机科学与工程学系）
本文提出MAGIC++框架，通过多模态交互模块和分层模态选择模块实现模态无关的语义分割，消除对RGB模态的依赖，在多模态和模态无关设置下均达到最先进性能。
2024-12-22 cs.CV
Modality-Decoupled RGB-Thermal Object Detector via Query Fusion
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校）
本文提出了一种通过查询融合实现模态解耦的RGB热物体检测框架，以提升在极端条件下的检测鲁棒性。
2026-01-13 cs.CV
Centering the Value of Every Modality: Towards Efficient and Resilient Modality-agnostic Semantic Segmentation
Hong Kong University of Science and Technology（香港科技大学）
提出MAGIC方法，通过多模态聚合与任意模态选择模块消除对RGB模态的依赖，在减少60%参数的同时实现SOTA性能，并在模态无关设置下大幅超越现有方法。
2024-08-25 cs.CV
DOD-SA: Infrared-Visible Decoupled Object Detection with Single-Modality Annotations
针对红外-可见光目标检测需双模态标注成本高的问题，提出采用单模态标注的DOD-SA框架，通过CoSD-TSNet、PaST策略及PLA解决模态错位，实现高效解耦检测。
2026-08-28 cs.CV
DMAF-Net: An Effective Modality Rebalancing Framework for Incomplete Multi-Modal Medical Image Segmentation
College of Computer Science and Engineering, Chongqing University of Technology（重庆理工大学计算机科学与工程学院）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
针对不完整多模态医学图像分割中的模态不平衡问题，提出DMAF-Net，通过动态模态感知融合、协同蒸馏框架与动态训练监控策略提升分割性能，在BraTS2020和MyoPS2020上表现优于现有方法。
2025-06-13 cs.CV
BiXFormer: A Robust Framework for Maximizing Modality Effectiveness in Multi-Modal Semantic Segmentation
Graduate School of Informatics, Nagoya University（名古屋大学信息学研究科）；AI Thrust, The Hong Kong University of Science and Technology（香港科学与技术大学人工智能 thrust）；INSAIT, Sofia University（索菲亚大学INSAIT）
BiXFormer 将多模态语义分割重构为掩码级分类任务，通过统一模态匹配和跨模态对齐最大化各模态效用并处理缺失模态，在多个基准上显著提升 mIoU。
2025-06-04 cs.CV
Modality-Agnostic Learning for Medical Image Segmentation Using Multi-modality Self-distillation
Wayne State University（韦恩州立大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
提出 MAG-MS 框架，通过多模态自蒸馏将融合知识迁移到单模态表征，在有限测试模态下实现优于现有方法的医学图像分割，并指导模态选择。
2023-06-06 cs.CV eess.IV
On Modality Incomplete Infrared-Visible Object Detection: An Architecture Compatibility Perspective
Shuo Yang；Yinghui Xing；Shizhou Zhang；Zhilong Niu
本文从架构兼容性视角研究模态不完整的红外-可见光目标检测，提出即插即用的Scarf Neck模块和伪模态丢弃策略，使DETR检测器在单模态和双模态下均表现鲁棒且性能优越。
2025-11-09 cs.AI cs.CV
Exploring Data Augmentation for Multi-Modality 3D Object Detection
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）
与直觉相反，基于点云和图像的多模态方法的性能仅略好于或有时比仅使用点云的方法更差。本文探讨了这一现象背后的原因。由于多模态数据增强必须保持点云和图像之间的一致性的事实，该领域中的最近方法通常使用相对不足的数据增强。这种不足使他们的表现低于预期。因此，我们贡献了一个管道，命名为转换流，以弥合单一和多模态数据增强与转换反转和重放之间的差距。此外，考虑到遮挡，不同模态中的点可能被不同的对象占据，使得诸如剪贴的增强对于多模态检测来说是重要的。我们进一步提出了多模态剪贴（MoCa），它同时考虑了闭塞和物理可扩展性，以保持多模态的一致性。在不使用检测器集合的情况下，我们的多模态检测器在nuScenes数据集上实现了最先进的性能，并在KITTI 3D基准测试中实现了具有竞争力的性能。我们的方法还赢得了第三届nuScenes检测挑战赛的最佳PKL奖。代码和模型将在https://github.com/open-mmlab/mmdetection3d上发布。
2021-04-21 cs.AI cs.CV
MAC: ModAlity Calibration for Object Detection
Carnegie Mellon University（卡内基梅隆大学）
提出模态校准（MAC）方法，利用源模态先验知识与零标注配对数据，将非RGB目标模态输入校准至预训练RGB检测模型，实现高效且性能相当或更优的目标检测。
2023-10-14 cs.CV cs.MM cs.RO
Cross-Modality Attentive Feature Fusion for Object Detection in Multispectral Remote Sensing Imagery
School of Aerospace Engineering, Tsinghua University（清华大学航天航空学院）
跨模态融合多光谱遥感图像对的互补信息，可以提高检测算法的感知能力，使其在夜间检测等更广泛的应用中具有更强的鲁棒性和可靠性。与现有的方法相比，我们认为不同的功能，应进行具体的处理，模态特定的功能应被保留和增强，而模态共享的功能，应樱桃挑选从RGB和热红外模态。在此基础上，提出了一种新的基于共模态和差分模态的多光谱特征融合方法--跨模态注意特征融合（CMAFF）。给定RGB和IR图像的中间特征图，我们的模块并行地从两个单独的模态（公共模态和差分模态）推断注意力图，然后将注意力图分别乘以输入特征图以进行自适应特征增强或选择。大量的实验表明，我们提出的方法可以实现国家的最先进的性能在一个较低的计算成本。
2021-12-06 cs.AI cs.CV eess.IV
Modality-Adaptive Mixup and Invariant Decomposition for RGB-Infrared Person Re-Identification
University of Science and Technology of China（中国科学技术大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
RGB-红外人脸再识别是一种新兴的跨模态再识别任务，由于RGB和红外图像之间存在显著的模态差异，因此具有很大的挑战性。在这项工作中，我们提出了一种新的模态自适应混合和不变分解（MID）的RGB红外人重新识别的方法，学习模态不变和歧视性的表示。MID设计了一种模态自适应的混合方案来生成合适的RGB和红外图像之间的混合模态图像，以减轻像素级的固有模态差异。该方法将模态混淆过程描述为马尔可夫决策过程，在此过程中，行动者-批评者智能体在深度强化学习框架下学习跨模态图像不同区域之间的动态局部线性插值策略。这种策略保证了模态不变性在一个更连续的潜在空间，并避免流形入侵损坏的混合模态样本。此外，为了进一步对抗模态差异并在特征级执行不变的视觉语义，MID采用模态自适应卷积分解将常规卷积层分解为模态特定的基础层和模态共享系数层。在两个具有挑战性的基准上进行的大量实验结果表明，MID的性能优于最先进的方法。
2022-03-16 cs.CV
MDReID: Modality-Decoupled Learning for Any-to-Any Multi-Modal Object Re-Identification
Northeastern University（东北大学）；Xiamen University（厦门大学）；National University of Singapore（新加坡国立大学）
MDReID通过模态解耦学习和模态感知度量学习，实现了任意到任意多模态对象重识别的鲁棒性和可扩展性。
2026-01-13 cs.CV
Cross-Modality Gait Recognition: Bridging LiDAR and Camera Modalities for Human Identification
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）；University of Cordoba（科尔多瓦大学）；The Hong Kong Polytechnic University（香港理工大学）
本文针对 LiDAR 与相机间的跨模态步态识别问题，提出 CrossGait，通过模态内特征提取、跨模态对齐、共享注意力与特征适配器实现准确行人检索。
2024-04-04 cs.CV
Deep Learning based Inter-Modality Image Registration Supervised by Intra-Modality Similarity
Northwestern Polytechnical University（西北工业大学）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Shanghai United Imaging Intelligence Co., Ltd（上海联影智能有限公司）；Shanghai Jiao Tong University（上海交通大学）
非刚性模态间配准可以促进来自不同模态的准确信息融合，但是由于跨模态的非常不同的图像外观，因此具有挑战性。在本文中，我们提出了训练一个非刚性的模态间图像配准网络，它可以直接预测从输入的多模态图像，如CT和MR图像的变换场。特别是，我们的模态间配准网络的训练是由基于可用配对数据的模态内相似性度量来监督的，该配对数据来自预对准的CT和MR数据集。具体地，在训练阶段中，为了配准输入CT和MR图像，在变形的MR图像和与输入CT配对的MR图像上评估它们的相似性。因此，模态内相似性度量可以直接应用于测量输入CT和MR图像是否良好配准。此外，我们使用双模态的想法，其中我们衡量的相似性，CT模态和MR模态。以这种方式，可以共同考虑两种模态中的互补解剖结构，以更准确地训练模态间配准网络。在测试阶段，训练的模态间配准网络可以直接应用于配准新的多模态图像，而无需任何配对数据。实验结果表明，该方法可以实现具有挑战性的非刚性模态间配准任务有希望的准确性和效率，也优于国家的最先进的方法。
2018-04-28 cs.CV
Learnable Irrelevant Modality Dropout for Multimodal Action Recognition on Modality-Specific Annotated Videos
Shenzhen University（深圳大学）；Pazhou Lab（琶洲实验室）
假设视频数据集是多模态注释的，其中听觉和视觉模态都是标记的或类相关的，当前的多模态方法应用模态融合或跨模态注意。然而，有效地利用特定于视觉的注释视频中的音频模态进行动作识别是特别具有挑战性的。为了应对这一挑战，我们提出了一个新的视听框架，有效地利用任何单独的视觉特定的注释数据集中的音频模态。我们采用语言模型（例如，BERT）来构建语义音频-视频标签字典（SAVLD），其将每个视频标签映射到其最K相关的音频标签，其中SAVLD充当音频和视频数据集之间的桥梁。然后，SAVLD连同预训练的音频多标签模型一起用于在训练阶段估计视听模态相关性。因此，提出了一种新的可学习的不相关模态丢弃（IMD），以完全丢弃不相关的音频模态并仅融合相关模态。此外，我们提出了一个新的双流视频Transformer有效地建模的视觉模态。包括Kinetics 400和UCF-101在内的几个视觉特定注释数据集的结果验证了我们的框架，因为它优于大多数相关的动作识别方法。
2022-03-27 cs.CV
See-Saw Modality Balance: See Gradient, and Sew Impaired Vision-Language Balance to Mitigate Dominant Modality Bias
Chung-Ang University（中央大学）
针对视觉-语言模型的主导模态偏差，本文提出 BalGrad 框架，通过模态间梯度重加权与任务梯度投影实现平衡收敛，并在三个多模态数据集上验证其有效性。
2025-03-18 cs.CV
Progressive Modality Cooperation for Multi-Modality Domain Adaptation
School of Electrical and Information Engineering, The University of Sydney（悉尼大学电子与信息工程学院）；College of Software, Beihang University（北航软件学院）
本文提出渐进式模态协作（PMC）框架，通过模态协作与数据生成解决多模态域适应问题，在图像和视频数据集上验证了其有效性。
2025-06-24 cs.CV
A Similarity Inference Metric for RGB-Infrared Cross-Modality Person Re-identification
Peking University（北京大学）；Nanyang Technological University（南洋理工大学）；Peng Cheng Laboratory（鹏城实验室）
RGB-红外（IR）跨模态人员重新识别（re-ID），其目的是在RGB图库中搜索IR图像或反之亦然，由于IR和RGB模态之间的大差异，是一项具有挑战性的任务。现有方法通常通过跨模态对齐特征分布或图像样式来解决这一挑战，而在很大程度上忽略了相同模态的图库样本之间非常有用的相似性（即模态内样本相似性）。本文提出了一种新的相似性推理度量（SIM），利用模态内样本的相似性，以规避跨模态的差异，目标是最佳的跨模态图像匹配。SIM通过连续相似图推理和相互最近邻推理，从两个不同的角度利用模态内样本的相似性来挖掘跨模态样本的相似性。在两个跨模态re-ID数据集（SYSU-MM 01和RegDB）上的大量实验表明，SIM实现了显着的准确性提高，但与最先进的相比，几乎没有额外的训练。
2020-07-03 cs.CV
Test-Time Modality Generalization for Medical Image Segmentation
Inha University（仁荷大学）
针对医学图像分割中未见模态泛化问题，提出TTMG框架，结合MASP和MSIW，在四种模态的十一个数据集上取得最优性能。
2025-02-27 cs.CV
Generalize LMMs to Versatile Visual Modalities via Fabricated Modality Synthesis
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部）
研究大型多模态模型推广到未见视觉模态的挑战，提出VVM-Tuning训练框架，通过模态合成和上下文让模型具备相关能力，引入VVM-Bench基准，实验证明经合成模态训练的模型在多模态上有改进且无需模态内训练。
2026-07-14 cs.CV
OmniJigsaw: Enhancing Omni-Modal Reasoning via Modality-Orchestrated Reordering
Zhejiang University（浙江大学）；Xiaomi Inc.（小米公司）
OmniJigsaw通过模态协调重排序任务提升多模态推理能力，采用三重策略实现跨模态整合，并通过两级数据过滤提升模型适应性，验证了其在多模态自监督学习中的有效性。
2026-04-09 cs.CV
S2T-Unet: A Structure-to-Style Framework for Inter-Modality MRI Translation
Heidelberg University（海德堡大学）
提出S2T-Unet框架，通过向量量化分离模态不变结构信息与模态特定外观，实现跨模态MRI翻译，在IXI数据集上达到或超越最先进方法。
2026-09-30 cs.CV
Dual-Space Modality Consistency Learning for Universal Cross-Modal Re-Identification
School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院）；School of Humanities and Social Sciences, Beihang University（北京航空航天大学人文与社会科学高等研究院）；School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院）；School of Informatics, Xiamen University（厦门大学信息学院）
提出DSMCL即插即用框架，联合建模空间与频域一致性，在5个数据集的17项协议上提升跨模态ReID基线性能，适配多样化异构模态场景。
2026-08-10 cs.CV
Text-Guided Channel Perturbation and Pretrained Knowledge Integration for Unified Multi-Modality Image Fusion
Xilai Li, Xiaosong Li, Weijun Jiang（作者）
针对统一多模态图像融合中梯度冲突、泛化性差的问题，本文提出UP-Fusion框架，通过SCPM、GAM、TCPM三个模块优化特征处理，在融合及下游任务上性能优于现有方法。
2025-11-16 cs.CV
CM-Diff: A Single Generative Network for Bidirectional Cross-Modality Translation Diffusion Model Between Infrared and Visible Images
提出CM-Diff，一种单一生成网络，通过双向扩散训练和统计约束推理实现红外与可见光图像的双向跨模态翻译，优于现有方法，可用于生成双模态数据集。
2025-08-07 cs.CV
Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration
Dalian University of Technology（大连理工大学）
近年来基于学习的图像融合方法在预配准多模态数据方面取得了巨大的进展，但由于空间变形和难以缩小跨模态差异，在处理未对齐的多模态数据时存在严重的重影问题。为了克服这些障碍，在本文中，我们提出了一个强大的跨模态生成配准范式的无监督错位红外和可见光图像融合（IVIF）。具体来说，我们提出了一个跨模态的感知风格转移网络（CPONS）生成一个伪红外图像作为输入的可见光图像。由于CPNN良好的几何保持能力，所生成的伪红外图像具有清晰的结构，更有利于将跨模态图像配准转化为单模态配准，并结合红外图像的结构敏感性。在这种情况下，我们引入了一个多级细化配准网络（MRRN），预测失真和伪红外图像之间的位移矢量场，并重建配准的红外图像下的单模态设置。此外，为了更好地融合注册的红外图像和可见光图像，我们提出了一个功能交互融合模块（IFM），自适应地选择更有意义的功能融合在双路径交互融合网络（DIFN）。大量的实验结果表明，所提出的方法执行不对齐的跨模态图像融合的优越性能。
2022-05-24 cs.CV
Dynamic Enhancement Network for Partial Multi-modality Person Re-identification
Anhui University（安徽大学）
本文提出动态增强网络DENet，通过三支路特征变换恢复缺失模态信息，并根据缺失状态自适应增强模态特征，在RGBNT201和RGBNT100数据集上验证了其在部分多模态行人重识别中的有效性。
2023-05-25 cs.CV
SmartMage: Dynamic Modality Orchestration for 3D Scene Understanding
Zhejiang University（浙江大学）；Stanford University（斯坦福大学）
本文针对现有MLLMs采用固定模态组合的缺陷，提出SmartMage模型，通过SMART和MAGE模块动态编排模态，在5个3D场景理解基准上取得最优性能，在RGB视频理解基准上表现具竞争力。
2026-08-11 cs.CV
MSO: Multi-Feature Space Joint Optimization Network for RGB-Infrared Person Re-Identification
Beijing Jiaotong University（北京交通大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；JD AI Research（京东人工智能研究院）
RGB-红外跨模态人物再识别（ReID）任务旨在识别可见光模态和红外模态之间具有相同身份的图像。现有的方法主要采用双流结构来消除最终公共特征空间中两种模态之间的差异，忽略了每种模态在浅层的单一空间。为了解决这个问题，本文提出了一种新的多特征空间联合优化（MSO）网络，它可以在单模态空间和公共空间中学习模态共享特征。首先，基于边缘信息是模态不变的观察，我们提出了一个边缘特征增强模块，以增强每个单模态空间中的模态可共享的特征。具体来说，我们设计了一种感知边缘特征（PEF）丢失后的边缘融合策略进行分析。据我们所知，这是第一个在跨模态ReID任务的单模态特征空间中提出显式优化的工作。此外，为了增加跨模态距离和类距离之间的差异，我们在公共特征空间中的模态联合约束中引入了一种新的跨模态对比中心（CMCC）损失。PEF损耗和CMCC损耗以端到端的方式联合优化模型，显著提高了网络的性能。大量的实验表明，该模型显着优于国家的最先进的方法在SYSU-MM 01和RegDB数据集。
2021-10-21 cs.CV
MutualFormer: Multi-Modality Representation Learning via Cross-Diffusion Attention
Anhui University（安徽大学）
聚合多模态数据以获得可靠的数据表示越来越受到人们的关注。最近的研究表明，Transformer模型通常适用于多模态任务。现有的Transformers一般采用交叉注意（CA）机制或简单的连接来实现不同模态之间的信息交互，但普遍忽略了模态间隙问题。在这项工作中，我们重新思考Transformer，并将其扩展到MutualFormer多模态数据表示。与Transformer中的CA不同，MutualFormer采用了我们新设计的交叉扩散注意（CDA）来进行不同模态之间的信息交流。与CA相比，CDA的主要优点有三个方面。首先，基于度量空间中的个体模态亲和度来定义CDA中的交叉亲和度，从而可以自然地避免基于特征的CA定义中的模态/域间隙问题。其次，CDA提供了一个通用的方案，既可以用于多模态表示，也可以作为现有CA模型的后优化。第三，CDA有效实施。我们成功地将MutualFormer应用于不同的多模态学习任务（即，RGB-Depth SOD，RGB-NIR对象ReID）。大量的实验证明了所提出的MutualFormer的有效性。
2023-03-16 cs.CV
Frequency Domain Modality-invariant Feature Learning for Visible-infrared Person Re-Identification
University of Science and Technology of China（中国科学技术大学）
针对可见光-红外行人重识别的模态差异问题，本文提出FDMNet框架，通过在图像级和特征级增强振幅成分并抑制模态特定成分，有效减小频域模态差异，在SYSU-MM01和RegDB基准上取得优异性能。
2024-01-04 cs.CV
Modality Translation and Registration of MR and Ultrasound Images Using Diffusion Models
Visual Information Laboratory, University of Bristol（布里斯托大学视觉信息实验室）；Southmead Hospital, North Bristol NHS Trust（北布里斯托国家健康服务信托南梅德医院）
本文提出基于层次化特征解耦的解剖一致性模态翻译网络ACMT，通过引入中间伪模态同时翻译MR和US图像，在保留关键解剖边界的同时缓解模态差异，显著提升多模态前列腺图像配准精度。
2025-06-01 cs.CV
Semantic Modality Compensation for Unsupervised Visible-Infrared Person Re-identification under Unpaired Settings
Wuhan University（武汉大学）
针对非配对无监督可见光-红外行人重识别，提出基于提示组合的语义模态补偿框架SMC，解耦身份语义与模态风格，合成缺失模态对应样本，显著提升跨模态识别性能。
2026-10-14 cs.CV
HPILN: A feature learning framework for cross-modality person re-identification
大多数视频监控系统同时使用RGB和红外摄像机，这使得通过RGB和红外模式重新识别人成为一项重要技术。这项任务可能是具有挑战性的，由于在RGB和红外异质图像所造成的跨模态变化，和内模态变化所造成的异质人体姿势，相机的意见，光的亮度等，以满足这些挑战的一种新的特征学习框架，HPILN，提出。在该框架中，对现有的单通道重识别模型进行了改进，使其适应跨通道场景，并采用专门设计的硬五元组丢失和身份丢失来提高改进后的跨通道重识别模型的性能。基于SYSU-MM 01数据集的实验结果表明，该方法在累积匹配特征曲线（CMC）和平均精度（MAP）方面优于现有方法。
2019-08-14 cs.CV
Improving Multispectral Pedestrian Detection by Addressing Modality Imbalance Problems
Nanjing University（南京大学）
多光谱行人检测是能够适应不足的照明条件下，利用颜色热模态。另一方面，对于如何有效地融合这两种模式，仍然缺乏深入的见解。与传统的行人检测方法相比，多光谱行人检测存在模态不平衡问题，阻碍了双模态网络的优化过程，降低了检测器的性能。受此启发，我们提出了模态平衡网络（MBNet），它以更灵活和平衡的方式促进优化过程。首先，我们设计了一个新的差分模态感知融合（DMAF）模块，使这两种模态相互补充。其次，光照感知特征对齐模块根据光照条件选择互补特征，并自适应地对齐两个模态特征。大量的实验结果表明，MBNet在准确性和计算效率方面优于具有挑战性的KAIST和CVC-14多光谱行人数据集。代码可在https://github.com/CalayZhou/MBNet上获得。
2020-08-17 cs.CV
Adaptive Context Matters: Towards Provable Multi-Modality Guidance for Super-Resolution
Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究院）
本文提出M$^3$ESR框架，通过动态模态融合提升超分辨率的泛化和语义一致性，理论分析揭示了多模态SR的优化方法。
2026-05-11 cs.CV
Visible-Infrared Person Re-Identification via Patch-Mixed Cross-Modality Learning
Wuhan University（武汉大学）；School of Computer Science（计算机学院）
本文提出补丁混合跨模态框架PMCM，通过将同一行人可见光与红外图像切块拼接并引入部件对齐与模态学习损失，缓解模态差异与不平衡问题，在VI-ReID任务上取得最优性能。
2024-04-30 cs.CV
Learning Dual-Fused Modality-Aware Representations for RGBD Tracking
Southern University of Science and Technology（南方科技大学）；University of Birmingham（伯明翰大学）；University of Electronic Science and Technology of China（电子科技大学）
随着近年来深度传感器的发展，RGBD目标跟踪受到了极大的关注。与传统的RGB目标跟踪方法相比，深度模态的加入可以有效地解决目标和背景的干扰。然而，一些现有的RGBD跟踪器单独使用这两种模态，因此忽略了它们之间的一些特别有用的共享信息。另一方面，有些方法试图将两种模态融合在一起，从而导致模态特征的缺失。为了解决这些限制，我们提出了一种新的双融合模态感知跟踪器（称为DMTracker），其目的是学习目标对象的信息和判别表示，以实现鲁棒的RGBD跟踪。第一个融合模块基于跨通道注意力提取通道间的共享信息。第二个目标是整合RGB特定和深度特定的信息，以增强融合的功能。通过融合模态共享和模态特定的信息在一个模态感知的计划，我们的DMTracker可以学习复杂的跟踪场景中的歧视性表示。实验表明，我们提出的跟踪器在具有挑战性的RGBD基准测试中取得了非常有前途的结果。
2022-11-15 cs.CV
Deep Cross-modality Adaptation via Semantics Preserving Adversarial Learning for Sketch-based 3D Shape Retrieval
由于2D草图和3D形状之间存在很大的跨模态差异，因此通过草图检索3D形状是一项非常具有挑战性的任务。为了解决这个问题，本文提出了一个新的框架来学习有区别的深度跨模态适应模型。具体来说，我们首先分别采用两个度量网络，然后是两个深度卷积神经网络（CNN），基于重要性感知度量学习方法学习特定于模态的判别特征。随后，我们显式地引入了一个跨模态转换网络来补偿两种模态之间的分歧，它可以将2D草图的特征转换到3D形状的特征空间。我们开发了一种基于对抗学习的方法来训练转换模型，通过同时增强两种模态的数据分布之间的整体相关性，并通过最小化跨模态平均差异项来减轻局部语义分歧。在SHREC 2013和SHREC 2014数据集上的实验结果清楚地表明，与最先进的方法相比，我们提出的模型具有更好的检索性能。
2018-07-04 cs.CV
BriMA: Bridged Modality Adaptation for Multi-Modal Continual Action Quality Assessment
Department of Psychological and Cognitive Sciences, 2 Department of Statistics and Data Science, Tsinghua University（1 心理学与认知科学系，2 统计学与数据科学系，清华大学）
BriMA通过桥接模态适应方法，在模态缺失条件下提升多模态持续动作质量评估的性能。
2026-02-22 cs.CV
UniMoCo: Unified Modality Completion for Robust Multi-Modal Embeddings
The Chinese University of Hong Kong, China（香港中文大学）；ChatEDA Tech（ChatEDA科技）；University of Texas at Austin, USA（德克萨斯大学奥斯汀分校）
本文提出 UniMoCo 视觉-语言架构，通过从文本生成视觉特征的模态补全模块及一致性训练策略，统一对齐多样查询-目标模态组合，提升多模态嵌入的鲁棒性并缓解训练数据偏差。
2025-05-17 cs.CV
AMM-Diff: Adaptive Multi-Modality Diffusion Network for Missing Modality Imputation
Quantif（Quantif机构）；University of Rouen-Normandy（鲁昂-诺曼底大学）；CLCC Henri Becquerel（亨利·贝克勒尔癌症中心）
针对临床中MR模态缺失影响脑肿瘤分割的问题，提出自适应多模态扩散网络AMM-Diff，通过图像-频率融合网络学习统一表示并结合自适应重建策略，在BraTS 2021上实现任意输入配置下的缺失模态补全。
2025-01-22 cs.CV
S2-Net: Self-supervision Guided Feature Representation Learning for Cross-Modality Images
结合多模态图像各自的优点，可以弥补单一模态图像信息的不足，因此多模态图像匹配问题越来越受到研究者的关注。同时，由于跨模态图像对之间存在很大的外观差异，往往无法使对应关系的特征表示尽可能接近。在这封信中，我们设计了一个跨模态特征表示学习网络，S2-Net，它是基于最近成功的检测和描述管道，最初提出的可见图像，但适用于跨模态图像对。为了解决随之而来的优化困难的问题，我们引入了自监督学习与一个精心设计的损失函数来指导训练，而不放弃原有的优势。这种新的策略模拟图像对在同一模态，这也是一个有用的指导跨模态图像的训练。值得注意的是，它不需要额外的数据，但显着提高了性能，甚至适用于检测和描述管道的所有方法。进行了大量的实验来评估我们提出的策略的性能，与手工制作和基于深度学习的方法相比。结果表明，我们的监督和自监督学习组合优化的优雅公式在RoadScene和RGB-NIR数据集上的表现优于最先进的技术。
2022-03-28 cs.CV
AnyAD: Unified Any-Modality Anomaly Detection in Incomplete Multi-Sequence MRI
School of Computer Science and Technology, Hangzhou Dianzi University（计算机科学与技术学院，杭州电子科技大学）；School of Biomedical Engineering, Tsinghua University（生物医学工程学院，清华大学）；HDU-ITMO Joint Institute, Hangzhou Dianzi University（杭州电子科技大学-ITMO联合研究所）；School of Artificial Intelligence and Robotics, Hunan University（人工智能与机器人学院，湖南大学）
AnyAD提出了一种统一的多模态MRI异常检测框架，通过双路径编码器和特征对齐机制实现任意模态下的稳健检测，实验表明其在多种模态组合中优于现有基线方法。
2025-12-24 cs.CV
Domain Private and Agnostic Feature for Modality Adaptive Face Recognition
Chongqing University（重庆大学）
异构人脸识别是一个具有挑战性的任务，由于大的模态差异和不足的跨模态样本。现有的研究主要集中在鉴别特征变换、度量学习和跨模态人脸合成等方面。然而，跨模态人脸总是由域（模态）和身份信息耦合的事实很少受到关注。因此，如何学习和利用领域私有特征和领域无关特征进行模态自适应人脸识别是本文研究的重点。具体而言，本文提出了一种特征聚合网络（FAN），它包括解纠缠表示模块（DRM），特征融合模块（FFM）和自适应惩罚度量（APM）学习会话。首先，在DRM中，专门设计了两个子网，即域专用网络和域无关网络，分别用于学习模态特征和身份特征。其次，在FFM中，将身份特征与领域特征相融合，实现跨模态的双向身份特征变换，在很大程度上进一步理清了模态信息和身份信息。第三，考虑到跨模态数据集中存在的分布不平衡，这增加了模型偏差的风险，在我们的FAN中提出了自适应硬对惩罚的身份保持引导度量学习。提出的APM还保证了跨模态的类内紧凑性和类间分离。在基准跨模态人脸数据集上的大量实验表明，我们的FAN优于SOTA方法。
2020-08-10 cs.CV
Cross-Modal Object Tracking via Modality-Aware Fusion Network and A Large-Scale Dataset
Anhui University（安徽大学）
针对RGB与近红外跨模态跟踪中缺乏模态切换信号的问题，提出MAFNet自适应融合网络，并构建大规模数据集，实验验证其达到最先进性能。
2023-12-22 cs.CV
Cross-Modality Perturbation Synergy Attack for Person Re-identification
Xiamen University（厦门大学）；Hefei University of Technology（合肥工业大学）
该研究首次探索跨模态行人重识别模型的安全性，提出一种利用多模态梯度优化、破坏判别器并强化模态差异的通用扰动协同攻击方法，在三个主流跨模态数据集上验证了有效性，为提升系统鲁棒性提供参考。
2025-03-21 cs.CV
CKDA: Cross-modality Knowledge Disentanglement and Alignment for Visible-Infrared Lifelong Person Re-identification
Zhenyu Cui, Jiahuan Zhou, Yuxin Peng（作者）
针对可见光-红外终身行人重识别中模态知识干扰问题，提出CKDA方法，通过解耦对齐模态知识缓解灾难性遗忘，在四个基准数据集上验证了有效性与优越性。
2025-11-19 cs.CV
Multi-Modality Distillation via Learning the teacher's modality-level Gram Matrix
Yunnan University（云南大学）
本文提出通过学习教师模态级格雷矩阵来改进多模态知识蒸馏，旨在使学生网络更深入理解教师网络的模态关系信息。
2026-05-07 cs.AI cs.CV
