TS-Net: Combining modality specific and common features for multimodal patch matching
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；ENSICAEN（卡昂国立高等工程师学院）；CNRS -- UMR GREYC（法国国家科学研究中心——GREYC联合研究单位）
多模态块匹配解决了从两种不同模态（例如RGB与草图或RGB与近红外）找到图像块之间的对应关系的问题。不同模态的斑块的比较可以通过发现两种模态共同的信息（类暹罗方法）或模态特定的信息（类伪暹罗方法）来完成。我们观察到，这两种情况都不是最佳的。这促使我们提出一个三流架构，称为TS-Net，结合两者的优点。此外，我们还证明了在这种网络的中间层中添加额外的约束可以进一步提高性能。在三个多模态数据集上的实验表明，与暹罗和伪暹罗网络相比，性能有显着提高。
2018-06-05 cs.CV
Dual Attention Networks for Multimodal Reasoning and Matching
Search Solutions Inc.（Search Solutions公司）；NAVER Corp.（NAVER公司）；NAVER LABS Corp.（NAVER LABS公司）
我们提出了双注意力网络（DAN），它联合利用视觉和文本注意力机制来捕捉视觉和语言之间的细粒度相互作用。DAN通过多个步骤关注图像中的特定区域和文本中的文字，并从这两种模式中收集必要的信息。基于这个框架，我们介绍了两种类型的DAN的多模态推理和匹配，分别。该推理模型允许视觉和文本注意力在协作推理过程中相互引导，这对于诸如视觉问答（VQA）之类的任务是有用的。此外，匹配模型利用这两种注意力机制，通过关注图像和句子之间的共享语义来估计它们之间的相似性。我们广泛的实验验证了DAN在结合视觉和语言方面的有效性，在VQA和图像-文本匹配的公共基准测试中实现了最先进的性能。
2017-03-21 cs.CV
DistillMatch: Leveraging Knowledge Distillation from Vision Foundation Model for Multimodal Image Matching
DistillMatch通过从视觉基础模型DINOv2/DINOv3蒸馏语义特征、注入模态类别信息并利用V2I-GAN生成伪红外图像增强数据，提升了多模态图像匹配的泛化性与精度。
2025-09-19 cs.CV
MMTSA: Multimodal Temporal Segment Attention Network for Efficient Human Activity Recognition
Tsinghua University（清华大学）；Qinghai University（青海大学）；University of Virginia（弗吉尼亚大学）；University of Washington（华盛顿大学）
本文提出MMTSA网络，通过GAF图像变换、多模态稀疏采样和片段间注意力融合RGB与IMU数据，在MMAct数据集上实现11.13%的F1提升，并在边缘设备上兼顾高精度与低延迟。
2023-10-11 cs.CV cs.LG
Joint detection and matching of feature points in multimodal images
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Bar Ilan University（巴伊兰大学）
在这项工作中，我们提出了一种新的卷积神经网络（CNN）架构的联合检测和匹配的图像中的特征点，由不同的传感器使用一个单一的前向通过。与经典方法（SIFT等）相比，所得到的特征检测器与特征描述符紧密耦合，其中检测阶段在计算描述符之前并且不同于计算描述符。我们的方法利用两个CNN子网络，第一个是连体CNN，第二个，由双非权重共享CNN。这允许多模态图像块中的联合和不联合线索的同时处理和融合。实验表明，所提出的方法优于当代国家的最先进的计划时，应用到多个数据集的多模态图像。它还表明，提供可重复的特征点检测跨多传感器图像，优于国家的最先进的检测器。据我们所知，这是第一个统一的方法来检测和匹配这样的图像。
2021-06-16 cs.CV
Multimodal Continuous Visual Attention Mechanisms
Instituto de Telecomunicações（电信研究所）；Instituto Superior Técnico（高等技术学院）；LUMLIS (Lisbon ELLIS Unit)（LUMLIS（里斯本ELLIS单元））；Unbabel（Unbabel公司）；Instituto de Sistemas e Robótica（系统与机器人研究所）
视觉注意力机制是计算机视觉神经网络模型的关键组成部分。通过关注一组离散的对象或图像区域，这些机制识别出最相关的特征，并使用它们来构建更强大的表示。最近，连续域替代离散注意力模型已被提出，利用图像的连续性。这些方法将注意力建模为简单的单峰密度（例如高斯密度），使得它们不太适合处理感兴趣区域具有复杂形状或由多个非连续补丁组成的图像。在本文中，我们介绍了一种新的连续注意力机制，产生多峰密度，在高斯的混合物的形式。我们使用EM算法来获得图像中相关区域的聚类，并使用描述长度惩罚来选择混合物中的组件数量。我们的密度分解为单峰注意力机制的线性组合，使封闭形式的雅可比矩阵的反向传播步骤。在VQA-v2数据集中进行的视觉问答实验显示了竞争性的准确性，并选择了在VQA-HAT中更接近人类注意力的区域。我们提出了几个例子，表明多模态注意力地图是如何自然地比他们的单峰同行更可解释的，显示我们的模型的能力，自动隔离物体从地面在复杂的场景。
2021-04-07 cs.CV cs.LG
Instance-aware Image and Sentence Matching with Selective Multimodal LSTM
National Laboratory of Pattern Recognition（模式识别国家重点实验室）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
有效的图像和句子匹配取决于如何很好地衡量它们的全局视觉语义相似性。基于观察到这种全局相似性来自图像（对象）和句子（单词）的成对实例之间的多个局部相似性的复杂聚合，我们提出了一种选择性多模态长短期记忆网络（sm-LSTM），用于实例感知的图像和句子匹配。sm-LSTM在每个时间步都包含一个多模态上下文调制注意力方案，通过预测图像和句子的成对实例感知显着性图，可以选择性地关注图像和句子的一对实例。对于选定的成对实例，基于预测的显著性图获得它们的表示，然后进行比较以测量它们的局部相似性。通过在几个时间步内类似地测量多个局部相似性，sm-LSTM顺序地将它们与隐藏状态聚合，以获得最终匹配分数作为所需的全局相似性。实验结果表明，该模型能够很好地匹配复杂内容的图像和句子，并在两个公共基准数据集上取得了较好的效果。
2016-11-17 cs.CV
Best of Both Worlds: Multimodal Reasoning and Generation via Unified Discrete Flow Matching
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究）；Sony Research, India（索尼印度研究）；Indian Institute of Technology, Roorkee（印度理工学院罗尔基分校）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出UniDFlow框架，通过任务特定低秩适配器解耦理解与生成，并利用基于参考的多模态偏好对齐优化忠实性与可控性，在多个基准上达到最先进性能。
2026-06-02 cs.CV
MANGO: Multimodal Attention-based Normalizing Flow Approach to Fusion Learning
CVIU Lab, University of Arkansas, USA（大学实验室，亚利桑那大学，美国）；University of Florida, USA（佛罗里达大学，美国）；COSMOS Research Center, University of Arkansas, Little Rock, USA（研究机构，亚利桑那大学，小石城，美国）；ICSI, University of California, Berkeley, USA（研究机构，加州大学伯克利分校，美国）
MANGO提出了一种基于归一化流和可逆交叉注意力机制的多模态融合学习方法，通过三种新型交叉注意力机制提升多模态数据的建模能力。
2025-11-25 cs.CV
MIFNet: Learning Modality-Invariant Features for Generalizable Multimodal Image Matching
National Engineering Research Center for Multimedia Software（多媒体软件国家工程研究中心）；Institute of Artificial Intelligence（人工智能研究院）；School of Computer Science（计算机科学学院）；Hubei Key Laboratory of Multimedia and Network Communication Engineering（湖北省多媒体与网络通信工程重点实验室）；Lee Kong Chian School of Medicine（李光耀医学院）；Nanyang Technological University（南洋理工大学）；Ningbo Institute of Materials Technology and Engineering（宁波材料技术与工程研究所）；Chinese Academy of Sciences（中国科学院）；Institute for Infocomm Research (I 2 R)（信息与通信研究所以（I 2 R））；Agency for Science, Technology and Research (A*STAR)（科技研究局（A*STAR））
提出MIFNet，利用Stable Diffusion预训练特征和两种聚合模块，仅用单模态数据学习模态不变描述符，实现多模态图像匹配的零样本泛化。
2025-06-24 cs.CV
Advanced Multimodal Deep Learning Architecture for Image-Text Matching
Stony Brook University（石溪大学）；Stanford University（斯坦福大学）；New York University（纽约大学）；Northeastern University（东北大学）；Southern Methodist University（南卫理公会大学）
本研究针对现有图像-文本匹配模型的局限，提出融合视觉与文本建模优势、结合新型跨模态注意力与分层融合策略的多模态深度学习架构，经训练优化后在基准及开放场景数据集上实现性能、泛化性与鲁棒性的提升。
2024-06-13 cs.CL cs.CV cs.LG
Fast and Robust Matching for Multimodal Remote Sensing Image Registration
Southwest Jiaotong University（西南交通大学）；University of Trento（特伦托大学）；Purdue University（普渡大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
虽然图像配准已经在遥感界研究了几十年，但配准多模态数据[例如，光学、LiDAR、SAR和地图]仍然是一个具有挑战性的问题，因为这些数据之间存在显著的非线性强度差异。为了解决这个问题，本文提出了一种快速、鲁棒的匹配框架，该框架集成了用于多模式配准的局部描述符。在所提出的框架中，一个局部描述符，如直方图的方向梯度（HOG），局部自相似性（LSS），或加速鲁棒特征（SURF），首先提取在每个像素，形成一个逐像素的特征表示的图像。然后，我们定义了一个相似性度量的基础上的特征表示在频域中使用的三维快速傅立叶变换（3DFFT）技术，其次是一个模板匹配方案来检测图像之间的控制点。在这个过程中，我们还提出了一种新的像素级的特征表示使用定向梯度的图像，这是命名为通道功能的定向梯度（CFOG）。该特征是逐像素HOG描述符的扩展，在匹配性能和计算效率方面都优于逐像素HOG描述符。所提出的框架的主要优点包括：（1）结构相似性表示使用逐像素的特征描述和（2）由于使用3DFFT的高计算效率。在不同类型的多模态图像上的实验结果表明，该框架的匹配性能优于现有的匹配方法，并已应用于某上市公司的软件产品中。matlab代码可以在这份手稿中找到。
2021-03-31 cs.CV
GC-GAT: Multimodal Vehicular Trajectory Prediction using Graph Goal Conditioning and Cross-context Attention
本文提出GC-GAT模型，基于车道图预测目标提议，结合跨上下文注意力，在nuScenes数据集上实现最先进的车辆轨迹预测。
2025-07-08 cs.CV cs.LG
Hyper-ICL: Attention Calibration with Hyperbolic Anchor Distillation for Multimodal In-Context Learning
University of California, Berkeley（加州大学伯克利分校）
提出Hyper-ICL，一种轻量级训练框架，通过低秩logit适配器和双曲锚点蒸馏损失校准注意力分布，无需推理时提供上下文示例即可重建演示效果，提升多模态上下文学习的准确性和稳定性。
2026-06-03 cs.CV cs.LG
Multimodal Convolutional Neural Networks for Matching Image and Sentence
Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）
在本文中，我们提出了多模态卷积神经网络（m-CNN）的图像和句子匹配。我们的m-CNN提供了一个具有卷积架构的端到端框架，以利用图像表示，单词组成以及两种模式之间的匹配关系。更具体地说，它由一个图像CNN编码图像内容，和一个匹配CNN学习图像和句子的联合表示。匹配的CNN将词组合成不同的语义片段，并学习图像与不同层次的语义片段之间的模态间关系，从而充分利用图像与句子之间的匹配关系。在双向图像和句子检索的基准数据库上的实验结果表明，所提出的m-CNN可以有效地捕获图像和句子匹配所需的信息。具体来说，我们提出的m-CNN在Flickr 30 K和Microsoft COCO数据库上进行双向图像和句子检索，达到了最先进的性能。
2015-08-29 cs.CL cs.CV cs.NE
MATT: Multimodal Attention Level Estimation for e-learning Platforms
Autonomous University of Madrid（马德里自治大学）
本文提出了一种基于多模态人脸分析的远程注意水平估计系统。我们的多模态方法使用从行为和生理过程获得的不同参数和信号，这些行为和生理过程与建模认知负荷有关，例如面部姿势（例如，眨眼率，面部动作单元）和用户动作（例如，头部姿势、到相机的距离）。多模态系统使用基于卷积神经网络（CNN）的以下模块：眨眼检测、头部姿势估计、面部标志检测和面部表情特征。首先，我们单独评估建议的模块，估计学生的注意力水平在线电子学习课程期间捕获的任务。为此，我们为每个模块训练了基于支持向量机（SVM）的二进制分类器（高或低关注度）。其次，我们发现在多大程度上多模态分数水平融合提高了注意力水平估计。mEBAL数据库中使用的实验框架中，一个公共的多模态数据库的注意力水平估计中获得的电子学习环境，包含来自38个用户的数据，同时进行几个电子学习任务的可变难度（创建学生认知负荷的变化）。
2023-01-22 cs.CV cs.HC cs.LG
MapGlue: Multimodal Remote Sensing Image Matching
针对多模态遥感图像匹配的模态差异难题与数据集短缺问题，本文提出双图引导的MapGlue匹配框架与大规模MapData数据集，实现了更优的匹配精度与跨模态泛化能力。
2025-03-20 cs.CV
Multi-level Matching Network for Multimodal Entity Linking
School of Computer；Information Technology Shanxi University Taiyuan China；School of Computer Science；Informatics Cardiff University Cardiff UK；ILCC, School of Informatics University of Edinburgh Edinburgh UK；Information Technology Shanxi University；Informatics Cardiff University；ILCC, School of Informatics University of Edinburgh
针对多模态实体链接中忽略同模态负样本和缺乏双向跨模态交互的问题，提出多级匹配网络M3EL，通过模态内对比学习、两级模态内匹配和双向跨模态匹配，在三个数据集上取得最优性能。
2024-12-11 cs.AI cs.CV
Large Scale Multimodal Classification Using an Ensemble of Transformer Models and Co-Attention
Palo Alto Research Center（帕洛阿尔托研究中心）
准确和高效的产品分类对于电子商务应用非常重要，因为它可以实现各种下游任务，如推荐，检索和定价。项目通常包含文本和视觉信息，并且利用这两种模式通常优于单独使用任何一种模式的分类。在本文中，我们描述了我们的方法和结果的SIGIR电子商务乐天数据挑战。我们采用双重注意力技术，使用预训练的语言和图像嵌入来建模图像-文本关系。虽然双重注意已被广泛用于视觉问答（VQA）任务，我们是第一次尝试应用多模态分类的概念。
2020-11-23 cs.AI cs.CV cs.LG
Multimodal Alignment of Histopathological Images Using Cell Segmentation and Point Set Matching for Integrative Cancer Analysis
Mayo Clinic（梅奥诊所）
本文提出一种结合细胞分割、相干点漂移和图匹配的组织病理图像多模态对齐框架，在卵巢癌组织微阵列上实现高精度细胞级对齐，并支持从MxIF生成虚拟H&E图像以辅助癌症整合分析。
2024-09-30 cs.CV cs.LG eess.IV
Multimodal Transformer With a Low-Computational-Cost Guarantee
KAIST（韩国科学技术院）
本文提出低成本多模态Transformer（LoCoMT），通过为不同注意力头分配不同多模态注意力模式，在保证理论低计算成本的同时，在Audioset和MedVidCL上匹配或超越现有模型。
2024-02-23 cs.CV cs.LG cs.MM
ReMatch: Boosting Representation through Matching for Multimodal Retrieval
University of Glasgow（格拉斯哥大学）；Xiaohongshu Inc.（小红书公司）；Huazhong University of Science and Technology（华中科技大学）
ReMatch通过生成匹配阶段提升多模态检索的表示能力，利用端到端训练和细粒度嵌入生成，在MMEB基准上取得新突破。
2025-11-26 cs.CV
RIFT2: Speeding-up RIFT with A New Rotation-Invariance Technique
多模态图像匹配是多光谱图像信息融合的重要前提。与传统的匹配问题相比，多模态特征匹配由于存在严重的非线性辐射失真（NRD）而更具挑战性。辐射变化不敏感特征变换（RIFT）\cite{li2019rift}对NRD具有很好的鲁棒性，已成为多模态特征匹配的基础方法。然而，旋转不变性的高计算成本在很大程度上限制了它在实际中的使用。在本文中，我们提出了一种改进的RIFT方法，称为RIFT 2。提出了一种新的基于主导指标值的旋转不变性技术，避免了卷积序列环的构造过程。因此，它可以加快运行时间，并在理论上将原始RIFT的内存消耗减少近3倍。大量的实验表明，RIFT2实现了类似的匹配性能，RIFT，而更快，具有更少的内存消耗。源代码将在\url{https://github.com/LJY-RS/RIFT2-multimodal-matching-rotation}中公开提供
2023-03-01 cs.CV
Granular Multimodal Attention Networks for Visual Dialog
Indian Institute of Technology, Kanpur（印度理工学院坎普尔分校）
视觉和语言任务从注意力中受益。已经提出了许多不同的注意力模型。然而，需要给予多大程度的关注还没有得到很好的审查。特别是，在这项工作中，我们提出了一种新的方法颗粒多模态注意力，我们的目标是特别解决的问题，在解决视觉对话任务时，需要参加的正确的粒度。所提出的方法在图像和文本注意力网络方面都有改进。然后，我们提出了一个颗粒多模态注意力网络，共同出席的图像和文本颗粒，并显示出最佳的性能。通过这项工作，我们观察到，获得颗粒注意力和进行详尽的多模态注意力似乎是解决视觉对话的最佳方式。
2019-10-13 cs.CL cs.CV cs.LG
Multimodal Image Matching based on Frequency-domain Information of Local Energy Response
School of Automation, China University of Geosciences（中国地质大学自动化学院）；Hubei Key Laboratory of Advanced Control（湖北省先进控制重点实验室）；Engineering Research Center of Intelligent Technology for Geo-Exploration, Ministry of Education（教育部智能地学探测技术工程研究中心）；Faculty of Engineering, China University of Geosciences（中国地质大学工程学院）；Electronic Information School, Wuhan University（武汉大学电子信息学院）
针对多模态图像匹配中的非线性强度差异、几何畸变、噪声和旋转等挑战，提出基于局部能量响应频域信息的FILER方法，通过新检测器和描述子提升鲁棒性，实验验证其优越性。
2025-03-26 cs.CV
MAST: Multimodal Abstractive Summarization with Trimodal Hierarchical Attention
IIIT Hyderabad（印度国际信息技术研究所海得拉巴分校）；New York University（纽约大学）
本文提出了MAST，一个新的模型，多模态抽象文本摘要，利用所有三种形式的信息-文本，音频和视频-在多模态视频。以前的工作多模态摘要文本摘要只利用信息的文本和视频模态。我们研究的有用性和挑战，从音频模态派生的信息，并提出了一个序列到序列的三模态分层注意力为基础的模型，克服了这些挑战，让模型更加关注的文本模态。MAST在多模态语言理解的How2数据集上的内容F1得分和Rouge-L得分方面优于当前最先进的模型（视频-文本）2.51分和1.00分。
2020-10-15 cs.CL cs.CV cs.LG
Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes for Medical Image Super-Resolution
University of Bucharest（布加勒斯特大学）；“Carol Davila” University of Medicine and Pharmacy（“卡罗尔·达维拉”医药大学）；Colţea Hospital（科尔察医院）；University Politehnica of Bucharest（布加勒斯特理工大学）；MBZ University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Linköping University（林雪平大学）
超分辨率医学图像可以帮助医生提供更准确的诊断。在许多情况下，计算机断层扫描（CT）或磁共振成像（MRI）技术在单个调查期间捕获多个扫描（模式），这些扫描可以联合使用（以多模式方式）以进一步提高超分辨率结果的质量。为此，我们提出了一种新的多模式多头卷积注意力模块，以超分辨率CT和MRI扫描。我们的注意力模块使用卷积运算对多个级联输入张量执行联合空间通道注意力，其中内核（感受野）大小控制空间注意力的减少率，卷积滤波器的数量分别控制通道注意力的减少率。我们引入多个注意头，每个头有一个不同的感受野大小对应于一个特定的减少率的空间注意。我们将多模式多头卷积注意力（MMHCA）集成到两个深度神经架构中以实现超分辨率，并在三个数据集上进行实验。我们的实证结果表明，我们的注意力模块的优越性超过国家的最先进的注意力机制中使用的超分辨率。此外，我们进行了一项消融研究，以评估我们的注意力模块中涉及的组件的影响，例如输入的数量或头部的数量。我们的代码可以在https://github.com/lilygeorgescu/MHCA上免费获得。
2022-10-12 cs.CV cs.LG eess.IV
Multimodal Unified Attention Networks for Vision-and-Language Interactions
Hangzhou Dianzi University（杭州电子科技大学）；The University of Sydney（悉尼大学）；Huawei（华为）
学习多模态数据的有效注意力机制在许多视觉和语言任务中非常重要，这些任务需要对视觉和文本内容进行协同理解。现有的最先进的方法使用共同注意模型来关联每个视觉对象（例如，图像区域）与每个文本对象（例如，查询字）。尽管这些共同注意力模型取得了成功，但它们只对通道间的相互作用进行建模，而忽略了通道内的相互作用。在这里，我们提出了一个通用的“统一注意力”模型，同时捕捉内和跨模态的多模态功能的相互作用，并输出相应的出席表示。通过对这些统一注意块进行深度叠加，我们得到了深度多模态统一注意网络（MUAN），它可以无缝地应用于视觉问答（VQA）和视觉基础任务。我们在两个VQA数据集和三个视觉基础数据集上评估了我们的MUAN模型，结果表明MUAN在这两个任务上都达到了顶级的性能。
2019-08-19 cs.CV
Instruction-augmented Multimodal Alignment for Image-Text and Element Matching
Wuhan University（武汉大学）；WeChat（微信）
针对文本到图像生成模型的图文语义对齐评估难题，本文提出iMatch方法，通过微调多模态大型语言模型并引入四种增强策略，实现细粒度评估，显著优于现有方法且获CVPR NTIRE 2025相关赛道第一名。
2025-04-16 cs.CV
Multimodal Distribution Matching for Vision-Language Dataset Distillation
Visual Intelligence Lab., KAIST（韩国科学技术院视觉智能实验室）
提出多模态分布匹配（MDM）框架，通过数据、模型和损失层面的几何感知组件，高效压缩视觉-语言数据集并保持跨模态对齐。
2026-05-22 cs.AI cs.CV
Radiation, Rotation and Scale Invariant Feature Descriptor for Multimodal Image Matching
Southwest Jiaotong University（西南交通大学）；Wuhan University（武汉大学）
提出RRSI特征描述符，通过双头区域采样和联合编码几何辐射关系，结合双向跨模态生成重建约束，实现多模态图像匹配，支持全旋转和四倍尺度变化。
2026-09-09 cs.CV
On The Application of Linear Attention in Multimodal Transformers
University of Maryland（马里兰大学）；Johns Hopkins University（约翰霍普金斯大学）
本文研究了线性注意力在多模态框架中的应用，通过减少计算开销并保持性能，证明了线性注意力在多模态Transformer中的有效性。
2026-04-11 cs.CV
Unsupervised vs. transfer learning for multimodal one-shot matching of speech and images
Stellenbosch University（斯泰伦博斯大学）
我们考虑多模式一次性语音图像匹配的任务。代理人被展示一张图片以及描述图片中对象的口语单词，例如饼干，花椰菜和冰淇淋。在观察每个类的一个配对的语音图像的例子，它被显示了一组新的看不见的图片，并要求选择“冰淇淋”。以前的工作试图使用迁移学习来解决这个问题：监督模型在不包含任何一次性类的标记背景数据上进行训练。在这里，我们将迁移学习与在未标记的域内数据上训练的无监督模型进行了比较。在一个成对的孤立的口语和视觉数字的数据集上，我们专门比较了无监督的自动编码器模型与监督分类器和暹罗神经网络。在单峰和多峰Few-Shot匹配实验中，我们发现迁移学习优于无监督训练。我们还提出了将这两种方法相结合的实验，但发现迁移学习仍然表现最好（尽管理想化的实验显示了无监督学习的好处）。
2020-08-14 cs.CL cs.CV cs.SD
Multimodal Attention-based Deep Learning for Alzheimer's Disease Diagnosis
Brown University（布朗大学）
阿尔茨海默病（AD）是最常见的神经退行性疾病，具有最复杂的发病机制之一，使得有效和临床可操作的决策支持变得困难。本研究的目的是开发一种新的多模态深度学习框架，以帮助医疗专业人员进行AD诊断。我们提出了一个多模式阿尔茨海默病诊断框架（MADDi），以准确地检测AD和轻度认知障碍（MCI）的存在，从成像，遗传和临床数据。MADDi是新颖的，因为我们使用跨模态注意力，它捕捉模态之间的相互作用-这是一种以前在这个领域没有探索过的方法。我们进行多类分类，一个具有挑战性的任务，考虑到MCI和AD之间的强相似性。我们与以前的国家的最先进的模型进行比较，评估注意力的重要性，并检查每个模态的模型的性能的贡献。MADDi分类MCI，AD和对照组，在保持测试集上的准确率为96.88%。当检查不同注意力方案的贡献时，我们发现跨模态注意力与自我注意力的组合表现最好，模型中没有注意力层的表现最差，F1得分差异为7.9%。我们的实验强调了结构化临床数据的重要性，以帮助机器学习模型情境化和解释剩余的模态。广泛的消融研究表明，任何多模式的输入功能的混合物，而不访问结构化的临床信息遭受显着的性能损失。本研究证明了通过跨模态注意力结合多种输入模态以提供高度准确的AD诊断决策支持的优点。
2022-09-23 cs.CV cs.LG eess.IV
Multimodal Semantic Attention Network for Video Captioning
University of Science and Technology of China（中国科学技术大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
受视频中不同模态携带互补信息这一事实的启发，我们提出了多模态语义注意网络（MSAN），这是一种新的编码器-解码器框架，将多模态语义属性用于视频描述。在编码阶段，我们检测和生成多模态语义属性，制定它作为一个多标签分类问题。此外，我们增加了辅助分类损失，我们的模型，可以获得更有效的视觉特征和高层次的多模态语义属性分布足够的视频编码。在解码阶段，我们将传统LSTM的每个权重矩阵扩展为属性相关权重矩阵的集合，并采用注意力机制在字幕过程的每个时间点关注不同的属性。我们在两个流行的公共基准上评估算法：MSVD和MSR-VTT，在六个评估指标上与当前最先进的算法取得了竞争结果。
2019-05-08 cs.CV
Heterogeneous Memory Enhanced Multimodal Attention Model for Video Question Answering
JD Digits（京东数科）
本文提出了一种新的端到端可训练的视频问答（VideoQA）框架，该框架由三个主要部分组成：1）一个新的异构存储器，可以有效地从外观和运动特征中学习全局上下文信息; 2）一个重新设计的问题存储器，可以帮助理解问题的复杂语义并突出查询主题;以及3）新的多模态融合层，其通过利用自更新注意力关注相关视觉和文本提示来执行多步推理。我们的VideoQA模型首先生成全局上下文感知的视觉和文本特征，分别通过当前输入与记忆内容的相互作用。在此基础上，对多模态视觉表征和文本表征进行注意融合，从而推断出正确答案。可以进行多个推理循环以迭代地细化多模态数据的注意力权重并改进QA对的最终表示。实验结果表明，我们的方法实现了国家的最先进的性能在四个VideoQA基准数据集。
2019-04-08 cs.CV
Multimodal Spatial Attention Module for Targeting Multimodal PET-CT Lung Tumor Segmentation
The University of Sydney（悉尼大学）
多模式正电子发射断层扫描-计算机断层扫描（PET-CT）通常用于评估癌症。PET-CT将肿瘤检测的高灵敏度与PET和来自CT的解剖信息相结合。肿瘤分割是PET-CT的一个关键环节，但目前还没有一种准确的自动分割方法。分割往往是由不同的成像专家手动完成，它是劳动密集型的，容易出现错误和不一致。以前的自动分割方法主要集中在融合从PET和CT模态中单独提取的信息，基本假设每个模态包含互补信息。然而，这些方法没有充分利用可以引导分割的高PET肿瘤灵敏度。我们引入了一个多模态空间注意模块（MSAM），它可以自动学习强调与肿瘤相关的区域（空间区域），并抑制具有生理高摄取的正常区域。随后采用所得到的空间注意力图来靶向卷积神经网络（CNN），以分割具有较高肿瘤可能性的区域。我们的MSAM可以应用于常见的骨干网架构和端到端培训。我们在非小细胞肺癌（NSCLC）和软组织肉瘤（STS）的两个临床PET-CT数据集上的实验结果验证了MSAM在这些不同癌症类型中的有效性。我们表明，我们的MSAM，与传统的U-网骨干，超过了国家的最先进的肺肿瘤分割方法的7.6%的保证金骰子相似系数（DSC）。
2020-08-06 cs.CV cs.LG eess.IV
Self-Supervised Learning for Multimodal Non-Rigid 3D Shape Matching
University of Bonn（波恩大学）
3D形状的匹配已经被广泛地研究用于表示为表面网格的形状以及表示为点云的形状。虽然点云是原始真实世界3D数据（例如来自激光扫描仪）的常见表示，但网格编码丰富且富有表现力的拓扑信息，但它们的创建通常需要某种形式的（通常是手动的）管理。反过来，纯粹依赖于点云的方法无法满足利用附加拓扑结构的基于网格的方法的匹配质量。在这项工作中，我们通过引入一种自监督的多模态学习策略来缩小这一差距，该策略将基于网格的功能图正则化与耦合网格和点云数据的对比损失相结合。我们的形状匹配方法允许获得三角形网格，完整的点云和部分观察到的点云，以及在这些数据模式的对应关系的模内对应。我们证明，即使与最近的监督方法相比，我们的方法在几个具有挑战性的基准数据集上也取得了最先进的结果，并且我们的方法达到了以前从未见过的跨数据集泛化能力。
2023-03-20 cs.AI cs.CG cs.CV
GoalFlow: Goal-Driven Flow Matching for Multimodal Trajectories Generation in End-to-End Autonomous Driving
School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Horizon Robotics；Nanjing University（南京大学）；Huazhong University of Science & Technology（华中科技大学）；Shanghai AI Laboratory（上海人工智能实验室）
针对自动驾驶多模态轨迹生成中轨迹发散、选择复杂等问题，提出目标驱动的GoalFlow方法，通过目标点约束、流匹配生成及评分选优，在Navsim上取得SOTA性能，单步去噪即可实现优异效果。
2025-10-01 cs.CV
Multimodal Integration of Human-Like Attention in Visual Question Answering
University of Stuttgart（斯图加特大学）；German Research Center for Artificial Intelligence（德国人工智能研究中心）
MULAN通过整合文本和图像显著性模型的注意预测，提升了VQA模型的性能，同时减少参数数量，达到新的准确率水平。
2021-09-27 cs.CL cs.CV
Decoupling the Role of Data, Attention, and Losses in Multimodal Transformers
DeepMind（深度思维）
最近，多模态Transformer模型得到了普及，因为它们在语言和视觉任务上的表现表明它们学习了丰富的视觉语言表征。针对zero-shot图像检索任务，我们研究了影响学习表征质量的三个重要因素：预训练数据、注意力机制和损失函数。通过在六个数据集上对模型进行预训练，我们观察到数据集噪声和语言与下游任务的相似性是模型性能的重要指标。通过架构分析，我们了解到具有多模态注意力机制的模型可以优于具有模态特定注意力机制的更深模型。最后，我们表明，成功的对比损失中使用的自监督学习文献不产生类似的性能增益时，用于多模态Transformers
2021-01-31 cs.CL cs.CV
Finger Multimodal Feature Fusion and Recognition Based on Channel Spatial Attention
Nanjing University of Posts and Telecommunications（南京邮电大学）
由于单模态生物识别系统的不稳定性和局限性，多模态系统越来越受到研究者的关注。然而，如何利用不同模态之间的独立和互补信息仍然是一个关键和具有挑战性的问题。本文提出了一种基于指纹和手指静脉的多模态生物特征融合识别算法（Fingerprint Finger Veins-Channel Spatial Attention Fusion Module，FPV-CSAFM）。具体来说，对于每一对指纹和手指静脉图像，我们首先提出了一个简单而有效的卷积神经网络（CNN）来提取特征。然后，我们建立了一个多模态特征融合模块（通道空间注意力融合模块，CSAFM），充分融合指纹和手指静脉之间的互补信息。与现有的融合策略不同，该融合方法可以根据不同模态在信道和空间维度上的重要性动态调整融合权重，从而更好地融合不同模态之间的信息，提高整体识别性能。为了评估我们的方法的性能，我们在多个公共数据集上进行了一系列实验。实验结果表明，该算法在基于指纹和手指静脉的三种多模态数据集上均取得了良好的识别性能。
2022-09-06 cs.CV
EntityCLIP: Entity-Centric Image-Text Matching via Multimodal Attentive Contrastive Learning
Hefei University of Technology（合肥工业大学）；CSRIO（联邦科学与工业研究组织）；Northwestern Polytechnical University（西北工业大学）
本文提出EntityCLIP，通过LLM生成解释文本并结合多模态注意力专家模块与门控整合匹配策略，显著缩小实体中心图文语义鸿沟，在三个新闻基准上取得领先性能。
2025-04-10 cs.CV
DanHAR: Dual Attention Network For Multimodal Human Activity Recognition Using Wearable Sensors
Nanjing Normal University（南京师范大学）；Nanjing University of Information Science and Technology（南京信息工程大学）；Yunnan University（云南大学）
普适计算中的人类活动识别（HAR）已经开始将注意力纳入深度神经网络（DNN）的上下文中，其中来自多模态传感器（诸如加速度计和陀螺仪）的丰富感测数据被用于推断人类活动。近年来，结合GRU（Gated Recurrent Units）和长短期记忆（Long Short-Term Memory，LSTM）网络提出了两种注意力方法，可以同时捕获感知信号在空间和时间域的依赖关系。然而，与卷积神经网络（CNN）相比，递归网络通常具有表示功率的弱特征。另一方面，两个注意力，即，通过与CNN相结合，将硬注意和软注意应用于时域，其更加关注来自长序列的目标活动。但是，他们只能告诉我们应该关注哪里，错过了渠道信息，而渠道信息在决定关注什么方面起着重要作用。因此，与基于注意力的GRU或LSTM相比，它们无法解决多模态传感信号的时空依赖性。在本文中，我们提出了一种新的双重注意力方法称为DanHAR，它引入了混合通道注意力和时间注意力的框架上的CNN，在提高多模态HAR的可理解性的优势。在四个公共HAR数据集和弱标记数据集上的大量实验表明，DanHAR实现了最先进的性能，参数开销可以忽略不计。此外，可视化分析表明，我们的注意力可以放大更重要的传感器模态和分类过程中的时间步长，这与人类的共同直觉是一致的。
2021-07-21 cs.CV
Attention Misses Visual Risk: Risk-Adaptive Steering for Multimodal Safety Alignment
Seoul National University（首尔大学）；KU Leuven（鲁汶大学）
本文提出MoRAS，通过简洁的视觉上下文增强关键安全区域的视觉注意力，以实现多模态安全对齐，减少推理开销并提升泛化能力。
2026-07-15 cs.CV
RAVE: Re-Allocating Visual Attention in Large Multimodal Models
Qwen Business Unit of Alibaba（阿里巴巴文勤业务部）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Beijing Institute of Technology（北京理工大学）
针对大型多模态模型中标准注意力机制存在的跨模态误分配和视觉内不平衡问题，提出轻量级成对门控机制RAVE，通过学习查询-键偏置重新分配视觉注意力，在多个多模态基准上平均提升3个百分点，尤其对感知密集型任务效果显著。
2026-09-21 cs.CV
Beyond Image-Text Matching: Verb Understanding in Multimodal Transformers Using Guided Masking
Faculty of Information Technology, Brno University of Technology（布尔诺理工大学信息技术学院）；Kempelen Institute of Intelligent Technologies（肯佩伦智能技术研究所）；George Mason University（乔治梅森大学）
针对现有图文匹配探测方法难以有效评估多模态模型动词理解能力的问题，提出引导掩码探测策略，通过掩码消融模态验证模型预测掩码词的能力，在多个经典多模态模型上验证了其动词理解的有效性。
2024-01-29 cs.CL cs.CV
A Dual-way Enhanced Framework from Text Matching Point of View for Multimodal Entity Linking
National University of Defense Technology（中国人民解放军国防科技大学）；Hefei University of Technology（合肥工业大学）
本文提出双向增强框架DWE，将多模态实体链接建模为文本匹配问题，通过跨模态增强、细粒度图像属性利用及维基百科描述丰富实体语义，在三个基准上取得SOTA性能。
2024-08-01 cs.AI cs.CV
Multimodal Fusion Learning with Dual Attention for Medical Imaging
Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）；Deakin University（迪肯大学）；Queensland University of Technology（昆士兰科技大学）；NIMS University（NIMS大学）；Jio Institute（吉奥学院）；RMIT University（皇家墨尔本理工大学）
本文提出含多分支融合与多模态信息融合双注意力模块的DRIFA机制，构建可嵌入任意深度网络的DRIFA-Net，并用集成Monte Carlo dropout估计不确定性，在五个多模态医学数据集上取得优于现有方法的表现。
2024-12-02 cs.CV
A Robust Multimodal Remote Sensing Image Registration Method and System Using Steerable Filters with First- and Second-order Gradients
Southwest Jiaotong University（西南交通大学）；Beijing Institute of Technology（北京理工学院）；State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing（测绘遥感信息工程国家重点实验室）
由于非线性辐射差异（NRD）和显著的几何失真（例如，缩放和旋转变化）之间的图像。本文提出了一种基于可操纵滤波器的鲁棒匹配方法，该方法包括两个关键步骤。首先，为了解决严重的NRD，一种新的结构描述符命名为可操纵滤波器的第一和第二阶通道（SFOC），它结合了一阶和第二阶梯度信息，通过使用可操纵滤波器与多尺度策略来描述更多的区别结构特征的图像。在此基础上，提出了一种快速归一化互相关（Fast-NCCSFOC）相似性度量方法，该方法利用快速傅立叶变换和积分图像来提高匹配效率。此外，为了实现可靠的配准性能，由粗到精的多模态配准系统的设计包括两个关键模块。首先进行局部粗配准，包括检测的兴趣点（IP）和局部几何校正，有效地利用遥感图像的先验地理参考信息，以解决全球的几何失真。在精配准阶段，提出的SFOC是用来抵抗显着的NRD，并检测多模态图像之间的控制点的模板匹配方案。所提出的匹配方法的性能进行了评估与许多不同类型的多模态遥感图像。实验结果表明，与现有的方法相比，该方法具有更好的匹配性能。此外，所设计的配准系统在配准精度和计算效率方面也优于流行的商业软件。我们的系统可在https://github.com/yeyuanxin110上获得。
2022-02-27 cs.CV
CASP: Compression of Large Multimodal Models Based on Attention Sparsity
Huawei Technologies Canada Co., Ltd.（华为技术加拿大有限公司）
本文提出CASP压缩技术，利用多模态模型注意力矩阵的稀疏性对Query和Key权重进行低秩分解与最优比特量化，在图像和视频语言基准上平均提升2比特量化方法21%。
2025-03-07 cs.CV
DepthFormer: Multimodal Positional Encodings and Cross-Input Attention for Transformer-Based Segmentation Networks
University of Padova（帕多瓦大学）
大多数用于语义分割的方法仅使用来自彩色相机的信息来解析场景，然而最近的进展表明，使用深度数据允许进一步提高性能。在这项工作中，我们专注于基于transformer的深度学习架构，这些架构在分割任务上实现了最先进的性能，我们建议通过将深度信息嵌入到位置编码中来使用深度信息。有效地，我们将网络扩展到多模态数据，而不添加任何参数，并以一种自然的方式利用Transformers的自我注意力模块的力量。我们还研究了在注意力模块内部执行跨模态操作的想法，在深度和颜色分支之间交换关键输入。我们的方法不断提高Cityscapes基准的性能。
2023-03-27 cs.CV
MODA: MOdular Duplex Attention for Multimodal Perception, Cognition, and Emotion Understanding
VCIP \& TMCC \& DISSec, College of Computer Science, Nankai University；Pengcheng Laboratory
本文提出模块化双工注意力机制 MODA，通过先对齐后校正策略解耦模态对齐与跨层 token 混合，并利用自适应掩码注意力提升多模态大模型在感知、认知与情感理解任务上的表现。
2025-07-07 cs.CV
Multimodal Pre-training Based on Graph Attention Network for Document Understanding
University of Science and Technology of China（中国科学技术大学）；IFLYTEK Research（科大讯飞研究院）
文档智能作为一个相对较新的研究课题，支持许多商业应用。它的主要任务是自动阅读、理解和分析文档。但是，由于格式的多样性（发票、报告、表格等），和布局，很难让机器理解文档。在本文中，我们提出了GraphDoc，一个多模态的图形注意力为基础的模型，用于各种文档理解任务。GraphDoc在多模式框架中进行预训练，同时利用文本、布局和图像信息。在文档中，文本块严重依赖于其周围的上下文，因此我们将图结构注入到注意力机制中，形成一个图注意层，使得每个输入节点只能注意到其邻域。每个图形关注层的输入节点由来自文档图像中语义上有意义的区域的文本、视觉和位置特征组成。通过门融合层对每个节点进行多模态特征融合。每个节点之间的上下文由图注意层建模。GraphDoc通过Masked Sentence Modeling任务从320k未标记文档中学习通用表示。在公开数据集上的大量实验结果表明，GraphDoc实现了最先进的性能，这证明了我们所提出的方法的有效性。该代码可在https://github.com/ZZR8066/GraphDoc上获得。
2022-10-23 cs.CV
