Babel: A Scalable Pre-trained Model for Multi-Modal Sensing via Expandable Modality Alignment
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);Hong Kong University of Science and Technology(香港科技大学)
针对多模态感知中部分配对数据利用难、数据稀缺的问题,本文提出可扩展模态对齐模型Babel,将N模态对齐转化为二模态对齐,在8个活动识别数据集上实现单模态平均12%、多模态最高22%的准确率提升,还可支撑跨模态检索等新场景。
2025-03-21 cs.AI cs.CV cs.LG
Multi-level Cross-modal Alignment for Image Clustering
Shenzhen University(深圳大学)
针对跨模态预训练中的错误对齐导致伪标签质量下降的问题,提出实例、原型与语义三层对齐方法,提升图像聚类性能,并通过理论收敛性分析和五个基准数据集验证其优势。
2024-01-22 cs.CV cs.LG
Learning Joint Embedding with Modality Alignments for Cross-Modal Retrieval of Recipes and Food Images
Georgia Institute of Technology(佐治亚理工学院);Wuhan University of Technology(武汉理工大学)
本文提出了一种学习文本图像联合嵌入的三层模态对齐方法,称为JEMA,用于烹饪食谱和食物图像的跨模态检索。第一层通过使用术语提取和排序增强序列模式优化LSTM网络来改进食谱文本嵌入,并通过将ResNeXt-101图像编码器与使用wideResNet-50和word 2 vec的类别嵌入相结合来优化图像嵌入。第二层模态对齐使用具有软边缘优化的双批硬三重损失来优化纹理-视觉联合嵌入损失函数。第三模态对齐结合了两种类型的跨模态对齐作为辅助损失正则化,以进一步减少两个模态特定嵌入函数的联合学习中的对齐误差。基于类别的跨模态对齐旨在将图像类别与食谱类别对齐,作为对联合嵌入的损失正则化。基于跨模态鉴别器的对齐旨在添加视觉-文本嵌入分布对齐以进一步正则化联合嵌入损失。使用100万个食谱基准数据集Recipe 1 M进行的大量实验表明,所提出的JEMA方法在图像到食谱和食谱到图像检索方面优于最先进的交叉模态嵌入方法。
2021-08-18 cs.CV cs.IR
Visual Alignment of Medical Vision-Language Models for Grounded Radiology Report Generation
NEC Laboratories America(NEC美洲实验室);University of California, Riverside(加州大学河滨分校)
本文提出VALOR方法,通过临床指导文本推理和自监督视觉推理解决医学报告生成中的视觉幻觉问题,提升生成质量与临床准确性。
2026-03-13 cs.CV
X-VILA: Cross-Modality Alignment for Large Language Model
NVIDIA(英伟达);HKUST(香港科技大学);MIT(麻省理工学院)
本文提出全模态模型X-VILA,通过构建交错数据集与视觉嵌入高速公路模块解决跨模态对齐中的视觉信息丢失问题,实现了任意模态间的理解、推理与生成。
2024-05-29 cs.CL cs.CV cs.LG
SGAligner++: Cross-Modal Language-Aided 3D Scene Graph Alignment
Technical University of Munich(慕尼黑技术大学);Stanford University(斯坦福大学)
SGAligner++提出跨模态语言辅助框架,通过统一嵌入空间和轻量级编码器实现3D场景图对齐,在低重叠和噪声条件下性能提升达40%。
2025-10-16 cs.CV cs.RO
Visual-Thermal Camera Dataset Release and Multi-Modal Alignment without Calibration Information
University of Nevada, Reno(内华达大学雷诺分校);NTNU - Norwegian University of Science and Technology(挪威科技大学)
本报告伴随着视觉和热成像相机数据的数据集发布,并详细介绍了对齐这种多模态相机帧的过程,以便在不使用内在或外在校准信息的情况下提供两者之间的像素级对应关系。为了实现这一目标,我们受益于多模态图像对齐领域的进展,并特别采用Mattes互信息度量来指导配准过程。在发布的数据集中,我们发布了原始视觉和热成像相机数据,以及对齐的帧,以及校准参数,目的是更好地促进对此类多模态图像流中常见的局部/全局特征的研究。
2020-12-29 cs.CV cs.RO
Context-aware Modality-Topology Co-Alignment for Multimodal Attributed Graphs
University of Science and Technology of China(中国科学技术大学)
提出CoMAG框架,通过任务自适应可靠上下文学习和模态保持的跳令牌对齐,统一处理图任务和模态任务,在保持稀疏边线性复杂度的同时提升结构预测、跨模态匹配和图条件生成性能。
2026-06-15 cs.CV cs.LG
UniMod: Enhancing Multi-Modal Medical Diagnosis through Cross-Modality and Within-Modality Alignment
University of Central Florida(中佛罗里达大学);University of Rochester(罗切斯特大学);Harvard Medical School(哈佛医学院);University of Virginia(弗吉尼亚大学)
UniMod框架通过要求各模态独立预测诊断缓解多模态医学诊断的捷径学习,添加跨模态与模态内对齐,在两个数据集上优于基线方法,还可扩展至多标签5分类诊断。
2026-08-12 cs.CV cs.LG cs.MM
Guiding Cross-Modal Representations with MLLM Priors via Preference Alignment
Apple(苹果公司)
MAPLE通过利用多模态大语言模型的细粒度对齐先验,引导跨模态表示学习,提升细粒度检索性能。
2025-12-31 cs.CV
Improving Cross-modal Alignment for Text-Guided Image Inpainting
Australian AI Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
文本引导的图像修补(TGII)旨在根据受损图像中给定的文本恢复丢失的区域。现有的方法是基于一个强大的视觉编码器和跨模态融合模型来整合跨模态特征。然而,这些方法将大部分计算分配给视觉编码,而在建模模态交互上的计算较少。此外,它们对深度特征进行了跨模态融合,忽略了文本和图像之间的细粒度对齐。最近,视觉语言预训练模型(VLPM)封装了丰富的跨模态对齐知识,在大多数多模态任务中取得了进展。在这项工作中,我们提出了一种新的模型TGII通过改进交叉模态对齐(CMA)。CMA模型由VLPM作为视觉语言编码器、图像生成器和全局-局部判别器组成。为了探索用于图像复原的跨模态对齐知识,我们引入了跨模态对齐蒸馏和样本内分布蒸馏。此外,我们采用对抗训练来增强模型,以有效地填充复杂结构中的缺失区域。实验在两个流行的视觉语言数据集上进行。结果表明,我们的模型实现了国家的最先进的性能相比,其他强大的竞争对手。
2023-01-26 cs.CL cs.CV
See Finer, See More: Implicit Modality Alignment for Text-based Person Retrieval
Tencent Youtu Lab(腾讯优图实验室);Shanghai Jiao Tong University(上海交通大学);Anhui University(安徽大学)
基于文本的人物检索的目的是根据文本描述找到查询人。关键是学习视觉-文本模态之间的共同潜在空间映射。为了实现这一目标,现有的作品采用分割来获得明确的跨模态对齐或利用注意力来探索显着的对齐。这些方法有两个缺点:1)标记跨模态对齐是耗时的。2)注意力方法可以探索突出的跨模态对齐,但可能会忽略一些微妙的和有价值的对。为了缓解这些问题,我们引入了一个隐式视觉文本(IVT)框架,基于文本的人检索。与以前的模型不同,IVT利用单个网络来学习两种模态的表示,这有助于视觉-文本交互。为了探索细粒度对齐,我们进一步提出了两种隐式语义对齐范式:多级对齐(MLA)和双向掩码建模(BMM)。MLA模块在句子、短语和单词级别探索更精细的匹配,而BMM模块旨在挖掘视觉和文本模态之间的\textbf{more}语义对齐。在公共数据集上进行了大量的实验来评估所提出的IVT,即,CUHK-PEDES、RSTPReID和ICFG-PEDES。即使没有明确的身体部位对齐,我们的方法仍然达到了最先进的性能。代码可在:https://github.com/TencentYoutuResearch/PersonRetrieval-IVT.
2022-08-26 cs.CV
UNIMO-2: End-to-End Unified Vision-Language Grounded Learning
Baidu Inc.(百度公司)
视觉语言预训练(VLP)在各种跨模态下游任务上取得了令人印象深刻的性能。然而,大多数现有的方法只能从对齐的图像字幕数据中学习,并且严重依赖昂贵的区域特征,这极大地限制了它们的可扩展性和性能。在本文中,我们提出了一个端到端的统一模态预训练框架,即UNIMO-2,用于对齐的图像标题数据和未对齐的纯图像和纯文本语料库的联合学习。我们建立了一个统一的Transformer模型来共同学习视觉表示,文本表示和图像和文本之间的语义对齐。特别是,我们建议通过共享接地空间对图像和文本进行接地学习,这有助于弥合未对齐的图像和文本,并在不同类型的语料库上对齐视觉和文本语义空间。实验表明,我们的接地学习方法可以提高文本和视觉语义对齐,提高各种跨模态任务的性能。此外,得益于不同类型语料库的有效联合建模,我们的模型在单模态视觉和文本任务上也取得了令人印象深刻的性能。我们的代码和模型在UNIMO项目页面https://unimo-ptm.github.io/上公开。
2022-03-17 cs.CL cs.CV
Model alignment using inter-modal bridges
MPI for Biological Cybernetics & University of Tübingen(生物感知研究所及图宾根大学);Kempner Institute, Harvard University(凯普纳研究所及哈佛大学)
针对跨模态模型内部表示对齐难、现有方法依赖大量配对数据或受领域限制的问题,提出基于条件流匹配的半监督对齐方法,在少标注场景下达到与端到端训练模型相当的下游任务性能。
2025-05-18 cs.CV cs.LG
Beyond Symmetric Alignment: Spectral Diagnostics of Modality Imbalance in Vision-Language Models in the Medical Domain
NOVA School of Science and Technology(诺瓦科学与技术学校);Nova School of Business and Economics(诺瓦商业与经济学校);Carnegie Mellon University(卡内基梅隆大学)
提出非对称光谱对齐分数(SAS),通过特征值加权的特征模态相关性量化模态信息不平衡,并在医学图像-文本数据集上评估15个VLM,发现医学图像比临床报告保留更丰富的结构信息,且SAS与检索性能的相关性最强。
2026-06-03 cs.CV cs.LG
Image Captioning with Visual Object Representations Grounded in the Textual Modality
Charles University(查理大学);Nara Institute of Science and Technology(奈良先端科学技术大学院大学);RIKEN AIP(理化学研究所先进智能项目中心)
我们目前正在探索文本和视觉模态之间共享嵌入空间的可能性。利用目标检测标签的文本性质和提取的视觉对象表示的假设表达性,我们提出了一种与当前趋势相反的方法,将表示接地在字幕系统的词嵌入空间中,而不是接地在其相关图像中的词或句子。基于以前的工作,我们施加额外的接地损耗的图像描述训练目标,旨在迫使视觉对象表示,以创建更多的异构集群的基础上,他们的类标签和复制的语义结构的词嵌入空间。此外,我们提供了一个学习的对象向量空间投影及其对IC系统性能的影响的分析。在性能只有轻微变化的情况下,接地模型在训练过程中比无约束模型更快地达到停止标准,需要的训练更新大约少两到三倍。此外,词嵌入与原始和投影对象向量之间的结构相关性的改善表明,接地实际上是相互的。
2020-10-20 cs.CL cs.CV
IsoCLIP: Decomposing CLIP Projectors for Efficient Intra-modal Alignment
Media Integration and Communication Center (MICC), University of Florence, Italy(意大利佛罗伦萨大学媒体集成与通信中心);Department of Computer Science, Universitat Autònoma de Barcelona, Spain(西班牙巴塞罗那自治大学计算机科学系);Computer Vision Center, Barcelona, Spain(西班牙巴塞罗那计算机视觉中心);IDEAS Research Institute, Warsaw, Poland(波兰华沙IDEAS研究所)
本文通过分析CLIP投影器的谱特性,发现模态间对齐子空间和各向异性方向,提出无训练方法IsoCLIP去除各向异性方向以改善模态内对齐,在模态内检索和分类任务上降低延迟并超越现有方法。
2026-05-29 cs.CV cs.LG
Gramian Multimodal Representation Learning and Alignment
Sapienza University of Rome(罗马大学)
针对现有多模态模型仅对齐模态与锚点、多模态扩展性能差的问题,提出Gramian表示对齐度量(GRAM),通过最小化模态向量张成的k维平行六面体Gramian体积实现多模态同时几何对齐,在多下游任务中取得新的最先进性能。
2025-02-12 cs.AI cs.CV cs.LG
HCMA: Hierarchical Cross-model Alignment for Grounded Text-to-Image Generation
The Hong Kong Polytechnic University(香港理工大学);University of Washington(华盛顿大学);Xi’an Jiaotong University(西安交通大学)
本文提出HCMA框架,在扩散采样每步结合全局文本语义对齐与局部边界框定位,提升复杂场景文本生成图像的语义保真和空间控制性能。
2025-05-15 cs.CV
VISTA: Enhancing Vision-Text Alignment in MLLMs via Cross-Modal Mutual Information Maximization
Tencent(腾讯)
针对多模态大语言模型存在的文本偏向、跨模态对齐随文本长度下降的问题,提出无需额外模块和数据的VISTA方法,通过最大化跨模态互信息增强视觉-文本对齐,在十余个基准上显著优于基线。
2025-05-19 cs.CV
Closing the gap in multimodal medical representation alignment
Dept. of Information Engineering, Electronics, and Telecommunications(信息工程、电子与电信系)
本文提出了一种模态无关的框架,用于弥合多模态医学表征对齐中的模态差距,提升放射学图像与临床文本之间的对齐效果。
2026-02-23 cs.CV cs.LG
DELAN: Dual-Level Alignment for Vision-and-Language Navigation by Cross-Modal Contrastive Learning
School of Data Science, Fudan University(复旦大学数据科学学院);Alibaba Group(阿里巴巴集团);School of Computer Science, Fudan University(复旦大学计算机科学技术学院)
DELAN框架通过跨模态对比学习在融合前对指令-历史与地标-观察进行双层对齐,增强跨模态交互与决策,并可无缝集成到现有模型中,在多个VLN基准上提升导航性能。
2024-04-02 cs.CL cs.CV cs.LG
CrossOver: 3D Scene Cross-Modal Alignment
Stanford University(斯坦福大学);Microsoft Spatial AI Lab(微软空间人工智能实验室);ETH Zurich(苏黎世联邦理工学院);HUN-REN SZTAKI(匈牙利科学院研究网络中心计算机科学与控制研究所)
提出CrossOver框架,通过灵活的场景级模态对齐学习统一模态无关嵌入空间,在模态缺失下实现稳健的3D场景检索与物体定位,并在ScanNet和3RScan上表现优越。
2025-04-04 cs.CV
Rethinking Uncertainly Missing and Ambiguous Visual Modality in Multi-Modal Entity Alignment
Zhejiang University(浙江大学);The University of Manchester(曼彻斯特大学);University of Oxford(牛津大学);The University of Edinburgh(爱丁堡大学);Tsinghua University(清华大学);Donghai laboratory(东海实验室)
本文提出鲁棒的多模态实体对齐方法UMAEA,通过新数据集MMEA-UMVM揭示视觉模态缺失与模糊对现有模型的负面影响,并在97个基准划分上以低消耗取得SOTA性能。
2023-08-01 cs.AI cs.CV cs.LG
Learning Multi-Modal Word Representation Grounded in Visual Context
Sorbonne Universités, UPMC Univ Paris 06, UMR 7606, CNRS, LIP6(索邦大学,巴黎第六大学,UMR 7606,法国国家科学研究中心,LIP6实验室)
词语的语义表示是自然语言处理界长期存在的问题。大多数方法在大型语料库中根据文本上下文计算单词语义。最近,研究人员试图整合感知和视觉特征。这些作品大多考虑了对象的视觉外观,以增强文字表征,但他们忽略了视觉环境和上下文中的对象出现。我们建议统一基于文本的技术与基于视觉的技术,同时利用文本和视觉上下文来学习多模态词嵌入。我们探索了各种选择,什么可以作为一个视觉上下文,并提出了一个端到端的方法来整合视觉上下文元素的多模态跳图模型。我们提供实验和广泛的分析所获得的结果。
2017-11-09 cs.AI cs.CL cs.CV
Text-centric Alignment for Multi-Modality Learning
National Taiwan University(台湾大学)
针对多模态学习中推理与训练模态不匹配的问题,提出以文本为中心的TAMML方法,借助带上下文学习的LLMs和基础模型,以文本为统一语义空间提升泛化性,适配动态模态并保持性能,为真实场景提供灵活解决方案。
2024-05-20 cs.CL cs.CV cs.LG
Cross-Modal Generalization: Learning in Low Resource Modalities via Meta-Alignment
Carnegie Mellon University(卡内基梅隆大学);University of Tokyo(东京大学)
自然界中有大量通过视觉、听觉、触觉和语言形式表达的概念。然而,多模式学习方面的现有进展主要集中在训练和考试时存在同一套模式的问题上,这使得在低资源模式下的学习特别困难。在这项工作中,我们提出了跨模态泛化的算法:一种学习范式,用于训练模型,该模型可以(1)在目标模态(即元学习)中快速执行新任务,以及(2)在不同的源模态上进行训练。我们研究一个关键的研究问题:我们如何才能确保泛化跨模态,尽管使用不同的源和目标模态单独的编码器?我们的解决方案基于元对齐,这是一种使用强和弱配对的跨模态数据对齐表示空间的新方法,同时确保快速泛化到不同模态的新任务。我们在3个分类任务上研究这个问题:文本到图像,图像到音频和文本到语音。我们的研究结果表明,即使新的目标模态只有几个(1-10)标记的样本,并在嘈杂的标签的存在下,在低资源的方式特别普遍的情况下,强大的性能。
2020-12-04 cs.AI cs.CL cs.CV
AlignFreeNet: Is Cross-Modal Pre-Alignment Necessary? An End-to-End Alignment-Free Lightweight Network for Visible-Infrared Object Detection
School of Computer Science, Jiangsu University of Technology(江苏科技大学计算机科学学院);School of Computer Science and Technology, Nanjing University of Aeronautics and Astronautics(南京航空航天大学计算机科学与技术学院);School of Science and Technology, Hong Kong Metropolitan University(香港都会大学科技学院);School of Data Science, Lingnan University(岭南大学数据科学学院);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
AlignFreeNet通过无对齐融合范式,提出VCC和FCF模块,有效缓解可见-红外目标检测中的跨模态错位问题,实现端到端轻量级网络的高鲁棒性与泛化能力。
2025-12-25 cs.CV
Multi-modal Semantic Understanding with Contrastive Cross-modal Feature Alignment
Peking University(北京大学);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);School of Computer Science, Peking University(北京大学计算机学院)
针对现有双编码器多模态模型难以实现跨模态深度交互的问题,提出CLIP引导的对比学习特征对齐架构,将多模态特征投影至统一空间,在两类任务上性能优于基线,且易迁移。
2024-03-11 cs.CL cs.CV
AlignMamba: Enhancing Multimodal Mamba with Local and Global Cross-modal Alignment
Pengcheng Laboratory(鹏城实验室);Shaanxi University of Science and Technology(陕西科技大学)
针对 Mamba 顺序扫描难以全面建模跨模态关系的问题,本文提出 AlignMamba,结合最优传输局部 token 对齐与最大均值差异全局分布对齐,并在完整和不完整多模态融合任务上验证其效果与效率。
2024-12-01 cs.AI cs.CV
VoCoT: Unleashing Visually Grounded Multi-Step Reasoning in Large Multi-Modal Models
School of Data Science, Fudan University(复旦大学数据科学学院);ByteDance(字节跳动);School of Computer Science, Fudan University(复旦大学计算机科学学院);Research Institute of Intelligent and Complex Systems, Fudan University(复旦大学智能与复杂系统研究院);Shanghai Innovation Institute(上海创新研究院)
本文提出 VoCoT 框架,通过以对象为中心的视觉 grounding 多步推理路径,并构建指令微调数据集训练出 7B 模型 VolCano,在复杂推理基准上超越 GPT-4V 等 SOTA 模型。
2025-03-08 cs.AI cs.CL cs.CV
MSR-Align: Policy-Grounded Multimodal Alignment for Safety-Aware Reasoning in Vision-Language Models
Future Lab, Alibaba Group(阿里巴巴集团未来实验室)
针对现有VLM安全对齐方法及数据集的不足,本研究提出高质量多模态安全推理数据集MSR-Align,实验证明其微调可提升VLM抗越狱鲁棒性且保留推理性能。
2025-10-21 cs.CL cs.CV
Learning Modality Knowledge Alignment for Cross-Modality Transfer
Beijing Institute of Technology(北京理工大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对跨模态迁移中模态差距导致知识重用减少的问题,提出元学习方法MoNA,通过学习目标数据转换对齐模态知识,提升预训练模型在跨模态任务中的迁移效果。
2024-06-27 cs.CV
Learning to Generate Text-grounded Mask for Open-world Semantic Segmentation from Only Image-Text Pairs
Kakao Brain
我们解决开放世界的语义分割,其目的是学习分割图像中的任意视觉概念,只使用图像-文本对没有密集的注释。现有的开放世界分割方法通过采用对比学习(CL)来学习不同的视觉概念并将学习到的图像级理解转移到分割任务中,已经显示出令人印象深刻的进步。然而,这些基于CL的方法存在训练-测试差异,因为它在训练期间仅考虑图文对齐,而分割在测试期间需要区域-文本对齐。在本文中,我们提出了一种新的文本接地对比学习(TCL)框架,使模型能够直接学习区域文本对齐。我们的方法为给定的文本生成一个分割掩码,从掩码区域提取文本接地图像嵌入,并通过TCL将其与文本嵌入对齐。通过直接学习区域文本对齐,我们的框架鼓励模型直接提高生成的分割掩码的质量。此外,为了进行严格和公平的比较,我们提出了一个统一的评估协议,广泛使用的8个语义分割数据集。TCL在所有数据集中实现了最先进的zero-shot分割性能,并具有较大的边缘。代码可在https://github.com/kakaobrain/tcl上获得。
2023-03-26 cs.CV
ModalChorus: Visual Probing and Alignment of Multi-modal Embeddings via Modal Fusion Map
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));Hong Kong University of Science and Technology(香港科技大学)
本文提出交互式系统 ModalChorus,通过融合度量与非度量目标的 Modal Fusion Map 可视化探测多模态嵌入,并支持用户进行点-集与集-集对齐,从而发现并修正 CLIP 等模型中的跨模态错位。
2024-10-26 cs.AI cs.CV cs.HC
DecAlign: Hierarchical Cross-Modal Alignment for Decoupled Multimodal Representation Learning
Texas A&M University(德克萨斯A&M大学);University of Southern California(南加州大学)
DecAlign通过分层跨模态对齐框架解耦多模态表示,结合原型引导最优传输策略和多模态Transformer提升语义一致性,实验显示在四个基准上优于现有方法。
2026-04-11 cs.CV
MM-SCALE: Evaluating Evidence-Grounded Moral Judgment in Vision-Language Models
Seoul National University(首尔国立大学);Carnegie Mellon University(卡内基梅隆大学);University of Florida(佛罗里达大学);Epic Games
MM-SCALE通过5点标量评分和显式模态接地,提升多模态模型在道德推理任务中的表现。
2026-11-13 cs.CV cs.HC
Signal: Selective Interaction and Global-local Alignment for Multi-Modal Object Re-Identification
Signal通过选择性交互和全局-局部对齐框架提升多模态对象重识别的性能。
2025-11-22 cs.CV cs.MM
Robust Incomplete-Modality Alignment for Ophthalmic Disease Grading and Diagnosis via Labeled Optimal Transport
University of Exeter(埃克塞特大学);University of Liverpool(利物浦大学);Chinese Academy of Sciences(中国科学院);The University of Hong Kong(香港大学);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Dalian University of Technology(大连理工大学);A*STAR
针对多模态眼科诊断中不完整数据问题,提出基于标记最优传输的鲁棒不完整模态对齐框架,通过类级和特征级对齐及非对称融合,在缺失模态下实现准确诊断,性能优于现有方法。
2025-07-07 cs.CV
Shared Geometry As A Rosetta Stone: Cross-Modal Alignment Without Paired Data
TU Munich(慕尼黑工业大学);MCML(慕尼黑机器学习中心);Ulm University(乌尔姆大学);ETH Zurich(苏黎世联邦理工学院);MIT(麻省理工学院)
本研究提出Wasserstein Procrustes方法,利用共享几何结构在无需配对数据的情况下实现跨模态对齐,并证明其在少样本场景下优于现有方法,且能支持文本到图像生成。
2026-11-04 cs.AI cs.CV cs.LG
Beyond Cross-Modal Alignment: Measuring and Leveraging Modality Gap in Vision-Language Models
King’s College London(伦敦国王学院);University of Surrey(萨里大学);University of Oxford(牛津大学);MIT CSAIL(麻省理工学院CSAIL实验室);The Alan Turing Institute(阿兰·图灵研究院)
本文提出通过测量和利用模态差距改进视觉-语言模型的下游任务,引入模态主导分数和自动可解释性度量,实现轻量级编辑和系统分析。
2026-04-25 cs.AI cs.CV
Translation, Scale and Rotation: Cross-Modal Alignment Meets RGB-Infrared Vehicle Detection
Beihang University(北京航空航天大学)
近年来,在目标检测中,尤其是在可见光和红外图像中集成多光谱数据受到了极大的关注。由于可见光(RGB)和红外(IR)图像可以提供互补信息来处理光变化,因此配对图像被用于许多领域,诸如多光谱行人检测、RGB-IR人群计数和RGB-IR显著目标检测。与自然RGB-IR图像相比,航空RGB-IR图像的检测存在交叉模态弱失调问题,表现为同一目标的位置、大小和角度偏差。在本文中,我们主要解决的挑战,跨模式弱失调的航空RGB-IR图像。具体来说,我们首先解释和分析了弱失调问题的原因。然后,我们提出了一个平移-尺度-旋转对齐(TSRA)模块,通过校准这两种模式的特征图来解决这个问题。该模块通过对齐过程预测两个模态对象之间的偏差,并利用模态选择(MS)策略来提高对齐性能。最后,基于TSRA模块构造了一个双流特征对齐检测器(TSFADet),用于航空图像中的RGB-IR目标检测。通过在公开的DroneVehicle数据集上的综合实验,我们验证了我们的方法减少了交叉模态错位的影响,并获得了鲁棒的检测结果。
2022-09-28 cs.CV
Learning Relation Alignment for Calibrated Cross-modal Retrieval
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
尽管大规模多模态预训练方法取得了成就,但跨模态检索,例如,图像-文本检索仍然是一个具有挑战性的任务。为了弥合两种模态之间的语义鸿沟,以往的研究主要集中在客体层面的词-区域对齐,缺乏词与词之间的语言关系和区域之间的视觉关系的匹配。这种关系一致性的忽视损害了图像-文本对的上下文化表示,并阻碍了模型的性能和可解释性。在本文中,我们首先提出了一种新的度量,模态内自我注意距离(ISD),量化的关系一致性,通过测量语言和视觉关系之间的语义距离。作为回应,我们提出了模态内自注意力的模态间对齐(IAIS),这是一种正则化的训练方法,用于优化ISD并通过模态间对齐相互校准两种模态的模态内自注意力。IAIS正则化器大大提高了Flickr 30 k和MS COCO数据集上流行模型的性能,这证明了我们方法的优越性。
2021-06-01 cs.CL cs.CV cs.IR
DiffCrossGait: Trajectory-Level Alignment for 2D-3D Cross-Modal Gait Recognition via Latent Diffusion
University of Science and Technology of China(中国科学技术大学)
针对2D-3D跨模态步态识别中的域差异问题,提出DiffCrossGait,通过潜在扩散空间中的轨迹级对齐实现连续模态对齐,并引入三阶段对齐策略确保身份锚定、动态一致性和跨模态结构可恢复性,在SUSTech1K和FreeGait基准上达到最优性能。
2026-05-29 cs.AI cs.CV
Cross-Modal Translation and Alignment for Survival Analysis
The Hong Kong University of Science and Technology(香港科技大学)
本文提出跨模态翻译与对齐(CMTA)框架,通过并行编码器-解码器和跨模态注意力模块探索病理图像与基因组谱的内在相关性并迁移互补信息,在五个TCGA数据集上取得了优于现有方法的生存分析性能。
2023-09-22 cs.CV cs.LG eess.IV
Mitigate the Gap: Investigating Approaches for Improving Cross-Modal Alignment in CLIP
Hasso Plattner Institute(哈索·普拉特纳研究所)
针对CLIP嵌入空间存在的模态差距问题,设计AlignCLIP探究参数共享、模态内分离对差距的影响及下游性能变化,证实其可提升跨模态对齐并优化下游表现。
2024-09-16 cs.AI cs.CL cs.CV
ProGAL-VLA: Grounded Alignment through Prospective Reasoning in Vision-Language-Action Models
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
ProGAL-VLA 通过构建 3D 实体中心图、使用慢速规划器生成符号子目标,并通过 Grounding Alignment Contrastive 损失对齐实体,提升机器人在扰动下的鲁棒性,减少语言忽略并提高实体检索性能。
2026-04-10 cs.CL cs.CV cs.RO
StructAlign: Structured Cross-Modal Alignment for Continual Text-to-Video Retrieval
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Xi’an Jiaotong University(西安交通大学);Shandong University(山东大学)
本文提出StructAlign,通过结构化跨模态对齐方法解决连续文本到视频检索中的模态错位和特征漂移问题,提升模型持续学习能力。
2026-04-25 cs.CV
Everything Can Be Described in Words: A Simple Unified Multi-Modal Framework with Semantic and Temporal Alignment
Northwestern University(西北大学);IEEE Member(IEEE会员)
本文提出UMaT框架,将视觉与听觉输入统一为结构化文本并实现语义、时间对齐及稀疏检索,从而显著提升长视频问答性能。
2025-06-10 cs.AI cs.CV
Grounded Entity-Landmark Adaptive Pre-training for Vision-and-Language Navigation
Defense Innovation Institute, Chinese Academy of Military Science(中国军事科学院国防科技创新研究院);Tianjin Artificial Intelligence Innovation Center(天津人工智能创新中心);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
针对视觉语言导航中实体级细粒度跨模态对齐不足的问题,提出GELA自适应预训练范式,构建GEL-R2R数据集并设计三个预训练目标,在R2R和CVDN基准上取得最优结果。
2023-08-24 cs.CV
Enhancing Modal Fusion by Alignment and Label Matching for Multimodal Emotion Recognition
School of Artificial Intelligence, Beijing University of Posts and Telecommunications(北京邮电大学人工智能学院)
针对多模态情感识别中模态融合效果不佳的问题,提出含音视频情感对齐、跨模态标签匹配双辅助任务的Foal-Net框架,先对齐再融合,在IEMOCAP上性能超越现有最优方法,验证了融合前对齐的必要性。
2024-08-18 cs.AI cs.CV cs.MM
Deep Unfolding Network with Spatial Alignment for multi-modal MRI reconstruction
Shanghai University(上海大学);School of Science, Shanghai University(上海大学理学院);School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院);Shanghai Institute of Applied Mathematics and Mechanics, Shanghai University(上海大学上海应用数学与力学研究所);School of Mechanics and Engineering Science, Shanghai University(上海大学力学与工程科学学院)
针对多模态MRI中模态错位影响欠采样重建的问题,提出可解释的DUN-SA深度展开网络,将空间对齐与重建联合优化,并在三个真实数据集上取得优于现有方法的性能。
2025-01-08 cs.CV eess.IV
Prototype-guided Cross-modal Completion and Alignment for Incomplete Text-based Person Re-identification
针对实际场景中基于文本的行人重识别任务存在的图像与文本匹配不全、模态数据缺失问题,提出原型引导的跨模态补全与对齐框架,通过跨模态最近邻构建、关系图特征增强及原型感知对齐损失提升性能,在多基准多缺失比例下超越现有最优方法。
2023-10-03 cs.CV
EMMA: Empowering Multi-modal Mamba with Structural and Hierarchical Alignment
Peng Cheng Laboratory(鹏城实验室);University of Chinese Academy of Sciences(中国科学院大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Sun Yat-sen University(中山大学)
针对现有Mamba多模态大语言模型视觉特征提取不足、跨模态对齐失衡的问题,提出EMMA方法,通过逐像素对齐模块和多尺度特征融合模块实现结构与层级对齐,推理速度更快、幻觉更少,在多模态基准上性能更优。
2024-10-08 cs.AI cs.CV