Visual Explanations from Hadamard Product in Multimodal Deep Networks
Seoul National University(首尔大学)
对模型学习表征的直观解释有助于理解学习的基本原理。以前的作品中的注意力模型用于在图像或文本上使用它们的学习权重来可视化关注区域,以确认它们的预期机制。Kim et al.(2016)表明,多模态深度网络中的Hadamard产品,以视觉问答任务的联合功能而闻名,隐含地执行视觉输入的注意机制。在这项工作中,我们扩展了他们的工作,以表明多模态深度网络中的Hadamard乘积不仅适用于视觉输入,而且还适用于文本输入,同时使用所提出的基于梯度的可视化技术。阿达玛产品的注意力效果可视化视觉和文本输入通过分析两个输入和输出的阿达玛产品与所提出的方法,并与学习的视觉问答模型的注意力权重进行比较。
2017-12-18 cs.AI cs.CV cs.LG
New multimodal similarity measure for image registration via modeling local functional dependence with linear combination of learned basis functions
Department of Computer Science(计算机科学系)
针对多模态图像形变配准问题,提出一种基于学习基函数线性组合的局部函数依赖相似性测度,该方法可通过卷积在GPU上高效计算,在三个数据集上表现良好。
2025-11-03 cs.CV
Multimodal Sparse Coding for Event Detection
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Harvard University(哈佛大学)
无监督特征学习方法已被证明对基于单一模态的分类任务是有效的。我们提出了多模态稀疏编码学习跨多模态共享的特征表示。共享表示应用于多媒体事件检测(MED)和评估相比,单峰同行,以及其他功能学习方法,如GMM超向量和稀疏RBM。我们报告了MED系统的交叉验证分类准确度和平均精度,该系统是在从TRECVID MED 2014数据集的一个子集的单峰和多峰设置中学习到的特征上训练的。
2016-05-17 cs.CV cs.LG
Multimodal Learned Sparse Retrieval with Probabilistic Expansion Control
University of Amsterdam(阿姆斯特丹大学);AIRLab, University of Amsterdam(阿姆斯特丹大学AIRLab)
针对多模态文本-图像检索,本文提出将冻结稠密模型向量转为稀疏词法向量,并用 Bernoulli 变量控制查询扩展,以更少训练时间和显存达到最优 LSR 性能。
2024-02-27 cs.CV cs.IR
BRIDGE: Multimodal-to-Text Retrieval via Reinforcement-Learned Query Alignment
High institute for computer & information systems(高等计算机与信息系统学院);Chungbuk National University(忠北大学);Assiut University(艾斯尤特大学);University of Innsbruck(因斯布鲁克大学)
BRIDGE通过强化学习查询对齐模型和增强神经搜索检索器,解决多模态查询在文本库中的检索问题,实现优于多模态编码器的nDCG@10性能。
2026-04-08 cs.CV cs.IR
Finding Structural Knowledge in Multimodal-BERT
KU Leuven(鲁汶大学);University of Copenhagen(哥本哈根大学);Uppsala University(乌普萨拉大学)
在这项工作中,我们研究了在多模态BERT模型的嵌入中学习到的知识。更具体地说,我们探讨他们的能力存储的语法结构的语言数据和结构学习对象的视觉数据。为了达到这一目标,我们首先通过描述图像的句子的依赖性解析和图像中对象区域之间的依赖性,分别使语言和视觉效果的固有结构明确。我们称这种显式的可视化结构为\textit{scene tree},它基于语言描述的依赖关系树。广泛的探测实验表明,多模BERT模型不编码这些场景树。代码可在\url{https://github.com/VSJMilewski/multimodal-probes}。
2022-03-17 cs.CL cs.CV
Imagination improves Multimodal Translation
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学);Tilburg University(蒂尔堡大学)
我们将多模态翻译分解为两个子任务:学习翻译和学习视觉基础表示。在多任务学习框架中,在基于注意力的编码器-解码器中学习翻译,并通过图像表示预测学习接地表示。与Multi 30 K数据集上的最新技术相比,我们的方法提高了翻译性能。此外,如果我们在外部MS COCO数据集上训练图像预测任务,则同样有效,并且如果我们在外部新闻评论平行文本上训练翻译模型,则我们发现改进。
2017-07-07 cs.CL cs.CV
On the Importance of Contrastive Loss in Multimodal Learning
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文从理论角度分析了简单多模态对比学习模型的训练动态,揭示正对驱动表示对齐但增加条件数,负对则减小条件数以保持表示平衡,证明了对比对在多模态学习中的重要性。
2023-04-07 cs.CL cs.CV cs.LG
FM-AE: Frequency-masked Multimodal Autoencoder for Zinc Electrolysis Plate Contact Abnormality Detection
Central South University(中南大学)
针对锌电解板接触不良问题,提出端到端网络FM-AE,融合槽电压与红外图像特征进行预测,准确率达86.2%,有效提升生产监测效率。
2024-01-08 cs.CV
Modality to Modality Translation: An Adversarial Representation Learning and Graph Fusion Network for Multimodal Fusion
School of Electronics and Information Technology, Sun Yat-sen University(中山大学电子与信息工程学院)
学习不同模态的联合嵌入空间对于多模态融合至关重要。主流的模态融合方法无法实现这一目标,从而留下了严重影响跨模态融合的模态缺口。在本文中,我们提出了一种新的对抗编码器-解码器-分类器框架来学习模态不变的嵌入空间。由于各种模态的分布在本质上是不同的,为了减少模态差距,我们使用对抗训练通过各自的编码器将源模态的分布转换为目标模态的分布。此外,我们施加额外的约束嵌入空间,通过引入重建损失和分类损失。然后,我们融合的编码表示使用层次图神经网络,明确探索单峰,双峰和三峰的相互作用,在多个阶段。我们的方法在多个数据集上实现了最先进的性能。学习的嵌入的可视化表明,通过我们的方法学习的联合嵌入空间是有区别的。代码可从以下网址获得:\url{https://github.com/TmacMai/ARGF_multimodal_fusion}
2020-12-10 cs.CV cs.LG cs.MM
MULTIAQUA: A multimodal maritime dataset and robust training strategies for multimodal semantic segmentation
MULTIAQUA数据集和多模态语义分割的鲁棒训练策略,旨在通过多模态数据提升恶劣能见度下的场景解释质量。
2025-12-19 cs.CV cs.LG
Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders
Stanford University(斯坦福大学)
变分自编码器中的离散潜在空间已经被证明可以有效地捕获许多现实世界问题的数据分布,例如自然语言理解、人类意图预测和视觉场景表示。然而,离散的潜在空间需要足够大,以捕获真实世界数据的复杂性,从而使下游任务在计算上具有挑战性。例如,在环境的高维潜在表示中执行运动规划可能是棘手的。我们考虑的问题稀疏化的离散潜在空间的训练条件变分自编码器,同时保持其学习的多模态。作为一种事后潜在空间缩减技术,我们使用证据理论来识别从特定输入条件接收直接证据的潜在类,并过滤掉那些不接收直接证据的潜在类。不同的任务,如图像生成和人类行为预测的实验,证明了我们提出的技术在减少模型的离散潜在样本空间大小,同时保持其学习的多模态的有效性。
2021-01-18 cs.AI cs.CV cs.LG
Multimodal Contrastive Training for Visual Representation Learning
University of Chicago(芝加哥大学);Adobe Research(Adobe研究院)
我们开发了一种方法来学习视觉表示,包括多模态数据,由内和模态间的相似性保存目标的组合驱动。与现有的视觉预训练方法不同,这些方法在单个域中解决代理预测任务,我们的方法同时利用每个模态内的固有数据属性和跨模态相关性的语义信息,从而提高了学习的视觉表示的质量。通过在具有不同类型对比损失的统一框架中包含多模态训练,我们的方法可以学习更强大和通用的视觉特征。我们首先在COCO上训练我们的模型,并在各种下游任务上评估学习到的视觉表示,包括图像分类、目标检测和实例分割。例如,通过我们的方法在COCO上预训练的视觉表示在通用传输协议下在ImageNet分类上实现了$55.3\%$的最先进的top-1验证精度。我们还评估了我们的方法在大规模的股票图像数据集,并显示其有效性的多标签图像标记,和跨模态检索任务。
2021-04-26 cs.CV
ObitoNet: Multimodal High-Resolution Point Cloud Reconstruction
University of Maryland(马里兰大学)
ObitoNet通过交叉注意力融合ViT图像特征与FPS/KNN点云几何特征,并用Transformer解码器实现高分辨率点云重建,在稀疏和噪声条件下保持稳健生成能力。
2024-12-25 cs.AI cs.CV cs.LG
Decoding Brain Representations by Multimodal Learning of Neural Activity and Visual Features
University of Catania(卡塔尼亚大学);University of Central Florida(中佛罗里达大学)
这项工作提出了一种探索人脑视觉表征的新方法,以期在机器中复制这些过程。其核心思想是通过将人类神经活动与自然图像相关联来学习合理的计算和生物表示。因此,我们首先提出了一个模型,EEG-MeselNet,学习脑流形EEG分类。在验证了可以从EEG数据中提取视觉信息之后,我们引入了一种多模态方法,该方法使用在连体配置中训练的深度图像和EEG编码器来学习联合流形,该联合流形最大化视觉特征和大脑表示之间的兼容性度量。然后,我们进行图像分类和显着性检测的学习流形。性能分析表明,我们的方法令人满意的解码视觉信息的神经信号。反过来,这可以用来有效地监督深度学习模型的训练,正如图像分类和训练外类显着性检测的高性能所证明的那样。所获得的结果表明,学习的大脑视觉特征可以提高性能,同时使深度模型更符合与视觉感知和注意力相关的认知神经科学工作。
2020-04-18 cs.CV cs.LG q-bio.NC
Deep Representation Learning For Multimodal Brain Networks
Arizona State University(亚利桑那州立大学);University of Pittsburgh(匹兹堡大学);University of Southern California(南加州大学)
应用网络科学的方法来研究人脑的功能和解剖结构是现代医学成像分析的一个热点。由于复杂的网络拓扑结构,对于单个大脑,从多模态大脑网络中挖掘有区别的网络表示是不平凡的。最近深度学习技术在图结构数据上的成功表明了一种新的方法来建模非线性跨模态关系。然而,目前的深度脑网络方法要么忽略了内在的图形拓扑结构,要么需要在一个组内共享的网络基础。为了应对这些挑战,我们提出了一种新的端到端深度图表示学习(Deep Multimodal Brain Networks - DMBN)来融合多模态脑网络。具体来说,我们通过图形编码和解码过程来破译跨模态关系。从大脑结构网络到功能网络的高阶网络映射是在节点域中学习的。学习的网络表示是一组节点特征,这些节点特征提供信息,以监督的方式诱导大脑显着性图。我们在合成和真实图像数据中测试我们的框架。实验结果表明,该方法优于其他一些国家的最先进的深脑网络模型。
2020-07-19 cs.CV
Multimodal Neurons in Pretrained Text-Only Transformers
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT KFG(麻省理工学院知识未来小组);Northeastern University(东北大学)
该研究针对纯文本预训练Transformer的跨模态泛化能力溯源问题,通过自监督视觉编码器加线性投影构建视觉增强的冻结文本Transformer,发现模态转换发生在网络深层,提出了多模态神经元识别方法,证实其对特定视觉概念起作用且对图像字幕生成有因果影响。
2023-10-01 cs.CL cs.CV
ReCAP: Retrieval-Guided Capability Reuse for Multimodal Continual Instruction Tuning
Nanjing University(南京大学);Huawei Technologies(华为技术有限公司)
ReCAP提出检索引导框架,利用外部知识构建知识库并复用能力模块,通过自适应子空间回收实现多模态持续指令微调中的稳定跨阶段能力复用,达到SOTA性能。
2026-09-30 cs.CV cs.LG
Deep Unified Multimodal Embeddings for Understanding both Content and Users in Social Media Networks
SRI International(SRI国际);Cornell University(康奈尔大学)
在过去的几年里,社交媒体网络上产生的多模态内容激增,这需要对社交媒体内容和用户行为进行更深入的了解。我们提出了一种新的内容无关的内容用户反应模型的社会多媒体内容分析。与以前的工作,一般解决语义内容理解和用户行为建模隔离,我们提出了一个通用的解决方案,这些问题在一个统一的框架。我们嵌入用户,图像和文本从开放的社交媒体在一个共同的多模态几何空间,使用一种新的损失函数,旨在应付遥远的和不同的方式,从而实现无缝的三路检索。我们的模型不仅在跨模态检索任务上优于基于单峰嵌入的方法,而且在Twitter数据上联合解决这两个任务也显示出了改进。我们还表明,在我们的联合多模态嵌入模型中学习的用户嵌入比在Instagram数据上学习的单峰内容更好地预测用户兴趣。因此,我们的框架超越了以前的做法,使用显式的领导者,追随者的链接信息,以建立从属关系,通过提取隐式的内容为中心的从属关系,从孤立的用户。我们提供了定性的结果表明,从学习嵌入出现的用户集群具有一致的语义和我们的模型发现细粒度的语义从嘈杂和非结构化数据的能力。我们的工作表明,社会多模态内容本质上是多模态的,并具有一致的结构,因为在社交网络的意义是通过用户和内容之间的互动。
2019-06-11 cs.CL cs.CV cs.IR
ContIG: Self-supervised Multimodal Contrastive Learning for Medical Imaging with Genetics
Hasso Plattner Institute for Digital Engineering, University of Potsdam(波茨坦大学哈索·普拉特纳数字工程研究所);TU Kaiserslautern(凯泽斯劳滕工业大学);Hasso Plattner Institute for Digital Health at the Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院哈索·普拉特纳数字健康研究所)
高注释成本是将现代深度学习架构应用于临床相关医疗用例的一个重要瓶颈,这证实了对从未标记数据中学习的新算法的需求。在这项工作中,我们提出了ContIG,这是一种自监督方法,可以从未标记的医学图像和遗传数据的大型数据集中学习。我们的方法使用对比损失在特征空间中对齐图像和几种遗传方式。我们设计了我们的方法,将每个人的多个模态集成到同一个模型中,即使可用的模态因个人而异。我们的程序在所有评估的下游基准任务上都优于最先进的自监督方法。我们还采用了基于梯度的可解释性算法,以更好地理解图像和遗传方式之间的跨模态关联。最后,我们对模型学习到的特征进行全基因组关联研究,揭示图像和遗传数据之间有趣的关系。
2021-11-26 cs.AI cs.CV cs.LG
MMEarth-Bench: Global Model Adaptation via Multimodal Test-Time Training
Harvard University, USA(哈佛大学,美国);University of Copenhagen, Denmark(哥本哈根大学,丹麦)
研究针对地理空间机器学习中现有基准数据集不足,引入含多模态任务的MMEarth-Bench,通过多模态测试时训练方法提升模型性能,改善地理泛化能力。
2026-11-13 cs.CV
Eye-CU: Sleep Pose Classification for Healthcare using Multimodal Multiview Data
Univ. of California Santa Barbara(加州大学圣巴巴拉分校);West Virginia University(西弗吉尼亚大学);Santa Barbara Cottage Hospital(圣巴巴拉 Cottage 医院)
对卧床患者的身体姿势的手动分析需要工作人员连续跟踪和记录患者姿势。姿势相关疗法传播的两个限制是人力资源稀缺和不可靠的自动化系统。这项工作通过引入一种新的方法和一个新的系统来解决这些问题,用于在重症监护室(ICU)环境中对睡眠姿势进行鲁棒的自动分类。新方法,耦合约束最小二乘(cc-LS),使用多模态和多视图(MM)数据,并找到一组模态信任值,最大限度地减少预期和估计标签之间的差异。新系统Eye-CU是一种经济实惠的多传感器模块化系统,用于医疗保健领域的非侵入式数据汇集和分析。实验结果表明,在理想情况下,cc-LS的性能与现有方法的性能相匹配。这种方法在具有挑战性的场景中比最新技术的性能高出13%,对于那些照明不良的场景,比最新技术的性能高出70%。结果还表明,减少眼睛CU配置可以分类姿势没有压力信息,只有轻微的下降,其性能。
2016-02-22 cs.CV
Do Large Multimodal Models Solve Caption Generation for Scientific Figures? Lessons Learned from SciCap Challenge 2023
Pennsylvania State University(宾夕法尼亚州立大学);National Tsing Hua University(国立清华大学);AllSci(奥尔赛公司);MetaMetrics Inc.(美塔麦特里克公司);Adobe Research(奥多比研究院);Institute of Information Science, Academia Sinica(中央研究院资讯科学研究所)
本文总结首届 SciCap Challenge 中各类模型的科学图表标题生成表现,发现 GPT-4V 最受专业编辑青睐,并据此评估先进 LMM 是否已解决该任务。
2025-02-18 cs.AI cs.CL cs.CV
Inference-Free Multimodal Learned Sparse Retrieval for Production-Scale Visual Document Search
NAVER Corp.(NAVER公司);Seoul National University(首尔国立大学);Naver Labs Europe(Naver欧洲实验室)
提出V-SPLADE,一种无需推理的稀疏检索器,通过标题门控令牌监督解决视觉稀疏表示中的词汇基础问题,在视觉文档检索中达到稠密级效果。
2026-05-29 cs.CV cs.IR
Deep Semantic Multimodal Hashing Network for Scalable Image-Text and Video-Text Retrievals
散列技术由于其计算和存储效率高的优点,被广泛应用于大规模多媒体数据的多模态检索。在这篇文章中,我们提出了一种新的深度语义多模态哈希网络(DSMHN)可扩展的图像-文本和视频-文本检索。提出的深度哈希框架利用2-D卷积神经网络(CNN)作为骨干网络来捕获用于图像-文本检索的空间信息,而3-D CNN作为骨干网络来捕获用于视频-文本检索的空间和时间信息。在DSMHN中,通过显式地保留模态间相似性和模态内语义标签来联合学习两组特定于模态的哈希函数。具体地说,假设学习的哈希码应该是分类任务的最佳值,两个流网络被联合训练,通过在所得哈希码上嵌入语义标签来学习哈希函数。此外,提出了一个统一的深度多模态散列框架,通过同时利用特征表示学习、模态间相似性保持学习、语义标签保持学习和具有不同类型损失函数的散列函数学习来学习紧凑且高质量的散列码。所提出的DSMHN方法是一种通用的和可扩展的深度哈希框架,用于图像-文本和视频-文本检索,可以灵活地与不同类型的损失函数集成。我们进行了广泛的实验,单模态和跨模态检索任务四个广泛使用的多模态检索数据集。在图像文本和视频文本检索任务上的实验结果表明,DSMHN显着优于国家的最先进的方法。
2022-01-05 cs.CV
Unsupervised Multimodal Change Detection Based on Structural Relationship Graph Representation Learning
the University of Tokyo(东京大学);RIKEN(理化学研究所);Wuhan University(武汉大学)
无监督的多模态变化检测是一个实际的和具有挑战性的课题,可以在时间敏感的紧急应用中发挥重要作用。为了解决多模态遥感图像由于模态异质性而无法直接比较的挑战,我们利用多模态图像中两种与模态无关的结构关系。特别是,我们提出了一个结构关系图表示学习框架来衡量两个结构关系的相似性。首先,通过基于对象的图像分析方法从预处理的多模态图像对生成结构图。然后,提出了一种结构关系图卷积自编码器(SR-GCAE),从图中学习鲁棒性和代表性的特征。提出了两个分别用于重构顶点信息和边信息的损失函数,使学习到的表示方法适用于结构关系相似性度量。随后,从学习的图表示计算两个结构关系的相似性水平,并且基于相似性水平生成两个差异图像。在得到差分图像后,提出了一种自适应融合策略,对两幅差分图像进行融合。最后,基于形态滤波的后处理方法来细化检测结果。在5个不同模态组合的数据集上的实验结果表明了该方法的有效性。
2022-10-03 cs.CV eess.IV eess.SP
Deep Multimodal Neural Architecture Search
Hangzhou Dianzi University(杭州电子科技大学);Hefei University of Technology(合肥工业大学);The University of Sydney(悉尼大学);Huawei Cloud & AI(华为云与人工智能)
设计有效的神经网络在深度多模态学习中至关重要。现有的大多数工作集中在一个单一的任务和人工设计的神经架构,这是高度特定于任务,很难推广到不同的任务。在本文中,我们设计了一个广义的深度多模态神经架构搜索(MMnas)框架,用于各种多模态学习任务。给定多模态输入,我们首先定义一组原语操作,然后构建一个基于深度编码器-解码器的统一主干,其中每个编码器或解码器块对应于从预定义操作池中搜索的操作。在统一的主干之上,我们附加了特定任务的头来处理不同的多模态学习任务。通过使用基于梯度的NAS算法,有效地学习不同任务的最佳架构。广泛的消融研究,综合分析和比较实验结果表明,所获得的MMnasNet显着优于现有的国家的最先进的方法在三个多模态学习任务(超过五个数据集),包括视觉问答,图像-文本匹配,视觉接地。
2020-10-11 cs.CL cs.CV cs.LG
Cross-Modality Sub-Image Retrieval using Contrastive Multimodal Image Representations
Uppsala University(乌普萨拉大学)
在组织表征和癌症诊断中,多模态成像已经成为一种强大的技术。由于计算的进步,可以利用大型数据集来发现病理模式并改善诊断。然而,这需要高效和可扩展的图像检索方法。跨模态图像检索特别具有挑战性,因为由不同模态捕获的相似(甚至相同)内容的图像可能共享很少的共同结构。我们提出了一种新的应用程序无关的基于内容的图像检索(CBIR)系统,用于跨模态的反向(子)图像搜索,该系统将深度学习与经典的特征提取和词袋模型相结合,以生成表示(将不同的模态嵌入到公共空间中),从而实现高效可靠的检索。我们说明了它的优势,通过替换研究,探索了一些特征提取器和学习表示,以及通过比较最近(跨模态)CBIR方法。对于明场和二次谐波发生显微图像(公开可用)数据集上的(子)图像检索任务,结果表明我们的方法优于所有测试的替代方案。我们讨论了比较方法的缺点和观察的重要性,学习表示和特征提取器在CBIR管道的等变性和不变性。代码可从以下网址获得:\url{https://github.com/MIDA-group/CrossModal_ImgRetrieval}。
2023-03-20 cs.CV
SAE++: Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs
Rutgers University(罗格斯大学);Microsoft Research(微软研究院)
提出级联稀疏自编码器(CSAEs),通过在第一级SAE解码器权重上训练第二级SAE来学习层次化视觉概念,避免嵌套或堆叠SAE的缺点,在多个MLLM和数据集上提升了概念层次一致性和干预效果。
2026-10-08 cs.AI cs.CV cs.LG
Adaptive Fusion Techniques for Multimodal Data
University of Waterloo(滑铁卢大学)
由于多模态数据的异构性,来自多模态(诸如视频、语音和文本)的数据的有效融合是具有挑战性的。在本文中,我们提出了自适应融合技术,旨在有效地从不同的模态建模上下文。我们没有为网络定义一个确定性的融合操作,比如级联,而是让网络决定“如何”更有效地组合一组给定的多模态特征。我们提出了两个网络:1)自动融合,它学习压缩来自不同模态的信息,同时保留上下文,以及2)GAN-Fusion,它从补充模态中正则化学习的潜在空间。对多模态机器翻译和情感识别任务的定量评估表明,我们的轻量级自适应网络可以比现有方法更好地从其他模态建模上下文,其中许多方法采用基于大规模transformer的网络。
2021-01-26 cs.CL cs.CV cs.LG
Multimodal Scale Consistency and Awareness for Monocular Self-Supervised Depth Estimation
Navinfo Europe(四维图新欧洲)
密集的深度估计对于自动驾驶的场景理解是必不可少的。然而,最近的单目视频的自监督方法遭受跨长序列的尺度不一致。利用无处不在的全球定位系统(GPS)的数据,我们解决了这一挑战,提出了一个动态加权的GPS到规模(g2s)的损失,以补充外观为基础的损失。我们强调,GPS只需要在多模态训练,而不是在推理。通过GPS捕获的帧之间的相对距离提供了独立于相机设置和场景分布的比例信号,从而产生更丰富的学习特征表示。通过对多个数据集的广泛评估,我们在推理过程中展示了尺度一致性和感知深度估计,即使在使用低频GPS数据进行训练时也能提高性能。
2021-03-03 cs.CV cs.LG cs.RO
Comparing Deep Learning strategies for paired but unregistered multimodal segmentation of the liver in T1 and T2-weighted MRI
Philips Research Paris(飞利浦巴黎研究院);Hospices Civils de Lyon(里昂民用医院)
我们解决的问题,多模式肝脏分割配对,但未注册的T1和T2加权MR图像。我们比较了文献中描述的几种策略,有或没有多任务训练,有或没有预注册。我们还比较了不同的损失函数(交叉熵,骰子损失和三种对抗性损失)。所有的方法都取得了相当的性能,除了一次执行两个分割的多任务设置,表现不佳。
2021-01-18 cs.CV eess.IV
Unifying Visual-Semantic Embeddings with Multimodal Neural Language Models
University of Toronto(多伦多大学);Canadian Institute for Advanced Research(加拿大高等研究院)
受多模态学习和机器翻译最新进展的启发,我们引入了一个编码器-解码器管道,它学习(a):一个具有图像和文本的多模态联合嵌入空间和(b):一个新的语言模型,用于从我们的空间解码分布式表示。我们的管道有效地统一了联合图像-文本嵌入模型与多模态神经语言模型。我们介绍了结构-内容神经语言模型,该模型将句子的结构与其内容分开,以编码器产生的表示为条件。编码器允许对图像和句子进行排序,而解码器可以从头开始生成新颖的描述。使用LSTM对句子进行编码,我们在不使用目标检测的情况下,在Flickr 8 K和Flickr 30 K上匹配了最先进的性能。我们还在使用19层牛津卷积网络时设置了新的最佳结果。此外,我们表明,使用线性编码器,学习的嵌入空间在向量空间算术方面捕获多模态图像,例如 * 蓝色汽车的图像 * -“蓝色”+“红色”是红色汽车的近图像。为800幅图像生成的示例字幕可供比较。
2014-11-10 cs.CL cs.CV cs.LG
Learned Compression of Point Cloud Geometry and Attributes in a Single Model through Multimodal Rate-Control
University of Duisburg-Essen(杜伊斯堡-埃森大学);Leibniz University Hannover(莱布尼茨汉诺威大学)
本文提出用单一自适应自编码器联合压缩点云几何与属性,通过逐点多模态质量条件化替代模型集成,在保持与最先进方法相当性能的同时降低复杂度。
2024-08-01 cs.CV cs.MM eess.IV
MULE: Multimodal Universal Language Embedding
Boston University(波士顿大学)
现有的视觉语言方法通常一次最多支持两种语言。在本文中,我们提出了一个模块化的方法,可以很容易地纳入现有的视觉语言的方法,以支持多种语言。我们通过学习一个共享的多模态通用语言嵌入(MULE)来实现这一点,该嵌入在所有语言中都是视觉语义对齐的。然后,我们学习将MULE与视觉数据联系起来,就好像它是一种语言一样。我们的方法不是特定于架构的,不像以前的工作,通常学习每种语言的单独分支,使我们的方法能够轻松地适应许多视觉语言的方法和任务。由于MULE在多模态模型中学习单个语言分支,因此我们还可以扩展以支持多种语言,并且具有较少注释的语言可以利用从其他(更丰富)语言数据中学习的良好表示。我们证明了MULE在双向图像-句子检索任务上的有效性,在单个模型中支持多达四种语言。此外,我们还表明,机器翻译可用于多语言学习中的数据增强,与MULE相结合,与先前的工作相比,单语言的平均召回率提高了21.9%,其中最显着的收益是在注释相对较少的语言上。我们的代码是公开的。
2019-12-28 cs.CL cs.CV
Deep Multimodal Feature Encoding for Video Ordering
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of Toronto(多伦多大学);Massachusetts Institute of Technology(麻省理工学院);Inria(法国国家信息与自动化研究所)
对视频的真正理解来自对其所有形式的联合分析:视频帧,音轨和任何伴随的文本,如隐藏字幕。我们提出了一种方法来学习一个紧凑的多模态特征表示,编码所有这些方式。我们的模型参数是通过推断一组无序视频在时间轴中的时间顺序的代理任务来学习的。为此,我们创建了一个新的多模态数据集的时间排序,包括约30 K场景(每个场景2-6个剪辑)的基础上的“大规模电影描述挑战”。我们分析和评估三个具有挑战性的任务的个人和联合模态:(i)推断一组视频的时间顺序;(ii)动作识别。我们的经验表明,多模态表示确实是互补的,可以发挥关键作用,提高许多应用程序的性能。
2020-04-05 cs.CV cs.LG cs.MM
Multimodal Image Super-resolution via Deep Unfolding with Side Information
Vrije Universiteit Brussel(布鲁塞尔自由大学);imec(比利时微电子研究中心)
深度学习方法已成功应用于各种计算机视觉任务。然而,现有的神经网络架构本身并不包含关于所解决问题的领域知识,因此,理解模型已经学习到的内容是一个开放的研究课题。在本文中,我们依赖于一种迭代算法的展开,用于稀疏近似和边信息,并设计了一种用于多模态图像超分辨率的深度学习架构,该架构结合了稀疏先验并有效地利用了来自另一种图像模态的信息。我们开发了两种深度模型,在第二种模态的高分辨率图像的帮助下,从其低分辨率变体重建目标图像模态的高分辨率图像。我们将所提出的模型应用于超分辨率近红外图像,使用高分辨率RGB图像作为边信息。实验结果表明,所提出的模型对国家的最先进的方法,包括单峰和多峰的方法的优越性能。
2019-10-18 cs.CV cs.LG eess.IV
Decoupling the Role of Data, Attention, and Losses in Multimodal Transformers
DeepMind(深度思维)
最近,多模态Transformer模型得到了普及,因为它们在语言和视觉任务上的表现表明它们学习了丰富的视觉语言表征。针对zero-shot图像检索任务,我们研究了影响学习表征质量的三个重要因素:预训练数据、注意力机制和损失函数。通过在六个数据集上对模型进行预训练,我们观察到数据集噪声和语言与下游任务的相似性是模型性能的重要指标。通过架构分析,我们了解到具有多模态注意力机制的模型可以优于具有模态特定注意力机制的更深模型。最后,我们表明,成功的对比损失中使用的自监督学习文献不产生类似的性能增益时,用于多模态Transformers
2021-01-31 cs.CL cs.CV
Training Vision-Language Process Reward Models for Test-Time Scaling in Multimodal Reasoning: Key Insights and Lessons Learned
AI Singapore(AI新加坡);Nanyang Technological University(南洋理工大学)
本文探索视觉-语言过程奖励模型的设计空间,提出混合数据合成与感知聚焦监督方法,并在多模态基准上验证其能有效提升测试时扩展的推理性能。
2025-10-07 cs.AI cs.CV
MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data
Amazon(亚马逊公司)
本文提出MSP框架,无需配对跨模态数据,仅用模态-文本对等即可训练多模态大模型,实现零样本模态组合,在多模态基准上性能达最优或具竞争力。
2026-10-16 cs.AI cs.CV
BAS-OPD: Budget-Aware Selective On-Policy Self-Distillation for Fine-Grained Multimodal Perception
HFIPS, Chinese Academy of Sciences(中国科学院合肥物质科学研究院);University of Science and Technology of China(中国科学技术大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对多模态大模型细粒度感知中教师查询成本高的问题,提出预算感知的选择性在线策略自蒸馏框架BAS-OPD,通过智能选择信息样本分配监督,在保持性能的同时大幅降低训练成本。
2026-09-23 cs.AI cs.CV
Weakly supervised multimodal segmentation of acoustic borehole images with depth-aware cross-attention
Federal University of Bahia, Institute of Geosciences, Department of Geophysics(巴伊亚联邦大学,地质科学学院,地球物理学系);Grupo de Estudos e Aplicação de Inteligência Artificial em Geofísica (GAIA)(地质物理中人工智能研究与应用小组)
本文提出一种弱监督多模态分割框架,通过深度感知的跨注意力机制提升钻孔图像分割性能,结合二维图像纹理与一维井下数据,实现无监督的高精度分割。
2026-03-21 cs.AI cs.CV physics.geo-ph
OnceSelect: Reusable Data Selection for Efficient Multimodal Instruction Tuning
Nanyang Technological University(南洋理工大学)
提出OFA框架,通过一次训练可迁移的选择器,无需重新计算即可从任意数据集或模型中筛选出最具信息量的多模态指令数据,实现高效微调。
2026-10-06 cs.CV
DMCL: Distillation Multiple Choice Learning for Multimodal Action Recognition
Istituto Italiano di Tecnologia(意大利理工学院);Università di Genova(热那亚大学);Boston University(波士顿大学);Università di Verona(维罗纳大学);Huawei Ireland Research Center(华为爱尔兰研究中心)
在这项工作中,我们解决了使用多模态数据学习专家网络集成的问题,同时考虑在测试时可能丢失模态的现实和具有挑战性的情况。我们的目标是利用多种模式的互补信息,以使整体和每个单独的网络受益。我们为多模态数据引入了一个新的蒸馏多选择学习框架,其中不同的模态网络从头开始在合作环境中学习,相互加强。由于其他模态的指导,使用我们的方法学习的模态网络比单独训练的模态网络实现了更高的准确性。我们在三个视频动作识别基准数据集上评估了这种方法。我们获得国家的最先进的结果相比,其他方法,在测试时丢失的方式。
2019-12-23 cs.CV
Multimodal Adaptive Fusion of Face and Gait Features using Keyless attention based Deep Neural Networks for Human Identification
SRM Institute of Science and Technology(SRM科学技术学院);Instituto Superior Técnico, Univ. of Lisbon(里斯本大学高等技术学院)
生物识别技术在基于视觉的监控应用中发挥着重要作用。步态等软生物特征被广泛用于人脸识别和重新识别等监控任务。然而,在实际情况下,经典的融合技术对个人用户和外部环境的变化响应不佳。为此,我们提出了一种新的自适应多生物特征融合策略,通过利用无键注意深度神经网络动态整合步态和面部生物特征线索。各种外部因素,如视点和距离相机,在这项研究中进行了调查。大量的实验表明,与现有模型相比,该模型具有更好的性能。
2023-03-24 cs.CV
A Nash Equilibrium Framework For Training-Free Multimodal Step Verification
Microsoft Research India(微软印度研究院);Indian Institute of Technology Hyderabad(印度海得拉巴理工学院)
本文提出一种无训练的多模态步骤验证方法,将步骤验证视为专门法官之间的协调问题,并通过纳什均衡游戏形式化法官之间的交互,通过闭式解计算均衡分数,实现对分歧的敏感过滤和稳定性意识的排名,实验表明跨模态一致性(而非平均置信度)提供了鲁棒的验证信号。
2026-05-19 cs.CV cs.GT
Towards Achieving Perfect Multimodal Alignment
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文将多模态对齐建模为逆问题,提出完美对齐条件及基于SVD的近似方法,并通过合成数据和人体动作识别任务验证其有效性。
2025-06-09 cs.AI cs.CV cs.LG
Deep Multimodal Guidance for Medical Image Classification
Simon Fraser University(西蒙弗雷泽大学)
医学影像学是现代医学治疗和诊断的基石。然而,用于特定治疗诊断任务的成像模态的选择通常涉及使用特定模态的可行性(例如,短等待时间、低成本、快速采集、降低的辐射/侵入性)和临床任务的预期性能(例如,诊断准确性、治疗计划和指导的功效)。在这项工作中,我们的目标是应用从不太可行但性能更好(优越)的方式来指导利用更可行但性能不佳(劣质)的方式,并引导它提高性能。我们专注于深度学习在基于图像的诊断中的应用。我们开发了一个轻量级的指导模型,利用从上级模态学习的潜在表示,当训练一个只消耗下级模态的模型时。我们研究了我们的方法在两个临床应用的背景下的优势:多任务皮肤病变分类从临床和皮肤镜图像和脑肿瘤分类从多序列磁共振成像(MRI)和组织病理学图像。对于这两种情况,我们显示了在不需要上级模态的情况下,下级模态的诊断性能的提高。此外,在脑肿瘤分类的情况下,我们的方法优于在高级模态上训练的模型,同时产生与在推理过程中使用两种模态的模型相当的结果。
2022-07-21 cs.CV
Incomplete Multimodal Learning for Remote Sensing Data Fusion
University of Trento(特伦托大学)
针对遥感融合中推理模态缺失问题,提出支持监督与自监督预训练的不完整多模态学习模型,利用融合 token、Bi-LSTM 注意力、掩码自注意力及重建与对比损失,在两类数据集上达到最先进性能。
2023-04-22 cs.CV
Efficient Multimodal Diffusion Models Using Joint Data Infilling with Partially Shared U-Net
University of Southern California(南加州大学)
本文提出部分共享U-Net多模态扩散模型,通过模态专用层与联合数据填充采样,在MS-COCO上以更小规模和更快速度实现更高质量的文本与图像生成。
2023-11-28 cs.AI cs.CV
Multi-Modality Deep Network for Extreme Learned Image Compression
针对极低码率图像压缩中的模糊与语义丢失问题,提出文本引导的多模态压缩框架,通过图文融合模块和语义一致性损失实现优于高码率SOTA的重建效果。
2023-04-26 cs.CV eess.IV
A Comparison of Pre-trained Vision-and-Language Models for Multimodal Representation Learning across Medical Images and Reports
Feinberg School of Medicine(范伯格医学院);Northwestern University(西北大学)
从医学图像和相关的上下文报告中提取的联合图像-文本嵌入是大多数生物医学视觉和语言(V+L)任务的基础,包括医学视觉问答、临床图像-文本检索、临床报告自动生成。在这项研究中,我们采用四个预训练的V+L模型:LXMERT,VisualBERT,UNIER和PixelBERT从MIMIC-CXR射线照片和相关报告中学习多模态表示。对OpenI数据集的外部评估表明,与开创性的CNN-RNN模型相比,通过预训练的V+L模型学习的联合嵌入在胸部发现分类任务中表现出性能改善。我们进行了消融研究,分析某些模型组件的贡献,并验证联合嵌入的优势,只有文本嵌入。我们还可视化了注意力图来说明V+L模型的注意力机制。
2020-09-03 cs.CV
Multimodal Image Denoising based on Coupled Dictionary Learning
University College London(伦敦大学学院)
在本文中,我们提出了一种新的多模态图像去噪方法,在一个给定的图像模态下的指导图像模态的援助下,衰减高斯白加性噪声。耦合图像去噪方法包括两个阶段:耦合稀疏编码和重构。第一阶段执行联合稀疏变换的多模态图像相对于一组学习耦合字典,其次是收缩操作的稀疏表示。然后,在第二阶段中,收缩表示,连同耦合字典,有助于通过逆变换的去噪图像的重建。所提出的去噪方案展示了捕获不同数据模态的共同和独特特征的能力。这种能力使我们的方法更强大的指导和目标图像之间的不一致,从而克服了缺点,如纹理复制文物。在真实多模态图像上的实验表明,该方法能够更好地利用指导信息,在图像去噪任务中带来显着的好处,相对于最先进的。
2018-06-26 cs.CV
Multimodal Shape Completion via Conditional Generative Adversarial Networks
Peking University(北京大学);Shandong University(山东大学)
已经提出了几种深度学习方法来完成来自形状采集设置的部分数据,即,填充形状中缺失的区域。然而,这些方法仅使用单个输出来完成部分形状,忽略了在推理丢失的几何体时的模糊性。因此,我们提出了一个多模态形状完成问题,在这个问题中,我们试图通过学习一个一对多的映射来完成具有多个输出的部分形状。我们开发了第一个多峰形状完成方法,通过条件生成建模完成部分形状,而不需要成对的训练数据。我们的方法通过在可能结果的学习多模态分布上完成条件来提取模糊性。我们广泛评估的方法在几个数据集,包含不同形式的形状不完整性,并比较几个基线方法和我们的方法的变体定性和定量,证明我们的方法在完成部分形状的多样性和质量的优点。
2020-07-08 cs.CV