Self-Supervised Neural Architecture Search for Multimodal Deep Neural Networks
Kagoshima University(鹿儿岛大学)
本文提出了一种自监督学习方法,用于多模态深度神经网络的架构搜索,能够在未标记数据上有效设计DNN架构。
2025-12-31 cs.LG cs.NE
MixMAS: A Framework for Sampling-Based Mixer Architecture Search for Multimodal Fusion and Learning
Higher School of Computer Science(高等计算机科学学院);Aix-Marseille Univ(艾克斯-马赛大学);IRD(法国发展研究所)
MixMAS提出基于采样的微基准测试框架,自动搜索最优MLP架构,以有效整合多模态数据并提升融合学习性能。
2024-12-24 cs.LG
MUFASA: Multimodal Fusion Architecture Search for Electronic Health Records
Google Research(谷歌研究院)
将深度学习应用于电子健康记录(EHR)的一个重要挑战是其多模态结构的复杂性。EHR通常包含结构化(代码)和非结构化(自由文本)数据的混合物,这些数据具有稀疏和不规则的纵向特征-所有这些都是医生在做出决策时使用的。在深度学习领域,确定不同的模态表示应该如何融合在一起是一个困难的问题,这通常是通过手工建模和直觉来解决的。在这项工作中,我们扩展了最先进的神经架构搜索(NAS)的方法,并提出了多模态融合架构SeArch(MUFASA),同时搜索跨多模态融合策略和模态特定的架构第一次。我们的经验表明,我们的MUFASA方法优于公共EHR数据与可比的计算成本建立单峰NAS。此外,MUFASA还生产性能优于Transformer和Evolved Transformer的架构。与CCS诊断代码预测的这些基线相比,我们发现的模型将前5名的召回率从0.88提高到0.91,并展示了推广到其他EHR任务的能力。通过深入研究我们的顶级架构,我们提供了经验证据,证明MUFASA的改进来自于其为每种数据模态定制建模并找到有效融合策略的能力。
2021-10-06 cs.AI cs.CL cs.LG
Evaluating Cost-Accuracy Trade-offs in Multimodal Search Relevance Judgements
Objective, Inc.(奥布杰克蒂夫公司);Peoples' Friendship University of Russia (RUDN University)(俄罗斯人民友谊大学(鲁德尼大学));Joint Institute for Nuclear Research(联合核子研究所);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);University of Skövde(舍夫德大学)
本文在多个多模态搜索场景中比较 LLM 与 MLLM 同人类判断的一致性,分析成本与准确性权衡,发现性能随情境显著变化且视觉输入可能损害小模型。
2024-10-25 cs.CL cs.IR cs.LG
Triple Path Enhanced Neural Architecture Search for Multimodal Fake News Detection
School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院);School of Computer Science, Fudan University(复旦大学计算机学院);School of Software, Dalian University of Technology(大连理工大学软件学院)
针对多模态假新闻检测中信息融合不足和部分模态泛化弱的问题,提出三路径增强神经架构搜索模型MUSE,通过两条动态路径和一条静态路径实现稳定性能提升。
2025-02-06 cs.CV
Multimodal Evaluation of Russian-language Architectures
本文提出MERA Multi框架,用于评估俄语多模态架构,包含18个新任务和统一的评估方法,旨在解决俄语多模态基准缺失的问题。
2026-01-26 cs.AI cs.CL cs.CV
Multilingual Multimodal Pre-training for Zero-Shot Cross-Lingual Transfer of Vision-Language Models
Carnegie Mellon University(卡内基梅隆大学);Facebook AI;University of Oxford(牛津大学)
本文研究了视觉语言模型的zero-shot跨语言迁移。具体来说,我们专注于多语言文本到视频搜索,并提出了一个基于transformer的模型,学习上下文化的多语言多模态嵌入。在一个zero-shot设置下,我们经验证明,当我们用非英语句子查询多语言文本视频模型时,性能会显着下降。为了解决这个问题,我们引入了多语言多模态预训练策略,并收集了一个新的多语言教学视频数据集(MultiHowTo 100 M)进行预训练。VTT上的实验表明,我们的方法显着提高了视频搜索在非英语语言没有额外的注释。此外,当多语言注释可用时,我们的方法在VTT和VATEX上的多语言文本到视频搜索中以及Multi 30 K上的多语言文本到图像搜索中的表现都大大优于最近的基线。我们的模型和Multi-HowTo 100 M可在http://github.com/berniebear/Multi-HT100M上获得。
2021-04-15 cs.CL cs.CV
A Multimodal Architecture for Endpoint Position Prediction in Team-based Multiplayer Games
Computer Graphics(计算机图形学);Johannes Kepler University Linz(约瑟夫·施特劳斯大学林茨);DS Research(DS研究);Wargaming(沃拉基姆)
针对团队多人游戏中玩家移动预测问题,提出融合图像、数值、类别与动态状态的 U-Net 多模态架构和多头注意力机制,以预测未来终点概率热力图。
2025-07-28 cs.AI cs.CV cs.LG
Using Neural Architecture Search for Improving Software Flaw Detection in Multimodal Deep Learning Models
Sandia National Laboratories(桑迪亚国家实验室)
使用多模态深度学习模型的软件缺陷检测已被证明是基准问题上非常有竞争力的方法。在这项工作中,我们证明了使用神经架构搜索(NAS)与多模态学习模型相结合可以实现更好的性能。我们适应的NAS框架,旨在调查图像分类的问题,软件缺陷检测和证明朱丽叶测试套件,一个流行的基准测试数据集,用于测量性能的机器学习模型在这个问题域的改进结果。
2020-09-22 cs.AI cs.CR cs.LG
Joint Visual-Textual Embedding for Multimodal Style Search
Amazon Lab126(亚马逊Lab126)
我们介绍了一种多模态视觉文本搜索细化方法的时尚服装。现有的搜索引擎不能实现基于特定产品的属性对检索结果的直观的、交互式的细化。我们提出了一种方法来检索相似的项目,基于查询项目的图像和文本细化属性。我们相信这种方法可以用来解决许多现实生活中的客户场景,其中需要不同颜色,图案,长度或风格的类似物品。我们采用了一种联合嵌入训练方案,其中产品图像及其目录文本元数据在共享空间中紧密映射。这种联合视觉-文本嵌入空间允许基于文本细化要求在语义上操纵目录图像。我们提出了一个新的训练目标函数,小批量匹配检索,并证明了它的优越性比常用的三重损失。此外,我们还演示了添加属性提取模块的可行性,该模块在相同的目录数据上进行训练,并演示了如何将其集成到多模态搜索中以提高其性能。我们介绍了一个评估协议与相关的基准,并比较几种方法。
2019-06-15 cs.CV cs.IR cs.LG
NepOOC-M: Bilingual Nepali-English Benchmark and Comparative Analysis of Multimodal Architectures for OOC Detection
针对尼泊尔语OOC虚假信息检测,构建首个尼泊尔语多语言OOC基准NepOOC,评估多模态等架构发现仅文本mBERT性能最优,数据集扩充比架构优化更有效。
2026-08-21 cs.CL cs.CV
Harmonic-NAS: Hardware-Aware Multimodal Neural Architecture Search on Resource-constrained Devices
Higher National School of Computer Science - ESI ex INI(国立高等计算机学院(ESI,前INI));Université Polytechnique Hauts-de-France(上法兰西综合理工大学);INSA Hauts-de-France(上法兰西国立应用科学学院)
提出硬件感知的 Harmonic-NAS 框架,通过两层方法联合优化单模态骨干与多模态融合策略及算子,在资源受限设备上显著提升准确率、延迟和能效。
2023-09-28 cs.CV cs.LG
RandomNet: Towards Fully Automatic Neural Architecture Design for Multimodal Learning
Mila - Quebec Artificial Intelligence Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Panasonic AI Solution Center(松下人工智能解决方案中心);Université de Montréal(蒙特利尔大学)
几乎所有的神经架构搜索方法都是根据它找到的模型结构的性能(即测试精度)进行评估的。它应该是一个好的autoML方法的唯一度量标准吗?为了检查性能之外的方面,我们提出了一组旨在评估autoML问题核心的标准:将这些方法部署到现实世界场景中所需的人工干预量。基于我们提出的评估清单,我们研究了一个随机的搜索策略的有效性,全自动多模态神经架构搜索。与依赖于手工制作的特征提取器的传统方法相比,我们的方法从一个大的搜索空间中选择每种模态,并具有最少的人工监督。我们表明,我们提出的随机搜索策略执行接近最先进的AV-MNIST数据集,同时满足理想的特性,一个完全自动化的设计过程。
2020-03-02 cs.CV cs.LG stat.ML
POINTS-Seeker: An Open Recipe for Multimodal Search Agents with Visual Memory Management
School of Artificial Intelligence, Shanghai Jiao Tong University(上海交通大学人工智能学院);CMIC, Shanghai Jiao Tong University(上海交通大学CMIC);WeChat AI, Tencent(腾讯WeChat AI)
本文提出POINTS-Seeker模型,通过引入代理播种机制和V-Fold压缩方案,解决长周期交互中的证据检索问题,并在六个基准测试中超越现有模型。
2026-07-30 cs.CV
Many Heads but One Brain: Fusion Brain -- a Competition and a Single Multimodal Multitask Architecture
University of Helsinki(赫尔辛基大学);Artificial Intelligence Research Institute(人工智能研究院)
为了支持AI社区的当前趋势,我们提出了名为Fusion Brain的AI Journey 2021挑战赛,这是第一个旨在制作通用架构的竞赛,该架构可以处理不同的模式(在这种情况下,图像,文本和代码)并解决视觉和语言的多个任务。Fusion Brain Challenge结合了以下特定任务:Code 2code翻译、手写文本识别、Zero-shot目标检测和视觉问答。我们为每个任务创建了数据集,以测试参与者的提交。此外,我们还收集并公开了一个新的手写数据集,包括94,128对图像和文本,包括英语和俄语。我们还提出了一个多模式和多任务架构-一个基线解决方案,其中心是一个冻结的基础模型,并已在融合模式和单任务模式下进行了训练。所提出的融合方法被证明是有竞争力的,更节能的任务相比。
2022-12-28 cs.AI cs.CL cs.CV
MERRIN: A Benchmark for Multimodal Evidence Retrieval and Reasoning in Noisy Web Environments
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Virginia Tech(弗吉尼亚理工大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
MERRIN基准评估搜索增强代理在噪声网络环境中的多模态证据检索与推理能力,通过自然语言查询和多模态证据检索测试,发现现有模型在复杂任务中表现有限,需进一步提升多模态处理能力。
2026-04-15 cs.AI cs.CL cs.CV
An Evolutionary Network Architecture Search Framework with Adaptive Multimodal Fusion for Hand Gesture Recognition
Xiangtan University(湘潭大学);De Montfort University(德蒙福特大学)
本文提出AMF-ENAS框架,通过设计考虑融合位置和比例的编码空间,自动搜索适用于多模态手势识别的网络架构,在Ninapro DB2、DB3和DB7数据集上达到最先进性能。
2024-03-27 cs.AI cs.CV cs.NE
MMSearch: Benchmarking the Potential of Large Models as Multi-modal Search Engines
CUHK(香港中文大学);MiuLar Lab(MiuLar实验室);Peking University(北京大学);Shanghai AI Laboratory(上海人工智能实验室);Stanford University(斯坦福大学);ByteDance(字节跳动);Nanjing University(南京大学);Sensetime Research(商汤科技研究院)
针对当前AI搜索引擎多模态能力缺失问题,提出MMSearch基准与MMSearch-Engine管道,验证LMMs作为多模态搜索引擎的潜力,实验显示GPT-4o结合该管道端到端任务性能超越Perplexity Pro。
2024-11-27 cs.AI cs.CL cs.CV
Why Existing Multimodal Crowd Counting Datasets Can Lead to Unfulfilled Expectations in Real-World Applications
Hochschule Darmstadt(达姆施塔特应用技术大学)
本文利用现有多模态人群计数数据集系统比较单模态与多模态模型,发现现有数据集偏向热图像,无法普遍回答多模态是否更优,并提出未来数据集构建标准。
2023-04-13 cs.CV
Revisiting Multimodal Fusion for 3D Anomaly Detection from an Architectural Perspective
Northeastern University(东北大学);CATL(宁德时代);City University of Hong Kong(香港城市大学)
本文系统研究了多模态融合架构设计对3D异常检测的影响,涵盖模块内和模块间融合层级,并提出3D-ADNAS首次同时搜索多模态融合策略与模态特定模块,在准确率、帧率和内存上取得一致提升且在少样本任务中潜力显著。
2024-12-23 cs.CV
A Multimodal Deep Learning Framework for Early Diagnosis of Liver Cancer via Optimized BiLSTM-AM-VMD Architecture
Department of Encephalopathy, Chengdu Pidu District Hospital of Traditional Chinese Medicine, Chengdu 611730, China(成都Pidu区中医医院神经病科);Department of Tuina, Chengdu Pidu District Hospital of Traditional Chinese Medicine, Chengdu 611730, China(成都Pidu区中医医院推拿科);Department of Electrical and Computer Engineering, Carnegie Mellon University, Pittsburgh, PA 15213, USA(卡内基梅隆大学电气与计算机工程系)
本研究提出整合BiLSTM、多头注意力与VMD的多模态深度学习框架,利用多类异质数据实现肝癌早期诊断,在真实数据集上性能优于传统及基线模型,兼具准确率与可解释性。
2025-09-01 cs.LG eess.IV
Multimodal Dataset Distillation Made Simple by Prototype-Guided Data Synthesis
Department of Industrial and Management Engineering(工业与管理工程系)
通过原型引导的数据合成实现多模态数据集蒸馏,无需大规模训练和优化,提升跨架构泛化能力。
2026-02-27 cs.CV
Targeted Neural Architectures in Multi-Objective Frameworks for Complete Glioma Characterization from Multimodal MRI
School of Computer Science and Engineering, Vellore Institute of Technology(韦洛尔理工学院计算机科学与工程学院);College of Engineering, Guindy, Anna University(安娜大学金迪工程学院);Institute of Neurosurgery, Madras Medical College(马德拉斯医学院神经外科研究所)
本文提出多目标框架下的定向神经架构,利用多模态MRI完成胶质瘤定位、分割与分级,并在分割和分类任务中分别取得96% IoU与98.53%准确率。
2025-03-18 cs.CV cs.LG eess.IV
Transformer RGBT Tracking with Spatio-Temporal Multimodal Tokens
Anhui University(安徽大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
提出一种Transformer RGBT跟踪方法,通过混合静态与动态多模态Token并结合注意力机制处理目标外观变化,在三个基准数据集上以39.1 FPS实现有竞争力的性能。
2024-01-03 cs.CV
VisuoThink: Empowering LVLM Reasoning with Multimodal Tree Search
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院);The University of Sydney(悉尼大学);Shanghai AI Laboratory(上海人工智能实验室);Nanyang Technological University(南洋理工大学)
针对LVLM在复杂推理任务中因缺乏视觉-语言交织思考而表现不佳的问题,提出VisuoThink框架,整合视觉空间与语言领域实现多模态慢思考,通过前瞻树搜索扩展,无需微调即显著提升几何和空间推理性能。
2025-04-12 cs.CL
An Approach for Combining Multimodal Fusion and Neural Architecture Search Applied to Knowledge Tracing
Zhejiang Gongshang University(浙江工商大学);Southern Methodist University(南方卫理公会大学)
知识追踪是追踪学生对特定学习领域的不同技能的掌握程度的过程。它是构建自适应学习系统的关键组成部分之一,已经研究了几十年。在深度神经网络在其他领域取得成功的同时,我们也看到研究人员在学习科学界采取了类似的方法。然而,大多数现有的基于深度学习的知识跟踪模型要么:(1)只使用正确/不正确的响应(忽略来自其他模态的有用信息),要么(2)通过试验和错误通过领域专业知识设计其网络架构。在本文中,我们提出了一个顺序模型为基础的优化方法,结合多模态融合和神经结构搜索在一个框架内。当只涉及一种模态时,常用的神经结构搜索技术可以被认为是我们所提出的方法的特殊情况。我们还建议使用一个新的度量标准,称为时间加权曲线下面积(加权AUC),以衡量序列模型如何随时间推移而表现。我们在两个公开的真实数据集上评估了我们的方法,显示所发现的模型能够实现卓越的性能。与大多数现有的作品,我们进行McNemar的测试模型的预测和结果是统计上显着的。
2021-11-08 cs.CY cs.LG
Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks
University of Southern California(南加州大学)
针对现有持续学习方法多聚焦单模态、大型预训练Transformer微调成本高的问题,提出基于Transformer的TAM-CL框架,通过新增任务专属参数、知识蒸馏实现多模态任务持续学习,缓解灾难性遗忘,开销低且达SOTA性能。
2024-01-27 cs.CV
Neural Architecture Search for Gliomas Segmentation on Multimodal Magnetic Resonance Imaging
University of Electronic Science and Technology of China(电子科技大学)
在过去的几年里,人工智能在各个医学领域的发展都受到了启发。神经胶质瘤是最常见的脑肿瘤之一,生存率低,其诊断和治疗严重依赖于磁共振成像(MRI)扫描的计算机辅助分割过程。尽管编码器-解码器形状的深度学习网络已经成为医学成像分析中语义分割任务的事实上的标准样式,但仍需要花费大量精力来设计下采样和上采样块的详细架构。在这项工作中,我们提出了一个神经架构搜索(NAS)为基础的解决方案,脑肿瘤分割任务的多模式体积MRI扫描。该算法针对三种基本积木块分别构造了三组候选操作,每个候选操作都分配了一个待学习的概率参数。该搜索机制通过交替更新网络中的操作权值和其他参数,最终得到向上块和向下块的两个最优结构。此外,开发的解决方案还集成了针对大脑MRI处理量身定制的标准化和修补策略。在BraTS 2019数据集上进行的大量对比实验表明,该算法不仅可以减轻块结构的制造压力,而且具有竞争力的可行性和可扩展性。
2020-05-20 cs.CV eess.IV stat.ML
M3-JEPA: Multimodal Alignment via Multi-gate MoE based on the Joint-Embedding Predictive Architecture
Geely AI Lab(Geely人工智能实验室);Shenzhen Institutes of Advanced Technology(深圳先进技术研究院);Peking University(北京大学)
针对多模态学习中的模态坍缩问题,提出基于JEPA和MMoE的M3-JEPA框架,在潜在空间对齐模态,实现最先进性能并高效泛化。
2025-06-18 cs.AI cs.LG
Neural Architecture Search with Multimodal Fusion Methods for Diagnosing Dementia
École Polytechnique, Institut Polytechnique de Paris(巴黎理工学院巴黎综合理工学院);National Technical University of Athens(雅典国立技术大学)
本文提出利用神经架构搜索(NAS)自动寻找CNN架构,并结合多模态因子化双线性池化和Tucker分解等融合方法,在ADReSS Challenge数据集上有效融合语音与文本模态以检测痴呆症,性能优于现有方法。
2023-04-05 cs.LG
Tree-of-Evidence: Efficient "System 2" Search for Faithful Multimodal Grounding
Georgia Institute of Technology(佐治亚理工学院)
本文提出Tree-of-Evidence算法,通过离散优化问题实现多模态模型的可解释性,通过证据瓶颈和束搜索生成可审计的证据集,保留高预测性能并提升决策一致性。
2026-04-29 cs.LG
Data-Local Autonomous LLM-Guided Neural Architecture Search for Multiclass Multimodal Time-Series Classification
University of Southampton(南安普顿大学)
本文提出一种数据本地的LLM引导神经架构搜索框架,用于多类多模态时间序列分类,通过轻量级融合MLP和专家架构联合搜索提升模型性能,减少人工干预。
2026-03-16 cs.AI cs.LG
ArchGPT: Understanding the World's Architectures with Large Multimodal Models
State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统国家重点实验室);School of Computer Science and Engineering(计算机科学与工程学院);Beihang University(北京航空航天大学);School of Computer Science and Technology(计算机科学与技术学院);Shandong University(山东大学)
针对现有VR/MR/AR系统在建筑理解中难以扩展的问题,本文提出ArchGPT多模态VQA模型,并构建了含约31.5万图像问答对的Arch-300K数据集,通过多阶段流程和LLM知识蒸馏实现高质量注释,微调ShareGPT4V-7B后显著提升建筑场景理解能力。
2025-09-25 cs.CV cs.GR cs.MM
The Evolution of Multimodal Model Architectures
Purdue University(普渡大学);Chaos Industries Inc.(混沌工业公司);Stanford(斯坦福大学);Amazon(亚马逊公司)
本文识别并分类了四种多模态模型架构,分析了各自的融合方式、优缺点,并指出类型C和D在任意到任意多模态生成中的优势,为模型选择提供指导。
2024-05-28 cs.AI cs.CL cs.CV
One-Shot Item Search with Multimodal Data
Samsung Electronics(三星电子)
在近相似图像搜索任务中,来自深度神经网络的特征通常用于比较图像和测量相似性。在过去,我们只关注图像数据集的视觉搜索,而没有文本数据。然而,自从深度神经网络出现以来,视觉搜索的性能变得足够高,可以将其应用于从3D数据到多模态数据的许多行业。相对于多模态搜索的需求,目前的研究还不够充分。本文提出了一种基于图像和文本多模态数据集的近似相似搜索方法。早期的相似图像搜索,特别是在搜索购物商品时,将图像和文本分开处理来搜索相似商品并对结果进行重新排序。这将图像搜索和文本匹配这两个任务视为两个不同的任务。然而,我们的方法使用图像和文本来探索大量数据以计算k-最近邻。在我们的相似项搜索实验中,我们的系统使用多模态数据表现出更好的性能比单一的数据,而它只增加分钟的计算时间。在实验中,我们从在线购物网站收集了超过1500万件配件和600万件数字产品,其中产品项目包括项目图像,标题,类别和描述。然后,我们比较了这些数据集上的多模态搜索和单空间搜索的性能。
2018-11-28 cs.CV
Leveraging Large Language Models for Multimodal Search
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业自动化研究所);Amazon(亚马逊公司)
本文提出一种在Fashion200K数据集上创性能新高的多模态搜索模型,并集成LLMs构建支持自然语言交互的新颖搜索界面,显著提升了购物助手的类人交互与整体搜索体验。
2024-04-24 cs.CV
Asking Multimodal Clarifying Questions in Mixed-Initiative Conversational Search
University of Copenhagen(哥本哈根大学);University of Amsterdam(阿姆斯特丹大学);The Chinese University of Hong Kong(香港中文大学)
本文提出在混合主动会话搜索中提出多模态澄清问题的新任务,构建了Melon数据集并提出Marto模型,通过添加图像使检索性能提升达90%。
2024-02-12 cs.CL cs.CV
DeepMMSearch-R1: Empowering Multimodal LLMs in Multimodal Web Search
Johns Hopkins University(约翰霍普金斯大学);Apple(苹果公司)
提出DeepMMSearch-R1,首个支持按需多轮搜索的多模态大模型,通过两阶段训练和VQA数据集,实现图像与文本查询的动态构造与自我修正,提升搜索效率与效果。
2025-10-14 cs.CV cs.IR
Modular Multimodal Architecture for Document Classification
页面分类是任何文档分析系统的关键组件,它允许为给定文档的不同组件提供复杂的分支控制流。利用一个页面的视觉和文本内容,所提出的方法超过了目前最先进的性能在RVL-CDIP基准在93.03%的测试准确率。
2019-12-09 cs.CV
S-Omninet: Structured Data Enhanced Universal Multimodal Learning Architecture
Allstate Insurance Company(好事达保险公司)
本文提出S-Omninet架构,通过引入交叉缓存注意力、视觉patch embeddings及结构化数据支持,实现多模态多任务学习,显著优于基线Omninet。
2023-07-01 cs.CV cs.LG
Vision-DeepResearch Benchmark: Rethinking Visual and Textual Search for Multimodal Large Language Models
本文提出Vision-DeepResearch基准,通过精心设计的问题评估多模态大语言模型的视觉与文本搜索能力,并引入多轮裁剪搜索流程提升实际检索性能。
2026-02-28 cs.AI cs.CL cs.CV
Self-Supervised Multimodal Domino: in Search of Biomarkers for Alzheimer's Disease
Georgia Institute of Technology(佐治亚理工学院);Georgia State University(佐治亚州立大学);Emory University(埃默里大学);Center for Translational Research in Neuroimaging and Data Science(神经影像学与数据科学转化研究中心);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Delft University of Technology(代尔夫特理工大学)
来自多个来源的感官输入对于强大和连贯的人类感知至关重要。不同的来源提供了互补的解释因素。类似地,研究通常收集多模态成像数据,其中每一个都可以提供共享和独特的信息。这一观察激发了强大的多模态自监督表示学习算法的设计。在本文中,我们统一在一个单一的框架下的多模态自监督学习最近的工作。观察到大多数自监督方法都会优化一组模型组件之间的相似性度量,我们提出了组织该过程的所有合理方法的分类法。我们首先评估玩具多模式MNIST数据集上的模型,然后将其应用于阿尔茨海默病患者的多模式神经成像数据集。我们发现,(1)多模态对比学习具有显着的优势,其单峰对应,(2)多个对比目标的具体组成是关键的性能上的下游任务,(3)表示之间的相似性的最大化有一个正则化的影响神经网络,这有时会导致下游性能下降,但仍然揭示多模态关系。实验结果表明,该方法在线性评估协议下,在不同数据集上的性能优于基于典型相关分析(CCA)的自监督编码器-解码器方法和基于专家混合的多模态变分自编码器变分自编码器(MMVAE)。重要的是,我们找到了一个有前途的解决方案,通过共同共享的子空间来揭示模态之间的联系,这可以帮助我们推进神经成像生物标志物的研究。
2021-06-16 cs.CV cs.LG
MM-DeepResearch: A Simple and Effective Multimodal Agentic Search Baseline
MM-DeepResearch通过Hyper-Search和DR-TTS方法,构建了多模态代理搜索基线,实现了高效多模态研究任务的处理。
2026-03-01 cs.AI cs.CV
MultiResUNet : Rethinking the U-Net Architecture for Multimodal Biomedical Image Segmentation
BUET(孟加拉国工程技术大学)
近年来,深度学习在医学图像分割方面取得了突破性进展。在这方面,U-Net是最突出的深度网络,它一直是医学成像领域最受欢迎的架构。尽管在分割多模态医学图像方面表现出色,但从对具有挑战性的数据集的广泛实验中,我们发现经典的U-Net架构似乎在某些方面有所欠缺。因此,我们提出了一些修改,以改善已经国家的最先进的U-Net模型。因此,经过修改,我们开发了一种新的架构MultiResUNet作为成功的U-Net架构的潜在继任者。我们已经比较了我们提出的架构MultiResUNet与经典的U-Net上的大量的多模态医学图像。尽管在理想图像的情况下略有改进,但对于具有挑战性的图像,性能已获得显着提高。我们在五个不同的数据集上评估了我们的模型,每个数据集都有自己独特的挑战,并且分别获得了10.15%,5.07%,2.63%,1.41%和0.62%的相对性能提升。
2019-02-11 cs.CV
Latent graph encoding of multimodal neuroimaging features with generative AI architectures
Center for Translational Research in Neuroimaging and Data Science (TReNDS)(转化神经影像与数据科学研究中心)
研究旨在设计多模态生成框架用于神经影像特征分析,通过评估多种策略和模型,利用GMV和sFNC特征分析多个生成框架,提出的gMMVAE在多指标上超替代变体,有潜力用于稳健的多模态神经影像分析。
2026-07-09 cs.AI cs.CV cs.LG
OneCAD: One Classifier for All image Datasets using multimodal learning
Purdue University(普渡大学)
本研究提出OneCAD框架,利用掩码图像建模和多模态学习,实现与类别数量无关的图像分类模型架构,并在多个数据集上验证其可行性。
2023-05-11 cs.CL cs.CV cs.LG
Multimodal Densenet
Johns Hopkins University(约翰斯·霍普金斯大学);Beijing Institute of Technology(北京理工大学)
人类通过解释来自多个来源的复杂数据来做出准确的决策。特别是医学诊断,往往取决于人类对多模态信息的解释。为了使人工智能在自动化、客观和准确的诊断和预后方面取得进展,需要融合来自多种医学成像模态的信息的方法。然而,组合来自多个数据源的信息具有若干挑战,因为当前的深度学习架构缺乏从多模态信息中提取有用表示的能力,并且通常使用简单的级联来融合这些信息。在这项工作中,我们提出了Multimodal DenseNet,一种融合多模态数据的新架构。我们提出的架构不是专注于级联或早期和晚期融合,而是在几个层上融合信息,并在如何组合来自多个来源的信息方面给予模型灵活性。我们将这种架构应用于内窥镜检查中息肉表征和地标识别的挑战。来自白光图像的特征与来自窄带成像或深度图的特征融合。这项研究表明,多模态DenseNet优于单模态分类以及其他多模态融合技术的显着保证金在两个不同的数据集。
2018-11-18 cs.AI cs.CV cs.LG
PreviewDiff: Multimodal Critic-Guided Search over Diffusion Latents
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Cloud AI Research(谷歌云人工智能研究部);UCSF(加州大学旧金山分校)
PreviewDiff提出无需训练的测试时搜索方法,将扩散采样转为多模态评论引导的潜空间搜索,通过部分预览和反馈分支改进生成,在图像视频基准上优于Best-of-N。
2026-09-30 cs.AI cs.CV cs.LG
SVFSearch: A Multimodal Knowledge-Intensive Benchmark for Short-Video Frame Search in the Gaming Vertical Domain
Kuaishou Technology(快手科技)
本文提出SVFSearch,首个针对中文游戏领域短视频帧搜索的多模态知识密集型基准,通过5000个四选一测试示例和4198个辅助训练示例,评估了从直接问答到计划-行动-重新计划代理等多种方法在短视频帧搜索中的性能。
2026-05-20 cs.AI cs.CV cs.LG
ProMMSearchAgent: A Generalizable Multimodal Search Agent Trained with Process-Oriented Rewards
East China Normal University(东中国师范大学);Shanghai Innovation Institute(上海创新研究院);Huawei Noah's Ark Lab(华为诺亚实验室);Independent Researcher(独立研究者);University College London(伦敦大学学院)
本文提出ProMMSearchAgent,通过过程导向奖励解决多模态代理在知识密集型视觉推理中的训练难题,实现零样本迁移至Google搜索API。
2026-04-22 cs.CV
DeepVoyager-VL: Incentivizing Vision-in-the-Loop Search for Long-Horizon Multimodal Agents
PKU(北京大学);HKUST(GZ)(香港科技大学(广州));NUDT(中国人民解放军国防科技大学);OUC(中国海洋大学);HITSZ(哈尔滨工业大学(深圳));Huawei Cloud BU(华为云业务部)
针对现有多模态深度搜索忽视视觉中间推理作用的局限,提出DeepVoyager-VL框架,构建多模态事件图合成数据,设计智能体框架实现主动视觉获取,经10个基准实验验证其有效性。
2026-08-04 cs.AI cs.CV
MMSearch-OPD: Easy Made Hard, Hard Made Learnable for Long-Horizon Multimodal Search Agents
Peking University(北京大学);HKUST(GZ)(香港科技大学(广州));Tsinghua University(清华大学);The University of Hong Kong(香港大学);Zhejiang University(浙江大学);Huawei Cloud BU(华为云业务部)
针对长程多模态搜索智能体训练的挑战性问题,提出结合可控数据优化、联合RL与OPD的MMSearch-OPD,经实验验证可提升长程多模态深度搜索能力。
2026-10-16 cs.CV
EMMA: Efficient Multimodal Understanding, Generation, and Editing with a Unified Architecture
Huawei Inc.(华为公司)
EMMA提出了一种高效的统一多模态架构,通过高效自编码器、通道级拼接、共享解耦网络和专家混合机制,在效率和性能上超越现有方法。
2025-12-15 cs.CV
Silent Failures in Multimodal Agentic Search:A Diagnostic Taxonomy and Cross-Judge Evaluation
Ant Group(蚂蚁集团)
研究多模态智能体搜索中无声故障这一隐藏可靠性问题,引入六类分类法,构建轨迹级诊断管道,通过实验表明表面准确性高估真实正确性,且无声故障与能力相关、常转移。
2026-07-23 cs.AI cs.CV