多模态大模型

MambaCount: Efficient Text-guided Open-vocabulary Object Counting with Spatial Sparse State Space Duality Block

MambaCount: 基于空间稀疏状态空间对偶块的高效文本引导开放词汇目标计数

Hao-Yuan Ma, Li Zhang, Minjie Qiang, Jie Gao

机构 * School of Computer Science and Technology, Soochow University（苏州大学计算机科学与技术学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 提出MambaCount框架，通过空间稀疏状态空间对偶块解决Mamba在非因果视觉任务中的双向依赖限制和空间token高熵问题，实现线性复杂度的开放词汇目标计数，在FSC-147上取得12.23的测试MAE。

EyeMVP: OCT-Informed Fundus Representation Learning via Paired CFP--OCT Pretraining

EyeMVP: 通过配对CFP-OCT预训练实现OCT启发的眼底表征学习

Zhuo Deng, Ruiheng Zhang, Ziheng Zhang, Weihao Gao, Yitong Li, Qian Wang, Lei Shao, Jiaoyue Dong, Zhixi Zeng, Lijian Fang, Haibo Wang, Xiaobin Lin, Tao Liu, Zhicheng Du, Zhengwei Zhang, Lin Yang, Zheng Gong, Xinyu Zhao, Zhenquan Wu, Fang Li, Zhiguang Zhou, Guoming Zhang, Sun Jing, Han Lv, Wenbin We, Lan Ma

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Beijing Tongren Eye Center, Beijing Tongren Hospital, Capital Medical University（首都医科大学附属北京同仁医院北京同仁眼科中心） ； Liangxiang Hospital of Beijing Fangshan District, Capital Medical University（首都医科大学北京市房山区良乡医院） ； The Third People's Hospital of Dalian（大连市第三人民医院） ； National Clinical Research Center for Endocrine and Metabolic Diseases, The Second Xiangya Hospital of Central South University（中南大学湘雅二医院国家内分泌代谢病临床医学研究中心） ； The Central Hospital of Baoji City（宝鸡市中心医院） ； Wuxi No.2 People's Hospital, Affiliated Wuxi Clinical College of Nantong University（南通大学附属无锡临床学院无锡市第二人民医院） ； Shenzhen Eye Hospital, Southern Medical University（南方医科大学深圳眼科医院） ； Beijing Friendship Hospital, Capital Medical University（首都医科大学附属北京友谊医院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出跨模态视网膜基础模型EyeMVP，利用配对CFP-OCT预训练，通过跨模态掩码重建将OCT结构信息注入CFP表征，在16项下游任务中优于现有模型，尤其对黄斑疾病诊断有显著提升。

MolSight: Molecular Property Prediction with Images

MolSight: 基于图像的分子属性预测

Aaditya Baranwal, Akshaj Gupta, Yogesh S Rawat, Shruti Vyas

机构 * University of Central Florida（中央佛罗里达大学） ； Birla Institute of Technology and Science（比拉理工学院和科学学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 MolSight首次系统研究基于视觉的分子属性预测，通过10种视觉架构和7种预训练策略，在10个下游任务中展示性能，提出化学引导课程提升效果，以更低的FLOPs实现优异结果。

How do Self-Supervised Remote Sensing Vision Models Transfer to Downstream Tasks?

自监督遥感视觉模型如何迁移到下游任务？

Julia Romero, Qin Lv, Morteza Karimzadeh

机构 * University of Colorado Boulder（科罗拉多大学博尔德分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究六种代表性自监督地理空间基础模型（GeoFMs）在下游任务中的迁移表现，发现模型排名随任务和适应设置变化，中间层特征比最终层更相关，且解码器设计等适应设置影响与模型选择相当。

A Mechanistic Analysis of Adversarial Fine-tuning of Vision Transformers

视觉Transformer对抗微调的机制分析

Hannah Gao, Isha Agarwal, Dylan Hadfield-Menell, Rachel Ma

机构 * Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 通过机制分析研究对抗微调对视觉Transformer在扰动和常规图像上性能的影响，发现微调仅改善特定类型扰动，未改变稀疏表示。

HiDe: Rethinking The Zoom-IN method in High Resolution MLLMs via Hierarchical Decoupling

HiDe: 通过分层解耦重新思考高分辨率MLLMs中的Zoom-IN方法

Xianjie Liu, Yiman Hu, Yixiong Zou, Liang Wu, Jian Xu, Bo Zheng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HiDe框架，通过分层解耦方法解决高分辨率图像中背景干扰导致的视觉理解问题，提升多模态大语言模型在高分辨率图像任务中的性能。

Comments Accepted by ICML2026

LaVIDE: Language-Prompted Satellite Change Detection via Map-Image Alignment

LaVIDE: 通过地图-图像对齐的语言提示卫星变化检测

Shuguo Jiang, Fang Xu, Chuandong Liu, Hong Tan, Shengyang Li, Lei Yu, Wen Yang, Sen Jia, Gui-Song Xia

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院） ； Technology and Engineering Center for Space Utilization and the Key Laboratory of Space Utilization, Chinese Academy of Sciences（中国科学院空间利用技术与重点实验室） ； School of Aeronautics and Astronautics, University of Chinese Academy of Sciences（中国科学院大学航空宇航学院） ； School of Electronic Information, Wuhan University（武汉大学电子信息学院） ； College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出LaVIDE框架，利用受限提示学习和对象感知嵌入增强，通过语言弥合高层地图类别与低层图像细节之间的语义鸿沟，实现跨模态对齐，在多类与单类变化检测任务上分别提升IoU 18.4%和5.2%。

V-LynX: Token Interface Alignment for Video+X LLMs

V-LynX: 视频+X 大语言模型的令牌接口对齐

Jungin Park, Jiyoung Lee, Kwanghoon Sohn

机构 * Yonsei University, Seoul, South Korea（延世大学，首尔，韩国） ； Ewha Womans University, Seoul, South Korea（成均馆大学，首尔，韩国） 纠错

专题命中 多模态训练与对齐 ：audio-visual(abstract)；分类 cs.CV、cs.AI

AI总结 本文发现视频大语言模型中存在令牌接口连续流形，并提出V-LynX框架，通过轻量辅助路径对齐注意力响应和统计分布，无需配对监督即可集成新模态，在音视频问答、3D推理等任务上达到最优效率。

Comments ICML 2026 Camera-ready

FEA-SLT: A Gloss-Free End-to-End Framework for Facial-Expression-Aware Sign Language Translation

FEA-SLT：一种面向面部表情感知的手语翻译的无词汇端到端框架

Guobin Tu, Di Weng

机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.CL

AI总结 提出FEA-SLT框架，通过面部表情感知融合模块利用面部动态作为语义锚点，解决无词汇手语翻译中手势歧义问题，在PHOENIX14T和CSL-Daily数据集上达到最优BLEU性能。

Self-signals Driven Multi-LLM Debate for Efficient and Accurate Reasoning

自信号驱动的多LLM辩论以实现高效准确的推理

Xuhang Chen, Zhifan Song, Deyi Ji, Shuo Gao, Lanyun Zhu

机构 * University of Cambridge（剑桥大学） ； Sorbonne Université（索邦大学） ； University of Science and Technology of China（中国科学技术大学） ； Beihang University（北航大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出一种利用模型级置信度和token级语义焦点两种自信号来自适应引导多LLM辩论过程的方法，在提高准确性的同时减少token消耗。

VaaWIT: Visual-Aware Adaptation of Large Language Models for Multilingual Web Image Translation

VaaWIT: 面向多语言网页图像翻译的大语言模型视觉感知适配

Bo Li, Ronghao Chen, Ningyuan Deng, Huacan Wang, Shaolin Zhu, Lijie Wen

机构 * The Hong Kong University of Science（香港科技大学） ； Tianjin University（天津大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 针对网页图像翻译中视觉表示差距问题，提出VaaWIT框架，通过双流注意力模块和视觉感知适配器，实现大语言模型对细粒度视觉特征的动态融合，在多个基准上超越开源模型并接近闭源模型性能。

Comments Accepted by KDD 2026

DisDop: Distillation with Domain Priors for Open-Vocabulary Aerial Object Detection

DisDop: 基于领域先验蒸馏的开放词汇航空目标检测

Ruihao Xu, Yong Liu, Yansong Tang, Sule Bai, Xubing Ye, Bingyao Yu, Yutao Guo, Jiwen Lu, Jie Zhou

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出DisDop框架，通过从遥感基础模型（RemoteCLIP和DINOv3）中系统蒸馏多级领域先验知识到轻量级检测器，实现开放词汇航空目标检测的最新性能。

Ordering Matters: Rank-Aware Selective Fusion for Blended Emotion Recognition

排序重要：面向混合情感识别的排名感知选择性融合

Junghyun Lee, Hyunseo Kim, Hanna Jang, Junhyug Noh

机构 * Department of Artificial Intelligence and Software（人工智能与软件系） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种排名感知的多编码器框架，通过注意力门控模块选择最有效的编码器进行融合，并解耦预测为存在性和显著性头，结合无监督域适应，在混合情感识别任务中取得第二名成绩。

Comments Accepted at IEEE FG 2026 Workshops. Final system ranked 2nd in the BlEmoRE Challenge. 9 pages including appendix, 8 figures

IVR-R1: Refining Trajectories through Iterative Visual-Grounded Reasoning in Reinforcement Learning

IVR-R1：通过强化学习中的迭代视觉基础推理优化轨迹

Chenghao Li, Fusheng Hao, Xikai Zhang, Likang Xiao, Yanwei Ren, Fuxiang Wu, Quan Chen, Liu Liu

机构 * Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Kuaishou Technology（快手科技） ； Shenzhen Institute of Advanced Integration Technology, Shenzhen（深圳先进集成技术研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 提出IVR-R1框架，利用奖励驱动的筛选机制和迭代再推理循环，在强化学习中动态校正多模态推理轨迹，以解决视觉幻觉和逻辑错误问题。

SceneAligner: 3D-Grounded Floorplan Localization in the Wild

SceneAligner: 在真实场景中实现基于3D的平面定位

Junhyeong Cho, Ruojin Cai, Hadar Averbuch-Elor

机构 * Cornell University（康奈尔大学） ； Kempner Institute, Harvard University（哈佛大学 Kempner 院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种在真实场景中实现基于3D重建的平面定位方法，通过将任务 grounding 在场景的重建3D表示中，解决了现有方法在大规模建筑和栅格化平面图中应用受限的问题。

Comments Project Page: https://Cornell-VAILab.github.io/SceneAligner

An Open Multi-Center Whole-Body FDG PET/CT Foundation Model for Tumor Segmentation

一种开放的多中心全身FDG PET/CT基础模型用于肿瘤分割

Xiaofeng Liu, Qianru Zhang, Thibault Marin, Menghua Xia, Chi Liu, Georges El Fakhri, Jinsong Ouyang

机构 * Department of Radiology and Biomedical Imaging, Yale Biomedical Imaging Institute, Yale University（放射学与生物医学成像系，耶鲁生物医学影像研究所，耶鲁大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种开放的多中心全身FDG PET/CT基础模型，通过整合四个公开数据集中的4997份标准化扫描，利用层次UNet结构和早期通道拼接实现解剖和代谢特征的交互，提高了肿瘤分割的标签效率和跨模态表征学习能力。

Comments Code available at: https://github.com/liu-xiaofeng/Foundation-Model-for-PET-CT

Deformba: Vision State Space Model with Adaptive State Fusion

Deformba：具有自适应状态融合的视觉状态空间模型

Hongyu Ke, Jack Morris, Yongkang Liu, Satoshi Kitai, Kentaro Oguchi, Yi Ding, Haoxin Wang

机构 * Department of Computer Science, Georgia State University（佐治亚州立大学计算机科学系） ； University of Tennessee Knoxville（田纳西大学肯纳邦克分校） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出Deformba，一种能够动态增强空间结构信息并保持状态空间模型线性复杂度的自适应方法，通过多模态融合（如交叉注意力）提升视觉任务的性能，展示了在2D和3D视觉任务中的广泛适用性。

Journal ref Forty-Third International Conference on Machine Learning (ICML 2026)

A More Word-like Image Tokenization for MLLMs

一种更像单词的图像标记化方法用于大规模语言模型

Hyun Lee, Hyemin Jeong, Yejin Kim, Hyungwook Choi, Hyunsoo Cho, Soo Kyung Kim, Joonseok Lee

机构 * Seoul National University（首尔国立大学） ； Ewha Womans University（成均馆大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种解耦视觉标记化方法（DiVT），通过将图像块嵌入聚类为语义单元，使每个标记对应于独特的视觉概念，从而提升多模态模型的性能和效率。

Journal ref Proceedings of the IEEE/CVF International Conference on Pattern Recognition and Computer Vision (CVPR), 2026

SSL4RL: Revisiting Self-supervised Learning as Intrinsic Reward for Visual-Language Reasoning

SSL4RL：重新审视自监督学习作为视觉语言推理的内在奖励

Xiaojun Guo, Runyu Zhou, Yifei Wang, Qi Zhang, Chenheng Zhang, Stefanie Jegelka, Xiaohan Wang, Jiajun Chai, Guojun Yin, Wei Lin, Yisen Wang

机构 * Peking University（北京大学） ； MIT（麻省理工学院） ； TUM（技术大学（TUM）） ； Meituan（美团） ； Peking University School of CIT, MCML, MDSIEECS and CSAIL（北京大学计算机学院、MCML、MDSIEECS以及CSAIL） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出SSL4RL框架，利用自监督学习任务作为强化学习的可验证奖励，提升视觉语言推理性能，并通过实验验证其在多模态模型对齐中的有效性。

MHMamba: Multi-Head Mamba for 3D Brain Tumor Segmentation

MHMamba：多头Mamba用于3D脑肿瘤分割

Hanjun Tao, Hua Wang, Fan Zhang

机构 * Shandong Technology and Business University（山东科技与商务大学） ； Ludong University（鲁东大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MHMamba，结合U型结构与多头状态空间模型，提升3D脑肿瘤分割的长程表示与多模态训练稳定性，实验显示在BraTS数据集上整体准确率和边界平滑度显著提升。

Comments 10 pages, 3 figures, 4 tables

Neural Visual Decoding via Cognitive guided Adaptive Blurring and Information Constrained Alignment

通过认知引导的自适应模糊和信息受限对齐实现神经视觉解码

Fan Yin, Chuhang Zheng, Peiliang Gong, Donghai Guan, Qi Zhu

机构 * Department of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（南京航空航天大学人工智能学院） ； Department of Electrical and Information Engineering, Tianjin University（天津大学电气与信息工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CAIA框架，通过认知引导的自适应模糊和信息受限对齐，提升神经信号与视觉语义的映射精度，改进零样本脑-图像检索的Top-1和Top-5准确率。

Decomposed Vision-Language Alignment for Fine-Grained Open-Vocabulary Segmentation

分解式视觉-语言对齐用于细粒度开放词汇分割

Chenhao Wang, Yingrui Ji, Yu Meng, Yao Zhu

机构 * Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空航天信息研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Zhejiang University（浙江大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出分解式视觉-语言对齐框架，通过将文本提示分解为概念令牌和多个属性令牌，实现细粒度开放词汇分割中对未见属性-类别组合的泛化提升。

GRIP-VLM: Group-Relative Importance Pruning for Efficient Vision-Language Models

GRIP-VLM：基于组相对重要性的高效视觉-语言模型压缩

Mingzhe Huang, Weijun Wang, Xin Ding, Liang Mi, Hao Wen, Yuanchun Li, Lichen Pang, Shansong Yang, Yunxin Liu, Ting Cao

机构 * Institute for AI Industry Research (AIR), Tsinghua University（人工智能产业研究院（AIR），清华大学） ； Juhaokan Technology Co.,Ltd（极皓科技有限公司） ； Nanjing University（南京大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 GRIP-VLM通过强化学习框架解决视觉语言模型中大规模视觉token处理的计算瓶颈，通过组相对重要性策略优化实现高效压缩，达到15%的推理加速。

Comments 10 pages, 11 figures

REFNet++: Multi-Task Efficient Fusion of Camera and Radar Sensor Data in Bird's-Eye Polar View

REFNet++：多任务高效融合摄像头和雷达传感器数据的鸟瞰极坐标视图

Kavin Chandrasekaran, Sorin Grigorescu, Gijs Dubbelman, Pavol Jancura

机构 * ElektroBit Automotive GmbH ； Eindhoven University of Technology（埃因霍温理工大学） ； Transilvania University of Brasov（布拉索夫特拉扬大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出REFNet++，通过统一域对齐摄像头和雷达数据，实现车辆检测和自由空间分割的高效多模态融合，提升环境感知的准确性和效率。

Comments IEEE Intelligent Transportation Systems Conference (ITSC) 2025

When Looking Is Not Enough: Visual Attention Structure Reveals Hallucination in MLLMs

当观察不足时：视觉注意结构揭示大语言模型中的幻觉

Fanpu Cao, Xin Zou, Xuming Hu, Hui Xiong

机构 * Thrust of Artificial Intelligence, HKUST (Guangzhou)（人工智能前沿 thrust，香港科技大学（广州）） ； Department of Computer Science and Engineering, HKUST（计算机科学与工程系，香港科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过分析视觉注意的高频结构揭示大语言模型中的幻觉现象，提出LaSCD解码策略，有效减少幻觉并保持模型能力。

Turning Drift into Constraint: Robust Reasoning Alignment in Non-Stationary Multi-Stream Environments

将漂移转化为约束：非稳态多流环境中的鲁棒推理对齐

Xiaoyu Yang, En Yu, Wei Duan, Jie Lu

机构 * Australian Artificial Intelligence Institute (AAII)（澳大利亚人工智能研究所） ； Faulty of Engineering and Information Technology（工程与信息技术学院） ； University of Technology Sydney（悉尼技术大学） ； Australia（澳大利亚） 纠错

专题命中 多模态训练与对齐 ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出APO框架，通过约束满足问题解决多源推理对齐问题，实验表明其在胸片解读中鲁棒性优于现有模型，并发布CXR-MAX基准测试集。

Comments ICML 2026

Capacity-Aware Inference: Mitigating the Straggler Effect in Mixture of Experts

容量感知推理：减轻混合专家中的滞后效应

Shwai He, Weilin Cai, Jiayi Huang, Ang Li

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出容量感知令牌丢弃和扩展丢弃方法，通过减少专家负载不平衡提升混合专家模型的推理效率和性能。

Comments ICLR 2026

DAPE: Dynamic Non-uniform Alignment and Progressive Detail Enhancement Techniques for Improving the Performance of Efficient Visual Language Models

DAPE：动态非均匀对齐与渐进细节增强技术以提升高效视觉语言模型的性能

Mengyuan Tian, Qiyan Zhao, Yanan Wang, Da-Han Wang

机构 * The Wang Yanan Institute for Studies in Economics, Xiamen University, Xiamen 361005, China（厦门大学王文安经济研究所） ； Fujian Key Laboratory of Pattern Recognition and Image Understanding, School of Computer and Information Engineering, Xiamen University of Technology, Xiamen 361024, China（福建pattern识别与图像理解重点实验室，厦门理工大学计算机与信息工程学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出DAPE框架，通过动态跨模态对齐和连续细节引入技术，提升高效视觉语言模型的性能，减少计算开销并提升下游任务准确性。

Comments Accepted in ICIC 2026 Oral

Text-Guided Multi-Scale Frequency Representation Adaptation

基于文本的多尺度频率表示适应

Weicai Yan, Xinhua Ma, Wang Lin, Tao Jin

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出FreqAdapter，通过在频域进行多尺度信号微调，结合文本信息减少信息冗余，提升多模态模型的性能与效率。

Comments ACL 2026 Main

Pan-FM: A Pan-Organ Foundation Model with Saliency-Guided Masking for Missing Robustness

Pan-FM：一种具有显著性引导掩码的全器官基础模型以实现缺失鲁棒性

Qiangqiang Wu, Grace McIlvain, Zhou Yu, Junhao Wen

机构 * Laboratory of AI and Biomedical Science（人工智能与生物医学科学实验室） ； Columbia University（哥伦比亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Pan-FM通过显著性引导掩码技术，解决多模态生物医学数据缺失问题，提升全器官表示学习的鲁棒性，优于单器官和多器官基线模型。