多模态大模型

Cross-Modal MRI Ovary Segmentation in Endometriosis Using Unpaired TVUS Prototype Priors

基于未配对经阴道超声（TVUS）原型先验的子宫内膜异位症跨模态MRI卵巢分割

Xingjian Kang, Lina Felsner, Dominik Perrin, Daiqi Liu, Jasmin Arjomandi, Franziska Mathis-Ullrich, Alexandra Stoll, Katharina Breininger

机构 * Center for AI and Data Science (CAIDAS), Julius-Maximilians-Universität Würzburg（维尔茨堡大学人工智能与数据科学中心） ； Institute for Computational Imaging and AI in Medicine (CompAI), Technical University of Munich（慕尼黑工业大学计算成像与医学人工智能研究所） ； Pattern Recognition Lab, Friedrich-Alexander Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学模式识别实验室） ； Department Artificial Intelligence in Biomedical Engineering (AIBE), Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡大学生物医学工程人工智能系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对子宫内膜异位症MRI卵巢分割难题，本研究提出结合TVUS原型库的双分支框架，适配MedSAM3对齐跨模态特征，在相关数据集上较SOTA方法提升超5个百分点，验证了原型库与热身预训练的作用。

MS-MFAD : Multimodal large language models for Face Anti-spoofing Detection

MS-MFAD：用于人脸活体检测的多模态大语言模型

Xiaoyong Yu, Rongzhen Li, Shuming Shi, Xinge You

机构 * Mashang Consumer Finance Co., Ltd.（马上消费金融股份有限公司） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对人脸活体检测的复合威胁与现有方法瓶颈，提出基于多模态大语言模型MFAD的可解释系统，通过细粒度像素-语义锚定机制与少量语义标注实现优异检测性能，鲁棒性与效率更优。

ProjFormer: Point Cloud Completion via Geometric-Projective Transformer and Cross-Modal Semantic Constraints

ProjFormer：基于几何投影Transformer与跨模态语义约束的点云补全

Sheng Liu, Meng Wang, Ruihui Li, Huilong Pi, Zhuo Tang, Kenli Li

机构 * Hunan University（湖南大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对现有点云补全方法几何一致性与适应性不足的问题，提出ProjFormer跨模态框架，通过投影引导视图注意力模块与几何感知路由网络实现高效特征聚合与融合，在轻量级设计下取得了具竞争力的补全性能。

Comments Accepted by ACM Multimedia 2026. 10 pages, 6 figures, 5 tables

Less Data, Faster Convergence: Goal-Driven Data Optimization for Multimodal Instruction Tuning

数据更少，收敛更快：面向多模态指令微调的目标驱动数据优化

Rujie Wu, Haozhe Zhao, Hai Ci, Yizhou Wang

机构 * Peking University（北京大学） ； University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出目标驱动数据优化框架GDO，通过优化训练样本实现更快收敛和更高精度，适用于多模态指令微调任务。

Comments Accepted to ECCV 2026

FuseLIP: Multimodal Embeddings via Early Fusion of Discrete Tokens

FuseLIP：通过离散令牌的早期融合实现多模态嵌入

Christian Schlarmann, Francesco Croce, Nicolas Flammarion, Matthias Hein

机构 * Tübingen AI Center University of Tübingen（图宾根人工智能中心大学） ； EPFL（瑞士联邦理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出FuseLIP架构，通过文本与图像令牌的统一词汇表实现早期融合，收集新数据集并设计挑战性任务，在多模态及单模态嵌入任务中优于后期融合方法。

Comments TMLR 2026. Code and models available at https://github.com/chs20/fuselip

IoU-PD: IoU-Aware Privileged Distillation for Visual Grounding with Multimodal Large Language Models

IoUPD：用于多模态大语言模型视觉定位的IoU感知特权蒸馏

Xiuyuan Zhu, Ke Lu, Hao Wu, Siwen Jiao, Zijin Du, Dongming Zhang, Jian Xue

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； State Key Laboratory of Communication Content Cognition（通信内容认知技术国家重点实验室） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究多模态大语言模型视觉定位中训练与评估不匹配问题，提出IoUPD方法，利用真实框作特权指导，训练时学生模型接收原始信息，教师模型接收增强提示，经监督微调与特权蒸馏损失训练，推理时无需额外模块，实验显示该方法有改进。

Comments 16 pages, 7 figures, 10 tables

LEMUR: Latent Entropy-aware Multimodal Unlearning via Visual-anchored Reasoning Redirection

LEMUR：基于视觉锚定推理重定向的潜在熵感知多模态遗忘

Xinhao Zhong, Yuxia Qiao, Junhao Li, Hao Fang, Yi Sun, Bin Chen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 针对原生RL训练多模态模型的隐私泄漏问题，提出基于熵动态的无训练推理时遗忘框架LEMUR，可更有效地抑制敏感信息在推理轨迹和答案中的泄漏，同时保留模型非敏感效用。

GeoUniPR: A Geometry-Consistent Unified Framework for Cross-Modal Place Recognition

GeoUniPR：用于跨模态地点识别的几何一致性统一框架

Wonbong Kim, Jiatong Xiao, Rui Li, Xufei Wang, Qiwen Gu, Junqiao Zhao, Chen Ye, Guang Chen

机构 * School of Computer Science and Technology, Tongji University（同济大学计算机科学与技术学院） ； Shanghai Research Institute for Intelligent Autonomous System, Tongji University（同济大学上海智能自主系统研究院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本研究提出GeoUniPR框架，通过构建几何一致性深度图像视图并引入SC-InfoNCE损失，在无需复杂对齐模块的情况下，实现了跨模态地点识别的最优性能与良好泛化能力。

Comments 17 pages, 10 figures

RankByGene: Gene-Guided Histopathology Representation Learning Through Cross-Modal Ranking Consistency

RankByGene: 通过跨模态排序一致性实现基因引导的组织病理学表示学习

Wentao Huang, Meilong Xu, Xiaoling Hu, Shahira Abousamra, Aniruddha Ganguly, Saarthak Kapse, Alisa Yurovsky, Prateek Prasanna, Tahsin Kurc, Joel Saltz, Michael L. Miller, Chao Chen

机构 * Stony Brook University（石英溪大学） ； Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital and Harvard Medical School（阿提诺拉A.马丁努斯生物医学影像中心，麻省总医院和哈佛医学院） ； Department of Biomedical Data Science, Stanford University（生物医学数据科学系，斯坦福大学） ； Department of Pathology and Cell Biology, Columbia University（病理学与细胞生物学系，哥伦比亚大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出基于排序对齐损失的框架，利用教师-学生网络自监督知识蒸馏，解决空间转录组学与组织学图像的对齐问题，在基因表达预测、切片分类和生存分析任务中表现优异。

Comments 12 pages, 8 figures, accepted by TMI'26

MIDAS: Mutual Information Disentanglement with Uncertainty-Aware Fusion for Incomplete Multimodal Sentiment Analysis

MIDAS：面向不完整多模态情感分析的基于不确定性感知融合的互信息解缠方法

Yuhua Wen, Yingying Zhou, Qifei Li, Yingming Gao, Zhengqi Wen, Jianhua Tao, Ya Li

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Zhongguancun Academy（中关村学院） ； Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究针对多模态情感分析中模态不完整的问题，提出MIDAS框架，通过互信息解缠与不确定性感知融合实现鲁棒的多模态表示，在多个数据集上取得优于基线的性能。

Comments Accepted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2026

TeaMatch: Teachable Cross-Modal Representation Learning for 2D-3D Matching

TeaMatch：用于2D-3D匹配的可教学跨模态表示学习

Chongjian Wang, Junjie Gao

机构 * Shandong University of Science and Technology（山东科技大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 本研究提出TeaMatch框架，将可教学性作为跨模态表示学习准则，提升2D-3D匹配鲁棒性，可无缝集成到现有匹配流水线，在相关基准上实现SOTA性能。

Multimodal Skin Lesion Classification with Swin Transformer and Clinical Metadata Fusion

基于Swin Transformer与临床元数据融合的多模态皮肤病变分类

Nethmi Pathirana, Isuru Munasinghe, Dileeka Alwis

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对皮肤病变分类的自动化挑战，提出结合Swin Transformer图像特征与临床元数据的多模态框架，在公开数据集上实现92.55%测试准确率，兼具强少数类性能与预测可信度。

From Visual to Multimodal: Systematic Ablation of Encoders and Fusion Strategies in Animal Identification

从视觉到多模态：动物识别中编码器和融合策略的系统消融

Vasiliy Kudryavtsev, Kirill Borodin, German Berezin, Kirill Bubenchikov, Grach Mkrtchian, Alexander Ryzhkov

机构 * Faculty of IT, Technical University of Communication（信息科技学院，通信技术大学） ； AI lab, Avito（人工智能实验室，Avito） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出多模态验证框架，通过合成文本描述提升视觉特征，利用门控融合机制在动物识别中实现84.28%的准确率，比单一模态基线提升11%。

Comments Accepted to the FGVC13 Workshop at CVPR 2026. And published at MDPI Journal of Imaging (see at https://www.mdpi.com/2313-433X/12/1/30)

Journal ref Journal of Imaging (2026) 12, no. 1: 30

BMDS-Net:Deployment-aware multi-modal brain tumor segmentation with adaptive fusion,decoder regularization,and Bayesian calibration

BMDS-Net：一种用于鲁棒脑肿瘤分割的贝叶斯多模态深度监督网络

Yan Zhou, Suncheng Xiang, Zhen Huang, Yue Ouyang, Yingqiu Li, Zehua Wang

机构 * School of Mathematics and Statistics, Changsha University of Science and Technology（数学与统计学学院，长沙理工大学） ； School of Biomedical Engineering, Shanghai Jiao Tong University（生物医学工程学院，上海交通大学） ； Shanghai Chest Hospital, Shanghai Jiao Tong University School of Medicine（上海胸科医院，上海交通大学医学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 BMDS-Net通过贝叶斯方法提升多模态脑肿瘤分割的鲁棒性和可信度，实现更稳定的临床应用。

Comments 21 pages, 6 figures. Manuscript prepared for submission to ACM HEALTH

GAUGE: Granularity-Adaptive Counterfactual Gating of Evidence for Incomplete Multimodal Classification

GAUGE：面向不完整多模态分类的粒度自适应反事实证据门控

Yunping Shi, En Yu, Kairui Guo, Jie Lu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对不完整多模态分类问题，提出轻量型GAUGE框架，通过细粒度反事实证据门控实现更优性能，为模态不完整下的证据控制提供了可扩展方案。

AI-driven Multimodal Representation Learning for Latent Mediation Structure Discovery of Socioeconomic Disadvantage, Psychosocial Factors, and Cardiometabolic Multimorbidity: Insights from the All of Us Research Program

人工智能驱动的多模态表征学习用于发现社会经济劣势、心理社会因素与心脏代谢共病的潜在中介结构：来自All of Us研究计划的见解

Cong Cao, Shuangge Ma

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究基于All of Us研究计划数据，开发AI驱动的多模态中介框架，通过变分自编码器推导潜在表征，发现心理社会脆弱性是连接社会经济劣势与心脏代谢共病的关键中介通路，为探究健康相关复杂关系提供了新方法。

Comments 25 pages, 4 figures

Latent Denoising Improves Visual Alignment in Large Multimodal Models

潜在去噪提升大多模态模型的视觉对齐

Dhruv Parikh, Jacob Fein-Ashley, Rajgopal Kannan, Viktor Prasanna

机构 * University of Southern California（南加州大学） ； DEVCOM ARL Army Research Office（DEVCOM ARL陆军研究办公室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出通过潜在去噪框架改进大多模态模型的内部视觉特征对齐和多模态理解，采用掩码和高斯噪声混合腐蚀视觉token，并利用解码器恢复教师特征，提升模型在分布偏移下的鲁棒性。

Comments ACM MM 2026

Compass: Degradation-Simulated Reciprocal Learning with Lightweight Needle RWKV for Multimodal Crack Segmentation under Missing Modalities

Compass：面向缺失模态场景下多模态裂缝分割的退化模拟互学习与轻量型Needle RWKV

Hui Liu, Chen Jia, Fan Shi, Xu Cheng, Mianzhao Wang, Shengyong Chen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 Compass是面向缺失模态场景的多模态裂缝分割轻量型网络，通过DSD、Needle Block与ETPF实现鲁棒分割，在90%深度模态缺失时仍达SOTA性能，仅需258万参数。

Comments This paper has been accepted by ACM MM 2026

Multimodal Plant Root Phenotyping with Integration of 3D Skeleton Extraction and Language Analysis

结合三维骨架提取与语言分析的多模态植物根表型分析

Jiakai Lin, Zijun Li, Guoyu Lu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究提出多模态机器人AI框架，结合W-LBC无监督三维骨架提取与证据优先语言建模，微调GPT实现12种植物根表型的可解释分析，建立了定量与语义结合的根表型统一分析范式。

SMM Transformer: Leveraging Spiking Neural Networks for Multimodal Tasks

SMM Transformer：利用脉冲神经网络实现多模态任务

Xiubo Liang, Jinxing Han, Yuke Li, Haoqi Zhu, Yu Zhao, Hongzhi Wang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.MM

AI总结 本文提出基于脉冲神经网络的SMM Transformer框架，通过PLMP、SMSA、SMoE三个核心组件解决SNN多模态Transformer的训练与效率问题，在基准测试中实现了有竞争力的准确率与显著的能耗降低。

Towards Compact Unified Multimodal Tracking: Synergizing Knowledge Distillation with Structural Pruning

迈向紧凑的统一多模态目标跟踪：知识蒸馏与结构剪枝的协同

Yuqi Li, Yuedong Tan, Huiran Duan, Weilun Feng, Chuanguang Yang, Zhulin An, Zongwei Wu, Shiping Wen, Tingwen Huang, Yingli Tian

机构 * The City College of New York（纽约城市学院） ； INSAIT ； Sofia University “St. Kliment Ohridski”（圣克莱门特奥赫里德斯基索非亚大学） ； Julius-Maximilians-Universität Würzburg（维尔茨堡大学） ； State Key Laboratory of AI Safety, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所人工智能安全国家重点实验室） ； University of Chinese Academy of Sciences（中国科学院大学） ； Shenzhen University of Advanced Technology（深圳先进技术研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对统一多模态跟踪模型计算负担大的问题，提出双对齐蒸馏框架，结合知识蒸馏与结构剪枝，在五组基准上实现了高准确率与5倍速度提升的紧凑模型。

From Direction to Magnitude: How Multimodal Instruction-Tuning Reorganizes the Geometric Encoding of Identity-Specifying Prompts in Transformer Hidden States

从方向到大小：多模态指令微调如何在Transformer隐藏状态中重新组织身份指定提示的几何编码

Jorge A. Castillo, Marco Torres Yévenes, Juan Carlos Lanas

机构 * Axis Dynamics SpA（轴动力公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究四种训练后模式的Transformer语言模型，通过五个几何指标比较三种提示条件，发现多模态指令微调会使身份编码从方向重组为大小，此重组特定于该模式，还定位了W_1作为方法贡献。

Comments 16 pages, 8 tables. Working draft v0.3. Uses Ollivier-Ricci curvature and edge-wise Wasserstein-1 as primary geometric statistic; four models (Gemma-4-E4B, Gemma-4-E4B-it, DeepSeek-R1-Distill-Qwen-7B, Qwen2.5-7B-Instruct)

CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts

CoLT: 教会多模态模型通过潜在思维链进行思考

Lianyu Hu, Shengqian Qin, Zeqin Liao, Qing Guo, Liang Wan, Wei Feng, Yang Liu

机构 * Nanyang Technological University（南洋理工大学） ； Shanghai Jiao Tong University（上海交通大学） ； NKIARI ； AAIS & VCIP, Nankai University（南开大学AAIS & VCIP） ； Tianjin University（天津大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出CoLT框架，用潜在思维链代替文本推理，通过前向和后向解码器监督及内部监督实现高效多模态推理，在8个基准上优于现有方法，推理时间减少10.1倍。

Comments Accepted by ECCV2026. Code is available at https://github.com/hulianyuyy/CoLT

Bridging Multimodal Fusion and Expert Routing via Spectral Reliability Descriptors for Robust Object Detection

复用融合时频谱可靠性用于RGB-红外目标检测的自适应融合与专家路由

Yefeng Wu

机构 * Tsinghua University（清华大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；cross-modal(abstract)；分类 cs.CV

AI总结 提出一种无参数的7维频谱可靠性描述符，通过频谱可靠性融合和可靠性条件专家路由，提升RGB-红外目标检测在退化条件下的性能。

EHR2Path: Comprehensive Pathway-Level Modeling of Longitudinal Patient Trajectories from Multimodal Electronic Health Records

EHR2Path：从多模态电子健康记录中可扩展地建模纵向患者路径

Chantal Pellegrini, Ege Özsoy, David Bani-Harouni, Matthias Keicher, Nassir Navab

机构 * Technical University of Munich（慕尼黑技术大学） ； TUM School of Computation, Information and Technology（慕尼黑技术大学计算、信息与技术学院） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 EHR2Path通过统一的时序表示建模更广泛的患者信息，提升对住院患者路径的预测和模拟能力，优于现有基线方法。

MIND: Multimodal Intent-Driven Network via Diffusion Transformers for Medical Image Fusion

MIND：基于扩散Transformer的多模态意图驱动网络用于医学图像融合

Yunzhan Fu, Xiangyu Shen, Yifei Sun, Yuhan Chen, Jian Wu, Hongxia Xu

机构 * Transvascular Implantation Devices Research Institute, Zhejiang University（浙江大学血管内植入器械研究院） ； Zhejiang University（浙江大学） ； Hangzhou Institute of Technology, Xidian University（西安电子科技大学杭州研究院） ； Hangzhou Dianzi University（杭州电子科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对现有医学图像融合方法缺乏对诊断意图深度理解的问题，提出基于DiTs的MIND网络，通过BioMedGPT、多尺度潜在适配器和医学语义一致性损失优化，在多数据集上取得优异效果，可提升脑肿瘤分割精度并支持交互式融合。

Comments 14pages, 14 figures, accepted by ACM MM2026

One Anchor for All: Unified Multilingual and Multimodal Safety Alignment for LVLMs

统一多语言多模态的LVLM安全对齐：一个通用锚点

Enyi Shi, Fei Shen, Chuancheng Shi, Linxia Zhu, Shuyi Miao, Jinhui Tang, Tat-Seng Chua

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对LVLM面临的多语言多模态复合攻击防御难题，提出MLS-Neurons驱动的跨维度安全对齐框架，仅更新约0.03%参数实现安全监督迁移，在多语言多模态安全基准上性能优于SOTA且保留通用实用性。

Uncertainty-Aware Multimodal Fusion for Oral Lesion Classification

面向口腔病变分类的患者感知多模态RGB-HSI融合：通过增量启发式元学习

Soujanya Hazra, Rupam Mukherjee, Rajkumar Daniel, Shirin Dasgupta, Subhamoy Mandal

机构 * 1 School of Medical Science \& Technology, IIT Kharagpur, India 2 Department of Electrical Engineering, IIT Kharagpur, India 3 Dr. B.C. Roy Multispeciality Medical Research Centre, IIT Kharagpur, India 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出了一种面向口腔病变分类的患者感知多模态RGB-HSI融合方法，结合深度学习、光谱分析和人口统计数据，通过增量启发式元学习提升诊断鲁棒性。

Comments Accepted at MICCAI MultiTab Workshop 2026

Food Image Segmentation with LLM-Derived Ingredient Labels and Multimodal Fusion

基于大语言模型衍生成分标签和多模态融合的食品图像分割

Jui-Feng Chi, Wei-Ta Chu, Sheng-Long Lin

机构 * National Cheng Kung University（国立成功大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对现有食品图像分割模型在相似成分和罕见类别上表现不佳的问题，提出两个多模态模块LIM-F和LIM-Q，利用大语言模型衍生标签提升分割性能，在FoodSeg103基准测试中取得领先，且内存消耗增加适度，为细粒度食品理解提供实用方案。

From Cellular Responses to Pharmacological Domains: Multimodal Zero-Shot Drug Representation Learning

从细胞反应到药理学领域：多模态零样本药物表示学习

Jintao Huang, Lu Leng, Ziyuan Yang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对多模态药物发现中存在的问题，提出PMRD框架，通过分离机制因素、构建共识反应域、增强机制候选、动态加权及结合互补表示等方法，实现多模态零样本药物性质预测，提升预测效果并减少化合物间冲突。