多模态大模型

ATS-ToDMA: Adaptive Token Selection and Token-Domain Multiple Access for Cross-Modal Semantic Communications

ATS-ToDMA：用于跨模态语义通信的自适应令牌选择和令牌域多址接入

Sachin Kadam, Dong In Kim

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)

AI总结 针对语义通信系统效率问题，提出ATS-ToDMA框架，通过联合进行语义令牌选择、干扰感知调度和语义感知功率分配，引入SSINR指标，开发调度器，推导分析边界，相比基准有性能提升。

Comments 13 pages, 9 figures. Submitted to a journal, under review

Pattern-Calibrated Multimodal Prediction under Blockwise Missingness

分块缺失下的模式校准多模态预测

Junhan Yu, Kejian Zhang, Doudou Zhou, Guojun Zhu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 针对多模态数据分块缺失问题，提出MOSAIC框架，通过共享与特定模态表示学习及跨模式校准，在不混淆预测规则的前提下实现跨缺失模式信息借用，理论证明误差分解并验证其在有限目标样本或规则差异场景下的优势。

CALM: Interpretable Cross-Modal Alignment for Biomarker Discovery from Unpaired Data

CALM: 可解释的跨模态对齐用于从非配对数据中发现生物标志物

Jueqi Wang, Zachary Jacokes, John Darrell Van Horn, Kevin A. Pelphrey, Michael C. Schatz, Archana Venkataraman

机构 * Department of Electrical and Computer Engineering, Boston University（波士顿大学电气与计算机工程系） ； School of Data Science, University of Virginia（弗吉尼亚大学数据科学学院） ； Department of Psychology, University of Virginia（弗吉尼亚大学心理学系） ； Department of Neurology, University of Virginia（弗吉尼亚大学神经病学系） ； Departments of Computer Science and Biology, Johns Hopkins University（约翰霍普金斯大学计算机科学与生物学系） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)

AI总结 提出CALM框架，通过线性投影对齐脑区和遗传通路的潜在分布，从完全不相交的人群中学习可解释的跨模态关联，在自闭症谱系障碍数据上优于现有方法。

Comments Accepted to MICCAI 2026

FedLAB: Traceable Semantic Codebooks for Federated Multimodal Graph Foundation Learning

FedLAB: 面向联邦多模态图基础学习的可追踪语义码本

Zekai Chen, Kairui Yang, Xuaner Chen, Xunkai Li, Xun Wu, Rong-Hua Li, Guoren Wang

机构 * Beijing Institute of Technology（北京理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出FedLAB框架，通过类型化分层码本组织模态证据、节点语义和拓扑上下文，实现联邦多模态图学习中的可追踪语义，在10个基准和6个下游任务上提升达7.53%。

Molexar: A Unified Multimodal Molecular Foundation Model for Drug Design

Molexar：用于药物设计的统一多模态分子基础模型

Haoyu Lin, Yiyan Liao, Jinmei Pan, Xinliao Ling, Luhua Lai, Jianfeng Pei

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出Molexar，一种基于Fragment-SELFIES的统一多模态分子基础模型，通过自回归解码和条件注入实现高效分子生成，在多个任务上达到或超越更大模型。

MIL-LC: A Robust Magnetometer-Inertial-LiDAR Fusion Multimodal Localization Framework

MIL-LC：一种鲁棒的磁力计-惯性-LiDAR融合多模态定位框架

Qiyang Lyu, Zhenyu Wu, Wei Wang, Hongming Shen, Danwei Wang

机构 * School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电气与电子工程学院） ； Centre for Advanced Robotics Technology Innovation (CARTIN)（先进机器人技术创新中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出MIL-LC框架，融合磁力计、惯性和LiDAR，解决GNSS缺失、几何重复或无纹理环境下的定位问题，通过磁地图与LiDAR退化检测实现鲁棒定位。

Evidential Fusion Network for Multimodal Survival Prediction under Missing Modalities

缺失模态下的多模态生存预测证据融合网络

Yucheng Xing, Hailan Mo, Zi Wang, Ling Huang, Mengling Feng

机构 * National University of Singapore（新加坡国立大学） ； Imperial College London（帝国理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出EMMS模型，利用Dempster-Shafer理论和高斯随机模糊数融合多模态决策，处理缺失模态下的生存预测，无需生成缺失数据，在四个癌症数据集上达到最优性能并提供校准的不确定性估计。

Alzheimer's Disease Diagnosis using a Multimodal Approach with 3D MRI and PET

使用3D MRI和PET的多模态方法诊断阿尔茨海默病

Loukas Ilias, Anthi-Maria Vozinaki, Christos Ntanos, Dimitris Askounis

机构 * DSS Lab, School of ECE, NTUA（NTUA ECE学院DSS实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出结合3D卷积特征提取器与三种融合策略（拼接、门控多模态单元、门控自注意力）及稀疏门控混合专家分类器的多模态模型，用于阿尔茨海默病诊断，在三个二分类任务上验证了输入自适应建模的有效性。

Comments 2025 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)

Pointwise is Pointless? A Multimodal Ablation Study for Precipitation Nowcasting with Graph Neural Networks

逐点是否无意义？基于图神经网络的降水临近预报的多模态消融研究

Ophélia Miralles, Máté Mile, Christoffer Artturi, Thomas Nipen, Ivar Seierstad

机构 * Norwegian Meteorological Institute（挪威气象研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 本研究通过多模态图神经网络系统，消融分析雷达、数值预报、地面观测、卫星数据及训练损失对降水临近预报的影响，发现各模态分别改善不同方面，点观测虽提升局部但需结合损失函数和不确定性表示才能优化雷达场。

MOLAR: Learning Multimodal Molecular Representations from Noisy Labels

MOLAR: 从噪声标签中学习多模态分子表示

Yingxu Wang, Kunyu Zhang, Nan Yin, Yu Li, Eran Segal

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Zhengzhou University（郑州大学） ； The Education University of Hong Kong（香港教育大学） ； The Chinese University of Hong Kong（香港中文大学） ； Weizmann Institute of Science（魏茨曼科学研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出MOLAR框架，通过分离干净属性推断与标签观测，利用图与文本模态的残差证据，从噪声标签中学习多模态分子表示，在自然噪声和标签翻转基准上优于基线方法。

A Wearable Multimodal Ultrasound+Inertial System for Real-Time Virtual Reality Interaction

用于实时虚拟现实交互的可穿戴多模态超声+惯性系统

Giusy Spacone, Sebastian Frey, Enzo Baraldi, Mattia Orlandi, Luca Benini, Andrea Cossettini

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出基于前臂和上臂超声与惯性传感的完全可穿戴多模态接口，结合WULPUS平台和Unity VR环境，通过多模态学习实现手部姿态和前臂位置估计，在三个任务中在线成功率超88%。

Comments 8 pages, 8 figures, 3 tables

Multimodal Graph Negative Learning

多模态图负学习

Zhengyu Wu, Xu Wang, Hongchao Qin, Xunkai Li, Guang Zeng, Rong-Hua Li, Guoren Wang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出GraphMNL框架，通过负学习解决多模态属性图中节点级分支语义不平衡问题，避免主导分支偏差传播，在Grocery和Reddit M数据集上取得最优性能。

miniReranker: Efficient Multimodal Reranking through Visual Cache Reuse and Interaction Sparsity

miniReranker: 通过视觉缓存重用和交互稀疏性实现高效多模态重排序

Yingqi Fan, Xuan Lu, Anhao Zhao, Junlong Tong, Ping Nie, Kai Zou, Yunpu Ma, Wei Zhang, Xiaoyu Shen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出miniReranker，通过视觉优先格式、早期退出、窄交互带和嵌入器引导剪枝，将重排序运行时间降至密集实现的1%以下，同时保持96%以上的性能。

Discovering Functionally Selective Brain Regions with a Deep Topographic Multimodal Model

发现功能选择性脑区：一种深度地形多模态模型

Badr AlKhamissi, Johannes Mehrer, Lara Marinov, Ahmed Abdelaal, Abdulkadir Gokce, Martin Schrimpf

机构 * University of California, Berkeley（加州大学伯克利分校） ； Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出Topo-Omni模型，通过空间平滑微调预训练基础模型，在单一连续虚拟皮层上整合视觉、听觉和语言/认知处理，产生与人类神经影像一致的多模态聚类，并用于发现新脑区。

Comments Preprint. First two author contributed equally

Hölder++: Improving the Quality-Coherence Trade-off in Multimodal VAEs

Hölder++：改进多模态VAE中的质量-一致性权衡

Huyen Vo, María Martínez-García, Isabel Valera

机构 * Hölder++: Improving the Quality-Coherence Trade-off in Multimodal VAEs Supplementary Material（Hölder++：多模态VAE中质量与一致性权衡的改进补充材料） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 针对多模态VAE生成质量与语义一致性之间的权衡问题，提出Hölder++，通过精确Hölder池化、扩展架构和层次推理，在提升一致性的同时保持生成质量。

Comments Accepted at ICML 2026. Camera-ready version

FAST-MEL: A Fast, Accurate, and Storage Efficient Solution for Multimodal Entity Linking

FAST-MEL: 一种快速、准确且存储高效的多模态实体链接解决方案

Derrien Thomas, Laurent Amsaleg, Pascale Sébillot

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 提出FAST-MEL，通过紧凑的固定大小向量化表示文本和视觉信息，在保持高准确率的同时实现三个数量级的加速和一个数量级的存储节省。

Journal ref SIGIR 2026

FusionVul: A Multimodal Feature Fusion Framework for Source Code Vulnerability Detection

FusionVul：一种用于源代码漏洞检测的多模态特征融合框架

Hongyu Yang, Yaping Zhu, Jingchuan Luo, Hiroshi Nomaguchi, Chunhua Su, Willy Susilo

专题命中 多模态训练与对齐 ：multimodal(title)；cross-modal(abstract)

AI总结 提出FusionVul框架，融合Transformer和GNN分别提取序列语法与结构语义，通过交叉注意力融合网络和样本感知加权机制，在SVulD等数据集上取得更优F1分数，有效捕获复杂多样的漏洞模式。

Comments Accepted by The Journal of Systems and Software

FIRM: Fine-Grained Intra-Token Representation of Masks for Remote Sensing Reasoning Segmentation

FIRM：面向遥感推理分割的掩码细粒度令牌内表示

Weidong Tang, Kaiyu Li, Yikai Wang, Yanan Wu, Haotian Gan, Shihong Wang, Xiangyong Cao

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出FIRM模型，通过预测视觉令牌内的r×r二值子单元掩码代码结合轻量连续渲染器优化边界，在5个遥感推理分割基准上取得领先结果，提升了细粒度分割性能。

Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models

Omni2LoRA：用于高效全模态语言模型的保持一致性的参数化存储器

Puneet Mathur, Manan Suri, Dinesh Manocha

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.AI

AI总结 Omni2LoRA是一种保持一致性的参数化存储器压缩框架，通过优化秩分配策略提升全模态语言模型效率，在视听问答任务中优于多种基线，大幅缩短推理时间。

LMM Modality Transfer: A Pre-requisite for Autonomous GIS Agents

多模态大模型模态迁移：自主地理信息系统智能体的先决条件

Ivan Majic, Zexian Huang, Franziska Hübl, Krzysztof Janowicz, Meilin Shi, Mina Karimi, Zilong Liu, Alexandra Fortacz-Lazan

机构 * Graz University of Technology（格拉茨工业大学） ； University of Vienna（维也纳大学） ； University of Liverpool（利物浦大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract,abstract_cn)；multi-modal(abstract)；分类 cs.AI

AI总结 本文针对自主GIS智能体的先决条件，提出LMM模态迁移任务，发现现有LMM在图像与文本模态间传递空间信息的能力不足，需加强多模态对齐以实现地理空间理解。

Mitigating Visual Degradation in MLLMs via Spatial-Spectral Visual Anchor Learning

通过空间-光谱视觉锚学习缓解多模态大语言模型（MLLMs）中的视觉退化

Qianlong Yang, Bowen Ye, Xianda Guo, Yanlun Peng, Wenke Huang, Hongyuan Zhang, Yulei Jia

机构 * China University of Petroleum (East China)（中国石油大学（华东）） ； Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） ； Great Wall Motor（长城汽车） ； Nanyang Technological University（南洋理工大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 针对MLLMs推理时的视觉表示退化问题，提出SSVAL方法，通过VAPI及辅助对齐损失实现稳定视觉锚，性能优于现有方法。

Comments This paper has been accepted by ACM MM 2026

Actor as Its Own Critic: Unifying Region Understanding and Localization via CycleGRPO

作为自身评论家的智能体：通过循环组相对策略优化统一区域理解与定位

Xin Zhang, Haochen Wang, Yikang Zhou, Jason Li, Robby T. Tan

机构 * National University of Singapore（新加坡国立大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Nanyang Technological University（南洋理工大学） ； Wuhan University（武汉大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 研究针对多模态大语言模型的区域理解与定位问题，提出循环组相对策略优化框架CycleGRPO，利用任务对偶性构建自我评估范式，仅需区域输入，通过质量感知奖励评估字幕，在多基准测试中提升能力，为推进MLLMs像素级能力提供新途径。

Comments Accepted to ECCV 2026

SigLIP-HD by Fine-to-Coarse Supervision

通过从细到粗的监督实现SigLIP-HD

Lihe Yang, Zhen Zhao, Hengshuang Zhao

机构 * The University of Hong Kong（香港大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 研究如何在低成本下实现精细视觉感知，提出SigLIP-HD，采用从细到粗监督设计，基于SigLIP 2模型构建，在相同推理预算下能产生更好视觉令牌，在多基准测试中结果优于基线模型。

Comments ICLR 2026. Code and model: https://github.com/LiheYoung/SigLIP-HD

Understanding How MLLMs Describe Artworks Using Token Activation Maps

理解多模态大语言模型如何通过Token激活图描述艺术品

Nicola Fanelli, Pasquale De Marinis, Raffaele Scaringi, Eva Cetinic, Gennaro Vessio, Giovanna Castellano

机构 * University of Bari Aldo Moro（巴里阿尔多莫罗大学） ； University of Zurich（苏黎世大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 使用Token激活图（TAM）分析MLLMs在描述艺术品时对视觉区域的依赖，发现不同语义类别的token在视觉基础上有显著差异，并比较了TAM与SAM~3开放词汇分割。

Comments Accepted at PRESTIGE workshop at ICPR 2026

SpatialSV: Internalizing Interpretable 3D Spatial Awareness in MLLMs via Task-Oriented Visual Supervision

SpatialSV: 通过任务导向的视觉监督在多模态大语言模型中内化可解释的3D空间感知

Jiayu Tang, Yuchen Zhou, Chao Gou

机构 * School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能工程学院） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出SpatialSV框架，通过任务导向的视觉监督将MLLM的2D特征提升为显式3D表示（深度图、相机姿态、点云），实现可解释的3D空间感知内化，无需外部工具，并在半监督设置中展现强泛化能力。

Comments Accepted by IJCAI 2026

CM-MAE: A Physics-Guided Cross-Modal Self-Supervised Learning Framework for Vision-Wireless Applications

CM-MAE：面向视觉-无线应用的物理引导跨模态自监督学习框架

Yubo Zhang, Yiyao Liu

专题命中 多模态训练与对齐 ：cross-modal(title)；分类 cs.CV、cs.AI

AI总结 本文提出CM-MAE框架，通过软对比对齐损失等技术实现视觉-无线跨场景表征迁移，在DeepSense 6G数据集上提升了跨场景任务的准确率。

Resolving superposition in AI for interpretability and cross-modal alignment in patient-neuronal images

解决AI中的叠加问题以实现可解释性与患者-神经元图像的跨模态对齐

Jisung Park, Seohyeon Kang, Daeun Yoo, Eunsu Lee, Seoin Cho, Wooyeop Choi, Ian Choi, James R. Evan, Daesoo Kim, Sonia Gandhi, Minee L. Choi

机构 * KAIST（韩国科学技术院） ； Konyang University（建阳大学） ； Chang Gung University（长庚大学） ； UCL Queen Square Institute of Neurology & The Francis Crick Institute（伦敦大学学院皇后广场神经病学研究所与弗朗西斯·克里克研究所） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)；分类 cs.CV、cs.AI

AI总结 利用稀疏自编码器解决高维生物数据中神经网络表示空间的叠加问题，恢复几何保真度，并通过Gromov-Wasserstein最优传输实现图像与单细胞RNA测序数据的跨模态对齐。

Comments 10 pages, 7 figures (plus 14 in appendix), 1 table, preprint

DistMedVL: Distributional Vision-Language Alignment for Uncertainty-Aware Medical Image Segmentation

DistMedVL：面向不确定性感知医学图像分割的分布视觉-语言对齐方法

Jiaxuan Li, Qing Xu, Xiangjian He, Yue Li, Daokun Zhang, Fiseha B. Tesema, Rong Qu

机构 * University of Nottingham Ningbo China（宁波诺丁汉大学） ； University of Nottingham（诺丁汉大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 针对医学图像分割中视觉-语言跨模态对齐的不确定性问题，提出DistMedVL概率框架，含PCM-Adapter等模块，在8个基准上以6.3M参数实现优于SOTA的性能，数据效率等更优。

Comments 10 pages, 5 figures

Gaussian Meta-Space Augmentation for Stacking Ensembles in Multimodal IPMN Risk Stratification

用于多模态IPMN风险分层的堆叠集成的高斯元空间增强

Max A. Nelson, Eminenur Sen Tasci, Zhixiang Wang, Zongwei Zhou, Halil Ertugrul Aktas, Andrea M. Bejar, Elif Keles, Ziliang Hong, Sıtkı Safa Taflan, Muhammed Enes Tasci, Frank H. Miller, Michael B. Wallace, Rajesh N. Keswani, Gorkem Durak, Ulas Bagci

机构 * Northwestern University（西北大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） ； Istanbul University（伊斯坦布尔大学） ； Mayo Clinic Florida（佛罗里达州梅奥诊所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；分类 cs.CV

AI总结 该研究针对IPMN风险分层问题，提出cUPMI方法并结合多模态信息融合，构建RF堆叠模型，在多中心分析中取得优于基线的性能。

Comments Accepted at the International Workshop on Machine Learning in Medical Imaging (MLMI 2026), held in conjunction with MICCAI 2026. This is the authors' accepted manuscript; the final version will appear in Springer Lecture Notes in Computer Science (LNCS). 11 pages, 3 figures

When Vision Becomes Text: Visual Token Pruning via Cross-Modal Residual Guidance in VLMs

当视觉变为文本：视觉语言模型（VLM）中基于跨模态残差引导的视觉令牌剪枝

Congyang Ou, Ruike Song, Yang Zhou, Libo Sun, Haokui Zhang, Zhenbo Luo

专题命中 多模态训练与对齐 ：cross-modal(title)；分类 cs.CV

AI总结 该研究针对视觉语言模型（VLM）海量视觉令牌导致推理成本高的问题，提出基于跨模态残差（CMR）的无训练压缩方法SIEVE，在LLaVA-NeXT-7B上仅保留11.1%视觉令牌，实现显著加速与缓存缩减且性能损失极小。