多模态大模型

SMART: MLLM-guided Temporal Alignment for Unifying Sign Language Recognition and Spotting

SMART：用于统一手语识别与定位的多模态大语言模型（MLLM）引导的时间对齐框架

Eunjee Choi, JungHoon Sung, Seongwhan Cho, Chu Xin, Younggeun Choi

机构 * Dankook University（檀国大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；分类 cs.CV

AI总结 本研究提出 MLLM 引导的 SMART 框架，整合多尺度时间适配器与 CSFormer 模块，在四个手语基准数据集上实现了手语识别与定位任务的性能提升。

A Visual Dependence-Aware Framework for Multimodal Unsupervised Continual Post-Training

面向多模态无监督持续后训练的视觉依赖感知框架

Kaichen Li, Zhilin Zhu, Jianhao Huang, Zhengqin Lai, Baochen Xiong, Zibo Shao, Yaguang Song, Linhui Xiao, Xiaoshan Yang, Changsheng Xu

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统国家重点实验室） ； Pengcheng Laboratory（鹏城实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态无监督持续后训练中现有方法忽略视觉依赖的问题，提出含VC-OT和VMA组件的VDA框架，可同时维持旧任务稳定性与新任务可塑性，经实验验证有效。

RefLAM: A Reference-Grounded Line Annotation Pipeline for Historical Arabic Manuscripts

RefLAM：一种用于历史阿拉伯文手稿的参考依据型行标注流水线

Mohamed Guechaoui, Mohamed Diaa Zellagui, Souleyman Chaib, Sahraoui Dhelim

机构 * Higher School of Computer Science (ESI-SBA)（高等计算机科学学院（ESI-SBA）） 纠错

专题命中 多模态训练与对齐 ：MLLM(summary_cn,abstract)；multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 RefLAM是用于历史阿拉伯文手稿的参考依据型行标注流水线，结合深度学习、MLLM与模糊对齐引擎，可高效生成标注数据，吞吐量较手动标注提升75倍，发布的AraMS-28k可用于HTR模型微调。

Comments 11 pages, 6 figures, 3 tables, 2 algorithms

CAT-GS: Balanced Multimodal Learning via Calibrated Gating and Fusion Surgery

CAT-GS：通过校准门控与融合操作实现平衡多模态学习

Mahir Shahriar Tamim, Sharjil Khan, Md. Samiul Alim, Tanvir Ahmed Khan, Shafin Rahman, Nabeel Mohammed

机构 * North South University（北南大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 CAT-GS是一种无需修改模型的优化控制器，通过校准门控与融合操作解决多模态学习的三种失效模式，在多类基准上提升或匹配多模态准确率，且门控更平稳、融合冲突更少。

Comments This article is accepted with minor revision in Neurocomputing Journal

Multi-Modal Anomaly Detection: A Survey

多模态异常检测：一项综述

Xudong Mou, Zexin Wu, Chuan Luo, Shiru Chen, Xudong Liu, Chunming Hu, Renyu Yang

机构 * School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院） ； School of Software, Beihang University（北京航空航天大学软件学院） ； Shandong Inspur Intelligent Production Technology Co., Ltd（山东浪潮智能生产技术有限公司） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 该综述从假设驱动视角梳理多模态异常检测（MMAD），划分两种互补方法范式，探讨基础模型对MMAD的重塑，汇总基准与评估协议并指出未来方向。

Comments Accepted for publication in IEEE Transactions on Big Data

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

视觉还是认知？多模态大语言模型的视觉上下文敏感性

Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

机构 * University of Copenhagen（哥本哈根大学） ； University of Cambridge（剑桥大学） ； ETH Zürich（苏黎世联邦理工学院） ； Clemson University（克莱姆森大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究探究多模态大语言模型在视觉证据与先验冲突任务上的失效原因，引入WhatIfVis基准，发现其能编码视觉证据但难以控制对其的依赖，监督微调等方法可提升可控性。

Synergistic Modality-and-Slice Memory Framework for Cross-Modal 3D Brain Tumor Segmentation

用于跨模态3D脑肿瘤分割的协同模态与切片记忆框架

Yuxiang Luo, Qing Xu, Hai Huang, Yuqi Ouyang, Xiangjian He, Zhen Chen, Wenting Duan, Jiebo Luo

机构 * Graduate School of Information, Production and Systems, Waseda University, Japan（信息、生产与系统研究生院，早稻田大学，日本） ； School of Computer Science, University of Lincoln, UK（林肯大学计算机科学学院，英国） ； University of Nottingham, UK（诺丁汉大学，英国） ； University of Nottingham Ningbo China, China（宁波诺丁汉大学，中国） ； College of Electrical Engineering and Information, Northeast Agricultural University, Harbin, China（电气工程与信息学院，东北农业大学，中国） ； College of Computer Science, Sichuan University, Chengdu, China（计算机科学学院，四川大学，中国） ； Yale University, New Haven, CT 06510, USA（耶鲁大学，美国） ； School of Engineering and Physical Science, University of Lincoln, Lincoln LN6 7TS, UK（工程与物理科学学院，林肯大学，英国） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 针对现有跨模态3D脑肿瘤分割方法忽略跨模态相关性、依赖特定类别提示的问题，提出MSM-Seg框架，通过MSMA、MCP-Encoder和MF-Decoder实现精准分割，性能优于现有方法。

Comments Accepted by TMM

PANDA - Prototype-Anchored Alignment for Partially Unpaired Multimodal Learning, with Applications to Alzheimers MRI and TCGA Pathology

PANDA——面向部分配对多模态学习的原型锚定对齐方法，及其在阿尔茨海默病MRI与TCGA病理中的应用

Sheethal Bhat, Mahfuzur Rahman Chowdhury, Paula Andrea Perez-Toro, Stephan Wunderlich, Rose Dawn Bharat, Siming Bayer, Andreas Maier

机构 * Friedrich-Alexander-Universität（弗里德里希-亚历山大-埃尔朗根-纽伦堡大学） ； Klinikum Nürnberg, Paracelsus Medical University（帕拉塞尔苏斯医科大学纽伦堡医院） ； Ludwig-Maximilians-Universität München（慕尼黑大学） ； National Institute of Mental Health and Neurosciences (NIMHANS)（国家精神卫生与神经科学研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出PANDA框架，可在推理阶段无辅助输入时将不完整辅助模态的信息迁移至主模态模型，在阿尔茨海默病分类与TCGA生存预测任务中均取得优于基线的性能。

D3ER: Supporting Multi-Modal Recommendation via Disentangle and Distillation-based Dynamic Ensemble

D3ER：基于解耦与蒸馏的动态集成多模态推荐方法

Bingnan Wang, Yi Li, Xiongxin Tang, Fanjiang Xu, Jiangmeng Li

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.MM

AI总结 该研究针对多模态推荐中同质性与异质性判别信息联合学习的缺陷，提出D3ER方法，引入梯度提升并结合知识蒸馏与全局校正正则化，在真实数据集上验证了其优越性。

Comments Accepted by ACMMM 2026

When Does Context Routing Help? A Systematic Study of Multi-Modal Fusion in Time Series Forecasting

上下文路由何时有用？时间序列预测中多模态融合的系统研究

Ruizhe Zhou, Gaoyuan Du, Xiaoyang Liu, Haoqi Yao, Deepayan Chakrabarti, Jiating Lin, Yixuan Shen

机构 * University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校） ； WorkMagic ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 该研究明确了多模态时间序列预测中辅助上下文有效的两个数据集条件，通过实验证实仅当两条件满足时，文本条件专家调制可显著降低均方误差，且确立了因果关系。

SAME: Stabilized Mixture-of-Experts for Multimodal Continual Instruction Tuning

SAME: 用于多模态持续指令调优的稳定混合专家模型

Zhen-Hao Xie, Jun-Tao Tang, Yu-Cheng Shi, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

机构 * State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） ； School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态持续指令调优中专家路由漂移和专家漂移问题，提出稳定混合专家模型（SAME），通过正交子空间分解路由动态和曲率感知缩放更新专家，实现无重放的状态最优性能。

Comments Accepted to ICML 2026. Code is available at this https URL (https://github.com/LAMDA-CL/Prism)

Drift-Aware Multimodal User Representation Learning via Multi-Scale Temporal Modeling and Sparse Mixture-of-Experts

基于多尺度时序建模与稀疏专家混合的感知漂移多模态用户表示学习

Ziqing Qian, Haohang Chen, Shengqi Dang, Yuhan Xiong, Canyu Shen, Jiaying Lei, Nan Cao

机构 * Shanghai Innovation Institute（上海创新研究院） ； Tongji University（同济大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)

AI总结 针对社交媒体用户兴趣漂移问题，提出DUMoE框架，通过时序动态感知骨干与稀疏MoE兴趣适配器实现多模态用户表示学习，在两类预测任务上优于现有最优方法。

CardioFusion-AI: Robust ECG--PPG Fusion for Multimodal Physiological Monitoring Under Signal Degradation

CardioFusion-AI：信号退化下用于多模态生理监测的鲁棒心电图-光电容积脉搏波融合方法

Navaneetha Krishnan Kamalakannan, Janakiraman Kamalakannan

专题命中 多模态训练与对齐 ：multimodal(title)

AI总结 本研究提出 CardioFusion-AI 框架，通过信号处理前端与自适应融合策略，在多模态生理信号退化场景下实现鲁棒监测，验证了其在不同退化条件下的性能表现。

Comments 7 pages, 4 figures. Under review at IEEE Journal of Biomedical and Health Informatics. Code: this https URL (https://github.com/ka-cyber/CardioFusion-AI)

What Do Medical Vision-Language Models Learn in Radiology? Transfer, Alignment, and Source-Proxy Leakage Under Distribution Shift

医学视觉-语言模型在放射学中学到了什么？分布偏移下的迁移、对齐与源代理泄露

Ayoub Louaye Bouaziz, Lokmane Chebouba, Yassine Himeur

机构 * University of Constantine（康斯坦丁大学） ； University of Dubai（迪拜大学） ； University of Western Brittany（西布列塔尼大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本研究针对医学视觉-语言模型在分布偏移下的失效问题，探究其跨数据集迁移、多模态对齐及源代理泄露特性，发现表观能力掩盖相关失效模式，推动对该类模型的压力测试评估。

Why Does Graph Learning Fail to Fully Benefit from a Text Teacher?

为何图学习无法充分受益于文本教师？

Fumiaki Kimino (1), Ryoma Sato (1 and 2) ((1) SOKENDAI, (2) National Institute of Informatics)

机构 * SOKENDAI（总研究大学院大学） ； National Institute of Informatics（情报学研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)；分类 cs.CL

AI总结 该研究针对结合自监督GNN与交替优化语言模型的多模态图学习模型未充分提升性能的问题，分析了六个关键影响因素并通过分阶段实验验证。

Comments 21 pages, 1 figure, 7 tables

MSR-IVA: Masked Structural Residual Independent Vector Analysis for State-Aware Fusion of Structural MRI and Dynamic Functional Network Connectivity

MSR-IVA：用于结构MRI与动态功能连接状态感知融合的 masked 结构残差独立向量分析

Victor Solomon, Zening Fu, Rafal Angryk, Vince D. Calhoun, Jingyu Liu

机构 * Georgia State University（佐治亚州立大学） ； Georgia Institute of Technology（佐治亚理工学院） ； Emory University（埃默里大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(abstract)

AI总结 该研究针对sMRI与dFNC融合时IVA方法的缺陷，提出MSR-IVA框架，在ADNI队列实验中提升匹配源耦合、降低非匹配依赖，实现受控结构共享以适配状态差异。

Comments Accepted at the 2026 IEEE International Workshop on Machine Learning for Signal Processing (MLSP 2026), Atlanta, GA, USA