多模态大模型

Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

用于多模态情感解释的令牌-区域引导交叉注意力融合

Musa Tur Farazi, Nufayer Jahan Reza

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对孟加拉语模因政治意图检测难题，引入多模态交叉注意力融合框架，利用视觉语言模型提取文本，经跨模态多头注意力机制合成特征，还整合政治词汇表，实验表明该方法显著优于基线，Macro-F1达0.94，有效实现文本语义基于视觉证据。

Visual Saliency Steering Distillation for Multimodal Chain-of-Thought Reasoning

用于多模态思维链推理的视觉显著性引导蒸馏

Hao Yang, Jin Wang, Xuejie Zhang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多模态思维链推理在小模型中存在的问题，提出视觉显著性引导蒸馏方法，利用多模态大语言模型注意力图生成扰动图像，经奇异值分解提取引导向量指导层间蒸馏，实验证明该方法能改进推理生成和答案推理。

AdaSurvMamba: Dynamic Fusion and Semantic Scanning for Multimodal Survival Analysis

AdaSurvMamba：用于多模态生存分析的动态融合与语义扫描

Jialong Zhong, Tingwei Liu, Baokun Yue, Jingjing Li, Yongri Piao, Miao Zhang, Leiye Liu, Jiahong Jiang, Wei Ji, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） ； University of Alberta（阿尔伯塔大学） ； Yale University（耶鲁大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多模态生存分析中传统方法的局限，提出AdaSurvMamba框架，含DSIR模块动态调制跨模态交互强度、SAS模块重组令牌成连续序列，实验证明该框架在五个TCGA队列上比现有方法有优势。

Comments MICCAI 2026 Accept

Text-Aided Multi-Modal Panoptic Symbol Spotting for CAD Floor Plan Drawings

用于CAD平面图的文本辅助多模态全景符号识别

Yan Gong, Bohao Li, Bowen Du, Junchen Ye

机构 * CCSE Lab, Beihang University（北京航空航天大学CCSE实验室） ； School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 针对CAD平面图全景符号识别中现有方法未充分利用文本注释的问题，提出多模态框架TextCAD，设计TACE编码注释语义，引入语义层次对齐框架，实验表明该方法有效提升符号识别性能并达最优。

Propose and Attend: Training-free MLLM Grounding Confidence via Multi-Token Localized Attention

提出并关注：通过多令牌局部注意力实现无训练的多模态大语言模型接地置信度

Daniel Shalam, Emanuel Ben Baruch, Avi Ben Cohen, Tal Remez

机构 * Amazon（亚马逊） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,abstract)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型接地置信度问题，提出无训练的多令牌局部注意力（MTLA）方法，通过在声称区域内求和并跨预测令牌聚合恢复更强接地信号，在多模型家族和模态中提升了幻觉AUROC及零样本检测AP。

Token-level Response-visual Attention Guidance for Multimodal LLMs Knowledge Distillation

多模态大语言模型知识蒸馏的令牌级响应视觉注意力引导

Jaehyun Jang, Eunseop Yoon, Hee Suk Yoon, SooHwan Eom, Mark A. Hasegawa-Johnson, Chang D. Yoo

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL

AI总结 研究多模态大语言模型知识蒸馏，挑战传统依赖，发现下游性能与响应视觉注意力相似度强相关。提出令牌级响应视觉注意力引导方法，通过自适应加权散度，有效引导学生模型，实验证明其性能优于基线。

Comments ECCV 2026

Fine-tuning Multi-modal LLMs with ART: Art-based Reinforcement Training

使用ART微调多模态大语言模型：基于艺术的强化训练

Michal Chudoba, Sergey Alyaev, Petra Galuscakova, Tomasz Wiktorski

机构 * University of Stavanger（斯塔万格大学） ； NORCE Research（NORCE研究机构） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title)；multimodal(abstract)；MLLM(abstract)；分类 cs.CL、cs.AI

AI总结 提出ART方法，通过优化原始视觉输入将信息注入冻结的多模态大语言模型，实现软提示微调，无需修改计算图，在数学和工具使用基准上达到与LoRA相当的精度。

Robust Incomplete Multimodal Sentiment Analysis via Iterative Proxy Correction

基于迭代代理修正的鲁棒性不完整多模态情感分析

Zhifa Geng, Subin Huang, Hao Guo, Junjie Chen, Sanmin Liu, Chao Kong

机构 * Renmin University of China（中国人民大学） ； Anhui Polytechnic University（安徽工程大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 针对不完整多模态情感分析中一次性代理初始化粗糙的问题，提出迭代代理修正框架，在MOSI等数据集上实现了优于基线的鲁棒情感预测。

Comments Accepted to SEKE 2026. 6 pages, 4 figures

S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection

S³AM：一种用于多模态显著目标检测的、具备可靠性校准频率适配器的单流SAM

Ruichao Hou, Boyue Xu, Tongwei Ren, Dongming Zhou, Gangshan Wu, Jinde Cao

机构 * China Pharmaceutical University（中国药科大学） ； Nanjing University（南京大学） ； Yunnan University（云南大学） ； Southeast University（东南大学） ； Purple Mountain Laboratories（紫金山实验室） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 该研究针对多模态显著目标检测的冗余计算问题，提出融合可靠性校准频率适配器的单流SAM框架，仅用12.20M参数即实现竞争力性能，相关代码将公开。

Towards Efficient Multimodal and Multilingual Opinion Extraction for STI: A QLoRA-Based Fine-Tuning Approach

面向科技情报（STI）的高效多模态多语言观点抽取：一种基于QLoRA的微调方法

Sheng Hong, Xuanqi Wang, Jiacheng Wang, Yuwei Wang

机构 * Beihang University（北京航空航天大学） ； Nanchang University（南昌大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multi-modal(abstract)；分类 cs.AI

AI总结 本研究针对科技情报观点抽取的噪声过滤与结构化输出问题，提出基于QLoRA微调的多模态框架，在2194样本数据集上实现多语言观点抽取性能显著提升。

Rethinking Auxiliary Modalities in Multimodal Zero-shot Anomaly Detection: From Semantic Fusion to Conditional Modulation

重新思考多模态零样本异常检测中的辅助模态：从语义融合到条件调制

Peng Wu, Xin Ge, Yujia Sun, Guansong Pang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；image-text(abstract)；分类 cs.CV

AI总结 本研究针对现有多模态零样本异常检测方法的缺陷，提出即插即用的辅助条件增强框架，通过全局到局部的条件调制实现选择性多模态增强，在MVTec 3D-AD等数据集上提升了现有RGB零样本异常检测器的性能并达到最优。

When Is a Task Vector Enough? An Empirical Theory of Implicit Multimodal ICL

何时仅需任务向量？隐式多模态上下文学习的经验理论

Jiaqian Li

机构 * Brown University（布朗大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出选择-实现假说，通过受控多模态任务和VQA基准研究发现，静态任务向量的成功取决于演示诱导变化的跨查询共享程度，为隐式多模态上下文学习的方法选择提供了统一经验理论。

Comments Accepted by Empirical Theory in Representation Learning @ ECCV 2026, Oral

EGM-Det: Entropy-Guided Multimodal Adaptive Fusion for UAV RGB-IR Object Detection

EGM-Det：面向无人机RGB-IR目标检测的熵引导多模态自适应融合

Cunzheng Fan, Dawei Yan, Guanlin Wang, Xingshuo Yang, Yupeng Jia, Jing Yang, Haokui Zhang

机构 * School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络空间安全学院） ； School of Automation and Software Engineering, Shanxi University（山西大学自动化与软件学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文提出EGM-Det框架，通过熵引导多模态自适应融合解决无人机RGB-IR目标检测中模态可靠性被忽略的问题，在三个数据集上实现最优性能，VEDAI上较现有方法提升超10个百分点。

Comments 14 pages, 7 figures, 6 tables

Multimodal Wearable-Based Olfactory-Induced Emotion Recognition in Arousal-Valence Dimensions

基于多模态可穿戴设备的嗅觉诱导唤醒-效价维度情感识别

Chen-Yang Xu, Lan Zhang, Fei-Yi Fan, Bin Hu, Qing-Hao Meng

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 针对现有嗅觉情感研究的维度失衡与多模态数据不足问题，构建多模态嗅觉情感数据集，提出STF-HFNet模型，在两个数据集上取得最优情感识别准确率。

Beyond Routing Saturation: A Long-Horizon Class-Incremental Perspective on Expert Routing in Multimodal Continual Instruction Tuning

超越路由饱和：多模态持续指令调优中专家路由的长程类增量视角

Huiyu Yi, Yongqi Xu, Bogang Zhang, Dunwei Tu, Xu Zhiming, Zhen-Hao Xie, Baile Xu, Furao Shen

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究针对多模态持续指令调优中专家路由的任务识别问题，构建含34个任务的FLEX基准，提出MCIL框架，适配CIL方法后使LoRA匹配和MacroScore分别提升最高16.3个百分点、4.6个点

Multi-Modal Object Re-Identification with Dual Semantic Guidance and Global-Local Mutual Modulation

融合双语义引导与全局-局部互调制的多模态物体重识别

Weixiang Zhou, Xingguo Xu, Yuhao Wang, Cong Wang, Yang Yang, Zhixun Su, Jinshan Pan

机构 * Dalian University of Technology（大连理工大学） ； University of California, San Francisco（加利福尼亚大学旧金山分校） ； Nanjing University of Science and Technology（南京理工大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文针对多模态物体重识别的语义先验利用不足与全局-局部协同缺失问题，提出含TSI、MGLM、HMF的双语义引导与全局-局部互调制框架，经多基准实验验证有效。

Comments Accepted by IEEE TCSVT 2026. The version of record may differ slightly

Capturing Token Tendencies for Training-Free Token Pruning in Multimodal Large Language Models

捕捉令牌趋势以实现多模态大语言模型中无需训练的令牌剪枝

Jie Ma, Zhike Qiu, Jie Gao, Jiayi Ji, Qian Chen, Xiaoshuai Sun, Rongrong Ji

机构 * Xiamen University（厦门大学） ； Xiamen Ocean Vocational College（厦门海洋职业技术学院） ； Sino-Russian Research Center for Digital Economy（中俄数字经济研究中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对多模态大语言模型现有无训练剪枝方法忽略令牌重要性动态变化的问题，提出趋势感知剪枝框架，通过捕捉注意力流动量实现动态修正，大幅减少视觉令牌且保持性能，实现高效多模态推理。

Seeing or Knowing? Visual Context Sensitivity in Multimodal Large Language Models

视觉还是认知？多模态大语言模型的视觉上下文敏感性

Jiaang Li, Chengzu Li, Zhaochong An, Yifei Yuan, Xi Liu, Serge Belongie, Vésteinn Snæbjarnarson

机构 * University of Copenhagen（哥本哈根大学） ； University of Cambridge（剑桥大学） ； ETH Zürich（苏黎世联邦理工学院） ； Clemson University（克莱姆森大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究探究多模态大语言模型在视觉证据与先验冲突任务上的失效原因，引入WhatIfVis基准，发现其能编码视觉证据但难以控制对其的依赖，监督微调等方法可提升可控性。

CHARM: A Multimodal Graph Foundation Model with Hierarchical Context Modeling for Zero-Shot Transfer

CHARM：一种用于零样本迁移的具有分层上下文建模的多模态图基础模型

Ankang Yang, Jitao Zhao, Di Jin, Yuxiao Huang, Dongxiao He

机构 * School of Computer Science and Technology, College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部计算机科学与技术学院） ； Data Science Program, Columbian College of Arts and Sciences, The George Washington University（乔治华盛顿大学文理学院哥伦比亚艺术与科学学院数据科学项目） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 研究多模态图零样本迁移问题，提出CHARM模型，通过分层上下文建模，用图上下文替换原始节点，减少对目标域监督或适配的依赖，经实验验证该模型在零样本多模态图任务上有改进。

SepPrune:A Separator-based Pruning Framework for Efficient Multimodal Large Language Models

SepPrune：一种基于分隔符的高效多模态大语言模型剪枝框架

Yuchen Wang, Qihui Zhu, Yang Liu, Xiaoyan Sun, Siying Wu

机构 * University of Science and Technology of China（中国科学技术大学） ； ChangXin Memory Technologies（长鑫存储技术有限公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对多模态大语言模型视觉令牌计算成本高的问题，提出SepPrune剪枝方法，以模态分隔符令牌为统一查询来排序和选择视觉令牌，复用内置投影参数，无需架构更改，在Qwen2.5-VL-7B上实验取得最优性能。

Multi-Modal Object Re-Identification with Prompt-S6 and Semantic-Aware Knowledge Guidance

基于Prompt-S6和语义感知知识引导的多模态目标重识别

Weixiang Zhou, Jiabei Zuo, Yuhao Wang, Cong Wang, Huchuan Lu, Zhixun Su

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 研究多模态目标重识别问题，提出基于Prompt-S6和语义感知知识引导的PRISM框架，设计语义驱动令牌剪枝和渐进融合网络两个关键组件，有效抑制背景干扰，实现三模态对齐，提升多模态目标重识别的有效性和效率。

Comments Accepted by IEEE TIP 2026. The version of record may differ slightly

Securing Multimodal AI through Internal Information Decomposition

通过内部信息分解保护多模态人工智能

Jehyeok Yeon, Hyeonjeong Ha, Qiusi Zhan, Heng Ji

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型的攻击问题，提出FlowGuard框架，通过监测内部多模态一致性检测有害输入，受部分信息分解启发得出FlowVectors量化相关指标，有效降低攻击成功率且减少效用损失和延迟，为多模态推理提供有效防御。

Comments Accepted as Spotlight Paper at ICML 2026

UnDA: Unpaired Domain Alignment for Cross-Modal Knowledge Transfer in Medical Imaging

UnDA：用于医学成像中跨模态知识转移的无配对域对齐

Rafsan Jany, Shadab Tanjeed Ahmad, Ahsan Bulbul, Tahsinul Islam, Md Azam Hossain, Abu Raihan Mostofa Kamal

机构 * Korea Institute of Oriental Medicine（韩国韩医学研究院） ； Islamic University of Technology（伊斯兰科技大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 针对医学成像中跨模态知识转移时获取配对数据难、处理模态差距及噪声传播问题，提出UnDA框架，通过与主干无关的对齐模块、不确定性加权最优传输及每个类别的ProtoNCE目标，实现无配对跨模态蒸馏，提升目标模态分割精度。

Multimodal Pretraining for Generalizable EEG Representation Learning

用于可泛化脑电信号表征学习的多模态预训练

Targol Bakhtiarvand, Jugal Kalita, Adham Atyabi

机构 * University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multimodal foundation model(abstract)；分类 cs.AI

AI总结 研究针对癫痫EEG模型应用局限问题，开发多模态EEG基础模型，结合多种编码器，通过创新预训练技术创建癫痫相关表征。在多个数据集和评估设置下实验，该模型实现强大癫痫检测与适应新场景能力，支持可解释癫痫定位，性能达当前最优。

Look Less, Think Faster: Joint Token-Compute Adaptation for Multimodal LLMs

少看，快思考：多模态大语言模型的联合令牌-计算适配

Pengcheng Wang, Zhiquan Wang, Jayoung Lee, Zhuoyan Xu, Ran Xu, Saurabh Bagchi, Yin Li, Somali Chaterji

机构 * Purdue University（普渡大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； NVIDIA（英伟达） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 针对多模态大语言模型推理成本高的问题，提出SmartVL框架，通过视觉侧令牌控制器和LLM侧计算控制器联合控制视觉令牌数量和模型计算能力，实验证明该框架优于先前方法，实现更好的精度-效率平衡。

Comments Accepted at ECCV 2026

Advancing Multimodal Fusion on Heterogeneous Medical Data with Hybrid Geometry Attention

利用混合几何注意力推进异构医学数据上的多模态融合

Joy Dhar, Manish Kumar Pandey, Nayyar Zaidi, Chen Chen, Maryam Haghighat, Ferdous Sohel, Puneet Goyal

机构 * Indian Institute of Technology Ropar（印度理工学院罗帕尔分校） ； RoentGen Health（伦琴健康公司） ； Deakin University（迪肯大学） ； University of Central Florida（中佛罗里达大学） ； Queensland University of Technology（昆士兰科技大学） ； Murdoch University（莫道克大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对异构医学数据多模态融合难题，提出CURE框架，通过HyFuse层及相关模块逐步整合模态，有效捕捉跨模态交互，降低计算成本，在多数据集上评估显示其性能显著提升，优于领先方法。

Comments ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD 2026)

Blurring Modal Boundaries: A Unified Survey from Single- to Multi-Modal Person Re-ldentification

模糊模态边界：从单模态到多模态行人重识别的统一综述

Xiao Wang, Bing Wang, Bin Yang, Cuiqun Chen, Xin Xu, Mang Ye

机构 * Wuhan University of Science and Technology（武汉科技大学） ； Hubei Province Key Laboratory of Intelligent Information Processing and Real-time Industrial System（湖北省智能信息处理与实时工业系统重点实验室） ； Wuhan University（武汉大学） ； Anhui University（安徽大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 综述行人重识别领域从单模态向多模态发展的转变，系统回顾关键跨模态任务，研究多模态融合ReID，提出基于Transformer的可见光-红外ReID基线框架，并概述未来研究方向。

Comments 61 pages, 6 figures, journal

Journal ref International Journal of Computer Vision.2026

Segregate, Refine, Integrate: Decomposing Multimodal Fusion for Sentiment Analysis

分离、细化、整合：用于情感分析的多模态融合分解

Alexios Filippakopoulos, Elias Kallioras, Nikolaos Xiros, Efthymios Georgiou, Alexandros Potamianos

机构 * National Technical University of Athens（雅典国立技术大学） ； Athena Research Center（雅典娜研究中心） ； University of Bern（伯尔尼大学） ； Archimedes AI（阿基米德人工智能公司） ； Synaptic Bloom PBC（突触绽放有限责任公司） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CL

AI总结 研究情感分析中的多模态融合问题，提出SeRIn方案，通过分离特定模态与跨模态路径，各自细化演变，将跨模态交互推迟到预测步骤，在CH - SIMS和CMU - MOSEI上取得领先成果。

MQAdapter: Multi-Modal Quantum Adapter for Coarse-to-Fine VLM Fine-tuning

MQAdapter：用于从粗到细的视觉语言模型微调的多模态量子适配器

Yumiao Zhao, Bo Jiang, Min Lu, Xiao Wang, Jin Tang

机构 * Anhui University（安徽大学） ； Origin Quantum Computing Company Limited（本源量子计算有限公司） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 针对视觉语言模型在少样本学习中细粒度区分不足的问题，提出多模态量子适配器MQAdapter。先检索Top-K候选类别作语义锚点，再用跨模态量子学习机制，利用量子特性建模高阶交互，细化视觉特征，参数高效且能集成现有算法提升性能。

Adaptive Cross-Modal Fusion with Sparse Attention for Pedestrian Crossing Intention Prediction

基于稀疏注意力的自适应跨模态融合用于行人过街意图预测

Md Mahfuzur Rahman, Pengzhan Zhou, A F M Abdun Noor, Md Imam Ahasan, Kah Ong Michael Goh, S. M. Hasan Mahmud, Md Mustafizur Rahman, Kaixin Gao

机构 * Faculty of Information Science & Technology, Multimedia University（信息科学与技术学院，马来西亚多媒体大学） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)；分类 cs.CV

AI总结 研究针对自动驾驶中行人过街意图预测问题，提出ADAPT多模态框架，通过五个模块联合建模视觉和运动信息，实验证明该方法优于现有技术，在准确率和实时性上取得平衡，为智能交通等应用提供有效方案。

Comments 17 pages, 5 figures, 4 tables. Under review at PeerJ Computer Science