多模态大模型

Decoding Tourist Perception in Historic Urban Quarters with Multimodal Social Media Data: An AI-Based Framework and Evidence from Shanghai

通过多模态社交媒体数据解码历史城市街区的游客感知：一种基于人工智能的框架及上海的实证

Kaizhen Tan, Yufan Wu, Yuxuan Liu, Haoran Zeng

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本研究提出基于人工智能的多模态框架，通过分析社交媒体数据解码游客对历史城市街区的感知，揭示感知与现实之间的差距，并为遗产管理和城市设计提供依据。

Synthesizing Multimodal Geometry Datasets from Scratch and Enabling Visual Alignment via Plotting Code

从零开始合成多模态几何数据集并借助绘图代码实现视觉对齐

Haobo Lin, Tianyi Bai, Chen Chen, Jiajun Zhang, Bohan Zeng, Wentao Zhang, Binhang Yuan

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出GeoCode数据集，通过代码预测实现视觉对齐，提升多模态几何推理性能。

Comments 58 pages, 10 figures

Cross-Modal Purification and Fusion for Small-Object RGB-D Transmission-Line Defect Detection

跨模态净化与融合用于小物体RGB-D传输线缺陷检测

Jiaming Cui, Wenqiang Li, Shuai Zhou, Ruifeng Qin, Feng Shen

机构 * School of Mechatronics Engineering, Harbin Institute of Technology（机械电子工程学院，哈尔滨工业大学） ； School of Instrument Science and Engineering, Harbin Institute of Technology（仪器科学与工程学院，哈尔滨工业大学） ； Electric Power Research Institute, Yunnan Power Grid Co., Ltd.（电力研究院，云南电网公司） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 CMAFNet通过跨模态净化与融合技术，提升小物体RGB-D传输线缺陷检测的精度与效率。

Multimodal Prompt Optimization: Why Not Leverage Multiple Modalities for MLLMs

多模态提示优化：为何不利用多种模态为大语言模型服务

Yumin Choi, Dongki Kim, Jinheon Baek, Sung Ju Hwang

机构 * KAIST（韩国科学技术院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出多模态提示优化问题，提出MPO框架，通过联合优化和贝叶斯策略提升多模态提示效果，验证其在图像、视频等多模态任务中的优越性。

Comments ICLR 2026

Investigating Redundancy in Multimodal Large Language Models with Multiple Vision Encoders

探究多模态大语言模型中多个视觉编码器的冗余性

Yizhou Wang, Song Mao, Yang Chen, Yufan Shen, Yinqiao Yan, Pinlong Cai, Ding Wang, Guohang Yan, Zhi Yu, Xuming Hu, Botian Shi

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了多模态大语言模型中多个视觉编码器的冗余性，通过分析发现编码器的专业化、冗余性和有害性，并提出了量化冗余的指标，为更高效的多模态架构设计提供依据。

Comments accepted by ICLR2026, project website: https://github.com/MaoSong2022/Encoder-Redundancy

Timing Is Everything: Finding the Optimal Fusion Points in Multimodal Medical Imaging

时机至关重要：在多模态医学影像中寻找最佳融合点

Valerio Guarrasi, Klara Mogensen, Sara Tassinari, Sara Qvarlander, Paolo Soda

机构 * Department of Diagnostics and Intervention, Biomedical Engineering and Radiation Physics, Umeå University（诊断与介入系，生物医学工程与放射物理，乌梅大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种顺序前进搜索算法，用于高效确定多模态医学影像中最佳融合时机，提升诊断准确性并减少计算开销。

CATP: Cross-Attention Token Pruning for Accuracy Preserved Multimodal Model Inference

CATP：用于保持准确性的多模态模型推理中的交叉注意力标记修剪

Ruqi Liao, Chuqing Zhao, Jin Li, Weiqi Feng, Yi Lyu, Bingxian Chen, Haochen Yang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 CATP通过交叉注意力层优化标记修剪，显著提升多模态模型推理的准确性与效率。

Tighnari v2: Mitigating Label Noise and Distribution Shift in Multimodal Plant Distribution Prediction via Mixture of Experts and Weakly Supervised Learning

Tighnari v2: 通过专家混合和弱监督学习缓解多模态植物分布预测中的标签噪声和分布偏移

Haixu Liu, Yufei Wang, Tianxiang Xu, Chuancheng Shi, Hongsheng Xing

机构 * The University of Sydney, Sydney, New South Wales, Australia（悉尼大学） ； The University of New South Wales, Sydney, New South Wales, Australia（新南威尔士大学） ； School of Software and Microelectronics, Peking University, Beijing, China（北京大学软件与微电子学院） ； Shandong University of Technology, Zibo, Shandong, China（山东科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 Tighnari v2通过专家混合和弱监督学习缓解多模态植物分布预测中的标签噪声和分布偏移，提升预测性能。

Linear Model Merging Unlocks Simple and Scalable Multimodal Data Mixture Optimization

线性模型合并解锁了简单且可扩展的多模态数据混合优化

Davide Berasi, Matteo Farina, Massimiliano Mancini, Elisa Ricci

机构 * University of Trento（特伦托大学） ； Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 本文提出通过模型合并高效估算多模态数据混合效果，结合领域专家训练与参数空间组合，实现可扩展的混合优化方法。

Comments Preprint

Interactive Spatial-Frequency Fusion Mamba for Multi-Modal Image Fusion

交互式空间-频率融合Mamba用于多模态图像融合

Yixin Zhu, Long Lv, Pingping Zhang, Xuehu Liu, Tongdan Tang, Feng Tian, Weibing Sun, Huchuan Lu

机构 * School of Future Technology, Dalian University of Technology and the Key Laboratory of Data Science and Smart Education (Hainan Normal University), Ministry of Education（未来技术学院，大连理工大学和数据科学与智能教育关键实验室（海南师范大学），教育部） ； Affiliated Zhongshan Hospital of Dalian University（大连大学附属中山医院） ； School of Computer Science and Artificial Intelligence, Wuhan University of Technology（计算机科学与人工智能学院，武汉理工大学） ； Central Hospital of Dalian University of Technology（大连理工大学中心医院） ； School of Information and Communication Engineering, Dalian University of Technology（信息与通信工程学院，大连理工大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文提出交互式空间-频率融合Mamba框架，通过多尺度频率融合和交互式融合提升多模态图像融合性能。

Comments This work is accepted by IEEE Transactions on Image Processing. More modifications may be performed

Learning Domain Knowledge in Multimodal Large Language Models through Reinforcement Fine-Tuning

通过强化微调学习多模态大语言模型中的领域知识

Qinglong Cao, Yuntian Chen, Chao Ma, Xiaokang Yang

机构 * MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, Shanghai, China（人工智能大规模并行计算实验室，人工智能研究院，上海交通大学，上海） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 本文提出通过强化微调框架在优化层面整合领域知识，提升多模态大语言模型在专门领域任务中的性能。

UNIC: Learning Unified Multimodal Extrinsic Contact Estimation

UNIC: 学习统一的多模态外在接触估计

Zhengtong Xu, Yuki Shirai

机构 * Edwardson School of Industrial Engineering, Purdue University（帕克大学工业工程学院） ； Mitsubishi Electric Research Laboratories（三菱电机研究实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 UNIC通过统一多模态框架实现无需先验知识的外在接触估计，提升手部操作的鲁棒性和适应性。

AdaFuse: Adaptive Multimodal Fusion for Lung Cancer Risk Prediction via Reinforcement Learning

AdaFuse：基于强化学习的自适应多模态融合用于肺癌风险预测

Chongyu Qu, Zhengyi Lu, Yuxiang Lai, Thomas Z. Li, Junchao Zhu, Junlin Guo, Juming Xiong, Yanfan Zhu, Yuechen Yang, Allen J. Luna, Kim L. Sandler, Bennett A. Landman, Yuankai Huo

机构 * Vanderbilt University（范德比尔特大学） ； Vanderbilt University Medical Center（范德比尔特大学医学中心） ； Emory University（埃默里大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 AdaFuse利用强化学习实现自适应多模态融合，通过动态选择和融合模态提升肺癌风险预测的AUC性能。

MolX: Enhancing Large Language Models for Molecular Understanding With A Multi-Modal Extension

MolX: 通过多模态扩展增强大型语言模型的分子理解能力

Khiem Le, Zhichun Guo, Kaiwen Dong, Xiaobao Huang, Bozhao Nan, Roshni Iyer, Xiangliang Zhang, Olaf Wiest, Wei Wang, Ting Hua, Nitesh V. Chawla

机构 * University of Notre Dame, IN, USA（诺丁汉大学） ； University of California, Los Angeles, CA, USA（加州大学洛杉矶分校） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 MolX通过多模态扩展提升LLM对分子的理解能力，利用SMILES和分子图提取细粒度特征，并结合分子指纹提升性能，有效提升分子相关任务表现。

Comments MLoG-GenAI@KDD'25

Innovator-VL: A Multimodal Large Language Model for Scientific Discovery

Innovator-VL：一种用于科学发现的多模态大语言模型

Zichen Wen, Boxue Yang, Shuang Chen, Yaojie Zhang, Yuhang Han, Junlong Ke, Cong Wang, Yicheng Fu, Jiawang Zhao, Jiangchao Yao, Xi Fang, Zhen Wang, Henxing Cai, Lin Yao, Zhifeng Gao, Yanhui Hong, Nang Yuan, Yixuan Li, Guojiang Zhao, Haoyi Tao, Nan Wang, Han Lyu, Guolin Ke, Ning Liao, Xiaoxing Wang, Kai Chen, Zhiyu Li, Feiyu Xiong, Sihan Hu, Kun Chen, Yanfeng Wang, Weinan E, Linfeng Zhang, Linfeng Zhang

机构 * School of Artificial Intelligence, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； Institute of Theoretical Physics, Chinese Academy of Sciences（中国科学院理论物理研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 Innovator-VL通过高效数据选择和透明训练方法，在科学发现中实现高性能多模态模型。

Comments Innovator-VL tech report

AGSP-DSA: An Adaptive Graph Signal Processing Framework for Robust Multimodal Fusion with Dynamic Semantic Alignment

AGSP-DSA: 一种用于鲁棒多模态融合的自适应图信号处理框架，具有动态语义对齐

KV Karthikeya, Ashok Kumar Das, Shantanu Pal, Vivekananda Bhat K, Arun Sekar Rajasekaran

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

AI总结 AGSP-DSA通过自适应图信号处理和动态语义对齐，实现鲁棒的多模态融合，提升情感分析和多媒体分类的性能。

Integrating Multi-Modal Sensors: A Review of Fusion Techniques for Intelligent Vehicles

多模态传感器整合：智能车辆融合技术综述

Chuheng Wei, Ziye Qin, Ziyan Zhang, Guoyuan Wu, Matthew J. Barth

机构 * College of Engineering, Center for Environmental Research and Technology, University of California at Riverside（工程学院、环境研究与技术中心、加州大学河滨分校） ； School of Transportation and Logistics, Southwest Jiaotong University（交通运输与物流学院、西南交通大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.MM

AI总结 本文综述了多传感器融合技术在自动驾驶中的应用，分析了深度学习方法、多模态数据集及新兴趋势，强调了其提升系统适应性和鲁棒性的潜力。

Comments Accepted by IEEE IV 2025

Journal ref Proceedings of the 2025 IEEE Intelligent Vehicles Symposium (IV), pp. 1817-1824, 2025

A Multimodal Hybrid Late-Cascade Fusion Network for Enhanced 3D Object Detection

一种多模态混合后期级联融合网络用于增强的3D物体检测

Carlo Sgaravatti, Roberto Basla, Riccardo Pieroni, Matteo Corno, Sergio M. Savaresi, Luca Magri, Giacomo Boracchi

机构 * Politecnico di Milano（米兰理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种多模态混合后期级联融合网络，通过结合RGB和3D激光雷达检测器，提升3D物体检测的性能，特别是在行人和自行车检测方面表现优异。

Aligning by Misaligning: Boundary-aware Curriculum Learning for Multimodal Alignment

通过不一致来对齐：面向多模态对齐的边界感知课程学习

Hua Ye, Hang Ding, Siyuan Chen, Yiyang Jiang, Changyuan Zhang, Xuan Zhang

机构 * Nanjing University（南京大学） ； Airon Technology CO., LTD（艾润科技有限公司） ； Shanghai Jiao Tong University（上海交通大学） ； University of Bristol（布里斯托大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The University of Hong Kong（香港大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出BACL方法，通过边界感知负样本采样和局部注意力损失，提升多模态对齐性能，在多个基准上取得优于CLIP的成果。

Comments 24 pages, 6 figures, 5 tables. Submitted to NeurIPS 2025

DCG ReID: Disentangling Collaboration and Guidance Fusion Representations for Multi-modal Vehicle Re-Identification

DCG ReID: 解构协作与指导融合表示以实现多模态车辆重识别

Aihua Zheng, Ya Gao, Shihao Li, Chenglong Li, Jin Tang

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 DCG-ReID通过解构协作与指导融合表示，解决多模态车辆重识别中模态质量分布不平衡的问题，提升多模态联合决策性能。

MIAR: Modality Interaction and Alignment Representation Fuison for Multimodal Emotion

MIAR: 多模态情感的模态交互与对齐表示融合

Jichao Zhu, Jun Yu

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 MIAR通过模态交互与对齐表示融合，提升多模态情感识别的性能。

Zoomer: Adaptive Image Focus Optimization for Black-box MLLM

Zoomer: 为黑盒大语言模型实现自适应图像聚焦优化

Jiaxu Qian, Chendong Wang, Yifan Yang, Chaoyun Zhang, Huiqiang Jiang, Xufang Luo, Yu Kang, Qingwei Lin, Anlan Zhang, Shiqi Jiang, Ting Cao, Tianjun Mao, Suman Banerjee, Guyue Liu, Saravan Rajmohan, Dongmei Zhang, Yuqing Yang, Qi Zhang, Lili Qiu

机构 * Microsoft（微软公司） ； Peking University（北京大学） ； University of Wisconsin Madison（威斯康星大学麦迪逊分校） ； University of Southern California（南加州大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title)；multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Zoomer通过自适应图像聚焦优化提升黑盒MLLM的多模态理解能力，显著提升准确性并减少token使用

Comments TMLR accepted

SwinTF3D: A Lightweight Multimodal Fusion Approach for Text-Guided 3D Medical Image Segmentation

SwinTF3D: 一种轻量级多模态融合方法用于文本引导的3D医学图像分割

Hasan Faraz Khan, Noor Fatima, Muzammil Behzad

机构 * King Fahd University of Petroleum（国王法赫德石油大学） ； SDAIA-KFUPM Joint Research Center for Artificial Intelligence（SDAIA-KFUPM人工智能联合研究中心） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 SwinTF3D通过统一视觉和语言表示，实现文本引导的3D医学图像分割，具备高效且适应性强的性能。

Self-Rewarded Multimodal Coherent Reasoning Across Diverse Visual Domains

跨多模态领域自奖励的推理框架

Jesen Zhang, Ningyuan Liu, Kaitong Cai, Sidi Liu, Jing Yang, Ziliang Chen, Xiaofei Sun, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 SR-MCR通过自奖励机制提升多模态推理的连贯性和准确性，在视觉基准测试中取得领先性能。

A-QCF-Net: An Adaptive Quaternion Cross-Fusion Network for Multimodal Liver Tumor Segmentation from Unpaired Datasets

A-QCF-Net：一种自适应四元数交叉融合网络用于从无配对数据集进行多模态肝肿瘤分割

Arunkumar V, Firos V M, Senthilkumar S, Gangadharan G R

机构 * University College of Engineering, Bharathidasan Institute of Technology Campus, Anna University（安娜大学工程学院，巴拉特拉桑理工学院校区，安娜大学） ； National Institute of Technology（国家理工学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 A-QCF-Net通过自适应四元数交叉融合网络，实现从无配对CT和MRI数据集中的肝肿瘤分割，提升分割精度并验证模型的临床实用性。

Anatomy-R1: Enhancing Anatomy Reasoning in Multimodal Large Language Models via Anatomical Similarity Curriculum and Group Diversity Augmentation

Anatomy-R1: 通过解剖相似性课程和群体多样性增强多模态大语言模型的解剖推理

Ziyang Song, Zelin Zang, Zuyao Chen, Xusheng Liang, Dong Yi, Jinlin Wu, Hongbin Liu, Jiebo Luo, Zhen. Lei

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 Anatomy-R1通过解剖相似性课程和群体多样性增强方法提升多模态大语言模型在医学影像中的解剖推理能力。

Rethinking Normalization Strategies and Convolutional Kernels for Multimodal Image Fusion

重新思考归一化策略和卷积核在多模态图像融合中的作用

Dan He, Guofen Wang, Weisheng Li, Yucheng Shu, Wenbo Li, Lijian Yang, Yuping Huang, Feiyan Li

机构 * Chongqing University of Posts and Telecommunications（重庆邮电大学） ； Chongqing Normal University（重庆师范大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种改进的UNet架构，通过混合实例和组归一化以及多路径自适应融合模块，提升多模态图像融合的性能和细节保留能力。

Training-Free Dual Hyperbolic Adapters for Better Cross-Modal Reasoning

无需训练的双双曲适配器用于更高效的跨模态推理

Yi Zhang, Chun-Wun Cheng, Junyi He, Ke Yu, Yushun Tang, Carola-Bibiane Schönlieb, Zhihai He, Angelica I. Aviles-Rivero

机构 * College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院） ； Department of Electrical and Electronic Engineering, Southern University of Science and Technology（南方科技大学电子与电气工程系） ； Department of Applied Mathematics and Theoretical Physics, University of Cambridge（剑桥大学应用数学与理论物理系） ； Yau Mathematical Sciences Center, Tsinghua University（清华大学应用数学中心） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出无需训练的双双曲适配器方法，通过双曲空间嵌入提升跨模态推理性能，实现更高效的领域泛化和少样本识别。

Comments Accepted in IEEE Transactions on Multimedia (TMM)

Unleashing the Intrinsic Visual Representation Capability of Multimodal Large Language Models

释放多模态大语言模型的内在视觉表示能力

Hengzhuang Li, Xinsong Zhang, Qiming Peng, Bin Luo, Han Hu, Dengyang Jiang, Han-Jia Ye, Teng Zhang, Hai Jin

机构 * HUST（华中科技大学） ； Tencent Hunyuan Research（腾讯混元研究） ； HKUST（香港科技大学） ； NJU（南京大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出LaVer框架，通过掩码图像建模提升多模态大语言模型的视觉表示能力，实验表明其在需要密集视觉能力的场景中表现优异。

Explainable Parkinsons Disease Gait Recognition Using Multimodal RGB-D Fusion and Large Language Models

可解释的帕金森病步态识别：基于多模态RGB-D融合与大语言模型

Manar Alnaasan, Md Selim Sarowar, Sungho Kim

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于多模态RGB-D融合与大语言模型的帕金森病步态识别框架，通过增强时空表示和语言解释提高识别准确性和临床可解释性。