多模态大模型

Perception-Consistency Multimodal Large Language Models Reasoning via Caption-Regularized Policy Optimization

Songjun Tu, Qichao Zhang, Jingbo Sun, Yuqian Fu, Linjing Li, Xiangyuan Lan, Dongmei Jiang, Yaowei Wang, Dongbin Zhao

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） ； Pengcheng Laboratory（鹏城实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

Comments 12pages, 11 figures

Multimodal Medical Image Classification via Synergistic Learning Pre-training

Qinghua Lin, Guang-Hai Liu, Zuoyong Li, Yang Li, Yuting Jiang, Xiang Wu

机构 * College of Biomedical Engineering, Fudan University（复旦大学生物医学工程学院） ； College of Computer Science and Engineering, Guangxi Normal University（广西师范大学计算机科学与工程学院） ； Fujian Provincial Key Laboratory of Information Processing and Intelligent Control, School of Computer and Big Data, Minjiang University（福建省信息处理与智能控制重点实验室，闽江学院计算机与大数据学院） ； Department of Automation Science and Electrical Engineering, Beihang University（北京航空航天大学自动化科学与电气工程学院） ； Department of Digestive Endoscopy, Fuzhou University Affiliated Provincial Hospital, Provincial Clinical Medical College of Fujian Medical University（福州市大学附属省医院消化内镜科，福建医科大学省临床医学学院） ； Department of Urology, Fuzhou University Affiliated Provincial Hospital, Provincial Clinical Medical College of Fujian Medical University（福州市大学附属省医院泌尿科，福建医科大学省临床医学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

FC-Attack: Jailbreaking Multimodal Large Language Models via Auto-Generated Flowcharts

Ziyi Zhang, Zhen Sun, Zongmin Zhang, Jihui Guo, Xinlei He

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted to Findings of EMNLP 2025

VLM-E2E: Enhancing End-to-End Autonomous Driving with Multimodal Driver Attention Fusion

Pei Liu, Haipeng Liu, Haichao Liu, Xin Liu, Jinxin Ni, Jun Ma

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Li Auto Inc.（Li汽车公司） ； the School of Aeronautics and Astronautics, Xiamen University（厦门大学航空航天学院） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Flexible Multimodal Neuroimaging Fusion for Alzheimer's Disease Progression Prediction

Benjamin Burns, Yuan Xue, Douglas W. Scharre, Xia Ning

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； Department of Biomedical Informatics（生物医学信息学系） ； Department of Neurology（神经病学系） ； Translational Data Analytics Institute（转化数据分析研究所） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted at Applications of Medical AI 2025

Multimodal SAM-adapter for Semantic Segmentation

Iacopo Curti, Pierluigi Zama Ramirez, Alioscia Petrelli, Luigi Di Stefano

机构 * University of Bologna（博洛尼亚大学） ； SINA 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

HiddenObject: Modality-Agnostic Fusion for Multimodal Hidden Object Detection

Harris Song, Tuan-Anh Vu, Sanjith Menon, Sriram Narasimhan, M. Khalid Jawed

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments fix typos

Multimodal Contrastive Pretraining of CBCT and IOS for Enhanced Tooth Segmentation

Moo Hyun Son, Juyoung Bae, Zelin Qiu, Jiale Peng, Kai Xin Li, Yifan Lin, Hao Chen

机构 * Department of Computer Science and Engineering（计算机科学与工程系） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； Division of Paediatric Dentistry and Orthodontics, Faculty of Dentistry（牙科学院儿童牙科与正畸科） ； The University of Hong Kong（香港大学） ； Delun Dental Hospital（德尔伦牙科医院） ； Department of Chemical and Biological Engineering（化学与生物工程系） ； Division of Life Science（生命科学系） ； HKUST Shenzhen-Hong Kong Collaborative Innovation Research Institute（香港科技大学深圳-香港协同创新研究院） ； State Key Laboratory of Nervous System Disorders（神经系统紊乱国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

FusWay: Multimodal hybrid fusion approach. Application to Railway Defect Detection

Alexey Zhukov, Jenny Benois-Pineau, Amira Youssef, Akka Zemmari, Mohamed Mosbah, Virginie Taillandier

机构 * University Bordeaux, CNRS, Bordeaux INP, INRIA, LaBRI（波尔多大学、国家科学研究中心、波尔多国立理工学院、INRIA、LaBRI） ； SNCF, DIR TECHNOLOGIES INNOVATION ET PROJETS GROUPE, IR - DPISF TECH4RAIL - TLI（法国国家铁路公司、技术与项目集团、IR - DPISF TECH4RAIL - TLI） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Multimodal Feature Fusion Network with Text Difference Enhancement for Remote Sensing Change Detection

Yijun Zhou, Yikui Zhai, Zilu Ying, Tingfeng Xian, Wenlve Zhou, Zhiheng Zhou, Xiaolin Tian, Xudong Jia, Hongsheng Zhang, C. L. Philip Chen

机构 * College of Electronics and Information Engineering, Wuyi University（威怡大学电子与信息工程学院） ； School of Electronic and Information Engineering and the Key Laboratory of Big Data and Intelligent Robot, Ministry of Education, South China University of Technology（电子与信息工程学院和大数据与智能机器人重点实验室，华南理工大学） ； State Key Laboratory of Lunar and Planetary Sciences, Macau University of Science and Technology（澳门大学地球和行星科学国家重点实验室） ； College of Engineering and Computer Science, California State University, Northridge（工程与计算机科学学院，加州大学北岭分校） ； Department of Geography, The University of Hong Kong（地理系，香港大学） ； Faculty of Computer Science and Engineering, S（计算机科学与工程学院，S） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Fusion to Enhance: Fusion Visual Encoder to Enhance Multimodal Language Model

Yifei She, Huangxuan Wu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Multimodal Prototype Alignment for Semi-supervised Pathology Image Segmentation

Mingxi Fu, Fanglei Fu, Xitong Ling, Huaitian Yuan, Tian Guan, Yonghong He, Lianghui Zhu

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Hyperbolic Multimodal Representation Learning for Biological Taxonomies

ZeMing Gong, Chuanqi Tang, Xiaoliang Huo, Nicholas Pellegrino, Austin T. Wang, Graham W. Taylor, Angel X. Chang, Scott C. Lowe, Joakim Bruslund Haurum

机构 * Simon Fraser University（西蒙弗雷泽大学） ； University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） ； University of Guelph（圭尔夫大学） ； Alberta Machine Intelligence Institute (Amii)（阿尔伯塔机器智能研究所） ； Aalborg University（奥胡斯大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

FlexMUSE: Multimodal Unification and Semantics Enhancement Framework with Flexible interaction for Creative Writing

Jiahao Chen, Zhiyong Ma, Wenbiao Du, Qingyuan Chuai

机构 * Cao Tu Li(Guangzhou) Technology Co., Ltd, China（广东曹图利技术有限公司） ； South China University of Technology, China（华南理工大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

Multimodal Transformers are Hierarchical Modal-wise Heterogeneous Graphs

Yijie Jin, Junjie Peng, Xuanchao Lin, Haochen Yuan, Lan Wang, Cangzhi Zheng

机构 * School of Computer Engineering and Science, Shanghai University（上海大学计算机工程与科学学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

Journal ref https://aclanthology.org/2025.acl-long.109/

GeoSAM: Fine-tuning SAM with Multi-Modal Prompts for Mobility Infrastructure Segmentation

Rafi Ibn Sultan, Chengyin Li, Hui Zhu, Prashant Khanduri, Marco Brocanelli, Dongxiao Zhu

机构 * Department of Computer Science, Wayne State University, Detroit, MI, USA 48202（计算机科学系，韦恩州立大学） ； Department of Radiation Oncology, Henry Ford Health, Detroit, MI, USA 48202（放射肿瘤科，亨利福特健康） ； Department of Electrical and Computer Engineering, The Ohio State University, Columbus, Ohio, USA 43210（电气与计算机工程系，俄亥俄州立大学） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted by European Conference on Artificial Intelligence (ECAI 2025)

When Language Overrules: Revealing Text Dominance in Multimodal Large Language Models

Huyu Wu, Meng Tang, Xinhan Zheng, Haiyun Jiang

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

BASIC: Boosting Visual Alignment with Intrinsic Refined Embeddings in Multimodal Large Language Models

Jianting Tang, Yubo Wang, Haoyu Cao, Linli Xu

机构 * University of Science and Technology of China（中国科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted to ICCV 2025

HERGC: Heterogeneous Experts Representation and Generative Completion for Multimodal Knowledge Graphs

Yongkang Xiao, Rui Zhang

机构 * University of Minnesota（明尼苏达大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

3DTTNet: Multimodal Fusion-Based 3D Traversable Terrain Modeling for Off-Road Environments

Zitong Chen, Chao Sun, Shida Nie, Chen Min, Changjiu Ning, Haoyu Li, Bo Wang

机构 * Shenzhen Automotive Research Institute, Beijing Institute of Technology, Shenzhen（深圳汽车研究院，北京理工大学，深圳） ； School of Mechanical Engineering, Beijing Institute of Technology, Beijing（机械工程学院，北京理工大学，北京） ； Research Center for Intelligent Computing Systems, Institute of Computing Technology, Chinese Academy of Sciences, Beijing（智能计算系统研究中心，计算技术研究所，中国科学院，北京） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 15 pages,13 figures

Automatic Fused Multimodal Deep Learning for Plant Identification

Alfreds Lapkovskis, Natalia Nefedova, Ali Beikmohammadi

机构 * Department of Computer and Systems Sciences（计算机与系统科学系） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Journal ref Front. Plant Sci., 05 August 2025

MiraGe: Multimodal Discriminative Representation Learning for Generalizable AI-Generated Image Detection

Kuo Shi, Jie Lu, Shanshan Ye, Guangquan Zhang, Zhen Fang

机构 * University of Technology Sydney（悉尼技术大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted to ACMMM 2025

Investigating Structural Pruning and Recovery Techniques for Compressing Multimodal Large Language Models: An Empirical Study

Yiran Huang, Lukas Thede, Massimiliano Mancini, Wenjia Xu, Zeynep Akata

机构 * Technical University of Munich, Germany（慕尼黑技术大学，德国） ； Helmholtz Munich, Munich Center for Machine Learning, Germany（海德堡慕尼黑，慕尼黑机器学习中心，德国） ； University of Tübingen, Tübingen AI Center, Germany（图宾根大学，图宾根人工智能中心，德国） ； University of Trento, Italy（特伦托大学，意大利） ； Beijing University of Posts and Telecommunications, China（北京邮电大学，中国） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments Accepted at GCPR 2025

HeLo: Heterogeneous Multi-Modal Fusion with Label Correlation for Emotion Distribution Learning

Chuhang Zheng, Chunwei Tian, Jie Wen, Daoqiang Zhang, Qi Zhu

机构 * College of Artificial Intelligence（人工智能学院） ； Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； School of Computer Science and Technology（计算机科学与技术学院） ； Harbin Institute of Technology（哈尔滨工业大学） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI、cs.MM

LLaVA-NeuMT: Selective Layer-Neuron Modulation for Efficient Multilingual Multimodal Translation

Jingxuan Wei, Caijun Jia, Qi Chen, Yujun Cai, Linzhuang Sun, Xiangxiang Zhang, Gaowei Wu, Bihui Yu

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； The University of Queensland（昆士兰大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

MGHFT: Multi-Granularity Hierarchical Fusion Transformer for Cross-Modal Sticker Emotion Recognition

Jian Chen, Yuxuan Hu, Haifeng Lu, Wei Wang, Min Yang, Chengming Li, Xiping Hu

机构 * Shenzhen MSU-BIT University（深圳MSU-BIT大学） ； Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院，中国科学院） 纠错

专题命中 多模态训练与对齐 ：cross-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

Comments Accepted by ACMMM2025

Explaining How Visual, Textual and Multimodal Encoders Share Concepts

Clément Cornet, Romaric Besançon, Hervé Le Borgne

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Multimodal Forecasting of Sparse Intraoperative Hypotension Events Powered by Language Model

Jintao Zhang, Zirui Liu, Mingyue Cheng, Shilong Zhang, Tingyue Pan, Yitong zhou, Qi Liu, Yanhu Xie

机构 * University of Science and Technology of China（中国科学技术大学） ； The First Affiliated Hospital of University of Science and Technology of China（中国科学技术大学第一附属医院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

City-VLM: Towards Multidomain Perception Scene Understanding via Multimodal Incomplete Learning

Penglei Sun, Yaoxian Song, Xiangru Zhu, Xiang Liu, Qiang Wang, Yue Liu, Changqun Xia, Tiefeng Li, Yang Yang, Xiaowen Chu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； Terminus Technologies Co., Ltd. ； Pengcheng Laboratory（鹏城实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

InSight: AI Mobile Screening Tool for Multiple Eye Disease Detection using Multimodal Fusion

Ananya Raghu, Anisha Raghu, Alice S. Tang, Yannis M. Paulus, Tyson N. Kim, Tomiko T. Oskotsky

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV、cs.AI