多模态大模型

SATORI-R1: Incentivizing Multimodal Reasoning through Explicit Visual Anchoring

SATORI-R1: 通过显式视觉锚定激励多模态推理

Chuming Shen, Wei Wei, Xiaoye Qu, Yu Cheng

机构 * Huazhong University of Science and Technology（华中科技大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 SATORI-R1通过显式视觉锚定提升多模态推理，采用三个可验证阶段和VQA-Verify数据集，在VQA任务中实现15.7%的准确率提升。

Comments 21 pages, 8 figures

Optimizing Multimodal Language Models through Attention-based Interpretability

通过基于注意力的可解释性优化多模态语言模型

Alexander Sergeev, Evgeny Kotelnikov

机构 * European University at Saint Petersburg（圣彼得堡欧洲大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

AI总结 通过基于注意力的可解释性方法优化多模态语言模型，识别关键对象相关的注意力头以提高效率和性能。

Comments Accepted for ICAI-2025 conference

WalkCLIP: Multimodal Learning for Urban Walkability Prediction

WalkCLIP: 城市步行性预测的多模态学习

Shilong Xiang, JangHyeon Lee, Min Namgung, Yao-Yi Chiang

机构 * University of Minnesota Twin Cities（明尼苏达大学双城分校） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

AI总结 WalkCLIP通过整合视觉和行为数据，实现了对城市步行性的高精度预测。

Sim4Seg: Boosting Multimodal Multi-disease Medical Diagnosis Segmentation with Region-Aware Vision-Language Similarity Masks

Lingran Song, Yucheng Zhou, Jianbing Shen

机构 * Lingran Song, Yucheng Zhou, Jianbing Shen（作者） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments AAAI 2026

Fine-Tuning Vision-Language Models for Multimodal Polymer Property Prediction

An Vuong, Minh-Hao Van, Prateek Verma, Chen Zhao, Xintao Wu

机构 * Department of EECS University of Arkansas（电子工程与科学系 亚拉荷加大学） ； Department of CS Baylor University（计算机科学系 基尔默大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

TRACE: Textual Relevance Augmentation and Contextual Encoding for Multimodal Hate Detection

Girish A. Koushik, Helen Treharne, Aditya Joshi, Diptesh Kanojia

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments Accepted to Special Track on AI for Social Impact (AISI) at AAAI 2026

Fine-Tuning MedGemma for Clinical Captioning to Enhance Multimodal RAG over Malaysia CPGs

Lee Qi Zun, Mohamad Zulhilmi Bin Abdul Halim, Goh Man Fye

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

SpinalSAM-R1: A Vision-Language Multimodal Interactive System for Spine CT Segmentation

Jiaming Liu, Dingwei Fan, Junyong Zhao, Chunlin Li, Haipeng Si, Liang Sun

机构 * College of Artificial Intelligence, Nanjing University of Aeronautics and Astronautics（人工智能学院，南京航空航天大学） ； Department of Orthopedics, Qilu Hospital, Shandong University（骨科部，齐鲁医院，山东大学） ； Key Laboratory of Qingdao in Medicine and Engineering（医学与工程青岛重点实验室） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 2 Tables,5 Figures,16 Equations

Seeing Sarcasm Through Different Eyes: Analyzing Multimodal Sarcasm Perception in Large Vision-Language Models

Junjie Chen, Xuyang Liu, Subin Huang, Linfeng Zhang, Hang Yu

机构 * Anhui Polytechnic University (AHPU)（安徽工程大学） ； Shanghai University (SHU)（上海大学） ； Shanghai Jiao Tong University (SJTU)（上海交通大学） ； Sichuan University (SCU)（四川大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

TACO: Enhancing Multimodal In-context Learning via Task Mapping-Guided Sequence Configuration

Yanshu Li, Jianjiang Yang, Tian Yun, Pinyuan Feng, Jinfa Huang, Ruixiang Tang

机构 * Brown University（布朗大学） ； University of Bristol（布里斯托大学） ； Columbia University（哥伦比亚大学） ； University of Rochester（罗切斯特大学） ； Rutgers University（罗格斯大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments EMNLP2025 Main, 28 pages, 11 figures, 19 tables

ProReason: Multi-Modal Proactive Reasoning with Decoupled Eyesight and Wisdom

Jingqi Zhou, Sheng Wang, Jingwei Dong, Kai Liu, Lei Li, Jiahui Gao, Jiyue Jiang, Lingpeng Kong, Chuan Wu

机构 * The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Connecting Giants: Synergistic Knowledge Transfer of Large Multimodal Models for Few-Shot Learning

Hao Tang, Shengfeng He, Jing Qin

机构 * Centre for Smart Health, The Hong Kong Polytechnic University（香港理工大学智能健康中心） ； School of Computing and Information Systems, Singapore Management University（新加坡管理大学计算机与信息系统学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

Comments Accepted by IJCAI 2025

Training Vision-Language Process Reward Models for Test-Time Scaling in Multimodal Reasoning: Key Insights and Lessons Learned

Brandon Ong, Tej Deep Pala, Vernon Toh, William Chandra Tjhi, Soujanya Poria

机构 * AI Singapore（AI新加坡） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Automating construction safety inspections using a multi-modal vision-language RAG framework

Chenxin Wang, Elyas Asadi Shamsabadi, Zhaohui Chen, Luming Shen, Alireza Ahmadian Fard Fini, Daniel Dias-da-Costa

专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

Comments 33 pages, 11 figures, 7 tables

Multimodal Arabic Captioning with Interpretable Visual Concept Integration

Passant Elchafei, Amany Fashwan

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Multimodal Carotid Risk Stratification with Large Vision-Language Models: Benchmarking, Fine-Tuning, and Clinical Insights

Daphne Tsolissou, Theofanis Ganitidis, Konstantinos Mitsis, Stergios CHristodoulidis, Maria Vakalopoulou, Konstantina Nikita

机构 * National Technical University of Athens（希腊国家技术大学） ； CentraleSupélec, Université Paris-Saclay（巴黎-萨克雷大学中央理工学院） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Importance Sampling for Multi-Negative Multimodal Direct Preference Optimization

Xintong Li, Chuhan Wang, Junda Wu, Rohan Surana, Tong Yu, Julian McAuley, Jingbo Shang

机构 * University of California, San Diego（加州大学圣迭戈分校） ； Adobe Research（Adobe研究） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments Preprint

MMPB: It's Time for Multi-Modal Personalization

Jaeik Kim, Woojin Kim, Woohyeon Park, Jaeyoung Do

机构 * AIDAS Laboratory（AIDAS实验室） ； IPAI ； ECE（电子工程系） ； Seoul National University（首尔国立大学） 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted in NeurIPS 2025

DentVLM: A Multimodal Vision-Language Model for Comprehensive Dental Diagnosis and Enhanced Clinical Practice

Zijie Meng, Jin Hao, Xiwei Dai, Yang Feng, Jiaxiang Liu, Bin Feng, Huikai Wu, Xiaotang Gai, Hengchuan Zhu, Tianxiang Hu, Yangyang Wu, Hongxia Xu, Jin Li, Jun Xiao, Xiaoqiang Liu, Joey Tianyi Zhou, Fudong Zhu, Zhihe Zhao, Lunguo Xia, Bing Fang, Jimeng Sun, Jian Wu, Zuozhu Liu

机构 * Stomatology Hospital, School of Stomatology, Zhejiang University School of Medicine, Zhejiang University, Hangzhou（牙科医院，口腔医学院，浙江大学医学院，浙江大学，杭州） ； College of Computer Science and Technology, Zhejiang University-University of Illinois Urbana-Champaign Institute, Zhejiang University, Hangzhou（计算机科学与技术学院，浙江大学-伊利诺伊大学 Urbana-Champaign 院，浙江大学，杭州） ； Department of Orthodontics, Shanghai Ninth People’s Hospital, College of Stomatology, Shanghai Jiao Tong University School of Medicine（正畸科，上海第九人民医院，口腔医学院，上海交通大学医学院） ； Angelalign Technology Inc.（Angelalign 技术公司） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Revisiting Visual Understanding in Multimodal Reasoning through a Lens of Image Perturbation

Yuting Li, Lai Wei, Kaipeng Zheng, Jingyuan Huang, Guilin Li, Bo Wang, Linghe Kong, Lichao Sun, Weiran Huang

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） ； Shanghai Innovation Institute（上海创新研究院） ； Zhongguancun Academy（中关村学院） ； Tencent（腾讯） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI） ； Lehigh University（莱斯大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Technical Report

Provenance Analysis of Archaeological Artifacts via Multimodal RAG Systems

Tuo Zhang, Yuechun Sun, Ruiliang Liu

机构 * Museus ； University of Science and Technology of China（中国科学技术大学） ； British Museum（大英博物馆） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Redemption Score: A Multi-Modal Evaluation Framework for Image Captioning via Distributional, Perceptual, and Linguistic Signal Triangulation

Ashim Dahal, Ankit Ghimire, Saydul Akbar Murad, Nick Rahimi

机构 * University of Southern Mississippi（密苏里州南方大学） 纠错

专题命中 图文多模态 ：multi-modal(title)；image-text(abstract)；分类 cs.CV、cs.CL

PriorCLIP: Visual Prior Guided Vision-Language Model for Remote Sensing Image-Text Retrieval

Jiancheng Pan, Muyuan Ma, Qing Ma, Cong Bai, Shengyong Chen

机构 * IEEE Publication Technology Department（IEEE出版技术部） 纠错

专题命中 图文多模态 ：image-text(title,abstract)；分类 cs.CV、cs.AI

Comments 14 pages, 7 figures

XBusNet: Text-Guided Breast Ultrasound Segmentation via Multimodal Vision-Language Learning

Raja Mallina, Bryar Shareef

机构 * Department of Computer Science University of Nevada, Las Vegas（计算机科学系 纳瓦拉大学拉斯维加斯分校） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 15 pages, 3 figures, 4 tables

SE-VLN: A Self-Evolving Vision-Language Navigation Framework Based on Multimodal Large Language Models

Xiangyu Dong, Haoran Zhao, Jiang Gao, Haozhou Li, Xiaoguang Ma, Yaoming Zhou, Fuhai Chen, Juan Liu

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Hierarchical Vision-Language Reasoning for Multimodal Multiple-Choice Question Answering

Ao Zhou, Zebo Gu, Tenghao Sun, Jiawen Chen, Mingsheng Tu, Zifeng Cheng, Yafeng Yin, Zhiwei Jiang, Qing Gu

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.MM

Comments This paper has been accepted by ACM MM 2025

DesignCLIP: Multimodal Learning with CLIP for Design Patent Understanding

Zhu Wang, Homaira Huda Shomee, Sathya N. Ravi, Sourav Medya

机构 * Department of Computer Science, University of Illinois Chicago（计算机科学系，伊利诺伊大学芝加哥分校） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted by EMNLP 2025. 22 pages, 14 figures

Empowering Morphing Attack Detection using Interpretable Image-Text Foundation Model

Sushrut Patwardhan, Raghavendra Ramachandra, Sushma Venkatesh

机构 * Norwegian University of Science and Technology (NTNU)（挪威科学技术大学） ； MOBAI AS（MOBAI公司） 纠错

专题命中 图文多模态 ：image-text(title)；multimodal(abstract)；分类 cs.CV、cs.AI

Towards Effective MLLM Jailbreaking Through Balanced On-Topicness and OOD-Intensity

Zuoou Li, Weitong Zhang, Jingyuan Wang, Shuyuan Zhang, Wenjia Bai, Bernhard Kainz, Mengyun Qiao

专题命中 图文多模态 ：MLLM(title)；multimodal(abstract)；分类 cs.CV、cs.AI

True Multimodal In-Context Learning Needs Attention to the Visual Context

Shuo Chen, Jianzhe Liu, Zhen Han, Yan Xia, Daniel Cremers, Philip Torr, Volker Tresp, Jindong Gu

机构 * LMU Munich（慕尼黑大学） ； Technical University of Munich（慕尼黑技术大学） ； Siemens AG（西门子股份公司） ； University of Science and Technology of China（中国科学技术大学） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； Konrad Zuse School of Excellence in Reliable AI (relAI)（Konrad Zuse可靠性人工智能卓越学院） ； University of Oxford（牛津大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Accepted to COLM 2025