多模态大模型

Spec-LLaVA: Accelerating Vision-Language Models with Dynamic Tree-Based Speculative Decoding

Mingxiao Huo, Jiayi Zhang, Hewei Wang, Jinfeng Xu, Zheyu Chen, Huilin Tai, Yijun Chen

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Nottingham（诺丁汉大学） ； The University of Hong Kong（香港大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Columbia University（哥伦比亚大学） ； University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL

Comments 7pages, accepted by ICML TTODLer-FM workshop

LATTE: Learning to Think with Vision Specialists

Zixian Ma, Jianguo Zhang, Zhiwei Liu, Jieyu Zhang, Juntao Tan, Manli Shu, Juan Carlos Niebles, Shelby Heinecke, Huan Wang, Caiming Xiong, Ranjay Krishna, Silvio Savarese

机构 * University of Washington（华盛顿大学） ； Salesforce Research（Salesforce研究） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

Journal ref EMNLP 2025

MedM-VL: What Makes a Good Medical LVLM?

Yiming Shi, Shaoshuai Yang, Xun Zhu, Haoyu Wang, Xiangling Fu, Miao Li, Ji Wu

机构 * Department of Electronic Engineering, Tsinghua University（清华大学电子工程系） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心） ； School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Image Recognition with Vision and Language Embeddings of VLMs

Illia Volkov, Nikita Kisel, Klara Janouskova, Jiri Matas

机构 * Visual Recognition Group, Faculty of Electrical Engineering, Czech Technical University in Prague（视觉识别组，电气工程学院，布拉格捷克技术大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

VIPER: Visual Perception and Explainable Reasoning for Sequential Decision-Making

Mohamed Salim Aissi, Clemence Grislain, Mohamed Chetouani, Olivier Sigaud, Laure Soulier, Nicolas Thome

机构 * Sorbonne Université, CNRS, ISIR（索邦大学、国家科学研究中心、ISIR） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

Have Large Vision-Language Models Mastered Art History?

Ombretta Strafforello, Derya Soydaner, Michiel Willems, Anne-Sofie Maerten, Stefanie De Winter

机构 * KU Leuven（库勒韦恩大学） ； Leiden University（莱顿大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Aligning Large Vision-Language Models by Deep Reinforcement Learning and Direct Preference Optimization

Thanh Thi Nguyen, Campbell Wilson, Janis Dalins

机构 * AiLECS Lab, Monash University Melbourne, Australia（墨尔本大学AiLECS实验室，澳大利亚） ； AiLECS Lab, Monash University, Australia ICMEC Australia, Sydney, Australia（墨尔本大学AiLECS实验室，澳大利亚 ICMEC澳大利亚，悉尼，澳大利亚） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

Comments Accepted for publication in the Proceedings of the 8th International Conference on Algorithms, Computing and Artificial Intelligence (ACAI 2025)

Context-Aware Multi-Turn Visual-Textual Reasoning in LVLMs via Dynamic Memory and Adaptive Visual Guidance

Weijie Shen, Xinrui Wang, Yuanqi Nie, Apiradee Boonmee

机构 * Beihua University（白华大学） ； Kasem Bundit University（Kasem Bundit大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

Zhi Hou, Tianyi Zhang, Yuwen Xiong, Haonan Duan, Hengjun Pu, Ronglei Tong, Chengyang Zhao, Xizhou Zhu, Yu Qiao, Jifeng Dai, Yuntao Chen

机构 * Shanghai AI Lab（上海人工智能实验室） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； MMLab, The Chinese University of Hong Kong（香港中文大学MMLab） ； Peking University（北京大学） ； SenseTime Research（商汤科技研究院） ； Tsinghua University（清华大学） ； HKISI, CAS（中国科学院香港中文大学研究所） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Comments Preprint; https://robodita.github.io; To appear in ICCV2025

Osprey: Pixel Understanding with Visual Instruction Tuning

Yuqian Yuan, Wentong Li, Jian Liu, Dongqi Tang, Xinjie Luo, Chi Qin, Lei Zhang, Jianke Zhu

机构 * Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； Microsoft（微软） ； The HongKong Polytechnical University（香港理工大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Comments CVPR2024, Code and Demo link:https://github.com/CircleRadon/Osprey

MedVista3D: Vision-Language Modeling for Reducing Diagnostic Errors in 3D CT Disease Detection, Understanding and Reporting

Yuheng Li, Yenho Chen, Yuxiang Lai, Jike Zhong, Vanessa Wildman, Xiaofeng Yang

机构 * Department of Biomedical Engineering（生物医学工程系） ； Georgia Institute of Technology（佐治亚理工学院） ； Department of Machine Learning（机器学习系） ； Department of Radiation Oncology（放射肿瘤科） ； Emory University School of Medicine（埃默里大学医学院） ； University of Southern California（南加州大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

Learning Visual Proxy for Compositional Zero-Shot Learning

Shiyu Zhang, Cheng Yan, Yang Liu, Chenchen Jing, Lei Zhou, Wenjun Wang

机构 * Tianjin University（天津大学） ； Zhejiang University（浙江大学） ； Zhejiang University of Technology（浙江工业大学） ； Hainan University（海南大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

LLaVA-Critic-R1: Your Critic Model is Secretly a Strong Policy Model

Xiyao Wang, Chunyuan Li, Jianwei Yang, Kai Zhang, Bo Liu, Tianyi Xiong, Furong Huang

机构 * University of Maryland College Park（马里兰大学 College Park 分校） ； The Ohio State University（俄亥俄州立大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Visual Perturbation and Adaptive Hard Negative Contrastive Learning for Compositional Reasoning in Vision-Language Models

Xin Huang, Ruibin Li, Tong Jia, Wei Zheng, Ya Wang

机构 * School of Artificial Intelligence and Software Engineering, Nanyang Normal University, Henan, China（人工智能与软件工程学院，南阳师范学院，河南） ； Institute for Artificial Intelligence, Peking University, Beijing, China（人工智能研究院，北京大学，北京） ； Collaborative Innovation Center of Intelligent Explosion-proof Equipment, Henan, China（智能防爆设备协同创新中心，河南） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Comments Accepted at the International Joint Conference on Artificial Intelligence (IJCAI 2025)

TinyGiantVLM: A Lightweight Vision-Language Architecture for Spatial Reasoning under Resource Constraints

Vinh-Thuan Ly, Hoang M. Truong, Xuan-Huong Nguyen

机构 * University of Science, VNU-HCM（越南胡志明市国家大学） ； Vietnam National University（越南国家大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Comments Accepted for presentation at the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops, 2025

Journal ref IEEE/CVF International Conference on Computer Vision (ICCV) Workshops, Hawaii, 2025

Continual Learning for Generative AI: From LLMs to MLLMs and Beyond

Haiyang Guo, Fanhu Zeng, Fei Zhu, Jiayi Wang, Xukai Wang, Jingang Zhou, Hongbo Zhao, Wenzhuo Liu, Shijie Ma, Da-Han Wang, Xu-Yao Zhang, Cheng-Lin Liu

机构 * School of Advanced Interdisciplinary Sciences, University of Chinese Academy of Sciences（中国科学院大学先进交叉学科学院） ； MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） ； Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences（中国科学院香港科学与创新研究院人工智能与机器人中心） ； School of Computer and Information Engineering, Xiamen University of Technology（厦门理工大学计算机与信息工程学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Comments Preprint

MM-Retinal V2: Transfer an Elite Knowledge Spark into Fundus Vision-Language Pretraining

Ruiqi Wu, Na Su, Chenran Zhang, Tengfei Ma, Tao Zhou, Zhiting Cui, Nianfeng Tang, Tianyu Mao, Yi Zhou, Wen Fan, Tianxing Wu, Shenqi Jing, Huazhu Fu

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Department of Ophthalmology, The First Affiliated Hospital of Nanjing Medical University（南京医科大学第一附属医院眼科部） ； School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； Institute of High-Performance Computing, Agency for Science, Technology and Research（科技研究局高性能计算研究所） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

Do What? Teaching Vision-Language-Action Models to Reject the Impossible

Wen-Han Hsieh, Elvis Hsieh, Dantong Niu, Trevor Darrell, Roei Herzig, David M. Chan

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

Comments 9 pages, 2 figures, 1 table

Synthesizing Near-Boundary OOD Samples for Out-of-Distribution Detection

Jinglun Li, Kaixun Jiang, Zhaoyu Chen, Bo Lin, Yao Tang, Weifeng Ge, Wenqiang Zhang

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University, Shanghai（智能机器人与先进制造学院，复旦大学，上海） ； Shanghai Key Lab of Intelligent Information Processing, College of Computer Science and Artificial Intelligence, Fudan University, Shanghai（上海智能信息处理重点实验室，计算机科学与人工智能学院，复旦大学，上海） ； JIIOV Technology, Beijing（JIIOV技术，北京） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Comments Accepted by ICCV 2025 (Highlight)

CoT-Segmenter: Enhancing OOD Detection in Dense Road Scenes via Chain-of-Thought Reasoning

Jeonghyo Song, Kimin Yun, DaeUng Jo, Jinyoung Kim, Youngjoon Yoo

机构 * Department of Artificial Intelligence, Chung-Ang University（Chung-Ang大学人工智能系） ； Visual Intelligence Lab., ETRI（ETRI视觉智能实验室） ； University of Science and Technology (UST)（科技大学（UST）） ； School of Electronics Engineering, Kyungpook National University（Kyungpook国立大学电子工程学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Comments 6 pages, 3 figures. Accepted at IEEE International Conference on Advanced Visual and Signal-Based Systems 2025

X-Ray-CoT: Interpretable Chest X-ray Diagnosis with Vision-Language Models via Chain-of-Thought Reasoning

Chee Ng, Liliang Sun, Shaoqing Tang

机构 * Universiti Teknologi Malaysia（马来西亚技术大学） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

MPCAR: Multi-Perspective Contextual Augmentation for Enhanced Visual Reasoning in Large Vision-Language Models

Amirul Rahman, Qiang Xu, Xueying Huang

机构 * University of Malaya（马来大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Optimization of Prompt Learning via Multi-Knowledge Representation for Vision-Language Models

Enming Zhang, Bingke Zhu, Yingying Chen, Qinghai Miao, Ming Tang, Jinqiao Wang

机构 * School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心） ； Wuhan AI Research（武汉人工智能研究所） ； Peng Cheng Laboratory（鹏城实验室） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

Semantically Guided Adversarial Testing of Vision Models Using Language Models

Katarzyna Filus, Jorge M. Cruz-Duarte

机构 * Institute of Theoretical and Applied Informatics, Polish Academy of Sciences（波兰科学院理论与应用信息学研究所） ； University of Lille, CNRS, Inria, Centrale Lille, UMR 9189 CRIStAL（里尔大学） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.CV

Comments 12 pages, 4 figures, 3 tables. Submitted for peer review

SemPT: Semantic Prompt Tuning for Vision-Language Models

Xiao Shi, Yangjun Ou, Zhenzhong Chen

机构 * School of Computer Science and Artificial Intelligence, Wuhan Textile University（武汉纺织大学计算机科学与人工智能学院） ； School of Remote Sensing and Information Engineering, Wuhan University（武汉大学遥感与信息工程学院） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

ReconVLA: Reconstructive Vision-Language-Action Model as Effective Robot Perceiver

Wenxuan Song, Ziyang Zhou, Han Zhao, Jiayi Chen, Pengxiang Ding, Haodong Yan, Yuxin Huang, Feilong Tang, Donglin Wang, Haoang Li

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Common Data Properties Limit Object-Attribute Binding in CLIP

Bijay Gurung, David T. Hoffmann, Thomas Brox

机构 * University of Freiburg（弗赖堡大学） ； deepset 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

Comments accepted at GCPR 2025

Grounding Emotion Recognition with Visual Prototypes: VEGA -- Revisiting CLIP in MERC

Guanyu Hu, Dimitrios Kollias, Xinyu Yang

机构 * Xi'an Jiaotong University（西安交通大学） ； Queen Mary University of London（伦敦女王玛丽大学） ； Center for Multimodal AI（多模态人工智能中心） ； Digital Environment Research Institute（数字环境研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Comments accepted for publication at ACM Multimedia (ACM MM) 2025

On the Reliability of Vision-Language Models Under Adversarial Frequency-Domain Perturbations

Jordan Vice, Naveed Akhtar, Yansong Gao, Richard Hartley, Ajmal Mian

机构 * University of Western Australia（西澳大学） ； University of Melbourne（墨尔本大学） ； Australian National University（澳大利亚国立大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

Comments Keywords: Vision-Language Models, Frequency-Domain Perturbations, Adversarial Robustness, Image Authenticity, Reliability

Integrating Visual Interpretation and Linguistic Reasoning for Math Problem Solving

Zixian Guo, Ming Liu, Qilong Wang, Zhilong Ji, Jinfeng Bai, Lei Zhang, Wangmeng Zuo

机构 * Harbin Institute of Technology（哈尔滨理工大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Tianjin University（天津大学） ； Tomorrow Advancing Life（明天进步生命） ； Pazhou Lab, Guangzhou（广州琶洲实验室） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.AI

Comments ICCV2025