视觉大模型 / VLM

CapRL: Stimulating Dense Image Caption Capabilities via Reinforcement Learning

Long Xing, Xiaoyi Dong, Yuhang Zang, Yuhang Cao, Jianze Liang, Qidong Huang, Jiaqi Wang, Feng Wu, Dahua Lin

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Innovation Institute（上海创新研究院） ； Alibaba Cloud（阿里巴巴云） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；visual language model(abstract)；分类 cs.CV、cs.AI

Comments Code is available at https://github.com/InternLM/CapRL

AnyPlace: Learning Generalized Object Placement for Robot Manipulation

Yuchi Zhao, Miroslav Bogdanovic, Chengyuan Luo, Steven Tohme, Kourosh Darvish, Alán Aspuru-Guzik, Florian Shkurti, Animesh Garg

机构 * University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Shanghai Jiao Tong University（上海交通大学） ； Wilfrid Laurier University（威尔弗里德·劳里埃大学） ； Acceleration Consortium（加速联盟） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments Accepted at CoRL 2025

SAEC: Scene-Aware Enhanced Edge-Cloud Collaborative Industrial Vision Inspection with Multimodal LLM

Yuhao Tian, Zheming Yang

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； Institute of AI for Industries（工业人工智能研究所） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 5 pages, 5 figures

VLA-Mark: A cross modal watermark for large vision-language alignment model

Shuliang Liu, Qi Zheng, Jesse Jiaxi Xu, Yibo Yan, Junyan Zhang, He Geng, Aiwei Liu, Peijie Jiang, Jia Liu, Yik-Cheung Tam, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； University of Toronto（多伦多大学） ； Ant Group, Alibaba（蚂蚁集团，阿里巴巴） ； New York University Shanghai（纽约大学上海分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI

Comments Accepted by the main conference, EMNLP 2025

Transformer-Based Multimodal Knowledge Graph Completion with Link-Aware Contexts

Haodi Ma, Dzmitry Kasinets, Daisy Zhe Wang

机构 * Department of Computer and Information Science and Engineering, University of Florida（计算机与信息科学与工程系，佛罗里达大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG

The System Description of CPS Team for Track on Driving with Language of CVPR 2024 Autonomous Grand Challenge

Jinghan Peng, Jingwen Wang, Xing Yu, Dehui Du

机构 * East China Normal University（东华师范大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

Beyond Pixels: Introducing Geometric-Semantic World Priors for Video-based Embodied Models via Spatio-temporal Alignment

Jinzhou Tang, Jusheng zhang, Sidi Liu, Waikit Xiu, Qinhan Lv, Xiying Li

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

IQAGPT: Image Quality Assessment with Vision-language and ChatGPT Models

Zhihao Chen, Bin Hu, Chuang Niu, Tao Chen, Yuxin Li, Hongming Shan, Ge Wang

机构 * ISTBI Fudan University（ISTBI 复旦大学） ； Huashan Hospital Fudan University（复旦大学华山医院） ； BME & CBIS Rensselaer Polytechnic Institute（生物医学工程与生物信息学研究中心罗切斯特理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments 14 pages, 9 figures

Journal ref Visual Computing for Industry, Biomedicine, and Art, 7, 20, 2024

Mitigating Hallucinations in Multimodal LLMs via Object-aware Preference Optimization

Alberto Compagnoni, Davide Caffagni, Nicholas Moratelli, Lorenzo Baraldi, Marcella Cornia, Rita Cucchiara

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments BMVC 2025

DemoBias: An Empirical Study to Trace Demographic Biases in Vision Foundation Models

Abu Sufian, Anirudha Ghosh, Debaditya Barman, Marco Leo, Cosimo Distante

机构 * CNR-ISASI（意大利那不勒斯） ； Visva-Bharati（维斯瓦-巴哈蒂） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

Comments 6 pages, 4 figures, 13th International Workshop on Biometrics and Forensics (IWBF)

Instant Preference Alignment for Text-to-Image Diffusion Models

Yang Li, Songlin Yang, Xiaoxuan Han, Wei Wang, Jing Dong, Yueming Lyu, Ziyu Xue

机构 * New Laboratory of Pattern Recognition, CASIA（模式识别新实验室，中国科学院自动化研究所） ； The Hong Kong University of Science and Technology（香港科技大学） ； Nanjing university（南京大学） ； Academy of Broadcasting Science, NRTA（广播科学研究院，国家广播电视总局） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments 17 figures

MetaWild: A Multimodal Dataset for Animal Re-Identification with Environmental Metadata

Yuzhuo Li, Di Zhao, Tingrui Qiao, Yihao Wu, Bo Pang, Yun Sing Koh

机构 * University of Auckland（奥克兰大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

Comments 7 pages, 6 figures

AdaRing: Towards Ultra-Light Vision-Language Adaptation via Cross-Layer Tensor Ring Decomposition

Ying Huang, Yuanbin Man, Wenqi Jia, Zhengzhong Tu, Junzhou Huang, Miao Yin

机构 * University of Texas at Arlington（德克萨斯理工大学） ； Texas A&M University（德克萨斯A&M大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Structured Prompting and Multi-Agent Knowledge Distillation for Traffic Video Interpretation and Risk Inference

Yunxiang Yang, Ningning Xu, Jidong J. Yang

机构 * Smart Mobility and Infrastructure Lab（智能移动与基础设施实验室） ； College of Engineering, University of Georgia（工程学院，佐治亚大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments 16 pages, 10 figures, 1 table

Better Supervised Fine-tuning for VQA: Integer-Only Loss

Baihong Qian, Haotian Fan, Wenjie Liao, Yunqiu Wang, Tao Li, Junhui Cui

机构 * ByteDance（字节跳动） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

From Explainable to Explained AI: Ideas for Falsifying and Quantifying Explanations

Yoni Schirris, Eric Marcus, Jonas Teuwen, Hugo Horlings, Efstratios Gavves

机构 * Netherlands Cancer Institute University of Amsterdam（荷兰癌症研究所 阿姆斯特丹大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments 10 pages, 2 figures, 2 tables, submitted at MICCAI IMIMIC workshop

ART: Adaptive Relation Tuning for Generalized Relation Prediction

Gopika Sudhakaran, Hikaru Shindo, Patrick Schramowski, Simone Schaub-Meyer, Kristian Kersting, Stefan Roth

机构 * Department of Computer Science, TU Darmstadt（图宾根大学计算机科学系） ； Hessian Center for AI (hessian.AI)（海德堡人工智能中心） ； German Research Center for AI (DFKI)（德国人工智能研究中心） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments Accepted for publication in ICCV 2025

Verbalized Representation Learning for Interpretable Few-Shot Generalization

Cheng-Fu Yang, Da Yin, Wenbo Hu, Heng Ji, Nanyun Peng, Bolei Zhou, Kai-Wei Chang

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

Comments Accepted to ICCV 2025

Causally Steered Diffusion for Automated Video Counterfactual Generation

Nikos Spyrou, Athanasios Vlontzos, Paraskevas Pegios, Thomas Melistas, Nefeli Gkouti, Yannis Panagakis, Giorgos Papanastasiou, Sotirios A. Tsaftaris

机构 * Spotify, UK（英国Spotify） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Beyond the Visible: Multispectral Vision-Language Learning for Earth Observation

Clive Tinashe Marimo, Benedikt Blumenstiel, Maximilian Nitsche, Johannes Jakubik, Thomas Brunschwiler

机构 * IBM Germany（IBM德国分公司） ； IBM Research Europe（IBM欧洲研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

Comments Machine Learning and Knowledge Discovery in Databases. Research Track - European Conference, ECML PKDD 2025

Geminio: Language-Guided Gradient Inversion Attacks in Federated Learning

Junjie Shan, Ziqi Zhao, Jialin Lu, Rui Zhang, Siu Ming Yiu, Ka-Ho Chow

机构 * School of Computing and Data Science（计算与数据科学学院） ； The University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG

Comments ICCV2025 camera-ready version

Trust the Model: Compact VLMs as In-Context Judges for Image-Text Data Quality

Daulet Toibazar, Kesen Wang, Sherif Mohamed, Abdulaziz Al-Badawi, Abdulrahman Alfulayt, Pedro J. Moreno

机构 * Humain Riyadh, KSA（利雅得人类，沙特阿拉伯） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

RoBridge: A Hierarchical Architecture Bridging Cognition and Execution for General Robotic Manipulation

Kaidong Zhang, Rongtao Xu, Pengzhen Ren, Junfan Lin, Hefeng Wu, Liang Lin, Xiaodan Liang

机构 * Sun Yat-sen University（中山大学） ； MBZUAI ； Peng Cheng Laboratory（鹏城实验室） ； X-Era.AI Inc.（X-Era.AI公司） ； Spatialtemporal AI（时空人工智能） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments project page: https://abliao.github.io/RoBridge/

MedPix 2.0: A Comprehensive Multimodal Biomedical Data set for Advanced AI Applications with Retrieval Augmented Generation and Knowledge Graphs

Irene Siragusa, Salvatore Contino, Massimo La Ciura, Rosario Alicata, Roberto Pirrone

机构 * Department of Engineering, University of Palermo（1 工程学院，巴勒莫大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.AI、cs.LG

Journal ref Data Sci. Eng. (2025)

VideoChat-Flash: Hierarchical Compression for Long-Context Video Modeling

Xinhao Li, Yi Wang, Jiashuo Yu, Xiangyu Zeng, Yuhan Zhu, Haian Huang, Jianfei Gao, Kunchang Li, Yinan He, Chenting Wang, Yu Qiao, Yali Wang, Limin Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.LG

Emergent Natural Language with Communication Games for Improving Image Captioning Capabilities without Additional Data

Parag Dutta, Ambedkar Dukkipati

机构 * Department of Computer Science and Automation（计算机科学与自动化系） ； Indian Institute of Science（印度科学院） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

Llama Nemoretriever Colembed: Top-Performing Text-Image Retrieval Model

Mengyao Xu, Gabriel Moreira, Ronay Ak, Radek Osmulski, Yauhen Babakhin, Zhiding Yu, Benedikt Schifferer, Even Oldridge

机构 * Proceedings of Conference XXX（会议论文集） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Beyond Attention or Similarity: Maximizing Conditional Diversity for Token Pruning in MLLMs

Qizhe Zhang, Mengzhen Liu, Lichen Li, Ming Lu, Yuan Zhang, Junwen Pan, Qi She, Shanghang Zhang

机构 * National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（国家多媒体信息处理重点实验室，计算机学院，北京大学） ； ByteDance（字节跳动） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments 22 pages, 5 figures, code: https://github.com/Theia-4869/CDPruner, project page: https://theia-4869.github.io/CDPruner

Scaling Inference-Time Search with Vision Value Model for Improved Visual Comprehension

Xiyao Wang, Zhengyuan Yang, Linjie Li, Hongjin Lu, Yuancheng Xu, Chung-Ching Lin, Kevin Lin, Furong Huang, Lijuan Wang

机构 * University of Maryland, College Park（马里兰大学学院公园分校） ； Microsoft（微软公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.LG

From Holistic to Localized: Local Enhanced Adapters for Efficient Visual Instruction Fine-Tuning

Pengkun Jiao, Bin Zhu, Jingjing Chen, Chong-Wah Ngo, Yu-Gang Jiang

机构 * Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University（上海智能信息处理关键实验室，复旦大学计算机学院） ； Shanghai Collaborative Innovation Center on Intelligent Visual Computing（上海智能视觉计算协同创新中心） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Comments ICCV 2025