视觉大模型 / VLM

Physics Knowledge in Frontier Models: A Diagnostic Study of Failure Modes

Ieva Bagdonaviciute, Vibhav Vineet

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

Comments 8 pages, 7 figures. Preprint. v2: Updated experiments and diagnostics; formatting fixes

Value-Aligned Prompt Moderation via Zero-Shot Agentic Rewriting for Safe Image Generation

Xin Zhao, Xiaojun Chen, Bingshan Liu, Zeyao Liu, Zhendong Zhao, Xiaoyan Gu

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

SAGE: Spuriousness-Aware Guided Prompt Exploration for Mitigating Multimodal Bias

Wenqian Ye, Di Wang, Guangtao Zheng, Bohan Liu, Aidong Zhang

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted at AAAI 2026

AttackVLA: Benchmarking Adversarial and Backdoor Attacks on Vision-Language-Action Models

Jiayu Li, Yunhan Zhao, Xiang Zheng, Zonghuan Xu, Yige Li, Xingjun Ma, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； City University of Hong Kong（香港城市大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

SafeGRPO: Self-Rewarded Multimodal Safety Alignment via Rule-Governed Policy Optimization

Xuankun Rong, Wenke Huang, Tingfeng Wang, Daiguo Zhou, Bo Du, Mang Ye

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； MiLM Plus, Xiaomi Inc.（小米公司） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

Beyond Pixels: Semantic-aware Typographic Attack for Geo-Privacy Protection

Jiayi Zhu, Yihao Huang, Yue Cao, Xiaojun Jia, Qing Guo, Felix Juefei-Xu, Geguang Pu, Bin Wang

机构 * Hangzhou Institute of Technology, Xidian University, China（杭州科技学院，西安电子科技大学，中国） ； National University of Singapore（新加坡国立大学） ； Nanyang Technological University（南洋理工大学） ； Nankai University（南开大学） ； New York University（纽约大学） ； East China Normal University（华东师范大学） ； Hikvision Digital Technology Co., Ltd（海康威视数字技术有限公司） ； Shanghai Industrial Control Safety Innovation Tech. Co., Ltd（上海工业控制安全创新技术有限公司） 纠错

专题命中 幻觉与鲁棒性 ：visual language model(abstract)；分类 cs.CV

Fooling the LVLM Judges: Visual Biases in LVLM-Based Evaluation

Yerin Hwang, Dongryeol Lee, Kyungmin Min, Taegwan Kang, Yong-il Kim, Kyomin Jung

机构 * IPAI, Seoul National University（IPAI，首尔国立大学） ； Dept. of ECE, Seoul National University（电子工程系，首尔国立大学） ； LG AI Research（LG人工智能研究） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments EMNLP 2025 Main (21pgs, 12 Tables, 9 Figures)

Part-X-MLLM: Part-aware 3D Multimodal Large Language Model

Chunshi Wang, Junliang Ye, Yunhan Yang, Yang Li, Zizhuo Lin, Jun Zhu, Zhuo Chen, Yawei Luo, Chunchao Guo

机构 * Zhejiang University（浙江大学） ； Tencent Hunyuan（腾讯文言） ； Tsinghua University（清华大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(title,abstract)；分类 cs.CV

Trust in Vision-Language Models: Insights from a Participatory User Workshop

Agnese Chiatti, Lara Piccolo, Sara Bernardini, Matteo Matteucci, Viola Schiaffonati

机构 * University of Oxford, UK（牛津大学） ； CODE University of Applied Sciences, Germany（应用科学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Journal ref Proceedings of the The European Workshop on Trustworthy AI (Trust-AI) at ECAI 2025

TransPrune: Token Transition Pruning for Efficient Large Vision-Language Model

Ao Li, Yuxiang Duan, Jinghui Zhang, Congbo Ma, Yutong Xie, Gustavo Carneiro, Mohammad Yaqub, Hu Wang

机构 * Shandong University（山东大学） ； MBZUAI ； New York University Abu Dhabi（纽约大学阿布扎赫分校） ； University of Surrey（塞雷尔大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

LLMC+: Benchmarking Vision-Language Model Compression with a Plug-and-play Toolkit

Chengtao Lv, Bilang Zhang, Yang Yong, Ruihao Gong, Yushi Huang, Shiqiao Gu, Jiajun Wu, Yumeng Shi, Jinyang Guo, Wenya Wang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

Comments Accepted by AAAI 2026

FaceShield: Explainable Face Anti-Spoofing with Multimodal Large Language Models

Hongyang Wang, Yichen Shi, Zhuofu Tao, Yuhao Gao, Liepiao Zhang, Xun Lin, Jun Feng, Xiaochen Yuan, Zitong Yu, Xiaochun Cao

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted by AAAI 2025. Hongyang Wang and Yichen Shi contribute equally. Corresponding author: Zitong Yu

Filter, Correlate, Compress: Training-Free Token Reduction for MLLM Acceleration

Yuhang Han, Xuyang Liu, Zihan Zhang, Pengxiang Ding, Junjie Chen, Donglin Wang, Honggang Chen, Qingsen Yan, Siteng Huang

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV

Comments AAAI 2026

3D-Aware Vision-Language Models Fine-Tuning with Geometric Distillation

Seonho Lee, Jiho Choi, Inha Kang, Jiwook Kim, Junsung Park, Hyunjung Shim

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

RedVTP: Training-Free Acceleration of Diffusion Vision-Language Models Inference via Masked Token-Guided Visual Token Pruning

Jingqi Xu, Jingxi Lu, Chenghao Li, Sreetama Sarkar, Souvik Kundu, Peter A. Beerel

机构 * University of Southern California（南加州大学） ； Intel Labs（英特尔实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

SpaceVLM: Sub-Space Modeling of Negation in Vision-Language Models

Sepehr Kazemi Ranjbar, Kumail Alhamoud, Marzyeh Ghassemi

机构 * MIT（麻省理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

Glo-VLMs: Leveraging Vision-Language Models for Fine-Grained Diseased Glomerulus Classification

Zhenhao Guo, Rachit Saluja, Tianyuan Yao, Quan Liu, Yuankai Huo, Benjamin Liechty, David J. Pisapia, Kenji Ikemura, Mert R. Sabuncu, Yihe Yang, Ruining Deng

机构 * New York University（纽约大学） ； Cornell Tech（康奈尔科技） ； Vanderbilt University（范德比尔特大学） ； Weill Cornell Medicine（韦尔医学院） ； Northwell Health（北well健康） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

Journal ref Proceedings of SPIE Medical Imaging 2026

From Classification to Cross-Modal Understanding: Leveraging Vision-Language Models for Fine-Grained Renal Pathology

Zhenhao Guo, Rachit Saluja, Tianyuan Yao, Quan Liu, Junchao Zhu, Haibo Wang, Daniel Reisenbüchler, Yuankai Huo, Benjamin Liechty, David J. Pisapia, Kenji Ikemura, Steven Salvatoree, Surya Seshane, Mert R. Sabuncu, Yihe Yang, Ruining Deng

机构 * New York University（纽约大学） ； Cornell Tech（康奈尔科技） ； Vanderbilt University（范德比大学） ； Carnegie Mellon University（卡内基梅隆大学） ； University of Regensburg（莱茵河畔大学） ； Weill Cornell Medicine（韦尔·科恩医学中心） ； Northwell Health（北well健康） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

D$^{3}$ToM: Decider-Guided Dynamic Token Merging for Accelerating Diffusion MLLMs

Shuochen Chang, Xiaofeng Zhang, Qingyang Liu, Li Niu

机构 * Project leader（项目负责人） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,comments)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

Comments Accepted by AAAI Conference on Artificial Intelligence (AAAI) 2026. Code available at https://github.com/bcmi/D3ToM-Diffusion-MLLM

Selecting Fine-Tuning Examples by Quizzing VLMs

Tenghao Ji, Eytan Adar

机构 * University of Michigan（密歇根大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.LG

Explore How to Inject Beneficial Noise in MLLMs

Ruishu Zhu, Sida Huang, Ziheng Jiao, Hongyuan Zhang

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；分类 cs.CV

Comments Accepted by AAAI 2026

MdaIF: Robust One-Stop Multi-Degradation-Aware Image Fusion with Language-Driven Semantics

Jing Li, Yifan Wang, Jiafeng Yan, Renlong Zhang, Bin Yang

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

Comments 10 pages, 7 figures. Accepted by AAAI 2026

Image-POSER: Reflective RL for Multi-Expert Image Generation and Editing

Hossein Mohebbi, Mohammed Abdulrahman, Yanting Miao, Pascal Poupart, Suraj Kothawade

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） ； Google（谷歌） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

PhysX-Anything: Simulation-Ready Physical 3D Assets from Single Image

Ziang Cao, Fangzhou Hong, Zhaoxi Chen, Liang Pan, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

Comments Project page: https://physx-anything.github.io/

CacheFlow: Compressive Streaming Memory for Efficient Long-Form Video Understanding

Shrenik Patel, Daivik Patel

机构 * Rutgers University（罗切斯特大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

CreBench: Human-Aligned Creativity Evaluation from Idea to Process to Product

Kaiwen Xue, Chenglong Li, Zhonghong Ou, Guoxin Zhang, Kaoyan Lu, Shuai Lyu, Yifan Zhu, Ping Zong Junpeng Ding, Xinyu Liu, Qunlin Chen, Weiwei Qin, Yiran Shen, Jiayi Cen

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

Comments 13 pages, 3 figures,The 40th Annual AAAI Conference on Artificial Intelligence(AAAI 2026),Paper has been accepted for a poster presentation

Medical Knowledge Intervention Prompt Tuning for Medical Image Classification

Ye Du, Nanxi Yu, Shujun Wang

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

Comments IEEE Transactions on Medical Imaging (Early Access) July 2025

DenseAnnotate: Enabling Scalable Dense Caption Collection for Images and 3D Scenes via Spoken Descriptions

Xiaoyu Lin, Aniket Ghorpade, Hansheng Zhu, Justin Qiu, Dea Rrozhani, Monica Lama, Mick Yang, Zixuan Bian, Ruohan Ren, Alan B. Hong, Jiatao Gu, Chris Callison-Burch

机构 * University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

BhashaKritika: Building Synthetic Pretraining Data at Scale for Indic Languages

Guduru Manoj, Neel Prabhanjan Rachamalla, Ashish Kulkarni, Gautam Rajeev, Jay Piplodiya, Arul Menezes, Shaharukh Khan, Souvik Rana, Manya Sah, Chandra Khatri, Shubham Agarwal

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

SelecTKD: Selective Token-Weighted Knowledge Distillation for LLMs

Haiduo Huang, Jiangcheng Song, Yadong Zhang, Pengju Ren

机构 * Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.AI