视觉大模型 / VLM

SAGI: Semantically Aligned and Uncertainty Guided AI Image Inpainting

Paschalis Giakoumoglou, Dimitrios Karageorgiou, Symeon Papadopoulos, Panagiotis C. Petrantonakis

机构 * Department of Electrical and Computer Engineering, Aristotle University of Thessaloniki（阿尔伯塔大学电气与计算机工程系） ； Information Technologies Institute, CERTH（信息科技研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments ICCV2025

Adversarial-Guided Diffusion for Multimodal LLM Attacks

Chengwei Xia, Fan Ma, Ruijie Quan, Kun Zhan, Yi Yang

机构 * School of Information Science and Engineering, Lanzhou University（兰州大学信息科学与工程学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

Reducing Hallucinations in Summarization via Reinforcement Learning with Entity Hallucination Index

Praveenkumar Katwe, Rakesh Chandra, Balabantaray Kali, Prasad Vittala

机构 * International Institute of Information Technology（国际信息研究所） ； Informatica Business Solutions（Informatica商务解决方案） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

Comments 8

Secure Tug-of-War (SecTOW): Iterative Defense-Attack Training with Reinforcement Learning for Multimodal Model Security

Muzhi Dai, Shixuan Liu, Zhiyuan Zhao, Junyu Gao, Hao Sun, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom, China（人工智能研究院（TeleAI），中国电信，中国） ； Northwestern Polytechnical University（西北工业大学） ； China Telecom, China（中国电信，中国） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

Comments 10 pages, 4 figures

Describe, Adapt and Combine: Empowering CLIP Encoders for Open-set 3D Object Retrieval

Zhichuan Wang, Yang Zhou, Zhe Liu, Rui Yu, Song Bai, Yulong Wang, Xinwei He, Xiang Bai

机构 * Huazhong Agricultural University（华中农业大学） ； Shenzhen University（深圳大学） ； The University of Hong Kong（香港大学） ； University of Louisville（路易斯安那大学） ； ByteDance（字节跳动） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract)；分类 cs.CV

Comments Accepted to ICCV 2025

Manipulating Multimodal Agents via Cross-Modal Prompt Injection

Le Wang, Zonghao Ying, Tianyuan Zhang, Siyuan Liang, Shengshan Hu, Mingchuan Zhang, Aishan Liu, Xianglong Liu

机构 * Beihang University（北洋大学） ； National University of Singapore（新加坡国立大学） ； Huazhong University of Science and Technology（华中科技大学） ； Henan University of Science and Technology（河南科技大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

Comments 16 pages, 5 figures

ELITE: Enhanced Language-Image Toxicity Evaluation for Safety

Wonjun Lee, Doehyeon Lee, Eugene Choi, Sangyoon Yu, Ashkan Yousefpour, Haon Park, Bumsub Ham, Suhyun Kim

机构 * Yonsei University（延世大学） ； Kyung Hee University（庆熙大学） ； Korea Institute of Science（韩国科学研究院） ； Seoul National University（首尔国立大学） ； Sookmyung Women's University（_sookmyung女子大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.CV

Comments ICML 2025. Project page at https://velpegor.github.io/ELITE/

HySafe-AI: Hybrid Safety Architectural Analysis Framework for AI Systems: A Case Study

Mandar Pitale, Jelena Frtunikj, Abhinaw Priyadershi, Vasu Singh, Maria Spence

机构 * Nvidia Corporation（英伟达公司） ； Nvidia GmbH（英伟达德国公司） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.AI

Comments 7 pages

"Just a strange pic": Evaluating 'safety' in GenAI Image safety annotation tasks from diverse annotators' perspectives

Ding Wang, Mark Díaz, Charvi Rastogi, Aida Davani, Vinodkumar Prabhakaran, Pushkar Mishra, Roma Patel, Alicia Parrish, Zoe Ashwood, Michela Paganini, Tian Huey Teh, Verena Rieser, Lora Aroyo

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

Comments Accepted to AAAI/ACM Conference on Artificial Intelligence, Ethics, and Society 2025 (AIES 2025)

Watch, Listen, Understand, Mislead: Tri-modal Adversarial Attacks on Short Videos for Content Appropriateness Evaluation

Sahid Hossain Mustakim, S M Jishanul Islam, Ummay Maria Muna, Montasir Chowdhury, Mohammed Jawwadul Islam, Sadia Ahmmed, Tashfia Sikder, Syed Tasdid Azam Dhrubo, Swakkhar Shatabda

机构 * United International University（国际大学） ； BRAC University（BRAC大学） ； University of British Columbia（不列颠哥伦比亚大学） ； Bangladesh University of Professionals（孟加拉专业大学） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

Comments Accepted as long paper, SVU Workshop at ICCV 2025

BlueGlass: A Framework for Composite AI Safety

Harshal Nandigramwar, Syed Qutub, Kay-Ulrich Scholl

机构 * Intel Labs, Munich, Germany（英特尔慕尼黑实验室） ； University of Stuttgart, Stuttgart, Germany（斯图加特大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

Comments Accepted at ICML 2025 [Actionable Interpretability Workshop]

"I am bad": Interpreting Stealthy, Universal and Robust Audio Jailbreaks in Audio-Language Models

Isha Gupta, David Khachaturov, Robert Mullins

机构 * ETH Zürich（苏黎世联邦理工学院） ； University of Cambridge（剑桥大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.LG

HVI-CIDNet+: Beyond Extreme Darkness for Low-Light Image Enhancement

Qingsen Yan, Kangbiao Shi, Yixu Feng, Tao Hu, Peng Wu, Guansong Pang, Yanning Zhang

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments 14 pages

Assessing the Uncertainty and Robustness of the Laptop Refurbishing Software

Chengjie Lu, Jiahui Wu, Shaukat Ali, Mikkel Labori Olsen

机构 * Simula Research Laboratory and University of Oslo（Simula研究实验室和奥斯陆大学） ； Danish Technological Institute（丹麦技术研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.CV

Comments 17 pages, 6 figures, 4 tables

Journal ref 2025 IEEE Conference on Software Testing, Verification and Validation (ICST)

SAILViT: Towards Robust and Generalizable Visual Backbones for MLLMs via Gradual Feature Refinement

Weijie Yin, Dingkang Yang, Hongyuan Dong, Zijian Kang, Jiacong Wang, Xiao Liang, Chao Feng, Jiao Ran

机构 * ByteDance Inc.（字节跳动公司） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

Comments We release SAILViT, a series of versatile vision foundation models

MVGBench: Comprehensive Benchmark for Multi-view Generation Models

Xianghui Xie, Chuhang Zou, Meher Gitika Karumuri, Jan Eric Lenssen, Gerard Pons-Moll

机构 * University of Tübingen（图宾根大学） ； Tübingen AI Center（图宾根人工智能中心） ； Max Planck Institute for Informatics（马克斯·普朗克信息研究所） ； Independent researcher（独立研究者） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.LG

Comments 17 pages, 11 figures, 9 tables, project page: https://virtualhumans.mpi-inf.mpg.de/MVGBench/

Preemptive Hallucination Reduction: An Input-Level Approach for Multimodal Language Model

Nokimul Hasan Arif, Shadman Rabby, Md Hefzul Hossain Papon, Sabbir Ahmed

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.CV

Comments Submitted for review in NCAA Springer, 21 pages, 4 figures, 4 Tables

Case-based Reasoning Augmented Large Language Model Framework for Decision Making in Realistic Safety-Critical Driving Scenarios

Wenbin Gan, Minh-Son Dao, Koji Zettsu

机构 * Big Data Integration Research Center, National Institute of Information and Communications Technology (NICT), Tokyo, Japan（大数据整合研究室，日本信息通信技术研究所（NICT），东京） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

Comments 12 pages, 10 figures, under-review conference

Trustworthy Few-Shot Transfer of Medical VLMs through Split Conformal Prediction

Julio Silva-Rodríguez, Ismail Ben Ayed, Jose Dolz

机构 * ÉTS Montréal（蒙特利尔ÉTS学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments MICCAI 2025. Code: https://github.com/jusiro/SCA-T

Unleashing the potential of prompt engineering for large language models

Banghao Chen, Zhaofeng Zhang, Nicolas Langrené, Shengxin Zhu

机构 * Guangdong Provincial Key Laboratory of Interdisciplinary Research and Application for Data Science（interdisciplinary Research and Application for Data Science省重点实验室） ； BNU-HKBU United International College（北京师范大学-香港浸会大学联合国际学院） ； Research Center for Mathematics, Beijing Normal University（北京师范大学数学研究中心） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

Comments v6 - Metadata updated (title, journal ref, DOI). PDF identical to v5 (original submission). Please cite the peer-reviewed Version of Record in "Patterns" (DOI: 10.1016/j.patter.2025.101260)

Journal ref Patterns 6(6) 101260 (2025)

Dynamic Modality Scheduling for Multimodal Large Models via Confidence, Uncertainty, and Semantic Consistency

Hiroshi Tanaka, Anika Rao, Hana Satou, Michael Johnson, Sofia García

专题命中 幻觉与鲁棒性 ：LLaVA(abstract)；分类 cs.CV

Investigating Vulnerabilities and Defenses Against Audio-Visual Attacks: A Comprehensive Survey Emphasizing Multimodal Models

Jinming Wen, Xinyi Wu, Shuai Zhao, Yanhao Jia, Yuwen Li

机构 * Jilin University（吉林大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） ； Northeastern University（东北大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

Taming Stable Diffusion for Computed Tomography Blind Super-Resolution

Chunlei Li, Yilei Shi, Haoxi Hu, Jingliang Hu, Xiao Xiang Zhu, Lichao Mou

机构 * MedAI Technology (Wuxi) Co. Ltd.（MedAI技术（无锡）有限公司） ； Northeastern University（东北大学） ； Technical University of Munich（慕尼黑技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Can LLMs Ground when they (Don't) Know: A Study on Direct and Loaded Political Questions

Clara Lachenmaier, Judith Sieker, Sina Zarrieß

机构 * Computational Linguistics, Department of Linguistics Bielefeld University（语言学计算系，语言学系比勒菲尔德大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

Comments Preprint accepted at ACL Main Conference 2025

Intrinsic Bias is Predicted by Pretraining Data and Correlates with Downstream Performance in Vision-Language Encoders

Kshitish Ghate, Isaac Slaughter, Kyra Wilson, Mona Diab, Aylin Caliskan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； University of Washington（华盛顿大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

Comments Accepted to NAACL Main, 2025

Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence

Jinghan He, Kuan Zhu, Haiyun Guo, Junfeng Fang, Zhenglin Hua, Yuheng Jia, Ming Tang, Tat-Seng Chua, Jinqiao Wang

机构 * Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所基础模型研究中心） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； National University of Singapore（新加坡国立大学） ； Southeast University（东南大学） ； Wuhan AI Research（武汉人工智能研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments ACL2025

Mitigating Object Hallucination via Robust Local Perception Search

Zixian Gao, Chao Yang, Zhanhui Zhou, Xing Xu, Chaochao Lu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Center for Future Media & School of Computer Science and Engineering, University of Electronic Science and Technology of China（未来媒体中心及电子科技大学计算机科学与工程学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

On the Importance of Text Preprocessing for Multimodal Representation Learning and Pathology Report Generation

Ruben T. Lucassen, Tijn van de Luijtgaarden, Sander P. J. Moonemans, Gerben E. Breimer, Willeke A. M. Blokx, Mitko Veta

机构 * Dept. of Pathology, University Medical Center Utrecht（病理学系，乌得勒支大学医学中心） ； Dept. of Biomedical Engineering, Eindhoven University of Technology（生物医学工程系，埃因霍温理工大学） ； Dept. of Mathematics and Computer Science, Eindhoven University of Technology（数学与计算机科学系，埃因霍温理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments 11 pages, 1 figure

Universal Adversarial Attack on Aligned Multimodal LLMs

Temurbek Rahmatullaev, Polina Druzhinina, Nikita Kurdiukov, Matvey Mikhalchuk, Andrey Kuznetsov, Anton Razzhigaev

机构 * AIRI ； MSU（莫斯科国立大学） ； HSE University（俄罗斯高等经济大学） ； Skoltech（斯克里普钦科技大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

Comments Added benchmarks, baselines, author, appendix

Target Semantics Clustering via Text Representations for Robust Universal Domain Adaptation

Weinan He, Zilei Wang, Yixin Zhang

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

Comments Camera-ready version for AAAI 2025