GPT-4V-AD：探索面向 VQA 的 GPT-4V 在零样本异常检测中的 grounding 潜力
GPT-4V-AD: Exploring Grounding Potential of VQA-oriented GPT-4V for Zero-shot Anomaly Detection
AI总结：
本文提出 GPT-4V-AD 框架，通过区域划分、提示设计和文本转分割评估 GPT-4V 以 VQA 范式执行零样本异常检测的能力，并在 MVTec AD 与 VisA 上验证其潜力与差距。
摘要：
大型多模态模型（Large Multimodal Model，LMM）GPT-4V(ision) 赋予 GPT-4 视觉 grounding 能力，使其能够通过视觉问答（Visual Question Answering，VQA）范式处理某些任务。本文探索面向 VQA 的 GPT-4V 在近来流行的视觉异常检测（Anomaly Detection，AD）中的潜力，并首次在常用的 MVTec AD 和 VisA 数据集上进行定性与定量评估。考虑到该任务同时需要图像级和像素级评估，所提出的 GPT-4V-AD 框架包含三个组成部分：1）细粒度区域划分，2）提示设计，3）用于便捷定量评估的 Text2Segmentation；同时本文进行了若干不同尝试以开展比较分析。结果表明，GPT-4V 可通过 VQA 范式在零样本 AD 任务中取得一定效果，例如在 MVTec AD 和 VisA 数据集上分别取得图像级 77.1/88.0 和像素级 68.0/76.6 的 AU-ROC。然而，与 WinCLIP、CLIP-AD 等最先进的零样本方法相比，其性能仍存在一定差距，需要进一步研究。本研究为面向 VQA 的 LMM 在零样本 AD 任务中的研究提供了基线参考，并提出了若干可能的未来工作。代码可在 https://github.com/zhangzjn/GPT-4V-AD 获取。
英文摘要：
Large Multimodal Model (LMM) GPT-4V(ision) endows GPT-4 with visual grounding capabilities, making it possible to handle certain tasks through the Visual Question Answering (VQA) paradigm. This paper explores the potential of VQA-oriented GPT-4V in the recently popular visual Anomaly Detection (AD) and is the first to conduct qualitative and quantitative evaluations on the popular MVTec AD and VisA datasets. Considering that this task requires both image-/pixel-level evaluations, the proposed GPT-4V-AD framework contains three components: \textbf{\textit{1)}} Granular Region Division, \textbf{\textit{2)}} Prompt Designing, \textbf{\textit{3)}} Text2Segmentation for easy quantitative evaluation, and have made some different attempts for comparative analysis. The results show that GPT-4V can achieve certain results in the zero-shot AD task through a VQA paradigm, such as achieving image-level 77.1/88.0 and pixel-level 68.0/76.6 AU-ROCs on MVTec AD and VisA datasets, respectively. However, its performance still has a certain gap compared to the state-of-the-art zero-shot method, \eg, WinCLIP and CLIP-AD, and further researches are needed. This study provides a baseline reference for the research of VQA-oriented LMM in the zero-shot AD task, and we also post several possible future works. Code is available at \url{https://github.com/zhangzjn/GPT-4V-AD}.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
