通过两阶段过滤识别预训练Transformer中的多模态知识神经元
Identifying Multi-modal Knowledge Neurons in Pretrained Transformers via Two-stage Filtering
AI总结：
本研究提出基于MiniGPT-4的两阶段过滤方法，通过图像修复激活差异和GradCAM梯度过滤识别多模态知识神经元，提升了知识定位精度，促进了MLLMs的可解释性与知识控制。
摘要：
大型语言模型（LLMs）的最新进展推动了自然语言处理（NLP）和计算机视觉领域多模态LLMs（MLLMs）的发展。尽管这些模型实现了视觉与语言的整合理解，但存在内部处理过程不透明、产生幻觉和误报等挑战。因此，需要一种方法来明确MLLMs中知识的位置。本研究提出一种使用基于Transformer的MLLM——MiniGPT-4来识别与特定知识相关神经元的方法。具体而言，我们通过两个阶段提取知识神经元：使用图像修复的激活差异过滤，以及使用GradCAM的基于梯度的过滤。在图像描述生成任务上使用MS COCO 2017数据集进行的实验中，通过BLEU、ROUGE和BERTScore定量评估，以及使用激活热力图的定性评估表明，我们的方法能够以高于现有方法的精度定位知识。本研究有助于MLLMs中知识的可视化与可解释性，并展示了未来知识编辑与控制的潜力。
英文摘要：
Recent advances in large language models (LLMs) have led to the development of multimodal LLMs (MLLMs) in the fields of natural language processing (NLP) and computer vision. Although these models allow for integrated visual and language understanding, they present challenges such as opaque internal processing and the generation of hallucinations and misinformation. Therefore, there is a need for a method to clarify the location of knowledge in MLLMs. In this study, we propose a method to identify neurons associated with specific knowledge using MiniGPT-4, a Transformer-based MLLM. Specifically, we extract knowledge neurons through two stages: activation differences filtering using inpainting and gradient-based filtering using GradCAM. Experiments on the image caption generation task using the MS COCO 2017 dataset, BLEU, ROUGE, and BERTScore quantitative evaluation, and qualitative evaluation using an activation heatmap showed that our method is able to locate knowledge with higher accuracy than existing methods. This study contributes to the visualization and explainability of knowledge in MLLMs and shows the potential for future knowledge editing and control.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
