FungalZSL：基于合成数据方法的图像描述零样本真菌分类
FungalZSL: Zero-Shot Fungal Classification with Image Captioning Using a Synthetic Data Approach
AI总结：
针对真菌零样本分类，提出FungalZSL方法，利用LLM生成文本和合成图像增强CLIP，通过共享表示空间对齐并研究知识迁移以细化分类。
摘要：
大型视觉-语言模型（VLMs）中零样本分类的有效性，例如对比语言-图像预训练（CLIP），依赖于对大规模、良好对齐的文本-图像数据集的访问。在这项工作中，我们引入了两个互补的数据来源，一个由大型语言模型（LLMs）生成以描述真菌生长的各个阶段，另一个包含一组多样化的合成真菌图像。这些数据集旨在增强CLIP对真菌相关任务的零样本分类能力。为了确保文本和图像数据之间的有效对齐，我们将它们投影到CLIP的共享表示空间中，重点关注不同的真菌生长阶段。我们使用LLaMA3.2生成文本以弥合模态差距，并合成创建真菌图像。此外，我们通过比较不同LLM技术生成的文本输出来研究知识迁移，以细化跨生长阶段的分类。
英文摘要：
The effectiveness of zero-shot classification in large vision-language models (VLMs), such as Contrastive Language-Image Pre-training (CLIP), depends on access to extensive, well-aligned text-image datasets. In this work, we introduce two complementary data sources, one generated by large language models (LLMs) to describe the stages of fungal growth and another comprising a diverse set of synthetic fungi images. These datasets are designed to enhance CLIPs zero-shot classification capabilities for fungi-related tasks. To ensure effective alignment between text and image data, we project them into CLIPs shared representation space, focusing on different fungal growth stages. We generate text using LLaMA3.2 to bridge modality gaps and synthetically create fungi images. Furthermore, we investigate knowledge transfer by comparing text outputs from different LLM techniques to refine classification across growth stages.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
