CSA：将单模态特征以数据高效方式映射到多模态特征
CSA: Data-efficient Mapping of Unimodal Features to Multimodal Features
AI总结：
本文提出 CSA，通过两个单模态编码器推理和三次复杂度矩阵分解，将单模态特征高效映射到多模态空间，并以少 50,000 倍的数据超越 CLIP。
摘要：
像 CLIP 这样的多模态编码器在零样本图像分类和跨模态检索等任务中表现出色。然而，它们需要过多的训练数据。我们提出了典型相似性分析（canonical similarity analysis，CSA），该方法使用两个单模态编码器，在数据有限的情况下复现多模态编码器。CSA 将单模态特征映射到一个多模态空间，并使用一种新的相似性分数仅保留多模态信息。CSA 只涉及单模态编码器的推理和一个具有三次复杂度的矩阵分解，无需进行大量基于 GPU 的模型训练。实验表明，在给定预训练单模态编码器的情况下，CSA 在 ImageNet 分类和错误信息新闻标题检测上用于桥接模态所需的多模态数据对比 CLIP 少 50,000 倍，同时性能优于 CLIP。CSA 超越了将单模态特征映射到多模态特征的最先进方法。我们还展示了 CSA 处理图像和文本之外模态的能力，为未来配对多模态数据有限但非配对单模态数据丰富的模态对（如激光雷达和文本）铺平了道路。
英文摘要：
Multimodal encoders like CLIP excel in tasks such as zero-shot image classification and cross-modal retrieval. However, they require excessive training data. We propose canonical similarity analysis (CSA), which uses two unimodal encoders to replicate multimodal encoders using limited data. CSA maps unimodal features into a multimodal space, using a new similarity score to retain only the multimodal information. CSA only involves the inference of unimodal encoders and a cubic-complexity matrix decomposition, eliminating the need for extensive GPU-based model training. Experiments show that CSA outperforms CLIP while requiring $50,000\times$ fewer multimodal data pairs to bridge the modalities given pre-trained unimodal encoders on ImageNet classification and misinformative news caption detection. CSA surpasses the state-of-the-art method to map unimodal features to multimodal features. We also demonstrate the ability of CSA with modalities beyond image and text, paving the way for future modality pairs with limited paired multimodal data but abundant unpaired unimodal data, such as lidar and text.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
