arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2409.06754cs.LGcs.AI
收藏

多模态模型的缩放定律假设

Scaling Law Hypothesis for Multimodal Model

PIN AI;G-Alpha;Apple(苹果公司);MIT(麻省理工学院);MIT EECS(麻省理工学院电气工程与计算机科学系)

Qingyun Sun, Zhen Guo, PIN AI Team

AI总结:

本文提出适用于共享空间的多模态模型缩放定律假设,基于模态压缩与tokenization效率预测性能,并探讨利用多模态训练数据减小模型规模以实现资源受限设备的高效部署。

摘要:

我们提出了一个缩放定律假设,适用于在共享 token 和 embedding 空间中处理文本、音频、图像和视频的多模态模型。我们的框架基于模态特定的压缩和 tokenization 效率来预测模型性能,将基于文本的解码器模型中既定的缩放定律扩展到混合模态系统。我们探讨了利用多种模态的更多训练数据是否能减小多模态模型的规模,从而使其能够在资源受限的设备上高效部署。

英文摘要:

We propose a scaling law hypothesis for multimodal models processing text, audio, images, and video within a shared token and embedding space. Our framework predicts model performance based on modality-specific compression and tokenization efficiency, extending established scaling laws from text-based decoder models to mixed-modality systems. We explore whether leveraging more training data in multiple modalities can reduce the size of the multimodal model, enabling efficient deployment on resource-constrained devices.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑