SeiT：使用 Token 且仅需 1% 像素存储的高效视觉训练
SeiT: Storage-Efficient Vision Training with Tokens Using 1% of Pixel Storage
AI总结：
本文提出一种高效存储的视觉训练策略 SeiT，通过为每个实例仅使用 1024 个 token 替代原始像素，将存储需求降至 JPEG 像素的 1% 以下，并结合 token 增强与 Stem-adaptor 模块在 ImageNet 等数据集上取得卓越性能。
摘要：
我们需要十亿级别的图像来实现更具泛化性和突破性的视觉模型，同时也需要庞大的数据集存储空间来传输这些图像（例如，LAION-4B 数据集需要 240TB 的存储空间）。然而，在有限的存储基础设施下处理无限增长的数据集存储已成为一项挑战。目前已经提出了一些高效存储的训练方法来解决这一问题，但它们往往难以扩展，或者会导致性能严重受损。在本文中，我们提出了一种针对大规模数据集（例如 ImageNet）视觉分类器的高效存储训练策略，该策略对每个实例仅使用 1024 个 token，而不使用原始像素级别的数据；我们的 token 存储仅需原始 JPEG 压缩像素不到 1% 的空间。我们还提出了 token 数据增强和 Stem-adaptor 模块，使我们的方法能够采用与基于像素的方法相同的架构，仅需对 stem 层进行极少的修改并仔细调整优化设置。我们在 ImageNet-1k 上的实验结果表明，我们的方法以巨大优势显著优于其他高效存储的训练方法。我们进一步展示了该方法在其他实际场景、高效存储预训练和持续学习中的有效性。代码可在 https://github.com/naver-ai/seit 获取。
英文摘要：
We need billion-scale images to achieve more generalizable and ground-breaking vision models, as well as massive dataset storage to ship the images (e.g., the LAION-4B dataset needs 240TB storage space). However, it has become challenging to deal with unlimited dataset storage with limited storage infrastructure. A number of storage-efficient training methods have been proposed to tackle the problem, but they are rarely scalable or suffer from severe damage to performance. In this paper, we propose a storage-efficient training strategy for vision classifiers for large-scale datasets (e.g., ImageNet) that only uses 1024 tokens per instance without using the raw level pixels; our token storage only needs <1% of the original JPEG-compressed raw pixels. We also propose token augmentations and a Stem-adaptor module to make our approach able to use the same architecture as pixel-based approaches with only minimal modifications on the stem layer and the carefully tuned optimization settings. Our experimental results on ImageNet-1k show that our method significantly outperforms other storage-efficient training methods with a large gap. We further show the effectiveness of our method in other practical scenarios, storage-efficient pre-training, and continual learning. Code is available at https://github.com/naver-ai/seit
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
