聚类草图：一种嵌入表压缩的新方法
Clustering the Sketch: A Novel Approach to Embedding Table Compression
AI总结：
提出聚类组合嵌入（CCE）方法，结合基于聚类的量化与动态哈希方法，实现训练期间高压缩率的嵌入表压缩，并理论证明其收敛性与紧致迭代界限。
摘要：
机器学习系统使用嵌入表来处理分类特征。在现代推荐系统中，这些表可能非常大，因此需要开发新方法以将其放入内存中，甚至在训练期间也是如此。我们建议使用聚类组合嵌入（CCE），它将诸如量化到码本的基于聚类的压缩与诸如哈希技巧和组合嵌入（Shi等人，2020）的动态方法相结合。实验证明，CCE实现了两全其美：基于码本的量化具有高压缩率，但像基于哈希的方法一样是*动态的*，因此可以在训练期间使用。在理论上，我们证明CCE保证收敛到最优码本，并给出了所需迭代次数的紧致界限。
英文摘要：
Embedding tables are used by machine learning systems to work with categorical features. In modern Recommendation Systems, these tables can be very large, necessitating the development of new methods for fitting them in memory, even during training. We suggest Clustered Compositional Embeddings (CCE) which combines clustering-based compression like quantization to codebooks with dynamic methods like The Hashing Trick and Compositional Embeddings (Shi et al., 2020). Experimentally CCE achieves the best of both worlds: The high compression rate of codebook-based quantization, but *dynamically* like hashing-based methods, so it can be used during training. Theoretically, we prove that CCE is guaranteed to converge to the optimal codebook and give a tight bound for the number of iterations required.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
