arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~

停止以全精度索引:重新审视向量嵌入的聚类方法

Stop Indexing at Full Precision: Revisiting Clustering for Vector Embeddings

Leonardo Kuffo, Peter Boncz

arXiv 2608.14648首次发表:更新:

发表机构

CWI Amsterdam(阿姆斯特丹数学与计算机科学研究中心)

机构由 AI 辅助整理,请以论文原文为准。

AI 中文总结

该研究针对向量嵌入索引问题,提出在聚类前应用降维、量化和维度剪枝的流水线,发现1位编码聚类可实现近最优质量且大幅降存储,相关实现已开源。

AI 中文摘要

本研究重新审视向量搜索中三种广泛使用的技术,并利用它们通过聚类优化向量嵌入索引:降维、量化和维度剪枝。我们提出一种索引流水线,其中这些技术在聚类前应用,重点关注它们对向量搜索任务的存储占用、聚类时间以及所得质心质量的影响。结果表明,使用全精度向量进行聚类是过度的,即使是1位编码也能实现接近最优的聚类质量(与理想值相差在1%以内),同时将存储需求降低60倍,并带来显著的性能提升(见图1)。我们在该https URL开源了实现代码。

英文摘要

In this study, we revisit three widely used techniques in vector search and utilize them to optimize vector embedding indexing through clustering: dimensionality reduction, quantization, and dimension pruning. We propose an indexing pipeline in which these techniques are applied before clustering, and we focus on how they affect storage footprint, clustering time, and the quality of the resulting centroids for vector search tasks. Our results reveal that using full-precision vectors for clustering is excessive, as even 1-bit codes can achieve near-optimal clustering quality (within 1% of ideal) while reducing storage requirements by 60x and delivering attractive performance gains (Figure 1). We open-source our implementations at https://github.com/cwida/SuperKMeans.

CommentsVLDB 2026 Workshop: The 2nd Workshop on Vector Databases

论文原文

arXiv 摘要页 · PDF 原文 · HTML 原文

↑