Spectral-LSH: Sub-Quadratic Prompt Compression via Krylov-Projected Locality-Sensitive Hashing
谱局部敏感哈希:通过Krylov投影局部敏感哈希实现次二次方的提示压缩
机构 * Islamic Azad University(伊斯兰阿扎德大学) ; Iran University of Science and Technology(伊朗科技大学) ; Meta
AI总结 研究针对长提示推理成本高的问题,提出谱局部敏感哈希方法,通过Krylov子空间方法等近似注意力核算子,应用SimHash分组聚合令牌,实验揭示压缩率相变及不同压缩率下方法优势,自适应后端可兼顾不同情况。