首页/论文/2009.11543

arXiv 2009.115432020-09-24cs.DB

压缩键排序和快速索引重构

Compressed Key Sort and Fast Index Reconstruction

Yongsik Kwon, Cheol Ryu, Sang Kyun Cha, Arthur H. Lee, Kunsoo Park, Bongki Moon

备注：: 26 pages and 13 figures

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

在本文中，我们提出了一个索引键压缩方案的基础上的概念，区别位的索引键的区别位是足够的信息，以确定正确的排序顺序的索引键。虽然实际的压缩比可能会因数据集的特性而异（在我们的实验中观察到的平均压缩比为2.76比1），但索引键压缩方案在重建大规模索引时会显着提高性能。我们的索引键压缩可以有效地用于数据库复制和索引恢复现代内存数据库系统。

英文摘要：

In this paper we propose an index key compression scheme based on the notion of distinction bits by proving that the distinction bits of index keys are sufficient information to determine the sorted order of the index keys correctly. While the actual compression ratio may vary depending on the characteristics of datasets (an average of 2.76 to one compression ratio was observed in our experiments), the index key compression scheme leads to significant performance improvements during the reconstruction of large-scale indexes. Our index key compression can be effectively used in database replication and index recovery of modern main-memory database systems.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

位图索引中增强字对齐压缩的直方图感知排序

Histogram-Aware Sorting for Enhanced Word-Aligned Compression in Bitmap Indexes

必须压缩位图索引以降低输入/输出成本并最大限度地减少CPU使用。为了加速位图上的逻辑运算（AND、OR、XOR），我们使用基于行程长度编码（RLE）的技术，例如字对齐混合（WAH）压缩。这些技术对行的顺序很敏感：一个简单的字典序排序可以将索引大小除以9，使索引速度提高几倍。我们调查的基础上计算属性值直方图的重排序算法。根据这些直方图简单地排列表中的列可以将排序效率提高40%。

2009-01-19cs.DB

索引位图的数据表和压缩的三种方法

Tri de la table de faits et compression des index bitmaps avec alignement sur les mots

位图索引经常用于索引多维数据。它们主要依赖于顺序输入/输出。可以压缩位图以降低输入/输出成本并最大限度地减少CPU使用。最有效的压缩技术是基于行程长度编码（RLE），例如字对齐混合（WAH）压缩。这种类型的压缩加速了位图上的逻辑运算（AND、OR）。然而，行程长度编码对事实的顺序敏感。因此，我们建议对事实表进行排序。我们回顾字典式，格雷码，和块排序。我们发现，词典式排序改进了压缩--有时生成的索引是原来的两倍--并使索引的速度提高了几倍。虽然排序需要时间，但索引排序表的速度更快，这部分抵消了排序的时间。列顺序很重要：通常最好将具有不同值的列放在开头。分块排序的效率比全排序低得多。此外，我们发现，格雷码排序是不优于字典排序时，使用词对齐压缩。

2008-08-15cs.DB

压缩索引实现语义数据的快速搜索

Compressed Indexes for Fast Search of Semantic Data

RDF数据量的急剧增加要求有效解决三元组索引问题，即设计一种压缩数据结构来压缩表示RDF三元组，同时保证快速的模式匹配操作。这个问题的核心在于为大型RDF数据集上的复杂SPARQL查询提供良好的实际性能。在这项工作中，我们提出了一个基于trie的索引布局来解决这个问题，并引入了两种新的技术，以减少其空间的表示，以提高效率。在广泛的公开可用的真实世界数据集上进行的广泛的实验分析表明，我们最好的空间/时间权衡配置大大优于现有的解决方案，通过减少30-60%的空间，并将查询执行速度提高2- 81倍。

2020-02-27cs.DBcs.IR

使用Roaring位图提高位图性能

Better bitmap performance with Roaring bitmaps

位图索引通常用于数据库和搜索引擎。通过利用位级并行性，它们可以显着加速查询。然而，它们可能会使用大量内存，因此我们可能更喜欢压缩的位图索引。在Oracle的领导下，位图通常使用行程长度编码（RLE）进行压缩。在之前工作的基础上，我们引入了Roaring压缩位图格式：它使用压缩数组而不是RLE进行压缩。我们将其与两种高性能的基于RLE的位图编码技术进行比较：WAH（字对齐混合压缩方案）和Concise（压缩的n可组合位图集）。在合成和真实数据上，我们发现咆哮位图（1）通常压缩得更好（例如，2倍）和（2）比压缩的替代方案快（交叉点快900倍）。我们的研究结果挑战了基于RLE的位图压缩是最好的观点。

2016-03-15cs.DB

与Roaring一样更快更小的压缩位图

Consistently faster and smaller compressed bitmaps with Roaring

压缩位图索引用于数据库和搜索引擎。已经提出了许多位图压缩技术，几乎所有都主要依赖于行程长度编码（RLE）。然而，对于未排序的数据，我们可以使用混合压缩技术来获得更好的性能，该技术在两级树中使用未压缩的位图和打包数组。这种技术的一个实例，咆哮，最近被提出。由于其良好的性能，它已被多个生产平台采用（例如，Apache Lucene、Apache Spark、Apache Kylin和Druid）。然而，在某些情况下，行程长度编码的位图比原始的Roaring位图小-通常是当数据被排序时，位图包含长的可压缩行程。为了更好地处理这些情况，我们构建了一个新的Roaring混合体，它结合了未压缩的位图，压缩数组和RLE压缩段。其结果是一个新的咆哮格式，压缩更好。总的来说，我们的Roaring的新实现可以比传统的基于RLE的替代方案（WAH，Concise，EWAH）的实现快几倍（高达两个数量级），同时压缩得更好。我们回顾了使这些良好结果成为可能的设计选择和优化。

2018-03-02cs.DB

E2FM：基因组序列集合的加密和压缩全文索引

E2FM: an encrypted and compressed full-text index for collections of genomic sequences

下一代测序（NGS）平台以及更普遍的高通量技术正在引起核苷酸序列数据库的规模的指数增长。此外，核苷酸数据集的许多新兴应用-如与个性化医疗相关的应用-需要遵守有关敏感数据存储和处理的法规。我们设计并精心设计了E2 FM索引，这是一种新的全文索引，在分钟空间内进行了优化，用于压缩和加密FASTA格式的核苷酸序列集合，并用于执行快速模式搜索查询。E2 FM-index允许构建自索引，其占用的存储空间为输入FASTA文件所需的1/20，因此在索引高度相似的序列集合时可以节省约95%的存储空间;此外，它可以在几毫秒到几百毫秒的时间内精确地搜索构建的索引以查找模式，具体取决于模式长度。补充材料和支持数据集可通过Bioinformatics Online和https://figshare.com/s/6246ee9c1bd730a8bf6e获得。

2019-10-10cs.DBcs.DS

更多相关论文收起更多论文

基于压缩文本和树索引的快速内存搜索

Fast In-Memory XPath Search over Compressed Text and Tree Indexes

XML文档的很大一部分通常由文本数据组成。XML查询语言允许通过equal、contains和starts-with谓词进行文本搜索。使用文档文本节点的压缩自索引可以有效地实现这样的谓词。但是，大多数查询都包含查询文档文本的某些部分，加上查询树结构的某些部分。因此，为给定的查询选择适当的计算顺序是一个挑战，它最佳地利用了文本和树索引的执行速度。这里介绍的SXSI系统，它存储的树结构的XML文档使用一个位数组的开括号和闭括号，并存储的文本节点使用一个全球性的压缩自索引。在这些索引之上是一个基于树自动机的查询引擎。引擎使用文本索引的快速计数查询，以便动态地确定相对于树结构是自顶向下还是自底向上进行评估。由此产生的系统与现有系统相比具有几个优点：（1）纯树查询（没有文本搜索），如XPathMark查询，SXSI系统的性能与最快的已知系统MonetDB和Qizx相当或更好，（2）在使用文本搜索的查询上，SXSI比现有系统高出1- 3个数量级（取决于结果集的大小），（3）在内存消耗方面，SXSI优于所有其他仅计数查询的系统。

2011-10-05cs.DBcs.IR

AutoCSF：通过过滤增强压缩静态函数实现高效空间索引

AutoCSF: Provably Space-Efficient Indexing of Skewed Key-Value Workloads via Filter-Augmented Compressed Static Functions

Distill；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Amazon（亚马逊）；Rice University（莱斯大学）；Google DeepMind（谷歌DeepMind）

本文提出AutoCSF算法，通过过滤增强压缩静态函数，以高效处理偏斜分布的数据集，提供理论保证和空间优化。

2026-11-09cs.DBcs.DSq-bio.GN

PGM索引：一种多标准、压缩和学习的数据索引方法

The PGM-index: a multicriteria, compressed and learned approach to data indexing

University of Pisa（比萨大学）

最近引入的学习索引已经动摇了几十年的数据结构索引领域的基础。将B树节点等经典设计元素与机器学习模型相结合，甚至将其替换，已被证明可以显著改善数据系统的空间占用和时间效率。然而，这些新的方法是基于几何学，因此他们缺乏任何保证，在他们的时间和空间的要求。我们提出了分段几何模型索引（简称PGM-index），它在查询操作中实现了保证的I/O最优性，学习了最优数量的线性模型，其独特的递归结构使其成为一个纯学习的数据结构，而不是传统索引和学习索引（如RMI和FITing-tree）的混合体。我们发现，PGM索引提高了空间的FITING树的63.3%和B-树超过四个数量级，同时实现相同的甚至更好的查询时间效率。我们补充这一结果，提出了三个变种的PGM指数。首先，我们设计了一个压缩的PGM索引，通过利用其组成的学习线性模型的重复性，进一步减少其空间占用。其次，我们设计了一个PGM索引，使其适应查询的分布，从而产生了迄今为止第一个已知的分布感知学习索引。最后，鉴于其灵活性，在所提供的时空权衡，我们提出了多准则PGM索引，有效地自动调整自己在几秒钟内超过数亿键的可能不断变化的时空限制所施加的应用程序的使用。我们向读者指出，本文是我们以前的论文“通过编排学习和几何来取代传统索引”（arXiv：1903.00507）的扩展和改进版本。

2019-10-14cs.DBcs.DScs.IR

jXBW: 面向结构化RAG中结构感知JSONL检索的压缩索引

jXBW: A Compressed Index Enabling Structure-Aware JSONL Retrieval for Structured RAG

RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能研究中心）

提出jXBW压缩索引，通过合并树表示、基于扩展Burrows-Wheeler变换的简洁树索引和三阶段子结构搜索算法，实现查询依赖的复杂度，在百万级JSONL数据集上比最强基线快16倍至2800倍。

2026-08-24cs.DBcs.DScs.IR

SIMD压缩与排序整数的交集

SIMD Compression and the Intersection of Sorted Integers

整数的排序列表通常用于倒排索引和数据库系统。它们通常被压缩在内存中。我们可以使用常见处理器中的SIMD指令来提高整数压缩方案的速度。我们的S4-BP 128-D4方案每个解码整数仅使用0.7个CPU周期，同时仍提供最先进的压缩。然而，如果整数的后续处理很慢，则可能浪费在优化解码速度上的努力。为了证明它不一定是这样，我们（1）向量化和优化倒排列表的交集;（2）引入SIMD驰骋算法。我们利用一个SIMD指令可以同时比较4对整数的事实。我们实验了两个TREC文本集合，GOV 2和CNOWWeb 09（类别B），使用来自TREC百万查询跟踪的日志。我们表明，只使用SIMD指令无处不在的所有现代CPU，我们的技术合取查询可以加倍的速度，一个国家的最先进的方法。

2020-04-20cs.DBcs.IRcs.PF

HiStore：基于RDMA的键值存储中混合索引的再思考

HiStore: Rethinking Hybrid Index in RDMA-based Key-Value Store

RDMA（远程直接内存访问）被广泛用于构建键值存储以实现超低延迟。在基于RDMA的键值存储中，索引时间占总操作延迟的很大一部分（高达74%），因为RDMA支持快速数据访问。然而，在现有的基于RDMA的键值存储中使用的单一索引结构，无论是基于散列的索引还是排序的索引，都不能有效地支持范围查询，同时实现单点操作的高性能。在本文中，我们重新考虑在基于RDMA的键值存储中采用混合索引，以结合哈希表和排序索引的优点。我们提出了HiStore，一个基于RDMA的键值存储使用哈希表的单点查找和范围查询利用skiplist。为了在轻量级和高效的方法中保持强一致性，HiStore引入了索引组，其中跳过列表对应于哈希表，并异步地将更新应用于组内的跳过列表。在以前使用RDMA进行键值服务的工作的指导下，HiStore专门选择了不同的RDMA原语来优化读写性能。此外，HiStore容忍服务器的故障，这些服务器通过索引复制来维护索引结构，以实现高可用性。我们的评估结果表明，HiStore使用混合索引提高了GET和SCAN操作的性能（高达2.03倍）。

2022-08-27cs.DBcs.PF

学习索引结构的案例

The Case for Learned Index Structures

索引是模型：B树索引可以被看作是将关键字映射到已排序数组内的记录的位置的模型，散列索引可以被看作是将关键字映射到未排序数组内的记录的位置的模型，位图索引可以被看作是指示数据记录是否存在的模型。在这篇探索性的研究论文中，我们从这个前提开始，并认为所有现有的索引结构都可以被其他类型的模型取代，包括深度学习模型，我们称之为学习索引。关键思想是模型可以学习查找键的排序顺序或结构，并使用此信号有效地预测记录的位置或存在。我们从理论上分析了在哪些条件下学习索引优于传统的索引结构，并描述了在设计学习索引结构的主要挑战。我们的初步结果表明，通过使用神经网络，我们能够在速度上超过缓存优化的B树高达70%，同时在几个真实世界的数据集上节省了一个数量级的内存。但更重要的是，我们相信通过学习模型替换数据管理系统的核心组件的想法对未来的系统设计具有深远的影响，这项工作只是提供了可能的一瞥。

2018-04-30cs.DBcs.DScs.NE