arXiv 1104.38102011-04-19cs.DScs.IR

FM索引中的固定块压缩增强

Fixed Block Compression Boosting in FM-Indexes

Juha Kärkkäinen, Simon J. Puglisi

摘要：

压缩的全文自索引占用的空间接近于压缩文本的空间，同时允许快速模式匹配和对基础文本的随机访问。在理论和实践中，最好的压缩自索引是FM索引家族的几个成员。在本文中，我们描述了新的FM索引变体，结合了良好的理论特性，简单的实现和改进的实际性能。我们的主要结果是一种称为固定块压缩增强的新技术，这是一种更简单，更快的替代最佳压缩增强和隐式压缩增强在以前的FM索引中使用。

英文摘要：

A compressed full-text self-index occupies space close to that of the compressed text and simultaneously allows fast pattern matching and random access to the underlying text. Among the best compressed self-indexes, in theory and in practice, are several members of the FM-index family. In this paper, we describe new FM-index variants that combine nice theoretical properties, simple implementation and improved practical performance. Our main result is a new technique called fixed block compression boosting, which is a simpler and faster alternative to optimal compression boosting and implicit compression boosting used in previous FM-indexes.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

在线自索引语法压缩

Online Self-Indexed Grammar Compression

尽管到目前为止已经提出了几种基于语法的自索引，但它们的适用性仅限于离线设置，其中准备了整个输入文本，因此需要为给定的额外输入重建索引结构，这在大数据时代通常是这种情况。在本文中，我们提出了第一个在线自索引的语法压缩命名为OESP-index，可以逐步建立索引结构，通过读取输入字符一个接一个。这样的属性是另一个优点，它可以节省用于构造的工作空间，因为我们不需要在存储器中存储输入文本。实验测试了OESP-index在构建索引结构和搜索查询文本方面的能力，并展示了OESP-index的效率，特别是在构建索引结构方面的空间效率。

2015-07-06cs.DS

用递归图二分压缩图和索引

Compressing Graphs and Indexes with Recursive Graph Bisection

图重排是一种增强图表示局部性的强大技术，在许多应用中有帮助。我们研究如何使用该技术来提高压缩的图形和倒排索引。我们扩展了Chierichetti等人（KDD 2009）的最新理论模型，用于图压缩，并展示了如何将其用于社交网络和Web图的压缩友好重新排序，以及如何在倒排索引中分配文档标识符。我们设计并实现了一个新的理论上健全的重新排序算法，是基于递归图二分法。实验结果表明，该算法在图和索引的压缩率上比现有算法有了显著的提高。新方法相对简单，并允许高效的并行和分布式实现，这是在具有数十亿个顶点和数千亿条边的图上证明的。

2016-02-29cs.DScs.SI

通用压缩文本索引

Universal Compressed Text Indexing

重复数据集的兴起最近引起了人们对基于字典压缩的压缩自索引的兴趣，这是一个丰富而异构的家族，以不同的方式利用文本重复。对于每种这样的压缩方案，在过去二十年中已经提出了几种不同的索引解决方案。迄今为止，重复文本的最快索引是基于行程压缩的Burrows-Wheeler变换和紧凑有向非循环词图。另一方面，最节省空间的索引是基于Lempel-Ziv解析和语法压缩的。还没有提出更普遍的方案，如拼贴系统和宏观方案的索引。最近，Kempa和Prezza [STOC 2018]表明，所有字典压缩器都可以被解释为最小字符串吸引子的近似算法，即捕获所有不同子串的一组文本位置。从这个观察开始，在本文中，我们开发了第一个通用的压缩自索引，也就是说，第一个基于字符串吸引子的索引数据结构，因此可以建立在任何字典压缩文本表示的顶部。令$γ$为长度为$n$的文本的字符串吸引子的大小。我们的索引采用$O(γ\log(n/γ))$空间字，并支持在$O(m\log n + occ\log^εn)$时间内，对于任何常数$ε>0$，定位任何长度为$m$的模式的$occ$出现。特别是，这是一般宏观计划和大学系统的第一个指数。我们的研究结果表明，索引和压缩之间的关系比以前认为的要深得多：所有字典压缩器的核心的简单属性足以支持快速索引查询。

2018-09-06cs.DS

可扩展的文本索引构造

Scalable Construction of Text Indexes

后缀数组是有效解决不同应用领域（如数据压缩、数据采掘或生物信息学）中无数字符串处理问题的关键。随着可用数据的快速增长，后缀数组构造算法必须适应高级计算模型，如外部存储器和分布式计算。在这篇文章中，我们提出了五个后缀数组构造算法，利用新的算法大数据批处理框架Thrill，它允许我们处理以前没有考虑过的数量级的输入大小。

2016-10-10cs.DCcs.DS

基于后缀数组的两个简单全文索引

Two simple full-text indexes based on the suffix array

我们提出了两个后缀数组启发全文索引。一种称为SA哈希，它用一个哈希表来增加后缀数组，以加快模式搜索，因为在二进制搜索阶段之前搜索间隔大大缩小。另一种称为FBCSA，是一种紧凑的数据结构，类似于M{ä}kinen的紧凑后缀数组，但工作在固定大小的块上。在Pizza~\&~Chili 200\，MB数据集上的实验表明，SA散列在模式搜索（计数）方面比标准后缀数组快2- 3倍，代价是需要$0.2n-1.1n$字节的额外空间，其中$n$是文本长度，并设置最小模式长度。FBCSA在单个单元访问中相对较快（在大约相同或更好的压缩下比相关索引快几倍），但如果要提取许多连续单元，则没有竞争力。尽管如此，对于提取的任务，例如，10个连续的细胞，其时空关系仍然是有吸引力的。

2016-05-23cs.DS

BWT-游程压缩索引的最优时间排序

Optimal-Time Queries on BWT-runs Compressed Indexes

索引高度重复的字符串（即，具有许多重复的字符串）进行快速查询已经成为字符串处理中的中心研究课题，因为它在生物信息学和自然语言处理中具有广泛的应用。虽然到目前为止已经提出了大量的高度重复字符串的索引，但开发支持各种查询的压缩索引仍然是一个挑战。游程Burrows-Wheeler变换（RLBWT）是一种通过对输入字符串进行可逆置换和行程长度编码的无损数据压缩方法，它在高重复性字符串的索引方面受到广泛关注。LF和$ϕ^{-1}$是用于在RLBWT上构建索引的两个关键函数，并且最佳先前结果在$O(\log \log n)$时间内计算LF和$ϕ^{-1}$，其中$O(r)$字的空间用于RLBWT中的串长度$n$和运行次数$r$。本文对LF和$ϕ^{-1}$进行了改进，使它们可以用空间的$O(r)$字在常数时间内计算。随后，我们提出了OptBWTR（最佳时间查询BWT运行压缩索引），第一个字符串索引，支持各种查询，包括定位，计数，提取查询在最佳时间和$O(r)$字的空间。

2021-04-16cs.DS

更多相关论文收起更多论文

用于读取集合的语法压缩器及其在BWT构造中的应用

A grammar compressor for collections of reads with applications to the construction of the BWT

我们描述了DNA测序读取的语法，我们可以直接计算BWT。我们的动机是在简洁的空间基因组分析，需要复杂的字符串查询尚未支持基于重复的自索引。我们的方法是将读取集存储为语法，但在需要时，计算其BWT以使用自索引进行分析。我们在真实数据中的实验表明，我们用压缩器实现的空间减少与基于LZ的方法相比具有竞争力，并且优于基于熵的方法。与其他流行的语法相比，在这种数据中，我们平均实现了12%的额外压缩，并且需要更少的工作空间和时间。

2020-11-13cs.DScs.IR

高重复文本压缩索引的优化构造

Optimal Construction of Compressed Indexes for Highly Repetitive Texts

我们提出的算法，给定的输入字符串的长度$n$在整数字母表的大小$σ$，构造的Burrows-Wheeler变换（BWT），置换最长公共前缀（PLCP）阵列，和LZ 77解析在$O(n/\log_σn+r\,{\rm polylog}\,n)$时间和工作空间，其中$r$是运行在BWT的输入。这些是许多压缩索引的基本组成部分，如压缩后缀树，FM索引，语法和基于LZ 77的索引，而且在序列分析和数据压缩中也有许多应用。$r$的值是重复性的常用度量，如果字符串高度重复，则该值明显小于$n$。由于只访问字符串的每个符号需要$Ω(n/\log_σn)$时间，所提出的算法是时间和空间最优的输入满足假设$n/r\inΩ({\rm polylog}\,n)$的重复性。对于这些输入，我们的结果改进了Belazzougui（STOC 2014）和Munro等人（SODA 2017）目前最快的通用算法，这些算法在$O(n)$时间内运行，并使用$O(n/\log_σ n)$工作空间。我们还展示了如何使用我们的技术，以获得最佳的解决方案，对其他基本字符串处理问题的高度重复的数据，如：林登因子分解，运行长度压缩后缀数组的建设，和一些经典的“教科书”的问题，如计算最长的子串发生至少一些固定的次数。

2019-05-20cs.DS

Grammar Boosting：一种证明压缩数据计算下界的新技术

Grammar Boosting: A New Technique for Proving Lower Bounds for Computation over Compressed Data

本文提出了一种不依赖近似比且完全通用的Grammar Boosting技术，用于证明文法压缩数据上算法与数据结构的下界，并成功推导出多种主流压缩算法的随机访问时间下界及压缩计算的条件下界。

2023-07-17cs.DS

一种快速小采样R指标

A Fast and Small Subsampled R-index

$r$指数（Gagie等人，JACM 2020）代表了重复文本集合的压缩索引的突破，其性能超过其替代品的数量级。它的空间使用，$\mathcal{O}(r)$，其中$r$是在文本的Burrows-Wheeler变换中运行的次数，但是比Lempel-Ziv和基于语法的索引大，并且使得它在各种较温和重复的现实生活场景中不有趣。在本文中，我们介绍了$sr$指数，一个变种，限制空间$\mathcal{O}(\min(r,n/s))$的长度为$n$和一个给定的参数$s$的文本，在乘以$s$的时间，每次发生的报告。$sr$索引是通过仔细地对由$r$索引索引的文本位置进行二次采样而获得的，以我们证明仍然能够以保证性能的方式支持模式匹配。我们的实验表明，$sr$索引大幅优于几乎所有其他压缩索引的重复文本，在时间和空间，甚至匹配性能的$r$索引，而使用1.5- 3.0倍的空间。只有一些基于Lempel-Ziv的索引比$sr$索引实现更好的压缩，使用大约一半的空间，但它们慢一个数量级。

2021-03-29cs.DS

CSA ++：大字母的快速模式搜索

CSA++: Fast Pattern Search for Large Alphabets

文本中的索引模式搜索已经研究了几十年。对于小字母，FM索引提供了无与伦比的性能，在所需的空间和搜索速度方面。对于大字母表--例如，当标记是单词时--情况更加复杂，FM-Index表示是紧凑的，但可能很慢。在本文中，我们应用最近的创新领域的倒排索引和文档检索压缩模式搜索，包括字母到数百万。从实际的压缩后缀数组结构开发的贞根，我们表明，埃利亚斯-法诺代码为基础的方法，文档索引可以适应提供新的权衡选项，在索引模式搜索，并提供显着更快的模式处理相比，以前的实现，以及减少空间的要求。我们报告了一个详细的实验评估，证明了新方法的相对优势，使用标准的比萨饼和辣椒的方法和文件，以及应用用例来自大规模数据压缩，并从自然语言处理。对于大的字母表，新的结构产生的空间要求接近那些最高度压缩的FM-Index变体，以及无与伦比的搜索吞吐率。

2016-05-18cs.DS

基于LZ77的自索引

Self-Index Based on LZ77

我们介绍了基于Lempel-Ziv 1977压缩格式（LZ 77）的第一个自索引。对于高度重复的文本集合，例如相关物种的基因组序列数据库、软件存储库、版本化文档集合和时间文本数据库，它特别具有竞争力。这样的集合是非常可压缩的，但是经典的自索引无法捕获可压缩性的来源。我们的自索引实际上占用的空间是用LZ 77压缩的文本的几倍（只有2.6倍），每秒提取1- 2百万个字符的文本，并以每次出现10- 50微秒的速度找到模式。它比当前用于重复收集的最佳自索引小（最多一半），并且在许多情况下更快。

2011-01-21cs.DS

基于字符串同步集的实用且空间高效的LZ77与LZ预压缩

Practical and Space-Efficient LZ77 and LZ Pre-Compression via String Synchronizing Sets

CWI Amsterdam（荷兰数学与计算机科学研究学会阿姆斯特丹中心）；TU Dortmund University（多特蒙德工业大学）

本文通过字符串同步集替换LZ77因子分解中的不可实现组件，首次实现实用且空间高效的LZ77及LZ预压缩算法，显著提升速度并降低内存。

2026-10-21cs.DS

Burrows-Wheeler变换猜想的解决

Resolution of the Burrows-Wheeler Transform Conjecture

Burrows-Wheeler变换（BWT）是一种可逆的文本变换，它根据文本后缀的词典顺序排列文本的符号。BWT是流行的无损压缩程序（例如bzip 2）以及最近强大的压缩索引（例如$r$ -index [Gagie等人，J. ACM，2020]），现代生物信息学的核心。BWT的压缩比通过相等字母运行的数量$r$来量化。尽管BWT的实际意义，没有非平凡的界限值的$r$是已知的。这与几乎所有其他已知的压缩方法相反，其大小已经被证明总是在来自$z$的${\rm polylog}\,n$因子（其中$n$是文本的长度）内，文本的Lempel-Ziv（LZ 77）解析的大小，或者在最坏情况下显著更大（对于$\varepsilon > 0$，通过$n^{\varepsilon}$因子）。在本文中，我们证明了$r = \mathcal{O}(z \log^2n)$适用于每一个文本。这一结果对文本索引和数据压缩有许多含义;例如：（1）它证明了许多与BWT相关的结果自动适用于基于LZ 77的方法，例如，可以在$\mathcal{O}(z\,{\rm polylog}\,n)$空间中获得后缀树的功能;（2）它表明，假设文本可以使用LZ 77通过足够大的${\rm polylog}\,n$因子压缩，则可以在最佳时间内解决许多文本处理任务;（3）它暗示了文本的BWT中的游程数与其逆游程数之间的第一个非平凡关…

2020-11-17cs.DS

压缩图上的子路径图：一个综述

Subpath Queries on Compressed Graphs: a Survey

文本索引是一个经典的算法问题，已经被研究了四十多年：给定一个文本$T$，离线预处理它，这样，以后，我们可以快速计数和定位任何字符串（查询模式）在$T$中的出现时间与查询的长度成正比。这个问题最早的最优时间解决方案，后缀树，可以追溯到1973年，它需要比纯文本多两个数量级的空间来存储。在2000年，两个突破性的工作表明，高效的查询可以实现没有这种空间开销：一个快速的索引被存储在一个空间成比例的文本的熵。这些贡献对生物信息学产生了巨大的影响：如今，几乎所有的DNA比对都采用了压缩索引。最近的趋势考虑了更强大的压缩方案（字典压缩器）和将问题推广到标记图：毕竟，文本可以被视为标记的有向路径。反过来，由于有限状态自动机可以被认为是标记图的一种特殊情况，这些发现在压缩索引和正则语言理论之间建立了一座桥梁，最终允许索引正则语言，并有望为正则表达式匹配等问题提供新的解决方案。这个调查是一个温和的介绍的迷人的旅程，把我们从后缀树到今天的压缩索引标记图和正则语言的主要里程碑。

2020-12-13cs.DS

BAT-LZ 脱离地狱

BAT-LZ Out of Hell

本文提出 BAT-LZ 变体，通过设计贪心算法和结合增强后缀树的算法，在几乎不损失压缩率的情况下，将访问任意符号的开销限制在接近 $\log_2 n$。

2024-04-23cs.DS

Suffixient Arrays：一种新型高效后缀数组压缩技术

Suffixient Arrays: a New Efficient Suffix Array Compression Technique

本文提出 Suffixient Array，仅保留后缀数组中足以通过二分搜索定位模式及 MEM 的子集，实现压缩工作空间线性构建，并在重复集合上显著快于 SA 和 r-index。

2025-03-18cs.DS

基于LZ77的自索引（论文）

Self-Index based on LZ77 (thesis)

生物信息学、版本控制系统、协作编辑系统（wiki）等领域正在产生大量重复性很强的数据汇集。也就是说，集合的元素之间几乎没有什么区别。这一事实使得集合的可压缩性非常高。例如，包含所有不同版本的维基百科条目的集合可以使用Lempel-Ziv 1977（LZ 77）压缩方案压缩到其原始空间的0.1%。这些重复的集合中的许多都处理大量的文本数据。因此，我们需要一种方法来有效地存储它们，同时提供对它们进行操作的能力。最常见的操作是提取集合的随机部分，并在整个集合中搜索给定模式的所有出现。自索引是一种数据结构，它以压缩形式存储文本，并允许有效地找到模式的出现。另一方面，自索引可以提取集合的任何子字符串，因此它们能够替换原始文本。使用这些索引的主要目标之一是将它们存储在主存中。在这篇论文中，我们提出了一个方案，随机抽取文本压缩与Lempel-Ziv分析。此外，我们提出了一个LZ 77的变体，称为LZ-End，它可以使用接近LZ 77的空间有效地提取文本。本文的主要贡献是基于LZ 77/LZ-End的第一个面向重复文本的自索引，该自索引在许多方面都优于目前最新的自索引（RLCSA自索引）。最后，我们提出了一个语料库的重复文本，来自几个应用领域。我们的目标是为研究和实验提供一套标准的文本，因此这个语料库是公开的。

2011-12-20cs.DS