Optimal Construction of Compressed Indexes for Highly Repetitive Texts
我们提出的算法,给定的输入字符串的长度$n$在整数字母表的大小$σ$,构造的Burrows-Wheeler变换(BWT),置换最长公共前缀(PLCP)阵列,和LZ 77解析在$O(n/\log_σn+r\,{\rm polylog}\,n)$时间和工作空间,其中$r$是运行在BWT的输入。这些是许多压缩索引的基本组成部分,如压缩后缀树,FM索引,语法和基于LZ 77的索引,而且在序列分析和数据压缩中也有许多应用。$r$的值是重复性的常用度量,如果字符串高度重复,则该值明显小于$n$。由于只访问字符串的每个符号需要$Ω(n/\log_σn)$时间,所提出的算法是时间和空间最优的输入满足假设$n/r\inΩ({\rm polylog}\,n)$的重复性。对于这些输入,我们的结果改进了Belazzougui(STOC 2014)和Munro等人(SODA 2017)目前最快的通用算法,这些算法在$O(n)$时间内运行,并使用$O(n/\log_σ n)$工作空间。我们还展示了如何使用我们的技术,以获得最佳的解决方案,对其他基本字符串处理问题的高度重复的数据,如:林登因子分解,运行长度压缩后缀数组的建设,和一些经典的“教科书”的问题,如计算最长的子串发生至少一些固定的次数。
2019-05-20 cs.DS
Hierarchical Relative Lempel-Ziv Compression
相对Lempel-Ziv(RLZ)解析是一种字典压缩方法,其中通过将$S$解析为出现在$R$中的子串序列,相对于第二字符串$R$(称为引用)压缩字符串$S$。RLZ在压缩与参考字符串具有高度相似性的字符串集合时特别有效,例如来自相同物种的个体的基因组集合。随着DNA测序成本的降低,这样的数据集变得非常丰富,并且正在迅速增长。在本文中,而不是使用一个单一的引用字符串的整个集合,我们研究了使用不同的引用字符串的集合的子集,以提高压缩的目的。特别是,我们在字符串上形成一个有根树(或层次结构),然后使用RLZ压缩每个字符串,并将父字符串作为引用,仅以纯文本形式存储树的根。为了进行解压缩,我们从根开始以BFS顺序遍历树,相对于其父解压缩子树。我们表明,这种方法导致细菌基因组数据集的压缩的双重改进,与标准的单一参考方法相比,对解压缩时间的影响可以忽略不计。我们表明,一个有效的层次结构,为一组给定的字符串可以通过计算的最佳树形的字符串的一个完整的加权有向图,与重量的RLZ解析的源和目的地顶点的短语的数量。我们进一步表明,而不是计算完整的图,稀疏图使用局部敏感哈希可以显着降低计算一个良好的层次结构的成本,而不会对压缩性能产生不利影响。
2022-08-24 cs.DS
Incongruity-sensitive access to highly compressed strings
本文提出了一种基于不一致性的高效访问高度压缩字符串中不可压缩子字符串的方法,通过构建特定数据结构实现快速访问。
2026-02-04 cs.DS
Range Predecessor and Lempel-Ziv Parsing
字符串的Lempel-Ziv分析(简称LZ 77)是数据压缩和字符串处理中最重要和最广泛使用的算法工具之一。我们表明,Lempel-Ziv分析的长度$n$字符串的大小$σ$的字母表可以计算在$O(n\log\logσ)$时间($O(n)$时间,如果我们允许随机化)使用$O(n\logσ)$位的工作空间,也就是说,使用的空间成比例的输入字符串的位。以前使用$O(n\logσ)$空间的最快算法需要$O(n(\logσ+\log\log n))$时间。我们还考虑了问题的最右边的重要变体,其目标是将解析的每个短语与输入字符串中最近出现的短语相关联。我们在$O(n(1 + (\logσ/\sqrt{\log n}))$时间内解决这个问题,使用与上面相同的工作空间。以前最右边解析的最佳解决方案使用$O(n(1+\logσ/\log\log n))$时间和$O(n\log n)$空间。作为奖励,在我们的解决方案中,最右边的解析,我们提供了一个更快的建设方法,有效的二维正交范围报告,这是独立的利益。
2015-07-25 cs.DS
Universal Compressed Text Indexing
重复数据集的兴起最近引起了人们对基于字典压缩的压缩自索引的兴趣,这是一个丰富而异构的家族,以不同的方式利用文本重复。对于每种这样的压缩方案,在过去二十年中已经提出了几种不同的索引解决方案。迄今为止,重复文本的最快索引是基于行程压缩的Burrows-Wheeler变换和紧凑有向非循环词图。另一方面,最节省空间的索引是基于Lempel-Ziv解析和语法压缩的。还没有提出更普遍的方案,如拼贴系统和宏观方案的索引。最近,Kempa和Prezza [STOC 2018]表明,所有字典压缩器都可以被解释为最小字符串吸引子的近似算法,即捕获所有不同子串的一组文本位置。从这个观察开始,在本文中,我们开发了第一个通用的压缩自索引,也就是说,第一个基于字符串吸引子的索引数据结构,因此可以建立在任何字典压缩文本表示的顶部。令$γ$为长度为$n$的文本的字符串吸引子的大小。我们的索引采用$O(γ\log(n/γ))$空间字,并支持在$O(m\log n + occ\log^εn)$时间内,对于任何常数$ε>0$,定位任何长度为$m$的模式的$occ$出现。特别是,这是一般宏观计划和大学系统的第一个指数。我们的研究结果表明,索引和压缩之间的关系比以前认为的要深得多:所有字典压缩器的核心的简单属性足以支持快速索引查询。
2018-09-06 cs.DS
Faster Lightweight Lempel-Ziv Parsing
我们提出了一种算法,该算法计算$O(n(\logσ+ \log\log n))$时间和$n\logσ+ εn$空间位中的Lempel-Ziv分解,其中$ε$是常数有理参数,$n$是输入字符串的长度,而$σ$是字母表大小。空间边界中的$n\logσ$位用于被视为只读的输入字符串本身。
2015-06-08 cs.DS
Lempel-Ziv-like Parsing in Small Space
Lempel-Ziv(LZ 77或简称LZ)是最有效和广泛使用的重复文本压缩器之一。然而,现有的高效的方法计算精确的LZ分析必须使用线性或接近线性的空间来索引的输入文本在构造的分析,这是禁止长的输入。另一种方法是相对Lempel-Ziv(RLZ),它只索引一个固定的参考序列,其大小可以控制。通过对文本进行采样来导出参考序列,为RLZ产生了合理的压缩比,但性能并不总是与LZ竞争,并且在很大程度上取决于参考与文本的相似性。在本文中,我们介绍了ReLZ,一种技术,使用RLZ作为预处理器近似LZ解析使用很少的内存。RLZ首先用于产生一系列短语,这些短语被认为是输入到LZ的元对称,用于对(最常见的)短得多的序列进行二级解析。这种解析最终被转换成原始序列上的解析。我们分析了新方案,并证明它与LZ一样,利用$k = o(\log_σn)$实现了$k$阶经验熵压缩$n H_k + o(n\logσ)$,其中$n$是输入长度,$σ$是字母表大小。事实上,我们证明这个熵界不仅为ReLZ,但广泛的LZ类编码。然后,我们建立了一个下界的ReLZ近似比表明,在它的短语的数量可以是$Ω(\log n)$倍以上的短语在LZ。我们的实验表明,ReLZ比现有的替代品更快地计算(精确或近似)LZ解析,在所有测试场景中,近似因子低于$2.0$,有时低于$1.05$,LZ的大小。
2020-05-10 cs.DS
Optimal-Time Dictionary-Compressed Indexes
我们描述了第一个自我索引能够计数和定位模式发生在最佳时间内的空间范围内的最流行的字典压缩机的大小。为了实现这一结果,我们结合了几个最近的研究结果,包括\emph{string attractors} -新的组合对象,包括最知名的压缩性措施高度重复的文本-,和语法的基础上\emph{locally-consistent parsing}。更详细地,令$γ$为长度为$n$的文本$T$的最小吸引子的大小。$γ$是一个(渐近)下界的大小字典压缩器的基础上Lempel-Ziv,上下文无关的语法,和许多其他的。已知最小的吸引子文本表示使用空间$O(γ\log(n/γ))$,而我们最轻的索引在相同的渐近空间内工作。令$ε>0$是在构造时固定的适当小的常数,$m$是模式长度,$occ$是其文本出现的次数。我们的索引在$O(m+\log^{2+ε}n)$时间中计数模式出现,并在$O(m+(occ+1)\log^εn)$时间中定位它们。这些时间已经超过了大多数字典压缩索引的时间,同时在$O((m+occ)\,\textrm{polylog}\,n)$时间内为任何索引搜索获得最小的渐近空间。此外,通过将空间增加到$O(γ\log(n/γ)\log^εn)$,我们将定位时间减少到最佳$O(m+occ)$,并且在$O(γ\log(n/γ)\log n)$空间内,我们还可以计入最佳$O(m)$时间。以前没有获…
2019-09-04 cs.DS
Collapsing the Hierarchy of Compressed Data Structures: Suffix Arrays in Optimal Compressed Space
提出仅需最优压缩文本表示空间即可支持后缀数组查询的新索引,将压缩数据结构层级坍缩为单点,并大幅改进了构建时间及数十种算法的空间复杂度。
2023-08-07 cs.DS
Bicriteria data compression
大规模数据集的出现(以及随之而来的高性能分布式存储系统的设计)重新点燃了科学和工程界对无损数据压缩器的设计的兴趣,这些压缩器可以实现有效的压缩比和非常有效的解压缩速度。Lempel-Ziv的LZ 77算法是这种情况下的实际选择,因为它的解压缩速度和它在解压缩速度与压缩空间效率之间的灵活性。现有的每种实现都在空间占用和解压缩速度之间进行权衡,因此软件工程师必须通过选择更接近其应用程序要求的实现来满足自己。从这些前提出发,并在文献中首次,我们在本文中解决的问题,交易最佳,并在一个原则性的方式,这两个资源的消耗,通过引入Bicriteria LZ 77-解析问题,这正式在一个原则性的方式什么数据压缩器传统上接近的方法,通过语法。我们的目标是确定一个LZ 77解析,它最大限度地减少压缩文件的位空间占用,前提是解压缩时间由一个固定的量限制(反之亦然)。通过这种方式,软件工程师可以设置其空间(或时间)要求,然后导出优化解压缩速度(或空间占用)的LZ 77解析。我们有效地解决了这个问题,在O(n log^2 n)的时间和最佳线性空间内的一个小的,添加剂的近似,通过证明和部署一些特定的结构性质的加权图来自可能的LZ 77-解析的输入文件。初步的实验表明,我们的新方案优于所有高度工程化的竞争对手,因此在理论和实践中提供了一个双赢的局面。
2013-07-15 cs.DS cs.IT math.IT
From Regular Expression Matching to Parsing
给定正则表达式$R$和字符串$Q$,正则表达式解析问题是确定$Q$是否匹配$R$,如果匹配,则确定它如何匹配,例如,通过将$Q$的字符映射到$R$中的字符。正则表达式解析通过允许我们直接提取匹配的子模式,使查找正则表达式的匹配更加有用,例如,用于从互联网流量分析中提取IP地址或从遗传数据库中提取基因组的子部分。我们提出了一个新的通用技术,有效地转换成算法,可以构造相应的映射,确定一个字符串$Q$是否匹配正则表达式$R$的一大类算法。因此,我们获得了第一个有效的线性空间解决方案的正则表达式解析。
2019-01-29 cs.DS
Lightweight Lempel-Ziv Parsing
我们介绍了一种新的方法,LZ 77分解,使用O(n/d)的工作空间和O(dn)的时间为任何d >= 1(多对数字母表大小)的字。我们还描述了轻量级LZ 77因子分解的替代方法的精心设计的实现。大量的实验表明,新算法在大多数情况下是优越的,特别是在最低的内存水平和高度重复的数据。作为算法的一部分,我们描述了新的方法来计算匹配统计,这可能是独立的利益。
2013-02-06 cs.DS
Linear time construction of compressed text indices in compact space
我们表明,压缩后缀数组和压缩后缀树的长度$n$在一个整数字母表的大小$σ\leq n$的字符串都可以内置的$O(n)$(随机)的时间只使用$O(n\logσ)$位的工作空间。以前使用$O(n\logσ)$位空间的最快构造算法分别花费时间$O(n\log\logσ)$和$O(n\log^εn)$(其中$ε$是小于$1$的任何正常数)。在传递中,我们表明,长度为$n$的字符串在大小为$σ$的字母表上的Burrows-Wheeler变换可以建立在确定性的$O(n)$时间和空间$O(n\logσ)$中。我们还表明,在相同的时间和空间内,我们可以进行多种序列分析任务,并构造压缩后缀数组和压缩后缀树的一些变体。
2016-05-23 cs.DS
Computing the LZ-End parsing: Easy to implement and practically efficient
本研究聚焦LZ-End解析的次优$\text{O}(n\text{lg}\text{lg}n)$算法,通过简化描述、加入未公开技巧、引入惰性求值和减少间接寻址优化,实现了易于实现、内存占用低且速度超现有最优水平的效果。
2024-09-17 cs.DS
Lempel-Ziv Computation In Compressed Space (LZ-CICS)
我们表明,无论是Lempel Ziv 77-和78-因式分解的文本长度$n$上的整数字母表的大小$σ$可以计算在$O(n \lg \lg σ)$时间(线性时间,如果我们允许随机化)使用$O(n \lg σ)$位的工作空间。假设后缀树的压缩表示被加载到RAM中,我们可以使用空间的$z \lg n + O(n)$位在$O(n)$时间内计算两个因子分解,其中$z$是因子的数量。
2016-05-28 cs.DS
Optimal Time Random Access to Grammar-Compressed Strings in Small Space
压缩字符串的随机访问问题是建立一个数据结构,有效地支持访问字符的位置$i$的字符在压缩形式。给定大小为$n$的文法压缩大小为$N$的字符串,我们提出了一种使用$O(nΔ\log_Δ\frac N n \log N)$位空间的数据结构,该数据结构支持$Δ\leq \log^{O(1)} N$在$O(\log_ΔN)$时间内访问位置$i$。查询时间对于多项式可压缩字符串是最优的,即,当$n=O(N^{1-ε})$。
2015-01-26 cs.DS
Engineering Fast and Space-Efficient Recompression from SLP-Compressed Text
Stony Brook University(石溪大学)
本文首次实现压缩时间内运行的再压缩RLSLP构建,基于LZ77近似,相比非压缩方法实现46倍加速和17倍内存降低,为快速索引构建提供实用路径。
2025-10-23 cs.DS
Compressed Game Solving
本文提出将棋盘博弈走法生成转化为压缩字符串集合操作,并以 Breakthrough 为例实现亚线性时空的强求解。
2025-04-13 cs.DS
Compressed representation of Learning Spaces
学习空间是应用于教育数学建模的集合系统。我们提出了一个适当的压缩(不损失信息),这样的集合系统,以方便他们的逻辑和统计分析。在某些情况下,压缩是首先计算学习空间的先决条件。有连接到形式概念分析的双重框架,特别是所谓的属性探索。
2016-12-02 cs.DS
Locally Consistent Parsing for Text Indexing in Small Space
我们考虑两个密切相关的问题,在一个次线性工作空间的文本索引。第一个问题是稀疏后缀树(SST)的一组后缀$B$只使用$O(|B|)$空间字的建设。第二个问题是最长公共扩展(LCE)问题,其中对于某个参数$1\leτ\le n$,目标是构造使用空间的$O(\frac {n}τ)$字并且可以计算任何后缀对的最长公共前缀长度的数据结构。我们展示了如何使用基于局部一致性解析技术的思想,该技术是由Sahinalp和Vishkin [STOC '94]引入的,以一些非平凡的方式来改善上述问题的已知结果。我们引入新的拉斯维加斯和确定性算法这两个问题。我们介绍了第一个Las-Vegas SST构造算法,该算法需要$O(n)$时间。这是对Gawrychowski和Kociumaka [SODA '17]的最后结果的改进,他们获得了Monte-Carlo算法的$O(n)$时间和Las-Vegas算法的$O(n\sqrt{\log |B|})$时间。此外,我们引入了一个随机的拉斯维加斯建设LCE数据结构,可以在线性时间和$O(τ)$时间回答查询。对于确定性算法,我们引入了一个SST构造算法,它需要$O(n\log \frac{n}{|B|})$时间(对于$|B|=Ω(\log n)$)。这是第一个几乎线性时间的$O(n\cdot poly\log{n})$确定性SST构造算法,其中所有先前的算法至少花费$…
2020-01-01 cs.DS
Trie-Compressed Intersectable Sets
我们介绍了空间和时间有效的算法和数据结构的离线集相交问题。我们表明,一个有序的整数集$S \subseteq [0{..}u)$的$n$元素可以表示使用压缩空间,同时支持$k$ -路交叉自适应$O(kδ\lg{\!(u/δ)})$时间,$δ$是由Barbay和Kenyon介绍的交替措施。我们的实验结果表明,我们的方法在实践中具有竞争力,在几种情况下优于最有效的替代方案(分区Elias-Fano索引,咆哮位图和递归宇宙分区(RUP)),提供一般相关的时空权衡。
2022-12-02 cs.DS
Improved Approximate String Matching and Regular Expression Matching on Ziv-Lempel Compressed Texts
我们研究了近似字符串匹配和正则表达式匹配问题的情况下,待搜索的文本被压缩的Ziv-Lempel自适应字典压缩方案。我们提出了一个时间-空间的权衡,导致算法提高了以前已知的复杂性这两个问题。特别是,我们显着改善的空间界限,这在实际应用中很可能是一个瓶颈。
2007-05-03 cs.DS
LZ78 Substring Compression in Compressed Space
Joint Graduate School of Mathematics for Innovation, Kyushu University(九州大学数学创新联合研究生院);Department of Computer Science and Engineering, University of Yamanashi(山形大学计算机科学工程系)
本文提出了一种在压缩空间中实现子串压缩的算法,能够在查询时快速返回指定子串的LZ78因子分解。
2025-12-19 cs.DS
Fast Compressed Tries through Path Decompositions
Tries是用于存储一组字符串的流行数据结构,其中公共前缀由公共根到节点路径表示。五十多年的使用产生了许多变体和实现,以克服它们的一些限制。我们探索新的简洁的表示路径分解尝试和实验评估相应的减少空间使用和内存延迟,与国家的art.We研究两种情况下的应用:(1)压缩字典(压缩)字符串,(2)单调最小完美哈希字符串,保持其字典顺序。对于(1),我们获得了在空间效率方面优于其他最先进的压缩字典的数据结构,同时获得了与从业者优选的数据结构竞争的可预测查询时间。在(2)中,我们的尝试比其他基于trie的单调完美哈希函数快几倍,而占用的空间几乎相同。
2011-12-03 cs.DS
Efficient Compressed Wavelet Trees over Large Alphabets
{ \em小波树}是一种灵活的数据结构,它允许在压缩空间内表示大小为$σ$的字母表上的符号序列$S[1,n]$,并支持对$S$的各种操作。当与$n$相比,$σ$是显著的时,当前小波树表示引起显著的空间或时间开销。在这篇文章中,我们介绍了{ \em小波矩阵},这是一种大型字母表的替代表示,它保留了小波树的所有属性,但速度明显更快。我们还展示了如何小波矩阵可以被压缩到零阶熵的序列,而不牺牲,实际上提高,它的时间性能。我们的实验结果表明,小波矩阵优于所有的小波树变种沿空间/时间的折衷地图。
2014-05-06 cs.DS
RePair in Compressed Space and Time
给定一个长度为$N$的字符串$T$,语法压缩的目标是构造一个仅生成$T$的小型上下文无关语法。在现有的语法压缩方法中,RePair(递归配对)[Larsson和Moffat,1999]在实践中以实现良好的压缩比而闻名。虽然原论文已经实现了一个时间最优的算法来计算RePair文法RePair($T$)在预期的$O(N)$时间内,但减少其工作空间,使其适用于大规模数据的研究仍在进行中。在本文中,我们提出了第一个在压缩空间中工作的RePair算法,即,潜在的$o(N)$空间用于高度可压缩的文本。其核心思想是给出一种新的方法,在压缩的空间和时间内将任意文法$S$ for $T$重构为RePair($T$)。基于再压缩技术,提出了一种在$O(\min(N, nm \log N))$空间和期望的$O(\min(N, nm \log N) m)$时间或$O(\min(N, nm \log N) \log \log N)$时间上的RePair($T$)算法,其中$n$是$S$的大小,$m$是RePair($T$)中的变量数.我们实现了我们的算法运行在$O(\min(N, nm \log N) m)$时间,并表明它实际上可以运行在压缩空间。我们还提出了一种新的方法,以减少现有的RePair算法结合我们的算法的峰值内存使用,并表明新的方法优于,无论是在计算时间和空间,最有效的空间线性时间RePair实…
2018-11-05 cs.DS
Dynamic Suffix Array in Optimal Compressed Space
本文提出首个支持后缀数组查询与更新的动态压缩数据结构,在对数多项式时间内运行,并达到δ-最优空间,填补了静态结构的空白。
2024-11-08 cs.DS
Improving Matrix-vector Multiplication via Lossless Grammar-Compressed Matrices
随着当今机器学习(ML)技术正在生成巨大的数据汇集,如何有效地设计其存储和操作的问题变得至关重要。在这篇文章中,我们提出了一个新的实值矩阵的无损压缩方案,实现有效的性能方面的压缩比和线性代数运算的时间。实验表明,作为一个压缩器,我们的工具是明显优于gzip,它通常是在20%的xz在压缩比方面。此外,我们的压缩格式支持与压缩表示的大小成比例的时间和空间中的矩阵向量乘法,不像gzip和xz需要完全解压缩压缩矩阵。据我们所知,我们的无损压缩器是第一个实现的时间和空间复杂度性相匹配的理论极限表示的$k$阶统计熵的输入。为了实现进一步的时间/空间减少,我们提出了一个新的列相似性得分上的列重排序算法。我们在ML矩阵的各种数据集上的实验表明,在适度的预处理时间下,我们的列重新排序可以在矩阵向量乘法期间进一步减少高达16%的峰值内存使用。最后,我们将我们的建议与最先进的压缩线性代数(CLA)方法进行比较,结果表明我们的运行速度总是至少快两倍(在多线程设置中),并且对于大多数测试数据集都实现了更好的压缩空间占用。这证实了实验证明有效的理论界限,我们展示了我们的压缩矩阵的方法。
2022-03-30 cs.DS
Compact q-gram Profiling of Compressed Strings
我们考虑计算大小为$N$的字符串\str的q-gram配置文件的问题,该字符串由具有$n$产生式规则的上下文无关文法语法压缩。我们提出了一个算法,运行在$O(N-α)$预期的时间,并使用$O(n+q+\kq)$空间,其中$N-α\leq qn$是由算法解压缩的字符的确切数量和$\kq\leq N-α$是不同的q-gram在$\str$的数量。这同时匹配当前最佳已知时间界限并改进最佳已知空间界限。我们的空间界是渐近最优的,在这个意义上,任何算法存储的语法和q-gram配置文件必须使用$Ω(n+q+\kq)$空间。为了实现这一点,我们引入了q-gram图,它可以有效地捕获字符串的q-gram结构,并展示了如何从语法中构建它。
2014-06-06 cs.DS
Optimal Rank and Select Queries on Dictionary-Compressed Text
我们研究的问题,支持查询的字符串$S$的长度$n$内的一个字符串吸引子$S$的大小$γ$有界的空间。最近的工作表明,在$O\left (γ \rm{polylog}\ n \right)$空间内,$S$上的随机访问可以在最佳$O(\log(n/γ)/\log\log n)$时间内得到支持。在本文中,我们将这一结果扩展到\emph{rank}和\emph{select}查询,并提供与我们的上界匹配的字母表的多对数大小的下限。我们的解决方案给出了一个空间-时间权衡的形式,这是更普遍的比以前已知的语法,并提高了现有的界限LZ 77压缩文本的$\log\log n$时间因子在\emph{select}查询。我们还提供了匹配的下限和上限为\emph{partial sum}和\emph{predecessor}查询吸引子有界空间内,并扩展我们的下限,包括导航字典压缩树表示。
2018-12-21 cs.DS
Self-Index based on LZ77 (thesis)
生物信息学、版本控制系统、协作编辑系统(wiki)等领域正在产生大量重复性很强的数据汇集。也就是说,集合的元素之间几乎没有什么区别。这一事实使得集合的可压缩性非常高。例如,包含所有不同版本的维基百科条目的集合可以使用Lempel-Ziv 1977(LZ 77)压缩方案压缩到其原始空间的0.1%。这些重复的集合中的许多都处理大量的文本数据。因此,我们需要一种方法来有效地存储它们,同时提供对它们进行操作的能力。最常见的操作是提取集合的随机部分,并在整个集合中搜索给定模式的所有出现。自索引是一种数据结构,它以压缩形式存储文本,并允许有效地找到模式的出现。另一方面,自索引可以提取集合的任何子字符串,因此它们能够替换原始文本。使用这些索引的主要目标之一是将它们存储在主存中。在这篇论文中,我们提出了一个方案,随机抽取文本压缩与Lempel-Ziv分析。此外,我们提出了一个LZ 77的变体,称为LZ-End,它可以使用接近LZ 77的空间有效地提取文本。本文的主要贡献是基于LZ 77/LZ-End的第一个面向重复文本的自索引,该自索引在许多方面都优于目前最新的自索引(RLCSA自索引)。最后,我们提出了一个语料库的重复文本,来自几个应用领域。我们的目标是为研究和实验提供一套标准的文本,因此这个语料库是公开的。
2011-12-20 cs.DS
Relative Suffix Trees
后缀树是字符串学中最通用的数据结构之一,在生物信息学中有许多应用。它们的主要缺点是它们的大小,可能比输入序列大几十倍。在减少空间使用方面已经做了很多努力,最终导致压缩后缀树。这些压缩的数据结构可以有效地模拟后缀树,同时使用与序列的压缩表示成比例的空间。在这项工作中,我们采取了一种新的方法来压缩后缀树的重复序列集合,如个人基因组的集合。我们压缩相对于参考序列的后缀树的各个序列的后缀树。这些相对的数据结构提供了竞争性的时间/空间折衷,对于重复的集合几乎与最小的压缩后缀树一样小,并且在时间上与最大和最快的压缩后缀树竞争。
2017-12-15 cs.DS
Time-Space Trade-Offs for Lempel-Ziv Compressed Indexing
给定字符串$S$,\emph{compressed indexing problem}用于将$S$预处理为支持快速\emph{substring queries}的压缩表示。其目标是在支持快速查询的同时,使用相对于$S$压缩大小的很少空间。我们提出了一个压缩索引的Lempel-Ziv 1977压缩方案的基础上。我们得到以下时间-空间权衡:对于恒定大小的字母表;(i)使用$O(z\lg(n/z)\lg\lg z)$空间的$O(m + occ \lg\lg n)$时间,或(ii)使用$O(z\lg(n/z))$空间的$O(m(1 + \frac{\lg^εz}{\lg(n/z)}) + occ(\lg\lg n + \lg^εz))$时间。对于由$n$多项式约束的整数字母表;(iii)使用$O(z(\lg(n/z) + \lg\lg z))$空间的$O(m(1 + \frac{\lg^εz}{\lg(n/z)}) + occ(\lg\lg n + \lg^εz))$时间,或(iv)使用$O(z(\lg(n/z) + \lg^ε z))$空间的$O(m + occ(\lg\lg n + \lg^ε z))$时间,其中$n$和$m$分别是输入串和查询串的长度,$z$是输入串的LZ 77解析中的短语的数目,$occ$是查询在输入中出现的次数,$ε> 0$是一个任意小的常数。具体地,(i)以将…
2018-01-09 cs.DS
Faster Repetition-Aware Compressed Suffix Trees based on Block Trees
后缀树是字符学中的一种基本数据结构,但其空间占用率虽然是线性的,但却成为其应用中的一个重要问题。我们设计并实现了一个新的压缩后缀树,针对高度重复的文本,如大型基因组集合的相同物种。我们的后缀树树建立在块树上,块树是一种最近的Lempel-Ziv有界数据结构,它捕获了输入的重复性。我们使用块树来压缩后缀树的拓扑结构,并使用数据来增加块树节点,以加快后缀树导航。我们的压缩后缀树比以前的基于语法的重复感知后缀树稍大,但在时间上优于它们,通常是数量级。表示树拓扑的组件实现了与通用压缩树相当的速度,同时使用了少2.3- 10倍的空间,并且可能在其他场景中感兴趣。
2019-02-08 cs.DS
Grammar Boosting: A New Technique for Proving Lower Bounds for Computation over Compressed Data
本文提出了一种不依赖近似比且完全通用的Grammar Boosting技术,用于证明文法压缩数据上算法与数据结构的下界,并成功推导出多种主流压缩算法的随机访问时间下界及压缩计算的条件下界。
2023-07-17 cs.DS
Compressed Index with Construction in Compressed Space
St. Petersburg State University(圣彼得堡国立大学)
本文提出一种压缩空间中压缩索引,空间复杂度为O(δlog(n/δ)),支持在O(m + (occ + 1)log^εn)时间内搜索任意长度为m的字符串,且可在O(nlogn)时间内构建,无需Karp-Rabin指纹。
2026-04-13 cs.DS
A Compressed-Gap Data-Aware Measure
在本文中,我们考虑的问题,有效地表示一个集$S$的$n$项目出的一个宇宙$U=\{0,...,u-1\}$,同时支持对它的一些操作。让$G=g_1...g_n$的间隙流与$S$,$gap$的比特大小时,与\emph{gap-encoding}编码,和$H_0(G)$的经验零阶熵。我们证明了(1)当$G$是高度可压缩的时,$nH_0(G)\in o(gap)$是可压缩的;(2)当$nH_0(G) \leq n\log(u/n) + n \leq uH_0(S)$是高度可压缩的时,$nH_0(G) \leq n\log(u/n) + n \leq uH_0(S)$是可压缩的。令$d$为$S$中元素之间的\emph{distinct}间隙长度的数目。我们首先提出了一种新的空间有效的零阶压缩表示的$S$采取$n(H_0(G)+1)+\mathcal O(d\log u)$位的空间。然后,我们描述了一个完全可索引的字典,支持\emph{rank}和\emph{select}查询在$\mathcal O(\log(u/n)+\log\log u)$的时间,同时需要渐近相同的空间,所提出的压缩表示的$S$。
2015-05-14 cs.DS
Dynamic index, LZ factorization, and LCE queries in compressed space
在本文中,我们提出了以下结果:(1)提出了一种新的$O(w)$空间的\emph{dynamic compressed index},它支持在$O(|P| f(M,w) + \log w \log |P| \log^* M (\log N + \log |P| \log^* M) + \mathit{occ} \log N)$时间内搜索当前文本中的模式$P$,在$O((y+ \log N\log^* M)\log w \log N \log^* M)$时间内插入/删除长度为$y$的子串,其中$N$是当前文本的长度,$M$是动态文本的最大长度,$z$是当前文本、$f(a,b) = O(\min \{ \frac{\log\log a \log\log b}{\log\log\log a}, \sqrt{\frac{\log b}{\log\log b}} \})$和$w = O(z \log N \log^*M)$的Lempel-Ziv 77(LZ 77)因子分解的大小。(2)针对给定长度的文本$N$,提出了一种新的空间有效的LZ 77分解算法,该算法在$O(w')$工作空间和$O(N f(N,w') + z \log w' \log^3 N (\log^* N)^2)$时间内运行,其中$w' =O(z \log N \log^* N)$ . (3)我们提出了一种$O(w)$空间的数据…
2016-04-06 cs.DS
PaCHash: Packed and Compressed Hash Tables
我们引入PaCHash,一个哈希表,它将对象连续存储在一个数组中,即使对象的大小可变,也不需要插入空间。具体地,每个对象可以使用标准压缩技术来压缩。小的搜索数据结构允许在恒定的预期时间内定位对象。PaCHash最自然地被描述为静态外部哈希表,其中它需要每个外部存储器块的内部存储器的恒定位数。在这里,从某种意义上说,PaCHash击败了k-完美散列的空间消耗下限。快速SSD的实现需要每个外部存储器块大约5位的内部存储器,每个搜索操作仅需要一次磁盘访问(可变长度),并且与磁盘访问成本相比具有较小的内部搜索开销。我们的实验表明,即使考虑相同大小的对象,它的空间消耗也比之前所有方法都低。
2022-11-08 cs.DS
A memory versus compression ratio trade-off in PPM via compressed context modeling
自引入以来,部分匹配预测(PPM)一直是无损文本压缩的事实上的黄金标准,其中已经提出了许多改进压缩比和速度的变体。然而,减少PPM方案的高空间需求并没有得到那么多的关注。本研究的重点是减少PPM的内存消耗,通过最近提出的压缩上下文建模,使用压缩表示的上下文的统计模型。与经典的上下文定义不同,CCM将上下文定义为在特定位置的前导字符串,它将上下文视为前导信息的量,实际上是通过压缩先前符号组成的比特流。我们观察到,通过使用CCM,数据结构,特别是上下文树,可以在更小的空间中实现,并呈现压缩比和空间需求之间的折衷。所进行的实验表明,这种权衡在低阶中特别有益,通过牺牲高达近7%的压缩比损失,在存储器中获得约20 - 25%的增益。
2012-11-12 cs.DS
Fully dynamic data structure for LCE queries in compressed space
对长度为$N$的文本$T$的最长公共扩展(LCE)查询要求从给定的两个位置开始的后缀的最长公共前缀的长度。我们表明,大小为$w = O(\min(z \log N \log^* M, N))$的签名编码$\mathcal{G}$ [Mehlhorn等人,198,1997],其可以被看作是$T$的压缩表示,具有在$O(\log N + \log \ell \log^* M)$时间内支持LCE查询的能力,其中$\ell$是查询的答案,$z$是$T$的Lempel-Ziv 77(LZ 77)因子分解的大小,并且$M \geq 4N$是可以在字RAM模型下在恒定时间内处理的整数。在压缩空间中,这在许多情况下是最快的确定性LCE数据结构。此外,可以增强$\mathcal{G}$以支持高效的更新操作:在$O(w f_{\mathcal{A}})$时间中处理$\mathcal{G}$之后,我们可以在$O((y+ \log N\log^* M) f_{\mathcal{A}})$时间中将长度为$y$的任何(子)字符串插入$T$的任意位置/从$T$的任意位置删除任何(子)字符串,其中$f_{\mathcal{A}} = O(\min \{ \frac{\log\log M \log\log w}{\log\log\log M}, \sqrt{\frac{\log w}{\log\log w}} \}…
2016-06-26 cs.DS
Compressed Indexing with Signature Grammars
压缩索引问题是将长度为$n$的字符串$S$预处理为支持模式匹配查询的压缩表示。也就是说,给定长度为$m$的字符串$P$,报告$S$中所有出现的$P$。我们提出了一种数据结构,支持模式匹配查询在$O(m + occ (\lg\lg n + \lg^εz))$时间使用$O(z \lg(n / z))$空间,其中$z$是$S$和$ε> 0$的LZ77解析的大小是一个任意小的常数,当字母表是小或$z = O(n^{1 - δ})$的任何常数$δ> 0$。我们还提出了两种数据结构的一般情况下,一个空间增加了$O(z\lg\lg z)$,和一个查询时间的变化从最坏的情况下预期。这些结果改进了以前最好的已知的解决方案。值得注意的是,这是第一个决定$P$是否在$O(m)$时间中使用$O(z\lg(n/z))$空间出现在$S$中的数据结构。我们的研究结果主要是通过一种新的随机语法构建算法与众所周知的技术相结合,模式匹配的2D范围报告。
2018-04-11 cs.DS
String Indexing with Compressed Patterns
针对客户端-服务器场景中以压缩形式提交的模式查询,提出一种线性空间数据结构,能直接高效处理Lempel-Ziv压缩模式,实现接近最优的查询时间,并开发了编码LZ77压缩后缀和分解trie等通用数据结构技术。
2024-02-14 cs.DS
Dynamic index and LZ factorization in compressed space
本文针对动态文本$T$,提出了一种新的$O(w)$空间的\emph{dynamic compressed index},其中$w = O(\min(z \log N \log^*M, N))$是$T$的签名编码的大小,$z$是$T$的Lempel-Ziv 77(LZ 77)分解的大小,$N$是$T$的长度,$M \geq 3N$是字RAM模型下可以在常数时间内处理的整数.我们的索引支持在$O(|P| f_{\mathcal{A}} + \log w \log |P| \log^* M (\log N + \log |P| \log^* M) + \mathit{occ} \log N)$时间内在$T$中搜索模式$P$,并在$O((y+ \log N\log^* M)\log w \log N \log^* M)$时间内插入/删除长度为$y$的子串,其中$f_{\mathcal{A}} = O(\min \{ \frac{\log\log M \log\log w}{\log\log\log M}, \sqrt{\frac{\log w}{\log\log w}} \})$。此外,我们提出了一个新的空间有效的LZ 77分解算法的长度$N$,它运行在$O(N f_{\mathcal{A}} + z \log w \log^3 N (\log^* N)^2)$时间与$O(w)$工作空间的…
2016-07-19 cs.DS
Substring Complexities on Run-length Compressed Strings
令$S_{T}(k)$表示字符串$T$中长度为$k$的不同子串的集合,则第$k$个子串复杂度由其基数$|S_{T}(k)|$定义。最近,$δ= \max \{ |S_{T}(k)| / k : k \ge 1 \}$被证明是一个很好的压缩性措施的高度重复字符串。在本文中,给定长度为$n$的$T$,其长度为$r$的游程长度压缩形式,我们证明了$δ$可以在$\mathit{C}_{\mathsf{sort}}(r, n)$时间和$O(r)$空间中计算,其中$\mathit{C}_{\mathsf{sort}}(r, n) = O(\min (r \lg\lg r, r \lg_{r} n))$是在具有字大小$Ω(\lg n)$的Word-RAM模型中在$O(r)$空间中对$r$ $O(\lg n)$ -位整数进行排序的时间复杂度。
2022-05-25 cs.DS
The Wavelet Trie: Maintaining an Indexed Sequence of Strings in Compressed Space
索引的字符串序列是用于存储字符串序列的数据结构,该字符串序列支持随机访问、搜索、范围计数和分析操作,用于精确匹配和前缀搜索。字符串序列是面向列的数据库、日志处理以及其他存储和查询任务的核心。在这些应用程序中,每个字符串可以出现多次,并且字符串在序列中的顺序是相关的。字符串的前缀结构也是相关的:在字符串中寻找共同的前缀以从序列中提取有趣的特征。此外,空间效率是非常可取的,因为它直接转化为更高的性能,因为更多的数据可以容纳在快速内存中。我们介绍和研究的问题,压缩索引序列的字符串,表示索引序列的字符串在接近最佳的压缩空间,无论是在静态和动态设置,同时保持可证明的良好性能的支持操作。我们提出了一种新的数据结构,小波Trie,它结合了经典的Patricia Trie与小波树,一个简洁的数据结构存储压缩序列。由此产生的小波Trie平滑地适应随时间变化的字符串序列。它通过支持动态字母表(即不同字符串的集合)和前缀查询(这两者在上述应用中都是至关重要的要求)来改进最先进的压缩数据结构,并且通过将空间占用减少到接近序列的熵来改进传统索引。
2012-04-16 cs.DB cs.DS
Paired compressed cover trees guarantee a near linear parametrized complexity for all $k$-nearest neighbors search in an arbitrary metric space
本文研究了在任意度量空间中,在另一个参考集$R$中寻找查询集$Q$的点的所有$k$ -最近邻的重要问题。我们之前的工作定义了压缩覆盖树,并纠正了过去几篇论文中针对具有挑战性的数据集的关键论点。2009年,Ram、Lee、March和Gray试图通过在查询集和引用集上使用成对的覆盖树来提高时间复杂度。2015年,Curtin与上述合著者使用额外的参数最终证明了$k=1$的时间复杂度。目前的工作填补了所有以前的空白,并提高了最近邻搜索的基础上对新的压缩覆盖树。新的成对树的不平衡参数使我们能够证明一个更好的时间复杂度为任何数量的邻居$k\geq 1$。
2022-01-20 cs.CC cs.CG cs.DS
AutoCSF: Provably Space-Efficient Indexing of Skewed Key-Value Workloads via Filter-Augmented Compressed Static Functions
Distill;MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon(亚马逊);Rice University(莱斯大学);Google DeepMind(谷歌DeepMind)
本文提出AutoCSF算法,通过过滤增强压缩静态函数,以高效处理偏斜分布的数据集,提供理论保证和空间优化。
2026-11-09 cs.DB cs.DS q-bio.GN