Faster run-length compressed suffix arrays
该研究针对游程长度压缩后缀数组(RLCSA),通过修改其结构并应用新结果,将查找aP的SA区间的时间复杂度从O(log r_a + log log n)降至O(log r_a),同时不增加空间复杂度,还探讨了其对两级索引及最大精确匹配启发式方法的优化作用。
2025-04-19 cs.DS
Optimal Construction of Compressed Indexes for Highly Repetitive Texts
我们提出的算法,给定的输入字符串的长度$n$在整数字母表的大小$σ$,构造的Burrows-Wheeler变换(BWT),置换最长公共前缀(PLCP)阵列,和LZ 77解析在$O(n/\log_σn+r\,{\rm polylog}\,n)$时间和工作空间,其中$r$是运行在BWT的输入。这些是许多压缩索引的基本组成部分,如压缩后缀树,FM索引,语法和基于LZ 77的索引,而且在序列分析和数据压缩中也有许多应用。$r$的值是重复性的常用度量,如果字符串高度重复,则该值明显小于$n$。由于只访问字符串的每个符号需要$Ω(n/\log_σn)$时间,所提出的算法是时间和空间最优的输入满足假设$n/r\inΩ({\rm polylog}\,n)$的重复性。对于这些输入,我们的结果改进了Belazzougui(STOC 2014)和Munro等人(SODA 2017)目前最快的通用算法,这些算法在$O(n)$时间内运行,并使用$O(n/\log_σ n)$工作空间。我们还展示了如何使用我们的技术,以获得最佳的解决方案,对其他基本字符串处理问题的高度重复的数据,如:林登因子分解,运行长度压缩后缀数组的建设,和一些经典的“教科书”的问题,如计算最长的子串发生至少一些固定的次数。
2019-05-20 cs.DS
On Computing Average Common Substring Over Run Length Encoded Sequences
平均公共子串(ACS)是一种流行的无干扰距离度量,用于同源性重建。ACS可以在O(n)空间和时间内计算,其中n=x+y是输入大小。压缩字符串匹配是对字符串匹配问题的研究,具有以下特点:输入数据是压缩格式的,并且必须在很少或不解压缩的情况下执行底层任务。在本文中,我们重新审视ACS问题在这种范式下,输入序列中给出的游程编码格式。本文提出了一种在O(N)空间中用O(Nlog N)时间计算ACS(X,Y)的算法,其中N是序列经过行程长度编码后的总长度.
2018-05-16 cs.DS
A Faster Implementation of Online Run-Length Burrows-Wheeler Transform
行程长度编码Burrows-Wheeler变换字符串的行程长度BWT(RLBWT)是处理高度重复字符串的一个强大工具。提出了一种新的运行压缩空间下的在线RLBWT算法,该算法在$O(n\lg r)$时间和$O(r\lg n)$空间中运行,其中$n$是到目前为止接收到的输入串$S$的长度,$r$是反向$S$在BWT中的运行次数.我们改进了最先进的在线RLBWT算法的经验建设时间。采用动态链表来维护全序,通过动态链表中标签的直接比较,可以代替动态小波树中对游程压缩串的秩查询。各种基准测试的实验结果表明,我们的算法的效率,特别是对高度重复的字符串。
2017-10-15 cs.DS
Merging RLBWTs adaptively
Faculty of Computer Science, Dalhousie University(达尔豪斯大学计算机科学学院)
本文提出一种在O(r)空间和O((r+L)log(m+n))时间内合并两个RLBWTs为eBWT的方法,其中m,n为未压缩字符串长度,r为最终eBWT的运行数,L为不可约LCP值之和。
2026-04-15 cs.DS
Space-Efficient Construction of Compressed Indexes in Deterministic Linear Time
我们表明,压缩后缀数组和压缩后缀树的字符串$T$可以内置的$O(n)$确定性时间使用$O(n\logσ)$位的空间,其中$n$是字符串长度和$σ$是字母表的大小。先前描述的确定性算法要么在取决于字母表大小的时间内运行,要么需要工作空间的$ω(n\log σ)$位。我们的结果有直接的应用到其他问题,如产生第一个线性时间LZ77和LZ78解析算法,使用$O(n \logσ)$位。
2016-11-14 cs.DS
Run Compressed Rank/Select for Large Alphabets
给定一个长度为$n$的字符串,该字符串由来自字母表$\{0,1,\ldots,σ{-}1\}$的字母组成,使得$2 \le σ\le r$,我们描述了一种数据结构,该数据结构提供$r \le n / \log^{ω(1)} n$,以$r\log\frac{nσ}{r} + o(r\log\frac{nσ}{r})$位存储字符串,并支持在$O(\log\frac{\log(n/r)}{\log\log n})$时间中的选择和访问查询以及在$O(\log\frac{\log(nσ/r)}{\log\log n})$时间中的排名查询。我们表明,$r\log\frac{n(σ-1)}{r} - O(\log\frac{n}{r})$位是必要的任何这样的数据结构,因此,我们的解决方案是简洁的。我们还描述了一个数据结构,它使用$(1 + ε)r\log\frac{nσ}{r} + O(r)$位,其中$ε> 0$是一个任意常数,具有相同的查询时间,但没有限制$r \le n / \log^{ω(1)} n$。通过简单的减少有色前任问题,我们表明,查询时间是最佳的重要情况下$r \ge 2^{\log^δn}$,为任意常数$δ> 0$。我们实施了我们的解决方案,并将其与最先进的解决方案进行了比较,结果显示,最接近的竞争对手消耗的空间要多31-46%。
2018-02-26 cs.DS
Output-Sparse Matrix Multiplication Using Compressed Sensing
本文提出两种输出稀疏矩阵乘法算法,分别基于确定性两遍压缩感知归约和随机化压缩感知与矩阵乘法验证归约,并证明其运行时间最优。
2025-08-14 cs.DS
Fast $q$-gram Mining on SLP Compressed Strings
我们提出了简单而有效的算法,用于计算$q$ -克频率的字符串表示在压缩的形式,即,作为一个直线程序(SLP)。给定一个表示字符串$T$的大小为$n$的SLP,我们提出了一个计算$T$中$q$ -gram出现频率的$O(qn)$时空算法.计算实验表明,我们的算法和它的变化是实用的小$q$,实际上运行速度更快的各种真正的字符串数据,相比,工作在未压缩文本的算法。我们还讨论了字符串数据的数据采掘和分类中的应用,我们的算法对此很有用。
2011-07-13 cs.DS
An Efficient Data Structure and Algorithm for Long-Match Query in Run-Length Compressed BWT
本文提出局部极大精确匹配(LEMs)概念及长LEMs查询算法,依托改进的BWT游程压缩字符串索引,实现$O(m+occ)$期望时间的长匹配查询,可补充MEMs忽略的相似性信息,适用于泛基因组等场景。
2025-05-21 cs.DS
Efficient Lyndon factorization of grammar compressed text
我们提出了一个算法计算的Lyndon分解的字符串,给出了语法压缩形式,即,一个直线程序(SLP)。该算法在$O(n^4 + mn^3h)$时间和$O(n^2)$空间中运行,其中$m$是林登因子分解的大小,$n$是SLP的大小,并且$h$是SLP的导出树的高度。由于解压缩的字符串的长度可以是指数级的,$n, m$和$h$,我们的结果是第一个多项式时间的解决方案时,字符串是SLP。
2013-04-26 cs.DS
Approximating Dynamic Time Warping Distance Between Run-Length Encoded Strings
动态时间规整(DTW)是一种广泛使用的相似性度量,用于比较编码时间序列数据的字符串,其应用领域包括生物信息学,签名验证和语音识别。DTW的标准动态编程算法需要$O(n^2)$时间,并且存在条件下限,表明没有算法可以做得更好。然而,在许多应用程序中,字符串$x$和$y$可能包含长串的重复字母,这意味着它们可以使用行程长度编码进行压缩。一个自然的问题是这些压缩字符串之间的DTW距离是否可以根据压缩字符串的长度$k$和$\ell$有效地计算。最近的工作已经表明如何实现$O(k\ell^2 + \ell k^2)$时间,留下了一个开放的问题,是否可能存在一个近二次$\tilde{O}(k\ell)$时间算法。我们表明,如果一个小的近似损失是允许的,那么一个近二次时间算法确实是可能的:我们的算法计算$(1 + ε)$ -近似$DTW(x, y)$在$\tilde{O}(k\ell / ε^3)$的时间,其中$k$和$\ell$是在$x$和$y$运行的数量。我们的算法允许$DTW$计算在任何度量空间$(Σ, δ)$中的距离是$O(log(n))$位整数。令人惊讶的是,即使$δ$没有在$Σ$上引入度量空间(例如,$δ$不需要满足三角不等式)。
2022-07-02 cs.DS
Engineering Fast and Space-Efficient Recompression from SLP-Compressed Text
Stony Brook University(石溪大学)
本文首次实现压缩时间内运行的再压缩RLSLP构建,基于LZ77近似,相比非压缩方法实现46倍加速和17倍内存降低,为快速索引构建提供实用路径。
2025-10-23 cs.DS
Counting on General Run-Length Grammars
提出一种数据结构,能在与 grammar 大小成正比的空间内,于 O(m log^{2+ε} n) 时间内计算任意 run-length context-free grammar 压缩文本中模式的出现次数,解决了 Christiansen 等人的开放问题并增强了压缩数据计算能力。
2025-01-28 cs.DS
Decompressing Lempel-Ziv Compressed Text
我们考虑使用尽可能接近输入的大小$z$的工作空间来解压缩长度为$n$的字符串$S$的Lempel-Ziv 77表示的问题。该问题的民间传说解决方案在$O(n)$时间内运行,但需要随机访问整个解压缩文本。另一种民间传说的解决方案是将LZ 77转换为大小为$O(z\log(n/z))$的语法,然后在线性时间内流式传输$S$。在本文中,我们表明,$O(n)$时间和$O(z)$工作空间可以实现恒定大小的字母表。在大小为$σ$的一般字母表上,我们描述了(i)对于任何$0\leq δ\leq 1$实现$O(n\log^δσ)$时间和$O(z\log^{1-δ}σ)$空间的折衷,以及(ii)实现$O(n)$时间和$O(z\log\log (n/z))$空间的解决方案。后一种解决方案,特别是,占主导地位的民俗算法的问题。更一般地说,我们的解决方案可以提取$S$的任何指定的子序列,而在线性运行时间和工作空间之上的开销很小。作为一个直接的推论,我们表明,我们的技术产生LZ 77压缩文本的模式匹配问题的改进结果。
2019-11-04 cs.DS
RePair in Compressed Space and Time
给定一个长度为$N$的字符串$T$,语法压缩的目标是构造一个仅生成$T$的小型上下文无关语法。在现有的语法压缩方法中,RePair(递归配对)[Larsson和Moffat,1999]在实践中以实现良好的压缩比而闻名。虽然原论文已经实现了一个时间最优的算法来计算RePair文法RePair($T$)在预期的$O(N)$时间内,但减少其工作空间,使其适用于大规模数据的研究仍在进行中。在本文中,我们提出了第一个在压缩空间中工作的RePair算法,即,潜在的$o(N)$空间用于高度可压缩的文本。其核心思想是给出一种新的方法,在压缩的空间和时间内将任意文法$S$ for $T$重构为RePair($T$)。基于再压缩技术,提出了一种在$O(\min(N, nm \log N))$空间和期望的$O(\min(N, nm \log N) m)$时间或$O(\min(N, nm \log N) \log \log N)$时间上的RePair($T$)算法,其中$n$是$S$的大小,$m$是RePair($T$)中的变量数.我们实现了我们的算法运行在$O(\min(N, nm \log N) m)$时间,并表明它实际上可以运行在压缩空间。我们还提出了一种新的方法,以减少现有的RePair算法结合我们的算法的峰值内存使用,并表明新的方法优于,无论是在计算时间和空间,最有效的空间线性时间RePair实…
2018-11-05 cs.DS
Experimental Study of Compressed Stack Algorithms in Limited Memory Environments
{ \em compressed stack}是由Barba { \em et al.}设计的数据结构。(Rummica 2015),它允许减少算法所需的内存量(以增加其运行时间为代价)。在本文中,我们介绍了这种数据结构的第一个实现,并公开其源代码。并结合具体实现对压缩栈的性能进行了分析。在我们的合成实验中,考虑到不同的测试场景,并使用数据大小范围高达$2^{30}$元素,我们比较它与经典的(未压缩的)堆栈,无论是在运行时间和内存使用。我们的实验表明,压缩堆栈需要的内存比通常的堆栈少得多(这种差异对于包含$2000$或更多元素的输入是显着的)。总的来说,通过正确选择参数,我们可以节省大量的空间(从两到四个数量级),同时运行时间略有增加($2.32$平均比经典堆栈慢$2.32$倍)。这些结果甚至在专门设计为对压缩堆栈具有挑战性的测试场景中也成立。
2017-06-15 cs.CG cs.DS
Beating O(nm) in approximate LZW-compressed pattern matching
给定一个LZW/LZ 78压缩文本,我们希望找到长度为m的给定模式的近似出现。我们的目标是实现时间复杂度,这取决于文本的压缩表示的大小n,而不是其长度。我们考虑近似匹配的两个具体定义,即汉明距离和编辑距离,并展示如何分别实现O(nm^0.5k^2)和O(nm^0.5k^3)的运行时间,其中k是距离的界限。这两种算法都只使用线性空间。即使对于非常小的k值,以前已知的最佳解决方案也需要O(nm)时间。我们的主要贡献是应用一个基于属性的参数的方式,是计算有效的,即使我们需要操作的压缩表示的字符串,而以前的解决方案是基于动态规划,或黑盒应用程序的工具开发的未压缩字符串。
2013-09-19 cs.DS
Faster subsequence recognition in compressed strings
压缩字符串计算是处理海量数据集的关键方法之一。我们考虑的字符串压缩直线程序(SLP),这是密切相关的Lempel-Ziv压缩的局部子序列识别问题。对于长度为$\bar m$的SLP压缩文本和长度为$n$的未压缩模式,C{é}gielski等人给出了一种在时间上运行的局部子序列识别算法$O(\bar mn^2 \log n)$。我们将运行时间提高到$O(\bar mn^{1.5})$。我们的算法也可以用来计算一个压缩文本和一个未压缩的模式之间的时间$O(\bar mn^{1.5})$的最长共同子序列;压缩模式的相同问题是已知的NP-难。
2008-01-18 cs.CC cs.DM cs.DS
Detecting regularities on grammar-compressed strings
我们解决的问题,检测和计数的各种形式的字符串表示为一个直线程序(SLP)中的字符串。给定一个大小为$n$的SLP,它表示一个长度为$N$的字符串$s$,我们的算法在$O(n^3h)$时间和$O(n^2)$空间中计算$s$中的所有游程和平方,其中$h$是SLP的导出树的高度。我们还展示了一个算法来计算所有的间隙回文在$O(n^3h + gnh\log N)$时间和$O(n^2)$空间,其中$g$是间隙的长度。上述解决方案的关键技术还允许我们分别在$O(n^2 h)$时间和$O(nh(n+\log^2 N))$时间中计算字符串的周期和覆盖。
2013-04-26 cs.DS
Follow the Compressed Leader: Faster Online Learning of Eigenvectors and Faster MMWU
Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
计算顶部特征向量的在线问题是机器学习的基础。在对抗和随机设置中,以前的结果(如矩阵乘法权重更新,遵循正则化领导者,遵循压缩领导者,块功率方法)要么实现最佳遗憾,但运行缓慢,要么以损失总遗憾中的$\sqrt{d}$因子为代价快速运行,其中$d$是矩阵维数。我们提出了一个$\textit{follow-the-compressed-leader (FTCL)}$框架,实现了最佳的遗憾,而不牺牲运行时间。我们的想法是将矩阵策略“压缩”到对抗设置中的3维或随机设置中的1维。这两个分别解决了两个开放的问题,关于设计的最佳和有效的算法的在线特征向量问题。
2017-09-18 cs.DS cs.LG math.OC
Minimal Absent Words on Run-Length Encoded Strings
一个字符串$w$被称为另一个字符串$T$的最小缺失字(MAW),如果$w$不出现在$T$中(作为一个子串),并且$w$的任何适当的子串出现在$T$中。用于从长度为$n$的给定串$T$报告MAW的集合$\mathsf{MAW}(T)$的现有技术的数据结构需要$O(n)$空间,可以在$O(n)$时间内构建,并且可以在查询时在$O(|\mathsf{MAW}(T)|)$时间内报告所有MAW。本文提出了一个压缩表示的字符串计算MAW的问题。特别是,我们专注于最基本的压缩表示的字符串,行程长度编码(RLE),它表示每个最大运行相同的字符$a$ $a^p$其中$p$是运行的长度。令$m$为字符串$T$的RLE大小。在使用RLE将MAW分类为五个不相交的集合$\mathcal{M}_1$,$\mathcal{M}_2$,$\mathcal{M}_3$,$\mathcal{M}_4$,$\mathcal{M}_5$之后,我们根据RLE大小$m$给出了$i = 1,2,4,5$的$\mathcal{M}_i$中MAW数量的匹配上界和下界,除了$\mathcal{M}_3$的大小不受$m$限制。然后,我们提出了一个紧凑的$O(m)$空间数据结构,可以报告所有MAW在最佳的$O(|\mathsf{MAW}(T)|)$时间。
2022-04-14 cs.DS
A simple online competitive adaptation of Lempel-Ziv compression with efficient random access support
我们提出了一个简单的适应Lempel Ziv 78'(LZ 78)压缩方案({ \em IEEE Transactions on信息论,1978}),支持有效的随机访问输入字符串。即,给定对压缩串的查询访问,可以有效地恢复输入串的任何符号。压缩算法被给定为参数$\eps >0$的输入,并且以非常高的概率将压缩串的长度增加至多因子$(1+\eps)$。访问时间为预期的$O(\log n + 1/\eps^2)$,以及具有高概率的$O(\log n/\eps^2)$。该方案依赖于稀疏传递闭包空间。输入字符串的任何(连续的)子字符串都可以在子字符串长度的运行时间内以额外的附加成本进行检索。我们还正式建立修改LZ 78的必要性,以便允许有效的随机接入。具体来说,我们构建了一个家庭的字符串,$Ω(n/\log n)$查询的LZ 78压缩字符串是必需的,以恢复输入字符串中的单个符号。所提出的方案的主要优点是,它保留了LZ 78的在线性质和简单性,并且对于{ \em every}输入字符串,压缩字符串的长度仅比通过运行LZ 78获得的长度大一个小因子。
2013-01-11 cs.DS
Improving Matrix-vector Multiplication via Lossless Grammar-Compressed Matrices
随着当今机器学习(ML)技术正在生成巨大的数据汇集,如何有效地设计其存储和操作的问题变得至关重要。在这篇文章中,我们提出了一个新的实值矩阵的无损压缩方案,实现有效的性能方面的压缩比和线性代数运算的时间。实验表明,作为一个压缩器,我们的工具是明显优于gzip,它通常是在20%的xz在压缩比方面。此外,我们的压缩格式支持与压缩表示的大小成比例的时间和空间中的矩阵向量乘法,不像gzip和xz需要完全解压缩压缩矩阵。据我们所知,我们的无损压缩器是第一个实现的时间和空间复杂度性相匹配的理论极限表示的$k$阶统计熵的输入。为了实现进一步的时间/空间减少,我们提出了一个新的列相似性得分上的列重排序算法。我们在ML矩阵的各种数据集上的实验表明,在适度的预处理时间下,我们的列重新排序可以在矩阵向量乘法期间进一步减少高达16%的峰值内存使用。最后,我们将我们的建议与最先进的压缩线性代数(CLA)方法进行比较,结果表明我们的运行速度总是至少快两倍(在多线程设置中),并且对于大多数测试数据集都实现了更好的压缩空间占用。这证实了实验证明有效的理论界限,我们展示了我们的压缩矩阵的方法。
2022-03-30 cs.DS
A Framework of Dynamic Data Structures for String Processing
在本文中,我们提出了动态,一个开源的C++库实现动态压缩数据结构的字符串操作。我们的框架包括有用的工具,如可搜索的部分和,简洁/间隙编码的位向量,熵/游程长度压缩字符串和FM索引。我们证明了我们的结构所使用的资源接近最优的理论界限,并表明我们的理论预测在实践中得到了严格的经验验证。最后,我们将注意力转向应用。我们比较了四个最近发布的压缩算法,使用动态与国家的最先进的工具执行相同的任务的性能。我们的实验表明,利用动态压缩的数据结构的算法可以高达三个数量级的空间效率(虽然更慢)比经典的执行相同的任务。
2017-01-25 cs.DS
Algorithms for Computing Longest Unbordered Factors on Run-Length Encoded Strings
The University of Electro-Communications(电气通信大学)
本文研究游程编码字符串上的最长无边界因子问题,通过新的组合学观察将已有算法适配到RLE场景,提出时间复杂度为 $O(m^{1.5} \log^2 m)$ 的算法,在压缩规模较小时可优于现有方法。
2026-10-21 cs.DS
Incongruity-sensitive access to highly compressed strings
本文提出了一种基于不一致性的高效访问高度压缩字符串中不可压缩子字符串的方法,通过构建特定数据结构实现快速访问。
2026-02-04 cs.DS
Universal Compressed Text Indexing
重复数据集的兴起最近引起了人们对基于字典压缩的压缩自索引的兴趣,这是一个丰富而异构的家族,以不同的方式利用文本重复。对于每种这样的压缩方案,在过去二十年中已经提出了几种不同的索引解决方案。迄今为止,重复文本的最快索引是基于行程压缩的Burrows-Wheeler变换和紧凑有向非循环词图。另一方面,最节省空间的索引是基于Lempel-Ziv解析和语法压缩的。还没有提出更普遍的方案,如拼贴系统和宏观方案的索引。最近,Kempa和Prezza [STOC 2018]表明,所有字典压缩器都可以被解释为最小字符串吸引子的近似算法,即捕获所有不同子串的一组文本位置。从这个观察开始,在本文中,我们开发了第一个通用的压缩自索引,也就是说,第一个基于字符串吸引子的索引数据结构,因此可以建立在任何字典压缩文本表示的顶部。令$γ$为长度为$n$的文本的字符串吸引子的大小。我们的索引采用$O(γ\log(n/γ))$空间字,并支持在$O(m\log n + occ\log^εn)$时间内,对于任何常数$ε>0$,定位任何长度为$m$的模式的$occ$出现。特别是,这是一般宏观计划和大学系统的第一个指数。我们的研究结果表明,索引和压缩之间的关系比以前认为的要深得多:所有字典压缩器的核心的简单属性足以支持快速索引查询。
2018-09-06 cs.DS
Dynamic index and LZ factorization in compressed space
本文针对动态文本$T$,提出了一种新的$O(w)$空间的\emph{dynamic compressed index},其中$w = O(\min(z \log N \log^*M, N))$是$T$的签名编码的大小,$z$是$T$的Lempel-Ziv 77(LZ 77)分解的大小,$N$是$T$的长度,$M \geq 3N$是字RAM模型下可以在常数时间内处理的整数.我们的索引支持在$O(|P| f_{\mathcal{A}} + \log w \log |P| \log^* M (\log N + \log |P| \log^* M) + \mathit{occ} \log N)$时间内在$T$中搜索模式$P$,并在$O((y+ \log N\log^* M)\log w \log N \log^* M)$时间内插入/删除长度为$y$的子串,其中$f_{\mathcal{A}} = O(\min \{ \frac{\log\log M \log\log w}{\log\log\log M}, \sqrt{\frac{\log w}{\log\log w}} \})$。此外,我们提出了一个新的空间有效的LZ 77分解算法的长度$N$,它运行在$O(N f_{\mathcal{A}} + z \log w \log^3 N (\log^* N)^2)$时间与$O(w)$工作空间的…
2016-07-19 cs.DS
RLE edit distance in near optimal time
我们表明,两个游程长度编码字符串的压缩长度$m$和$n$分别之间的编辑距离,可以计算在$\mathcal{O}(mn\log(mn))$时间。这将以前的记录提高$\mathcal{O}(n/\log(mn))$倍。我们的算法的运行时间是最佳的次多项式的因素,受到标准的赛斯硬度假设。这有效地关闭了1993年首次开始的算法研究。
2019-05-03 cs.DS
Dynamic index, LZ factorization, and LCE queries in compressed space
在本文中,我们提出了以下结果:(1)提出了一种新的$O(w)$空间的\emph{dynamic compressed index},它支持在$O(|P| f(M,w) + \log w \log |P| \log^* M (\log N + \log |P| \log^* M) + \mathit{occ} \log N)$时间内搜索当前文本中的模式$P$,在$O((y+ \log N\log^* M)\log w \log N \log^* M)$时间内插入/删除长度为$y$的子串,其中$N$是当前文本的长度,$M$是动态文本的最大长度,$z$是当前文本、$f(a,b) = O(\min \{ \frac{\log\log a \log\log b}{\log\log\log a}, \sqrt{\frac{\log b}{\log\log b}} \})$和$w = O(z \log N \log^*M)$的Lempel-Ziv 77(LZ 77)因子分解的大小。(2)针对给定长度的文本$N$,提出了一种新的空间有效的LZ 77分解算法,该算法在$O(w')$工作空间和$O(N f(N,w') + z \log w' \log^3 N (\log^* N)^2)$时间内运行,其中$w' =O(z \log N \log^* N)$ . (3)我们提出了一种$O(w)$空间的数据…
2016-04-06 cs.DS
Collapsing the Hierarchy of Compressed Data Structures: Suffix Arrays in Optimal Compressed Space
提出仅需最优压缩文本表示空间即可支持后缀数组查询的新索引,将压缩数据结构层级坍缩为单点,并大幅改进了构建时间及数十种算法的空间复杂度。
2023-08-07 cs.DS
Efficient LZ78 factorization of grammar compressed text
我们提出了一个有效的算法计算LZ78分解的文本,其中的文本表示为一个直线程序(SLP),这是一个上下文无关的语法在乔姆斯基范式,生成一个单一的字符串。给定大小为$n$的SLP表示长度为$N$的文本$S$,我们的算法计算$T$在$O(n\sqrt{N}+m\log N)$时间和$O(n\sqrt{N}+m)$空间中的LZ 78因子分解,其中$m$是产生的LZ 78因子的数量。我们还展示了如何改进算法,使$n\sqrt{N}$长期的时间和空间复杂性成为$nL$,其中$L$是最长的LZ 78因子的长度,或$(N - α)$,其中$α\geq 0$是一个数量,这取决于SLP捕获相对于一定长度的$S$的子串的冗余量。由于$m = O(N/\log_σN)$,其中$σ$是字母表大小,当$σ$是常数时,后者至少与在未压缩字符串上运行的线性时间算法一样快,并且当文本是可压缩的时,即当$m$和$n$很小时,可以更有效。
2012-07-19 cs.DS
Optimal-Time Contextual Pattern Matching in Compressed Space
Centre for Biotechnology and Bioengineering(生物技术与生物工程中心);Department of Computer Science, University of Chile(智利大学计算机系)
针对上下文模式匹配问题,提出首个在压缩空间(对称CDAWG)中实现最优时间O(m+occ)的解决方案,并实现O(log log λ)延迟枚举结果。
2026-08-25 cs.DS
Word Break on SLP-Compressed Texts
该研究提出首个求解SLP压缩文本上单词拆分问题的算法,给出时间复杂度上界与子串查询索引方案,并证明了对应组合算法的时间下界。
2025-03-31 cs.DS
Online Computation of the Longest Repeating Suffix and Smallest Suffixient Sets via Incremental Run-Length BWT-based Indexes
University of Milano-Bicocca(米兰比可卡大学);University of Yamanashi(山梨大学);Gustave Eiffel University(古斯塔夫·埃菲尔大学)
研究在线构建最小后缀集及计算最长重复后缀,给出最小后缀集压缩空间在线构建法,针对两问题提出时空权衡,还证明计算LRS的确定性在线算法最坏情况需Ω(n)比特峰值工作空间。
2026-07-07 cs.DS
Space-Efficient Construction of Compressed Suffix Trees
我们展示了如何建立几个数据结构的核心重要字符串处理,作为输入的Burrows-Wheeler变换(BWT)和使用小的额外的工作空间。设$n$为文本长度,$σ$为字母大小。我们首先提供了两个算法,枚举所有的LCP值和后缀树间隔在$O(n\logσ)$时间只使用$o(n\logσ)$位的工作空间上的输入BWT。使用这些算法作为构建模块,对于任何参数$0 < ε\leq 1$,我们展示了如何在$O\left(n(\logσ+ ε^{-1}\cdot \log\log n)\right)$时间内使用最多$n\logσ\cdot(ε+ o(1))$位的工作空间在输入BWT和输出的顶部构建PLCP位向量和后缀树拓扑的平衡括号表示。特别地,这意味着我们可以仅使用简洁的工作空间(即$o(n\logσ)$位)和$Θ(n\logσ) + ω(n\log\log n)$中的任何时间从BWT构建压缩的后缀树。这改进了以前最节省空间的算法,这些算法在$O(n)$比特和$O(n\log n)$时间中工作。我们还考虑了合并字符串集合的BWT的问题,并提供了一个解决方案,运行在$O(n\logσ)$的时间,并使用$o(n\logσ)$位的工作空间。我们的LCP结构和BWT合并算法的有效实现使用(在RAM中)少至$n$位的输入/输出的压缩表示,并以每秒$2.92$兆位的速度处理数据。
2019-08-12 cs.DS
Conversion from RLBWT to LZ77
在不显式解压缩的情况下将字符串的压缩格式转换为另一种压缩格式是字符串处理的中心研究课题之一。本文讨论了将字符串的游程Burrows-Wheeler变换(RLBWT)转换为反向字符串的Lempel-Ziv 77(LZ 77)短语的问题。使用Policriti和Prezza的转换算法[Micromica 2018]的第一个结果是字符串长度$n$的$O(n \log r)$时间和$O(r)$工作空间、RLBWT中运行次数$r$和LZ 77短语$z$的数量。Kempa转换算法[SODA 2019]的最新结果是RLBWT的字母大小$σ$的$O(n / \log n + r \log^{9} n + z \log^{9} n)$时间和$O(n / \log_σ n + r \log^{8} n)$工作空间。本文对Policriti和Prezza的转换算法进行了改进,提出了一种新的转换算法,该算法采用了通用的动态数据结构。我们认为,这些动态的数据结构可以被替换,并提出新的数据结构,更快的转换。我们的转换算法与新的数据结构的时间和工作空间分别为$O(n \min \{ \log \log n, \sqrt{\frac{\log r}{\log\log r}} \})$和$O(r)$。
2019-02-14 cs.DS
FM-Indexing Grammars Induced by Suffix Sorting for Long Patterns
与FM索引中引入的向后搜索结合使用的游程压缩Burrows-Wheeler变换(RLBWT)是大多数压缩索引的核心,用于高度重复的数据集,如生物序列。与语法索引相比,RLBWT的大小通常要大得多,但是像计算长模式出现次数这样的查询可以比迄今为止任何现有的语法索引快得多。在本文中,我们结合了一个文法与RLBWT的优点,建立RLBWT上的一个特殊的文法基于诱导后缀排序。我们的实验表明,我们的混合方法优于经典的RLBWT的索引大小,并在生物数据集上的查询时间足够长的模式。
2021-10-04 cs.DS
Computing all-vs-all MEMs in grammar-compressed text
提出一种压缩感知方法,通过构建满足fix-free属性的完全平衡语法,在不解压的情况下增量计算重复集合中所有字符串间的最大精确匹配,并探讨了其在压缩空间近似模式匹配中的应用。
2023-06-29 cs.DS cs.IR
Study of Compressed Randomized UTV Decompositions for Low-Rank Matrix Approximations in Data Science
在这项工作中,提出了一种新的秩显示矩阵分解算法,称为压缩随机UTV(CoR-UTV)分解以及一个CoR-UTV变体的辅助下的功率方法技术。CoR-UTV通过使用随机采样方案来计算低秩输入矩阵的近似值。给定大小为$m\times n$且具有数值秩$k$的大且密集的矩阵,其中$k \ll \text{min} \{m,n\}$,CoR-UTV需要在数据上经过几次,并且在$O(mnk)$浮点运算中运行。此外,CoR-UTV可以利用现代计算平台,并可以优化以实现最大效率。CoR-UTV也适用于解决鲁棒主成分分析问题。仿真结果表明,CoR-UTV优于现有的方法。
2019-06-08 cs.DS cs.NA math.NA
Compressed Randomized UTV Decompositions for Low-Rank Approximations and Big Data Applications
Centre for Telecommunications Studies (CETUC)(电信研究中心);Pontifical Catholic University of Rio de Janeiro(里约热内卢天主教大学);University of York(约克大学)
本文提出了一种名为压缩随机UTV(CoR-UTV)分解的新型低秩矩阵近似算法,该算法通过随机采样方案高效计算低秩输入矩阵的近似,并在图像重建和鲁棒主成分分析等大数据应用中表现出更高的效率和准确性。
2018-10-15 cs.DS cs.NA math.NA
Hypersuccinct Trees -- New universal tree source codes for optimal compressed tree data structures and range minima
我们提出了一个新的通用源代码的分布无标记的二进制和有序树,实现最佳的压缩范围内较低的顺序为现有的通用代码所涵盖的所有树源。同时,它支持在字RAM上以恒定时间回答压缩表示上的许多导航查询;这对于任何现有的树压缩方法都是不可能的。由此产生的数据结构,“超简洁树”,因此结合了由最好的通用代码实现的压缩与最好的简洁树数据结构的操作支持。我们应用超简洁树,以获得一个通用的压缩数据结构的范围最小查询。它具有恒定的查询时间和$2n+o(n)$位的最佳最坏情况空间使用,但是对于$n$元素的随机排列,空间平均下降到$1.736n + o(n)$位,而对于$r$增加运行的数组,空间平均下降到$2\lg\binom nr + o(n)$位。这两个结果都是最优的;前者回答了Davoodi et al.(2014)和Golin et al.(2016)的一个开放问题。与以前的工作相比,简洁的数据结构,我们不需要定制我们的数据结构,以特定的应用程序;超简洁的树自动适应手头的树。我们表明,它们同时实现了最佳的空间利用率,以在较低的顺序项范围广泛的分布在树的形状,包括:通过随机阵列的随机顺序插入生成的二叉搜索树(BST)/笛卡尔树、随机条纹平衡BST、具有给定数目的二进制/一元/叶节点的二叉树、从无记忆源生成的随机二进制尝试、全二叉树、一元路径以及均匀选择的权重平衡BST、AVL树和左倾红黑树。
2021-09-03 cs.DS cs.IT math.IT
jXBW: A Compressed Index Enabling Structure-Aware JSONL Retrieval for Structured RAG
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能研究中心)
提出jXBW压缩索引,通过合并树表示、基于扩展Burrows-Wheeler变换的简洁树索引和三阶段子结构搜索算法,实现查询依赖的复杂度,在百万级JSONL数据集上比最强基线快16倍至2800倍。
2026-08-24 cs.DB cs.DS cs.IR