Optimal-Time Dictionary-Compressed Indexes
我们描述了第一个自我索引能够计数和定位模式发生在最佳时间内的空间范围内的最流行的字典压缩机的大小。为了实现这一结果,我们结合了几个最近的研究结果,包括\emph{string attractors} -新的组合对象,包括最知名的压缩性措施高度重复的文本-,和语法的基础上\emph{locally-consistent parsing}。更详细地,令$γ$为长度为$n$的文本$T$的最小吸引子的大小。$γ$是一个(渐近)下界的大小字典压缩器的基础上Lempel-Ziv,上下文无关的语法,和许多其他的。已知最小的吸引子文本表示使用空间$O(γ\log(n/γ))$,而我们最轻的索引在相同的渐近空间内工作。令$ε>0$是在构造时固定的适当小的常数,$m$是模式长度,$occ$是其文本出现的次数。我们的索引在$O(m+\log^{2+ε}n)$时间中计数模式出现,并在$O(m+(occ+1)\log^εn)$时间中定位它们。这些时间已经超过了大多数字典压缩索引的时间,同时在$O((m+occ)\,\textrm{polylog}\,n)$时间内为任何索引搜索获得最小的渐近空间。此外,通过将空间增加到$O(γ\log(n/γ)\log^εn)$,我们将定位时间减少到最佳$O(m+occ)$,并且在$O(γ\log(n/γ)\log n)$空间内,我们还可以计入最佳$O(m)$时间。以前没有获…
2019-09-04 cs.DS
Optimal Construction of Compressed Indexes for Highly Repetitive Texts
我们提出的算法,给定的输入字符串的长度$n$在整数字母表的大小$σ$,构造的Burrows-Wheeler变换(BWT),置换最长公共前缀(PLCP)阵列,和LZ 77解析在$O(n/\log_σn+r\,{\rm polylog}\,n)$时间和工作空间,其中$r$是运行在BWT的输入。这些是许多压缩索引的基本组成部分,如压缩后缀树,FM索引,语法和基于LZ 77的索引,而且在序列分析和数据压缩中也有许多应用。$r$的值是重复性的常用度量,如果字符串高度重复,则该值明显小于$n$。由于只访问字符串的每个符号需要$Ω(n/\log_σn)$时间,所提出的算法是时间和空间最优的输入满足假设$n/r\inΩ({\rm polylog}\,n)$的重复性。对于这些输入,我们的结果改进了Belazzougui(STOC 2014)和Munro等人(SODA 2017)目前最快的通用算法,这些算法在$O(n)$时间内运行,并使用$O(n/\log_σ n)$工作空间。我们还展示了如何使用我们的技术,以获得最佳的解决方案,对其他基本字符串处理问题的高度重复的数据,如:林登因子分解,运行长度压缩后缀数组的建设,和一些经典的“教科书”的问题,如计算最长的子串发生至少一些固定的次数。
2019-05-20 cs.DS
Fixed Block Compression Boosting in FM-Indexes
压缩的全文自索引占用的空间接近于压缩文本的空间,同时允许快速模式匹配和对基础文本的随机访问。在理论和实践中,最好的压缩自索引是FM索引家族的几个成员。在本文中,我们描述了新的FM索引变体,结合了良好的理论特性,简单的实现和改进的实际性能。我们的主要结果是一种称为固定块压缩增强的新技术,这是一种更简单,更快的替代最佳压缩增强和隐式压缩增强在以前的FM索引中使用。
2011-04-19 cs.DS cs.IR
The k-mismatch problem revisited
我们重新审视模式匹配中最基本问题之一的复杂性。在k-不匹配问题中,我们必须计算长度为m的模式与长度为n的文本的每个m-长度子串之间的汉明距离,只要汉明距离不超过k。当汉明距离在图案和文本的某个对齐处大于k时,我们简单地输出“否”。我们研究这个问题,在标准的离线设置,也作为一个流问题。在流式k-mismatch问题中,文本一次到达一个符号,我们必须在处理任何未来符号之前给出输出。我们的主要结果如下:1)我们的第一个结果是一个确定性的$O(n k^2\log{k} / m+n \text{polylog} m)$时间离线算法的k-不匹配的长度为n的文本。这比Amihood Amir等人在SODA 2000中给出的最快的结果提高了k倍。2)然后我们给出了一个随机的在线算法,该算法在相同的时间复杂度下运行,但总共只需要$O(k^2\text{polylog} {m})$空间。3)接下来,我们给出了一个随机$(1+ε)$近似算法的流k-失配问题,它使用$O(k^2\text{polylog} m / ε^2)$空间和运行在$O(\text{polylog} m / ε^2)$最坏情况下的时间每个到达符号。4)最后,我们结合我们的新结果,推导出一个随机$O(k^2\text{polylog} {m})$空间算法的流k-不匹配的问题,运行在$O(\sqrt{k}\log{k} + \text{p…
2015-08-27 cs.DS
Universal Compressed Text Indexing
重复数据集的兴起最近引起了人们对基于字典压缩的压缩自索引的兴趣,这是一个丰富而异构的家族,以不同的方式利用文本重复。对于每种这样的压缩方案,在过去二十年中已经提出了几种不同的索引解决方案。迄今为止,重复文本的最快索引是基于行程压缩的Burrows-Wheeler变换和紧凑有向非循环词图。另一方面,最节省空间的索引是基于Lempel-Ziv解析和语法压缩的。还没有提出更普遍的方案,如拼贴系统和宏观方案的索引。最近,Kempa和Prezza [STOC 2018]表明,所有字典压缩器都可以被解释为最小字符串吸引子的近似算法,即捕获所有不同子串的一组文本位置。从这个观察开始,在本文中,我们开发了第一个通用的压缩自索引,也就是说,第一个基于字符串吸引子的索引数据结构,因此可以建立在任何字典压缩文本表示的顶部。令$γ$为长度为$n$的文本的字符串吸引子的大小。我们的索引采用$O(γ\log(n/γ))$空间字,并支持在$O(m\log n + occ\log^εn)$时间内,对于任何常数$ε>0$,定位任何长度为$m$的模式的$occ$出现。特别是,这是一般宏观计划和大学系统的第一个指数。我们的研究结果表明,索引和压缩之间的关系比以前认为的要深得多:所有字典压缩器的核心的简单属性足以支持快速索引查询。
2018-09-06 cs.DS
Scalable Construction of Text Indexes
后缀数组是有效解决不同应用领域(如数据压缩、数据采掘或生物信息学)中无数字符串处理问题的关键。随着可用数据的快速增长,后缀数组构造算法必须适应高级计算模型,如外部存储器和分布式计算。在这篇文章中,我们提出了五个后缀数组构造算法,利用新的算法大数据批处理框架Thrill,它允许我们处理以前没有考虑过的数量级的输入大小。
2016-10-10 cs.DC cs.DS
Grammar-Compressed Indexes with Logarithmic Search Time
设文本$T[1..n]$是由上下文无关文法生成的唯一字符串,该文法具有$g$(终结符和非终结符)符号,大小为$G$(以规则右侧的长度之和衡量)。这种语法称为$T$的语法压缩表示,可以基本上使用$G\lg g$位进行编码。我们引入了第一个语法压缩索引,它使用$O(G\lg n)$位,可以在时间$O((m^2+occ)\lg G)$中找到模式$P[1..m]$的$occ$出现。我们实现的索引,并证明其实用性与最先进的比较,高度重复的文本集合。
2020-04-01 cs.DS
Fast and Small Subsampled R-indexes
提出 sr-index 及其变体 r-csa、sr-csa,通过子采样文本位置在时间和空间间取得平衡,在保持查询性能的同时显著减少索引空间占用。
2024-09-23 cs.DS
Order-preserving pattern matching with k mismatches
我们研究了最近引入的保序模式匹配的推广,而不是寻找一个精确的副本的模式,我们只需要元素之间的相对顺序是相同的。在我们的变体中,我们还允许模式和文本之间最多有k个不匹配,目标是为小k值构建一个有效的算法。对于长度为m的模式和长度为n的文本,我们的算法在O(n(loglogm + kloglogk))的时间内检测到一个顺序保持出现k个不匹配。
2014-03-05 cs.DS
Streaming dictionary matching with mismatches
在$k$ -mismatch问题中,我们给定一个长度为$n$的模式和一个文本,并且必须找到模式和文本之间的汉明距离最多为$k$的所有位置。最近的一系列突破为这个问题带来了一种超高效的流算法,每个字母只需要$O(k \log \frac{n}{k})$空间和$O(\log \frac{n}{k} (\sqrt{k \log k} + \log^3 n))$时间[Clifford,Kociumaka,Porat,SODA 2019]。在这项工作中,我们考虑一个严格困难的问题称为字典匹配与$k$不匹配。在这个问题中,我们给出了一个$d$模式的字典,其中每个模式的长度最多为$n$,并且必须找到距离其中一个模式在汉明距离$k$内的文本的所有子串。我们开发了一个流算法,这个问题与$O(k d \log^k d \mathrm{polylog}(n))$空间和$O(k \log^{k} d \mathrm{polylog}(n) + |\mathrm{occ}|)$时间的文本的位置。该算法是随机的,并以高概率输出正确答案。在下限侧,我们表明,任何流式算法的字典匹配与$k$不匹配需要$Ω(k d)$位的空间。
2021-06-20 cs.DS
Fast Compressed Self-Indexes with Deterministic Linear-Time Construction
我们介绍了一个压缩后缀数组表示,在一个文本$T$的长度$n$在一个字母表的大小$σ$,可以建立在$O(n)$确定性的时间,在$O(n\logσ)$位的工作空间,并计数的次数出现的任何模式$P$在$T$在时间$O(|P| + \log\log_w σ)$上的RAM机器的$w=Ω(\log n)$位字。这个新索引的性能优于所有其他可以在线性确定性时间内构建的压缩索引以及其他一些索引。唯一更快的索引只能在预期的线性时间内构建,或者需要$Θ(n\log n)$位。我们还表明,通过使用$O(n\logσ)$位,我们可以在线性时间内建立一个索引,在时间上计数$O(|P|/\log_σn + \log n(\log\log n)^2)$,这是RAM最佳的$w=Θ(\log n)$和足够长的模式。
2017-09-01 cs.DS
A Novel Algorithm for String Matching with Mismatches
本文提出了一种在线的字符串模式匹配算法。我们研究的问题通常被称为不匹配的字符串匹配,其目标是报告当模式与文本中的每个位置对齐时匹配的字符数。我们提出的新方法是基于模式和文本中单个字符的频率。该算法以简单数组的形式占用最少的空间,从而减少了维护后缀树或自动机等复杂数据结构的开销。
2016-03-10 cs.DS
A Fast and Small Subsampled R-index
$r$指数(Gagie等人,JACM 2020)代表了重复文本集合的压缩索引的突破,其性能超过其替代品的数量级。它的空间使用,$\mathcal{O}(r)$,其中$r$是在文本的Burrows-Wheeler变换中运行的次数,但是比Lempel-Ziv和基于语法的索引大,并且使得它在各种较温和重复的现实生活场景中不有趣。在本文中,我们介绍了$sr$指数,一个变种,限制空间$\mathcal{O}(\min(r,n/s))$的长度为$n$和一个给定的参数$s$的文本,在乘以$s$的时间,每次发生的报告。$sr$索引是通过仔细地对由$r$索引索引的文本位置进行二次采样而获得的,以我们证明仍然能够以保证性能的方式支持模式匹配。我们的实验表明,$sr$索引大幅优于几乎所有其他压缩索引的重复文本,在时间和空间,甚至匹配性能的$r$索引,而使用1.5- 3.0倍的空间。只有一些基于Lempel-Ziv的索引比$sr$索引实现更好的压缩,使用大约一半的空间,但它们慢一个数量级。
2021-03-29 cs.DS
The streaming $k$-mismatch problem
我们认为流的复杂性的一个基本任务,在近似模式匹配:$k$ -失配问题。它要求计算长度为$n$的模式与汉明距离不超过给定阈值$k$的文本的所有长度为$n$的子串之间的汉明距离。在我们的问题公式中,我们不仅报告汉明距离,而且根据需要报告完整的\emph{mismatch information},即不匹配的符号对及其索引的列表。流式模式匹配的双重挑战源自于既需要实现小的工作空间又需要保证快速处理每个到达的输入符号。我们提出了一个流算法的$k$ -不匹配的问题,它使用$O(k\log{n}\log\frac{n}{k})$位的空间,并花费\ourcomplexity的时间在每个符号的输入流,其中包括由文本的模式。运行时间几乎匹配经典的离线解决方案,空间使用率在最佳的对数因子内。因此,我们的新算法有效地解决,也扩展了FOCS'09中首次提出的开放问题。在这个解决方案的途中,我们还给出了一个确定性的$O( k (\log \frac{n}{k} + \log |Σ|) )$位编码的所有路线与汉明距离最多$k$的长度$n$模式内的文本长度$O(n)$。这个次要的结果提供了一个自然的通信复杂性问题,这可能是独立的利益的最佳解决方案。
2018-04-09 cs.DS
Optimal trade-offs for pattern matching with $k$ mismatches
给定长度为$m$的模式和长度为$n$的文本,$k$失配模式匹配的目标是为文本的每个$m$子串计算到模式的精确汉明距离,或者报告它超过$k$。这可以在Amir等人[J. Algorithms 2004]所示的$\widetilde{O}(n \sqrt{k})$时间或Clifford等人[SODA 2016]的结果导致的$\widetilde{O}((m + k^2) \cdot n/m)$时间中求解。我们提供了一个平滑的时间权衡这两个界限,通过设计一个算法的工作时间$\widetilde{O}( (m + k \sqrt{m}) \cdot n/m)$。我们补充这一匹配的条件下界,表明一个显着更快的组合算法是不可能的,除非组合矩阵乘法猜想失败。
2017-04-05 cs.DS
Streaming k-mismatch with error correcting and applications
针对模式匹配中最基本的问题之一的$k$ -Mismatch问题,提出了一种新的流算法.给定一个模式和一个文本,任务是找到文本的所有子串,这些子串与模式的汉明距离最大为$k$。我们的算法增强了一个重要的新功能,称为纠错,其复杂性为$k=1$和一般的$k$是可比的$k$ -不匹配问题的解决方案由Porat和Porat(FOCS 2009)和Clifford等人。(SODA 2016)。与我们的研究并行,Clifford等人开发了一种更有效的具有纠错功能的$k$ -失配问题算法(SODA 2019)。利用流多模式匹配的新功能和最近的工作,我们开发了一系列的流算法的模式匹配加权字符串,这是一种常用的表示不确定序列的分子生物学。我们还表明,这些算法是空间最优的polylog因素。这项工作的初步版本在DCC 2017会议上发表。
2019-04-23 cs.DS
Approximate pattern matching with k-mismatches in packed text
给定长度为$m$的字符串$P$和长度为$n$的字符串$T$,在长度为$σ$的字母表上,字符串匹配与$k$ -不匹配问题是找到$T$中所有子串的位置,这些子串与$P$的汉明距离最多为$k$。如果$T$一次只能读取一个字符,则在字长为$w$的字RAM模型中,最知名的界限是$O(n\sqrt{k\log k})$和$O(n + n\sqrt{k/w}\log k)$。在RAM模型(包括$AC^0$和字RAM)中,如果使用$\ceil{\log σ}$位对$T$的字符进行编码,则可以在恒定时间内读取多达$\floor{w / \log σ}$的字符。唯一的解决方案$k$ -不匹配的包装文本工程在$O((n \logσ/\log n)\ceil{m \log (k + \log n / \logσ) / w} + n^{\varepsilon})$的时间,任何$\varepsilon > 0$。我们提出了一个算法,运行在时间$O(\frac{n}{\floor{w/(m\logσ)}} (1 + \log \min(k,σ) \log m / \logσ))$的$AC^0$模型,如果$m=O(w / \logσ)$和$T$是包装。我们还描述了一个更简单的变体,运行在时间$O(\frac{n}{\floor{w/(m\logσ)}}\log \min(m, \log w / \logσ))$的…
2013-07-31 cs.DS
Fast Indexes for Gapped Pattern Matching
我们描述了用于搜索可变长度间隔(VLG)模式的大型数据集的索引。VLG模式由两个或多个子模式组成,在每个相邻的子模式对之间是指定子模式之间允许的距离的上限和下限的间隙约束。VLG模式在计算生物学(基序搜索)、信息检索(例如,用于语言模型、片段生成、机器翻译),并捕获在实践中通常用于搜索源代码的正则表达式的有用子类。我们的最佳方法在广泛的图案和文本范围内提供比现有技术快几倍的搜索速度。
2020-02-28 cs.DS
The Dynamic k-Mismatch Problem
文本到模式汉明距离问题要求计算长度为$m$的给定模式与长度为$n\ge m$的给定文本的所有长度- $m$子串之间的汉明距离。我们专注于$k$ -不匹配版本的问题,其中距离需要返回,只有当它不超过阈值$k$。我们假设$n\le 2m$(通常,可以将文本划分为重叠的块)。在这项工作中,我们展示了这个问题的动态版本的数据结构,支持两个操作:更新执行模式或文本中的单字母替换,以及查询,给定索引$i$,返回模式和从位置$i$开始的文本子串之间的汉明距离,或者报告它超过$k$。首先,我们展示了一个具有$\tilde{O}(1)$更新和$\tilde{O}(k)$查询时间的数据结构。然后,我们表明,$\tilde{O}(k)$更新和$\tilde{O}(1)$查询时间也是可能的。这两者为动态$k$ -与$k \le \sqrt{n}$的不匹配问题提供了最佳权衡:我们证明,在强3 SUM猜想的条件下,无法同时实现所有操作的$k^{1-Ω(1)}$时间。对于$k\ge \sqrt{n}$,我们给出了另一个下界,在线矩阵向量猜想的条件下,排除了每次操作花费$n^{1/2-Ω(1)}$时间的算法。对于恒定大小的字母表,这是严格的:Clifford等人(STACS 2018)在这种情况下实现了每次操作的$\tilde{O}(\sqrt{n})$时间,但对于大字母表,每次操作的$\tilde{O}(n^{…
2022-03-28 cs.DS
Improved Grammar-Based Compressed Indexes
我们介绍了第一个语法压缩表示的序列,支持搜索的时间,只依赖于语法的大小。给定由$n$(终结符和非终结符)符号的(上下文无关)语法和大小$N$(以规则的右手长度之和测量)表示的文本$T[1..u]$,$T$的基于语法的基本表示占用$N\lg n$位空间。对于任何$0<ε\le 1$,我们的表示都需要$2N\lg n + N\lg u + ε\, n\lg n + o(N\lg n)$位空间。它可以在$O((m^2/ε)\lg (\frac{\lg u}{\lg n}) +occ\lg n)$时间中找到长度为$m$的模式在$T$中的$occ$出现的位置,并在时间$O(\ell+h\lg(N/h))$中提取$T$的任何长度为$\ell$的子串,其中$h$是语法树的高度。
2011-10-20 cs.DS
Faster two-dimensional pattern matching with $k$ mismatches
本文研究带 $k$ 个错配的二维模式匹配,通过新的二维周期性洞见改进已有30年的 $\mathcal{O}(kn^{2})$ 界,在 $k=\mathcal{O}(m^{4/5})$ 时达到 $\tilde{\mathcal{O}}(n^{2})$。
2024-10-29 cs.DS
Simple Quantum Algorithm for Approximate $k$-Mismatch Problem
BRAC University(布拉格大学)
本文提出一个简单的量子算法,用于近似解决k-不匹配问题,通过参数ε控制匹配精度,时间复杂度为~O(ε⁻¹√(mn/k))。
2026-01-11 cs.DS quant-ph
Collapsing the Hierarchy of Compressed Data Structures: Suffix Arrays in Optimal Compressed Space
提出仅需最优压缩文本表示空间即可支持后缀数组查询的新索引,将压缩数据结构层级坍缩为单点,并大幅改进了构建时间及数十种算法的空间复杂度。
2023-08-07 cs.DS
Circular Pattern Matching with $k$ Mismatches
$k$不匹配问题在于计算长度为$m$的模式$P$与长度为$n$的文本$T$的每个长度为$m$的子串之间的汉明距离,如果该距离不大于$k$ .在许多实际应用中,$P$的任何循环旋转都是相关模式,因此人们对计算$T$的每个长度- $m$子串与$P$的任何循环旋转的最小距离感兴趣。这是具有$k$不匹配的循环模式匹配($k$ -CPM)问题。大量的文件已致力于解决这个问题,但据我们所知,只有平均情况下的上限是已知的。本文给出了$k$ -CPM问题的第一个非平凡最坏情况上界。具体来说,我们展示了一个$O(nk)$时间算法和一个$O(n+\frac{n}{m}\,k^4)$时间算法.后一种算法以扩展的方式应用最近开发的用于$k$ -失配问题的技术[Bringmann等人,SODA 2019]。这项工作的初步版本出现在FCT 2019上。在这个版本中,我们改善了主要算法的时间复杂度从$O(n+\frac{n}{m}\,k^5)$到$O(n+\frac{n}{m}\,k^4)$。
2020-01-13 cs.DS
Constant-Time Inverse Suffix Array Queries in Compact Space and Sublinear-Time Construction of Suffix Array Indexes
Stony Brook University(石溪大学);Max Planck Institute for Informatics(马克斯·普朗克 informatics 研究所)
该研究提出最优空间的常数时间逆后缀数组结构,在字RAM中确定性构造该结构及两类后缀数组,匹配二元文本的时间-空间下界,可提升字典匹配算法效率。
2026-08-20 cs.DS
On pattern matching with k mismatches and few don't cares
我们考虑了具有$k$不匹配的模式匹配问题,其中模式中可能存在无关字符或通配符。具体来说,给定长度为$m$的模式$P$和长度为$n$的文本$T$,我们希望找到$T$中所有不超过$k$的$P$。模式可以有无关字符,它匹配任何字符。如果没有无关紧要,用于具有$k$不匹配的模式匹配的最知名算法具有$O(n\sqrt{k \log k})$的运行时间。在模式中使用“无关”时,最好的确定性算法的运行时间为$O(nk polylog m)$。因此,有和没有不关心的版本之间有一个重要的差距。在本文中,我们给出了一个算法,其运行时间增加的不关心的数量。我们将{ \em island}定义为$P$的最大长度子串,该子串不包含无关字。令$q$为$P$中岛的数量。我们提出了一个算法,运行在$O(n\sqrt{k\log m}+n\min\{\sqrt[3]{qk\log^2 m},\sqrt{q\log m}\})$时间。如果岛$q$的数量为$O(k)$,则该运行时变为$O(n\sqrt{k\log m})$,其基本上匹配具有$k$不匹配的模式匹配的最佳已知运行时,而不关心。如果岛$q$的数量是$O(k^2)$,则该算法渐进地快于先前的用于具有$k$不匹配且模式中不关心的模式匹配的最佳算法。
2016-10-28 cs.DS
Self-Index based on LZ77 (thesis)
生物信息学、版本控制系统、协作编辑系统(wiki)等领域正在产生大量重复性很强的数据汇集。也就是说,集合的元素之间几乎没有什么区别。这一事实使得集合的可压缩性非常高。例如,包含所有不同版本的维基百科条目的集合可以使用Lempel-Ziv 1977(LZ 77)压缩方案压缩到其原始空间的0.1%。这些重复的集合中的许多都处理大量的文本数据。因此,我们需要一种方法来有效地存储它们,同时提供对它们进行操作的能力。最常见的操作是提取集合的随机部分,并在整个集合中搜索给定模式的所有出现。自索引是一种数据结构,它以压缩形式存储文本,并允许有效地找到模式的出现。另一方面,自索引可以提取集合的任何子字符串,因此它们能够替换原始文本。使用这些索引的主要目标之一是将它们存储在主存中。在这篇论文中,我们提出了一个方案,随机抽取文本压缩与Lempel-Ziv分析。此外,我们提出了一个LZ 77的变体,称为LZ-End,它可以使用接近LZ 77的空间有效地提取文本。本文的主要贡献是基于LZ 77/LZ-End的第一个面向重复文本的自索引,该自索引在许多方面都优于目前最新的自索引(RLCSA自索引)。最后,我们提出了一个语料库的重复文本,来自几个应用领域。我们的目标是为研究和实验提供一套标准的文本,因此这个语料库是公开的。
2011-12-20 cs.DS
Subpath Queries on Compressed Graphs: a Survey
文本索引是一个经典的算法问题,已经被研究了四十多年:给定一个文本$T$,离线预处理它,这样,以后,我们可以快速计数和定位任何字符串(查询模式)在$T$中的出现时间与查询的长度成正比。这个问题最早的最优时间解决方案,后缀树,可以追溯到1973年,它需要比纯文本多两个数量级的空间来存储。在2000年,两个突破性的工作表明,高效的查询可以实现没有这种空间开销:一个快速的索引被存储在一个空间成比例的文本的熵。这些贡献对生物信息学产生了巨大的影响:如今,几乎所有的DNA比对都采用了压缩索引。最近的趋势考虑了更强大的压缩方案(字典压缩器)和将问题推广到标记图:毕竟,文本可以被视为标记的有向路径。反过来,由于有限状态自动机可以被认为是标记图的一种特殊情况,这些发现在压缩索引和正则语言理论之间建立了一座桥梁,最终允许索引正则语言,并有望为正则表达式匹配等问题提供新的解决方案。这个调查是一个温和的介绍的迷人的旅程,把我们从后缀树到今天的压缩索引标记图和正则语言的主要里程碑。
2020-12-13 cs.DS
Optimal-Time Text Indexing in BWT-runs Bounded Space
自世纪之交以来,索引高度重复的文本(如基因组数据库、软件库和版本化文本集合)已成为一个重要问题。重复文本的相关压缩性度量是$r$,即Burrows-Wheeler变换(BWT)中的运行次数。最早的重复集合索引之一,游程长度FM索引,使用$O(r)$空间,能够有效地计算文本中长度为$m$的模式的出现次数(使用当前技术,以每个模式符号的对数时间为单位)。然而,它无法在以$r$为界的空间内有效地定位这些事件的位置。从那时起,一些其他的索引与其他措施的重复性-在Lempel-Ziv解析短语的数量,生成文本的最小语法的大小,识别文本因素的最小自动机的大小-已被提出有效地定位,但不直接计数,出现的模式。在本文中,我们关闭这个长期存在的问题,展示了如何扩展的运行长度FM索引,使它可以有效地定位$occ$发生在$O(r)$空间(在对数时间每个),并达到最佳时间$O(m+occ)$内$O(r\log(n/r))$空间,在RAM机的$w=Ω(\log n)$位。在$O(r\log (n/r))$空间中,我们的索引也可以在最佳时间$O(m)$中计数。将空间提升到$O(r w\log_σ(n/r))$,我们支持在$O(m\log(σ)/w)$和$O(m\log(σ)/w+occ)$时间中进行计数和定位,这在打包设置中是最佳的,并且以前在压缩空间中没有获得。我们还描述了一个结构,使用$O(r\log(n/r…
2017-07-11 cs.DS
E2FM: an encrypted and compressed full-text index for collections of genomic sequences
下一代测序(NGS)平台以及更普遍的高通量技术正在引起核苷酸序列数据库的规模的指数增长。此外,核苷酸数据集的许多新兴应用-如与个性化医疗相关的应用-需要遵守有关敏感数据存储和处理的法规。我们设计并精心设计了E2 FM索引,这是一种新的全文索引,在分钟空间内进行了优化,用于压缩和加密FASTA格式的核苷酸序列集合,并用于执行快速模式搜索查询。E2 FM-index允许构建自索引,其占用的存储空间为输入FASTA文件所需的1/20,因此在索引高度相似的序列集合时可以节省约95%的存储空间;此外,它可以在几毫秒到几百毫秒的时间内精确地搜索构建的索引以查找模式,具体取决于模式长度。补充材料和支持数据集可通过Bioinformatics Online和https://figshare.com/s/6246ee9c1bd730a8bf6e获得。
2019-10-10 cs.DB cs.DS
Fast, Small, and Simple Document Listing on Repetitive Text Collections
在字符串集合上列出文档的任务是查找出现模式的所有文档。它被认为是最基本的文档检索问题,并在各种应用中是有用的。许多增长最快的字符串集合由非常相似的文档组成,例如版本化代码和文档集合、基因组存储库等。为重复文本集合设计的普通模式匹配索引实现了空间数量级的减少。相反,用于文档检索的类似索引并不多。在本文中,我们提出了一个简单的文件列表索引的重复字符串集合的总长度$n$,列出$ndoc$不同的文件中出现的模式的长度$m$在时间$\mathcal{O}(m+ndoc \cdot \log n)$。我们利用文档数组的重复性(即,粗化为文档标识符的后缀数组)来对其进行语法压缩,同时预计算对非终结符的回答,并且也以语法压缩的形式存储它们。我们的实验结果表明,我们的索引大大优于现有的替代品在空间/时间权衡地图。
2019-02-20 cs.DS cs.IR cs.IT