Computing the BWT and LCP array of a Set of Strings in External Memory
索引非常大的字符串集合,如广泛的下一代测序技术产生的,在很大程度上依赖于多串概括的Burrows-Wheeler变换(BWT):大量的要求在内存中的方法刺激了最近的发展外部存储器算法。计算字符串的最长公共前缀(LCP)数组是计算字符串之间的后缀前缀重叠的一个重要步骤,是许多基因组组装算法的基础。在以前的论文中,我们提出了一种内存中的分治方法来构建BWT和LCP,其中我们合并部分BWT和前向方法来排序后缀。在本文中,我们提出了一种替代的向后策略,开发一种外部存储器的方法,同时建立BWT和LCP阵列上的m个字符串的不同长度的集合。在一组字符串具有恒定长度k的算法具有O(mkl)的时间和I/O量,使用O(k + m)的主存,其中l是LCP数组中的最大值。
2020-12-04 cs.DS
A New Lightweight Algorithm to compute the BWT and the LCP array of a Set of Strings
索引非常大的字符串集合,如那些广泛的测序技术,严重依赖于多串概括的Burrows-Wheeler变换(BWT),并为这个问题提出了各种内存算法。常规处理的数据的快速增长,例如在生物信息学中,需要大量的主存储器,并且这一事实促使算法的开发,以计算BWT,其几乎完全在外部存储器中工作。另一方面,计算最长公共前缀(LCP)数组的相关问题通常在关于字符串集合的若干算法中是有用的,例如计算字符串之间的后缀-前缀重叠的那些算法,这是许多基因组组装算法的必要步骤。目前最好的轻量级方法是在一组$m$字符串上计算BWT和LCP数组,每个$k$字符长,其I/O复杂度为$O(mk^2 \log |Σ|)$(其中$|Σ|$是字母表的大小),因此它不是最佳的。在本文中,我们提出了一种新的方法来建立BWT和LCP阵列(同时)与$O(kmL(\log k +\log σ))$的I/O复杂度,其中$L$是最长的子串,至少出现在输入字符串中的两次的长度。
2016-07-28 cs.DS
Algorithms to compute the Burrows-Wheeler Similarity Distribution
Burrows-Wheeler变换(BWT)是一种广泛应用于数据压缩和文本索引的文本变换。两个字符串的BWT也可以提供它们之间的相似性度量,基于观察到它们的符号在变换中混合得越多,字符串就越相似。在这篇文章中,我们提出了两个新的算法来计算基于BWT的字符串集合的相似性度量。特别是,我们提出了实际和理论上的改进的Burrows-Wheeler相似性分布的计算中的所有对字符串的集合。我们的算法利用BWT计算的所有字符串的串联,并使用压缩的数据结构,允许减少运行时间与小内存占用,如一组实验所示的真实和人工数据集。
2019-03-25 cs.DS
On Bijective Variants of the Burrows-Wheeler Transform
排序变换(ST)是Burrows-Wheeler变换(BWT)的一种改进。这两种转换都将长度为n的任意字映射到由长度为n的字和1到n之间的索引组成的对。BWT对输入单词的所有旋转共轭进行排序,而k阶ST仅使用前k个字母对所有此类共轭进行排序。如果两个共轭以长度为k的相同前缀开始,则旋转的索引用于平局打破。这两种转换都输出排序列表的最后一个字母的序列和排序列表中输入的索引。在本文中,我们讨论了BWT的一个双射变体(由于Scott),证明了它的正确性以及与Gessel和Littenauer(1993)以及Crochemore,Desarmenien和Perrin(2005)的其他结果的关系。此外,我们提出了一个新的双射ST的变体。
2009-08-03 cs.DS
Lossy Compressor preserving variant calling through Extended BWT
本文提出一种基于扩展Burrows-Wheeler变换和位置聚类的无参考FASTQ有损压缩方法,同时修改碱基和质量分数,在保持良好压缩率的同时优于现有工具保留变异检测信息。
2023-04-17 cs.DS
Efficient construction of the extended BWT from grammar-compressed DNA sequencing reads
我们提出了一个算法,用于建立扩展的BWT(eBWT)的字符串集合从其语法压缩表示。我们的技术利用语法捕获的字符串重复来提高eBWT的计算。因此,集合的重复性越高,每个输入符号使用的资源就越少。我们依赖于一个新的语法最近提出的DCC'21,其非终端作为积木诱导eBWT。这个想法的一个相关应用是构建用于分析测序读数的自索引-原始基因组数据的大量重复字符串集合。自索引在生物信息学中越来越受欢迎,因为它们可以在更少的空间中编码更多的信息。我们高效的eBWT构建为在更大规模的序列数据集上执行准确的生物信息学分析打开了大门,这些数据集不适合当前的eBWT构建技术。
2021-02-08 cs.DS q-bio.GN
GPU-Accelerated BWT Construction for Large Collection of Short Reads
DNA测序技术的进步刺激了用于处理非常大的短字符串(读段)集合的算法和工具的开发。短读比对和组装是研究最充分的问题之一。许多最先进的比对器,在其核心,使用Burrows-Wheeler变换(BWT)作为参考基因组(典型的例子,NCBI人类基因组)的主记忆索引。最近,BWT还发现其在串图组装中的用途,用于索引读段(即,来自DNA测序仪的原始数据)。在一个典型的数据集中,读段的数量是测序基因组的数十倍,可以高达100千兆字节。请注意,参考基因组相对稳定,并且计算索引不是一项频繁的任务。对于读取,索引必须为每个给定的输入从头开始计算。高效的BWT构建能力成为比以前更大的关注。在本文中,我们提出了一个实用的方法,称为CX 1构造非常大的字符串集合的BWT。CX 1是第一个可以利用图形处理单元(GPU,一种相对便宜的设备,提供一千个或更多的原始核心)提供的并行性的工具,同时也可以利用多核CPU的并行性,更有趣的是,可以利用支持GPU的节点集群的并行性。使用CX 1,使用配备四核CPU和GPU的机器,可以在不到2小时内构建高达100千兆字节的短读集合的BWT,或者使用具有4台这样的机器的集群,在大约43分钟内构建(在排除从硬盘加载读取的前16分钟之后,加速几乎是线性的)。以前最快的工具BRC在一台机器上处理100千兆字节需要12小时; BRC如何并行化以利用机器集群(更不用说GPU)是很重要的…
2014-01-29 cs.DC cs.DS q-bio.GN
Space-Efficient Computation of the LCP Array from the Burrows-Wheeler Transform
我们证明了在字母表[1,σ]上总大小为n的文本集合的最长公共前缀数组可以在O(n log σ)时间内从Burrows-Wheeler变换的集合中使用O(n log σ)位的输入和输出工作空间来计算。我们的结果改进(小字母表)和推广(字符串集合)以前的解决方案从贝勒等人,这需要O(n)位的额外工作空间。我们还展示了如何在相同的时间和空间范围内合并总大小为n的两个集合的BWT。我们算法的核心程序可以用来枚举后缀树区间在简洁的空间从BWT,这是独立的利益。我们的第一个算法在DNA字母表上的工程实现以每秒2.92兆字节的速率在RAM中使用每个碱基总共1.5兆字节来诱导短(100个碱基)读段的大(16 GiB)集合的LCP。我们的第二个算法以每秒1.7兆字节的速度合并两个8 GiB的短读段集合的BWT,并在RAM中使用每个碱基0.625兆字节。该算法的扩展也计算合并集合的LCP阵列,以每秒1.48兆字节的速率处理数据,并在RAM中使用每个碱基1.625兆字节。
2019-01-22 cs.DS
A New Class of String Transformations for Compressed Text Indexing
本文提出一类基于局部排序的新型字符串变换,证明其属于包含BWT、ABWT的上下文自适应字母表排序变换族,可用于构建r-index,还给出了线性时间寻找最小游程数BWT变体的算法。
2023-05-08 cs.DS
Burrows-Wheeler transform for terabases
为了避免将读段映射到参考基因组所引入的参考偏倚,生物信息学家正在研究用于分析测序基因组的无参考方法。随着大型项目对数千个个体进行测序,这就需要能够处理序列数据的工具。一个关键的方法是Burrows-Wheeler变换(BWT),它被广泛用于压缩和索引读取。我们提出了一个实用的算法,通过合并子集合的BWT来构建一个大型读取集合的BWT。使用我们的2.4 Tbp数据集,该算法可以在单个系统上合并600 Gbp/天,在游程编码的BWT之上使用30 GB的内存开销。
2016-01-14 cs.DS
In-Place Bijective Burrows-Wheeler Transforms
Burrows-Wheeler变换(BWT)[Burrows和Wheeler,1994]的最知名的变体之一是双射BWT(BBWT)[Gil和Scott,arXiv 2012],其应用扩展的BWT(EBWT)[Mantaci等人,TCS 2007]到给定文本的林登因子的多集。由于EBWT是可逆的,BBWT是一个双射变换,在这个意义上,EBWT的逆图像恢复这个多集的林登因子,使原始文本可以通过排序这些因素在非递增的顺序。在本文中,我们提出了算法的建设或反BBWT的地方使用二次时间。我们还介绍了从BBWT到BWT的转换,反之亦然,(a)使用二次时间的就地转换,或者(b)使用带有$O(r \lg n)$位字的$O(n \lg r / \lg \lg r)$时间的游程长度压缩设置,其中$r$是BWT和BBWT中字符游程的总和。
2020-04-27 cs.DS
Constructing the Bijective and the Extended Burrows-Wheeler Transform in Linear Time
Burrows-Wheeler变换(BWT)是一种置换变换,广泛应用于数据压缩和文本索引。双射BWT(BBWT)是它的一个双射变体,虽然已知BWT可以用线性时间后缀数组构造算法在线性时间内构造成整数字母表,但到目前为止只证明了BBWT也可以在线性时间内构造。我们证实了这一猜想,提出了一个建设的算法,是基于SAIS,改善了最好的已知结果的$O(n \lg n /\lg \lg n)$时间线性。
2021-04-22 cs.DS
Computing the original eBWT faster, simpler, and with less memory
Mantaci等人[TCS 2007]定义了eBWT以将BWT的定义扩展到字符串的集合,然而,自从引入以来,它已经更普遍地用于描述字符串集合的任何BWT和原始定义的基本属性(即,与输入顺序的独立性)经常被忽略。在本文中,我们提出了一种简单的线性时间算法来构建原始eBWT,它不需要Bannai等人的预处理。[CPM 2021]。作为一个副产品,我们获得了第一个线性时间算法计算BWT的一个单一的字符串,既不使用字符串结束符号,也不林登旋转。我们结合了我们的新eBWT建设的变化前缀免费解析,允许可扩展的eBWT建设。我们评估了我们的算法(pfpebwt)对人类染色体19,沙门氏菌和SARS-CoV2基因组的集合,并证明它是所有集合中最快的方法,第二个最好的方法的最大加速比为7.6倍。峰值内存最多比第二个最佳方法大2倍。与我们的算法一样,也能够报告后缀数组样本的方法相比,我们在峰值存储器上获得了57.1倍的改进。源代码可在www.example.com上公开获得。
2021-06-21 cs.DS
Efficient Construction of the BWT for Repetitive Text Using String Compression
本文提出一种基于诱导后缀排序与游程/语法压缩的半外部算法,以期望线性时间构建BCR BWT,在重复性大规模基因组数据上显著降低内存并提升速度。
2023-08-14 cs.DS
Inverting Parameterized Burrows-Wheeler Transform
本文研究参数化 Burrows-Wheeler 变换的可逆性问题,证明可从长度为 n 的 pBWT 在 O(n²) 时间和 O(n) 空间内恢复原始字符串(至多相差参数符号重命名)。
2025-05-09 cs.DS
Large-scale compression of genomic sequence databases with the Burrows-Wheeler transform
Burrows-Wheeler变换(BWT)是许多文本数据压缩和索引算法的基础,但是计算非常大的字符串集合的BWT的成本阻止了这些技术被广泛应用于DNA测序实验中经常遇到的大量序列。在以前的工作中,我们提出了一种新的算法,使人类基因组规模的数据的BWT计算非常温和的硬件,从而使我们能够调查的BWT作为一种工具,用于压缩这样的数据集。结果我们首先使用模拟读段来探索压缩水平与出错率、读段长度和底层基因组采样水平之间的关系,并比较第二阶段压缩算法的选择。我们证明,压缩可以大大提高了一个特定的重新排序的序列中的集合,并给出了一种新的“隐式排序”的策略,使这些好处能够实现,而无需读取排序的开销。通过这些技术,45倍的真实人类基因组序列数据覆盖率将损失压缩到每个碱基0.5位以下,允许135.3Gbp的序列仅适合8.2Gbytes的空间(从读取中修剪一小部分低质量碱基进一步改善压缩)。这比标准的基于BWT的压缩器(bzip 2)在未修剪的读段上实现的大小小4倍以上,但是我们的方法的另一个重要优点是,它有助于构建压缩的全文索引,例如大规模DNA序列集合上的FM索引。
2012-05-11 cs.DS q-bio.GN
Sensitivity of Repetitiveness Measures to String Reversal
Institute of Science Tokyo(东京科学大学);Kyushu University(九州大学);University of Helsinki(赫尔辛基大学);University of Warsaw(华沙大学)
研究揭示字符串反转对重复性度量如BWT运行数、LZ解析大小等的敏感性,发现其加性敏感性可达$Θ(n)$,并提出相关下界及变体分析。
2026-02-16 cs.DS
Decomposing Words for Enhanced Compression: Exploring the Number of Runs in the Extended Burrows-Wheeler Transform
本文研究单词分解方式对扩展 Burrows-Wheeler 变换中游程数的影响,证明分解数量呈指数级,并构造出最差与最佳分解游程数之比无界的无限单词族,揭示分解选择对压缩性能的潜在代价。
2025-06-05 cs.DM cs.DS cs.FL
Lightweight LCP Construction for Next-Generation Sequencing Datasets
“下一代”DNA测序(NGS)技术的出现意味着数亿个DNA序列的集合现在在生物信息学中是司空见惯的。知道这样的集合的最长公共前缀数组(LCP)将有助于快速计算最大精确匹配、最短唯一子串和最短缺失字。用于计算字符串的LCP的CPU高效算法已经在文献中描述,但是需要在RAM中存在大的数据结构。这使得这些方法对NGS数据集不可行。在本文中,我们提出了第一个轻量级的方法,同时计算,通过顺序扫描,非常大的序列集合的LCP和BWT。对高达8亿100聚体的集合的计算结果表明,我们的算法可扩展到人类全基因组测序实验中遇到的庞大序列集合。
2013-05-01 cs.DS q-bio.GN
Contextual Pattern Matching
University of Chile(智利大学)
本文针对重复字符串集合索引场景提出上下文模式匹配新查询,给出首个利用集合重复性相关空间的解决方案,实现了不同空间时间权衡,可高效查找指定上下文长度下的模式出现情况。
2026-08-19 cs.DS
Cross-Document Pattern Matching
我们研究了一个新的变种的字符串匹配问题称为跨文档字符串匹配,这是一个问题的索引的文档集合,以支持一个有效的搜索模式在选定的文档,其中模式本身是另一个文件的子串。这个问题的几个变种被认为是,和高效的线性空间的解决方案,提出了查询时间的界限,要么不依赖于在所有的模式大小或依赖于它在一个非常有限的方式(双对数)。作为一个副作用,我们提出了一个改进的解决方案,加权水平的祖先问题。
2012-02-18 cs.DS