SparseAssembler2: Sparse k-mer Graph for Memory Efficient Genome Assembly
我们工作的正式版本已经发表在BMC Bioinformatics上，可以在这里找到：http://www.biomedcentral.com/1471-2105/13/S6/S1动机：为了解决与de Bruijn基于图的算法相关的巨大内存使用问题，我们发布了SparseAssembler 1。与最先进的汇编器相比，SparseAssembler 1可以节省多达90%的内存消耗，但它需要多轮去噪才能准确地组装基因组。在本文中，我们介绍了一个新的通用模型，只使用稀疏的k-mer的基因组组装。新模型从一开始就取代了de Bruijn图的思想，并且与我们以前的SparseAssembler 1相比，实现了类似的内存效率和更好的鲁棒性。结果如下：我们证明，所有重叠的k-mer，这是在现有的de Bruijn图基因组组装器中使用的读取的分解，是过于谨慎。我们引入了一个稀疏的k-mer图结构保存稀疏的k-mer，这大大降低了从头基因组组装所需的内存空间要求。与de Bruijn图方法相比，我们设计了一个简单但强大的策略，即，找到基因组中k-mer之间的连接，并沿着连接进行遍历，这可以通过仅保存几个k-mer来完成。为了实现该策略，我们只需要选择一些甚至可能不是重叠的k-mer，并在这些k-mer之间建立由read指示的链接。我们可以遍历这个稀疏的k-mer图来构建重叠群，并最终完成基因组组装。由…
2013-01-09 cs.DS q-bio.GN
GateKeeper: A New Hardware Architecture for Accelerating Pre-Alignment in DNA Short Read Mapping
动机：高通量DNA测序（HTS）技术会产生过多的小DNA片段（称为短读段），这会造成巨大的计算负担。为了分析整个基因组，数十亿个短读段中的每一个都必须基于读段和参考基因组中的“候选”位置之间的相似性映射到参考基因组。被称为比对的相似性测量被公式化为近似字符串匹配问题，是计算瓶颈，因为：（1）其使用二次时间动态编程算法来实现，以及（2）参考基因组中的大多数候选位置由于高相异度而不与给定读段比对。计算这种不正确的候选位置的对齐消耗了现代读映射器的绝大多数执行时间。因此，开发一种快速有效的过滤器至关重要，该过滤器可以检测不正确的候选位置，并在调用计算成本高的对齐操作之前消除它们。结果如下：我们提出了GateKeeper，这是一种新的硬件加速器，可以作为预对齐步骤，快速过滤出最不正确的候选位置。GateKeeper是第一个使用现场可编程门阵列（FPGA）加速预对准的设计，其执行预对准的速度比软件快得多。GateKeeper可以与任何执行序列比对以进行验证的映射器集成。当在单个FPGA芯片上实现时，GateKeeper保持高精度（平均>96%），同时提供高达90倍和130倍的加速，分别超过最先进的软件预对准技术，邻接滤波器和移位汉明距离（SHD）。添加GateKeeper作为预对齐步骤可以将mrFAST映射器的验证时间减少10倍。可用性：https://github.com/BilkentC…
2020-09-27 cs.AR cs.DS q-bio.GN
Fast construction of FM-index for long sequence reads
总结：我们提出了一种新的方法来递增地构建短序列和长序列读段的FM索引，直到基因组的大小。它是第一个可以构建索引的算法，同时隐式地以相反的（补充）字典顺序对序列进行排序，而无需单独的排序步骤。该实现是索引短读段最快的实现之一，也是唯一一个实际上适用于平均长度的读段的实现。可用性和实施：https://github.com/lh3/ropebwt2联系方式：hengli@broadinstitute.org
2014-06-02 cs.DS q-bio.GN
GPU-Accelerated BWT Construction for Large Collection of Short Reads
DNA测序技术的进步刺激了用于处理非常大的短字符串（读段）集合的算法和工具的开发。短读比对和组装是研究最充分的问题之一。许多最先进的比对器，在其核心，使用Burrows-Wheeler变换（BWT）作为参考基因组（典型的例子，NCBI人类基因组）的主记忆索引。最近，BWT还发现其在串图组装中的用途，用于索引读段（即，来自DNA测序仪的原始数据）。在一个典型的数据集中，读段的数量是测序基因组的数十倍，可以高达100千兆字节。请注意，参考基因组相对稳定，并且计算索引不是一项频繁的任务。对于读取，索引必须为每个给定的输入从头开始计算。高效的BWT构建能力成为比以前更大的关注。在本文中，我们提出了一个实用的方法，称为CX 1构造非常大的字符串集合的BWT。CX 1是第一个可以利用图形处理单元（GPU，一种相对便宜的设备，提供一千个或更多的原始核心）提供的并行性的工具，同时也可以利用多核CPU的并行性，更有趣的是，可以利用支持GPU的节点集群的并行性。使用CX 1，使用配备四核CPU和GPU的机器，可以在不到2小时内构建高达100千兆字节的短读集合的BWT，或者使用具有4台这样的机器的集群，在大约43分钟内构建（在排除从硬盘加载读取的前16分钟之后，加速几乎是线性的）。以前最快的工具BRC在一台机器上处理100千兆字节需要12小时; BRC如何并行化以利用机器集群（更不用说GPU）是很重要的…
2014-01-29 cs.DC cs.DS q-bio.GN
MSPKmerCounter: A Fast and Memory Efficient Approach for K-mer Counting
下一代基因组测序（NGS）的一个主要挑战是组装从DNA片段中随机取样的大量重叠短读段。为了完成组装，人们需要完成许多领先的组装算法中的一项基本任务：计算k-mers（序列中长度为k的子串）的出现次数。计数结果对于组装中的许多组件至关重要（例如变体检测和读取错误校正）。对于大型基因组，k-mer计数任务很容易消耗大量内存，使得商品服务器上的大规模并行组装成为不可能。在本文中，我们开发了MSPKmerCounter，一种基于磁盘的方法，使用少量的内存有效地执行大基因组的k聚体计数。我们的方法是基于一种新的技术，称为最小子串分割（MSP）。MSP将短读分为多个不相交的分区，以便每个分区可以加载到内存中并单独处理。通过利用来自相同短读段的k-mer之间的重叠，MSP可以实现惊人的压缩比，从而可以显著降低I/O成本。对于k-mer计数任务，MSPKmerCounter提供了一个非常快速和内存高效的解决方案。在大规模真实短读段数据集上的实验结果表明，MSPKmerCounter可以实现比最先进的k-mer计数方法更好的整体性能。MSPKmerCounter可在http://www.cs.ucsb.edu/~yangli/MSPKmerCounter上获得
2015-05-25 cs.CE cs.DS q-bio.GN
Interval scheduling maximizing minimum coverage
在经典的区间排序问题中，一组$n$作业，其特征在于它们的开始和结束时间，需要由一组机器在各种约束下执行。在本文中，我们研究了一个新的变种，其中的工作需要被分配到最多$k$相同的机器，这样的最小数量的机器是忙碌的，在同一时间被最大化。这在基因组测序和单倍型分型的背景下是相关的，特别是当与基因组比对的一组DNA读段需要被修剪以使得不超过$k$读段重叠，同时在整个基因组上保持尽可能多的读段覆盖时。我们表明，该问题可以解决的时间$\min\left(O(n^2\log k / \log n),O(nk\log k)\right)$使用最大流。我们还给出了一个具有逼近比$ρ=\frac{k}{\lfloor k/2 \rfloor}$的$O(n\log n)$ -时间近似算法.
2015-10-30 cs.DS
Orienting Ordered Scaffolds: Complexity and Algorithms
尽管最近在基因组测序和组装方面取得了进展，但许多目前可用的组装基因组都是以草图形式出现的。这种草图基因组由大量基因组片段（支架）组成，其顺序和/或方向（即，基因组中的基因是未知的。存在各种支架组装方法，其试图确定支架沿着基因组染色体的顺序和方向。这些方法中的一些（例如，基于FISH物理作图、染色质构象捕获等）可以推断支架的顺序，但不一定是它们的方向。这导致支架定向问题的特殊情况（即，推导出每个支架的取向）。我们将定向有序支架的问题解决为基于支架及其对的给定加权方向的优化问题（例如，来自双端测序读段、长读段或同源关系）。我们使用支架图的概念来形式化这个问题（即，图，其中顶点对应于组装的叠连群或支架，边表示它们之间的连接）。我们证明了这个问题是NP-难的，并提出了一个多项式时间算法来解决其特殊情况下，每个支架的方向施加相对于最多两个其他支架。我们进一步开发了一个FPT算法的一般情况下的OOS问题。
2019-11-25 cs.DS q-bio.GN q-bio.QM
Faster and More Accurate Sequence Alignment with SNAP
我们提出了可扩展的核苷酸比对程序（SNAP），这是一种新的短读段和长读段比对器，既更准确（即，对齐更多读数，错误更少），比BWA等最先进的工具快10- 100倍。与最近基于Burrows-Wheeler变换的比对器不同，SNAP使用来自基因组的短种子序列的简单散列索引，类似于BLAST。然而，SNAP通过几种措施大大减少了局部比对检查的数量和成本：它使用更长的种子来减少所考虑的假阳性位置，利用更大的内存容量来加速索引查找，并排除大多数候选位置而不完全计算其到读取的编辑距离。其结果是一种算法，该算法对于从一百到数千个碱基长的读段很好地扩展，并提供了丰富的错误模型，可以匹配突变的类别（例如，更长的插入缺失），这是今天的快速校准器所忽略的。我们计算出，SNAP可以在不到一个小时的时间内将数据集与30倍人类基因组覆盖率进行比对，在Amazon EC2上的成本为2美元，准确率高于BWA。最后，我们描述了正在进行的工作，以进一步改善SNAP。
2011-11-23 cs.DS q-bio.GN
Large-scale compression of genomic sequence databases with the Burrows-Wheeler transform
Burrows-Wheeler变换（BWT）是许多文本数据压缩和索引算法的基础，但是计算非常大的字符串集合的BWT的成本阻止了这些技术被广泛应用于DNA测序实验中经常遇到的大量序列。在以前的工作中，我们提出了一种新的算法，使人类基因组规模的数据的BWT计算非常温和的硬件，从而使我们能够调查的BWT作为一种工具，用于压缩这样的数据集。结果我们首先使用模拟读段来探索压缩水平与出错率、读段长度和底层基因组采样水平之间的关系，并比较第二阶段压缩算法的选择。我们证明，压缩可以大大提高了一个特定的重新排序的序列中的集合，并给出了一种新的“隐式排序”的策略，使这些好处能够实现，而无需读取排序的开销。通过这些技术，45倍的真实人类基因组序列数据覆盖率将损失压缩到每个碱基0.5位以下，允许135.3Gbp的序列仅适合8.2Gbytes的空间（从读取中修剪一小部分低质量碱基进一步改善压缩）。这比标准的基于BWT的压缩器（bzip 2）在未修剪的读段上实现的大小小4倍以上，但是我们的方法的另一个重要优点是，它有助于构建压缩的全文索引，例如大规模DNA序列集合上的FM索引。
2012-05-11 cs.DS q-bio.GN
Barcoding-free BAC Pooling Enables Combinatorial Selective Sequencing of the Barley Gene Space
我们提出了一种新的测序方案，结合了组合池设计和第二代测序技术的最新进展，有效地接近从头选择性基因组测序。我们表明，当处理数百或数千个DNA样本时，组合池是穷举DNA条形码的一种具有成本效益和实用性的替代方案，例如基因组拼接基因丰富的BAC克隆。该协议的新颖性取决于有效比较数亿个短读段并将其分配给正确的BAC克隆的计算能力，以便可以逐个克隆地进行组装。对水稻基因组模拟数据的实验结果表明，去卷积非常准确（99.57%的去卷积读数被分配给正确的BAC），并且所得的BAC组装体具有非常高的质量（BAC被重叠群覆盖，平均约77%的长度）。对大麦基因组的基因丰富子集的真实数据的实验结果证实，去卷积是准确的（配对末端读段中几乎70%的左/右对被分配给相同的BAC，尽管被独立处理），并且BAC组装具有良好的质量（所有组装的重叠群的平均总和是估计的BAC长度的约88%）。
2011-12-19 cs.CE cs.DM cs.DS
Burrows-Wheeler transform for terabases
为了避免将读段映射到参考基因组所引入的参考偏倚，生物信息学家正在研究用于分析测序基因组的无参考方法。随着大型项目对数千个个体进行测序，这就需要能够处理序列数据的工具。一个关键的方法是Burrows-Wheeler变换（BWT），它被广泛用于压缩和索引读取。我们提出了一个实用的算法，通过合并子集合的BWT来构建一个大型读取集合的BWT。使用我们的2.4 Tbp数据集，该算法可以在单个系统上合并600 Gbp/天，在游程编码的BWT之上使用30 GB的内存开销。
2016-01-14 cs.DS
Safe and complete contig assembly via omnitigs
重叠群组装是大多数组装器在从一组读段重建基因组时解决的第一阶段。它的输出由重叠群组成--一组有望出现在任何可能产生读段的基因组中的字符串。自从20年前引入重叠群以来，汇编器一直试图获得越来越长的重叠群，但以下问题从未得到解决：给定基因组图$G$（例如de Bruijn或字符串图），可以安全地从$G$报告为重叠群的所有字符串是什么？在本文中，我们最终回答了这个问题，并给出了一个多项式时间算法来找到他们。我们的实验表明，这些字符串，我们称之为omntigs，平均比流行的unitigs长66%至82%，29%的dbSNP位置在omntigs中的邻居比unitigs中的邻居多。
2016-08-16 cs.DM cs.DS q-bio.GN
Efficient Construction of a Complete Index for Pan-Genomics Read Alignment
虽然主要使用FM索引的短读段比对器能够容易地索引一个或几个人类基因组，但它们不能很好地扩展到索引包含数千个基因组的数据库。为了理解原因，更详细地检查FM索引的主要组成部分是有帮助的，FM索引是字符串的Burrows-Wheeler变换（BWT）上的排名数据结构，它将允许我们找到字符串中的间隔后缀数组（SA）包含指向给定模式出现的开始位置的指针;第二，SA的样本-当与秩数据结构一起使用时-允许我们访问SA。即使对于大的基因组数据库，通过行程长度压缩BWT，也可以保持小的秩数据结构，但是直到最近，还没有已知的方法在不大大减慢对SA的访问的情况下保持小的SA样本。现在Gagie等人（SODA 2018）已经定义了一个SA样本，它占用的空间与游程压缩的BWT相同--我们设计了基因组数据库的有效FM索引，但面临着构建它们的问题。在2018年，我们展示了如何有效地构建大型基因组数据库的BWT（WABI 2018），但构建Gagie等人的问题是，的SA样本有效地保持开放。我们比较了我们的方法，以国家的最先进的方法来构建SA样本，并证明这是最快的和最节省空间的方法在高度重复的基因组数据库。最后，我们将我们的方法用于索引部分和整个人类基因组，并表明它在记忆和时间方面都优于Bowtie。
2018-11-16 cs.DS
Gerbil: A Fast and Memory-Efficient $k$-mer Counter with GPU-Support
生物信息学中的一项基本任务是对基因组串中的$k$ -聚体进行计数。$k$ -mer计数问题是建立给定基因组序列中长度为$k$的所有子串的直方图。我们提出了开放源码的$k$ -mer计数软件Gerbil，该软件已被设计用于对$k\geq32$的$k$ -mer进行有效计数。考虑到下一代测序仪的长读段技术趋势，对大$k$的支持变得越来越重要。虽然现有的$k$ -mer计数工具遭受过多的内存资源消耗或降低性能的大型$k$，沙鼠是能够有效地支持大型$k$没有太多的性能损失。我们的软件实现了两个磁盘的方法。在第一步中，从磁盘加载DNA读段，并将其分发到存储在工作磁盘上的临时文件中。在第二步中，再次读取临时文件，将其分成$k$ -mer并通过哈希表方法计数。此外，沙鼠可以选择使用GPU来加速计数步骤。对于大的$k$，我们优于最先进的开源$k$ -mer计数工具的大基因组数据集。
2016-07-22 cs.DS q-bio.QM
Optimal Assembly for High Throughput Shotgun Sequencing
我们提出了一个框架的最佳组装算法的设计鸟枪测序的标准下完全重建。我们推导出一个下限的读取长度和重建所需的基因组的重复统计的覆盖深度。在早期工作的基础上，我们设计了一个基于de Brujin图的组装算法，该算法可以实现非常接近广泛的测序基因组（包括GAGE数据集）的重复统计下限。这些结果是基于DNA序列和用于重建的读段的一组必要和充分条件。这些条件可以被视为鸟枪测序类似于Ukkonen-Pevzner的杂交测序的必要和充分条件。
2013-02-18 cs.DS cs.IT math.IT
Prefix-free graphs and suffix array construction in sublinear space
针对泛基因组图结构难以直接应用字符串数据结构的问题，提出新型数据结构prefix-free graphs，并在子线性空间下构建后缀数组等结构以支持高效泛基因组操作。
2023-06-26 cs.DS
