MeFiT: Merging and Filtering Tool for Illumina Paired-End Reads for 16S rRNA Amplicon Sequencing
下一代测序的最新进展彻底改变了基因组研究。在Illumina,Inc.的MiSeq平台上使用配对末端测序进行16 S rRNA扩增子测序,被用于表征极其复杂/多样的微生物群落的组成和动态。对于Illumina平台上的这种分析,配对末端读数的合并和质量过滤是数据分析的重要第一步,以确保下游分析的准确性和可靠性。我们开发了合并和过滤工具(MeFiT),将这些预处理步骤组合成一个简单直观的管道。MeFiT提供了一种开源解决方案,允许用户根据用户选择的质量参数合并和过滤双端Illumina读数。该工具已在python中实现,源代码可在https://github.com/nisheth/MeFiT上免费获得。
2015-12-10 q-bio.GN
DBG2OLC: Efficient Assembly of Large Genomes Using Long Erroneous Reads of the Third Generation Sequencing Technologies
(An该手稿的更新版本已被2016年的科学报告接受,请参考http://www.nature.com/articles/srep31900)从下一代测序(NGS)到第三代测序(3GS)的高度预期的过渡一直很困难,主要是由于高错误率和过高的测序成本。高错误率使得大基因组的长错误读段的组装具有挑战性,因为现有的软件解决方案通常被错误校正任务淹没。在这里,我们报告了一种混合组装方法,同时利用NGS和3GS数据来解决这两个问题。我们从三个一般和基本的设计原则中获得优势:(i)长读段的紧凑表示导致有效的比对。(ii)基本错误可以跳过;结构性错误需要检测和纠正。(iii)结构正确的3GS读数被组装和抛光。在我们的实现中,预组装的NGS重叠群被用于推导长读段的紧凑表示,这建立了从de Bruijn图到重叠图的算法转换,这两个主要的组装范例。此外,由于NGS和3GS数据可以相互补偿,我们的混合组装方法降低了它们的测序要求。实验表明,我们的软件能够比现有的方法更有效地在时间上更有效地组装多个数量级的基因组,同时节省大约一半的测序成本。
2016-09-03 q-bio.GN
Assembly of repetitive regions using next-generation sequencing data
高读取深度可用于组装短序列重复。现有的基因组组装器在比平均读取更长的重复区域中失败。我提出了一个新的算法,它使用的相对频率读取正确地重建重复序列的DNA组装。该数学模型显示了作为读段覆盖率的函数的结果的准确度上限。对于高覆盖度,估计误差线性地依赖于重复序列长度并且与测序覆盖度成反比。该算法需要由下一代测序仪提供的高读取深度,并且可以使用现有数据。对从几个模型基因组中通过计算机生成的无错读段的测试指出了正确重建的重复序列,而现有的组装程序失败了。
2014-11-03 q-bio.GN
Illumina Sequencing Artifacts Revealed by Connectivity Analysis of Metagenomic Datasets
宏基因组数据集中的测序错误和偏差会影响基于覆盖率的组装,并且在分析过程中经常被忽略。在这里,我们分析了宏基因组中的读取连接,并确定宏基因组组装图中存在问题和可能的生物连接。具体地说,我们鉴定了在每个真实宏基因组内加入大比例读段的高度连接的序列。这些序列在鸟枪法读数中显示位置特异性偏差,提示测序伪影,并且仅通过组装最低限度地并入重叠群中。在组装之前去除这些序列导致大多数宏基因组的相似组装内容,并且使得能够使用图划分来减少组装存储器和时间要求。
2012-12-01 q-bio.GN
DeepNano: Deep Recurrent Neural Networks for Base Calling in MinION Nanopore Reads
动机:Oxford Nanopore的MinION设备是第一个便携式测序设备。MinION能够产生非常长的读段(报道的读段超过100 kBp),然而其遭受高测序错误率。在本文中,我们表明,错误率可以通过改进碱基调用过程来降低。结果:我们为Oxford Nanopore的MinION测序平台提供了第一个开源DNA碱基调用程序。通过采用精心制作的循环神经网络,与制造商提供的默认碱基调用者相比,我们的工具提高了碱基调用的准确性。这一进展可能进一步增强MinION在基因组测序和各种临床应用中的适用性。可用性:DeepNano可以在http://compbio.fmph.uniba.sk/deepnano/下载。联系方式:boza@fmph.uniba.sk
2016-03-30 q-bio.GN
Diminishing Return for Increased Mappability with Longer Sequencing Reads: Implications of the k-mer Distributions in the Human Genome
基因组中非独特序列(非单基因组)的量直接影响高通量测序数据与参考组装的读段比对的难度。尽管更大的长度增加了读段被唯一地映射到参考基因组的机会,但一直缺乏读段长度对可映射性的影响的定量分析。为了解决这个问题,我们评估了人类参考基因组的k-mer分布。k-聚体频率是针对范围从20至1000个碱基对的k确定的。我们使用非单k-mer的比例来评估相应读段长度的读段的可映射性。我们观察到,非单态的比例随着k的增加而缓慢下降,并且可以通过在不同的k范围内具有不同指数的分段幂律函数来拟合。k值越小,衰减越快,表明读取长度> 200个碱基对的增益越有限。k-mer的频率分布呈现出长尾的幂律趋势,秩次图呈现出凹形Zipf曲线。最常见的1000-mer的位置包括172个内切酶范围的区域,包括1号和X染色体上的四个大的延伸,包含具有生物医学意义的基因。即使读取长度1000也不足以可靠地对这些特定区域进行测序。
2013-08-28 q-bio.GN
Clustering pipeline for determining consensus sequences in targeted next-generation sequencing
来自下一代测序(NGS)技术的靶向基因组测序数据的分析通常涉及将读数映射到参考序列或聚类读数。对于许多物种,参考基因组不可用,因此靶向测序数据的分析,例如由可动元件引起的多态性结构变异是困难的;聚类方法优选用于这种数据分析。读段的聚类需要聚类阈值参数,该参数用于比较和分组读段。然而,确定读取数据集的最佳聚类阈值是具有挑战性的,因为不同的序列组成、存在的序列数量以及数据集中的测序错误量。聚类阈值参数的高值可能错误地增加恢复的基因组区域的数量,而聚类阈值的低值可能将来自不同区域的读段合并到单个聚类中。因此,需要一种可以凭经验确定聚类阈值的算法。我们提出了一种用于聚类基因组序列的流水线,其中聚类阈值根据NGS数据凭经验确定。最佳阈值的决定基于两个内部聚类的措施,评估小的簇内直径和大的簇间距离的集群。我们在两个模拟数据集上评估管道,这两个数据集来自模拟不同基因组区域和测序深度的人类基因组序列。与单轮聚类相比,从我们的流水线获得的聚类总数更接近参考序列的实际数量。此外,在我们的流水线中,其共有序列匹配相应参考序列的簇的数量更高。我们观察到,重复区域的存在影响聚类精度。
2016-02-13 q-bio.GN
MOSAIK: A hash-based algorithm for accurate next-generation sequencing read mapping
本文介绍了一种精确的短读映射器,用于下一代测序数据,广泛用于1000个基因组计划,人类临床和其他物种的基因组研究。
2013-09-04 q-bio.GN q-bio.QM
MEEPTOOLS: A maximum expected error based FASTQ read filtering and trimming toolkit
下一代测序技术快速产生大量数据,并且这种测序数据的质量控制对于任何基因组分析都是必不可少的。在这里,我们介绍了MEEPTOOLS,这是一个开源工具的集合,基于最大预期误差作为读取长度的百分比(MEEP评分)来过滤,修剪,截断和评估FASTQ文件格式的下一代DNA测序数据。MEEPTOOLS提供了一种非传统的读取过滤/修剪方法,该方法基于非对数尺度上读取中碱基的最大错误概率。与传统的质量过滤策略相比,该方法同时保留了更多的可靠基和去除了更多的不可靠基。
2015-12-10 q-bio.GN
Fast and accurate alignment of long bisulfite-seq reads
总结:每个模板至少200个碱基的更长测序读段现在很常见。虽然传统的比对器已经采用了新的策略来改善较长读段的映射,但是当短得多的读段是标准时,对亚硫酸氢盐测序特异性的比对器进行了优化。我们试图使用更长的读段进行第一次比较,以确定哪些比对器是最准确和有效的,并评估一种新的软件工具,bwa-meth,建立在传统的映射器上,支持插入,删除和剪切比对。我们通过比较来自靶向测序项目的靶上和脱靶读数的数量以及通过模拟来衡量准确性。可用性和实施:基准测试脚本和bwa-meth软件可以在https://github/com/brentp/bwa-meth/上获得,并使用MIT许可证。
2014-05-13 q-bio.GN
EDGE COVID-19: A Web Platform to generate submission-ready genomes for SARS-CoV-2 sequencing efforts
基因组学已成为监测新出现的传染病暴发的一项重要技术。世界各地的实验室正在使用各种各样的病原体基因组富集和测序技术和战略,以及不同的、有时是特别的分析程序来生成基因组序列。因此,公共知识库现在包含质量参差不齐的非标准条目。用于确定共有基因组序列的标准化分析过程,特别是对于正在进行的COVID-19大流行等疫情,对于为流行病学分析和充分知情的决策提供坚实的基因组基础至关重要。为了满足这一需求,我们开发了一种生物信息学工作流程,以标准化对Illumina或Oxford Nanopore平台生成的SARS-CoV-2测序数据的分析。使用直观的基于网络的界面,该工作流程自动化了基于SARS-CoV-2参考的基因组组装、变异检测、谱系确定,并提供了向GenBank或GISAID提交共有序列和必要元数据的能力。给定原始的Illumina或Oxford Nanopore FASTQ读取文件,这个基于网络的平台使非生物信息学专家能够自动产生SARS-CoV-2基因组,准备提交给GISAID或GenBank。可用性:https://edge-covid19.edgebioinformatics.org; https://github.com/LANL-Bioinformatics/EDGE/tree/SARS-CoV2
2021-06-24 q-bio.GN
Sashimi plots: Quantitative visualization of RNA sequencing read alignments
我们引入了Sashimi图,这是一种与基因注释对齐的mRNA测序读数的定量多样本可视化。生鱼片图是使用比对(以SAM/BAM格式存储)和基因模型注释(以GFF格式存储)制作的,其可以由用户定制或从数据库如Ensembl或UCSC获得。我们描述了两种实现的刺身图:(1)一个独立的命令行实现,旨在使可定制的出版物质量的数字,和(2)一个实现内置到集成基因组查看器(IGV)浏览器,它可以快速和动态创建刺身图的任何感兴趣的基因组区域,适合探索性分析的转录组的可变剪接区域。由MISO程序输出的异构体表达估计值可以任选地与生鱼片图一起绘制。生鱼片图可用于快速筛选感兴趣的基因组区域的差异剪接外显子,并可用于出版质量图。Sashimi绘图软件和文档可从http://genes.mit.edu/burgelab/miso/docs/sashimi.html获得
2013-06-14 q-bio.GN
Reducing assembly complexity of microbial genomes with single-molecule sequencing
背景:第一代和第二代DNA测序仪输出的短读段不能完全重建微生物染色体。因此,大多数基因组都没有完成,因为需要大量的资源来手动填补草案汇编中的空白。第三代单分子测序通过大大增加测序读段长度来解决这个问题,这简化了组装问题。结果如下:为了衡量单分子测序对微生物基因组组装的益处,我们对6种细菌的基因组进行了测序和组装,并分析了2,267种完整细菌和古细菌的重复复杂性。我们的研究结果表明,大多数已知的细菌和古细菌基因组可以组装没有差距,在成品级的质量,使用一个单一的PacBio RS测序库。这些单文库组装也比典型的短读段组装和短读段和长读段的混合组装更准确。结论:长的单分子测序数据的自动组装将大多数基因组的微生物整理成本降低到1,000美元,预计该技术的未来进展将降低成本。预计这将增加已完成的基因组数量,提高微生物基因组数据库的质量,并实现对泛基因组和染色体组织的高保真、人群规模的研究。
2013-11-15 q-bio.GN
Haplotype-based variant detection from short-read sequencing
从短读段DNA测序数据中直接检测单倍型需要改变现有的小变异检测方法。在这里,我们开发了一个贝叶斯统计框架,这是能够建模的多等位基因位点的个人与非均匀的拷贝数。然后,我们描述了我们的实现这个框架中的单倍型为基础的变异检测器,FreeBayes。
2012-07-20 q-bio.GN q-bio.QM
Estimation of genome size using k-mer frequencies from corrected long reads
第三代长读段测序技术,如PacBio和Nanopore,在从头组装研究中比第二代Illumina测序具有很大的优势。然而,由于固有的低碱基准确度,第三代测序数据不能用于k-mer计数和基于k-mer频率估计基因组谱。因此,在目前的基因组计划中,第二代数据也是准确确定基因组大小和其他基因组特征所必需的。我们表明,校正后的第三代数据可以用来计算k聚体频率和估计基因组大小可靠,在使用第二代数据的替代。因此,未来的基因组计划可以只依靠一种测序技术来完成组装和k-mer分析,这将大大降低测序成本,无论是时间还是金钱。此外,我们提出了一个快速的轻量级工具kmerfreq,并使用它来执行所有的k-mer计数任务在这项工作中。我们已经证明,校正的第三代测序数据可用于估计基因组大小,并开发了一种新的开源C/C++ k-mer计数工具kmerfreq,可在https://github.com/fanagislab/kmerfreq上免费获得。
2020-03-26 q-bio.GN
Indexing arbitrary-length $k$-mers in sequencing reads
我们提出了一个轻量级的数据结构的索引和查询收集的NGS读数据在主存中。该数据结构支持Philippe等人在开创性工作中提出的接口,用于计数和定位测序读数中的$k$ -聚体。我们的解决方案,PgSA(伪基因组后缀阵列),基于寻找重叠读段,是竞争力的空间使用,查询时间,或两者兼而有之的现有算法。我们的索引的主要应用包括变体调用,错误校正和RNA-seq实验的读数分析。
2015-02-13 cs.DS q-bio.GN
Methylation Operation Wizard (MeOW): Identification of differentially methylated regions in long-read sequencing data
本文提出MeOW程序,利用长读长测序数据在全基因组范围内识别和优先排序差异甲基化区域,支持计数文件或含修饰碱基标签的bam文件作为输入。
2024-02-27 q-bio.GN q-bio.QM
Optimal DNA shotgun sequencing: Noisy reads are as good as noiseless reads
我们建立了噪音读取下的DNA鸟枪测序的基本限制。我们展示了一个令人惊讶的结果:对于i.i.d.在DNA模型中,噪声读取与无噪声读取一样好,前提是噪声水平低于某个阈值,该阈值可能高得令人惊讶。例如,对于均匀分布的DNA序列和对称置换噪声读取通道,阈值高达19%。
2013-04-09 cs.IT math.IT q-bio.GN
HLA predictions from long sequence read alignments, streamed directly into HLAminer
测序技术的快速变化为基因组学研究带来了新的机遇。更长的序列读段和更高的序列通量,加上不断提高的碱基准确性和降低的每碱基成本,现在使得长读段适合于分析人类基因组的多态性区域,例如人类白细胞抗原(HLA)基因复合物的多态性区域。在这里,我提出了一个简单的协议,预测HLA签名从全基因组鸟枪(WGS)长测序读取,直接流序列比对到HLAminer。该方法与运行minimap2一样简单,它随要比对的序列数量而缩放,并且可以与任何能够sam格式输出的读取比对器一起使用,而无需将庞大的比对文件存储到磁盘。我展示了即使使用较旧和较不准确的WGS纳米孔数据集和相对较低(10倍)的序列覆盖率,预测也是稳健的,并提出了一个逐步的方案,以从现代第三代技术的长测序读数中预测HLA I类和II类基因。
2022-09-19 q-bio.GN
Using Sequence Ensembles for Seeding Alignments of MinION Sequencing Data
Oxford Nanopore MinION测序仪是目前最小的测序设备。虽然能够产生非常长的读段(报道了高达100 kbp的读段),但其易于产生高达30%的高测序出错率。由于这些错误中的大多数是插入或删除,因此很难适应流行的基于种子的算法,该算法被设计用于以低得多的出错率比对数据集。MinION读段的碱基识别通常使用隐马尔可夫模型完成。在本文中,我们建议从这样的概率模型中采样的序列的集合来表示每个测序读取。与对每个读段使用单个代表性碱基识别序列相比,这种方法可以提高接种比对的灵敏度和假阳性率。
2016-06-28 cs.DS q-bio.GN
Linking de novo assembly results with long DNA reads by dnaasm-link application
目前,与下一代测序技术相比,允许获得更长的DNA读数的第三代测序技术正变得越来越流行。有许多可能性可以将下一代和第三代测序的数据结合起来。在此,我们提出了一个新的应用程序称为dnaasm-link连接重叠群,\textit{de novo}组装的第二代测序数据的结果,与长的DNA读取。我们的工具包括一个集成模块,用于使用适当长的DNA读段的合适片段来填补空白,这提高了所得DNA序列的一致性。该特征非常重要,特别是对于复杂的DNA区域,如本文所述。最后,我们的实现在速度和内存要求方面优于其他最先进的工具,这可能使所呈现的应用程序能够用于具有大基因组的生物体,这在现有应用程序中是不可能的。所提出的应用具有许多优点,如(i)显著的存储器优化和计算时间的减少(ii)通过指定的长DNA读段的适当片段填充缺口(iii)减少现有基因组草图中跨越和未跨越缺口的数量。该应用程序在GNU Library或Lesser General Public License version 3.0(LGPLv3)下免费提供给所有用户。演示应用程序、Docker镜像和源代码可在www.example.com上获得。
2018-11-13 q-bio.GN
Estimation of the methylation pattern distribution from deep sequencing data
动机:亚硫酸氢盐测序能够检测胞嘧啶甲基化。任何给定读段上胞嘧啶的甲基化状态的序列形成甲基化模式,其携带比仅仅研究单个位置处的平均甲基化水平多得多的信息。为了更好地理解生物样品中DNA甲基化景观的复杂性,研究这些甲基化模式的多样性是很重要的。然而,甲基化模式的准确定量易受测序错误和由于胞嘧啶的不完全亚硫酸氢盐转化而产生的假信号的影响。结果:一个统计模型的开发,占在任何给定的基因座的DNA甲基化模式的分布。该模型结合了测序错误和虚假读数的影响,并能够估计甲基化模式的真实潜在分布。结论:在R Bioconductor软件包MPFE中计算甲基化模式的估计分布。该软件包的源代码和文档也可从http://bioconductor.org/packages/3.0/bioc/html/MPFE.html下载。
2014-12-08 q-bio.GN
Private Shotgun DNA Sequencing
目前对基因组测序的技术允许服务提供商(例如测序公司)完全访问基因组信息,因此侵犯了个体关于其终身秘密的隐私。在本文中,我们介绍了私人DNA测序的问题,其目标是保持私人的DNA序列的测序仪。我们提出了一个架构,其中读取DNA片段的任务和DNA组装的任务是分开的,前者是在测序仪(S)完成,后者是在本地可信的数据收集器完成。为了满足测序仪处的隐私约束和数据收集器处的重建条件,我们依靠两种技术在这两者之间创建信息间隙:(i)我们使用多于一个非串通测序仪,所有测序仪将读取片段报告给单个数据收集器,(ii)将测序仪仍然未知的一些已知DNA分子的片段添加到池中。我们证明,这两种技术提供了足够的自由,以满足这两个条件在同一时间。
2018-11-23 q-bio.GN
Y-Trim: Evidence-gated Adaptase tail trimming for single-stranded bisulfite sequencing
School of Engineering, Tufts University(塔夫茨大学工程学院)
Y-Trim通过基于证据的决策框架,解决单链亚硫酸盐测序中无模板适配酶尾部修剪的不确定性问题,提供可解释的预处理策略。
2026-02-08 q-bio.GN
Accurate selfcorrection of errors in long reads using de Bruijn graphs
新的长读段测序技术,如PacBio SMRT和Oxford NanoPore,可以产生长达50,000 bp的测序读段,但错误率至少为15%。降低错误率对于随后利用读取是必要的,例如,从头基因组组装。错误校正问题已经通过将长读段彼此比对或通过使用由第二代测序技术产生的更准确的短读段来校正长读段的混合方法来解决。我们提出了一个错误纠正方法,只使用长读。该方法由两个阶段组成:首先,我们使用基于de Bruijn图的迭代无重复校正方法,其中k聚体的长度增加,其次,使用使用多重比对发现的长距离依赖性进一步抛光校正的读数。根据我们的实验,所提出的方法是最准确的一个依赖于长读段只为读段集具有高覆盖率。此外,当读段集的覆盖率至少为75倍时,新方法的吞吐量至少高出20%。LoRMA可在http://www.cs.helsinki.fi/u/lmsalmel/LoRMA/上免费获得。
2016-04-08 q-bio.GN
ProDOMA: improve PROtein DOMAin classification for third-generation sequencing reads using deep learning
Michigan State University(密歇根州立大学);City University of Hong Kong(香港城市大学)
动机:随着第三代测序技术的发展,人们可以获得几十到几百kb的DNA序列。这些长读段允许蛋白质结构域注释而无需组装,因此可以对基础数据的生物学功能产生重要的见解。然而,第三代测序数据中的高错误率对已建立的域分析管道提出了新的挑战。现有技术的方法没有针对噪声读数进行优化,并且在第三代测序数据中显示出不令人满意的结构域分类准确性。仍然需要新的计算方法来提高在长噪声读取中的域预测的性能。结果:在这项工作中,我们引入了ProDOMA,这是一种深度学习模型,可以对第三代测序读数进行域分类。它使用具有3帧翻译编码的深度神经网络从部分正确的翻译中学习保守特征。此外,我们将我们的问题表述为开集问题,因此我们的模型可以拒绝不相关的DNA读取,例如来自非编码区的DNA读取。在对蛋白质编码序列的模拟读段和来自人类基因组的真实读段的实验中,我们的模型在蛋白质结构域分类上优于HMMER和DeepFam。总之,ProDOMA是一种有用的端到端蛋白质结构域分析工具,用于长噪声读取,而不依赖于纠错。可用性:源代码和训练模型可以在https://github.com/strideradu/ProDOMA上免费获得。联系方式:yannisun@cityu.edu.hk
2020-09-26 cs.LG q-bio.GN
Alignment-free comparison of next-generation sequencing data using compression-based distance measures
来自下一代测序(NGS)技术的大量短读段数据对基因组序列比较领域提出了新的挑战。由于短读段组装的挑战性问题,多序列比对方法几乎不适用于NGS数据。因此,需要开发无干扰的方法来比较短读段的NGS样品。最近,已经提出了新的基于$k$聚体的距离测量,例如{ \it CV树}、$d_{2}^{S}$、{ \it共系}来解决该问题。然而,这些距离在很大程度上取决于参数$k$,并且如何选择最佳的$k$并不简单,因为它可能取决于序列数据的不同方面。因此,在本文中,我们考虑一种替代的无参数方法:基于压缩的距离测量。这些措施在以前的研究中对长基因组序列表现出令人印象深刻的性能,但它们尚未在NGS短读段上进行测试。在这项研究中,我们进行了广泛的验证,并表明,基于压缩的距离是高度一致的那些距离从$k$ -mer为基础的方法,从基于压缩的方法,并从现有的基准文献。此外,由于这些措施是无参数的,不需要优化,他们仍然表现出一贯良好的多种类型的序列数据,不同种类的物种和分类水平。基于压缩的距离测量是无装配、无装配、无参数的,因此代表了用于比较长基因组序列和短读段的NGS样品的有用工具。
2014-02-04 q-bio.GN
pgMAP: a pipeline to enable guide RNA read mapping from dual-targeting CRISPR screens
本文开发了pgMAP分析流程,用于双靶向CRISPR筛选的gRNA读段比对,输出双gRNA计数表和质控指标,并以Snakemake实现开源发布。
2023-06-01 q-bio.GN
SnakeLines: integrated set of computational pipelines for sequencing reads
背景资料:随着大规模并行测序技术的快速发展,更多的实验室正在利用测序的DNA片段进行基因组分析。然而,测序数据的解释强烈依赖于生物信息学处理,这对于没有计算背景的临床医生和研究人员来说通常要求太高。另一个问题是,在不同的计算中心之间,由于安装的文库和生物信息学工具的版本不一致,计算分析的可重复性。结果如下:我们提出了一个易于扩展的计算管道集,称为SnakeLines,用于处理测序读取;包括映射,组装,变异检测,病毒鉴定,转录组学,宏基因组学和甲基化分析。分析的各个步骤以及方法及其参数可以在单个配置文件中轻松修改。提供的管道嵌入在虚拟环境中,确保所需资源与主机操作系统隔离,快速部署,以及跨不同Unix平台的分析重现性。结论:SnakeLines是一个强大的生物信息学分析自动化框架,强调简单的设置,修改,可扩展性和再现性。关键词:计算流水线,框架,大规模并行测序,再现性,虚拟环境
2021-06-25 cs.CE q-bio.GN
Estimating Sequence Similarity from Read Sets for Clustering Next-Generation Sequencing data
为了对仅给出其读段集表示的序列进行聚类,可以尝试从相应的读段集重建每一个,然后采用常规的(不)相似性度量,例如对组装的序列的编辑距离。然而,这种方法是有问题的,我们建议,而不是估计直接从读取集的相似性。我们的方法是基于适应的Monge-Elkan相似性从数据库领域已知的。它避免了序列组装的NP难问题。对于低覆盖率数据,与先组装后聚类方法相比,它导致更好地近似真实序列相似性,从而更好地聚类。
2017-05-16 cs.DS q-bio.GN
Numeric Lyndon-based feature embedding of sequencing reads for machine learning approaches
University of Milano-Bicocca(米兰比可卡大学);University of Salerno(萨勒诺大学);University of Bielefeld(比勒费尔德大学)
文献中已经提出了特征嵌入方法来将序列表示为数字向量,以用于一些生物信息学研究,例如家族分类和蛋白质结构预测。最近的理论结果表明,著名的林登因子分解保持公共因子重叠字符串。令人惊讶的是,测序读段的指纹(其是读段的林登因子分解的变体中的连续因子的长度的序列)在保留序列相似性方面是有效的,这表明其作为定义测序读段的新颖表示的基础。我们提出了一种新的特征嵌入方法的下一代测序(NGS)数据使用指纹的概念。我们提供了一个理论和实验框架,以估计指纹的行为和从它提取的$k$ -聚体,称为$k$ -手指,作为可能的特征嵌入测序读取。作为评估这种嵌入有效性的案例研究,我们使用指纹来表示RNA-Seq读数,并将它们分配给最可能的基因,它们作为基因转录本的片段起源。我们在工具lyn 2 vec中提供了所提出的方法的实现,该工具产生测序读取的基于Lyndon的特征嵌入。
2022-06-02 cs.FL cs.LG q-bio.GN
A feasible roadmap to identifying significant intercellular genomic heterogeneity in deep sequencing data
细胞间异质性既是研究单个克隆的混杂因素,也是表征任何异质组织(如血液、肿瘤系统)的信息来源。由于不可避免的测序错误和其他样品制备伪像,如PCR错误,表征细胞间基因组异质性的系统性努力必须有效区分真正的克隆序列与假衍生物。我们开发了一种新的方法(SIGH),用于直接从混合测序读数中识别重要的真正克隆序列,这可以改善许多生物背景下的基因组分析。该方法提供了几个有吸引力的特征:(1)它自动地从原始序列读数估计错误率并识别真正的克隆序列;(2)它对由于各种实验条件而导致的大量错误率变化是鲁棒的;(3)它由充分利用测序错误的概率特性的基础统计框架支持;(4)其无偏策略允许检测稀有克隆,尽管该克隆相对丰度;以及(5)其估计每个样品中的组成比例。广泛的现实模拟研究表明,我们的方法可以可靠地估计错误率,并忠实地区分真正的克隆假衍生品,铺平了道路,否则破坏了往往占主导地位的假克隆的后续分析。
2014-09-27 q-bio.GN
Efficient construction of the extended BWT from grammar-compressed DNA sequencing reads
我们提出了一个算法,用于建立扩展的BWT(eBWT)的字符串集合从其语法压缩表示。我们的技术利用语法捕获的字符串重复来提高eBWT的计算。因此,集合的重复性越高,每个输入符号使用的资源就越少。我们依赖于一个新的语法最近提出的DCC'21,其非终端作为积木诱导eBWT。这个想法的一个相关应用是构建用于分析测序读数的自索引-原始基因组数据的大量重复字符串集合。自索引在生物信息学中越来越受欢迎,因为它们可以在更少的空间中编码更多的信息。我们高效的eBWT构建为在更大规模的序列数据集上执行准确的生物信息学分析打开了大门,这些数据集不适合当前的eBWT构建技术。
2021-02-08 cs.DS q-bio.GN
AMRScan 2: provenance-recorded detection of antimicrobial resistance determinants in bacterial assemblies, with archived susceptibility data from NCBI Pathogen Detection
The University of Sydney(悉尼大学);ANZAC Research Institute(ANZAC研究所)
AMRScan 是一个用 R 和 Nextflow 实现的混合生物信息学工具包,通过 BLAST 比对参考数据库,支持从 NGS 数据中快速、可重复地检测抗菌素耐药基因,兼顾单样本分析与多样本批量处理。
2026-11-03 q-bio.GN
Extraction of long k-mers using spaced seeds
从测序读数中提取k-mer是许多生物信息学应用中的重要任务,例如基于de Bruijn图的所有DNA序列分析方法。当使用的k-mer在分析的DNA中是独特的时,这些方法往往更准确,因此优选使用较长的k-mer。当短读段测序技术的读段长度增加时,错误率将成为k的最大可能值的决定因素。在这里,我们提出了LoMeX,它使用间隔种子准确地提取长k-mer,即使在存在测序错误的情况下。我们的实验表明,LoMeX可以从当前Illumina读取中提取长k-mer,其召回率高于标准k-mer计数工具。此外,我们对模拟数据的实验表明,当读长进一步增加时,标准k-mer计数器的性能下降,而LoMeX仍然成功地提取长k-mer。
2020-10-23 q-bio.GN
ntLink: a toolkit for de novo genome assembly scaffolding and mapping using long reads
本文介绍开源工具ntLink,利用基于minimizer的轻量级长读长定位实现高效基因组支架搭建、重叠检测、缺口填充与迭代,并支持错误组装检测等下游应用。
2023-01-20 q-bio.GN
Information Theory of DNA Shotgun Sequencing
DNA测序是现代生物学和医学的基本工具。鸟枪测序是使用的主要技术:从DNA序列中提取许多随机定位的短片段,称为读取,并将这些读取组装以重建原始序列。一个基本问题是:给定测序技术和DNA序列的统计数据,可靠重建所需的最小读取数是多少?此数字为{ \em any}汇编算法的性能提供了基本限制。对于一个简单的统计模型的DNA序列和读取过程中,我们表明,答案承认一个关键的现象,在长DNA序列的渐近极限:如果读取长度低于阈值,重建是不可能的,无论有多少读取观察到,如果读取长度高于阈值,有足够的读取,以覆盖的DNA序列是足够的重建。根据DNA序列的Renyi熵率计算阈值。我们还研究了读过程中的噪声对性能的影响。
2013-02-14 cs.IT math.IT q-bio.GN
Apollo: A Sequencing-Technology-Independent, Scalable, and Accurate Assembly Polishing Algorithm
ETH Zurich(苏黎世联邦理工学院);Carnegie Mellon University(卡内基梅隆大学);Bilkent University(比尔肯特大学)
由第三代测序技术产生的长读段用于构建组装体(即,受试者的基因组),其进一步用于下游基因组分析。不幸的是,长读段具有高测序错误率,并且这些长读段中的大部分bp被错误地鉴定。这些错误传播到组件并影响基因组分析的准确性。装配抛光算法通过使用来自读段和装配之间的比对的信息抛光或修复装配中的错误来最小化这种错误传播(即,读取到组件对准信息)。然而,组装抛光算法只能使用来自某种测序技术或来自小组装的读段来抛光组装。这种技术依赖性和组装大小依赖性要求研究人员1)运行多个抛光算法,2)使用大基因组的小块来使用所有可用的读段集并抛光大基因组。我们介绍Apollo,一种通用的装配抛光算法,可以很好地扩展到抛光任何尺寸的装配(即,大基因组和小基因组)使用来自所有测序技术的读数(即,第二代和第三代)。我们的目标是提供一种单一的算法,该算法使用来自所有可用测序技术的读取集来提高组装抛光的准确性,并且可以抛光大基因组。Apollo 1)将组件建模为简档隐马尔可夫模型(pHMM),2)使用读取到组件对齐来用前向-后向算法训练pHMM,以及3)用Viterbi算法解码经训练的模型以产生抛光的组件。我们对真实读段集的实验表明,Apollo是唯一一种算法,它1)在单次运行中使用来自任何测序技术的读段,2)可以很好地扩展以抛光大型组装件,而不会将组装件分成多个部分。
2020-03-07 cs.CE cs.LG q-bio.GN
Reads2Vec: Efficient Embedding of Raw High-Throughput Sequencing Reads Data
Georgia State University(佐治亚州立大学);University of Milano-Bicocca(米兰比可卡大学)
自COVID-19大流行开始以来,出现了大量SARS-CoV-2的基因组数据,这对研究其动态的传统方法提出了挑战。因此,出现了Pangolin等新方法,可以扩展到目前可用的数百万SARS-CoV-2样本。这种工具被定制为将组装、比对和策划的全长序列作为输入,例如在GISAID数据库中发现的那些。随着高通量测序技术的不断发展,这种组装、比对和策展可能成为瓶颈,从而需要能够直接处理原始测序读数的方法。在本文中,我们提出了Reads 2 Vec,一种无约束的嵌入方法,可以直接从原始测序读数中生成固定长度的特征向量表示,而无需组装。此外,由于这种嵌入是数值表示,因此它可以应用于高度优化的分类和聚类算法。在模拟数据上的实验表明,我们提出的嵌入方法获得了更好的分类结果和更好的聚类性能,与现有的无嵌入基线相反。在对真实数据的研究中,我们发现无干扰嵌入比Pangolin工具具有更好的聚类特性,并且SARS-CoV-2基因组的尖峰区域严重影响了无干扰聚类,这与当前SARS-CoV-2的生物学知识一致。
2022-11-15 cs.LG q-bio.GN q-bio.QM
Compression of next-generation sequencing reads aided by highly efficient de novo assembly
我们提出了Quip,一种无损压缩算法,用于FASTQ和SAM/BAM格式的下一代测序数据。除了实现基于参考的压缩,我们已经开发出,据我们所知,第一个基于汇编的压缩器,使用一种新的从头汇编算法。使用概率数据结构来显著减少传统de Bruijn图汇编器所需的内存,从而可以非常有效地汇编数百万次读取。然后将读取序列存储为组装的重叠群内的位置。这与读段标识符、质量分数、比对信息和序列的统计压缩相结合,有效地将非常大的数据集压缩到其原始大小的15%以下,而不会丢失信息。可用性:Quip可以在BSD许可证下从http://cs.washington.edu/homes/dcjones/quip免费获得。
2012-07-10 cs.DS q-bio.GN q-bio.QM
A probabilistic analysis of shotgun sequencing for metagenomics
基因组测序是许多现代生物学和医学研究的基础。随着最近的技术进步,宏基因组学已成为一个感兴趣的问题。这个问题需要分析和重建来自不同来源的多个DNA序列。鸟枪式基因组测序的工作原理是将长DNA序列分解为称为读段的较短片段。给定该读数集合,人们想要重建DNA序列的原始集合。对于宏基因组学中的试验设计,重要的是理解可靠重建所需的最小读取长度如何取决于所涉及的基因组的数量和特征。利用简单的概率模型为每个DNA序列,我们分析了M个基因组的长度为N的集合的可识别性在渐近制度,其中N趋于无穷大,M可能会增长与N。我们的第一个主要结果提供了M和N的阈值,因此如果读取长度超过阈值,则简单的贪婪算法成功地重建了基因组的完整集合,概率趋于1。我们的第二个主要结果在M和N方面建立了一个较低的阈值,使得如果读取长度短于阈值,则不可能重建完整的基因组集合,概率趋于1。
2022-01-13 math.PR q-bio.GN
CompostBin: A DNA composition-based algorithm for binning environmental shotgun reads
微生物多样性研究的一个主要障碍是,绝大多数微生物不能在实验室中培养,因此不适合传统的表征方法。环境鸟枪测序(ESS)通过对微生物群落中存在的生物体的DNA进行测序来克服这一障碍。通过将每个序列读数与其来源生物体相关联,可以极大地促进对该宏基因组数据的解释。我们报告了CompostBin的发展,这是一种基于DNA组成的算法,用于分析宏基因组序列读数并将其分配到特定分类单元中。与先前试图分箱组装的重叠群并且通常需要在已知参考基因组上进行训练的方法不同,CompostBin具有准确分箱原始序列读数而无需组装或训练的能力。它应用主成分分析将数据投影到一个信息丰富的低维空间中,然后在这个过滤后的数据集上使用归一化切割聚类算法将序列分类到特定分类单元中。我们证明了算法的准确性,在各种模拟数据集和一个宏基因组数据集与已知的物种分配。CompostBin是一项正在进行的工作,计划在未来对算法进行几次改进。
2007-08-22 q-bio.GN
A Reference-Free Algorithm for Computational Normalization of Shotgun Sequencing Data
基因组、转录组、扩增的单细胞基因组和宏基因组的深度鸟枪测序和分析使得能够对广泛的生物体和生态系统进行调查。然而,短读数据集的采样变化和现代测序仪的高测序错误率在数据解释中提出了许多新的计算挑战。这些挑战导致了新的映射工具类和{ \em de novo}汇编器的开发。这些算法受到测序通量持续改进的挑战。在这里,我们描述了数字归一化,一个单程计算算法,系统化的覆盖率在鸟枪测序数据集,从而减少采样变异,丢弃冗余数据,并删除大多数错误。数字标准化显著地减小了鸟枪法数据集的大小,并降低了{ \em de novo}序列组装的存储器和时间要求,所有这些都没有显著影响所生成的重叠群的内容。我们将数字归一化应用于微生物基因组数据、扩增的单细胞基因组数据和转录组数据的组装。我们的实现可以自由使用和修改。
2012-05-21 q-bio.GN
TPMM: Three-component Posterior Mixture Model Enables Robust Inverton Detection in Low-Depth Metagenomes and Suggests Potential Viral Invertons
City University of Hong Kong(香港城市大学);Chinese University of Hong Kong(香港中文大学)
TPMM通过整合测序深度,利用后验混合模型在低深度宏基因组中稳健检测倒位,且在系统性降采样下表现更优,揭示了病毒基因组中潜在的可逆倒位元素。
2026-03-17 q-bio.GN
Estimators for Substitution Rates in Genomes from Read Data
Indian Institute of Science, Bengaluru(班加罗尔印度科学学院)
本文提出了一种基于噪声测序读数据估计基因组替代率的方法,通过理论分析和模拟验证了多种估计器的性能。
2026-01-12 cs.IT math.IT q-bio.GN
scUnified: An AI-Ready Standardized Resource for Single-Cell RNA Sequencing Analysis
Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);Hangzhou Institute for Advanced Study,University of Chinese Academy of Sciences(中国科学院大学杭州先进研究所);University of Chinese Academy of Sciences(中国科学院大学);Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
scUnified整合13个跨物种、跨组织的scRNA-seq数据集,提供统一预处理与存储格式,为单细胞计算方法提供AI就绪的标准化评估资源。
2025-11-10 cs.AI q-bio.GN
Efficient Real-Time Selective Genome Sequencing on Resource-Constrained Devices
第三代纳米孔测序仪提供了一种称为选择性测序或“读到”的功能,该功能允许基因组读数被实时的【形】分析,如果不属于“感兴趣”的基因组区域,则中途放弃。这种选择性测序为快速和低成本的基因检测等重要应用打开了大门。分析中的等待时间应尽可能低,以使选择性测序有效,从而可以尽早拒绝不必要的读数。然而,现有的方法,采用子序列动态时间规整(sDTW)算法的这个问题是太计算密集的,一个庞大的工作站与几十个CPU内核仍然努力跟上数据率的移动电话大小的MinION测序仪。在本文中,我们提出了硬件加速读直到(HARU),一个资源有效的软硬件协同设计为基础的方法,利用低成本和便携式异构MPSoC平台与片上FPGA加速基于sDTW的读直到算法。实验结果表明,对于SARS-CoV-2数据集,嵌入4核ARM处理器的Xilinx FPGA上的HARU比在具有36核Intel Xeon处理器的复杂服务器上运行的高度优化的多线程软件版本快约2.5倍(比现有未优化的多线程软件快约85倍)。HARU的能耗比在36核服务器上执行的相同应用低两个数量级。HARU sDTW模块的源代码可在https://github.com/beebdev/HARU上作为开源获得,并且利用HARU的示例应用在https://github.com/beebdev/sigfish-haru上。
2022-11-14 cs.AR q-bio.GN
PlainMap: a lightweight, restartable mapping pipeline for ancient and modern DNA
Technical University of Denmark(丹麦技术大学)
PlainMap是一个轻量级、可重启的比对流程,支持现代和降解DNA,通过确定性分块和检查点机制实现中断恢复,并减少约25%峰值内存。
2026-09-16 q-bio.GN
MUSIC: A Hybrid Computing Environment for Burrows-Wheeler Alignment for Massive Amount of Short Read Sequence Data
高通量DNA测序仪在分子水平上对疾病的理解、农业标记辅助选择和微生物遗传学研究中变得不可或缺。这些测序仪器产生大量的数据(通常是一个月内的TB级原始数据),需要有效的分析,管理和解释。目前常用的测序仪器每次运行可产生数十亿个短读段(最多150个碱基)。数据分析步骤的第一步是将这些短读段与所选参考基因组进行比对。有不同的开源算法可用于与参考基因组的序列比对。这些工具通常具有高计算开销,无论是在处理器和内存的数量方面。在这里,我们提出了一个混合计算环境,称为MUSIC(映射使用混合计算)的一个最流行的开源序列比对算法,BWA,使用加速器,显示出显着的改善速度超过串行代码。
2014-02-04 q-bio.GN
Multiple Sequence Alignment System for Pyrosequencing Reads
焦磷酸测序是新兴的测序技术之一,能够在单次运行中产生多达100,000个重叠读段。这种技术比现有的最先进的测序技术如Sanger更快和更便宜。然而,通过焦磷酸测序产生的读段尺寸短并且包含许多错误。此外,每个读段在参考基因组中具有特定位置。为了将这些读数用于任何后续分析,读数必须对齐。现有的多重序列比对方法不能使用,因为它们不考虑序列相对于基因组的特定位置,并且对于大量序列是非常低效的。因此,通常的做法是使用简单的成对比对,尽管其对于易出错的pyroread的准确性较差,或者使用基于顺序间隙传播的计算昂贵的技术。在本文中,我们开发了一种基于区域分解的计算效率高的方法,称为pyro-align,以对齐如此大量的读数。所提出的比对算法在短时间内准确地比对错误的读数,这比任何现有方法都快几个数量级。从多重比对获得的一致性确认比对的准确性。
2009-01-19 q-bio.GN
Whole genome single nucleotide polymorphism genotyping of Staphylococcus aureus
下一代测序技术能够对临床诊断和遗传研究中的细菌病原体进行常规检测。全基因组测序在细菌病原体的流行病学分析中具有重要意义。然而,很少有基于全基因组测序的基因分型管道可用于实际应用。本文提出了基于全基因组测序的单核苷酸多态性(SNP)基因分型方法,并应用于耐甲氧西林金黄色葡萄球菌的进化分析。SNP基因分型方法使用全基因组的下一代测序读数调用基因组变体,并计算基因组变体的成对Jaccard距离。该方法可揭示耐甲氧西林沙门氏菌不同分离株的高分辨率全基因组SNP谱和结构变异。金黄色葡萄球菌(MRSA)和甲氧西林敏感的S.金黄色葡萄球菌(MSSA)菌株。全基因组和特定区域的系统发育分析可以监测和跟踪细菌病原体的进化和传播动态。基于全基因组测序的SNP基因分型方法的计算机程序可在https://github.com/cyinbox/NGS上向公众提供。
2018-10-30 q-bio.GN
Minimap and miniasm: fast mapping and de novo assembly for noisy long sequences
动机:单分子实时(SMRT)测序技术和Oxford Nanopore技术(ONT)产生长度超过10 kbp的读段,这使得能够以负担得起的成本进行高质量的基因组组装。然而,目前,长读取的错误率高达10- 15%。需要复杂且计算密集的流水线来组装这样的读取。结果如下:我们提出了一个新的映射器,minimap,和从头汇编,miniasm,有效地映射和组装SMRT和ONT读取没有纠错阶段。他们通常可以在几分钟内将细菌数据的测序运行组装成单个重叠群,并组装45倍C。elegans数据在9分钟内,比现有管道快了几个数量级。我们还介绍了成对读取映射格式(PAF)和图形片段组装格式(GFA),并展示了我们和当前工具之间的互操作性。可用性和实施:https://github.com/lh3/minimap和https://github.com/lh3/miniasm联系方式:hengli@broadinstitute.org
2017-08-03 q-bio.GN
Species Identification and Profiling of Complex Microbial Communities Using Shotgun Illumina Sequencing of 16S rRNA Amplicon Sequences
短读测序技术提供的高通量和成本效益原则上使研究人员能够以前所未有的深度和分辨率对复杂的微生物群落进行16S rRNA分析。然而,现有的Illumina测序方案受到被询问的16S rRNA基因的部分的限制,因此限制了分析的分辨率和质量。为了解决这个问题,我们提出了一种新的协议的设计,鸟枪Illumina测序的细菌16S rRNA基因,优化捕获90%以上的序列在Greengenes数据库和近两倍的分辨率现有协议。使用几个计算机模拟和实验数据集,我们证明,尽管存在多个可变和保守的区域,得到的鸟枪序列可以用来准确地量化复杂的微生物群落的多样性。16S rRNA基因的重要部分的重建也使得物种水平鉴定的高精度(>90%)成为可能,从而开辟了该方法用于临床微生物表征的潜在应用。
2013-03-11 q-bio.GN
Improving transcriptome assembly through error correction of high-throughput sequence reads
在过去的几年里,通过使用转录组和RNAseq,功能基因组学的研究-特别是在非模式生物中的研究已经得到了显着的改善。虽然这些研究可能非常强大,但必须完成计算密集型程序-从头构建参考转录组,作为进一步分析的先决条件。准确的参考是至关重要的,因为所有下游步骤,包括估计转录本丰度,都严重依赖于准确参考的构建。虽然大量的研究已经做了组装,直到最近才有预组装程序进行了详细的研究。具体而言,已经报道了几种独立的纠错模块,并且虽然它们已经显示出在测序读数水平上有效地减少错误,但纠错如何影响组装准确性在很大程度上是未知的。在这里,我们通过使用模拟数据集表明,对测序读数应用错误校正对组装准确性具有显著的积极影响,将组装错误减少了近50%,因此应该应用于所有数据集。
2013-06-27 q-bio.GN