ReadsClean: a new approach to error correction of sequencing reads based on alignments clustering
动机:下一代DNA测序方法产生相对高的读取错误率,其干扰新测序的生物体的从头基因组组装,并且特别影响对于许多遗传性疾病的诊断重要的SNP检测的质量。存在许多为纠正NGS读取中的错误而开发的程序。这些程序利用各种方法并针对不同的特定任务进行优化,但它们都远远不能纠正所有错误,特别是在通过重复序列和来自二/多倍体真核基因组的DNA交叉的测序读数中。结果:本文描述了一种基于相似读段比对聚类的纠错新方法。该方法在ReadsClean程序中实施,该程序设计用于清洁Illumina HiSeq测序读数。我们将ReadsClean与其他被几个出版物公认为最好的读取清洁程序进行了比较。我们使用实际和模拟测序读数进行的序列组装测试显示ReadsClean获得了优异的结果。可用性和实现:ReadsClean作为独立的C代码实现。它被纳入一个纠错管道,并免费提供给学术用户在Softberry网络服务器www.softberry.com。
2019-07-30 q-bio.GN
De Novo Assembly of Uca minax Transcriptome from Next Generation Sequencing
高通量cDNA测序(RNA-seq)是以无偏的方式定量基因表达的非常强大的技术。甲壳类动物是目前基因组数据库中代表性较低的生物群体之一。在这里,我们提出了转录组数据从招潮蟹(红关节招潮蟹)作为一个机会,以扩大我们的知识。使用Illumina HiSeq系统对来自Uca minax的六个组织样品进行下一代测序。使用Trinity创建了六个转录组文库; Trinity是一种免费的开源软件工具,用于在不存在参考基因组的情况下重新组装高通量mRNA测序(RNA-seq)数据的转录组。此外,还使用了几种有助于数据管理的工具,如RSEM、Bowtie、Blast和IGV;这是一种用于可视化RNA-seq分析结果的工具。对原始测序文件的快速质量控制(FastQC)分析显示,接头和PCR引物序列均预先存在,这可能需要预处理步骤。
2020-01-09 q-bio.GN
Deep Neural Network: An Efficient and Optimized Machine Learning Paradigm for Reducing Genome Sequencing Error
University of Ghana – Legon(加纳大学莱贡校区)
本文提出利用深度神经网络纠正基因组测序中的插入缺失错误,为降低测序错误提供了一种高效且优化的机器学习方案。
2020-10-06 cs.CV q-bio.GN
Detecting and Correcting Sample-by-Sample Scale Distortion in RNA Sequencing Data
Texas A&M University-Central Texas(德克萨斯农工大学中央德州分校);University of Minnesota(明尼苏达大学)
针对RNA-seq数据中逐样本表达水平依赖的偏差,提出基于统计的非线性变换方法进行校正,改善基因间相关性估计和群体检验的敏感性与特异性。
2026-05-10 math.OC q-bio.GN stat.AP
CRANE: Correcting Errors in Raw Nanopore Signals Using Hidden Markov Models
University of Maryland(马里兰大学);ETH Zurich(苏黎世联邦理工学院);Bilkent University(比尔肯特大学)
本文提出CRANE方法,通过训练和使用隐马尔可夫模型(HMM)来纠正纳米孔信号中的错误,从而提高原始信号分析的准确性,减少分析管道优化的负担,并且不引入显著的计算开销。
2026-05-20 cs.LG q-bio.GN q-bio.QM
Estimation of genome size using k-mer frequencies from corrected long reads
第三代长读段测序技术,如PacBio和Nanopore,在从头组装研究中比第二代Illumina测序具有很大的优势。然而,由于固有的低碱基准确度,第三代测序数据不能用于k-mer计数和基于k-mer频率估计基因组谱。因此,在目前的基因组计划中,第二代数据也是准确确定基因组大小和其他基因组特征所必需的。我们表明,校正后的第三代数据可以用来计算k聚体频率和估计基因组大小可靠,在使用第二代数据的替代。因此,未来的基因组计划可以只依靠一种测序技术来完成组装和k-mer分析,这将大大降低测序成本,无论是时间还是金钱。此外,我们提出了一个快速的轻量级工具kmerfreq,并使用它来执行所有的k-mer计数任务在这项工作中。我们已经证明,校正的第三代测序数据可用于估计基因组大小,并开发了一种新的开源C/C++ k-mer计数工具kmerfreq,可在https://github.com/fanagislab/kmerfreq上免费获得。
2020-03-26 q-bio.GN
QuorUM: an error corrector for Illumina reads
动机:Illumina测序数据可以以较低的成本通过相对较短(100 bp-150 bp)的读数提供基因组的高覆盖率。我们的目标是产生修剪和纠错的读段以改善基因组组装。我们的错误校正程序旨在产生一组错误校正的读段,(1)使读段组中不同的假k-mer(即,不存在于基因组中的假k-mer)的数目最小化,和(2)使真的(即,存在于基因组中的假k-mer)的数目最大化。由于Illumina read对基因组的覆盖范围从点到点变化很大,我们不能简单地消除很少出现的k-mer。结果如下:我们的软件名为QuorUM,可提供相当准确的校正,适用于大型数据集(每个核心每天检查和校正10亿个碱基)。可用性:QuorUM作为独立的软件包和MaSuRCA汇编软件的模块分发。两者都可以在http://www.genome.umd.edu的GPL开源许可证下获得。联系方式:gmarcais@umd.edu
2013-07-12 q-bio.GN
Scanning a Poisson Random Field for Local Signals
使用高通量DNA测序数据的局部基因组信号的检测可以被视为扫描泊松随机场以寻找过程速率的局部变化的问题。我们提出了一个基于可能性的框架,这样的扫描,并推导出公式的误报率控制和功率计算。该框架还可以容纳泊松过程的混合物,以处理过度分散。作为一个具体的、详细的例子,我们考虑通过配对末端DNA测序检测插入和缺失。我们提出了几个统计这个问题,比较他们的权力在目前的试验设计,并说明他们的应用Illumina白金基因组数据集。
2014-06-12 q-bio.GN stat.AP stat.ME
SeqMate: A Novel Large Language Model Pipeline for Automating RNA Sequencing
Stevens Institute of Technology(史蒂文斯理工学院)
SeqMate 利用大语言模型和生成式 AI,将 RNA-seq 数据准备、差异表达与轨迹分析及报告生成整合为一键式自动化流程,降低了生物学家使用门槛。
2024-07-02 cs.AI cs.LG q-bio.GN
XORRO: Rapid Paired-End Read Overlapper
背景:在许多情况下,下一代测序数据的计算分析被数据生成所超越。在一种这样的情况下,可以从Illumina测序方法产生双端读段,比它们可以通过下游分析重叠更快。重叠双端读段在读段长度和准确性方面的优势证明了软件有效解决这一问题的必要性。结果:XORRO是一个非常有效的双端读段重叠程序。XORRO可以在几分钟内重叠数百万个短的双端读段。它使用64位寄存器和2位字母表来表示序列,并使用XOR、AND、移位和popcount等低级逻辑运算进行比较。结论:截至撰写本文时,XORRO为双端读取重叠问题提供了最快的解决方案。XORRO可在以下网址下载:sourceforge.net/projects/xorro-overlap/
2013-04-16 q-bio.GN q-bio.QM
Abordagem probabilística para análise de confiabilidade de dados gerados em sequenciamentos multiplex na plataforma ABI SOLiD
下一代测序仪(如Illumina和SOLiD平台)生成大量数据,通常超过10 KB的文本文件。特别是,SOLiD平台允许通过称为条形码的标记系统在单次运行(称为多重运行)中对多个样品进行测序。该特征需要用于分离数据样本的计算过程,因为测序器在单个输出中提供所有样本的混合。这一过程必须安全,以避免任何可能扰乱进一步分析的损害。在这种情况下,认识到需要开发一种概率模型,能够分配在多重测序中使用的标记系统的置信度。结果证实了所获得的模型的充分性,其尤其允许指导过滤数据和评估所使用的测序方案的过程。
2021-08-11 cs.CE q-bio.GN
A read-filtering algorithm for high-throughput marker-gene studies that greatly improves OTU accuracy
在基于标记基因的研究中处理高通量数据时,充分的读段过滤至关重要。测序错误可能导致其他相似读数的错误聚类,人为增加检索到的操作分类单位(OTU)的数量,从而导致高估微生物多样性。测序错误还将导致OTU不是原始生物序列的准确重建。在这里,我们提出了一种新的和敏感的序列过滤算法,最大限度地减少这两个问题,通过计算准确的错误概率分布的序列,其质量分数。为了验证我们的方法,我们对通过Roche 454,Illumina MiSeq和IonTorrent PGM平台对模拟和环境微生物群落进行测序获得的37个公开可用的数据集进行了质量过滤,并将我们的结果与以前的方法(如mothur,QIIME和UPARSE中的方法)进行了比较。我们的算法比其前辈保留了更多的读数,同时导致更少和更准确的OTU。这种改进的灵敏度产生了更忠实的代表性,定量和定性,研究样品中存在的真实微生物多样性。此外,在这项工作中介绍的方法是计算成本低廉,可以很容易地应用于任何现有的分析管道。
2015-06-01 q-bio.GN q-bio.QM
Accurate Decoding of Pooled Sequenced Data Using Compressed Sensing
为了克服DNA条形码在当前一代高通量测序仪器中多路复用大量样品时所施加的限制,我们最近提出了一种新的方案,该方案利用了组合池设计(组测试)doi:10.1371/journal. pcbi. 1003010的进步。我们还展示了这种新方案如何使从头选择性测序和组装大型,高度重复的基因组成为可能。在这里,我们解决的问题,从这样的协议获得的解码池测序数据。我们的算法采用了压缩感知和纠错码解码的思想的协同组合。水稻基因组的合成数据和大麦基因组的真实数据的实验结果表明,我们的新的解码算法,使显着更高的质量组装比以前的方法。
2013-07-30 cs.CE cs.IT math.IT
Minimum error correction-based haplotype assembly: considerations for long read data
单核苷酸多态性(SNP)是研究最广泛的遗传变异类型。单倍型被定义为每个单倍体染色体上SNP位点处的等位基因序列。单倍型信息在解开基因组-表型关联中是必不可少的。单倍型组装是利用DNA测序装置产生的读段重建单倍型的公知方法。最小误差校正(MEC)度量通常用于从读段重建单体型。然而,已经报告了MEC度量的问题。在这里,我们调查MEC方法,以证明它可能会导致错误的重建单倍型的设备,产生容易出错的长读。具体来说,我们评估了Illumina,Pacific BioSciences和Oxford Nanopore Technologies开发的设备的这种方法。我们表明,不精确的单倍型可以重建一个较低的MEC比确切的单倍型。针对不同的数据覆盖率和错误率,对MEC的性能进行了研究。我们的模拟结果表明,为了避免不正确的MEC为基础的单倍型,覆盖率为25所需的太平洋生物科学RS系统产生的读取。
2020-01-05 q-bio.GN
Hot RAD: A Tool for Analysis of Next-Gen RAD Tag Data
限制性位点相关DNA(RAD)标记(也称为RAD-seq等)这可以应用于没有参考基因组的非模型生物,尽管这产生了如何开始对未映射和未注释的读段进行数据分析的问题。我们的程序Hot RAD提供了一种简单且易于使用的方法,可以获取已RAD标记的Illumina原始数据,并使用分布式框架产生共识重叠群或序列堆栈,为开始分析生物体的DNA奠定基础。我们的工具的GUI(图形用户界面)元素使那些不熟悉命令行的人可以轻松地获取原始序列文件并及时生成可用的数据。
2015-11-20 q-bio.GN q-bio.QM
FASTR: Reimagining FASTQ via Compact Image-inspired Representation
ALSER Lab, Computational Life Sciences(ALSER实验室,计算生命科学);Georgia State University(佐治亚州立大学);Department of Computer Science(计算机科学系);Bilkent University(比尔肯特大学);Department of Computer Engineering(计算机工程系);Stefan cel Mare University of Suceava(斯蒂芬·凯尔·马雷大学)
FASTR通过紧凑图像启发式表示重新定义FASTQ,实现文件大小减半的同时保持可逆性,提升压缩和解压缩效率,支持机器学习应用。
2026-01-23 cs.LG q-bio.GN
SPIDER-WEB generates coding algorithms with superior error tolerance and real-time information retrieval capacity
DNA被认为是一种很有前途的存储数字信息的介质。编码算法是基于DNA的数据存储工作流程中必不可少的一步,负责实现比特到碱基的转码、纠错等功能。在以往的研究中,这些功能通常是通过引入多种算法来实现的。在这里,我们报告了一个基于图的架构,命名为SPIDER-WEB,通过自动生成定制算法提供一体化编码解决方案。SPIDERWEB能够纠正DNA序列中最多4%的编辑错误,包括替换和插入/缺失(indel),只有5.5%的冗余符号。由于纠正和解码过程不需要DNA序列预处理,因此SPIDER-WEB提供实时的【形】信息检索功能,比单分子测序技术的速度快305.08倍。我们的检索过程可以提高2个数量级的速度相比,传统的兆字节级的数据,并可以扩展到适应艾字节级的数据。因此,SPIDER-WEB具有提高大规模数据存储应用的实用性的潜力。
2023-03-30 cs.ET cs.IT math.CO
Single-Read Reconstruction for DNA Data Storage Using Transformers
Reichman University (IDC Herzliya)(赖希曼大学(赫兹利亚跨学科中心));Ben-Gurion University of the Negev(内盖夫本-古里安大学)
随着全球对大规模数据存储的需求呈指数级增长,现有的存储技术在密度和能耗方面正在接近其理论和功能极限,使得基于DNA的存储成为未来数据存储的潜在解决方案。一些研究引入了具有高信息密度(PB/g)的基于DNA的存储系统。然而,DNA合成和测序技术产生错误的输出。校正这些错误的化学方法依赖于读取每个序列的多个拷贝,并导致过度的读取成本。Transformers作为一种用于语言建模的深度学习架构取得了前所未有的成功,这导致它被重新用于解决各个领域的各种任务。在这项工作中,我们提出了一种新的方法,单读重建使用编码器-解码器Transformer架构的DNA为基础的数据存储。我们将纠错过程作为一个自我监督的序列到序列任务,并使用合成噪声注入来训练仅使用解码的读取的模型。我们的方法利用每个解码文件的固有冗余来学习其底层结构。为了演示我们提出的方法,我们将文本,图像和代码脚本文件编码到DNA中,用高保真错误模拟器产生错误,并从嘈杂的读取中重建原始文件。与使用2-3个拷贝的最新算法相比,我们的模型在从每条DNA链的单个读取重建原始数据时实现了较低的出错率。这是第一次使用深度学习模型在基于DNA的存储中进行单读重建,从而降低了该过程的总体成本。我们表明,这种方法是适用于各种领域,并可以推广到新的领域。
2021-10-10 cs.ET cs.LG q-bio.GN