End-to-End Optimization of High Throughput DNA Sequencing
高通量DNA测序平台的核心在于生物物理表面过程,其导致均匀短DNA片段簇的随机几何形状,通常是数百个碱基对的长桥扩增。这种随机过程的统计特性和片段的长度是关键的,因为它们影响随后可以提取的信息,即,成功推断的DNA片段读数的密度。然后使用重叠DNA片段读段的集合来计算重建长得多的靶基因组序列,例如,范围从数十万到数十亿个碱基对。重建的成功反过来取决于具有足够长的DNA片段的足够大的集合。在本文中,我们使用随机几何建模和优化的端到端的过程连接和部分控制的物理过程的统计成功的计算步骤。这第一次提供了一个框架,该框架捕获了此类测序平台的显著特征,可用于研究测序过程的成本、性能或灵敏度。
2015-08-04 math.PR q-bio.GN
Somatic mutations in human ageing: New insights from DNA sequencing and inherited mutations
本文通过DNA测序技术探讨体细胞突变与衰老的关系,发现尽管突变随年龄积累并伴随克隆扩增,但其负荷较低且具随机性,难以单独解释大多数衰老表型,近期研究进一步质疑其在衰老中的作用。
2023-07-28 q-bio.GN
Applications and Challenges of Real-time Mobile DNA Analysis
DNA测序是确定给定DNA分子内核苷酸的确切顺序的过程。新的便携式和相对便宜的DNA测序仪,如Oxford Nanopore MinION,有可能将DNA测序转移到实验室之外,从而实现更快,更容易获得的基于DNA的诊断。然而,便携式DNA测序和分析对于移动系统来说是具有挑战性的,这是由于在具有不可靠的连接和电力的环境中进行的高数据吞吐量和计算密集型处理。在本文中,我们提供了移动系统和移动计算必须解决的挑战,以最大限度地发挥便携式DNA测序和原位DNA分析的潜力的分析。我们解释了DNA测序过程,并强调了传统和便携式DNA测序在实际和设想的应用背景下的主要区别。我们从算法和系统设计的角度来看所确定的挑战,表明需要仔细的协同设计。
2017-11-17 cs.CE cs.DC q-bio.GN
Information Theory of DNA Shotgun Sequencing
DNA测序是现代生物学和医学的基本工具。鸟枪测序是使用的主要技术:从DNA序列中提取许多随机定位的短片段,称为读取,并将这些读取组装以重建原始序列。一个基本问题是:给定测序技术和DNA序列的统计数据,可靠重建所需的最小读取数是多少?此数字为{ \em any}汇编算法的性能提供了基本限制。对于一个简单的统计模型的DNA序列和读取过程中,我们表明,答案承认一个关键的现象,在长DNA序列的渐近极限:如果读取长度低于阈值,重建是不可能的,无论有多少读取观察到,如果读取长度高于阈值,有足够的读取,以覆盖的DNA序列是足够的重建。根据DNA序列的Renyi熵率计算阈值。我们还研究了读过程中的噪声对性能的影响。
2013-02-14 cs.IT math.IT q-bio.GN
Digital PCR provides sensitive and absolute calibration for high throughput sequencing
几种下一代测序仪在其样品制备过程中受到限制,因为需要对文库中待测序的模板分子的数量进行绝对测量。如目前所实践的,该要求的实际效果损害了测序性能,既需要大量的样品DNA,又需要进行额外的测序运行。我们使用数字PCR来定量测序文库,并通过在454和Solexa测序平台上从纳克量的细菌和人类DNA制备和测序文库来证明其灵敏度和稳健性。该测定允许绝对定量,并消除了与标准曲线的构建和应用相关的不确定性。数字PCR平台消耗测序文库的亚femptogram量并给出高度准确的结果,允许在设置测序运行时使用最佳DNA浓度,而无需昂贵且耗时的滴定技术。这种方法还将输入样品的要求降低了1000倍以上:从微克DNA降低到不到一纳克。
2008-08-16 q-bio.GN q-bio.QM
Shotgun DNA sequencing for human identification: Dynamic SNP selection and likelihood ratio calculations accounting for errors
本文提出面向低质量DNA的鸟枪法测序个体识别模型,通过动态选择SNP、估计基因型判读错误并计算似然比,且以开源R包wgsLR实现。
2024-07-29 q-bio.GN stat.AP
GobyWeb: simplified management and analysis of gene expression and DNA methylation sequencing data
我们提出了GobyWeb,一个基于Web的系统,以促进高通量测序(HTS)项目的管理和分析。该软件为广泛的HTS分析提供了集成支持,并提供了一个简单的插件扩展机制。目前支持的分析包括信使和小RNA测序的基因表达的定量,DNA甲基化的估计(即,减少的亚硫酸氢盐测序和全基因组甲基-测序),或检测测序数据中的病原体。与许多为分析HTS数据而开发的分析管道相比,GobyWeb需要的存储空间要少得多,在并行网格上有效地运行分析,可以优雅地扩展以处理数十或数百个千兆字节的样本,但可以由熟悉使用Web浏览器的研究人员有效地使用。GobyWeb可以在http://gobyweb.campagnelab.org上获得,并免费用于非商业用途。
2012-11-28 q-bio.GN q-bio.QM
Diverse and widespread contamination evident in the unmapped depths of high throughput sequencing data
背景资料:痕量的污染DNA在实验室环境中广泛存在,但它们的存在在高通量测序的背景下很少受到关注。这个问题是突出了最近的作品,休息有争议的索赔测序数据,似乎支持意外的外源物种的存在。结果如下:我使用优先与替代基因组对齐的读数来推断一组独立测序实验中潜在污染物物种的分布。我证实稀释的样本更容易暴露于污染的DNA,并专注于四个单细胞测序实验,发现这些污染物似乎来自广泛的进化枝。尽管从“空白”样品制备的阴性对照文库回收了最高频率的污染物,但似乎对在单个实验中平行制备的样品产生异质性贡献的低频污染物没有得到很好的控制。我用这些结果表明,尽管有大量的复制和合理的控制,污染可以解释所有用于支持最近声称的完整基因从食物传递到人类血液的观察结果。结论:污染必须被认为是测序数据中外源物质信号的潜在来源,即使这些信号在独立实验中重复,在不同条件下变化,或表明一个物种似乎先验不太可能污染。平行处理的阴性对照文库对于控制污染物DNA是必不可少的,但必须认识到它们回收低频污染物的能力有限。
2014-01-30 q-bio.GN
Low-bandwidth and non-compute intensive remote identification of microbes from raw sequencing reads
廉价的高通量DNA测序可能很快就会成为常规,不仅适用于人类基因组,而且适用于几乎任何需要从DNA中识别活生物体的工作:追踪传染性病原体、控制食品、生物反应器或环境样本。我们提出了一种新的通用方法来分析测序数据,其中参考基因组不必指定。使用分布式架构,我们能够向远程服务器查询关于引用可能是什么的提示,传输相对少量的数据,并且提示可以用于计算要求更高的工作。我们的系统包括一个服务器与已知的参考DNA索引,和一个客户端与原始测序读取。客户端发送一个未识别读取的样本,并作为回报接收服务器已知的匹配引用列表。可以检索参考的序列,并将其用于读取的穷举计算,例如比对。为了证明这种方法,我们已经实现了一个网络服务器,索引数以万计的公开可用的基因组和基因组区域从各种生物体和查询测序读取匹配命中返回列表。我们还实现了两个客户端,其中一个在Web浏览器中运行,以证明可以在不需要传输非常大量的数据的情况下,并且在适度供电的计算设备上识别未知来源的千兆字节的原始测序读数。可通过http://tapir.cbs.dtu.dk访问网站。python命令行客户端、服务器和补充数据的源代码可以在http://bit.ly/1aURxkc上获得。
2013-06-21 q-bio.GN
Estimation of the methylation pattern distribution from deep sequencing data
动机:亚硫酸氢盐测序能够检测胞嘧啶甲基化。任何给定读段上胞嘧啶的甲基化状态的序列形成甲基化模式,其携带比仅仅研究单个位置处的平均甲基化水平多得多的信息。为了更好地理解生物样品中DNA甲基化景观的复杂性,研究这些甲基化模式的多样性是很重要的。然而,甲基化模式的准确定量易受测序错误和由于胞嘧啶的不完全亚硫酸氢盐转化而产生的假信号的影响。结果:一个统计模型的开发,占在任何给定的基因座的DNA甲基化模式的分布。该模型结合了测序错误和虚假读数的影响,并能够估计甲基化模式的真实潜在分布。结论:在R Bioconductor软件包MPFE中计算甲基化模式的估计分布。该软件包的源代码和文档也可从http://bioconductor.org/packages/3.0/bioc/html/MPFE.html下载。
2014-12-08 q-bio.GN
Efficient construction of the extended BWT from grammar-compressed DNA sequencing reads
我们提出了一个算法,用于建立扩展的BWT(eBWT)的字符串集合从其语法压缩表示。我们的技术利用语法捕获的字符串重复来提高eBWT的计算。因此,集合的重复性越高,每个输入符号使用的资源就越少。我们依赖于一个新的语法最近提出的DCC'21,其非终端作为积木诱导eBWT。这个想法的一个相关应用是构建用于分析测序读数的自索引-原始基因组数据的大量重复字符串集合。自索引在生物信息学中越来越受欢迎,因为它们可以在更少的空间中编码更多的信息。我们高效的eBWT构建为在更大规模的序列数据集上执行准确的生物信息学分析打开了大门,这些数据集不适合当前的eBWT构建技术。
2021-02-08 cs.DS q-bio.GN
BayMeth: Improved DNA methylation quantification for affinity capture sequencing data using a flexible Bayesian approach
DNA甲基化(DNA甲基化)是表观遗传调节机制的重要组成部分,DNA甲基化模式的异常发生在许多疾病中,例如癌症。绘制和理解DNAme图谱为逆转异常状态提供了相当大的希望。有几种方法来分析DNAme,其在成本、分辨率和覆盖范围方面差异很大。甲基化DNA的亲和捕获和高通量测序在全基因组亚硫酸氢盐测序(WGBS)的高成本和甲基化阵列的低覆盖率之间取得了良好的平衡。然而,现有的方法不能充分区分低甲基化模式和低捕获效率,并且不能提供整合拷贝数变异(CNV)的灵活性。此外,没有提供不确定性估计,这可能被证明对组合来自多个协议的数据或传播到下游分析有用。我们提出了一个经验贝叶斯框架,使用一个完全甲基化(即SssI处理)的对照样本,将观察到的读段密度转换为区域甲基化估计。在我们的模型中,低效率的捕获可以通过较大的后验方差与低甲基化水平区分开来。此外,我们可以通过在泊松模型框架中引入乘法偏移来集成CNV。值得注意的是,我们的模型提供了甲基化水平的均值和方差的解析表达式,因此计算速度很快。我们的算法优于现有的方法,在偏差,均方误差和覆盖概率,如多个参考数据集上所示。虽然我们的方法提供了优势,即使没有SssI控制,相当大的改善是通过它的结合。我们的方法可应用于甲基化DNA亲和富集测定(例如MBD-seq、MeDIP-seq),并且软件实现可在Bioconductor Repitools包中获得。
2013-12-11 q-bio.GN q-bio.QM
Computer Architecture-Aware Optimisation of DNA Analysis Systems
DNA测序正在彻底改变医学领域。DNA测序仪是一种进行DNA测序的机器,在过去的二十年里,它已经从冰箱的大小发展到了手机的大小。人类基因组测序的成本也从数十亿美元降低到数百美元。尽管有这些改进,DNA测序仪输出数百或数千千兆字节的数据,必须在计算机上进行分析,以发现具有生物学意义的有意义的信息。不幸的是,分析技术没有跟上快速改进的测序技术的步伐。因此,即使在今天,DNA分析过程也是在高性能计算机上进行的,就像几十年前一样。这种高性能计算机不是便携式的。因此,用于现场或护理点测序的超便携式测序仪的全部效用受到缺乏便携式轻量分析技术的限制。本论文提出了一种基于计算机体系结构的DNA分析软件优化方法。由于与生物学数据相关的复杂性,DNA分析软件不可避免地是复杂的。现代计算机体系结构也很复杂。执行架构感知优化需要协同使用来自两个领域的知识(即DNA序列分析和计算机架构)。本文旨在将这两个领域结合起来。在这篇论文中,黄金标准的DNA序列分析工作流程的算法组件,导致性能瓶颈进行了系统的检查。通过不同级别的架构感知优化解决已识别的瓶颈,即,存储器、高速缓存、寄存器和处理器。优化的软件工具用于完整的端到端分析工作流程,其有效性通过在原型嵌入式系统上运行来证明。
2021-01-13 cs.CE q-bio.GN
ReadsClean: a new approach to error correction of sequencing reads based on alignments clustering
动机:下一代DNA测序方法产生相对高的读取错误率,其干扰新测序的生物体的从头基因组组装,并且特别影响对于许多遗传性疾病的诊断重要的SNP检测的质量。存在许多为纠正NGS读取中的错误而开发的程序。这些程序利用各种方法并针对不同的特定任务进行优化,但它们都远远不能纠正所有错误,特别是在通过重复序列和来自二/多倍体真核基因组的DNA交叉的测序读数中。结果:本文描述了一种基于相似读段比对聚类的纠错新方法。该方法在ReadsClean程序中实施,该程序设计用于清洁Illumina HiSeq测序读数。我们将ReadsClean与其他被几个出版物公认为最好的读取清洁程序进行了比较。我们使用实际和模拟测序读数进行的序列组装测试显示ReadsClean获得了优异的结果。可用性和实现:ReadsClean作为独立的C代码实现。它被纳入一个纠错管道,并免费提供给学术用户在Softberry网络服务器www.softberry.com。
2019-07-30 q-bio.GN
Generalized Method of Moments Estimation for Stochastic Models of DNA Methylation Patterns
随着测序技术的进步,大量的表观基因组数据已经变得可用,计算方法对表观遗传学研究的进展做出了重大贡献。作为基于机器学习的方法的正交方法,机制建模旨在描述表观遗传变化的机制。在这里,我们提出了一个有效的方法,参数估计随机模型,描述DNA甲基化模式随时间的动态。我们的方法是基于广义矩量法(GMM),并给出了类似的最大似然估计方法的准确性的结果。然而,与后者相反,GMM仍然允许有效和准确的参数校准,即使模型的复杂性由于考虑较长的甲基化模式而增加。我们显示了我们的方法的有用性,通过将其应用于发夹亚硫酸氢盐测序数据从小鼠胚胎干细胞的不同模式长度。
2019-11-04 q-bio.GN
Nanopore DNA Sequencing Technology: A Sociological Perspective
本文从社会学视角出发,运用扩散理论与行动者网络理论分析纳米孔测序作为消费产品的社会传播,揭示利益相关者、权力关系与社会—技术网络对其发展和影响的塑造作用。
2024-10-27 physics.hist-ph physics.med-ph physics.soc-ph
DSBplot: Indels in DNA Double-strand Break Repair Experiments
本文提出DSBplot方法,用于在单一综合表示中可视化DNA双链断裂修复实验中序列变异的频率、类型和位置,并支持不同实验设置间的变异模式比较。
2024-01-12 q-bio.GN
A probabilistic analysis of shotgun sequencing for metagenomics
基因组测序是许多现代生物学和医学研究的基础。随着最近的技术进步,宏基因组学已成为一个感兴趣的问题。这个问题需要分析和重建来自不同来源的多个DNA序列。鸟枪式基因组测序的工作原理是将长DNA序列分解为称为读段的较短片段。给定该读数集合,人们想要重建DNA序列的原始集合。对于宏基因组学中的试验设计,重要的是理解可靠重建所需的最小读取长度如何取决于所涉及的基因组的数量和特征。利用简单的概率模型为每个DNA序列,我们分析了M个基因组的长度为N的集合的可识别性在渐近制度,其中N趋于无穷大,M可能会增长与N。我们的第一个主要结果提供了M和N的阈值,因此如果读取长度超过阈值,则简单的贪婪算法成功地重建了基因组的完整集合,概率趋于1。我们的第二个主要结果在M和N方面建立了一个较低的阈值,使得如果读取长度短于阈值,则不可能重建完整的基因组集合,概率趋于1。
2022-01-13 math.PR q-bio.GN
MetaScope - Fast and accurate identification of microbes in metagenomic sequencing data
MetaScope是一种快速准确的分析(宿主相关)宏基因组数据集的工具。使用称为SASS的新DNA比对仪,针对宿主基因组(如有要求)和微生物Genbank进行读数的序列比对。SASS的输出被处理,以便使用LCA算法的新加权版本将所有微生物读数分配给分类群和基因。MetaScope是2013年DTRA软件挑战赛“从DNA序列流中识别生物体”的获胜者。
2015-11-25 q-bio.GN q-bio.QM
Beyond the Alphabet: Deep Signal Embedding for Enhanced DNA Clustering
The Henry & Marilyn Taub Faculty of Computer Science, Technion(以色列理工学院亨利与玛丽莲·陶布计算机科学学院);The Andrew and Erna Viterbi Faculty of Electrical and Computer Engineering, Technion(以色列理工学院安德鲁与埃尔娜·维特比电气与计算机工程学院)
本文提出一种深度神经网络,直接对 Nanopore 测序产生的原始信号进行聚类以改进 DNA 存储流程,相比传统基于碱基离散化后聚类的方法,显著提升了准确性并降低了计算时间。
2025-01-27 cs.CE cs.LG q-bio.GN
High-throughput sequencing reveals a simple model of nucleosome energetics
我们使用高通量测序获得的核小体图谱来研究内在组蛋白-DNA相互作用的序列特异性。与以前的方法相比,我们采用了一个类比之间的经典一维流体的有限大小的颗粒在任意的外部电位和DNA结合的组蛋白八聚体的阵列。我们推导出一个解析解,直接从高通量实验中测得的核小体密度推断核小体形成的自由能。然后通过将它们拟合到分配给各个核苷酸基序的能量总和来捕获自由能的序列特异性部分。我们已经开发出层次模型的复杂性和空间分辨率的增加,建立核小体occupancy可以解释的系统性差异之间的单和二核苷酸含量的核小体和接头DNA序列,周期性的二核苷酸分布和较长的序列基序发挥次要作用。此外,类似的序列特征表现出的控制实验中,基因组DNA的超声处理或消化与微球菌核酸酶在核小体的情况下,使其成为可能,目前的预测的基础上高通量核小体定位图是有偏见的实验文物。
2010-03-22 q-bio.BM q-bio.GN
CompostBin: A DNA composition-based algorithm for binning environmental shotgun reads
微生物多样性研究的一个主要障碍是,绝大多数微生物不能在实验室中培养,因此不适合传统的表征方法。环境鸟枪测序(ESS)通过对微生物群落中存在的生物体的DNA进行测序来克服这一障碍。通过将每个序列读数与其来源生物体相关联,可以极大地促进对该宏基因组数据的解释。我们报告了CompostBin的发展,这是一种基于DNA组成的算法,用于分析宏基因组序列读数并将其分配到特定分类单元中。与先前试图分箱组装的重叠群并且通常需要在已知参考基因组上进行训练的方法不同,CompostBin具有准确分箱原始序列读数而无需组装或训练的能力。它应用主成分分析将数据投影到一个信息丰富的低维空间中,然后在这个过滤后的数据集上使用归一化切割聚类算法将序列分类到特定分类单元中。我们证明了算法的准确性,在各种模拟数据集和一个宏基因组数据集与已知的物种分配。CompostBin是一项正在进行的工作,计划在未来对算法进行几次改进。
2007-08-22 q-bio.GN
Nanopore Sequencing of the phi X 174 genome
DNA的纳米孔测序是一种单分子技术,其可以以最少的样品制备和仪器实现长读取、低成本和高速。在这里,我们建立在纳米孔分辨率和DNA控制方面的最新进展来解释DNA通过孔MspA易位过程中观察到的离子电流水平的处理。由于大约四个核苷酸影响每个水平的离子电流,我们测量了对应于所有256个四核苷酸组合(四聚体)的离子电流。该四聚体图谱高度预测先前未测量的源自噬菌体phi X 174基因组的序列的离子电流水平。此外,我们显示了长度高达4,500个碱基的phi X 174的纳米孔测序读段,其可以明确地与phi X 174参考基因组对齐,并证明了关于杂交基因组组装和多态性检测的概念验证实用性。所有方法和数据都充分提供。
2014-06-18 physics.bio-ph q-bio.GN
Haplotype-based variant detection from short-read sequencing
从短读段DNA测序数据中直接检测单倍型需要改变现有的小变异检测方法。在这里,我们开发了一个贝叶斯统计框架,这是能够建模的多等位基因位点的个人与非均匀的拷贝数。然后,我们描述了我们的实现这个框架中的单倍型为基础的变异检测器,FreeBayes。
2012-07-20 q-bio.GN q-bio.QM
BaseCamp --- An Agentic AI Framework for Automating DNA Sequencing Data Pipelines
Old Dominion University(老道明大学);Deloitte & Touche LLP(德勤会计师事务所);AI Motion Labs(AI Motion 实验室);University of Oulu(奥卢大学);Nanyang Technological University(南洋理工大学);University of Colombo(科伦坡大学);Accenture Technology Labs(埃森哲技术实验室);GSI Scandinavia AB(GSI 斯堪的纳维亚公司)
BaseCamp 提出一个智能体 AI 框架,将 DNA 测序管道的决策层分解为六个专门智能体,协调本地微调 LLM 自动配置工具、解释结果并检测异常,在保持可重复性的同时实现专家级自动化。
2026-09-25 cs.AI q-bio.GN
Scalable Pathogen Detection from Next Generation DNA Sequencing with Deep Learning
Oklahoma State University(俄克拉荷马州立大学);Oklahoma Animal Disease Diagnostic Laboratory(俄克拉荷马动物疾病诊断实验室)
下一代测序技术已经扩大了物联网(IoT)的范围,通过以更低的成本增加从异构来源收集的大量基因组数据的可用性,将基因组学纳入个性化医疗。考虑到所收集数据的庞大规模以及物种间高度相似的基因组结构所带来的重大挑战,需要强大的可扩展分析平台来提取可操作的知识,例如潜在人畜共患病病原体的存在。来自新型病原体的人畜共患病的出现,例如1918年的流感病毒和2019年的SARS-CoV-2,可以跨越物种障碍并导致大流行,这强调了对可扩展宏基因组分析的需求。在这项工作中,我们提出了MG 2 Vec,这是一种基于深度学习的解决方案,使用Transformer网络作为其骨干,从原始宏基因组序列中学习鲁棒的特征,用于下游生物医学任务,如靶向和广义病原体检测。在四个日益具有挑战性但又现实的诊断环境中进行的广泛实验表明,所提出的方法可以帮助从未经管理的真实临床样本中检测病原体,并且以标签的形式进行最少的人工监督。此外,我们证明了学习的表示可以推广到疾病和物种之间完全不相关的病原体,用于大规模的宏基因组分析。我们通过深度学习对基于宏基因组的疾病诊断的新型表示学习框架进行了全面评估,并为从低成本的下一代测序中提取和使用鲁棒的矢量表示来开发可推广的诊断工具提供了一条前进的道路。
2022-11-30 cs.LG q-bio.GN
Analysis of whole mitogenomes from ancient samples
古代线粒体DNA已被用于各种各样的古生物学和考古学研究,从灭绝物种的种群动力学到驯化模式。这些研究中的大多数传统上是基于对线粒体控制区的短片段的分析,使用PCR结合Sanger测序进行分析。随着高通量测序以及新的富集技术的引入,从古代标本中恢复完整的线粒体基因组(有丝分裂基因组)已经变得不那么复杂。在这里,我们提出了一个协议,建立古代提取物到Illumina高通量测序库,和随后的Agilent阵列为基础的捕获,以丰富所需的有丝分裂基因组。这两种方法都是基于以前发表的协议,引入了几项改进,旨在提高短DNA片段的回收率,同时保持低成本和工作量要求。该方案被设计用于富集古老或降解样品中的线粒体DNA。然而,该方案可以容易地适用于构建用于全基因组的鸟枪测序或其他基因组区域的富集的文库。
2016-04-25 q-bio.GN q-bio.PE
Assembly of repetitive regions using next-generation sequencing data
高读取深度可用于组装短序列重复。现有的基因组组装器在比平均读取更长的重复区域中失败。我提出了一个新的算法,它使用的相对频率读取正确地重建重复序列的DNA组装。该数学模型显示了作为读段覆盖率的函数的结果的准确度上限。对于高覆盖度,估计误差线性地依赖于重复序列长度并且与测序覆盖度成反比。该算法需要由下一代测序仪提供的高读取深度,并且可以使用现有数据。对从几个模型基因组中通过计算机生成的无错读段的测试指出了正确重建的重复序列,而现有的组装程序失败了。
2014-11-03 q-bio.GN
A statistical framework for SNP calling, mutation discovery, association mapping and population genetical parameter estimation from sequencing data
动机:大多数现有的DNA序列分析方法依赖于准确的序列或基因型。然而,在下一代测序(NGS)的应用中,可能不容易获得准确的基因型(例如,多样品低覆盖测序或体细胞突变发现)。这些应用迫切需要开发新的方法来分析具有不确定性的序列数据。结果如下:我们提出了一个统计框架,调用单核苷酸多态性,发现体细胞突变,推断群体遗传参数和直接进行关联测试的测序数据的基础上,没有明确的基因分型或连锁为基础的插补。在真实数据上,我们证明了我们的方法达到了与估计位点等位基因计数、推断等位基因频率谱和关联映射的替代方法相当的准确性。我们还强调了使用对称数据集寻找体细胞突变的必要性,并证实了发现罕见事件时,错误映射通常是错误的主要来源。可用性:http://samtools.sourceforge.net.联系人:hengli@broadinstitute. org
2013-03-16 q-bio.GN
Extraction of long k-mers using spaced seeds
从测序读数中提取k-mer是许多生物信息学应用中的重要任务,例如基于de Bruijn图的所有DNA序列分析方法。当使用的k-mer在分析的DNA中是独特的时,这些方法往往更准确,因此优选使用较长的k-mer。当短读段测序技术的读段长度增加时,错误率将成为k的最大可能值的决定因素。在这里,我们提出了LoMeX,它使用间隔种子准确地提取长k-mer,即使在存在测序错误的情况下。我们的实验表明,LoMeX可以从当前Illumina读取中提取长k-mer,其召回率高于标准k-mer计数工具。此外,我们对模拟数据的实验表明,当读长进一步增加时,标准k-mer计数器的性能下降,而LoMeX仍然成功地提取长k-mer。
2020-10-23 q-bio.GN
Lightweight LCP Construction for Next-Generation Sequencing Datasets
“下一代”DNA测序(NGS)技术的出现意味着数亿个DNA序列的集合现在在生物信息学中是司空见惯的。知道这样的集合的最长公共前缀数组(LCP)将有助于快速计算最大精确匹配、最短唯一子串和最短缺失字。用于计算字符串的LCP的CPU高效算法已经在文献中描述,但是需要在RAM中存在大的数据结构。这使得这些方法对NGS数据集不可行。在本文中,我们提出了第一个轻量级的方法,同时计算,通过顺序扫描,非常大的序列集合的LCP和BWT。对高达8亿100聚体的集合的计算结果表明,我们的算法可扩展到人类全基因组测序实验中遇到的庞大序列集合。
2013-05-01 cs.DS q-bio.GN
ARISA data from the human gut microbiome can detect individual differences observed by 454 sequencing regardless of binning strategy
ARISA(自动核糖体基因间间隔区分析)是一种低成本的技术,可以快速比较不同的微生物环境。在这项研究中,我们询问了一组ARISA图谱是否可以以与454高通量DNA测序产生的结果相同的准确度区分人类微生物环境。使用一组人类微生物群落,其中测序结果按主题聚类,我们测试了ARISA数据处理期间所做的选择如何影响聚类。我们发现聚类方法的选择具有深远的影响,其中Ward聚类生成的图谱与454测序最相似。箱大小、使用存在或不存在调用和技术重复操作等因素对聚类的影响可以忽略不计。事实上,在文献中没有报道的确定箱大小的方法与简单地随机挑选箱间隔的结果有显著不同。我们的结论是,在分析ARISA数据从生态系统的足够复杂的饱和箱,仔细选择聚类算法是必不可少的,而不同的策略选择箱可能有一个不太明显的影响分析的结果。作为区分复杂微生物群落的工具,ARISA以一小部分成本非常接近从DNA测序获得的结果;然而,ARISA未能完美地再现测序结果。
2012-07-30 q-bio.GN q-bio.PE
Methylation Operation Wizard (MeOW): Identification of differentially methylated regions in long-read sequencing data
本文提出MeOW程序,利用长读长测序数据在全基因组范围内识别和优先排序差异甲基化区域,支持计数文件或含修饰碱基标签的bam文件作为输入。
2024-02-27 q-bio.GN q-bio.QM
Sequencing by Emergence: Modeling and Estimation
涌现测序(Sequencing by Emergence,SEQ E)是一种新的单分子核酸(DNA/RNA)测序技术,它通过短寡核苷酸探针库的结合和定位的涌现性质来估计序列。SEQE承诺在10分钟内以非常低的成本在整个基因组规模上提供准确,超长,单倍型阶段的读数。SEQE生成的数据需要全新的推理技术。在本文中,我们介绍了一个概率模型的序列估计测量过程和算法,通过解决相应的最大似然问题的凸松弛估计序列。我们证明了我们的算法在各种模拟数据集上的有效性。
2021-08-03 q-bio.GN stat.AP
FPGA Acceleration of Sequence Alignment: A Survey
基因组学正在改变我们对人类,进化,疾病和药物的理解,仅举几例。随着测序技术的发展,收集DNA序列需要更少的时间,从而每天产生更多的遗传数据。今天,生成基因数据的速度超过了计算能力的增长速度。目前的测序仪每天可以对50个人类基因组进行测序;然而,将读取序列与参考基因组进行比对并组装基因组将需要1300个CPU小时。构建基因组的主要步骤是将读数与参考基因组进行比对。已经提出了许多加速器来加速DNA比对过程。基于FPGA的加速器提供了大量的并行性,在加速DNA比对算法方面表现出了出色的性能。此外,基于FPGA的加速器提供比通用处理器更好的能效。本文介绍了三种主要的DNA比对算法,以及这些算法的FPGA实现,以加速DNA比对。我们还比较了这三种对齐类别,并展示了加速器在此期间的发展情况。
2020-07-28 cs.AR q-bio.GN q-bio.QM
Interlacing Personal and Reference Genomes for Machine Learning Disease-Variant Detection
Cambridge Cancer Genomics(剑桥癌症基因组学);University of Cambridge(剑桥大学);University College London(伦敦大学学院)
用于识别遗传变异的DNA测序在临床环境中变得越来越有价值。对此类测序数据中的变体的评估通常通过贝叶斯启发式算法来实现。机器学习在改进这些变体调用方面表现出了很大的希望,但这些变体调用的输入仍然是标准化的“堆积”图像,这并不总是最合适的。在本文中,我们提出了一种新的方法,用于从DNA测序数据生成图像,该方法将人类参考基因组与个性化测序输出交错,以最大限度地利用测序读数并提高机器学习算法的性能。我们证明了这在提高标准生殖系变异检测中的成功。我们还进一步发展了这种方法,以包括具有暹罗网络的跨肿瘤/正常数据的体细胞变异检测。这些方法可以用于测序数据的机器学习应用,希望改善临床结果,并且可以在www.ccg.ai上免费获得非商业用途。
2018-11-26 cs.LG q-bio.GN stat.ML
ProDOMA: improve PROtein DOMAin classification for third-generation sequencing reads using deep learning
Michigan State University(密歇根州立大学);City University of Hong Kong(香港城市大学)
动机:随着第三代测序技术的发展,人们可以获得几十到几百kb的DNA序列。这些长读段允许蛋白质结构域注释而无需组装,因此可以对基础数据的生物学功能产生重要的见解。然而,第三代测序数据中的高错误率对已建立的域分析管道提出了新的挑战。现有技术的方法没有针对噪声读数进行优化,并且在第三代测序数据中显示出不令人满意的结构域分类准确性。仍然需要新的计算方法来提高在长噪声读取中的域预测的性能。结果:在这项工作中,我们引入了ProDOMA,这是一种深度学习模型,可以对第三代测序读数进行域分类。它使用具有3帧翻译编码的深度神经网络从部分正确的翻译中学习保守特征。此外,我们将我们的问题表述为开集问题,因此我们的模型可以拒绝不相关的DNA读取,例如来自非编码区的DNA读取。在对蛋白质编码序列的模拟读段和来自人类基因组的真实读段的实验中,我们的模型在蛋白质结构域分类上优于HMMER和DeepFam。总之,ProDOMA是一种有用的端到端蛋白质结构域分析工具,用于长噪声读取,而不依赖于纠错。可用性:源代码和训练模型可以在https://github.com/strideradu/ProDOMA上免费获得。联系方式:yannisun@cityu.edu.hk
2020-09-26 cs.LG q-bio.GN
Iterative Learning for Reference-Guided DNA Sequence Assembly from Short Reads: Algorithms and Limits of Performance
最近出现的下一代DNA测序技术使得能够以前所未有的规模获取遗传信息。为了确定生物体的遗传蓝图,测序平台通常采用所谓的鸟枪测序策略,用相对短的重叠读段的文库对靶基因组进行过采样。通过处理由测序仪器产生的所获取的噪声信号来确定读段中的核苷酸的顺序。即使在存在参考基因组的情况下,从潜在错误的短读段组装基因组也是计算上令人生畏的任务。参考中的错误和缺口以及靶中的完美重复区域进一步使得组装具有挑战性并导致不准确性。在本文中,我们制定的参考引导序列组装问题的二分图上的基因组序列的推理,并解决它使用的消息传递算法。该算法可以被解释为著名的经典的信念传播计划在一定的先验。与现有的最先进的方法不同,所提出的算法结合了由读段提供的信息,而不需要知道短读段的可靠性(所谓的质量分数)。讨论了消息传递算法与可证收敛幂迭代格式的关系。为了评估和基准所提出的技术的性能,我们找到了一个天才辅助最大后验概率(MAP)决策方案的错误概率的解析表达式。仿真和实验数据的结果表明,所提出的消息传递算法优于常用的最先进的工具,它几乎达到上述MAP决策方案的性能。
2014-03-22 cs.CE cs.IT math.IT
A Graph Auto-Encoder for Haplotype Assembly and Viral Quasispecies Reconstruction
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
从通过DNA测序获得的数据重建基因组混合物的组分是在包括单个个体单体型分析和病毒群落研究的各种应用中遇到的具有挑战性的问题。高通量DNA测序平台对混合物组分进行过采样,以提供大量的读数,其相对位置可以通过将读数映射到已知的参考基因组来确定;然而,组件的组装需要发现读数的起源-现有方法难以以所需的准确度水平解决的NP难题。在本文中,我们提出了一个学习框架的基础上,图自动编码器,旨在利用测序数据的结构特性。该算法是一种神经网络,其基本上训练以忽略测序错误并推断测序读数来源的后验概率。然后通过找到确定源自相同基因组组分的读段的共有序列来重建混合物组分。现实的合成以及实验数据的结果表明,所提出的框架可靠地组装单倍型和重建病毒社区,往往显着优于国家的最先进的技术。
2019-11-13 cs.AI cs.LG q-bio.GN
A biologically constrained encoding solution for long-term storage of images onto synthetic DNA
生活在数字媒体爆炸的时代,存储的数据量急剧增加。然而,即使现有的存储系统在容量方面表现出效率,它们也缺乏耐用性。硬盘、闪存、磁带甚至光学存储的使用寿命有限,在5到20年的范围内。有趣的是,最近的研究已经证明,可以使用合成DNA来存储数字数据,这为实现数据寿命提供了强有力的候选人。DNA的生物学特性允许将大量的信息量存储到非常小的体积中,同时也有希望在几个世纪甚至更长的时间内有效存储而不丢失信息。然而,将数字数据编码到DNA上并不明显,因为在解码时,我们不得不面对测序噪声鲁棒性的问题。此外,合成DNA是一个昂贵的过程,因此,通过优化率失真权衡来控制压缩比是我们必须处理的一个重要挑战。这项工作提出了一个编码的解决方案,为数字图像存储到合成DNA。我们开发了一种新的编码算法,该算法生成的DNA代码对来自合成和测序过程的生物错误具有鲁棒性。此外,由于优化的分配过程,该解决方案能够控制压缩比,从而控制合成DNA链的长度。结果表明,改进的编码潜力相比,以前的国家的最先进的作品。
2019-03-07 cs.MM eess.IV q-bio.GN
Coinami: A Cryptocurrency with DNA Sequence Alignment as Proof-of-work
使用高通量测序(HTS)平台生成的数据量的增长率现在超过了摩尔定律所规定的增长。预计在2025年之前,HTS数据将超过其他“大数据”领域,如天文学。除了用于研究目的的基因组测序外,临床环境中的基因组和外显子组测序将成为医疗保健的常规部分。然而,分析如此大量的数据并非没有计算挑战。由于参考基因组的定期更新,这一负担甚至更加增加,这通常需要重新分析现有数据。在这里,我们提出了硬币应用中介接口(Coinami)分配工作量的映射读取参考基因组使用志愿者网格计算机的方法类似于伯克利开放式网络计算基础设施(BOINC)。然而,由于HTS读码映射需要大量的计算资源,并且需要快速的分析投票率,Coinami使用HTS读码映射作为工作证明来生成有效的区块来管理自己的加密货币系统,这可能有助于激励志愿者投入更多的资源。Coinami协议包括确保志愿者执行的工作正确的机制,并提供基因组数据隐私。Coinami的原型实现可在http://coinami.github.io/上获得。
2016-02-19 cs.CE cs.CR q-bio.GN
Length distribution of sequencing by synthesis: fixed flow cycle model
针对合成测序,提出固定流动循环模型,在概率性不完全掺入条件下推导序列长度分布,并给出均值和方差的闭式公式。
2014-11-06 cs.DM math.CO q-bio.GN
Scanning a Poisson Random Field for Local Signals
使用高通量DNA测序数据的局部基因组信号的检测可以被视为扫描泊松随机场以寻找过程速率的局部变化的问题。我们提出了一个基于可能性的框架,这样的扫描,并推导出公式的误报率控制和功率计算。该框架还可以容纳泊松过程的混合物,以处理过度分散。作为一个具体的、详细的例子,我们考虑通过配对末端DNA测序检测插入和缺失。我们提出了几个统计这个问题,比较他们的权力在目前的试验设计,并说明他们的应用Illumina白金基因组数据集。
2014-06-12 q-bio.GN stat.AP stat.ME
PepSIRF: a flexible and comprehensive tool for the analysis of data from highly-multiplexed DNA-barcoded peptide assays
通过将肽与DNA标签偶联(即,通过使用“条形码”),现在可以利用高通量测序(HTS)技术来实现高度多重的基于肽的测定,其具有多种潜在应用,包括对抗体识别的表位的广泛表征。虽然HTS数据的处理通常已经得到很好的支持,但很少有软件工具已经开发用于处理这些高度多重肽测定中生成的数据。为了填补这一空白,我们提出了PepSIRF(基于肽的血清学免疫应答框架),这是一个灵活而全面的软件包,专门用于分析来自高度多重肽基检测的HTS数据。
2020-07-09 q-bio.GN q-bio.QM
XVir: A Transformer-Based Architecture for Identifying Viral Reads from Cancer Samples
UT Austin(德克萨斯大学奥斯汀分校)
XVir提出基于Transformer的深度学习流水线,从癌症样本测序数据中可靠识别病毒DNA,在准确率上优于现有方法且更高效。
2023-08-28 cs.LG q-bio.GN
Statistical distributions of sequencing by synthesis with probabilistic nucleotide incorporation
本文针对合成测序中不完全核苷酸掺入,推导了固定循环数和固定序列长度下的统计分布及均值方差公式,并推广至上下文依赖情形,为测序平台开发提供理论支持。
2014-11-06 cs.DM math.CO q-bio.GN