Nanopore Base Calling on the Edge
Faculty of Mathematics, Physics and Informatics, Comenius University in Bratislava(布拉迪斯拉发夸美纽斯大学数学、物理与信息学学院)
我们开发了一种新的碱基调用器DeepNano-coral用于纳米孔测序,它经过优化,可以在Coral Edge Tensor Processing Unit(一种小型USB连接的硬件加速器)上运行。为了实现这一目标,我们设计了两个关键组件的新版本,用于卷积神经网络的语音识别和基地呼叫。在我们的组件中,我们提出了一种新的方式,将完整的卷积分解为更小的操作,这减少了内存访问操作,内存访问是该设备上的瓶颈。DeepNano-coral在测序过程中实现了实时碱基调用,其准确性略优于Guppy碱基调用器的快速模式,并且非常节能,仅使用10 W的功率。可用性:https://github.com/fmfi-compbio/coral-basecaller
2020-11-09 cs.LG q-bio.GN
Interlacing Personal and Reference Genomes for Machine Learning Disease-Variant Detection
Cambridge Cancer Genomics(剑桥癌症基因组学);University of Cambridge(剑桥大学);University College London(伦敦大学学院)
用于识别遗传变异的DNA测序在临床环境中变得越来越有价值。对此类测序数据中的变体的评估通常通过贝叶斯启发式算法来实现。机器学习在改进这些变体调用方面表现出了很大的希望,但这些变体调用的输入仍然是标准化的“堆积”图像,这并不总是最合适的。在本文中,我们提出了一种新的方法,用于从DNA测序数据生成图像,该方法将人类参考基因组与个性化测序输出交错,以最大限度地利用测序读数并提高机器学习算法的性能。我们证明了这在提高标准生殖系变异检测中的成功。我们还进一步发展了这种方法,以包括具有暹罗网络的跨肿瘤/正常数据的体细胞变异检测。这些方法可以用于测序数据的机器学习应用,希望改善临床结果,并且可以在www.ccg.ai上免费获得非商业用途。
2018-11-26 cs.LG q-bio.GN stat.ML
Refinement of genetic variants needs attention
Université Laval(拉瓦尔大学)
针对低覆盖度测序数据传统变异检出方法准确率不足的问题,研究提出基于Transformer的VariantTransformer模型,可自动化完成变异检出精炼,性能优于传统过滤器且接近顶尖AI工具,推动了低覆盖度基因组研究的变异分析进展。
2024-08-01 q-bio.GN
Learning from Data-Rich Problems: A Case Study on Genetic Variant Calling
New York University(纽约大学);Google(谷歌)
下一代测序可以对整个基因组(WGS)或编码蛋白质的1-2%的基因组进行采样,称为全外显子组(WES)。用于变异检测的机器学习方法在WGS数据中实现了高准确度,但是训练示例的数量减少导致仅用WES数据进行训练实现了较低的准确度。我们提出并比较了三种不同的数据增强策略来提高WES数据的性能:1)使用WES和WGS数据进行联合训练,2)从WGS模型温启动WES模型,3)使用指定的排序类型进行联合训练。所有这三种方法都显示出比仅使用WES数据训练的模型更高的准确性,这表明模型能够从更大的WGS数据中概括见解,同时保留专门的WES问题的性能。这些数据增强方法可能适用于基因组学中的其他问题领域,其中几个专门的模型只能看到基因组的一个子集。
2019-11-15 cs.LG q-bio.GN
grenepipe: A flexible, scalable, and reproducible pipeline to automate variant and frequency calling from sequence reads
本文提出 grenepipe,这是一个基于 Snakemake 的端到端可复现测序数据处理流程,支持灵活配置工具、自动安装依赖、集群并行扩展,并生成基因型或种群频率表。
2021-03-28 q-bio.GN
Safety and Robustness in Decision Making: Deep Bayesian Recurrent Neural Networks for Somatic Variant Calling in Cancer
Cambridge Cancer Genomics(剑桥癌症基因组学公司);The University of Cambridge(剑桥大学)
个体肿瘤的基因组图谱在为给定患者创建个性化癌症治疗策略时可以提供大量信息;这种做法被称为精确肿瘤学。这涉及肿瘤样本的下一代测序和随后的基因组畸变(如体细胞突变)鉴定,以提供靶向治疗的潜在候选者。从测序噪声和种系变异背景中识别这些畸变构成了经典的分类式问题。这在以前已经被许多不同的监督机器学习方法所讨论,包括深度学习神经网络。然而,到目前为止,这些神经网络还没有被定制为在突变呼叫中给出任何置信度的指示,这意味着肿瘤学家可能以低概率为真的突变为目标。为了解决这个问题,我们在这里提出了一个用于癌症变异识别的深度递归神经网络,与标准神经网络相比,它的性能没有下降。这种方法通过不同的先验知识实现了更大的灵活性,以避免对单个数据集的过度拟合。我们将把这种方法整合到肿瘤学家的软件中,以获得安全、可靠和统计上有信心的体细胞突变要求,从而进行精确的肿瘤治疗选择。
2019-12-04 cs.LG q-bio.GN stat.ML
Indexing arbitrary-length $k$-mers in sequencing reads
我们提出了一个轻量级的数据结构的索引和查询收集的NGS读数据在主存中。该数据结构支持Philippe等人在开创性工作中提出的接口,用于计数和定位测序读数中的$k$ -聚体。我们的解决方案,PgSA(伪基因组后缀阵列),基于寻找重叠读段,是竞争力的空间使用,查询时间,或两者兼而有之的现有算法。我们的索引的主要应用包括变体调用,错误校正和RNA-seq实验的读数分析。
2015-02-13 cs.DS q-bio.GN
Deep Bayesian Recurrent Neural Networks for Somatic Variant Calling in Cancer
Cambridge Cancer Genomics(剑桥癌症基因组学公司);The University of Cambridge(剑桥大学)
新兴的精确肿瘤学领域依赖于肿瘤分子谱变化的准确定位,以提供个性化的靶向治疗。该领域的当前方法通常包括将下一代测序技术应用于肿瘤样品,然后鉴定DNA中的突变,称为体细胞变体。这些变体与测序错误的区分提出了经典的分类问题,传统上用贝叶斯统计来处理,最近用监督机器学习方法如神经网络来处理。虽然这些方法提供了更高的准确性,但经典的神经网络缺乏指示变异识别的置信度的能力。在本文中,我们探索了深度贝叶斯神经网络对下一代测序数据的性能,以及它们对体细胞变异调用进行概率估计的能力。除了与标准神经网络相比表现出类似的性能外,我们还证明了所得到的输出概率使这些模型更适合于这些模型在现实世界中可能遇到的不同和高度可变的测序数据集。我们的目标是为肿瘤学家提供算法,使模型的确定性更好地反映准确性,以改善临床应用。通过从点估计转移到可靠的置信区间,我们期望由此产生的临床和治疗决策更加稳健,并且更多地了解肿瘤分子谱的潜在现实。
2019-12-06 cs.LG q-bio.GN stat.ML
Using Sequence Ensembles for Seeding Alignments of MinION Sequencing Data
Oxford Nanopore MinION测序仪是目前最小的测序设备。虽然能够产生非常长的读段(报道了高达100 kbp的读段),但其易于产生高达30%的高测序出错率。由于这些错误中的大多数是插入或删除,因此很难适应流行的基于种子的算法,该算法被设计用于以低得多的出错率比对数据集。MinION读段的碱基识别通常使用隐马尔可夫模型完成。在本文中,我们建议从这样的概率模型中采样的序列的集合来表示每个测序读取。与对每个读段使用单个代表性碱基识别序列相比,这种方法可以提高接种比对的灵敏度和假阳性率。
2016-06-28 cs.DS q-bio.GN
An Integrated Genomics Workflow Tool: Simulating Reads, Evaluating Read Alignments, and Optimizing Variant Calling Algorithms
该研究评估多种基因组学工具,提出开源管道VarFind,自动化读段模拟、比对和变异调用流程,以优化变异检测准确性。
2025-04-24 q-bio.GN
BaseCamp --- An Agentic AI Framework for Automating DNA Sequencing Data Pipelines
Old Dominion University(老道明大学);Deloitte & Touche LLP(德勤会计师事务所);AI Motion Labs(AI Motion 实验室);University of Oulu(奥卢大学);Nanyang Technological University(南洋理工大学);University of Colombo(科伦坡大学);Accenture Technology Labs(埃森哲技术实验室);GSI Scandinavia AB(GSI 斯堪的纳维亚公司)
BaseCamp 提出一个智能体 AI 框架,将 DNA 测序管道的决策层分解为六个专门智能体,协调本地微调 LLM 自动配置工具、解释结果并检测异常,在保持可重复性的同时实现专家级自动化。
2026-09-25 cs.AI q-bio.GN
TPMM: Three-component Posterior Mixture Model Enables Robust Inverton Detection in Low-Depth Metagenomes and Suggests Potential Viral Invertons
City University of Hong Kong(香港城市大学);Chinese University of Hong Kong(香港中文大学)
TPMM通过整合测序深度,利用后验混合模型在低深度宏基因组中稳健检测倒位,且在系统性降采样下表现更优,揭示了病毒基因组中潜在的可逆倒位元素。
2026-03-17 q-bio.GN
Towards Better Understanding of Artifacts in Variant Calling from High-Coverage Samples
动机:全基因组高覆盖测序已广泛用于个人和癌症基因组学以及各种研究领域。然而,在缺乏无偏的全基因组真值集的情况下,即使在评估变异检测方法方面做出了巨大努力,变异识别的全局错误率和主要的因果伪影仍然不清楚。结果如下:我们使用两个读段作图器和五个变体调用器制作了十个SNP和INDEL调用集,均在相似覆盖度的单倍体人类基因组和二倍体基因组上。通过研究单倍体基因组中的假杂合调用,我们确定了低复杂性区域的错误重新排列和相对于样品的不完整参考基因组是错误的两个主要来源,这两个方面需要继续改进。我们估计原始基因型调用的错误率高达1/10- 15 kb,但后过滤调用的错误率降低到1/100- 200 kb,而不显著损害灵敏度。可用性:BWA-MEM对齐:http://bit.ly/1g8XqRt;链接:https://github.com/lh3/varcmp;其他数据:https://figshare.com/articles/Towards_better_understanding_of_artifacts_in_variating_calling_from_high_coverage_samples/981073
2015-07-23 q-bio.GN
SnakeLines: integrated set of computational pipelines for sequencing reads
背景资料:随着大规模并行测序技术的快速发展,更多的实验室正在利用测序的DNA片段进行基因组分析。然而,测序数据的解释强烈依赖于生物信息学处理,这对于没有计算背景的临床医生和研究人员来说通常要求太高。另一个问题是,在不同的计算中心之间,由于安装的文库和生物信息学工具的版本不一致,计算分析的可重复性。结果如下:我们提出了一个易于扩展的计算管道集,称为SnakeLines,用于处理测序读取;包括映射,组装,变异检测,病毒鉴定,转录组学,宏基因组学和甲基化分析。分析的各个步骤以及方法及其参数可以在单个配置文件中轻松修改。提供的管道嵌入在虚拟环境中,确保所需资源与主机操作系统隔离,快速部署,以及跨不同Unix平台的分析重现性。结论:SnakeLines是一个强大的生物信息学分析自动化框架,强调简单的设置,修改,可扩展性和再现性。关键词:计算流水线,框架,大规模并行测序,再现性,虚拟环境
2021-06-25 cs.CE q-bio.GN
Bayesian Inference for Tumor Subclones Accounting for Sequencing and Structural Variants
肿瘤样品是异质的。它们由不同的亚克隆组成,其特征在于多个基因座上的DNA核苷酸序列和拷贝数的差异。可以通过鉴定在选定的一组基因座处的亚克隆拷贝数和序列来测量异源性。理解变异等位基因分数的准确识别在很大程度上取决于拷贝数的精确测定,我们开发了贝叶斯特征分配模型,用于联合调用相同位点的亚克隆拷贝数和相应的等位基因序列。该方法利用三个随机矩阵L、Z和w分别表示亚克隆拷贝数(L)、亚克隆变异等位基因数(Z)和样品中亚克隆的细胞分数(w)。未知数量的亚克隆意味着这些矩阵的列数为随机数。我们使用下一代测序数据通过对这三个矩阵的推断来估计亚克隆结构。使用模拟研究和真实的数据分析,我们演示了如何后验推断的亚克隆结构的增强与联合建模的结构和测序变异的亚克隆基因组。软件可在http://compgenome.org/BayClone2上获得。
2014-09-25 q-bio.GN stat.ME
Ococo: an online variant and consensus caller
动机:识别基因组变异是连接基因型和表型的重要步骤。通常的方法包括从测序读数的比对中统计推断变体。最先进的变异识别器可以高精度地解析各种不同的变异类型。然而,它们要求从变异检测开始就可以获得所有读段比对,并按坐标排序。排序在计算上是昂贵的,无论是内存还是速度方面,并且所产生的流水线遭受从外部存储器存储和检索大型对齐文件。因此,人们对开发资源高效的变异检测方法很感兴趣。结果:我们提出了Ococo,这是第一个能够实时推断变体的程序,因为读取比对被输入。Ococo从数据流中输入未排序的比对,并使用存储在紧凑的几位计数器中的统计数据推断单核苷酸变体以及基因组共识。Ococo为通常的变异检测提供了一种快速且节省内存的替代方法。当读段被逐步测序或映射时,或者当可用的计算资源非常珍贵时,这是特别有利的。
2018-11-05 q-bio.GN
SVPLEX: A Nextflow Pipeline for Cohort-level Structural Variant Calling
Walter and Eliza Hall Institute of Medical Research(沃尔特和伊尔莎霍尔医学研究所);University of Melbourne(墨尔本大学);Epilepsy Research Centre, Department of Medicine (Austin Health), University of Melbourne(墨尔本大学医学部癫痫研究中心(奥斯汀健康))
SVPLEX是一款用于队列水平结构变异检测的Nextflow流程,集成六种检测工具生成合并共识调用集,支持多平台运行,可用于罕见病变异分析,已开源发布。
2026-08-13 q-bio.GN
gpuPairHMM: High-speed Pair-HMM Forward Algorithm for DNA Variant Calling on GPUs
Johannes Gutenberg University(约翰内斯·古腾堡大学);NVIDIA Corporation(英伟达公司)
gpuPairHMM是一种基于GPU的高吞吐量配对-HMM前向算法,用于加速DNA变异检测,其在多种GPU上实现了接近峰值的性能,并在不同硬件上均优于现有方法。
2024-11-18 cs.DC q-bio.GN
Contrastive Deep Learning for Variant Detection in Wastewater Genomic Sequencing
Georgia State University(佐治亚州立大学)
本文提出了一种基于VQ-VAE的无监督方法,用于污水基因组测序中的变异检测,通过对比学习提高变异区分能力,实现高准确率的变异识别。
2025-12-02 cs.LG q-bio.GN
Dynamic read mapping and online consensus calling for better variant detection
从高通量测序数据中检测变异是鉴定复杂疾病和癌症中涉及的等位基因的重要步骤。为了处理这些海量数据,采用了精心设计的序列分析管道。这种流水线的核心组件是读段映射模块,其准确性强烈影响所得变体调用的质量。我们提出了一种动态读取映射方法,显着提高读取比对精度。动态映射的一般思想是基于先前计算的读段比对连续更新参考序列。尽管这一概念已经出现在文献中,我们认为,我们的工作提供了第一个全面的分析这种方法。为了评估动态映射的好处,我们开发了一个模拟不同动态映射场景的软件管道(http://github.com/karel-brinda/dymas)。该流水线被应用于比较动态映射与传统的静态映射,另一方面,与所谓的迭代参考-一个计算昂贵的程序计算的最佳修改的参考,最大限度地提高了所有的比对的整体质量。我们的结论是,在所有的替代品,动态映射的结果在一个更好的精度比静态映射,接近迭代参考的准确性。为了在动态映射过程中校正参考序列,我们开发了名为OCOCO的在线共识调用程序(http://github.com/karel-brinda/ococo)。OCOCO是第一个能够以在线方式处理输入读取的共识调用者。最后,我们提供的结论动态映射的可行性和讨论的主要障碍,必须克服实施it. We还审查了广泛的可能的应用动态映射,特别强调变异检测。
2016-05-29 q-bio.GN
Adaptive reference-free compression of sequence quality scores
动机:DNA测序的快速技术进步激发了人们对压缩现在常规产生的大量数据集的兴趣。相对较少的注意力已经支付给压缩的质量分数分配给每个序列,即使这些分数可能比序列本身更难压缩。通过将一组读段聚集成压缩索引,我们发现大多数碱基可以从与其相邻的碱基序列预测,因此对于变异检测或其他应用可能信息较少。这些碱基的质量分数被积极压缩,在全分辨率下留下相对较小的数量。由于我们的方法直接依赖于读数中存在的冗余,因此它不需要参考序列,因此适用于宏基因组学和从头实验的数据以及重测序数据。结果如下:我们表明,一个保守的平滑策略,影响75%的质量分数高于Q2导致整体质量分数压缩1位每值上的变异检测的影响可以忽略不计。使用更积极的平滑策略实现每个质量值0.68位的压缩,同样对变异检测具有非常小的影响。可用性:在大型基因组数据集上构建BWT和LCP阵列的代码是BEETL库的一部分,可在http://git@github.com上作为github资源库获得:BEETL/BEETL.git。
2013-05-01 cs.DS q-bio.GN
A frame-based representation of genomic sequences for removing errors and rare variant detection in NGS data
我们提出了一个基于框架的表示k-mer检测测序错误和罕见的变异,在下一代测序数据中获得的人口密切相关的基因组。帧是非正交基函数的集合,传统上用于信号处理以去除噪声。我们为基因组和测序读数定义了一个框架,该框架由给定大小的每个k-mer的离散空间信号组成。我们表明,每个k-mer的测序数据可以投影到多个帧,这些投影最大化的空间信号对应的k-mer的子串。我们提出的分类器MultiRes是在k-mer的投影上训练的,作为用于将k-mer标记为基因组中错误或真实变异的特征。我们在模拟和真实病毒种群数据集上评估MultiRes,并将其与文献中已知的其他纠错方法进行比较。与其他方法相比,MultiRes的假阳性k-mer预测少4至500倍,这对于准确估计病毒群体多样性及其从头组装至关重要。它具有高召回率的真正的k-mer,与其他错误校正方法。MultiRes在检测单核苷酸多态性(SNP)方面的召回率也超过95%,假阳性SNP更少,同时与用于病毒群体的其他变异检测方法相比,检测到更多数量的罕见变异。该软件可从GitHub链接(https://github.com/raunaq-m/MultiRes)免费获得。
2016-04-16 q-bio.GN
Improving sequence-based genotype calls with linkage disequilibrium and pedigree information
对人类基因组进行完整和有针对性的测序是一种很有前途的、越来越可行的工具,可用于发现遗传因素对复杂疾病风险的影响。一个关键步骤是从一个人的DNA的多个对齐的短读段序列中识别出他的基因型,每个短读段序列都有核苷酸读段错误。目前的方法被设计为从无关个体的序列数据中分别调用每个基因座的基因型。在这里,我们提出了基于似然性的方法,通过利用序列数据的两个特征来提高调用准确性。第一种是邻近SNP之间的连锁不平衡(LD)。第二个是当相关个体被测序时可获得的孟德尔谱系信息。在这两种情况下,可能性涉及给定基因型的读段变体计数的概率,在未观察到的基因型上求和。控制先验基因型分布和读取错误率的参数可以从序列数据本身或从外部参考数据估计。我们使用模拟和基于1000个基因组计划的合成读取数据来评估所提出的方法的性能。一个将这些方法应用于小家庭的R程序可以在http://med.stanford.edu/epidemiology/PHGC/上免费获得。
2012-06-28 q-bio.GN stat.AP
SAMBLASTER: fast duplicate marking and structural variant read extraction
动机:Illumina DNA测序现在是原始基因组数据的主要来源,数据量正在迅速增长。生物信息学分析管道很难跟上步伐。这种管道中的一个常见瓶颈是需要多次读取、写入、排序和压缩大型BAM文件。结果:我们提出了SAMBLASTER,一种工具,减少了执行这种昂贵的操作的次数。SAMBLASTER旨在将读排序SAM文件中的重复标记为DNA比对器输出的管道后传递,然后将其压缩为BAM。此外,它可以同时将用于结构变异检测的不一致读段对和/或拆分读段映射输出到单独的文件中。作为对齐后传递,其自身的运行时开销可以忽略不计,同时显著降低了整体管道复杂性和运行时。作为一个独立的重复标记工具,它在速度和内存使用方面的表现明显优于PICARD或SAMBAMBA,同时达到几乎相同的结果。可用性:SAMBLASTER是开源C++代码,可从https://github.com/GregoryFaust/samblaster免费获得
2014-03-28 q-bio.GN