Scaling metagenome sequence assembly with probabilistic de Bruijn graphs
深度测序已经使得能够研究广泛的环境微生物生态系统，但是来自这些复杂群体的短读段鸟枪测序数据的{ \em de novo}组装的高存储器要求是越来越大的实际障碍。在这里，我们介绍了一个内存高效的图形表示，我们可以分析宏基因组样本的k-mer连接。图表示是基于一个概率数据结构，布隆过滤器，使我们能够有效地存储组装图在每k-mer少至4位，虽然不准确。我们表明，这种数据结构准确地表示DNA组装图在低内存。我们应用这种数据结构的问题，分区组装成组件的组装图作为前奏，并表明，这降低了整体的内存需求{ \em从头}组装的宏基因组。在一个土壤宏基因组组装上，这种方法实现了组装的最大内存需求的近40倍降低。这种概率图表示在存储组装图方面是一个重大的理论进步，并且也对宏基因组组装产生直接影响。
2012-06-30 q-bio.GN
TPMM: Three-component Posterior Mixture Model Enables Robust Inverton Detection in Low-Depth Metagenomes and Suggests Potential Viral Invertons
City University of Hong Kong（香港城市大学）；Chinese University of Hong Kong（香港中文大学）
TPMM通过整合测序深度，利用后验混合模型在低深度宏基因组中稳健检测倒位，且在系统性降采样下表现更优，揭示了病毒基因组中潜在的可逆倒位元素。
2026-03-17 q-bio.GN
Assembling large, complex environmental metagenomes
对复杂环境进行深度采样所需的大量测序数据对序列分析方法提出了新的挑战。从头宏基因组组装有效地减少了待分析的数据总量，但需要大量的计算资源。我们应用两种预组装过滤方法，数字归一化和分区，使大型宏基因组组装更易于计算。使用人类肠道模拟社区数据集，我们证明了这些方法的结果几乎相同的组件从未处理的数据。然后，我们组装两个大的土壤宏基因组从匹配的爱荷华州玉米和原生草原土壤。预测的功能内容和组装重叠群的系统发育起源表明显着的分类差异，尽管类似的功能。提出的组装策略是通用的，可以扩展到任何宏基因组;完整的源代码可以在BSD许可证下免费获得。
2012-12-28 q-bio.GN
Microbial and Viral Ecology Analysis for Metagenomic Data
针对现有宏基因组分析流程缺乏病毒与原核生物联合分析方案的问题，本文提出一种宏基因组与病毒组联合分析方法，覆盖全流程步骤并提供可复用脚本，为相关研究者提供入门指导。
2024-07-11 q-bio.GN q-bio.QM
NLP-based classification of software tools for metagenomics sequencing data analysis into EDAM semantic annotation
动机：宏基因组测序数据的快速增长使得宏基因组学越来越依赖于计算和统计方法来进行快速有效的分析。因此，大数据宏基因组学的新分析工具不断涌现。研究人员面临的最大挑战之一发生在分析规划阶段：选择最合适的宏基因组学软件工具，从测序数据中获得有价值的见解。数据分析管道的构建过程通常是费力和耗时的，因为它需要对如何应用特定工具来完成指定的宏基因组学任务有深入和批判性的理解。结果如下：我们已经解决了这一挑战，通过使用机器学习方法开发的宏基因组学软件工具的分类系统分为13类（11个语义注释的EDAM和两个病毒特异性类）的基础上的工具的描述。我们使用15种文本特征提取技术（TF-IDF、GloVe、基于BERT的模型等）训练了三种分类器（朴素贝叶斯、逻辑回归和随机森林）。手动管理的数据集包括224个软件工具，并包含工具出版物的摘要和方法部分的文本。最好的分类性能，精确度-召回曲线下的面积得分为0.85，使用Logistic回归，BioBERT进行文本嵌入，仅使用摘要文本。该系统提供了宏基因组数据分析工具和任务的准确和统一识别，这是构建宏基因组数据分析管道的关键一步。
2022-10-18 q-bio.GN
Utilizing de Bruijn graph of metagenome assembly for metatranscriptome analysis
宏基因组学研究加速了微生物有机体的研究，为各种微生物群落的组成和潜在功能提供了见解。元转录组学（研究来自微生物物种混合物的转录本）和其他元组学方法更有希望为微生物群落的功能和调控特征提供更多的见解。目前的元转录组学项目通常在没有匹配的元基因组数据集（相同微生物群落）的情况下进行。对于同时产生元转录组和元基因组数据集的项目，它们的分析往往没有整合。宏基因组组装远非完美，部分解释了为什么宏基因组组装不用于元转录组数据集的分析。在这里，我们报告了一个读取映射算法映射到de Bruijn图的组件的短读。连接k-mer（de Bruijn图中跨越分支结构的k-mer）的哈希表用于促进读取到图的快速映射。我们开发了这种映射算法的应用程序：一个基于参考的方法，使用宏基因组组装图作为参考的元转录组组装。我们的研究结果表明，这种新的方法（称为TAG）有助于组装更多的转录本，否则将被错过或截断，因为参考宏基因组的碎片化性质。TAG是用C++实现的，并在Linux平台上进行了广泛的测试。它可以在http://omics.informatics.indiana.edu/TAG上作为开放源代码下载。
2015-04-06 cs.CE cs.DS q-bio.GN
Snowball: Strain aware gene assembly of Metagenomes
基因组装是鸟枪法宏基因组数据功能分析的重要步骤。尽管如此，菌株感知组装仍然是一项具有挑战性的任务，因为目前的组装工具通常无法区分菌株变体或需要研究物种的密切相关的参考基因组。我们已经开发了Snowball，一种新的菌株感知和无参考基因组装器，用于鸟枪宏基因组数据。它使用感兴趣的基因结构域的简档隐马尔可夫模型（HMRM）来指导组装。我们的组装器基于读段重叠和同时使用读段质量分数进行错误校正来执行单个基因结构域的基因组装，这导致非常低的每碱基错误率。该软件可在用户定义数量的处理器内核上并行运行，可在标准笔记本电脑上运行，并可在Linux或OS X下免费安装，网址为：https://github.com/algbioi/snowball/wiki
2015-10-13 q-bio.GN q-bio.QM
Taxator-tk: Fast and Precise Taxonomic Assignment of Metagenomes by Approximating Evolutionary Neighborhoods
宏基因组学通过直接从感兴趣的环境中分离的DNA的随机鸟枪测序来表征微生物群落。计算宏基因组分析的一个重要步骤是分类序列分配，这使我们能够识别测序的社区成员，并重建分类箱与序列数据的个别类群。我们描述了一个算法和配套的软件，taxator-tk，它执行分类序列分配的快速近似确定进化的邻居从序列相似性。Taxator-TK是精确的，在其所有职级和类群的进化距离和短序列的范围内的分类分配。除了宏基因组的分类分箱，它非常适合从宏基因组样本中分析微生物群落，因为它识别细菌，古细菌和真核生物群落成员，而不受不同引物结合强度的影响，如标记基因扩增或不同分类群中标记基因的拷贝数变化。Taxator-tk具有高效的并行实现，允许在具有10个CPU核心和微生物RefSeq作为基因组参考数据的标准多处理器系统上每天分配6 Gb的序列数据。
2014-04-03 q-bio.GN
Exploration and retrieval of whole-metagenome sequencing samples
近年来，全宏基因组鸟枪测序领域由于高通量测序技术的发展而取得了显著的增长，这些技术使得对基因组样品进行测序更便宜、更快，并且覆盖率比以前更好。这一技术进步引发了在不同条件或环境下对多个样品进行测序以探索微生物群落的相似性和差异性的趋势。例子包括人类微生物组项目和各种人类肠道研究。随着越来越大的测量数据库的可用性，找到与给定查询样本相似的样本正在成为中心操作。在本文中，我们开发了一个基于内容的探索和检索方法的整个宏基因组测序样本。我们应用分布式字符串挖掘框架，有效地提取所有信息序列$k$ -聚体从宏基因组样本池，并使用它们来衡量两个样本之间的差异。我们评估了所提出的方法在两个人类肠道宏基因组数据集以及人类微生物组项目宏基因组样本上的性能。我们观察到在与另一个患病样本的查询结果中患病肠道样本的显著富集，以及在区分不同身体部位方面的非常高的准确性，即使该方法是无监督的。DSM框架的软件实现可在https://github.com/HIITMetagenomics/dsm-framework上获得
2014-04-03 cs.CE cs.IR q-bio.GN
MetaScope - Fast and accurate identification of microbes in metagenomic sequencing data
MetaScope是一种快速准确的分析（宿主相关）宏基因组数据集的工具。使用称为SASS的新DNA比对仪，针对宿主基因组（如有要求）和微生物Genbank进行读数的序列比对。SASS的输出被处理，以便使用LCA算法的新加权版本将所有微生物读数分配给分类群和基因。MetaScope是2013年DTRA软件挑战赛“从DNA序列流中识别生物体”的获胜者。
2015-11-25 q-bio.GN q-bio.QM
Microbial Mat Metagenomes from Waikite Valley, Aotearoa New Zealand
本研究采集新西兰 Waikite Valley 温泉温度梯度上的微生物席样本，生成约 686 Gb 宏基因组数据并组装、分箱获得 MAGs，以支撑光养细菌基因组与嗜热群落生态比较研究。
2024-12-02 q-bio.GN q-bio.PE
A probabilistic analysis of shotgun sequencing for metagenomics
基因组测序是许多现代生物学和医学研究的基础。随着最近的技术进步，宏基因组学已成为一个感兴趣的问题。这个问题需要分析和重建来自不同来源的多个DNA序列。鸟枪式基因组测序的工作原理是将长DNA序列分解为称为读段的较短片段。给定该读数集合，人们想要重建DNA序列的原始集合。对于宏基因组学中的试验设计，重要的是理解可靠重建所需的最小读取长度如何取决于所涉及的基因组的数量和特征。利用简单的概率模型为每个DNA序列，我们分析了M个基因组的长度为N的集合的可识别性在渐近制度，其中N趋于无穷大，M可能会增长与N。我们的第一个主要结果提供了M和N的阈值，因此如果读取长度超过阈值，则简单的贪婪算法成功地重建了基因组的完整集合，概率趋于1。我们的第二个主要结果在M和N方面建立了一个较低的阈值，使得如果读取长度短于阈值，则不可能重建完整的基因组集合，概率趋于1。
2022-01-13 math.PR q-bio.GN
CLMB: deep contrastive learning for robust metagenomic binning
CUHK（香港中文大学）；University of Science and Technology of China（中国科学技术大学）；HIT（哈尔滨工业大学）；The CUHK Shenzhen Research Institute（香港中文大学深圳研究院）
从大型宏基因组数据集重建微生物基因组是发现未培养微生物种群并确定其微生物功能作用的关键步骤。为了实现这一点，我们需要执行宏基因组分箱，将组装的重叠群聚类到基因组草案中。尽管现有的计算工具，大多数都忽略了宏基因组数据的一个重要属性，即噪声。为了进一步改进宏基因组分箱步骤，重构出更好的宏基因组，本文提出了一种用于宏基因组分箱的深度对比学习框架（CLMB），该框架可以有效地消除噪声的干扰，产生更稳定和鲁棒的结果。从本质上讲，我们不是显式地对数据进行去噪，而是将模拟噪声添加到训练数据中，并迫使深度学习模型为无噪声数据和失真数据生成相似且稳定的表示。因此，经过训练的模型将对噪声具有鲁棒性，并在使用过程中隐式地处理它。CLMB显著优于之前最先进的分箱方法，在几乎所有基准数据集上恢复最接近完整的基因组（与第二好的方法相比，重建的基因组多17%）。它还提高了bin细化的性能，比第二好的结果多重建8 - 22个高质量基因组和15 - 32个中等质量基因组。令人印象深刻的是，除了与分级细化器兼容之外，单个CLMB甚至比VAMB和Maxbin的细化器在基准数据集上平均多恢复15个HQ基因组。CLMB是开源的，可在www.example.com上获得。
2021-11-18 cs.AI cs.LG q-bio.GN
Scalable Pathogen Detection from Next Generation DNA Sequencing with Deep Learning
Oklahoma State University（俄克拉荷马州立大学）；Oklahoma Animal Disease Diagnostic Laboratory（俄克拉荷马动物疾病诊断实验室）
下一代测序技术已经扩大了物联网（IoT）的范围，通过以更低的成本增加从异构来源收集的大量基因组数据的可用性，将基因组学纳入个性化医疗。考虑到所收集数据的庞大规模以及物种间高度相似的基因组结构所带来的重大挑战，需要强大的可扩展分析平台来提取可操作的知识，例如潜在人畜共患病病原体的存在。来自新型病原体的人畜共患病的出现，例如1918年的流感病毒和2019年的SARS-CoV-2，可以跨越物种障碍并导致大流行，这强调了对可扩展宏基因组分析的需求。在这项工作中，我们提出了MG 2 Vec，这是一种基于深度学习的解决方案，使用Transformer网络作为其骨干，从原始宏基因组序列中学习鲁棒的特征，用于下游生物医学任务，如靶向和广义病原体检测。在四个日益具有挑战性但又现实的诊断环境中进行的广泛实验表明，所提出的方法可以帮助从未经管理的真实临床样本中检测病原体，并且以标签的形式进行最少的人工监督。此外，我们证明了学习的表示可以推广到疾病和物种之间完全不相关的病原体，用于大规模的宏基因组分析。我们通过深度学习对基于宏基因组的疾病诊断的新型表示学习框架进行了全面评估，并为从低成本的下一代测序中提取和使用鲁棒的矢量表示来开发可推广的诊断工具提供了一条前进的道路。
2022-11-30 cs.LG q-bio.GN
Alignment-Free Sequence Analysis and Applications
基于大量下一代测序（NGS）数据的基因组和宏基因组比较由于巨大的数据大小和相对较短的读段长度而对基于测序的方法提出了重大挑战。基于NGS数据中单词模式计数的无比对方法不依赖于完整的基因组，并且通常计算效率高。因此，它们对基因组和宏基因组比较有显著贡献。最近，新的统计方法已被开发用于比较长序列和鸟枪序列。这些方法已被应用于许多问题，包括基因调控区，基因组序列，宏基因组，在宏基因组数据中的合并重叠群的比较，病毒-宿主相互作用的鉴定，和水平基因转移的检测。我们提供了一个更新的审查这些应用程序和其他相关的发展字计数为基础的方法进行无干扰序列分析。
2018-03-26 q-bio.GN q-bio.QM
Metagenome2Vec: Building Contextualized Representations for Scalable Metagenome Analysis
Oklahoma State University（俄克拉荷马州立大学）
下一代宏基因组测序的进展有可能彻底改变新型病原体感染的即时诊断，这可能有助于防止疾病的潜在广泛传播。鉴于大量的宏基因组序列，需要可扩展的框架来分析和分割来自临床样品的宏基因组序列，这可能是高度不平衡的。对于从宏基因组读数学习鲁棒表示的需求增加，因为家族内的病原体可以具有高度相似的基因组结构（一些超过90%），因此能够用有限的标记数据分割和鉴定新的病原体序列。在这项工作中，我们提出了Metagenome 2 Vec-一种情境化表示，通过自监督表示学习捕获宏基因组数据中固有的全局结构属性和局部情境化属性。我们表明，学习的表示可以帮助检测六（6）相关的病原体从临床样本少于100个标记的序列。模拟和临床宏基因组数据的广泛实验表明，所提出的表示编码的组成特性，可以概括超出注释，以分割新的病原体在无监督的设置。
2021-11-09 cs.AI cs.LG q-bio.GN
Accurate identification of bacteriophages from metagenomic data using Transformer
动机：噬菌体是感染细菌的病毒。作为微生物群落的关键参与者，它们可以通过感染细菌宿主和介导基因转移来调节微生物组的组成/功能。近年来，宏基因组测序技术可以对来自不同微生物组的所有遗传物质进行测序，已成为发现新噬菌体的流行手段。然而，从宏基因组数据中准确和全面地检测p53仍然是困难的。高多样性/丰度和有限的参考基因组对从宏基因组数据中招募噬菌体片段提出了重大挑战。现有的基于记忆或基于学习的模型对宏基因组数据的召回率或准确率较低。结果：在这项工作中，我们采用了最先进的语言模型，Transformer，进行噬菌体重叠群的上下文嵌入。通过构建蛋白质簇词汇表，我们可以将每个重叠群的蛋白质组成和蛋白质位置输入到Transformer中。Transformer可以使用自注意机制学习蛋白质组织和关联，并预测测试重叠群的标签。我们在多个数据集上严格测试了我们开发的名为PhaMer的工具，这些数据集的难度越来越大，包括高质量的RefSeq基因组、短重叠群、模拟宏基因组数据、模拟宏基因组数据和公共IMG/VR数据集。所有的实验结果表明，PhaMer优于国家的最先进的工具。在真实的宏基因组数据实验中，PhaMer将噬菌体检测的F1评分提高了27%。
2022-08-12 q-bio.GN
Identifying viruses from metagenomic data by deep learning
宏基因组测序的最新发展使得对环境样品中包括病毒在内的微生物基因组进行测序成为可能。从宏基因组数据中识别病毒序列对于下游病毒分析至关重要。现有的基于参考和基于基因同源性的方法在鉴定未知病毒或短病毒序列方面效率不高。在这里，我们开发了一种无参考和无约束的机器学习方法DeepVirginia，用于使用深度学习技术预测宏基因组数据中的病毒序列。DeepVirginia是基于2015年5月之前发现的大量病毒序列进行训练的。在该日期之后的序列上进行评估，DeepVirgin在所有重叠群长度上都优于最先进的方法Virgin。通过添加来自环境元病毒组样本的数百万个纯化病毒序列来扩大训练数据，可以显著提高预测代表性不足的病毒的准确性。将DeepVirginia应用于来自结直肠癌（CRC）患者的真实人类肠道宏基因组样本，鉴定出属于175个箱的51，138个病毒序列。10个箱与癌症状态相关，表明它们可能用于CRC的非侵入性诊断。综上所述，DeepVirginia大大提高了病毒识别的查准率和查全率，将显著加快病毒的发现速度。
2018-06-20 q-bio.GN
MG-NET: Leveraging Pseudo-Imaging for Multi-Modal Metagenome Analysis
Oklahoma State University（俄克拉荷马州立大学）
新型病原体和人畜共患病（如SARS-CoV-2）的出现强调了开发新型诊断和干预管道的必要性，这些管道可以从少量标记数据中快速学习。结合下一代测序的技术进步，基于宏基因组的诊断工具有望彻底改变快速护理点诊断。然而，在开发这种方法方面存在重大挑战，其中主要是学习自我监督表示，可以帮助检测具有非常少量标记数据的新型病原体特征。这是一项特别困难的任务，因为密切相关的病原体可以共享90%以上的基因组结构。在这项工作中，我们通过提出MG-Net来解决这些挑战，MG-Net是一个自我监督的表示学习框架，它利用来自临床宏基因组序列的伪成像数据来利用多模态上下文。我们表明，所提出的框架可以从未标记的数据中学习鲁棒的表示，这些数据可以用于下游任务，例如宏基因组序列分类，但对标记数据的访问有限。大量的实验表明，学习的特征优于当前的基线宏基因组表示，每个类只有1000个样本。
2021-07-21 cs.LG q-bio.GN
Metagenomic Analysis using Phylogenetic Placement -- A Review of the First Decade
本文综述系统发育放置十年发展，梳理其从原始序列到结果可视化的完整流程、常用工具、典型下游分析、最佳实践及常见误区。
2022-03-18 q-bio.GN q-bio.PE
A Reference-Free Algorithm for Computational Normalization of Shotgun Sequencing Data
基因组、转录组、扩增的单细胞基因组和宏基因组的深度鸟枪测序和分析使得能够对广泛的生物体和生态系统进行调查。然而，短读数据集的采样变化和现代测序仪的高测序错误率在数据解释中提出了许多新的计算挑战。这些挑战导致了新的映射工具类和{ \em de novo}汇编器的开发。这些算法受到测序通量持续改进的挑战。在这里，我们描述了数字归一化，一个单程计算算法，系统化的覆盖率在鸟枪测序数据集，从而减少采样变异，丢弃冗余数据，并删除大多数错误。数字标准化显著地减小了鸟枪法数据集的大小，并降低了{ \em de novo}序列组装的存储器和时间要求，所有这些都没有显著影响所生成的重叠群的内容。我们将数字归一化应用于微生物基因组数据、扩增的单细胞基因组数据和转录组数据的组装。我们的实现可以自由使用和修改。
2012-05-21 q-bio.GN
Fast Approximation of Frequent $k$-mers and Applications to Metagenomics
估计一组生物序列中所有$k$ -mer的丰度是生物分析中许多应用的基本且具有挑战性的问题。虽然已经设计了几种方法来精确或近似解决这个问题，但它们都需要处理整个数据集，这对于高通量测序数据集来说可能非常昂贵。虽然在某些应用中，估计所有$k$ -聚体及其丰度是至关重要的，但在其他情况下，仅报告在数据集中以相对高的频率出现的频繁$k$ -聚体可能就足够了。例如，在通常用于宏基因组分析的读取数据集之间基于$k$ -聚体丰度的距离的计算中就是这种情况。在这项工作中，我们开发，分析和测试，基于采样的方法，称为SAKEIMA，近似频繁的$k$ -聚体和它们的频率在高通量测序数据集，同时提供严格的保证质量的近似。SAKEIMA采用了先进的抽样方案，我们展示了如何表征的VC维，一个核心概念，从统计学习理论，一组正确定义的功能，导致实际的严格近似所需的样本量的界限。我们的实验评估表明，SAKEIMA允许严格近似频繁的$k$ -聚体，通过处理数据集的一小部分，并且由SAKEIMA估计的频率导致高通量测序数据集之间基于$k$ -聚体的距离的准确估计。总的来说，SAKEIMA是一个有效和严格的工具，估计$k$ -mer丰度提供显着的速度在分析大型测序数据集。
2019-02-26 q-bio.GN q-bio.QM
CompostBin: A DNA composition-based algorithm for binning environmental shotgun reads
微生物多样性研究的一个主要障碍是，绝大多数微生物不能在实验室中培养，因此不适合传统的表征方法。环境鸟枪测序（ESS）通过对微生物群落中存在的生物体的DNA进行测序来克服这一障碍。通过将每个序列读数与其来源生物体相关联，可以极大地促进对该宏基因组数据的解释。我们报告了CompostBin的发展，这是一种基于DNA组成的算法，用于分析宏基因组序列读数并将其分配到特定分类单元中。与先前试图分箱组装的重叠群并且通常需要在已知参考基因组上进行训练的方法不同，CompostBin具有准确分箱原始序列读数而无需组装或训练的能力。它应用主成分分析将数据投影到一个信息丰富的低维空间中，然后在这个过滤后的数据集上使用归一化切割聚类算法将序列分类到特定分类单元中。我们证明了算法的准确性，在各种模拟数据集和一个宏基因组数据集与已知的物种分配。CompostBin是一项正在进行的工作，计划在未来对算法进行几次改进。
2007-08-22 q-bio.GN
CONCOCT: Clustering cONtigs on COverage and ComposiTion
宏基因组学使得能够在不需要培养的情况下在复杂的微生物群落中重建微生物基因组。由于组装通常导致片段化的基因组，因此属于相同基因组的基因组片段（重叠群）的分组（称为分箱的过程）仍然是主要的信息学挑战。在这里，我们提出了CONCOCT，一个计算机程序，结合了三种类型的信息-序列组成，覆盖多个样本，读对连接-自动斌重叠群到基因组。我们在人工和真实人类肠道宏基因组数据集上展示了该程序的高召回率和准确率。
2013-12-14 q-bio.GN
Large-scale Machine Learning for Metagenomics Sequence Classification
bioMérieux（生物梅里埃）；MINES ParisTech（巴黎高科矿业学校）；Institut Curie（居里研究所）；INSERM（法国国家健康与医学研究院）
宏基因组学通过直接从环境样品中测序DNA来表征微生物群落的分类多样性。宏基因组学数据分析中的主要挑战之一是分箱步骤，其中每个测序读数被分配到分类进化枝。由于宏基因组学数据集的大容量，分箱方法需要能够以合理的计算要求操作的快速且准确的算法。虽然标准的基于组合的方法提供了最先进的性能，但基于其包含的k-mer将分类类别分配给DNA读段的组合方法具有提供更快解决方案的潜力。在这项工作中，我们调查的潜力，现代，大规模的机器学习实现的分类影响下一代测序读取的基础上，他们的k-mer配置文件。我们表明，基于机器学习的组合方法受益于增加从参考基因组中采样的片段的数量来调整它们的参数，最多覆盖约10个，并将k聚体大小增加到约12个。调整这些模型涉及在10 7维中的约10 8个样本上训练机器学习模型，这是标准软件无法达到的，但可以通过大规模机器学习的现代实现来有效地完成。由此产生的模型是竞争力的准确性与完善的比对工具的问题，涉及一个小到中等数量的候选物种，并为合理数量的测序错误。然而，我们发现，成分的方法仍然是有限的，在他们的能力来处理涉及更多的物种的问题，更敏感的测序错误。我们最终确认，组合方法实现了更快的预测时间，相对于BWA-MEM短读段映射器，其增益为3至15倍，这取决于候选物种的数量和测序噪声的水平。
2015-05-26 cs.CE cs.LG q-bio.GN
GiantHunter: Accurate detection of giant virus in metagenomic data using reinforcement-learning and Monte Carlo tree search
GiantHunter利用强化学习和蒙特卡洛树搜索动态选择阴性数据，在宏基因组中高精度检测巨病毒，F1提升10%，计算成本降低90%，并揭示了三峡大坝对NCLDV多样性的影响。
2025-01-26 q-bio.GN
An experimental sorting method for improving metagenomic data encoding
本文提出一种结合宏基因组分类与递归过滤器的新方法，通过按DNA序列相似性聚类reads来改进FASTQ文件的无参考压缩，在多个数据集上实现压缩率提升，并开源了实现工具。
2024-01-03 cs.IT math.IT q-bio.GN
Interpreting 16S metagenomic data without clustering to achieve sub-OTU resolution
分析16S标签序列数据的标准方法依赖于通过序列相似性将读段聚类为操作分类单位（OTU），其未充分利用现代测序技术的准确性。我们提出了一种无聚类的方法，多样本Illumina数据集，可以识别独立的细菌亚群，无论其16S标签序列的相似性。使用来自人类舌头微生物群的纵向时间序列研究的已发表数据，我们能够在标准97%相似性OTU内解析多达20个不同的亚群，所有亚群在生态上都不同，但16S标签的差异仅为1个核苷酸（99.2%相似性）。两个同居个体的口腔群落的比较分析表明，大多数这样的亚群之间共享的两个社区在100%的序列同一性，并在一个主机的亚群之间的动态相似性是强有力的预测在其他主机相同的亚群之间的动态相似性。我们的方法也可以应用于横断面研究中收集的样本，并可以与454测序平台一起使用。我们讨论了如何子OTU决议，我们的方法可以提供新的见解塑造社区集会的因素。
2015-01-29 q-bio.GN q-bio.QM
BUSCO update: novel and streamlined workflows along with broader and deeper phylogenetic coverage for scoring of eukaryotic, prokaryotic, and viral genomes
评价基因组和宏基因组数据质量的方法对于帮助基因组组装和正确解释后续分析的结果是必不可少的。BUSCO基于通用单拷贝直系同源物估计处理后的基因组数据的完整性和冗余性。在这里，我们介绍了BUSCO软件的新功能和主要改进，以及与OrthoDB v10版本同步的基础数据集的更新和扩展。在主要的创新中，BUSCO现在能够对输入序列进行系统发育定位，以自动选择最合适的数据集进行评估，从而可以分析未知来源的宏基因组组装基因组。新引入的基因组工作流程提高了效率和运行时间，特别是在大型真核基因组上。BUSCO是唯一能够评估真核生物和原核生物物种的工具，可应用于各种数据类型，从基因组组装和宏基因组箱到转录组和基因组。
2021-06-22 q-bio.GN q-bio.PE
Phage family classification under Caudoviricetes: a review of current tools using the latest ICTV classification framework
噬菌体是感染细菌的病毒，是生物圈中最普遍和最多样化的实体。越来越多的证据表明它们在塑造各种微生物组结构中的重要作用。由于（病毒）宏基因组测序，大量新的噬菌体被发现。然而，由于缺乏标准和自动的病毒分类管道，新病毒的分类表征严重滞后于测序工作。特别是，根据ICTV的最新版本，删除了先前分类系统中的几个大噬菌体家族。因此，需要在新标准下对分类学分类工具进行全面的审查和比较，以建立最先进的分类工具。在这项工作中，我们在新标记的数据库上重新训练和测试了四种最近发表的工具。我们展示了它们的实用性，并在多个数据集上进行了测试，包括RefSeq，短重叠群，模拟宏基因组数据集和低相似性数据集。这项研究提供了一个全面的审查噬菌体家族分类在不同的情况下，并选择适当的分类学分类管道的实际指导。据我们所知，这是在新的ICTV分类框架下进行的首次审查。结果表明，新的科分类框架总体上导致更好的保守组，从而使科级分类更可行。
2022-11-23 q-bio.GN
COCACOLA: binning metagenomic contigs using sequence COmposition, read CoverAge, CO-alignment, and paired-end read LinkAge
下一代测序（NGS）技术的出现使研究人员能够直接从环境中对复杂的微生物群落进行测序。由于组装通常只产生基因组片段，也称为重叠群，而不是整个基因组，因此将它们分组为操作分类单元（OTU）以进行进一步的分类学分析和下游功能分析至关重要。OTU聚类也被称为分箱。我们提出了COCACOLA，一个通用的框架，基于多个样品的序列组成和覆盖率自动将重叠群分到OTU中。COCACOLA的有效性在模拟和真实数据集中都得到了证明，与CONCOCT，GroopM，MaxBin和MetaBAT等最先进的分箱方法相比。COCACOLA的卓越性能依赖于两个方面。一种是在初始化过程中采用$L_{1}$距离代替欧氏距离来更好地进行分类识别。更重要的是，COCACOLA利用稀疏正则化的硬聚类和软聚类。此外，COCACOLA框架无缝地包含定制的知识，以提高装箱的准确性。在我们的研究中，我们研究了两种类型的额外知识，与参考基因组的共比对和由双端读段提供的重叠群的连锁，以及两者的集合。我们发现，在大多数情况下，共同对齐和链接信息进一步提高装箱。COCACOLA是可扩展的，比CONCOCT，GroopM，MaxBin和MetaBAT更快。该软件可在https://github.com/younglululu/COCACOLA上获得
2016-04-09 q-bio.GN
Enhancing Downstream Analysis in Genome Sequencing: Species Classification While Basecalling
Swiss Federal Institute of Technology（瑞士联邦理工学院）；IBM Research Zurich（IBM苏黎世研究院）
本文提出多目标深度神经网络，在碱基识别的同时进行多类别基因组分类，通过分离损失反向传播和Top-K排序策略，在Wick数据集17个基因组上实现92.5%/98.9%的前1/3物种识别准确率，加速宏基因组分析瓶颈步骤。
2025-04-09 cs.LG q-bio.GN
ViralQC: A Tool for Assessing Completeness and Contamination of Predicted Viral Contigs
本文提出 ViralQC 工具，利用基础模型和蛋白质组织比对评估病毒重叠群的污染与完整性，在多个数据集上比 CheckV 多识别 38% 污染且中位绝对误差仅 3%，对中高质量重叠群完整性估计更准确。
2025-04-08 q-bio.GN
MetaCache-GPU: Ultra-Fast Metagenomic Classification
DNA测序的成本在过去十年中呈指数级下降，使越来越多的科学家能够获得基因组数据。在生物信息学中，通常通过构建索引数据结构来促进大基因组序列内的短DNA序列（读段）的定位，所述索引数据结构允许子串的有效查询。最近的宏基因组分类流水线通过相对于参考基因组数据库分析其$k$ -mer直方图来用分类标签注释读段。基于CPU的索引构造通常在预处理阶段执行，这是因为构建不规则数据结构（如哈希映射）的成本相对较高。然而，快速增长的数量可用的参考基因组建立了索引建设和查询的互动速度的需要。在本文中，我们介绍了MetaCache-GPU -一种超快速的宏基因组短读分类器，专门为适应CUDA加速器的特性而量身定制。我们的方法采用了一种新的哈希表变体，具有高效的minhash指纹读取位置敏感的哈希和他们的快速插入使用翘曲聚合操作。我们的性能评估表明，MetaCache-GPU能够在几秒钟内构建大型参考数据库，实现即时可操作性，而流行的基于CPU的工具（如Kraken 2）需要一个多小时才能在相同的数据上构建索引。在参考基因组数量不断增长的背景下，MetaCache-GPU是第一个宏基因组分类器，它使分析管道与大规模参考基因组集的按需组合变得实用。源代码可在https://github.com/muellan/metacache上公开获得。
2021-06-14 cs.DC q-bio.GN
Bacteriophage classification for assembled contigs using Graph Convolutional Network
City University of Hong Kong（香港城市大学）；Ministry of Agriculture（农业部）；South China Sea Fisheries Research Institute（南海水产研究所）；Chinese Academy of Fishery Sciences（中国水产科学研究院）
动机：噬菌体（又名噬菌体），主要感染细菌，在微生物生物学中起着关键作用。作为地球上最丰富的生物实体，已发现的恐龙数量只是冰山一角。最近，使用高通量测序，特别是宏基因组测序，已经揭示了许多新的突变。与噬菌体样序列的快速积累相比，真菌的分类学研究严重滞后。高度的多样性、丰富性和有限的已知物种给分类学分析带来了巨大的挑战。特别地，基于重叠群的工具难以对从宏基因组数据组装的快速积累的重叠群进行分类。结果：在这项工作中，我们提出了一种新的半监督学习模型，命名为PhaGCN，进行分类的噬菌体重叠群。在该学习模型中，我们将卷积神经网络（CNN）学习到的DNA序列特征与基因共享网络获得的蛋白质序列相似度相结合，构建知识图。然后，我们应用图卷积网络（GCN）在训练中同时利用标记和未标记的样本来增强学习能力。我们在模拟和真实测序数据上测试了PhaGCN。结果清楚地表明，我们的方法与可用的噬菌体分类工具竞争有利。
2021-09-04 cs.LG q-bio.GN
SnakeLines: integrated set of computational pipelines for sequencing reads
背景资料：随着大规模并行测序技术的快速发展，更多的实验室正在利用测序的DNA片段进行基因组分析。然而，测序数据的解释强烈依赖于生物信息学处理，这对于没有计算背景的临床医生和研究人员来说通常要求太高。另一个问题是，在不同的计算中心之间，由于安装的文库和生物信息学工具的版本不一致，计算分析的可重复性。结果如下：我们提出了一个易于扩展的计算管道集，称为SnakeLines，用于处理测序读取;包括映射，组装，变异检测，病毒鉴定，转录组学，宏基因组学和甲基化分析。分析的各个步骤以及方法及其参数可以在单个配置文件中轻松修改。提供的管道嵌入在虚拟环境中，确保所需资源与主机操作系统隔离，快速部署，以及跨不同Unix平台的分析重现性。结论：SnakeLines是一个强大的生物信息学分析自动化框架，强调简单的设置，修改，可扩展性和再现性。关键词：计算流水线，框架，大规模并行测序，再现性，虚拟环境
2021-06-25 cs.CE q-bio.GN
A resource-frugal probabilistic dictionary and applications in (meta)genomics
基因组和宏基因组领域产生了大量的短基因组序列，也带来了它们自己的高性能问题。为了从当前测序技术生成的庞大数据集中提取相关信息，必须依赖可扩展性极强的方法和解决方案。对数十亿个对象进行索引是一项被认为过于昂贵的任务，而这是该领域的基本需求。在本文中，我们提出了一个简单的索引结构，规模为数十亿元，我们提出了两个直接应用在基因组学和宏基因组学。我们表明，我们的建议解决了问题的情况下，没有其他已知的解决方案规模。我们相信，许多工具和应用程序可以从我们提供的基本数据结构或从该结构开发的应用程序中受益。
2016-05-26 cs.DS q-bio.GN
Graph Neural Networks for Microbial Genome Recovery
Aalborg University（奥尔堡大学）
微生物对我们的健康和环境有着深远的影响，但我们对微生物群落的多样性和功能的理解是非常有限的。通过微生物群落的DNA测序（宏基因组学），可以获得单个微生物的DNA片段（读段），其通过组装图可以组合成长的连续DNA序列（重叠群）。鉴于微生物群落的复杂性，很少获得单个重叠群微生物基因组。相反，重叠群最终聚集成箱，每个箱理想地构成完整的基因组。这个过程被称为宏基因组分箱。当前用于宏基因组分箱的最新技术仅依赖于单个重叠群的局部特征。因此，这些技术未能利用如由组装图编码的叠连群之间的相似性，其中叠连群被组织。在本文中，我们建议使用图神经网络（GNNs），以利用组装图时，学习重叠群表示宏基因组分箱。我们的方法VaeG-Bin结合了变分自编码器来学习单个重叠群的潜在表示，GNN通过考虑组装图中重叠群的邻域结构来改进这些表示。我们探索了几种类型的GNN，并证明了VaeG-Bin在模拟和真实数据集上比其他最先进的binner恢复了更多的高质量基因组。
2022-04-26 cs.LG q-bio.GN q-bio.QM
Prospects for Multi-omics in the Microbial Ecology of Water Engineering
近三十年来，高通量测序技术和生物信息学方法的进步大大提高了我们探索微生物及其功能的能力，包括那些尚未完全分离培养的微生物。基因组解析宏基因组学方法已经能够将强大的功能预测与特定的分类组联系起来，并具有越来越高的保真度。此外，全群落基因表达调查和代谢物分析使得能够直接调查特定环境中的群落规模功能。这些进展使微生物组科学从描述性研究转向机械和预测性框架，以设计和利用微生物群落来实现所需的有益结果。在这里，我们回顾了现代基因组解析宏基因组方法已被应用于各种水工程应用，从实验室规模的生物反应器，以全面的系统。我们描述了跨工程水系统的综合组学分析以及将这些见解与建模方法配对的基础。最后，我们总结了新兴的omics为基础的技术，我们相信将是强大的工具，水工程应用。总的来说，我们为专门从事水工程的微生物生态学家提供了一个框架，将尖端的组学方法应用于他们的研究问题，以实现新的功能见解。在工程水系统中成功采用预测框架可以随着对水和能源资源的需求增加而实现更具经济和环境可持续性的生物过程。
2021-05-18 q-bio.GN
The Parallelism Motifs of Genomic Data Analysis
随着测序成本的持续下降和小型测序设备的可用，基因组数据集正在急剧增长。庞大的社区数据库存储并与研究社区共享这些数据，但是这些基因组数据分析问题中的一些需要大规模计算平台来满足存储器和计算要求。这些应用程序不同于当今在高端的并行系统上占主导地位的工作负载的科学模拟，并且对编程支持、软件库和并行架构设计提出了不同的要求。例如，它们涉及不规则的通信模式，如对共享数据结构的异步更新。我们考虑了高性能基因组学分析中的几个问题，包括单基因组和宏基因组的比对、分析、聚类和组装。我们确定了一些常见的计算模式或图案，有助于通知并行化策略，并比较我们的图案的一些既定的列表，认为至少有两个关键的模式，排序和哈希，是失踪。
2020-01-20 cs.DC q-bio.GN
An Integrated Genomics Workflow Tool: Simulating Reads, Evaluating Read Alignments, and Optimizing Variant Calling Algorithms
该研究评估多种基因组学工具，提出开源管道VarFind，自动化读段模拟、比对和变异调用流程，以优化变异检测准确性。
2025-04-24 q-bio.GN
Resource saving taxonomy classification with k-mer distributions and machine learning
现代高通量测序技术如宏基因组测序产生了数百万个序列，这些序列必须基于它们的分类等级进行分类。现代方法要么对现有数据集（如MMseqs 2）进行局部对齐和比较，要么使用深度神经网络，如DeepMicrobes和BERTax中所做的那样。基于对齐的方法在运行时方面是昂贵的，特别是当数据库变得越来越大时。对于基于深度学习的方法，计算需要专用硬件，这会消耗大量能量。在本文中，我们建议使用从DNA获得的$k$ -mer分布作为特征，使用子空间$k$ -最近邻算法、神经网络或袋装决策树等机器学习方法对其分类起源进行分类。此外，我们提出了一种特征空间数据集平衡方法，该方法允许减少用于训练的数据集并提高分类器的性能。通过比较性能，时间和内存消耗，我们的方法的国家的最先进的算法（BERTax和MMseqs 2）使用几个数据集，我们表明，我们的方法提高了属级的分类，并取得了可比的结果为超王国和门级。链接：https://es-cloud.cs.uni-tuebingen.de/d/8e2ab8c3fdd444e1a135/? p=%2FTaxonomyClassification&mode=list
2023-03-10 cs.LG q-bio.GN
Communication-Efficient Jaccard Similarity for High-Performance Distributed Genome Comparisons
Jaccard相似性指数是衡量两个集合重叠程度的重要指标，广泛应用于机器学习、计算基因组学、信息检索等诸多领域。我们设计并实现了SimilarityAtScale，第一个通信高效的分布式算法，用于计算大型数据集对之间的Jaccard相似性。我们的算法提供了一个有效的编码到稀疏矩阵的乘法这个问题。编码和稀疏矩阵乘积都以在通信和同步成本方面最小化数据移动的方式执行。我们应用我们的算法来获得一组大样本的基因组之间的所有对的相似性。这项任务是现代宏基因组学分析的关键部分，并且由于高通量DNA测序数据的可用性不断增加而不断增长的需求。由此产生的计划是第一个使准确的Jaccard距离推导的大规模数据集，使用大规模分布式存储器系统。我们将我们的例程打包在一个名为GenomeAtScale的工具中，该工具将所提出的算法与用于处理输入序列的工具相结合。我们对真实数据的评估表明，人们可以使用GenomeAtScale有效地使用数万个处理器，以达到大规模基因组和宏基因组分析的新前沿。虽然GenomeAtScale可用于促进DNA研究，但更通用的底层SimilarityAtScale算法可用于其他数据分析应用领域中的高性能分布式相似性计算。
2020-11-11 cs.CE cs.DC cs.PF
Sparse and compositionally robust inference of microbial ecological networks
16 S-核糖体测序和其他基因组学技术提供了微生物群落的快照，揭示了不同生态系统中微生物种群的发生和丰度。虽然微生物群落结构的变化显然与某些环境条件有关，但确定潜在机制需要新的统计工具，因为这些数据集提出了一些技术挑战。首先，来自16 S数据集的微生物操作分类单元（OTU）的丰度是组成性的，因此，微生物丰度不是独立的。其次，基于微生物测序的研究通常仅在数十至数百个样品上测量数百个OTU;因此，OTU-OTU相互作用网络的推断严重不足，并且需要额外的假设来进行准确的推断。在这里，我们提出了SPIEC-EASI（SParse InversE协方差估计生态关联推断），从宏基因组数据集，解决这两个问题的微生物生态相互作用的推断的统计方法。SPIEC-EASI将为成分数据分析开发的数据转换与图形模型推理框架相结合，该框架假设底层生态相互作用网络是稀疏的。为了重建交互网络，SPIEC-EASI依赖于稀疏邻域和逆协方差选择算法。由于没有大规模的微生物生态网络已经过实验验证，SPIEC-EASI包括计算工具，以从一组不同的底层网络拓扑结构生成真实的OTU计数数据。SPIEC-EASI在各种场景下的真实合成数据的边缘恢复和网络属性方面优于最先进的方法。SPIEC-EASI还使用美国肠道项目的数据可重复地预测以前未知的微生物相互作用。
2015-02-14 q-bio.GN stat.AP stat.CO
Fast Processing and Querying of 170TB of Genomics Data via a Repeated And Merged BloOm Filter (RAMBO)
DNA测序，特别是微生物基因组和宏基因组的DNA测序，一直是最近大规模比较基因组学研究进展的核心。在过去的几年里，数据洪流导致基因组数据集呈指数级增长，并且没有显示出放缓的迹象。最近已经进行了几次尝试，以驯服这些TB和PB级数据集（包括原始读取和组装的基因组）上序列搜索的计算负担。然而，没有已知的实现提供快速查询和构造时间，保持低误报要求，并提供廉价的数据结构存储。我们提出了一种用于搜索的数据结构，称为RAMBO（重复和合并BloOm过滤器），它在查询时间上比最先进的基因组索引方法- COBS（紧凑位切片签名索引），序列Bloom树，HowDeSBT和SSBT更快。此外，它支持插入和查询过程的并行性，流输入的廉价更新，具有零误报率，低误报率和小索引大小。RAMBO将搜索问题转化为$K$文档之间的集合成员关系测试。有趣的是，它是一个成员资格测试实用程序（在我们的例子中是Bloom Filter）的count-min草图类型安排。算法的简单性和并行架构使我们能够在100个节点的集群上仅用9个小时就可以对170 TB的全基因组序列数据集进行流式传输和索引，而竞争方法需要数周。
2022-04-30 cs.IR q-bio.GN
A New Approach for Scalable Analysis of Microbial Communities
University of California（加州大学）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
微生物群落在从人体到环境的各种生物系统的功能和维持中起着重要作用。目前用于分析微生物群落的方法通常基于使用16 S rRNA宏基因组或全基因组测序数据的分类系统发育比对。在微生物群落的典型表征中，研究涉及数十亿个微生物序列，将它们与系统发育树对齐。我们介绍了一种新的方法，用于微生物群落的有效分析。我们的新的无参考分析技术基于16 S rRNA数据的n-gram序列分析，并显着减少了处理数据的大小（105倍），而不需要分类比对。所提出的方法适用于表征表型微生物群落的差异，在不同的设置。具体而言，我们将这种方法应用于不同身体部位的微生物群落分类，与健康和患病个体相关的口腔微生物组的表征，以及婴儿发育期间微生物群落的纵向分类。不同的降维方法，提供了一个更具可扩展性的分析框架，同时最大限度地减少分类精度的损失。在降维技术中，我们提出了微生物群落的连续矢量表示，它可以广泛用于微生物信息学中的深度学习应用。
2015-12-01 cs.AI q-bio.GN
Learning Genomic Structure from $k$-mers
Division of Scientific Computing, Department of Information Technology Science for Life Laboratory（科学计算系，信息科技科学生命实验室）；Uppsala University（乌普萨拉大学）
提出一种基于对比学习的基因组结构学习方法，从k-mer序列中学习嵌入表示，可用于aDNA比对、结构变异检测及宏基因组物种识别，性能与金标准BWA-aln相当。
2025-05-22 cs.LG q-bio.GN q-bio.QM
Will solid-state drives accelerate your bioinformatics? In-depth profiling, performance analysis, and beyond
在生物信息学中已经产生了各种各样的大规模数据。作为回应，并行计算部分满足了有效处理生物医学大数据的需求。然而，许多生物信息学程序的时间需求仍然很高，大规模的实际应用，由于并行化的因素，阻碍了加速。最近，出现了新一代的存储设备，例如基于NAND闪存的固态驱动器（SSD），并且随着对近数据处理的重新关注，它们越来越多地成为可以伴随并行处理的加速方法。在某些情况下，简单地将硬盘驱动器（HDD）替换为SSD会导致显着的加速。尽管SSD具有各种优势和不断降低的成本，但很少有人对重要但耗时的生物信息学程序的基于SSD的分析和性能探索进行回顾。为了提供信息，我们使用多种类型的设备对23个关键生物信息学程序进行了深入的分析和分析。基于我们从这项研究中获得的见解，我们进一步讨论了设计和优化生物信息学算法和管道以充分利用SSD的相关问题。我们的项目涵盖了传统和新兴的重要领域，如比对、组装、作图、表达分析、变异检测和宏基因组学。我们解释了如何通过并行化加速可以与SSD相结合以提高性能，以及如何使用SSD可以加快重要的生物信息学管道，例如基因组分析工具包（GATK）的变异检测和使用RNA测序（RNA-seq）的转录组分析。我们希望这篇评论可以提供有用的方向和提示，以配合未来的生物信息学算法设计程序，适当考虑新一代的强大的存储设备。
2015-08-08 cs.CE q-bio.GN q-bio.QM
