GateKeeper: A New Hardware Architecture for Accelerating Pre-Alignment in DNA Short Read Mapping
动机:高通量DNA测序(HTS)技术会产生过多的小DNA片段(称为短读段),这会造成巨大的计算负担。为了分析整个基因组,数十亿个短读段中的每一个都必须基于读段和参考基因组中的“候选”位置之间的相似性映射到参考基因组。被称为比对的相似性测量被公式化为近似字符串匹配问题,是计算瓶颈,因为:(1)其使用二次时间动态编程算法来实现,以及(2)参考基因组中的大多数候选位置由于高相异度而不与给定读段比对。计算这种不正确的候选位置的对齐消耗了现代读映射器的绝大多数执行时间。因此,开发一种快速有效的过滤器至关重要,该过滤器可以检测不正确的候选位置,并在调用计算成本高的对齐操作之前消除它们。结果如下:我们提出了GateKeeper,这是一种新的硬件加速器,可以作为预对齐步骤,快速过滤出最不正确的候选位置。GateKeeper是第一个使用现场可编程门阵列(FPGA)加速预对准的设计,其执行预对准的速度比软件快得多。GateKeeper可以与任何执行序列比对以进行验证的映射器集成。当在单个FPGA芯片上实现时,GateKeeper保持高精度(平均>96%),同时提供高达90倍和130倍的加速,分别超过最先进的软件预对准技术,邻接滤波器和移位汉明距离(SHD)。添加GateKeeper作为预对齐步骤可以将mrFAST映射器的验证时间减少10倍。可用性:https://github.com/BilkentC…
2020-09-27 cs.AR cs.DS q-bio.GN
New Sequence Alignment Algorithm using AI Rules and Dynamic Seeds
本文提出一种新序列比对算法,通过最大匹配、动态种子和规则扩展种子并结合加权拼接,在保持速度的同时提高比对灵敏度。
2023-05-25 q-bio.GN
Accelerating Seed Location Filtering in DNA Read Mapping Using a Commercial Compute-in-SRAM Architecture
本文利用 GSI Technology 的商用 Gemini SRAM 存内计算平台加速 Myers 位并行编辑距离算法,用于 DNA read 比对的种子位置预过滤,相对单核 CPU 平均加速 14.1 倍、最高 24.1 倍。
2024-01-22 cs.AR q-bio.GN
An algorithm for DNA read alignment on quantum accelerators
随着小规模量子处理器从实验物理实验室过渡到工业产品,这些处理器使我们能够有效地计算各个领域的重要算法。在本文中,我们提出了一个量子算法,以解决具有挑战性的大数据处理领域的基因组序列重建。本研究描述子序列比对的量子算法的架构感知实现。提出了一种基于汉明距离的近似模式匹配算法QiBAM(quantum indexed bidirectional associative memory)。QiBAM以两种方式扩展了Grover的搜索算法,以允许:(1)基因组学中读取错误所需的近似匹配,以及(2)在DNA序列的量子编码上分布式搜索多个解决方案。这种方法给出了一个二次加速比的经典算法。该算法的完整实现,并使用OpenQL编译器和QX模拟器框架进行验证。这代表了对全栈量子加速基因组测序管道设计的首次探索。开源实现可以在https://github.com/prince-ph0en1x/QAGS上找到。
2019-09-12 cs.ET q-bio.GN quant-ph
Coinami: A Cryptocurrency with DNA Sequence Alignment as Proof-of-work
使用高通量测序(HTS)平台生成的数据量的增长率现在超过了摩尔定律所规定的增长。预计在2025年之前,HTS数据将超过其他“大数据”领域,如天文学。除了用于研究目的的基因组测序外,临床环境中的基因组和外显子组测序将成为医疗保健的常规部分。然而,分析如此大量的数据并非没有计算挑战。由于参考基因组的定期更新,这一负担甚至更加增加,这通常需要重新分析现有数据。在这里,我们提出了硬币应用中介接口(Coinami)分配工作量的映射读取参考基因组使用志愿者网格计算机的方法类似于伯克利开放式网络计算基础设施(BOINC)。然而,由于HTS读码映射需要大量的计算资源,并且需要快速的分析投票率,Coinami使用HTS读码映射作为工作证明来生成有效的区块来管理自己的加密货币系统,这可能有助于激励志愿者投入更多的资源。Coinami协议包括确保志愿者执行的工作正确的机制,并提供基因组数据隐私。Coinami的原型实现可在http://coinami.github.io/上获得。
2016-02-19 cs.CE cs.CR q-bio.GN
Use of 3D chaos game representation to quantify DNA sequence similarity with applications for hierarchical clustering
本研究提出利用三维混沌游戏表示编码DNA序列,通过两种形状相似性方法(球体体积重叠和形状签名)无需比对即可量化序列相似性,并在多种数据集上验证其构建系统发育树的性能与基于比对的方法相当。
2024-11-08 q-bio.GN
Disorder and Power-law Tails of DNA Sequence Self-Alignment Concentrations in Molecular Evolution
自对准浓度$c(x)$作为各种物种的基因组中相同匹配的最大片段的长度$x$的函数,通常呈现延伸到最大尺度的幂律尾,即,$c(x) \propto x^α$,具有相似或明显不同的阴性$α$($<-2$)。分子进化的相关基本过程是片段复制和点突变,而最近的棒状断裂现象已被用来解释中性进化。然而,无序是固有的演化系统,并通过冻结它的时间(淬火)的设置一个简单的碎裂模型,我们得到衰减,稳态和一般的全时间依赖性的解决方案,所有$\propto x^α$的$x\to \infty$,这是在相反的唯一的幂律的解决方案,$x^{-3}$的$x\to 0$的纯模型(无无序)。%其他代数项可能在中间尺度上占主导地位,这似乎被某些物种所证实,如水稻。我们还提出了自对准的结果显示多个缩放制度,与理论结果的存在多个代数项,占主导地位,在不同的制度。
2014-12-20 physics.bio-ph q-bio.GN q-bio.PE
How to build a DNA search engine like Google?
提出了一种基于Web搜索引擎技术的大规模DNA序列检索系统的构建方法。我们首先对搜索引擎中使用的方法进行了简单的介绍。然后详细介绍了如何构建一个类似Google的DNA搜索系统。由于没有本地比对过程,该系统能够在一个典型的服务器上为数十亿个DNA序列提供ms级的搜索服务。
2011-10-10 cs.ET cs.IR q-bio.GN
DNA-MATRIX a tool for DNA motif discovery and weight matrix construction
在计算分子生物学中,全基因组的基因调控结合位点预测一直是研究者面临的一个挑战。目前,全基因组调控结合位点预测工具需要直接模式序列或权重矩阵。虽然已知有可用于全基因组预测的转录因子结合位点数据库,但是没有可用于根据用户的需要构建不同权重矩阵的工具,或者没有可用于大数据集扫描的工具,其通过首先比对输入上游或启动子序列,然后构建不同水平和文件格式的矩阵。考虑到这一点,我们开发了一个DNA MATRIX工具,用于搜索基因上游序列中推定的调控结合位点。该工具使用基于简单生物学规则的启发式算法构建权重矩阵,在基序比对后可以转换为不同的格式,因此提供了识别受调控基因中最潜在的保守结合位点的可能性。用户可以基于基于用户选择的6至20个碱基对范围内的短序列的保守比对块和权重评分前的先前核苷酸频率,以不同的形式和文件格式构建和保存特定的权重或频率矩阵。
2010-02-06 cs.CE q-bio.GN
Sequence alignment and mutual information
背景:生物序列(如DNA、RNA或蛋白质)的比对是计算生物科学中最广泛使用的工具之一。所有现有的比对算法都依赖于基于生物专业知识的启发式评分方案。因此,这些算法不提供两个(或更多个)序列实际上有多相似的模型独立和客观的测量。尽管信息论提供了这样一种相似性度量--互信息(MI)--但以前试图将序列比对和信息论联系起来的尝试并没有从给定的比对中对MI产生现实的估计。结果:在这里,我们描述了一个简单而灵活的方法来获得强大的估计MI从{ \it全球}的路线。对于哺乳动物线粒体DNA,我们的方法给出了常用的全局比对算法的成对MI估计,这些算法非常接近于通过完全不相关的方法-连接和压缩序列获得的估计。结论:这种显著的一致性可能有助于建立MI作为一种可靠的工具,用于评估全球比对的质量,判断不同比对算法的相对优点,以及估计特定比对的重要性。我们希望我们的方法可以扩展到建立信息理论和序列比对之间的进一步联系,包括应用到本地和多个比对程序。
2008-10-23 q-bio.GN
MAFcounter: An efficient tool for counting the occurrences of k-mers in MAF files
针对比对文件中k-mer计数缺乏专用算法的问题,开发了首个针对MAF文件的多线程k-mer计数器MAFcounter,实现高效计数并支持DNA和蛋白质序列比对文件。
2024-11-29 q-bio.GN
Genoogle: an indexed and parallelized search engine for similar DNA sequences
寻找相似的基因序列是生物信息学的主要任务之一。基因序列数据库呈指数级增长,使用线性时间的搜索技术不再能够在所需的时间内进行搜索。另一个问题是,现代处理器的时钟速度没有像以前那样增长,相反,处理能力随着更多处理核心的增加而增长,并且不使用并行计算的技术没有从这些额外的核心中受益。本研究的目的是利用数据索引技术来降低搜索过程的计算成本,结合搜索技术的并行化来利用多核处理器的计算能力。为了验证同时使用这两种技术的可行性,开发了一个软件,该软件使用具有倒排索引的并行化技术。通过实验分析了该算法在并行性、搜索时间以及搜索结果质量等方面的优势。这些实验的结果是有希望的,并行增益克服了预期的加速比,搜索时间比并行NCBI BLAST快20倍,搜索结果显示出良好的质量时,与此工具相比。软件源代码可在https://github.com/felipealbrecht/Genoogle上获得。
2015-07-10 cs.CE cs.DC cs.IR
Structural representations of DNA regulatory substrates can enhance sequence-based algorithms by associating functional sequence variants
DNA的核苷酸序列表示可能不足以解析蛋白质-DNA结合位点和调控底物,例如参与基因表达和水平基因转移的那些。考虑到类序列表示在算法上非常有用,在这里,我们融合了超过60个目前可用的DNA物理化学和构象变量到紧凑的结构表示,可以编码单个DNA结合位点的整个调控区。我们发现,主要的结构成分反映了蛋白质-DNA相互作用的关键特性,可以浓缩到一个核苷酸位置上发现的信息量。最精确的结构表示将功能性DNA序列变体压缩30%至50%,因为每个实例编码数十至数千个序列。我们发现,结构距离函数之间的区别组的DNA基板更准确地比基于核苷酸序列的度量。由于这开辟了各种实现的可能性,我们开发和测试的距离为基础的比对算法,展示了使用的结构表示,以提高基于序列的算法的潜力。由于大多数当前生物信息学方法对核苷酸序列表示的偏差,有可能使用这些解决方案仍然可以实现相当大的性能提高。
2020-07-29 q-bio.GN
A new method for identifying vertebrates using only their mitochondrial DNA
描述并测试了一种用于确定线粒体DNA(mtDNA)序列是否属于脊椎动物的新方法。这种方法只需要生物体的mtDNA序列,与基于比对的方法不同,它不需要将其与其他任何东西进行比较。该方法在2009年8月12日NCBI核苷酸数据库中的所有1877个mtDNA序列上进行了测试,并且在94.57%的情况下有效。此外,与研究中包括的所有其他微生物相比,该方法失败的所有微生物在遗传学上密切相关。最后列出了这种方法的潜在扩展和本研究中出现的开放问题。
2009-12-31 q-bio.GN q-bio.QM
ReadsClean: a new approach to error correction of sequencing reads based on alignments clustering
动机:下一代DNA测序方法产生相对高的读取错误率,其干扰新测序的生物体的从头基因组组装,并且特别影响对于许多遗传性疾病的诊断重要的SNP检测的质量。存在许多为纠正NGS读取中的错误而开发的程序。这些程序利用各种方法并针对不同的特定任务进行优化,但它们都远远不能纠正所有错误,特别是在通过重复序列和来自二/多倍体真核基因组的DNA交叉的测序读数中。结果:本文描述了一种基于相似读段比对聚类的纠错新方法。该方法在ReadsClean程序中实施,该程序设计用于清洁Illumina HiSeq测序读数。我们将ReadsClean与其他被几个出版物公认为最好的读取清洁程序进行了比较。我们使用实际和模拟测序读数进行的序列组装测试显示ReadsClean获得了优异的结果。可用性和实现:ReadsClean作为独立的C代码实现。它被纳入一个纠错管道,并免费提供给学术用户在Softberry网络服务器www.softberry.com。
2019-07-30 q-bio.GN
Vector space of DNA genomic sequences on a Genetic Code Galois Field
最近提出了一种新的64密码子Galois域上的N维DNA序列向量空间(GF(64))。现在,为了包括缺失和插入(插入缺失突变),我们在元素X1 X2 X3(C125)的集合上定义了一个新的伽罗瓦域,其中Xi属于{O,A,C,G,C}。我们称这个集合为扩展三元组,称元素X1 X2 X3为扩展三元组。碱基的顺序来自最近发表的遗传密码的Z64代数。从GF(5^3)中元素的多项式表示与元素X1 X2 X3之间的自然双射φ:GF(5^3)-> C125出发,定义了元素集X1 X2 X3上的一个新的伽罗瓦域.取属于GF(5)的多项式系数a0、a1、a2和双射函数f:GF(5)->{O,A,C,G,C},其中f(0)= O,f(1)= A,f(2)= C,f(3)= G,f(4)= U,双射phi被诱导,使得phi(a0 + a1x + a2x^2)=(f(a1),f(a2),f(a0))=(X1X2X3).接下来,通过双射phi,我们在密码子集合C125中定义和“+”和积“*”运算,以这样的方式,结果域(C125,+,*)变成同构于伽罗瓦域GF(5^3)。该字段允许在扩展三联体的所有125 ^N序列的集合上在字段GF(5 ^3)上定义新的N维向量空间(S),其中包括长度为N的所有可能的DNA序列比对。这里,由比对算法产生的“经典间隙”对应于中性元素“0”。证实了涉及DNA序列相互交换的两个同源…
2005-10-14 q-bio.GN q-bio.QM
Alignment of protein-coding sequences with frameshift extension penalties
我们介绍了一种算法的比对蛋白质编码序列占移码。该算法的主要特点相比,以前发表的蛋白质编码序列比对方法是引入了一个罚成本移码延伸。以前的算法只使用恒定的移码惩罚关系。这类似于在经典序列比对算法中使用具有仿射空位罚分的评分方案。然而,比对中移码部分的总体罚分不能用仿射函数表示,因为它还应该包含不同的密码子取代评分。该算法的第二个特点是其搜索空间是在两个DNA序列之间的比对的经典定义下的两个编码序列之间的所有可能比对的集合。以前的算法已经引入了对路线长度的约束,以及用于表示路线中移码开口的附加符号。该算法具有与经典的Needleman-Wunsch算法相同的渐近空间复杂度和时间复杂度。
2015-08-19 cs.CE cs.DS q-bio.GN
Non-alignment comparison of human and high primate genomes
本研究采用基于DNA序列k-mer评分的组成谱(CS)分析方法对人类和灵长类动物基因组进行点图比较。扩展的保守同线性区域的检测是基于连续的模糊相似性,而不是离散锚(基因或高度保守的非编码元件)的链。除了在全基因组序列的比较中发现的高对应性之外,在掩蔽基因序列之后也发现了良好的相似性,这表明CS分析设法揭示基因组序列的非编码部分的组织中的系统发育信号,包括重复DNA和基因组“暗物质”。显然,揭示平行排序的可能性取决于共同祖先序列组织的信号沿着比较基因组的相应片段局部变化。我们探索了两个来源,有助于这个信号:序列组成(GC含量)和序列组织(在通常的A,T,G,C或嘌呤嘧啶字母的k聚体的丰度)。全基因组比较的基础上GC分布沿分析的序列确实给出了合理的结果,但结合它与k-mer丰度显着提高了排序质量,表明组成和组织的异质性包括互补的信息来源进化保守的基因组序列的相似性。
2011-11-26 q-bio.GN
Bridging Sequence-Structure Alignment in RNA Foundation Models
University of Exeter(埃克塞特大学);Qiyuan Lab(启元实验室)
针对现有RNA基础模型序列-结构对齐不足的问题,提出基于结构上下文建模的OmniGenome模型,实现序列与结构双向映射,在EternaV2等基准上性能显著优于现有模型。
2024-12-13 cs.CL q-bio.GN
DrosOCB: a high resolution map of conserved non coding sequences in Drosophila
比较基因组学方法被广泛用于辅助非编码DNA区域的功能注释。然而,比对非编码序列需要新的算法和策略,以考虑进化过程中广泛的重排和周转。在这里,我们提出了一种新的大规模比对策略,其目的是绘制基因组之间的保守的非编码区的精确地图,即使这些区域已经经历了小规模的重组事件和一定程度的序列变异。我们应用我们的比对方法,以获得一个全基因组范围内的保守的非编码区(CNBs)之间的果蝇和其他11种果蝇物种的目录。有趣的是,我们观察到许多小规模的重排事件,如局部倒位,重复和易位,这是目前可用的全基因组比对中无法观察到的。观察到的低规模改组的高比率表明,CNBs的数据库可以构成几个调查的起点,涉及果蝇中的调控DNA的进化和未注释的功能元件的计算机识别。
2007-10-08 q-bio.GN
BaseCamp --- An Agentic AI Framework for Automating DNA Sequencing Data Pipelines
Old Dominion University(老道明大学);Deloitte & Touche LLP(德勤会计师事务所);AI Motion Labs(AI Motion 实验室);University of Oulu(奥卢大学);Nanyang Technological University(南洋理工大学);University of Colombo(科伦坡大学);Accenture Technology Labs(埃森哲技术实验室);GSI Scandinavia AB(GSI 斯堪的纳维亚公司)
BaseCamp 提出一个智能体 AI 框架,将 DNA 测序管道的决策层分解为六个专门智能体,协调本地微调 LLM 自动配置工具、解释结果并检测异常,在保持可重复性的同时实现专家级自动化。
2026-09-25 cs.AI q-bio.GN
CGRclust: Chaos Game Representation for Twin Contrastive Clustering of Unlabelled DNA Sequences
School of Computer Science, University of Waterloo(滑铁卢大学计算机科学学院);University of Western Ontario(西安大略大学)
CGRclust结合DNA序列的混沌博弈表示与CNN,通过无监督双对比学习对无标签序列进行聚类,在25个多源数据集上展现出高准确率与鲁棒性。
2024-11-13 cs.LG q-bio.GN
Abelian Finite Group of DNA Genomic Sequences
最近提出了长度为N的遗传密码和DNA序列的Z_(64)-代数。为了克服这种结构的局限性,如不能对基因组进行非编码区分析,不能对插入和缺失(indel突变)进行分析等,我们在DNA的扩展碱基三联体X_1X_2X_3上建立了一个循环群结构,X_i属于{O,A,C,G,U},其中字母O表示密码子中的碱基缺失(缺失)。所得到的群同构于整数模125的交换5-群Z_125。其次,定义了长度为N的DNA比对序列集上的阿贝尔有限群S。群S可以表示为同素环群2-群和5-群的直和。特别地,没有插入缺失突变的DNA序列可以被认为是由同素环2-群表示的基因的构建块(在先前的Z_64-代数中描述)。而那些受indel突变影响的DNA序列则用同素环5-基团来描述。这种表示方法建议我们用一种能够识别基因组块结构的规则文法来识别它,另外,这种新的结构还使我们能够用S上的自同构群来分析基因和基因组中功能相同的区域所遵循的突变途径。
2005-12-23 q-bio.GN q-bio.QM
EvoLen: Evolution-Guided Tokenization for DNA Language Model
University of California, San Diego(加州大学圣地亚哥分校);Washington University in St. Louis(圣路易斯华盛顿大学)
EvoLen通过整合进化信息优化DNA标记化,优先保留功能序列模式,提升基因组上下文区分和进化约束对齐,优于标准BPE。
2026-09-29 cs.LG q-bio.GN
GeneBreaker: Jailbreak Attacks against DNA Language Models with Pathogenicity Guidance
本文提出首个系统评估DNA基础模型越狱漏洞的框架GeneBreaker,利用LLM智能体、PathoLM引导的束搜索及BLAST评估流程生成并检测类病原体序列,在Evo系列模型上实现高达60%的攻击成功率,揭示了模型规模扩大带来的生物安全双重用途风险。
2025-05-28 cs.CR q-bio.GN
MetaScope - Fast and accurate identification of microbes in metagenomic sequencing data
MetaScope是一种快速准确的分析(宿主相关)宏基因组数据集的工具。使用称为SASS的新DNA比对仪,针对宿主基因组(如有要求)和微生物Genbank进行读数的序列比对。SASS的输出被处理,以便使用LCA算法的新加权版本将所有微生物读数分配给分类群和基因。MetaScope是2013年DTRA软件挑战赛“从DNA序列流中识别生物体”的获胜者。
2015-11-25 q-bio.GN q-bio.QM
A Linear Time Quantum Algorithm for Pairwise Sequence Alignment
该研究将DNA序列比对问题映射为二维图路径搜索问题,结合收益计算预言机与Grover搜索算法,提出了可在线性时间内得到最优比对的量子算法,还能为非结构化搜索带来二次加速,优于经典确定性及现有随机算法。
2025-09-03 cs.CE cs.DS q-bio.GN
Minimap2: pairwise alignment for nucleotide sequences
动机:测序技术的最新进展有望实现平均$\sim$ 100千碱基(kb)的超长读段、高通量的全长mRNA或cDNA读段以及长度超过100兆碱基(Mb)的基因组重叠群。现有的比对程序无法或效率低下,处理这样的数据在规模,这迫切需要开发新的比对算法。结果:Minimap 2是一个通用的比对程序,可以根据大型参考数据库映射DNA或长mRNA序列。它与$\ge$ 100 bp长度的准确短读段、错误率$\sim$ 15%的$\ge$ 1 kb基因组读段、全长有噪声的直接RNA或cDNA读段以及数百兆碱基长度的组装重叠群或密切相关的全染色体一起工作。Minimap 2进行分裂读段比对,对长插入和缺失(INDEL)采用凹缺口成本,并引入新的免疫学以减少虚假比对。它比主流的短读段作图器在相当的准确度下快3-4倍,而对于基因组和mRNA读段,它在更高的准确度下快$\ge$ 30倍,超过了大多数专门用于一种比对类型的比对器。可用性和实施:https://github.com/lh3/minimap2联系方式:hengli@broadinstitute.org
2018-03-16 q-bio.GN
Comparing DNA sequence collections by direct comparison of compressed text indexes
流行的序列比对工具如BWA基于Burrows-Wheeler变换(BWT)将参考基因组转换为索引数据结构,由此可以快速确定与各个查询序列的匹配。然而,对查询序列本身进行索引的实用性仍然相对未被探索。在这里,我们表明,两个序列集合的所有对所有的比较可以从每个集合的BWT计算,BWT完全保存在外部存储器中,即在磁盘上,而不是在RAM中。作为这种技术的应用,我们表明,转录组和基因组读数的BWT可以进行比较,以获得与更标准的基于参考的方法的结果具有高度重叠的剪接点的无参考预测。构建和比较大型基因组数据集的BWT的代码可在http://beetl.github.com/BEETL/作为BEETL库的一部分获得。
2013-04-19 q-bio.GN
Invertibility of the TKF model of sequence evolution
我们考虑在TKF 91模型下的系统发育树上进化的特征序列。我们表明,作为序列长度趋于无穷大的拓扑结构的系统发育树和边长的决定(a)序列的比对(b)序列长度的集合。我们还表明,任何同源结构的概率上的一个TKF91过程相关的一棵树上的序列的集合是独立的根位置。关键词:遗传学,DNA序列进化模型,可识别性,比对
2006-08-08 q-bio.GN
MUSIC: A Hybrid Computing Environment for Burrows-Wheeler Alignment for Massive Amount of Short Read Sequence Data
高通量DNA测序仪在分子水平上对疾病的理解、农业标记辅助选择和微生物遗传学研究中变得不可或缺。这些测序仪器产生大量的数据(通常是一个月内的TB级原始数据),需要有效的分析,管理和解释。目前常用的测序仪器每次运行可产生数十亿个短读段(最多150个碱基)。数据分析步骤的第一步是将这些短读段与所选参考基因组进行比对。有不同的开源算法可用于与参考基因组的序列比对。这些工具通常具有高计算开销,无论是在处理器和内存的数量方面。在这里,我们提出了一个混合计算环境,称为MUSIC(映射使用混合计算)的一个最流行的开源序列比对算法,BWA,使用加速器,显示出显着的改善速度超过串行代码。
2014-02-04 q-bio.GN
MAGNET: Understanding and Improving the Accuracy of Genome Pre-Alignment Filtering
在高通量DNA测序(HTS)技术的时代,计算编辑距离(即,一对序列之间的置换、插入和缺失的最小数目)是当今读取映射器中的计算瓶颈。移位汉明距离(SHD)算法提出了一种快速过滤策略,可以快速过滤掉编辑次数超过允许范围的无效映射。然而,SHD在其过滤过程中表现出很高的不准确性,允许将无效映射标记为正确映射。这浪费了执行时间,并施加了很大的计算负担。在这项工作中,我们全面调查四个来源,导致过滤不准确。我们提出了MAGNET,一种新的过滤策略,在不同的编辑距离阈值和数据集保持高精度。它将预对准滤波的精度显著提高了一到两个数量级。MAGNET和SHD的MATLAB实现是开源的,可在https://github.com/BilkentCompGen/MAGNET上获得。
2017-07-09 q-bio.GN
Integrating alignment-based and alignment-free sequence similarity measures for biological sequence classification
基于比对的序列相似性搜索虽然对某些类型的序列是准确的,但当用于更不同但功能相关的序列时,可能会产生不正确的结果,这些序列经历了在许多细菌和病毒基因组中观察到的序列重排。在这里,我们提出了一个分类模型,利用互补性的互补性为基础的和无互补性的相似性措施,旨在提高准确性的DNA和蛋白质序列的特点。我们的模型分类序列使用组合序列相似性得分计算自适应加权不同的序列相似性措施的贡献。权重独立地确定测试集中的每个序列,并反映训练集中个体相似性度量的区分能力。由于一些序列之间的相似性更准确地确定一种类型的措施,而不是另一种,我们的分类器允许不同的权重集与不同的序列。使用五种不同的相似性措施,我们表明,我们的模型显着提高了分类准确性,在目前的组合物和比对为基础的模型,预测分类谱系短病毒序列片段和完整的病毒序列。我们还表明,我们的模型可以有效地用于从一个真正的宏基因组数据集以及蛋白质序列的读段的分类。
2015-01-20 q-bio.GN q-bio.QM
Sequence Capture Versus Restriction Site Associated DNA Sequencing for Phylogeography
用大规模并行测序方法生成的基因组数据集有可能推动系统学向新的和令人兴奋的方向发展,但选择合适的标记和方法并不简单。我们对来自非模型新热带鸟类的同一组样本应用了两种特别有希望进行系统学的方法,即限制性位点相关DNA测序(RAD-Seq)和超保守元件(UCE)的序列捕获(Seq-cap)。我们发现,RAD-Seq和Seq-cap都产生了包含数千个基因座和SNP的基因组数据集,并且推断的群体分配和物种树在数据集之间是一致的。然而,基于模型的人口统计学参数的估计值在数据集之间存在差异,特别是当我们使用基于等位基因频率谱的方法估计参数时。我们观察到的差异可能是由于不同方法之间序列数据的组装、比对和过滤的差异造成的,我们的研究结果表明,在使用等位基因频率估计低覆盖率测序数据的参数时,需要谨慎。我们进一步探索了使用模拟Seq-cap和RAD-Seq类数据集的方法之间的差异。模拟数据的分析表明,从500到5000增加基因座的数量增加系统发育一致性因素和人口统计参数估计的准确性和精确性,但增加基因座的数量超过5000导致收益最小。从64 bp到500 bp的基因座长度增加改善系统发育一致性因素和最小的收益,观察基因座长度超过500 bp,但基因座长度并不影响人口统计学参数估计的准确性和精密度。我们讨论了我们的结果相对于可用的数据收集方法的多样性,我们提供了利用下一代测序系统学研究的建议。
2013-12-22 q-bio.GN
An algebraic hypothesis about the primeval genetic code
从扩展碱基字母表{D,G,A,U,C}的伽罗瓦域上的扩展碱基三元组向量空间导出古代遗传密码的一个合理架构,其中字母D表示具有非特异性配对的一个或多个假设碱基。我们假设原始遗传密码的高度退化和原始DNA修复系统的逐渐起源和改进可能使从古代到现代的遗传密码的过渡成为可能。我们的研究结果表明,沃森-克里克碱基配对和非特异性碱基配对的假设祖先的碱基D用于定义的总和和产品的操作是足够的功能,以确定编码约束的原始和现代遗传密码,以及,从前者到后者的过渡。该向量空间的几何和代数性质表明,标准遗传密码的现代密码子分配可以从原始密码子分配中推导出来,并且由多重序列比对得到的扩展DNA基因组序列的傅立叶谱表明,现代编码DNA序列的周期3性质也可能存在于古代编码DNA序列中.
2008-09-23 q-bio.GN q-bio.QM
PathoLM: Identifying pathogenicity from the DNA sequence through the Genome Foundation Model
Virginia Tech(弗吉尼亚理工大学);Dhaka University(达卡大学)
针对传统病原体检测方法计算量大、难识别新型病原体及传统机器学习易过拟合等问题,研究提出基于预训练DNA模型优化的病原体语言模型PathoLM,仅需少量数据微调,在含30种病原的数据集及ESKAPEE分类任务中性能均优于现有模型。
2024-06-19 cs.CL cs.LG q-bio.GN
Adaptive Learning of Rank-One Models for Efficient Pairwise Sequence Alignment
Microsoft Research New England(新英格兰微软研究院);Stanford University(斯坦福大学);University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
DNA测序数据的成对比对是生物信息学中普遍存在的任务,并且通常代表沉重的计算负担。加速该任务的最先进的方法使用散列来识别由读段对共享的短片段(k-mer),然后可以将其用于估计比对分数。然而,当读段的数量很大时,准确地估计所有对的比对分数仍然是非常昂贵的。此外,在实践中,人们只对鉴定具有大比对分数的读段对感兴趣。在这项工作中,我们提出了一种新的方法,成对比对估计的基础上两个关键的新成分。第一个要素是将成对比对估计的问题置于一级众包模型的一般框架下,其中工作者的响应对应于k聚体哈希冲突。这些模型可以通过响应矩阵的谱分解来精确求解。第二个成分是利用多臂bandit算法来自适应地改进该谱估计器,仅用于可能具有大比对的读段对。所得到的算法迭代地执行自适应选择的读取对的子集的响应矩阵的谱分解。
2021-02-13 cs.IT cs.LG math.IT
Find Central Dogma Again: Leveraging Multilingual Transfer in Large Language Models
本文训练并微调多语言GPT-2,将DNA-蛋白质匹配建模为二分类任务,证明自然语言迁移可使其在无先验知识时零样本重寻中心法则。
2025-02-18 q-bio.GN
Sequence alignment, mutual information, and dissimilarity measures for constructing phylogenies
现有的序列比对算法使用启发式评分方案,其不能用作客观距离度量。因此,人们依赖于像p-或log-det距离这样的测量,或者对序列进化做出明确的、通常是简单化的假设。信息论提供了一种替代方案,以互信息(MI)的形式,原则上,互信息是一种客观和模型独立的相似性度量。MI可以通过连接和压缩序列来估计,从而产生“归一化压缩距离”。到目前为止,这已经产生了有希望的结果,但有不受控制的错误。我们描述了一个简单的方法来获得强大的估计MI全球成对比对。使用标准比对算法,这给出了动物线粒体DNA的估计值,其惊人地接近于从上述无比对方法获得的估计值。我们的主要结果使用算法(Kolmogorov)信息理论,但我们表明,类似的结果也可以从香农理论。由于它不是可加性的事实,标准化压缩距离不是系统发育学的最佳指标,但我们提出了一个简单的修改来克服可加性问题。我们在大量随机选择的四元组上测试了几个版本的基于MI的距离测量,并证明它们都比传统的测量方法(如Kimura或log-det)表现更好。双线性)距离。即使是基于单字母香农熵的简化版本,也可以很容易地集成到现有的软件包中,在整个动物王国中给出了优越的结果。但我们从更一般的角度看到了我们方法的主要优点。例如,它还可以通过估计特定比对的重要性来帮助判断不同比对算法的相对优点。
2010-08-19 q-bio.GN
Map of Life: Measuring and Visualizing Species' Relatedness with "Molecular Distance Maps"
University of Western Ontario(西安大略大学);Microsoft Corporation(微软公司);Oxford University(牛津大学)
我们提出了一种新的方法组合,(i)描绘的DNA序列作为图像的定量特征,(ii)计算这些图像之间的距离,和(iii)使用这些距离输出的地图,其中每个序列是一个共同的欧几里得空间中的一个点。在由此产生的“分子距离图”中,每个点都代表一个DNA序列,任何两个点之间的几何距离反映了相应序列和物种之间的相关程度。分子距离图展示了物种之间关系的令人信服的视觉表示,并可用于分类学澄清,物种识别和进化历史的研究。该方法的优点之一是其普遍适用性,因为不需要序列比对,选择用于比较的DNA序列可以是不同基因组中完全不同的区域。事实上,这种方法可以用来比较任何两个DNA序列。例如,在我们的3,176个线粒体DNA序列的数据集中,它正确地找到了与解剖学上的现代人类(尼安德特人,丹尼索瓦人和黑猩猩)最密切相关的线粒体DNA序列,它发现与它最不同的序列属于黄瓜。此外,我们的方法可以用来比较真实的序列,人工,计算机生成的DNA序列。例如,它被用来确定智人mtDNA和相同长度和相同三核苷酸频率的人工序列之间的距离可以大于相同人类mtDNA和果蝇mtDNA之间的距离。我们证明了这种方法的分类澄清的潜力,通过将其应用到各种各样的情况下,历史上一直有争议的,如属Polypterus,家庭Tarsiidae,和巨大的(超)王国原生生物。
2013-07-14 cs.CV q-bio.GN q-bio.PE
BASiNETEntropy: an alignment-free method for classification of biological sequences through complex networks and entropy maximization
核酸和DNA结构的发现使我们对生命的理解有了长足的进步。下一代测序技术的发展导致了大规模的数据生成,计算方法对于分析和知识发现变得至关重要。特别是RNA,由于其在生物体中的功能多样性以及在许多生物过程中具有不同功能的不同类别的发现而受到广泛关注。因此,正确鉴定RNA序列对了解生物体的功能提供相关信息越来越重要。这项工作解决了这一问题,提出了一种新的方法,通过复杂的网络和熵最大化的生物序列的分类。最大熵原理被提出来识别关于RNA类的最具信息量的边缘,生成过滤的复杂网络。该方法进行了评估,从13种不同的RNA类的分类。将该方法与PLEK,CPC 2和BASiNET方法进行了比较,优于所有比较方法。BASiNEEntropy对所有RNA序列进行分类,结果具有高准确性和低标准差,显示出自信和鲁棒性。所提出的方法是在R语言的开源中实现的,可以在https://cran.r-project.org/web/packages/BASiNETEntropy上免费获得。
2022-03-24 cs.CE cs.IT cs.LG
GENERator: A Long-Context Generative Genomic Foundation Model
Equal Contribution 12pt Senior Authorship 0.15in 1Alibaba Cloud Computing, Beijing, China 0.05in 2Zhongguancun Academy, Beijing, China 0.05in 3Zhongguancun Institute of Artificial Intelligence, Beijing, China 0.05in 4University of Science;Technology of China, Hefei, China 0.05in 5State Key Laboratory of Genome;Multi-omics Technologies, Shenzhen Branch, Guangdong Laboratory for Lingnan Modern Agriculture, Key Laboratory of Livestock;Poultry Multi-Omics of MARA, Agricultural Genomics Institute at Shenzhen, Chinese Academy of Agricultural Sciences, Shenzhen, China 0.05in 6Innovation Group of Pig Genome Design;Breeding, Research Centre for Animal Genome, Agricultural Genomics Institute at Shenzhen, Chinese Academy of Agricultural Sciences, Shenzhen, China 0.05in 7The Hong Kong University of Science;Technology (Guangzhou), Guangzhou, China 0.05in 8The Hong Kong University of Science;Technology , Hong Kong SAR, China 0.05in 9Mila - Qu\'ebec AI Institute, Montr\'eal, Canada 0.05in 10University of Montr\'eal, Montr\'eal, Canada 0.05in 11HEC Montr\'eal, Montr\'eal, Canada 0.05in 12CIFAR AI Chair, Canada 0.05in 13Carnegie Mellon University, Pittsburgh, USA 0.15in to
GENErator是一种长上下文生成基因组基础模型,通过大规模预训练实现高效基因组解读与可编程序列设计。
2026-01-31 cs.CL q-bio.GN