首页/论文/2102.12824

arXiv 2102.128242021-02-27cs.DS

构造层次重叠图的线性时间算法

A Linear Time Algorithm for Constructing Hierarchical Overlap Graphs

Sangsoo Park, Sung Gwan Park, Bastien Cazaux, Kunsoo Park, Eric Rivals

备注：: 8 pages, 2 figures, submitted to CPM 2021

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

分层重叠图（HOG）是一个图，编码重叠从一个给定的集合P的n个字符串，重叠图。一个最著名的算法构造HOG在O（||P||时间复杂度为O（||P||）空间，其中||P||是P中字符串长度之和。本文给出了一个构造O（||P||）时间和空间。因此，HOG的构造时间和空间优于重叠图的构造时间和空间，重叠图的构造时间和空间为O（||P|| + n^2）。

英文摘要：

The hierarchical overlap graph (HOG) is a graph that encodes overlaps from a given set P of n strings, as the overlap graph does. A best known algorithm constructs HOG in O(||P|| log n) time and O(||P||) space, where ||P|| is the sum of lengths of the strings in P. In this paper we present a new algorithm to construct HOG in O(||P||) time and space. Hence, the construction time and space of HOG are better than those of the overlap graph, which are O(||P|| + n^2).

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

层次重叠图

Hierarchical Overlap Graph

给定一组有限词，重叠图（OG）是一个完全加权有向图，其中每个词是一个节点，并且弧的权重等于一个词到另一个词的最长重叠的长度（重叠是一个不对称的概念）。OG用于组装DNA片段或计算最短的超串，超串是输入的压缩表示。OG要求空间的字数是平方的，这限制了它的可扩展性。分层重叠图（HOG）是一种替代图，它也对所有最大重叠进行编码，但使用输入单词长度之和为线性的空间。我们提出了第一个算法来建立HOG在线性空间中的字的长度相等。

2018-03-05cs.DS

层次重叠图的实用算法

Practical algorithms for Hierarchical overlap graphs

针对层次重叠图(HOG)计算及后缀-前缀查询问题，提出仅使用基本数组的最优实用算法，在十亿字符级数据集上实现毫秒级查询，兼顾理论与实际性能。

2024-09-23cs.DS

非层次结构：如何建模和索引重叠？

Non-hierarchical Structures: How to Model and Index Overlaps?

重叠是一种常见的现象，当数字对象的结构组件既不分离也不嵌套在彼此内部时。重叠的组件拒绝简化为结构层次，并且基于树的索引和查询处理技术不能用于它们。我们解决这个数据建模问题的方法是TGSA（Tree-like Graph for Structural Annotations），这是XML数据模型针对非层次结构的一种新的扩展。我们介绍了一种算法构造TGSA从注释文档，该算法可以有效地处理非层次结构，并与正式证明，确保转换的文件的数据模型是有效的。为了在大型数据库中实现高性能的查询分析，我们进一步引入了非层次结构的XML前后索引的扩展，它可以处理可达性和重叠关系。

2016-10-08cs.DBcs.DScs.IR

层次重叠图的最优构造

Optimal Construction of Hierarchical Overlap Graphs

基因组组装是生物信息学中的一个基本问题，其目的是对给定的基因组重叠子串进行重组。解决这个问题的经典方法是使用装配图，如de Bruijn图或重叠图，它们保留了关于这种重叠的部分信息。对于基因组组装算法，这些图呈现了存储的重叠信息和可扩展性之间的权衡。因此，层次重叠图（HOG）被提出来克服这两种方法的局限性。对于给定的$n$字符串集合$P$，计算HOG的第一个算法由Cazaux和Rivals [IPL 20]给出，需要使用超线性空间的$O(||P||+n^2)$时间，其中$||P||$是$P$中字符串长度的累积和。Park等人[SPIRE20]使用段树将其改进为$O(||P||\log n)$时间和$O(||P||)$空间，并进一步改进为字RAM模型的$O(||P||\frac{\log n}{\log \log n})$。这两个结果描述了一个开放的问题，计算HOG在最佳的$O(||P||)$时间和空间。在本文中，我们实现了所需的最佳界限，提出了一个简单的算法，不使用任何复杂的数据结构。在其核心，我们的解决方案改进了经典的结果[IPL 92]的特殊情况下的所有对后缀前缀（APSP）的问题从$O(||P||+n^2)$时间到最佳的$O(||P||)$时间，这可能是独立的利益。

2021-06-11cs.DMcs.DS

层次记忆模型上的最优二叉搜索树

Optimum Binary Search Trees on the Hierarchical Memory Model

计算的分层存储器模型（HMM）类似于标准随机存取机（RAM）模型，除了HMM具有以编号为1到h的层级组织的非均匀存储器。访问内存位置的成本随着级别数的增加而增加，并且访问属于同一级别的内存位置的成本相同。形式上，对地址a处的存储器位置的单次访问的成本由m（a）给出，其中m：N -> N是存储器成本函数，并且m的h个不同值模拟存储层次结构的不同级别。我们研究的问题，构建和存储一个二叉搜索树（BST）的最小成本，在一组关键字，成功和不成功的搜索概率，在HMM与任意数量的内存级别，并为特殊情况下h=2。虽然对于标准RAM模型已经很好地研究了构造最优二叉搜索树的问题，但是HMM的附加参数m增加了问题的组合复杂性。我们提出了两个动态规划算法来构造最优BST自底向上。这些算法在关于存储层次结构的一些自然假设下有效地运行。我们还给出了一个有效的算法来构建一个BST是接近最佳的，通过修改一个众所周知的线性时间近似算法的RAM模型。我们猜想，构造一个最佳的BST的HMM与任意的内存成本函数m的问题是NP-完全的。

2008-04-07cs.DS

用于下一代DNA程序集的精确匹配重叠图高效数据结构

A memory-efficient data structure representing exact-match overlap graphs with application for next generation DNA assembly

给定长度为$\ell$的字符串的精确匹配重叠图是边加权图，其中每个顶点与字符串相关联，并且存在权重为$ω= \ell - |ov_{max}(x,y)|$的边$(x,y)$当且仅当$ω\leq λ$，其中$|ov_{max}(x,y)|$是$ov_{max}(x,y)$的长度，$λ$是给定的阈值。在本文中，我们表明，完全匹配的重叠图可以表示为一个紧凑的数据结构，可以存储使用最多$(2λ-1 )(2\lceil\log n\rceil + \lceil\logλ\rceil)n$位，保证访问边缘的基本操作需要$O(\log λ)$时间。精确匹配重叠图已广泛用于DNA组装和\emph{shortest super string problem}的上下文中，其中串$n$的数量范围从几千到几十亿，串的长度$\ell$从25到1000，这取决于DNA测序技术。然而，许多使用重叠图的DNA组装器面临着构建和存储重叠图的主要问题。特别是，这些DNA组装器不可能处理下一代测序技术产生的大量数据，其中字符串$n$的数量通常非常大，从数亿到几十亿不等。事实上，据我们所知，没有DNA组装器可以处理如此大量的字符串。幸运的是，我们的紧凑的数据结构，构造和存储重叠图的主要问题实际上得到了解决，因为它只需要线性时间和线性内存。因此，它打开了构建一个可以有效处理大规模数据集的DNA组装器的可能性之门。

2010-09-21cs.CEcs.DS

更多相关论文收起更多论文

构造大型双向de Bruijn图的高效并行和核外算法

Efficient Parallel and Out of Core Algorithms for Constructing Large Bi-directed de Bruijn Graphs

从一组重叠读段组装基因组序列是计算生物学中最基本的问题之一。解决装配问题的算法根据它们所采用的数据结构分为两大类。第一类使用重叠/字符串图，第二类使用de Bruijn图。然而，随着短读段测序技术的最新进展，基于de Bruijn图的算法似乎在实践中发挥着至关重要的作用。构建这些大规模de Bruijn图的有效算法在基于短读段的大型测序项目中非常重要。在Jackson et. al. ICPP-2008中，给出了该问题的一个$O(n/p)$时间并行算法。这里，$n$是输入的大小，$p$是处理器的数量。该算法枚举所有可能与节点重叠的双向边，并最终生成$Θ(nΣ)$消息。本文提出了一种$Θ(n/p)$时间并行算法，它的通信复杂度等于并行排序的通信复杂度，并且对$Σ$不敏感。我们的算法的通用性使得它很容易扩展到外的核心模型，在这种情况下，它有一个最佳的I/O复杂度为$Θ(\frac{n\log(n/B)}{B\log(M/B)})$。我们证明了我们的并行算法在SGI/Altix计算机上的可扩展性。我们的算法与Jackson等的比较。ICPP-2008表明，我们的算法更快。我们还提供了有效的算法的双向链压缩问题。

2010-03-09cs.DCcs.DS

一种基于广义保证的海量数据集的改进层次聚类算法

Improved Hierarchical Clustering on Massive Datasets with Broad Guarantees

层次聚类是当今最有影响力的无监督学习方法之一：聚类的更强扩展。该方法的目标是创建一个层次的集群，从而构建集群的进化历史，同时发现聚类在所有分辨率。我们提出了层次聚类算法的四个特性：（1）经验性能，（2）理论保证，（3）集群平衡，（4）可扩展性。虽然许多算法被设计成一次实现其中一到两个特征，但没有一个算法实现了所有四个特征。灵感来自Bateni et al.的可扩展和经验上成功的亲和聚类[NeurIPs 2017]，我们介绍亲和聚类的继任者，匹配亲和聚类。与其前身一样，匹配亲和聚类保持了强大的经验性能，并使用大规模并行通信作为其分布式模型。旨在保持可证明平衡的集群，我们表明，我们的算法实现了良好的，恒定的因素近似Moseley和王的收入和科恩-Addad等人。的价值。我们表明亲和聚类不能近似任何一个函数。在此过程中，我们还引入了一个有效的$k$大小的最大匹配算法的MPC模型。

2021-01-13cs.DS

分层自组装中的乘积

Producibility in hierarchical self-assembly

三个结果显示在积的层次模型的瓷砖自组装。结果表明，一个简单的贪婪多项式时间策略决定是否是一个组件A是可生产的。该算法可以优化为O（|A| log^2 |A|）时间。Cannon，Demaine，Demaine，Eisenstat，Patitz，Schweller，Summers，and Winslow证明了对于非合作的"温度1"系统的特殊情况，判定一个组件A是否是瓦片系统T的唯一可产生终端组件的问题可以在O（|A| ^2 |T| + |A| |T| ^2）时间内解决。它表明，这可以提高到O（|A| |T| log |T|）的时间。最后，它表明，如果两个组件是可生产的，如果他们可以重叠一致-即，如果它们共享的位置在每个组合中具有相同的瓦片类型--那么它们的并集也是可产生的。

2013-05-01cs.CCcs.CGcs.DS

构造公式的小树文法和小回路

Constructing small tree grammars and small circuits for formulas

它表明，每一个树的大小$n$在一个固定的一组$σ$不同的排名符号可以分解（在线性时间以及在对数空间）成$O\big(\frac{n}{\log_σn}\big) = O\big(\frac{n \log σ}{\log n}\big)$许多层次定义的片。形式上，这种分层分解具有大小为$O\big(\frac{n}{\log_σn}\big)$的直线线性上下文无关树文法的形式，其可以用作输入树的压缩表示。这推广了字符串的类似结果。以前的基于语法的树压缩器没有分析计算语法的最坏情况大小，除了Bille等人的顶部dag，其中，只有较弱的上界$O\big(\frac{n}{\log_σ^{0.19} n}\big)$（最近由Hübschle-Schneider和Raman改进为$O\big(\frac{n \cdot \log \log_σn}{\log_σn}\big)$）的未排名和未标记的树已经得到。本文的主要结果表明，每一个$n$大小的算术公式（其中只有$m \leq n$不同的变量出现）都可以变换成（在线性时间和对数空间中）一个大小为$O\big(\frac{n \cdot \log m}{\log n}\big)$和深度为$O(\log n)$的算术电路。这改进了Brent在1974年的一个经典结果，根据这个结果，一个长度为$n$的算术公式可以转化为一个长度为$O(n)$的对数深…

2015-09-21cs.CCcs.DScs.FL