Round-Hashing for Data Storage: Distributed Servers and External-Memory Tables
本文提出了轮散列,这是适合于分布式服务器上的数据存储和实现外部内存表,其中每个查找检索最多一个外部内存块,使用一个stash。对于数据存储,轮散列就像一致性散列一样,因为它避免了在添加新服务器时对密钥进行完全重排序。实验表明,服务请求的速度是10倍以上的最先进的。在分布式数据存储,这保证了更好的吞吐量为服务请求,而且,大大减少了决策时间,数据应该移动到新的服务器作为重新扫描数据要快得多。
2018-05-08 cs.DS
Lempel-Ziv Decoding in External Memory
简单快速的解码是LZ 77类型文本编码的主要优点之一,它被用于许多流行的文件压缩器,如gzip和7zip。随着最近引入用于Lempel-Ziv因式分解的外部存储器算法,需要外部存储器LZ 77解码,但是标准算法对文本进行随机访问,并且不能针对外部存储器计算进行简单修改。我们描述了LZ 77解码的第一个外部存储器算法,证明了它们的I/O复杂度是最优的,并证明了它们在实践中非常快,只有大约三倍慢于内存解码(当读取输入和写入输出的时间包括在内)。
2016-01-31 cs.DS cs.IT math.IT
Scalable String and Suffix Sorting: Algorithms, Techniques, and Tools
本文主要研究两个基本的排序问题:字符串排序和后缀排序。第一部分考虑共享内存多核机器上的并行字符串排序,第二部分使用归纳排序原理进行外部内存后缀排序,第三部分使用新的分布式算法大数据框架Thrill进行分布式外部内存后缀排序。
2018-08-02 cs.DC cs.DS
External-Memory Network Analysis Algorithms for Naturally Sparse Graphs
在本文中,我们提出了一些网络分析算法的外部记忆模型。我们专注于大型自然稀疏图的方法,也就是说,n-顶点图,具有O(n)的边缘和结构,使这种稀疏性属性适用于这样的图的任何子图。我们给出了有效的外部存储器算法,为以下问题,这样的图:-找到一个近似的D-退化订购; -找到一个周期的长度正好为C; -枚举所有最大的集团。例如,在分析社交网络时,这些问题是很有意义的,因为它们被用来研究网络内聚性。
2011-06-30 cs.DS
Worst-Case Optimal Tree Layout in External Memory
考虑将N个节点的固定拓扑树布置到块大小为B的外部存储器中,以便最小化从根到深度为D的节点的路径所需的最坏情况块存储器传输次数。我们证明了最佳的内存传输次数是$$ \cases{ \displaystyle Θ\left( {D \over \lg (1{+}B)} \right) & when $D = O(\lg N)$, \cr \displaystyle Θ\left( {\lg N \over \lg \left(1{+}{B \lg N \over D}\right)} \right) & when $D = Ω(\lg N)$ and $D = O(B \lg N)$, \cr \displaystyle Θ\left( {D \over B} \right) & when $D = Ω(B \lg N)$. } $$
2013-11-27 cs.DS
Using Hashing to Solve the Dictionary Problem (In External Memory)
我们考虑了外部存储器中的字典问题,并将众所周知的缓冲树的更新时间提高了大约一个对数因子。对于任意λ>= max {lg lg n,log_{M/B}(n/B)},我们可以支持时间复杂度为O(λ/ B)的更新和时间复杂度为O(log_λn)的查询。我们还提出了一个下限的细胞探针模型表明,我们的数据结构是最佳的。在RAM中,半个多世纪以来,哈希表一直被用来比二分查找更快地解决字典问题。相比之下,我们的数据结构是第一个在外部存储器中克服比较障碍的结构。我们的也是第一个令人信服地脱离不可分割性范式的数据结构。
2011-04-14 cs.DS
Lempel-Ziv Parsing in External Memory
几十年来,计算字符串的LZ因子分解(或LZ 77解析)在许多不同的应用程序中都是必要的和计算密集的步骤,包括文本索引和数据压缩。多年来已经发现了许多LZ 77解析算法;然而,尽管越来越需要将LZ 77应用于海量数据集,但迄今为止还没有算法可以扩展到超过内部内存大小的输入。在本文中,我们描述的第一个算法计算LZ 77分析在外部存储器。我们的算法在实践中是快速的,并将允许下一代的文本索引,以实现大规模的字符串和字符串集合。
2013-07-04 cs.DS
External-Memory Multimaps
许多数据结构支持字典,也称为映射或关联数组,它们存储和管理一组键值对。\emph{multimap}是允许多个值与同一个键关联的泛化。例如,在支持搜索引擎的基础设施中预先使用的倒排文件数据结构是一种多映射,其中单词用作键,文档指针用作值。我们研究了多映射抽象数据类型,以及如何在外部存储器框架中有效地在线实现,并具有恒定的预期I/O性能。用于实现我们的结果的关键技术是布谷鸟散列的组合,使用桶,持有多个项目与多队列实现,以应付不同数量的值,每个键。我们的外部记忆结果是标准的两级记忆模型。
2011-09-16 cs.DS
A massively parallel algorithm for constructing the BWT of large string sets
我们提出了一个新的可扩展的,轻量级的算法,以逐步构建BWT和FM索引的大型字符串集,如下一代测序。该算法是专为大规模并行,可以有效地利用低容量高带宽的内存和较慢的外部系统内存的GPU加速系统的典型组合。特别地,对于来自具有σ符号的字母表的n个字符的字符串集合,它使用恒定量的高带宽存储器和至多3n log(σ)位的系统存储器。考虑到深存储层次结构正在成为高性能计算体系结构的普遍特征,我们认为这是一个相关的特征。该实现可以处理任意长度的读段,并且对于短和长基因组读段,分别比现有技术快2倍和6.5倍
2014-10-02 cs.DC cs.DS
Data-Oblivious Graph Algorithms in Outsourced External Memory
出于对外包数据的隐私保护的动机,数据无关外部存储器是一种计算框架,其中客户端以不向服务器泄露其数据的方式对存储在半信任服务器处的数据执行计算。这种方法比传统框架更有利于协作和可靠性,并且它提供了隐私保护,即使服务器完全访问数据,并且他可以监视客户端如何访问数据。挑战在于,即使数据被加密,服务器也可以基于客户端数据访问模式来学习信息;因此,访问模式也必须被混淆。我们调查的隐私保护算法外包外部存储器的基础上使用的数据不经意的算法,也就是说,算法中的每个可能的数据访问序列是独立的数据值。我们给出了新的高效的数据不经意算法在外包外部存储器模型的一些基本的图形问题。我们的研究结果包括新的数据不经意的外部存储器的方法,用于构建最小生成树,进行各种根树遍历,回答最少的共同祖先查询树,计算双连接组件,并形成开放的耳朵分解。我们的算法都没有使用恒定时间的随机预言。
2014-09-02 cs.DS
Faster Average Case Low Memory Semi-External Construction of the Burrows-Wheeler Transform
Burrows Wheeler变换在数据压缩以及全文索引中有应用。尽管其重要的应用和各种现有的算法方法的构造的变换的大数据集仍然是具有挑战性的。本文提出了一种新的构造Burrows Wheeler变换的半外存储算法。如果有足够的内部存储器可用于保存输入文本的固定部分,则它能够在平均时间$O(n\log^2\log n)$的有限字母表上构造长度为$n$的输入文本的变换。在最坏的情况下,运行时是$O(n\log n \log\log n)$。算法在外部存储器中使用的空间量为$O(n)$位。在串行算法的基础上,我们还提出了一种在$p$处理器可用的情况下平均按时间运行的共享内存并行算法$O(\frac{n}{p}\max\{\log^2\log n+\log p\})$。
2016-04-22 cs.DS
Low Space External Memory Construction of the Succinct Permuted Longest Common Prefix Array
最长公共前缀(LCP)数组是索引字符串匹配中的一种通用辅助数据结构。它可以用来加速使用后缀数组(SA)的搜索,并提供底层后缀树拓扑的隐式表示。长度为$n$的字符串的LCP阵列可以表示为长度为$n$的字的阵列,或者在存在SA的情况下,表示为$2n$位加上渐近可忽略的支持数据结构的位向量。已经提出了用于LCP阵列的外部存储器构造算法,但是迄今为止提出的那些算法在外部存储器中具有$O(n)$字(即,$O(n \log n)$位)的空间要求。在某些实际情况下,这种空间要求过于昂贵。我们提出了一个外部存储器算法,用于构建的$2n$位版本的LCP阵列,使用$O(n \log σ)$位的额外空间在外部存储器中时,给定的(压缩)BWT与字母大小$σ$和采样率$O(\log n)$的采样逆后缀阵列。在$σ$通常比$n$小得多或者甚至是常数的情况下,这在实践中通常是显著的空间增益。我们还考虑了计算循环字符串的简洁LCP数组的情况。
2016-03-08 cs.DS
Dynamic Planar Point Location in External Memory
针对外存模型中的平面点定位问题,提出了一种全动态的数据结构。我们的数据结构支持$O(\log_B n(\log\log_B n)^3))$ I/O中的查询和$O(\log_B n(\log\log_B n)^2))$分摊I/O中的更新,其中$n$是细分中的段数,$B$是块大小。这是第一个具有几乎最优查询成本的动态数据结构。为了进行比较,此问题的所有先前已知结果都需要$O(\log_B^2 n)$ I/O来回答查询。我们的结果几乎匹配最知名的上限内记忆模型。
2019-03-15 cs.DS
On Dynamic Breadth-First Search in External-Memory
我们提供了第一个非平凡的结果动态广度优先搜索(BFS)在外部存储器:对于一般稀疏无向图的初始$n$节点和O(n)的边缘和单调更新序列的$Θ(n)$边缘插入或$Θ(n)$边缘删除,我们证明了摊销的高概率界的$O(n/B^{2/3}+\sort(n)\cdot \log B)$ I/O每次更新。相比之下,目前在稀疏无向图上进行静态BFS的最佳方法需要$Ω(n/B^{1/2}+\sort(n))$ I/O。
2008-02-20 cs.DS
Efficient Semi-External Breadth-First Search
本文针对磁盘驻留大规模图的半外部内存模型,提出高效 BFS 算法 EP-BFS,以较小内存需求在数十亿级节点和边的图上实现高达 10 倍加速。
2025-07-17 cs.DS
External memory BWT and LCP computation for sequence collections with applications
我们提出了一个外部存储器算法的BWT和LCP阵列的序列集合的计算。我们的算法以可用内存的量作为输入参数,并试图通过将输入集合拆分为足够小的子集合来最大限度地利用它,以便使用最佳线性时间算法在RAM中计算它们的BWT。接下来,它合并外部存储器中的部分BWT,并且在此过程中,它还计算LCP值。我们证明了我们的算法执行O(nAveLcp)顺序I/O,其中n是集合的总长度,AveLcp是集合的平均最长公共前缀。这个界限是对相同任务的已知算法的改进。实验结果表明,我们的算法优于目前最好的算法的集合的序列具有不同的长度和集合具有相对较小的平均最长公共前缀。在本文的第二部分中,我们表明,我们的算法可以修改输出两个额外的数组,使用BWT和LCP阵列,提供简单的,基于扫描的,外部存储器的算法,在生物信息学中的三个众所周知的问题:最大重复的计算,所有对后缀前缀重叠,简洁的de Bruijn图的建设。据我们所知,没有其他已知的外部存储器算法,这些问题。
2018-05-17 cs.DS
Equivalence between Priority Queues and Sorting in External Memory
优先级队列是一种基本的数据结构,它维护一组动态有序的键,并支持以下基本操作:插入键、删除键和查找最小键。优先级队列的复杂性与排序的复杂性密切相关:优先级队列可以用来实现一个简单的排序算法。Thorup \cite{thorup2007equivalence}证明了在RAM模型中也是如此。特别是,他设计了一个优先级队列,使用排序算法作为黑盒,这样优先级队列的每个操作成本与排序的每个键成本渐近相同。在本文中,我们证明了一个类似的结果,在外部存储器模型,优先级队列是计算等价于排序在外部存储器中,在一些温和的假设。这种减少提供了一种可能性,证明下界的外部排序通过显示一个下界的优先级队列。
2012-07-18 cs.DS
External Memory Algorithms For Path Traversal in Graphs
本文给出了一些关于树和图中路径遍历的结果。特别是,我们专注于数据结构,它允许这样的遍历在外部存储器设置有效地执行。此外,对于树和平面图,我们提出的数据结构是简洁的。我们的树结构允许有效的自下而上的路径遍历任意程度的根树和有效的自上而下的路径遍历二叉树。在图的设置,我们允许有效的遍历任意路径有界度平面图。我们的数据结构的树和图形匹配或略有改善目前最好的结果,外部存储器路径遍历在这些设置中,而在同一时间,由于我们的数据结构的简洁性,提高空间边界。利用我们的有界度平面图的路径遍历结构,我们描述了这种技术在R^2中三角网格上的一些有用的应用。作为三角形网格R^2表示的扩展,我们还提出了R^3中良好形状四面体网格的有效外存储表示。我们提出的外部存储器表示是基于一个分区方案,匹配目前最知名的结果,形状良好的四面体网格。我们描述了应用程序的路径遍历四面体网格,这是有效的外部存储器设置使用我们的结构。最后,我们给出了一个在R^2和R^3的良好形状网格中使用跳跃-行走点定位的结果。我们证明,给定一个近似最近的邻居从一个网格的顶点之间,定位包含查询点的单纯形涉及一个恒定长度的步行(路径遍历)在网格中。
2013-08-21 cs.DS
CRAM: Compressed Random Access Memory
我们提出了一种称为\emph{Compressed Random Access Memory}(CRAM)的新数据结构,它可以存储字符的动态字符串$T$,例如,以压缩形式表示计算机的存储器,同时在压缩比上实现渐近几乎最优的界限(根据经验熵)。它允许$T$的短子字符串被有效地解压缩和检索,并且显著地,在执行\emph{without decompressing the entire string}期间快速修改$T$的任意位置处的字符。这可以被视为一种新型的数据压缩,可以直接更新压缩文件。此外,以略微增加每个操作所花费的时间为代价,CRAM可以扩展为也支持插入和删除。我们的关键观察,经验熵的字符串并没有改变太多的字符串后,小的变化,以及我们的简单而有效的方法来维持一个数组的可变长度的块下的长度修改,可能是有用的许多其他应用程序。
2012-02-18 cs.DS
BEEM : Bucket Elimination with External Memory
概率图模型的精确推理算法的一个主要限制是它们大量的内存使用,这通常使它们无法解决现实世界的问题。在本文中,我们将展示如何扩展推理算法,特别是桶消除,集群(加入)树分解的特殊情况下,利用磁盘内存。我们提供了基本的想法,并显示出有前途的实证结果,准确地解决了以前无法解决的大问题。
2012-03-15 cs.AI cs.DS
On the Complexity of List Ranking in the Parallel External Memory Model
研究了并行外部存储器模型中的链表排序问题。我们观察到一个有趣的双重性质的硬度的问题,由于有限的信息交换的处理器之间的列表的结构,一方面,其密切的关系,置换数据的问题,这是已知的是很难的外部存储器模型,另一方面。通过仔细定义计算模型的幂,我们证明了PEM模型中的置换下界。此外,我们提出了一个更强的Ω(log^2 N)下界的问题的一个特殊变体和一个特定的模型参数范围,这使我们更接近证明一个非平凡的下界的列表排名问题的批量同步并行(BSP)和MapReduce模型。最后,我们还提出了一种算法,该算法比以前的工作中的模型的参数范围更大。
2014-06-12 cs.DS
Bouma2 - A Quasi-Stateless, Tunable Multiple String-Match Algorithm
Bouma 2算法试图通过提出一种“准无状态”方法来挑战流行的“有状态”精确字符串匹配范例。我们声称,使用状态机来解决多个精确字符串匹配问题引入了一个隐藏的人工约束,即消费顺序依赖,这会导致不必要的开销。Bouma 2在这个意义上不受限制;我们假设这允许内存效率和改进的性能与其状态机等价物。Bouma 2预处理问题的核心是一个加权的线性规划问题,可以针对内存占用和性能优化进行调整。具体而言,这使得Bouma 2对输入敏感,因为可以根据输入特性进行调谐。评估Bouma 2对Aho-Corasick变体的流行的Snort入侵防御系统,我们证明了一倍的吞吐量,同时使用约10%的内存。
2012-09-20 cs.DS
What Does Dynamic Optimality Mean in External Memory?
在本文中,我们重新审视的问题,搜索树的动态最优性应该如何定义在外部存储器。外部存储器数据结构的一个定义特征是,查询和插入/更新/删除之间存在明显的不对称性:通过使前者稍微渐进地慢一些,可以使后者明显渐进地快一些(甚至允许使用子常数摊销I/O的操作)。这种不对称性使得基于旋转的搜索树在插入/更新/删除繁重的外部内存工作负载中不是最佳的(甚至接近最佳)。为了研究这种工作负载的动态最优性,必须考虑不同类别的数据结构。要考虑的数据结构的自然类是我们称之为缓冲传播树的。这样的树可以动态地适应输入序列的局部属性,以优化不同插入/更新/删除和查询之间的交互。我们还提出了一种新形式的超越最坏情况的分析,使我们能够正式研究静态和动态最优之间的连续体。最后,我们给出了一种新的数据结构,称为\jellotree,这是静态最优的,并实现动态最优的一个大的自然类的输入定义我们超越最坏情况下的分析。
2022-04-21 cs.DS
Parallel String Sample Sort
我们讨论如何字符串排序算法可以在现代多核共享内存机器上并行化。作为对原子对象的最佳顺序字符串排序算法和成功的并行排序算法的综合,我们提出了字符串样本排序。该算法有效地利用了存储层次结构,使用额外的字级并行,并在很大程度上避免了分支误预测。此外,我们并行化多键快速排序和基数排序的变体,这些变体在某些情况下也很有用。
2013-05-06 cs.DC cs.DS
Optimal Hashing in External Memory
哈希表是字典数据结构的一个普遍存在的类别。然而,标准的哈希表实现不能很好地转换到外部内存模型中,因为它们没有包含插入的局部性。Iacono和Patracsu为外部哈希表建立了一个更新/查询权衡曲线:在$O(λ/B)$分期IO中执行插入的哈希表需要$Ω(\log_λN)$预期的IO用于查询,其中$N$是可以存储在数据结构中的项目的数量,$B$是内存传输的大小,$M$是内存的大小,$λ$是一个调优参数。它们为$λ$提供了一种满足该曲线的散列数据结构,即$Ω(\log\log M + \log_M N)$。他们的数据结构,我们称之为\defn{IP hash table},是复杂的,据我们所知,还没有实现。在本文中,我们提出了一个新的和更简单的最佳外部存储器哈希表,\defn{Bundle of Arrays Hash Table}(BOA)。BOA基于大小分层的LSM,这是一种经过充分研究的数据结构,并且几乎同样容易实现。BOA最适用于较窄范围的$λ$。然而,BOA的简单性允许它们容易地被修改以实现以下结果:\begin{itemize} \item A new external memory data structure, the \defn{Bundle of Trees Hash Table} (BOT), that matches the performance of the …
2018-05-23 cs.DS
Lightweight Data Indexing and Compression in External Memory
在本文中,我们描述的算法计算的BWT和建设(压缩)索引在外部存储器中。我们的算法的创新特点是,他们是轻量级的意义上说,对于一个输入的大小$n$,他们只使用${n}$位的磁盘工作空间,而所有以前的方法使用$\Th{n \log n}$位的磁盘工作空间。此外,我们的算法只通过顺序扫描访问磁盘数据,因此它们充分利用了现代磁盘功能,使顺序磁盘访问比随机访问快得多。我们还提出了一个基于扫描的算法,用于反相的BWT,使用$\Th{n}$位的工作空间,和一个轻量级的{ \em内部存储器}算法计算的BWT,这是最快的文献中可用的工作空间时,$\os{n}$位。最后,我们证明了{ \em下限}的计算和反转的BWT通过顺序扫描的经典产品的复杂性:内部存储器空间$\times$通过磁盘数据的数量。
2009-09-24 cs.DS
Zip-Tries: Simple Dynamic Data Structures for Strings
本文提出zip-tries这一简单动态字符串数据结构,在标准RAM模型中支持k长度字符串的搜索和更新操作,时间复杂度为$\mathcal{O}(k+\text{log}\\\\,n)\\\\
2025-05-16 cs.DS
Engineering Parallel String Sorting
我们讨论如何字符串排序算法可以在现代多核共享内存机器上并行化。作为最好的顺序字符串排序算法和原子对象的成功的并行排序算法的综合,我们首先提出了字符串样本排序。该算法有效地利用了存储层次结构,使用了额外的字级并行性,并在很大程度上避免了分支误预测。然后,我们专注于NUMA架构,并开发并行多路LCP合并和合并排序,以减少随机访问远程节点的内存访问的数量。此外,我们并行化多键快速排序和基数排序的变体,这些变体在某些情况下也很有用。五个当前的多核平台上的综合实验,然后报告和讨论。实验表明,我们的实现规模非常好的现实世界的输入和现代机器。
2014-03-09 cs.DC cs.DS
A Faster External Memory Priority Queue with DecreaseKeys
优先级队列是一种基本的数据结构,它维护一组动态的(键,优先级)对,并支持插入、删除、提取最小值和减少键操作。在外部存储器模型中,当前最佳优先级队列支持摊销$O(\frac{1}{B}\log \frac{N}{B})$ I/O中的每个操作。如果不需要支持DecreaseKey操作,则可以设计支持Insert的更有效的数据结构,最近的一个结果表明,通过证明$O(\frac{1}{B}\log \frac{N}{B}/ \log \frac{M}{B})$ I/O的下界,性能下降是不可避免的。具有DecreaseKeys的优先级队列的OS。在本文中,我们提出了一个新的优先级队列,它支持DecreaseKey操作,并具有预期的摊销I/O复杂度为$O(\frac{1}{B}\log \frac{N}{B}/\log\log N)$,从而缩小了下限和上限之间的差距。我们的研究结果在十多年来首次改进了DecreaseKeys的外部存储器优先级队列,并给出了最快的外部存储器单源最短路径算法。
2018-06-20 cs.DB cs.DS
Multi-variable Quantification of BDDs in External Memory using Nested Sweeping (Extended Paper)
Aarhus University(奥胡斯大学)
本文提出嵌套扫掠框架,用于在外部存储中高效处理BDDs的多变量量化、关系积和变量重排,提升算法性能。
2026-03-24 cs.DB cs.DS
Near-Optimal Online Multiselection in Internal and External Memory
我们介绍了一个在线版本的多选问题,其中q选择查询的n个元素的未排序数组的要求。我们提供了第一个在线算法,是1-竞争Kaligosi等人。[ICALP 2005]在比较复杂性方面。我们的算法也支持在线搜索查询效率。然后,我们扩展我们的算法的动态设置,同时保留在线功能,通过支持任意插入和删除的数组。假设一个元素的插入是紧接着搜索该元素之前,我们表明,我们的动态在线算法进行了最佳数量的比较,低阶项和一个添加剂O(n)项。对于外部记忆模型,我们描述了第一个在线多选择算法,是O(1)-竞争。当q > m时,这个结果改进了Sibeyn [Journal of Algorithms 2006]的工作,其中m是可以存储在主存中的块的数量。我们还扩展了它,以支持搜索,插入和删除的元素有效。
2013-07-13 cs.DS
Practical Parallel External Memory Algorithms via Simulation of Parallel Algorithms
本文介绍了PEMS 2,它是对PEMS(并行外部存储系统)的改进。PEMS在外部存储器(EM)上下文中执行批量同步并行(BSP)算法,使得能够计算超过主存储器大小的非常大的数据集。许多并行算法已经被设计和实现为批量同步并行计算模型。这样的算法通常假设整个数据集一次存储在主存储器中。PEMS通过使用磁盘空间作为额外的“虚拟处理器”的存储器来克服这个限制,而不需要对算法进行任何修改。之前的工作表明,这是一种很有前途的方法,可以随着计算资源(即处理器和磁盘)的添加而扩展。然而,该技术招致显着的开销相比,专用的EM算法。PEMS 2对模拟过程进行了改进,旨在减少此开销以及运行模拟所需的磁盘空间量。还引入了新功能,包括异步I/O和对多核处理器的支持。实验结果表明,这些变化显着提高了仿真的运行时间。PEMS 2缩小了模拟BSP算法和手工EM算法之间的性能差距,为使用超过RAM大小的数据集的BSP算法提供了一个实用的系统。
2010-01-19 cs.DC cs.DS
Symbolic Model Checking in External Memory
本研究为外部存储器BDD包Adiar扩展单调变量替换支持以实现关系积运算,优化后小BDD模型检测速度最高提47%,其I/O高效性使其受内存影响小,大实例下远快于同类工具CAL。
2025-05-16 cs.DS cs.LO
Validating XML Documents in the Streaming Model with External Memory
我们研究的问题验证XML文档的大小$N$对一般的DTD的流算法的上下文中。这项工作的出发点是一个众所周知的空间下界。有些XML文档和DTD的$p$ -pass流算法需要$Ω(N/p)$空间.我们表明,当允许访问外部存储器,有一个确定性的流算法,解决了这个问题的内存空间$O(\log^2 N)$,一个恒定数量的辅助读/写流,和$O(\log N)$总数量的通过XML文档和辅助流。该算法的一个重要中间步骤是以流的方式计算初始XML文档的第一子下兄弟(FCNS)编码。我们独立研究这个问题,我们还提供了内存高效的流算法解码的XML文档中的FCNS编码。此外,在没有外部存储器的情况下,可以使用次线性存储器来验证在通常的流模型中编码二叉树的XML文档。有一种使用$O(\sqrt{N \log N})$空间的一次通过算法和一种使用$O(\log^2 N)$空间的双向两次通过算法执行此任务。
2011-08-18 cs.DB cs.DS
External Memory Planar Point Location with Fast Updates
本文研究了在外部存储器模型或磁盘访问模型(DAM)下的动态平面点定位问题。该模型实现了polylog查询和polylog平均更新时间。我们提出了一个数据结构与$O( \log_B^2 N)$查询时间和$O(\frac{1}{ B^{1-ε}} \log_B N)$摊销更新时间,其中$N$是段的数量,$B$的块大小和$ε$是一个小的正常数,假设所有的面孔有恒定的大小。这是比最快的先前结构更快的更新的$B^{1-ε}$因子,并且将插入和删除的成本降低到子常数摊销时间,以便合理地选择$N$和$B$。我们的结构解决了一组动态的相邻不相交的线段之间的垂直射线拍摄查询的问题,这是众所周知的解决动态平面点定位的连接细分的平面与恒定大小的面。
2022-03-30 cs.DS
A New Lightweight Algorithm to compute the BWT and the LCP array of a Set of Strings
索引非常大的字符串集合,如那些广泛的测序技术,严重依赖于多串概括的Burrows-Wheeler变换(BWT),并为这个问题提出了各种内存算法。常规处理的数据的快速增长,例如在生物信息学中,需要大量的主存储器,并且这一事实促使算法的开发,以计算BWT,其几乎完全在外部存储器中工作。另一方面,计算最长公共前缀(LCP)数组的相关问题通常在关于字符串集合的若干算法中是有用的,例如计算字符串之间的后缀-前缀重叠的那些算法,这是许多基因组组装算法的必要步骤。目前最好的轻量级方法是在一组$m$字符串上计算BWT和LCP数组,每个$k$字符长,其I/O复杂度为$O(mk^2 \log |Σ|)$(其中$|Σ|$是字母表的大小),因此它不是最佳的。在本文中,我们提出了一种新的方法来建立BWT和LCP阵列(同时)与$O(kmL(\log k +\log σ))$的I/O复杂度,其中$L$是最长的子串,至少出现在输入字符串中的两次的长度。
2016-07-28 cs.DS
External-memory dictionaries with worst-case update cost
$B^ε$树[Brodal and Fagerberg 2003]是一种简单的I/O高效外部内存模型数据结构,它支持比B树快几个数量级的更新,查询性能与B树相当:对于任何正的恒定$ε<1$插入和缺失需要$O(\frac{1}{B^{1-ε}}\log_{B}N)$时间(而不是传统B树的$O(\log_BN)$时间),查询需要$O(\log_BN)$时间,返回$k$项的范围查询需要$O(\log_BN+\frac{k}{B})$时间。尽管$B^ε$树具有最优的更新/查询折衷,但是运行时被分摊。另一种结构是Bender等人[PODS 2017]引入的写优化跳表,它与$B^ε$树具有相同的性能,但运行时是随机的,而不是摊销的。在本文中,我们提出了一个变种的$B^ε$树与确定性的最坏情况下的运行时间是相同的原始的摊销运行时间。
2022-11-11 cs.DS
External Memory Three-Sided Range Reporting and Top-$k$ Queries with Sublogarithmic Updates
提出了一种外部存储器数据结构,用于在点的插入和删除下维护$N$二维点的动态集合,并支持3边范围报告查询和顶- $k$查询,其中顶- $k$查询报告在给定$x$范围内具有最高$y$值的$k$点。对于任何常数$0<\varepsilon\leq \frac{1}{2}$,构建支持摊销的$O(\frac{1}{\varepsilon B^{1-\varepsilon}}\log_B N)$ IO中的更新和摊销的$O(\frac{1}{\varepsilon}\log_B N+K/B)$ IO中的查询的数据结构,其中$B$是外部存储器块大小,$K$是查询的输出大小(对于顶部$k$查询,$K$是$k$和查询间隔中的点数的最小值)。数据结构使用线性空间。更新边界是一个显着的因素$B^{1-\varepsilon}$改善以前的最佳更新边界的两个查询问题,同时保持在相同的查询和空间的界限。
2015-09-28 cs.CG cs.DS
Lower Bounds for External Memory Integer Sorting via Network Coding
对超大型数据集进行排序是实践中经常发生的任务。这些数据集通常比计算机的主存储器大得多,因此经常使用由Aggarwal和Vitter(1988)首次引入的外部存储器排序算法。基于比较的外部存储器排序的复杂性已经被理解了几十年,但是如果我们假设要排序的键是整数,情况仍然难以理解。在内部存储器中,可以使用经典的基数排序算法在$O(n)$时间内对每个$Θ(\lg n)$比特的一组$n$整数密钥进行排序,然而在外部存储器中,没有已知的比基于简单比较的整数排序算法更快的整数排序算法。在本文中,我们提出了一个严格的条件下界的外部存储排序的整数的复杂性。我们的下界是基于一个著名的猜想,在网络编码的李和李,谁证明了网络编码不能帮助任何超出标准的多商品流率在无向图。以前唯一将Li和Li猜想与算法的下界联系起来的工作是Adler等人的工作。Adler等人确实获得了遗忘算法的相对简单的下界(存储器访问模式是固定的并且与输入数据无关)。不幸的是,遗忘是一个很强的限制,特别是整数排序:我们表明,李和李猜想意味着一个$Ω(n \log n)$下界的内部存储器遗忘排序时的关键字是$Θ(\lg n)$位。这与经典的(非遗忘的)基数排序算法形成鲜明对比。事实上,超越遗忘是非常重要的;我们需要引入几个新的方法和相关技术,这是他们自己的兴趣,以获得我们的外部存储器整数排序的紧下界。
2018-11-04 cs.CC cs.DB cs.DS
String Partition for Building Long Burrows-Wheeler Transforms
针对长串 BWT 构建耗时耗内存的问题,提出基于后缀数组前缀的字符串划分方法,并实现 partDNA,在真实基因组数据上以 IBB 获得时间与内存的新权衡,且适用于任意字母表。
2025-05-14 cs.DS
Data-Oblivious External-Memory Algorithms for the Compaction, Selection, and Sorting of Outsourced Data
我们提出了数据不经意的算法在外部存储器模型的压缩,选择和排序。这些问题的动机来自使用外包数据存储服务并希望掩盖其数据访问模式的客户端。我们表明,压缩和选择可以做数据遗忘使用$O(N/B)$ I/O,排序可以做,成功的概率很高,使用$O((N/B)\log_{M/B} (N/B))$ I/O。我们的方法使用了一些新的算法技术,包括数据遗忘使用可逆的布鲁姆查找表,蝴蝶般的压缩网络,随机数据细化,和“洗牌和交易”数据扰动。此外,由于数据不经意的排序是在现有的不经意的RAM模拟的“内循环”的瓶颈,我们的排序结果提高了摊销的时间开销做不经意的RAM模拟的对数因子在外部存储器模型。
2011-03-26 cs.CR cs.DC cs.DS
Computing the original eBWT faster, simpler, and with less memory
Mantaci等人[TCS 2007]定义了eBWT以将BWT的定义扩展到字符串的集合,然而,自从引入以来,它已经更普遍地用于描述字符串集合的任何BWT和原始定义的基本属性(即,与输入顺序的独立性)经常被忽略。在本文中,我们提出了一种简单的线性时间算法来构建原始eBWT,它不需要Bannai等人的预处理。[CPM 2021]。作为一个副产品,我们获得了第一个线性时间算法计算BWT的一个单一的字符串,既不使用字符串结束符号,也不林登旋转。我们结合了我们的新eBWT建设的变化前缀免费解析,允许可扩展的eBWT建设。我们评估了我们的算法(pfpebwt)对人类染色体19,沙门氏菌和SARS-CoV2基因组的集合,并证明它是所有集合中最快的方法,第二个最好的方法的最大加速比为7.6倍。峰值内存最多比第二个最佳方法大2倍。与我们的算法一样,也能够报告后缀数组样本的方法相比,我们在峰值存储器上获得了57.1倍的改进。源代码可在www.example.com上公开获得。
2021-06-21 cs.DS
Dynamic External Hashing: The Limit of Buffering
哈希表是计算机科学中最基本的数据结构之一,无论在理论上还是在实践中都是如此。它们在外部存储器中特别有用,在外部存储器中,它们的查询性能接近仅一次磁盘访问的理想成本。Knuth给出了一个优雅的分析,表明使用一些简单的冲突解决策略(如线性探测或链接),查找的预期平均磁盘I/O数仅为$1+1/2^{Ω(b)}$,其中每个I/O可以读取包含$b$项的磁盘块。向哈希表中插入新项也会消耗$1+1/2^{Ω(b)}$ I/O,如果哈希表完全存储在磁盘上,这几乎是最好的方法。然而,这种假设是不现实的,因为任何在外部哈希表上运行的算法都必须有一些内部内存(至少是$Ω(1)$块)来工作。对于许多外部存储器数据结构,小的内部存储器缓冲区的可用性可以显著地减少对$o(1)$ I/O的摊销插入成本。在本文中,我们研究了固有的查询插入外部哈希表中存在的内存缓冲区的权衡。特别是,我们表明,对于任何常数$c>1$,如果查询成本是针对$1+O(1/b^{c})$ I/O,那么它是不可能的,以支持插入小于$1-O(1/b^{\frac{c-1}{4}})$ I/O摊销,这意味着内存缓冲区基本上是无用的。而对于任何常量$c<1$,如果将查询成本放宽为$1+O(1/b^{c})$ I/O,则存在具有$o(1)$插入成本的简单动态哈希表。这些结果也回答了Jensen和Pagh最近提出的一个悬而未决的问题。
2008-11-19 cs.DS
DecreaseKeys are Expensive for External Memory Priority Queues
外部存储器数据结构中最大的公开问题之一是DecreaseKey操作的优先级队列问题。如果仅需要支持插入和提取最小值操作,则可以设计基于比较的优先级队列,其在一系列$N$操作上执行$O((N/B)\lg_{M/B} N)$ I/O,其中$B$是以字数表示的磁盘块大小,而$M$是以字数表示的主存储器大小。这与基于比较的排序的下限相匹配,因此对于基于比较的优先级队列是最佳的。但是,如果我们还需要支持DecreaseKeys,那么最知名的优先级队列的性能仅为$O((N/B) \lg_2 N)$ I/O。最大的问题是是否真的有必要降低性能。我们肯定地回答这个问题,证明了一个下界的$Ω((N/B) \lg_{\lg N} B)$ I/O处理一个序列的$N$混合插入,ExtraxMin和DecreaseKey操作。我们的下界证明了在细胞探测模型,因此也适用于非比较为基础的优先级队列。
2016-11-03 cs.CC cs.DS
External Memory Pipelining Made Easy With TPIE
当处理超过主存储器容量的大型数据集时,主存储器和外部存储器(磁盘)之间的数据移动,而不是实际(CPU)计算时间,通常是计算的瓶颈。由于数据在磁盘和主存之间以大的连续块移动,这导致了大量I/O高效算法的发展,这些算法最大限度地减少了这种块移动的数量。TPIE是为支持I/O高效算法实现而开发的两个主要库之一。TPIE提供了一个接口,在该接口中,可以以简单和模块化的方式实现列表流处理和排序,而不必担心存储管理或块移动。然而,如果不小心,这种基于流的实现可能导致实际上效率低下的算法,因为数据项列表通常在组件之间写入磁盘(和从磁盘读取)。在本文中,我们提出了一个主要的扩展TPIE库,其中包括一个流水线框架,允许实际有效的基于流的实现,同时最大限度地减少流组件之间的I/O开销。该框架通过管道传输流组件以避免组件之间的I/O,也就是说,它同时处理多个组件,同时将一个组件的输出直接传递到主存中下一个组件的输入。TPIE自动确定哪些组件要流水线化,并执行所需的主存储管理,该扩展还包括支持内部存储器计算的并行化和整个应用程序的进度跟踪。扩展库已经被用来评估I/O高效的算法在研究文献中,并大量用于I/O高效的商业地形处理应用程序的丹麦启动SCALGO。
2017-10-27 cs.DC cs.DS
Scalable Distributed String Sorting
针对现有分布式字符串排序算法无法扩展到大规模并行机器的问题,提出延迟约为 $p^{1/k}$ 的高效算法,在多达 49152 个核心上实现高达 5 倍加速。
2024-04-25 cs.DS
Scalable Distributed-Memory External Sorting
我们设计算法,在大规模并行机器上对庞大的数据集进行排序。该算法是基于多路合并范式。我们首先概述了一个算法,其I/O的要求是接近下限。因此,与多路合并的天真实现和我们已知的所有其他方法相比,即使对于最大的可想象的输入,该算法也只对数据进行两次传递。第二种算法减少了通信开销,并以略微增加I/O要求为代价使用更传统的结果规范。一个实现在几个类别中赢得了众所周知的排序基准,并在很大程度上超过了它的竞争对手。
2009-10-14 cs.DC cs.DS cs.PF
A memory-efficient data structure representing exact-match overlap graphs with application for next generation DNA assembly
给定长度为$\ell$的字符串的精确匹配重叠图是边加权图,其中每个顶点与字符串相关联,并且存在权重为$ω= \ell - |ov_{max}(x,y)|$的边$(x,y)$当且仅当$ω\leq λ$,其中$|ov_{max}(x,y)|$是$ov_{max}(x,y)$的长度,$λ$是给定的阈值。在本文中,我们表明,完全匹配的重叠图可以表示为一个紧凑的数据结构,可以存储使用最多$(2λ-1 )(2\lceil\log n\rceil + \lceil\logλ\rceil)n$位,保证访问边缘的基本操作需要$O(\log λ)$时间。精确匹配重叠图已广泛用于DNA组装和\emph{shortest super string problem}的上下文中,其中串$n$的数量范围从几千到几十亿,串的长度$\ell$从25到1000,这取决于DNA测序技术。然而,许多使用重叠图的DNA组装器面临着构建和存储重叠图的主要问题。特别是,这些DNA组装器不可能处理下一代测序技术产生的大量数据,其中字符串$n$的数量通常非常大,从数亿到几十亿不等。事实上,据我们所知,没有DNA组装器可以处理如此大量的字符串。幸运的是,我们的紧凑的数据结构,构造和存储重叠图的主要问题实际上得到了解决,因为它只需要线性时间和线性内存。因此,它打开了构建一个可以有效处理大规模数据集的DNA组装器的可能性之门。
2010-09-21 cs.CE cs.DS
Efficient Semi-External Depth-First Search
随着图形大小的快速增长,目前许多真实世界的图形很难加载到主存中。深度优先搜索(DFS)结果的计算成为一个热门话题,即,深度优先顺序或DFS树,半外部存储器模型。半外部算法假设主存至少能存储图G的一棵生成树T,并逐步将T重构为一棵非平凡的DFS-树。在本文中,我们提出了一个全面的研究半外部DFS问题。本文在分析了DFS算法存在的主要问题的基础上,提出了一种新的半外部DFS算法EP-DFS。与传统算法不同,我们专注于有效地解决这样复杂的问题,不仅具有更少的I/O,而且具有更简单的CPU计算(实现友好)和更少的随机I/O访问(关键效率)。在合成图和真实图上进行了广泛的实验评估。实验结果表明,我们的EP-DFS算法显着优于现有的算法。
2022-02-22 cs.DB cs.DS
Efficient Parallel and External Matching
我们表明,一个简单的算法,用于计算一个匹配的图形运行在对数的阶段引起的工作线性的输入大小。该算法可以适用于在几种计算模型中提供有效的算法,例如PRAM,外部存储器,MapReduce和分布式存储器模型。我们的CREW PRAM算法是第一个O(log^2 n)时间的线性工作算法。实验结果表明,该算法具有速度快、效率高、解质量好的特点。
2014-02-01 cs.DC cs.DS
Undirected Multiple-Unicast Network Coding and Faster External-Memory Integer Sorting
University of Toronto(多伦多大学);Tsinghua University(清华大学)
该研究针对Li-Li猜想给出反例,提出确定性外存整数排序算法,其块传输次数在多参数范围内优于经典方法,并通过Lean 4验证了算法正确性与编码的优势。
2026-11-03 cs.CC cs.DS cs.IT
Leyenda: An Adaptive, Hybrid Sorting Algorithm for Large Scale Data with Limited Memory
排序是现代数据管理系统的基本任务之一。随着磁盘I/O成为最受指责的性能瓶颈和更多计算密集型工作负载,我们注意到,在异构环境中,性能瓶颈可能因基础设施而异。因此,排序内核需要适应不断变化的硬件条件。在本文中,我们提出了Leyenda,一个混合的,并行的和高效的基数最高有效位(MSB)合并排序算法,利用本地线程级CPU缓存和高效的磁盘/内存I/O。Leyenda能够根据不同的I/O和处理条件有效地进行内部或外部分拣。我们使用Sort Benchmark的三种不同工作负载对Leyenda进行了基准测试,针对三种独特的用例,包括内部,部分内存和外部排序,我们发现Leyenda的性能超过GNU的并行内存快速/合并排序实现多达三倍。Leyenda还在ACM 2019 SIGMOD编程竞赛中排名第二,总体排名第四。
2019-09-17 cs.DB cs.DC cs.DS