Fast and Simple Sorting Using Partial Information
本文提出一种利用预先比较结果的确定性排序算法,结合拓扑排序、堆排序和有序搜索,以最优时间和比较次数解决排序及top-k排序问题。
2024-11-22 cs.DS
Scalable String and Suffix Sorting: Algorithms, Techniques, and Tools
本文主要研究两个基本的排序问题:字符串排序和后缀排序。第一部分考虑共享内存多核机器上的并行字符串排序,第二部分使用归纳排序原理进行外部内存后缀排序,第三部分使用新的分布式算法大数据框架Thrill进行分布式外部内存后缀排序。
2018-08-02 cs.DC cs.DS
Scalable Distributed String Sorting
针对现有分布式字符串排序算法无法扩展到大规模并行机器的问题,提出延迟约为 $p^{1/k}$ 的高效算法,在多达 49152 个核心上实现高达 5 倍加速。
2024-04-25 cs.DS
A Bijective String Sorting Transform
给定一个字符串,Burrows-Wheeler变换重新排列其中的字符,以便产生另一个相同长度的字符串,该字符串更适合于压缩技术,例如移动到前面,行程长度编码和熵编码器。我们提出了一个变体的变换,它产生类似或更好的压缩值,但是,与原来的不同,我们提出的变换是双射的,因为逆变换存在于所有字符串。我们的实验表明,使用我们的变形的变换产生更好的压缩比比原来的Burrows-Wheeler变换。我们还表明,无论是变换和它的逆可以计算在线性时间和消耗线性存储。
2012-01-15 cs.DS
Communication-Efficient String Sorting
令人惊讶的是,在分布式内存并行机上对字符串进行排序的算法很少。我们开发了有效的算法,这个问题的基础上的多路合并原则。这些算法只检查确定排序顺序所需的字符。此外,还通过(粗略地)仅传送那些字符以及通过仅传送相同前缀的重复一次来减少通信量。在多达1280个核上的实验表明,这些算法通常比以前的算法快5倍以上。
2020-01-23 cs.DC cs.DS
Engineering Parallel String Sorting
我们讨论如何字符串排序算法可以在现代多核共享内存机器上并行化。作为最好的顺序字符串排序算法和原子对象的成功的并行排序算法的综合,我们首先提出了字符串样本排序。该算法有效地利用了存储层次结构,使用了额外的字级并行性,并在很大程度上避免了分支误预测。然后,我们专注于NUMA架构,并开发并行多路LCP合并和合并排序,以减少随机访问远程节点的内存访问的数量。此外,我们并行化多键快速排序和基数排序的变体,这些变体在某些情况下也很有用。五个当前的多核平台上的综合实验,然后报告和讨论。实验表明,我们的实现规模非常好的现实世界的输入和现代机器。
2014-03-09 cs.DC cs.DS
A Grammar Compression Algorithm based on Induced Suffix Sorting
我们介绍GCIS,这是一种基于Nong等人在2009年提出的归纳后缀排序算法SAIS的语法压缩算法。我们的解决方案建立在SAIS在后缀排序期间执行的因子分解的基础上。我们构造了一个上下文无关文法的输入字符串,它可以进一步减少到一个较短的字符串,通过取代每个子串由其相应的因子。由此产生的语法编码通过探索一些冗余,如后缀规则之间的共同前缀,这是根据SAIS框架排序。当比较知名的压缩工具,如重新配对和7-zip,我们的算法是有竞争力的,非常有效地处理重复字符串的压缩比,压缩和解压缩运行时间。
2017-11-08 cs.DS
LCP-Aware Parallel String Sorting
当对字符串进行字典排序时,并不总是需要检查所有符号。例如,“europar”在字符串“eureka”、“eurasia”和“excells”中的词典排名仅取决于其所谓的相关前缀“euro”。一组字符串的区别前缀大小$D$是建立所有字符串的字典序时实际需要检查的符号数。有效的字符串排序器应该是$D$感知的,即它们的复杂性应该取决于$D$而不是所有字符串中所有符号的总数$N$。虽然在顺序设置中有许多$D$感知的排序器,但在PRAM模型中似乎没有这样的结果。我们提出了一个框架,产生一个$D$感知修改任何现有的PRAM字符串排序。导出的算法相对于其原始算法是工作最优的:如果原始算法需要$O(w(N))$工作,则导出的算法需要$O(w(D))$工作。执行时间仅增加一个小的因子,该因子是最长相关前缀长度的对数。我们的框架普遍适用于PRAM模型的所有变体中的确定性和随机算法,因此未来($D$ -不知道)并行字符串排序的改进将直接导致$D$ -知道并行字符串排序的改进。
2020-06-03 cs.DC cs.DS
Parallel String Sample Sort
我们讨论如何字符串排序算法可以在现代多核共享内存机器上并行化。作为对原子对象的最佳顺序字符串排序算法和成功的并行排序算法的综合,我们提出了字符串样本排序。该算法有效地利用了存储层次结构,使用额外的字级并行,并在很大程度上避免了分支误预测。此外,我们并行化多键快速排序和基数排序的变体,这些变体在某些情况下也很有用。
2013-05-06 cs.DC cs.DS
Quantum Algorithms for the Most Frequently String Search, Intersection of Two String Sequences and Sorting of Strings Problems
我们研究的算法解决三个问题的字符串。第一个是最常见的字符串搜索问题。问题如下。假设我们有一个长度为$k$的$n$字符串序列。问题是找到在序列中出现最频繁的字符串。我们提出了一个量子算法,具有查询复杂度$\tilde{O}(n \sqrt{k})$。与需要$Ω(nk)$查询的确定性算法相比,该算法显示出速度的提高。第二个是搜索两个字符串序列的交集。所有字符串都具有相同的长度$k$。第一集合的大小是$n$,第二集合的大小是$m$。我们提出了一个量子算法,具有查询复杂度$\tilde{O}((n+m) \sqrt{k})$。与需要$Ω((n+m)k)$查询的确定性算法相比,该算法具有更高的速度。第三个问题是长度为$k$的$n$字符串的排序。一方面,众所周知,量子算法无法比经典算法更快地对对象进行渐进排序。另一方面,我们专注于对不是任意对象的字符串进行排序。我们提出了一个量子算法,具有查询复杂度$O(n (\log n)^2 \sqrt{k})$。与需要$Ω((n+d)k)$查询的确定性算法(基数排序)相比,该算法显示出速度的提高,其中$d$是字母表的大小。
2020-01-07 cs.DS quant-ph
Suffix sorting via matching statistics
本研究提出一种基于匹配统计的后缀排序新算法,通过构建匹配统计压缩表示加速后缀比较,在高度相似字符串集合上构建广义后缀数组的速度可媲美甚至超过现有最快方法,还提出了可独立应用的匹配统计快速计算启发式方法。
2022-07-03 cs.DS
Optimal In-Place Suffix Sorting
后缀数组是许多涉及字符串搜索和数据压缩的应用程序的基本数据结构。在过去的20年里,设计时间/空间有效的后缀阵列构造算法引起了人们的极大关注,并取得了相当大的进展。我们得到的\emph{first}在位后缀数组的建设算法,是最佳的时间和空间(只读)整数字母表。具体而言,本文做出了以下贡献:1.对于整数字母表,我们得到了第一个后缀排序算法,它需要线性时间,只使用$O(1)$工作空间(工作空间是输入字符串和输出后缀数组之外所需的总空间)。输入字符串可以在算法执行期间被修改,但是应该在算法终止时被恢复。2.我们通过为只读整数字母表提供第一个就地线性时间算法来加强第一个结果,该算法具有$|Σ|=O(n)$(即,不能修改输入字符串)。该算法解决了Franceschini和Muthukrishnan在ICALP 2007中提出的公开问题。开放性问题要求在$o(n\log n)$时间内设计就地算法,并最终在$O(n)$时间内使用$|Σ| \leq n$设计(只读)整数字母表。我们的结果实际上稍微强一些,因为我们允许$|Σ|=O(n)$。3.此外,对于只读通用字母表(即,只允许比较),我们提出了一个最优的原地$O(n\log n)$时间后缀排序算法,恢复了Manzini和Ferragina在ESA 2002中提出的一个公开问题Franceschini和Muthukrishnan的结果.
2018-11-09 cs.DS
Efficient Construction of Neighborhood Graphs by the Multiple Sorting Method
National Institute of Informatics(情报研究综合学院);Tokyo Institute of Technology(东京工业大学)
邻域图作为机器学习中一种简洁的数据表示方法越来越受欢迎。然而,通过成对距离计算的朴素图构造对于$n$数据点花费$O(n^2)$运行时间,并且这对于数百万个数据点是非常慢的。对于等长的字符串,多重排序方法(Uno,2008)可以在$O(n+m)$时间内构建$ε$ -邻居图,其中$m$是数据中$ε$ -邻居对的数量。为了将这种非常有效的算法引入到图像、信号和文本等连续域,我们采用了随机投影方法将向量转换为字符串。理论结果阐明近似质量和计算时间之间的权衡。实证结果表明,我们的方法相比,快速最近邻替代品的效率。
2009-04-21 cs.DS cs.LG
Space/time-efficient RDF stores based on circular suffix sorting
本文提出 RDFCSA,将 RDF 三元组视为循环字符串并借助压缩后缀数组进行自索引,以低空间开销高效支持三元组模式与 SPARQL 连接查询。
2022-04-13 cs.DS
Prefix Sorting DFAs: a Recursive Algorithm
本文受Farach后缀树构建算法启发,提出一种$O(n^2)$时间复杂度的递归算法,改进了DFA后缀数组的构建时间界,并深化了对图的字典序与组合结构的理解,助力图后缀树构建这一长期开放问题的研究。
2023-10-06 cs.DS
Faster Prefix-Sorting Algorithms for Deterministic Finite Automata
本文研究DFA的最小宽度偏反词典序计算,利用新组合性质提出任意DFA的$O(mn)$、$O(n^2\log n)$排序算法及无环DFA的$O(m\log n)$算法,并验证其实用性。
2023-04-21 cs.DS
String Comparison in $V$-Order: New Lexicographic Properties & On-line Applications
$V$ -order是与唯一最大因子分解族(UMFF)相关的字符串的全局顺序,UMFF本身是林登词的推广。$V$ -序最近被提出作为字典序的替代,用于后缀数组的计算和Burrows-Wheeler变换引起的后缀排序。高效的$V$ -字符串排序因此成为一个相当感兴趣的问题。在本文中,我们提出了关于$V$ -字符串中的顺序的新的且令人惊讶的结果,然后继续探索算法的后果。
2015-07-24 cs.DS
Regular Languages meet Prefix Sorting
通过前缀(或后缀)排序索引字符串可以说是过去几十年中开发的最成功的算法技术之一。索引可以扩展到语言吗?本文的主要贡献是对状态可前缀排序的自动机所接受的正则语言的子类进行了研究。从最近的Wheeler图的概念出发[Gagie等人,TCS 2017]-自然地将前缀排序的概念扩展到标记图-我们研究了Wheeler语言的属性,即正则语言允许接受Wheeler有限自动机。有趣的是,我们将这个家族描述为具有共字典序的正则语言的自然扩展:当排序时,属于Wheeler语言的字符串被划分为有限数量的共字典区间,每个区间由来自单个Myhill-Nerode等价类的元素形成。此外:(i)我们证明了每一个具有$n$态的Wheeler NFA(WDFA)都有一个等价的Wheeler DFA(WDFA),它至多具有$2n-1-|Σ|$态,并且能在$O(n^3)$时间内计算。这与一般的NFA形成鲜明对比。(ii)我们描述了一个二次算法的前缀排序一个适当的超集的WDFAs,一个$O(n\log n)$时间在线算法排序非循环WDFAs,和一个最佳的线性时间离线算法排序一般WDFAs。通过贡献(i),我们的算法也可以用于索引任何WNFA,其代价是自动机的大小加倍。(iii)我们提供了一个最小化定理,其特征在于最小的WDFA识别相同的语言的任何输入WDFA。相应的构造性算法在非循环情况下在最优线性时间内运行,而在一般情…
2019-07-09 cs.DS
Parallel External Sorting of ASCII Records Using Learned Models
本文提出ELSAR,一种基于学习数据分布模型的并行外部排序算法,通过等深分区避免多路合并,在SSD和Optane上排序速率分别提升1.65倍和5.31倍,能效提升41%。
2023-05-08 cs.DB cs.DS
On Instance-Optimal Algorithms for a Generalization of Nuts and Bolts and Generalized Sorting
本文推广螺母螺栓问题提出二分排序,采用基于邻域的实例最优定义,给出接近最优的随机算法,并进一步推广到DAG排序,推翻了带代价信息排序的一个潜在下界。
2024-07-15 cs.DS
Substring Complexities on Run-length Compressed Strings
令$S_{T}(k)$表示字符串$T$中长度为$k$的不同子串的集合,则第$k$个子串复杂度由其基数$|S_{T}(k)|$定义。最近,$δ= \max \{ |S_{T}(k)| / k : k \ge 1 \}$被证明是一个很好的压缩性措施的高度重复字符串。在本文中,给定长度为$n$的$T$,其长度为$r$的游程长度压缩形式,我们证明了$δ$可以在$\mathit{C}_{\mathsf{sort}}(r, n)$时间和$O(r)$空间中计算,其中$\mathit{C}_{\mathsf{sort}}(r, n) = O(\min (r \lg\lg r, r \lg_{r} n))$是在具有字大小$Ω(\lg n)$的Word-RAM模型中在$O(r)$空间中对$r$ $O(\lg n)$ -位整数进行排序的时间复杂度。
2022-05-25 cs.DS
Sorting Finite Automata via Partition Refinement
本文针对有限自动机排序问题,通过扩展经典关系最粗划分精化算法,提出了$O(m\log n)$时间复杂度的WNFA共字典全预序与DFA最小宽度共字典偏序计算方法,效率显著优于现有算法且实用表现优异。
2023-12-18 cs.DS
Optimal Substring-Equality Queries with Applications to Sparse Text Indexing
我们考虑的问题编码的字符串长度$n$从一个整数字母表的大小$σ$,以便访问和子串的平等查询(即,确定任何两个子串的平等)可以有效地回答。任何支持访问的可解码编码都必须采用$n\logσ+ Θ(\log (n\logσ))$位。我们描述了一个新的数据结构匹配这个下限时,$σ\leq n^{O(1)}$,同时支持查询的最佳$O(1)$的时间。此外,我们表明,该字符串可以被覆盖在这个结构的地方。$Θ(\log n)$位的冗余和恒定的查询时间以指数方式打破了已知在只读模型中保持的下限。使用我们的新字符串表示,我们获得了第一个到位次二次(事实上,在某些情况下,甚至次线性)算法的几个字符串处理问题的恢复模型:输入字符串是重复的,必须在计算终止前恢复。特别是,我们描述了第一次到位次二次蒙特卡罗解决方案的稀疏后缀排序,稀疏LCP阵列建设,后缀选择问题。唯一例外的后缀选择,我们的算法也是第一次运行在次线性时间足够小的输入后缀集。结合这些解决方案,我们得到了第一个次线性时间的Monte Carlo算法在紧空间中建立稀疏后缀树。我们还展示了如何使用小空间去随机化我们的算法。这导致了第一个Las Vegas就地算法在$O(n\log n)$时间内计算完整的LCP阵列,并导致了第一个Las Vegas就地算法在$O(n^{1.5}\sqrt{\log σ})$时间内解决稀疏后缀排序和稀疏LCP阵列构造问题。…
2020-05-11 cs.DS
Designing a parallel suffix sort
后缀排序在包括基因组学在内的各种计算算法中以及在频繁使用的日常软件应用中起着关键作用。对于给定的基数,当字符串中有很多重复字符时,排序算法就变得棘手了。在该领域中有各种创新的实现方式,曼伯·迈尔斯。我们在这里提出了一个分析,使用广义多项式分解的概念来排序这些后缀。这些子串特定多项式的初始生成可以使用并行线程和共享存储器高效地完成。不同因子的集合和它们的顺序是事先已知的,这有助于我们相应地对多项式(相当于字符串)进行排序。
2022-10-04 cs.DS
String Problems in the Congested Clique Model
针对拥塞团模型,本文提出三个基础字符串问题的高效算法:O(1)轮解决任意长度字符串排序与组合模式匹配,O(log log n)轮计算后缀数组及最长公共前缀数组。
2025-04-11 cs.DC cs.DS
Sparse Suffix and LCP Array: Simple, Direct, Small, and Fast
本文提出两种构造稀疏后缀数组与LCP数组的新算法,兼具简单、直接、紧凑和快速特性,最坏时间O(n log b),空间仅8b+o(b)机器字,并通过实验验证其简单性与高效性。
2024-07-04 cs.DS
Efficient Construction of the BWT for Repetitive Text Using String Compression
本文提出一种基于诱导后缀排序与游程/语法压缩的半外部算法,以期望线性时间构建BCR BWT,在重复性大规模基因组数据上显著降低内存并提升速度。
2023-08-14 cs.DS
The number of bit comparisons used by Quicksort: an average-case analysis
用于搜索和排序的许多算法和数据结构(例如数字搜索树)的分析都基于所涉及的键作为位串的表示,因此计算位比较的数量。另一方面,许多其他算法(如快速排序)的标准分析是根据键比较的数量来执行的。我们介绍了一个公平的比较两种类型的算法之间的前景,通过提供一个平均的情况下分析所需的位比较的快速排序。计数位比较而不是键比较将额外的对数因子引入渐近平均总数。我们还提供了一个新的算法,“BitsQuick”,通过消除不必要的位比较,减少了这个因素的恒定顺序。
2012-02-13 cs.DS math.PR
Convergence of the QuickVal Residual
The Johns Hopkins University(约翰斯·霍普金斯大学);Systems & Technology Research LLC(系统与技术研究有限责任公司)
研究QuickVal算法残差的收敛性,证明其在一般成本函数下收敛于中心化高斯混合分布。
2025-05-28 cs.DS math.PR