GraCT: A Grammar based Compressed representation of Trajectories
我们提出了一个压缩的数据结构存储自由的移动对象(船舶在海上,例如)的轨迹,允许时空查询。我们的方法,GraCT,使用一个$k^2$树存储的绝对位置的所有对象在定期的时间间隔(快照),而快照之间的位置表示为日志的相对运动压缩与重新配对。我们的实验评估表明,相对于公平的基线,在空间和时间上节省了大量时间。
2016-12-10 cs.DS
Grammar Compressed Sequences with Rank/Select Support
序列表示不仅支持对其符号的直接存取,而且支持秩/选择操作,是许多压缩数据结构中的基本构建块。最近的几个应用程序需要表示高度重复的序列,经典的统计压缩证明是无效的。相反,我们介绍了基于语法的表示重复序列,使用统计压缩表示所需的空间的6%,并支持直接存取和排名/选择操作在几十微秒内。我们展示了我们的结构在文本索引应用程序的影响。
2019-11-21 cs.DS
Sampled Longest Common Prefix Array
当增加最长公共前缀数组和其他结构时,后缀数组可以在最优的时间和空间上解决许多字符串处理问题。LCP数组的压缩表示也是许多压缩后缀树提案中的主要构建块之一。在本文中,我们描述了一种新的压缩LCP表示:采样LCP阵列。我们表明,当使用压缩后缀阵列(CSA),采样LCP阵列往往提供更好的时间/空间的权衡比现有的替代品。我们还展示了如何直接从CSA构建LCP阵列的压缩表示。
2010-06-29 cs.DS
Pattern Matching on Grammar-Compressed Strings in Linear Time
文本处理算法中考虑的最基本问题是模式匹配:给定长度为$m$的模式$p$和长度为$n$的文本$t$,$p$是否出现在$t$中?这个基本问题的多个版本已经被考虑过了,现在我们知道在实践和理论上都很快的算法。然而,生成和存储的数据量的快速增长带来了设计直接对数据的压缩表示进行操作的算法的需求。在压缩模式匹配问题中,我们给出文本的压缩表示,其中$n$是压缩表示的长度,$N$是文本的长度,以及长度为$m$的未压缩模式。最具挑战性的(但在处理高度重复的数据时也是相关的,比如生物信息)场景是当所选择的压缩方法能够描述指数长度的字符串时(在其表示的大小上)。这种压缩方法的一种优雅的形式是直线程序,它只是描述一个字符串的上下文无关文法。虽然已经知道对于这种压缩方法,压缩的模式匹配问题可以在$O(m+n\log N)$时间内解决,但是设计线性时间算法仍然是开放的。我们解决这个悬而未决的问题,提出了一个$O(n+m)$时间算法,给定一个上下文无关文法大小$n$,产生一个单一的字符串$t$和模式$p$的长度$m$,决定是否$p$出现在$t$作为一个子串。为此,我们设计改进的解决方案的加权祖先问题和子串连接问题。
2021-11-09 cs.DS
Using Compressed Suffix-Arrays for a Compact Representation of Temporal-Graphs
时态图表示随时间变化的二元关系。它们可以模拟例如社交和通信网络的动态。时间图被定义为接触的集合,这些接触是当它们处于活动状态时用时间间隔标记的边。本文探讨了压缩后缀数组(CSA),一个众所周知的紧凑和自索引的数据结构在文本索引领域,来表示大的时间图的使用。新的结构,称为时间图CSA(TGCSA),实验比较最有竞争力的紧凑数据结构在国家的最先进的,即EDGSTUGG和CET。实验结果表明,TGCSA获得了良好的时空折衷。它使用了合理的空间,并有效地解决复杂的时态查询。此外,TGCSA具有更广泛的表达能力,比EDGSTUG和CET,因为它是能够表示时间图,其中接触的边缘可以暂时重叠。
2018-12-28 cs.DS
Faster Compressed Quadtrees
真实世界的点集往往是聚集的,因此对每个点使用机器字是浪费的。在本文中,我们首先展示了如何使用$\Oh{1}$位每个节点的四叉树的紧凑表示可以打破这一限制的聚类点集,同时提供有效的范围搜索。然后,我们描述了一个新的紧凑的四叉树表示重路径分解的基础上,它支持查询速度比以前的紧凑结构。我们目前的实验证据表明,我们的结构在实践中是有竞争力的。
2021-12-08 cs.DS
Compressed Data Structures for Binary Relations in Practice
二元关系在计算机科学中通常用于数据建模。除了使用矩阵或列表的经典表示之外,最近已经提出了一些压缩数据结构来表示紧凑空间中的二元关系,例如$k^2$树和二元关系小波树(BRWT)。了解他们的存储需求、支持的操作和时间性能是在给定域或应用程序、其数据分布和对数据计算的典型操作的情况下选择适当的数据表示的关键。在这项工作中,我们提出了一个经验比较几个压缩表示的二元关系。我们使用不同的(合成的和真实的)数据分布来分析它们的空间使用情况和操作速度。我们包括邻域和集合运算,还提出了BRWT的集合运算算法,这是以前文献中没有提出的。我们的结论是,没有一个明确的选择,优于其余的,但我们给出了一些建议,使用每个紧凑的表示取决于数据分布和类型的操作执行的数据。我们还包括一个可扩展性研究的数据表示。
2020-02-20 cs.DS
Compressed Representation of Dynamic Binary Relations with Applications
我们介绍了一个动态的数据结构的二进制关系的紧凑表示$\mathcal{R} \subseteq A \times B$。数据结构是k $^2$树的动态变体,k树是一种静态紧凑表示,它利用二元关系中的聚类来实现压缩。我们的结构可以有效地检查两个对象$(a,b) \in A \times B$是否相关,并列出与某些$a \in A$相关的$B$对象,反之亦然。此外,我们的结构允许在关系中插入和删除对$(a,b)$,以及修改基集$A$和$B$。我们测试我们的动态数据结构在不同的上下文中,包括Web图形和RDF数据库的表示。我们的实验表明,我们的动态数据结构实现了良好的压缩比和快速的查询时间,接近那些静态表示,同时也提供了有效的支持,在所表示的二进制关系的更新。
2017-07-10 cs.DS
Improved Grammar-Based Compressed Indexes
我们介绍了第一个语法压缩表示的序列,支持搜索的时间,只依赖于语法的大小。给定由$n$(终结符和非终结符)符号的(上下文无关)语法和大小$N$(以规则的右手长度之和测量)表示的文本$T[1..u]$,$T$的基于语法的基本表示占用$N\lg n$位空间。对于任何$0<ε\le 1$,我们的表示都需要$2N\lg n + N\lg u + ε\, n\lg n + o(N\lg n)$位空间。它可以在$O((m^2/ε)\lg (\frac{\lg u}{\lg n}) +occ\lg n)$时间中找到长度为$m$的模式在$T$中的$occ$出现的位置,并在时间$O(\ell+h\lg(N/h))$中提取$T$的任何长度为$\ell$的子串,其中$h$是语法树的高度。
2011-10-20 cs.DS
Faster Dynamic Compressed d-ary Relations
$k^2$树是一种成功的二元关系的紧凑表示,表现出稀疏性和/或聚类属性。它可以扩展到$d$维,在这里它被称为$k^d$树。表示归结为一个长位向量。我们表明,解释的$k^d$树作为一个动态特里的莫顿代码的点,而不是作为一个动态表示的位向量在以前的工作中所做的,产生的操作时间是低于动态位向量的下限,并在实践中提供了改进的时间性能。
2019-11-20 cs.DS
A Compressed-Gap Data-Aware Measure
在本文中,我们考虑的问题,有效地表示一个集$S$的$n$项目出的一个宇宙$U=\{0,...,u-1\}$,同时支持对它的一些操作。让$G=g_1...g_n$的间隙流与$S$,$gap$的比特大小时,与\emph{gap-encoding}编码,和$H_0(G)$的经验零阶熵。我们证明了(1)当$G$是高度可压缩的时,$nH_0(G)\in o(gap)$是可压缩的;(2)当$nH_0(G) \leq n\log(u/n) + n \leq uH_0(S)$是高度可压缩的时,$nH_0(G) \leq n\log(u/n) + n \leq uH_0(S)$是可压缩的。令$d$为$S$中元素之间的\emph{distinct}间隙长度的数目。我们首先提出了一种新的空间有效的零阶压缩表示的$S$采取$n(H_0(G)+1)+\mathcal O(d\log u)$位的空间。然后,我们描述了一个完全可索引的字典,支持\emph{rank}和\emph{select}查询在$\mathcal O(\log(u/n)+\log\log u)$的时间,同时需要渐近相同的空间,所提出的压缩表示的$S$。
2015-05-14 cs.DS
A Grammar-based Compressed Representation of 3D Trajectories
已经发表了许多关于地面或海上轨迹管理的研究,但飞行轨迹的压缩或索引通常较少探索。然而,空中交通管理是一个挑战,因为空域变得越来越拥挤,并且必须保存大量飞行数据汇集并将其用于各种目的。本文提出了3DGraCT,一种新的方法来表示这些飞行轨迹。它扩展了GraCT紧凑数据结构,以处理第三维(海拔),同时保留其空间/时间复杂度。3DGraCT将传统时空数据结构的空间需求提高了两个数量级,在所考虑的查询类型中具有竞争力,甚至在特定查询的比较中领先。
2018-12-28 cs.DS
Random Access to Grammar Compressed Strings
基于语法的压缩是一种简单而强大的范例,它可以捕获许多流行的压缩方案,其中一个人用生成字符串的小型上下文无关语法替换长字符串。在本文中,我们提出了一种新的语法表示,允许有效的随机访问任何字符或子串,而不解压字符串。令$S$为长度为$N$的字符串,该字符串被压缩为大小为$n$的上下文无关语法$\mathcal{S}$。我们提出了两种表示的$\mathcal{S}$实现$O(\log N)$随机访问时间,或$O(n\cdot α_k(n))$建设时间和空间上的指针机器模型,或$O(n)$建设时间和空间上的RAM。这里,$α_k(n)$是阿克曼函数的$k^{th}$行的逆。我们的表示也有效地支持解压缩的任何子串在$S$:我们可以在相同的复杂性作为一个单一的随机访问查询和额外的$O(m)$时间的长度$m$的任何子串。结合这些结果与快速算法的未压缩近似字符串匹配导致几个有效的算法近似字符串匹配的语法压缩字符串不解压。例如,我们可以找到模式$P$在时间$O(n(\min\{|P|k, k^4 + |P|\} + \log N) + occ)$上的所有近似出现,其中$occ$是$P$在$S$中出现的次数。最后,我们将我们的结果推广到导航和语法压缩有序树的其他操作。所有上述界限显着改善目前最知名的结果。为了实现这些界限,我们引入了几个新的技术和数据结构的独立利益,包括前身的数据结构,两个“有偏见的”…
2013-10-29 cs.DS
Pattern matching in Lempel-Ziv compressed strings: fast, simple, and deterministic
Lempel-Ziv压缩的无数变体广泛用于许多实际应用中。这篇论文关注的是经典的模式匹配问题的一个自然的修改,这是受到这种压缩方法的流行的启发:给定一个未压缩的模式s [1]。m]和字符串t [1.. n],s在t中发生吗?Farach和Thorup给出了这个问题的随机化O(nlog^2(N/n)+m)时间解,其中n是t的压缩表示的大小。我们改进了他们的结果,开发了一个更快的和完全确定的O(nlog(N/n)+m)时间算法具有相同的空间复杂度。请注意,对于高度可压缩的文本,log(N/n)可能是n阶,因此对于此类输入,改进非常显著。我们的方法的一个(微小的)片段可以用来给出Farach和Muthukrishnan考虑的子串哈希问题的渐近最优解。
2011-04-21 cs.DS
Zuckerli: A New Compressed Representation for Graphs
Zuckerli是一个可扩展的压缩系统,适用于大型真实世界的图形。众所周知,图是一种具有挑战性的结构,由于它们的链接性质,很难将它们分成更小,更紧凑的组件。因此,在处理可能具有数十亿个节点和边的大型图时,有效的压缩至关重要。此外,一个好的压缩系统应该给用户快速和合理灵活的访问压缩数据的部分,而不需要完全解压缩,这可能是不可行的,在他们的系统。Zuckerli通过使用先进的压缩技术和新颖的启发式图算法,改进了WebGraph的多个方面,WebGraph是当前压缩真实世界图的最先进技术。它可以产生一个压缩表示存储和一个允许快速直接存取的压缩图的邻接表,而不解压整个图。我们验证了Zuckerli在具有多达10亿个节点和900亿条边的真实世界图形上的有效性,对压缩密度和解压缩性能进行了广泛的实验评估。我们发现,Zuckerli压缩的图小10%至29%,在大多数情况下,超过20%,用于解压缩的资源使用量与WebGraph相当。
2020-09-02 cs.DS cs.IT math.IT
Tree-based Arithmetic and Compressed Representations of Giant Numbers
我们能用一种完全不同的方式,用一种完全不同的数据结构来做算术吗?这种方法是否可以提供实际的好处,比如对巨大数字的操作,同时具有与传统位串表示相似的平均性能?在积极回答这些问题的同时,本文中描述的基于树的表示具有一些额外的好处:它压缩了巨大的数字,例如,最大的已知素数及其相关的完全数被表示为小尺寸的树。这同样适用于费马数和重要的计算,如2的幂运算成为常数时间运算。与此同时,稀疏集、多集和序列的简洁表示通过对我们的树表示的自然数的双射成为可能。
2013-01-01 cs.DM cs.DS cs.MS
Text line Segmentation in Compressed Representation of Handwritten Document using Tunneling Algorithm
University of Mysore(迈索尔大学)
在这项研究工作中,我们执行文本行分割直接在压缩表示的无约束手写文档图像。在这种关系中,我们使用的文本行终端点,这是目前的国家的最先进的。每一个文本行的文档图像的边缘(左,右)的终端点被认为是源和目标分别。隧道算法使用单个代理(或机器人)来识别压缩表示中的坐标位置,以执行文档的文本行分割。代理从源点开始,逐步在两个相邻文本行之间挖掘路径路由,并到达可能的目标。代理从源到目标的导航路径绕过障碍物,如果有的话,导致分离两个相邻的文本行。然而,只有当代理到达目的地时才知道目标点;这适用于所有源点,从此我们可以分析源节点和目标节点之间的对应关系。利用专家系统中的人工智能,在隧道挖掘过程中,对每个搜索空间采用动态规划和贪婪策略。在包括ICDAR 13在内的各种基准数据集上进行了详尽的实验,并报告了性能。
2019-01-03 cs.AI cs.CV cs.DS
Evaluating Regular Path Queries on Compressed Adjacency Matrices
本文提出基于稀疏矩阵和$k^2$-trees的布尔代数方法处理图数据库中的正则路径查询,在保持查询效率的同时显著压缩存储空间,并在空间/时间权衡上表现优异。
2024-04-23 cs.DB cs.DS
Estimating Entropy of Data Streams Using Compressed Counting
Shannon熵是一种广泛应用的概括统计量,例如,网络流量测量,异常检测,神经计算,尖峰序列等。已知Shannon熵可以用Reenyi熵或Tsallis熵来近似,它们都是p阶频率矩的函数,并且当p>1时接近Shannon熵。压缩计数是一种新的数据流p阶频率矩的近似计算方法。我们的贡献包括:1)证明了Renyi熵比Tsallis熵更好地逼近Shannon熵。2)我们提出了CC的最佳分位数估计,这大大改善了以前的估计。3)我们的实验表明,CC确实是非常有效的近似的时刻和熵。我们还证明了利用方差偏差权衡的至关重要性。
2009-10-08 cs.DB cs.DS
New Compressed Indices for Multijoins on Graph Databases
本文提出新型紧凑索引和查询解析策略,在保持最坏情况最优时间的同时大幅减少图数据库多连接查询的时空开销,将平均查询时间最高提升13倍。
2024-08-01 cs.DB cs.DS
Solving Classical String Problems on Compressed Texts
在这里,我们研究字符串问题的复杂性作为一个程序的大小,产生输入的函数。我们考虑直线程序(SLP),因为所有的算法SLP生成的字符串可以应用于处理LZ压缩文本。主要结果是一个新的算法的模式匹配时,一个文本T和一个模式P的SLP(所谓的完全压缩模式匹配问题)。我们展示了如何找到第一次出现,计数所有出现,检查任何给定的位置是否在时间O(n^2m)内出现。这里m,n是生成相应P和T的直线程序的大小。然后,我们提出了多项式算法计算指纹表和压缩表示的所有覆盖(第一次),并找到一个给定的压缩字符串的周期(我们的算法比以前已知的更快)。另一方面,我们证明了计算两个SLP生成的字符串之间的汉明距离是NP-和coNP-困难的。
2006-04-13 cs.CC cs.DS
CARAMEL: A Succinct Read-Only Lookup Table via Compressed Static Functions
Google DeepMind(谷歌DeepMind);Distill;MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Amazon(亚马逊);Rice University(莱斯大学)
CARAMEL通过结合多个压缩静态函数,实现紧凑只读查找表,适用于多集合值的数据,提供低空间占用和高效查找。
2026-03-27 cs.DB cs.DS cs.IR