A representation of a compressed de Bruijn graph for pan-genome analysis that enables search
最近,Marcus等人(Bioinformatics 2014)提出使用压缩的de Bruijn图来描述相同或密切相关物种的许多个体/菌株的基因组之间的关系。他们设计了一种称为splitMEM的$O(n \log g)$时间算法,该算法直接构建该图(即,不使用未压缩的de Bruijn图),其中$n$是基因组的总长度,而$g$是最长基因组的长度。在本文中,我们提出了一种构造算法,在理论和实践中优于他们的算法。此外,我们提出了一种新的压缩de Bruijn图的空间有效表示,它增加了在泛基因组内搜索模式(例如等位基因-基因的变体形式)的可能性。
2016-02-10 cs.DS
Compressed representation of Learning Spaces
学习空间是应用于教育数学建模的集合系统。我们提出了一个适当的压缩(不损失信息),这样的集合系统,以方便他们的逻辑和统计分析。在某些情况下,压缩是首先计算学习空间的先决条件。有连接到形式概念分析的双重框架,特别是所谓的属性探索。
2016-12-02 cs.DS
GraCT: A Grammar based Compressed representation of Trajectories
我们提出了一个压缩的数据结构存储自由的移动对象(船舶在海上,例如)的轨迹,允许时空查询。我们的方法,GraCT,使用一个$k^2$树存储的绝对位置的所有对象在定期的时间间隔(快照),而快照之间的位置表示为日志的相对运动压缩与重新配对。我们的实验评估表明,相对于公平的基线,在空间和时间上节省了大量时间。
2016-12-10 cs.DS
Towards Better Compressed Representations
我们介绍了计算解析的问题,其中每个短语的长度最多为$m$,并且最小化解析的零阶熵。基于最近的理论结果,我们设计了一个启发式的这个问题。该解决方案在简洁的文本表示中具有直接的应用,并给出了实际的改进。此外,所提出的启发式产生的结构,其大小可以由$|S|H_{m-1}(S)$和由$|S|/m(H_0(S) + \cdots + H_{m-1})$,其中$H_{k}(S)$是$S$的$k$阶经验熵界定。我们还考虑了一个类似的问题,其中一阶熵最小化。
2019-11-15 cs.DS
Grammar Compressed Sequences with Rank/Select Support
序列表示不仅支持对其符号的直接存取,而且支持秩/选择操作,是许多压缩数据结构中的基本构建块。最近的几个应用程序需要表示高度重复的序列,经典的统计压缩证明是无效的。相反,我们介绍了基于语法的表示重复序列,使用统计压缩表示所需的空间的6%,并支持直接存取和排名/选择操作在几十微秒内。我们展示了我们的结构在文本索引应用程序的影响。
2019-11-21 cs.DS
Sampled Longest Common Prefix Array
当增加最长公共前缀数组和其他结构时,后缀数组可以在最优的时间和空间上解决许多字符串处理问题。LCP数组的压缩表示也是许多压缩后缀树提案中的主要构建块之一。在本文中,我们描述了一种新的压缩LCP表示:采样LCP阵列。我们表明,当使用压缩后缀阵列(CSA),采样LCP阵列往往提供更好的时间/空间的权衡比现有的替代品。我们还展示了如何直接从CSA构建LCP阵列的压缩表示。
2010-06-29 cs.DS
Pattern Matching on Grammar-Compressed Strings in Linear Time
文本处理算法中考虑的最基本问题是模式匹配:给定长度为$m$的模式$p$和长度为$n$的文本$t$,$p$是否出现在$t$中?这个基本问题的多个版本已经被考虑过了,现在我们知道在实践和理论上都很快的算法。然而,生成和存储的数据量的快速增长带来了设计直接对数据的压缩表示进行操作的算法的需求。在压缩模式匹配问题中,我们给出文本的压缩表示,其中$n$是压缩表示的长度,$N$是文本的长度,以及长度为$m$的未压缩模式。最具挑战性的(但在处理高度重复的数据时也是相关的,比如生物信息)场景是当所选择的压缩方法能够描述指数长度的字符串时(在其表示的大小上)。这种压缩方法的一种优雅的形式是直线程序,它只是描述一个字符串的上下文无关文法。虽然已经知道对于这种压缩方法,压缩的模式匹配问题可以在$O(m+n\log N)$时间内解决,但是设计线性时间算法仍然是开放的。我们解决这个悬而未决的问题,提出了一个$O(n+m)$时间算法,给定一个上下文无关文法大小$n$,产生一个单一的字符串$t$和模式$p$的长度$m$,决定是否$p$出现在$t$作为一个子串。为此,我们设计改进的解决方案的加权祖先问题和子串连接问题。
2021-11-09 cs.DS
Efficient Compressed Wavelet Trees over Large Alphabets
{ \em小波树}是一种灵活的数据结构,它允许在压缩空间内表示大小为$σ$的字母表上的符号序列$S[1,n]$,并支持对$S$的各种操作。当与$n$相比,$σ$是显著的时,当前小波树表示引起显著的空间或时间开销。在这篇文章中,我们介绍了{ \em小波矩阵},这是一种大型字母表的替代表示,它保留了小波树的所有属性,但速度明显更快。我们还展示了如何小波矩阵可以被压缩到零阶熵的序列,而不牺牲,实际上提高,它的时间性能。我们的实验结果表明,小波矩阵优于所有的小波树变种沿空间/时间的折衷地图。
2014-05-06 cs.DS
Using Compressed Suffix-Arrays for a Compact Representation of Temporal-Graphs
时态图表示随时间变化的二元关系。它们可以模拟例如社交和通信网络的动态。时间图被定义为接触的集合,这些接触是当它们处于活动状态时用时间间隔标记的边。本文探讨了压缩后缀数组(CSA),一个众所周知的紧凑和自索引的数据结构在文本索引领域,来表示大的时间图的使用。新的结构,称为时间图CSA(TGCSA),实验比较最有竞争力的紧凑数据结构在国家的最先进的,即EDGSTUGG和CET。实验结果表明,TGCSA获得了良好的时空折衷。它使用了合理的空间,并有效地解决复杂的时态查询。此外,TGCSA具有更广泛的表达能力,比EDGSTUG和CET,因为它是能够表示时间图,其中接触的边缘可以暂时重叠。
2018-12-28 cs.DS
Faster Compressed Quadtrees
真实世界的点集往往是聚集的,因此对每个点使用机器字是浪费的。在本文中,我们首先展示了如何使用$\Oh{1}$位每个节点的四叉树的紧凑表示可以打破这一限制的聚类点集,同时提供有效的范围搜索。然后,我们描述了一个新的紧凑的四叉树表示重路径分解的基础上,它支持查询速度比以前的紧凑结构。我们目前的实验证据表明,我们的结构在实践中是有竞争力的。
2021-12-08 cs.DS
Compressed Data Structures for Binary Relations in Practice
二元关系在计算机科学中通常用于数据建模。除了使用矩阵或列表的经典表示之外,最近已经提出了一些压缩数据结构来表示紧凑空间中的二元关系,例如$k^2$树和二元关系小波树(BRWT)。了解他们的存储需求、支持的操作和时间性能是在给定域或应用程序、其数据分布和对数据计算的典型操作的情况下选择适当的数据表示的关键。在这项工作中,我们提出了一个经验比较几个压缩表示的二元关系。我们使用不同的(合成的和真实的)数据分布来分析它们的空间使用情况和操作速度。我们包括邻域和集合运算,还提出了BRWT的集合运算算法,这是以前文献中没有提出的。我们的结论是,没有一个明确的选择,优于其余的,但我们给出了一些建议,使用每个紧凑的表示取决于数据分布和类型的操作执行的数据。我们还包括一个可扩展性研究的数据表示。
2020-02-20 cs.DS
Compressed Representation of Dynamic Binary Relations with Applications
我们介绍了一个动态的数据结构的二进制关系的紧凑表示$\mathcal{R} \subseteq A \times B$。数据结构是k $^2$树的动态变体,k树是一种静态紧凑表示,它利用二元关系中的聚类来实现压缩。我们的结构可以有效地检查两个对象$(a,b) \in A \times B$是否相关,并列出与某些$a \in A$相关的$B$对象,反之亦然。此外,我们的结构允许在关系中插入和删除对$(a,b)$,以及修改基集$A$和$B$。我们测试我们的动态数据结构在不同的上下文中,包括Web图形和RDF数据库的表示。我们的实验表明,我们的动态数据结构实现了良好的压缩比和快速的查询时间,接近那些静态表示,同时也提供了有效的支持,在所表示的二进制关系的更新。
2017-07-10 cs.DS
Improved Grammar-Based Compressed Indexes
我们介绍了第一个语法压缩表示的序列,支持搜索的时间,只依赖于语法的大小。给定由$n$(终结符和非终结符)符号的(上下文无关)语法和大小$N$(以规则的右手长度之和测量)表示的文本$T[1..u]$,$T$的基于语法的基本表示占用$N\lg n$位空间。对于任何$0<ε\le 1$,我们的表示都需要$2N\lg n + N\lg u + ε\, n\lg n + o(N\lg n)$位空间。它可以在$O((m^2/ε)\lg (\frac{\lg u}{\lg n}) +occ\lg n)$时间中找到长度为$m$的模式在$T$中的$occ$出现的位置,并在时间$O(\ell+h\lg(N/h))$中提取$T$的任何长度为$\ell$的子串,其中$h$是语法树的高度。
2011-10-20 cs.DS
Faster Dynamic Compressed d-ary Relations
$k^2$树是一种成功的二元关系的紧凑表示,表现出稀疏性和/或聚类属性。它可以扩展到$d$维,在这里它被称为$k^d$树。表示归结为一个长位向量。我们表明,解释的$k^d$树作为一个动态特里的莫顿代码的点,而不是作为一个动态表示的位向量在以前的工作中所做的,产生的操作时间是低于动态位向量的下限,并在实践中提供了改进的时间性能。
2019-11-20 cs.DS
Zuckerli: A New Compressed Representation for Graphs
Zuckerli是一个可扩展的压缩系统,适用于大型真实世界的图形。众所周知,图是一种具有挑战性的结构,由于它们的链接性质,很难将它们分成更小,更紧凑的组件。因此,在处理可能具有数十亿个节点和边的大型图时,有效的压缩至关重要。此外,一个好的压缩系统应该给用户快速和合理灵活的访问压缩数据的部分,而不需要完全解压缩,这可能是不可行的,在他们的系统。Zuckerli通过使用先进的压缩技术和新颖的启发式图算法,改进了WebGraph的多个方面,WebGraph是当前压缩真实世界图的最先进技术。它可以产生一个压缩表示存储和一个允许快速直接存取的压缩图的邻接表,而不解压整个图。我们验证了Zuckerli在具有多达10亿个节点和900亿条边的真实世界图形上的有效性,对压缩密度和解压缩性能进行了广泛的实验评估。我们发现,Zuckerli压缩的图小10%至29%,在大多数情况下,超过20%,用于解压缩的资源使用量与WebGraph相当。
2020-09-02 cs.DS cs.IT math.IT
Extending partial representations of function graphs and permutation graphs
函数图是由区间[0,1]上的连续实值函数的交集表示的图,并且被认为是可比较图的补图。因此,它们在多项式时间内是可识别的。函数图推广了置换图,当所有考虑的函数都是线性时,就会出现置换图。我们专注于扩展部分表示的问题,它概括了识别问题。我们观察到,对于置换图,可以利用Golumbic的可比性图识别算法的简单扩展。这种方法对于函数图是失败的。然而,我们提出了一个多项式时间算法,用于扩展部分表示的图的函数定义在整个区间[0,1]上提供的一些顶点。另一方面,我们表明,如果部分表示由定义在子区间[0,1]上的函数组成,则将该表示扩展到整个区间[0,1]上的函数的问题成为NP-完全的。
2012-04-28 cs.DM cs.DS math.CO
A Simple Optimal Binary Representation of Mosaic Floorplans and Baxter Permutations
“平面布置图”是通过水平和垂直线段细分成更小矩形部分的矩形。平面布置图中的每个部分被称为“块”。当且仅当两个布图规划中的块之间存在一一对应关系使得一个布图规划中的块的相对位置关系与另一布图规划中的对应块的相对位置关系相同时,两个布图规划被认为是等效的。“马赛克平面布置图”的对象与平面布置图相同,但使用了等效的替代定义。当且仅当两个马赛克平面布置图可以通过滑动划分块的线段来相互转换时,才认为它们是等效的。镶嵌布图在VLSI电路设计中有着广泛的应用。在这方面的一个重要问题是找到短的二进制字符串表示的n块马赛克平面图的集合。最著名的表示是使用4 n位的“四分之一状态序列”。本文介绍了一种简单的二进制表示的n块马赛克布图规划使用3 n-3位。已经表明,n块镶嵌布图规划的任何二进制表示必须使用至少(3 n-o(n))位。因此,本文提出的表示是最佳的(添加剂低阶项)。“Baxter排列”是由禁止的顺序定义的一组排列。Baxter排列已经被证明与所谓的“Baxter组合家族”中的许多有趣的对象具有一一对应。特别是,马赛克平面图和Baxter排列之间存在简单的一一对应关系。其结果是,本文介绍的方法也导致最佳的二进制表示的巴克斯特置换和所有对象的巴克斯特组合家庭。
2011-11-22 cs.DM cs.DS math.CO
Tree-based Arithmetic and Compressed Representations of Giant Numbers
我们能用一种完全不同的方式,用一种完全不同的数据结构来做算术吗?这种方法是否可以提供实际的好处,比如对巨大数字的操作,同时具有与传统位串表示相似的平均性能?在积极回答这些问题的同时,本文中描述的基于树的表示具有一些额外的好处:它压缩了巨大的数字,例如,最大的已知素数及其相关的完全数被表示为小尺寸的树。这同样适用于费马数和重要的计算,如2的幂运算成为常数时间运算。与此同时,稀疏集、多集和序列的简洁表示通过对我们的树表示的自然数的双射成为可能。
2013-01-01 cs.DM cs.DS cs.MS
Text line Segmentation in Compressed Representation of Handwritten Document using Tunneling Algorithm
University of Mysore(迈索尔大学)
在这项研究工作中,我们执行文本行分割直接在压缩表示的无约束手写文档图像。在这种关系中,我们使用的文本行终端点,这是目前的国家的最先进的。每一个文本行的文档图像的边缘(左,右)的终端点被认为是源和目标分别。隧道算法使用单个代理(或机器人)来识别压缩表示中的坐标位置,以执行文档的文本行分割。代理从源点开始,逐步在两个相邻文本行之间挖掘路径路由,并到达可能的目标。代理从源到目标的导航路径绕过障碍物,如果有的话,导致分离两个相邻的文本行。然而,只有当代理到达目的地时才知道目标点;这适用于所有源点,从此我们可以分析源节点和目标节点之间的对应关系。利用专家系统中的人工智能,在隧道挖掘过程中,对每个搜索空间采用动态规划和贪婪策略。在包括ICDAR 13在内的各种基准数据集上进行了详尽的实验,并报告了性能。
2019-01-03 cs.AI cs.CV cs.DS