Relative compression of trajectories
我们提出了RCT,一种新的紧凑的数据结构来表示对象的轨迹。它基于称为相对Lempel-Ziv(RLZ)的相对压缩技术,该技术通过相对于人工参考应用LZ 77编码来压缩序列。结合$O(z)$大小的数据结构的短语序列,可以有效地解决轨迹和时空查询。我们计划RCT在压缩和时间性能方面改进现有技术中的先前压缩表示。
2018-10-12 cs.DS
Geodabs: Trajectory Indexing Meets Fingerprinting at Scale
寻找轨迹并发现大型数据集中相似的基序是广泛应用的核心问题。解决这个问题的解决方案通常依赖于空间索引和在多项式时间内计算相似性度量。虽然在稀疏轨迹数据集的上下文中是有效的,但是这种方法在密集数据集的上下文中太昂贵,其中许多轨迹可能与给定查询匹配。在本文中,我们将指纹识别,文本数据的背景下使用的复制检测机制,轨迹。为此,我们使用geodabs对轨迹进行指纹识别,这是一种基于geohash的轨迹指纹识别方法。我们证明,通过依赖于空间填充曲线geodabs的属性,可以用来建立分片倒排索引。我们展示了规范化如何影响精确度和召回率,这是信息检索中的两个关键指标。然后,我们证明了指纹的概率性质对结果的质量有边际效应。最后,我们评估我们的方法的性能,并表明,与现有的方法相比,它不受轨迹数据集的密度,它可以有效地分布。
2018-03-12 cs.DB cs.DC cs.DS
CiNCT: Compression and retrieval for massive vehicular trajectories via relative movement labeling
在本文中,我们提出了一个压缩的数据结构的道路网络中的移动对象的轨迹,这是表示为道路边缘序列。与现有的压缩方法在网络中的轨迹,我们的方法支持模式匹配和解压缩从任意位置,同时保持了高的压缩性与理论保证。具体来说,我们的方法是基于FM索引,快速和紧凑的数据结构的模式匹配。为了增强压缩,我们将道路网络的稀疏性纳入到数据结构中。特别是,我们提出了新的概念,相对运动标记和伪秩,每个有助于显着减少数据大小和查询处理时间。我们的理论分析和实验研究表明,我们提出的方法相比,现有的轨迹压缩方法和FM指数的变种的优势。
2017-09-29 cs.DS
LZ78 Substring Compression in Compressed Space
Joint Graduate School of Mathematics for Innovation, Kyushu University(九州大学数学创新联合研究生院);Department of Computer Science and Engineering, University of Yamanashi(山形大学计算机科学工程系)
本文提出了一种在压缩空间中实现子串压缩的算法,能够在查询时快速返回指定子串的LZ78因子分解。
2025-12-19 cs.DS
Tunneling on Wheeler Graphs
Burrows-Wheeler变换(BWT)是数据压缩和紧凑索引数据结构设计中的一项重要技术。它已经从单个字符串推广到字符串的集合和一些类别的标记有向图,如tries和de Bruijn图。重复数据集的BWT通常可以使用游程压缩进行压缩,但最近Baier(CPM 2018)描述了如何使用他称为隧道的想法进一步压缩它们。在本文中,我们表明,隧道BWT仍然可以用于索引和扩展隧道的惠勒图的BWT,一个框架,其中包括所有上述概括。
2019-05-29 cs.DS
Time-Space Trade-Offs for Lempel-Ziv Compressed Indexing
给定字符串$S$,\emph{compressed indexing problem}用于将$S$预处理为支持快速\emph{substring queries}的压缩表示。其目标是在支持快速查询的同时,使用相对于$S$压缩大小的很少空间。我们提出了一个压缩索引的Lempel-Ziv 1977压缩方案的基础上。我们得到以下时间-空间权衡:对于恒定大小的字母表;(i)使用$O(z\lg(n/z)\lg\lg z)$空间的$O(m + occ \lg\lg n)$时间,或(ii)使用$O(z\lg(n/z))$空间的$O(m(1 + \frac{\lg^εz}{\lg(n/z)}) + occ(\lg\lg n + \lg^εz))$时间。对于由$n$多项式约束的整数字母表;(iii)使用$O(z(\lg(n/z) + \lg\lg z))$空间的$O(m(1 + \frac{\lg^εz}{\lg(n/z)}) + occ(\lg\lg n + \lg^εz))$时间,或(iv)使用$O(z(\lg(n/z) + \lg^ε z))$空间的$O(m + occ(\lg\lg n + \lg^ε z))$时间,其中$n$和$m$分别是输入串和查询串的长度,$z$是输入串的LZ 77解析中的短语的数目,$occ$是查询在输入中出现的次数,$ε> 0$是一个任意小的常数。具体地,(i)以将…
2018-01-09 cs.DS
String Indexing with Compressed Patterns
针对客户端-服务器场景中以压缩形式提交的模式查询,提出一种线性空间数据结构,能直接高效处理Lempel-Ziv压缩模式,实现接近最优的查询时间,并开发了编码LZ77压缩后缀和分解trie等通用数据结构技术。
2024-02-14 cs.DS
Spatio-Temporal Top-k Similarity Search for Trajectories in Graphs
我们研究的问题,找到$k$最相似的轨迹到一个给定的查询轨迹。我们的工作受到Grossi等人的启发。[6]将轨迹视为图中的行走。每个访问的顶点都伴随着一个时间间隔。Grossi等人定义了一个相似性函数,它可以捕获时间和空间方面的信息。我们改进了这个相似性函数,得到一个新的时空距离函数,我们可以证明,一个特定类型的三角不等式是满意的。这个距离函数是我们的索引结构的基础,它可以高效地构建,只需要线性内存,并且可以快速回答对前$k$最相似轨迹的查询。我们对真实世界和合成数据集的评估表明,我们的算法在索引时间方面优于基线,同时实现了相似或更好的查询时间和结果质量。
2020-10-19 cs.DS
A Grammar-based Compressed Representation of 3D Trajectories
已经发表了许多关于地面或海上轨迹管理的研究,但飞行轨迹的压缩或索引通常较少探索。然而,空中交通管理是一个挑战,因为空域变得越来越拥挤,并且必须保存大量飞行数据汇集并将其用于各种目的。本文提出了3DGraCT,一种新的方法来表示这些飞行轨迹。它扩展了GraCT紧凑数据结构,以处理第三维(海拔),同时保留其空间/时间复杂度。3DGraCT将传统时空数据结构的空间需求提高了两个数量级,在所考虑的查询类型中具有竞争力,甚至在特定查询的比较中领先。
2018-12-28 cs.DS
A New Class of String Transformations for Compressed Text Indexing
本文提出一类基于局部排序的新型字符串变换,证明其属于包含BWT、ABWT的上下文自适应字母表排序变换族,可用于构建r-index,还给出了线性时间寻找最小游程数BWT变体的算法。
2023-05-08 cs.DS
Linear Time Lempel-Ziv Factorization: Simple, Fast, Small
计算字符串的LZ分解(或LZ 77解析)是许多不同应用程序中的计算瓶颈,包括数据压缩、文本索引和模式发现。我们描述了新的线性时间LZ分解算法,其中一些算法只需要2n log n + O(log n)位的工作空间分解长度为n的字符串。这些是迄今为止空间效率最高的线性时间算法,使用比任何以前的线性时间算法少n log n位的空间。该算法也是实用的,简单的实现,并在实践中非常快。
2012-12-12 cs.DS
Optimal-Time Queries on BWT-runs Compressed Indexes
索引高度重复的字符串(即,具有许多重复的字符串)进行快速查询已经成为字符串处理中的中心研究课题,因为它在生物信息学和自然语言处理中具有广泛的应用。虽然到目前为止已经提出了大量的高度重复字符串的索引,但开发支持各种查询的压缩索引仍然是一个挑战。游程Burrows-Wheeler变换(RLBWT)是一种通过对输入字符串进行可逆置换和行程长度编码的无损数据压缩方法,它在高重复性字符串的索引方面受到广泛关注。LF和$ϕ^{-1}$是用于在RLBWT上构建索引的两个关键函数,并且最佳先前结果在$O(\log \log n)$时间内计算LF和$ϕ^{-1}$,其中$O(r)$字的空间用于RLBWT中的串长度$n$和运行次数$r$。本文对LF和$ϕ^{-1}$进行了改进,使它们可以用空间的$O(r)$字在常数时间内计算。随后,我们提出了OptBWTR(最佳时间查询BWT运行压缩索引),第一个字符串索引,支持各种查询,包括定位,计数,提取查询在最佳时间和$O(r)$字的空间。
2021-04-16 cs.DS
CSA++: Fast Pattern Search for Large Alphabets
文本中的索引模式搜索已经研究了几十年。对于小字母,FM索引提供了无与伦比的性能,在所需的空间和搜索速度方面。对于大字母表--例如,当标记是单词时--情况更加复杂,FM-Index表示是紧凑的,但可能很慢。在本文中,我们应用最近的创新领域的倒排索引和文档检索压缩模式搜索,包括字母到数百万。从实际的压缩后缀数组结构开发的贞根,我们表明,埃利亚斯-法诺代码为基础的方法,文档索引可以适应提供新的权衡选项,在索引模式搜索,并提供显着更快的模式处理相比,以前的实现,以及减少空间的要求。我们报告了一个详细的实验评估,证明了新方法的相对优势,使用标准的比萨饼和辣椒的方法和文件,以及应用用例来自大规模数据压缩,并从自然语言处理。对于大的字母表,新的结构产生的空间要求接近那些最高度压缩的FM-Index变体,以及无与伦比的搜索吞吐率。
2016-05-18 cs.DS
Optimal Random Access and Conditional Lower Bounds for 2D Compressed Strings
Stony Brook University(石溪大学)
该研究针对二维数据压缩索引的次优问题,提出首个二维文法压缩字符串的最优随机访问数据结构,证明模式匹配条件下界及基本二维查询的硬度假设,建立二维与一维压缩索引复杂度的关联。
2025-10-22 cs.DS
Grammar Compressed Sequences with Rank/Select Support
序列表示不仅支持对其符号的直接存取,而且支持秩/选择操作,是许多压缩数据结构中的基本构建块。最近的几个应用程序需要表示高度重复的序列,经典的统计压缩证明是无效的。相反,我们介绍了基于语法的表示重复序列,使用统计压缩表示所需的空间的6%,并支持直接存取和排名/选择操作在几十微秒内。我们展示了我们的结构在文本索引应用程序的影响。
2019-11-21 cs.DS
Subpath Queries on Compressed Graphs: a Survey
文本索引是一个经典的算法问题,已经被研究了四十多年:给定一个文本$T$,离线预处理它,这样,以后,我们可以快速计数和定位任何字符串(查询模式)在$T$中的出现时间与查询的长度成正比。这个问题最早的最优时间解决方案,后缀树,可以追溯到1973年,它需要比纯文本多两个数量级的空间来存储。在2000年,两个突破性的工作表明,高效的查询可以实现没有这种空间开销:一个快速的索引被存储在一个空间成比例的文本的熵。这些贡献对生物信息学产生了巨大的影响:如今,几乎所有的DNA比对都采用了压缩索引。最近的趋势考虑了更强大的压缩方案(字典压缩器)和将问题推广到标记图:毕竟,文本可以被视为标记的有向路径。反过来,由于有限状态自动机可以被认为是标记图的一种特殊情况,这些发现在压缩索引和正则语言理论之间建立了一座桥梁,最终允许索引正则语言,并有望为正则表达式匹配等问题提供新的解决方案。这个调查是一个温和的介绍的迷人的旅程,把我们从后缀树到今天的压缩索引标记图和正则语言的主要里程碑。
2020-12-13 cs.DS
On the Complexity of BWT-runs Minimization via Alphabet Reordering
Burrows-Wheeler变换(BWT)是文本压缩和索引的重要工具。它于1994年首次引入,为经典后缀树数据结构在接近基于熵的下界的空间中的第一个编码提供了主干。最近,已经有紧凑的后缀树在空间中成比例的“$r$“,在BWT中运行的数量,以及$r$的外观在新算法的时间复杂度的发展。与其他流行的压缩度量方法不同,参数$r$对文本字母表的词典顺序很敏感。尽管过去有几次尝试利用这一点,但多年来一直存在一种可证明有效的算法,用于找到或近似最小化$r$的字母顺序。我们提出的第一组结果的计算复杂性最小化BWT运行通过字母表重排。我们证明了这个问题的决策版本是NP完全的,不能解决的时间$2^{o(σ+ \sqrt{n})}$,除非指数时间假设失败,其中$σ$是字母表的大小和$n$是文本的长度。我们还表明,优化问题是APX困难的。在这样做的时候,我们涉及到两个以前不同的主题:最佳的旅行销售人员的路径和运行的BWT的文本的数量,提供了一个令人惊讶的图形和文本压缩的问题之间的连接。此外,有关最近的结果在字典压缩领域,我们说明,任意字母顺序提供了一个$O(\log^2 n)$ -近似。我们提供了一个最佳的线性时间算法的问题,找到一个运行最小化排序的符号(只发生一次)的子集的顺序约束下,并证明了这个问题的推广到一类图的BWT一样的属性称为惠勒图是NP-完全的。
2020-02-18 cs.DS
A Novel Framework for Online Amnesic Trajectory Compression in Resource-constrained Environments
现有技术的轨迹压缩方法通常涉及高空间-时间复杂度或产生不令人满意的压缩率,导致存储器、计算、存储和能量资源的快速耗尽。当在资源受限的环境中操作时,它们的能力通常是有限的,特别是当数据量(即使是压缩的)远远超过存储限制时。因此,我们提出了一种新的在线框架,用于错误有界轨迹压缩和老化,称为有界象限系统(ABQS),其核心是有界象限系统(BQS)算法家族,包括正常版本(BQS),快速版本(FBQS)和渐进版本(PBQS)。ABQS智能地管理给定的存储,并根据其年龄以不同的误差容限压缩轨迹。在实验中,我们对BQS算法家族和ABQS框架进行了综合评估。使用经验GPS跟踪从狐蝠和汽车,从模拟合成数据,我们证明了独立的BQS算法的有效性,在显着降低的时间和空间复杂度的轨迹压缩,同时大大提高了压缩率的国家的最先进的算法(高达45%)。我们还表明,目标资源受限的硬件平台的运行时间可以延长高达41%。然后,我们验证了使用ABQS,给定的数据量远远大于存储空间,ABQS能够实现比基线小15到400倍的错误。我们还表明,该算法是强大的极端轨迹形状。
2016-05-08 cs.DS
String Representation Based on Substring Equation Systems
Joint Graduate School of Mathematics for Innovation, Kyushu University(九州大学数学创新联合研究生院);M&D Data Science Center, Institute of Integrated Research, Institute of Science Tokyo(东京科学大学综合研究所M&D数据中心)
研究了后缀集大小空间中字符串表示的可达性问题,提出了一种基于子串方程系统的构造方法,证明了每个字符串均可表示为O(χ(w))个单词。
2026-08-06 cs.DS
A Practical Index Structure Supporting Fréchet Proximity Queries Among Trajectories
Sportlogiq(Sportlogiq公司)
我们提出了一个可扩展的方法范围和$k$最近邻查询计算昂贵的指标,如连续Fréchet距离轨迹数据。基于度量指标的聚类,我们得到一个动态的树结构,其大小是线性的轨迹的数量,无论轨迹的个人大小或空间维度,这使得一个利用低“内在维度”的数据集有效的搜索空间修剪。由于距离计算是昂贵的,通用的度量索引方法是不切实际的。我们提出的策略,(i)提高已知的上限和下限计算,(ii)建立集群树,没有任何或很少的距离调用,和(iii)搜索使用范围的度量修剪,减少间隔排序,和随机旋转报告的最终结果。我们分析了我们的方法的效率和有效性,并在不同的合成和真实世界的数据集上进行了广泛的实验。结果表明,改进国家的最先进的方法,准确的查询,甚至进一步加快查询,可能会返回近似的结果。令人惊讶的是,在真实数据集上的大多数精确最近邻查询都是在没有任何距离计算的情况下回答的。
2020-05-28 cs.CG cs.DS cs.LG
Time and Memory Efficient Lempel-Ziv Compression Using Suffix Arrays
众所周知的基于字典的Lempel-Ziv(LZ)77系列算法是几种通用无损压缩技术的基础。这些算法在编码/解码时间和存储器要求方面是不对称的,前者要求更高。在过去的几年中,相当多的注意力已经致力于寻找有效的数据结构,以支持这些搜索的问题,旨在优化编码器的速度和内存。哈希表、二叉搜索树和后缀树已被广泛用于此目的,因为它们允许以牺牲存储器为代价的快速搜索。最近的一些研究集中在后缀数组(SA),由于其低内存需求和线性构造算法。先前的工作已经展示了如何使用单个SA或具有最长公共前缀信息的辅助阵列的SA来计算LZ 77分解。基于SA的算法比基于树的编码器使用更少的内存,分配严格必要的内存量,而不管要搜索/编码的文本的内容。在本文中,我们提出了更快的SA为基础的算法LZ 77编码和子串搜索,保持其低的内存需求,以前的工作进行改进。对于一些压缩设置,在一个大型基准测试文件集上,我们的低内存SA编码器也比基于树的编码器更快。这提供了时间和存储器高效的LZ 77编码,是对像LZMA这样的公知编码器上的树的可能替代。我们的算法也适用于文本分类,因为它提供了一种紧凑的方式来描述文本的词袋表示,以及一个快速的索引机制,允许快速找到所有的单词集,以一个给定的符号开始,在一个静态字典。
2009-12-30 cs.DS cs.IT math.IT
Bounded Quadrant System: Error-bounded Trajectory Compression on the Go
长期位置跟踪,其中轨迹压缩是常用的,已经获得了很高的兴趣,在运输,生态和可穿戴计算的许多应用。然而,现有技术的压缩方法涉及高空间-时间复杂度或实现不令人满意的压缩率,导致存储器、计算、存储和能量资源的快速耗尽。我们提出了一种新的在线算法的误差有界的轨迹压缩称为有界象限系统(BQS),压缩轨迹在空间和时间上使用凸壳的成本非常小。在该算法中,我们建立了一个虚拟的坐标系为中心的一个起点,并建立了一个矩形的限界框以及两个边界线在其每个象限。在每个象限中,待评估的点由框和线形成的凸包界定。因此,各种压缩误差范围,推导出快速绘制压缩决策,而无需昂贵的误差计算。此外,我们还提出了BQS版本的精简版本,该版本在时间和空间上都实现了$\mathcal{O}(1)$复杂性,以处理每个点,以适应约束最严格的计算环境。此外,我们简要地演示了如何这个算法可以自然地扩展到3-D的情况下。使用经验GPS跟踪从狐蝠,汽车和模拟,我们证明了我们的算法在显着降低轨迹压缩的时间和空间复杂度的有效性,同时大大提高了最先进的算法的压缩率(高达47%)。然后,我们表明,该算法,目标资源受限的硬件平台的运行时间可以延长高达41%。
2014-12-08 cs.DB cs.DS
The Energy-Throughput Trade-off in Lossless-Compressed Source Code Storage
Sant'Anna School of Advanced Studies(圣安娜高等研究学院)
本文研究了无损压缩源代码存储中能耗与吞吐量的权衡,通过实验展示了不同压缩配置对资源效率的影响,并提出了可持续存储后端的可行指南。
2026-01-19 cs.DB cs.DC cs.DS
Space- and Time-Efficient Storage of LiDAR Point Clouds
LiDAR设备获得空间的3D表示。由于所得到的数据集的大尺寸,已经存在使用压缩并且呈现类似于紧凑数据结构的那些属性的一些属性的存储方法。具体地说,LAZ格式允许访问给定的数据或数据的一部分,而不必存储整个数据集,并提供所存储数据的不确定性。然而,LAZ格式仍然有一些缺点,应该面对的。在这项工作中,我们提出了一个新的紧凑的数据结构表示云的激光雷达点,支持高效的查询,提供索引功能,优于LAZ格式。
2019-12-26 cs.DB cs.DS