On the Complexity of Fundamental Problems for DAG-Compressed Graphs
Institute for Theoretical Computer Science, Universität zu Lübeck（吕贝克大学理论计算机科学研究所）；Universität zu Lübeck（吕贝克大学）
本文探讨了DAG压缩图中基本问题的复杂性，证明了DAG压缩比树压缩更高效，并展示了Kruskal算法可直接应用于DAG压缩，同时证明了计算最小DAG压缩的NP难性。
2026-03-23 cs.CC cs.DS
Dynamic Data Structures for Document Collections and Graphs
在动态索引问题中，我们必须维护一个不断变化的文本文档集合，以便我们能够有效地支持插入、删除和模式匹配查询。我们特别感兴趣的是开发高效的数据结构，以压缩的形式存储和查询文档。所有以前的压缩解决方案，这个问题依赖于回答排名和选择查询的动态序列的符号。由于[Fredman和Saks，1989]中的下界，回答排名查询在压缩动态索引中呈现出瓶颈。在本文中，我们将展示如何使用我们的新框架可以绕过这个下限。我们证明了索引问题的静态和动态变量之间的差距几乎可以关闭。我们的方法是基于一个新的框架，增加动态静态压缩数据结构。我们的框架也更普遍地适用于其他问题的动态化。例如，我们展示了我们的框架如何应用于开发动态图和二元关系的压缩表示。
2015-03-20 cs.DS
Low-Latency Graph Streaming Using Compressed Purely-Functional Trees
由于现实世界的图形的动态性质，已经有越来越多的兴趣，在图形流设置中，连续流的图形更新与任意图形查询混合。原则上，纯函数树是此设置的理想选择，因为它们支持安全并行、轻量级快照和严格的查询可串行化性。然而，直接将它们用于图形处理将导致显著的空间开销和较差的缓存局部性。本文提出了C-树，压缩纯功能的搜索树数据结构，显着提高了纯功能树的空间使用和局部性。关键思想是在树上使用分块技术，以便在每个树节点上存储多个条目。我们设计了理论上有效的和实用的算法进行批量更新的C-树，也表明，我们可以存储大量的动态现实世界的图形，每边只使用几个字节，从而实现接近最好的静态图形处理框架的空间使用。为了研究我们的数据结构的效率和适用性，我们设计了Aspen，一个图形流框架，它扩展了Ligra的接口，具有更新图形的操作。我们表明，Aspen比两个最先进的图形流系统Stinger和LLAMA更快，同时需要更少的内存，并且与最先进的静态图形框架Galois，GAP和Ligra+在性能上具有竞争力。使用Aspen，我们能够使用具有1 TB内存的单个商品多核服务器，在图形流设置中有效地处理最大的公开可用图形，其中包含超过2000亿条边。
2019-04-17 cs.DC cs.DS cs.PL
New Compressed Indices for Multijoins on Graph Databases
本文提出新型紧凑索引和查询解析策略，在保持最坏情况最优时间的同时大幅减少图数据库多连接查询的时空开销，将平均查询时间最高提升13倍。
2024-08-01 cs.DB cs.DS
Exploiting Computation-Friendly Graph Compression Methods
计算大型图的（二进制）邻接矩阵与实值向量的乘积是一个重要的运算，它是各种图分析任务（如计算PageRank）的核心。在本文中，我们表明，一些著名的Web和社交图压缩格式是计算友好的，在这个意义上说，他们允许提高计算。特别是，我们表明，格式的Boldi和Vigna允许计算产品的时间成比例的压缩图的大小。我们的实验结果表明，至少2的加速比的图，压缩至少5倍，相对于原来的。我们表明，其他成功的图形压缩格式也享受这一属性。
2018-02-18 cs.DS
Compression with wildcards: All, or all maximum, anticlques of a graph
本文提出用带通配符的压缩格式表示图的所有反团及最大基数反团，该方法在二分图等König-Egerváry图上效果良好，涉及2-CNF布尔函数与Dilworth格的应用。
2026-10-09 cs.DM cs.DS cs.MS
Improved Compressed String Dictionaries
我们引入了一种新的压缩数据结构族，以有效地在主存中存储和查询大型字符串字典。我们的主要技术是一个层次化的前端编码与后缀数组中最长公共前缀计算的想法相结合。我们的数据结构在现实世界的字典中产生相关的时空权衡。我们专注于两个领域，字符串字典被广泛使用，需要有效的压缩：URL集合，在Web图形和应用程序，如Web挖掘的关键元素;和集合的URI和文字，RDF数据集的基本组成部分。我们的实验表明，我们的数据结构实现更好的压缩比国家的最先进的替代品，同时提供非常有竞争力的查询时间。
2019-11-19 cs.DS
Evaluating Regular Path Queries on Compressed Adjacency Matrices
本文提出基于稀疏矩阵和$k^2$-trees的布尔代数方法处理图数据库中的正则路径查询，在保持查询效率的同时显著压缩存储空间，并在空间/时间权衡上表现优异。
2024-04-23 cs.DB cs.DS
Optimally Computing Compressed Indexing Arrays Based on the Compact Directed Acyclic Word Graph
本文首次研究了从 CDAWG 转换为适用于高度重复文本的多种压缩索引结构的计算复杂度，并证明能在 $O(e)$ 最坏时间与工作空间内最优计算这些结构。
2023-08-04 cs.DS cs.FL cs.IR
Accelerating Graph Neural Networks with a Novel Matrix Compression Format
本文提出压缩二进制矩阵（CBM）格式表示GNN中的邻接矩阵，并基于该格式开发高效矩阵乘法内核，实验表明相比Intel MKL实现可加速近5倍，GNN推理加速达3倍。
2024-09-03 cs.DS
Practical Entropy-Compressed Rank/Select Dictionary
排序/选择字典是用于计算$\rank(x,S)$的有序集$S \subset \{0,1,...,n-1\}$的数据结构（$S$中不大于$x$的元素数）和$\select(i,S)$（$i$ -$S$中的第小元素），它们是字符串、树、图等的\emph{succinct data structures}的基本组件。然而，在这些数据结构中，只考虑了渐近行为，它们对实际数据的性能并不令人满意。在本文中，我们提出了新的四个Rank/Select字典，esp，recrank，vcode和sdarray，其中每一个都是小的，如果$S$中的元素的数量是小的，并确实接近$nH_0(S)$（$H_0(S) \leq 1$是$S$的零阶\textit{empirical entropy}）在实践中，其查询时间优于以前的。实验结果揭示了我们的数据结构的特点，也表明，这些数据结构是优于现有的实现在规模和查询时间。
2006-09-29 cs.DS
Universal Compressed Text Indexing
重复数据集的兴起最近引起了人们对基于字典压缩的压缩自索引的兴趣，这是一个丰富而异构的家族，以不同的方式利用文本重复。对于每种这样的压缩方案，在过去二十年中已经提出了几种不同的索引解决方案。迄今为止，重复文本的最快索引是基于行程压缩的Burrows-Wheeler变换和紧凑有向非循环词图。另一方面，最节省空间的索引是基于Lempel-Ziv解析和语法压缩的。还没有提出更普遍的方案，如拼贴系统和宏观方案的索引。最近，Kempa和Prezza [STOC 2018]表明，所有字典压缩器都可以被解释为最小字符串吸引子的近似算法，即捕获所有不同子串的一组文本位置。从这个观察开始，在本文中，我们开发了第一个通用的压缩自索引，也就是说，第一个基于字符串吸引子的索引数据结构，因此可以建立在任何字典压缩文本表示的顶部。令$γ$为长度为$n$的文本的字符串吸引子的大小。我们的索引采用$O(γ\log(n/γ))$空间字，并支持在$O(m\log n + occ\log^εn)$时间内，对于任何常数$ε>0$，定位任何长度为$m$的模式的$occ$出现。特别是，这是一般宏观计划和大学系统的第一个指数。我们的研究结果表明，索引和压缩之间的关系比以前认为的要深得多：所有字典压缩器的核心的简单属性足以支持快速索引查询。
2018-09-06 cs.DS
Compressed Representation of Dynamic Binary Relations with Applications
我们介绍了一个动态的数据结构的二进制关系的紧凑表示$\mathcal{R} \subseteq A \times B$。数据结构是k $^2$树的动态变体，k树是一种静态紧凑表示，它利用二元关系中的聚类来实现压缩。我们的结构可以有效地检查两个对象$(a,b) \in A \times B$是否相关，并列出与某些$a \in A$相关的$B$对象，反之亦然。此外，我们的结构允许在关系中插入和删除对$(a,b)$，以及修改基集$A$和$B$。我们测试我们的动态数据结构在不同的上下文中，包括Web图形和RDF数据库的表示。我们的实验表明，我们的动态数据结构实现了良好的压缩比和快速的查询时间，接近那些静态表示，同时也提供了有效的支持，在所表示的二进制关系的更新。
2017-07-10 cs.DS
Computing matching statistics on Wheeler DFAs
匹配统计被引入到解决近似字符串匹配问题，这是一个经常性的子程序在生物信息学应用。2010年，Ohlebusch等人[SPIRE 2010]提出了一种用于计算匹配统计的时间和空间高效算法，该算法依赖于压缩后缀树的某些组件-特别是最长公共前缀（LCP）数组。在本文中，我们展示了他们的算法可以从字符串推广到惠勒确定性有限自动机。最重要的是，我们引入了一个概念的LCP阵列惠勒自动机，从而建立了一个明确的第一步扩展（压缩）后缀树的功能标记图。
2023-01-13 cs.DS
PaC-trees: Supporting Parallel and Compressed Purely-Functional Collections
许多现代程序设计语言正在向集合接口（如集合、映射和序列）的函数式风格转变。函数式接口提供了许多优点，包括安全的并行性和提供简单而轻量级的快照。然而，现有的高性能的功能接口，如PAM，这是基于平衡的纯功能树，招致大规模的数据分析，由于存储在一个单独的节点在一个树的每个元素的空间开销。本文介绍了PAC树，一个纯功能的数据结构支持集，地图和序列，提供了一个显着减少空间的功能接口，在现有的方法。PaC树是一种平衡的二叉搜索树，它使用数组来分块并压缩块。我们提供了新的技术，压缩和解压缩的块，产生实际的并行功能的算法，广泛的一组操作，如联合，交集，过滤器，减少，范围查询，这是理论上和实际上有效的PAC树。使用PaC-tree，我们设计了CPAM，这是一个C++库，实现了PAM的全部功能，同时为压缩提供了重要的额外功能。CPAM在集合、映射和序列的一组微基准测试中始终与PAM相匹配或优于PAM，同时使用大约四分之一的空间。在包括倒排索引、2D范围查询和1D区间查询的应用程序中，CPAM与PAM竞争或更快，同时使用的空间少2.1- 7.8倍。对于静态和流式图形处理，CPAM提供了1.6倍的批量更新速度，同时使用的空间比最先进的图形处理系统Aspen少1.3- 2.6倍。
2022-04-12 cs.DC cs.DS
Decentralized Stochastic Optimization and Gossip Algorithms with Compressed Communication
EPFL（洛桑联邦理工学院）
我们考虑分散随机优化的目标函数（例如，机器学习任务的数据样本）分布在$n$机器，只能与他们的邻居在一个固定的通信图。为了减少通信瓶颈，节点压缩（例如，压缩或稀疏化）它们的模型更新。我们涵盖了无偏和有偏压缩算子，质量表示为$ω\leq 1$（$ω=1$表示没有压缩）。我们（i）提出了一种新的基于gossip的随机梯度下降算法，CHOCO-SGD，它以$\mathcal{O}\left(1/(nT) + 1/(T δ^2 ω)^2\right)$的速度收敛于强凸目标，其中$T$表示迭代次数，$δ$表示连通矩阵的特征间隙。尽管压缩质量和网络连接影响高阶项，但速率中的第一项$\mathcal{O}(1/(nT))$与具有精确通信的集中式基线相同。我们（ii）提出了一种新的八卦算法，CHOCO-GOSSIP，平均共识问题，收敛时间$\mathcal{O}(1/(δ^2ω) \log (1/ε))$的准确性$ε> 0$。这是（据我们所知）第一个支持$ω> 0$任意压缩消息的流言算法，并且仍然表现出线性收敛。我们（iii）在实验中表明，我们的算法都优于各自的国家的最先进的基线和CHOCO-SGD可以减少至少两个数量级的通信。
2019-02-01 cs.DC cs.DS cs.LG
Tunneling on Wheeler Graphs
Burrows-Wheeler变换（BWT）是数据压缩和紧凑索引数据结构设计中的一项重要技术。它已经从单个字符串推广到字符串的集合和一些类别的标记有向图，如tries和de Bruijn图。重复数据集的BWT通常可以使用游程压缩进行压缩，但最近Baier（CPM 2018）描述了如何使用他称为隧道的想法进一步压缩它们。在本文中，我们表明，隧道BWT仍然可以用于索引和扩展隧道的惠勒图的BWT，一个框架，其中包括所有上述概括。
2019-05-29 cs.DS
Hierarchical Overlap Graph
给定一组有限词，重叠图（OG）是一个完全加权有向图，其中每个词是一个节点，并且弧的权重等于一个词到另一个词的最长重叠的长度（重叠是一个不对称的概念）。OG用于组装DNA片段或计算最短的超串，超串是输入的压缩表示。OG要求空间的字数是平方的，这限制了它的可扩展性。分层重叠图（HOG）是一种替代图，它也对所有最大重叠进行编码，但使用输入单词长度之和为线性的空间。我们提出了第一个算法来建立HOG在线性空间中的字的长度相等。
2018-03-05 cs.DS
