arXiv 0905.31072009-05-19cs.DS

快速紧凑的前缀码

Fast and Compact Prefix Codes

Travis Gagie, Gonzalo Navarro, Yakov Nekrich

摘要：

众所周知，给定$n$字符上的概率分布，在最坏的情况下，需要（Θ（n \log n））个比特来存储具有最小预期码字长度的前缀码。然而，在本文中，我们首先表明，对于任何$0<ε<1/2$与（1 / ε= \Oh{\polylog{n}}），它需要$\Oh{n \log \log (1 / ε)}$位存储一个前缀码与预期的码字长度内的最小值$ε$。然后，我们表明，对于任何常数（c > 1），它需要$\Oh{n^{1 / c} \log n}$位存储的前缀码与预期的码字长度最多$c$倍的最小值。在这两种情况下，我们的数据结构允许我们在$\Oh{1}$时间内对任何字符进行编码和解码。

英文摘要：

It is well-known that, given a probability distribution over $n$ characters, in the worst case it takes (Θ(n \log n)) bits to store a prefix code with minimum expected codeword length. However, in this paper we first show that, for any $0<ε<1/2$ with (1 / ε= \Oh{\polylog{n}}), it takes $\Oh{n \log \log (1 / ε)}$ bits to store a prefix code with expected codeword length within $ε$ of the minimum. We then show that, for any constant (c > 1), it takes $\Oh{n^{1 / c} \log n}$ bits to store a prefix code with expected codeword length at most $c$ times the minimum. In both cases, our data structures allow us to encode and decode any character in $\Oh{1}$ time.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

小空间前缀快速搜索及其应用

Fast Prefix Search in Little Space, with Applications

在索引文献中已经表明，一方面前缀/范围搜索与另一方面前导/秩搜索之间存在本质区别，因为前者可证明允许更快的查询解析。传统上，前缀搜索是由数据结构解决的，这些数据结构也是字典-它们实际上包含$S$中的字符串。对于存储在慢速访问内存中的非常大的集合，我们提出了更紧凑的数据结构，支持\emph{weak}前缀搜索-如果$S$中的\emph{some}字符串以给定的前缀开头，它们将返回匹配字符串的秩。事实上，我们表明，我们的空间效率最高的数据结构是渐近空间最优的。以前，数据结构，如字符串B树（和更复杂的高速缓存无关字符串数据结构）隐式地支持弱前缀查询，但它们的查询时间都随着字符串集合的大小而递增。相比之下，我们的数据结构很简单，自然具有高速缓存效率，并且查询时间仅取决于前缀的长度，对于适合一个机器字的字符串，一直到恒定的查询时间。我们给出了弱前缀搜索的几个应用，包括精确前缀计数和近似匹配合取前缀条件的元组计数。

2018-04-12cs.DS

前缀码的高效紧致表示

Efficient and Compact Representations of Prefix Codes

统计压缩中的大部分注意力都集中在压缩序列所使用的空间上，这个问题完全可以用最佳前缀码来解决。然而，在许多应用中，用于表示前缀代码本身的存储空间可能是一个问题。本文介绍并比较了几种存储前缀码的技术。令$N$为序列长度，$n$为字母表大小。然后，最优前缀码的朴素存储使用$O(n\log n)$位。我们的第一种技术展示了如何使用$O(n\log\log(N/n))$位来存储最佳前缀码。然后，我们介绍了一种近似的技术，对于任何$0<ε<1/2$，需要$O(n \log \log (1 / ε))$位存储的前缀码的平均码字长度内的最小值的添加剂$ε$。最后，对于任何恒定的$c > 1$，第二种近似采用$O(n^{1 / c} \log n)$比特来存储平均码字长度最多为$c$乘以最小值的前缀码。在所有情况下，我们的数据结构允许在$O(1)$时间内对任何符号进行编码和解码。我们通过实验将我们的新技术与现有技术进行了比较，结果表明，我们以较慢的编码（慢2.5- 8倍）和解码（慢12- 24倍）为代价，实现了6- 8倍的空间减少。近似进一步减少了这个空间，并显着提高了时间，恢复经典实现的速度，平均代码长度的适度惩罚。作为一个副产品，我们比较各种启发式，近似和最佳算法来生成长度限制代码，显示出最佳的是明显的优越性和实用性，足以实施。

2015-06-29cs.DS

某些非标准无前缀码的有效紧致表示

Efficient and Compact Representations of Some Non-Canonical Prefix-Free Codes

对于许多类型的无前缀码，传统的基于树的表示有高效和紧凑的替代方案。然而，由于这些代码将代码置于规范形式中，因此它们只能在我们可以选择码字分配给符号的顺序时使用。在本文中，我们首先展示了如何，给定概率分布在一个字母表的$σ$符号，我们可以存储一个最佳的字母前缀的代码在$\Oh{σ\log L}$位，使我们可以编码和解码任何码字的长度$\ell$在$\Oh{\min (\ell, \log L)}$时间，其中$L$是最大码字长度。对于任何恒定的$ε>0$，利用$\Oh{2^{L^ε}}$进一步的比特，我们可以编码和解码$\Oh{\log \ell}$时间。然后，我们展示了如何存储一个接近最佳的字母前缀的代码在$o (σ)$位，这样我们就可以在恒定的时间编码和解码。我们还考虑了最近提出的一种最优无前缀码，其中码字的长度按其逆序的字典顺序排列时是不减的。我们将它们的存储空间减少到$\Oh{σ\log L}$，同时保持$\Oh{\ell}$中的编码和解码时间。我们还展示了如何使用$\Oh{2^{εL}}$进一步的位，我们可以在恒定的时间内进行编码和解码。所有的结果都在字-RAM模型中成立。

2021-04-01cs.DS

具有较少相异码字的最佳前缀码构造速度更快

Optimal Prefix Codes with Fewer Distinct Codeword Lengths are Faster to Construct

本文提出了一种构造最小冗余二元前缀码的新方法。我们的方法不显式地构建霍夫曼树，而是使用最优前缀码的属性来计算与输入权重相对应的码字长度。令$n$为权重的数目，而$k$为由用于最佳码的算法产生的不同码字长度的数目。我们的算法的运行时间是$O(k \cdot n)$。根据我们以前在\cite{be}中的工作，没有算法可能在$o(k \cdot n)$时间内构造最优前缀码。当给定的权重被预排序时，我们的算法执行$O(9^k \cdot \log^{2k}{n})$比较。

2016-09-29cs.DScs.ITmath.IT

c-trie++：一个为快速前缀匹配而定制的动态Trie

c-trie++: A Dynamic Trie Tailored for Fast Prefix Searches

给定总长度为$n$的$k$字符串的动态集合$K$，其字符从大小为$σ$的字母表中提取，关键字字典是建立在$K$上的数据结构，其提供对$K$的定位、前缀搜索和更新操作。假设$α= w / \lg σ$字符适合一个单一的机器字$w$，我们提出了一个关键字字典，表示$K$在$n \lg σ+ Θ(k \lg n)$位的空间，支持所有操作在$O(m / α+ \lg α)$预期的时间在输入字符串的长度$m$在字RAM模型。这个数据结构强调了详尽的实际评估，突出了所提出的数据结构的实用性，特别是对于前缀搜索-最基本的关键字字典操作之一。

2020-10-07cs.DScs.IR

前缀过滤器：在实践和理论上都优于Bloom

Prefix Filter: Practically and Theoretically Better Than Bloom

近似成员查询数据结构或过滤器的许多应用程序只需要支持插入但不支持删除的增量过滤器。然而，增量过滤器的设计空间缺少一个“最佳点”过滤器，它结合了空间效率、快速查询和快速插入。增量过滤器，例如Bloom和Blocked Bloom过滤器，不是空间有效的。动态滤波器（即，支持删除），如布谷鸟或向量商过滤器，是空间有效的，但不能表现出一致的快速插入和查询。在本文中，我们提出了前缀过滤器，一个增量过滤器，解决了上述挑战：（1）它的空间（以比特为单位）是类似于最先进的动态过滤器;（2）查询吞吐量是高的，是可比的布谷鸟过滤器;以及（3）插入吞吐量高，总构建时间比$1.39\times$的向量商滤波器和布谷鸟滤波器的构建时间快。分别为$1.46\times$和$3.2\times$ - $3.5\times$。我们提出了一个严格的分析前缀过滤器，也适用于实际的集大小（即，$n=2^{25}$）。该分析涉及失败的概率、误报率以及操作需要访问多个缓存行的概率。

2022-10-25cs.DBcs.DS

更多相关论文收起更多论文

确定性有限自动机的更快前缀排序算法

Faster Prefix-Sorting Algorithms for Deterministic Finite Automata

本文研究DFA的最小宽度偏反词典序计算，利用新组合性质提出任意DFA的$O(mn)$、$O(n^2\log n)$排序算法及无环DFA的$O(m\log n)$算法，并验证其实用性。

2023-04-21cs.DS

一种计算前缀概率的快速算法

A Fast Algorithm for Computing Prefix Probabilities

本文针对PCFG前缀概率计算问题，提出对Jelinek和Lafferty算法的加速方法，将运行时间从$O(n^3|N|^3+|N|^4)$降至$O(n^2|N|^3+n^3|N|^2)$。

2025-05-08cs.DScs.FL

通过批处理加速PBWT前缀数组访问

Faster PBWT prefix-array access via batching

Faculty of Computer Science, Dalhousie University（达尔豪斯大学计算机学院）

针对PBWT中报告匹配单倍型的第二步，提出批处理策略，在特定条件下实现常数时间报告每个单倍型，基于快速构建前缀数组的算法。

2026-05-28cs.DS

EPR字典：一种用于单向和双向FM索引中恒定时间搜索的实用快速数据结构

EPR-dictionaries: A practical and fast data structure for constant time searches in unidirectional and bidirectional FM-indices

我们介绍了一种新的，实用的方法进行精确的搜索在一个单向和双向FM索引在$O(1)$时间每一步，而使用$O(\log σ* n) + o(\log σ* σ* n)$位的空间。这是通过用一种新的数据结构，即增强前缀秩字典（EPR字典）来替换二进制小波树来完成的。我们在SeqAn C++库中实现了这种方法，并通过实验验证了我们的理论结果。此外，我们比较了我们的实现与其他免费提供的双向索引的实现，并表明我们之间的$\approx 2.6-4.8$倍更快。这将对许多依赖（2）FM索引的实际实现（例如用于读取映射）的生物信息学应用产生很大影响。据我们所知，这是2FM索引中搜索步骤的恒定时间方法的第一个实现。

2016-11-17cs.DS

快速紧凑的正则表达式匹配

Fast and Compact Regular Expression Matching

我们研究了字符串匹配中的4个问题，即正则表达式匹配，近似正则表达式匹配，字符串编辑距离，和子序列索引，在一个标准的字RAM模型的计算，允许在恒定的时间内操作的字符串大小的字。我们展示了如何提高空间和/或删除依赖于字母表的大小，为每个问题使用现有算法的改进制表技术或通过结合已知的算法在一个新的方式。

2008-09-22cs.DS

二十个问题：$D$ -元长度有界前缀编码

Twenty (or so) Questions: $D$-ary Length-Bounded Prefix Coding

有效的最佳前缀编码早已通过霍夫曼算法实现。然而，关于霍夫曼问题的变体，仍然有改进和探索的空间。对许多实际应用有用的长度受限霍夫曼编码就是这样一种变体，对于该变体，代码被限制为其中没有$n$码字长于给定长度$l_{\max}$的代码集合。二进制长度受限编码可以通过广泛使用的Package-Merge算法在$O(n l_{\max})$时间和O（n）空间中完成，并且使用不太知名的算法具有更小的渐近复杂度。在本文中，这些算法进行了推广，而不增加复杂性，以引入一个最小的码字长度约束$l_{\min}$，允许目标函数以外的预期码字长度的最小化，并适用于二进制和非二进制代码;非二进制代码以前使用较慢的动态规划的方法来解决。这些扩展具有各种应用--包括快速解压缩和游戏"二十步“的修改版本--并且可以用于解决寻找具有有限边缘的最佳代码的问题，即，在最长和最短码字之间具有最大差异的代码中寻找最佳代码。以前提出的解决这个问题的方法是非多项式时间的，而使用新的线性空间算法解决这个问题只需要$O(n (l_{\max}- l_{\min})^2)$时间，或者如果$l_{\max}- l_{\min}$不是$O(\log n)$，甚至更少。

2007-06-20cs.DScs.ITmath.IT

小空间中的快速最长公共扩张

Fast Longest Common Extensions in Small Space

在本文中，我们解决的最长公共扩展（LCE）问题：计算长度$\ell$的任何两个后缀之间的$T\in Σ^n$与$ Σ= \{0, \ldots σ-1\} $的最长公共前缀。我们提出了两个快速和空间有效的解决方案的基础上（Karp-Rabin）\textit{fingerprinting}和\textit{sampling}。我们的第一个数据结构利用梅森素数的属性时，使用的卡普-拉宾哈希函数的模数，并采取$n\lceil \log_2σ\rceil$位的空间。我们的第二种结构适用于任何素数模，并占用$n\lceil \log_2σ\rceil + n/w + w\log_2 n$位空间（$ w $存储器字大小）。这两种结构都支持$\mathcal O\left(m\logσ/w \right)$ -时间提取任意长度的$m$文本子串，$\mathcal O(\log\ell)$ -时间LCE查询的高概率，并可以建立在最佳的$\mathcal O(n)$时间。在第一种情况下，我们是第一个结果，表明它是可能的回答LCE查询在$o(n)$时间，而只使用$\mathcal O(1)$字的顶部所需的空间来存储文本。我们的研究结果提高了空间使用率，查询时间和预处理时间的最新技术水平，并且非常实用：我们提出了一个C++实现，在实践中非常快速和节省空间。

2016-07-22cs.DS

在线施泰尼茨问题

The Online Steinitz Problem

EPFL（洛桑联邦理工学院）

该研究提出在线施泰尼茨问题，通过归约方法将在线向量平衡算法转换为在线排序算法，得到随机算法的前缀偏差界与运行时间，并证明了匹配下界。

2026-10-15cs.DSmath.CO

更快的紧凑型Top-k文档检索

Faster Compact Top-k Document Retrieval

解决top-k文档检索的最优索引[Navarro and Nekrich，SODA 12]对于长度为m的模式需要O（m + k）时间，但对于n个符号的集合，其空间至少为80 n字节。我们减少到1.5n到3 n字节，O（m+（k+log log n）log log n）的时间，在典型的文本。该索引比以前最好的压缩解决方案快25倍，实际上最多需要5%的空间（在某些情况下只需一半）。除了用压缩的数据结构代替传统的数据结构外，我们的主要思想是用频率阈值代替后缀树采样来实现压缩。

2012-11-22cs.DScs.IR

基于紧致最近共同祖先标记的快速自稳定最小生成树构造

Fast Self-Stabilizing Minimum Spanning Tree Construction Using Compact Nearest Common Ancestor Labeling Scheme

提出了一种新的自稳定最小生成树（MST）构造算法。我们的解决方案的空间复杂度是$O(\log^2n)$位，它收敛于$O(n^2)$轮。因此，该算法通过乘法因子$Θ(n)$改进了先前已知的自稳定异步MST算法的收敛时间，代价是通过因子$O(\log n)$增加最佳已知空间复杂度。在我们的算法中使用的主要成分是设计，第一次在自稳定设置，标签计划计算最近的共同祖先只有$O(\log^2n)$位。

2013-11-04cs.DCcs.DScs.NI