arXiv 1107.30222011-07-15cs.DS

基于SLP压缩文本的q-gram非重叠频率计算

Computing q-gram Non-overlapping Frequencies on SLP Compressed Texts

Keisuke Goto, Hideo Bannai, Shunsuke Inenaga, Masayuki Takeda

摘要：

长度- $q$子串或$q$ -元语法可以表示文本数据的重要特征，并且确定数据中包含的所有$q$ -元语法的频率是数据挖掘和机器学习领域中的许多应用的重要问题。在本文中，我们考虑的问题，计算的所有$q$ -克在一个文本中的压缩形式，即，作为一个直线程序（SLP）的{\em非重叠频率}。我们表明，该问题可以解决$O(q^2n)$时间和$O(qn)$空间，其中$n$是SLP的大小。这推广并大大改进了以前的工作（Inenaga & Bannai，2009），解决了问题的$q=2$在$O(n^4\log n)$时间和$O(n^3)$空间。

英文摘要：

Length-$q$ substrings, or $q$-grams, can represent important characteristics of text data, and determining the frequencies of all $q$-grams contained in the data is an important problem with many applications in the field of data mining and machine learning. In this paper, we consider the problem of calculating the {\em non-overlapping frequencies} of all $q$-grams in a text given in compressed form, namely, as a straight line program (SLP). We show that the problem can be solved in $O(q^2n)$ time and $O(qn)$ space where $n$ is the size of the SLP. This generalizes and greatly improves previous work (Inenaga & Bannai, 2009) which solved the problem only for $q=2$ in $O(n^4\log n)$ time and $O(n^3)$ space.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于SLP压缩字符串的快速$q$ -gram挖掘

Fast $q$-gram Mining on SLP Compressed Strings

我们提出了简单而有效的算法，用于计算$q$ -克频率的字符串表示在压缩的形式，即，作为一个直线程序（SLP）。给定一个表示字符串$T$的大小为$n$的SLP，我们提出了一个计算$T$中$q$ -gram出现频率的$O(qn)$时空算法.计算实验表明，我们的算法和它的变化是实用的小$q$，实际上运行速度更快的各种真正的字符串数据，相比，工作在未压缩文本的算法。我们还讨论了字符串数据的数据采掘和分类中的应用，我们的算法对此很有用。

2011-07-13cs.DS

语法压缩文本的高效Lyndon分解

Efficient Lyndon factorization of grammar compressed text

我们提出了一个算法计算的Lyndon分解的字符串，给出了语法压缩形式，即，一个直线程序（SLP）。该算法在$O(n^4 + mn^3h)$时间和$O(n^2)$空间中运行，其中$m$是林登因子分解的大小，$n$是SLP的大小，并且$h$是SLP的导出树的高度。由于解压缩的字符串的长度可以是指数级的，$n, m$和$h$，我们的结果是第一个多项式时间的解决方案时，字符串是SLP。

2013-04-26cs.DS

基于Lyndon词的语法压缩自索引

Grammar-compressed Self-index with Lyndon Words

我们引入了一类新的直线程序（SLP），命名为林登SLP，灵感来自林登树（Lyndon Trees，1990）。基于此SLP，我们提出了一种$O(g)$空间字的自索引数据结构，该数据结构可以从$T$在$O(n \lg n)$期望时间内的字符串建立，检索长度为$m$的模式$P$在$O(m + \lg m \lg n + occ \lg g)$时间内的所有出现的开始位置，其中$n$是$T$的长度，$g$是$T$的Lyndon SLP的大小，$occ$是$P$在$T$中出现的次数。

2020-04-27cs.DS

基于语法压缩文本的快速$q$ -gram挖掘

Speeding-up $q$-gram mining on grammar-based compressed texts

我们提出了一个有效的算法计算$q$ -gram频率的字符串表示在压缩的形式，即，作为一个直线程序（SLP）。给定表示字符串$T$的大小为$n$的SLP $\mathcal{T}$，算法通过将问题简化为大小为$m = |T|-\mathit{dup}(q,\mathcal{T})$的trie-like结构上的加权$q$-gram频率问题来计算$T$中所有$q$-gram的出现频率，其中$\mathit{dup}(q,\mathcal{T})$是表示SLP捕获的关于$q$ -gram的冗余量的量。简化后的问题可以在线性时间内求解。由于$m = O(qn)$，我们的算法的运行时间是$O(\min\{|T|-\mathit{dup}(q,\mathcal{T}),qn\})$，改进了我们以前的$O(qn)$算法时，$q = Ω(|T|/n)$。

2012-02-15cs.DS

基于常量空间的全在线文法压缩

Fully Online Grammar Compression in Constant Space

我们提出了新的变种完全在线LCA（FOLCA），一个完全在线的语法压缩，建立一个直线程序（SLP），并直接将其编码成一个简洁的表示在一个在线的方式。FOLCA使得能够将SLP直接编码为简洁表示，该简洁表示渐进地等价于用于表示SLP的信息理论下限（Maruyama等人，SPIRE'13）。FOLCA的压缩时间与输入文本的长度成线性比例，其工作空间仅取决于SLP的大小，这使得我们能够将FOLCA应用于大规模重复文本。然而，最近的重复文本包括一些噪音。例如，目前的测序技术具有显著的出错率，这将噪声嵌入到基因组序列中。对于这样的噪声重复文本，在SLP大小下工作的FOLCA消耗大量的内存。我们提出了两种变体的FOLCA工作在恒定的空间，利用流挖掘技术背后的想法。实验使用100个人类基因组对应于约300 GB的1000个人类基因组项目揭示了我们的方法的适用性，大规模的，嘈杂的重复文本。

2014-01-29cs.DS

对SLP压缩文本的实用随机访问

Practical Random Access to SLP-Compressed Texts

基于语法的压缩是一种流行且强大的压缩重复文本的方法，但直到最近，它在现实生活中构建时相对较差的时空权衡使得它对于真正的大规模数据集（如基因组数据库）不切实际。在最近的一篇论文（SPIRE 2019）中，我们展示了简单的预处理如何显着改善这些权衡，在本文中，我们将注意力转向使基于语法的压缩如此有吸引力的功能之一：支持快速随机访问的可能性。这是许多算法中的一个基本要素，这些算法处理语法压缩的文本而不解压缩它们，并且已经发表了许多关于它的理论界限，但实验已经落后了。我们给出了一种新的语法编码，它与现有技术的实际状态一样小（Maruyama等人，SPIRE 2013），但查询速度明显更快。

2020-07-19cs.DS

更多相关论文收起更多论文

检测语法压缩字符串上的错误

Detecting regularities on grammar-compressed strings

我们解决的问题，检测和计数的各种形式的字符串表示为一个直线程序（SLP）中的字符串。给定一个大小为$n$的SLP，它表示一个长度为$N$的字符串$s$，我们的算法在$O(n^3h)$时间和$O(n^2)$空间中计算$s$中的所有游程和平方，其中$h$是SLP的导出树的高度。我们还展示了一个算法来计算所有的间隙回文在$O(n^3h + gnh\log N)$时间和$O(n^2)$空间，其中$g$是间隙的长度。上述解决方案的关键技术还允许我们分别在$O(n^2 h)$时间和$O(nh(n+\log^2 N))$时间中计算字符串的周期和覆盖。

2013-04-26cs.DS

简洁的语法压缩

A Succinct Grammar Compression

我们解决了一个公开的问题，有关的最佳编码的直线程序（SLP），规范形式的语法压缩推导出一个单一的字符串确定性。我们表明，一个信息理论的下界表示一个SLP与n个符号需要至少2n+logn！+ o（n）位。然后，我们提出了一个简洁的表示的SLP，这种表示是渐近等价的下界。对于rho leq 2sqrt{n}，空间最多为2n log {rho}（1 + o（1））位，同时支持在O（log log n）时间内随机访问SLP的任何产生式规则。此外，我们提出了一种新的动态数据结构相关联的一个digram与一个唯一的符号。这种数据结构被称为命名函数，并且已经使用具有空间-时间折衷的哈希表来实现。因此，在产生式规则的开发过程中，内存空间主要由哈希表占用。或者，我们通过利用小波树背后的思想为命名函数构建一个动态数据结构。该空间严格限制为2nlogn（1 + o（1））位，同时支持O（logn）的查询和更新时间。

2013-06-15cs.DS

基于概率上下文无关文法的文法压缩

Grammar compression with probabilistic context-free grammar

我们提出了一种新的通用无损文本压缩方法，基于语法压缩。在文献中，目标字符串$T$已被压缩为满足$L(G) = \{T\}$的乔姆斯基范式的上下文无关文法$G$。这种语法通常称为\emph{straight-line program}（SLP）。在本文中，我们认为概率文法$G$生成$T$，但不一定是唯一的元素$L(G)$。为了明确地恢复原始文本$T$，我们以压缩的形式保持语法$G$和从$G$中的开始符号开始的$T$的推导树。我们展示了一些简单的证据，证明我们的建议确实比SLP更有效的某些文本，无论是从理论和实践的角度来看。

2020-03-18cs.DS

基于语法压缩文本的卷积计算

Computing convolution on grammar-compressed text

长度为$N$的文本串$S$和长度为$m$的模式串$P$之间的卷积可以通过FFT在$O(N \log m)$时间内计算。众所周知，各种类型的近似字符串匹配问题都可以简化为卷积。在本文中，我们假设输入的文本字符串是在一个压缩的形式，作为一个\emph{straight-line program (SLP)}，这是一个上下文无关的语法在乔姆斯基范式，推导出一个单一的字符串。给定大小为$n$的SLP $\mathcal{S}$描述长度为$N$的文本$S$，以及长度为$m$的未压缩模式$P$，我们提出了一个简单的$O(nm \log m)$时间算法来计算$S$和$P$之间的卷积。然后，我们表明，这可以提高到$O(\min\{nm, N-α\} \log m)$的时间，其中$α\geq 0$是一个值，表示的冗余量，SLP捕获的长度$m$子串。改进的关键是我们的新算法，在$O(r \log m)$时间内计算大小为$r$的trie和长度为$m$的模式串$P$之间的卷积。

2013-03-16cs.DS

语法压缩文本的高效LZ78因子分解

Efficient LZ78 factorization of grammar compressed text

我们提出了一个有效的算法计算LZ78分解的文本，其中的文本表示为一个直线程序（SLP），这是一个上下文无关的语法在乔姆斯基范式，生成一个单一的字符串。给定大小为$n$的SLP表示长度为$N$的文本$S$，我们的算法计算$T$在$O(n\sqrt{N}+m\log N)$时间和$O(n\sqrt{N}+m)$空间中的LZ 78因子分解，其中$m$是产生的LZ 78因子的数量。我们还展示了如何改进算法，使$n\sqrt{N}$长期的时间和空间复杂性成为$nL$，其中$L$是最长的LZ 78因子的长度，或$(N - α)$，其中$α\geq 0$是一个数量，这取决于SLP捕获相对于一定长度的$S$的子串的冗余量。由于$m = O(N/\log_σN)$，其中$σ$是字母表大小，当$σ$是常数时，后者至少与在未压缩字符串上运行的线性时间算法一样快，并且当文本是可压缩的时，即当$m$和$n$很小时，可以更有效。

2012-07-19cs.DS

压缩字符串中的指纹

Fingerprints in Compressed Strings

字符串的Karp-Rabin指纹是一种哈希值，由于其强大的属性，已被用于许多字符串算法。在本文中，我们将展示如何构建一个数据结构的字符串$S$的大小$N$压缩的上下文无关的语法大小$n$，回答指纹查询。也就是说，给定索引$i$和$j$，查询的答案是子字符串$S[i,j]$的指纹。我们提出了第一个O（n）空间的数据结构，回答指纹查询，而不解压缩任何字符。对于直线程序（SLP），我们得到$O(\log N)$查询时间，对于线性SLP（捕获LZ 78压缩及其变体的SLP衍生物），我们得到$O(\log \log N)$查询时间。因此，我们的数据结构具有相同的时间和空间的复杂性，在SLP中的随机访问。我们利用指纹数据结构，以解决最长的共同扩展问题在查询时间$O(\log N \log \lce)$和$O(\log \lce \log\log \lce + \log\log N)$的SLP和线性SLP，分别。这里，$\lce$表示LCE的长度。

2013-05-16cs.DS

面向SLP压缩文本的快速且节省空间的再压缩工程实现

Engineering Fast and Space-Efficient Recompression from SLP-Compressed Text

本文首次实现压缩时间内运行的再压缩RLSLP构建，基于LZ77近似，相比非压缩方法实现46倍加速和17倍内存降低，为快速索引构建提供实用路径。

2025-10-23cs.DS

通过再压缩实现更快的完全压缩模式匹配

Faster fully compressed pattern matching by recompression

本文研究了一个完全压缩的模式匹配问题。压缩由直线程序（SLP）表示，即一种上下文无关文法，只生成一个字符串;该术语完全意味着模式和文本都以压缩形式给出。使用最近开发的局部再压缩技术来处理这个问题：重构SLP，使得模式和文本的子串以相同的方式在两个SLP中编码。为此，SLP被本地解压缩，然后以统一的方式重新压缩。该技术产生用于压缩模式匹配的O（（n+m）log M）算法，假设M适合O（1）机器字，其中n（m）是文本（模式）的压缩表示的大小，而M是解压缩模式的大小。如果只有m+n适合O（1）机器字，则运行时间增加到O（（n+m）log M log（n+m））。算法复杂度为O（n^2m）。

2013-06-25cs.DS

SLP压缩文档的恒定延迟枚举

Constant-delay enumeration for SLP-compressed documents

本研究提出一种算法，在SLP压缩文档上，通过带注释自动机查询，实现预处理后恒定延迟枚举结果，改进了先前工作的对数延迟，并支持文档编辑。

2025-02-20cs.DScs.FLcs.LO