arXiv cs/03060462003-06-11cs.DS

格函数的紧逼近及其在大字母文本搜索中的应用

Compact Approximation of Lattice Functions with Applications to Large-Alphabet Text Search

Paolo Boldi, Sebastiano Vigna

摘要：

我们提出了一个非常简单的随机数据结构，存储从上面的一个格值函数的近似。计算函数值需要恒定的步骤数，并且错误概率可以与空间使用相平衡，就像在Bloom过滤器中一样。该结构特别适合于在其大多数域上处于底层的函数。然后，我们将展示如何使用我们的方法来存储在一个紧凑的方式坏字符移位函数的变体的博耶-摩尔文本搜索算法。因此，我们获得了这些算法的实际实现，可以用于大型字母表，如Unicode排序规则元素，与一个小的设置时间。本文中描述的想法已在MG 4J项目（http：//mg4j.dsi.unimi.it/）中根据GNU通用公共许可证作为自由软件实现。

英文摘要：

We propose a very simple randomised data structure that stores an approximation from above of a lattice-valued function. Computing the function value requires a constant number of steps, and the error probability can be balanced with space usage, much like in Bloom filters. The structure is particularly well suited for functions that are bottom on most of their domain. We then show how to use our methods to store in a compact way the bad-character shift function for variants of the Boyer-Moore text search algorithms. As a result, we obtain practical implementations of these algorithms that can be used with large alphabets, such as Unicode collation elements, with a small setup time. The ideas described in this paper have been implemented as free software under the GNU General Public License within the MG4J project (http://mg4j.dsi.unimi.it/).

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

CSA ++：大字母的快速模式搜索

CSA++: Fast Pattern Search for Large Alphabets

文本中的索引模式搜索已经研究了几十年。对于小字母，FM索引提供了无与伦比的性能，在所需的空间和搜索速度方面。对于大字母表--例如，当标记是单词时--情况更加复杂，FM-Index表示是紧凑的，但可能很慢。在本文中，我们应用最近的创新领域的倒排索引和文档检索压缩模式搜索，包括字母到数百万。从实际的压缩后缀数组结构开发的贞根，我们表明，埃利亚斯-法诺代码为基础的方法，文档索引可以适应提供新的权衡选项，在索引模式搜索，并提供显着更快的模式处理相比，以前的实现，以及减少空间的要求。我们报告了一个详细的实验评估，证明了新方法的相对优势，使用标准的比萨饼和辣椒的方法和文件，以及应用用例来自大规模数据压缩，并从自然语言处理。对于大的字母表，新的结构产生的空间要求接近那些最高度压缩的FM-Index变体，以及无与伦比的搜索吞吐率。

2016-05-18cs.DS

基于字母表的并行模式搜索后缀树构造算法

Alphabet-dependent Parallel Algorithm for Suffix Tree Construction for Pattern Searching

最近，后缀树在处理诸如DNA或蛋白质序列之类的大数据序列方面已经成为非常成功的数据结构。因此，并行架构已经变得无处不在。我们提出了一种新的字母依赖的并行算法，试图利用多核架构的反常。微卫星对于它们的生物相关性是重要的，因此我们的算法是基于时间有效的构建来识别这样的微卫星。我们在实验上实现了高达15倍的加速比的顺序算法上不同的生物序列的输入大小。

2017-04-19cs.DS

基于Wexponential搜索树的字母相关字符串搜索

Alphabet-Dependent String Searching with Wexponential Search Trees

如果坚持线性大小的数据结构和确定性的最坏情况运行时间，则广泛地假设$O(m+\lg σ)$是在存储大小为$σ$的字母表上的字符串的压缩trie中找到长度为$m$的模式所能做的最好的选择[Cole等人，ICALP'06]。在这篇文章中，我们首先展示了一个相当简单的组合，众所周知的想法产生$O(m+\lg\lg σ)$确定性的最坏情况下的静态尝试搜索时间。然后，我们继续进行动态尝试，其中我们实现每个查询或更新的$O(m+\frac{\lg^{2}\lgσ}{\lg\lg\lgσ})$的最坏情况界限，这应该再次与先前已知的$O(m+\lgσ)$确定性最坏情况界限进行比较[Cole等人，ICALP'06]，以及依赖于字母表\emph{in}的$O(m+\sqrt{\lg n/\lg\lg n})$确定性最坏情况界限[Andersson和Thorup，SODA'01]，其中$n$是trie中的节点数。我们的更新过程的基础是指数搜索树的加权变体，虽然简单，但可能是独立的兴趣。作为一个特定应用，上述界限（静态和动态）适用于后缀树。在那里，更新对应于在文本中添加或追加一个字母，另外一个目标是更新比重新匹配整个后缀更快。我们展示了如何在$O(\lg\lg n + \frac{\lg^{2}\lgσ}{\lg\lg\lgσ})$时间内做到这一点，这改善了先前已知的$O(\lg n)$结合[Amir等人…

2013-02-14cs.DS

字母码和二叉搜索树的界与算法

Bounds and Algorithms for Alphabetic Codes and Binary Search Trees

本文设计了构造字母码的新线性时间算法并证明其接近最优，进而利用该结果改进了最优二叉搜索树平均代价的已知最佳界。

2024-07-23cs.DScs.ITmath.IT

混合FM索引与压缩后缀数组：在1阶秩编码上进行反向搜索

More RLBWT Tricks

Center for Biotechnology and Bioengineering (CeBiB)（生物技术生物工程中心）

针对FM索引和CSA在字母表增大时的性能差异，提出一种基于1阶秩编码的混合索引，通过反向搜索结合单步CSA恢复信息，在合成数据上速度最快，但空间开销较大。

2026-11-06cs.DS

一族快速精确模式匹配算法

A family of fast exact pattern matching algorithms

描述了一类基于比较的精确模式匹配算法。它们利用多维数组，以便在搜索周期的每次迭代中处理多个相邻的文本窗口。这种方法以空间为代价降低了平均时间复杂度。这一系列的算法表现良好的短模式和中等大小的字母。在这种情况下，窗口的几个模式的长度一次移动是很有可能的，这是算法成功的主要因素。我们的算法优于Boyer-Moore-Horspool算法，无论是在原始版本中还是在星期天的快速搜索修改中，在一个宽的图案长度-字母表大小的平面区域中。在某些子区域，所提出的算法是所有已知的精确模式匹配算法中最快的。也就是说，当字母大小为约30-40并且模式长度为约4-10时，它们表现最好。这样的参数对于在自然语言文本数据库中的搜索是典型的。

2016-08-30cs.DS

更多相关论文收起更多论文

多对数字母表上的线性空间子串范围计数

Linear-Space Substring Range Counting over Polylogarithmic Alphabets

Bille和Gørtz（2011）最近介绍了子串范围计数的问题，为此我们被要求将具有整数标签的$n$字符的字符串$S$存储在（[0，u]）中，以便稍后，给定间隔（[a，b]）和长度为$m$的模式$P$，我们可以快速计数其第一个字符的标签在（[a，u]）中的$P$的出现次数。b]）。他们展示了如何在$\Oh{n \log n / \log \log n}$空间中存储$S$，并在$\Oh{m + \log \log u}$时间中回答查询。我们证明，如果$S$是在一个字母表的大小（\polylog（n）），那么我们可以实现最佳的线性空间。此外，如果（u = n \polylog（n）），则我们还可以将时间减少到$\Oh{m}$。我们的结果给出了位置受限子串计数的线性空间和时间界，以及区间索引子串、间隔索引子串和对齐模式匹配的计数形式.

2012-02-15cs.DS

紧空间中压缩文本索引的线性时间构造

Linear time construction of compressed text indices in compact space

我们表明，压缩后缀数组和压缩后缀树的长度$n$在一个整数字母表的大小$σ\leq n$的字符串都可以内置的$O(n)$（随机）的时间只使用$O(n\logσ)$位的工作空间。以前使用$O(n\logσ)$位空间的最快构造算法分别花费时间$O(n\log\logσ)$和$O(n\log^εn)$（其中$ε$是小于$1$的任何正常数）。在传递中，我们表明，长度为$n$的字符串在大小为$σ$的字母表上的Burrows-Wheeler变换可以建立在确定性的$O(n)$时间和空间$O(n\logσ)$中。我们还表明，在相同的时间和空间内，我们可以进行多种序列分析任务，并构造压缩后缀数组和压缩后缀树的一些变体。

2016-05-23cs.DS

基于有序表子集的前序索引的通用字母表联机索引

On-line Indexing for General Alphabets via Predecessor Queries on Subsets of an Ordered List

文本索引问题是一个基本的算法问题，其中人们希望预处理文本，以便快速定位文本中的模式查询。在动态和在线数据的不断发展的世界中，还需要开发解决方案来索引在线到达的文本，即一次一个字符，并且仍然能够快速定位所述模式。本文提出了一种新的在线索引解决方案，通过在$O(\log \log n + \log\log |Σ|)$最坏情况下每个字符的期望时间，其中$n$是字符串的大小，和$Σ$是字母表中提供一个在线后缀树的结构。这改进了所有先前已知的用于一般字母表的在线后缀树构造，代价是具有预期的运行时间。其主要思想是减少问题的后缀树在线构建一个有趣的变体的顺序维护问题，这可能是独立的利益。在著名的顺序维护问题中，人们希望在插入、删除和顺序查询下维护大小为$n$的动态列表$L$。在顺序查询中，一个查询从$L$获得两个节点，并且必须确定在$L$中哪个节点在另一个节点之前。在有序动态列表问题（POLP）的动态子集上的前驱搜索中，还需要维护$L$的动态子集，使得给定某些$u\in L$，可以在任何子集中快速定位$u$的前驱。本文提供了一种有效的数据结构，能够解决POLP与最坏情况下的预期边界相匹配的RAM模型中的前趋搜索的当前最佳已知的边界，改善了解决方案，可以隐式地从Dietz [Die89]。此外，本文还改进或简化了一些其他应用程序的边界，包括完全持久化数组和订单维护问题。

2012-08-19cs.DS

基于字母重排的BWT游程最小化算法的复杂性

On the Complexity of BWT-runs Minimization via Alphabet Reordering

Burrows-Wheeler变换（BWT）是文本压缩和索引的重要工具。它于1994年首次引入，为经典后缀树数据结构在接近基于熵的下界的空间中的第一个编码提供了主干。最近，已经有紧凑的后缀树在空间中成比例的“$r$“，在BWT中运行的数量，以及$r$的外观在新算法的时间复杂度的发展。与其他流行的压缩度量方法不同，参数$r$对文本字母表的词典顺序很敏感。尽管过去有几次尝试利用这一点，但多年来一直存在一种可证明有效的算法，用于找到或近似最小化$r$的字母顺序。我们提出的第一组结果的计算复杂性最小化BWT运行通过字母表重排。我们证明了这个问题的决策版本是NP完全的，不能解决的时间$2^{o(σ+ \sqrt{n})}$，除非指数时间假设失败，其中$σ$是字母表的大小和$n$是文本的长度。我们还表明，优化问题是APX困难的。在这样做的时候，我们涉及到两个以前不同的主题：最佳的旅行销售人员的路径和运行的BWT的文本的数量，提供了一个令人惊讶的图形和文本压缩的问题之间的连接。此外，有关最近的结果在字典压缩领域，我们说明，任意字母顺序提供了一个$O(\log^2 n)$ -近似。我们提供了一个最佳的线性时间算法的问题，找到一个运行最小化排序的符号（只发生一次）的子集的顺序约束下，并证明了这个问题的推广到一类图的BWT一样的属性称为惠勒图是NP-完全的。

2020-02-18cs.DS

快速紧凑的正则表达式匹配

Fast and Compact Regular Expression Matching

我们研究了字符串匹配中的4个问题，即正则表达式匹配，近似正则表达式匹配，字符串编辑距离，和子序列索引，在一个标准的字RAM模型的计算，允许在恒定的时间内操作的字符串大小的字。我们展示了如何提高空间和/或删除依赖于字母表的大小，为每个问题使用现有算法的改进制表技术或通过结合已知的算法在一个新的方式。

2008-09-22cs.DS

存储具有紧致可预测空间的Trie

Storing a Trie with Compact and Predictable Space

本文提出了一种Trie结构的存储方法，称为坐标哈希Trie。其基本思想是使用一个全局哈希表和一个特殊的哈希函数来存储trie的所有边。对于具有$n$节点和大小为$m$的字母表的trie，查找、插入和删除子节点的执行时间对于平均情况为$O(1)$，对于最坏情况为$O(m)$。这种方法使用的空间是$O(n)$，与$m$无关。空间消耗的常数是可预测的，不需要重新分配或重新分配。此外，这种方法非常容易实现。

2023-03-26cs.DS

最优原地后缀排序

Optimal In-Place Suffix Sorting

后缀数组是许多涉及字符串搜索和数据压缩的应用程序的基本数据结构。在过去的20年里，设计时间/空间有效的后缀阵列构造算法引起了人们的极大关注，并取得了相当大的进展。我们得到的\emph{first}在位后缀数组的建设算法，是最佳的时间和空间（只读）整数字母表。具体而言，本文做出了以下贡献：1.对于整数字母表，我们得到了第一个后缀排序算法，它需要线性时间，只使用$O(1)$工作空间（工作空间是输入字符串和输出后缀数组之外所需的总空间）。输入字符串可以在算法执行期间被修改，但是应该在算法终止时被恢复。2.我们通过为只读整数字母表提供第一个就地线性时间算法来加强第一个结果，该算法具有$|Σ|=O(n)$（即，不能修改输入字符串）。该算法解决了Franceschini和Muthukrishnan在ICALP 2007中提出的公开问题。开放性问题要求在$o(n\log n)$时间内设计就地算法，并最终在$O(n)$时间内使用$|Σ| \leq n$设计（只读）整数字母表。我们的结果实际上稍微强一些，因为我们允许$|Σ|=O(n)$。3.此外，对于只读通用字母表（即，只允许比较），我们提出了一个最优的原地$O(n\log n)$时间后缀排序算法，恢复了Manzini和Ferragina在ESA 2002中提出的一个公开问题Franceschini和Muthukrishnan的结果.

2018-11-09cs.DS

紧空间中的贪婪最短公共超弦逼近

Greedy Shortest Common Superstring Approximation in Compact Space

给定一组字符串，最短公共超串问题是找到包含所有输入字符串的最短可能字符串。该问题是NP难的，但大量的工作已经进入设计近似算法来解决这个问题。我们提出了第一个时间和空间有效的实现经典的贪婪启发式合并字符串的重叠长度的递减顺序。我们的实现在$O(n \log σ)$时间和空间位中工作，其中$n$是输入字符串的总长度，$σ$是字母表的大小。索引构建后，我们的算法的一个实际实现使用大约$5 n \log σ$位的空间和合理的时间为一个真正的数据集，由DNA片段。

2019-12-03cs.DS

整数字母表上 DAWG、对称索引结构与 MAW 的线性时间计算

Linear-time Computation of DAWGs, Symmetric Indexing Structures, and MAWs for Integer Alphabets

本文提出在整数字母表上利用后缀树以线性时间构造 DAWG 的算法，并据此首次实现词缀树、对称 CDAWG 等结构的线性时间构建，同时给出 MAW 的最优输入输出敏感计算。

2023-07-04cs.DScs.FL

基于区间的编码方法中算法选择的研究

Investigations on Algorithm Selection for Interval-Based Coding Methods

本文研究基于区间的熵编码方法中的算法选择问题，通过伪代码分析符号搜索与区间边界更新策略，证明二进制索引方法在自适应压缩中整体更优，并提出一种更灵活且复杂度部分更低的变体。

2024-09-25cs.DScs.ITmath.IT

图的表示指令集

Instruction set for the representation of graphs

Department of Computer Languages and Computer Science University of Málaga（计算机语言与计算机科学系马德里大学）；ITIS Software. Universidad de Málaga（ITIS软件. 马德里大学）

IsalGraph通过紧凑的字符串编码实现图结构的表示，具有同构不变性和语言模型兼容性，适用于图相似性搜索和生成。

2026-03-11cs.AIcs.CLcs.DS

关于最优搜索树的条件分支

On Conditional Branches in Optimal Search Trees

有效地找到最佳字母决策树的算法--如Hu-Tucker算法--已经建立并普遍使用。然而，这样的算法通常假设每个决策的成本是均匀的，因此与决策的结果无关。少数没有这个假设的算法，如果决策结果是“小于”，则使用一个成本，否则使用另一个成本。在实践中，这两个假设都不适用于为今天的微处理器优化的软件。这样的软件通常有一个成本为更可能的决策结果和一个更大的成本-往往更大-为不太可能的决策结果。因此，该问题及其推广适用于软件中的硬编码静态决策树实例，例如，用于优化程序瓶颈或用于编译switch语句。一个O（n^3）-时间O（n^2）-空间动态规划算法可以解决这个最优二进制决策树问题，并且这种方法有许多推广，可以优化具有预测分支能力的处理器的行为，包括静态和动态。这种公式化的解决方案在实践中通常比文献中公式化的“最优”决策树更快。不同的搜索范式有时可以产生更好的性能。

2006-05-23cs.DScs.IRcs.PF