Efficient Dynamic Dictionary Matching with DAWGs and AC-automata
字典匹配是在文本$T$上的集合$D$(称为字典)中找到所有模式的任务。Aho-Corasick-automaton(AC-automaton)是一种数据结构,它使我们能够在$O(d\logσ)$预处理时间和$O(n\logσ+occ)$匹配时间内解决字典匹配问题,其中$d$是$D$中模式的总长度,$n$是文本的长度,$σ$是字母表大小,而$occ$是文本中所有模式出现的总次数。动态字典匹配是一种变体,其中模式可以动态地插入$D$中和从$D$中删除。如果只允许插入,这个问题被称为半动态字典匹配。在本文中,我们提出了两个有效的算法。对于长度为$m$的模式,我们的第一个算法在半动态设置下支持$O(m\logσ+\log d/\log\log d)$时间的插入和$O(n\logσ+occ)$时间的模式匹配,在动态设置下通过一些修改支持$O(σm+\log d/\log\log d)$时间的插入和删除以及$O(n(\log d/\log\log d+\logσ)+occ(\log d/\log\log d))$时间的模式匹配。该算法基于有向无环词图。我们的第二个算法,这是基于AC-自动机,支持插入在$O(m\log σ+u_f+u_o)$时间的半动态设置,并支持插入和删除在$O(σm+u_f+u_o)$时间的动态设置,其中$u_f$和$u_o$分别表示在故障功能和输出功能需要更新的状态的数量…
2019-02-21 cs.DS
Streaming dictionary matching with mismatches
在$k$ -mismatch问题中,我们给定一个长度为$n$的模式和一个文本,并且必须找到模式和文本之间的汉明距离最多为$k$的所有位置。最近的一系列突破为这个问题带来了一种超高效的流算法,每个字母只需要$O(k \log \frac{n}{k})$空间和$O(\log \frac{n}{k} (\sqrt{k \log k} + \log^3 n))$时间[Clifford,Kociumaka,Porat,SODA 2019]。在这项工作中,我们考虑一个严格困难的问题称为字典匹配与$k$不匹配。在这个问题中,我们给出了一个$d$模式的字典,其中每个模式的长度最多为$n$,并且必须找到距离其中一个模式在汉明距离$k$内的文本的所有子串。我们开发了一个流算法,这个问题与$O(k d \log^k d \mathrm{polylog}(n))$空间和$O(k \log^{k} d \mathrm{polylog}(n) + |\mathrm{occ}|)$时间的文本的位置。该算法是随机的,并以高概率输出正确答案。在下限侧,我们表明,任何流式算法的字典匹配与$k$不匹配需要$Ω(k d)$位的空间。
2021-06-20 cs.DS
Counting Distinct Patterns in Internal Dictionary Matching
我们认为,为了能够有效地回答查询$CountDistinct(i,j)$,也就是说,给定$i$和$j$从$\mathcal{D}$中返回的模式的数量发生在片段$T[i \mathinner{.\,.} j]$的文本$T$的长度$n$和字典$\mathcal{D}$预处理的问题。字典是内部的,因为$\mathcal{D}$中的每个模式都是作为$T$的一个片段给出的。这样,字典占用的空间与模式的数量成正比,而不是与模式的总长度成正比,模式的总长度可以是$Θ(n\cdot d)$,$d=|\mathcal{D}|$。最近在一项引入内部字典匹配的工作中提出了一种$\tilde{\mathcal{O}}(n+d)$大小的数据结构,该结构大约在$\tilde{\mathcal{O}}(1)$时间内回答$CountDistinct(i,j)$查询$\mathcal{O}(\log n)$ [ISAAC 2019]。在这里,我们提出了一个$\tilde{\mathcal{O}}(n+d)$大小的数据结构,回答$CountDistinct(i,j)$查询$2$ -大约在$\tilde{\mathcal{O}}(1)$的时间。使用范围查询,对于任何$m$,我们给出了一个$\tilde{\mathcal{O}}(\min(nd/m,n^2/m^2)+d)$大小的数据结构,在$\tilde{\mathca…
2020-05-12 cs.DS
Succinct Dictionary Matching With No Slowdown
字典匹配问题是字符串匹配中的一个经典问题:给定一个由d个字符串组成的集合S,其总长度为n个字符,在一个大小为sigma的字母表上(不一定是常数),建立一个数据结构,使得我们可以在任何文本T中匹配属于S的所有字符串。这个问题的经典解决方案是Aho-Corasick自动机,它使用占用O(mlog m)位空间的数据结构在O(|T| + occ)时间内找到文本T中所有occ出现,其中m <= n + 1是自动机中的状态数。在本文中,我们表明,Aho-Corasick自动机可以表示在短短的m(log sigma + O(1))+ O(d log(n/d))位的空间,同时仍然保持在O(|T| + occ)时间回答查询的能力。据我们所知,目前最快的简洁的数据结构的字典匹配问题使用的空间O(n log sigma),而在O(|T| log log n + occ)时间回答查询。在本文中,我们还展示了如何将空间占用减少到m(H 0 + O(1))+ O(d log(n/d)),其中H 0是出现在集合S的trie表示中的字符的经验熵,假设对于任何常数0 <n < 1,sigma < m^n。查询时间保持不变。
2010-02-14 cs.DS
Internal Dictionary Matching
我们介绍的数据结构回答查询的出现模式从一个给定的字典$\mathcal{D}$在片段的一个给定的字符串$T$的长度$n$。字典是内部的,因为$\mathcal{D}$中的每个模式都是作为$T$的一个片段给出的。这样,$\mathcal{D}$占用的空间与模式$d=|\mathcal{D}|$的数量成比例,而不是它们的总长度,后者可能是$Θ(n\cdot d)$。特别是,我们考虑以下类型的查询:报告和计数的所有出现的模式从$\mathcal{D}$在一个片段$T[i..j]$和报告不同的模式从$\mathcal{D}$发生在$T[i..j]$。我们将展示如何构建,在$\mathcal{O}((n+d) \log^{\mathcal{O}(1)} n)$的时间,回答这些查询的时间$\mathcal{O}(\log^{\mathcal{O}(1)} n+|output|)$的数据结构。计数模式的情况更加复杂,需要将局部一致性解析与正交范围搜索相结合。另一方面,报告不同的模式,使用字符串中最大重复的结构。最后,我们提供了紧-次多项式因子-上界和下界的情况下,一个动态字典。
2019-09-25 cs.DS
Optimal Rank and Select Queries on Dictionary-Compressed Text
我们研究的问题,支持查询的字符串$S$的长度$n$内的一个字符串吸引子$S$的大小$γ$有界的空间。最近的工作表明,在$O\left (γ \rm{polylog}\ n \right)$空间内,$S$上的随机访问可以在最佳$O(\log(n/γ)/\log\log n)$时间内得到支持。在本文中,我们将这一结果扩展到\emph{rank}和\emph{select}查询,并提供与我们的上界匹配的字母表的多对数大小的下限。我们的解决方案给出了一个空间-时间权衡的形式,这是更普遍的比以前已知的语法,并提高了现有的界限LZ 77压缩文本的$\log\log n$时间因子在\emph{select}查询。我们还提供了匹配的下限和上限为\emph{partial sum}和\emph{predecessor}查询吸引子有界空间内,并扩展我们的下限,包括导航字典压缩树表示。
2018-12-21 cs.DS
Compressed Dictionary Matching on Run-Length Encoded Strings
针对游程编码压缩字符串的字典匹配问题,提出基于压缩Aho-Corasick自动机与新型字符串索引的算法,实现接近最优的时间与线性压缩空间复杂度,为该问题首个非平凡解决方案。
2025-09-03 cs.DS
Improved Approximate String Matching and Regular Expression Matching on Ziv-Lempel Compressed Texts
我们研究了近似字符串匹配和正则表达式匹配问题的情况下,待搜索的文本被压缩的Ziv-Lempel自适应字典压缩方案。我们提出了一个时间-空间的权衡,导致算法提高了以前已知的复杂性这两个问题。特别是,我们显着改善的空间界限,这在实际应用中很可能是一个瓶颈。
2007-05-03 cs.DS
Pattern Masking for Dictionary Matching
本文研究字典匹配模式掩码(PMDM)问题,证明其NP完全性,提出多种精确算法与数据结构,建立其与最小并集问题的双向归约,得到紧近似比的近似算法,可用于敏感数据记录链接与查询词丢弃场景。
2024-03-08 cs.DS
Nearly Optimal Internal Dictionary Matching
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Massachusetts Institute of Technology(麻省理工学院);Feicheng Hailiang Foreign Language School(费城海亮外国语学校);Tsinghua University(清华大学)
提出一种名为基本子串结构(BASS)的O(n)大小数据结构,用于内部字典匹配问题,在近乎最优的查询和预处理时间内处理所有查询类型,包括CountDistinct、Count和ReportDistinct查询的加速。
2026-07-02 cs.DS
Online matching games in bipartite expanders: applications to bitprobes and dictionaries with non-adaptive probing
National Research University Higher School of Economics, Faculty of Computer Science(高等经济大学计算机学院);Department of Computer and Information Sciences, Towson University(汤森大学计算机与信息科学系)
本文利用二分展开图上的在线匹配博弈策略,构造了非自适应探测的静态和动态字典及动态1比特探针方案,实现了更小的存储开销和多项式时间操作。
2026-09-15 cs.DS
Quantum Algorithm for the Multiple String Matching Problem
本文针对多字符串匹配问题提出一种量子算法,查询复杂度为 O(n+√(mL log n)+m log n),时间复杂度为 O^*(n+√(mL)),达到量子下界(仅差对数因子),可视为 Aho-Corasick 算法的量子类比,在长单词字典场景下优势显著。
2024-11-22 cs.DS quant-ph
Optimal-Time Dictionary-Compressed Indexes
我们描述了第一个自我索引能够计数和定位模式发生在最佳时间内的空间范围内的最流行的字典压缩机的大小。为了实现这一结果,我们结合了几个最近的研究结果,包括\emph{string attractors} -新的组合对象,包括最知名的压缩性措施高度重复的文本-,和语法的基础上\emph{locally-consistent parsing}。更详细地,令$γ$为长度为$n$的文本$T$的最小吸引子的大小。$γ$是一个(渐近)下界的大小字典压缩器的基础上Lempel-Ziv,上下文无关的语法,和许多其他的。已知最小的吸引子文本表示使用空间$O(γ\log(n/γ))$,而我们最轻的索引在相同的渐近空间内工作。令$ε>0$是在构造时固定的适当小的常数,$m$是模式长度,$occ$是其文本出现的次数。我们的索引在$O(m+\log^{2+ε}n)$时间中计数模式出现,并在$O(m+(occ+1)\log^εn)$时间中定位它们。这些时间已经超过了大多数字典压缩索引的时间,同时在$O((m+occ)\,\textrm{polylog}\,n)$时间内为任何索引搜索获得最小的渐近空间。此外,通过将空间增加到$O(γ\log(n/γ)\log^εn)$,我们将定位时间减少到最佳$O(m+occ)$,并且在$O(γ\log(n/γ)\log n)$空间内,我们还可以计入最佳$O(m)$时间。以前没有获…
2019-09-04 cs.DS
Matching Pursuits with Random Sequential Subdictionaries
匹配追踪算法是信号处理中常用的一类贪心算法,用于解决稀疏逼近问题。它们依赖于一个原子选择步骤,需要计算大量的投影,这对于大型字典来说可能是计算成本很高的,并且会影响它们在编码应用中的竞争力。我们建议在分解过程中使用非自适应随机子字典序列,从而以概率方式解析大型字典,无需额外的投影成本或参数估计。基于顺序统计量的理论建模,以及实验证据表明,新的算法可以有效地用于稀疏逼近问题。提出了一种多尺度时频字典在音频信号压缩中的应用,并讨论了其复杂性和实际实现。
2012-04-05 cs.DS
The complexity of the Multiple Pattern Matching Problem for random strings
我们推广了一个多字符串模式匹配算法,最近提出的Fredriksson和Grabowski [J. Discr. Alg. 7,2009],以处理大小为$s$的字母表上的任意字典。如果$r_m$是字典中长度为$m$的单词的数量,而$ϕ(r) = \max_m \ln(s\, m\, r_m)/m$,对于某个常数$κ_{{}_\textrm{UB}}$,该算法读取的字符串字符的复杂度最多为$κ_{{}_\textrm{UB}}\, ϕ(r)$。另一方面,我们推广了姚[SIAM J. COMPUT. 8,1979],对于具有单一模式的问题,处理任意字典,并确定它至少为$κ_{{}_\textrm{LB}}\, ϕ(r)$。这证明了算法的最优性,改进和纠正了以前的主张。
2017-06-30 cs.DS
Small Uncolored and Colored Choice Dictionaries
选择字典可以用参数$n\in\mathbb{N}$初始化,并且随后在插入、删除、成员查询和返回$S$的任意元素的操作$\textit{choice}$下维护$\{1,\ldots,n\}$的初始空子集$S$。选择字典是空间高效计算的基础,有许多应用。最佳先前选择字典可以用$n$和$t\in\mathbb{N}$初始化,并且随后在$O(t)$时间内执行所有操作,并且占用具有$w=Ω(\log n)$位的字长的字RAM上的$n+O(n({t/w})^t+\log n)$位。我们描述了一个新的选择字典,它在恒定时间内执行所有操作,除了存储整数$n$所需的空间外,还仅占用$n+1$位,如果$w=o(n)$,则这被证明是最佳的。除了$n$之外,还使用$c\in\mathbb{N}$来初始化被称为着色选择字典的选择字典的泛化,并且随后在操作$\textit{setcolor}(j,\ell)$、$\textit{color}(\ell)$和$\textit{choice}(j)$下维护$\{1,\ldots,n\}$的半分区$(S_0,\ldots,S_{c-1})$,所述操作将$\ell$从其当前子集移动到$S_j$,所述操作返回具有$\ell\in S_j$的唯一$j\in\{0,\ldots,c-1\}$,所述操作返回$S_j$的任意元素。我们描述了新的彩色选择字典,如果初始化与常数$c…
2018-09-20 cs.DS
Quantum Sparse Recovery and Quantum Orthogonal Matching Pursuit
Munich Center for Quantum Science and Technology (MCQST)(慕尼黑量子科学与技术中心)
针对非正交过完备字典中的量子稀疏恢复问题,提出量子正交匹配追踪算法,在多项式时间内恢复K-稀疏状态,并应用于稀疏量子层析成像,实现查询复杂度加速。
2025-10-08 cs.DS cs.LG quant-ph
Fast greedy algorithms for dictionary selection with generalized sparsity constraints
Graduate School of Information Sciences and Technology(信息科学技术研究生院);The University of Tokyo(东京大学)
在字典选择中,从有限的候选中选择几个原子,这些原子成功地近似稀疏表示中的给定数据点。我们提出了一种新的有效的贪心算法的字典选择。我们的算法不仅工作速度比已知的方法,但它也可以处理更复杂的稀疏约束,如平均稀疏。使用数值实验,我们表明,我们的算法优于已知的方法的字典选择,实现竞争力的表现与字典学习算法在一个较小的运行时间。
2018-09-07 cs.DS cs.LG stat.ML
Classical and Quantum Algorithms for Constructing Text from Dictionary Problem
我们研究解决从字典(小字符串序列)构建文本(长字符串)问题的算法。这个问题在生物信息学中有应用,并且与从小片段重建长DNA序列的序列组装方法有关。问题是从可能有交集的字符串$s^1,\dots, s^m$构造一个长度为$n$的字符串$t$。我们提供了一个经典的算法与运行时间$O\left(n+L +m(\log n)^2\right)=\tilde{O}(n+L)$其中$L$是长度的总和$s^1,\dots,s^m$。我们提供了一个量子算法的运行时间$O\left(n +\log n\cdot(\log m+\log\log n)\cdot \sqrt{m\cdot L}\right)=\tilde{O}\left(n +\sqrt{m\cdot L}\right)$。此外,我们证明了经典算法的下界是$Ω(n+L)$。因此,我们的经典算法是最佳的对数因子,和我们的量子算法相比,在字典中的字符串的非恒定长度的情况下,任何经典算法的速度。
2020-05-28 cs.DS quant-ph
Dynamic Path-Decomposed Tries
关键字字典是一个关联数组,其键是字符串。最近的应用程序在主存储器中处理大量的关键字字典,需要一个空间效率的实现。当局限于静态应用程序时,有许多基于实用简洁数据结构进步的高度压缩的关键字字典。然而,由于大多数简洁的数据结构仅在静态情况下有效,因此仍然难以实现空间有效且动态的关键字字典。在这篇文章中,我们提出了这样一个关键字字典。我们的主要思想是拥抱路径分解技术,这是为了构建缓存友好的尝试。为了将路径分解后的trie树存储在较小的内存中,我们设计了基于最近的紧凑哈希trie树表示的数据结构。在真实世界数据集上的实验表明,我们的动态关键字字典需要的空间比现有的最小的少68%,同时实现了相关的时空权衡。
2020-07-22 cs.DS cs.IR
An Optimal Bloom Filter Replacement Based on Matrix Solving
我们提出了一种方法来保持一个字典数据结构,映射键的值,在布隆过滤器的精神。我们建议的字典的空间需求比哈希表小得多。我们允许存储n个键,每个键映射到一个k位字符串的值。我们建议的方法需要nk + o(n)位的空间来存储字典,O(n)时间来产生数据结构,并允许在O(1)内存探测中回答成员查询。字典的大小不依赖于键的大小。然而,减少数据结构的空间需求是以一定的代价来实现的。我们的词典出现片面错误的可能性很小。当试图获取存储在字典中的键的值时,我们总是得到正确的答案。然而,当测试一个没有存储在字典中的元素的成员资格时,我们可能会得到一个错误的答案,当请求这样一个元素的值时,我们可能会得到一个特定的随机值。我们的方法基于求解GF(2^k)中的方程并使用几个哈希函数。我们建议的方法的另一个显著优点是,我们不需要使用复杂的哈希函数。我们只需要两两独立的哈希函数。我们还建议一个数据结构,只需要nk位的空间,有O(n2)的预处理时间,并有一个O(log n)的查询时间。然而,这种数据结构需要统一的哈希函数。为了以2^{-k}的错误概率替换n个元素的Bloom Filter,我们需要nk + o(n)个存储位,O(1)查询时间,O(n)预处理时间,并且仅需要成对独立的哈希函数。即使是最先进的布隆过滤器也需要nk+O(n)的空间,以及一个统一的哈希函数,所以我们的方法消耗的空间显著减少,特别是当k很小时…
2008-04-11 cs.DB cs.DS
An improved analysis of the ER-SpUD dictionary learning algorithm
Harvard University(哈佛大学)
在“字典学习”中,我们观察到一些$Y\in\mathbb{R}^{n\times p}$、$A \in\mathbb{R}^{m\times n}$和$X\in\mathbb{R}^{m\times p}$的$Y = AX + E$。观察到基质$Y$,$A, X, E$未知。这里$E$是小范数的“噪声”,$X$是列稀疏的。矩阵$A$被称为{ \em字典},其列被称为{ \em原子}。然后,给定一些少量的样本$p$,即\列的$Y$,目标是学习字典$A$,最多可以小错误,以及$X$。其动机是,在许多应用程序中,当数据由“正确”字典$A$中的原子表示时,预计数据是稀疏的(例如,\ Haar小波基中的图像),目标是从数据中学习$A$,然后将其用于其他应用程序。最近,[SWW 12]提出了字典学习算法ER-SpUD,当$E = 0$和$m = n$时具有可证明的保证。他们表明,如果$X$具有独立的条目,对于$1 \lesssim s \lesssim \sqrt{n}$,每列预期$s$为非零,并且非零条目为亚高斯,则对于$p\gtrsim n^2\log^2 n$,具有高概率的ER-SpUD输出矩阵$A', X'$,其等于$A, X$直到排列和缩放列(分别为\行)的$A$(分别为\ $X$)。他们证明了$p\gtrsim n\log n$足够,他们表明,当$s \simeq 1$时,这是{ …
2016-02-18 cs.DS cs.IT cs.LG