Logarithmic-Time Internal Pattern Matching Queries in Compressed and Dynamic Texts
本文研究压缩与动态字符串上的内部模式匹配(IPM)查询,提出一种适用于任何平衡的基于重压缩的游程直线程序(RLSLP)的 $O(\log n)$ 时间查询算法,且无需预处理,可高效应用于动态字符串数据结构。
2025-03-05 cs.DS
Dynamic Grammar-Compressed Self-Index in $δ$-Optimal Space
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文提出动态RR索引,首次在δ-最优空间内实现动态语法压缩自索引,支持高效插入删除和定位查询,优于现有动态索引。
2026-07-09 cs.DS
Faster run-length compressed suffix arrays
该研究针对游程长度压缩后缀数组(RLCSA),通过修改其结构并应用新结果,将查找aP的SA区间的时间复杂度从O(log r_a + log log n)降至O(log r_a),同时不增加空间复杂度,还探讨了其对两级索引及最大精确匹配启发式方法的优化作用。
2025-04-19 cs.DS
Incongruity-sensitive access to highly compressed strings
本文提出了一种基于不一致性的高效访问高度压缩字符串中不可压缩子字符串的方法,通过构建特定数据结构实现快速访问。
2026-02-04 cs.DS
Faster Approximate Pattern Matching in Compressed Repetitive Texts
受即将增长的大规模,高度冗余的基因组数据库,我们研究的问题,压缩字符串数据库,同时支持快速随机访问,子串提取和模式匹配的基础字符串(S)。Bille等人(2011)最近展示了如何给定一个具有$r$规则的直线程序,用于长度为$n$的字符串$s$,我们可以构建一个$\Oh{r}$ -word数据结构,允许我们在$\Oh{\log n + m}$时间内提取长度为$m$的任何子串。他们还展示了,给定长度为$m$和编辑距离(k \leq m)的模式$p$,他们的数据结构如何支持在$\Oh{r (\min (m k, k^4 + m) + \log n) + \occ}$时间内找到$s$中与$p$近似匹配的所有\occ。Rytter(2003)和Charikar et al.(2005)证明了$r$总是至少是$s$的LZ 77解析中短语的个数$z$,并给出了用$\Oh{z \log n}$规则构建直线程序的算法。在本文中,我们给出了一个简单的$\Oh{z \log n}$字的数据结构,需要同样的时间为子串提取,但只有$\Oh{z \min (m k, k^4 + m) + \occ}$时间近似模式匹配。
2012-10-31 cs.DS
A compressed dynamic self-index for highly repetitive text collections
我们提出了一种新的压缩动态自索引高度重复的文本集合。签名编码是一种针对高度重复文本的压缩的动态自索引,并且具有对短模式的模式搜索缓慢的很大缺点。我们利用截断后缀树的思想改进了这一缺点,以更快的模式搜索,并提出了第一个压缩的动态自索引命名为TST索引,不仅支持快速模式搜索,但也动态更新操作的索引高度重复的文本。使用高度重复文本的基准数据集的实验表明,TST索引的模式搜索显着改善。
2018-04-24 cs.DS
Restructuring Compressed Texts without Explicit Decompression
我们考虑的问题{ \em重组}压缩文本没有显式解压缩。我们提出的算法,允许从任何基于语法的压缩算法产生的字符串$T$的压缩表示转换,表示由几个特定的压缩算法,包括LZ 77,LZ 78,行程长度编码,和一些基于语法的压缩算法。这些是第一个算法,实现运行时间多项式的大小压缩的输入和输出表示的$T$。由于我们考虑的大多数表示都可以实现指数压缩,因此在最坏的情况下,我们的算法理论上比任何首先解压缩字符串进行转换的算法都要快。
2011-07-14 cs.DS
Faster subsequence recognition in compressed strings
压缩字符串计算是处理海量数据集的关键方法之一。我们考虑的字符串压缩直线程序(SLP),这是密切相关的Lempel-Ziv压缩的局部子序列识别问题。对于长度为$\bar m$的SLP压缩文本和长度为$n$的未压缩模式,C{é}gielski等人给出了一种在时间上运行的局部子序列识别算法$O(\bar mn^2 \log n)$。我们将运行时间提高到$O(\bar mn^{1.5})$。我们的算法也可以用来计算一个压缩文本和一个未压缩的模式之间的时间$O(\bar mn^{1.5})$的最长共同子序列;压缩模式的相同问题是已知的NP-难。
2008-01-18 cs.CC cs.DM cs.DS
Follow the Compressed Leader: Faster Online Learning of Eigenvectors and Faster MMWU
Microsoft Research(微软研究院);Princeton University(普林斯顿大学)
计算顶部特征向量的在线问题是机器学习的基础。在对抗和随机设置中,以前的结果(如矩阵乘法权重更新,遵循正则化领导者,遵循压缩领导者,块功率方法)要么实现最佳遗憾,但运行缓慢,要么以损失总遗憾中的$\sqrt{d}$因子为代价快速运行,其中$d$是矩阵维数。我们提出了一个$\textit{follow-the-compressed-leader (FTCL)}$框架,实现了最佳的遗憾,而不牺牲运行时间。我们的想法是将矩阵策略“压缩”到对抗设置中的3维或随机设置中的1维。这两个分别解决了两个开放的问题,关于设计的最佳和有效的算法的在线特征向量问题。
2017-09-18 cs.DS cs.LG math.OC
CPMA: An Efficient Batch-Parallel Compressed Set Without Pointers
提出基于PMA的无指针批量并行压缩集合CPMA,通过优化缓存友好性克服更新与扫描的权衡,在批量插入和范围查询及动态图处理应用中均显著优于现有最先进方案。
2024-02-18 cs.DC cs.DS cs.PF
Stronger L2/L2 Compressed Sensing; Without Iterating
我们考虑广泛研究的问题,$\ell_2/\ell_2$压缩感知。我们工作的主要贡献是改进[Gilbert,Li,Porat和Strauss,STOC 2010],具有更快的解码时间和显着更小的列稀疏性,回答了上述工作的两个开放问题。以前的工作亚线性时间压缩传感采用迭代过程,恢复阶段的沉重的坐标。我们完全脱离这个框架,并给出了第一个子线性时间$\ell_2/\ell_2$计划,实现了最佳的测量次数,而无需迭代,这种新的方法是我们的进展的关键一步。为此,我们满足$\ell_2/\ell_2$保证利用的方式,没有利用在以前的工作中的坐标的沉重。通过我们的技术,我们获得了各种稀疏恢复任务的改进结果,并指出可能的进一步应用领域中的问题,上述迭代过程中产生显着的障碍。
2019-03-07 cs.DS
Fast Compressed Self-Indexes with Deterministic Linear-Time Construction
我们介绍了一个压缩后缀数组表示,在一个文本$T$的长度$n$在一个字母表的大小$σ$,可以建立在$O(n)$确定性的时间,在$O(n\logσ)$位的工作空间,并计数的次数出现的任何模式$P$在$T$在时间$O(|P| + \log\log_w σ)$上的RAM机器的$w=Ω(\log n)$位字。这个新索引的性能优于所有其他可以在线性确定性时间内构建的压缩索引以及其他一些索引。唯一更快的索引只能在预期的线性时间内构建,或者需要$Θ(n\log n)$位。我们还表明,通过使用$O(n\logσ)$位,我们可以在线性时间内建立一个索引,在时间上计数$O(|P|/\log_σn + \log n(\log\log n)^2)$,这是RAM最佳的$w=Θ(\log n)$和足够长的模式。
2017-09-01 cs.DS
Faster Maximal Exact Matches with Lazy LCP Evaluation
针对 MONI 索引中 LCE 查询耗时问题,提出惰性评估 LCP 的变体,使处理时间由 MEM 数量界定并保持对数延迟。
2023-11-08 cs.DS
Compressed Subsequence Matching and Packed Tree Coloring
提出了一种新的文法压缩串的子序列匹配算法。给定一个大小为$n$的文法,在一个大小为$σ$的字母表上压缩一个大小为$N$的字符串和一个大小为$m$的模式字符串,我们的算法使用$O(n+\frac{nσ}{w})$空间和$O(n+\frac{nσ}{w}+m\log N\log w\cdot occ)$或$O(n+\frac{nσ}{w}\log w+m\log N\cdot occ)$时间。这里$w$是字的大小,而$occ$是模式出现的次数。我们的算法使用更少的空间比以前的算法,也是更快的$occ=o(\frac{n}{\log N})$发生。该算法使用了一种新的数据结构,使我们能够有效地找到下一次出现的一个给定的字符后,一个给定的位置在压缩字符串。该数据结构又基于树颜色问题的新数据结构,其中节点颜色被打包在位串中。
2014-06-05 cs.DS
Practical Random Access to SLP-Compressed Texts
基于语法的压缩是一种流行且强大的压缩重复文本的方法,但直到最近,它在现实生活中构建时相对较差的时空权衡使得它对于真正的大规模数据集(如基因组数据库)不切实际。在最近的一篇论文(SPIRE 2019)中,我们展示了简单的预处理如何显着改善这些权衡,在本文中,我们将注意力转向使基于语法的压缩如此有吸引力的功能之一:支持快速随机访问的可能性。这是许多算法中的一个基本要素,这些算法处理语法压缩的文本而不解压缩它们,并且已经发表了许多关于它的理论界限,但实验已经落后了。我们给出了一种新的语法编码,它与现有技术的实际状态一样小(Maruyama等人,SPIRE 2013),但查询速度明显更快。
2020-07-19 cs.DS
Pattern matching in Lempel-Ziv compressed strings: fast, simple, and deterministic
Lempel-Ziv压缩的无数变体广泛用于许多实际应用中。这篇论文关注的是经典的模式匹配问题的一个自然的修改,这是受到这种压缩方法的流行的启发:给定一个未压缩的模式s [1]。m]和字符串t [1.. n],s在t中发生吗?Farach和Thorup给出了这个问题的随机化O(nlog^2(N/n)+m)时间解,其中n是t的压缩表示的大小。我们改进了他们的结果,开发了一个更快的和完全确定的O(nlog(N/n)+m)时间算法具有相同的空间复杂度。请注意,对于高度可压缩的文本,log(N/n)可能是n阶,因此对于此类输入,改进非常显著。我们的方法的一个(微小的)片段可以用来给出Farach和Muthukrishnan考虑的子串哈希问题的渐近最优解。
2011-04-21 cs.DS
Faster Compact Top-k Document Retrieval
解决top-k文档检索的最优索引[Navarro and Nekrich,SODA 12]对于长度为m的模式需要O(m + k)时间,但对于n个符号的集合,其空间至少为80 n字节。我们减少到1.5n到3 n字节,O(m+(k+log log n)log log n)的时间,在典型的文本。该索引比以前最好的压缩解决方案快25倍,实际上最多需要5%的空间(在某些情况下只需一半)。除了用压缩的数据结构代替传统的数据结构外,我们的主要思想是用频率阈值代替后缀树采样来实现压缩。
2012-11-22 cs.DS cs.IR
The Compressed Overlap Index
为了分析文本算法,为了计算超字符串,或者为了测试随机数生成器,需要计算给定集合中任何单词对之间的所有重叠。在计算随机文本中某个词的缺失概率或两个随机文本共有的公共词的个数时,需要知道一个词在其自身上的重叠位置或两个词的重叠位置。在所有这些上下文中,需要计算或查询给定集合中的词对之间的重叠。为此,我们设计了COvI,一个压缩的重叠索引,支持对重叠的多个查询:比如计算两个单词的相关性,或者列出所有可能的单词对中最长重叠最大的单词对。COvI以分层和非冗余的方式存储重叠。我们提出了一个实现,可以处理数百万字的数据集,仍然有效地回答查询。与依赖于Aho-Corasick自动机的基线解决方案(称为FullAC)的比较表明,COvI提供了显着的优势。对于类似的构建时间,COvI需要FullAC一半的内存,并且仍然可以更快地解决复杂的查询。
2017-07-18 cs.DS
A Faster Grammar-Based Self-Index
为了有效地存储和搜索基因组数据库,研究人员最近开始构建基于语法的压缩自索引。在本文中,我们展示了如何给定一个具有$r$规则的字符串(S [1].. n]),其LZ 77解析由$z$短语组成,我们可以在$\Oh{r + z \log \log n}$空间中存储$S$的自索引,使得给定模式(P [1. m]),我们可以在$\Oh{m^2 + \occ \log \log n}$时间中列出$S$中$P$的$\occ$出现次数。如果直线程序是平衡的,并且我们接受构建错误索引的小概率,那么我们可以将$\Oh{m^2}$项减少为$\Oh{m \log m}$。在最坏的情况下,所有以前的自索引都更大或更慢。
2012-09-26 cs.DS
Collapsing the Hierarchy of Compressed Data Structures: Suffix Arrays in Optimal Compressed Space
提出仅需最优压缩文本表示空间即可支持后缀数组查询的新索引,将压缩数据结构层级坍缩为单点,并大幅改进了构建时间及数十种算法的空间复杂度。
2023-08-07 cs.DS
FM-Indexing Grammars Induced by Suffix Sorting for Long Patterns
与FM索引中引入的向后搜索结合使用的游程压缩Burrows-Wheeler变换(RLBWT)是大多数压缩索引的核心,用于高度重复的数据集,如生物序列。与语法索引相比,RLBWT的大小通常要大得多,但是像计算长模式出现次数这样的查询可以比迄今为止任何现有的语法索引快得多。在本文中,我们结合了一个文法与RLBWT的优点,建立RLBWT上的一个特殊的文法基于诱导后缀排序。我们的实验表明,我们的混合方法优于经典的RLBWT的索引大小,并在生物数据集上的查询时间足够长的模式。
2021-10-04 cs.DS
Solving Classical String Problems on Compressed Texts
在这里,我们研究字符串问题的复杂性作为一个程序的大小,产生输入的函数。我们考虑直线程序(SLP),因为所有的算法SLP生成的字符串可以应用于处理LZ压缩文本。主要结果是一个新的算法的模式匹配时,一个文本T和一个模式P的SLP(所谓的完全压缩模式匹配问题)。我们展示了如何找到第一次出现,计数所有出现,检查任何给定的位置是否在时间O(n^2m)内出现。这里m,n是生成相应P和T的直线程序的大小。然后,我们提出了多项式算法计算指纹表和压缩表示的所有覆盖(第一次),并找到一个给定的压缩字符串的周期(我们的算法比以前已知的更快)。另一方面,我们证明了计算两个SLP生成的字符串之间的汉明距离是NP-和coNP-困难的。
2006-04-13 cs.CC cs.DS
Hardness of Frequency-Related Queries on Compressed Strings
Stony Brook University(石溪大学)
研究压缩字符串上频率相关查询,如秩查询和符号出现查询。通过建立条件下界,证明若用特定空间结构在多对数时间内回答此类查询,将意味着布尔矩阵乘法有更快算法,还扩展了下界范围并考虑了其他相关问题。
2026-07-09 cs.DS
CSA++: Fast Pattern Search for Large Alphabets
文本中的索引模式搜索已经研究了几十年。对于小字母,FM索引提供了无与伦比的性能,在所需的空间和搜索速度方面。对于大字母表--例如,当标记是单词时--情况更加复杂,FM-Index表示是紧凑的,但可能很慢。在本文中,我们应用最近的创新领域的倒排索引和文档检索压缩模式搜索,包括字母到数百万。从实际的压缩后缀数组结构开发的贞根,我们表明,埃利亚斯-法诺代码为基础的方法,文档索引可以适应提供新的权衡选项,在索引模式搜索,并提供显着更快的模式处理相比,以前的实现,以及减少空间的要求。我们报告了一个详细的实验评估,证明了新方法的相对优势,使用标准的比萨饼和辣椒的方法和文件,以及应用用例来自大规模数据压缩,并从自然语言处理。对于大的字母表,新的结构产生的空间要求接近那些最高度压缩的FM-Index变体,以及无与伦比的搜索吞吐率。
2016-05-18 cs.DS
Fixed Block Compression Boosting in FM-Indexes
压缩的全文自索引占用的空间接近于压缩文本的空间,同时允许快速模式匹配和对基础文本的随机访问。在理论和实践中,最好的压缩自索引是FM索引家族的几个成员。在本文中,我们描述了新的FM索引变体,结合了良好的理论特性,简单的实现和改进的实际性能。我们的主要结果是一种称为固定块压缩增强的新技术,这是一种更简单,更快的替代最佳压缩增强和隐式压缩增强在以前的FM索引中使用。
2011-04-19 cs.DS cs.IR
Faster Wavelet Tree Queries
针对非二进制字母表文本的rank和select查询,本文通过将小波树改为四叉树、结合预测模型预取数据减少缓存未命中,使查询速度较SDSL实现提升2至3倍。
2023-11-08 cs.DS
Practical Parallel Block Tree Construction: First Results
Zuse Institute Berlin(柏林祖斯研究所);University of Münster(明斯特大学);TU Dortmund University(多特蒙德工业大学)
本文提出快速轻量的并行算法,实现块树的高效构建,同时显著降低内存需求,并引入数据并行的Karp-Rabin指纹计算算法。
2025-12-29 cs.DS
Faster Rates for Compressed Federated Learning with Client-Variance Reduction
Princeton University(普林斯顿大学);KAUST(阿卜杜拉国王科技大学);Carnegie Mellon University(卡内基梅隆大学)
本文针对联邦学习中通信瓶颈与客户端方差问题,提出压缩且客户端方差缩减方法 COFIG 和 FRECON,在凸与非凸设定下均取得首个或更快的通信轮数收敛界,并通过实验验证其优于现有基线。
2023-09-24 cs.DC cs.DS cs.LG