On the Reproducibility of Experiments of Indexing Repetitive Document Collections
这项工作介绍了一个同伴可重复的文件，目的是允许精确复制的方法，实验和结果在以前的工作中讨论[5]。在那篇母论文中，我们提出了许多不同的压缩索引的技术，这些技术利用了高度重复的集合主要是由与其他文档近似的文档组成的。更具体地说，我们描述了一个复制框架，称为uiHRDC（高度重复的文档集合的通用索引），它允许我们原来的实验设置可以很容易地复制使用各种文档集合。详细解释了相应的实验，提供了关于每个索引解决方案可以调整的参数的精确细节。最后，请注意，我们还提供了uiHRDC作为再现性包。
2019-12-26 cs.DS cs.PF
Optimal-Time Queries on BWT-runs Compressed Indexes
索引高度重复的字符串（即，具有许多重复的字符串）进行快速查询已经成为字符串处理中的中心研究课题，因为它在生物信息学和自然语言处理中具有广泛的应用。虽然到目前为止已经提出了大量的高度重复字符串的索引，但开发支持各种查询的压缩索引仍然是一个挑战。游程Burrows-Wheeler变换（RLBWT）是一种通过对输入字符串进行可逆置换和行程长度编码的无损数据压缩方法，它在高重复性字符串的索引方面受到广泛关注。LF和$ϕ^{-1}$是用于在RLBWT上构建索引的两个关键函数，并且最佳先前结果在$O(\log \log n)$时间内计算LF和$ϕ^{-1}$，其中$O(r)$字的空间用于RLBWT中的串长度$n$和运行次数$r$。本文对LF和$ϕ^{-1}$进行了改进，使它们可以用空间的$O(r)$字在常数时间内计算。随后，我们提出了OptBWTR（最佳时间查询BWT运行压缩索引），第一个字符串索引，支持各种查询，包括定位，计数，提取查询在最佳时间和$O(r)$字的空间。
2021-04-16 cs.DS
Computing Matching Statistics on Repetitive Texts
计算字符串$P[1..m]$相对于文本$T[1..n]$的{ \em匹配统计量}是应用于基因组序列比较的基本问题。在本文中，我们研究了高重复文本的匹配统计量的计算问题。我们设计了三种不同的数据结构，类似于LZ压缩索引。所有这些的空间成本都可以通过$γ$（最小弦吸引子的大小）[STOC'2018]和$δ$（重复性的更好度量）[LATIN'2020]来测量。
2022-01-13 cs.DS
Document Listing on Repetitive Collections with Guaranteed Performance
我们考虑在字符串集合上列出文档，即查找给定模式出现在哪些字符串中。特别是，我们专注于重复的集合：一个集合的大小$N$在字母表$[1,σ]$是由$n$大小的字符串的$D$副本，$s$编辑应用于范围内的副本。我们引入了第一个文档列表索引，其大小为$\tilde{O}(n+s)$，确切地说是$O((n\logσ+s\log^2 N)\log D)$位，并且具有有用的最坏情况时间保证：给定长度为$m$的模式，对于任何恒定的$ε>0$，索引报告$\ndoc>0$字符串在时间上出现的位置$O(m\log^{1+ε} N \cdot \ndoc)$（并且如果$\ndoc=0$，则在时间上告诉$O(m\log N)$）。我们的技术是增加一个范围数据结构，这是常用的基于语法的索引，所以，而不是检索所有的模式出现，它计算有用的摘要。我们的想法有独立的兴趣：我们引入了第一个基于语法的索引，在文本$T[1,N]$与语法的大小$r$，使用$O(r\log N)$位和计数的出现次数的模式$P[1,m]$在时间$O(m^2 + m\log^{2+ε} r)$，任何常数$ε>0$。我们还使用$O(z\log(N/z)\log N)$位给出了第一个索引，其中$T$由Lempel-Ziv解析为$z$短语，计算时间上出现的次数$O(m\log^{2+ε} N)$。
2018-11-14 cs.DS
Fast and Small Subsampled R-indexes
提出 sr-index 及其变体 r-csa、sr-csa，通过子采样文本位置在时间和空间间取得平衡，在保持查询性能的同时显著减少索引空间占用。
2024-09-23 cs.DS
Self-Index based on LZ77 (thesis)
生物信息学、版本控制系统、协作编辑系统（wiki）等领域正在产生大量重复性很强的数据汇集。也就是说，集合的元素之间几乎没有什么区别。这一事实使得集合的可压缩性非常高。例如，包含所有不同版本的维基百科条目的集合可以使用Lempel-Ziv 1977（LZ 77）压缩方案压缩到其原始空间的0.1%。这些重复的集合中的许多都处理大量的文本数据。因此，我们需要一种方法来有效地存储它们，同时提供对它们进行操作的能力。最常见的操作是提取集合的随机部分，并在整个集合中搜索给定模式的所有出现。自索引是一种数据结构，它以压缩形式存储文本，并允许有效地找到模式的出现。另一方面，自索引可以提取集合的任何子字符串，因此它们能够替换原始文本。使用这些索引的主要目标之一是将它们存储在主存中。在这篇论文中，我们提出了一个方案，随机抽取文本压缩与Lempel-Ziv分析。此外，我们提出了一个LZ 77的变体，称为LZ-End，它可以使用接近LZ 77的空间有效地提取文本。本文的主要贡献是基于LZ 77/LZ-End的第一个面向重复文本的自索引，该自索引在许多方面都优于目前最新的自索引（RLCSA自索引）。最后，我们提出了一个语料库的重复文本，来自几个应用领域。我们的目标是为研究和实验提供一套标准的文本，因此这个语料库是公开的。
2011-12-20 cs.DS
Optimal-Time Text Indexing in BWT-runs Bounded Space
自世纪之交以来，索引高度重复的文本（如基因组数据库、软件库和版本化文本集合）已成为一个重要问题。重复文本的相关压缩性度量是$r$，即Burrows-Wheeler变换（BWT）中的运行次数。最早的重复集合索引之一，游程长度FM索引，使用$O(r)$空间，能够有效地计算文本中长度为$m$的模式的出现次数（使用当前技术，以每个模式符号的对数时间为单位）。然而，它无法在以$r$为界的空间内有效地定位这些事件的位置。从那时起，一些其他的索引与其他措施的重复性-在Lempel-Ziv解析短语的数量，生成文本的最小语法的大小，识别文本因素的最小自动机的大小-已被提出有效地定位，但不直接计数，出现的模式。在本文中，我们关闭这个长期存在的问题，展示了如何扩展的运行长度FM索引，使它可以有效地定位$occ$发生在$O(r)$空间（在对数时间每个），并达到最佳时间$O(m+occ)$内$O(r\log(n/r))$空间，在RAM机的$w=Ω(\log n)$位。在$O(r\log (n/r))$空间中，我们的索引也可以在最佳时间$O(m)$中计数。将空间提升到$O(r w\log_σ(n/r))$，我们支持在$O(m\log(σ)/w)$和$O(m\log(σ)/w+occ)$时间中进行计数和定位，这在打包设置中是最佳的，并且以前在压缩空间中没有获得。我们还描述了一个结构，使用$O(r\log(n/r…
2017-07-11 cs.DS
Fast, Small, and Simple Document Listing on Repetitive Text Collections
在字符串集合上列出文档的任务是查找出现模式的所有文档。它被认为是最基本的文档检索问题，并在各种应用中是有用的。许多增长最快的字符串集合由非常相似的文档组成，例如版本化代码和文档集合、基因组存储库等。为重复文本集合设计的普通模式匹配索引实现了空间数量级的减少。相反，用于文档检索的类似索引并不多。在本文中，我们提出了一个简单的文件列表索引的重复字符串集合的总长度$n$，列出$ndoc$不同的文件中出现的模式的长度$m$在时间$\mathcal{O}(m+ndoc \cdot \log n)$。我们利用文档数组的重复性（即，粗化为文档标识符的后缀数组）来对其进行语法压缩，同时预计算对非终结符的回答，并且也以语法压缩的形式存储它们。我们的实验结果表明，我们的索引大大优于现有的替代品在空间/时间权衡地图。
2019-02-20 cs.DS cs.IR cs.IT
Dynamic r-index: An Updatable Self-Index in LCP-bounded Time
针对高重复字符串场景下动态可更新自索引的构建难题，研究团队提出基于RLBWT的动态r-index，实现LCP有界时间的更新与高效查询，并通过实验验证了其在高重复数据集上的实际效率。
2025-10-29 cs.DS
Engineering Fast and Space-Efficient Recompression from SLP-Compressed Text
本文首次实现压缩时间内运行的再压缩RLSLP构建，基于LZ77近似，相比非压缩方法实现46倍加速和17倍内存降低，为快速索引构建提供实用路径。
2025-10-23 cs.DS
Fast and memory-efficient BWT construction of repetitive texts using Lyndon grammars
本文提出基于Lyndon直线程序从压缩表示计算BWT和eBWT的算法，在大规模重复性数据集上实现了比现有方法更快且更省内存的构建过程。
2025-09-23 cs.DS
Fully-Functional Suffix Trees and Optimal Text Searching in BWT-runs Bounded Space
自千年之交以来，索引高度重复的文本-如基因组数据库，软件库和版本化文本集合-已成为一个重要的问题。重复文本的相关可压缩性度量是r，其Burrows-Wheeler变换（BWT）中的运行次数。Run-Length FM索引是最早的重复集合索引之一，使用O（r）空间，能够有效地计算文本中长度为m的模式的出现次数（使用当前技术，以每个模式符号的对数时间为单位）。然而，它无法在以r为界的空间内有效地定位这些事件的位置。在本文中，我们关闭这个长期存在的问题，展示了如何扩展游程长度FM索引，使其能够在O（r）空间内有效地定位occ出现时间复杂度为O（m + occ），时间复杂度为O（m）。（r log log w（σ + n/r））空间，用于在RAM机器上具有w = Ω（log n）位的字的σ大小的字母表上的长度为n的文本。在这个空间内，我们的索引也可以在最佳时间内计数，O（m）。将空间乘以O（w/ log σ），我们支持O（dm log（σ）/we）和O（dm log（σ）/we + occ）时间的计数和定位，这在压缩设置中是最优的，以前在压缩空间中没有得到。我们还描述了一个使用O（rlog（n/r））空间的结构，该结构在几乎最优的时间O（log（n/r）+ ` log（σ）/w）内替换文本并提取长度为`的任何文本子串。在这个空间内，我们同样提供了直接存取后缀数组，反后缀数组，和最长的公共前…
2019-07-04 cs.DS
Document Retrieval on Repetitive Collections
文档检索的目的是找到最重要的文件，其中的模式出现在一个字符串的集合。传统的模式匹配技术产生暴力文档检索解决方案，这激发了对提供接近最佳性能的定制索引的研究。然而，还没有进行实验研究，确定哪些替代方案实际上比蛮力更好，以及哪些方案根据收集的特点表现最好。在本文中，我们通过探索底层集合的性质和当前方法的性能之间的关系来解决这个缺点。通过大量的实验，我们表明，既定的解决方案往往在实践中击败蛮力的替代品。我们还设计了新的方法，提供优越的时间/空间权衡，特别是在重复收集。
2014-06-30 cs.DS cs.IR
Computing Maximal Unique Matches with the r-index
近年来，泛基因组因其整合群体变异信息和减轻参考基因组偏倚的能力而受到科学界越来越多的关注。最大精确匹配（MEM）和最大唯一匹配（MUM）已被证明在多种生物信息学背景下是有用的，例如短读段比对和多基因组比对。然而，使用后缀树和FM索引的标准技术不能扩展到泛基因组水平。最近，Gagie等人。[JACM 20]介绍了$r$索引，这是一种基于Burrows-Wheeler变换（BWT）的索引，能够处理数百个人类基因组。后来，Rossi等人[JCB 22]使用$r$索引实现了MEM的计算，Boucher等人[DCC 21]展示了如何以流式方式计算它们。在本文中，我们将展示如何增加鲍彻等人。的方法，以使在$r$索引上的MUM的计算成为可能，同时保持空间和时间边界。我们添加额外的$O(r)$样本的最长的公共前缀（LCP）数组，其中$r$是相等字母运行的BWT的数量，这允许计算的第二个最长的匹配模式后缀相对于输入文本，这反过来又允许计算候选MUM。我们实现了我们的方法的概念验证，我们称之为mum-phinder，并在真实世界的数据集上进行了测试。我们将我们的方法与能够计算MUM的竞争方法进行了比较。我们观察到，我们的方法最多小8倍，而当数据集不是高度重复时，最多慢19倍，而在高度重复的数据上，我们的方法最多慢6.5倍，使用的内存最多少25倍。
2022-05-03 cs.DS
Grammar-Compressed Indexes with Logarithmic Search Time
设文本$T[1..n]$是由上下文无关文法生成的唯一字符串，该文法具有$g$（终结符和非终结符）符号，大小为$G$（以规则右侧的长度之和衡量）。这种语法称为$T$的语法压缩表示，可以基本上使用$G\lg g$位进行编码。我们引入了第一个语法压缩索引，它使用$O(G\lg n)$位，可以在时间$O((m^2+occ)\lg G)$中找到模式$P[1..m]$的$occ$出现。我们实现的索引，并证明其实用性与最先进的比较，高度重复的文本集合。
2020-04-01 cs.DS
Linear-size CDAWG: new repetition-aware indexing and grammar compression
在本文中，我们提出了一种新的方法，结合\emph{compact directed acyclic word graphs}（CDAWGs）和基于语法的压缩。这使我们得到一种高效的自索引，称为线性大小CDAWG（L-CDAWG），它可以用$O(\tilde e_T \log n)$位空间表示，允许对边缘标签进行$O(\log n)$ -时间随机访问和$O(1)$ -时间顺序访问，以及$O(m \log σ+ occ)$ -时间模式匹配。这里，$\tilde e_T$是$T$中最大重复的所有延伸的数目，$n$和$m$分别是文本$T$和给定模式的长度，$σ$是字母大小，$occ$是$T$中模式的出现次数。对于高度重复的文本，已知重复性度量$\tilde e_T$远小于文本长度$n$。对于常数字母表，我们的L-CDAWG实现$O(m + occ)$模式匹配时间与$O(e_T^r \log n)$位的空间，这提高了模式匹配时间Belazzougui等人。的游程长度BWT-CDAWG的系数为$\log \log n$，具有相同的空间复杂度。这里，$e_T^r$是$T$中最大重复的右延伸的数目。作为一个副产品，我们的结果给出了一种方法来构建一个SLP的大小$O(\tilde e_T)$为一个给定的文本$T$在$O(n + \tilde e_T \log σ)$时间。
2017-07-27 cs.DS
Dynamic Grammar-Compressed Self-Index in $δ$-Optimal Space
RIKEN Center for Advanced Intelligence Project（理化学研究所先进智能项目中心）
本文提出动态RR索引，首次在δ-最优空间内实现动态语法压缩自索引，支持高效插入删除和定位查询，优于现有动态索引。
2026-07-09 cs.DS
Efficient construction of the extended BWT from grammar-compressed DNA sequencing reads
我们提出了一个算法，用于建立扩展的BWT（eBWT）的字符串集合从其语法压缩表示。我们的技术利用语法捕获的字符串重复来提高eBWT的计算。因此，集合的重复性越高，每个输入符号使用的资源就越少。我们依赖于一个新的语法最近提出的DCC'21，其非终端作为积木诱导eBWT。这个想法的一个相关应用是构建用于分析测序读数的自索引-原始基因组数据的大量重复字符串集合。自索引在生物信息学中越来越受欢迎，因为它们可以在更少的空间中编码更多的信息。我们高效的eBWT构建为在更大规模的序列数据集上执行准确的生物信息学分析打开了大门，这些数据集不适合当前的eBWT构建技术。
2021-02-08 cs.DS q-bio.GN
From LZ77 to the Run-Length Encoded Burrows-Wheeler Transform, and Back
Lempel-Ziv分解（LZ 77）和游程编码Burrows-Wheeler变换（RLBWT）是文本压缩和索引中的两个重要工具，它们的大小$z$和$r$与文本自重复的数量密切相关。在本文中，我们考虑的问题转换成彼此的两个表示成比例的输入和输出的工作空间内。让$n$为文本长度。我们证明了$RLBWT$可以在$\mathcal{O}(n\log r)$时间和工作空间的$\mathcal{O}(r)$字中转换为$LZ77$。相反，我们提供了一个算法，将$LZ77$转换为$RLBWT$在$\mathcal{O}\big(n(\log r + \log z)\big)$时间和工作空间的$\mathcal{O}(r+z)$字。请注意，如果文本高度重复，则$r$和$z$可以是\emph{constant}，并且我们的算法可以使用比基于完全解压缩的朴素解决方案更少的空间（最多）\emph{exponentially}。
2017-02-04 cs.DS
Suffixient Arrays: a New Efficient Suffix Array Compression Technique
本文提出 Suffixient Array，仅保留后缀数组中足以通过二分搜索定位模式及 MEM 的子集，实现压缩工作空间线性构建，并在重复集合上显著快于 SA 和 r-index。
2025-03-18 cs.DS
Online Self-Indexed Grammar Compression
尽管到目前为止已经提出了几种基于语法的自索引，但它们的适用性仅限于离线设置，其中准备了整个输入文本，因此需要为给定的额外输入重建索引结构，这在大数据时代通常是这种情况。在本文中，我们提出了第一个在线自索引的语法压缩命名为OESP-index，可以逐步建立索引结构，通过读取输入字符一个接一个。这样的属性是另一个优点，它可以节省用于构造的工作空间，因为我们不需要在存储器中存储输入文本。实验测试了OESP-index在构建索引结构和搜索查询文本方面的能力，并展示了OESP-index的效率，特别是在构建索引结构方面的空间效率。
2015-07-06 cs.DS
A Faster Grammar-Based Self-Index
为了有效地存储和搜索基因组数据库，研究人员最近开始构建基于语法的压缩自索引。在本文中，我们展示了如何给定一个具有$r$规则的字符串（S [1].. n]），其LZ 77解析由$z$短语组成，我们可以在$\Oh{r + z \log \log n}$空间中存储$S$的自索引，使得给定模式（P [1. m]），我们可以在$\Oh{m^2 + \occ \log \log n}$时间中列出$S$中$P$的$\occ$出现次数。如果直线程序是平衡的，并且我们接受构建错误索引的小概率，那么我们可以将$\Oh{m^2}$项减少为$\Oh{m \log m}$。在最坏的情况下，所有以前的自索引都更大或更慢。
2012-09-26 cs.DS
Optimal-Time Dictionary-Compressed Indexes
我们描述了第一个自我索引能够计数和定位模式发生在最佳时间内的空间范围内的最流行的字典压缩机的大小。为了实现这一结果，我们结合了几个最近的研究结果，包括\emph{string attractors} -新的组合对象，包括最知名的压缩性措施高度重复的文本-，和语法的基础上\emph{locally-consistent parsing}。更详细地，令$γ$为长度为$n$的文本$T$的最小吸引子的大小。$γ$是一个（渐近）下界的大小字典压缩器的基础上Lempel-Ziv，上下文无关的语法，和许多其他的。已知最小的吸引子文本表示使用空间$O(γ\log(n/γ))$，而我们最轻的索引在相同的渐近空间内工作。令$ε>0$是在构造时固定的适当小的常数，$m$是模式长度，$occ$是其文本出现的次数。我们的索引在$O(m+\log^{2+ε}n)$时间中计数模式出现，并在$O(m+(occ+1)\log^εn)$时间中定位它们。这些时间已经超过了大多数字典压缩索引的时间，同时在$O((m+occ)\,\textrm{polylog}\,n)$时间内为任何索引搜索获得最小的渐近空间。此外，通过将空间增加到$O(γ\log(n/γ)\log^εn)$，我们将定位时间减少到最佳$O(m+occ)$，并且在$O(γ\log(n/γ)\log n)$空间内，我们还可以计入最佳$O(m)$时间。以前没有获…
2019-09-04 cs.DS
A Compressed Self-Index for Genomic Databases
DNA测序技术的进步将很快产生数千个基因组的数据库。在一个物种中，个体的基因组几乎是彼此的精确拷贝;例如，任何两个人的基因组都有99.9%是相同的相对Lempel-Ziv（RLZ）压缩利用了这一特性：它存储未压缩的第一个基因组或作为FM索引，然后用LZ 77的变体压缩其他基因组，该变体仅从第一个基因组复制短语。RLZ实现了良好的压缩，并支持快速随机访问，在本文中，我们将展示如何支持快速搜索，以及，从而获得一个有效的压缩自索引。
2011-11-05 cs.DS
Efficient Construction of a Complete Index for Pan-Genomics Read Alignment
虽然主要使用FM索引的短读段比对器能够容易地索引一个或几个人类基因组，但它们不能很好地扩展到索引包含数千个基因组的数据库。为了理解原因，更详细地检查FM索引的主要组成部分是有帮助的，FM索引是字符串的Burrows-Wheeler变换（BWT）上的排名数据结构，它将允许我们找到字符串中的间隔后缀数组（SA）包含指向给定模式出现的开始位置的指针;第二，SA的样本-当与秩数据结构一起使用时-允许我们访问SA。即使对于大的基因组数据库，通过行程长度压缩BWT，也可以保持小的秩数据结构，但是直到最近，还没有已知的方法在不大大减慢对SA的访问的情况下保持小的SA样本。现在Gagie等人（SODA 2018）已经定义了一个SA样本，它占用的空间与游程压缩的BWT相同--我们设计了基因组数据库的有效FM索引，但面临着构建它们的问题。在2018年，我们展示了如何有效地构建大型基因组数据库的BWT（WABI 2018），但构建Gagie等人的问题是，的SA样本有效地保持开放。我们比较了我们的方法，以国家的最先进的方法来构建SA样本，并证明这是最快的和最节省空间的方法在高度重复的基因组数据库。最后，我们将我们的方法用于索引部分和整个人类基因组，并表明它在记忆和时间方面都优于Bowtie。
2018-11-16 cs.DS
Grammar-compressed Self-index with Lyndon Words
我们引入了一类新的直线程序（SLP），命名为林登SLP，灵感来自林登树（Lyndon Trees，1990）。基于此SLP，我们提出了一种$O(g)$空间字的自索引数据结构，该数据结构可以从$T$在$O(n \lg n)$期望时间内的字符串建立，检索长度为$m$的模式$P$在$O(m + \lg m \lg n + occ \lg g)$时间内的所有出现的开始位置，其中$n$是$T$的长度，$g$是$T$的Lyndon SLP的大小，$occ$是$P$在$T$中出现的次数。
2020-04-27 cs.DS
A Self-Index on Block Trees
块树是最近提出的一种数据结构，其压缩接近Lempel-Ziv，同时支持对文本子串的高效直接存取。在本文中，我们将展示如何在块树的顶部建立自索引，以便在使用与原始数据结构成比例的空间的同时提供有效的模式搜索。更准确地说，如果Lempel-Ziv解析将长度为$n$的文本切割成$z$非重叠短语，那么我们的索引使用$O(z\log(n/z))$词，并为任何常数$ε>0$在时间$O(m\log n+occ\log^εn)$中找到长度为$m$的模式的$occ$出现。
2017-10-10 cs.DS
Fast Compressed Self-Indexes with Deterministic Linear-Time Construction
我们介绍了一个压缩后缀数组表示，在一个文本$T$的长度$n$在一个字母表的大小$σ$，可以建立在$O(n)$确定性的时间，在$O(n\logσ)$位的工作空间，并计数的次数出现的任何模式$P$在$T$在时间$O(|P| + \log\log_w σ)$上的RAM机器的$w=Ω(\log n)$位字。这个新索引的性能优于所有其他可以在线性确定性时间内构建的压缩索引以及其他一些索引。唯一更快的索引只能在预期的线性时间内构建，或者需要$Θ(n\log n)$位。我们还表明，通过使用$O(n\logσ)$位，我们可以在线性时间内建立一个索引，在时间上计数$O(|P|/\log_σn + \log n(\log\log n)^2)$，这是RAM最佳的$w=Θ(\log n)$和足够长的模式。
2017-09-01 cs.DS
Computing LZ77 in Run-Compressed Space
本文证明了文本T { \in n ^n}的LZ 77分解可以在O（Rlog n）位的工作空间和O（nlog R）时间内计算，R是T的Burrows-Wheeler变换的游程数.对于极端重复的输入，工作空间可以低至O（log n）位：比文本本身小。作为我们的结果的直接后果，我们表明，一类重复意识的自我索引的基础上的游程编码的BWT和LZ 77的组合可以建立在内置的渐近最佳O（R + z）字的工作空间，z是LZ 77解析的大小。
2015-10-21 cs.DS
Contextual Pattern Matching
University of Chile（智利大学）
本文针对重复字符串集合索引场景提出上下文模式匹配新查询，给出首个利用集合重复性相关空间的解决方案，实现了不同空间时间权衡，可高效查找指定上下文长度下的模式出现情况。
2026-08-19 cs.DS
Tailoring r-index for metagenomics
宏基因组学中的一个基本问题是将测序读数分配给参考集合中的正确物种。在基因组流行病学和病毒宏基因组学的典型应用中，参考集合由一组物种组成，每个物种由其高度相似的菌株代表。最近已经表明，可以使用基于$k$ -mer散列的伪比对实现准确的读段分配：如果读段与参考集合的每个$k$ -mer命中仅位于A的菌株上，则将其分配给菌种A。我们研究了伪对齐和相关任务所需的基本原语。我们提出了三个空间有效的解决方案，建立在文件列表的频率问题。所有的解决方案都使用$r$索引（Gagie等人，SODA 2018）作为文本的底层索引结构，该文本作为物种集以及每个物种的串联获得。给定$t$物种的级联长度是$n$，其Burrows-Wheeler变换包含$r$运行，我们的第一个解决方案，基于语法压缩的文档数组与预先计算的查询在非终端符号，报告的频率为${\tt ndoc}$不同的文档中，长度$m$的模式发生在${\cal O}(m + \log(n){\tt ndoc}) $时间。我们的第二个解决方案也是基于一个语法压缩的文档数组，但增强了位向量和报告频率在${\cal O}(m + ((t/w)\log n + \log(n/r)){\tt ndoc})$的时间，在机器上的字大小$w$。我们的第三个解决方案基于交错LCP阵列，在${\cal O}(m + \log(n/r){\tt ndoc})$中回答相同的…
2020-06-10 cs.DS
Practical Linear-Time Computation of Smallest Suffixient Sets
CeBiB – Centre for Biotechnology and Bioengineering（生物技术与生物工程中心）；Department of Computer Science, University of Chile（智利大学计算机系）
提出首个线性时间、单遍扫描且实用的最小后缀集合构造算法，在大型文本集合上优于现有实现的空间/时间权衡。
2026-08-25 cs.DS
Fixed Block Compression Boosting in FM-Indexes
压缩的全文自索引占用的空间接近于压缩文本的空间，同时允许快速模式匹配和对基础文本的随机访问。在理论和实践中，最好的压缩自索引是FM索引家族的几个成员。在本文中，我们描述了新的FM索引变体，结合了良好的理论特性，简单的实现和改进的实际性能。我们的主要结果是一种称为固定块压缩增强的新技术，这是一种更简单，更快的替代最佳压缩增强和隐式压缩增强在以前的FM索引中使用。
2011-04-19 cs.DS cs.IR
The PGM-index: a multicriteria, compressed and learned approach to data indexing
University of Pisa（比萨大学）
最近引入的学习索引已经动摇了几十年的数据结构索引领域的基础。将B树节点等经典设计元素与机器学习模型相结合，甚至将其替换，已被证明可以显著改善数据系统的空间占用和时间效率。然而，这些新的方法是基于几何学，因此他们缺乏任何保证，在他们的时间和空间的要求。我们提出了分段几何模型索引（简称PGM-index），它在查询操作中实现了保证的I/O最优性，学习了最优数量的线性模型，其独特的递归结构使其成为一个纯学习的数据结构，而不是传统索引和学习索引（如RMI和FITing-tree）的混合体。我们发现，PGM索引提高了空间的FITING树的63.3%和B-树超过四个数量级，同时实现相同的甚至更好的查询时间效率。我们补充这一结果，提出了三个变种的PGM指数。首先，我们设计了一个压缩的PGM索引，通过利用其组成的学习线性模型的重复性，进一步减少其空间占用。其次，我们设计了一个PGM索引，使其适应查询的分布，从而产生了迄今为止第一个已知的分布感知学习索引。最后，鉴于其灵活性，在所提供的时空权衡，我们提出了多准则PGM索引，有效地自动调整自己在几秒钟内超过数亿键的可能不断变化的时空限制所施加的应用程序的使用。我们向读者指出，本文是我们以前的论文“通过编排学习和几何来取代传统索引”（arXiv：1903.00507）的扩展和改进版本。
2019-10-14 cs.DB cs.DS cs.IR
Optimally Computing Compressed Indexing Arrays Based on the Compact Directed Acyclic Word Graph
本文首次研究了从 CDAWG 转换为适用于高度重复文本的多种压缩索引结构的计算复杂度，并证明能在 $O(e)$ 最坏时间与工作空间内最优计算这些结构。
2023-08-04 cs.DS cs.FL cs.IR
