Weighted Minwise Hashing Beats Linear Sketching for Inner Product Estimation
提出基于 Weighted MinHash 的紧凑草图方法用于高维向量内积估计,在稀疏向量上精度优于 CountSketch 等线性草图方法,并具备理论与实验支持。
2023-05-05 cs.DB cs.DS
Practical Hash Functions for Similarity Estimation and Dimensionality Reduction
University of Copenhagen(哥本哈根大学);SupWiz(SupWiz公司)
散列是机器学习的几个方面中采用的降维的基本工具。然而,性能分析通常是在使用真正随机的单位代价散列函数的抽象假设下进行的,而不关心使用哪种具体的散列函数。具体的散列函数可以在足够随机输入上工作良好。问题是,当面对更结构化的输入时,它在现实世界中是否值得信任。在本文中,我们专注于散列的两个突出应用,即Li等人的单排列散列(OPH)方案的相似性估计。[NIPS'12]和Weinberger等人的特征散列(FH)。[ICML'09],这两个都有许多应用,即LSH的近似近邻搜索和SVM的大规模分类。我们认为混合制表哈希Dahlgaard等人。[FOCS'15],它被证明在许多应用中,包括OPH,表现得像一个真正的随机散列函数。在这里,我们首先展示了使用真正随机散列的FH的改进的浓度范围,然后认为混合制表对稀疏输入的表现类似。然而,我们的主要贡献是在FH,OPH和LSH中使用不同哈希方案的实验比较。我们发现,混合制表散列几乎一样快的multiply-mod-prime方案ax+b mod p. multiply-mod-prime保证工作在足够随机的数据,但我们证明,在上述应用程序中,它可能会导致偏见和现实世界和合成数据的浓度差。我们还比较了流行的MurmurHash 3,它没有经过验证的保证。在我们的实验中,混合制表和MurmurHash 3的表现都类似于真正的随机哈希。然而,混合制表比Mu…
2017-11-23 cs.DS cs.LG stat.ML
Locality Sensitive Hashing for p-Exponential Kernels with Applications to Density Estimation
Tel Aviv University(特拉维夫大学)
本文提出马赛克LSH方案,证明有界区域内所有1<p≤2的p-指数核可哈希,并据此开发高效密度估计方法。
2026-10-06 cs.CG cs.DS cs.LG
Learning-Based Heavy Hitters and Flow Frequency Estimation in Streams
Harvard University(哈佛大学)
针对现有基于学习的流频率估计方法仅聚焦哈希类算法、对重量级条目识别效果有限的问题,提出首个基于学习的竞争计数器算法LSS,从理论和实验验证其能提升Space Saving算法在相关任务中的准确率与效率。
2024-06-24 cs.DS cs.LG
Efficient Similarity Search in Dynamic Data Streams
Jaccard指数是一个重要的项目集和布尔数据的相似性度量。在大型数据集上,由于时间和空间的限制,精确的相似性计算通常不适用于所有项目对,从而产生更快的近似方法。用于快速计算两个项目集$A$和$B$的Jaccard索引$\frac{\vert A \cap B \vert}{\vert A\cup B\vert}$的算法通常是最小散列的一种形式。大多数最小散列方案主要用于数据流处理添加,但没有一个已知的工作时,面对项目明智的删除。在本文中,我们研究可扩展的近似算法的合理集相似性,广泛的类相似性措施,包括Jaccard。受Chierichetti和Kumar [J. ACM 2015]的结果的启发,他们证明了任何有理集相似性$S$承认局部敏感哈希(LSH)方案,当且仅当相应的距离$1-S$是度量时,我们可以证明存在一个空间有效的摘要,在动态数据流中保持$(1\pm \varepsilon)$对$1-S$的乘法近似。这又产生相似性的$\varepsilon$加法近似。这些近似的存在暗示,但并不直接意味着动态数据流中的LSH方案。我们的第二个和主要的贡献,现在在于设计这样的LSH计划mainquilities在动态数据流。该方案是空间有效的,易于实现,并尽我们所知的第一种能够处理删除。
2021-03-08 cs.DS
Adaptive and Dynamic Multi-Resolution Hashing for Pairwise Summations
University of California, Santa Barbara(加州大学圣巴巴拉分校);Northwestern University(西北大学);Adobe Research(奥多比研究院);Rice University(莱斯大学);Duke University(杜克大学)
在本文中,我们提出了Adam-Hash:一个自适应和动态的多分辨率散列数据结构的快速成对求和估计。给定一个数据集$X \subset \mathbb{R}^d$、一个二元函数$f:\mathbb{R}^d\times \mathbb{R}^d\to \mathbb{R}$和一个点$y \in \mathbb{R}^d$,两两求和估计值为$\mathrm{PSE}_X(y) := \frac{1}{|X|} \sum_{x \in X} f(x,y)$。对于任何给定的数据集$X$,我们需要设计一个数据结构,使得给定任何查询点$y \in \mathbb{R}^d$,该数据结构在时间上近似估计$\mathrm{PSE}_X(y)$,该时间在$|X|$中是次线性的。以前的工作在这个问题上只集中在数据集是静态的情况下,查询是独立的。在本文中,我们设计了一个基于散列的PSE数据结构,它适用于更实际的\textit{dynamic}设置,其中允许插入,删除和替换点。此外,我们提出的亚当哈希也是强大的自适应PSE查询,对手可以选择查询$q_j \in \mathbb{R}^d$取决于从以前的查询$q_1, q_2, \dots, q_{j-1}$的输出。
2022-12-21 cs.DS cs.LG
Sketching Linear Classifiers over Data Streams
Stanford University(斯坦福大学)
我们引入了一个新的子线性空间草图-权重中值草图-用于在数据流上学习压缩线性分类器,同时支持模型中大幅度权重的有效恢复。这使得存储器有限的执行几个统计分析的流,包括在线特征选择,流数据解释,相对三角形检测,和逐点互信息的流估计。与捕获数据流中最频繁出现的特征(或项)的相关草图不同,加权中值草图捕获的是一个流(或类)与另一个流(或类)相比最具区别性的特征。权重-中位数草图采用计数-草图中使用的核心数据结构,但它不是草图计数,而是捕获对模型参数的草图梯度更新。我们提供了一个理论分析,建立批量和在线学习的恢复保证,并证明经验改进的内存精度权衡替代内存预算的方法,包括计数为基础的草图和功能哈希。
2018-04-06 cs.DS cs.LG stat.ML
Multi-Resolution Hashing for Fast Pairwise Summations
在大规模数据集分析中,一个基本的计算原语是对大量对象上的简单函数求和。现代应用程序提出了一个额外的挑战,因为这样的功能往往取决于一个参数向量$y$(查询)是未知的先验。给定一组点$X\subset \mathbb{R}^{d}$和一个成对函数$w:\mathbb{R}^{d}\times \mathbb{R}^{d}\to [0,1]$,我们研究了设计一个数据结构的问题,该数据结构使任何查询$y\in \mathbb{R}^{d}$的求和$Z_{w}(y)=\frac{1}{|X|}\sum_{x\in X}w(x,y)$的次线性时间近似。通过将调和分析(单位和近似理论的分区)的思想与基于哈希的估计器[Charikar,Siminelakis FOCS'17]相结合,我们提供了一个通过哈希设计这种数据结构的通用框架,远远超出了以前的技术所允许的范围。一个关键的设计原则是一个集合的$T\geq 1$散列方案与冲突概率$p_{1},\ldots, p_{T}$,使得$\sup_{t\in [T]}\{p_{t}(x,y)\} = Θ(\sqrt{w(x,y)})$。这导致使用来自每个散列族的子线性数量的样本来近似$Z_{w}(y)$的数据结构。使用这个新的框架以及距离敏感哈希[Aumuller,Christiani,Pagh,Silvestri PODS'18],我们证明了这样的集合可…
2018-11-03 cs.DS
Sub-linear RACE Sketches for Approximate Kernel Density Estimation on Streaming Data
Rice University(莱斯大学)
核密度估计是一种简单有效的方法,是许多重要机器学习应用的核心。不幸的是,核方法对于大型高维数据集的扩展性很差。近似核密度估计具有过高的存储器和计算成本,特别是在流设置中。最近的高维密度采样算法可以降低计算成本,但不能在线操作,而流算法不能处理高维数据集,由于维数灾难。我们提出了RACE,一个高效的素描算法内核密度估计高维流数据。RACE将一组N个高维向量压缩到一个小的整数计数器数组中。这个数组足以估计一大类核的核密度。我们的设想是切实可行的,并有强有力的理论保证。我们在真实世界的高维数据集上评估了我们的方法,并表明我们的草图与竞争方法相比压缩效果好10倍。
2019-12-04 cs.DS cs.LG
Distance-Sensitive hashing
局部敏感哈希(LSH)是管理高维噪声或不确定数据的重要工具,例如与数据清理(相似性连接)和噪声鲁棒搜索(相似性搜索)有关。然而,对于一些问题的LSH框架是不知道产生良好的解决方案,而是特设的解决方案已被设计为特定的相似性和距离的措施。例如,对于输出敏感的相似性搜索/连接,以及对于支持环形查询的索引,这是真实的,该环形查询旨在报告与查询点接近某个给定距离的点。在本文中,我们开始研究距离敏感哈希(DSH),LSH的推广,寻求一个家庭的哈希函数,使两个点具有相同的哈希值的概率是一个给定的函数之间的距离。更准确地说,给定距离空间$(X, \text{dist})$和“碰撞概率函数”(CPF)$f\colon \mathbb{R}\rightarrow [0,1]$,我们寻求函数对$(h,g)$上的分布,使得对于每对点$x, y \in X$,碰撞概率是$\Pr[h(x)=g(y)] = f(\text{dist}(x,y))$。局部敏感哈希是研究CPF随着距离的增加而减少的速度。对于许多空间,$f$可以指数下降,即使我们限制注意的对称情况下,$g=h$。我们表明,通过具有一对功能实现的不对称性使得有可能实现CPF,例如,增加或单峰,并显示这是如何导致原则性的解决方案的LSH框架没有解决的问题。这包括隐私保护距离估计的新应用。我们相信DSH框架将在高维数据管理中得到进一步的应用。
2018-04-17 cs.DS
Improved Pan-Private Stream Density Estimation
差分隐私是对隐私的严格定义,它保证对敏感数据集执行的任何分析都不会泄露有关其中包含数据的个人的信息。在这项工作中,我们开发了新的差分隐私算法来分析流数据。具体来说,我们考虑的问题,估计的密度流的用户(或,更一般地说,元素),这表示所有用户的比例,实际上出现在流中。我们专注于流媒体模型最强的隐私保证之一,即用户级泛隐私,它确保任何用户的隐私得到保护,即使对手在罕见的情况下观察算法的内部状态。我们提出的算法采用最佳的所有分配的隐私预算,是专门为流媒体模型,因此,在理论上和实验上优于传统的基于采样的方法。
2021-11-16 cs.CR cs.DB cs.DS
A new Frequency Estimation Sketch for Data Streams
在数据流应用中,关键问题之一是估计每个项目在特定多集中的出现频率。多集意味着这个集合中的每个项目可以出现多次。许多应用中的数据流都是高速流,包含海量数据,如实时IP流量、图形流、Web点击和抓取、传感器数据库、自然语言处理(NLP)[2][6]等,在这些应用中,需要服务器实时的记录流信息。然而,由于这些应用中的数据流是高速的,准确记录和估计项目频率总是不切实际的。解决这个问题的另一种方法是基于概率数据结构估计项目频率,这种方法已广泛用于高速数据流估计[7][9]。Sketches是一种典型的概率数据结构,最初设计用于估计数据流中的项目频率[10][15]。目前,草图已用于许多不同的场景,例如压缩感知中的稀疏近似[16],自然语言处理[17,18],数据图[19,20]等等[21]。在本文中,我们主要集中在用于频率估计的草图。
2020-01-04 cs.DS
Sublinear Estimation of Weighted Matchings in Dynamic Data Streams
本文提出了一种通过扩充任意一个未加权匹配大小的估计程序来估计最大加权匹配的权值的算法。该算法可在包括动态图流在内的任何流模型中实现。我们还给出了平面图(或任何有界荫度的图)的动态图流中的最大匹配大小的第一个常数估计使用$\tilde{O}(n^{4/5})$空间,也扩展到加权匹配。利用Kapralov,Khanna和Sudan(2014)的先前结果,我们分别获得了随机顺序流中使用$\mathrm{polylog}(n)$空间的一般图的$\mathrm{polylog}(n)$近似。此外,我们给出了一个空间下界的$Ω(n^{1-\varepsilon})$的任何随机算法估计的最大匹配的大小为一个$1+O(\varepsilon)$因素的对抗流。
2015-07-09 cs.DS
QSketch: An Efficient Sketch for Weighted Cardinality Estimation in Streams
提出QSketch,一种用于流中加权基数估计的高效内存Sketch方法,通过量化技术将变量压缩至8位,并利用动态特性提升精度,实现O(1)更新复杂度,在仅用1/8内存下准确率提升约30%,速度快两个数量级。
2024-06-27 cs.DB cs.DS
Improved Accuracy for Private Continual Cardinality Estimation in Fully Dynamic Streams via Matrix Factorization
Institute of Science and Technology Austria(奥地利科学与技术研究所);Department of Computer Science, Boston University(波士顿大学计算机科学系)
本文通过矩阵分解改进了全动态流中私有连续基数估计的精度,提升了计数不同元素、度直方图和三角计数的误差界。
2026-01-05 cs.CR cs.DS cs.LG
Fast Moment Estimation in Data Streams in Optimal Space
对于(1+eps)-逼近在数据流中更新的长度为n的向量的第p个频率矩,0 < p < 2,我们给出了一个更新时间为O(log^2(1/eps)loglog(1/eps))的空间最优算法.这使得更新时间复杂度比之前的空间最优算法[Kane-Nelson-Woodruff,SODA 2010](更新时间为Ω(1/eps^2))有了近乎指数级的改进。
2010-07-23 cs.DS
Frequency Estimation Under Multiparty Differential Privacy: One-shot and Streaming
Hong Kong University of Science and Technology(香港科技大学);University of Warwick(华威大学)
我们研究了隐私和通信约束下的频率估计的基本问题,其中数据分布在$k$各方之间。我们考虑两种应用场景:(1)单次,其中数据是静态的,聚合器进行一次性计算;(2)流式传输,其中每一方随着时间的推移接收项目流,聚合器不断监控频率。我们采用多方差分隐私(MDP)模型,它比局部差分隐私(LDP)和(集中式)差分隐私更具有一般性。我们的协议实现最优性(对数因子)允许的两个约束条件中更严格的。特别是,当专用于$\varepsilon$ -LDP模型时,我们的协议使用$O(k\max\{ \varepsilon, \frac{1}{\varepsilon} \})$通信位和$O(k \log u)$公共随机位实现了$\sqrt{k}/(e^{Θ(\varepsilon)}-1)$的错误,其中$u$是域的大小.
2021-05-29 cs.CR cs.DS cs.LG
SimiSketch: Efficiently Estimating Similarity of streaming Multisets
针对流式多重集相似度估计问题,提出草图算法SimiSketch,利用SALSA提升准确性,实验证明其准确率和吞吐量最高分别提升42倍和360倍。
2024-05-30 cs.DS
Model Counting meets F0 Estimation
约束满足问题(CSP)和数据流模型是两个强大的抽象,用于捕获在计算机科学的不同领域中出现的各种各样的问题。两个社区的事态发展大多是独立发生的,彼此之间几乎没有互动。在这项工作中,我们试图调查弥合两个社区之间看似沟通的差距是否可能为更丰富的基本见解铺平道路。为此,我们专注于两个基本问题:CSP的模型计数和零频矩($F_0$)的数据流的计算。我们的调查使我们观察到惊人的相似性,在算法框架中采用的核心技术,已经分别演变为模型计数和$F_0$计算。我们设计了一个食谱翻译的算法开发的$F_0$估计模型计数,从而在新的算法模型计数。然后,我们观察到,在分布式流的上下文中的算法可以转换为分布式算法的模型计数。接下来,我们把我们的注意力从计数的镜头观看流,并表明,框架$F_0$估计作为一个特殊的情况下,#DNF计数允许我们获得一个通用的配方,丰富的流问题,这已经受到特定情况下的分析,在以前的作品。特别是,我们的观点产生一个国家的最先进的算法,多维范围有效的$F_0$估计与一个简单的分析。
2021-05-03 cs.DB cs.DS
Stream sampling for variance-optimal estimation of subset sums
从大量的加权项流中,我们希望维护一个具有特定有限大小$k$的通用样本,以便稍后用于估计任意子集的总权重。这是在线储层采样的经典背景,将通用样本视为储层。我们提出了一个有效的水库采样计划,$\varoptk$,占主导地位的所有以前的计划在估计质量。$\varoptk$提供{子集和的\em方差最优无偏估计}。更准确地说,如果我们已经看到流的$n$项,那么对于{ \em any}子集大小$m$,我们基于$k$样本的方案最小化了大小为$m$的所有子集的平均方差。事实上,最优性是反对任何离线方案,其中$k$样本是为所看到的具体项目集而定制的。除了最佳的平均方差,我们的计划提供了更严格的最坏情况下的界限的方差{ \em特定}子集比以前可能的。它是高效的,在$O(\log k)$时间内处理流的每个新项。最后,它特别适合于在分布式环境中组合来自不同流的样本。
2010-11-15 cs.DS
FLEET: Butterfly Estimation from a Bipartite Graph Stream
我们认为空间有效的单通估计的蝴蝶,一个基本的二分图图案的数量,从一个大规模的二分图流,其中每个边缘代表在两个不同的分区实体之间的连接。我们提出了一个空间下界的任何流算法,可以准确地估计蝴蝶的数量,以及FLEET,一套算法,准确地估计蝴蝶的数量在图形流。算法返回的估计值在近似误差上有可证明的保证,实验表明在所用空间和近似精度之间有很好的权衡。我们还提出了空间效率的算法,用于估计流中最近的元素的滑动窗口内的蝴蝶的数量。虽然有一个显着的机构的工作计数子图,如三角形在一个unipartite图流,我们的工作似乎是少数几个解决的情况下,二分图流。
2019-08-28 cs.DS
A Near-Optimal Space Lower Bound for Euclidean Diameter Estimation in Dynamic Streams
University of Pennsylvania(宾夕法尼亚大学)
针对动态流中欧几里得直径估计,我们证明了任何c近似算法需$n^{\tilde{\Omega}(1/c^2)}$空间,与Indyk的上界匹配,解决了空间复杂度问题。
2026-09-17 cs.CG cs.DS
Local Density Estimation in High Dimensions
在研究从数据中学习的高维向量表示时出现的一个重要问题是:给定向量集$\mathcal{D}$和查询$q$,估计指定距离阈值$q$内的点的数量。我们开发了两个估计器,LSH计数和多探针计数,使用局部敏感哈希预处理数据,以准确和有效地估计这些问题的答案,通过重要性采样。一个关键的创新是能够通过预处理数据结构和从每个哈希表中的多个桶中采样的算法来维护少量的哈希表。我们给出了我们的方案的空间要求和样本复杂度的界限,并在标准词嵌入数据集上的实验中证明了它们的有效性。
2018-09-20 cs.DS
Differentially Private Continual Releases of Streaming Frequency Moment Estimations
计算的流模型是处理大规模数据的流行方法。在这种设置中,有一个项目流,目标是计算所需的数量(通常是数据统计),同时通过流进行单次传递并使用尽可能少的空间。出于数据隐私的重要性,我们开发了差分隐私流媒体算法下的连续发布设置,在每个时间戳的算法的输出的联合必须是差分隐私。具体地说,我们研究了基本的$\ell_p$ $(p\in [0,+\infty))$频率矩估计问题在此设置下,并给出了一个$\varepsilon$算法,实现$(1+η)$ -相对近似$(\forall η\in(0,1))$与$\mathrm{poly}\log(Tn)$添加性误差和使用$\mathrm{poly}\log(Tn)\cdot \max(1, n^{1-2/p})$空间,其中$T$是流的长度和$n$是宇宙的元素的大小。我们的空间是接近最佳的多对数因子,即使在非私人设置。为了获得我们的结果,我们首先减少了几个原语下的差分私有连续发布模型,如计数不同的元素,重打击者和计数低频元素,在相同的设置更简单,计数/求和问题。基于这些原语,我们开发了一种差分私有连续释放水平集估计方法来解决$\ell_p$频率矩估计问题。我们还提供了一个简单的扩展,我们的结果更硬的滑动窗口模型,统计数据必须保持在过去的$W$数据项。
2023-01-13 cs.DS
The Sparse Awakens: Streaming Algorithms for Matching Size Estimation in Sparse Graphs
估计最大匹配的大小是图算法中的一个典型问题,并且在一系列不同的计算模型上吸引了广泛的研究。我们提出了改进的流算法近似稀疏(有界荫度)图的最大匹配的大小。* 仅插入流:我们提出了一个单程算法,需要O(c log^2 n)的空间和近似的最大匹配的大小在一个因子O(c)荫度c的图。该算法比现有的O~(cn^{2/3})空间流算法有了很大的改进。* 动态流:给定动态图形流(即,针对c-有界荫度图的边的插入和删除问题,我们提出了一个单遍算法,该算法使用空间O~(c^{10/3}n^{2/3}),并返回最大匹配大小的O(c)-估计。该算法改进了现有的O~(cn^{4/5})空间算法,其中O~(.)符号在$n$依赖项中隐藏对数。与以前的作品相比,我们的结果更多地利用了对输入的流访问,并根据流中边的排序以及稀疏图的度分布和结构属性来表征匹配大小。
2016-11-14 cs.DS
Separations for Estimating Large Frequency Moments on Data Streams
我们研究了经典问题的矩估计的基础向量的$n$坐标是隐式定义通过一系列的更新数据流。我们表明,如果更新的向量到达随机顺序插入的唯一模型,那么存在空间有效的算法与改进的依赖近似参数$\varepsilon$。特别是,对于任何真正的$p > 2$,我们首先获得一个算法的$F_p$矩估计使用$\tilde{\mathcal{O}}\left(\frac{1}{\varepsilon^{4/p}}\cdot n^{1-2/p}\right)$位的内存。我们的技术还给出了算法$F_p$矩估计与$p>2$在任意阶插入只和旋转栅门流,使用$\tilde{\mathcal{O}}\left(\frac{1}{\varepsilon^{4/p}}\cdot n^{1-2/p}\right)$位的空间和两个通道,这是第一个最佳的多通道$F_p$估计算法高达$\log n$因素。最后,我们给出了一个改进的$Ω\left(\frac{1}{\varepsilon^2}\cdot n^{1-2/p}\right)$的一遍插入流的下界。我们的研究结果分离的复杂性,这个问题之间的随机和非随机的订单,以及单通和多通流。
2022-07-07 cs.DS
Revisiting Frequency Moment Estimation in Random Order Streams
我们重新审视数据流文献中的经典问题之一,即,估计频率矩$F_p$为$0 < p < 2$的一个基本的$n$维向量作为一个序列的流中的添加剂更新。众所周知,使用$p$稳定分布,可以使用空间的$O(ε^{-2} \log n)$位将这些矩中的任何一个近似为乘法$(1+ε)$因子,并且该空间边界在旋转栅门流模型中最优为常数因子。令人惊讶的是,我们发现,如果人们考虑流行的随机顺序模型的插入流,其中的更新的基础向量到达一个随机的顺序,然后可以击败这个空间约束,并实现$\tilde{O}(ε^{-2} + \log n)$位的空间,其中的$\tilde{O}$隐藏聚$(\log(1/ε) + \log \log n)$因素。如果是$ε^{-2} \approx \log n$,则这表示在旋转栅门流中可实现的空间的大致二次改进。我们的算法实际上是确定性的,我们表明我们的空间界限是最佳的聚$(\log(1/ε) + \log \log n)$因素的随机顺序模型中的确定性算法。我们也得到了类似的改善空间$p = 2$每当$F_2 \gtrsim \log n\cdot F_1$。
2018-03-06 cs.DS
Fair-Count-Min: Frequency Estimation under Equal Group-wise Approximation Factor
针对Count-Min草图对不同元素组不公平的问题,提出Fair-Count-Min,通过列分区和组感知半均匀哈希消除组间冲突,保证各组期望近似因子相等,以最小额外误差实现公平并保持效率。
2025-05-25 cs.DS
Streaming Algorithms for High-Dimensional Robust Statistics
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对高维鲁棒统计算法内存占用高的问题,提出首批近最优内存的高效流式算法,核心解决强化版Huber污染模型下的鲁棒均值估计,还可推广到协方差估计、回归等更复杂任务。
2023-05-03 cs.DS cs.LG math.ST
On Sampling from Massive Graph Streams
我们提出了图优先级采样(GPS),一个新的范例为基础的水库采样从大量的流图边缘。GPS提供了一种根据辅助变量和/或大小变量对边采样进行加权的通用方法,从而实现图属性的各种估计目标。在子图计数的背景下,我们展示了如何可以选择边缘采样权重,以便最小化指定子图集合的计数的估计方差。与许多现有的图采样方案不同,GPS分离了边缘采样和子图估计的功能。我们提出了两个估计框架:(1)后流估计,允许GPS构建一个参考样本的边缘,以支持追溯图查询,和(2)流内估计,允许GPS获得较低的方差估计通过增量更新子图计数估计在流处理。子图估计的无偏性是建立通过一个新的鞅制定的图流序抽样,这表明,子图估计,作为一个产品的组成边缘估计是无偏的,即使在流中的不同点计算。与以前的工作相比,估计和采样的分离可以节省大量资源。我们说明了我们的框架与应用程序的三角形和楔形计数。我们对来自不同领域和类型的真实世界图进行了大规模的实验研究。GPS实现了高精度,三角形和楔形计数的误差小于1%,同时存储一小部分图形,每条边的平均更新时间为几微秒。值得注意的是,对于一个拥有超过2.6亿条边的大型Twitter图,GPS可以准确地估计三角形计数,误差小于1%,同时只存储40 K条边。
2017-03-07 cs.DS cs.IR cs.SI
Cardinality Estimation Meets Good-Turing
基数估计算法接收顺序可能是任意的元素流,可能有重复,并返回不同元素的数量。这种算法通常寻求以输出不准确为代价来最小化所需的存储和处理。这些算法的实际应用需要处理大量的监控数据,这使得收集和分析整个输入流变得不切实际。在这种情况下,通常的做法是只对一小部分流元素进行采样和处理。本文提出并分析了一种将各种基数估计算法与抽样过程相结合的通用算法。我们证明了所提出的抽样算法不影响估计量的渐近无偏性,并分析了抽样对估计量方差的影响。
2015-08-25 cs.DS
Simulating Random Walks in Random Streams
随机顺序图流模型最近受到了极大的关注,与匹配大小估计,组件计数,和有界度常数查询可测试属性的评估等问题,承认令人惊讶的空间效率的算法。本文的主要结果是一个空间有效的单程随机顺序流算法模拟几乎独立的随机游动开始于均匀随机顶点。我们表明,分布的$k$ -步步行从$b$顶点均匀随机选择可以近似到错误$\varepsilon$每次步行使用$(1/\varepsilon)^{O(k)} 2^{O(k^2)}\cdot b$字的空间与一个单一的通过一个随机有序的流的边缘,解决了一个开放的问题彭和Sohler [SODA '18]。我们的结果的应用包括估计的平均返回概率的$k$步行走(跟踪的$k^\text{th}$功率的随机行走矩阵),以及PageRank的估计。我们补充我们的算法与一个强大的不可能的结果有向图。
2021-12-14 cs.DS
Data Streams with Bounded Deletions
数据流文献中两种流行的模型是仅插入模型和旋转门模型。不幸的是,许多重要的流问题需要一个$Θ(\log(n))$乘法因子,用于旋转栅门流的空间比用于仅插入流的空间大。这种复杂性差距经常出现,因为在考虑了对项目的所有插入和删除之后,基础频率向量$f$非常接近$0$。在这样的流中的信号检测是困难的,给定大量的删除。在这项工作中,我们提出了一个中间模型,给定一个参数$α\geq 1$,下界规范$\|f\|_p$的$1/α$ -分数的$L_p$质量的流的所有更新都是积极的。这里,对于矢量$f$、$\|f\|_p = \left (\sum_{i=1}^n |f_i|^p \right )^{1/p}$和$p$的值,我们根据应用选择。这在仅插入流(具有$α= 1$)和旋转栅门流(具有$α= \text{poly}(n)$)之间提供了流体介质,并且允许根据$α$进行分析。我们表明,流与此$α$ -属性,对于许多基本的流问题,我们可以取代$O(\log(n))$因素的空间使用的算法在旋转栅门模型与$O(\log(α))$因素。这对于识别重打击者、内积估计、$L_0$估计、$L_1$估计、$L_1$抽样和支持抽样都是正确的。对于每一个问题,我们给出匹配或几乎匹配的$α$属性流的下界。我们注意到,在实践中,许多重要的旋转栅门数据流实际上是$α$-小$α$值的属性流。对于这样的应用程序,我们的结果代表了…
2018-03-23 cs.DS
Local Differentially Private Fuzzy Counting in Stream Data using Probabilistic Data Structure
流数据中的项的计数的隐私保护估计在包括单词自动校正和流量管理应用的若干真实世界场景中找到应用。RAPPOR和Apple的计数平均草图(CMS)算法的最新工作提出了隐私保护机制,用于使用概率数据结构(如计数布隆过滤器和CMS)在大量数据中进行计数估计。然而,这些现有的方法不足以为实时流数据应用提供合理的解决方案。在这项工作中,我们提出了一种新的(本地)差分私有机制,提供了高效用的流数据计数估计问题与类似或甚至更低的隐私预算,同时提供:a)模糊计数报告计数相关或类似的项目(例如,以占打字错误和数据变化),和b)提高查询效率,以减少实时查询计数的响应时间。我们提供了正式的证据,隐私和效用的保证,并提出了广泛的实验评估我们的算法,使用真实和合成的英语单词数据集的精确和模糊计数的情况。我们的隐私保护机制大大优于以前的工作,在查询时间较低,显着更高的效用(计数估计的准确性)类似或较低的隐私保证,在通信开销的成本。
2022-11-30 cs.CR cs.DS
Low-Rank Toeplitz Matrix Estimation via Random Ultra-Sparse Rulers
我们研究了如何从压缩测量值中估计一个近似低秩的Toeplitz协方差矩阵$T$。最近的工作乔和Jiang解决了这个问题,结合稀疏统治者(稀疏线性阵列)与频率发现(稀疏傅立叶变换)算法应用于范德蒙分解的$T$。样本的复杂性的分析界限显示,在此分解的频率之间的足够大的差距的假设下。在这项工作中,我们引入了随机超稀疏规则,并提出了一种改进的方法,基于这些对象。我们的随机规则有效地将随机排列应用于$T$的Vandermonde分解中的频率,使我们避免了频率间隙假设,并提高了样本复杂度。在$T$是循环的特殊情况下,我们从理论上分析了我们的方法与基于随机散列的稀疏傅里叶变换算法相结合时的性能。我们还通过实验表明,我们的超稀疏统治者提供更强大的和样本效率的估计,然后基线方法。
2019-11-19 cs.DS cs.IT eess.SP