Separations and Equivalences between Turnstile Streaming and Linear Sketching
一个长期的观察，这是部分证明在\cite{LNW14,AHLW16}，是任何旋转栅门流算法可以实现为一个线性草图（反过来是平凡的）。我们更详细地研究了旋转栅门流和线性素描算法之间的关系，给出了两种模型之间的新的分离和新的等价关系。在\cite{LNW14}中表明，如果旋转栅门算法适用于任意长的流，在流的中间阶段具有任意大的坐标，则旋转栅门算法等效于线性草图。我们展示了相反形式的分离：如果流的长度或流的最大值基本上受到限制，则存在线性草图比旋转栅门流指数更难的问题。\cite{LNW14}等价的另一个限制是旋转栅门草图绘制算法既不明确也不统一，而是需要指数级长的建议字符串。我们将展示如何消除这种限制的确定性流算法：我们给出了一个明确的小空间算法，流算法和计算一个等效的模块。
2021-01-05 cs.DS
Sketching Merge Trees for Scientific Data Visualization
University of Utah（犹他大学）；Michigan State University（密歇根州立大学）
合并树是一种拓扑描述符，它记录了标量场子级集合之间的连通性。它们是可视化中使用最广泛的拓扑工具之一。在本文中，我们感兴趣的是绘制一组合并树。也就是说，给定一个大的合并树集合T，我们希望找到一个小得多的基集合S，使得T中的每棵树都可以从S中的合并树的线性组合中近似重构。一组高维向量可以通过矩阵草图技术（如主成分分析和列子集选择）绘制。然而，到目前为止，拓扑描述符，如合并树还没有被称为是草图。我们开发了一个框架，结合Gromov-Wasserstein概率匹配与矩阵素描技术的合并树。我们展示了我们的框架在绘制合并树，所产生的随时间变化的科学模拟的应用。具体来说，我们的框架获得了一个更小的表示一个大的合并树的下游分析和可视化。它被证明是有用的，在确定良好的代表和离群值相对于一个选定的基础。最后，我们的工作显示了一个很有前途的方向，利用随机线性代数在科学可视化。
2021-05-30 cs.CG cs.DS cs.LG
On Sketching the $q$ to $p$ norms
我们开始研究数据降维，或素描，为$q\to p$规范。给定一个$n \times d$矩阵$A$，$q\to p$范数，表示为$\|A\|_{q \to p} = \sup_{x \in \mathbb{R}^d \backslash \vec{0}} \frac{\|Ax\|_p}{\|x\|_q}$，是在数据流和草图模型中研究的几个矩阵和向量范数的自然推广，应用于数据挖掘，近似的硬度和不经意路由。我们说随机矩阵$L \in \mathbb{R}^{nd} \rightarrow \mathbb{R}^k$上的分布$S$是$(k,α)$ -草图族，如果从$L(A)$，人们可以近似$\|A\|_{q \to p}$直到具有常数概率的因子$α$。我们为每个$p, q \in [1, \infty]$提供草图尺寸$k$的上限和下限，并且在许多情况下，我们的界限很紧。虽然我们主要关注常数$α$，但我们也考虑大的近似因子$α$，以及问题的其他变体，例如当$A$具有低秩时。
2018-06-17 cs.CC cs.DS
Simple and Deterministic Matrix Sketching
我们适应一个众所周知的流算法近似项目频率的矩阵素描设置。该算法以流式方式一个接一个地接收大矩阵$A \in \R^{n \times m}$的行。它维护草图矩阵$B \in \R^ {1/\eps \times m}$，使得对于任何单位向量$x$ [\|Ax\|^2 \ge \|Bx\|^2 \ge \|Ax\|^2 - \eps \|A\|_{f}^2 \.]在最坏情况下，$A$中每行的草图更新需要$O(m/\eps^2)$操作。对该算法的轻微修改允许每行$O(m/\eps)$操作的摊销更新时间。所提出的算法脱颖而出，因为它是：确定性的，简单的实现，和初等证明。它还通过实验产生了比广泛使用的方法更准确的草图，同时仍然具有计算竞争力。
2012-07-11 cs.DS
Sketching, Streaming, and Fine-Grained Complexity of (Weighted) LCS
我们研究了小字母长度字符串的最长公共子序列问题（LCS）的草图和流算法$|Σ|$。对于判断字符串$x,y$的LCS长度是否至少为$L$的问题，我们得到了$\mathcal{O}(L^{|Σ| - 1} \log L)$的草图大小和流空间使用率。我们还证明了匹配的无条件下界。作为一个应用程序，我们研究了LCS的一个变体，其中每个字母符号都配备了一个权重，作为输入，任务是计算一个共同的子序列的最大总重量。使用我们的草图算法，我们得到了这个问题的$\mathcal{O}(\textrm{min}\{nm, n + m^{\lvert Σ\rvert}\})$时间算法，长度为$n,m$的字符串$x,y$，$n \ge m$。我们证明了最优的运行时间为低阶因素，假设强指数时间假设。
2018-10-02 cs.DS
Distributed Least Squares in Small Space via Sketching and Bias Reduction
University of Michigan（密歇根大学）；University of Pennsylvania（宾夕法尼亚大学）
针对矩阵草图在最小二乘估计中的根本限制，提出通过最小化估计量偏差的稀疏草图方法，以最优空间和两遍数据扫描获得近无偏估计，并改进分布式平均算法。
2024-05-08 cs.DS cs.LG cs.NA
Sketching Intersection Profiles: A Simple Proof and Three Applications
Sapienza University of Rome（罗马智慧大学）；Google（谷歌）
本文通过连接交集轮廓草图问题，解决了三个草图问题的复杂度，给出了顶点邻域大小、覆盖函数和随机效用模型的紧界，并提供了一个仅用初等概率的简单下界证明。
2026-06-12 cs.CC cs.DS
Sketching as a Tool for Numerical Linear Algebra
这项调查突出了最近的进展，数值线性代数算法已经从技术的线性素描，即给定一个矩阵，首先压缩到一个更小的矩阵乘以（通常）随机矩阵与某些属性。然后，可以在较小的矩阵上执行大部分昂贵的计算，从而加速原始问题的解决方案。在本综述中，我们考虑最小二乘以及稳健回归问题，低秩近似和图稀疏化。我们还讨论了这些问题的一些变种。最后，我们讨论了素描方法的局限性。
2015-02-10 cs.DS
Sampling Methods for Inner Product Sketching
针对内积估计问题，提出两种基于采样的线性时间草图方法，在理论和实验上优于现有线性草图，并证明了近似保证。
2024-08-22 cs.DB cs.DS
Sketching Linear Classifiers over Data Streams
Stanford University（斯坦福大学）
我们引入了一个新的子线性空间草图-权重中值草图-用于在数据流上学习压缩线性分类器，同时支持模型中大幅度权重的有效恢复。这使得存储器有限的执行几个统计分析的流，包括在线特征选择，流数据解释，相对三角形检测，和逐点互信息的流估计。与捕获数据流中最频繁出现的特征（或项）的相关草图不同，加权中值草图捕获的是一个流（或类）与另一个流（或类）相比最具区别性的特征。权重-中位数草图采用计数-草图中使用的核心数据结构，但它不是草图计数，而是捕获对模型参数的草图梯度更新。我们提供了一个理论分析，建立批量和在线学习的恢复保证，并证明经验改进的内存精度权衡替代内存预算的方法，包括计数为基础的草图和功能哈希。
2018-04-06 cs.DS cs.LG stat.ML
Oblivious Sketching of High-Degree Polynomial Kernels
核方法是机器学习中的基本工具，其允许检测数据之间的非线性依赖关系，而无需在高维空间中显式地构造特征向量。核方法的一个主要缺点是它们的可扩展性差：像核PCA或核岭回归这样的基元通常需要非常大的二次空间和（至少）二次时间，因为核矩阵通常是密集的。用于加速核线性代数的一些方法是已知的，但是它们在输入点集的维度（例如，快速多极方法遭受维数灾难）或核函数的次数。在过去的十年中，不经意的草图已经成为一种强大的方法来加速数值线性代数，但我们对核矩阵的不经意的草图解决方案的理解仍然非常有限，受到上述指数依赖于输入参数的影响。我们的主要贡献是一个一般的方法，适用于草图解决方案在数值线性代数在过去的十年中，张量的数据点，而不形成张量明确。这导致具有仅多项式地依赖于核函数的次数的目标维度的多项式核的第一不经意草图，以及不遭受对输入数据点的维度的指数依赖的有界数据集上的高斯核的第一不经意草图。
2020-12-22 cs.DS
COPT: Coordinated Optimal Transport for Graph Sketching
Microsoft（微软）；Columbia University（哥伦比亚大学）
我们引入COPT，通过优化程序定义的图形之间的一种新的距离度量，同时计算一对协调的最佳运输地图。这提供了一种无监督的方式来学习通用图形表示，适用于图形草图和图形比较。COPT涉及同时优化双重运输计划，一个在两个图的顶点之间，另一个在图信号概率分布之间。我们从理论上表明，我们的方法保留了重要的全局结构信息的图形，特别是光谱信息，并分析连接到现有的研究。从经验上讲，COPT在合成和真实数据集上的图分类中优于最先进的方法。
2020-06-15 cs.DS cs.LG stat.ML
Non-Mergeable Sketching for Cardinality Estimation
基数估计可能是最简单的非平凡的统计问题，可以通过草图解决。HyperLogLog、MinHash和PCSA等工业部署的草图是可合并的，这意味着可以在分布式环境中绘制大型数据集，然后将其合并为整个数据集的单个草图。在过去的十年中，已经开发了各种各样的草图，这些草图是不可合并的，但由于其他原因而具有吸引力。它们更简单，它们的基数估计是严格无偏的，并且它们具有显著更低的方差。我们在一个合理的水平竞争环境中评估素描方案，根据他们的记忆方差乘积（MVP）。例如，在一个示例中，占用$5m$位并且其相对方差为$2/m$（标准误差$\sqrt{2/m}$）的草图具有$10$的MVP。我们的贡献如下。科恩和丁独立地发现了我们所说的鞅变换，用于将可合并的草图转换为不可合并的草图。我们提出了一个简单的方法来分析极限MVP的鞅型草图。我们证明了\Martingale{}变换在不可合并的世界中是最优的，特别是\Martingale{} \fishmonger{}在可线性化的草图中是最优的，MVP为$H_0/2 \approx 1.63$。例如，在一个示例中，这是一个间接的证据，证明要达到1%的标准误差，我们不能做得比一个200字节的草图更好。\Martingale{} \fishmonger{}既不简单也不实用。我们开发了一个新的可合并的草图称为\Curtain{}，罢工之间的简单性和效率很好的平衡，并证明…
2021-02-15 cs.DS
Weighted Minwise Hashing Beats Linear Sketching for Inner Product Estimation
提出基于 Weighted MinHash 的紧凑草图方法用于高维向量内积估计，在稀疏向量上精度优于 CountSketch 等线性草图方法，并具备理论与实验支持。
2023-05-05 cs.DB cs.DS
Dimensionality reduction of SDPs through sketching
我们将展示如何使用正映射来绘制半定规划（SDP），以降低其维数。更准确地说，我们使用Johnson \hyp{} Lindenstrauss变换来产生更小的SDP，其解决方案保持可行性或以高概率近似原始问题的值。这些技术允许改进复杂性和存储空间要求。他们适用于问题中的Schatten 1-范数的矩阵指定的SDP和解决方案的问题是恒定的问题的大小。此外，我们提供了一些结果，澄清了积极的，线性草图在这种情况下的局限性。
2018-11-15 cs.DS math.OC
Fast Modular Subset Sum using Linear Sketching
给定n个正整数，模子集和问题询问是否子集加起来等于给定目标t模给定整数m。这是子集和问题（其中m=+ \infty）的自然推广，与加法组合学和密码学有关。最近，在[Bringmann，SODA'17]和[Koiliaris和Xu，SODA'17]中，已经开发了非模块化情况下的有效算法，在近线性伪多项式时间中运行。然而，对于模的情况，Koiliaris和Xu [Koiliaris and Xu，SODA'17]提出的最著名的算法的时间复杂度为O~（m^{5/4}）。本文提出了一个时间复杂度为O~（m）的算法，该算法符合[Abboud et al. [17]强指数时间假设。有趣的是，与以前大多数关于子集和的结果相反，我们的算法不使用快速傅立叶变换。相反，它能够更快地模拟“教科书”动态规划算法，使用来自线性草图的想法。这是基于草图的技术在离线环境中获得组合问题的快速算法的第一个应用程序之一。
2018-07-12 cs.DS
Oblivious sketching for logistic regression
TU Dortmund University（多特蒙德工业大学）；Carnegie Mellon University（卡内基梅隆大学）
在一个数据流上一次通过解决逻辑回归有什么保证？为了回答这个问题，我们提出了逻辑回归的第一个数据不经意草图。我们的草图可以计算在输入稀疏时间在一个旋转栅门数据流，并减少$d$维数据集的大小从$n$到只有$\operatorname{poly}(μd\log n)$加权点，其中$μ$是一个有用的参数，它捕获的复杂性压缩数据。在草图上求解（加权）逻辑回归给出了完整数据集上原始问题的$O(\log n)$近似。我们还展示了如何获得一个$O(1)$ -近似略有修改。我们的草图是快速，简单，易于实现，我们的实验证明其实用性。
2021-07-14 cs.DS cs.LG stat.ML
Graph Spanners by Sketching in Dynamic Streams and the Simultaneous Communication Model
图素描是一个强大的技术介绍的开创性工作的Ahn，Guha和McGregor'12的连接在动态图形流，从那时起，在文献中享有相当大的关注，并导致了近最佳的动态流算法的许多基本问题，如连接，削减和频谱稀疏和匹配。然而，有趣的是，近似图的最短路径度量的草图和动态流的复杂性仍然远未得到很好的理解。除了经典构造的直接$k$ -通路实现（最近由Fernandez、Woodruff和Yasuda改进为$\lfloor\frac k2\rfloor+1$ -通路'20）之外，现有技术相当于Ahn、Guha和McGregor'12的$O(\log k)$ -通路算法，以及Kapralov和Woodruff'14的$2$ -通路算法.特别是，没有单遍算法是已知的，并且遍数、拉伸和空间复杂度之间的最佳折衷是开放的。在本文中，我们介绍了几个新的图形素描技术近似的最短路径度量的输入图。我们给出了第一个{ \em单遍}绘制算法，用于构建图空间：我们展示了如何使用$\widetilde{O}(n)$空间获得$\widetilde{O}(n^{\frac23})$ -图，以及在一般情况下，对于每个$α\in [0, 1]$，使用$\widetilde{O}(n^{1+α})$空间获得$\widetilde{O}(n^{\frac23(1-α)})$ -图，我们认为这种折衷可能接近最优。我们还给出了新的构造算法，任…
2020-11-12 cs.DS
Cost-efficient Gaussian Tensor Network Embeddings for Tensor-structured Inputs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文讨论了具有张量网络结构的随机矩阵（$S$）的张量网络嵌入。这些嵌入已被用于执行张量网络结构化输入$x$的降维，并加速诸如张量分解和核回归之类的应用。现有的工作已经为具有特定结构的输入$x$设计了嵌入，使得计算$Sx$的计算成本是有效的。我们提供了一种系统的方法来设计由高斯随机张量组成的张量网络嵌入，使得对于具有更一般的张量网络结构的输入，草图大小（$S$的行大小）和草图计算成本都很低。我们分析了一般的张量网络嵌入，可以减少到一个序列的草图矩阵。我们提供了一个充分条件来量化这种嵌入的准确性，并推导出草图渐近成本下界使用嵌入，满足这个条件，并具有低于任何输入尺寸的草图大小。然后，我们提供了一个算法，有效地使用这样的嵌入草图输入数据。该算法中使用的嵌入的草图大小与输入的草图尺寸的数量呈线性关系。假设张量收缩与经典的稠密矩阵乘法算法进行，该算法实现的渐近成本的一个因素$O(\sqrt{m})$的成本下界，其中$m$是草图的大小。此外，当输入中的每个张量具有需要绘制的尺寸时，该算法产生最优的绘制渐近成本。我们将我们的草图分析不精确张量分解优化算法。我们提供了一个草图算法的CP分解，是渐近快于现有的工作在多个政权，并显示最优的张量训练舍入的现有算法。
2022-05-26 cs.DS cs.LG cs.NA
