Graph Sketching Against Adaptive Adversaries Applied to the Minimum Degree Algorithm
受矩阵消元顺序研究启发，本文利用图草图和局部采样构建数据结构，提出了生成近似贪心最小度消元顺序的近线性时间算法，并通过额外采样解决了自适应对手模型中的随机依赖问题。
2018-04-11 cs.DS
Tight Bounds for Sketching the Operator Norm, Schatten Norms, and Subspace Embeddings
我们考虑下面的不经意的素描问题：给定$ε\in (0,1/3)$和$n \geq d/ε^2$，设计一个分布$\mathcal{D}$在$\mathbb{R}^{k \times nd}$和一个功能$f: \mathbb{R}^k \times \mathbb{R}^{nd} \rightarrow \mathbb{R}$，使任何$n \times d$矩阵$A$，$$\Pr_{S \sim \mathcal{D}} [(1-ε) \|A\|_{op} \leq f(S(A),S) \leq (1+ε)\|A\|_{op}] \geq 2/3,$$其中$\|A\|_{op}$是$A$和$S(A)$运营商规范$S \cdot A$，解释$A$作为一个向量在$\mathbb{R}^{nd}$。我们证明了这个问题的$k = Ω(d^2/ε^2)$的一个紧下界。我们的结果大大加强了Nelson和Nguyen（ICALP，2014）的结果，因为它（1）仅适用于估计算子范数，可以在任何OSE下估计，（2）适用于一般线性算子$S$上的分布，将$A$视为向量并计算$S(A)$，而不是对应于矩阵乘法的受限线性算子类。我们的技术还暗示了通过一般线性草图近似偶数$p$的Schatten $p$范数的第一个紧界，将先前的下界从$k = Ω(n^{2-6/p})$ [Regev，2014]改进为$k = Ω…
2022-02-20 cs.DS
Near-Optimal Algorithms for Linear Algebra in the Current Matrix Multiplication Time
MIT（麻省理工学院）；IBM Research Almaden（IBM阿尔马登研究院）；CMU（卡内基梅隆大学）
在数值线性代数社区中，有人建议要获得各种问题的近似最优边界，例如秩计算，找到列的最大线性无关子集（基），回归或低秩近似，一种自然的方法是解决Nelson和Nguyen的主要开放问题（FOCS，2013）。这个问题是关于对数因子在现有的不经意子空间嵌入，实现常数因子近似的草图尺寸。我们将展示如何绕过这个问题，使用一个精致的草图技术，并获得这些问题的最佳或接近最佳的界限。我们使用的一个关键技术是基于不确定性原理和提取器的Indyk显式映射，在首先应用已知的不经意子空间嵌入之后，使我们能够快速扩展向量的质量，以便采样现在是有效的。因此，我们避免了对数因子的草图尺寸，这是标准的边界证明，使用矩阵Beschoff不等式。对于秩计算和找到基的基本问题，我们的算法改进了Cheung，Kwok和Lau（JACM，2013），并且分别在常数因子和poly（log log（n））因子内是最优的。此外，对于常因子回归和低秩近似，我们给出了当前矩阵乘法指数的第一个最优算法。
2021-11-02 cs.DS cs.LG
Optimal Sketching Bounds for Sparse Linear Regression
Adobe Research（Adobe研究院）；TU Dortmund University（多特蒙德工业大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Aarhus University（奥胡斯大学）；Carnegie Mellon University（卡内基梅隆大学）
本文研究了多种损失函数下稀疏线性回归的oblivious sketching，给出了紧致的草图行数上界，揭示了其与稀疏恢复问题在草图化难度上的分离，并为铰链式损失及LASSO回归提供了最优草图界限。
2023-04-05 cs.DS cs.LG stat.ML
Sketching for Kronecker Product Regression and P-splines
Northeast Normal University（东北师范大学）；Carnegie Mellon University（卡内基梅隆大学）
TensorSketch是Pagh'13中引入的一种不经意的线性草图，后来在Pham，Pagh'13中用于多项式内核的SVM。在Avron，Nguyen，Woodruff'14中表明，TensorSketch提供了子空间嵌入，因此可以用于典型相关分析，低秩近似和多项式内核的主成分回归。我们将TensorSketch置于多项式内核的背景之外，并在底层设计矩阵是较小矩阵的Kronecker乘积的应用中展示其实用性。这使我们能够解决Kronecker乘积回归和非负Kronecker乘积回归，以及正则化样条回归。我们的主要技术成果是将TensorSketch扩展到其他规范。也就是说，TensorSketch仅为Kronecker乘积回归提供关于$2$范数的输入稀疏时间。我们展示了如何解决克罗内克产品回归方面的$1$ -范数在时间次线性计算克罗内克产品所需的时间，以及更一般的$p$ -范数。
2017-12-27 cs.DS cs.LG stat.ML
Faster Kernel Ridge Regression Using Sketching and Preconditioning
Tel Aviv University（特拉维夫大学）；IBM Almaden Research Center（IBM阿尔马登研究中心）
本文提出利用随机特征映射和预处理技术加速核岭回归线性系统的求解，通过有效预处理方法提升大规模数据集的计算效率。
2017-07-15 cs.DS cs.LG cs.NA
Almost Linear Constant-Factor Sketching for $\ell_1$ and Logistic Regression
TU Dortmund University（多特蒙德工业大学）；Carnegie Mellon University（卡内基梅隆大学）
本文改进了$\ell_1$与逻辑回归的草图算法，在实现$O(1)$-近似的同时给出了更小的近似线性草图维度，并支持通过权衡增加总大小以在输入稀疏度时间内获得$1+\varepsilon$近似，且可扩展至正则化逻辑回归。
2023-03-31 cs.DS cs.LG stat.ML
Near Input Sparsity Time Kernel Embeddings via Adaptive Sampling
为了加速核方法，我们提出了一个近输入稀疏时间算法采样的高维特征空间隐式定义的核变换。我们的主要贡献是一种重要性采样方法，用于在几乎输入稀疏时间内对数据点的度$q$张量的特征空间进行子采样，改进了最近的不经意草图绘制方法（Ahle等人，2020年）的系数为$q^{5/2}/ε^2$。这导致多项式核以及高斯核的子空间嵌入，其中目标维度仅线性依赖于核的统计维度，并且在时间上仅线性依赖于输入数据集的稀疏性。我们展示了我们的子空间嵌入边界如何暗示核岭回归的新统计保证。此外，我们的经验表明，在大规模回归任务中，我们的算法优于最先进的核近似方法。
2020-07-14 cs.DS
Sketching for Principal Component Regression
Tel Aviv University（特拉维夫大学）
主成分回归（PCR）是正则化线性回归的一种有效方法。虽然概念上简单，但PCR的直接实现具有较高的计算成本，因此在使用大规模数据进行学习时是不合适的。在本文中，我们提出了用于计算近似PCR解的有效算法，这些算法一方面是真实PCR解的高质量近似（当被视为约束最优化问题的最小化者时），另一方面考虑严格的风险边界（当被视为统计估计量时）。特别地，我们提出了一个输入稀疏时间近似PCR算法。我们还考虑在流模型中计算近似PCR和内核PCR。实验结果表明，我们所提出的方法的优异性能。
2019-03-07 cs.DS cs.LG cs.NA
Sub-linear RACE Sketches for Approximate Kernel Density Estimation on Streaming Data
Rice University（莱斯大学）
核密度估计是一种简单有效的方法，是许多重要机器学习应用的核心。不幸的是，核方法对于大型高维数据集的扩展性很差。近似核密度估计具有过高的存储器和计算成本，特别是在流设置中。最近的高维密度采样算法可以降低计算成本，但不能在线操作，而流算法不能处理高维数据集，由于维数灾难。我们提出了RACE，一个高效的素描算法内核密度估计高维流数据。RACE将一组N个高维向量压缩到一个小的整数计数器数组中。这个数组足以估计一大类核的核密度。我们的设想是切实可行的，并有强有力的理论保证。我们在真实世界的高维数据集上评估了我们的方法，并表明我们的草图与竞争方法相比压缩效果好10倍。
2019-12-04 cs.DS cs.LG
Cost-efficient Gaussian Tensor Network Embeddings for Tensor-structured Inputs
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文讨论了具有张量网络结构的随机矩阵（$S$）的张量网络嵌入。这些嵌入已被用于执行张量网络结构化输入$x$的降维，并加速诸如张量分解和核回归之类的应用。现有的工作已经为具有特定结构的输入$x$设计了嵌入，使得计算$Sx$的计算成本是有效的。我们提供了一种系统的方法来设计由高斯随机张量组成的张量网络嵌入，使得对于具有更一般的张量网络结构的输入，草图大小（$S$的行大小）和草图计算成本都很低。我们分析了一般的张量网络嵌入，可以减少到一个序列的草图矩阵。我们提供了一个充分条件来量化这种嵌入的准确性，并推导出草图渐近成本下界使用嵌入，满足这个条件，并具有低于任何输入尺寸的草图大小。然后，我们提供了一个算法，有效地使用这样的嵌入草图输入数据。该算法中使用的嵌入的草图大小与输入的草图尺寸的数量呈线性关系。假设张量收缩与经典的稠密矩阵乘法算法进行，该算法实现的渐近成本的一个因素$O(\sqrt{m})$的成本下界，其中$m$是草图的大小。此外，当输入中的每个张量具有需要绘制的尺寸时，该算法产生最优的绘制渐近成本。我们将我们的草图分析不精确张量分解优化算法。我们提供了一个草图算法的CP分解，是渐近快于现有的工作在多个政权，并显示最优的张量训练舍入的现有算法。
2022-05-26 cs.DS cs.LG cs.NA
Learning with Neural Tangent Kernels in Near Input Sparsity Time
Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
神经切线核（NTK）通过梯度下降来表征在最小二乘损失下训练的无限宽神经网络的行为。然而，尽管它的重要性，内核方法的超二次运行时间限制了NTK在大规模学习任务中的使用。为了用NTK加速核机器，我们提出了一种近输入稀疏时间算法，该算法将输入数据映射到随机化的低维特征空间，使得变换后的数据的内积近似于其NTK评估。我们的变换通过绘制反余弦核的多项式展开来工作。此外，我们提出了一个特征映射来近似NTK的卷积对应物，它可以使用仅在像素数量上呈线性的运行时来变换任何图像。我们表明，在标准的大规模回归和分类任务中，在我们的特征上训练的线性回归器优于训练的神经网络和NTK内核的Nystrom近似。
2021-07-27 cs.AI cs.DS cs.LG
Near-Optimal Bounds for Sketching the Schatten Norms
University of California, Los Angeles（加州大学洛杉矶分校）
该研究确定了估计矩阵核范数的随机无感知sketch所需线性测量数的近最优边界，解决了相关开放问题，给出了紧的多对数因子边界及对应的上下界构造方法。
2026-08-28 cs.CC cs.DS math.ST
Streaming Kernel Principal Component Analysis
University of Utah（犹他大学）
核主成分分析（KPCA）提供了一组简洁的基向量，可以捕获大型数据集中的非线性结构，是数据分析和学习的核心工具。为了允许非线性关系，通常在$n$数据点上构造完整的$n \times n$核矩阵，但是对于大的$n$值，这需要太多的空间和时间。Nyström方法和随机特征映射等技术可以帮助实现这一目标，但它们没有显式地维护流中的基向量，并且占用的空间比预期的要多。我们提出了一种新的方法流KPCA保持一个小的基本元素在流中，只需要空间的对数在$n$，也提高了对误差参数的依赖。我们的技术结合在一起的随机特征映射与矩阵素描的最新进展，它保证了谱范数误差界相对于原始的内核矩阵，它在实践中比较有利的国家的最先进的方法。
2015-12-16 cs.DS cs.LG stat.ML
Fourier Sparse Leverage Scores and Approximate Kernel Learning
Texas A&M University（德克萨斯农工大学）；UMass Amherst（马萨诸塞大学阿默斯特分校）；New York University（纽约大学）
我们证明了新的明确的上界的杠杆分数的傅立叶稀疏函数下的高斯和拉普拉斯措施。特别是，我们研究$s$ -稀疏函数的形式$f(x) = \sum_{j=1}^s a_j e^{i λ_j x}$的系数$a_j \in \mathbb{C}$和频率$λ_j \in \mathbb{R}$。在各种度量下的傅立叶稀疏杠杆分数在近似理论中具有纯数学意义，我们的工作扩展了统一度量的现有结果[Erd 17，CP 19 a]。实际上，我们的边界是由两个重要的应用在机器学习的动机：1。核近似他们产生一个新的随机傅立叶特征算法近似高斯和柯西（有理二次）核矩阵。对于低维数据，我们的方法使用一个接近最佳数量的功能，其运行时间是多项式的近似核矩阵的$statistical\ dimension$。这是第一个“不经意的素描方法”，除了多项式核之外，任何核都具有此属性，解决了[AKM+17，AKK+20 b]的公开问题。2.主动学习。当数据服从高斯或拉普拉斯分布时，它们可以用作鲁棒主动学习的非均匀采样分布。使用[AKM+19]的框架，我们为带限和多带插值以及高斯过程回归提供了基本上最优的结果。这些结果推广了现有的工作，只适用于均匀分布的数据。
2021-07-08 cs.DS cs.LG math.CA
Approximating the Quadratic Transportation Metric in Near-Linear Time
计算两个点云之间的二次传输度量（也称为$2$ -Wasserstein距离或均方根距离），或者更一般地，两个离散分布，是机器学习，统计学，计算机图形学和理论计算机科学中的基本问题。由于Agarwal和Sharathkumar在2014年的一系列工作，一个复杂的几何算法达到了高潮，该算法在时间$\tilde{O}(n^{3/2})$中运行，其中$n$是点数。然而，获得更快的算法已被证明是困难的，因为已知$2$ -Wasserstein距离具有较差的草图和嵌入属性，这限制了几何方法的有效性。在本文中，我们给出了一个非常简单的确定性算法与$\tilde{O}(n)$运行时使用一个完全不同的方法的基础上熵正则化，近似Sinkhorn缩放，和高斯核矩阵的低秩近似。我们给我们的算法的维数和精度的近似明确的依赖。
2018-12-16 cs.DS math.OC
OSNAP: Faster numerical linear algebra algorithms via sparser subspace embeddings
给定某些参数eps，d的“不经意子空间嵌入（OSE）”是R^{m x n}中矩阵B上的分布D，使得对于R^n中具有dim（W）= d的任何线性子空间W，它保持Pr_{B ~ D}（对于W中的所有x|| B x||_2 in（1 +/- eps）||x||_2）> 2/3我们证明了一个OSE存在，m = O（d^2/eps^2），并且其中D的支撑中的每个B每列正好有s=1个非零元素。这改进了先前在[Clarkson-Woodruff，arXiv：1207.6365]中最著名的边界。我们对d的二次依赖对于任何s=1的OSE都是最优的[Nelson-Nguyen，2012]。我们还给出了两个OSE，我们称之为不经意稀疏范数近似投影（OSNAP），它们都允许参数设置m = 0（d/eps^2）和s = polylog（d）/eps，或者对于任何常数gamma>0，m = O（d^{1+gamma}/eps^2）和s=O（1/eps）。这个m几乎是最优的，因为m >= d是简单地需要的，W的非零向量没有落在B的核中。这是第一个m=o（d^2）的结构，也是第一个s=o（d）的结构。事实上，我们的OSNAP只不过是[Kane-Nelson，SODA 2012]的稀疏Johnson-Lindenstrauss矩阵。我们的分析都产生OSE的采样使用O（1）明智或O（log d）明智的独立散列函数，这…
2012-11-05 cs.DS math.PR
Sublinear Sketches for Approximate Nearest Neighbor and Kernel Density Estimation
Department of Computer Science & Engineering, Indian Institute of Technology Bombay（计算机科学与工程系，印度理工学院班加罗尔）
本文提出针对动态数据流的次线性草图算法，用于近似最近邻搜索和核密度估计，在内存与误差间实现接近最优权衡，并首次给出滑动窗口下A-KDE的次线性保证。
2026-09-15 cs.DS cs.LG stat.ML
Sub-linear Memory Sketches for Near Neighbor Search on Streaming Data
Rice University（莱斯大学）
我们提出了第一个次线性记忆草图，可以查询，以找到最近的邻居在一个数据集。我们的在线草图算法在$O(N^{(b+1)} \log^3 N)$时间内将N个元素的数据集压缩为大小为$O(N^b \log^3 N)$的草图，其中$b < 1$。此草图可以正确报告满足由$b$参数化的稳定性条件的任何查询的最近邻居。我们实现稳定查询的次线性内存性能结合局部敏感哈希（LSH）为基础的估计，在线核密度估计，压缩感知的最新进展。我们的理论结果揭示了新的光最近邻搜索的内存精度权衡，我们的草图，它完全由短整数数组，在实践中有各种有吸引力的功能。我们评估了我们的方法在Google Plus社交媒体网络中的朋友推荐任务上的记忆召回权衡。我们获得了数量级更好的压缩比随机投影为基础的替代方案，同时保留报告的能力，最近的邻居的实际查询。
2020-09-14 cs.CG cs.DS cs.LG
An Improved Classical Singular Value Transformation for Quantum Machine Learning
本文通过将Clenshaw递推与草图技术相结合，提出了一种改进的经典算法来模拟量子奇异值变换，缩小了经典算法与QSVT在量子机器学习低秩数据处理上的性能差距。
2024-07-28 cs.DS quant-ph
