Sketching for Kronecker Product Regression and P-splines
Northeast Normal University（东北师范大学）；Carnegie Mellon University（卡内基梅隆大学）
TensorSketch是Pagh'13中引入的一种不经意的线性草图，后来在Pham，Pagh'13中用于多项式内核的SVM。在Avron，Nguyen，Woodruff'14中表明，TensorSketch提供了子空间嵌入，因此可以用于典型相关分析，低秩近似和多项式内核的主成分回归。我们将TensorSketch置于多项式内核的背景之外，并在底层设计矩阵是较小矩阵的Kronecker乘积的应用中展示其实用性。这使我们能够解决Kronecker乘积回归和非负Kronecker乘积回归，以及正则化样条回归。我们的主要技术成果是将TensorSketch扩展到其他规范。也就是说，TensorSketch仅为Kronecker乘积回归提供关于$2$范数的输入稀疏时间。我们展示了如何解决克罗内克产品回归方面的$1$ -范数在时间次线性计算克罗内克产品所需的时间，以及更一般的$p$ -范数。
2017-12-27 cs.DS cs.LG stat.ML
Efficient Binary Embedding of Categorical Data using BinSketch
IIT Mandi（曼迪印度理工学院）；Indraprastha Institute of Information Technology Delhi（德里因德拉普拉斯塔信息技术学院）
在这项工作中，我们提出了一个降维算法，又名。草图，用于分类数据集。我们提出的草图算法Cabin从高维分类向量构建低维二进制草图，我们的距离估计算法Cham仅从草图计算任何两个原始向量之间的汉明距离的近似值。Cham所需的草图的最小维度，以确保良好的估计理论上只取决于数据点的稀疏性-使其适用于许多涉及稀疏数据集的现实生活场景。我们对我们的方法进行了严格的理论分析，并在几个高维现实世界的数据集上进行了广泛的实验，其中包括一个超过一百万个维度的数据集。我们表明，与使用完整数据集和其他降维技术相比，Cabin和Cham二人组对于RMSE，所有对相似性和聚类等任务是一种非常快速和准确的方法。
2021-11-13 cs.LG
Gradient Coding with Iterative Block Leverage Score Sampling
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）
本文提出一种迭代块杠杆分数采样方法，将随机数值线性代数与近似编码计算统一，用于分布式线性回归，以应对掉队节点故障，并通过均匀采样和加权实现高效近似求解。
2024-06-25 cs.DC cs.IR cs.IT
Algorithmic Gaussianization through Sketching: Converting Data into Sub-gaussian Random Designs
University of Michigan（密歇根大学）
本文提出通过平均化高斯化数据分布的算法框架，利用LESS嵌入高效构建与次高斯随机设计几乎不可区分的数据草图，使次高斯设计的强统计保证能直接应用于草图框架。
2023-07-27 cs.DS cs.LG math.ST
Efficient Sketching and Nearest Neighbor Search Algorithms for Sparse Vector Sets
Northeastern University（东北大学）；University of Pisa（比萨大学）
本文针对稀疏向量的近似最近邻搜索，提出结合理论草图、几何倒排索引及局部与全局信息融合的 Seismic 算法，在单 CPU 大规模基准上实现亚毫秒延迟与高准确率。
2025-09-29 cs.DS cs.IR cs.LG
Sketching Transformed Matrices with Applications to Natural Language Processing
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of Washington（华盛顿大学）
假设我们给定一个大矩阵$A=(a_{i,j})$，它不能存储在内存中，但可以存储在磁盘中或以数据流的形式呈现。然而，我们需要计算按条目变换的矩阵的矩阵分解，对于某些函数$f$的$f(A):=(f(a_{i,j}))$。有没有可能以节省空间的方式来实现？许多机器学习应用确实需要处理这样的大型变换矩阵，例如NLP中的词嵌入方法需要与逐点互信息（PMI）矩阵一起工作，而逐项变换使得难以应用已知的线性代数工具。现有的方法，这个问题要么需要存储整个矩阵，并执行条目明智的转换后，这是空间消耗或不可行的，或需要重新设计的学习方法，这是特定于应用程序，需要大量的改造。在本文中，我们首先提出了一个空间有效的草图算法，用于计算一个给定的小矩阵与变换矩阵的乘积。它适用于具有可证明的小误差界的一般变换族，因此可以用作下游学习任务中的原语。然后，我们将这个原语应用到一个具体的应用：低秩近似。我们表明，我们的方法获得小的误差，是有效的，在空间和时间。我们补充我们的理论结果与合成和真实数据的实验。
2020-02-23 cs.CL cs.DS cs.LG
Near-Optimal Bounds for Binary Embeddings of Arbitrary Sets
Simons Institute（西蒙斯研究所）；UC Berkeley（加州大学伯克利分校）
研究了单位球面的子集$K$嵌入到汉明立方体$\{-1,+1\}^m$中的问题。我们的特点失真和样本的复杂性$m$之间的权衡的高斯宽度$ω(K)$的集合。对于子空间和几个结构集，我们表明，高斯映射提供了最佳的权衡$m\sim δ^{-2}ω^2(K)$，特别是$δ$失真需要$m\approxδ^{-2}{d}$，其中$d$是子空间的维度。对于一般的集合，我们提供了清晰的特征，简化后减少到$m\approx{δ^{-4}}{ω^2(K)}$。我们提供了改进的结果，在彼此非常接近的地方嵌入的点，这是相关的局部敏感散列。我们还讨论了更快的二进制嵌入，其中一个利用快速约翰逊-林登施陶斯变换的基础上的初始草图过程。最后，我们列出几个数值观测和讨论开放的问题。
2015-12-14 cs.DS cs.LG math.FA
FREDE: Anytime Graph Embeddings
University of Bonn（波恩大学）；Skoltech（斯科尔科沃科学技术研究院）；Aarhus University（奥胡斯大学）；TU Dortmund（多特蒙德工业大学）
图的节点的低维表示或嵌入促进了几个实际的数据科学和数据工程任务。由于这种嵌入显式或隐式地依赖于节点之间的相似性度量，因此它们需要计算二次相似性矩阵，从而在空间复杂度和嵌入质量之间进行权衡。迄今为止，没有图嵌入工作结合（i）线性空间复杂度，（ii）作为其基础的非线性变换，（iii）非平凡的质量保证。在本文中，我们介绍FREDE（FREquent方向嵌入），一个图形嵌入的基础上矩阵素描，结合这三个desiderata。从嵌入方法旨在保持相似性矩阵的行之间的协方差的观察出发，FREDE迭代地改进质量，同时单独处理从现有技术的图嵌入方法导出的非线性变换的PPR相似性矩阵的行，并且在任何迭代处提供，列协方差近似保证在适当的时候几乎没有区别的SVD的最佳近似。我们对大型网络的实验评估表明，FREDE的性能几乎与SVD一样好，并且在各种数据科学任务中与最先进的嵌入方法竞争，即使它基于低至10%的节点相似性。
2023-01-05 cs.LG cs.SI stat.ML
Optimal Randomized First-Order Methods for Least-Squares Problems
我们提供了一个精确的分析一类随机算法求解超定最小二乘问题。我们考虑一阶的方法，其中的梯度是预处理的近似的Hessian，基于子空间嵌入的数据矩阵。这类算法包括几个最快的最小二乘问题求解器中的随机方法。我们专注于两个经典的嵌入，即高斯投影和子采样随机Hadamard变换（SRHT）。我们的关键技术创新是SRHT嵌入的极限谱密度的推导。利用这一新的结果，我们推导出家庭的归一化正交多项式的SRHT密度，我们找到了最佳的预处理的一阶方法及其收敛速率。我们对高斯嵌入的分析类似地进行，并利用经典的随机矩阵理论的结果。特别是，我们表明，对于一个给定的草图大小，SRHT嵌入表现出更快的收敛速率比高斯嵌入。然后，我们提出了一种新的算法，通过优化的计算复杂性的草图尺寸的选择。据我们所知，我们得到的算法产生的最佳已知的复杂性解决最小二乘问题，没有条件数的依赖。
2020-02-26 cs.LG math.OC
Hypergraph Modeling via Spectral Embedding Connection: Hypergraph Cut, Weighted Kernel $k$-means, and Heat Kernel
University College London（伦敦大学学院）
我们提出了一个理论框架的多路相似性模型的实值数据到超图聚类通过谱嵌入。对于基于图割的谱聚类，通常通过使用核函数建模成对相似性来将实值数据建模为图。这是因为核函数与图割有理论上的联系。对于使用多路相似性比成对相似性更合适的问题，很自然地将其建模为超图，超图是图的推广。然而，尽管超图割已经得到了很好的研究，但还没有建立一个基于超图割的框架来建模多路相似性。在本文中，我们制定了多路相似性利用核函数的理论基础。我们表明我们的配方和超图切在两种方式，推广加权核$k$ -手段和热核，我们证明我们的配方之间的理论联系。我们还提供了一个快速算法的谱聚类。我们的算法经验显示出更好的性能比现有的图和其他启发式建模方法。
2022-08-16 cs.LG stat.ML
Fast Neural Kernel Embeddings for General Activations
Yale University（耶鲁大学）；Max-Planck-Institut für Informatik（马克斯·普朗克信息学研究所）；Google Research（谷歌研究院）
无限宽度限制通过在神经网络和核方法之间建立联系，为深度学习的泛化和优化方面提供了启示。尽管它们很重要，但由于它们的（超）二次运行时间和内存复杂性，这些内核方法的实用性在大规模学习设置中受到限制。此外，大多数关于神经内核的先前工作都集中在ReLU激活上，这主要是由于其受欢迎程度，但也是由于难以计算用于一般激活的此类内核。在这项工作中，我们通过提供与一般激活一起工作的方法来克服这些困难。首先，我们编译和扩展的激活函数的列表，承认确切的双重激活表达式计算神经内核。当精确的计算是未知的，我们提出的方法来有效地近似它们。我们提出了一种快速草图绘制方法，该方法可以近似任何多层神经网络高斯过程（NNGP）内核和神经切线核（NTK）矩阵，用于广泛的激活函数，超出了通常分析的ReLU激活。这是通过展示如何使用任何期望的激活函数的截断Hermite展开来近似神经内核来完成的。虽然大多数以前的作品需要的数据点上的单位球，我们的方法不受这样的限制，并适用于任何数据集的点在$\mathbb{R}^d$。此外，我们提供了一个子空间嵌入NNGP和NTK矩阵与近输入稀疏运行时间和近最佳的目标尺寸，适用于任何\emph{homogeneous}双激活函数与快速收敛的泰勒展开。经验上，相对于精确卷积NTK（CNTK）计算，我们的方法在CIFAR-10数据集上实现了5层Myrtle网络的近似CNTK的$106\time…
2022-09-09 cs.AI cs.LG stat.ML
Geodesic Distance Function Learning via Heat Flow on Vector Fields
Arizona State University（亚利桑那州立大学）；Zhejiang University（浙江大学）
学习给定数据流形上的距离函数或度量在机器学习和模式识别中非常重要。以前的许多工作首先将流形嵌入到欧氏空间，然后学习距离函数。然而，如果原始流形不是欧几里德流形，这样的方案可能无法忠实地保持距离函数。注意，流形上的距离函数总是可以定义良好的。在本文中，我们提出直接在流形上学习距离函数，而无需嵌入。首先，我们提供了一个理论上的距离函数的梯度场的特征。基于我们的理论分析，我们建议先学习距离函数的梯度场，然后再学习距离函数本身。具体来说，我们将局部距离函数的梯度场设置为初始向量场。然后我们通过向量场上的热流将其转移到整个流形上。最后，测地距离函数可以通过要求其梯度场接近归一化向量场来获得。在模拟数据和真实数据上的实验结果表明了该算法的有效性。
2014-05-08 cs.LG math.DG stat.ML
