基于张量核单元的相似性搜索

Similarity Search with Tensor Core Units

Thomas D. Ahle, Francesco Silvestri

摘要：

张量核心单元（TCU）是为深度神经网络开发的硬件加速器，它有效地支持两个密集$\sqrt{m}\times \sqrt{m}$矩阵的乘法，其中$m$是给定的硬件参数。在本文中，我们表明，TCU可以加快相似性搜索问题。我们提出了算法的Johnson-Lindenstrauss降维和相似性连接，通过利用TCU，实现了$\sqrt{m}$加速相对于传统的方法。

英文摘要：

Tensor Core Units (TCUs) are hardware accelerators developed for deep neural networks, which efficiently support the multiplication of two dense $\sqrt{m}\times \sqrt{m}$ matrices, where $m$ is a given hardware parameter. In this paper, we show that TCUs can speed up similarity search problems as well. We propose algorithms for the Johnson-Lindenstrauss dimensionality reduction and for similarity join that, by leveraging TCUs, achieve a $\sqrt{m}$ speedup up with respect to traditional approaches.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

基于相似性的协同滤波张量估计的鲁棒最大输入误差界

Robust Max Entrywise Error Bounds for Tensor Estimation from Sparse Observations via Similarity Based Collaborative Filtering

Massachusetts Institute of Technology（麻省理工学院）；Cornell University（康奈尔大学）

考虑从稀疏区域中随机选择的条目的噪声观测估计3阶$n \times n \times n$张量的任务。我们介绍了一个基于相似性的协同过滤算法估计张量从稀疏的意见，并认为它实现了样本的复杂性，几乎匹配的设定低秩张量的样本复杂性的计算效率的下限。我们的算法使用从扁平张量获得的矩阵来计算相似性，并使用最近邻估计器来估计张量条目。我们证明，该算法恢复一个有限秩张量的最大条目的误差（）和均方误差（MSE）衰减到$0$，只要每个条目被独立观察的概率$p = Ω(n^{-3/2 + κ})$任何任意小的$κ> 0$。更一般地说，我们建立鲁棒性的估计，表明当任意的噪声有界的$\varepsilon \geq 0$被添加到每个观察，估计误差相对于均方根和MSE下降$\text{poly}(\varepsilon)$。因此，即使张量可能不具有有限秩，但是可以在$\varepsilon \geq 0$内通过有限秩张量来近似，则估计误差收敛到$\text{poly}(\varepsilon)$。我们的分析揭示了样本复杂度的下限，表明它与我们用于估计坐标之间相似性的算法所使用的图的连通性阈值相匹配。

2023-01-17cs.DScs.LGstat.ML

张量核心单元模型中的并行扫描算法

A Parallel Scan Algorithm in the Tensor Core Unit Model

针对张量核心单元（TCU）计算模型，提出一种并行扫描算法，在(s², ℓ)-TCU模型中实现深度至多2⌊logₛ(n)⌋、特定时间复杂度的前缀和计算，等价执行O(n/s²)次s阶方阵乘法。

2024-11-26cs.DCcs.DS

张量核单元的计算模型

A Computational Model for Tensor Core Units

Stony Brook University（石溪大学）；University of Padova（帕多瓦大学）；Free University of Bozen（博岑自由大学）

为了满足深度神经网络的高效训练和推理需求，已经引入了大量特定于领域的硬件架构，例如Google Tensor Processing Units和NVIDIA Tensor Cores。这些架构的共同特征是用于有效地计算给定小尺寸的密集矩阵乘法的硬件电路。为了拓宽利用这些系统的算法的类，我们提出了一个计算模型，命名为TCU模型，它捕获的能力，本机乘小矩阵。然后，我们使用TCU模型设计快速算法的几个问题，包括矩阵运算（密集和稀疏乘法，高斯消元），图形算法（传递闭包，所有对最短距离），离散傅立叶变换，模板计算，整数乘法，多项式评估。最后，我们强调TCU模型和外部存储器模型之间的关系。

2020-07-09cs.ARcs.DCcs.DS

Neuro-RAM单元及其在脉冲神经网络相似性检验和压缩中的应用

Neuro-RAM Unit with Applications to Similarity Testing and Compression in Spiking Neural Networks

我们研究分布式算法实现在一个简化的生物启发模型的随机脉冲神经网络。我们专注于计算时间和网络复杂性之间的权衡，以及随机性在高效神经计算中的作用。人们普遍认为神经计算具有内在的随机性。在最近的工作中，我们探讨了如何利用这种随机性来解决“赢家通吃”的领导人选举任务。在这里，我们专注于在神经算法中使用随机性进行相似性测试和压缩。在最基本的设置中，给定两个$n$长度的放电神经元模式，我们希望区分这些模式是相等的还是$ε$ -远不相等的。随机化允许我们使用$O \left (\frac{\sqrt{n}\log n}ε\right)$辅助神经元（在输入大小上是次线性的），用一个非常紧凑的网络来解决这个任务。我们解决方案的核心是设计一个$t$轮神经随机存取存储器，或索引网络，我们称之为神经RAM。该模块可以用$O(n/t)$辅助神经元实现，并且在相似性测试之外的许多应用中都很有用。使用VC维度为基础的参数，我们表明，在我们的神经RAM的运行时间和网络大小之间的权衡是接近最佳的。我们的结果有几个影响-因为我们的神经RAM可以实现确定性阈值门，它表明，在相似性测试，随机性并没有提供显着的计算优势，这个问题。它还建立了前馈网络之间的分离，前馈网络的门尖峰与S形概率函数，以及研究充分的确定性S形网络，其门输出实数S形值，并且可以更有效地实现神经RAM。

2017-08-21cs.DCcs.DScs.NE