Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections, Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于约翰逊-林登施特劳斯（JL）引理以及线性和非线性随机投影的教程和调查论文。首先从线性随机投影出发，利用JL引理证明了它的正确性。然后，引入了具有$\ell_1$范数和插值范数的稀疏随机投影。介绍了随机投影在超立方体上的两个主要应用：低秩矩阵逼近和随机投影的近似最近邻搜索。随机傅立叶特征（RFF）和随机厨房水槽（RKS）被解释为非线性随机投影的方法。本文还介绍了非线性随机投影的其他方法，包括极限学习机、随机加权神经网络和随机投影集成。
2021-08-09 cs.DS cs.LG math.PR
The Sharp Dimension Bound in the Johnson--Lindenstrauss Lemma
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文证实了Larsen和Nelson关于Johnson–Lindenstrauss引理最优目标维数的猜想，证明该上界可通过线性映射达到，且匹配下界对非线性嵌入也成立。
2026-08-24 cs.CG cs.DS math.MG
Generic LSH Families for the Angular Distance Based on Johnson-Lindenstrauss Projections and Feature Hashing LSH
Universidad Nacional de Tres de Febrero（二月三日国立大学）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
在本文中，我们提出了创建通用的LSH家庭的角度距离的基础上约翰逊-林登施特劳斯投影。我们证明了特征散列是一个有效的J-L投影，并提出了两个新的LSH家庭的基础上的特征散列。这些新的LSH家族在合成和真实数据集上进行了测试，结果非常好，与其他LSH家族相比，性能有了相当大的提高。虽然对角距离进行了理论分析，但这些族也可以在实践中用于欧几里德距离，并获得良好的结果[2]。我们使用真实数据集的测试表明，所提出的LSH函数的工作以及欧氏距离。
2017-04-15 cs.AI cs.DS cs.IR
Johnson-Lindenstrauss embeddings for noisy vectors -- taking advantage of the noise
本文研究了亚采样和散列作为工具的近似欧氏范数保持嵌入（未知）加性高斯噪声的向量的理论性质。这种嵌入有时被称为约翰逊-林登施特劳斯嵌入，因为它们的著名引理。以前的工作表明，作为稀疏嵌入，子采样和哈希的成功密切依赖于要映射的向量的$l_\infty$与$l_2$的比率。本文表明，噪声的存在消除了这种约束，在高维，换句话说，稀疏嵌入，如子采样和散列具有可比的嵌入维数密集嵌入有类似的近似范数保持降维属性。关键是，噪声应该被视为一种待开发的信息，而不仅仅是要去除的东西。理论界的子采样和散列恢复的近似范数的高维向量在噪声的存在下，推导出，与数值例子显示更好的性能，在噪声的存在下实现。
2022-09-01 cs.DS cs.LG cs.NA
Johnson-Lindenstrauss Embeddings with Kronecker Structure
本文证明了矩阵$ΦD_ξ$的Johnson-Lindenstrauss性质，其中$Φ$具有限制等距性质，$D_ξ$是包含$d$独立Rademacher向量的Kronecker积$ξ= ξ^{(1)} \otimes \dots \otimes ξ^{(d)}$的对角矩阵.这种嵌入在最近的一些关于张量结构化数据压缩的应用中已经被提出，包括Ahle等人用于近似张量计算的不经意草图过程。为了同时保持$p$点的范数，我们的结果要求$Φ$具有稀疏$C(d) (\log p)^d$的限制等距性质。在二次采样Hadamard矩阵的情况下，这可以改善嵌入维数对$p$到$(\log p)^d$的依赖性，而先前已知的最佳结果需要$(\log p)^{d + 1}$。也就是说，对于Ahle等人的遗忘素描过程核心的$d=2$的情况，缩放比例从三次提高到二次。我们提供了一个反例来证明我们的结果中建立的标度是最优的温和的假设。
2021-06-24 cs.DS
Simple, unified analysis of Johnson-Lindenstrauss with applications
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出Johnson-Lindenstrauss引理的简化统一分析，统一多种构造并首次严格证明球形构造，扩展Hanson-Wright不等式至高维，去除独立性假设，增强理论并拓展实际应用。
2024-07-19 cs.DS cs.LG math.PR
Optimal Fast Johnson-Lindenstrauss Embeddings for Large Data Sets
Johnson-Lindenstrauss嵌入被广泛用于降低维数，从而减少数据的处理时间。为了降低总的复杂度，也需要用于应用这些嵌入的快速算法。到目前为止，这种快速算法仅适用于非最佳嵌入维数或数据点数量达到一定阈值的情况。我们解决这个问题的一个变种，其中一个目的是同时嵌入更大的子集的数据集。我们的方法遵循Nelson的方法：子采样Hadamard变换将点映射到较低但不是最佳维度的空间。随后，具有独立条目的随机矩阵投影到最佳嵌入维数。对于子集的规模至少多项式的环境维度，这种方法的复杂性接近的操作的数量只是为了读取数据的数据集的大小，是相当少的限制比以前的作品在温和的假设下。我们还证明了一个下界，表明单独的亚采样Hadamard矩阵不能达到最佳嵌入维数。因此，第二嵌入不能被省略。
2020-04-29 cs.DS
Johnson-Lindenstrauss Compression with Neuroscience-Based Constraints
由稀疏随机突触连接实现的Johnson-Lindenstrauss（JL）矩阵被认为是大脑中会聚通路如何压缩信息的主要候选者。然而，到目前为止，没有完整的数学支持，这样的实现给定的限制，真正的神经组织。神经元是兴奋性或抑制性的事实意味着每个如此可实现的JL矩阵必须是符号一致的（即，单个列中的所有条目必须全部为非负或全部为非正），并且任何给定神经元连接到其它神经元的相对小的子集的事实意味着JL矩阵最好是稀疏的。我们构造稀疏的符号一致的JL矩阵，并证明我们的构造是本质上最优的。我们的工作回答了一个数学问题，这个问题是由早期的工作引发的，并且对于证明大脑中JL压缩的存在是必要的，并且强调如果神经元要执行有效的，相关性保持的压缩，抑制是至关重要的。
2014-11-19 cs.DS math.PR math.ST
A Sparse Johnson--Lindenstrauss Transform
降维是一种重要的算法工具，在流模型中有着广泛的应用，包括最近邻搜索、压缩感知和线性代数。在这项工作中，我们得到了{ \em稀疏}版本的基本工具，在维减少-约翰逊-林登施特劳斯变换。使用散列和局部致密化，我们构造了一个稀疏投影矩阵，每列只有$\tilde{O}(\frac{1}ε)$非零条目。我们还显示了一个匹配的下界的稀疏投影矩阵的一大类。我们的边界是有点令人惊讶的，已知的下界$Ω(\frac{1}{ε^2})$的行数的任何投影矩阵和稀疏性的投影矩阵产生的自然建设。使用这一点，我们实现了$(1\pmε)$近似投影的每个非零元素的$\tilde{O}(\frac{1}ε)$更新时间，从而大大优于现有方法所需的$\tilde{O}(\frac{1}{ε^2})$更新时间。我们的方法的一个变体为稀疏向量提供了相同的保证，但其$\tilde{O}(d)$最坏情况下的运行时间与Ailon和Liberty的最佳方法相匹配。
2010-04-23 cs.DS
Machine Learning Friendly Set Version of Johnson-Lindenstrauss Lemma
Institute of Computer Science of the Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文对Johnson-Lindenstrauss引理作了一个新的应用。引理具有存在形式，即存在数据点到低维空间的JL变换$f$，使得它们全部落入预定义的误差范围$δ$内。我们制定在本文中的一个定理，说明我们可以选择的目标维数在随机投影型JL线性变换，以这样一种方式，与概率$1-ε$所有的人都落入预定义的错误范围$δ$的任何用户预定义的故障概率$ε$。这个结果对于数据聚类这样的应用程序很重要，在这种应用程序中，我们希望有一个先验的降维变换，而不是像传统的约翰逊-林登施特劳斯引理那样尝试大量的降维变换。特别是，我们仔细研究了$k$ -手段算法，并证明了一个很好的解决方案，在投影空间也是一个很好的解决方案，在原来的空间。此外，在适当的假设下，原空间中的局部最优解也是投影空间中的局部最优解。我们还定义了原始空间的聚类属性被传输到投影空间的条件，因此原始空间的特殊情况算法也适用于投影空间。
2017-11-09 cs.DS cs.LG
Private Query Release via the Johnson-Lindenstrauss Transform
基于Johnson-Lindenstrauss引理，提出了一种新的基于差分隐私的统计查询答案发布方法.其关键思想是将查询答案随机投影到一个较低维的空间中，使得任意两个可行查询答案向量之间的距离保持到一个加性误差。然后，我们使用一个简单的噪声添加机制来回答投影查询，并将答案提升到原始维度。使用这种方法，我们给，第一次，纯粹的差分私人机制，最佳的最坏情况下的样本复杂性平均错误回答工作量的$k$查询的大小$N$的宇宙。作为其他应用，我们给出了第一个纯私人的有效机制，最佳样本复杂度计算的协方差有界高维分布，并回答2路边际查询。我们还表明，到依赖的错误，我们的机制的一个变种是几乎最佳的每一个给定的查询工作量。
2022-08-15 cs.CR cs.DS cs.LG
Rademacher Chaos, Random Eulerian Graphs and The Sparse Johnson-Lindenstrauss Transform
著名的降维引理约翰逊和林登施特劳斯有许多计算和其他应用。由于Johnson-Lindenstrauss型降维方法在实际中的应用，提高降维计算的速度是一个重要的问题。最近，Dasgupta，Kumar和Sarlos（STOC 2010）构建了一个使用稀疏矩阵的变换。这是由应用于稀疏输入向量时加速计算的愿望所激发的，这是应用中出现的一种情况。Kane和Nelson（ArXiv 2010）进一步改进了它们构造的稀疏性。我们将Kane和Nelson的每列非零条目数的上界从$O(1/ε\log(1/δ)\log(k/δ))$（其中目标维度为$k$，失真为$1\pm ε$，失效概率为$δ$）改进为$$ O\left({1\overε} \left({\log(1/δ)\log\log\log(1/δ) \over \log\log(1/δ)}\right)^2\right). $$。我们还改进了生成矩阵所需的随机性。我们的结果是通过连接的随机欧拉重图的组合性质的2阶Rademacher混沌的时刻。估计的机会，一个随机多重图是由一个给定数量的节点不相交的欧拉组件导致一个新的尾部上界的混乱。我们的估计可能是独立的利益，这部分的参数是解耦的混沌系数的分析，我们相信，我们的方法可以在其他混沌的分析是有用的。
2010-11-11 cs.DS
Adaptive Robustness of Hypergrid Johnson-Lindenstrauss
针对超网格在随机投影下可能出现任意收缩的问题，本文通过设计在线算法并证明计算硬度，揭示其统计-计算差距，并将结果应用于构造鲁棒性保持哈希函数。
2025-04-12 cs.CC cs.DS stat.CO
Binarized Johnson-Lindenstrauss embeddings
我们考虑的问题，编码成一组向量的最小数量的位，同时保留信息的欧几里德几何。我们表明，这一任务可以通过应用约翰逊-林登施特劳斯嵌入和随后的二进制化每个向量的向量的每个条目进行比较，以一个均匀的随机阈值来完成。使用这个简单的构造，我们产生两个编码的数据集，这样就可以查询欧几里德信息的一对点使用少量的位操作，直到一个所需的添加剂错误-欧几里德距离在第一种情况下，内积和平方欧几里德距离在第二。在后一种情况下，每个点都以接近线性的时间编码。这些编码所需的比特数是量化的数据集的两个自然的复杂性参数-其覆盖数和本地化的高斯复杂性-并被证明是接近最佳的。
2022-04-11 cs.DS cs.IT math.IT
Sparser Johnson-Lindenstrauss Transforms
我们给出了两个不同的和简单的构造，通过线性映射是稀疏的$\ell_2$的降维：只有一个$O(\varepsilon)$分数的条目在我们的嵌入矩阵的每一列是非零的，以实现失真$1+\varepsilon$具有高概率，同时仍然实现渐近最优的行数。这些是第一个为所有参数值提供次常数稀疏性的构造，改进了Achlioptas（JCSS 2003）和Dasgupta，Kumar和Sarlós（STOC 2010）的先前工作。这样的分布可以用于加速使用$\ell_2$降维的应用。
2014-02-05 cs.CG cs.DM cs.DS
The Fast Johnson-Lindenstrauss Transform is Even Faster
Ailon和Chazelle（SICOMP'09）的开创性快速Johnson-Lindenstrauss（快速JL）变换将$d$维欧几里德空间中的一组$n$点嵌入到最佳$k=O(\varepsilon^{-2} \ln n)$维度中，同时将所有成对距离保持在因子$(1 \pm \varepsilon)$内。快速JL变换支持在$O(d \ln d +k \ln^2 n)$时间内计算数据点的嵌入，其中$d \ln d$项来自与$d \times d$ Hadamard矩阵的乘法，而$k \ln^2 n$项来自与稀疏$k \times d$矩阵的乘法。尽管快速JL变换已经有十多年的历史了，但它是$\varepsilon, d$和$n$之间许多折衷的最快降维技术之一。在这项工作中，我们给出了一个令人惊讶的快速JL变换的新的分析，表明在嵌入时间的$k \ln^2 n$长期可以提高到$(k \ln^2 n)/α$的$α= Ω(\min\{\varepsilon^{-1}\ln(1/\varepsilon), \ln n\})$。通过使用更稀疏的矩阵进行改进。我们还补充了我们改进的分析与下界，表明我们的新分析实际上是紧的。
2022-04-04 cs.DS cs.LG
The Johnson-Lindenstrauss Lemma for Clustering and Subspace Approximation: From Coresets to Dimension Reduction
本文利用核心集构造提出分析 Johnson-Lindenstrauss 变换的新技术，为子空间逼近、平坦逼近和直线逼近等投影聚类问题给出更优或首次的降维目标维度界。
2023-07-10 cs.DS
Optimality of the Johnson-Lindenstrauss Lemma
对于任何整数$d, n \geq 2$和$1/({\min\{n,d\}})^{0.4999} < \varepsilon<1$，我们证明了存在一组$n$向量$X\subset \mathbb{R}^d$，使得任何满足$$ \forall x,y\in X,\ (1-\varepsilon)\|x-y\|_2^2\le \|f(x)-f(y)\|_2^2 \le (1+\varepsilon)\|x-y\|_2^2 $$的嵌入$f:X\rightarrow \mathbb{R}^m$必须具有$$ m = Ω(\varepsilon^{-2} \lg n). $$。此外，我们的下限几乎适用于所有感兴趣的$\varepsilon$，因为总是有一个等距嵌入到维度$\min\{d, n\}$（单位映射，或投影到$\mathop{span}(X)$）。以前，已知这样的下限仅适用于线性映射$f$，而不适用于如此宽的参数范围$\varepsilon, n, d$ [LN 16]。一般$f$的最佳已知下限是$m = Ω(\varepsilon^{-2}\lg n/\lg(1/\varepsilon))$ [Wel 74，Lev 83，Alo 03]，这对于任何$\varepsilon = o(1)$都是次优的。
2017-11-09 cs.CG cs.DS cs.IT
Performance of Johnson-Lindenstrauss Transform for k-Means and k-Medians Clustering
Northwestern University（西北大学）；TTIC（丰田工业大学芝加哥分校）；Microsoft Research（微软研究院）
考虑欧几里得$k$ -均值或$k$ -中位数聚类的实例。我们发现，最优解的成本被保存到一个随机$O(\log(k / \varepsilon) / \varepsilon^2)$维子空间的投影下的$(1+\varepsilon)$的一个因素。此外，在$(1+\varepsilon)$内保留每个聚类的成本。更一般地说，我们的结果适用于任何降维映射满足一个温和的次高斯尾条件。我们对维度的限制几乎是最优的。此外，我们的结果适用于欧几里德$k$ -聚类的距离提高到$p$的权力，任何常数$p$。对于$k$ -均值，我们的结果解决了Cohen，Elder，Musco，Musco，and Persu（STOC 2015）提出的一个开放问题;对于$k$ -中位数，它回答了Kannan提出的一个问题。
2020-04-08 cs.DS cs.LG
The Johnson-Lindenstrauss Transform Itself Preserves Differential Privacy
本文证明了一个“老狗”，即--经典的约翰逊-林登施特劳斯变换，“表演新把戏”--它提供了一种新的方式来保护差分隐私。我们表明，如果我们采取两个数据库，$D$和$D'$，使得（i）$D'-D$是一个秩-1矩阵的有界范数和（ii）所有的奇异值的$D$和$D'$是足够大的，然后乘以$D$或$D'$与iid正常高斯向量产生两个统计上接近的分布在差分隐私的意义。此外，输入的小的、确定性的和\emph{public}的改变足以断言$D$的所有奇异值是大的。我们应用约翰逊-林登施特劳斯变换的任务，近似切割查询：在一个图中的边缘交叉$(S,\bar S)$ -削减的数量。我们表明，JL变换允许我们\emph{publish a sanitized graph}，保留边缘差分隐私（其中两个图是邻居，如果他们在一个单一的边缘不同），同时只添加$O(|S|/ε)$随机噪声到任何给定的查询（w.h.p）。比较我们的算法的加性噪声，以不同的私人方式回答切割查询的现有算法，我们优于所有其他的小切（$|S| = o(n)$）。我们还将我们的技术应用于估计给定矩阵在任何给定方向上的方差的任务。JL变换允许我们\emph{publish a sanitized covariance matrix}，其保留关于有界变化的差分隐私（矩阵中的每一行最多可以改变一个范数-1向量），同时添加幅度与矩阵的大小（w.h.p）无关…
2012-08-19 cs.DS
Randomness Efficient Fast-Johnson-Lindenstrauss Transform with Applications in Differential Privacy and Compressed Sensing
随机矩阵的Johnson-Lindenstrauss性质（{ \sf JLP}）在计算机科学中有着广泛的应用，从压缩感知、学习理论、数值线性代数到隐私。本文研究了随机矩阵分布的性质及其应用。我们的分布满足{ \sf JLP}，具有快速矩阵向量乘法，稀疏性和最佳子空间嵌入等理想属性。我们可以使用精确的$2n+n \log n$随机位从该分布中采样一个随机矩阵。我们证明了在输入私有矩阵满足一定的谱性质的条件下，从该分布中选取的随机矩阵保持差分隐私。这改善了各种不同的私有机制的运行时间，如Blocki { \it et al.} (FOCS 2012）和Upadhyay（ASIACRYPT 13）。我们的最终构造具有有界列稀疏性。因此，这回答了Blocki { \it et al.} (FOCS 2012年）。使用Baranuik { \it et al.}的结果，（建设性近似：28（3）），我们的结果意味着一个随机有效矩阵，满足最优阶的限制等距性质的小稀疏与精确的线性随机位。我们还表明，其他已知的稀疏随机矩阵的分布与{ \sf JLP}不保留差分隐私，从而回答了Blocki { \it et al.} (FOCS 2012年）。推广Kane和Nelson（JACM：61（1））的工作，对一些已知的Johnson-Lindenstrauss变换给出了统一的分析。我们还提出了一个独立的简化…
2015-07-16 cs.CR cs.DS
Johnson-Lindenstrauss Lemma Beyond Euclidean Geometry
本文扩展Johnson-Lindenstrauss引理至非欧几里得空间，通过伪欧几里得变换和广义幂距离表示，实现带可控误差的降维，并在合成与真实数据上验证有效性。
2025-10-25 cs.DS
Privacy via the Johnson-Lindenstrauss Transform
假设A方收集关于其用户的私人信息，其中每个用户的数据表示为位向量。假设B方有一个专有的数据采掘算法，该算法需要估计用户之间的距离，例如聚类或最近邻居。我们问，是否有可能让A方发布一些关于每个用户的信息，以便B可以估计用户之间的距离，而不能够推断出用户的任何隐私位。我们的方法包括通过稀疏的Johnson-Lindenstrauss变换将每个用户的表示投影到随机的低维空间中，然后将高斯噪声添加到低维表示的每个条目中。我们发现，该方法保持差分隐私--更多的隐私是期望的，更大的高斯噪声的方差。此外，我们展示了如何通过仅低维的扰动数据来近似用户之间的真实距离。最后，我们考虑其他扰动方法，如随机响应和绘制比较草图为基础的方法。虽然向第三方发布用户特定数据的目标比保持距离更广泛，但这项工作表明，具有隐私的距离计算是一个可以实现的目标。
2012-04-12 cs.CY cs.DB cs.DS
Fast Quantized Johnson$-$Lindenstrauss Transforms
National and Kapodistrian University of Athens（雅典国立卡波迪斯特里亚大学）
本文提出两种基于随机哈达玛变换组合的快速量化约翰逊-林登施特劳斯变换构造，证明其具备与快速JL类似的理论保证，可高效压缩大语言模型KV缓存并保留注意力所需内积。
2026-10-14 cs.DS cs.LG
A Quantized Johnson Lindenstrauss Lemma: The Finding of Buffon's Needle
1733年，法国布丰伯爵乔治-路易·勒克莱尔（Georges-Louis Leclerc）通过定义一个启发性问题奠定了几何概率论的基础：一根随机扔在由等间距平行条组成的地面上的针落在其中两条上的概率是多少？在这项工作中，我们证明了这个问题的解决方案，以及它对$N$维数的推广，使我们能够发现Johnson-Lindenstrauss（JL）引理的量化形式，即，一种是将线性降维过程与精确度的均匀量化$δ>0$相结合。特别地，给定$S$点的有限集合$\mathcal S \subset \mathbb R^N$和失真水平$ε>0$，只要$M > M_0 = O(ε^{-2} \log S)$，我们就可以（随机地）构建从$(\mathcal S, \ell_2)$到$(δ\mathbb Z^M, \ell_1)$的映射，该映射近似地保持$\mathcal S$的点之间的成对距离。有趣的是，与常见的JL引理相比，映射是准等距的，我们观察到嵌入距离上的加法和乘法失真。然而，当$M$增加时，这两个失真衰减为$O(\sqrt{(\log S)/M})$。此外，对于粗量化，即，对于高$δ$与设定半径相比，失真主要是加性的，而对于小$δ$，我们倾向于Lipschitz等距嵌入。最后，我们证明了$(\mathcal S, \ell_2)$到$(δ\mathbb Z^M, \ell_2)$的“近似”拟等距…
2015-07-22 cs.DS cs.IT math.IT
Almost Optimal Unrestricted Fast Johnson-Lindenstrauss Transform
随机投影问题和稀疏重建问题既有许多共同点，又有各自的特点。令人惊讶的是，到目前为止，它们一直在平行发展，而且大多数情况下保持独立。在这里，我们采用新的工具，从概率在Banach空间中，成功地用于稀疏重建的背景下，推进一个开放的问题，在随机投影。特别是，我们推广和使用一个复杂的结果，由Rudelson和Vershynin稀疏重建使用达德利定理的边界高斯过程。我们的主要结果表明，任何一组$N = \exp(\tilde{O}(n))$实向量在$n$维空间可以线性映射到一个空间的维数$k=O(\log N\polylog(n))$，而（1）保持成对的距离之间的任何常数失真和（2）能够应用变换的时间$O(n\log n)$对每个向量。这改进了由Ailon和Liberty实现的最著名的$N = \exp(\tilde{O}(n^{1/2}))$以及由Ailon和Chazelle实现的$N = \exp(\tilde{O}(n^{1/3}))$。然而，在失真常数的依赖性被认为是次优的，并受到进一步的调查。对于恒定失真，这解决了这些作者提出的开放问题，直到$\polylog(n)$因子，同时大大简化了它们的构造。
2010-05-30 cs.DS
On Outer Bi-Lipschitz Extensions of Linear Johnson-Lindenstrauss Embeddings of Subsets of $\mathbb{R}^N$
该研究将有限集上的Johnson-Lindenstrauss引理推广为任意子集上的终端嵌入理论，证明了值域维度的最优性，且构造性证明可生成算法，在压缩最近邻分类中准确率优于标准线性嵌入。
2024-03-06 cs.DS cs.NA math.MG
Approximate Euclidean lengths and distances beyond Johnson-Lindenstrauss
本文受 Hutch++ 算法启发，提出将 Johnson-Lindenstrauss 投影中 $ε^{-2}$ 依赖改进为 $ε^{-1}$ 的算法，用于估计矩阵行欧氏长度、数据点间距离及统计杠杆分数，并在理论上和数值实验上验证了其优越性。
2023-05-08 cs.DS
Dimensionality reduction with subgaussian matrices: a unified theory
我们提出了一个理论，欧几里德降维与亚高斯矩阵，统一了几个限制等距属性和约翰逊-林登施特劳斯型的结果，以前获得的特定数据集。特别是，我们恢复，并在几种情况下，提高结果集的稀疏和结构稀疏向量，低秩矩阵和张量，光滑流形。此外，我们建立了一个新的Johnson-Lindenstrauss嵌入的数据集的形式的Hilbert空间的子空间的无限联盟。
2014-02-17 cs.DS cs.IT math.IT
Optimality of the Johnson-Lindenstrauss Dimensionality Reduction for Practical Measures
Hebrew University（希伯来大学）；Aarhus University（奥胡斯大学）
众所周知，Johnson-Lindenstrauss降维方法对于最坏情况失真是最优的。虽然在实践中使用了许多其他方法和算法，但对其性能的界限知之甚少。最近在BFN 19（NeurIPS'19）中提出了JL方法是否是实际失真测量的最佳方法的问题。它们为广泛的实际措施提供了其质量的上限，并表明在许多情况下这些措施确实是最好的。然而，一些最重要的情况，包括平均失真的基本情况，都没有得到解决。特别是，他们表明，JL变换具有$1+ε$平均失真嵌入到$k$维欧几里德空间，其中$k=O(1/ε^2)$，并为更一般的$q$ -规范的失真，$k = O(\max\{1/ε^2,q/ε\})$，而严格的下限建立只有大值的$q$通过减少到最坏的情况.在本文中，我们证明了这些界限是最好的可能的任何降维方法，任何$1 \leq q \leq O(\frac{\log (2ε^2 n)}ε)$和$ε\geq \frac{1}{\sqrt{n}}$，其中$n$是欧几里得空间的子集的大小。我们的研究结果表明，JL方法是最佳的各种失真措施，通常用于在实践中，如应力，能量和相对误差。我们证明，如果这些措施是有界的$ε$，然后$k=Ω(1/ε^2)$的任何$ε\geq \frac{1}{\sqrt{n}}$，匹配的上界BFN 19和扩展其紧密性的结果，为全范围的时刻分析。我们的研究结果可能表明，JL降维方法应更多地考虑…
2022-03-15 cs.CG cs.DS cs.LG
Toward a unified theory of sparse dimensionality reduction in Euclidean space
令$Φ\in\mathbb{R}^{m\times n}$为稀疏Johnson-Lindenstrauss变换[KN 14]，每列具有$s$非零值。对于一个子集$T$的单位球，$\varepsilon\in(0,1/2)$给定的，我们研究设置$m,s$需要确保$$ \mathop{\mathbb{E}}_Φ\sup_{x\in T} \left|\|Φx\|_2^2 - 1 \right| < \varepsilon , $$，即，使$Φ$保持规范的每个$x\in T$同时和乘法高达$1+\varepsilon$。我们引入了一个新的复杂性参数，这取决于几何的$T$，并表明，它足以选择$s$和$m$，使这个参数是小的。我们的结果是Gordon定理的一个稀疏模拟，Gordon定理涉及的是具有i.i.d.的稠密$Φ$。高斯项。我们定性地统一了几个结果相关的约翰逊-林登施特劳斯引理，子空间嵌入，和基于傅立叶的限制等距。我们的工作也意味着新的结果，在使用稀疏约翰逊-林登施特劳斯变换在数值线性代数，经典和基于模型的压缩传感，流形学习，约束最小二乘问题，如拉索。
2015-08-25 cs.CG cs.DS cs.IT
Sparse Random Matrices for Dimensionality Reduction
University of British Columbia（不列颠哥伦比亚大学）
本文探讨了稀疏随机矩阵在降维中的应用，比较了其与传统高斯矩阵的性能
2025-12-27 cs.DS
Optimal terminal dimensionality reduction in Euclidean space
令$\varepsilon\in(0,1)$和$X\subset\mathbb R^d$是任意的，其中$|X|$具有大小$n>1$。Johnson-Lindenstrauss引理指出，存在$f:X\rightarrow\mathbb R^m$和$m = O(\varepsilon^{-2}\log n)$，使得$$ \forall x\in X\ \forall y\in X, \|x-y\|_2 \le \|f(x)-f(y)\|_2 \le (1+\varepsilon)\|x-y\|_2 . $$我们证明了这个陈述的严格更强版本成立，回答了[MMMR 18]的一个主要开放问题：“$\forall y\in X$“在上面的陈述中可以用“$\forall y\in\mathbb R^d$“代替，因此$f$不仅保留了$X$内的距离，而且还保留了从空间的其余部分到$X$的距离。以前这个更强的版本只知道与更坏的约束$m = O(\varepsilon^{-4}\log n)$。我们的证明是通过对[MMMR 18]的嵌入配方（的特定实例）进行更严格的分析。
2018-10-22 cs.DS math.FA stat.ML
Node Similarities under Random Projections: Limits and Pathological Cases
Microsoft Search（微软搜索）；Microsoft Research（微软研究院）
本文研究了随机投影应用于图矩阵行时对点积和余弦相似度的保持效果，发现点积嵌入在特定度分布下不可靠，而余弦相似度近似更精确。
2024-07-29 cs.DS cs.LG cs.SI
