The Johnson-Lindenstrauss Lemma for Clustering and Subspace Approximation: From Coresets to Dimension Reduction
本文利用核心集构造提出分析 Johnson-Lindenstrauss 变换的新技术，为子空间逼近、平坦逼近和直线逼近等投影聚类问题给出更优或首次的降维目标维度界。
2023-07-10 cs.DS
The Johnson-Lindenstrauss Transform Itself Preserves Differential Privacy
本文证明了一个“老狗”，即--经典的约翰逊-林登施特劳斯变换，“表演新把戏”--它提供了一种新的方式来保护差分隐私。我们表明，如果我们采取两个数据库，$D$和$D'$，使得（i）$D'-D$是一个秩-1矩阵的有界范数和（ii）所有的奇异值的$D$和$D'$是足够大的，然后乘以$D$或$D'$与iid正常高斯向量产生两个统计上接近的分布在差分隐私的意义。此外，输入的小的、确定性的和\emph{public}的改变足以断言$D$的所有奇异值是大的。我们应用约翰逊-林登施特劳斯变换的任务，近似切割查询：在一个图中的边缘交叉$(S,\bar S)$ -削减的数量。我们表明，JL变换允许我们\emph{publish a sanitized graph}，保留边缘差分隐私（其中两个图是邻居，如果他们在一个单一的边缘不同），同时只添加$O(|S|/ε)$随机噪声到任何给定的查询（w.h.p）。比较我们的算法的加性噪声，以不同的私人方式回答切割查询的现有算法，我们优于所有其他的小切（$|S| = o(n)$）。我们还将我们的技术应用于估计给定矩阵在任何给定方向上的方差的任务。JL变换允许我们\emph{publish a sanitized covariance matrix}，其保留关于有界变化的差分隐私（矩阵中的每一行最多可以改变一个范数-1向量），同时添加幅度与矩阵的大小（w.h.p）无关…
2012-08-19 cs.DS
Almost Optimal Explicit Johnson-Lindenstrauss Transformations
约翰森-林登施特劳斯引理是概率论中的一个基本结果，在高维几何中的算法设计和分析中有许多应用。满足Johnson-Lindenstrauss性质的线性嵌入的大多数已知构造都涉及随机性。我们解决了显式构造这种嵌入族的问题，并提供了一种几乎最佳使用随机性的构造：我们使用O（log（n/delta）log（log（n/delta）/ε））随机位将n维嵌入到O（log（1/delta）/ε ^2）维，错误概率最多为delta，失真最多为ε。特别地，对于delta = 1/poly（n）和固定的k，我们使用O（log n loglog n）随机位。以前的构造至少需要O（log^2 n）个随机位才能得到多项式小误差。
2010-12-10 cs.CC cs.DS math.PR
Johnson-Lindenstrauss Lemma Beyond Euclidean Geometry
本文扩展Johnson-Lindenstrauss引理至非欧几里得空间，通过伪欧几里得变换和广义幂距离表示，实现带可控误差的降维，并在合成与真实数据上验证有效性。
2025-10-25 cs.DS
A Derandomized Sparse Johnson-Lindenstrauss Transform
最近的工作[Dasgupta-Kumar-Sarlos，STOC 2010]给出了一个稀疏的Johnson-Lindenstrauss变换，并将其构造是否可以有效地去随机化作为一个主要的开放问题。我们肯定地回答他们的问题，给出了一个替代的证明，他们的结果只需要有界独立散列函数。此外，我们证明中获得的稀疏性界也得到了改进。我们证明的主要成分是最近在[Diakonikolas-Kane-Nelson，FOCS 2010]中使用的二次型的谱矩。
2010-12-07 cs.CC cs.DM cs.DS
The Johnson-Lindenstrauss lemma is optimal for linear dimensionality reduction
对于任何$n>1$和$0<\varepsilon<1/2$，我们证明了存在$\mathbb{R}^n$的$n^{O(1)}$ -点子集$X$，使得任何从$(X,\ell_2)$到$\ell_2^m$且失真至多为$1+\varepsilon$的线性映射必有$m = Ω(\min\{n, \varepsilon^{-2}\log n\})$ .我们的下界匹配的单位矩阵和Johnson-Lindenstrauss引理提供的上界，提高了以前的下界的Alon的$\log(1/\varepsilon)$因素。
2014-11-10 cs.CG cs.DS cs.IT
Generic LSH Families for the Angular Distance Based on Johnson-Lindenstrauss Projections and Feature Hashing LSH
Universidad Nacional de Tres de Febrero（二月三日国立大学）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
在本文中，我们提出了创建通用的LSH家庭的角度距离的基础上约翰逊-林登施特劳斯投影。我们证明了特征散列是一个有效的J-L投影，并提出了两个新的LSH家庭的基础上的特征散列。这些新的LSH家族在合成和真实数据集上进行了测试，结果非常好，与其他LSH家族相比，性能有了相当大的提高。虽然对角距离进行了理论分析，但这些族也可以在实践中用于欧几里德距离，并获得良好的结果[2]。我们使用真实数据集的测试表明，所提出的LSH函数的工作以及欧氏距离。
2017-04-15 cs.AI cs.DS cs.IR
Machine Learning Friendly Set Version of Johnson-Lindenstrauss Lemma
Institute of Computer Science of the Polish Academy of Sciences（波兰科学院计算机科学研究所）
本文对Johnson-Lindenstrauss引理作了一个新的应用。引理具有存在形式，即存在数据点到低维空间的JL变换$f$，使得它们全部落入预定义的误差范围$δ$内。我们制定在本文中的一个定理，说明我们可以选择的目标维数在随机投影型JL线性变换，以这样一种方式，与概率$1-ε$所有的人都落入预定义的错误范围$δ$的任何用户预定义的故障概率$ε$。这个结果对于数据聚类这样的应用程序很重要，在这种应用程序中，我们希望有一个先验的降维变换，而不是像传统的约翰逊-林登施特劳斯引理那样尝试大量的降维变换。特别是，我们仔细研究了$k$ -手段算法，并证明了一个很好的解决方案，在投影空间也是一个很好的解决方案，在原来的空间。此外，在适当的假设下，原空间中的局部最优解也是投影空间中的局部最优解。我们还定义了原始空间的聚类属性被传输到投影空间的条件，因此原始空间的特殊情况算法也适用于投影空间。
2017-11-09 cs.DS cs.LG
Almost Optimal Unrestricted Fast Johnson-Lindenstrauss Transform
随机投影问题和稀疏重建问题既有许多共同点，又有各自的特点。令人惊讶的是，到目前为止，它们一直在平行发展，而且大多数情况下保持独立。在这里，我们采用新的工具，从概率在Banach空间中，成功地用于稀疏重建的背景下，推进一个开放的问题，在随机投影。特别是，我们推广和使用一个复杂的结果，由Rudelson和Vershynin稀疏重建使用达德利定理的边界高斯过程。我们的主要结果表明，任何一组$N = \exp(\tilde{O}(n))$实向量在$n$维空间可以线性映射到一个空间的维数$k=O(\log N\polylog(n))$，而（1）保持成对的距离之间的任何常数失真和（2）能够应用变换的时间$O(n\log n)$对每个向量。这改进了由Ailon和Liberty实现的最著名的$N = \exp(\tilde{O}(n^{1/2}))$以及由Ailon和Chazelle实现的$N = \exp(\tilde{O}(n^{1/3}))$。然而，在失真常数的依赖性被认为是次优的，并受到进一步的调查。对于恒定失真，这解决了这些作者提出的开放问题，直到$\polylog(n)$因子，同时大大简化了它们的构造。
2010-05-30 cs.DS
Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections, Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于约翰逊-林登施特劳斯（JL）引理以及线性和非线性随机投影的教程和调查论文。首先从线性随机投影出发，利用JL引理证明了它的正确性。然后，引入了具有$\ell_1$范数和插值范数的稀疏随机投影。介绍了随机投影在超立方体上的两个主要应用：低秩矩阵逼近和随机投影的近似最近邻搜索。随机傅立叶特征（RFF）和随机厨房水槽（RKS）被解释为非线性随机投影的方法。本文还介绍了非线性随机投影的其他方法，包括极限学习机、随机加权神经网络和随机投影集成。
2021-08-09 cs.DS cs.LG math.PR
On Using Toeplitz and Circulant Matrices for Johnson-Lindenstrauss Transforms
Johnson-Lindenstrauss引理是降维理论的基石之一。它说，给定$N$，对于任何一组$N$向量$X \subset \mathbb{R}^n$，存在一个映射$f : X \to \mathbb{R}^m$，使得$f(X)$将$X$中的向量之间的所有成对距离保留在$(1 \pm \varepsilon)$内，如果$m = O(\varepsilon^{-2} \lg N)$。许多努力已经投入到开发快速嵌入算法中，Ailon和Chazelle的快速Johnson-Lindenstrauss变换是最知名的技术之一。当前产生最佳$m = O(\varepsilon^{-2}\lg N)$维度的最快算法的嵌入时间为$O(n \lg n + \varepsilon^{-2} \lg^3 N)$。由于Hinrichs和Vybíral，一种令人兴奋的改进方法是使用随机$m \times n$ Toeplitz矩阵进行嵌入。使用快速傅立叶变换，然后可以在$O(n \lg m)$时间内计算向量的嵌入。当然，最大的问题是$m = O(\varepsilon^{-2} \lg N)$尺寸是否足以满足这种技术。如果是这样的话，这将结束几十年来对获得越来越快的约翰逊-林登施特劳斯变换的长期追求。目前对Hinrichs和Vybíral嵌入的最佳分析表明，$m = O(\varepsilon^{-2…
2017-11-08 cs.CC cs.DS math.FA
The Sharp Dimension Bound in the Johnson--Lindenstrauss Lemma
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文证实了Larsen和Nelson关于Johnson–Lindenstrauss引理最优目标维数的猜想，证明该上界可通过线性映射达到，且匹配下界对非线性嵌入也成立。
2026-08-24 cs.CG cs.DS math.MG
The Fast Johnson-Lindenstrauss Transform is Even Faster
Ailon和Chazelle（SICOMP'09）的开创性快速Johnson-Lindenstrauss（快速JL）变换将$d$维欧几里德空间中的一组$n$点嵌入到最佳$k=O(\varepsilon^{-2} \ln n)$维度中，同时将所有成对距离保持在因子$(1 \pm \varepsilon)$内。快速JL变换支持在$O(d \ln d +k \ln^2 n)$时间内计算数据点的嵌入，其中$d \ln d$项来自与$d \times d$ Hadamard矩阵的乘法，而$k \ln^2 n$项来自与稀疏$k \times d$矩阵的乘法。尽管快速JL变换已经有十多年的历史了，但它是$\varepsilon, d$和$n$之间许多折衷的最快降维技术之一。在这项工作中，我们给出了一个令人惊讶的快速JL变换的新的分析，表明在嵌入时间的$k \ln^2 n$长期可以提高到$(k \ln^2 n)/α$的$α= Ω(\min\{\varepsilon^{-1}\ln(1/\varepsilon), \ln n\})$。通过使用更稀疏的矩阵进行改进。我们还补充了我们改进的分析与下界，表明我们的新分析实际上是紧的。
2022-04-04 cs.DS cs.LG
Performance of Johnson-Lindenstrauss Transform for k-Means and k-Medians Clustering
Northwestern University（西北大学）；TTIC（丰田工业大学芝加哥分校）；Microsoft Research（微软研究院）
考虑欧几里得$k$ -均值或$k$ -中位数聚类的实例。我们发现，最优解的成本被保存到一个随机$O(\log(k / \varepsilon) / \varepsilon^2)$维子空间的投影下的$(1+\varepsilon)$的一个因素。此外，在$(1+\varepsilon)$内保留每个聚类的成本。更一般地说，我们的结果适用于任何降维映射满足一个温和的次高斯尾条件。我们对维度的限制几乎是最优的。此外，我们的结果适用于欧几里德$k$ -聚类的距离提高到$p$的权力，任何常数$p$。对于$k$ -均值，我们的结果解决了Cohen，Elder，Musco，Musco，and Persu（STOC 2015）提出的一个开放问题;对于$k$ -中位数，它回答了Kannan提出的一个问题。
2020-04-08 cs.DS cs.LG
Randomness Efficient Fast-Johnson-Lindenstrauss Transform with Applications in Differential Privacy and Compressed Sensing
随机矩阵的Johnson-Lindenstrauss性质（{ \sf JLP}）在计算机科学中有着广泛的应用，从压缩感知、学习理论、数值线性代数到隐私。本文研究了随机矩阵分布的性质及其应用。我们的分布满足{ \sf JLP}，具有快速矩阵向量乘法，稀疏性和最佳子空间嵌入等理想属性。我们可以使用精确的$2n+n \log n$随机位从该分布中采样一个随机矩阵。我们证明了在输入私有矩阵满足一定的谱性质的条件下，从该分布中选取的随机矩阵保持差分隐私。这改善了各种不同的私有机制的运行时间，如Blocki { \it et al.} (FOCS 2012）和Upadhyay（ASIACRYPT 13）。我们的最终构造具有有界列稀疏性。因此，这回答了Blocki { \it et al.} (FOCS 2012年）。使用Baranuik { \it et al.}的结果，（建设性近似：28（3）），我们的结果意味着一个随机有效矩阵，满足最优阶的限制等距性质的小稀疏与精确的线性随机位。我们还表明，其他已知的稀疏随机矩阵的分布与{ \sf JLP}不保留差分隐私，从而回答了Blocki { \it et al.} (FOCS 2012年）。推广Kane和Nelson（JACM：61（1））的工作，对一些已知的Johnson-Lindenstrauss变换给出了统一的分析。我们还提出了一个独立的简化…
2015-07-16 cs.CR cs.DS
Private Query Release via the Johnson-Lindenstrauss Transform
基于Johnson-Lindenstrauss引理，提出了一种新的基于差分隐私的统计查询答案发布方法.其关键思想是将查询答案随机投影到一个较低维的空间中，使得任意两个可行查询答案向量之间的距离保持到一个加性误差。然后，我们使用一个简单的噪声添加机制来回答投影查询，并将答案提升到原始维度。使用这种方法，我们给，第一次，纯粹的差分私人机制，最佳的最坏情况下的样本复杂性平均错误回答工作量的$k$查询的大小$N$的宇宙。作为其他应用，我们给出了第一个纯私人的有效机制，最佳样本复杂度计算的协方差有界高维分布，并回答2路边际查询。我们还表明，到依赖的错误，我们的机制的一个变种是几乎最佳的每一个给定的查询工作量。
2022-08-15 cs.CR cs.DS cs.LG
Approximate Euclidean lengths and distances beyond Johnson-Lindenstrauss
本文受 Hutch++ 算法启发，提出将 Johnson-Lindenstrauss 投影中 $ε^{-2}$ 依赖改进为 $ε^{-1}$ 的算法，用于估计矩阵行欧氏长度、数据点间距离及统计杠杆分数，并在理论上和数值实验上验证了其优越性。
2023-05-08 cs.DS
Johnson-Lindenstrauss embeddings for noisy vectors -- taking advantage of the noise
本文研究了亚采样和散列作为工具的近似欧氏范数保持嵌入（未知）加性高斯噪声的向量的理论性质。这种嵌入有时被称为约翰逊-林登施特劳斯嵌入，因为它们的著名引理。以前的工作表明，作为稀疏嵌入，子采样和哈希的成功密切依赖于要映射的向量的$l_\infty$与$l_2$的比率。本文表明，噪声的存在消除了这种约束，在高维，换句话说，稀疏嵌入，如子采样和散列具有可比的嵌入维数密集嵌入有类似的近似范数保持降维属性。关键是，噪声应该被视为一种待开发的信息，而不仅仅是要去除的东西。理论界的子采样和散列恢复的近似范数的高维向量在噪声的存在下，推导出，与数值例子显示更好的性能，在噪声的存在下实现。
2022-09-01 cs.DS cs.LG cs.NA
Fast Quantized Johnson$-$Lindenstrauss Transforms
National and Kapodistrian University of Athens（雅典国立卡波迪斯特里亚大学）
本文提出两种基于随机哈达玛变换组合的快速量化约翰逊-林登施特劳斯变换构造，证明其具备与快速JL类似的理论保证，可高效压缩大语言模型KV缓存并保留注意力所需内积。
2026-10-14 cs.DS cs.LG
Binarized Johnson-Lindenstrauss embeddings
我们考虑的问题，编码成一组向量的最小数量的位，同时保留信息的欧几里德几何。我们表明，这一任务可以通过应用约翰逊-林登施特劳斯嵌入和随后的二进制化每个向量的向量的每个条目进行比较，以一个均匀的随机阈值来完成。使用这个简单的构造，我们产生两个编码的数据集，这样就可以查询欧几里德信息的一对点使用少量的位操作，直到一个所需的添加剂错误-欧几里德距离在第一种情况下，内积和平方欧几里德距离在第二。在后一种情况下，每个点都以接近线性的时间编码。这些编码所需的比特数是量化的数据集的两个自然的复杂性参数-其覆盖数和本地化的高斯复杂性-并被证明是接近最佳的。
2022-04-11 cs.DS cs.IT math.IT
Johnson-Lindenstrauss Compression with Neuroscience-Based Constraints
由稀疏随机突触连接实现的Johnson-Lindenstrauss（JL）矩阵被认为是大脑中会聚通路如何压缩信息的主要候选者。然而，到目前为止，没有完整的数学支持，这样的实现给定的限制，真正的神经组织。神经元是兴奋性或抑制性的事实意味着每个如此可实现的JL矩阵必须是符号一致的（即，单个列中的所有条目必须全部为非负或全部为非正），并且任何给定神经元连接到其它神经元的相对小的子集的事实意味着JL矩阵最好是稀疏的。我们构造稀疏的符号一致的JL矩阵，并证明我们的构造是本质上最优的。我们的工作回答了一个数学问题，这个问题是由早期的工作引发的，并且对于证明大脑中JL压缩的存在是必要的，并且强调如果神经元要执行有效的，相关性保持的压缩，抑制是至关重要的。
2014-11-19 cs.DS math.PR math.ST
Optimality of the Johnson-Lindenstrauss Lemma
对于任何整数$d, n \geq 2$和$1/({\min\{n,d\}})^{0.4999} < \varepsilon<1$，我们证明了存在一组$n$向量$X\subset \mathbb{R}^d$，使得任何满足$$ \forall x,y\in X,\ (1-\varepsilon)\|x-y\|_2^2\le \|f(x)-f(y)\|_2^2 \le (1+\varepsilon)\|x-y\|_2^2 $$的嵌入$f:X\rightarrow \mathbb{R}^m$必须具有$$ m = Ω(\varepsilon^{-2} \lg n). $$。此外，我们的下限几乎适用于所有感兴趣的$\varepsilon$，因为总是有一个等距嵌入到维度$\min\{d, n\}$（单位映射，或投影到$\mathop{span}(X)$）。以前，已知这样的下限仅适用于线性映射$f$，而不适用于如此宽的参数范围$\varepsilon, n, d$ [LN 16]。一般$f$的最佳已知下限是$m = Ω(\varepsilon^{-2}\lg n/\lg(1/\varepsilon))$ [Wel 74，Lev 83，Alo 03]，这对于任何$\varepsilon = o(1)$都是次优的。
2017-11-09 cs.CG cs.DS cs.IT
Simple, unified analysis of Johnson-Lindenstrauss with applications
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出Johnson-Lindenstrauss引理的简化统一分析，统一多种构造并首次严格证明球形构造，扩展Hanson-Wright不等式至高维，去除独立性假设，增强理论并拓展实际应用。
2024-07-19 cs.DS cs.LG math.PR
Sparse Random Matrices for Dimensionality Reduction
University of British Columbia（不列颠哥伦比亚大学）
本文探讨了稀疏随机矩阵在降维中的应用，比较了其与传统高斯矩阵的性能
2025-12-27 cs.DS
Privacy via the Johnson-Lindenstrauss Transform
假设A方收集关于其用户的私人信息，其中每个用户的数据表示为位向量。假设B方有一个专有的数据采掘算法，该算法需要估计用户之间的距离，例如聚类或最近邻居。我们问，是否有可能让A方发布一些关于每个用户的信息，以便B可以估计用户之间的距离，而不能够推断出用户的任何隐私位。我们的方法包括通过稀疏的Johnson-Lindenstrauss变换将每个用户的表示投影到随机的低维空间中，然后将高斯噪声添加到低维表示的每个条目中。我们发现，该方法保持差分隐私--更多的隐私是期望的，更大的高斯噪声的方差。此外，我们展示了如何通过仅低维的扰动数据来近似用户之间的真实距离。最后，我们考虑其他扰动方法，如随机响应和绘制比较草图为基础的方法。虽然向第三方发布用户特定数据的目标比保持距离更广泛，但这项工作表明，具有隐私的距离计算是一个可以实现的目标。
2012-04-12 cs.CY cs.DB cs.DS
Sparser Johnson-Lindenstrauss Transforms
我们给出了两个不同的和简单的构造，通过线性映射是稀疏的$\ell_2$的降维：只有一个$O(\varepsilon)$分数的条目在我们的嵌入矩阵的每一列是非零的，以实现失真$1+\varepsilon$具有高概率，同时仍然实现渐近最优的行数。这些是第一个为所有参数值提供次常数稀疏性的构造，改进了Achlioptas（JCSS 2003）和Dasgupta，Kumar和Sarlós（STOC 2010）的先前工作。这样的分布可以用于加速使用$\ell_2$降维的应用。
2014-02-05 cs.CG cs.DM cs.DS
Adaptive Robustness of Hypergrid Johnson-Lindenstrauss
针对超网格在随机投影下可能出现任意收缩的问题，本文通过设计在线算法并证明计算硬度，揭示其统计-计算差距，并将结果应用于构造鲁棒性保持哈希函数。
2025-04-12 cs.CC cs.DS stat.CO
On Outer Bi-Lipschitz Extensions of Linear Johnson-Lindenstrauss Embeddings of Subsets of $\mathbb{R}^N$
该研究将有限集上的Johnson-Lindenstrauss引理推广为任意子集上的终端嵌入理论，证明了值域维度的最优性，且构造性证明可生成算法，在压缩最近邻分类中准确率优于标准线性嵌入。
2024-03-06 cs.DS cs.NA math.MG
A Quantized Johnson Lindenstrauss Lemma: The Finding of Buffon's Needle
1733年，法国布丰伯爵乔治-路易·勒克莱尔（Georges-Louis Leclerc）通过定义一个启发性问题奠定了几何概率论的基础：一根随机扔在由等间距平行条组成的地面上的针落在其中两条上的概率是多少？在这项工作中，我们证明了这个问题的解决方案，以及它对$N$维数的推广，使我们能够发现Johnson-Lindenstrauss（JL）引理的量化形式，即，一种是将线性降维过程与精确度的均匀量化$δ>0$相结合。特别地，给定$S$点的有限集合$\mathcal S \subset \mathbb R^N$和失真水平$ε>0$，只要$M > M_0 = O(ε^{-2} \log S)$，我们就可以（随机地）构建从$(\mathcal S, \ell_2)$到$(δ\mathbb Z^M, \ell_1)$的映射，该映射近似地保持$\mathcal S$的点之间的成对距离。有趣的是，与常见的JL引理相比，映射是准等距的，我们观察到嵌入距离上的加法和乘法失真。然而，当$M$增加时，这两个失真衰减为$O(\sqrt{(\log S)/M})$。此外，对于粗量化，即，对于高$δ$与设定半径相比，失真主要是加性的，而对于小$δ$，我们倾向于Lipschitz等距嵌入。最后，我们证明了$(\mathcal S, \ell_2)$到$(δ\mathbb Z^M, \ell_2)$的“近似”拟等距…
2015-07-22 cs.DS cs.IT math.IT
Optimality of the Johnson-Lindenstrauss Dimensionality Reduction for Practical Measures
Hebrew University（希伯来大学）；Aarhus University（奥胡斯大学）
众所周知，Johnson-Lindenstrauss降维方法对于最坏情况失真是最优的。虽然在实践中使用了许多其他方法和算法，但对其性能的界限知之甚少。最近在BFN 19（NeurIPS'19）中提出了JL方法是否是实际失真测量的最佳方法的问题。它们为广泛的实际措施提供了其质量的上限，并表明在许多情况下这些措施确实是最好的。然而，一些最重要的情况，包括平均失真的基本情况，都没有得到解决。特别是，他们表明，JL变换具有$1+ε$平均失真嵌入到$k$维欧几里德空间，其中$k=O(1/ε^2)$，并为更一般的$q$ -规范的失真，$k = O(\max\{1/ε^2,q/ε\})$，而严格的下限建立只有大值的$q$通过减少到最坏的情况.在本文中，我们证明了这些界限是最好的可能的任何降维方法，任何$1 \leq q \leq O(\frac{\log (2ε^2 n)}ε)$和$ε\geq \frac{1}{\sqrt{n}}$，其中$n$是欧几里得空间的子集的大小。我们的研究结果表明，JL方法是最佳的各种失真措施，通常用于在实践中，如应力，能量和相对误差。我们证明，如果这些措施是有界的$ε$，然后$k=Ω(1/ε^2)$的任何$ε\geq \frac{1}{\sqrt{n}}$，匹配的上界BFN 19和扩展其紧密性的结果，为全范围的时刻分析。我们的研究结果可能表明，JL降维方法应更多地考虑…
2022-03-15 cs.CG cs.DS cs.LG
Dimensionality reduction with subgaussian matrices: a unified theory
我们提出了一个理论，欧几里德降维与亚高斯矩阵，统一了几个限制等距属性和约翰逊-林登施特劳斯型的结果，以前获得的特定数据集。特别是，我们恢复，并在几种情况下，提高结果集的稀疏和结构稀疏向量，低秩矩阵和张量，光滑流形。此外，我们建立了一个新的Johnson-Lindenstrauss嵌入的数据集的形式的Hilbert空间的子空间的无限联盟。
2014-02-17 cs.DS cs.IT math.IT
Fast Cross-Polytope Locality-Sensitive Hashing
我们提供了一个变种的交叉多面体局部敏感散列相对于角距离，这是可证明的最佳渐近灵敏度和享受$\mathcal{O}(d \ln d )$散列计算时间。基于最近的结果（Andoni，Indyk，Laarhoven，Razenshteyn，Schmidt，2015），我们表明即使密集高斯矩阵被快速Johnson-Lindenstrauss变换替换，然后进行离散伪旋转，也可以保持交叉多面体LSH的最佳渐近灵敏度，从而将哈希计算时间从$\mathcal{O}(d^2)$减少到$\mathcal{O}(d \ln d )$。此外，我们的计划实现了最佳的灵敏度收敛速度。通过引入一个低随机性的Johnson-Lindenstrauss变换，我们的方案可以修改为只需要$\mathcal{O}(\ln^9(d))$随机比特
2016-09-20 cs.CG cs.DS
Toward a unified theory of sparse dimensionality reduction in Euclidean space
令$Φ\in\mathbb{R}^{m\times n}$为稀疏Johnson-Lindenstrauss变换[KN 14]，每列具有$s$非零值。对于一个子集$T$的单位球，$\varepsilon\in(0,1/2)$给定的，我们研究设置$m,s$需要确保$$ \mathop{\mathbb{E}}_Φ\sup_{x\in T} \left|\|Φx\|_2^2 - 1 \right| < \varepsilon , $$，即，使$Φ$保持规范的每个$x\in T$同时和乘法高达$1+\varepsilon$。我们引入了一个新的复杂性参数，这取决于几何的$T$，并表明，它足以选择$s$和$m$，使这个参数是小的。我们的结果是Gordon定理的一个稀疏模拟，Gordon定理涉及的是具有i.i.d.的稠密$Φ$。高斯项。我们定性地统一了几个结果相关的约翰逊-林登施特劳斯引理，子空间嵌入，和基于傅立叶的限制等距。我们的工作也意味着新的结果，在使用稀疏约翰逊-林登施特劳斯变换在数值线性代数，经典和基于模型的压缩传感，流形学习，约束最小二乘问题，如拉索。
2015-08-25 cs.CG cs.DS cs.IT
Fast Nearest Neighbor Preserving Embeddings
我们显示了一个模拟的快速约翰逊-林登施特劳斯变换的最近邻保持嵌入$\ell_2$。这些是稀疏的随机嵌入，保留（近似）最近的邻居。嵌入空间的维数不是由嵌入集n的大小限制的，而是由它的双倍维数λ限制的。对于大多数大型的真实世界数据集，这意味着当保留所有距离时，嵌入空间的维数要低得多。所得到的嵌入可以与现有的近似最近邻数据结构一起使用以产生速度改进。
2017-07-21 cs.DS
Optimal (Euclidean) Metric Compression
我们研究的问题，代表所有的$n$点之间的距离在$\mathbb R^d$，任意小的失真，使用尽可能少的位。对于欧几里得度量、对于$\ell_1$（又名~），我们给出了该问题的渐进紧界Manhattan）度量，以及用于一般度量。我们的欧几里德度量的界限标志着对基于离散化Johnson和Lindenstrauss（Contemp.~）的经典降维定理的压缩方案的第一次改进。数学~ 1984年）。由于它是已知的，没有更好的降维是可能的，我们的研究结果建立，欧几里德度量压缩是可能超越降维。
2021-10-07 cs.CG cs.DS
Barriers for Faster Dimensionality Reduction
Johnson-Lindenstrauss变换允许将$\mathbb{R}^d$中的$n$点的数据集嵌入到$\mathbb{R}^m,$中，同时保持任何一对点之间的成对距离直到因子$(1 \pm \varepsilon)$，条件是$m = Ω(\varepsilon^{-2} \lg n)$。该变换已经发现了大量的算法应用，允许以精度的小损失为代价来加速算法并减少内存消耗。研究此类变换的中心线是开发快速嵌入算法，经典的例子是Ailon和Chazelle的Fast JL变换。所有已知的这样的算法具有$Ω(d \lg d)$的嵌入时间，但是没有下限排除干净的$O(d)$嵌入时间。在这项工作中，我们建立了第一个非平凡的下限（幅度$Ω(m \lg m)$）的一大类嵌入算法，特别是包括最知名的上限。
2022-07-07 cs.DS
Random Projections for k-Means: Maintaining Coresets Beyond Merge & Reduce
我们给出了一个新的结构，一个小的空间摘要满足coreset保证的数据集关于$k$ -均值目标函数。离线构造中所需的点数在$\tilde{O}(k ε^{-2}\min(d,kε^{-2}))$中，这在所有可用构造中是最小的。除了两种对维数具有指数依赖性的构造之外，所有已知的核心集都通过合并和缩减框架在数据流中维护，这导致对$\log n$的大空间依赖性。相反，我们的建设至关重要地依赖于约翰逊-林登施特劳斯类型的嵌入，结合在线算法的结果给我们一个新的技术，有效地维护coresets在数据流中，而不依赖于合并和减少。由我们的算法存储在数据流中的点的最终数量在$\tilde{O}(k^2 ε^{-2} \log^2 n \min(d,kε^{-2}))$中。
2020-02-18 cs.DS
Iterative Hessian Sketch in Input Sparsity Time
University of Warwick（华威大学）
可扩展的算法来解决优化和回归任务，甚至近似，需要与大型数据集一起工作。在本文中，我们研究有效的技术，从矩阵素描解决各种凸约束回归问题。我们采用“迭代海森素描”（IHS），并表明快速CountSketch和稀疏的约翰逊-林登施特劳斯变换产生的最先进的精度保证IHS下，同时大大提高了时间成本。其结果是，我们获得了显着更快的算法约束回归，稀疏和密集的输入。我们的经验结果表明，对于稀疏数据，我们可以以大约100倍的速度汇总数据，而令人惊讶的是，对于密集数据，我们可以以10倍的速度汇总数据！因此，可以比现有技术更快地找到精确到最优解的机器精度内的解。
2019-10-30 cs.DS cs.LG stat.ML
Two Embedding Theorems for Data with Equivalences under Finite Group Action
最近有兴趣在压缩数据集的非顺序设置，其中缺乏明显的排序对他们的数据空间，需要考虑的数据等价的概念。例如，Varshney & Goyal（DCC，2006）考虑了多集等价，而Choi & Szpankowski（IEEE Trans. IT，2012）考虑了图中的同构等价。在这里等价被认为是在一个相对广泛的框架下-有限维的，非序列的数据空间与等价下的组行动，其中类似的两个深入研究嵌入定理推导：惠特尼嵌入定理和约翰逊-林登施特劳斯引理。只有规范数据点需要仔细嵌入，每个这样的点代表一组数据点在群体作用下是等价的。两步嵌入被认为是。首先，应用群不变量来解释等价性，然后，线性嵌入将其降低到低维。我们的研究结果需要对所应用的不变量的可辨别性进行假设，例如与分离不变量相关的概念（Dufresne，2008）和模式识别中的完整性（Kakarala，1992）。在后一个定理中，嵌入复杂度取决于规范部分的大小，它可能比整个数据集小得多，直到一个因子等于组的大小。
2012-10-15 cs.DS cs.IT math.IT
