Fast Quantized Johnson$-$Lindenstrauss Transforms
National and Kapodistrian University of Athens（雅典国立卡波迪斯特里亚大学）
本文提出两种基于随机哈达玛变换组合的快速量化约翰逊-林登施特劳斯变换构造，证明其具备与快速JL类似的理论保证，可高效压缩大语言模型KV缓存并保留注意力所需内积。
2026-10-14 cs.DS cs.LG
Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections, Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于约翰逊-林登施特劳斯（JL）引理以及线性和非线性随机投影的教程和调查论文。首先从线性随机投影出发，利用JL引理证明了它的正确性。然后，引入了具有$\ell_1$范数和插值范数的稀疏随机投影。介绍了随机投影在超立方体上的两个主要应用：低秩矩阵逼近和随机投影的近似最近邻搜索。随机傅立叶特征（RFF）和随机厨房水槽（RKS）被解释为非线性随机投影的方法。本文还介绍了非线性随机投影的其他方法，包括极限学习机、随机加权神经网络和随机投影集成。
2021-08-09 cs.DS cs.LG math.PR
Almost Optimal Explicit Johnson-Lindenstrauss Transformations
约翰森-林登施特劳斯引理是概率论中的一个基本结果，在高维几何中的算法设计和分析中有许多应用。满足Johnson-Lindenstrauss性质的线性嵌入的大多数已知构造都涉及随机性。我们解决了显式构造这种嵌入族的问题，并提供了一种几乎最佳使用随机性的构造：我们使用O（log（n/delta）log（log（n/delta）/ε））随机位将n维嵌入到O（log（1/delta）/ε ^2）维，错误概率最多为delta，失真最多为ε。特别地，对于delta = 1/poly（n）和固定的k，我们使用O（log n loglog n）随机位。以前的构造至少需要O（log^2 n）个随机位才能得到多项式小误差。
2010-12-10 cs.CC cs.DS math.PR
The Johnson-Lindenstrauss lemma is optimal for linear dimensionality reduction
对于任何$n>1$和$0<\varepsilon<1/2$，我们证明了存在$\mathbb{R}^n$的$n^{O(1)}$ -点子集$X$，使得任何从$(X,\ell_2)$到$\ell_2^m$且失真至多为$1+\varepsilon$的线性映射必有$m = Ω(\min\{n, \varepsilon^{-2}\log n\})$ .我们的下界匹配的单位矩阵和Johnson-Lindenstrauss引理提供的上界，提高了以前的下界的Alon的$\log(1/\varepsilon)$因素。
2014-11-10 cs.CG cs.DS cs.IT
A Derandomized Sparse Johnson-Lindenstrauss Transform
最近的工作[Dasgupta-Kumar-Sarlos，STOC 2010]给出了一个稀疏的Johnson-Lindenstrauss变换，并将其构造是否可以有效地去随机化作为一个主要的开放问题。我们肯定地回答他们的问题，给出了一个替代的证明，他们的结果只需要有界独立散列函数。此外，我们证明中获得的稀疏性界也得到了改进。我们证明的主要成分是最近在[Diakonikolas-Kane-Nelson，FOCS 2010]中使用的二次型的谱矩。
2010-12-07 cs.CC cs.DM cs.DS
Private Query Release via the Johnson-Lindenstrauss Transform
基于Johnson-Lindenstrauss引理，提出了一种新的基于差分隐私的统计查询答案发布方法.其关键思想是将查询答案随机投影到一个较低维的空间中，使得任意两个可行查询答案向量之间的距离保持到一个加性误差。然后，我们使用一个简单的噪声添加机制来回答投影查询，并将答案提升到原始维度。使用这种方法，我们给，第一次，纯粹的差分私人机制，最佳的最坏情况下的样本复杂性平均错误回答工作量的$k$查询的大小$N$的宇宙。作为其他应用，我们给出了第一个纯私人的有效机制，最佳样本复杂度计算的协方差有界高维分布，并回答2路边际查询。我们还表明，到依赖的错误，我们的机制的一个变种是几乎最佳的每一个给定的查询工作量。
2022-08-15 cs.CR cs.DS cs.LG
Johnson-Lindenstrauss Embeddings with Kronecker Structure
本文证明了矩阵$ΦD_ξ$的Johnson-Lindenstrauss性质，其中$Φ$具有限制等距性质，$D_ξ$是包含$d$独立Rademacher向量的Kronecker积$ξ= ξ^{(1)} \otimes \dots \otimes ξ^{(d)}$的对角矩阵.这种嵌入在最近的一些关于张量结构化数据压缩的应用中已经被提出，包括Ahle等人用于近似张量计算的不经意草图过程。为了同时保持$p$点的范数，我们的结果要求$Φ$具有稀疏$C(d) (\log p)^d$的限制等距性质。在二次采样Hadamard矩阵的情况下，这可以改善嵌入维数对$p$到$(\log p)^d$的依赖性，而先前已知的最佳结果需要$(\log p)^{d + 1}$。也就是说，对于Ahle等人的遗忘素描过程核心的$d=2$的情况，缩放比例从三次提高到二次。我们提供了一个反例来证明我们的结果中建立的标度是最优的温和的假设。
2021-06-24 cs.DS
Generic LSH Families for the Angular Distance Based on Johnson-Lindenstrauss Projections and Feature Hashing LSH
Universidad Nacional de Tres de Febrero（二月三日国立大学）；Universidad de Buenos Aires（布宜诺斯艾利斯大学）
在本文中，我们提出了创建通用的LSH家庭的角度距离的基础上约翰逊-林登施特劳斯投影。我们证明了特征散列是一个有效的J-L投影，并提出了两个新的LSH家庭的基础上的特征散列。这些新的LSH家族在合成和真实数据集上进行了测试，结果非常好，与其他LSH家族相比，性能有了相当大的提高。虽然对角距离进行了理论分析，但这些族也可以在实践中用于欧几里德距离，并获得良好的结果[2]。我们使用真实数据集的测试表明，所提出的LSH函数的工作以及欧氏距离。
2017-04-15 cs.AI cs.DS cs.IR
Optimal Fast Johnson-Lindenstrauss Embeddings for Large Data Sets
Johnson-Lindenstrauss嵌入被广泛用于降低维数，从而减少数据的处理时间。为了降低总的复杂度，也需要用于应用这些嵌入的快速算法。到目前为止，这种快速算法仅适用于非最佳嵌入维数或数据点数量达到一定阈值的情况。我们解决这个问题的一个变种，其中一个目的是同时嵌入更大的子集的数据集。我们的方法遵循Nelson的方法：子采样Hadamard变换将点映射到较低但不是最佳维度的空间。随后，具有独立条目的随机矩阵投影到最佳嵌入维数。对于子集的规模至少多项式的环境维度，这种方法的复杂性接近的操作的数量只是为了读取数据的数据集的大小，是相当少的限制比以前的作品在温和的假设下。我们还证明了一个下界，表明单独的亚采样Hadamard矩阵不能达到最佳嵌入维数。因此，第二嵌入不能被省略。
2020-04-29 cs.DS
Johnson-Lindenstrauss embeddings for noisy vectors -- taking advantage of the noise
本文研究了亚采样和散列作为工具的近似欧氏范数保持嵌入（未知）加性高斯噪声的向量的理论性质。这种嵌入有时被称为约翰逊-林登施特劳斯嵌入，因为它们的著名引理。以前的工作表明，作为稀疏嵌入，子采样和哈希的成功密切依赖于要映射的向量的$l_\infty$与$l_2$的比率。本文表明，噪声的存在消除了这种约束，在高维，换句话说，稀疏嵌入，如子采样和散列具有可比的嵌入维数密集嵌入有类似的近似范数保持降维属性。关键是，噪声应该被视为一种待开发的信息，而不仅仅是要去除的东西。理论界的子采样和散列恢复的近似范数的高维向量在噪声的存在下，推导出，与数值例子显示更好的性能，在噪声的存在下实现。
2022-09-01 cs.DS cs.LG cs.NA
A Sparse Johnson--Lindenstrauss Transform
降维是一种重要的算法工具，在流模型中有着广泛的应用，包括最近邻搜索、压缩感知和线性代数。在这项工作中，我们得到了{ \em稀疏}版本的基本工具，在维减少-约翰逊-林登施特劳斯变换。使用散列和局部致密化，我们构造了一个稀疏投影矩阵，每列只有$\tilde{O}(\frac{1}ε)$非零条目。我们还显示了一个匹配的下界的稀疏投影矩阵的一大类。我们的边界是有点令人惊讶的，已知的下界$Ω(\frac{1}{ε^2})$的行数的任何投影矩阵和稀疏性的投影矩阵产生的自然建设。使用这一点，我们实现了$(1\pmε)$近似投影的每个非零元素的$\tilde{O}(\frac{1}ε)$更新时间，从而大大优于现有方法所需的$\tilde{O}(\frac{1}{ε^2})$更新时间。我们的方法的一个变体为稀疏向量提供了相同的保证，但其$\tilde{O}(d)$最坏情况下的运行时间与Ailon和Liberty的最佳方法相匹配。
2010-04-23 cs.DS
Simple, unified analysis of Johnson-Lindenstrauss with applications
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
本文提出Johnson-Lindenstrauss引理的简化统一分析，统一多种构造并首次严格证明球形构造，扩展Hanson-Wright不等式至高维，去除独立性假设，增强理论并拓展实际应用。
2024-07-19 cs.DS cs.LG math.PR
Rademacher Chaos, Random Eulerian Graphs and The Sparse Johnson-Lindenstrauss Transform
著名的降维引理约翰逊和林登施特劳斯有许多计算和其他应用。由于Johnson-Lindenstrauss型降维方法在实际中的应用，提高降维计算的速度是一个重要的问题。最近，Dasgupta，Kumar和Sarlos（STOC 2010）构建了一个使用稀疏矩阵的变换。这是由应用于稀疏输入向量时加速计算的愿望所激发的，这是应用中出现的一种情况。Kane和Nelson（ArXiv 2010）进一步改进了它们构造的稀疏性。我们将Kane和Nelson的每列非零条目数的上界从$O(1/ε\log(1/δ)\log(k/δ))$（其中目标维度为$k$，失真为$1\pm ε$，失效概率为$δ$）改进为$$ O\left({1\overε} \left({\log(1/δ)\log\log\log(1/δ) \over \log\log(1/δ)}\right)^2\right). $$。我们还改进了生成矩阵所需的随机性。我们的结果是通过连接的随机欧拉重图的组合性质的2阶Rademacher混沌的时刻。估计的机会，一个随机多重图是由一个给定数量的节点不相交的欧拉组件导致一个新的尾部上界的混乱。我们的估计可能是独立的利益，这部分的参数是解耦的混沌系数的分析，我们相信，我们的方法可以在其他混沌的分析是有用的。
2010-11-11 cs.DS
The Sharp Dimension Bound in the Johnson--Lindenstrauss Lemma
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文证实了Larsen和Nelson关于Johnson–Lindenstrauss引理最优目标维数的猜想，证明该上界可通过线性映射达到，且匹配下界对非线性嵌入也成立。
2026-08-24 cs.CG cs.DS math.MG
On Using Toeplitz and Circulant Matrices for Johnson-Lindenstrauss Transforms
Johnson-Lindenstrauss引理是降维理论的基石之一。它说，给定$N$，对于任何一组$N$向量$X \subset \mathbb{R}^n$，存在一个映射$f : X \to \mathbb{R}^m$，使得$f(X)$将$X$中的向量之间的所有成对距离保留在$(1 \pm \varepsilon)$内，如果$m = O(\varepsilon^{-2} \lg N)$。许多努力已经投入到开发快速嵌入算法中，Ailon和Chazelle的快速Johnson-Lindenstrauss变换是最知名的技术之一。当前产生最佳$m = O(\varepsilon^{-2}\lg N)$维度的最快算法的嵌入时间为$O(n \lg n + \varepsilon^{-2} \lg^3 N)$。由于Hinrichs和Vybíral，一种令人兴奋的改进方法是使用随机$m \times n$ Toeplitz矩阵进行嵌入。使用快速傅立叶变换，然后可以在$O(n \lg m)$时间内计算向量的嵌入。当然，最大的问题是$m = O(\varepsilon^{-2} \lg N)$尺寸是否足以满足这种技术。如果是这样的话，这将结束几十年来对获得越来越快的约翰逊-林登施特劳斯变换的长期追求。目前对Hinrichs和Vybíral嵌入的最佳分析表明，$m = O(\varepsilon^{-2…
2017-11-08 cs.CC cs.DS math.FA
The Johnson-Lindenstrauss Lemma for Clustering and Subspace Approximation: From Coresets to Dimension Reduction
本文利用核心集构造提出分析 Johnson-Lindenstrauss 变换的新技术，为子空间逼近、平坦逼近和直线逼近等投影聚类问题给出更优或首次的降维目标维度界。
2023-07-10 cs.DS
The Johnson-Lindenstrauss Transform Itself Preserves Differential Privacy
本文证明了一个“老狗”，即--经典的约翰逊-林登施特劳斯变换，“表演新把戏”--它提供了一种新的方式来保护差分隐私。我们表明，如果我们采取两个数据库，$D$和$D'$，使得（i）$D'-D$是一个秩-1矩阵的有界范数和（ii）所有的奇异值的$D$和$D'$是足够大的，然后乘以$D$或$D'$与iid正常高斯向量产生两个统计上接近的分布在差分隐私的意义。此外，输入的小的、确定性的和\emph{public}的改变足以断言$D$的所有奇异值是大的。我们应用约翰逊-林登施特劳斯变换的任务，近似切割查询：在一个图中的边缘交叉$(S,\bar S)$ -削减的数量。我们表明，JL变换允许我们\emph{publish a sanitized graph}，保留边缘差分隐私（其中两个图是邻居，如果他们在一个单一的边缘不同），同时只添加$O(|S|/ε)$随机噪声到任何给定的查询（w.h.p）。比较我们的算法的加性噪声，以不同的私人方式回答切割查询的现有算法，我们优于所有其他的小切（$|S| = o(n)$）。我们还将我们的技术应用于估计给定矩阵在任何给定方向上的方差的任务。JL变换允许我们\emph{publish a sanitized covariance matrix}，其保留关于有界变化的差分隐私（矩阵中的每一行最多可以改变一个范数-1向量），同时添加幅度与矩阵的大小（w.h.p）无关…
2012-08-19 cs.DS
Johnson-Lindenstrauss Lemma Beyond Euclidean Geometry
本文扩展Johnson-Lindenstrauss引理至非欧几里得空间，通过伪欧几里得变换和广义幂距离表示，实现带可控误差的降维，并在合成与真实数据上验证有效性。
2025-10-25 cs.DS
Binarized Johnson-Lindenstrauss embeddings
我们考虑的问题，编码成一组向量的最小数量的位，同时保留信息的欧几里德几何。我们表明，这一任务可以通过应用约翰逊-林登施特劳斯嵌入和随后的二进制化每个向量的向量的每个条目进行比较，以一个均匀的随机阈值来完成。使用这个简单的构造，我们产生两个编码的数据集，这样就可以查询欧几里德信息的一对点使用少量的位操作，直到一个所需的添加剂错误-欧几里德距离在第一种情况下，内积和平方欧几里德距离在第二。在后一种情况下，每个点都以接近线性的时间编码。这些编码所需的比特数是量化的数据集的两个自然的复杂性参数-其覆盖数和本地化的高斯复杂性-并被证明是接近最佳的。
2022-04-11 cs.DS cs.IT math.IT
Randomness Efficient Fast-Johnson-Lindenstrauss Transform with Applications in Differential Privacy and Compressed Sensing
随机矩阵的Johnson-Lindenstrauss性质（{ \sf JLP}）在计算机科学中有着广泛的应用，从压缩感知、学习理论、数值线性代数到隐私。本文研究了随机矩阵分布的性质及其应用。我们的分布满足{ \sf JLP}，具有快速矩阵向量乘法，稀疏性和最佳子空间嵌入等理想属性。我们可以使用精确的$2n+n \log n$随机位从该分布中采样一个随机矩阵。我们证明了在输入私有矩阵满足一定的谱性质的条件下，从该分布中选取的随机矩阵保持差分隐私。这改善了各种不同的私有机制的运行时间，如Blocki { \it et al.} (FOCS 2012）和Upadhyay（ASIACRYPT 13）。我们的最终构造具有有界列稀疏性。因此，这回答了Blocki { \it et al.} (FOCS 2012年）。使用Baranuik { \it et al.}的结果，（建设性近似：28（3）），我们的结果意味着一个随机有效矩阵，满足最优阶的限制等距性质的小稀疏与精确的线性随机位。我们还表明，其他已知的稀疏随机矩阵的分布与{ \sf JLP}不保留差分隐私，从而回答了Blocki { \it et al.} (FOCS 2012年）。推广Kane和Nelson（JACM：61（1））的工作，对一些已知的Johnson-Lindenstrauss变换给出了统一的分析。我们还提出了一个独立的简化…
2015-07-16 cs.CR cs.DS
Johnson-Lindenstrauss Compression with Neuroscience-Based Constraints
由稀疏随机突触连接实现的Johnson-Lindenstrauss（JL）矩阵被认为是大脑中会聚通路如何压缩信息的主要候选者。然而，到目前为止，没有完整的数学支持，这样的实现给定的限制，真正的神经组织。神经元是兴奋性或抑制性的事实意味着每个如此可实现的JL矩阵必须是符号一致的（即，单个列中的所有条目必须全部为非负或全部为非正），并且任何给定神经元连接到其它神经元的相对小的子集的事实意味着JL矩阵最好是稀疏的。我们构造稀疏的符号一致的JL矩阵，并证明我们的构造是本质上最优的。我们的工作回答了一个数学问题，这个问题是由早期的工作引发的，并且对于证明大脑中JL压缩的存在是必要的，并且强调如果神经元要执行有效的，相关性保持的压缩，抑制是至关重要的。
2014-11-19 cs.DS math.PR math.ST
Optimality of the Johnson-Lindenstrauss Lemma
对于任何整数$d, n \geq 2$和$1/({\min\{n,d\}})^{0.4999} < \varepsilon<1$，我们证明了存在一组$n$向量$X\subset \mathbb{R}^d$，使得任何满足$$ \forall x,y\in X,\ (1-\varepsilon)\|x-y\|_2^2\le \|f(x)-f(y)\|_2^2 \le (1+\varepsilon)\|x-y\|_2^2 $$的嵌入$f:X\rightarrow \mathbb{R}^m$必须具有$$ m = Ω(\varepsilon^{-2} \lg n). $$。此外，我们的下限几乎适用于所有感兴趣的$\varepsilon$，因为总是有一个等距嵌入到维度$\min\{d, n\}$（单位映射，或投影到$\mathop{span}(X)$）。以前，已知这样的下限仅适用于线性映射$f$，而不适用于如此宽的参数范围$\varepsilon, n, d$ [LN 16]。一般$f$的最佳已知下限是$m = Ω(\varepsilon^{-2}\lg n/\lg(1/\varepsilon))$ [Wel 74，Lev 83，Alo 03]，这对于任何$\varepsilon = o(1)$都是次优的。
2017-11-09 cs.CG cs.DS cs.IT
Privacy via the Johnson-Lindenstrauss Transform
假设A方收集关于其用户的私人信息，其中每个用户的数据表示为位向量。假设B方有一个专有的数据采掘算法，该算法需要估计用户之间的距离，例如聚类或最近邻居。我们问，是否有可能让A方发布一些关于每个用户的信息，以便B可以估计用户之间的距离，而不能够推断出用户的任何隐私位。我们的方法包括通过稀疏的Johnson-Lindenstrauss变换将每个用户的表示投影到随机的低维空间中，然后将高斯噪声添加到低维表示的每个条目中。我们发现，该方法保持差分隐私--更多的隐私是期望的，更大的高斯噪声的方差。此外，我们展示了如何通过仅低维的扰动数据来近似用户之间的真实距离。最后，我们考虑其他扰动方法，如随机响应和绘制比较草图为基础的方法。虽然向第三方发布用户特定数据的目标比保持距离更广泛，但这项工作表明，具有隐私的距离计算是一个可以实现的目标。
2012-04-12 cs.CY cs.DB cs.DS
Optimality of the Johnson-Lindenstrauss Dimensionality Reduction for Practical Measures
Hebrew University（希伯来大学）；Aarhus University（奥胡斯大学）
众所周知，Johnson-Lindenstrauss降维方法对于最坏情况失真是最优的。虽然在实践中使用了许多其他方法和算法，但对其性能的界限知之甚少。最近在BFN 19（NeurIPS'19）中提出了JL方法是否是实际失真测量的最佳方法的问题。它们为广泛的实际措施提供了其质量的上限，并表明在许多情况下这些措施确实是最好的。然而，一些最重要的情况，包括平均失真的基本情况，都没有得到解决。特别是，他们表明，JL变换具有$1+ε$平均失真嵌入到$k$维欧几里德空间，其中$k=O(1/ε^2)$，并为更一般的$q$ -规范的失真，$k = O(\max\{1/ε^2,q/ε\})$，而严格的下限建立只有大值的$q$通过减少到最坏的情况.在本文中，我们证明了这些界限是最好的可能的任何降维方法，任何$1 \leq q \leq O(\frac{\log (2ε^2 n)}ε)$和$ε\geq \frac{1}{\sqrt{n}}$，其中$n$是欧几里得空间的子集的大小。我们的研究结果表明，JL方法是最佳的各种失真措施，通常用于在实践中，如应力，能量和相对误差。我们证明，如果这些措施是有界的$ε$，然后$k=Ω(1/ε^2)$的任何$ε\geq \frac{1}{\sqrt{n}}$，匹配的上界BFN 19和扩展其紧密性的结果，为全范围的时刻分析。我们的研究结果可能表明，JL降维方法应更多地考虑…
2022-03-15 cs.CG cs.DS cs.LG
Almost Optimal Unrestricted Fast Johnson-Lindenstrauss Transform
随机投影问题和稀疏重建问题既有许多共同点，又有各自的特点。令人惊讶的是，到目前为止，它们一直在平行发展，而且大多数情况下保持独立。在这里，我们采用新的工具，从概率在Banach空间中，成功地用于稀疏重建的背景下，推进一个开放的问题，在随机投影。特别是，我们推广和使用一个复杂的结果，由Rudelson和Vershynin稀疏重建使用达德利定理的边界高斯过程。我们的主要结果表明，任何一组$N = \exp(\tilde{O}(n))$实向量在$n$维空间可以线性映射到一个空间的维数$k=O(\log N\polylog(n))$，而（1）保持成对的距离之间的任何常数失真和（2）能够应用变换的时间$O(n\log n)$对每个向量。这改进了由Ailon和Liberty实现的最著名的$N = \exp(\tilde{O}(n^{1/2}))$以及由Ailon和Chazelle实现的$N = \exp(\tilde{O}(n^{1/3}))$。然而，在失真常数的依赖性被认为是次优的，并受到进一步的调查。对于恒定失真，这解决了这些作者提出的开放问题，直到$\polylog(n)$因子，同时大大简化了它们的构造。
2010-05-30 cs.DS
Sparser Johnson-Lindenstrauss Transforms
我们给出了两个不同的和简单的构造，通过线性映射是稀疏的$\ell_2$的降维：只有一个$O(\varepsilon)$分数的条目在我们的嵌入矩阵的每一列是非零的，以实现失真$1+\varepsilon$具有高概率，同时仍然实现渐近最优的行数。这些是第一个为所有参数值提供次常数稀疏性的构造，改进了Achlioptas（JCSS 2003）和Dasgupta，Kumar和Sarlós（STOC 2010）的先前工作。这样的分布可以用于加速使用$\ell_2$降维的应用。
2014-02-05 cs.CG cs.DM cs.DS
Adaptive Robustness of Hypergrid Johnson-Lindenstrauss
针对超网格在随机投影下可能出现任意收缩的问题，本文通过设计在线算法并证明计算硬度，揭示其统计-计算差距，并将结果应用于构造鲁棒性保持哈希函数。
2025-04-12 cs.CC cs.DS stat.CO
Approximate Euclidean lengths and distances beyond Johnson-Lindenstrauss
本文受 Hutch++ 算法启发，提出将 Johnson-Lindenstrauss 投影中 $ε^{-2}$ 依赖改进为 $ε^{-1}$ 的算法，用于估计矩阵行欧氏长度、数据点间距离及统计杠杆分数，并在理论上和数值实验上验证了其优越性。
2023-05-08 cs.DS
On Outer Bi-Lipschitz Extensions of Linear Johnson-Lindenstrauss Embeddings of Subsets of $\mathbb{R}^N$
该研究将有限集上的Johnson-Lindenstrauss引理推广为任意子集上的终端嵌入理论，证明了值域维度的最优性，且构造性证明可生成算法，在压缩最近邻分类中准确率优于标准线性嵌入。
2024-03-06 cs.DS cs.NA math.MG
A Quantized Johnson Lindenstrauss Lemma: The Finding of Buffon's Needle
1733年，法国布丰伯爵乔治-路易·勒克莱尔（Georges-Louis Leclerc）通过定义一个启发性问题奠定了几何概率论的基础：一根随机扔在由等间距平行条组成的地面上的针落在其中两条上的概率是多少？在这项工作中，我们证明了这个问题的解决方案，以及它对$N$维数的推广，使我们能够发现Johnson-Lindenstrauss（JL）引理的量化形式，即，一种是将线性降维过程与精确度的均匀量化$δ>0$相结合。特别地，给定$S$点的有限集合$\mathcal S \subset \mathbb R^N$和失真水平$ε>0$，只要$M > M_0 = O(ε^{-2} \log S)$，我们就可以（随机地）构建从$(\mathcal S, \ell_2)$到$(δ\mathbb Z^M, \ell_1)$的映射，该映射近似地保持$\mathcal S$的点之间的成对距离。有趣的是，与常见的JL引理相比，映射是准等距的，我们观察到嵌入距离上的加法和乘法失真。然而，当$M$增加时，这两个失真衰减为$O(\sqrt{(\log S)/M})$。此外，对于粗量化，即，对于高$δ$与设定半径相比，失真主要是加性的，而对于小$δ$，我们倾向于Lipschitz等距嵌入。最后，我们证明了$(\mathcal S, \ell_2)$到$(δ\mathbb Z^M, \ell_2)$的“近似”拟等距…
2015-07-22 cs.DS cs.IT math.IT
Dimensionality reduction with subgaussian matrices: a unified theory
我们提出了一个理论，欧几里德降维与亚高斯矩阵，统一了几个限制等距属性和约翰逊-林登施特劳斯型的结果，以前获得的特定数据集。特别是，我们恢复，并在几种情况下，提高结果集的稀疏和结构稀疏向量，低秩矩阵和张量，光滑流形。此外，我们建立了一个新的Johnson-Lindenstrauss嵌入的数据集的形式的Hilbert空间的子空间的无限联盟。
2014-02-17 cs.DS cs.IT math.IT
Sparse Random Matrices for Dimensionality Reduction
University of British Columbia（不列颠哥伦比亚大学）
本文探讨了稀疏随机矩阵在降维中的应用，比较了其与传统高斯矩阵的性能
2025-12-27 cs.DS
Differentially Private Ordinary Least Squares
University of Alberta（阿尔伯塔大学）；Harvard University（哈佛大学）
线性回归是机器学习中最流行的技术之一，然而，使用线性回归来实现其\emph{explanatory}功能而不是标签预测也很常见。普通最小二乘法（OLS）通常用于统计，以在存在其他（潜在相关）特征的情况下建立属性（例如性别）和标签（例如收入）之间的相关性。OLS假设一个随机生成数据的特定模型，并导出\emph{$t$-values} -表示每个实际值成为真实相关性的可能性。使用$t$ -值，OLS可以释放一个\emph{confidence interval}，它是实数上的一个区间，可能包含真实的相关性，当这个区间不与原点相交时，我们可以计算\emph{reject the null hypothesis}，因为真实的相关性很可能是非零的。我们的工作旨在实现类似的保证下的数据差分私人估计。首先，我们证明了对于分布良好的数据，高斯约翰逊-林登施特劳斯变换（JLT）给出了一个非常好的近似$t$ -值，其次，当JLT近似岭回归（线性回归与$l_2$ -正则化）我们推导出，在某些条件下，置信区间使用投影数据，最后，我们推导出，在不同的条件下，“Analyze Gauss”算法的置信区间（Dwork等人，STOC 2014）。
2017-08-21 cs.CR cs.DS cs.LG
Toward a unified theory of sparse dimensionality reduction in Euclidean space
令$Φ\in\mathbb{R}^{m\times n}$为稀疏Johnson-Lindenstrauss变换[KN 14]，每列具有$s$非零值。对于一个子集$T$的单位球，$\varepsilon\in(0,1/2)$给定的，我们研究设置$m,s$需要确保$$ \mathop{\mathbb{E}}_Φ\sup_{x\in T} \left|\|Φx\|_2^2 - 1 \right| < \varepsilon , $$，即，使$Φ$保持规范的每个$x\in T$同时和乘法高达$1+\varepsilon$。我们引入了一个新的复杂性参数，这取决于几何的$T$，并表明，它足以选择$s$和$m$，使这个参数是小的。我们的结果是Gordon定理的一个稀疏模拟，Gordon定理涉及的是具有i.i.d.的稠密$Φ$。高斯项。我们定性地统一了几个结果相关的约翰逊-林登施特劳斯引理，子空间嵌入，和基于傅立叶的限制等距。我们的工作也意味着新的结果，在使用稀疏约翰逊-林登施特劳斯变换在数值线性代数，经典和基于模型的压缩传感，流形学习，约束最小二乘问题，如拉索。
2015-08-25 cs.CG cs.DS cs.IT
