The Sharp Dimension Bound in the Johnson--Lindenstrauss Lemma
University of Illinois Chicago(伊利诺伊大学芝加哥分校)
本文证实了Larsen和Nelson关于Johnson–Lindenstrauss引理最优目标维数的猜想,证明该上界可通过线性映射达到,且匹配下界对非线性嵌入也成立。
2026-08-24 cs.CG cs.DS math.MG
Johnson-Lindenstrauss embeddings for noisy vectors -- taking advantage of the noise
本文研究了亚采样和散列作为工具的近似欧氏范数保持嵌入(未知)加性高斯噪声的向量的理论性质。这种嵌入有时被称为约翰逊-林登施特劳斯嵌入,因为它们的著名引理。以前的工作表明,作为稀疏嵌入,子采样和哈希的成功密切依赖于要映射的向量的$l_\infty$与$l_2$的比率。本文表明,噪声的存在消除了这种约束,在高维,换句话说,稀疏嵌入,如子采样和散列具有可比的嵌入维数密集嵌入有类似的近似范数保持降维属性。关键是,噪声应该被视为一种待开发的信息,而不仅仅是要去除的东西。理论界的子采样和散列恢复的近似范数的高维向量在噪声的存在下,推导出,与数值例子显示更好的性能,在噪声的存在下实现。
2022-09-01 cs.DS cs.LG cs.NA
Johnson-Lindenstrauss Compression with Neuroscience-Based Constraints
由稀疏随机突触连接实现的Johnson-Lindenstrauss(JL)矩阵被认为是大脑中会聚通路如何压缩信息的主要候选者。然而,到目前为止,没有完整的数学支持,这样的实现给定的限制,真正的神经组织。神经元是兴奋性或抑制性的事实意味着每个如此可实现的JL矩阵必须是符号一致的(即,单个列中的所有条目必须全部为非负或全部为非正),并且任何给定神经元连接到其它神经元的相对小的子集的事实意味着JL矩阵最好是稀疏的。我们构造稀疏的符号一致的JL矩阵,并证明我们的构造是本质上最优的。我们的工作回答了一个数学问题,这个问题是由早期的工作引发的,并且对于证明大脑中JL压缩的存在是必要的,并且强调如果神经元要执行有效的,相关性保持的压缩,抑制是至关重要的。
2014-11-19 cs.DS math.PR math.ST
Simple, unified analysis of Johnson-Lindenstrauss with applications
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出Johnson-Lindenstrauss引理的简化统一分析,统一多种构造并首次严格证明球形构造,扩展Hanson-Wright不等式至高维,去除独立性假设,增强理论并拓展实际应用。
2024-07-19 cs.DS cs.LG math.PR
Sparser Johnson-Lindenstrauss Transforms
我们给出了两个不同的和简单的构造,通过线性映射是稀疏的$\ell_2$的降维:只有一个$O(\varepsilon)$分数的条目在我们的嵌入矩阵的每一列是非零的,以实现失真$1+\varepsilon$具有高概率,同时仍然实现渐近最优的行数。这些是第一个为所有参数值提供次常数稀疏性的构造,改进了Achlioptas(JCSS 2003)和Dasgupta,Kumar和Sarlós(STOC 2010)的先前工作。这样的分布可以用于加速使用$\ell_2$降维的应用。
2014-02-05 cs.CG cs.DM cs.DS
New and improved Johnson-Lindenstrauss embeddings via the Restricted Isometry Property
Hausdorff Center for Mathematics, Universität Bonn(波恩大学豪斯多夫数学中心);Courant Institute of Mathematical Science, New York University(纽约大学柯朗数学科学研究所)
本文证明,通过随机化具有受限等距性质的矩阵的列符号,能以高概率将任意固定点集嵌入到低维空间,且范数失真受控,从而在N的对数因子内实现最优的Johnson-Lindenstrauss嵌入。
2011-02-11 cs.IT cs.NA math.IT
A Quantized Johnson Lindenstrauss Lemma: The Finding of Buffon's Needle
1733年,法国布丰伯爵乔治-路易·勒克莱尔(Georges-Louis Leclerc)通过定义一个启发性问题奠定了几何概率论的基础:一根随机扔在由等间距平行条组成的地面上的针落在其中两条上的概率是多少?在这项工作中,我们证明了这个问题的解决方案,以及它对$N$维数的推广,使我们能够发现Johnson-Lindenstrauss(JL)引理的量化形式,即,一种是将线性降维过程与精确度的均匀量化$δ>0$相结合。特别地,给定$S$点的有限集合$\mathcal S \subset \mathbb R^N$和失真水平$ε>0$,只要$M > M_0 = O(ε^{-2} \log S)$,我们就可以(随机地)构建从$(\mathcal S, \ell_2)$到$(δ\mathbb Z^M, \ell_1)$的映射,该映射近似地保持$\mathcal S$的点之间的成对距离。有趣的是,与常见的JL引理相比,映射是准等距的,我们观察到嵌入距离上的加法和乘法失真。然而,当$M$增加时,这两个失真衰减为$O(\sqrt{(\log S)/M})$。此外,对于粗量化,即,对于高$δ$与设定半径相比,失真主要是加性的,而对于小$δ$,我们倾向于Lipschitz等距嵌入。最后,我们证明了$(\mathcal S, \ell_2)$到$(δ\mathbb Z^M, \ell_2)$的“近似”拟等距…
2015-07-22 cs.DS cs.IT math.IT
A class of sparse Johnson--Lindenstrauss transforms and analysis of their extreme singular values
本文提出一类稀疏 JL 变换(每列期望非零元素数为 s 的 s-哈希类矩阵),证明其为 JLTs,并利用次高斯性质和几何泛函分析估计极端奇异值,进而得到其极限行为及 GOE Tracy--Widom 分布,对无导数优化中子空间维度选择有重要意义。
2024-11-07 math.PR math.ST stat.TH
Bulk Johnson-Lindenstrauss Lemmas
本文研究允许少量成对距离超差时的降维维数,利用点差矩阵子集的稳定秩建立批量 Johnson-Lindenstrauss 界,并给出次高斯随机映射与独立同分布数据下的改进。
2023-07-15 cs.CG cs.IT math.IT
Toward a unified theory of sparse dimensionality reduction in Euclidean space
令$Φ\in\mathbb{R}^{m\times n}$为稀疏Johnson-Lindenstrauss变换[KN 14],每列具有$s$非零值。对于一个子集$T$的单位球,$\varepsilon\in(0,1/2)$给定的,我们研究设置$m,s$需要确保$$ \mathop{\mathbb{E}}_Φ\sup_{x\in T} \left|\|Φx\|_2^2 - 1 \right| < \varepsilon , $$,即,使$Φ$保持规范的每个$x\in T$同时和乘法高达$1+\varepsilon$。我们引入了一个新的复杂性参数,这取决于几何的$T$,并表明,它足以选择$s$和$m$,使这个参数是小的。我们的结果是Gordon定理的一个稀疏模拟,Gordon定理涉及的是具有i.i.d.的稠密$Φ$。高斯项。我们定性地统一了几个结果相关的约翰逊-林登施特劳斯引理,子空间嵌入,和基于傅立叶的限制等距。我们的工作也意味着新的结果,在使用稀疏约翰逊-林登施特劳斯变换在数值线性代数,经典和基于模型的压缩传感,流形学习,约束最小二乘问题,如拉索。
2015-08-25 cs.CG cs.DS cs.IT
Robustness Properties of Dimensionality Reduction with Gaussian Random Matrices
University of Alberta(阿尔伯塔大学);Academy of Mathematics and System Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
研究高斯随机矩阵在任意行丢失情况下的鲁棒性,确定最优擦除比例与规范失真率的关系,建立Johnson-Lindenstrauss引理和受限等距性在腐蚀下的鲁棒性,并获得规范失真率的最优上下界估计。
2015-01-08 cs.IT cs.NA math.FA
Random projection of Linear and Semidefinite problem with linear inequalities
约翰逊-林登施特劳斯引理指出,存在线性映射,将向量空间的一组点投影到一个低得多的维度的空间中,使得这些点之间的欧几里得距离近似保持。这个引理以前已经被用来证明,我们可以随机聚合,使用一个随机矩阵,其条目是从零均值亚高斯分布,线性规划(LP)的等式约束,同时保持近似的问题的值。在本文中,我们将这些结果的不等式的情况下,通过引入一个随机矩阵的非负条目,允许随机聚合的LP的不等式约束,同时保持约值的问题。通过对偶性,我们提出的方法允许减少约束的数量和问题的维数,同时获得最优值的一些理论保证。我们还将展示我们的结果扩展到某些半定规划实例。
2023-01-17 math.OC math.PR
The Perfect Marriage and Much More: Combining Dimension Reduction, Distance Measures and Covariance
SolBridge International School of Business(SolBridge国际商学院);City University of Hong Kong(香港城市大学)
本文提出了一种基于Bhattacharyya距离和Johnson-Lindenstrauss引理结合的新方法,用于比较不同分布的数据集,并通过扩展Stein引理展示了协方差与距离度量之间的关系,应用于资产定价及其他领域。
2019-07-12 econ.GN math.PR math.ST