Efficient Dictionary Learning via Very Sparse Random Projections
University of Colorado at Boulder（科罗拉多大学博尔德分校）
对数据的压缩测量执行信号处理任务近年来受到极大关注。在本文中，我们通过展示可以使用更一般的随机投影（包括稀疏投影）来扩展先前关于压缩字典学习的工作。更确切地说，我们研究压缩K-means聚类作为压缩字典学习的一个特殊情况，并给出了理论保证其性能的一个非常一般的随机投影类。然后，我们提出了一个内存和计算效率的字典学习算法，专门设计用于分析大量的高维数据，学习字典从非常稀疏的随机投影。实验结果表明，我们的方法允许减少计算复杂度和内存/数据访问，与可控的损失的准确性。
2015-04-05 cs.LG stat.ML
MoVA: Learning Asymmetric Dual Projections for Modular Long Video-Text Alignment
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）
针对视频-文本对比学习中时间错位和语义不对称问题，提出MoVA框架，通过非对称双投影（文本侧自适应选择帧感知子空间，视频侧解缠文本相关视觉概念）实现灵活对齐，在多个任务上超越现有方法。
2026-07-02 cs.CV cs.LG
Rademacher Random Projections with Tensor Networks
DIRO（计算机科学与运筹学系）；Mila（米拉魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
随机投影（RP）最近成为机器学习社区中流行的技术，因为它们能够降低非常高维张量的维数。在[30]的工作之后，我们考虑依赖于张量训练（TT）分解的张量化随机投影，其中核心张量的每个元素都来自Rademacher分布。我们的理论结果表明，在[30]中以TT格式压缩形式表示的高斯低秩张量可以被具有从具有相同嵌入大小的Rademacher分布中提取的核心元素的TT张量取代。在合成数据上的实验表明，张量Rademacher RP可以优于[30]中研究的张量高斯RP。此外，我们从理论和实验上证明，矩阵积运算符（MPO）格式中的张量化RP不是约翰逊-林登施特劳斯变换（JLT），因此不是一个非常合适的随机投影映射
2022-02-03 cs.LG stat.ML
Comparison of Classification Methods for Very High-Dimensional Data in Sparse Random Projection Representation
Arcada UAS（阿卡达应用科学大学）
大数据趋势激发了特征驱动的学习任务，这是传统机器学习模型无法处理的。非结构化数据在转换为向量形式时会产生具有数百万列的非常大的二进制矩阵。然而，这样的数据通常是稀疏的，因此可以通过使用稀疏随机投影来管理。本文研究了适用于这类数据的高效非迭代和迭代法，并对两个具有代表性的具有数百万样本和特征的机器学习任务进行了结果评估。引入有效的Jaccard核作为稀疏随机投影的替代方案。研究结果表明，非迭代法可以找到更大，更准确的模型比迭代法在不同的应用场景。
2019-12-18 cs.LG stat.ML
Bellman Error Based Feature Generation using Random Projections on Sparse Spaces
McGill University（麦吉尔大学）
我们解决的问题自动生成功能的价值函数近似。贝尔曼误差基函数（BEBF）已被证明可以改善函数逼近的政策评估误差，具有类似于值迭代的收敛速度。我们提出了一个简单，快速和强大的算法的基础上随机投影生成BEBF稀疏特征空间。我们提供了一个有限的样本分析所提出的方法，并证明了投影对数的原始空间的维度是足以保证收缩的错误。实证结果证明了该方法的有效性。
2012-09-21 cs.LG stat.ML
Tensor Train Random Projection
ShanghaiTech University（上海科技大学）；Peng Cheng Laboratory（鹏城实验室）；Innovation Academy of Microsatellite of Chinese Academy of Sciences（中国科学院微小卫星创新研究院）
本文提出了一种新的张量训练随机投影（TTRP）方法用于降维，其中两两之间的距离可以近似保持。我们的TTRP系统地构建通过张量训练（TT）表示与TT-秩等于一。该方法基于张量训练格式，与现有方法相比，可以在保证精度的前提下，加快高维数据的降维过程，并减少存储开销.我们提供了一个理论分析的偏差和方差TTRP，这表明，这种方法是一个预期的等距投影有界的方差，我们表明，Rademacher分布是一个最佳的选择产生相应的TT-核心。用人工数据集和MNIST数据集进行了详细的数值实验，以证明TTRP的效率。
2021-10-20 cs.LG stat.ML
Enhanced Expressive Power and Fast Training of Neural Networks by Random Projections
随机投影能够有效地对具有非线性低维结构的数据集进行降维。一个众所周知的例子是随机矩阵将稀疏向量近似等距地嵌入到低维子空间中，称为压缩感知中的受限等距属性。在本文中，我们探索了随机投影在深度神经网络中的一些应用。当输入数据是稀疏向量或形成低维光滑流形时，我们提供了全连接神经网络的表达能力。我们证明了近似Lipschitz函数所需的神经元的数量与规定的精度取决于稀疏性或流形的维数和弱输入向量的维数。我们证明的关键是随机投影将稀疏向量集或低维光滑流形稳定地嵌入到低维子空间中。在此基础上，我们还提出了一些新的神经网络模型，其中每一层的输入首先通过随机投影到一个低维子空间上，然后应用标准的线性连接和非线性激活。以这种方式，神经网络中的参数数量显著减少，并且因此神经网络的训练可以在没有太多性能损失的情况下加速。
2019-01-10 cs.LG stat.ML
Johnson-Lindenstrauss Lemma, Linear and Nonlinear Random Projections, Random Fourier Features, and Random Kitchen Sinks: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于约翰逊-林登施特劳斯（JL）引理以及线性和非线性随机投影的教程和调查论文。首先从线性随机投影出发，利用JL引理证明了它的正确性。然后，引入了具有$\ell_1$范数和插值范数的稀疏随机投影。介绍了随机投影在超立方体上的两个主要应用：低秩矩阵逼近和随机投影的近似最近邻搜索。随机傅立叶特征（RFF）和随机厨房水槽（RKS）被解释为非线性随机投影的方法。本文还介绍了非线性随机投影的其他方法，包括极限学习机、随机加权神经网络和随机投影集成。
2021-08-09 cs.DS cs.LG math.PR
Is margin preserved after random projection?
The University of Adelaide（阿德莱德大学）；Australian Centre for Visual Technologies（澳大利亚视觉技术中心）
随机投影在许多机器学习算法中得到了应用。然而，随机投影后边缘是否被保留并不重要，也没有得到很好的研究。本文分析了随机投影后的间隔失真，给出了二元分类问题的间隔保持条件。我们还扩展了我们的分析，以保证金多类问题，并提供理论界的多类利润率的预测数据。
2012-06-18 cs.CV cs.LG stat.ML
Random Feature Maps via a Layered Random Projection (LaRP) Framework for Object Classification
University of Waterloo（滑铁卢大学）
通过线性特征映射的非线性核的近似最近获得了兴趣，由于它们在减少基于核的学习算法的训练和测试时间方面的应用。目前的随机投影方法通过将非线性特征空间嵌入到低维欧氏空间中来创建非线性核来避免维数灾难。我们引入了分层随机投影（LaRP）框架，在该框架中，我们分别对线性内核和非线性内核进行建模，以提高训练效率。使用MNIST手写数字数据库和COIL-100对象数据库对所提出的LaRP框架进行了评估，并显示出相对于其他最先进的随机投影方法在对象分类性能方面的显着改善。
2016-02-04 cs.CV cs.LG stat.ML
Binary Random Projections with Controllable Sparsity Patterns
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Minnesota（明尼苏达大学）
随机投影通常用于将高维向量投影到低维空间，同时近似保持它们的成对距离。它已成为各种数据处理任务的强大工具，并吸引了相当大的研究兴趣。部分是受神经科学的最新发现的启发，本文研究了具有可控稀疏模式的二元矩阵的随机投影问题。具体来说，我们提出了两个稀疏二进制投影模型，工作在一般的数据向量。与传统的密集投影矩阵的随机投影模型相比，我们提出的模型具有显着的计算优势，由于其稀疏结构，以及提高精度的经验评估。
2020-06-29 cs.IR cs.LG stat.ML
When Does Dense Retrieval Need Asymmetric Geometry? A Bias-Variance Theory of Shared and Dual Projections
The Hong Kong Polytechnic University（香港理工大学）
本文提出偏差-方差理论，阐明稠密检索中共享与双投影的适用条件，并设计CARS选择器，实验证明其能根据数据规模自适应选择最优几何，显著降低遗憾。
2026-09-29 cs.IR cs.LG
Tight Variational Bounds via Random Projections and I-Projections
Stanford University（斯坦福大学）
信息投影是变分推理算法的关键组成部分，用于通过将目标概率模型投影到一个易于处理的分布族上来近似目标概率模型。一般来说，无法保证所获得的近似值的质量。为了克服这个问题，我们引入了一类新的随机投影，以降低维数，从而降低原始模型的复杂性。在随机投影的精神下，投影保留（以高概率）目标分布的关键属性。我们表明，信息投影可以与随机投影相结合，以获得可证明的保证所获得的近似的质量，无论原始模型的复杂性。我们的经验表明，增加平均场与随机投影步骤显着提高配分函数和边际概率估计，无论是在合成和真实世界的数据。
2015-10-05 cs.LG
Random projections of random manifolds
Stanford University（斯坦福大学）；Space Exploration Technologies Co.（太空探索技术公司）
有趣的数据通常集中在高维环境空间中的低维光滑流形上。随机投影是一个简单的，强大的工具，用于此类数据的降维。以前的作品已经研究了有多少投影需要准确地保持这些流形的几何形状，给定其内在的维数，体积和曲率的界限。然而，这样的作品采用体积和曲率的定义，这是固有的难以计算。因此，这种理论不能很容易地通过数值模拟来测试，以了解已证明的边界的紧密性。相反，我们研究的光滑高斯随机流形的合奏随机投影中产生的典型失真。我们发现明确可计算的，近似的理论界限上的投影的数量需要准确地保持这些流形的几何形状。我们的界限，虽然近似，只能违反的概率是指数小的环境维度，因此，他们持有的情况下，实际利益的概率很高。此外，与以前的工作不同，我们测试我们的理论界限对实际的几何失真，通常发生随机光滑流形的随机投影的数值实验。我们发现我们的边界比以前的结果更紧了几个数量级。
2016-09-10 cs.LG q-bio.NC stat.ML
Free Random Projection for In-Context Reinforcement Learning
AIST and CoeFont Co., Ltd.（AIST和CoeFont公司）；Kyoto University（京都大学）；Institute of Science Tokyo（东京科学研究院）
本文提出自由随机投影，通过自由概率理论构建随机正交矩阵，自然产生层级结构，提升强化学习的泛化能力。
2026-04-14 cs.LG math.PR stat.ML
Sparse Matrix-based Random Projection for Classification
作为一种典型的降维技术，随机投影可以简单地用线性投影实现，同时以高概率保持高维数据的两两距离。考虑到该技术主要用于分类任务，本文从特征选择的角度研究了随机矩阵的构造，而不是传统的距离保持。这产生了一个有点令人惊讶的理论结果，即每列恰好有一个非零元素的稀疏随机矩阵，如果投影维数足够大（即，不比特征元素的数量小得多），则可以比其他更密集的矩阵呈现更好的特征选择性能;否则，它将执行与其他矩阵相同的操作。对于随机投影，这一理论结果意味着在复杂度和性能上都有相当大的改善，这一点在合成数据和真实数据上的分类实验中得到了广泛的证实。
2014-10-12 cs.CV cs.LG stat.ML
Tensorized Random Projections
Purdue University（普渡大学）；Université de Montréal（蒙特利尔大学）
我们介绍了一种新的随机投影技术，有效地降低非常高维张量的维数。基于高斯随机投影和Johnson-Lindenstrauss变换（JLT）的经典结果，我们提出了两种分别依赖于张量训练（TT）和CP分解格式的张量化随机投影映射。这两个映射提供了非常低的内存需求，并且当输入是以CP或TT格式给出的低阶张量时可以有效地应用。我们的理论分析表明，JLT中的稠密高斯矩阵可以用一个低秩张量来代替，该张量以压缩的形式隐式地表示，并带有随机因子，同时仍然近似地保持投影输入的欧几里得距离。此外，我们的研究结果表明，TT格式是实质上优于CP方面的随机投影的大小需要达到相同的失真率。在合成数据上的实验验证了理论分析的正确性，并证明了TT分解的优越性。
2020-03-11 cs.DS cs.LG stat.ML
Random Projections of Sparse Adjacency Matrices
University of California, Berkeley（加州大学伯克利分校）
本文分析邻接矩阵的随机投影方法，证明其能保留图功能并支持动态图表示，投影规模随顶点数线性增长，且具有类似约翰逊-林登斯特劳斯映射的距离保持性质。
2023-09-04 cs.DS cs.LG stat.ML
Sign Stable Random Projections for Large-Scale Learning
Rutgers University（罗格斯大学）
我们研究了“符号$α$ -稳定随机投影”（其中$0<α\leq 2$）在大规模机器学习应用（例如，分类、回归、聚类和近邻搜索）。经过符号稳定的随机投影处理后，处理后的数据的内积近似于依赖于$α$的值的各种类型的非线性核。因此，这种方法提供了一种有效的策略，近似非线性学习算法基本上在线性学习的成本。当$α=2$时，已知对应的非线性核是反余弦核。当为$α=1$时，该过程近似于arc-cos- $χ^2$内核（在一定条件下）。当为$α\rightarrow0+$时，它对应于相似核。从从业者的角度来看，符号$α$ -稳定随机投影的方法已经准备好用于大规模学习应用的测试，其中$α$可以简单地被视为一个调优参数。在文献中缺少的是一个广泛的实证研究，以显示符号稳定的随机预测，特别是$α\neq 2$或1的有效性。本文提供了这样一个研究的各种分类数据集。特别是，我们将肩并肩符号稳定随机投影与最近提出的“0位一致加权采样（CWS）”（Li 2015）进行了比较。
2015-04-27 cs.LG stat.CO stat.ML
Random Projection in Neural Episodic Control
Kanazawa University（金泽大学）
端到端的深度强化学习使智能体能够在几乎不需要人工预处理的情况下进行学习。然而，由于学习方法通常使用非线性函数逼近，因此仍然难以稳定有效地学习。为了提高样本效率而提出的神经情节控制（NEC）能够通过使用非参数方法估计动作值来稳定地学习。在本文中，我们提出了一个架构，将随机投影到NEC的训练更稳定。此外，我们通过Atari的五款游戏验证了我们的架构的有效性。其主要思想是通过用随机投影代替神经网络来减少必须学习的参数的数量，以便在保持学习端到端的同时降低维度。
2019-04-14 cs.AI cs.LG stat.ML
An Analysis of Random Projections in Cancelable Biometrics
SUNY Buffalo（纽约州立大学布法罗分校）；Samsung（三星）
随着对安全性的日益关注，对利用\emph{cancelable biometric}技术的高度安全的基于物理生物特征的认证系统的需求正在增加。由于可取消模板生成的问题涉及模板安全性和匹配性能之间的权衡，因此许多成功生成高质量可取消生物特征的最新算法都将随机投影作为其早期处理步骤之一。因此，本文提出了一个正式的分析，为什么随机预测是一个必不可少的步骤，在可取消的生物识别。通过正式定义数据集的\textit{Independent Subspace Structure}的概念，可以证明随机投影保留了从独立线性子空间的并集生成的数据向量的子空间结构。上的最小数量的随机向量所需的约束，这也是派生和所示的依赖于数据样本的数量，不仅在独立的子空间，但在不相交的子空间设置以及。在真实世界的人脸识别数据集的实证结果详细支持的理论分析。
2014-11-14 cs.CV cs.LG stat.ML
Finite Sample Analysis of LSTD with Random Projections and Eligibility Traces
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Science and Technology of China（中国科学技术大学）
线性函数逼近的策略评估是强化学习中的一个重要问题。当面对高维特征空间时，考虑到计算效率和近似的质量，这样的问题变得非常困难。我们提出了一种新的算法，LSTD（$λ$）-RP，它利用随机投影技术，并考虑资格跟踪来解决上述两个挑战。对LSTD（$λ$）-RP进行了理论分析，给出了估计误差、逼近误差和总泛化误差的有意义的上界。这些结果表明，LSTD（$λ$）-RP可以受益于随机投影和资格迹策略，并且LSTD（$λ$）-RP可以实现比现有的LSTD-RP和LSTD（$λ$）算法更好的性能。
2018-05-25 cs.AI cs.LG stat.ML
Random Projection Flows for Efficient Manifold Density Estimation
Department of Computer Science（计算机科学系）；Toronto Metropolitan University（多伦多 Metropolitan 大学）
本文提出了一种基于随机投影的高效密度估计方法，通过随机半正交矩阵实现快速且高效的单射流建模，为生成建模提供了新的理论基础和实用工具。
2026-07-31 cs.LG
K-nearest Neighbor Search by Random Projection Forests
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）；Dali University（大理大学）
k近邻搜索在数据挖掘、机器学习、统计学等许多应用领域有着广泛的应用。受集成方法的成功和基于树的方法的灵活性的启发，我们提出了随机投影森林（rpForests），用于kNN搜索。rpForests通过聚合来自随机投影树的集合的结果来查找kNN，每个树都是通过一系列精心选择的随机投影递归构建的。rpForests在kNN的缺失率和kNN距离的差异方面实现了显着的准确性。rpForests具有非常低的计算复杂度。rpForests的集成性质使其可以在多核或集群计算机上并行运行;运行时间预计与核心或机器的数量几乎成反比。我们给出了理论上的见解，通过显示的概率指数衰减，相邻点将被分离的合奏随机投影树时，合奏大小的增加。我们的理论可以用来细化树木生长过程中随机投影的选择，实验表明效果显著。
2018-12-31 cs.LG stat.CO stat.ME
Recovering the Optimal Solution by Dual Random Projection
Michigan State University（密歇根州立大学）；GE Global Research（通用电气全球研究中心）；NEC Laboratories America（NEC美国实验室）
随机投影在数据分类中有着广泛的应用。它将高维数据映射到一个低维的子空间，以减少在解决相关的优化问题的计算成本。虽然以前的研究集中在分析使用随机投影的分类性能，但在这项工作中，我们考虑了恢复问题，即，如何在高维空间中根据随机投影子空间学习到的解，精确地恢复原优化问题的最优解。我们提出了一个简单的算法，称为对偶随机投影，它使用的低维优化问题的对偶解决方案，以恢复原始问题的最佳解决方案。我们的理论分析表明，以高概率，该算法是能够准确地恢复到原始问题的最优解，提供的数据矩阵是低秩或可以很好地近似低秩矩阵。
2014-02-21 cs.LG
Random Projection and Its Applications
Tennessee Tech. University（田纳西理工大学）
随机投影是一个基础研究课题，它将一系列机器学习算法在类似的数学基础上连接起来。它用于通过有效地将数据点投影到较小的维度来降低数据集的维度，同时保持数据点之间的原始相对距离。本文对随机投影方法进行了介绍，阐述了随机投影方法的数学背景和基础，介绍了随机投影方法的应用现状，并对随机投影方法的研究前景进行了综述。
2017-10-09 cs.AI cs.LG
A Coupled Random Projection Approach to Large-Scale Canonical Polyadic Decomposition
Dalian University of Technology（大连理工大学）；Xiaomi Inc.（小米公司）
本文提出了一种计算大规模张量的典型多元分解的新算法。所提出的算法推广了随机投影（RAP）技术，这是经常用来计算大规模的分解，从一个单一的投影到多个，但耦合的随机投影（CoRAP）。所提出的CoRAP技术产生一组张量，这些张量一起允许耦合CPD（C-CPD），然后使用C-CPD算法来联合分解这些张量。最后将C-CPD结果进行融合，得到原始大规模数据张量的因子矩阵。随着更多的数据样本共同利用通过C-CPD，建议的CoRAP基于CPD是更准确的比RAP基于CPD的实验来说明所提出的方法的性能。
2021-05-10 cs.LG
Binary adaptive embeddings from order statistics of random projections
Politecnico di Torino（都灵理工大学）
我们使用一些最大的顺序统计的随机投影的参考信号，以构建一个二进制嵌入，适合于与这样的信号相关的信号。嵌入的特征在于从分析的角度来看，并显示出提供更好的性能，如在一个降维空间中的分类任务。
2017-01-30 cs.IR cs.LG
Kernel Conjugate Gradient Methods with Random Projections
Zhejiang University（浙江大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出并研究了可分Hilbert空间上最小二乘回归问题的随机投影核共轭梯度法。考虑到两种类型的随机投影产生的随机草图和Nyström子采样，我们证明了最佳的统计结果的变体的规范下的算法在一个合适的停止规则。特别是，我们的研究结果表明，如果投影尺寸是成比例的问题的有效尺寸，KCGM与随机草图可以推广到最佳，同时实现了计算优势。作为一个推论，我们得出的经典KCGM在良好的条件下的制度的情况下，目标函数可能不在假设空间中的最佳速率。
2022-07-15 cs.LG math.FA math.OC
Node Similarities under Random Projections: Limits and Pathological Cases
Microsoft Search（微软搜索）；Microsoft Research（微软研究院）
本文研究了随机投影应用于图矩阵行时对点积和余弦相似度的保持效果，发现点积嵌入在特定度分布下不可靠，而余弦相似度近似更精确。
2024-07-29 cs.DS cs.LG cs.SI
Tensor Random Projection for Low Memory Dimension Reduction
Cornell（康奈尔大学）；UW-Madison（威斯康星大学麦迪逊分校）；Caltech（加州理工学院）
随机投影减少了一组向量的维度，同时保留了结构信息，例如集合中向量之间的距离。本文提出了一种新的使用行积随机矩阵的随机投影，我们称之为张量随机投影（TRP）。它需要的内存比现有的降维映射少得多。TRP映射被形成为几个较小的随机投影的Khatri-Rao乘积，并且与包括稀疏映射在内的任何基本随机投影兼容，这使得能够以非常低的查询成本并且没有浮点运算来降低维度。我们还开发了一个减少方差的扩展。我们提供了一个理论分析的偏差和方差的TRP，和一个非渐近误差分析的TRP组成的两个较小的地图。合成和MNIST数据上的实验表明，我们的方法执行以及传统的方法，大大减少存储。
2021-04-30 cs.LG cs.NA math.NA
Very Sparse Stable Random Projections, Estimators and Tail Bounds for Stable Random Projections
本文将着重从三个不同的方面来改进目前的稳定随机投影方法。首先，我们提出{ \em非常稀疏稳定的随机投影}，以显着降低处理和存储成本，通过用对称$α$ -Pareto分布（概率为$β$，$0<β\leq1$）和原点点质量（概率为$1-β$）的混合物替换$α$ -稳定分布。这导致小$β$的显著$\frac{1}β$倍加速。其次，我们提供了一个改进的估计恢复原来的$l_α$规范从投影数据。标准估计量基于（绝对）样本中位数，而我们建议使用几何平均值。我们提出的几何平均估计是严格无偏的，并且更容易研究。而且几何平均估计更精确，特别是非渐近的。第三，我们提供了一个充分的答案，需要多少投影（样本），以达到一些预先指定的精度水平的基本问题。\cite{Proc:Indyk_FOCS00,Article:Indyk_TKDE03}未提供可用于实践的标准。我们提出的几何平均估计允许我们推导出尖尾界，它可以用显式给出的常数以指数形式表示。
2006-12-01 cs.DS cs.IT cs.LG
Random Projections of Mel-Spectrograms as Low-Level Features for Automatic Music Genre Classification
Federal University of Technology – Paraná（巴拉那联邦理工大学）；University of Campinas（坎皮纳斯大学）
在这项工作中，我们分析的随机投影梅尔声谱图作为低级别的功能，音乐流派分类。将该方法与手工特征、使用自动编码器学习的特征以及从迁移学习设置获得的特征进行比较。在五个不同的众所周知的公开数据集中进行的测试表明，随机投影导致的结果与学习的特征相当，并且在浅层学习场景中优于通过迁移学习获得的特征。随机投影不需要使用广泛的专业知识，同时，与其他基于投影的低级特征相比，需要更少的计算能力进行训练。因此，他们可以是一个可行的选择，用于浅层学习的基于内容的音乐流派分类。
2019-11-12 cs.IR cs.LG cs.SD
Randomized Projection Learning Method forDynamic Mode Decomposition
Clarkson University（克拉克森大学）
一种被称为动态模式分解（DMD）的数据驱动分析方法在投影空间上近似线性Koopman算子。根据Johnson-Lindenstrauss引理，我们将使用随机投影来估计约维空间中的DMD模式。在实际应用中，快照是在高维可观测空间中，DMD算子矩阵是巨大的。因此，用全谱计算DMD是不可行的，所以我们的主要计算目标是估计DMD算子在投影域中的本征值和本征向量。我们将推广目前的算法来估计一个投影DMD算子。我们专注于一个强大的和简单的随机投影算法，将减少计算和存储成本。虽然很明显，随机投影简化了详细的最佳投影的算法复杂性，但正如我们将展示的那样，通常结果仍然很好，并且通过完善的随机投影理论可以理解质量。我们将证明，模式可以计算为低成本的投影数据具有足够的维度。关键词：Koopman算子，动态模式分解（DMD），Johnson-Lindenstrauss引理，随机投影，数据驱动方法。
2021-09-22 cs.LG cs.NA math.NA
Outperforming Word2Vec on Analogy Tasks with Random Projections
我们提出了一个分布式矢量表示的基础上简化的BEAGLE系统，设计的背景下，西格玛认知架构。我们的方法不需要神经网络的基于梯度的训练，不需要像LSA那样的矩阵分解，也不需要像BEAGLE那样的卷积。所涉及的只是随机向量和它们的逐点乘积的和。尽管这种技术很简单，但它在类比问题上给出了最先进的结果，在大多数情况下优于Word2Vec。为了解释这一成功，我们将其解释为通过随机投影的降维。
2015-02-17 cs.CL cs.LG
Restricted Isometry Property of Gaussian Random Projection for Finite Set of Subspaces
Tsinghua University（清华大学）
降维在降低求解大规模问题的复杂性方面起着至关重要的作用。著名的Johnson-Lindenstrauss（JL）引理和限制性等距性质（RIP）允许在保持欧氏距离的情况下使用随机投影来降低维数，这导致了压缩感知和稀疏相关信号处理领域的繁荣。最近，稀疏模型在计算机视觉和机器学习中的成功应用越来越多地暗示，高维数据的底层结构看起来更像是子空间的联合（UoS）。本文在JL引理和压缩子空间聚类（CSC）这一新兴领域的启发下，首次研究了基于广义投影$F$-范数距离的高斯随机矩阵压缩子空间的RIP问题。我们从理论上证明，以高概率的亲和力或两个投影子空间之间的距离集中在他们的估计。当投影后的环境维数足够大时，两个子空间之间的亲和力和距离在随机投影后几乎保持不变。数值实验验证了理论工作。
2017-12-05 cs.IT cs.LG math.IT
