Comparison of Classification Methods for Very High-Dimensional Data in Sparse Random Projection Representation
Arcada UAS（阿卡达应用科学大学）
大数据趋势激发了特征驱动的学习任务，这是传统机器学习模型无法处理的。非结构化数据在转换为向量形式时会产生具有数百万列的非常大的二进制矩阵。然而，这样的数据通常是稀疏的，因此可以通过使用稀疏随机投影来管理。本文研究了适用于这类数据的高效非迭代和迭代法，并对两个具有代表性的具有数百万样本和特征的机器学习任务进行了结果评估。引入有效的Jaccard核作为稀疏随机投影的替代方案。研究结果表明，非迭代法可以找到更大，更准确的模型比迭代法在不同的应用场景。
2019-12-18 cs.LG stat.ML
Bellman Error Based Feature Generation using Random Projections on Sparse Spaces
McGill University（麦吉尔大学）
我们解决的问题自动生成功能的价值函数近似。贝尔曼误差基函数（BEBF）已被证明可以改善函数逼近的政策评估误差，具有类似于值迭代的收敛速度。我们提出了一个简单，快速和强大的算法的基础上随机投影生成BEBF稀疏特征空间。我们提供了一个有限的样本分析所提出的方法，并证明了投影对数的原始空间的维度是足以保证收缩的错误。实证结果证明了该方法的有效性。
2012-09-21 cs.LG stat.ML
Tensor Train Random Projection
ShanghaiTech University（上海科技大学）；Peng Cheng Laboratory（鹏城实验室）；Innovation Academy of Microsatellite of Chinese Academy of Sciences（中国科学院微小卫星创新研究院）
本文提出了一种新的张量训练随机投影（TTRP）方法用于降维，其中两两之间的距离可以近似保持。我们的TTRP系统地构建通过张量训练（TT）表示与TT-秩等于一。该方法基于张量训练格式，与现有方法相比，可以在保证精度的前提下，加快高维数据的降维过程，并减少存储开销.我们提供了一个理论分析的偏差和方差TTRP，这表明，这种方法是一个预期的等距投影有界的方差，我们表明，Rademacher分布是一个最佳的选择产生相应的TT-核心。用人工数据集和MNIST数据集进行了详细的数值实验，以证明TTRP的效率。
2021-10-20 cs.LG stat.ML
Is margin preserved after random projection?
The University of Adelaide（阿德莱德大学）；Australian Centre for Visual Technologies（澳大利亚视觉技术中心）
随机投影在许多机器学习算法中得到了应用。然而，随机投影后边缘是否被保留并不重要，也没有得到很好的研究。本文分析了随机投影后的间隔失真，给出了二元分类问题的间隔保持条件。我们还扩展了我们的分析，以保证金多类问题，并提供理论界的多类利润率的预测数据。
2012-06-18 cs.CV cs.LG stat.ML
Enhanced Expressive Power and Fast Training of Neural Networks by Random Projections
随机投影能够有效地对具有非线性低维结构的数据集进行降维。一个众所周知的例子是随机矩阵将稀疏向量近似等距地嵌入到低维子空间中，称为压缩感知中的受限等距属性。在本文中，我们探索了随机投影在深度神经网络中的一些应用。当输入数据是稀疏向量或形成低维光滑流形时，我们提供了全连接神经网络的表达能力。我们证明了近似Lipschitz函数所需的神经元的数量与规定的精度取决于稀疏性或流形的维数和弱输入向量的维数。我们证明的关键是随机投影将稀疏向量集或低维光滑流形稳定地嵌入到低维子空间中。在此基础上，我们还提出了一些新的神经网络模型，其中每一层的输入首先通过随机投影到一个低维子空间上，然后应用标准的线性连接和非线性激活。以这种方式，神经网络中的参数数量显著减少，并且因此神经网络的训练可以在没有太多性能损失的情况下加速。
2019-01-10 cs.LG stat.ML
A Random Projection k Nearest Neighbours Ensemble for Classification via Extended Neighbourhood Rule
Abdul Wali Khan University（阿卜杜勒·瓦利·汗大学）；King Abdul Aziz University（阿卜杜勒·阿齐兹国王大学）
基于k近邻（kNN）的集成组合了大量的基础学习器，每个学习器都是在从给定的训练数据中获取的样本上构建的。典型的基于kNN的集成确定训练数据中的k个最接近的观测值，该训练数据通过球形区域被限制到测试样本点以预测其类别。本文提出了一种新的随机投影扩展邻域规则（RPExNRule）集成，其中从给定的训练数据的引导样本被随机投影到较低的维度，以增加基础模型中的随机性并保留特征信息。它使用扩展的邻域规则（ExNRule）来拟合kNN作为随机投影自举样本的基础学习器。
2023-03-21 cs.LG stat.ML
Random Feature Maps via a Layered Random Projection (LaRP) Framework for Object Classification
University of Waterloo（滑铁卢大学）
通过线性特征映射的非线性核的近似最近获得了兴趣，由于它们在减少基于核的学习算法的训练和测试时间方面的应用。目前的随机投影方法通过将非线性特征空间嵌入到低维欧氏空间中来创建非线性核来避免维数灾难。我们引入了分层随机投影（LaRP）框架，在该框架中，我们分别对线性内核和非线性内核进行建模，以提高训练效率。使用MNIST手写数字数据库和COIL-100对象数据库对所提出的LaRP框架进行了评估，并显示出相对于其他最先进的随机投影方法在对象分类性能方面的显着改善。
2016-02-04 cs.CV cs.LG stat.ML
Binary Random Projections with Controllable Sparsity Patterns
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Minnesota（明尼苏达大学）
随机投影通常用于将高维向量投影到低维空间，同时近似保持它们的成对距离。它已成为各种数据处理任务的强大工具，并吸引了相当大的研究兴趣。部分是受神经科学的最新发现的启发，本文研究了具有可控稀疏模式的二元矩阵的随机投影问题。具体来说，我们提出了两个稀疏二进制投影模型，工作在一般的数据向量。与传统的密集投影矩阵的随机投影模型相比，我们提出的模型具有显着的计算优势，由于其稀疏结构，以及提高精度的经验评估。
2020-06-29 cs.IR cs.LG stat.ML
Deep Learning Multidimensional Projections
简化方法，也称为投影，经常用于在机器学习、数据科学和信息可视化中探索多维数据。其中，t-SNE及其变体因其在视觉上分离不同数据集群的能力而变得非常受欢迎。然而，这样的方法对于大型数据集来说在计算上是昂贵的，遭受稳定性问题，并且不能直接处理样本外数据。我们提出了一个学习的方法来构建这样的预测。我们基于来自给定数据宇宙的样本集合及其相应的投影来训练深度神经网络，然后使用该网络来推断来自相同或相似宇宙的数据投影。我们的方法生成的投影具有与学习方法相似的特征，在计算上比SNE类方法快两到三个数量级，没有复杂的用户参数设置，以稳定的方式处理样本外数据，并且可以用于学习任何投影技术。我们证明了我们的建议，在几个现实世界的高维数据集从机器学习。
2019-02-21 cs.LG stat.ML
Fast Approximation of the Sliced-Wasserstein Distance Using Concentration of Random Projections
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院）；ESSEC Business School（ESSEC商学院）
切片-瓦瑟斯坦距离（SW）越来越多地用于机器学习应用中作为瓦瑟斯坦距离的替代，并且提供显著的计算和统计益处。由于它被定义为随机投影上的期望，因此SW通常通过蒙特卡罗近似。我们采用了一种新的观点来近似SW，利用测量集中现象：在温和的假设下，一个高维随机向量的一维投影近似高斯。基于这一观察，我们开发了一个简单的确定性近似SW。我们的方法不需要采样的随机投影的数量，因此是准确和易于使用相比，通常的蒙特卡罗近似。我们推导出我们的方法的非渐近保证，并表明，近似误差为零，随着维数的增加，在弱依赖条件下的数据分布。我们验证了我们的理论研究结果的合成数据集，并说明了生成建模问题的建议近似。
2022-01-04 cs.LG stat.ML
Tight Variational Bounds via Random Projections and I-Projections
Stanford University（斯坦福大学）
信息投影是变分推理算法的关键组成部分，用于通过将目标概率模型投影到一个易于处理的分布族上来近似目标概率模型。一般来说，无法保证所获得的近似值的质量。为了克服这个问题，我们引入了一类新的随机投影，以降低维数，从而降低原始模型的复杂性。在随机投影的精神下，投影保留（以高概率）目标分布的关键属性。我们表明，信息投影可以与随机投影相结合，以获得可证明的保证所获得的近似的质量，无论原始模型的复杂性。我们的经验表明，增加平均场与随机投影步骤显着提高配分函数和边际概率估计，无论是在合成和真实世界的数据。
2015-10-05 cs.LG
FROCC: Fast Random projection-based One-Class Classification
我们提出了快速随机投影为基础的一类分类（FROCC），一类分类的一个非常有效的方法。我们的方法是基于一个简单的思想，通过将训练数据投影到一组随机的单位向量上，这些单位向量是从单位球中均匀和独立地选择的，并且基于数据的分离来约束区域。FROCC可以用内核自然地扩展。从理论上证明了FROCC算法的稳定性和低偏置性。FROCC的ROC提高了3.1个百分点，在一系列最先进的基准测试中，包括用于OCC任务的SVM和基于深度学习的模型，训练和测试时间加快了1.2- 67.8倍。
2021-06-30 cs.LG stat.ML
Topic Discovery through Data Dependent and Random Projections
Boston University（波士顿大学）
我们提出了基于跨文档词频模式几何的主题建模算法。这种观点在所谓的可分性条件下具有重要意义。这是每个主题所特有的新颖词存在的条件。我们提出了一套高效的算法，基于数据依赖和随机预测的词频模式，以确定新的单词和相关的主题。我们还将讨论基于主题文档矩阵先验密度的两个温和假设的数据依赖投影方法的统计保证。我们在这里的关键见解是，沿任何方向投影的跨文档频率模式的最大值和最小值与新单词相关联。虽然我们的主题恢复的样本复杂度范围与最新技术相似，但我们的随机投影方案的计算复杂度与文档数量和每个文档的字数呈线性关系。我们提出了几个合成和真实世界的数据集上的实验，以证明我们的计划的定性和定量的优点。
2013-03-18 cs.LG stat.ML
Random projections of random manifolds
Stanford University（斯坦福大学）；Space Exploration Technologies Co.（太空探索技术公司）
有趣的数据通常集中在高维环境空间中的低维光滑流形上。随机投影是一个简单的，强大的工具，用于此类数据的降维。以前的作品已经研究了有多少投影需要准确地保持这些流形的几何形状，给定其内在的维数，体积和曲率的界限。然而，这样的作品采用体积和曲率的定义，这是固有的难以计算。因此，这种理论不能很容易地通过数值模拟来测试，以了解已证明的边界的紧密性。相反，我们研究的光滑高斯随机流形的合奏随机投影中产生的典型失真。我们发现明确可计算的，近似的理论界限上的投影的数量需要准确地保持这些流形的几何形状。我们的界限，虽然近似，只能违反的概率是指数小的环境维度，因此，他们持有的情况下，实际利益的概率很高。此外，与以前的工作不同，我们测试我们的理论界限对实际的几何失真，通常发生随机光滑流形的随机投影的数值实验。我们发现我们的边界比以前的结果更紧了几个数量级。
2016-09-10 cs.LG q-bio.NC stat.ML
Free Random Projection for In-Context Reinforcement Learning
AIST and CoeFont Co., Ltd.（AIST和CoeFont公司）；Kyoto University（京都大学）；Institute of Science Tokyo（东京科学研究院）
本文提出自由随机投影，通过自由概率理论构建随机正交矩阵，自然产生层级结构，提升强化学习的泛化能力。
2026-04-14 cs.LG math.PR stat.ML
Sparse Matrix-based Random Projection for Classification
作为一种典型的降维技术，随机投影可以简单地用线性投影实现，同时以高概率保持高维数据的两两距离。考虑到该技术主要用于分类任务，本文从特征选择的角度研究了随机矩阵的构造，而不是传统的距离保持。这产生了一个有点令人惊讶的理论结果，即每列恰好有一个非零元素的稀疏随机矩阵，如果投影维数足够大（即，不比特征元素的数量小得多），则可以比其他更密集的矩阵呈现更好的特征选择性能;否则，它将执行与其他矩阵相同的操作。对于随机投影，这一理论结果意味着在复杂度和性能上都有相当大的改善，这一点在合成数据和真实数据上的分类实验中得到了广泛的证实。
2014-10-12 cs.CV cs.LG stat.ML
Tensorized Random Projections
Purdue University（普渡大学）；Université de Montréal（蒙特利尔大学）
我们介绍了一种新的随机投影技术，有效地降低非常高维张量的维数。基于高斯随机投影和Johnson-Lindenstrauss变换（JLT）的经典结果，我们提出了两种分别依赖于张量训练（TT）和CP分解格式的张量化随机投影映射。这两个映射提供了非常低的内存需求，并且当输入是以CP或TT格式给出的低阶张量时可以有效地应用。我们的理论分析表明，JLT中的稠密高斯矩阵可以用一个低秩张量来代替，该张量以压缩的形式隐式地表示，并带有随机因子，同时仍然近似地保持投影输入的欧几里得距离。此外，我们的研究结果表明，TT格式是实质上优于CP方面的随机投影的大小需要达到相同的失真率。在合成数据上的实验验证了理论分析的正确性，并证明了TT分解的优越性。
2020-03-11 cs.DS cs.LG stat.ML
Random Projections of Sparse Adjacency Matrices
University of California, Berkeley（加州大学伯克利分校）
本文分析邻接矩阵的随机投影方法，证明其能保留图功能并支持动态图表示，投影规模随顶点数线性增长，且具有类似约翰逊-林登斯特劳斯映射的距离保持性质。
2023-09-04 cs.DS cs.LG stat.ML
Sign Stable Random Projections for Large-Scale Learning
Rutgers University（罗格斯大学）
我们研究了“符号$α$ -稳定随机投影”（其中$0<α\leq 2$）在大规模机器学习应用（例如，分类、回归、聚类和近邻搜索）。经过符号稳定的随机投影处理后，处理后的数据的内积近似于依赖于$α$的值的各种类型的非线性核。因此，这种方法提供了一种有效的策略，近似非线性学习算法基本上在线性学习的成本。当$α=2$时，已知对应的非线性核是反余弦核。当为$α=1$时，该过程近似于arc-cos- $χ^2$内核（在一定条件下）。当为$α\rightarrow0+$时，它对应于相似核。从从业者的角度来看，符号$α$ -稳定随机投影的方法已经准备好用于大规模学习应用的测试，其中$α$可以简单地被视为一个调优参数。在文献中缺少的是一个广泛的实证研究，以显示符号稳定的随机预测，特别是$α\neq 2$或1的有效性。本文提供了这样一个研究的各种分类数据集。特别是，我们将肩并肩符号稳定随机投影与最近提出的“0位一致加权采样（CWS）”（Li 2015）进行了比较。
2015-04-27 cs.LG stat.CO stat.ML
Deep Learning Sparse Ternary Projections for Compressed Sensing of Images
Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（比利时微电子研究中心）
压缩感知（CS）是一种采样理论，它允许使用由适当的投影矩阵实现的感知机制，从不完整数量的测量中重建稀疏（或可压缩）信号。CS理论基于随机高斯投影矩阵，其以高概率满足恢复保证;然而，稀疏三元{0，-1，+1}投影更适合于硬件实现。在本文中，我们提出了一种深度学习方法来获得非常稀疏的压缩感知三元投影。我们的深度学习架构以端到端的方式联合学习一对投影矩阵和重建算子。真实图像上的实验结果表明，所提出的方法的有效性相比，国家的最先进的方法，具有显着的优势，在复杂度。
2017-08-28 cs.CV cs.LG stat.ML
Random Projection in Neural Episodic Control
Kanazawa University（金泽大学）
端到端的深度强化学习使智能体能够在几乎不需要人工预处理的情况下进行学习。然而，由于学习方法通常使用非线性函数逼近，因此仍然难以稳定有效地学习。为了提高样本效率而提出的神经情节控制（NEC）能够通过使用非参数方法估计动作值来稳定地学习。在本文中，我们提出了一个架构，将随机投影到NEC的训练更稳定。此外，我们通过Atari的五款游戏验证了我们的架构的有效性。其主要思想是通过用随机投影代替神经网络来减少必须学习的参数的数量，以便在保持学习端到端的同时降低维度。
2019-04-14 cs.AI cs.LG stat.ML
An Analysis of Random Projections in Cancelable Biometrics
SUNY Buffalo（纽约州立大学布法罗分校）；Samsung（三星）
随着对安全性的日益关注，对利用\emph{cancelable biometric}技术的高度安全的基于物理生物特征的认证系统的需求正在增加。由于可取消模板生成的问题涉及模板安全性和匹配性能之间的权衡，因此许多成功生成高质量可取消生物特征的最新算法都将随机投影作为其早期处理步骤之一。因此，本文提出了一个正式的分析，为什么随机预测是一个必不可少的步骤，在可取消的生物识别。通过正式定义数据集的\textit{Independent Subspace Structure}的概念，可以证明随机投影保留了从独立线性子空间的并集生成的数据向量的子空间结构。上的最小数量的随机向量所需的约束，这也是派生和所示的依赖于数据样本的数量，不仅在独立的子空间，但在不相交的子空间设置以及。在真实世界的人脸识别数据集的实证结果详细支持的理论分析。
2014-11-14 cs.CV cs.LG stat.ML
Finite Sample Analysis of LSTD with Random Projections and Eligibility Traces
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Science and Technology of China（中国科学技术大学）
线性函数逼近的策略评估是强化学习中的一个重要问题。当面对高维特征空间时，考虑到计算效率和近似的质量，这样的问题变得非常困难。我们提出了一种新的算法，LSTD（$λ$）-RP，它利用随机投影技术，并考虑资格跟踪来解决上述两个挑战。对LSTD（$λ$）-RP进行了理论分析，给出了估计误差、逼近误差和总泛化误差的有意义的上界。这些结果表明，LSTD（$λ$）-RP可以受益于随机投影和资格迹策略，并且LSTD（$λ$）-RP可以实现比现有的LSTD-RP和LSTD（$λ$）算法更好的性能。
2018-05-25 cs.AI cs.LG stat.ML
Random Projection Flows for Efficient Manifold Density Estimation
Department of Computer Science（计算机科学系）；Toronto Metropolitan University（多伦多 Metropolitan 大学）
本文提出了一种基于随机投影的高效密度估计方法，通过随机半正交矩阵实现快速且高效的单射流建模，为生成建模提供了新的理论基础和实用工具。
2026-07-31 cs.LG
K-nearest Neighbor Search by Random Projection Forests
University of Massachusetts Dartmouth（马萨诸塞大学达特茅斯分校）；Dali University（大理大学）
k近邻搜索在数据挖掘、机器学习、统计学等许多应用领域有着广泛的应用。受集成方法的成功和基于树的方法的灵活性的启发，我们提出了随机投影森林（rpForests），用于kNN搜索。rpForests通过聚合来自随机投影树的集合的结果来查找kNN，每个树都是通过一系列精心选择的随机投影递归构建的。rpForests在kNN的缺失率和kNN距离的差异方面实现了显着的准确性。rpForests具有非常低的计算复杂度。rpForests的集成性质使其可以在多核或集群计算机上并行运行;运行时间预计与核心或机器的数量几乎成反比。我们给出了理论上的见解，通过显示的概率指数衰减，相邻点将被分离的合奏随机投影树时，合奏大小的增加。我们的理论可以用来细化树木生长过程中随机投影的选择，实验表明效果显著。
2018-12-31 cs.LG stat.CO stat.ME
Recovering the Optimal Solution by Dual Random Projection
Michigan State University（密歇根州立大学）；GE Global Research（通用电气全球研究中心）；NEC Laboratories America（NEC美国实验室）
随机投影在数据分类中有着广泛的应用。它将高维数据映射到一个低维的子空间，以减少在解决相关的优化问题的计算成本。虽然以前的研究集中在分析使用随机投影的分类性能，但在这项工作中，我们考虑了恢复问题，即，如何在高维空间中根据随机投影子空间学习到的解，精确地恢复原优化问题的最优解。我们提出了一个简单的算法，称为对偶随机投影，它使用的低维优化问题的对偶解决方案，以恢复原始问题的最佳解决方案。我们的理论分析表明，以高概率，该算法是能够准确地恢复到原始问题的最优解，提供的数据矩阵是低秩或可以很好地近似低秩矩阵。
2014-02-21 cs.LG
Random Projection and Its Applications
Tennessee Tech. University（田纳西理工大学）
随机投影是一个基础研究课题，它将一系列机器学习算法在类似的数学基础上连接起来。它用于通过有效地将数据点投影到较小的维度来降低数据集的维度，同时保持数据点之间的原始相对距离。本文对随机投影方法进行了介绍，阐述了随机投影方法的数学背景和基础，介绍了随机投影方法的应用现状，并对随机投影方法的研究前景进行了综述。
2017-10-09 cs.AI cs.LG
Random Multi-Constraint Projection: Stochastic Gradient Methods for Convex Optimization with Many Constraints
Princeton University（普林斯顿大学）；Tsinghua University（清华大学）
考虑受大量约束的凸优化问题。我们专注于随机问题，其中的目标采取期望值的形式和可行集是大量的凸集的交集。我们提出了一类算法，同时执行随机梯度下降和随机可行性更新。在每次迭代中，算法将一些投影点采样到所有约束的随机选择的小子集上。三种可行性更新方案被认为是：平均在随机投影点，投影到最远的样本，投影到一个特殊的多面体集构造的基础上样本点。我们证明了这些算法的几乎处处收敛性，并分别分析了迭代的可行性误差和最优性误差。我们提供了新的收敛速度基准随机一阶优化与许多约束。速率分析和数值实验表明，该算法使用多面体集投影方案是已知算法中最有效的一个。
2015-11-12 cs.LG math.OC stat.ML
Differential Privacy with Random Projections and Sign Random Projections
LinkedIn Ads（领英广告）
该研究基于随机投影与符号随机投影开发系列差分隐私算法，提出平滑翻转概率技术优化位翻转策略，构建的DP-SignOPORP、iDP-SignRP在不同隐私设定下均实现了效用提升。
2023-06-13 cs.CR cs.LG stat.ML
Binary adaptive embeddings from order statistics of random projections
Politecnico di Torino（都灵理工大学）
我们使用一些最大的顺序统计的随机投影的参考信号，以构建一个二进制嵌入，适合于与这样的信号相关的信号。嵌入的特征在于从分析的角度来看，并显示出提供更好的性能，如在一个降维空间中的分类任务。
2017-01-30 cs.IR cs.LG
DUAL-LOCO: Distributing Statistical Estimation Using Random Projections
ETH Zürich（苏黎世联邦理工学院）；Disney Research（迪士尼研究院）
我们提出了DUAL-LOCO，分布式统计估计的通信效率的算法。DUAL-LOCO假设数据是根据特征而不是样本分布的。它只需要一轮通信，其中低维随机投影用于近似不同工人可用的特征之间的依赖关系。我们表明，DUAL-LOCO有界逼近误差，这只弱依赖于工人的数量。我们比较DUAL-LOCO对各种现实世界的数据集上的最先进的分布式优化方法，并表明它获得了更好的加速比，同时保持良好的准确性。
2016-01-08 cs.DC cs.LG stat.ML
A Coupled Random Projection Approach to Large-Scale Canonical Polyadic Decomposition
Dalian University of Technology（大连理工大学）；Xiaomi Inc.（小米公司）
本文提出了一种计算大规模张量的典型多元分解的新算法。所提出的算法推广了随机投影（RAP）技术，这是经常用来计算大规模的分解，从一个单一的投影到多个，但耦合的随机投影（CoRAP）。所提出的CoRAP技术产生一组张量，这些张量一起允许耦合CPD（C-CPD），然后使用C-CPD算法来联合分解这些张量。最后将C-CPD结果进行融合，得到原始大规模数据张量的因子矩阵。随着更多的数据样本共同利用通过C-CPD，建议的CoRAP基于CPD是更准确的比RAP基于CPD的实验来说明所提出的方法的性能。
2021-05-10 cs.LG
Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning
TU Darmstadt（达姆施塔特工业大学）；Télécom Paris（巴黎高等电信学院）
凸优化器作为深度神经架构中的可微层有许多应用。这些凸层的一个应用是将点投影到凸集中。然而，这些凸层的前向和后向传递的计算都比典型的神经网络的计算要昂贵得多。在本文中，我们调查是否一个不准确的，但更便宜的投影，可以驱动下降算法的最佳。具体来说，我们提出了一个插值为基础的投影，计算成本低，易于计算给定的凸，域定义，功能。然后，我们提出了一个优化算法，遵循梯度的组成的目标和投影，并证明其收敛性的线性目标和任意凸和Lipschitz域定义的不等式约束。除了理论上的贡献，我们证明经验的插值投影的实际利益时，结合神经网络在强化学习和监督学习设置。
2020-11-13 cs.LG math.OC stat.ML
Kernel Conjugate Gradient Methods with Random Projections
Zhejiang University（浙江大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
本文提出并研究了可分Hilbert空间上最小二乘回归问题的随机投影核共轭梯度法。考虑到两种类型的随机投影产生的随机草图和Nyström子采样，我们证明了最佳的统计结果的变体的规范下的算法在一个合适的停止规则。特别是，我们的研究结果表明，如果投影尺寸是成比例的问题的有效尺寸，KCGM与随机草图可以推广到最佳，同时实现了计算优势。作为一个推论，我们得出的经典KCGM在良好的条件下的制度的情况下，目标函数可能不在假设空间中的最佳速率。
2022-07-15 cs.LG math.FA math.OC
Node Similarities under Random Projections: Limits and Pathological Cases
Microsoft Search（微软搜索）；Microsoft Research（微软研究院）
本文研究了随机投影应用于图矩阵行时对点积和余弦相似度的保持效果，发现点积嵌入在特定度分布下不可靠，而余弦相似度近似更精确。
2024-07-29 cs.DS cs.LG cs.SI
Tensor Random Projection for Low Memory Dimension Reduction
Cornell（康奈尔大学）；UW-Madison（威斯康星大学麦迪逊分校）；Caltech（加州理工学院）
随机投影减少了一组向量的维度，同时保留了结构信息，例如集合中向量之间的距离。本文提出了一种新的使用行积随机矩阵的随机投影，我们称之为张量随机投影（TRP）。它需要的内存比现有的降维映射少得多。TRP映射被形成为几个较小的随机投影的Khatri-Rao乘积，并且与包括稀疏映射在内的任何基本随机投影兼容，这使得能够以非常低的查询成本并且没有浮点运算来降低维度。我们还开发了一个减少方差的扩展。我们提供了一个理论分析的偏差和方差的TRP，和一个非渐近误差分析的TRP组成的两个较小的地图。合成和MNIST数据上的实验表明，我们的方法执行以及传统的方法，大大减少存储。
2021-04-30 cs.LG cs.NA math.NA
Very Sparse Stable Random Projections, Estimators and Tail Bounds for Stable Random Projections
本文将着重从三个不同的方面来改进目前的稳定随机投影方法。首先，我们提出{ \em非常稀疏稳定的随机投影}，以显着降低处理和存储成本，通过用对称$α$ -Pareto分布（概率为$β$，$0<β\leq1$）和原点点质量（概率为$1-β$）的混合物替换$α$ -稳定分布。这导致小$β$的显著$\frac{1}β$倍加速。其次，我们提供了一个改进的估计恢复原来的$l_α$规范从投影数据。标准估计量基于（绝对）样本中位数，而我们建议使用几何平均值。我们提出的几何平均估计是严格无偏的，并且更容易研究。而且几何平均估计更精确，特别是非渐近的。第三，我们提供了一个充分的答案，需要多少投影（样本），以达到一些预先指定的精度水平的基本问题。\cite{Proc:Indyk_FOCS00,Article:Indyk_TKDE03}未提供可用于实践的标准。我们提出的几何平均估计允许我们推导出尖尾界，它可以用显式给出的常数以指数形式表示。
2006-12-01 cs.DS cs.IT cs.LG
Kernel Random Projection Depth for Outlier Detection
Aichi Institute of Technology（爱知工业大学）
本文提出一种核随机投影深度方法，在再生核希尔伯特空间中计算RPD，以应对数据多模态和非凸性，实验表明其在基准数据集上优于RPD且与其他检测模型相当。
2023-09-06 cs.LG stat.AP stat.ME
Bioinspired random projections for robust, sparse classification
ETH Zurich（苏黎世联邦理工学院）；Imperial College London（帝国理工学院）
受生物传感系统中随机投影的启发，我们提出了一种新的分类问题数据处理算法。这是基于对人类大脑和果蝇嗅觉系统的观察，并涉及在应用帽操作以截断较小条目之前将数据随机投影到大大增加维度的空间中。这导致了一个简单的算法，这是非常有效的计算，并可以用于要么给出一个稀疏表示与最小的损失在分类精度或提供改进的鲁棒性，在这个意义上，分类精度提高时，噪声被添加到数据。这是证明与数值实验，补充理论结果表明，所得到的信号变换是连续的和可逆的，在适当的意义上。
2022-07-27 cs.LG eess.SP q-bio.NC
Random Projections of Mel-Spectrograms as Low-Level Features for Automatic Music Genre Classification
Federal University of Technology – Paraná（巴拉那联邦理工大学）；University of Campinas（坎皮纳斯大学）
在这项工作中，我们分析的随机投影梅尔声谱图作为低级别的功能，音乐流派分类。将该方法与手工特征、使用自动编码器学习的特征以及从迁移学习设置获得的特征进行比较。在五个不同的众所周知的公开数据集中进行的测试表明，随机投影导致的结果与学习的特征相当，并且在浅层学习场景中优于通过迁移学习获得的特征。随机投影不需要使用广泛的专业知识，同时，与其他基于投影的低级特征相比，需要更少的计算能力进行训练。因此，他们可以是一个可行的选择，用于浅层学习的基于内容的音乐流派分类。
2019-11-12 cs.IR cs.LG cs.SD
Distributed High Dimensional Information Theoretical Image Registration via Random Projections
Eötvös Loránd University（厄特沃什·罗兰大学）
信息论度量，如熵、互信息和各种发散，在图像配准应用中表现出鲁棒性。然而，这些量的估计在高维中是计算密集型的。另一方面，从样本点的成对距离的一致估计是可能的，这适合于基于随机投影（RP）的低维嵌入。我们通过一个简单的集成方法来适应RP技术来完成这项任务。据我们所知，这是第一个分布式的，RP基于信息理论的图像配准方法。数值算例表明了该方法的有效性。
2012-10-02 cs.IT cs.LG math.IT
Qualitative Projection Using Deep Neural Networks
University of Surrey（萨里大学）
深度神经网络（DNN）通过解调线性滤波器的输出进行抽象。在本文中，我们改进了抽象的定义，以表明DNN的输入是相对于过滤器抽象的。或者，重申一下，抽象是由过滤器限定的。这使我们引入定性投射的概念。我们使用定性投影抽象MNIST手写数字相对于各种狗，马，飞机和汽车的CIFAR数据集。然后，我们分类的MNIST数字根据他们的狗，马，平面和carness质量的大小，说明了定性投影的一般性。
2015-10-28 cs.LG cs.NE
Randomized Projection Learning Method forDynamic Mode Decomposition
Clarkson University（克拉克森大学）
一种被称为动态模式分解（DMD）的数据驱动分析方法在投影空间上近似线性Koopman算子。根据Johnson-Lindenstrauss引理，我们将使用随机投影来估计约维空间中的DMD模式。在实际应用中，快照是在高维可观测空间中，DMD算子矩阵是巨大的。因此，用全谱计算DMD是不可行的，所以我们的主要计算目标是估计DMD算子在投影域中的本征值和本征向量。我们将推广目前的算法来估计一个投影DMD算子。我们专注于一个强大的和简单的随机投影算法，将减少计算和存储成本。虽然很明显，随机投影简化了详细的最佳投影的算法复杂性，但正如我们将展示的那样，通常结果仍然很好，并且通过完善的随机投影理论可以理解质量。我们将证明，模式可以计算为低成本的投影数据具有足够的维度。关键词：Koopman算子，动态模式分解（DMD），Johnson-Lindenstrauss引理，随机投影，数据驱动方法。
2021-09-22 cs.LG cs.NA math.NA
Differentiable Projection for Constrained Deep Learning
University of Tokyo（东京大学）
深度神经网络（DNN）在解决各个领域的不同任务方面取得了非凡的性能。然而，传统的DNN模型通过损失反向传播稳定地接近地面实况值。在某些应用中，可以容易地获得一些先验知识，例如地面实况观测所遵循的约束。在这里，我们试图给出一种通用的方法来结合这些约束的信息，以提高DNN的性能。从理论上讲，我们可以将这类问题表示为KKT条件可以解决的约束优化问题。在本文中，我们建议在DNN中使用可微投影层，而不是直接求解耗时的KKT条件。所提出的投影方法是可微的，并且不需要大量的计算。最后，我们还使用随机生成的合成数据集和使用PASCAL VOC数据集的图像分割任务进行了一些实验，以评估所提出的投影方法的性能。实验结果表明，投影方法是充分的，优于基线方法。
2021-11-21 cs.LG
High dimensional Bayesian Optimization via Condensing-Expansion Projection
ISTBI, Fudan University（复旦大学ISTBI）
针对高维贝叶斯优化中随机嵌入依赖有效子空间假设的问题，提出CEPBO随机投影方法及高斯、哈希两种算法，实验表明其性能更优。
2024-08-09 cs.LG
Outperforming Word2Vec on Analogy Tasks with Random Projections
我们提出了一个分布式矢量表示的基础上简化的BEAGLE系统，设计的背景下，西格玛认知架构。我们的方法不需要神经网络的基于梯度的训练，不需要像LSA那样的矩阵分解，也不需要像BEAGLE那样的卷积。所涉及的只是随机向量和它们的逐点乘积的和。尽管这种技术很简单，但它在类比问题上给出了最先进的结果，在大多数情况下优于Word2Vec。为了解释这一成功，我们将其解释为通过随机投影的降维。
2015-02-17 cs.CL cs.LG
Random Projections for Improved Adversarial Robustness
University of Trieste（的里雅斯特大学）；University of Edinburgh（爱丁堡大学）；SISSA（国际高等研究院）；Saarland University（萨尔兰大学）
我们提出了两种训练技术来提高神经网络对对抗攻击的鲁棒性，即恶意操纵输入以欺骗网络进行错误的预测。这两种方法都独立于所选择的攻击，并利用原始输入的随机投影，目的是利用降维和对抗扰动的一些特征几何性质。第一种技术被称为RP-Ensemble，由在原始输入的多个投影版本上训练的网络集合组成。第二个称为RP-Regularizer，它在训练目标中添加了一个正则化项。
2021-04-27 cs.AI cs.LG
Restricted Isometry Property of Gaussian Random Projection for Finite Set of Subspaces
Tsinghua University（清华大学）
降维在降低求解大规模问题的复杂性方面起着至关重要的作用。著名的Johnson-Lindenstrauss（JL）引理和限制性等距性质（RIP）允许在保持欧氏距离的情况下使用随机投影来降低维数，这导致了压缩感知和稀疏相关信号处理领域的繁荣。最近，稀疏模型在计算机视觉和机器学习中的成功应用越来越多地暗示，高维数据的底层结构看起来更像是子空间的联合（UoS）。本文在JL引理和压缩子空间聚类（CSC）这一新兴领域的启发下，首次研究了基于广义投影$F$-范数距离的高斯随机矩阵压缩子空间的RIP问题。我们从理论上证明，以高概率的亲和力或两个投影子空间之间的距离集中在他们的估计。当投影后的环境维数足够大时，两个子空间之间的亲和力和距离在随机投影后几乎保持不变。数值实验验证了理论工作。
2017-12-05 cs.IT cs.LG math.IT
Robust Isolation Forest using Soft Sparse Random Projection and Valley Emphasis Method
Seoul National University of Science & Technology (SeoulTech)（首尔科学技术大学（首尔理工））
本文提出 RiForest，通过软稀疏随机投影生成随机超平面并结合谷值强调法选择划分点，在 24 个基准数据集上稳定提升异常检测性能。
2025-03-15 cs.AI cs.LG
Projection-Based Correction for Enhancing Deep Inverse Networks
Department of Computer Science, Universidad Industrial de Santander（计算机科学系，圣安德烈斯工业大学）
本文提出一种基于投影的校正方法，通过约束解在有效解空间内并确保与前向模型一致，增强深度逆网络的推理，理论证明其可分解为值域和零空间分量，实验验证了重建精度的提升。
2025-05-21 cs.CV cs.LG physics.comp-ph
The Pseudo Projection Operator: Applications of Deep Learning to Projection Based Filtering in Non-Trivial Frequency Regimes
United States Air Force Research Laboratory（美国空军研究实验室）；United States Air Force Artificial Intelligence Accelerator（美国空军人工智能加速器）
传统的基于频率的投影滤波器或投影算子（PO）通过一系列变换来分离信号和噪声，这些变换去除存在噪声的频率。然而，该技术依赖于关于哪些频率包含信号和噪声以及这些频率不重叠的先验知识，这在实践中难以实现。为了解决这些问题，我们引入了一个PO-神经网络混合模型，伪投影算子（PPO），它利用神经网络来执行频率选择。我们比较了PPO，PO和去噪自动编码器（DAE）在罗切斯特大学多模态音乐性能数据集上的滤波能力，以及各种添加的噪声类型。在大多数实验中，PPO优于PO和DAE。基于这些结果，我们建议未来的应用PPO过滤问题的物理和生物科学。
2022-04-13 cs.LG eess.SP
Pre-training with Random Orthogonal Projection Image Modeling
CSIRO（联邦科学与工业研究组织）；Data61；Queensland University of Technology（昆士兰科技大学）；Australian National University（澳大利亚国立大学）
提出基于随机正交投影的图像建模框架ROPIM替代传统二值掩码，通过随机子空间投影实现信息移除与恢复，在多个基准上取得最先进性能。
2024-04-21 cs.AI cs.CV cs.LG
Coarse-grained spectral projection (CGSP): a deep learning-assisted approach to quantum unitary dynamics
Princeton University（普林斯顿大学）
我们提出了粗粒度谱投影方法（CGSP），这是一种深度学习辅助方法，用于解决量子幺正动力学问题，重点是淬火动力学。我们证明了CGSP可以利用复杂的神经网络量子模拟系统地提取多体量子态的光谱分量。CGSP充分利用了量子动力学的线性幺正性质，在遍历动力学方面可能优于其他量子蒙特卡罗方法。对周期边界条件下的一维XXZ模型进行了初步的数值计算，验证了CGSP的实用性。
2020-11-04 cond-mat.dis-nn cs.LG quant-ph
Coding for Random Projections and Approximate Near Neighbor Search
Rutgers University（罗格斯大学）；Harvard University（哈佛大学）；Cornell University（康奈尔大学）
本技术说明比较了在次线性时间近似近邻搜索的上下文中用于随机投影的两种编码（量化）方案。第一种方案基于均匀量化，而第二种方案利用均匀量化加上均匀随机偏移（这在实践中很流行）。先前的工作在相似性估计和训练线性分类器的上下文中比较了这两种方案，得出的结论是随机偏移的步骤是不必要的，并且可能会损害性能（取决于相似性水平）。近邻搜索的任务与重要性区分的相似性估计有关，需要自己的研究。在本文中，我们证明了在近邻搜索的上下文中，随机偏移的步骤是不需要的，也可能会损害性能（有时显着，这取决于相似性和其他参数）。
2014-03-31 cs.DB cs.DS cs.LG
