Model Unlearning via Sparse Autoencoder Subspace Guided Projections
The University of Hong Kong(香港大学);New Jersey Institute of Technology(新泽西理工学院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对大型语言模型选择性知识移除中缺乏可解释性与对抗稳健性的问题,提出 SSPU 框架,利用稀疏自编码器特征构建子空间并引导参数更新,实现了精确可控的模型遗忘,有效降低有害知识准确率并提升对抗稳健性。
2025-05-30 cs.CL cs.LG
Alternating Iteratively Reweighted $\ell_1$ and Subspace Newton Algorithms for Nonconvex Sparse Optimization
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);School of Mathematics and Statistics, Henan University(河南大学数学与统计学院);Center for Applied Mathematics of Henan Province, Henan University(河南大学河南省应用数学中心)
本文提出一种交替重加权 $\ell_1$ 与子空间牛顿的混合算法,用于非凸稀疏优化,证明全局收敛及局部线性/二次速率,实验显示优于现有方法。
2025-03-30 cs.LG math.OC
A convex formulation for high-dimensional sparse sliced inverse regression
切片逆回归是一种用于充分降维的流行工具,它用协变量的线性组合的最小集合替换协变量,而不会丢失关于给定协变量的响应的条件分布的信息。估计的线性组合包括所有协变量,使得结果难以解释,并且可能是不必要的变量,特别是当协变量的数量很大时。在本文中,我们提出了一个凸公式拟合稀疏切片逆回归在高维。我们的建议估计的子空间的线性组合的协变量直接进行变量选择。我们通过线性化的交替方向方法的乘子算法来解决由此产生的凸优化问题,并建立一个上界的估计和真正的子空间之间的子空间距离。通过数值研究,我们表明,我们的建议是能够识别正确的协变量在高维设置。
2018-09-17 cs.LG stat.ML
Subspace Detours: Building Transport Plans that are Optimal on Subspace Projections
CREST, ENSAE(法国国家统计与经济管理学院 CREST 实验室);Google Brain(谷歌大脑)
计算高维测度间的最优迁移(OT)注定要受到维数灾难的影响。避免这种诅咒的一种流行方法是将输入测度投影到低维子空间(在切片Wasserstein距离的情况下是一维线),解决这些缩减测度之间的OT问题,并解决这些缩减之间的Wasserstein距离,而不是原始测度之间的距离。然而,这种方法很难扩展到想要计算原始测量之间的OT图(Monge图)的情况。由于计算是在低维投影上进行的,因此经典的地图估计技术只能产生在这些降低的维度上操作的地图。在这项工作中,我们提出了两种方法来外推,从一个运输地图,是最佳的子空间,一个几乎是最佳的在整个空间。我们证明,最佳的最优运输计划,采取这样的“子空间绕道”是一个推广的诺特-罗森布拉特运输。我们表明,这些计划可以明确制定时,比较高斯措施(之间的Wasserstein距离通常被称为Bures或Fréchet距离)。我们提供了一个算法来选择最佳的子空间高斯措施对,并研究的情况下,调解子空间可以选择使用先验信息。我们考虑应用程序之间的语义调解椭圆词嵌入和领域自适应高斯混合模型。
2019-10-29 cs.LG stat.ML
Federated Sufficient Dimension Reduction Through High-Dimensional Sparse Sliced Inverse Regression
University of Science and Technology of China(中国科学技术大学);Quzhou University(衢州学院)
联邦学习已经成为当今大数据时代的流行工具。它基于来自不同客户端的数据训练集中式模型,同时保持数据分散。本文首次提出了一种联邦稀疏切片逆回归算法。我们的方法可以同时估计中央降维子空间,并在联邦设置进行变量选择。通过安全、无损地构造协方差阵,将联合高维稀疏切片逆回归问题转化为凸优化问题。然后,我们使用一个线性化的交替方向方法的乘子算法估计的中心子空间。给出了确定中心子空间维数和算法超参数的贝叶斯信息准则和保持验证方法。我们建立了一个上界的统计误差率的估计下的异质设置。我们证明了我们的方法的有效性,通过模拟和现实世界中的应用。
2023-01-23 cs.LG math.ST stat.ML
RANSAC Revisited: An Improved Algorithm for Robust Subspace Recovery under Adversarial and Noisy Corruptions
University of Michigan(密歇根大学)
针对强对抗性干扰与高斯噪声下的鲁棒子空间恢复问题,提出两阶段算法RANSAC+,修正标准RANSAC的失效模式,在无需子空间维度先验的情况下实现近最优样本复杂度,且兼具鲁棒性与效率提升。
2025-04-13 cs.CV cs.LG stat.CO
Learning with $\ell^{0}$-Graph: $\ell^{0}$-Induced Sparse Subspace Clustering
稀疏子空间聚类方法,如稀疏子空间聚类(SSC)\cite{ElhamifarV13}和$\ell^{1}$ -图\cite{YanW09,ChengYYFH10},在划分位于子空间的并集中的数据时是有效的。这些方法大多使用$\ell^{1}$ -范数或带阈值的$\ell^{2}$ -范数来赋予所构造的稀疏相似图的稀疏性,并且需要对子空间进行一定的假设,例如独立性或不相交性,以获得子空间稀疏表示,这是它们成功的关键。这样的假设并不能保证在实践中成立,它们限制了稀疏子空间聚类在具有一般位置的子空间上的应用。本文提出了一种新的稀疏子空间聚类方法$\ell^{0}$ -图。与现有的稀疏子空间聚类方法对子空间的要求不同,证明了在温和的同分布下,对于任意不同的底层子空间,几乎必然可以用$\ell^{0}$ -图得到子空间的稀疏表示.数据生成的假设。我们开发了一个近似的方法来获得次优解的$\ell^{0}$ -图的优化问题,证明了收敛性的保证。此外,我们提出了一个正则化的$\ell^{0}$ -图,鼓励附近的数据有类似的邻居,使相似性图是更对齐的每个集群和图的连通性问题得到缓解。在不同数据集上的大量实验结果证明了$\ell^{0}$ -图与其他竞争聚类方法相比的优越性,以及正则化$\ell^{0}$ -图的有效性。
2015-11-18 cs.CV cs.LG
Weighted Sparse Subspace Representation: A Unified Framework for Subspace Clustering, Constrained Clustering, and Active Learning
University of Cambridge(剑桥大学);Lancaster University(兰卡斯特大学)
基于谱的子空间聚类方法在许多具有挑战性的应用中已经被证明是成功的,例如基因测序、图像识别和运动分割。在这项工作中,我们首先提出了一种新的基于谱的子空间聚类算法,旨在表示每个点作为一个稀疏的凸组合的几个附近的点。然后,我们将算法扩展到约束聚类和主动学习设置。我们开发这样一个框架的动机源于这样一个事实,即通常可以提前获得少量的标记数据;或者有可能以一定的成本标记某些点。后一种情况通常在验证集群分配的过程中遇到。仿真和真实数据集上的实验表明,该方法是有效的,具有竞争力的国家的最先进的方法。
2021-06-08 cs.LG stat.ML
Noisy $\ell^{0}$-Sparse Subspace Clustering on Dimensionality Reduced Data
Baidu Research(百度研究院);Arizona State University(亚利桑那州立大学)
研究表明,基于$\ell^{0}$范数的稀疏子空间聚类方法($\ell^{0}$-SSC)~ \citep{YangFJYH16-L0SSC-ijcv}比稀疏子空间聚类方法(SSC)~ $\ell^{1}$更有效.然而,$\ell^{0}$ -SSC的理论分析仅限于完全位于子空间中的干净数据。真实数据经常受到噪声的影响,并且它们可能位于子空间附近。在本文中,我们表明,噪声$\ell^{0}$ -SSC的优化问题的最佳解决方案实现子空间检测性能(SDP),一个关键因素,从不同的子空间的数据分离,在确定性和半随机模型。我们的结果首次从理论上保证了噪声$\ell^{0}$ -SSC在噪声数据上的SDP的正确性,从而揭示了噪声$\ell^{0}$ -SSC在对子空间亲和度的限制条件少得多方面的优势.为了提高噪声$\ell^{0}$ -SSC的效率,我们提出了Noisy-DR- $\ell^{0}$ -SSC,它可证明地恢复降维数据上的子空间。Noisy-DR- $\ell^{0}$ -SSC首先通过随机投影将数据投影到低维空间,然后对投影数据执行Noisy $\ell^{0}$ -SSC以提高效率。实验结果证明了Noisy-DR- $\ell^{0}$ -SSC的有效性。
2022-06-22 cs.LG stat.ML
Analysis of Sparse Subspace Clustering: Experiments and Random Projection
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);DePaul University(德保罗大学)
聚类可以定义为将对象组合成若干组的过程,这些组的元素以某种方式彼此相似。聚类作为一种广泛应用于人脸聚类、植物分类、图像分割、文档分类等领域的技术,被认为是无监督学习中最重要的问题之一。多年来,科学家们一直在研究这个问题,并开发了不同的技术来解决这个问题,例如k-means聚类。我们分析这些技术之一:一个强大的聚类算法称为稀疏子空间聚类。我们使用这种方法演示了几个实验,然后介绍了一种新的方法,可以减少执行稀疏子空间聚类所需的计算时间。
2022-04-01 cs.LG math.OC
Stochastic Sparse Subspace Clustering
Beijing University of Posts and Telecommunications(北京邮电大学);University of California, Berkeley(加州大学伯克利分校)
最先进的子空间聚类方法是基于自表达模型,它将每个数据点表示为其他数据点的线性组合。通过强制这种表示是稀疏的,稀疏子空间聚类保证产生子空间保持数据亲和力,其中两个点只有在它们来自相同子空间时才连接。然而,另一方面,来自相同子空间的数据点可能没有良好连接,导致过度分割的问题。我们引入dropout来解决过度分割的问题,这是基于随机丢弃自表达模型中的数据点。特别地,我们证明了dropout等价于在表示系数上增加一个平方$\ell_2$范数正则化,从而诱导出更密集的解。然后,我们将优化问题重新表述为一组小规模子问题上的共识问题。这导致了一个可扩展的和灵活的稀疏子空间聚类方法,称为随机稀疏子空间聚类,它可以有效地处理大规模的数据集。在合成数据和真实世界数据集上的大量实验验证了我们的建议的效率和有效性。
2020-05-04 cs.CV cs.LG stat.ML
A Fast deflation Method for Sparse Principal Component Analysis via Subspace Projections
School of Mathematics and Information Sciences, Yantai University(烟台大学数学与信息科学学院);Department of Mathematics, Shandong Normal University(山东师范大学数学学院)
在高维数据集上实现传统的稀疏主成分分析(SPCA)已成为一项耗时的工作。本文利用Household QR分解有效地构造了一系列子空间投影。利用这些子空间投影,提出了一种快速收缩的SPCA方法,称为SPCA-SP。该方法在稀疏性、正交性、解释方差、稀疏性平衡和计算成本等各种标准之间保持了良好的权衡。在基准数据集上的对比实验证实了该方法的有效性。
2019-12-06 cs.LG stat.ML
Inductive Sparse Subspace Clustering
稀疏子空间聚类(SSC)通过在基于$\ell^{1}$范数的相似图上执行谱聚类来实现最先进的聚类质量。然而,SSC是一种转导方法,其不处理不用于构建图的数据(样本外数据)。对于每个新数据,SSC需要在O(n)变量中求解$n$优化问题,以在整个数据集上执行算法,其中$n$是数据点的数量。因此,它是低效的应用SSC在快速在线聚类和可扩展的图形。在这封信中,我们提出了一个归纳谱聚类算法,称为归纳稀疏子空间聚类(iSSC),这使得SSC可行的聚类样本外的数据。iSSC采用了这样的假设,即高维数据实际上位于低维流形上,使得样本外数据可以在从样本内数据学习的嵌入空间中分组。实验结果表明,iSSC是有前途的聚类样本外的数据。
2013-03-02 cs.LG
Graph Connectivity in Noisy Sparse Subspace Clustering
Carnegie Mellon University(卡内基梅隆大学)
子空间聚类是将数据点聚类到低维线性/仿射子空间的并集中的问题。它是计算机视觉、图像处理和机器学习中许多重要问题的数学抽象。最近的一系列工作(4,19,24,20)为稀疏子空间聚类(4)提供了强有力的理论保证,稀疏子空间聚类是子空间聚类的最新算法,适用于无噪声和噪声数据集。它表明,在温和的条件下,以高概率没有两个点从不同的子空间聚集在一起。然而,由于臭名昭著的“图连通性问题”(15),这种保证不足以使聚类正确。在本文中,我们调查的图形连接性问题的噪声稀疏子空间聚类,并表明,一个简单的后处理过程是能够提供一致的聚类在一定的“一般位置”或“限制特征值”的假设。我们还表明,我们的条件几乎是紧对抗噪声扰动通过构建一个反例。这些结果提供了第一个确切的聚类保证嘈杂SSC的子空间的尺寸大于3。
2016-04-11 cs.LG stat.ML
A Novel Efficient Approach with Data-Adaptive Capability for OMP-based Sparse Subspace Clustering
Shenzhen Graduate School, Peking University(北京大学深圳研究生院)
正交匹配追踪算法在数据科学及其稀疏子空间聚类、图像处理等应用中有着重要的作用。然而,现有的基于OMP的方法缺乏数据自适应性,从而不能很好地表示数据,并可能失去准确性。本文提出了一种新的方法,以提高基于OMP的稀疏子空间聚类的数据自适应能力。在我们的方法中,参数选择过程的基础上调整的数据分布的信息表示的参数。我们的理论分析表明,参数选择过程可以有效地协调任何OMP为基础的方法,以提高聚类性能。此外,一个新的自我表达的亲和力(SEA)比率度量的定义来衡量稀疏表示转换效率的谱聚类,以获得数据分割。实验结果表明,与其他基于OMP的稀疏子空间聚类算法相比,该算法在聚类精度、SEA比和表示质量等方面均具有更好的性能,同时保持了时间效率和抗噪能力。
2019-08-30 cs.LG stat.ML
Accelerated Sparse Subspace Clustering
University of Texas at Austin(德克萨斯大学奥斯汀分校)
用于稀疏子空间聚类的现有技术算法对相似性矩阵执行谱聚类,该相似性矩阵通常通过使用基追踪(BP)或正交匹配追踪(OMP)将每个数据点表示为其他点的稀疏组合来获得。基于BP的方法在实践中往往令人望而却步,而基于OMP的方案的性能并不令人满意,特别是在数据点高度相似的情况下。在本文中,我们提出了一种新的算法,利用正交最小二乘的加速变量,有效地找到底层的子空间。我们表明,在一定条件下,该算法返回一个子空间保持的解决方案。仿真结果表明,所提出的方法与基于BP的方法相比,在运行时间方面,而显着更准确的基于OMP的计划。
2017-10-31 cs.CV cs.LG stat.ML
Sparse Subspace Clustering Friendly Deep Dictionary Learning for Hyperspectral Image Classification
Delhi Technical University(德里技术大学);Indraprastha Institute of Information Technology Delhi(德里因陀罗普拉斯塔信息技术学院)
子空间聚类技术在高光谱图像分割中显示出良好的应用前景。子空间聚类的基本假设是属于不同聚类/段的样本位于可分离的子空间中。如果这个条件不成立呢?我们推测,即使该条件在原始空间中不成立,数据也可以被非线性地变换到一个空间,在该空间中它将可分离成子空间。在这项工作中,我们提出了一种基于深度字典学习(Deep Dictionary Learning,简称DCL)原则的转换。特别是,我们将稀疏子空间聚类(SSC)的损失,在numerical制定。在这里,非线性变换数据,使得变换后的表示(数据的)可分离为子空间。我们表明,所提出的配方提高了最先进的深度学习技术在高光谱图像聚类。
2021-11-27 cs.CV cs.LG eess.IV
Scalable Sparse Subspace Clustering via Ordered Weighted $\ell_1$ Regression
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文的主要贡献是一种新的子空间聚类方法,该方法比现有的最先进的方法具有更高的计算效率和可扩展性。其中心思想是修改稀疏子空间聚类(SSC)中的回归技术,通过用称为有序加权$\ell_1$(OWL)最小化的泛化来替换$\ell_1$最小化,该泛化同时执行相关变量的回归和聚类。利用随机几何图理论,我们证明了OWL回归在每个子空间内选择更多的点,从而产生更好的聚类结果。这允许基于仅针对总数据集的一小部分的回归解决方案的精确子空间聚类,与SSC相比显著降低了计算复杂性。在实验中,我们发现我们的OWL方法可以实现20 $\times$到30 $\times$的合成问题和4 $\times$到8 $\times$的实际数据问题的加速比。
2018-07-10 cs.LG stat.ML
Sparse-Dense Subspace Clustering
Peking University(北京大学)
子空间聚类是指将高维数据聚类到低维子空间的联合中的问题。目前的子空间聚类方法通常是基于一个两阶段的框架。在第一阶段中,从数据生成亲和矩阵。在第二种方法中,谱聚类应用于亲和矩阵。然而,两阶段方法产生的亲和矩阵不能完全揭示来自同一子空间的数据点之间的相似性(子空间内相似性),导致不准确的聚类。此外,大多数方法无法解决大规模的聚类问题,由于效率低下。在本文中,我们首先提出了一个新的可扩展的稀疏方法称为迭代最大相关(IMC)从数据中学习的亲和矩阵。然后,我们开发了分段相关估计(PCE),以增加由IMC产生的子空间内的相似性。最后,我们将我们的工作扩展到一个稀疏-密集子空间聚类(SDSC)框架中,其中包含一个密集阶段来优化两阶段方法的亲和矩阵。我们表明,IMC是有效的聚类大规模数据时,PCE确保更好的性能IMC。我们也展示了SDSC框架的普遍性。在多个数据集上的实验证明了该方法的有效性。此外,我们是第一个在谱聚类之前对亲和矩阵进行加密的人,SDSC构成了建立通用的三阶段子空间聚类框架的第一次尝试。
2019-10-20 cs.LG stat.ML
Sparse Subspace Clustering for Concept Discovery (SSCCD)
Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);Oldenburg University(奥尔登堡大学)
概念是人类更高层次理解的关键组成部分。近年来,可解释人工智能(XAI)方法取得了巨大的进展,然而,局部归因方法不允许识别跨样本的连贯模型行为,因此错过了这一重要组成部分。在这项工作中,我们研究了基于概念的解释,并提出了一个新的定义概念的低维子空间的隐藏特征层。我们新颖地应用稀疏子空间聚类来发现这些概念子空间。展望未来,我们从概念子空间的本地化输入(概念)地图方面获得见解,展示如何量化概念相关性,最后,评估概念之间的相似性和可转移性。我们经验证明了建议的稀疏子空间聚类概念发现(SSCCD)方法的各种不同的图像分类任务的合理性。这种方法可以更深入地了解实际模型的行为,而这些行为在传统的输入级热图中仍然是隐藏的。
2022-03-11 cs.AI cs.LG stat.ML
Restricted Connection Orthogonal Matching Pursuit For Sparse Subspace Clustering
Information Security Lab, Institute of Big Data Technologies,\ Graduate School, Peking University
稀疏子空间聚类(SSC)是将数据点聚类到其底层子空间的最流行的方法之一。然而,SSC可能遭受沉重的计算负担。应用于SSC的正交匹配追踪加速了计算,但代价是聚类精度的损失。本文提出了一种抗噪声的稀疏子空间聚类算法--限制连接正交匹配追踪算法(RCOMP-SSC),该算法通过限制OMP迭代过程中每个数据点的连接数来提高聚类精度并保持较低的计算时间。此外,我们开发了一个控制矩阵的框架,实现RCOMP-SCC。该框架可扩展到其他数据点选择策略。我们的分析和实验合成数据和两个真实世界的数据库(EYaleB & USPS)证明了我们的算法相比,其他聚类方法的精度和计算时间的优越性。
2019-05-01 cs.LG stat.ML
Large-Scale Sparse Subspace Clustering Using Landmarks
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
基于将每个数据点表示为数据集中所有其他点的线性组合的子空间聚类方法是流行的无监督学习技术。然而,现有的方法招致高计算复杂性的大规模数据集,因为它们需要解决一个昂贵的优化问题,并执行大型亲和矩阵的谱聚类。本文提出了一种有效的子空间聚类方法,通过选择一个小子集的输入数据称为地标。由此产生的子空间聚类方法在减少域运行在线性时间相对于原始数据的大小。对合成数据和实际数据的数值实验表明了该方法的有效性。
2019-08-02 cs.LG stat.ML
Finding a sparse vector in a subspace: Linear sparsity using alternating directions
Columbia University(哥伦比亚大学)
用$\mathrm{dim}(\mathcal{S})= n < p$在通用子空间$\mathcal{S} \subseteq \mathbb{R}^p$中找到稀疏向量(方向)是否可能?这个问题可以被认为是稀疏恢复问题的同质变体,并发现与稀疏字典学习,稀疏PCA以及信号处理和机器学习中的许多其他问题的联系。在本文中,我们专注于一个 ** 种植稀疏模型 ** 的子空间:目标稀疏向量嵌入在一个随机的子空间。当目标稀疏向量中的非零条目的分数大大超过$O(1/\sqrt{n})$时,用于该种植恢复问题的简单凸算法可证明地失效。相比之下,我们展示了一个相对简单的非凸方法的基础上交替的方向,证明成功,即使当非零条目的分数是$Ω(1)$。据我们所知,这是第一个在种植稀疏模型下实现线性缩放的实用算法。从经验上讲,我们提出的算法在更具有挑战性的数据模型中也取得了成功,例如,稀疏字典学习
2016-07-20 cs.CV cs.IT cs.LG
Research on Clustering Performance of Sparse Subspace Clustering
School of IoT Engineering, Jiangnan University(江南大学物联网工程学院)
近年来,稀疏子空间聚类已成为处理高维数据的有效工具。在稀疏子空间聚类的框架中有两个基本步骤。一种是求解数据的系数矩阵,另一种是由系数矩阵构造亲和矩阵,并将其应用于谱聚类。本文在现有算法的基础上,从聚类精度和稳定性两个方面研究了影响聚类性能的因素。我们选择了四种方法来求解系数矩阵,并使用四种不同的方法来构造每个系数矩阵的相似度矩阵。然后,我们比较了不同的组合在三个数据集上的聚类性能。实验结果表明,系数矩阵和亲和度矩阵对聚类性能影响很大,如何开发稳定有效的算法仍需研究。
2019-12-21 cs.CV cs.LG
Stable Sparse Subspace Embedding for Dimensionality Reduction
Zhengzhou University(郑州大学);Xidian University(西安电子科技大学)
稀疏随机投影(RP)是一种流行的降维工具,表现出良好的性能与低计算复杂性。然而,在现有的稀疏RP矩阵中,非零元素的位置通常是随机选择的。虽然它们都采用了带替换的均匀抽样,但由于抽样方差较大,一次产生的投影矩阵的非零个数在各行之间不均匀,降维后可能丢失更多的数据信息。为了突破这一瓶颈,本文基于统计学中的随机抽样不替换原理,构造了一种稳定的稀疏子空间嵌入矩阵(S-SSE)。证明了S-SSE比已有的矩阵更稳定,降维后能很好地保持点间欧氏距离。我们的实证研究证实了我们的理论研究结果,并证明我们的方法确实可以取得令人满意的性能。
2020-02-07 cs.LG stat.ML
Training Bayesian Neural Networks with Sparse Subspace Variational Inference
Purdue University(普渡大学)
提出首个完全稀疏的贝叶斯神经网络框架SSVI,通过交替优化稀疏子空间基选择与参数,在训练和推断全程保持高稀疏性,大幅降低训练成本并实现10-20倍模型压缩且性能损失极小。
2024-02-16 cs.LG stat.ML
A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data
Carnegie Mellon University(卡内基梅隆大学)
子空间聚类是将未标记的数据点划分为多个簇的问题,使得一个簇内的数据点近似位于低维线性子空间上。在许多实际应用中,由于测量、计算或隐私等方面的限制,待聚类数据点的维数被压缩。本文研究了一种流行的子空间聚类算法稀疏子空间聚类(SSC)的理论性质,建立了稀疏子空间聚类在降维数据上的形式化成功条件。我们的分析适用于最一般的完全确定性模型,其中每个子空间内的底层子空间和数据点都是确定性定位的,并且还适用于各种降维技术(例如,高斯随机投影,均匀子采样,草图),落入子空间嵌入框架(Meng & Mahoney,2013; Avron等人,2014年)。最后,我们将我们的分析应用于差分私有SSC算法,并建立了所提出的方法的隐私和效用保证。
2016-10-24 cs.LG stat.ML
Sparse Subspace Clustering: Algorithm, Theory, and Applications
University of California, Berkeley(加州大学伯克利分校);The Johns Hopkins University(约翰斯·霍普金斯大学)
在许多现实世界的问题中,我们处理的是高维数据的集合,如图像、视频、文本和Web文档、DNA微阵列数据等。通常,高维数据位于与数据所属的几个类或类别相对应的低维结构附近。在本文中,我们提出并研究了一种算法,称为稀疏子空间聚类(SSC),聚类数据点,位于低维子空间的联合。其关键思想是,在一个数据点的无限多个可能的表示中,稀疏表示对应于从同一子空间中选择几个点。这促使求解稀疏优化程序,其解决方案用于谱聚类框架中,以推断将数据聚类到子空间中。由于解决稀疏优化程序一般是NP-难的,我们认为凸松弛,并表明,在适当的条件下,安排的子空间和数据的分布,建议的最小化程序成功地恢复所需的稀疏表示。该算法可以有效地解决,并可以处理数据点附近的交叉子空间。所提出的算法相对于现有技术的另一个关键优点是,它可以处理数据的滋扰,如噪声,稀疏的离群条目,和丢失的条目,直接通过将数据的模型到稀疏优化程序。我们通过对合成数据以及运动分割和人脸聚类这两个实际问题的实验,证明了该算法的有效性。
2013-02-05 cs.CV cs.IR cs.IT
Fast Robust Subspace Tracking via PCA in Sparse Data-Dependent Noise
Iowa State University(爱荷华州立大学)
本文研究了鲁棒子空间跟踪问题。鲁棒ST可以简单地理解为鲁棒PCA的(慢)时变子空间扩展。它假设真实数据位于一个低维子空间中,该子空间要么是固定的,要么随时间缓慢变化。我们的目标是在存在可加稀疏离群值的情况下跟踪随时间变化的子空间,并快速完成(具有短延迟)。我们引入了一个“快速”的小批量强大的ST解决方案,是可证明正确的温和的假设下。这里“快速”意味着两件事:(i)可以检测到子空间变化,并且可以以接近最优的延迟跟踪子空间,以及(ii)这样做的时间复杂度与简单(非鲁棒)PCA的时间复杂度相同。我们的主要结果假设分段常数子空间(需要可识别性),但我们也提供了一个推论的情况下,每次有一点变化。第二个贡献是一个新的非渐近保证PCA在线性数据相关的噪声。这是有用的一个重要设置是用于线性数据相关噪声,该噪声是稀疏的,支持随时间变化足够。我们提出的鲁棒ST解决方案的子空间更新步骤的分析使用这个结果。
2020-12-04 cs.IT cs.LG math.IT
Dynamic Multivariate Functional Data Modeling via Sparse Subspace Learning
National University of Singapore(新加坡国立大学);Arizona State University(亚利桑那州立大学);Samsung Electronics(三星电子);Georgia Institute of Technology(佐治亚理工学院)
来自复杂系统的多元函数数据自然是高维的,并且具有复杂的互相关结构。数据结构的复杂性可以被观察为:(1)一些函数与相似的特征强烈相关,而另一些函数可能与非常不同的特征几乎没有互相关;以及(2)互相关结构也可能由于系统演化而随时间变化。针对这一问题,本文提出了一种基于动态子空间学习的多元函数数据建模方法。特别地,我们考虑不同的函数来自不同的子空间,并且只有相同子空间的函数彼此具有互相关。子空间可以通过将问题重新格式化为稀疏回归来自动制定和学习。通过允许但规则化随时间的回归变化,我们可以描述互相关动态。该模型可以有效地估计的快速迭代收缩阈值算法(FISTA),每个子空间的特征可以使用光滑的多通道功能PCA提取。数值研究和案例研究表明,所提出的方法的效率和适用性。
2018-04-11 cs.LG stat.ML
Dense for the Price of Sparse: Improved Performance of Sparsely Initialized Networks via a Subspace Offset
Mathematical Institute, University of Oxford(牛津大学数学研究所);The Alan Turing Institute(艾伦图灵研究所)
神经网络可以被修剪到高稀疏度并保持高精度是公认的。最近的研究工作集中在修剪后立即初始化,以便允许稀疏提供的计算节省扩展到训练过程。在这项工作中,我们引入了一个新的“DCT加稀疏”层架构,即使剩下0.01%的可训练内核参数,它也能保持信息传播和可训练性。我们表明,使用这些层构建的网络的标准训练,并在初始化时修剪,在各种基准网络架构和数据集上实现了最先进的极端稀疏精度。此外,这些结果仅使用简单的算法来确定可训练参数在网络中的位置来实现,并且因此不必初始地存储或计算完整的未修剪的网络,如竞争的初始化修剪算法所要求的。从标准稀疏层切换到DCT+稀疏层不会增加网络的存储空间,并且只会产生少量的额外计算开销。
2021-06-15 cs.LG
On Geometric Analysis of Affine Sparse Subspace Clustering
Beijing University of Posts and Telecommunications(北京邮电大学);Johns Hopkins University(约翰斯·霍普金斯大学)
稀疏子空间聚类(SSC)是一种最先进的方法,用于将从子空间的并集中提取的一组数据点分割到它们各自的子空间中。现在很好地理解,SSC在广泛的几何条件下产生子空间保持数据亲和性,但遭受连接问题。在本文中,我们开发了一种新的几何分析的SSC的变体,命名为仿射SSC(ASSC),从仿射子空间的联合聚类数据的问题。我们的贡献包括一个新的概念,称为仿射独立捕获的仿射子空间的集合的安排。在仿射独立的假设下,我们证明了ASSC保证产生子空间保持的亲和力。此外,灵感的现象,即$\ell_1$正则化不再引起稀疏的解决方案是非负的,我们进一步表明,子空间保持恢复可以实现在更弱的条件下,所有数据点以外的极端点,从每个子空间。此外,我们证实了一个奇怪的观察,由ASSC产生的亲和力可能是子空间密集的-这可以保证子空间保持的亲和力ASSC产生正确的聚类条件下,相当弱。我们验证了精心设计的合成数据的理论研究结果,并评估ASSC的性能在几个真实的数据集。
2018-11-21 cs.CV cs.LG eess.SP
Theoretical Analysis of Sparse Subspace Clustering with Missing Entries
ShanghaiTech University(上海科技大学);Johns Hopkins University(约翰斯·霍普金斯大学)
稀疏子空间聚类(SSC)是一种流行的无监督机器学习方法,用于聚类靠近低维线性子空间的未知并集的数据;在模式识别和计算机视觉中有许多应用的问题。尽管SSC对于完整数据的行为现在已经很好地理解了,但是当应用于具有缺失条目的数据时,对其理论性质知之甚少。在本文中,我们给出了理论上的保证SSC与不完整的数据,并分析建立,投影的零填充的数据到被表示的点的观察模式导致性能的大幅改善。从我们的分析中得出的主要观点是,即使投影会导致额外的缺失条目,但这被以下事实所抵消,即投影和零填充数据实际上是与相应投影子空间的并集相关联的不完整点,相对于投影子空间,被表达的点是完整的。这一现象的重要性可能延伸到整个自我表达方法的类别。
2018-02-09 cs.LG stat.ML
Subspace Clustering of Very Sparse High-Dimensional Data
STOR-i Centre for Doctoral Training Lancaster University(兰卡斯特大学STOR-i博士培训中心);Lancaster University(兰卡斯特大学);Department of Mathematics and Statistics Lancaster University(兰卡斯特大学数学与统计系);Department of Management Science Lancaster University(兰卡斯特大学管理科学系);Data Science Campus Office for National Statistics(英国国家统计局数据科学园区办公室);Lancaster, UK(英国兰卡斯特);Newport, UK(英国纽波特)
在本文中,我们考虑使用子空间聚类的非常短的文本的聚类集合的问题。这个问题出现在许多应用中,例如产品分类,欺诈检测和情感分析。主要的挑战在于,短文本的矢量表示是高维的,因为语料库中有大量的独特术语,并且非常稀疏,因为每个文本包含非常少的单词,没有重复。我们提出了一个新的,简单的子空间聚类算法,依赖于线性代数聚类这样的数据集。从美国亚马逊网站获得的产品名称识别产品类别的实验结果表明,该算法可以竞争国家的最先进的聚类算法。
2019-01-25 cs.LG stat.ML
Data-Adaptive Low-Rank Sparse Subspace Clustering
Ruđer Bošković Institute(鲁杰尔·博什科维奇研究所)
针对现有低秩稀疏子空间聚类(LRSSC)算法缺乏数据自适应性的问题,提出纳入S0/L0拟范数数据自适应替代项的LRSSC算法,提供近端算子数值解并证明全局收敛性,在三个数据集上与相关算法对比验证性能。
2025-02-14 cs.LG
Online Structural Change-point Detection of High-dimensional Streaming Data via Dynamic Sparse Subspace Learning
Peking University(北京大学);Virginia Tech(弗吉尼亚理工大学);Shanghai Jiao Tong University(上海交通大学)
高维流数据在许多领域变得越来越普遍。它们通常位于多个低维子空间中,并且由于模式转移或异常的发生,流形结构可能在时间尺度上突然改变。然而,以实时方式检测结构变化的问题还没有得到很好的研究。为了填补这一空白,我们提出了一种动态稀疏子空间学习方法在线检测高维流数据的结构变化点。提出了一种新的多结构变点模型,并研究了估计量的渐近性质。提出了一种基于贝叶斯信息准则和变点检测精度的惩罚系数整定方法。提出了一种有效的基于剪枝精确线性时间的在线优化和变点检测算法。通过几个仿真研究和一个真实的案例研究手势数据的运动跟踪所提出的方法的有效性证明。
2022-04-12 cs.LG stat.ML
Greedier is Better: Selecting Multiple Neighbors per Iteration for Sparse Subspace Clustering
National Yang Ming Chiao Tung University(国立阳明交通大学);Mississippi State University(密西西比州立大学)
稀疏子空间聚类(SSC)使用基于贪婪的邻居选择,如正交匹配追踪(OMP),已被称为一个流行的计算效率高的替代流行的基于L1最小化的方法。本文提出了一种新的SSC计划,使用广义OMP(GOMP),一个汤的OMP,从而确定多个邻居,每次迭代,随着一个新的停止规则,只需要一个知识的环境信号的尺寸。与每次迭代识别一个邻居的常规OMP相比,所提出的GOMP方法涉及较少的迭代,从而享有较低的算法复杂度;有利地,所提出的停止规则不受子空间维度和噪声功率的离线估计的影响。在半随机模型下,分析性能保证,在邻居恢复率方面,建立证明所提出的GOMP的优势。实验结果表明,GOMP算法能够以较高的概率(i)被所提出的停止规则停止,(ii)比OMP算法能够检索到更多的真实邻居,从而获得更高的最终数据聚类精度.使用合成数据和真实人脸数据的计算机模拟提供了验证我们的分析研究和证据所提出的方法的有效性。
2022-04-06 cs.LG
Basis Pursuit and Orthogonal Matching Pursuit for Subspace-preserving Recovery: Theoretical Analysis
Lehigh University(利哈伊大学);The Johns Hopkins University(约翰斯·霍普金斯大学)
给定一个过完备字典$A$和一个信号$b = Ac^*$,其中某个稀疏向量$c^*$的非零元素对应于$A$的线性无关列,经典稀疏信号恢复理论考虑$c^*$是否可以恢复为$b = A c$的唯一稀疏解的问题.现在很好地理解,当字典$A$是不相干的或受限制的等距的时,这种恢复通过实用算法是可能的。在本文中,我们考虑更一般的情况下,$b$位于一个子空间$\mathcal{S}_0$由一个子集的线性相关列的$A$,其余列的子空间之外。在这种情况下,稀疏表示可能不是唯一的,并且字典可能不是不连贯的或受限制的等距的。目标是使表示$c$正确地标识子空间,即,$c$的非零条目应当对应于子空间$\mathcal{S}_0$中的$A$的列。这种表示$c$被称为子空间保持,这是一个关键概念,在高维数据中学习低维结构时有重要应用。我们提出了各种几何条件,保证子空间保持恢复。其中,覆盖半径和角距离分别刻画了子空间中点的分布以及子空间中点与子空间外点的相似性.重要的是,这些条件并不要求字典是不连贯的或受限制的等距。通过建立子空间保持恢复问题和经典的稀疏信号恢复问题在后者的共同假设下是等价的,我们证明了我们提出的几个条件是稀疏信号恢复文献中一些众所周知的条件的推广。
2019-12-30 cs.CV cs.LG stat.ML
Subspace Representation Learning for Sparse Linear Arrays to Localize More Sources than Sensors: A Deep Learning Methodology
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
本文提出一种基于深度学习的稀疏线性阵列子空间表示学习方法,通过Grassmann流形损失和一致秩采样直接估计信号与噪声子空间,在定位多于传感器的信源时优于传统SDP和现有DNN协方差重建方法。
2025-03-10 cs.LG eess.SP
Provable Noisy Sparse Subspace Clustering using Greedy Neighbor Selection: A Coherence-Based Perspective
稀疏子空间聚类(SSC)使用基于贪婪的邻居选择,如匹配追踪(MP)和正交匹配追踪(OMP),已被称为是一种流行的计算效率高的替代传统的基于L1最小化的方法。在确定性有界噪声腐败,在本文中,我们推导出基于相干性的充分条件,保证正确的邻居识别使用MP/OMP。我们的分析利用了两个噪声数据点之间的最大/最小内积受到一个已知的上限的噪声水平。所得到的充分条件清楚地揭示了噪声对基于贪婪的邻居恢复的影响。具体地说,它断言,只要噪声足够小,使得所得到的扰动残差向量保持接近所需的子空间,MP和OMP都成功地返回正确的邻居子集。一个惊人的发现是,当地面真值子空间彼此分离并且噪声不大时,基于MP的迭代在享受较低算法复杂度的同时,产生较小的残差扰动,从而能够更好地识别正确的邻居,进而实现更高的全局数据聚类精度。大量的数值实验被用来证实我们的理论研究。
2020-02-02 cs.LG stat.ML
Reverse Engineering $\ell_p$ attacks: A block-sparse optimization approach with recovery guarantees
Johns Hopkins University(约翰斯·霍普金斯大学)
基于深度神经网络的分类器已被证明容易受到对其输入的不可感知的扰动的影响,例如$\ell_p$有界范数对抗攻击。这促使许多防御方法的发展,然后打破了新的攻击,等等。本文侧重于逆向工程对抗攻击的不同,但相关的问题。具体来说,给定一个受攻击的信号,我们研究的条件下,人们可以确定攻击的类型($\ell_1$,$\ell_2$或$\ell_\infty$)和恢复干净的信号。我们提出这个问题作为一个块稀疏恢复问题,其中信号和攻击都被假定为位于子空间的联合,其中包括每个类一个子空间和每个攻击类型一个子空间。我们推导出几何条件下的子空间,任何攻击的信号可以被分解为一个干净的信号加上攻击的总和。此外,通过确定包含信号和攻击的子空间,我们还可以对信号进行分类并确定攻击类型。数字和人脸分类实验证明了该方法的有效性。
2022-03-09 cs.LG
Robust Kernel Sparse Subspace Clustering
Ruđer Bošković Institute(鲁杰·博什科维奇研究所)
针对现有核子空间聚类无法处理非高斯稀疏损坏的问题,提出首个鲁棒核稀疏子空间聚类算法,经两个数据集和Wilcoxon检验验证,性能显著优于线性鲁棒基线,且原理可推广至其他子空间聚类算法。
2024-01-30 cs.LG
Probabilistic Sparse Subspace Clustering Using Delayed Association
University of Central Florida(中佛罗里达大学)
发现和聚类高维数据中的子空间是机器学习的一个基本问题,在数据挖掘、计算机视觉和模式识别中有着广泛的应用。早期的方法将问题分为两个独立的阶段,即找到相似性矩阵和找到聚类。类似于最近的一些作品,我们整合这两个步骤使用联合优化方法。我们做出了以下贡献:(i)在将点分配给子空间之前,我们估计每个点的集群分配的可靠性。我们将数据点分为两组“确定”和“不确定”,后一组的分配延迟,直到他们的子空间关联确定性提高。(ii)我们证明了延迟关联更适合于聚类具有模糊性的子空间,即当子空间相交或数据被离群值/噪声污染时。(iii)我们的实验表明,这种延迟的概率关联导致更准确的自我表示和最终的集群。所提出的方法具有较高的精度都只位于一个子空间的点,和那些在子空间的交集。(iv)我们表明,延迟关联导致计算成本的巨大减少,因为它允许增量谱聚类。
2018-08-28 cs.CV cs.LG stat.ML
Active Orthogonal Matching Pursuit for Sparse Subspace Clustering
Tsinghua University(清华大学)
稀疏子空间聚类(SSC)是一种对低维子空间中的高维数据点进行聚类的方法。然而,虽然基于$\ell_1$优化的SSC算法遭受高计算复杂性,但是SSC的其他变体,诸如基于正交匹配追踪的SSC(OMP-SSC),在追求提高时间效率时损失聚类准确性。在这封信中,我们提出了一种新的主动OMP-SSC,它提高了OMP-SSC的聚类精度,通过自适应更新数据点和随机丢弃的数据点在OMP过程中,同时仍然享受低计算复杂性的贪婪追求算法。我们提供启发式分析我们的方法,并解释这两个积极的步骤如何实现更好的连接和分离之间的权衡。对合成数据和实际数据的数值结果验证了我们的分析,并显示了所提出的主动算法的优点。
2017-08-16 cs.CV cs.IT cs.LG
Group-Invariant Subspace Clustering
Tufts University(塔夫茨大学);University of Washington(华盛顿大学)
在本文中,我们考虑组不变子空间聚类的问题,其中的数据被假定为来自一个联盟的组不变的子空间的向量空间,即是不变的相对于一个给定的组的行动的子空间。代数上,这样的群不变子空间也被称为子模。类似于众所周知的稀疏子空间聚类方法,其中假设数据来自子空间的并集,我们分析了一种算法,在最近的工作[1]之后,我们将其称为稀疏子模块聚类(SSmC)。该方法是基于找到组稀疏的数据点的自我表示。在本文中,我们主要推导出一般条件下,这种群不变子空间识别是可能的。特别地,我们扩展了[2]中的几何分析,并且在此过程中,我们确定了几何泛函分析中的一个相关问题。
2015-10-15 cs.IT cs.LG math.IT
$\ell_0$-Motivated Low-Rank Sparse Subspace Clustering
Rudjer Boskovic Institute(鲁杰尔·博什科维奇研究所)
在许多应用中,高维数据点可以很好地表示为低维子空间。为了识别子空间,重要的是捕获数据的全局和局部结构,这是通过对数据表示矩阵施加低秩和稀疏约束来实现的。在低秩稀疏子空间聚类(LRSSC)中,核范数和$\ell_1$范数用于度量秩和稀疏性。然而,核规范和$\ell_1$规范的使用导致过度惩罚问题,并且仅近似于原始问题。在本文中,我们提出了两个$\ell_0$准范数的正则化。首先,本文提出了基于多元推广极大极小凹罚的正则化方法(GMC-LRSSC),它包含了$\ell_0$拟范数正则化目标的全局极小解。之后,我们引入Schatten-0($S_0$)和$\ell_0$正则化目标,并使用邻近平均方法($S_0/\ell_0$ -LRSSC)近似联合解的邻近映射。由此产生的非凸优化问题求解交替方向方法的乘数与建立的收敛条件的两种算法。合成和四个真实世界的数据集上获得的结果显示GMC-LRSSC和$S_0/\ell_0$ -LRSSC的有效性相比,国家的最先进的方法。
2018-12-17 cs.CV cs.LG math.OC
RINS: Residual-Image Neural Subspace Solvers for Large Sparse Linear Systems
Shanghai Innovation Institute(上海创新研究院);Harbin Institute of Technology(哈尔滨工业大学);Shanghai Jiao Tong University(上海交通大学);Renmin University of China(中国人民大学)
针对大型稀疏线性系统,提出Gate-RINS神经子空间求解器,利用残差图像生成校正基并门控调制,在多个PDE基准上比GMRES和图基线更快达到残差阈值,混合调度进一步提升性能。
2026-10-30 cs.CE cs.LG
Concise Fuzzy System Modeling Integrating Soft Subspace Clustering and Sparse Learning
Jiangnan University(江南大学);The Hong Kong Polytechnic University(香港理工大学)
高木-关野-康模糊系统(TSK FS)的可解释性和不确定性建模能力使其能够直观、有效地描述复杂的非线性系统。然而,经典的TSK FS通常采用数据的整个特征空间进行模型构建,这会导致高维数据的规则冗长,导致可解释性退化。此外,对于高度非线性的建模任务,通常需要使用大量的规则,这进一步削弱了TSK FS的清晰度和可解释性。为了解决这些问题,本文结合增强软子空间聚类(ESSC)和稀疏学习(SL)技术,提出了一种简洁的零阶TSK FS构造方法--ESSC-SL-CTSK-FS。该方法利用ESSC生成不同模糊规则的前件和各种稀疏子空间,利用SL优化模糊规则的后件参数,从而有效地减少模糊规则的数量。最后,利用所提出的ESSC-SL-CTSK-FS方法构造了简洁的零阶TSK FS,使高维数据建模中的场景更清晰、更容易解释。在各种真实世界的数据集上进行了实验,以确认的优势。
2019-04-24 cs.LG stat.ML
Gaussian Mixture Models with Component Means Constrained in Pre-selected Subspaces
IBM Almaden Research Center(IBM阿尔马登研究中心);The Pennsylvania State University(宾夕法尼亚州立大学)
本文研究了一个分量均值约束在一个预先选定的子空间中的高斯混合模型。分类和聚类的应用进行了探讨。EM型估计算法的推导。我们证明了包含具有公共协方差阵的GMM的分量均值的子空间也包含密度和类均值的模。这促使我们通过对核密度和类均值的模式应用加权主成分分析来找到子空间。为了避免核带宽难以确定的困难,我们从基于带宽序列的核密度中获得多个子空间。对每个子空间约束下的GMM进行估计,并选择产生极大似然的模型。一个降维属性被证明在意义上的分类或聚类的信息。在真实数据集和模拟数据集上进行了实验,研究了几种确定子空间的方法,并与降秩混合判别分析(MDA)进行了比较。我们的新方法与简单的技术,跨越子空间,只有类的手段往往优于降秩MDA时,子空间维数很低,使它特别吸引人的可视化。
2015-08-26 cs.LG stat.ML
The Difficulty of Training Sparse Neural Networks
Google Research(谷歌研究院);University of Oxford(牛津大学);Deepmind(深度思维)
我们研究了训练稀疏神经网络的困难,并对稀疏范围内的优化动力学和能量景观进行了新的观察。\citep{Gale2019, Liu2018}最近的工作表明,在ImageNet-2012数据集上训练的稀疏ResNet-50架构收敛到的解决方案比通过修剪找到的解决方案要差得多。我们表明,尽管优化失败,有一个线性路径,从初始化到“好”的解决方案的单调递减的目标。此外,我们试图找到一个减少的目标路径从“坏”的解决方案的“好”的稀疏子空间失败。然而,如果我们允许路径穿过稠密子空间,那么我们始终会找到两个解之间的路径。这些发现表明,可能需要穿越额外的维度来逃避稀疏子空间中的固定点。
2020-10-07 cs.CV cs.LG stat.ML
Rigorous Restricted Isometry Property of Low-Dimensional Subspaces
Tsinghua University(清华大学)
在机器学习和计算机版本中,为了降低数据位于潜在低维结构中的大规模问题的求解复杂度,需要进行简化。基于这一需要,本文研究了$\mathbb{R}^N$中低维子空间高斯随机投影的限制等距性(RIP),严格证明了$\mathbb{R}^n$中投影数据所跨越的任意两个子空间之间的投影Frobenius范数距离($n<N$)与原始子空间之间的距离几乎相同,且概率不小于$1 - {\rm e}^{-\mathcal{O}(n)}$ .以前,著名的约翰逊-林登施特劳斯(JL)引理和RIP的稀疏向量已经稀疏信号处理,包括压缩感知的基础。作为稀疏向量的JL引理和RIP的类比,这项工作允许使用随机投影来减少环境维数,并在理论上保证压缩后子空间之间的距离得到很好的保留。
2018-01-30 cs.IT cs.LG math.IT
Sparse Mutation Decompositions: Fine Tuning Deep Neural Networks with Subspace Evolution
Colorado State University(科罗拉多州立大学)
神经进化是将进化算法与神经网络相结合的一个很有前途的研究领域。神经进化方法的一个流行的子类,称为演化策略,依赖于密集的噪声扰动来变异网络,这对于具有数百万参数的大型模型来说可能是采样效率低下和具有挑战性的。我们介绍了一种方法来缓解这个问题,通过分解密集突变到低维子空间。以这种方式限制突变可以显着减少方差,因为网络可以在保持性能的同时处理更强的扰动,这使得深度网络的进化更加可控和有针对性。这种方法对于微调预训练模型的任务非常有效,随着网络规模的不断扩大和开源模型的越来越广泛,这是一个越来越有价值的研究领域。此外,我们还展示了这项工作如何自然地与集成学习联系在一起,其中稀疏突变鼓励儿童之间的多样性,这样他们的组合预测就可以可靠地提高性能。我们对神经进化的微调和集成进行了首次大规模探索,在众所周知的困难ImageNet数据集上,我们看到了小的泛化改进,只有一个单一的进化代,使用了近十几个不同的深度神经网络架构。
2023-02-12 cs.LG cs.NE
Fully Scalable Gaussian Processes using Subspace Inducing Inputs
University College London(伦敦大学学院);Athens University of Economics and Business(雅典经济与商业大学);The Alan Turing Institute(艾伦·图灵研究所)
我们引入完全可扩展的高斯过程,一个实现方案,解决了大量的训练实例与高维输入数据一起处理的问题。我们的关键思想是一个表示技巧的诱导变量称为子空间诱导输入。这是结合一定的矩阵预处理的变分分布,导致简化和数值稳定的变分下界的参数化。我们的说明性应用程序是基于具有挑战性的极端多标签分类问题与非常大量的类标签的额外负担。我们证明了我们的方法的有用性,提出预测性能与低计算时间在数据集具有非常大的实例和输入尺寸。
2018-07-12 cs.LG stat.ML
Restricted Isometry Property of Gaussian Random Projection for Finite Set of Subspaces
Tsinghua University(清华大学)
降维在降低求解大规模问题的复杂性方面起着至关重要的作用。著名的Johnson-Lindenstrauss(JL)引理和限制性等距性质(RIP)允许在保持欧氏距离的情况下使用随机投影来降低维数,这导致了压缩感知和稀疏相关信号处理领域的繁荣。最近,稀疏模型在计算机视觉和机器学习中的成功应用越来越多地暗示,高维数据的底层结构看起来更像是子空间的联合(UoS)。本文在JL引理和压缩子空间聚类(CSC)这一新兴领域的启发下,首次研究了基于广义投影$F$-范数距离的高斯随机矩阵压缩子空间的RIP问题。我们从理论上证明,以高概率的亲和力或两个投影子空间之间的距离集中在他们的估计。当投影后的环境维数足够大时,两个子空间之间的亲和力和距离在随机投影后几乎保持不变。数值实验验证了理论工作。
2017-12-05 cs.IT cs.LG math.IT