Dealing with datasets of very high dimension is a major challenge in machine learning. In this paper, we consider the problem of feature selection in applications where the memory is not large enough to contain all features. In this setting, we propose a novel tree-based feature selection approach that builds a sequence of randomized trees on small subsamples of variables mixing both variables already identified as relevant by previous models and variables randomly selected among the other variables. As our main contribution, we provide an in-depth theoretical analysis of this method in infinite sample setting. In particular, we study its soundness with respect to common definitions of feature relevance and its convergence speed under various variable dependance scenarios. We also provide some preliminary empirical results highlighting the potential of the approach.
Memory-Efficient Subspace Optimization with Residual Correction: From Momentum SGD to Muon
State Key Laboratory of Novel Software Technology, Nanjing University(南京大学软件新技术国家重点实验室);School of Artificial Intelligence, Nanjing University(南京大学人工智能学院);Alibaba Token Hub, Alibaba Group(阿里巴巴集团阿里Token中心);School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与技术学院)
Compositional Generalization with Tree Stack Memory Units
Carnegie Mellon University(卡内基梅隆大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Washington(华盛顿大学);University of California Irvine(加州大学欧文分校);California Institute of Technology(加州理工学院)
Efficient Online Minimization for Low-Rank Subspace Clustering
低秩表示(LRR)是一种有效的分割子空间并数据的方法。然而,已知求解LRR程序在时间复杂度和存储器占用方面具有挑战性,因为核范数正则化矩阵的大小是$n$乘$n$(其中$n$是样本的数量)。在本文中,我们从而开发了一个快速的在线实现LRR,减少了从$O(n^2)$到$O(pd)$的内存成本,$p$是周围的尺寸和$d$是一些估计秩~($d < p \ll n$)。为此目的的关键是LRR程序的非凸重构,其追求生成(未损坏的)观察的基字典。我们建立了理论保证,我们的算法产生的解决方案的序列收敛到一个稳定点的经验和期望损失函数渐近。在人工数据集和真实数据集上的大量实验进一步证实了该算法的快速性、鲁棒性和内存效率。
Lower Memory Oblivious (Tensor) Subspace Embeddings with Fewer Random Bits: Modewise Methods for Least Squares
在本文中,新的一般模式的Johnson-Lindenstrauss(JL)子空间嵌入的建议,都是相当快的生成和更容易存储比传统的JL嵌入时,非常大的向量和/或张量。相应的嵌入结果,然后证明了两种不同类型的低维(张量)子空间。这些新的子空间嵌入结果的第一个产生改进的空间复杂度界嵌入秩$r$张量的CP分解包含在一个固定的(但未知的)一组$r$秩一基础张量的跨度。在传统的向量设置这第一个结果产生新的和非常一般的近最优的不经意子空间嵌入结构,需要更少的随机位比标准的JL嵌入时,嵌入子空间的$\mathbb{C}^N$由特殊的Kronecker结构的基向量跨越生成。这里证明的第二个结果提供了任意$r$维子空间$\mathcal{S} \subset \mathbb{C}^N$的新的快速JL嵌入,其也需要更少的随机比特(并且因此更容易存储-即,需要更少的空间),以便实现小的$ε$失真。这些新的不经意子空间嵌入结果通过$(i)$有效地将$\mathcal{S}$中的任何给定向量折叠成(不一定是低秩)张量,然后$(ii)$将所得张量嵌入到$m \leq C r \log^c(N) / ε^2$的$\mathbb{C}^m$中。与压缩和快速压缩最小二乘解方法相关的应用也被考虑,包括用于拟合低秩CP分解的应用,并且所提出的JL嵌入结果在这两种设置中都显示出良好的数值效果。