Unsupervised Feature Selection based on Adaptive Similarity Learning and Subspace Clustering
University of Tehran(德黑兰大学);Amirkabir University of Technology(阿米尔卡比尔理工大学)
特征选择方法对提高数据的可读性和降低学习算法的复杂度具有重要作用。近年来,由于在大数据集上的标记任务繁重,基于无监督观点的特征选择问题得到了各种各样的研究。本文提出了一种基于子空间聚类的无监督特征选择新方法,通过对样本间低维子空间的表示学习来保持样本间的相似性。一个自我表达的模型是采用隐式学习的聚类相似性的自适应方式。该方法不仅通过子空间聚类来保持样本的相似性,而且还基于正则化回归模型来捕获判别信息。在基准数据集上的实验结果表明,与现有的方法相比,我们的方法的有效性与所提出的方法的收敛性分析。
2019-12-10 cs.LG stat.ML
Feature selection or extraction decision process for clustering using PCA and FRSD
本文关注的关键决策过程中提取或选择的功能之前,应用聚类算法。评估特征的重要性并不明显,因为最流行的方法通常是针对监督学习技术过程。聚类算法是一种无监督的方法。这意味着没有已知的输出标签与输入数据匹配。本文提出了一种根据数据科学家的参数选择最佳降维方法(选择或提取)的新方法,旨在最终应用聚类过程。它使用基于轮廓分解的特征排名过程(FRSD)算法,主成分分析(PCA)算法和K-Means算法及其度量,轮廓指数(SI)。本文介绍了基于智慧城市数据集的5个用例。本研究还旨在讨论在这种无监督学习过程中可以做出的每种选择的影响、优点和缺点。
2021-11-20 cs.LG
Ensemble feature selection with clustering for analysis of high-dimensional, correlated clinical data in the search for Alzheimer's disease biomarkers
UNSW Sydney(悉尼新南威尔士大学)
医疗保健数据集通常包含高度相关的特征组,例如来自相同生物系统的特征。当将特征选择应用于这些数据集以识别最重要的特征时,由于相关特征而导致的某些多变量特征选择器中固有的偏差使得这些方法难以区分重要特征和不相关特征,并且特征选择过程的结果可能不稳定。特征选择集合,其聚合多个单独的基本特征选择器的结果,已经被研究作为稳定特征选择结果的手段,但是不解决相关特征的问题。我们提出了一个新的框架,以创建特征选择合奏从多变量特征选择器,同时考虑到相关功能组产生的偏见,使用凝聚层次聚类在预处理步骤。这些方法应用于阿尔茨海默病(AD)研究的两个真实世界数据集,AD是一种进行性神经退行性疾病,无法治愈,尚未完全了解。我们的研究结果表明,在没有聚类的模型中选择的特征的稳定性有显着改善,并且这些模型选择的特征与AD文献中的研究结果一致。
2022-07-06 cs.LG
CS Sparse K-means: An Algorithm for Cluster-Specific Feature Selection in High-Dimensional Clustering
Carnegie Mellon University(卡内基梅隆大学)
特征选择是高维聚类中一项重要而又具有挑战性的任务。例如,在基因组学中,可能只有少量基因差异表达,这对整个聚类结构是有信息的。现有的特征选择方法,如稀疏K-means,很少解决只能分离聚类子集的会计特征的问题。在基因组学中,一个基因很可能只能定义一个亚型,而不能区分所有其他亚型,或者只能区分一对亚型。在本文中,我们提出了一种基于K-均值的聚类算法,发现信息的功能,以及集群对可分离的每个选定的功能。该方法本质上是一种期望最大化算法,在M步中对每个簇对引入套索约束,通过最大化原始簇间距离而不是最小化簇内距离来实现E步.结果在模拟数据和白血病基因表达数据集上得到证实。
2019-10-03 cs.LG stat.ME stat.ML
Large-Scale Clustering Based on Data Compression
Pattern Technology Lab LLC(模式技术实验室有限责任公司)
本文研究了大数据集的聚类问题。我们提出了一种基于分布式优化的方法。将聚类问题转化为最大化分类增益的优化问题。我们表明,优化问题可以重新制定和分解成小规模的子优化问题,通过使用Dantzig-Wolfe分解方法。一般来说,Dantzig-Wolfe方法只能用于对偶间隙为零的凸优化问题。即使,在本文中考虑的优化问题是非凸的,我们证明了对偶间隙为零,因为问题的大小趋于无穷大。因此,这里可以应用Dantzig-Wolfe方法。在该方法中,聚类问题由一组由一个中央处理器协调的计算机迭代求解,每台计算机在每次迭代中求解一个独立的小规模子优化问题,并且计算机和中央处理器之间只需要少量的数据通信.数值结果表明,该方法是有效的.
2010-10-20 cs.LG
Sparse and geometry-aware generalisation of the mutual information for joint discriminative clustering and feature selection
Université Côte d’Azur(蔚蓝海岸大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Maasai Team(马赛团队);CHU de Québec Research Centre(魁北克大学中心医院研究中心);Laval University(拉瓦尔大学)
本文提出稀疏GEMINI,一种基于几何感知互信息推广的判别聚类模型,通过l1惩罚实现联合聚类与特征选择,在合成及大规模数据上表现优异,无需先验假设。
2024-07-18 cs.AI cs.LG stat.CO
Interpret3C: Interpretable Student Clustering Through Individualized Feature Selection
EPFL(洛桑联邦理工学院)
针对现有聚类忽视个体特征差异的问题,提出Interpret3C方法,利用神经网络自适应门控为每个学生选择特征,并在5000余名学生的MOOC中验证,提升了聚类的相关性和可解释性。
2024-05-28 cs.CY cs.HC cs.LG
Cascaded two-stage feature clustering and selection via separability and consistency in fuzzy decision systems
School of Information Science and Technology, Nantong University(南通大学信息科学与技术学院)
本文针对高维复杂数据提出级联两阶段特征聚类与选择算法,结合全局可分性与局部一致性评估特征显著性,在多个数据集上提升了分类准确率并减少了特征数量。
2024-07-22 cs.AI cs.LG
Clustering with feature selection using alternating minimization, Application to computational biology
I3S, Univ. Côte d’Azur & CNRS(蔚蓝海岸大学与法国国家科学研究中心I3S实验室);IPMC, Univ. Côte d’Azur & CNRS(蔚蓝海岸大学与法国国家科学研究中心IPMC研究所);LJAD, Univ. Côte d’Azur & CNRS/Inria(蔚蓝海岸大学、法国国家科学研究中心/法国国家信息与自动化研究所LJAD实验室)
本文研究了带特征选择的无监督聚类。问题是估计标签和权重的稀疏投影矩阵。为了解决这个组合非凸问题保持严格控制的稀疏矩阵的权重,我们提出了一个交替最小化的Frobenius范数准则。我们提出了一种新的高效算法命名为K-稀疏交替k-means与投影梯度最小化。投影梯度步骤是一种分裂型方法,在$\ell^1$球上精确投影以提高稀疏性。讨论了梯度投影法的收敛性,并对交替极小化法进行了初步分析。Frobenius范数准则在算法K-sparse中的迭代次数趋于无穷大时收敛。在单细胞RNA测序数据集上的实验表明,该方法显著改善了PCA k-means、谱聚类、SIMLR和Sparcl方法的结果,实现了基因的相关选择。K-sparse的复杂度与样本(细胞)的数量呈线性关系,因此该方法可以扩展到大型数据集。
2019-05-24 cs.AI cs.LG stat.ML
Randomized Dimensionality Reduction for k-means Clustering
Yahoo Labs(雅虎实验室);IBM Zürich Research Lab(IBM苏黎世研究实验室);UC Berkeley(加州大学伯克利分校);Rensselaer Polytechnic Institute(伦斯勒理工学院)
研究了$k$ -均值聚类的降维问题。简化包含两种方法的结合:\emph{feature selection}和\emph{feature extraction}。一种基于特征选择的$k$均值聚类算法选择输入特征的一个小子集,然后对所选特征应用$k$均值聚类。一种基于特征提取的$k$均值聚类算法构造了一个小的新的人工特征集,然后对构造的特征应用$k$均值聚类。尽管$k$均值聚类的重要性以及解决它的探试法的财富,可证明准确的特征选择方法$k$均值聚类是未知的。另一方面,在文献中已知两种可证明准确的$k$均值聚类特征提取方法;一种是基于随机投影,另一种是基于奇异值分解(SVD)。本文对$k$ -均值聚类的降维方法有了进一步的认识。也就是说,我们提出了第一个证明准确的特征选择方法$k$ -均值聚类,此外,我们提出了两个特征提取方法。第一种特征提取方法是基于随机投影的,它在时间复杂度和需要提取的特征数量方面改进了现有的结果。第二种特征提取方法是基于快速近似SVD分解,它也改善了现有的结果方面的时间复杂度。所提出的算法是随机的,并提供恒定的因素近似保证最佳的$k$ -手段的目标值。
2014-11-04 cs.DS cs.LG
A Strongly Consistent Sparse $k$-means Clustering with Direct $l_1$ Penalization on Variable Weights
Indian Statistical Institute(印度统计研究所)
我们提出了Lasso加权$k$ -means($LW$ - $k$ -means)算法,作为一个简单而有效的稀疏聚类过程的高维数据的特征($p$)的数量可以大得多的观察($n$)相比。在$LW$ - $k$ -means算法中,我们引入了一个基于套索的惩罚项,直接在特征权重上加入稀疏聚类框架中的特征选择。$LW$ - $k$ -means不对给定数据集进行任何分布假设,因此,引入了用于特征选择的非参数方法。我们还分析研究了基本的优化过程中的收敛性$LW$ - $k$ -手段,并建立我们的算法的强一致性。$LW$ - $k$ -手段是在几个现实生活和合成数据集上进行测试,并通过详细的实验分析,我们发现,该方法的性能是非常有竞争力的一些国家的最先进的聚类和特征选择程序,不仅在聚类精度,但也相对于计算时间。
2019-03-24 cs.LG stat.ML
An enhanced Teaching-Learning-Based Optimization (TLBO) with Grey Wolf Optimizer (GWO) for text feature selection and clustering
Iran University of Science and Technology(伊朗科技大学)
提出结合TLBO、GWO与GA算子的混合特征选择算法TLBO-GWO,通过六个基准数据集与多种算法对比,证明其能显著提升K-means文本聚类的有效性。
2024-02-19 cs.CL cs.LG cs.NE
CRAFT: ClusteR-specific Assorted Feature selecTion
Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个框架,集群特定的特征选择聚类。的框架,CRAFT,来自非参数MAP为基础的聚类模型的渐近对数后验公式。CRAFT处理各种数据,即,数字和分类数据以及潜在的目标函数都直观地吸引人。由此产生的算法是简单的实现和规模很好,需要最小的参数调整,避免了需要指定的聚类数先验,并与其他方法相比,在真实的数据集。
2015-06-25 cs.LG stat.ML
Robust Representation and Efficient Feature Selection Allows for Effective Clustering of SARS-CoV-2 Variants
Georgia State University(佐治亚州立大学)
由于COVID-19大流行,SARS-CoV-2病毒的大量基因组数据广泛可用,这为研究人员提供了一个机会,可以在不同于之前任何病毒的细节水平上分析这种疾病。这将有助于生物学家,政策制定者和其他当局做出及时和适当的决定,以控制冠状病毒的传播。另一方面,此类研究将有助于更有效地应对未来任何可能的大流行。由于SARS-CoV-2病毒包含不同的变体,每个变体都有不同的突变,因此对这些数据进行任何分析都是一项艰巨的任务。众所周知,SARS-CoV-2基因组中的大部分变异不成比例地发生在基因组序列的刺突区域--编码刺突蛋白的相对较短的区域。因此,在本文中,我们提出了一种聚类刺突蛋白序列的方法,以研究在世界各地以非常高的速度增加的不同已知变体的行为。我们使用基于k-mers的方法首先生成一个固定长度的特征向量表示的尖峰序列。然后,我们表明,与适当的特征选择,我们可以有效地和有效地聚类的尖峰序列的基础上的不同的变体。使用一组公开的SARS-CoV-2尖峰序列,我们进行聚类这些序列使用硬和软聚类方法,并表明,与我们的特征选择方法,我们可以实现更高的F1分数的集群。
2021-10-18 cs.LG q-bio.QM
i-IF-Learn: Iterative Feature Selection and Unsupervised Learning for High-Dimensional Complex Data
SUSTech(华南理工大学);NUS(国立大学)
本文提出i-IF-Learn框架,通过迭代特征选择与聚类,有效识别高维数据中的关键特征,提升聚类性能并增强下游模型表现。
2026-07-07 cs.LG stat.ME
Dimensionality Reduction for $k$-means Clustering
我们提出了一个研究如何有效地降低维度的$k$ -均值聚类问题,从而获得可证明准确的近似。四个算法,两个\textit{feature selection}和两个基于\textit{feature extraction}的算法,所有这些都是随机的。
2020-07-26 cs.LG stat.ML
Fair Regression under Sample Selection Bias
University of Arkansas(阿肯色大学);University of Illinois(伊利诺伊大学)
近年来,公平回归的研究主要集中在发展新的公平概念和近似方法,因为目标变量甚至敏感属性在回归设置中是连续的。然而,所有以前的公平回归研究假设训练数据和测试数据是从相同的分布。由于训练数据和测试数据之间的样本选择偏差,这一假设在现实世界中经常被违反。在本文中,我们开发了一个框架下的样本选择偏差的公平回归时,从训练数据的一组样本的因变量值丢失作为另一个隐藏的过程的结果。我们的框架采用了经典的Heckman模型的偏差校正和拉格朗日对偶,以实现公平的回归的基础上,各种公平的概念。Heckman模型描述了样本选择过程,并使用称为逆米尔斯比(IMR)的衍生变量来校正样本选择偏差。我们使用公平不等式和等式约束来描述各种公平概念,并应用拉格朗日对偶理论将原问题转化为对偶凸优化问题。对于两个流行的公平性概念,平均差和均方误差差,我们推导出明确的公式,无需迭代优化,和皮尔逊相关,我们推导出它的条件,实现强对偶。我们在三个真实世界的数据集上进行了实验,实验结果证明了该方法在效用和公平性指标方面的有效性。
2021-10-08 cs.AI cs.CY cs.LG
Agglomerative Info-Clustering
Chinese University of Hong Kong(香港中文大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院)
提出了一种随机变量的凝聚聚类方法,将具有最大多元互信息的随机变量聚类依次合并形成更大的聚类。与以前的信息聚类算法相比,凝聚的方法允许计算停止时,所需的大小和精度的集群获得较早。基于熵的次模性和划分的主序列与次模函数的主序列之间的对偶性,给出了一个有效的算法。
2017-02-24 cs.IT cs.LG math.IT
Neighborhood Selection for Thresholding-based Subspace Clustering
子空间聚类是指将高维数据点聚类到一个低维线性子空间的并集中的问题,其中子空间的数量,它们的维度和方向都是未知的。在本文中,我们提出了一个变化,最近推出的基于阈值的子空间聚类(TSC)算法,它适用于谱聚类的邻接矩阵构造从最近的邻居的每个数据点相对于球面距离测量。新元素驻留在最近邻居数量的单个数据驱动选择中。以前的性能结果TSC,以及其他子空间聚类算法的基础上,谱聚类,来在一个中间的性能指标,这并不直接解决聚类错误。我们的主要分析贡献是一个性能分析的修改TSC算法(以及原TSC算法)的聚类误差直接。
2014-03-13 cs.IT math.IT stat.ML
Spectrum Sharing with Distributed Relay Selection and Clustering
我们考虑一个频谱共享网络,其中使用n个次级中继来增加次级速率,并且通过降低所需的总体次级发射功率来减轻对初级的干扰。我们提出了一个分布式的中继选择和聚类框架,获得封闭形式的表达式的二次率,并表明,二次率成比例地增加到log n。值得注意的是,这与在没有主要系统及其强加的约束的情况下获得的增长率处于同一数量级。我们的研究结果表明,为了最大化速率,二次中继必须以与n^(-1)成比例的功率进行传输(因此中继功率之和是有界的),并且二次源可能不会以其最大允许功率操作。二次速率和对主要的干扰之间的权衡的特征还在于,示出了主要的干扰可以随着n的增加而渐近地减少到零,同时仍然保持与log n成比例地增长的二次速率。最后,为了解决由于在二次半双工中继的速率损失,我们提出了一个交替中继协议,并研究其性能。
2012-10-04 cs.IT math.IT
Information theoretic model validation for clustering
Swiss Federal Institute of Technology, ETH Zurich(苏黎世联邦理工学院)
聚类中的模型选择需要(i)指定合适的聚类原则和(ii)通过根据数据中的噪声水平选择适当数量的聚类来控制模型阶数复杂度。我们提倡一种信息理论的观点,在测量的不确定性量化的数据分区的集合,从而诱导聚类的解决方案空间中的不确定性。一个聚类模型,它可以容忍更高水平的波动的测量比替代模型,被认为是优越的,提供聚类解决方案是同样的信息。\emph{informativeness}和\emph{robustness}之间的这种折衷用作模型选择标准。数据划分应该从一个数据集推广到一个同样可能的第二个数据集的要求引起了一个新的概念的结构诱导信息。
2010-06-02 cs.IT cs.LG math.IT