Inv-SENnet: Invariant Self Expression Network for clustering under biased data
Northeastern University(东北大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
子空间聚类算法用于理解聚类结构,很好地解释了数据集。这些方法广泛用于自然科学各个领域的数据探索任务。然而,这些方法中的大多数无法处理数据集中不必要的偏差。对于数据样本代表多个属性的数据集,天真地应用任何聚类方法都可能导致不期望的输出。为此,我们提出了一个新的框架,用于联合删除不需要的属性(偏见),同时学习在各个子空间中聚类数据点。假设我们有关于偏差的信息,我们通过逆向学习来正则化聚类方法,以最小化数据和不需要的属性之间的互信息。我们在合成数据集和真实数据集上的实验结果证明了我们方法的有效性。
2022-11-13 cs.CV cs.LG
SGC: A semi-supervised pipeline for gene clustering using self-training approach in gene co-expression networks
New Jersey Institute of Technology(新泽西理工学院)
本研究提出基于谱网络理论的半监督基因聚类流程SGC,通过自训练结合基因本体信息提升模块质量,在12个真实基因表达数据集的11个上富集度优于现有知名框架。
2022-09-21 cs.LG q-bio.GN
Modelling-based experiment retrieval: A case study with gene expression clustering
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学);European Molecular Biology Laboratory(欧洲分子生物学实验室);European Bioinformatics Institute(欧洲生物信息研究所)
动机:实验数据的公共和私人存储库的规模越来越大,需要专门的方法来查找相关数据。为了改进从注释进行关键字搜索的现有技术,已经提出了用于基于内容的检索的方法。在基因表达实验的背景下,大多数方法检索基因表达谱,需要将每个实验表达为单个谱,通常是病例与对照。最近提出的一种更普遍的替代方法是检索模型适合于对查询数据集进行建模的实验。然而,对于非常嘈杂和高维的查询数据,这种检索标准也是非常嘈杂的。结果:我们建议使用查询数据集的去噪模型进行检索,而不是原始的噪声数据集本身。为此,我们引入了一个通用的概率框架,其中每个实验分别建模,并通过查找相关模型进行检索。为了检索基因表达实验,我们使用一个概率模型,称为产品分区模型,它会导致聚类的基因,显示出相似的表达模式,在许多样本。建议使用聚类检索的度量标准是归一化信息距离。经验结果表明,推理的完整的概率模型可以近似使用计算速度更快的启发式聚类方法(例如$k$ -手段)具有良好的性能。该方法具有高度的可扩展性和简单性,可用于构建通用的基因表达实验检索方法。供货情况:该方法可以使用标准聚类算法和归一化信息距离来实现,这些算法在许多统计软件包中可用。
2016-01-04 cs.IR cs.LG stat.ML
ScRAE: Deterministic Regularized Autoencoders with Flexible Priors for Clustering Single-cell Gene Expression Data
IIT Delhi(德里印度理工学院);TIFR(塔塔基础研究所)
聚类单细胞RNA序列(scRNA-seq)数据由于其高维性和数据稀疏性(也称为“脱落”事件)而带来统计和计算挑战。最近,基于正则化自动编码器(Regularized Auto-Encoder,RAE)的深度神经网络模型在学习鲁棒的低维表示方面取得了显著的成功。RAES的基本思想是学习从高维数据空间到低维潜在空间的非线性映射,反之亦然,同时在潜在空间上施加分布先验,这带来了正则化效果。本文认为,RAES遭受臭名昭著的问题,偏差方差权衡在他们的天真制定。虽然没有潜在正则化的简单AE会导致数据过度拟合,但非常强的先验会导致代表性不足,从而导致聚类不佳。为了解决上述问题,我们提出了一个修改的RAE框架(称为scRAE)的单细胞RNA测序数据的有效聚类。scRAE由确定性AE和可灵活学习的先验生成器网络组成,该网络与AE联合训练。这有助于scRAE在潜在空间中的偏差和方差之间更好地权衡。我们通过对几个真实世界的单细胞基因表达数据集进行广泛的实验来证明所提出的方法的有效性。
2021-07-16 cs.LG
A Novel Fuzzy Bi-Clustering Algorithm with AFS for Identification of Co-Regulated Genes
Xidian University(西安电子科技大学)
共调控基因及其转录因子结合位点的鉴定是理解转录调控的关键步骤。除了有效的实验室测定,已经开发了用于检测共表达基因的各种双聚类算法。当应用于基因表达数据时,双聚类方法用于在待识别的实验条件子集下发现具有相似表达模式的基因亚组。利用公理化模糊集(AFS)理论建立基因表达数据的两个模糊划分矩阵,提出一种新的模糊双聚类算法,用于共调控基因的识别。具体地说,首先利用AFS的次偏好关系理论将基因表达数据转化为两个模糊划分矩阵。其中一个矩阵是将基因作为论域,条件作为概念,另一个矩阵是将基因作为概念,条件作为论域。同时在两个分区矩阵上进行共调节基因(双簇)的鉴定。然后,基于划分矩阵定义了一种新的基于模糊的相似性准则,并设计了一种循环优化算法来发现表达式级的重要双聚类。上述过程保证了生成的双聚类具有比通过传统双聚类方法提取的更显著的表达值。最后,所提出的方法的性能进行评估与公开可用的真实微阵列数据集上的三个著名的双聚类算法的性能。实验结果与理论分析一致,表明该算法在不需要任何基因表达数据先验知识的情况下,能够有效地检测出共调控基因。
2023-02-03 cs.LG cs.NA math.NA
Verdict Accuracy of Quick Reduct Algorithm using Clustering and Classification Techniques for Gene Expression Data
Periyar University(佩里亚尔大学)
在大多数基因表达数据中,与实验中涉及的大量基因相比,训练样本的数量非常少。然而,在大量的基因中,只有一小部分是有效的执行某种任务。此外,在开发基于基因表达的诊断工具以提供可靠和可理解的结果时,需要基因的小子集。利用基因选择结果,只需分析标记基因,就可以大大降低生物学实验和决策的成本。基因表达数据在功能基因组学中的一个重要应用是根据基因表达谱对样本进行分类。特征选择(FS)是试图选择更多信息特征的过程。它是知识发现的重要步骤之一。传统的监督FS方法使用评估函数或度量来评估各种特征子集,以仅选择与所考虑的数据的决策类相关的那些特征。研究了一种基于粗糙集理论的特征选择方法。进一步的K-Means,模糊C-均值(FCM)算法已经实现了减少的特征集,而不考虑类标签。然后将得到的结果与原始类别标签进行比较。反向传播网络(BPN)也被用于分类。然后通过混淆矩阵分析了K-Means、FCM和BPN算法的性能。结果发现,BPN表现相对较好。
2013-06-06 cs.CE cs.LG stat.ML
scKDGM: KAN-guided Dynamic Graph Masked Learning for Single-Cell RNA-seq Clustering
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院);Xinjiang Technical Institute of Physics and Chemistry, Chinese Academy of Sciences(中国科学院新疆物理化学研究所)
提出scKDGM框架,结合KAN引导的动态图掩码学习和对比学习,解决scRNA-seq聚类中高维稀疏和噪声问题,在12个数据集上优于基线方法。
2026-06-26 cs.LG q-bio.GN
Learning Self-Expression Metrics for Scalable and Inductive Subspace Clustering
Ludwig-Maximilians-Universität München(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
子空间聚类已经成为一种对高维数据进行聚类的最先进的方法。特别是,依赖于自我表达属性的方法最近被证明特别成功。然而,它们有两个主要缺点:第一,直接学习二次尺寸的系数矩阵,这阻止了这些方法扩展到小数据集之外。其次,经过训练的模型是传导性的,因此不能用于对训练期间未看到的样本外数据进行聚类。而不是学习自我表达系数直接,我们提出了一种新的度量学习方法来学习,而不是一个子空间的亲和函数使用连体神经网络架构。因此,我们的模型受益于恒定数量的参数和恒定大小的内存占用,使其能够扩展到相当大的数据集。此外,我们可以正式证明,我们的模型仍然能够准确地恢复子空间集群给定的独立性假设。连体架构结合一个新的几何分类器,进一步使我们的模型归纳,使其能够聚类样本外的数据。此外,通过简单地将自动编码器模块添加到架构中,可以检测非线性集群。然后,整个模型可以以自我监督的方式进行端到端的训练。这项正在进行的工作报告了MNIST数据集上有希望的初步结果。本着可复制研究的精神,我将所有代码公开。在未来的工作中,我们计划研究我们的模型的几个扩展,并扩大实验评估。
2020-12-18 cs.CV cs.LG stat.ML
Degrees of Freedom and Model Selection for k-means Clustering
Stellenbosch University(斯泰伦博斯大学)
本文研究了k-means聚类中的模型自由度。Stein引理的扩展提供了k均值模型中有效自由度的表达式。近似的自由度在实践中需要简化这个表达式,但实证研究表明,我们提出的方法是适当的。通过使用贝叶斯信息准则的模型选择,证明了这种新的自由度公式的实际意义。该方法的可靠性是通过模拟数据的实验,以及从不同的应用领域的公开可用的基准数据集的大集合进行验证。与流行的现有技术的比较表明,这种方法是非常有竞争力的选择高质量的聚类解决方案。可以从https://github.com/DavidHofmeyr/edfkmeans以R包的形式获得实现所提出方法的代码。
2020-02-21 cs.LG stat.ML
FICAug: Feature-Informed Clustering and Augmentation for Facial-Expression-Based Parkinson's Disease Screening
Department of Electrical and Computer Engineering, University of Tehran(电子与计算机工程系,德黑兰大学)
FICAug通过聚类AU特征并生成合成图像,在临床数据稀缺时提升帕金森病面部表情筛查准确率,达到88.63%交叉验证和94.00%测试准确率。
2026-09-15 cs.AI cs.LG
JojoSCL: Shrinkage Contrastive Learning for single-cell RNA sequence Clustering
Department of Computer Science(计算机科学系);Courant Institute of Mathematical Sciences(数学科学学院)
针对scRNA-seq数据高维稀疏导致聚类困难的问题,提出自监督对比学习框架JojoSCL,通过引入基于分层贝叶斯估计和SURE优化的收缩估计器减少类内离散度,在十个数据集上显著优于现有方法。
2025-05-31 cs.LG q-bio.GN stat.ML
Pan-Cancer Mapping of the Tumor Immune Landscape through Metagene Clustering and Predictive Modeling
本研究通过元基因聚类和预测建模识别了48个稳健的免疫相关基因簇,并评估了其在多种癌症类型中的预后意义和功能相关性,揭示了免疫激活与调控因子的共表达等关键发现。
2026-03-28 cs.LG q-bio.GN
Regression on imperfect class labels derived by unsupervised clustering
Aalborg University Hospital(奥尔堡大学医院);Aalborg University(奥尔堡大学)
在许多应用中,通过无监督聚类识别的类标签回归的结果是自定义的。然而,通常忽略由学习算法引起的类别标签的错误分类,这潜在地导致估计的效果参数的严重偏差。由于其普遍性,我们建议纠正的情况下,使用模拟和外推法。从高斯混合模型的模拟数据的性能说明。最后,我们将我们的方法应用于一项研究,该研究回归了来自多发性骨髓瘤患者骨髓样本基因表达数据的无监督聚类的类标签上的总生存期。
2019-08-16 cs.LG stat.ME stat.ML
Inverted-File k-Means Clustering: Performance Analysis
NTT Communication Science Laboratories(日本电信电话通信科学实验室);Kanagawa University(神奈川大学);University of Shizuoka(静冈大学)
提出了一种适用于大规模稀疏数据集的倒置文件k均值聚类算法(IVF)。给定这样的数据集,IVF以高速和低内存消耗有效地工作,这与标准劳埃德算法保持相同的解决方案。高性能源于两种不同的数据表示。一个是对象和均值特征向量的稀疏表达式。另一种是一组平均特征向量的倒排文件数据结构。为了确认这些表示的效果,我们设计了三个算法,使用不同的数据结构和表达式进行比较。我们的实验表明,IVF实现更好的性能比设计的算法时,他们被应用到大规模的真实文档数据集在现代计算机系统配备了超标量无序处理器和一个深层次的存储系统。我们还介绍了一个简单而实用的每指令时钟周期(CPI)模型的速度性能分析。分析结果表明,IVF抑制了三个性能下降的因素:高速缓存未命中,分支误预测,和完成的指令的数量。
2020-02-21 cs.LG stat.ML
A Data-Driven Approach to Estimating the Number of Clusters in Hierarchical Clustering
我们提出了两种新的方法来估计聚类的数量在一个层次聚类框架中,希望创建一个完全自动化的过程,没有人为干预。这些方法完全是数据驱动的,不需要研究人员的输入,因此是完全自动化的。它们很容易实现,而且一点也不需要大量的计算。我们分析了几个模拟数据集和生物基基因表达集的性能,比较我们的方法建立差距统计和肘的方法,并在多集群的情况下优于两者。
2016-08-16 cs.LG q-bio.QM stat.ME
Machine Learning for Genomic Data
National University of Singapore(新加坡国立大学)
本报告探讨了机器学习技术在短时间序列基因表达数据上的应用。虽然标准的机器学习算法在较长的时间序列上工作得很好,但它们通常无法从较少的时间点找到有意义的见解。在本报告中,我们将探讨基于模型的聚类技术。我们将流行的无监督学习技术,如K-Means,高斯混合模型,贝叶斯网络,隐马尔可夫模型与着名的期望最大化算法相结合。K-Means和高斯混合模型是比较标准的,而隐马尔可夫模型和贝叶斯网络聚类是更新颖的想法,适合时间序列基因表达数据。
2021-11-15 cs.LG q-bio.GN
Synchronization-based clustering on the unit hypersphere
Faculty of Engineering University of Rijeka(工程学院 华沙大学);Faculty of Technical Engineering University of Bihać(技术工程学院 贝哈奇大学)
基于同步的单位超球面聚类方法通过广义库拉托夫斯基模型实现,有效提升了在球面数据上的聚类性能。
2026-03-05 cs.LG
Bayesian Distance Clustering
University of Florida(佛罗里达大学);Duke University(杜克大学)
基于模型的聚类被广泛应用于各种应用领域。然而,对稳健性的基本担忧仍然存在。特别是,结果可以是敏感的内核代表内集群数据密度的选择。利用数据点之间的成对差异的属性,我们提出了一类贝叶斯距离聚类方法,它依赖于建模的成对距离的可能性,而不是原始数据。虽然数据中的一些信息被丢弃,但我们对建模假设具有很大的鲁棒性。所提出的方法代表了一个有吸引力的中间地带之间的距离和基于模型的聚类,从这些典型的方法中的每一个借鉴的优势。我们说明了戏剧性的收益,推断集群的能力,通常的内核选择没有很好地表示。包括一个模拟研究,以评估相对于竞争对手的性能,我们应用的方法来聚类的大脑基因组表达数据。保留字:基于距离的聚类;混合模型;基于模型的聚类;模型规格错误;成对距离矩阵;部分可能性;鲁棒性
2019-06-25 cs.LG stat.ML
Review of Single-cell RNA-seq Data Clustering for Cell Type Identification and Characterization
City University of Hong Kong(香港城市大学)
近年来,单细胞RNA测序技术的发展使我们能够以高通量的方式在单细胞分辨率下进行大规模的转录组学分析。无监督学习如数据聚类已经成为识别和表征新细胞类型和基因表达模式的核心组成部分。在这项研究中,我们回顾了现有的单细胞RNA测序数据聚类方法的相关优势和局限性的关键见解。此外,我们还回顾了上游单细胞RNA测序数据处理技术,如质量控制,归一化和降维。我们在两个单细胞转录组数据集上进行性能比较实验,以评估几种流行的单细胞RNA测序聚类方法。
2020-01-03 cs.LG q-bio.GN q-bio.QM
svcR: An R Package for Support Vector Clustering improved with Geometric Hashing applied to Lexical Pattern Discovery
INRA(法国国家农业研究院)
我们提出了一个新的R包,它需要一个数值矩阵格式作为数据输入,并使用支持向量聚类方法(SVC)计算集群。我们已经实现了一个原始的2D网格标记方法,以加快聚类提取。从这个意义上说,SVC可以被看作是一个有效的聚类提取,如果集群是可分离的2-D地图。其次,我们表明,这种SVC方法使用Jaccard径向基内核可以帮助分类足够好的一组术语到本体类,并帮助定义正则表达式规则的信息抽取的文件,我们的案例研究涉及一组术语和文件的发展和分子生物学。
2015-04-23 cs.CL cs.LG
Cluster Forests
受随机森林分类方法的启发,提出了一种新的聚类集成方法-聚类森林。在几何上,CF随机探测高维数据云以获得“良好的局部聚类”,然后通过谱聚类进行聚合以获得整个数据集的聚类分配。搜索良好的本地聚类是由一个集群质量测量Kappa。CF以类似于RF中的树生长的方式逐步改进每个局部聚类。在两种不同的性能指标下对几个真实数据集的实证研究表明,CF优于其竞争对手。理论分析表明,kappa测度使局部聚类以一种理想的方式增长成为可能--它是“抗噪声”的。在扰动模型下,得到了谱聚类误聚类率的封闭表达式,从而对谱聚类的某些方面有了新的认识。
2013-05-23 cs.LG stat.ME stat.ML
scGTN: Deep Siamese Graph Transformer Network for Single-cell RNA Sequencing Clustering
Sichuan University(四川大学);University of International Business and Economics(对外经济贸易大学);Great Bay University(大湾区大学);The Education University of Hong Kong(香港教育大学)
提出scGTN框架,通过孪生图变换网络整合基因表达与细胞间结构信息,利用最优传输策略进行自监督聚类,在多个数据集上优于现有方法。
2026-06-18 cs.AI cs.LG q-bio.GN
Simple and Scalable Sparse k-means Clustering via Feature Ranking
Department of Statistical Science, Duke University(杜克大学统计科学系);Departments of Computational Medicine, Statistics, and Human Genetics, UCLA(加州大学洛杉矶分校计算医学、统计与人类遗传学系)
聚类是无监督学习中的一项基本活动,当特征空间是高维时,聚类是非常困难的。幸运的是,在许多现实场景中,只有少数特征与区分聚类相关。这激发了稀疏聚类技术的发展,这种技术通常依赖于高计算复杂度的外部算法中的k均值。目前的技术还需要仔细调整收缩参数,进一步限制了它们的可扩展性。在本文中,我们提出了一个新的框架,稀疏k均值聚类,是直观的,简单的实现,并具有竞争力的国家的最先进的算法。我们表明,我们的算法享有一致性和收敛性的保证。我们的核心方法很容易推广到几个特定于任务的算法,如聚类属性的子集和部分观察到的数据设置。我们通过模拟实验和真实数据基准,包括三体小鼠蛋白质表达的案例研究,彻底展示了这些贡献。
2020-10-22 cs.LG stat.ML
Revisiting clustering as matrix factorisation on the Stiefel manifold
Université Lumière-Lyon-II(里昂第二大学);The Alan Turing Institute(艾伦·图灵研究所);The National Physical Laboratory(英国国家物理实验室);Inria Lille - Nord Europe research centre(法国国家信息与自动化研究所里尔-北欧研究中心);University College London(伦敦大学学院)
本文研究了可能高维数据(例如图像,时间序列,基因表达数据和许多其他设置)的聚类,并将其重新表述为PAC-Bayesian框架中的低秩矩阵估计。我们的方法利用了著名的Burer-Monteiro因式分解策略从大规模优化,在低秩估计的背景下。此外,我们的Burer-Monteiro因子躺在Stiefel流形。我们提出了一个新的广义贝叶斯估计这个问题,并证明了新的预测范围的聚类。我们还设计了一个分量朗之万采样器的Stiefel流形上计算这个估计。
2020-06-18 cs.LG stat.ML
A sparse negative binomial mixture model for clustering RNA-seq count data
MD Anderson Cancer Center(MD安德森癌症中心);University of Pittsburgh(匹兹堡大学);University of Maryland(马里兰大学)
对于现代小n大p数据,变量选择聚类是一项具有挑战性的关键任务。基于稀疏高斯混合模型或稀疏K均值的现有方法提供了连续数据的解决方案。随着RNA-seq技术的流行和缺乏用于聚类的计数数据建模,当前的实践是将计数表达数据归一化为连续测量并应用具有高斯假设的现有模型。在本文中,我们开发了一个负二项混合模型与lasso或融合lasso基因正则化聚类样本(小n)与高维基因特征(大p)。采用期望最大化算法和贝叶斯信息准则进行推理,确定整定参数。使用广泛的模拟和大鼠脑和乳腺癌研究中的两个真实转录组应用将该方法与现有方法进行比较。结果表明,所提出的计数数据模型在聚类精度,特征选择和生物学解释的途径优越的性能。
2020-04-25 cs.LG stat.ML
scASDC: Attention Enhanced Structural Deep Clustering for Single-cell RNA-seq Data
School of Information Science and Engineering, Yunnan University(云南大学信息科学与工程学院);College of Nursing Health Sciences, Yunnan Open University(云南开放大学护理健康科学学院);Hefei Institutes of Physical Science, Chinese Academy of Sciences(中国科学院合肥物质科学研究院)
针对 scRNA-seq 数据高稀疏、噪声复杂导致的聚类难题,提出 scASDC,融合 GCN 结构建模、ZINB 自编码器、注意力机制与自监督学习,显著提升单细胞聚类性能。
2024-08-09 cs.AI cs.LG q-bio.GN
Poisson Subspace Clustering: Focusing on the Essentials in Count Data
Aalto University(阿尔托大学);University of Helsinki(赫尔辛基大学)
针对通用算法无法适配计数数据分布特性的问题,提出基于泊松等统计模型的3CPO聚类算法,可识别相关列子集提升可解释性,经多领域实验验证其聚类质量与鲁棒性。
2026-08-25 cs.LG
Latent Simplex Position Model: High Dimensional Multi-view Clustering with Uncertainty Quantification
University of Florida(佛罗里达大学)
高维数据通常包含多个方面,并且多个聚类模式可以在不同的变量子空间(也称为视图)下共存。虽然多视图聚类算法的提出,不确定性量化仍然是困难的-一个特殊的挑战是在估计每个视图下的聚类分配概率的高复杂性,并在视图之间共享信息。在这篇文章中,我们提出了一种近似贝叶斯方法-将在视图上生成的相似性矩阵作为共同分配概率的粗略第一阶段估计;在其Kullback-Leibler邻域中,我们获得了一个改进的低秩矩阵,由单纯形坐标的成对乘积形成。有趣的是,每个单纯形坐标直接编码聚类分配的不确定性。对于多视图聚类,我们让每个视图从几个候选者中提取一个参数化,从而实现降维。由于模型灵活性高,估计可以有效地作为一个连续的优化问题进行,因此享有基于梯度的计算。该理论将该模型与多视图下的随机分区分布建立了联系。与单视图聚类方法相比,当使用高维基因表达数据对来自人类创伤性脑损伤研究的大脑进行聚类时,获得了更多可解释的结果。关键词:协正则化聚类,一致性,PAC-Bayes,随机聚类图,变量选择
2019-10-07 cs.LG stat.ML
Stage I non-small cell lung cancer stratification by using a model-based clustering algorithm with covariates
University of São Paulo(圣保罗大学)
肺癌是目前癌症死亡的主要原因。在各种亚型中,诊断为I期非小细胞肺癌(NSCLC),特别是腺癌的患者数量一直在增加。据估计,30 - 40%的I期患者会复发,10 - 30%的患者会因复发而死亡,这清楚地表明存在可以通过额外治疗获益的亚组。我们假设,由于协变量效应(如诊断和分化时的年龄)可能掩盖了结果,目前识别I期NSCLC亚组的尝试失败。在这种情况下,分层I期NSCLC,我们提出了CEM-Co,一种基于模型的聚类算法,在聚类过程中消除/最大限度地减少不需要的协变量的影响。我们将CEM-Co应用于由129名诊断为I期NSCLC的受试者组成的基因表达数据集,并成功鉴定出具有显著不同表型(预后不良)的亚组,而标准聚类算法失败。
2020-04-05 cs.LG q-bio.QM stat.AP
An Automated Spectral Clustering for Multi-scale Data
Virginia Tech(弗吉尼亚理工学院暨州立大学)
谱聚类算法通常需要输入参数的先验选择,例如聚类的数量、用于亲和度度量的缩放参数或用于参数调整的这些值的范围。尽管努力自动化的谱聚类的过程中,在多尺度和高维空间的数据分组的任务还有待探讨。本文提出了一种谱聚类启发式算法,该算法通过估计数据本身的参数来避免对输入的需要。具体地说,它介绍了启发式的迭代特征间隙搜索(1)全局缩放和(2)局部缩放。这些方法估计缩放参数,并沿着搜索树实现迭代本征间隙量化,以揭示特征空间的不同尺度下的相异性并识别聚类。这些方法的性能已经在具有多尺度性质和基因表达的功率变化的各种真实世界数据集上进行了测试。我们的研究结果表明,迭代特征间隙搜索与PCA为基础的全球尺度计划可以发现不同的模式,在大多数情况下,准确率高于90%,而不要求先验输入信息。
2019-02-06 cs.LG stat.ML
CS Sparse K-means: An Algorithm for Cluster-Specific Feature Selection in High-Dimensional Clustering
Carnegie Mellon University(卡内基梅隆大学)
特征选择是高维聚类中一项重要而又具有挑战性的任务。例如,在基因组学中,可能只有少量基因差异表达,这对整个聚类结构是有信息的。现有的特征选择方法,如稀疏K-means,很少解决只能分离聚类子集的会计特征的问题。在基因组学中,一个基因很可能只能定义一个亚型,而不能区分所有其他亚型,或者只能区分一对亚型。在本文中,我们提出了一种基于K-均值的聚类算法,发现信息的功能,以及集群对可分离的每个选定的功能。该方法本质上是一种期望最大化算法,在M步中对每个簇对引入套索约束,通过最大化原始簇间距离而不是最小化簇内距离来实现E步.结果在模拟数据和白血病基因表达数据集上得到证实。
2019-10-03 cs.LG stat.ME stat.ML
Model-based Clustering using Automatic Differentiation: Confronting Misspecification and High-Dimensional Data
National University of Singapore(新加坡国立大学)
我们研究了两个实际上重要的情况下,基于模型的聚类使用高斯混合模型:(1)当有错误的规格和(2)在高维数据,在最近的进展,梯度下降(GD)的优化使用自动微分(AD)。我们的模拟研究表明,EM有更好的聚类性能,衡量调整后的兰德指数,相比GD的情况下,误指定,而在高维数据GD优于EM。我们观察到,EM和GD都有许多解决方案具有高可能性,但聚类解释较差。为了解决这个问题,我们设计了一个新的惩罚条款的基础上的库尔贝克-莱布勒散度对拟合组件之间的可能性。这种惩罚可能性的梯度的封闭形式表达式很难导出,但AD可以毫不费力地完成,说明了基于AD的优化的优点。扩展这种惩罚高维数据和模型选择进行了讨论。合成和真实数据集上的数值实验证明了使用所提出的惩罚似然方法进行聚类的有效性。
2020-07-08 cs.LG stat.CO stat.ML
Network Elastic Net for Identifying Smoking specific gene expression for lung cancer
Stony Brook University(石溪大学)
非小细胞肺癌患者的生存月数取决于肺癌的分期。我们的目的是确定吸烟特异性基因表达生物标志物在肺癌患者的预后。在本文中,我们介绍了网络弹性网,网络套索的推广,允许同时聚类和回归图。在网络弹性网中,我们考虑相似的患者,根据每年吸烟的情况形成网络。然后,我们进一步找到合适的集群患者之间的系数具有不同的生存月份结构的基因的基础上,并显示使用阶段富集的集群的功效。这可以用来识别癌症的阶段,使用基因表达和患者的吸烟行为,而无需进行任何测试。
2019-08-30 cs.LG stat.ML
Rare Genomic Subtype Discovery from RNA-seq via Autoencoder Embeddings and Stability-Aware Clustering
Department of Computer Science, University of Science and Technology Houari Boumediene (USTHB)(计算机科学系,哈里·布迈迪ene科学技术大学)
本研究结合自编码器嵌入与稳定性感知聚类方法,针对RNA-seq数据开展分析,在排除泛癌层面组织来源的干扰后,于KIRC癌种中识别出占比6.85%的稳定罕见可复现基因组亚型。
2025-11-17 cs.LG q-bio.GN
Expectation Distance-based Distributional Clustering for Noise-Robustness
Iowa State University(爱荷华州立大学)
本文提出了一种聚类技术,通过学习和聚类的数据分布,然后将数据分配到其分布的集群,以减少对数据噪声的敏感性。在此过程中,降低了噪声对聚类结果的影响。该方法涉及在分布之间引入新的距离,即期望距离(表示为ED),其超出了最佳质量传输的最新分布距离(表示为$2$ -Wasserstein的$W_2$):后者本质上仅取决于边缘分布,而前者还使用关于联合分布的信息。利用ED,本文将经典的$K$ -means和$K$ -medoids聚类扩展到数据分布(而不是原始数据)上,并使用$W_2$引入$K$ -medoids。本文还给出了$W_2$和ED距离测度的封闭表达式。建议的ED和$W_2$距离措施聚类真实世界的天气数据,以及股票数据的实施结果,其中涉及有效地提取和使用的基础数据分布-高斯的天气数据与对数正态的股票数据。结果表明,显着的性能改善,与经典的原始数据的聚类,实现更高的准确性ED。此外,不仅基于分布的聚类提供更高的准确性,但它也降低了计算时间,由于降低了时间复杂度。
2023-03-14 cs.LG stat.ML
BasisVAE: Translation-invariant feature-level clustering with Variational Autoencoders
University of Oxford(牛津大学);Alan Turing Institute(艾伦·图灵研究所);University of Birmingham(伯明翰大学);University of Manchester(曼彻斯特大学)
变分自动编码器(VAE)为非线性降维提供了一个灵活且可扩展的框架。然而,在应用领域,如基因组学的数据集通常是表格和高维的,黑盒方法降维不能提供足够的见解。常见的数据分析工作流还使用聚类技术来识别相似特征的组。这通常会导致一个两阶段的过程,但是,这将是可取的,以建立一个联合建模框架,同时降维和聚类的功能。在本文中,我们建议通过BasisVAE来实现这一点:VAE和概率聚类先验的组合,它让我们学习一个独热基函数表示作为解码器网络的一部分。此外,对于不是所有特征都对齐的情况,我们开发了一个扩展来处理双线性不变基函数。我们展示了如何崩溃的变分推断计划导致可扩展的和有效的推理BasisVAE,演示各种玩具的例子,以及单细胞基因表达数据。
2020-03-06 cs.LG q-bio.GN stat.ML
A New Validity Index for Fuzzy-Possibilistic C-Means Clustering
在一些复杂的数据集中,由于噪声数据点和离群值的存在,聚类有效性指标在确定最佳聚类数时可能会给出相互矛盾的结果。本文提出了一种新的模糊可能性c均值聚类的有效性指标称为模糊可能性(FP)指标,它可以很好地工作在存在不同的形状和密度的集群。此外,FPCM像大多数聚类算法一样容易受到一些初始参数的影响。在这方面,除了聚类的数量之外,FPCM还需要对模糊度和典型度进行先验选择。因此,我们提出了一个有效的程序来确定其最佳值。所提出的方法已经使用几个合成和真实世界的数据集进行了评估。最后的计算结果表明,所提出的方法相比,在文献中的几个著名的模糊有效性指标的能力和可靠性。最后,将该方法应用于微阵列基因表达数据聚类和医学图像分割,验证了该方法的实际应用能力。
2020-05-19 cs.AI cs.CV cs.LG
Reliable data clustering with Bayesian community detection
Integrated Science Lab, Department of Physics, Umeå University, Umeå, Sweden(整合科学实验室,物理系,乌梅大学,乌梅,瑞典)
本研究提出利用贝叶斯社区检测方法(度修正随机块模型和正则化映射方程)结合最小描述长度原则,实现抗噪声的可靠数据聚类,在合成数据和基因共表达数据上优于传统方法。
2026-10-19 cs.LG physics.data-an stat.ME