Doubly Aligned Incomplete Multi-view Clustering
College of Computer Science & Technology, Nanjing University of Aeronautics & Astronautics(南京航空航天大学计算机科学与技术学院);Collaborative Innovation Center of Novel Software Technology and Industrialization(新型软件技术与产业化协同创新中心)
目前,多视图聚类已经引起了越来越多的关注。到目前为止,几乎所有以前的研究都假设视图是完整的。然而,在现实中,通常情况下,每个视图都可能包含一些缺失的实例。这种不完全性使得传统的多视图聚类方法无法直接使用。本文提出了一种基于加权半非负矩阵分解(semi-NMF)的双对齐不完全多视图聚类算法(DAIMC)。具体来说,一方面,DAIMC利用给定的实例对齐信息来学习所有视图的公共潜在特征矩阵。另一方面,DAIMC通过$L_{2,1}$ -Norm正则化回归建立共识基矩阵,以减少缺失实例的影响。因此,与现有方法相比,DAIMC除了继承了半NMF处理负项能力的优点外,还具有两个独特的优点:1)通过为每个视图引入各自的权矩阵,解决了不完整视图问题,使其能够很容易地适应两个以上视图的情况; 2)在回归分析的帮助下,通过强制各个视图的基矩阵对齐,减少视图不完整性对聚类的影响。在四个真实世界数据集上的实验证明了它的优点。
2019-03-07 cs.LG stat.ML
Multi-View Fuzzy Clustering with The Alternative Learning between Shared Hidden Space and Partition
School of Digital Media, Jiangnan University(江南大学数字媒体学院);Jiangsu Key Laboratory of Digital Design and Software Technology(江苏省数字设计与软件技术重点实验室)
随着现实世界中多视图数据的增长,多视图聚类已经成为数据采掘、模式识别和机器学习中的一项重要技术。如何利用多视图数据的特点,有效地利用不同视图之间的关系,已成为一个重要的挑战。针对这一问题,提出了一种隐空间共享的多视图模糊聚类方法。该方法基于经典的模糊c-均值聚类模型,通过引入共享隐空间来获取不同视图间的关联信息。特别地,共享隐藏空间和模糊划分可以交替学习,并且相互促进。同时,该方法在学习共享隐空间的同时,采用最大熵策略控制不同视图的权值。实验结果表明,提出的多视图聚类方法具有更好的性能比许多相关的聚类方法。
2019-08-12 cs.AI cs.LG stat.ML
Multi-view Clustering via Deep Matrix Factorization and Partition Alignment
近年来,多视图聚类(MVC)被广泛研究以收集多个源信息。一种典型的MVC方法是基于矩阵分解来有效地执行降维和聚类。然而,现有的方法可以进一步改进以下考虑:i)当前的单层矩阵分解框架不能充分利用有用的数据表示。ii)大多数算法只关注共享信息,而忽略了视图特定的结构,导致次优解。iii)在现有工作中尚未利用分区级别信息。针对上述问题,提出了一种基于深度矩阵分解和分区对齐的多视图聚类算法。具体地说,通过深度矩阵分解得到每个视图的分区表示,然后与最优分区表示联合用于融合多视图信息。最后,一个交替优化算法被开发来解决优化问题,证明收敛性。在六个基准多视图数据集上进行的综合实验结果清楚地表明了该算法对SOTA方法的有效性。
2021-05-10 cs.LG stat.ML
Condorcet's Jury Theorem for Consensus Clustering and its Implications for Diversity
Technische Universität Berlin(柏林工业大学)
孔多塞的陪审团定理已被调用集成分类器,以表明许多分类器的组合可以有更好的预测性能比一个单一的分类器。这种理论基础是未知的共识聚类。本文将孔多塞的陪审团定理扩展到平均划分方法,并假设存在唯一的地面实况划分,并且样本划分是从包含地面实况的足够小的球中绘制的。作为一个实际意义的含义,我们质疑的说法,共识聚类的质量取决于样本分区的多样性。相反,我们推测,限制的多样性的平均分区是必要的质量控制。
2016-10-10 cs.LG stat.ML
Ensemble Clustering with Logic Rules
本文将有监督学习的逻辑规则集成方法应用于无监督或半监督聚类。通过组合简单的合取规则得到的逻辑规则被用来划分输入空间,这些规则的集合被用来定义一个相似矩阵。相似性划分用于以分层方式划分数据。我们已经使用内部和外部的集群有效性的措施,以评估集群的质量或确定集群的数量。
2012-11-15 cs.LG stat.ML
Center of Gravity PSO for Partitioning Clustering
Cairo University(开罗大学)
本文提出了基于划分的聚类算法的粒子群算法的局部最优模型。该模型克服了gbest粒子群算法聚类的缺点。该模型使用预先指定数量的聚类K。LPOSC有K个邻域。每个邻域代表一个聚类。每个邻域中的粒子的目标是优化簇的质心的位置。所提出的算法的性能进行测量,使用调整后的兰德指数。并与粒子群算法的k-means和全局最优模型进行了比较。
2017-06-14 cs.LG
Hybrid Density- and Partition-based Clustering Algorithm for Data with Mixed-type Variables
University of Florida(佛罗里达大学);University of Florida Health Cancer Center(佛罗里达大学健康癌症中心);University of Pittsburgh(匹兹堡大学)
聚类是发现数据模式的基本技术。多年来,数据量和复杂性的稳步增长导致了新的聚类算法的改进和发展。然而,可以对具有混合变量类型(连续和分类)的数据进行聚类的算法仍然有限,尽管具有混合类型的数据非常丰富,特别是在医学领域。在现有的混合数据处理方法中,存在一些无法验证的分布假设或不同类型变量的贡献不均衡的问题。我们提出了一个两步混合密度和分区为基础的算法(HyDaP),可以检测变量选择后的集群。第一步包括基于密度和基于划分的算法来识别由连续变量形成的数据结构并识别聚类的重要变量;第二步包括基于划分的算法以及我们为混合数据设计的新的相异性度量来获得聚类结果。我们对各种场景和数据结构进行了模拟,以检查HyDaP算法与常用方法相比的性能。我们还将HyDaP算法应用于电子健康记录以识别脓毒症表型。
2019-05-06 cs.LG stat.AP stat.ML
Leachable Component Clustering
Guangxi Normal University(广西师范大学);Huazhong University of Science and Technology(华中科技大学)
聚类试图将数据实例划分为几个不同的组,而属于公共分区的数据之间的相似性可以主要保留。此外,不完全数据在实际应用中经常出现,给模式分析带来不利影响。在此基础上,提出了数据填补和处理的具体方案,对数据的缺失值进行处理,并将独立的知识开发阶段纳入信息理解阶段。在这项工作中,提出了一种新的方法来聚类不完整的数据,称为沥滤成分聚类。与现有的方法不同,该方法采用贝叶斯对齐处理数据填补,并从理论上收集丢失的模式。由于方程的数值计算简单,该方法可以学习优化分区,同时保持计算效率。在几个人工不完全数据集上的实验表明,该方法能够表现出优于其他国家的最先进的算法的性能。
2022-08-28 cs.CV cs.LG stat.ML
Deep Clustering Evaluation: How to Validate Internal Clustering Validation Measures
University of Kentucky(肯塔基大学)
本文针对深度聚类评估中传统内部聚类验证指标的问题,提出一套系统评估框架,通过理论分析、识别可靠嵌入空间及加权评分,减少不当使用指标的误导,提升与外部指标的一致性。
2026-08-25 cs.LG stat.ML
Generating a Diverse Set of High-Quality Clusterings
University of Utah(犹他大学)
我们提供了一个新的框架,用于生成多个高质量的分区(聚类)的单个数据集。我们的方法将这个问题分解为两个部分,生成许多高质量的分区,然后将这些分区分组,以获得k个代表。分解使得该方法非常模块化,并允许我们优化控制代表性分区选择的各种标准。
2011-07-29 cs.DB cs.LG
MASC: Boosting Autoregressive Image Generation with a Manifold-Aligned Semantic Clustering
Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学)
针对自回归图像生成模型因扁平视觉词元词表导致的效率低、生成质量受限问题,提出即插即用的流形对齐语义聚类框架MASC,通过构建分层语义树简化学习任务,最高加速训练57%并提升生成质量。
2025-10-05 cs.AI cs.CV cs.LG
State space partitioning based on constrained spectral clustering for block particle filtering
Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);IMT Nord Europe(欧洲北部高等矿业电信学院);Institut Mines-Télécom(法国矿业电信学院);Université Bretagne Sud(南布列塔尼大学)
粒子滤波器(PF)是一种强有力的推理工具,广泛用于非线性和/或非高斯问题的滤波分布估计。为了克服PF的维数灾难,块PF(BPF)插入分块步骤以将状态空间划分成几个较小维度的子空间或块,使得校正和恢复步骤可以在每个子空间上独立地执行。使用小尺寸的块减小了滤波分布估计的方差,但是反过来块之间的相关性被破坏并且引入了偏差。当状态变量之间的依赖关系未知时,决定如何将状态空间划分为块并不明显,并且分区的不良选择可能会产生显著的错误开销。在本文中,我们制定的BPF划分问题作为一个聚类问题,我们提出了一个基于谱聚类(SC)的状态空间划分方法。我们设计了一个广义BPF算法,它包含两个新的步骤:(i)从预测粒子的状态向量相关矩阵的估计,(ii)SC使用此估计作为相似性矩阵,以确定一个适当的分区。此外,对最大簇大小施加约束,以防止SC提供过大的块。我们表明,所提出的方法可以汇集在同一块最相关的状态变量,同时成功地逃脱灾难的维度。
2022-03-07 cs.LG eess.SP stat.ML
Deep Matrix Factorization with Adaptive Weights for Multi-View Clustering
ALTECA(阿尔泰卡公司);Sorbonne Paris Nord University(巴黎北索邦大学);CY Cergy Paris University(塞尔吉-蓬图瓦兹大学)
针对多视图聚类中特征选择不足和超参数依赖经验的问题,提出DMFAW,利用控制理论机制动态调节特征权重并融合局部划分,实验显示其性能优于现有方法。
2024-12-03 cs.AI cs.LG stat.ML
Geographical hotspot prediction based on point cloud-voxel-community partition clustering
College of Software, Northeastern University(东北大学软件学院)
提出基于点云-体素-社区划分聚类的地理热点预测方法,在土耳其考古遗址数据上处理速度提升19.31%,准确率损失仅6%,优于传统聚类。
2025-03-27 cs.LG
Consistency of Constrained Spectral Clustering under Graph Induced Fair Planted Partitions
IBM Research(IBM研究院);Indian Institute of Science(印度科学学院)
谱聚类在实践者和理论家中都很受欢迎。虽然谱聚类的性能保证是很好理解的,但最近的研究集中在集群中执行“公平性”,要求它们相对于分类敏感节点属性(例如,集群中的种族分布必须匹配种群中的种族分布)进行“平衡”。在本文中,我们考虑一个设置敏感属性间接体现在一个辅助\textit{representation graph},而不是直接观察。该图指定可以相对于敏感属性彼此表示的节点对,并且除了通常的\textit{similarity graph}之外还观察到该节点对。我们的目标是在相似性图中找到聚类,同时尊重由表示图编码的新的个人级公平性约束。我们为此任务开发了非规范化和规范化谱聚类的变体,并在由表示图诱导的\emph{fair}种植分区模型下分析了它们的性能。该模型使用节点的簇成员关系和表示图的结构来生成随机相似图。据我们所知,这些是第一个一致性结果约束谱聚类下的个人水平的公平性约束。数值结果证实了我们的理论研究结果。
2022-09-24 cs.CY cs.LG stat.ML
Random Tessellation Forests
Simon Fraser University(西蒙弗雷泽大学);Nankai University(南开大学);University of Oxford(牛津大学)
诸如随机森林和蒙德里安过程的空间划分方法是用于多维和关系数据的强大的机器学习方法,并且基于递归地切割域。这些方法的灵活性通常受到切割轴对齐的要求的限制。Ostomachion过程和自洽的二进制空间划分树过程最近被引入作为Mondrian过程的推广,用于在二维平面上具有非轴对齐切割的空间划分。出于对具有非轴对齐切割的多维分割树的需要,我们提出了随机镶嵌过程(RTP),一个包括蒙德里安过程和二进制空间分割树过程作为特例的框架。我们推导了一个序贯蒙特卡罗算法的推理,并提供了随机森林方法。我们的过程是自洽的,可以放松轴对齐的约束,从而可以捕获复杂的维间依赖性。我们提出了一个模拟研究,并分析脑组织的基因表达数据,显示出比其他方法更高的准确性。
2019-12-02 cs.LG stat.ML
Partitioning Relational Matrices of Similarities or Dissimilarities using the Value of Information
University of Florida(佛罗里达大学)
在本文中,我们提供了一种方法来聚类的关系矩阵,其条目对应于对象之间的相似性或不相似性。我们的方法是基于信息的价值,一个参数化的,信息理论的标准,衡量成本的变化与信息的变化。优化信息的价值会产生一种具有许多好处的确定性退火聚类风格。例如,研究人员避免需要先验地指定簇的数量,因为分区在退火过程中自然地经历相变,由此簇的数量以数据驱动的方式变化。通常也可以识别全局最佳分区。
2017-10-28 cs.AI cs.LG stat.ML
Selective clustering ensemble based on kappa and F-score
Central University of Finance and Economics(中央财经大学);Beijing Jiaotong University(北京交通大学);Bosera Asset Management Co., Ltd.(博时基金管理有限公司)
聚类集成在提高划分结果的准确性和鲁棒性方面有着令人印象深刻的表现,近年来受到了广泛的关注。选择性聚类集成(SCE)根据多样性和稳定性选择基分区或簇,进一步提高集成性能。然而,多样性与稳定性之间存在着冲突,如何在两者之间做出权衡是一个挑战。这里的关键是如何评估基本分区和集群的质量。在本文中,我们提出了一种新的评估方法的分区和集群使用kappa和F-得分,导致一个新的SCE方法,它使用kappa选择信息的基础分区和使用F-得分加权集群的基础上稳定性。该方法的有效性和效率在实际数据集上进行了经验验证。
2022-04-23 cs.LG
Dial-In LLM: Human-Aligned LLM-in-the-loop Intent Clustering for Customer Service Dialogues
Hong Kong Polytechnic University(香港理工大学);AI Group, WeBank Co., Ltd(WeBank人工智能部门)
本文提出LLM-in-the-loop意图聚类框架,通过整合LLM能力提升客户服务对话意图聚类的准确性和效率。
2025-09-03 cs.CL cs.LG
Community detection over a heterogeneous population of non-aligned networks
Purdue University(普渡大学)
利用多个图的聚类和社区发现通常集中在对齐的图上,其中在图上的节点之间存在映射(例如,多视图、多层、时间图)。然而,有许多应用领域具有仅部分对齐或甚至未对齐的多个图。这些图通常是从同一个种群中绘制的,其中具有潜在不同大小的社区表现出相似的结构。在本文中,我们开发了一个联合随机块模型(联合SBM)来估计跨异构非对齐图集的共享社区。我们推导出一个有效的谱聚类方法来学习联合SBM的参数。我们在合成数据集和真实数据集上对该模型进行了评估,结果表明,与在每个图上学习单独的SBM相比,联合模型能够利用交叉图信息更好地估计社区。
2019-04-04 cs.LG cs.SI stat.ML
Feature Level Clustering of Large Biometric Database
NIT Rourkela(鲁尔克拉国家技术学院);IIT Kanpur(坎普尔印度理工学院)
提出了一种在身份识别过程中对大型生物特征数据库进行有效划分的方法。该方法从离线签名中提取全局和局部特征向量,利用模糊聚类技术对数据库进行划分。由于生物特征没有自然的排序顺序,因此很难对其进行分类或数字索引。因此,需要一些监督标准来划分搜索空间。在识别过程中引入模糊聚类准则来寻找最近的聚类,以声明查询样本的身份。该系统进行了测试,使用箱错过率和传统的k均值方法相比,表现更好。
2010-02-02 cs.CV cs.DB cs.LG
PASCO (PArallel Structured COarsening): an overlay to speed up graph clustering algorithms
Inria(法国国家信息与自动化研究所);ENS de Lyon(里昂高等师范学校);CNRS(法国国家科学研究中心);Central European University(中欧大学);National Laboratory for Health Security(国家卫生安全实验室)
针对传统图聚类方法难以处理大规模图的问题,提出名为PASCO的叠加层框架,通过并行化的图粗化、聚类及最优传输合并流程,在保证结构保留和划分质量的同时提升聚类效率。
2025-06-12 cs.LG stat.ML
Calibrated model-based evidential clustering using bootstrapping
Université de Technologie de Compiègne(贡比涅技术大学);Shanghai University(上海大学)
证据聚类是一种聚类方法,其中聚类成员的不确定性由形成证据划分的Dempster-Shafer质量函数的集合表示。在本文中,我们建议通过自举有限混合模型来构造这些质量函数。在第一步中,我们计算所有成对概率(任何两个对象属于同一类的概率)的bootstrap百分位数置信区间。然后,我们构造一个证据分区,使成对的信念和可信度近似的置信区间的界限。这种证据划分是校准的,在这个意义上,成对的置信度区间包含“大部分时间”的真实概率,即,其概率接近所定义的置信水平。通过仿真验证了这种频率论性质,并使用几个真实数据集证明了该方法的实用性。
2020-04-06 cs.LG stat.CO stat.ML
Multiple Kernel Clustering with Dual Noise Minimization
National University of Defense Technology(国防科技大学)
聚类是一种典型的无监督方法,广泛应用于多模态、多视角的场景。多核聚类(MKC)的目的是通过整合来自基本核的互补信息来对数据进行分组。作为一个代表,晚融合MKC首先将核分解成正交划分矩阵,然后从它们学习一个共识,最近取得了很好的性能。然而,这些方法未能考虑划分矩阵内的噪声,阻碍了聚类性能的进一步提高。我们发现,噪声可以分解为可分离的对偶部分,即N-噪声和C-噪声(空间噪声和列空间噪声)。在本文中,我们严格定义了对偶噪声,并提出了一种新的无参数MKC算法,通过最小化他们。为了解决由此产生的优化问题,我们设计了一个有效的两步迭代策略。据我们所知,这是第一次在核空间中研究分区内的对偶噪声。我们观察到,双噪声会污染块对角结构,导致聚类性能的退化,并且C噪声比N噪声具有更强的破坏性。由于我们的有效机制,以最大限度地减少双重噪声,该算法超越了最近的方法大幅度。
2022-07-13 cs.AI cs.LG
Late Fusion Multi-view Clustering via Global and Local Alignment Maximization
National University of Defense Technology(国防科技大学)
多视图聚类(MVC)最佳地整合了来自不同视图的互补信息,以提高聚类性能。虽然在各种应用中表现出良好的性能,大多数现有的方法直接融合多个预先指定的相似性,学习一个最佳的相似性矩阵聚类,这可能会导致过于复杂的优化和密集的计算成本。在本文中,我们提出了后期融合MVC通过对齐最大化来解决这些问题。要做到这一点,我们首先揭示了现有的k-means聚类和基本分区之间的对齐和共识之间的理论联系。基于这一观察,我们提出了一个简单而有效的多视图算法LF-MVC-GAM。它最佳地融合多个源信息在分区级别从每个单独的视图,并最大限度地对齐共识分区与这些加权的基础。这种对齐有利于整合分区级别信息,并通过充分简化优化过程来显著降低计算复杂性。然后,我们设计了另一种变体,LF-MVC-LAM,通过保留多个分区空间之间的局部内在结构来进一步提高聚类性能。在此基础上,我们开发了两个三步迭代算法来解决由此产生的优化问题,理论上保证收敛。此外,我们提供的泛化误差界分析所提出的算法。在18个多视图基准数据集上进行的大量实验证明了所提出的LF-MVC-GAM和LF-MVC-LAM的有效性和效率,范围从小到大规模的数据项。所提出的算法的代码可在https://github.com/wangsiwei2010/latefusionalignment公开获得。
2022-08-02 cs.LG
Probabilistic partition of unity networks: clustering based deep approximation
Center for Computing Research(计算研究中心);Sandia National Laboratories(桑迪亚国家实验室);Electrical Models and Simulation(电气模型与仿真部门);Quantitative Modeling and Analysis(定量建模与分析部门)
单位网络的划分(POU-Nets)已被证明能够实现回归和偏微分方程解的代数收敛率,但需要经验调整训练参数。我们丰富的POU网与高斯噪声模型,以获得一个概率泛化服从基于梯度的最大似然损失的最小化。由此产生的架构提供了无噪声和噪声数据的空间表示为高斯混合物与封闭形式的方差表达式,它提供了一个估计的局部误差。训练过程基于函数值的相关性产生对输入空间的非常清晰的划分。这种训练点的分类适用于分层细化策略,该策略显着改善了回归的局部化,允许使用高阶多项式近似。与高斯过程回归相比,该框架更有利于扩展到大数据集,并允许空间变化的不确定性,利用深度神经网络的表达能力,同时绕过与其他概率深度学习方法相关的昂贵训练。与标准的深度神经网络相比,该框架在不使用正则化器来调整分区局部化的情况下证明了hp收敛。我们提供的基准量化性能在高/低维,表明收敛速度只取决于高维空间内的数据的潜在维度。最后,我们引入了一个新的开放源数据集的半导体器件的基于偏微分方程的模拟和执行无监督提取的物理可解释的降阶基础。
2021-07-07 cs.LG stat.ML
Consensus Clustering: An Embedding Perspective, Extension and Beyond
Brandeis University(布兰迪斯大学);Northeastern University(东北大学);IUPUI(印第安纳大学与普渡大学印第安纳波利斯联合分校)
一致性聚类融合了不同的基本分区(即,从传统的聚类方法获得的聚类结果)到一个集成的一个,由于它的鲁棒性和有效的性能,在学术界和工业界引起了越来越多的关注。为了在算法和应用方面使这一领域蓬勃发展,已经进行了大量的研究工作。虽然有一些调查文件总结现有的文献,他们忽视了探讨不同类别之间的潜在联系。因此,在本文中,我们的目标是提供一个嵌入前景来说明共识机制,该机制将分类基本划分转移到其他表示(例如,二进制编码、谱嵌入等)用于聚类目的。为此,我们不仅统一了共识聚类的两个主要类别,而且还在共识聚类和图嵌入之间建立了直观的联系。此外,我们阐述了几个扩展的经典共识聚类从不同的设置和问题。除此之外,我们还演示了如何利用共识聚类来解决其他任务,如约束聚类、领域自适应、特征选择和离群值检测。最后,我们总结了这一调查与未来的工作在解释性,可学习性和理论分析。
2019-05-31 cs.LG stat.ML
Duality between Feature Selection and Data Clustering
Chinese University of Hong Kong(香港中文大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院);Texas A&M University(德克萨斯A&M大学)
特征选择问题是从信息论的角度制定的。我们表明,这个问题可以有效地解决了最近提出的信息聚类范式的扩展。这揭示了特征选择和数据聚类之间的基本二元性,这是组合优化中主分区和分区的主格之间更一般的二元性的结果。
2016-10-05 cs.IT cs.LG math.IT
Analysing Multiscale Clusterings with Persistent Homology
Department of Mathematics(数学系);Imperial College London(伦敦帝国理工学院)
本文提出多尺度聚类过滤(MCF),利用持续同调分析任意聚类划分序列,度量其层次性并追踪冲突,为多尺度聚类提供特征映射。
2025-04-24 cs.LG math.AT
evclust: Python library for evidential clustering
University of Clermont Auvergne(克莱蒙奥弗涅大学);CNRS(法国国家科学研究中心);Mines of Saint-Etienne(圣埃蒂安矿业学院);Clermont-Auvergne-INP(克莱蒙奥弗涅国立综合理工学院);LIMOS(信息、建模与优化实验室)
针对聚类中需表达簇成员不确定性的问题,本文提出Python库evclust,基于Dempster-Shafer信念函数理论实现证据聚类,提供高效算法及信度划分的可视化、评估与分析工具。
2025-02-10 cs.CV cs.LG cs.SE
Discriminative Similarity for Data Clustering
School of Computing and Augmented Intelligence(计算与增强智能学院);Arizona State University(亚利桑那州立大学);Baidu Research(百度研究院)
基于相似性的聚类方法根据数据之间的成对相似性将数据划分为簇,而成对相似性是其性能的关键。在本文中,我们提出了{ \em聚类判别相似(CDS)},一种新的方法,学习判别相似的数据聚类。CDS从每个数据分区学习无监督的基于相似性的分类器,并通过最小化与数据分区相关联的学习的分类器的泛化误差来搜索数据的最优分区。通过Rademacher复杂度的泛化分析,将基于相似度的无监督分类器的泛化误差界表示为不同类数据之间的判别相似度之和.证明了核密度分类的积分平方误差界也可以导出判别相似度。为了评估所提出的判别相似性的性能,我们提出了一种新的聚类方法,使用核作为相似性函数,CDS通过无监督核分类(CDSK),其有效性证明了实验结果。
2022-06-23 cs.LG
Information theoretic model validation for clustering
Swiss Federal Institute of Technology, ETH Zurich(苏黎世联邦理工学院)
聚类中的模型选择需要(i)指定合适的聚类原则和(ii)通过根据数据中的噪声水平选择适当数量的聚类来控制模型阶数复杂度。我们提倡一种信息理论的观点,在测量的不确定性量化的数据分区的集合,从而诱导聚类的解决方案空间中的不确定性。一个聚类模型,它可以容忍更高水平的波动的测量比替代模型,被认为是优越的,提供聚类解决方案是同样的信息。\emph{informativeness}和\emph{robustness}之间的这种折衷用作模型选择标准。数据划分应该从一个数据集推广到一个同样可能的第二个数据集的要求引起了一个新的概念的结构诱导信息。
2010-06-02 cs.IT cs.LG math.IT
Learning Latent Superstructures in Variational Autoencoders for Deep Multidimensional Clustering
The Hong Kong University of Science and Technology(香港科技大学);The Education University of Hong Kong(香港教育大学)
我们研究了变分自编码器的一个变体,其中在潜在特征之上存在离散潜在变量的上层结构。一般来说,我们的超结构是一个树结构的多个超级潜在的变量,它是自动学习的数据。当上层结构中只有一个潜在变量时,我们的模型简化为假设潜在特征从高斯混合模型生成的模型。我们称我们的模型为潜在树变分自编码器(LTVAE)。以前的深度学习聚类方法只产生一个数据分区,而LTVAE产生多个数据分区,每个分区由一个超级潜在变量给出。这是可取的,因为高维数据通常具有许多不同的自然方面,并且可以以多种方式进行有意义的分区。
2019-02-22 cs.LG
Semi-supervised Text Categorization Using Recursive K-means Clustering
University of Mysore(迈索尔大学)
本文提出了一种用于文本分类的半监督学习算法。提出了一种对未标注文本进行标注的方法。所提出的方法是基于分而治之策略的原则。它使用递归K-means算法来划分标记和未标记的数据汇集。在每个分区上递归地应用K-means算法,直到实现期望的级别分区,使得每个分区包含单个类的标记文档。一旦获得所需的聚类,各自的聚类质心被认为是代表的集群和最近邻规则用于分类未知的文本文档。在20 Newsgroups数据集上进行了一系列的实验,以显示该模型相对于其他最新模型的优越性。
2017-06-24 cs.CL cs.IR cs.LG
A Novel Fuzzy Bi-Clustering Algorithm with AFS for Identification of Co-Regulated Genes
Xidian University(西安电子科技大学)
共调控基因及其转录因子结合位点的鉴定是理解转录调控的关键步骤。除了有效的实验室测定,已经开发了用于检测共表达基因的各种双聚类算法。当应用于基因表达数据时,双聚类方法用于在待识别的实验条件子集下发现具有相似表达模式的基因亚组。利用公理化模糊集(AFS)理论建立基因表达数据的两个模糊划分矩阵,提出一种新的模糊双聚类算法,用于共调控基因的识别。具体地说,首先利用AFS的次偏好关系理论将基因表达数据转化为两个模糊划分矩阵。其中一个矩阵是将基因作为论域,条件作为概念,另一个矩阵是将基因作为概念,条件作为论域。同时在两个分区矩阵上进行共调节基因(双簇)的鉴定。然后,基于划分矩阵定义了一种新的基于模糊的相似性准则,并设计了一种循环优化算法来发现表达式级的重要双聚类。上述过程保证了生成的双聚类具有比通过传统双聚类方法提取的更显著的表达值。最后,所提出的方法的性能进行评估与公开可用的真实微阵列数据集上的三个著名的双聚类算法的性能。实验结果与理论分析一致,表明该算法在不需要任何基因表达数据先验知识的情况下,能够有效地检测出共调控基因。
2023-02-03 cs.LG cs.NA math.NA