Transform-Invariant Non-Parametric Clustering of Covariance Matrices and its Application to Unsupervised Joint Segmentation and Action Discovery
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在这项工作中,我们解决了变换不变的无监督学习的协方差矩阵的空间及其应用的问题。我们首先介绍谱多面体协方差矩阵(SPCM)相似性函数;协方差矩阵的相似性函数,对任何类型的变换都不变。然后,我们推导出SPCM-CRP混合模型,这是一种协方差矩阵的变换不变非参数聚类方法,它利用了提出的相似性函数,谱嵌入和距离依赖的中国餐馆过程(dd-CRP)(Blei和Frazier,2011)。这两个贡献的可扩展性和适用性在来自不同研究领域的真实世界协方差矩阵数据集上得到了广泛验证。最后,我们将SPCM-CRP混合模型与贝叶斯非参数印度自助过程(IBP)-隐马尔可夫模型(HMM)(Fox等人,2009),联合分割和发现变换不变的动作原语从复杂的顺序数据。提出了一种基于主题建模的无监督时间序列数据分析的层次模型ICSC-HMM(IBP Coupled SPCM-CRP Hidden Markov Model)。ICSC-HMM的动觉演示单手和双手烹饪任务进行了验证,实现了无监督的人类层次的分解复杂的顺序任务。
2017-10-27 cs.LG
Groups Don't Move as One: A Bregman Clustering View of Linearized Group Influence
POSTECH(浦项科技大学)
该研究针对群体影响估计的缺陷,提出基于Bregman聚类的线性群体影响方法,通过优化聚类贡献权重提升了预测精度,降低了计算成本。
2026-10-14 cs.LG
Unsupervised deep clustering for predictive texture pattern discovery in medical images
Computational Imaging Research Lab (CIR)(计算成像研究实验室(CIR));Department of Biomedical Imaging and Image-guided Therapy(生物医学成像与影像引导治疗系);Medical University of Vienna(维也纳医科大学)
成像数据中的预测标记模式是量化疾病和进展的一种手段,但如果对潜在的生物学知之甚少,则其识别具有挑战性。在这里,我们提出了一种方法来识别预测的医学图像中的纹理模式,在无监督的方式。基于深度聚类网络,我们在低维潜在空间中同时编码和聚类医学图像块。由此产生的聚类作为疾病分期的特征,将它们与潜在疾病联系起来。我们对70例不同阶段肝脂肪变性患者的T1加权磁共振图像进行了评估。深度聚类方法能够找到具有稳定排名的预测聚类,区分F1评分为0.78的低脂肪变性和高脂肪变性。
2020-01-31 cs.CV cs.LG
Clustering Edges in Directed Graphs
University of Miami(迈阿密大学)
顶点如何对图形数据产生影响?我们开发了一个框架的边缘聚类,探索性数据分析,揭示了如何顶点和边缘合作完成有向影响图,特别是有向图的一种新方法。与普遍存在的将顶点分组的顶点聚类相比,边聚类将边分组。共享功能亲和度的边被分配到同一组并形成影响子图聚类。与顶点聚类的复杂性相媲美,该框架提出了三种不同的方法,边缘谱聚类,揭示重要的影响子图的图形数据,每种方法提供不同的见解直接影响过程。我们提出了几个不同的例子证明边缘聚类在科学研究中的广泛应用的潜力。
2022-02-23 cs.LG cs.SI
Controllable Discovery of Intents: Incremental Deep Clustering Using Semi-Supervised Contrastive Learning
Uniphore(尤尼福尔(Uniphore))
本文提出可控意图发现(CDI)框架,通过无监督对比学习、半监督微调、迭代伪标签优化及无遗忘学习,实现人在回路的增量式意图发现,在CLINC和BANKING上显著优于现有方法。
2024-10-18 cs.AI cs.CL cs.LG
Sparse Subspace Clustering for Concept Discovery (SSCCD)
Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因里希·赫兹研究所);TU Berlin(柏林工业大学);Oldenburg University(奥尔登堡大学)
概念是人类更高层次理解的关键组成部分。近年来,可解释人工智能(XAI)方法取得了巨大的进展,然而,局部归因方法不允许识别跨样本的连贯模型行为,因此错过了这一重要组成部分。在这项工作中,我们研究了基于概念的解释,并提出了一个新的定义概念的低维子空间的隐藏特征层。我们新颖地应用稀疏子空间聚类来发现这些概念子空间。展望未来,我们从概念子空间的本地化输入(概念)地图方面获得见解,展示如何量化概念相关性,最后,评估概念之间的相似性和可转移性。我们经验证明了建议的稀疏子空间聚类概念发现(SSCCD)方法的各种不同的图像分类任务的合理性。这种方法可以更深入地了解实际模型的行为,而这些行为在传统的输入级热图中仍然是隐藏的。
2022-03-11 cs.AI cs.LG stat.ML
The Three Ensemble Clustering (3EC) Algorithm for Pattern Discovery in Unsupervised Learning
TUNL
本文提出了一种多学习者算法,称为“三包围聚类3EC”算法,将未标记的数据分类到质量聚类作为无监督学习的一部分。它提供了灵活性,以探索由基于内部验证索引的算法集合形成的新集群的上下文。值得一提的是,输入数据集被认为是聚类的聚类。异常也可能表现为群集。每个分区聚类被认为是一个新的数据集,并且是探索最优算法及其分区拆分数量的候选者,直到满足预定义的停止标准。该算法独立地将数据集划分为簇,并且通过内部簇验证指数的集合来评估划分的质量。3EC算法表示来自算法选择及其分区配置的验证指标得分,并且它被称为Tau网格。3EC选择最优得分。3EC算法的名字来源于算法和内部验证索引的两个输入集合以及最终聚类的输出集合。质量在这种聚类方法中起着重要的作用,它也可以作为进一步划分的停止标准。质量是根据算法提供的聚类质量及其最佳分割数确定的。3EC算法根据验证指数集合的得分来确定这一点。用户可以通过为每个验证索引的分数范围和输出聚类的最佳大小提供质量阈值来配置停止标准。用户可以尝试不同的停止标准,并选择最“明智的一组”质量集群
2021-07-08 cs.LG
Vector Quantized Latent Concepts: A Scalable Alternative to Clustering-Based Concept Discovery
Dalhousie University, Canada(加拿大达尔豪斯大学);University of Calgary, Canada(加拿大卡尔加里大学)
提出VQLC框架,通过向量量化学习离散潜在概念,在保持可解释性的同时,实现与K-Means相当的计算效率,并优于层次聚类在大规模数据上的扩展性。
2026-06-11 cs.CL cs.LG
CSTS: A Benchmark for the Discovery of Correlation Structures in Time Series Clustering
School of Computer Science, University of Bristol(计算机科学学院,布里斯托大学);School of Engineering Mathematics and Technology, University of Bristol(工程数学与技术学院,布里斯托大学);School of Artificial Intelligence, University of Nanjing(人工智能学院,南京大学);College of Engineering and Architecture, University College Dublin(工程与建筑学院,都柏林大学学院)
针对时间序列聚类缺乏客观评估基准的问题,研究团队提出合成基准CSTS,可分离聚类失败原因,并配套综合评估体系、实证验证结果与可扩展生成框架,推动相关聚类评估标准化。
2025-05-20 cs.LG stat.ML
Towards stable real-world equation discovery with assessing differentiating quality influence
ITMO University(ITMO大学)
本文针对数据驱动微分方程发现中微分方法的关键作用,提出四种替代有限差分的方案,评估其适用性与收敛性,为真实世界稳健建模提供见解。
2023-11-09 cs.LG
STICC: A multivariate spatial clustering method for repeated geographic pattern discovery with consideration of spatial contiguity
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Wuhan University(武汉大学);Carnegie Mellon University(卡内基梅隆大学);Massachusetts Institute of Technology(麻省理工学院)
空间聚类已广泛应用于空间数据采掘和知识发现。理想的多元空间聚类应该同时考虑空间邻接性和空间属性。现有的空间聚类方法可能面临的挑战,发现重复的地理模式与空间连续性保持。在本文中,我们提出了一个空间Toeplitz逆协方差为基础的聚类(STICC)的方法,同时考虑地理对象的属性和空间关系的多变量空间聚类。在进行聚类时,为作为基本单元的每个地理对象创建子区域。然后构造马尔可夫随机场来表征子区域的属性依赖性。使用空间一致性策略,鼓励附近的对象属于同一个集群。为了测试所提出的STICC算法的性能,我们将其应用于两个用例。与几种基线方法的比较结果表明,STICC在调整后的rand指数和宏观F1得分方面显著优于其他方法。连接计数统计也计算,并表明空间连续性是很好地保存STICC。这种空间聚类方法可以有益于地理、遥感、交通、城市规划等领域的各种应用。
2022-03-31 cs.AI cs.DB cs.LG
Zero-Shot Morphological Discovery in Low-Resource Bantu Languages via Cross-Lingual Transfer and Unsupervised Clustering
Harvard University(哈佛大学)
本文提出结合跨语言迁移学习与无监督聚类的方法,用于发现低资源班图语言的形态特征,在Giriama语言中发现2,455个词的名词类分配及两个新形态模式,通过外部验证和语料扩展验证了方法的有效性。
2026-04-24 cs.CL cs.LG
Discovery of Web Usage Profiles Using Various Clustering Techniques
P.A. College of Engineering(P.A.工程学院);J.N.T. University(J.N.T.大学)
万维网(WWW)的爆炸式增长,有必要开发Web个性化系统,以了解用户的喜好,动态地为个人用户提供定制的内容。为了从Web使用数据中揭示用户偏好信息,Web使用挖掘(WUM)技术被广泛应用于Web日志数据。聚类技术被广泛用于WUM中,以捕获访问Web站点的用户之间的相似兴趣和趋势。聚类的目的是将数据集划分为组或簇,其中簇间相似性最小化,而簇内相似性最大化。本文综述了四种常用的聚类技术:k-Means,k-Medoids,Leader和DBSCAN。这些技术的实现和测试对Web用户的导航数据。每种技术的性能和有效性的结果进行了介绍和比较。
2015-09-01 cs.DB cs.IR cs.LG
Topic Discovery via Latent Space Clustering of Pretrained Language Model Representations
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
主题模型是从文本语料库中自动发现主题的重要工具。尽管它们的有效性,主题模型遭受的几个限制,包括无法建模文档中的单词排序信息,将外部语言知识的困难,以及缺乏准确和有效的推理方法来近似棘手的后验。最近,预训练的语言模型(PLM)由于其出色的文本表示,为各种各样的任务带来了惊人的性能提升。有趣的是,还没有标准的方法来部署PLM进行主题发现,作为主题模型的更好的替代品。在本文中,我们首先分析了使用PLM表示的主题发现的挑战,然后提出了一个联合潜在空间学习和聚类框架建立在PLM嵌入。在潜在空间中,主题词和文档主题分布的联合建模,使发现的主题可以解释的连贯性和独特的条款,同时作为有意义的摘要的文件。我们的模型有效地利用了强大的表示能力和高超的语言特征所带来的PLM主题发现,是概念上比主题模型简单。在不同领域的两个基准数据集上,我们的模型生成的主题比强主题模型更加连贯和多样化,并基于自动和人工评估提供了更好的主题文档表示。
2022-02-09 cs.CL cs.IR cs.LG
Generalized Category Discovery via Token Manifold Capacity Learning
Xiamen University(厦门大学);Shenzhen University(深圳大学);The University of Hong Kong(香港大学)
针对传统广义类别发现方法牺牲流形容量、类内表示丰富性不足的问题,提出最大Token流形容量方法,以核范数量度流形容量,提升聚类准确率与类别估计效果,减少维度坍塌。
2025-05-20 cs.LG
GO-Based Clustering for Learning Cluster-Level Causal Gene Regulatory Networks
L3S Research Center, Leibniz University Hannover(莱布尼茨汉诺威大学L3S研究中心);Lower Saxony Center for Artificial Intelligence and Causal Methods in Medicine (CAIMed)(下萨克森州人工智能与因果医学方法中心(CAIMed));Institute for Causal and Explainable Artificial Intelligence in Life Sciences(生命科学因果与可解释人工智能研究所);Center for Computational Life Sciences(计算生命科学中心);RWTH Aachen University(亚琛工业大学)
提出GO4CD算法,利用基因本体论构建生物学意义的基因分区,与CLOC集成,在模拟数据上显著降低不可容许率,更适用于学习聚类级因果基因调控网络。
2026-10-06 cs.LG
Causal Clustering for Conditional Average Treatment Effects Estimation and Subgroup Discovery
Georgia Institute of Technology(佐治亚理工学院)
提出基于因果森林学习核的聚类框架,通过估计去偏CATEs并应用核化聚类,有效发现对处理敏感的亚群并捕捉异质性处理效应。
2025-09-17 cs.LG stat.ML
AdaGraph: A Graph-Native Clustering Algorithm That Overcomes the Curse of Dimensionality and Enables Scientific Discovery
Independent Researcher(独立研究者)
AdaGraph是一种基于图的聚类算法,通过结构导向的计算方法克服维度诅咒,其在10个合成数据集上表现优异,且在基因表达、文本聚类和材料科学领域实现了科学发现。
2026-05-05 cs.AI cs.LG
Model-driven Stochastic Trace Clustering
Research Center for Information Systems Engineering (LIRIS), KU Leuven(信息系统工程研究中心(LIRIS),鲁汶大学)
本文提出了一种基于模型的随机轨迹聚类方法,通过优化随机过程模型提升轨迹分配的准确性与模型可解释性。
2025-12-10 cs.LG
Uncovering Group Level Insights with Accordant Clustering
IBM Research(IBM研究院);San Jose State University(圣何塞州立大学);Google(谷歌)
聚类是一种广泛使用的数据采掘工具,其目的是发现数据中相似项的划分。我们引入了一个新的聚类范式,\emph{accordant clustering},它使发现(预定义的)组级的见解。与以前的聚类范式,旨在了解个体成员之间的关系,一致的聚类的目标是揭示洞察力在组的水平,通过分析他们的成员。组级别的洞察力通常可以支持通过以前的聚类技术无法通知的行动呼吁。我们提出了第一个一致聚类算法,并证明了它找到接近最优的解决方案时,数据具有固有的集群结构。一致聚类揭示的见解使医学领域的专家能够分离出神经退行性疾病的成功治疗方法,并使金融领域的专家能够发现不必要的支出模式。
2017-04-07 cs.LG
KULCQ: An Unsupervised Keyword-based Utterance Level Clustering Quality Metric
Georgia Institute of Technology(佐治亚理工学院);University of Southern California(南加利福尼亚大学);Got It AI
本文提出了一种基于关键词的无监督话语级聚类质量度量KULCQ,通过关键词分析评估聚类质量,能更好地捕捉对话数据中的语义关系,并与几何聚类原则保持一致。
2024-11-15 cs.CL cs.LG
Rare Genomic Subtype Discovery from RNA-seq via Autoencoder Embeddings and Stability-Aware Clustering
Department of Computer Science, University of Science and Technology Houari Boumediene (USTHB)(计算机科学系,哈里·布迈迪ene科学技术大学)
本研究结合自编码器嵌入与稳定性感知聚类方法,针对RNA-seq数据开展分析,在排除泛癌层面组织来源的干扰后,于KIRC癌种中识别出占比6.85%的稳定罕见可复现基因组亚型。
2025-11-17 cs.LG q-bio.GN
A matching based clustering algorithm for categorical data
Yerevan State University(埃里温国立大学)
聚类分析是数据采掘和知识发现中的一项重要任务。每种类型的数据在实现将数据相对有效地划分为同质组方面都提出了独特的挑战。虽然在文献中对数值数据的算法进行了相对较好的研究,但在分类数据的情况下仍然存在挑战。主要问题是分类数据的无序结构,这使得实现聚类算法的标准概念变得困难。例如,对象之间的距离的评估,分类数据的代表的选择并不像连续数据那样简单。因此,本文提出了一种新的框架划分分类数据,它不使用距离测量作为一个关键的概念。基于匹配的聚类算法是基于相似性矩阵和一个框架,后者使用特征重要性标准更新设计的。实验结果表明,该算法可以作为现有算法的替代,可以成为一个有效的知识发现工具。
2018-12-09 cs.LG stat.ML
Discovering Business Area Effects to Process Mining Analysis Using Clustering and Influence Analysis
QPR Software Plc(QPR软件公司);Aalto University(阿尔托大学)
在大型组织中改进业务流程的一个常见挑战是,负责运营的业务人员缺乏对业务运营中发生的执行细节、流程变体和异常的基于事实的理解。虽然现有的流程挖掘方法可以基于事件日志发现这些细节,但将流程挖掘结果传达给业务人员是具有挑战性的。在本文中,我们提出了一种新的方法来发现业务领域的流程执行细节有显着的影响。我们的方法使用聚类组相似的情况下,基于流程的特点,然后影响分析,检测那些业务领域,最相关的发现集群。我们的分析是BPM人员和业务人员之间的桥梁,促进了这些群体之间的知识共享。我们还提出了一个基于公开的真实采购订单流程数据的示例分析。
2020-03-18 cs.DB cs.LG
Closure-Validated Circuit Discovery in Attention Heads: Co-activation Proposes, Ablation Disposes
通过共激活聚类提出注意力头电路假设,并用因果消融验证闭包性,发现该方法在密集模型有效但在MoE模型失效,表明共激活仅是电路提议而非确认。
2026-06-08 cs.AI cs.LG
Toward Automated Discovery of Artistic Influence
Rutgers, The State University of New Jersey(罗格斯,新泽西州立大学)
考虑到存在的大量艺术作品,有价值的信息有待发现。通过检查一幅画,专家可以确定其风格,流派和绘画所属的时期。艺术史学家的一项重要任务是发现艺术家之间的影响和联系。影响力是一项计算机可以测量的任务吗?本文的贡献是在探索问题的计算机自动化建议的艺术家之间的影响,一个问题,没有解决之前在一般设置。我们首先提出了一个比较研究不同的分类方法的任务美术风格分类。两个层次的比较研究进行了这个分类问题。第一个层次回顾了判别模型与生成模型的性能,而第二个层次涉及绘画的特征方面,并比较了绘画中存在的语义级特征与低级和中级特征。然后,我们探讨这个问题:“谁影响了这位艺术家?“通过观察他的杰作并将其与其他作品进行比较。我们把这个有趣的问题作为一个知识发现问题。为此,我们研究了几个绘画相似性和艺术家相似性的措施。因此,我们根据艺术家作品之间的相似性提供艺术家的可视化(艺术家地图
2014-08-14 cs.CV cs.LG
An interpretable multiple kernel learning approach for the discovery of integrative cancer subtypes
Saarland Informatics Campus(萨尔信息学园区);University of Tübingen(图宾根大学)
由于癌症的复杂性,聚类算法已被用于解开观察到的异质性,并确定可以特异性治疗的癌症亚型。虽然基于核的聚类方法允许使用多于一个的输入矩阵,这在考虑像癌症这样的多维疾病时是一个重要因素,但是聚类结果仍然难以评估,并且在许多情况下,不清楚哪条信息对最终结果产生了哪些影响。在本文中,我们提出了一种多核学习聚类的扩展,它可以根据对结果影响最大的特征来表征每个已识别的患者聚类。为此,我们将特征聚类与多核降维相结合,并引入FIPPA,这是一个衡量特征聚类对患者聚类影响的分数。结果如下:我们将该方法应用于由四种不同数据类型描述的不同癌症类型,目的是识别综合患者亚型并了解哪些特征对其识别最重要。我们的结果表明,我们的方法不仅具有根据标准测量的最先进的性能(例如,生存分析),但是,基于高影响特征,它也对亚型的分子基础产生了有意义的解释。这可能为验证潜在的癌症亚型提供重要的一步,并能够制定关于个体患者群体的新假设。对于其他疾病表型,类似的分析是可能的。
2018-11-20 cs.LG stat.AP stat.ML
Influence-Guided Symbolic Regression: Scientific Discovery via LLM-Driven Equation Search with Granular Feedback
University of Cambridge(剑桥大学);Thomson Reuters Foundational Research(汤姆森·路透基础研究);U. Colorado, Anschutz Medical Campus(科罗拉多大学安舒茨医疗校区)
提出影响引导符号回归(IGSR)方法,利用大语言模型生成候选函数并通过细粒度影响分数进行剪枝,结合蒙特卡洛树搜索高效探索组合空间,在多个基准和真实生物数据中发现新关系。
2026-05-27 cs.AI cs.LG
Neighborhood Contrastive Learning for Novel Class Discovery
University of Trento(特伦托大学);Xiamen University(厦门大学);Fondazione Bruno Kessler(布鲁诺·凯塞勒基金会)
在本文中,我们解决了新的类发现(NCD),在一组未标记的样本中发现新的类的任务,给定一个带有已知类的标记数据集。我们利用NCD的特点,建立一个新的框架,命名为邻域对比学习(NCL),学习判别表示,是重要的聚类性能。我们的贡献是双重的。首先,我们发现在标记集上训练的特征提取器生成表示,其中通用查询样本及其邻居可能共享同一个类。我们利用这一观察结果来检索和聚合伪正对与对比学习,从而鼓励模型学习更多的歧视性表示。其次,我们注意到大多数实例很容易被网络区分,对对比损失的贡献较小。为了克服这个问题,我们建议通过在特征空间中混合标记和未标记的样本来生成硬底片。我们的实验证明,这两个成分显着有助于聚类性能,并导致我们的模型以较大幅度优于最先进的方法(例如,CIFAR-100上的聚类准确率为+13%,ImageNet上为+8%)。
2021-06-20 cs.AI cs.CV cs.LG
Deep Image Category Discovery using a Transferred Similarity Function
Georgia Institute of Technology(佐治亚理工学院);Georgia Tech Research Institute(佐治亚理工研究所)
在未标记的自然图像中自动发现图像类别是无监督学习的重要目标之一。然而,这项任务具有挑战性,甚至人类也根据大量的先验知识来定义视觉类别。在本文中,我们同样利用先验知识,以促进发现的图像类别。我们提出了一种新的端到端网络映射未标记的图像类别作为聚类网络。我们提出,这个网络可以学习与对比损失,这是只基于弱二元成对约束。这种二元约束可以从其他领域的数据集中学习,作为传递的相似性函数,其模仿简单的知识传递。我们首先评估我们在MNIST数据集上的实验作为概念证明,基于Omniglot上训练的预测相似性,显示出99%的准确率,显着优于基于聚类的方法。然后,我们评估了Cifar-10,STL-10和ImageNet的发现性能,这些性能既达到了最先进的准确性,又显示出它可以扩展到各种大型自然图像。
2016-12-05 cs.CV cs.LG
The Influence of Domain-Based Preprocessing on Subject-Specific Clustering
University of Bath(巴斯大学)
由于全球新冠肺炎疫情,大学突然改变将大部分教学转移到网上,这给学者带来了更大的工作量。其中一个促成因素是回答来自学生的大量查询。由于这些查询不限于讲座的同步时间范围,因此其中许多查询很有可能是相关的,甚至是等同的。处理这个问题的一种方法是根据主题将这些问题分组。在我们之前的工作中,我们的目标是使用循环LDA模型找到一种改进的聚类方法,从而提高效率。我们的数据集包含了巴斯大学计算机科学课程在线发布的问题。这些问题中有相当一部分包含代码摘录,我们发现这在聚类中造成了问题,因为某些术语被认为是英语中的常用词,而不是被认为是特定的代码术语。为了解决这个问题,我们使用Python实现了这些技术术语的标记,作为数据集预处理的一部分。在本文中,我们将探讨标记数据集的领域,重点是识别代码摘录和提供实证结果,以证明我们的推理。
2020-11-16 cs.IR cs.LG
Multi-objective Clustering Algorithm with Parallel Games
Laboratory of Medical Informatics (LIMED)(医学信息学实验室(LIMED));Insight Center for Data Analytics(洞察数据分析中心);University of Bejaia(贝贾亚大学);University College of Dublin(都柏林大学学院)
数据采掘和知识发现是近二十年来由于大量的数据而兴起的两个重要的研究领域。生成的数据量呈指数级增长,促使开发几种挖掘技术来满足自动获取知识的需求。聚类分析(寻找相似的数据组)是数据采掘和知识发现中一种成熟且广泛使用的方法。在本文中,我们介绍了一种聚类技术,使用博弈论模型来解决多目标应用问题。其主要思想是利用一种特定类型的同时移动游戏,称为拥挤游戏。拥塞博弈提供了许多优点,从被简洁地表示到拥有在多项式时间内可达到的纳什均衡。该算法主要包括三个步骤:1)确定初始参与者(或簇头); 2)通过构建博弈来确定初始簇的组成,并试图找到博弈的均衡点。第三步包括合并接近的聚类以获得最终的聚类。实验结果表明,该方法取得了良好的效果,它是非常有前途的可扩展性和性能。
2020-07-10 cs.GT cs.LG
Data-driven Influence Based Clustering of Dynamical Systems
Pacific Northwest National Laboratory(太平洋西北国家实验室)
社区检测是一个具有挑战性的和相关的问题,在各种学科的科学和工程,如电力系统,基因调控网络,社交网络,金融网络,天文学等。此外,在许多这些应用程序的底层系统是动态的性质,由于所涉及的系统的复杂性,推导出一个数学模型,可用于聚类和社区检测,往往是不可能的。此外,在聚类动力系统时,必须考虑底层系统的动力学性质。在本文中,我们提出了一种新的方法聚类动力系统纯粹从时间序列数据,内在地考虑到底层系统的动态演化。特别是,我们定义了一个\emph{distance/similarity}措施之间的状态的系统,这是一个功能的影响,国家对彼此,并使用建议的措施聚类的动力系统。对于数据驱动的计算,我们利用Koopman算子框架,考虑到底层系统的非线性(如果存在),从而使所提出的框架适用于广泛的应用领域。我们说明了聚类三个不同的动力系统,即,一个线性系统,它的行为就像一个概念证明,高度非线性IEEE 39总线传输网络和动态变量从亚马逊雨林的大气数据所提出的方法的有效性。
2022-04-05 cs.IT cs.LG cs.SY
Option Discovery in Hierarchical Reinforcement Learning using Spatio-Temporal Clustering
Indian Institute of Technology, Madras(马德拉斯印度理工学院);Microsoft Corporation(微软公司);University of Washington(华盛顿大学)
本文介绍了一种自动技能获取框架强化学习,其中涉及到识别的抽象状态和抽象状态之间的扩展动作的给定任务的层次描述。识别任务中存在的这种结构提供了简化和加速强化学习算法的方法。这些结构还有助于将此类算法推广到多个任务上,而无需从头开始重新学习策略。我们使用动力学系统的思想,在状态空间中找到亚稳态区域,并将它们与抽象状态相关联。谱聚类算法PCCA+用于识别与底层结构对齐的适当抽象。技能是根据导致这些抽象状态之间转换的动作序列来定义的。来自PCCA+的连接信息用于生成这些技能或选项。这些技能独立于学习任务,并且可以在同一模型上定义的各种任务中有效地重用。即使没有环境的精确模型,这种方法也能很好地工作,通过使用样本轨迹来构建近似估计。我们还提出了我们的方法来扩展的技能获取框架,以复杂的任务与大的状态空间,我们执行状态聚合使用的表示从一个动作条件视频预测网络,并使用技能获取框架上的聚合状态空间。
2020-09-21 cs.AI cs.CV cs.LG
Going beyond research datasets: Novel intent discovery in the industry setting
Allegro(Allegro 公司)
本文针对工业场景中真实数据集,提出利用领域内预训练及对话结构(Conv)微调方法,提升新意图发现性能,较CDAC模型提升高达33个百分点。
2023-05-09 cs.CL cs.LG
Privacy Preserving K-Means Clustering: A Secure Multi-Party Computation Approach
GMV(GMV公司)
知识发现是人工智能的主要目标之一。这些知识通常存储在分布在不同环境中的数据库中,访问和从中提取数据是一项繁琐(或不可能)的任务。对于这个困难,我们必须补充的是,这些数据可能包含私人数据,因此信息永远不会离开源。隐私保护机器学习(PPML)有助于克服这一困难,采用加密技术,允许知识发现,同时确保数据隐私。K-means是一种数据采掘技术,用于发现知识,将包含相似特征的数据点分组在聚类中。本文重点介绍了隐私保护机器学习应用于K-means,使用最近的协议,从criptography领域。该算法适用于不同的情况下,数据可能是水平或垂直分布。
2020-09-22 cs.CR cs.LG stat.ML
Unsupervised Discovery of El Nino Using Causal Feature Learning on Microlevel Climate Data
Caltech(加州理工学院)
我们表明,厄尔尼诺和拉尼娜的气候现象自然出现的宏观变量的状态时,我们最近的因果特征学习框架(Chalupka 2015,Chalupka 2016)被应用于微观水平的纬向风(ZW)和海面温度(SST)的测量在太平洋赤道带。该方法根据ZW和SST型之间的关系来识别这些异常气候状态,而不需要任何关于过去厄尔尼诺或拉尼娜事件的输入。简单的替代方案(i)聚类SST场,而忽略它们与ZW型的关系,或(ii)聚类联合ZW-SST型,没有发现厄尔尼诺。我们讨论了我们的方法支持因果解释的程度,并使用低维玩具的例子来解释其成功的聚类方法。最后,我们提出了一种新的鲁棒性和可扩展性替代我们的原始算法(Chalupka 2016),它避免了对高维密度学习的需求。
2016-05-30 cs.AI cs.LG physics.ao-ph
A Group-Theoretic Approach to Computational Abstraction: Symmetry-Driven Hierarchical Clustering
Coordinated Science Laboratory(协调科学实验室);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
摘要抽象在概念学习和知识发现中起着关键作用,本文主要研究计算抽象。特别是,我们研究的性质,抽象通过一组理论的方法,正式将其作为数据驱动的-而不是数据驱动的-层次聚类。因此,所得到的聚类框架是无数据,无特征,无相似性和全局层次--四个关键特征,使其区别于常见的数据聚类模型,如$k$ -手段。除了抽象的理论基础,我们还提出了一个自上而下和自下而上的方法来建立一个实用的抽象生成方法的算法基础。最后,通过理论解释和实际应用,我们说明了我们的抽象框架与统计学的进一步耦合实现了香农的信息格,甚至进一步将学习带入画面。这不仅提供了我们提出的计算抽象的一个用例,而且还为自动概念学习和知识发现的原则和认知方式迈出了第一步。
2019-07-22 cs.IT cs.LG math.IT
Discovery of Generalizable TBI Phenotypes Using Multivariate Time-Series Clustering
University of Arizona(亚利桑那大学);University of Cincinnati(辛辛那提大学);Virginia Tech(弗吉尼亚理工大学)
本研究利用SLAC-Time多元时间序列聚类方法,在TRACK-TBI和MIMIC-IV数据集中发现三种可泛化的TBI表型(α、β、γ),并验证了方法的稳定性及年龄对结局的影响。
2024-08-20 cs.LG q-bio.QM stat.AP
Influence of various text embeddings on clustering performance in NLP
本研究针对电商评论星级与文本不匹配问题,对比BERT、Word2Vec两类文本嵌入对多种聚类算法性能的影响,发现嵌入类型显著影响聚类效果,DBSCAN性能更优但标记更多异常值,为文本聚类研究提供参考。
2023-05-04 cs.CL cs.IR cs.LG
Beyond Known Clusters: Probe New Prototypes for Efficient Generalized Class Discovery
Hefei University of Technology(合肥工业大学);CSIRO(联邦科学与工业研究组织);University of Edinburgh(爱丁堡大学)
本文针对广义类别发现中聚类数量不足和计算开销大的问题,提出引入可学习潜在原型的自适应探测机制,并仅对未标注数据聚类,在多个数据集上取得领先精度和显著效率提升。
2024-04-30 cs.AI cs.CV cs.LG
Exploring Behavior Discovery Methods for Heterogeneous Swarms of Limited-Capability Robots
Kalhert School of Computing, University of Utah(犹他大学卡尔赫特计算学院)
本文研究能力受限异构机器人群体的涌现行为发现,通过大量实验对比新颖性搜索、聚类及人在回路方法,发现迭代式人在回路过程效果最佳,共发现23种涌现行为,其中18种为首次发现。
2023-10-25 cs.LG cs.MA cs.RO
Cancer Gene Profiling through Unsupervised Discovery
精准医疗是医疗保健领域的一种范式转变,严重依赖基因组学数据。然而,生物相互作用的复杂性,大量的基因以及缺乏对数据分析的比较,仍然是临床采用的巨大瓶颈。在本文中,我们介绍了一种新的,自动和无监督的框架来发现低维基因生物标志物。我们的方法是基于LP-稳定性算法,高维中心为基础的无监督聚类算法,提供模块化的度量函数和可扩展性,同时能够自动确定最佳数量的集群。我们的评估包括数学和生物学标准。恢复的签名被应用于各种生物学任务,包括筛选生物学途径和功能,以及表征肿瘤类型和亚型的相关性。不同的距离度量,常用的聚类方法和参考基因签名在文献中使用的定量比较,确认我们的方法的最先进的性能。特别是,我们的签名,这是基于27个基因,报告至少$30$倍更好的数学意义(平均邓恩指数)和25%更好的生物学意义(平均富集蛋白质相互作用)比其他参考聚类方法产生的。最后,我们的签名报告了区分免疫炎性和免疫沙漠肿瘤的有希望的结果,同时报告了92%的肿瘤类型分类的高平衡准确度和68%的肿瘤亚型分类的平均平衡准确度,与参考签名相比,这分别代表了7%和9%的高性能。
2021-02-11 cs.LG q-bio.GN
Cluster LOCO: Feature Importance For Interpreting Clusters
Department of Statistics Columbia University(统计学系哥伦比亚大学)
提出模型无关的聚类特征重要性方法Cluster LOCO,通过特征遮挡和泛化性度量,可靠识别驱动聚类结构的特征。
2026-06-15 cs.LG stat.AP stat.ME
Unsupervised Discovery of Mid-Level Discriminative Patches
Carnegie Mellon University(卡内基梅隆大学)
本文的目标是发现一组有区别的补丁,可以作为一个完全无监督的中级视觉表示。所需的补丁需要满足两个要求:1)具有代表性,它们需要在视觉世界中出现足够频繁; 2)具有区分性,它们需要与视觉世界的其他部分足够不同。补丁可以对应于部件、对象、“视觉短语”等,但不限于它们中的任何一个。我们把这作为一个无监督的判别聚类问题的图像补丁的一个巨大的数据集。我们使用一个迭代过程,在聚类和训练判别分类器之间交替进行,同时在每一步都应用仔细的交叉验证来防止过拟合。本文通过实验证明了判别补丁作为无监督的中级视觉表示的有效性,这表明它可以用于代替视觉词的许多任务。此外,判别补丁也可以用于监督机制,如场景分类,其中它们在MIT Indoor-67数据集上展示了最先进的性能。
2012-08-18 cs.AI cs.CV cs.LG
An Influence-based Approach for Root Cause Alarm Discovery in Telecom Networks
Noah's Ark Lab(诺亚方舟实验室);Huawei Technologies(华为技术有限公司)
告警根源分析是电信网络日常维护中的重要组成部分,对高效准确地定位故障和恢复故障至关重要。在实践中,由于网络的复杂性和大量的报警,准确和自调整的报警根本原因分析是一个巨大的挑战。一个流行的方法来识别故障的根本原因是构造一个图的近似边缘,通常基于事件同现或条件独立性测试。然而,边缘修剪通常需要相当多的专业知识。我们提出了一种新的数据驱动的框架,根本原因报警定位,结合因果推理和网络嵌入技术。在此框架下,我们设计了一种混合因果图学习方法(HPCI),该方法将Hawkes过程与条件独立性测试相结合,并提出了一种新的基于因果推理的嵌入算法(CPBE)来推断边权重。我们随后发现的根本原因报警的实时数据流中应用的加权图上的影响力最大化算法。我们在人工数据和真实世界的电信数据上评估了我们的方法,显示出比最佳基线有显着改善。
2021-05-07 cs.AI cs.LG cs.SI