Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent(腾讯);University College Dublin(都柏林大学学院);Trinity College Dublin(都柏林圣三一学院)
针对贝叶斯层次混合聚类(BHMC)高层节点分离度弱的问题,提出对各层节点施加最大间隔约束的后验正则化方法,有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
Fair Bayesian Model-Based Clustering
Department of Statistics(统计系)
针对现有群体公平聚类多依赖K-means、需预定义聚类数和距离的局限,提出公平贝叶斯聚类FBC,通过特殊公平先验和高效MCMC算法,可推断聚类数、适配多数据类型,在真实数据集上实现有竞争力的效用-公平性权衡。
2025-06-15 cs.AI cs.LG stat.ML
Clustering by Attention: Leveraging Prior Fitted Transformers for Data Partitioning
Applied Innovation Center(应用创新中心)
本文提出利用预训练 PFN 的注意力机制进行元学习聚类,仅凭少量预聚类样本即可在单次前向传播中完成数据划分,实验表明其准确率优于现有方法。
2025-07-27 cs.AI cs.LG
Self-Clustering Graph Transformer Approach to Model Resting-State Functional Brain Activity
Georgia State University(佐治亚州立大学);Tri-Institutional Center for Translational Research in Neuroimaging and Data Science(三方神经成像与数据科学转化研究中心);Georgia Institute of Technology(佐治亚理工学院)
本文提出自聚类图Transformer(SCGT),通过聚类特定节点更新捕捉静息态脑功能连接中的子网络结构,并在ABCD数据集上验证其在认知评分预测和性别分类中优于现有模型。
2025-02-07 cs.AI cs.LG
B-TGAT: A Bi-directional Temporal Graph Attention Transformer for Clustering Multivariate Spatiotemporal Data
Dept of Information Systems University of Maryland, Baltimore County Baltimore, USA(信息系统系 马里兰大学巴尔的摩分校 美国巴尔的摩)
针对高维时空气候数据聚类难题,提出集成B-TGAT的混合U-Net自编码器,结合ConvLSTM2D与图注意力机制提取时空特征,显著提升了聚类效果与可解释性。
2025-09-16 cs.AI cs.LG
A PAC-Bayesian Analysis of Graph Clustering and Pairwise Clustering
Max Planck Institute for Biological Cybernetics(马克斯·普朗克生物控制论研究所)
我们制定加权图聚类作为一个预测问题:给定一个子集的边缘权重,我们分析的能力图聚类预测剩余的边缘权重。该公式使实际和理论上的比较不同的方法图聚类,以及比较图聚类与其他可能的方式来建模的图。我们采用了PAC-Bayesian协聚类分析(Seldin and Tishby,2008; Seldin,2009)来推导图聚类的PAC-Bayesian泛化界。该界限表明,图聚类应该优化经验数据拟合和聚类在图节点上保留的互信息之间的权衡。从信息理论考虑导出的类似权衡已经显示在实践中产生最先进的结果(Slonim等人,2005年; Yom-Tov和Slonim,2009年)。本文通过提供更好的理论基础,提出形式化的推广保证,并提供更准确的方法来处理有限样本问题,从而支持了经验证据。我们推导出一个界最小化算法,并表明它在现实生活中的问题提供了很好的结果,所得出的PAC贝叶斯界是合理的紧。
2010-09-02 cs.DS cs.LG stat.ML
Bayesian sparse convex clustering via global-local shrinkage priors
NTT Advanced Technology Corporation(NTT先进技术公司);The University of Electro-Communications(电气通信大学)
稀疏凸聚类是在凸聚类框架下对观测值进行聚类的同时进行变量选择。虽然加权$L_1$范数通常用于稀疏凸聚类中的正则化项,但如果样本量不足,则其使用增加了对数据的依赖性并降低了估计精度。针对这些问题,本文提出了一种基于贝叶斯套索和全局-局部收缩先验的贝叶斯稀疏凸聚类方法。我们引入吉布斯抽样算法,我们的方法使用的比例混合正态分布。仿真研究和实际数据分析表明了所提出方法的有效性。
2020-05-26 cs.LG stat.ME stat.ML
Bayesian Consensus Clustering
Duke University Medical Center(杜克大学医学中心);Duke University(杜克大学)
基于多个数据源对一组对象进行聚类的任务出现在几个现代应用中。我们提出了一个综合的统计模型,允许一个单独的聚类的对象为每个数据源。这些单独的聚类松散地附着于整体共识聚类,因此它们不是独立的。我们描述了一个计算上可扩展的贝叶斯框架,同时估计的共识聚类和特定于源的聚类。我们证明了这种灵活的方法比所有数据源的联合聚类更强大,并且比单独对每个数据源进行聚类更强大。这项工作的动机是异构生物医学数据的综合分析,我们提出了一个应用程序,使用公开的数据从癌症基因组图谱的乳腺癌肿瘤样本的亚型鉴定。软件可在http://people.duke.edu/~el113/software.html上获得。
2013-02-28 cs.LG stat.ML
Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation
University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院);Stanford University(斯坦福大学)
一个好的聚类可以帮助数据分析师探索和理解数据集,但是什么是好的聚类可能取决于特定于领域和特定于应用程序的标准。这些标准可能很难正式化,即使分析师在看到一个集群时很容易知道一个好的集群。我们提出了一种新的方法来交互式聚类数据探索,称为\ciif,基于一个特别简单的反馈机制,在该机制中,分析师可以选择拒绝个别集群,并要求新的。新的聚类应该与以前拒绝的聚类不同,同时仍然很好地拟合数据。我们正式这种互动在一个新的贝叶斯先验启发框架。在每次迭代中,先验被适配为考虑所有先前的反馈,然后从后验分布产生新的聚类。为了实现必要的交互式设置的计算效率,我们提出了一种增量优化方法,使用拉格朗日松弛的数据minibatches。实验表明,\ciif可以产生准确和多样的聚类。
2016-06-08 cs.LG stat.ML
Clustering with a Reject Option: Interactive Clustering as Bayesian Prior Elicitation
University of Edinburgh(爱丁堡大学);Microsoft Research(微软研究院);Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);Twitter(推特)
一个好的聚类可以帮助数据分析师探索和理解数据集,但是什么是好的聚类可能取决于特定于领域和特定于应用程序的标准。这些标准可能很难形式化,即使分析师在看到一个集群时很容易知道一个好的集群。我们提出了一种新的方法,称为TINDER的数据探索的交互式聚类,基于一个特别简单的反馈机制,在该机制中,分析师可以拒绝给定的聚类,并要求一个新的,这是选择从以前的聚类不同,同时适合的数据。我们在贝叶斯框架中将这种相互作用形式化为先前启发的方法,其中每个不同的聚类由经过修改以阻止先前拒绝的聚类的先验分布产生。我们表明,TINDER成功地产生了一组不同的聚类,每个质量相当,这是更多样化的比随机重新启动。
2016-06-19 cs.LG stat.ML
Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility
Pohang University of Science and Technology(浦项科技大学)
贝叶斯层次聚类(Bayesian hierarchical clustering,BHC)是一种凝聚聚类方法,它定义了一个概率模型,并评估其边缘似然来决定哪些聚类要合并。虽然BHC提供了一些优势,传统的基于距离的凝聚聚类算法,连续的边缘似然评估和仔细的超参数调整是繁琐的,限制了可扩展性。在本文中,我们放松BHC到一个非概率制定,探索共轭指数模型的小方差渐近。我们开发了一种新的聚类算法,被称为放松BHC(RBHC),从BHC模型的渐近极限,表现出基于距离的凝聚聚类算法的可扩展性,以及贝叶斯非参数模型的灵活性。我们还研究了从BHC模型的渐近极限中出现的相异性度量的减少,使我们能够使用可扩展的算法,如最近邻链算法。在人工数据集和真实数据集上的数值实验证明了该方法的有效性和高性能。
2015-06-03 cs.LG stat.ML
Model-free Bayesian Clustering and Multimodal Posterior Summarisation
University of Edinburgh(爱丁堡大学)
该研究提出无模型感知噪声贝叶斯聚类框架,结合Wasserstein型摘要方法,可避免复杂模型指定与昂贵采样,能有效捕捉聚类及噪声不确定性。
2026-10-12 cs.LG stat.ML
Bayesian Supervised Causal Clustering
School of Informatics, University of Edinburgh(信息学院,爱丁堡大学);Usher Institute, University of Edinburgh(乌瑟研究所,爱丁堡大学)
本文提出贝叶斯监督因果聚类方法,通过治疗效应指导聚类过程,识别具有相似协变量特征和治疗效应的同质亚组,并在模拟和现实数据上验证其有效性。
2026-03-05 cs.LG stat.ML
Small transformers track Bayesian evidence for latent common causes via a context-invariant mechanism
University of Tübingen(蒂宾根大学)
本研究探究小型Transformer如何通过上下文不变机制,在跨上下文泛化中实现潜在共同原因的贝叶斯证据积累,并分离模型机制与真实因果结构。
2026-09-29 cs.LG
Bayesian Distance Clustering
University of Florida(佛罗里达大学);Duke University(杜克大学)
基于模型的聚类被广泛应用于各种应用领域。然而,对稳健性的基本担忧仍然存在。特别是,结果可以是敏感的内核代表内集群数据密度的选择。利用数据点之间的成对差异的属性,我们提出了一类贝叶斯距离聚类方法,它依赖于建模的成对距离的可能性,而不是原始数据。虽然数据中的一些信息被丢弃,但我们对建模假设具有很大的鲁棒性。所提出的方法代表了一个有吸引力的中间地带之间的距离和基于模型的聚类,从这些典型的方法中的每一个借鉴的优势。我们说明了戏剧性的收益,推断集群的能力,通常的内核选择没有很好地表示。包括一个模拟研究,以评估相对于竞争对手的性能,我们应用的方法来聚类的大脑基因组表达数据。保留字:基于距离的聚类;混合模型;基于模型的聚类;模型规格错误;成对距离矩阵;部分可能性;鲁棒性
2019-06-25 cs.LG stat.ML
Revisiting k-means: New Algorithms via Bayesian Nonparametrics
Ohio State University(俄亥俄州立大学);UC Berkeley(加州大学伯克利分校)
贝叶斯模型为聚类应用提供了很大的灵活性-贝叶斯非参数可用于建模无限混合物,分层贝叶斯模型可用于在多个数据集上共享聚类。在大多数情况下,这种灵活性是缺乏经典的聚类方法,如k-means。在本文中,我们重新审视的k-means聚类算法从贝叶斯非参数的观点。受启发的渐近连接之间的k-均值和混合高斯,我们表明,吉布斯采样算法的Dirichlet过程的混合接近硬聚类算法的限制,并进一步得到的算法单调最小化一个优雅的底层k-均值聚类目标,包括惩罚的集群数量。我们推广这种分析的情况下,聚类多个数据集,通过类似的渐近参数与分层狄利克雷过程。我们还讨论了进一步的扩展,突出了我们的分析的好处:i)涉及阈值特征向量的谱松弛,和ii)归一化割图聚类算法,不固定图中的聚类数量。
2012-06-14 cs.LG stat.ML
Improving Deep Image Clustering With Spatial Transformer Layers
Universidade Federal de Pernambuco(伯南布哥联邦大学)
图像聚类是机器学习中一项重要而又具有挑战性的任务。与大多数图像处理领域一样,最新的改进来自基于深度学习方法的模型。然而,经典的深度学习方法在处理像缩放和旋转这样的空间图像变换时存在问题。在本文中,我们提出了使用视觉注意技术,以减少这个问题的图像聚类方法。我们评估了称为深度自适应聚类(DAC)的深度图像聚类模型与空间Transformer网络(STN)的组合。该模型在数据集MNIST和FashionMNIST中进行了评估,并优于基线模型。
2019-10-24 cs.CV cs.LG stat.ML
Amortized Bayesian inference for clustering models
Columbia University(哥伦比亚大学)
我们开发了有效的摊销近似贝叶斯推断的概率聚类模型,如狄利克雷过程混合模型的后验分布的方法。该方法是基于映射到条件概率的集群安排的分布式,不变性表示。该方法易于并行化,从聚类分配的近似后验中产生iid样本,具有与单个Gibbs采样器扫描相同的计算成本,并且可以容易地应用于共轭和非共轭模型,因为训练仅需要来自生成模型的样本。
2018-11-24 cs.LG stat.CO stat.ML
Approach of variable clustering and compression for learning large Bayesian networks
ITMO University(圣彼得堡国立信息技术机械与光学大学)
本文提出了一种基于特征空间聚类的块学习大型贝叶斯网络结构的新方法。该聚类是使用归一化互信息获得的。块的后续聚合使用经典学习方法完成,除了它们被输入关于每个块的特征值组合的压缩信息。这种方法的验证完成爬山作为两个得分函数:BIC和MI的图枚举算法。以这种方式,即使对于被认为不适合于可并行化学习的那些得分函数,也可以实现潜在的可并行化块学习。该方法的优点是评估的工作速度以及所发现的结构的准确性。
2022-08-29 cs.LG stat.ML
Attention Beyond Neighborhoods: Reviving Transformer for Graph Clustering
School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院);Michigan State University(密歇根州立大学);Alibaba Group(阿里巴巴集团)
本文提出注意力图聚类网络AGCN,将注意力机制直接嵌入图结构以兼顾全局信息与局部拓扑,并通过KV缓存和成对间隔对比损失提升效率与判别力,在图聚类任务中超越现有方法。
2025-09-18 cs.AI cs.LG cs.NI
The Bayesian Geometry of Transformer Attention
Columbia University(哥伦比亚大学);Columbia University School of Professional Studies(哥伦比亚大学专业研究学院);Department of Statistics(统计学系);Columbia University Department of Computer Science(哥伦比亚大学计算机科学系)
本文通过构建贝叶斯风道,验证了Transformer在上下文中的贝叶斯推理能力,发现其通过几何机制实现后验更新与路由,揭示了注意力机制的必要性及扁平架构的不足。
2026-05-16 cs.AI cs.LG stat.ML
scGTN: Deep Siamese Graph Transformer Network for Single-cell RNA Sequencing Clustering
Sichuan University(四川大学);University of International Business and Economics(对外经济贸易大学);Great Bay University(大湾区大学);The Education University of Hong Kong(香港教育大学)
提出scGTN框架,通过孪生图变换网络整合基因表达与细胞间结构信息,利用最优传输策略进行自监督聚类,在多个数据集上优于现有方法。
2026-06-18 cs.AI cs.LG q-bio.GN
Quantitative Clustering in Mean-Field Transformer Models
Department of Mathematics, Massachusetts Institute of Technology(数学系,麻省理工学院);Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology(电气工程与计算机科学系,麻省理工学院)
研究均场变换器模型的长期聚类行为,证明在合适参数下,均场初始化能以指数速度同步到Dirac点质量,提供明确的收敛速率。
2026-05-08 cs.LG math.AP math.DS
Determinantal Clustering Processes - A Nonparametric Bayesian Approach to Kernel Based Semi-Supervised Clustering
University of Cambridge(剑桥大学)
半监督聚类是将数据点聚类成簇的任务,其中只有一小部分点被标记。数据中聚类的真实数量通常是未知的,大多数模型都需要这个参数作为输入。狄利克雷过程混合模型是有吸引力的,因为它们可以从数据中推断出聚类的数量。然而,这些模型不能很好地处理高维数据,并且在推理中会遇到困难。我们提出了一种新的非参数贝叶斯内核为基础的方法来聚类数据点,而不需要预先指定集群的数量或模型复杂的密度,数据点被假定为从生成。关键的见解是使用核矩阵的子矩阵的行列式作为一组点之间的距离的度量。我们探讨了模型的一些理论性质,并推导出一个基于自然吉布斯的算法与MCMC超参数学习。该模型在各种合成和真实世界的数据集上实现。
2013-09-26 cs.LG stat.ML
Pathologies in priors and inference for Bayesian transformers
ETH Zürich(苏黎世联邦理工学院)
近年来,Transformer已经成为从自然语言处理到强化学习的许多应用中的主力。同样,贝叶斯深度学习已成为安全关键型应用中不确定性估计的黄金标准,其中鲁棒性和校准至关重要。令人惊讶的是,不存在使用贝叶斯推理在预测不确定性方面改进Transformer模型的成功尝试。在这项工作中,我们研究这个奇怪的人口稀少的地区贝叶斯Transformers。我们发现,在Transformers的重量空间推断不工作,无论近似后验。我们还发现,先验至少部分是错误的,但这是很难找到这些模型的指定的权重先验。我们假设,这些问题源于复杂的获得一个有意义的映射,从重量空间到功能空间分布的Transformer。因此,移动更接近功能空间,我们提出了一种新的方法的基础上的隐式重新参数化的狄利克雷分布直接应用变分推理的注意力权重。我们发现,该方法与我们的基线竞争。
2021-10-15 cs.LG stat.ML
Bayesian Clustering of Shapes of Curves
Florida State University(佛罗里达州立大学)
根据曲线的形状对曲线进行无监督聚类是一个具有广泛科学应用的重要问题。现有的基于模型的聚类技术或者依赖于简单的概率模型(例如,高斯),通常不适用于形状分析或假设簇的数量。我们开发了一个有效的贝叶斯方法聚类曲线数据使用弹性形状度量,是基于联合注册和比较的曲线形状。从数据中获得的弹性内积矩阵建模使用Wishart分布,其参数被分配精心选择的先验分布,以允许自动推断的集群的数量。基于中国餐馆过程,通过高效的马尔可夫链蒙特卡罗过程对后验进行采样,以推断(1)聚类数的后验分布和(2)形状的聚类结构。该方法在蛋白质结构分析、显微镜图像中的细胞形状分析和MPEG7数据库中的形状聚类等各种合成数据和真实数据示例上进行了演示。
2015-04-01 cs.LG stat.ML
Transformers Simulate MLE for Sequence Generation in Bayesian Networks
The University of Hong Kong(香港大学);Princeton University(普林斯顿大学);Northwestern University(西北大学)
本文证明Transformer可通过上下文极大似然估计在贝叶斯网络中自回归生成序列,并通过实验验证其可训练获得,凸显其学习复杂概率模型的潜力。
2025-07-08 cs.LG stat.ML
A Bayesian Model for Supervised Clustering with the Dirichlet Process Prior
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
我们开发了一个贝叶斯框架来解决监督聚类问题,在任务中遇到的一般问题,如参考匹配,共指消解,身份不确定性和记录链接。我们的聚类模型是基于Dirichlet过程的先验,这使我们能够定义分布在自然出现在这个问题的可数无限集。我们通过假设存在一组未观察到的随机变量(我们称之为“参考类型”)来为我们的模型添加监督,这些变量在所有集群中都是通用的。在我们的框架中,这需要整合无限多个参数的推理,解决了使用马尔可夫链蒙特卡罗技术。我们提出了共轭和非共轭先验的算法。我们提出了一个简单的-但一般-我们的模型参数化的基础上高斯假设。我们在一个人工任务和三个现实任务上评估了这个模型,并将其与无监督和最先进的监督算法进行了比较。我们的研究结果表明,我们的模型能够在各种任务和性能指标上优于其他模型。
2009-07-04 cs.LG
Training-Induced Escape from Token Clustering in a Mean-Field Formulation of Transformers
RIKEN Center for Advanced Intelligence Project(RIKEN先进人工智能研究中心);Imperial College London(帝国理工学院伦敦分校);The University of Tokyo(东京大学);Kyoto University(京都大学)
研究揭示训练过程如何使标记聚类动态在最终层发生逃逸,通过均场理论分析注意力驱动的聚类偏移机制。
2026-10-19 cs.LG math.AP math.DS
Transformers versus the EM Algorithm in Multi-class Clustering
Princeton University(普林斯顿大学);Northwestern University(西北大学);The University of Hong Kong(香港大学)
针对Transformer在无监督学习问题理解有限的现状,本研究构建Transformer与EM算法在高斯混合聚类中的理论联系,提供逼近界并证明其在充足预训练样本下可达到极小极大最优率,揭示LLMs的强推理能力。
2025-02-09 cs.LG stat.ML
CAST: Clustering Self-Attention using Surrogate Tokens for Efficient Transformers
Department of Computer Science(计算机科学系);University of Twente(特文特大学)
本文提出CAST,一种基于代理令牌的聚类自注意力机制,将复杂度从二次降至线性,在长序列任务中性能不逊于基线,且时间与内存效率更高。
2024-02-06 cs.LG
TDEC: Deep Embedded Image Clustering with Transformer and Distribution Information
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室)
本文提出TDEC,通过结合Transformer和分布信息,改进图像聚类中的特征表示和维度偏好,提升聚类性能。
2026-03-23 cs.CV cs.LG
Vision Transformer for Contrastive Clustering
South China Agricultural University(华南农业大学);Sun Yat-sen University(中山大学)
视觉Transformer(ViT)已显示出其优于卷积神经网络(CNN)的优势,其能够捕获全局长程依赖性以进行视觉表示学习。除了ViT之外,对比学习也是近年来研究的热点。虽然以前的对比学习工作大多基于CNN,但最近的一些研究试图将ViT和对比学习结合起来,以增强自监督学习。尽管取得了相当大的进展,但这些ViT和对比学习的组合大多集中在实例级对比度上,这往往忽视了全局对比度,并且也缺乏直接学习聚类结果的能力(例如,图像)。鉴于此,本文提出了一种新的深度聚类方法,称为对比聚类的视觉Transformer(VTCC),据我们所知,它首次将Transformer和对比学习结合起来用于图像聚类任务。具体来说,在每个图像上执行两个随机增强,我们利用具有两个权重共享视图的ViT编码器作为骨干。为了弥补ViT的潜在不稳定性,我们引入了一个卷积干,将每个增强的样本分割成一个补丁序列,它使用多个堆叠的小卷积,而不是补丁投影层中的大卷积。通过经由主干学习补丁序列的特征表示,进一步利用实例投影器和聚类投影器来分别执行实例级对比学习和全局聚类结构学习。在八个图像数据集上的实验证明了我们的VTCC方法的稳定性(从头开始训练期间)和优越性(聚类性能)。
2022-07-10 cs.CV cs.LG
A Bayesian Method for Joint Clustering of Vectorial Data and Network Data
Emory University(埃默里大学);The Chinese University of Hong Kong(香港中文大学)
我们提出了一种新的基于模型的综合方法,用于聚类对象给定的矢量数据,它描述了每个对象的特征,和网络数据,它表明连接的对象的相似性。所提出的通用模型能够在一个综合概率模型中同时聚类两种类型的数据,而传统方法只能处理一种数据类型或依赖于将一种数据类型转换为另一种数据类型。基于马尔可夫链蒙特卡罗算法进行聚类的贝叶斯推断。结合高斯混合模型和随机块模型的一般模型的一个特殊情况进行了广泛的研究。我们使用合成数据和真实数据来评估这种新方法,并将其与其他方法进行比较。结果表明,我们的同时聚类方法表现得更好。这种改进是由于基于模型的概率方法有效地整合信息的力量。
2017-10-24 cs.LG stat.CO stat.ML
Testing pre-trained Transformer models for Lithuanian news clustering
Faculty of Informatics Kaunas University of Technology(考纳斯理工大学信息学院);Kaunas University of Technology(考纳斯理工大学)
最近推出的Transformer深度学习架构在各种自然语言处理任务中取得了突破。然而,非英语语言无法利用英语文本预训练模型的新机会。这种情况随着多语言模式的研究而改变,其中较少使用的语言是主要受益者。我们比较了预训练的多语言BERT,XLM-R和旧的学习文本表示方法作为立陶宛新闻聚类任务的编码。我们的研究结果表明,公开的预训练多语言Transformer模型可以进行微调,以超过单词向量,但仍然比专门训练的doc 2 vec嵌入得分低得多。
2020-04-03 cs.CL cs.IR cs.LG
DGCformer: Deep Graph Clustering Transformer for Multivariate Time Series Forecasting
The University of Hong Kong(香港大学);Vivo Mobile Communication Co., Ltd.(维沃移动通信有限公司)
针对多变量时间序列预测中通道依赖策略易引入无关变量致性能下降的问题,提出结合通道依赖与独立策略优势的DGCformer,经图卷积自编码器分组变量并搭配前后掩码自注意力,在8个数据集上表现优于现有最优模型。
2024-05-14 cs.LG
A Bayesian alternative to mutual information for the hierarchical clustering of dependent random variables
Department of Computational Neuroscience, University Medical Center Hamburg-Eppendorf, Hamburg University(汉堡大学附属埃彭多夫医学中心计算神经科学系,汉堡大学)
在凝聚层次聚类(AHC)中使用互信息作为相似性度量提出了一个重要问题:需要对变量的维数进行一些校正。在这项工作中,我们制定的决定,合并相关的多元正态变量在AHC程序作为贝叶斯模型比较。我们发现贝叶斯公式自然地将经验协方差阵缩小到先验的矩阵集合(例如,恒等式),提供自动停止规则,并使用一项来校正维数,该项根据变量的维数按比例增加度量。此外,由此产生的对数贝叶斯因子是渐近成比例的互信息的插件估计,与贝叶斯信息标准的协议的维数的添加剂校正。我们研究了这些贝叶斯替代品(精确和渐近形式)的行为,以模拟和真实数据的互信息。一个令人鼓舞的结果首先来自模拟:基于对数贝叶斯因子的层次聚类优于现成的聚类技术,以及原始和归一化的互信息的分类精度。在一个玩具例子中,我们发现贝叶斯方法导致的结果与互信息聚类技术相似,具有自动阈值的优势。在测量大脑活动的真实功能性磁共振成像(fMRI)数据集上,它识别出与标准程序的既定结果一致的聚类。在这个应用中,归一化互信息具有高度非典型的行为,在这个意义上,它系统地支持非常大的集群。这些初步的实验表明,提出的贝叶斯替代互信息是一个有用的新工具,层次聚类。
2015-10-19 cs.LG q-bio.QM stat.ML
Fairness in Visual Clustering: A Novel Transformer Clustering Approach
University of Arkansas(阿肯色大学);Concordia University(康考迪亚大学);Carnegie Mellon University(卡内基梅隆大学);North Carolina A&T State University(北卡罗来纳农业技术州立大学)
本文针对无监督深度聚类中的公平性问题,提出基于聚类纯度一致性的损失函数和Cross-attention注意力机制,在提升聚类准确性的同时有效减少多个敏感属性上的人口统计偏差。
2023-09-18 cs.CV cs.LG
Bayesian Nonparametric Dynamical Clustering of Time Series
本文提出一种贝叶斯非参数方法,通过层次狄利克雷过程和高斯过程先验建模无限聚类的时间序列动态切换,实现高效聚类并避免过度增殖,在心电图分析中验证有效性。
2026-10-21 cs.AI cs.LG stat.AP
A Bayesian Learning, Greedy agglomerative clustering approach and evaluation techniques for Author Name Disambiguation Problem
Indian Institute of Science Education and Research(印度科学教育与研究院)
由于同一作者以不同的名字出现,多个作者拥有相似的名字,作者的名字往往含糊不清。它造成了将学术著作与作者联系起来的困难,从而在署名、文献计量分析、数字图书馆中按作者搜索和专家发现中引入了不准确性。在文献中已经提出了过多的技术来消除作者姓名的歧义。我试图把重点放在研究工作的目标是消除歧义的作者姓名。我首先通过传统的方法,然后我讨论的评价技术和聚类模型,最后导致贝叶斯学习和贪婪凝聚的方法。我相信这篇集中的评论对研究界是有用的,因为它讨论了应用于一个非常大的真实数据库的技术,这个数据库在世界范围内被广泛使用。贝叶斯和贪婪凝聚的方法将有助于更好地解决与问题。最后,我试图为未来的工作勾勒出几个方向
2022-11-01 cs.DL cs.LG
Powered Dirichlet Process for Controlling the Importance of "Rich-Get-Richer" Prior Assumptions in Bayesian Clustering
Université de Lyon(里昂大学);ERIC EA 3083
贝叶斯聚类中最常用的先验之一是Dirichlet先验。它可以被描述为一个中国餐馆的过程。这个过程允许在划分数据集时对聚类数进行非参数估计。它的关键特征是“富-更富”属性,该属性假设集群具有线性依赖于人口的先验概率。在本文中,我们表明,这种先验并不总是最好的选择模型数据。我们从狄利克雷-多项分布的修改版本中推导出动力中餐厅过程来回答这个问题。然后,我们开发它的一些基本属性(预期的集群数量,收敛性)。与这方面的最新努力不同,这一新的提法允许直接控制“富-更富”优先的重要性。
2021-04-26 cs.DM cs.LG
Reliable data clustering with Bayesian community detection
Integrated Science Lab, Department of Physics, Umeå University, Umeå, Sweden(整合科学实验室,物理系,乌梅大学,乌梅,瑞典)
本研究提出利用贝叶斯社区检测方法(度修正随机块模型和正则化映射方程)结合最小描述长度原则,实现抗噪声的可靠数据聚类,在合成数据和基因共表达数据上优于传统方法。
2026-10-19 cs.LG physics.data-an stat.ME
Bayesian Nonparametric Multilevel Clustering with Group-Level Contexts
Deakin University(迪肯大学);University of Michigan(密歇根大学);Nuance Communications(Nuance通信公司)
我们提出了一个贝叶斯非参数框架的多级聚类,利用组级上下文信息,同时发现低维结构的组内容和分区组成集群。使用Dirichlet过程作为构建块,我们的模型构建了一个产品基本测量与嵌套结构,以适应内容和上下文的观察在多个层次。该模型具有的属性,链接嵌套狄利克雷过程(nDP)和狄利克雷过程混合模型(dirichlet)在一个有趣的方式:整合出所有的内容的结果,在上下文中,而整合出特定于组的上下文的结果,在nDP混合物的内容变量。我们提供了一个Polya-urn视图的模型和一个有效的折叠吉布斯推理过程。在真实世界数据集上的大量实验表明,通过我们的模型在文本和图像域中利用上下文信息的优势。
2014-01-29 cs.LG stat.ML
Clustering Time Series with Nonlinear Dynamics: A Bayesian Non-Parametric and Particle-Based Approach
Harvard University(哈佛大学);ESSEC Business School(埃塞克高等商学院);MIT, Picower Institute(麻省理工学院皮考尔研究所);Salk Institute(索尔克研究所)
我们提出了一个一般的统计框架聚类多个时间序列,表现出非线性动态成一个先验未知数量的子组。我们的动机来自神经科学,其中一个重要的问题是在大量神经元中识别出对刺激或偶然事件做出类似反应的子集。在建模的多个时间序列的Dirichlet过程的非线性状态空间模型的混合物的输出,我们推导出一个完整的贝叶斯推断,交替之间的采样集群分配和采样参数值,形成的基础上的聚类的大都市内吉布斯算法。Metropolis步骤采用了基于粒子的方法的最新创新。我们应用该框架聚类时间序列从小鼠的前额叶皮层在一个实验中,旨在表征恐惧的神经基础。
2019-03-04 cs.LG q-bio.NC stat.CO
Many Minds from One Model: Bayesian-Inspired Transformers for Population Diversity
University of California Santa Cruz(加州大学圣克ruz分校)
B-Trans通过在归一化层中引入随机性,实现从单一预训练模型中采样出多样且连贯的变压器实例,提升响应多样性与任务表现。
2026-01-15 cs.CL cs.LG
Clustering in pure-attention hardmax transformers and its role in sentiment analysis
FAU(弗赖堡大学)
研究纯注意力硬max变换器的行为,揭示其在情感分析中的聚类作用及可解释性模型的应用。
2026-11-18 cs.CL cs.LG math.DS
Sequential Embedding Induced Text Clustering, a Non-parametric Bayesian Approach
State University of New York at Buffalo(纽约州立大学布法罗分校);University of California, Irvine(加州大学欧文分校)
当前最先进的非参数贝叶斯文本聚类方法通过词袋上的多项分布对文档进行建模。虽然这些方法可以有效地利用文档的单词突发性表示,并取得不错的性能,但它们没有探索文本的顺序信息和同义词之间的关系。本文将文档建模为词袋、序列特征和词嵌入的结合点。我们提出了顺序嵌入诱导狄利克雷过程混合模型(SiDPMM),有效地利用这种联合文档表示文本聚类。序列特征由编码器-解码器组件提取。通过连续词袋模型(CBOW)产生的词嵌入来处理同义词。实验结果表明,我们的模型在两个主要方面的好处:1)提高了性能在多个不同的文本数据集的归一化互信息(NMI); 2)更准确的推理地面真理的聚类数与正则化效果的微小离群聚类。
2018-11-29 cs.IR cs.LG stat.ML
A Bayesian non-parametric method for clustering high-dimensional binary data
Systems Biology Ireland(爱尔兰系统生物学);University College Dublin(都柏林大学)
在许多现实生活中的问题,对象描述了大量的二进制功能。例如,文档的特征在于存在或不存在某些关键字;癌症患者的特征在于存在或不存在某些突变等。在这种情况下,基于这种高维二进制特征将类似的对象/配置文件分组在一起是可取的,但具有挑战性。在这里,我提出了一个贝叶斯非参数算法聚类高维二进制数据。它使用狄利克雷过程(DP)混合模型和模拟退火,不仅聚类二进制数据,而且还找到数据中的最佳聚类数。使用模拟数据集对算法的性能进行了评估,并与其他算法进行了比较。它优于所有其他聚类方法,在模拟研究中进行了测试。它还用于对来自文档分析、手写图像分析和癌症研究的真实数据集进行聚类。它成功地根据主题划分了一组文档,基于不同书写风格的手写图像,并确定了化疗治疗的组织和突变特异性。
2016-03-08 cs.LG stat.AP stat.ML
An embedded segmental K-means model for unsupervised segmentation and clustering of speech
Stellenbosch University(斯泰伦博斯大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of Edinburgh(爱丁堡大学)
无标记语音的无监督分割和聚类是零资源语音处理的核心问题。大多数方法都处于方法论的极端:一些使用具有收敛保证的概率贝叶斯模型,而另一些则选择更有效的启发式技术。尽管在以前的工作中具有竞争力的性能,完整的贝叶斯方法是难以扩展到大型语音语料库。我们介绍了一个近似最近的贝叶斯模型,仍然有一个明确的目标函数,但提高了效率,使用硬聚类和分割,而不是完整的贝叶斯推理。与贝叶斯模型类似,嵌入式分段K均值模型(ES-KMeans)将任意长度的词段表示为固定维的声学词嵌入。我们首先在普通英语和Xitsonga数据集(5小时和2.5小时的语音)上将ES-KMeans与以前的方法进行比较:ES-KMeans在分词方面优于领先的探试法,给出了与贝叶斯模型相似的分数,同时以更少的超参数快5倍。然而,它的集群是不纯的比其他模型。然后,我们通过将ES-KMeans应用于2017年零资源语音挑战赛的5种语言(长达45小时),将其扩展到更大的语料库,与挑战基线相比,它具有竞争力。
2017-09-05 cs.CL cs.LG
Scalable bayesian shadow tomography for quantum property estimation with set transformers
Department of Electrical and Computer Engineering, Seoul National University(电气与计算机工程系,首尔国立大学)
本文提出了一种结合经典阴影协议和集合变换器的贝叶斯方法,用于高效估计量子态属性,显著降低均方误差。
2025-12-04 cs.LG quant-ph
Meta-Learning for Data-Efficient Plant Growth Estimation via Vision Transformers and Fuzzy Clustering
Norwegian University of Life Sciences (NMBU)(挪威生命科学大学);Photosynthetic AS(Photosynthetic 公司)
提出结合ViT嵌入、模糊聚类任务构建与梯度元学习的少样本回归框架,实现标签稀缺下可靠的植物生长估计。
2026-09-11 cs.CV cs.LG
Leaner Transformers Can Easily Learn to Cluster
IBM Research(IBM研究院);MIT(麻省理工学院)
本研究提出一种更精简的Transformer,以更小的嵌入大小执行k-means聚类算法,并训练其学习聚类任务,理论刻画和实证验证了影响收敛与泛化的因素,同时探究了其通用聚类能力的成败情形。
2026-10-19 cs.LG stat.ML
BayesSpeech: A Bayesian Transformer Network for Automatic Speech Recognition
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
使用端到端深度学习模型的最新发展已被证明在自动语音识别任务上具有接近或优于最先进的递归神经网络(RNN)的性能。这些模型往往比传统的基于RNN的方法更轻,需要更少的训练时间。然而,这些模型采用频率主义方法进行重量训练。从理论上讲,网络权重是从一个潜在的、难以处理的概率分布中提取的。我们介绍贝叶斯语音的端到端自动语音识别。BayesSpeech是一个贝叶斯Transformer网络,其中这些棘手的后验是通过变分推理和局部重新参数化技巧学习的,而无需递归。我们展示了如何在权重中引入方差,从而在LibriSpeech-960上实现更快的训练时间和接近最先进的性能。
2023-01-16 cs.CL cs.LG cs.SD
Latent structure blockmodels for Bayesian spectral graph clustering
Imperial College London(帝国理工学院)
网络邻接矩阵的谱嵌入通常产生近似于低维子流形结构的节点表示。特别是,隐藏的子结构预计会出现时,从一个潜在的位置模型生成的图形。此外,网络中社区的存在可能会在嵌入中产生社区特定的子流形结构,但这在大多数网络的统计模型中并没有明确说明。在这篇文章中,提出了一类称为潜在结构块模型(LSBM)的模型来解决这种情况下,允许图聚类时,社区特定的一维流形结构。LSBMs集中在一类特定的潜在空间模型,随机点积图(RDPG),并分配一个潜在的子流形的潜在位置的每个社区。一个贝叶斯模型的嵌入所产生的LSBMs进行了讨论,并表现出良好的性能,模拟和真实世界的网络数据。该模型能够正确地恢复生活在一维流形上的底层社区,即使底层曲线的参数形式是未知的,在各种真实数据上取得了显着的效果。
2022-01-02 cs.LG stat.ML