Dirichlet process mixtures of block $g$ priors for model selection and prediction in linear models
Google Inc.（谷歌公司）；Department of Statistics, University of Washington（华盛顿大学统计学系）
本文提出块g先验的狄利克雷过程混合用于线性模型中的模型选择和预测，通过允许不同参数块的差异收缩并考虑预测变量的相关结构，实现了模型选择与连续收缩先验的桥梁。
2026-05-12 cs.LG stat.ME
Hierarchical Dirichlet Scaling Process
KAIST（韩国科学技术院）
我们提出了\textit{hierarchical Dirichlet scaling process}（HDSP），贝叶斯非参数混合隶属度模型。HDSP推广了层次狄利克雷过程（HDP）来建模语料库中的元数据和混合成分之间的相关结构。我们构建的HDSP的基础上的归一化伽玛表示的狄利克雷过程，这种结构允许将一个缩放函数，控制的成员资格概率的混合物组件。我们开发了两种缩放方法来证明不同的建模假设可以在HDSP中表达。我们还推导出相应的近似后验推理算法使用变分贝叶斯。通过对新闻通讯、医学期刊文章、会议论文集和产品评论数据集的实验，我们表明HDSP的预测性能优于标记LDA、部分标记LDA和作者主题模型，而负面评论分类性能优于监督主题模型和SVM。
2015-02-11 cs.LG
Dirichlet process mixture models for non-stationary data streams
Basque Center for Applied Mathematics（巴斯克应用数学中心）
近年来，我们已经看到了一些关于非平稳数据流上的推理算法的工作。鉴于其灵活性，贝叶斯非参数模型是这些情景的良好候选者。然而，在概念漂移现象下的可靠流推理仍然是这些模型的一个开放问题。在这项工作中，我们提出了一个变分推断算法的Dirichlet过程混合模型。我们的建议处理的概念漂移，包括指数遗忘在先前的全局参数。我们的算法允许自动适应学习模型的概念漂移。我们在合成和真实数据中进行了实验，表明该模型在密度估计问题上与最先进的算法具有竞争力，并且在聚类问题上优于它们。
2022-10-13 cs.LG stat.ML
Gaussian Latent Dirichlet Allocation for Discrete Human State Discovery
University of Texas, Austin（德克萨斯大学奥斯汀分校）；University of California, Berkeley（加州大学伯克利分校）
在这篇文章中，我们提出并验证了一个无监督的概率模型，高斯潜在狄利克雷分配（GLDA），从多个，本质上不同的，个人收集的重复，多变量的心理生理样本的离散状态发现的问题。心理学和医学研究大量涉及测量潜在相关的，但个别不确定的变量从一组参与者得出诊断，需要聚类分析。传统的概率聚类模型，如高斯混合模型（GMM）假设的成分分布的全局混合，这可能是不现实的观察来自不同的患者。GLDA模型借鉴了自然语言处理中流行的主题模型潜在狄利克雷分配（LDA）中的个体特定混合结构，并将其与GMM的高斯分量分布相融合，以适应连续类型的数据。我们使用STAN（一种概率建模语言）实现了GLDA，并将其应用于两个数据集，一个包含生态瞬时评估（EMA），另一个来自心电图和心阻抗图的心脏测量。我们发现，在这两个数据集中，GLDA学习的类权重与临床评估的抑郁，焦虑和压力评分的相关性显著高于基线GMM产生的相关性。我们的研究结果表明，GLDA在从重复的多变量数据中发现人类状态方面优于传统的有限混合模型，这可能是由于更好地表征了潜在的潜在参与者之间的差异。未来的工作需要验证该模型在更广泛的应用中的效用。
2022-06-28 cs.LG
Dirichlet Process Parsimonious Mixtures for clustering
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；Aix Marseille Université（艾克斯-马赛大学）；ENSAM（法国国立高等工程技术学校）；Université de Toulon（土伦大学）
简约高斯混合模型，它利用一个特征值分解的组协方差阵的高斯混合，已显示出他们的成功，特别是在聚类分析。它们的估计一般通过极大似然估计进行，并且也从参数贝叶斯前景考虑。我们提出了新的Dirichlet过程简约混合物（DPPM），代表这些简约高斯混合模型的贝叶斯非参数制定。所提出的DPPM模型是贝叶斯非参数简约混合模型，允许同时推断模型参数，混合物组分的最佳数量和最佳简约混合物结构的数据。我们开发了一个吉布斯抽样技术的最大后验概率（MAP）估计的DPMM模型，并提供了一个贝叶斯模型选择框架，通过使用贝叶斯因子。我们将它们应用于聚类模拟数据和真实数据集，并将它们与标准的简约混合模型进行比较。所得到的结果突出了所提出的非参数简约混合模型作为一个很好的非参数替代参数简约模型的有效性。
2018-10-17 cs.LG stat.ME stat.ML
Dirichlet Mixture Model based VQ Performance Prediction for Line Spectral Frequency
Beijing University of Posts and Telecommunications（北京邮电大学）
在本文中，我们继续我们以前的工作的Dirichlet混合模型（DMM）为基础的矢量量化的LSF矢量量化的性能界。LSF参数被转换到$Δ$ LSF域，并且$Δ$ LSF参数的潜在分布由具有有限数量的混合分量的DMM建模。量化失真，在均方误差（MSE）方面，与高速率理论计算。感知激励的对数谱失真（LSD）和MSE之间的映射关系是经验近似的多项式。利用该映射函数，估计用于LSF的透明编码的最小所需比特率。
2020-02-02 cs.LG cs.SD eess.AS
Scalable Estimation of Dirichlet Process Mixture Models on Distributed Data
The Chinese University of Hong Kong（香港中文大学）
我们考虑的狄利克雷过程混合模型（DPMM）在分布式环境中，数据分布在多个计算节点的估计。贝叶斯非参数模型（如DPMM）的一个关键优势是，它们允许根据需要动态引入新组件。然而，这给分布式评估带来了一个重要的挑战--如何有效地和一致地处理新的组件。为了解决这个问题，我们提出了一种新的估计方法，它允许新的组件本地创建在各个计算节点。将通过概率合并方案确定和合并对应于同一集群的组件。这样，我们可以保持估计的一致性与非常低的通信成本。在大规模真实数据集上的实验表明，该方法在不影响混合性能的前提下，能够在分布式和异步环境下实现较高的可扩展性。
2017-09-19 cs.LG stat.ML
Adaptive Low-Complexity Sequential Inference for Dirichlet Process Mixture Models
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
我们开发了一个顺序的低复杂度的推理过程的Dirichlet过程混合高斯在线聚类和参数估计时，集群的数量是未知的先验。我们提出了一个易于计算的，封闭形式的参数表达式的条件似然，其中超参数递归更新的流数据假设共轭先验的函数。受大样本渐近性的启发，我们提出了一种新的自适应低复杂度的Dirichlet过程浓度参数的设计，并表明类的数量最多以对数速度增长。进一步证明了在大样本极限下，条件似然和数据预测分布都是渐近高斯分布。我们通过对合成和真实数据集的实验证明，我们的方法优于其他在线最先进的方法。
2015-09-11 cs.LG stat.ME stat.ML
A Dirichlet Process Mixture of Robust Task Models for Scalable Lifelong Reinforcement Learning
Nanjing University（南京大学）；University of New South Wales（新南威尔士大学）
虽然强化学习（RL）算法在各种具有挑战性的任务中实现了最先进的性能，但当面对终身流信息时，它们很容易遇到灾难性遗忘或干扰。在本文中，我们提出了一种可扩展的终身强化学习方法，该方法动态扩展网络容量以容纳新知识，同时防止过去的记忆受到干扰。我们使用一个Dirichlet过程混合模型的非平稳任务分布，它捕获任务相关性估计的可能性任务集群分配和集群的任务模型在一个潜在的空间。我们将混合物的先验分布制定为中餐厅过程（CRP），该过程根据需要实例化新的混合物成分。混合物的更新和扩展由具有期望最大化（EM）过程的贝叶斯非参数框架来管理，该过程动态地适应模型复杂性而没有明确的任务边界或算法。此外，我们使用域随机化技术来训练混合中每个任务模型初始化的鲁棒先验参数，从而使得到的模型能够更好地概括和适应看不见的任务。在机器人导航和运动领域进行了广泛的实验，我们表明，我们的方法成功地促进了可扩展的终身RL，并优于相关的现有方法。
2022-05-22 cs.AI cs.LG
Fisher Information based Stochastic Gradient Ascent for Online Learning of Dirichlet Process Mixture and Theory
Nanyang Technological University（南洋理工大学）
研究用随机梯度上升近似狄利克雷过程混合后验，先以动量法优化步长，再引入Fisher信息实现自适应步长，实验证明该方法兼顾速度与性能，兼容深度卷积网络特征且可扩展到大型数据集。
2026-07-28 cs.LG stat.ML
Dynamic Clustering via Asymptotics of the Dependent Dirichlet Process Mixture
MIT（麻省理工学院）；Duke University（杜克大学）；Ohio State University（俄亥俄州立大学）
本文提出了一种新的算法，依赖Dirichlet过程混合模型（DDPMM）的基础上，包含一个未知数量的演变集群的批量顺序数据的聚类。该算法是通过对DDPMM的Gibbs采样算法进行低方差渐近分析而得出的，并提供了一个具有类似于k-均值算法的收敛保证的硬聚类。移动高斯聚类合成测试和真实ADS-B飞机轨迹数据测试的实证结果表明，该算法需要的计算时间比当代概率和硬聚类算法少几个数量级，同时提供更高的精度检查数据集。
2013-11-01 cs.LG stat.ML
Quantifying Intrinsic Uncertainty in Classification via Deep Dirichlet Mixture Networks
University of California, Davis（加州大学戴维斯分校）；New York University（纽约大学）；University of California, Berkeley（加州大学伯克利分校）
随着深度神经网络在科学和技术领域的广泛成功，量化深度学习产生的预测的不确定性变得越来越重要。在本文中，我们介绍了一种新的方法，该方法使用深度神经网络将显式不确定性声明附加到分类的概率上。准确地说，我们认为分类概率是从一个未知的分布中采样的，我们建议通过狄利克雷混合来学习这个分布，狄利克雷混合足够灵活，可以近似单纯形上的任何连续分布。然后，我们从学习的分布中构造可信区间，以评估分类概率的不确定性。我们的方法易于实现，计算效率高，并且可以与任何深度神经网络架构相结合。我们的方法利用了关键的观察，在许多分类应用程序，如医疗诊断，一个以上的类标签可用于每个观察单位。我们证明了我们的方法的有用性，通过模拟和一个真实的数据例子。
2019-08-14 cs.LG stat.ML
A Dirichlet Mixture Model of Hawkes Processes for Event Sequence Clustering
Georgia Institute of Technology（佐治亚理工学院）
基于一类特殊但重要的点过程-- Hawkes过程的Dirichlet混合模型，提出了一种有效的事件序列聚类方法.在该模型中，属于一个集群的每个事件序列都是通过具有特定参数的相同Hawkes过程生成的，不同的集群对应不同的Hawkes过程。Hawkes过程的先验分布由Dirichlet分布控制。我们通过最大似然估计（MLE）学习模型，并提出了一个有效的变分贝叶斯推理算法。我们具体分析了EM型算法的上下文中的内外迭代，并讨论了几个内部迭代分配策略。我们的模型的可识别性，我们的学习方法的收敛性，其样本的复杂性进行了分析，在理论和实证的方式，这表明我们的方法优于其他竞争对手。所提出的方法自动学习聚类的数量，并且对模型误指定具有鲁棒性。在合成数据和真实数据上的实验表明，该方法可以学习到异步事件序列中隐藏的不同触发模式，并在聚类纯度和一致性方面取得了令人鼓舞的性能。
2017-09-21 cs.LG stat.ML
Location Dependent Dirichlet Processes
East China Normal University（华东师范大学）；Columbia University（哥伦比亚大学）
狄利克雷过程（DP）在贝叶斯非参数建模中有着广泛的应用。然而，在它们的基本形式中，它们并不直接整合来自空间和时间的数据之间的依赖信息。在本文中，我们提出了位置相关的狄利克雷过程（LDDP），它将非参数高斯过程的DP建模框架，以模拟这种依赖关系。我们开发的LDDP的上下文中的混合建模，并开发了一个平均场变分推断算法的混合模型。所提出的建模框架的有效性上显示的图像分割任务。
2017-07-02 cs.LG stat.ML
Nested Hierarchical Dirichlet Processes for Multi-Level Non-Parametric Admixture Modeling
Indian Institute Of Science（印度科学学院）；IBM Research Labs（IBM研究实验室）
狄利克雷过程（DP）是一种贝叶斯非参数先验，用于无限混合模型，其中混合成分的数量随着数据项的数量而增长。分层狄利克雷过程（HDP）是DP对分组数据的扩展，通常用于非参数主题建模，其中每个组是共享混合密度上的混合。另一方面，嵌套狄利克雷过程（nDP）是DP的扩展，用于从数据中学习组级分布，同时对组进行聚类。它允许在非参数设置中跨组共享组水平分布，从而导致混合物的非参数混合。nCRF扩展了nDP的多级非参数混合建模，使建模主题层次结构。然而，nDP和nCRF不允许在许多应用中共享所需的分布，从而激发了对多水平非参数混合建模的需求。我们通过提出多级嵌套HDP（nHDP）来解决这一差距，其中HDP的基础分布本身就是每个级别的HDP，从而导致每个级别的混合物的混合物。由于各种HDP级别之间的耦合，在推理期间，按比例放大自然是一个挑战。我们提出了一个多层嵌套的中国餐馆特许经营（nCRF）表示的嵌套HDP，我们概述了一个推理算法的基础上吉布斯抽样。我们评估我们的模型与两级nHDP的非参数实体主题建模，其中内部HDP创建一个可数无限集的主题混合物，并将它们与作者实体，而外部HDP关联文档与这些作者实体。在我们对两个真实世界研究语料库的实验中，nHDP能够比现有模型更好地泛化，并以合理的准确度检测缺失的作者实体。
2015-08-27 cs.LG stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Sampling in Dirichlet Process Mixture Models for Clustering Streaming Data
Ben-Gurion University（本-古里安大学）
用于聚类流数据的实用工具必须足够快以处理观测的到达率。通常，它们还必须在运行中适应可能缺乏稳定性;即，由于各种形式的漂移、簇数量的变化等，数据统计可能是时间相关的。Dirichlet过程混合模型（DPMM），其贝叶斯非参数性质允许其使其复杂性适应于数据，似乎是流式数据情况的自然选择。然而，在其经典公式中，DPMM无法捕获数据统计中常见的漂移类型。此外，尽管存在这种限制，但现有的在线DPMM推理方法太慢，无法处理快速的数据流。在这项工作中，我们提出了适应DPMM和一个已知的DPMM采样为基础的非流推理方法流数据聚类。我们证明了所提出的方法在几个具有挑战性的设置上的实用性，在那里它获得了最先进的结果，同时在速度方面与其他方法不相上下。
2022-02-27 cs.LG stat.ML
Variational Approach for Efficient KL Divergence Estimation in Dirichlet Mixture Models
LMU Munich（慕尼黑大学）
提出变分闭式解高效估计狄利克雷混合模型中的KL散度，显著提升计算效率与准确性，优于蒙特卡洛方法，促进组合数据聚类分析。
2024-03-18 cs.LG math.ST stat.ML
Sequence Alignment with Dirichlet Process Mixtures
University of Bath（巴斯大学）；University of Tübingen（图宾根大学）；University of Bristol（布里斯托尔大学）
提出了一种基于Dirichlet过程混合模型（DPMM）的高维时间扭曲序列无监督比对概率模型。我们遵循（Kazlauskaite，2018）中介绍的方法，同时将每个数据序列表示为真实底层函数和时间扭曲的组合，两者都使用高斯过程（GP）（Rasmussen，2005）建模，并使用无监督对齐方法对齐底层函数。在（Kazlauskaite，2018）中，使用GP潜变量模型（GP-LVM）（Lawrence，2005）作为序列模型进行比对，而我们的主要贡献是将这种方法扩展到使用DPMM，这允许我们在时间上比对序列并同时对其进行聚类。我们表明，DPMM实现了竞争力的结果相比，GP-LVM合成和真实世界的数据集，并讨论了不同的属性的估计的基础功能和这些模型所青睐的时间扭曲。
2018-11-26 cs.LG stat.ML
Anomaly Detection by Clustering DINO Embeddings using a Dirichlet Process Mixture
Computer Vision Lab, ETH Zurich（计算机视觉实验室，苏黎世联邦理工学院）
本研究提出用狄利克雷过程混合模型对DINOv2嵌入聚类，用于医学影像无监督异常检测，在保持性能的同时将推理时间减半。
2025-09-24 cs.CV cs.LG
Unsupervised Detection and Tracking of Arbitrary Objects with Dependent Dirichlet Process Mixtures
Columbia University（哥伦比亚大学）
本文提出了一种视频中任意目标的无监督检测和跟踪技术。它旨在减少对针对特定对象类型的检测和定位方法的需求，并作为适用于具有不同对象，背景和图像质量的视频的通用框架。该技术使用了一个依赖的Dirichlet过程混合（DDPM）被称为广义波利亚瓮（GPUDDPM）模型图像像素数据，可以很容易地和有效地从视频中的区域，代表对象提取。本文描述了一个具体的实现模型使用的空间和彩色像素数据通过帧间差分提取，并给出了两个算法进行推理的模型来完成检测和跟踪。该技术在多个合成和基准视频数据集上进行了演示，这些数据集说明了其无需修改即可检测和跟踪在非均匀背景上移动并通过遮挡的具有不同物理特性的对象的能力。
2012-10-11 cs.CV cs.LG stat.ML
Lifelong Infinite Mixture Model Based on Knowledge-Driven Dirichlet Process
University of York（约克大学）
最近在终身学习方面的研究工作提出了一种混合模型，以适应越来越多的任务。所提出的方法在克服灾难性遗忘方面显示出良好的效果。然而，这些成功模式背后的理论仍然没有得到很好的理解。在本文中，我们进行终身学习模型的理论分析，推导出的风险界的基础上产生的数据的概率表示模型和目标数据集之间的差异距离。受理论分析的启发，我们引入了一种新的终身学习方法，即终身无限混合（LIMix）模型，该模型可以自动扩展其网络架构或选择适当的组件来调整其参数以学习新任务，同时保留其先前学习的信息。我们建议将知识通过Dirichlet过程，通过使用门控机制，该机制计算以前学到的知识和存储在每个组件，和一组新的数据之间的依赖。此外，我们训练了一个紧凑的学生模型，它可以随着时间的推移积累跨域表示，并作出快速推断。该代码可在https://github.com/dtuzi123/Lifelong-infinite-mixture-model上获得。
2021-08-25 cs.AI cs.CV cs.LG
DIVA: A Dirichlet Process Mixtures Based Incremental Deep Clustering Algorithm via Variational Auto-Encoder
Technical University of Munich（慕尼黑工业大学）；Politecnico di Milano（米兰理工大学）；Chongqing University（重庆大学）；Sun Yat-sen University（中山大学）
提出非参数深度聚类框架DIVA，利用无限高斯混合先验与记忆化在线变分推断实现簇的动态生成与合并，无需预设簇数，在动态增量特征复杂数据分类上优于现有基线。
2023-11-24 cs.LG stat.ML
ClusterCluster: Parallel Markov Chain Monte Carlo for Dirichlet Process Mixtures
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
狄利克雷过程（DP）是贝叶斯非参数建模的基本数学工具，并且广泛用于诸如密度估计、自然语言处理和时间序列建模的任务。虽然用于DP的MCMC推断方法通常在渐近精度方面提供黄金标准，但它们可能在计算上昂贵并且不明显是可并行的。我们提出了一个重新参数化的狄利克雷过程，诱导形成随机措施的原子之间的条件独立性。这种条件独立性使得用于DP推断的许多马尔可夫链转换算子能够跨多个核并行仿真。应用到混合建模，我们的方法使狄利克雷过程，同时学习集群，描述的数据和超集群，定义并行化的粒度。与以前的方法不同，我们的技术不需要改变模型，并留下真正的后验分布不变。它也很自然地适用于Map-Reduce方面的分布式软件实现，我们在超过50台机器和100个核心的集群配置中进行了测试。我们目前的实验探索我们的方法在合成和真实世界的数据，包括在256维的1 MM数据向量上运行的并行效率和收敛特性。
2013-04-08 cs.DC cs.LG stat.ML
Common Failure Modes of Subcluster-based Sampling in Dirichlet Process Gaussian Mixture Models -- and a Deep-learning Solution
Ben-Gurion University（本-古里安大学）
狄利克雷过程高斯混合模型（DPGMM）常用于聚类数据时，聚类数是未知的。一个主要的DPGMM推理范式依赖于采样。在这里，我们考虑一个已知的最先进的采样器（由Chang和Fisher III（2013）提出，并由Dinari等人（2019）改进），分析其故障模式，并展示如何改进它，通常是大幅改进。具体地说，在该采样器中，每当形成一个新的集群时，它都会增加两个子集群，其标签是随机初始化的。在它们的演化过程中，子集群用于提出父集群的分裂。我们表明，随机初始化往往是有问题的，伤害了否则有效的采样器。具体来说，我们证明，这种初始化往往会导致穷人的分裂建议和/或太多的迭代之前，所需的分裂被接受。这会减慢收敛速度，并可能破坏聚类。作为一种补救措施，我们提出了两个下拉式替换选项的子集群初始化子程序。第一个是直观的启发式，而第二个是基于深度学习。我们表明，所提出的方法产生更好的分裂，这反过来又转化为性能，结果和稳定性的大幅改善。
2022-03-25 cs.LG stat.ML
Regime-Adaptive Bayesian Optimization via Dirichlet Process Mixtures of Gaussian Processes
Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系）；Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）；College of Nanotechnology, Science, and Engineering, State University of New York at Albany（纽约州立大学阿尔巴尼分校纳米技术、科学与工程学院）
本文提出RAMBO方法，通过狄利克雷过程混合高斯过程实现自适应贝叶斯优化，有效处理多制度问题，提升分子构象优化、药物发现等任务的性能。
2026-07-29 cs.LG stat.ML
Object-based World Modeling in Semi-Static Environments with Dependent Dirichlet-Process Mixtures
MIT（麻省理工学院）
为了在以人为中心的室内环境中完成任务，机器人需要根据对象及其属性来表示和理解世界。我们将这种基于属性的表示称为世界模型，并考虑如何通过噪声感知获取它并随着时间的推移保持它，因为对象在世界中被添加，更改和删除。以前的工作将其框定为多目标跟踪问题，其中对象可能始终处于运动状态。虽然这种方法是通用的，但它在计算上是昂贵的。我们认为，这种一般性是不需要在典型的世界建模任务，对象只是偶尔改变状态。更有效的方法是通过将我们自己限制在这样的半静态环境中来实现的。我们考虑了以前提出的基于聚类的世界建模方法，假设静态环境，并将其扩展到半静态域通过应用依赖狄利克雷过程（DDP）混合模型。在此模型下，我们得到了一个新的MAP推理算法，受数据关联约束。我们证明了我们的方法在半静态环境中提高了计算性能。
2015-12-02 cs.AI cs.LG cs.RO
DPMM-CFL: Clustered Federated Learning via Dirichlet Process Mixture Model Nonparametric Clustering
Dept. of Electrical \& Computer Engineering, Northeastern University, Boston, MA, USA
DPMM-CFL通过非参数贝叶斯推断自动确定聚类数量和客户端分配，实现更灵活的联邦学习框架。
2026-01-29 cs.DC cs.LG stat.ML
Distributed Collapsed Gibbs Sampler for Dirichlet Process Mixture Models in Federated Learning
University of Versailles, Paris-Saclay University（巴黎萨克雷大学凡尔赛大学）；Sorbonne Paris Nord University（索邦巴黎北大学）；Technology Innovation Institute（技术创新研究院）；CDAT
针对狄利克雷过程混合模型在大数据下推理慢的问题，提出适用于横向联邦学习的分布式折叠吉布斯采样方法DisCGS，在10万数据点上较集中式算法提速200倍且不损失聚类性能。
2023-12-18 cs.LG stat.ML
Posterior Distribution for the Number of Clusters in Dirichlet Process Mixture Models
UT Austin（得克萨斯大学奥斯汀分校）；UC Berkeley（加利福尼亚大学伯克利分校）
狄利克雷过程混合模型（DPMM）在贝叶斯非参数中起着核心作用，其应用遍及统计学和机器学习。DPMM通常用于聚类问题，其中聚类的数量事先不知道，并且后验分布被视为提供对该数量的推断。然而，最近，它已被证明，DPMM是不一致的，在某些情况下推断的组件的真实数量。这是一个渐近结果，需要了解它是否适用于有限样本，并更充分地了解完整的后验。在这项工作中，我们提供了一个严格的研究在不同的先验分布的参数和数据的分布约束条件下，在DPMM的聚类数的后验分布。当参数的先验分布为高斯分布或均匀分布时，我们给出了$s+1$簇和$s$簇之间概率比的新下界.
2020-10-19 cs.LG math.ST stat.ML
A Neural Dirichlet Process Mixture Model for Task-Free Continual Learning
Seoul National University（首尔国立大学）
尽管人们对持续学习的兴趣越来越大，但大多数当代作品都是在一个相当有限的环境中进行研究的，在这个环境中，任务是可以清楚区分的，任务的边界在训练过程中是已知的。然而，如果我们的目标是开发一种像人类一样学习的算法，那么这种设置是远远不现实的，并且开发一种以无任务方式工作的方法至关重要。同时，在持续学习的几个分支中，基于扩展的方法具有通过分配新资源来学习新数据来消除灾难性遗忘的优点。在这项工作中，我们提出了一个扩展为基础的无任务的持续学习的方法。我们的模型，命名为连续神经Dirichlet过程混合（CN-混合），由一组负责数据子集的神经网络专家组成。CN-SVM在贝叶斯非参数框架下有原则地扩展专家数量。通过大量的实验，我们表明，我们的模型成功地执行无任务的持续学习的判别和生成任务，如图像分类和图像生成。
2020-01-14 cs.LG cs.NE stat.ML
Parallel Clustering of Single Cell Transcriptomic Data with Split-Merge Sampling on Dirichlet Process Mixtures
University of California, Irvine（加州大学欧文分校）；University of Algarve（阿尔加维大学）
动机：随着基于液滴的系统的发展，大量的单细胞转录组数据已经变得可用，这使得能够以单细胞分辨率分析细胞和分子过程，并且有助于理解许多生物过程。虽然最先进的聚类方法已被应用于数据，但它们面临以下方面的挑战：（1）聚类质量仍有待提高;（2）大多数模型需要关于聚类数的先验知识，而这些知识并不总是可用的;（3）需要更快的计算速度。结果：我们建议在Dirichlet过程混合模型（Para-DPMM模型）上使用并行分裂合并采样来解决这些挑战。与在每个单个数据点上执行采样的经典DPMM方法不同，拆分合并机制在聚类级别上进行采样，这显着提高了结果的收敛性和最优性。该模型是高度并行化的，可以利用高性能计算（HPC）集群的计算能力，在巨大的数据集上实现大规模集群。实验结果表明，该模型在聚类质量和计算速度上都优于目前广泛使用的模型。可用性：源代码可在https://github.com/tiehangd/Para_DPMM/tree/master/Para_DPMM_package上公开获取
2018-12-25 cs.LG q-bio.GN stat.ML
Dirichlet Scale Mixture Priors for Bayesian Neural Networks
Department of Statistics & Data Science, University of Oslo（统计与数据科学系，奥斯陆大学）
本文提出狄利克雷尺度混合先验用于贝叶斯神经网络，通过结构化收缩解决现有局限，提升模型稀疏性、鲁棒性和预测性能。
2026-02-23 cs.LG stat.ML
Amplifying Prominent Representations in Multimodal Learning via Variational Dirichlet Process
University of Pennsylvania（宾夕法尼亚大学）；University of Hong Kong（香港大学）
针对多模态学习中过度对齐损害模态内表征的问题，提出基于狄利克雷过程的框架，利用其富者愈富特性动态突出显著特征并平衡对齐，实验验证性能优越。
2025-10-23 cs.LG
Nondiagonal Mixture of Dirichlet Network Distributions for Analyzing a Stock Ownership Network
the University of Tokyo（东京大学）；Rikkyo University（立教大学）；National Institute of Informatics（国立信息学研究所）；The Canon Institute for Global Studies（佳能全球研究所）
块模型在复杂网络研究中有着广泛的应用。基石模型是随机块模型（SBM），在过去几十年中被广泛使用。然而，SBM在分析复杂网络时受到限制，因为该模型本质上是一个随机图模型，无法再现许多复杂网络的基本属性，例如稀疏性和重尾度分布。在本文中，我们提供了一个边缘可交换块模型，结合这些基本功能，同时推断出一个给定的复杂网络的潜在块结构。我们的模型是一个贝叶斯非参数模型，它灵活地估计块的数量，并考虑到看不见的节点的可能性。使用一个合成数据集和一个现实世界的股票所有权数据集，我们表明，我们的模型优于国家的最先进的SBM的举行了链接预测任务。
2020-11-01 cs.LG cs.SI stat.ML
Multidimensional Membership Mixture Models
Cornell University（康奈尔大学）
我们提出了多维隶属度混合（M3）模型，其中每个维度的成员代表一个独立的混合模型，每个数据点是从选定的混合成分联合产生的。当数据具有某种共享结构时，这很有帮助。例如，三个唯一的均值和三个唯一的方差可以有效地形成一个高斯混合模型与九个组件，而只需要六个参数来充分描述it.In本文中，我们提出了三个实例的M3模型（连同学习和推理算法）：无限，有限，和混合，这取决于是否混合的数量是固定的或不。它们分别建立在Dirichlet过程混合模型、潜在Dirichlet分配模型和组合模型上。然后，我们考虑两个应用程序：主题建模和学习3D对象的安排。我们的实验表明，我们的M3模型实现了更好的性能，使用更少的主题比许多经典的主题模型。我们还观察到，来自M3模型的不同维度的主题是有意义的，并且彼此正交。
2012-08-02 cs.LG stat.ML
Classification of pulsars with Dirichlet process Gaussian mixture model
Istanbul Technical University（伊斯坦布尔理工大学）
年轻的孤立中子星（INS）通常表现为旋转动力中子星（RPP），包括常规射电中子星、伽马射线中子星（GRP）和旋转射电瞬变（RRAT）。其他一些年轻的INS家族表现为异常X射线源星（AXP）和软伽马射线中继星（SGR），它们通常被认为是磁星，即具有超强衰减场的磁动力中子星。然而，其他一些年轻的惯性导航系统被确定为中央致密天体（CCO）和X射线暗淡孤立中子星（XDINS），它们是由其热能驱动的冷却天体。较老的双星，由于之前一个伴星的长时间吸积，表现为毫秒双星，更常见于双星系统中。我们使用Dirichlet过程高斯混合模型（DPGMM），一种无监督的机器学习算法，分析这些脉冲星家族的周期和周期导数的参数空间中的分布。我们比较了所有发现的星系团的特征年龄、磁偶极场强度、表面温度和横向速度的平均值。我们验证了DPGMM是强大的，并提供了线索，推断不同类别的类之间的关系。我们讨论了我们的研究结果的磁热自旋演化模型和后备光盘的影响。
2020-01-15 astro-ph.HE cs.LG stat.ML
CPU- and GPU-based Distributed Sampling in Dirichlet Process Mixtures for Large-scale Analysis
Ben-Gurion University（本-古里安大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
在无监督学习领域，贝叶斯非参数混合模型，以狄利克雷过程混合模型（DPMM）为例，提供了一种使模型的复杂性适应数据的原则性方法。这种模型在聚类任务中特别有用，其中聚类的数量是未知的。然而，尽管DPMM具有潜力和数学上的优雅，但它尚未成为从业者广泛采用的主流工具。这可能是由于一种误解，即这些模型的可扩展性很差，以及缺乏可以有效处理大型数据集的高性能（和用户友好）软件工具。在本文中，我们提出了一个新的，易于使用的，统计软件包可扩展DPMM推理弥合这一实际差距。更具体地说，我们为DPMM中的高性能分布式基于采样的推理提供了高效且易于修改的实现，其中用户可以自由选择多机，多核，CPU实现（用Julia编写）和多流GPU实现（用CUDA/C++编写）。CPU和GPU实现都带有一个通用的（可选的）python包装器，为用户提供了一个具有相同界面的单一入口点。在算法方面，我们的实现利用了领先的DPMM采样器（Chang和Fisher III，2013）。虽然Chang和Fisher III的实现（用MATLAB/C++编写）只使用CPU，并且是为单个多核机器设计的，但我们在这里提出的包可以在多个多核机器或多个GPU流之间有效地分配计算。这导致了加速，消除了内存和存储限制，并使我们能够将DPMM拟合到比以前（Chang和Fisher III，2013）或其他DPMM方法更大的数据集和更高的维度。
2022-04-19 cs.LG stat.ML
Bayesian Mixture Models for Frequent Itemset Discovery
ASN Technology Group Co,.Ltd（ASN科技集团有限公司）；University of Manchester（曼彻斯特大学）
在二进制事务数据挖掘中，传统的频繁项集挖掘往往产生难以解释的结果。为了克服这个问题，通常使用概率模型来产生更紧凑和结论性的结果，尽管精度有所损失。近年来，贝叶斯统计被广泛用于机器学习中概率模型的开发，这些方法具有许多优点，包括它们避免过拟合的能力。在本文中，我们开发了两个贝叶斯混合模型的Dirichlet分布先验和Dirichlet过程（DP）之前，以改善以前的非贝叶斯混合模型开发的交易数据集挖掘。我们使用两种方法实现这两个混合模型的推理：一个崩溃的吉布斯抽样方案和变分近似算法。在几个基准问题的实验表明，这两个混合模型实现更好的性能比非贝叶斯混合模型。变分算法是两种方法中速度较快的一种，而吉布斯抽样法得到的结果更为精确。Dirichlet过程混合模型可以自动增长到适当的复杂度，以获得更好的近似。一旦模型构建完成，查询和运行分析就可以非常快（通常比Eclat快10倍，我们将在实验部分中展示）。然而，这些方法也表明，混合模型低估了频繁项集的概率。因此，这些模型具有较高的灵敏度，但特异性较低。
2012-09-26 cs.IR cs.LG stat.ML
Deep Clustering using Dirichlet Process Gaussian Mixture and Alpha Jensen-Shannon Divergence Clustering Loss
Institute of Microelectronics, A*Star Singapore（新加坡科技研究局微电子研究所）
针对现有深度聚类方法聚类损失非对称、需提前已知聚类数的缺陷，提出采用闭式Jensen-Shannon散度构建损失、结合狄利克雷过程高斯混合实现隐空间自适应聚类数选择的深度聚类方法，在多数据集上验证了有效性。
2024-12-12 cs.CV cs.LG
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
Indian Statistical Institute（印度统计研究所）
提出一种基于狄利克雷过程先验的贝叶斯非参数回归树混合模型，利用高斯过程分裂规则统一多种树方法，实现数据驱动的集成规模选择，并证明后验收敛率，在多个基准和应用中优于现有方法。
2026-09-24 cs.LG math.ST stat.ME
Improved Modelling of Federated Datasets using Mixtures-of-Dirichlet-Multinomials
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；Apple（苹果公司）
针对联邦学习训练慢导致调优受限的问题，提出一种完全联邦的Dirichlet-Multinomial混合模型算法，高效学习真实客户端分布以划分集中式代理数据，显著提升了服务器端训练模拟的准确性。
2024-06-04 cs.DC cs.LG
Mixtures of Gaussian process experts based on kernel stick-breaking processes
the University of Melbourne（墨尔本大学）
提出基于核stick-breaking过程的高斯过程专家混合模型，改进门控函数，提升预测性能，并用切片采样实现后验计算，在六个数据集上验证效果。
2023-05-05 cs.LG stat.ML
A survey on Bayesian inference for Gaussian mixture model
聚类已经成为机器学习中的核心技术，主要是由于其在无监督学习、聚类、分类和密度估计领域的应用。一种基于混合模型的频率论方法被称为EM算法，其中混合模型的参数通常被估计到最大似然估计框架中。有限和无限高斯混合模型的贝叶斯方法生成所有变量的点估计以及以整体估计的后验分布形式的相关不确定性。本综述的唯一目的是对有限和无限高斯混合模型的贝叶斯推理中的概念和数学工具进行独立的介绍，以便在后续章节中无缝地介绍它们的应用。然而，我们清楚地认识到，我们无法涵盖有关这一领域的所有有用和有趣的结果，并且由于缺乏讨论的范围，例如，分别分析了用破棒法和波利亚瓮法生成Dirichlet样本的方法。我们建议读者参考文献领域的狄利克雷过程混合物模型更详细地介绍了相关领域。一些优秀的例子包括（Frigyik等人，2010; Murphy，2012; Gelman等人，2014; Hoff，2009）。本文主要综述了高斯混合模型的研究目的、意义、重要背景和技术，狄利克雷先验，中国餐馆的过程，最重要的是起源和复杂的方法，揭示了他们的现代应用。数学的先决条件是概率的第一门课程。除了这个温和的背景，发展是独立的，与严格的证明提供了整个。
2021-08-20 cs.AI cs.LG stat.ML
Fast MLE Computation for the Dirichlet Multinomial
Foursquare Labs（四方实验室）；Local Maximum Labs（局部极大值实验室）
本文针对狄利克雷多项分布的最大似然估计问题，提出一种只需单次遍历数据集的改进牛顿法，显著降低运行时间，并从理论和实验上验证了算法性能。
2023-05-26 cs.LG stat.ML
Tensor Dirichlet Process Multinomial Mixture Model for Passenger Trajectory Clustering
University of Cologne（科隆大学）；Arizona State University（亚利桑那州立大学）；Tsinghua University（清华大学）；McGill University（麦吉尔大学）；The Hong Kong University of Science and Technology（香港科技大学）；HKUST (Guangzhou Campus)（香港科技大学（广州校区））
针对乘客行程多维多模态层次结构及聚类数难以预设的问题，提出张量Dirichlet过程多项式混合模型（Tensor-DPMM）及其带图变体，通过张量单步聚类并自动确定簇数，结合坍缩Gibbs采样与解散重定位策略，在香港地铁数据上实现了更优的簇内紧凑度与簇间分离度。
2023-06-23 cs.LG stat.ML
Choose A Table: Tensor Dirichlet Process Multinomial Mixture Model with Graphs for Passenger Trajectory Clustering
University of Cologne（科隆大学）；Arizona State University（亚利桑那州立大学）；Tsinghua University（清华大学）；McGill University（麦吉尔大学）；The Hong Kong University of Science and Technology（香港科技大学）；HKUST-GZ（香港科技大学（广州））
本文提出带图张量狄利克雷过程多项混合模型，用于乘客轨迹聚类，可保留出行层次结构并自动确定聚类数目，在香港地铁数据上验证了更优的聚类质量。
2023-10-31 cs.AI cs.LG stat.AP
Kernel Topic Models
Cavendish Laboratory（卡文迪什实验室）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research（微软研究院）
潜在狄利克雷分配模型离散数据作为离散分布的混合，使用混合权重的狄利克雷信念。我们研究了这个概念的一个变体，其中文档的混合权重信念被替换为压缩的高斯分布。这允许文档与希尔伯特空间的元素相关联，允许内核主题模型（KTM），对文档之间的时间、空间、层次、社交及其他结构进行建模。主要的挑战是有效的近似推理的潜在高斯。我们提出了一个近似算法铸造周围的拉普拉斯近似变换的基础上。KTM还可以被解释为一种高斯过程潜变量模型，或者以文档特征为条件的主题模型，揭示这些领域早期工作之间的联系。
2011-10-21 cs.LG stat.ML
FastMix: Fast Data Mixture Optimization via Gradient Descent
University of Hong Kong（香港大学）；Tencent（腾讯）；Chinese University of Hong Kong（香港中文大学）
提出FastMix框架，将数据混合选择重新表述为双层优化问题，通过联合优化混合系数和模型参数，实现高效、可扩展的数据混合发现，在预训练和后训练中均优于基线方法且大幅降低搜索成本。
2026-06-16 cs.AI cs.LG
jLDADMM: A Java package for the LDA and DMM topic models
The University of Melbourne（墨尔本大学）
在这份技术报告中，我们介绍了jLDADMM-一个用于传统主题模型的易于使用的Java工具包。jLDADMM的发布为普通或简短文本的主题建模提供了替代方案。它提供了潜在狄利克雷分配主题模型和每个文档一个主题的狄利克雷多项混合模型（即一元组的混合）的实现，使用了折叠吉布斯采样。此外，jLDAMM还提供了一个文档聚类评估来比较主题模型。jLDADMM是开源的，可从以下网址下载：https://github.com/datquocnguyen/jLDADMM
2018-08-11 cs.CL cs.IR cs.LG
Fast moment estimation for generalized latent Dirichlet models
Duke University（杜克大学）；Princeton University（普林斯顿大学）
提出了一类新的混合数据类型Dirichlet潜变量模型的广义矩量法（GMM）快速参数估计方法。通过GMM的参数估计已被证明具有计算和统计上的优势，替代方法，如期望最大化，变分推理，和马尔可夫链蒙特卡洛。我们的方法（MELD）的关键计算优势是参数估计不需要隐变量的实例化。此外，GMM方法的一个代表性优点是模型的行为与观测值的分布假设无关。我们推导出人口矩条件后，边缘化的样本特定的Dirichlet潜变量。矩条件仅依赖于分量均值参数。我们说明了我们的方法模拟数据的实用性，比较结果从MELD替代方法，我们通过MELD的应用程序，几个数据集显示我们的方法的承诺。
2016-03-23 cs.LG math.ST stat.AP
