Fisher Information based Stochastic Gradient Ascent for Online Learning of Dirichlet Process Mixture and Theory
Nanyang Technological University（南洋理工大学）
研究用随机梯度上升近似狄利克雷过程混合后验，先以动量法优化步长，再引入Fisher信息实现自适应步长，实验证明该方法兼顾速度与性能，兼容深度卷积网络特征且可扩展到大型数据集。
2026-07-28 cs.LG stat.ML
Dynamic Clustering via Asymptotics of the Dependent Dirichlet Process Mixture
MIT（麻省理工学院）；Duke University（杜克大学）；Ohio State University（俄亥俄州立大学）
本文提出了一种新的算法，依赖Dirichlet过程混合模型（DDPMM）的基础上，包含一个未知数量的演变集群的批量顺序数据的聚类。该算法是通过对DDPMM的Gibbs采样算法进行低方差渐近分析而得出的，并提供了一个具有类似于k-均值算法的收敛保证的硬聚类。移动高斯聚类合成测试和真实ADS-B飞机轨迹数据测试的实证结果表明，该算法需要的计算时间比当代概率和硬聚类算法少几个数量级，同时提供更高的精度检查数据集。
2013-11-01 cs.LG stat.ML
Dirichlet Process Parsimonious Mixtures for clustering
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；Aix Marseille Université（艾克斯-马赛大学）；ENSAM（法国国立高等工程技术学校）；Université de Toulon（土伦大学）
简约高斯混合模型，它利用一个特征值分解的组协方差阵的高斯混合，已显示出他们的成功，特别是在聚类分析。它们的估计一般通过极大似然估计进行，并且也从参数贝叶斯前景考虑。我们提出了新的Dirichlet过程简约混合物（DPPM），代表这些简约高斯混合模型的贝叶斯非参数制定。所提出的DPPM模型是贝叶斯非参数简约混合模型，允许同时推断模型参数，混合物组分的最佳数量和最佳简约混合物结构的数据。我们开发了一个吉布斯抽样技术的最大后验概率（MAP）估计的DPMM模型，并提供了一个贝叶斯模型选择框架，通过使用贝叶斯因子。我们将它们应用于聚类模拟数据和真实数据集，并将它们与标准的简约混合模型进行比较。所得到的结果突出了所提出的非参数简约混合模型作为一个很好的非参数替代参数简约模型的有效性。
2018-10-17 cs.LG stat.ME stat.ML
A Dirichlet Mixture Model of Hawkes Processes for Event Sequence Clustering
Georgia Institute of Technology（佐治亚理工学院）
基于一类特殊但重要的点过程-- Hawkes过程的Dirichlet混合模型，提出了一种有效的事件序列聚类方法.在该模型中，属于一个集群的每个事件序列都是通过具有特定参数的相同Hawkes过程生成的，不同的集群对应不同的Hawkes过程。Hawkes过程的先验分布由Dirichlet分布控制。我们通过最大似然估计（MLE）学习模型，并提出了一个有效的变分贝叶斯推理算法。我们具体分析了EM型算法的上下文中的内外迭代，并讨论了几个内部迭代分配策略。我们的模型的可识别性，我们的学习方法的收敛性，其样本的复杂性进行了分析，在理论和实证的方式，这表明我们的方法优于其他竞争对手。所提出的方法自动学习聚类的数量，并且对模型误指定具有鲁棒性。在合成数据和真实数据上的实验表明，该方法可以学习到异步事件序列中隐藏的不同触发模式，并在聚类纯度和一致性方面取得了令人鼓舞的性能。
2017-09-21 cs.LG stat.ML
Location Dependent Dirichlet Processes
East China Normal University（华东师范大学）；Columbia University（哥伦比亚大学）
狄利克雷过程（DP）在贝叶斯非参数建模中有着广泛的应用。然而，在它们的基本形式中，它们并不直接整合来自空间和时间的数据之间的依赖信息。在本文中，我们提出了位置相关的狄利克雷过程（LDDP），它将非参数高斯过程的DP建模框架，以模拟这种依赖关系。我们开发的LDDP的上下文中的混合建模，并开发了一个平均场变分推断算法的混合模型。所提出的建模框架的有效性上显示的图像分割任务。
2017-07-02 cs.LG stat.ML
Sampling in Dirichlet Process Mixture Models for Clustering Streaming Data
Ben-Gurion University（本-古里安大学）
用于聚类流数据的实用工具必须足够快以处理观测的到达率。通常，它们还必须在运行中适应可能缺乏稳定性;即，由于各种形式的漂移、簇数量的变化等，数据统计可能是时间相关的。Dirichlet过程混合模型（DPMM），其贝叶斯非参数性质允许其使其复杂性适应于数据，似乎是流式数据情况的自然选择。然而，在其经典公式中，DPMM无法捕获数据统计中常见的漂移类型。此外，尽管存在这种限制，但现有的在线DPMM推理方法太慢，无法处理快速的数据流。在这项工作中，我们提出了适应DPMM和一个已知的DPMM采样为基础的非流推理方法流数据聚类。我们证明了所提出的方法在几个具有挑战性的设置上的实用性，在那里它获得了最先进的结果，同时在速度方面与其他方法不相上下。
2022-02-27 cs.LG stat.ML
Sequence Alignment with Dirichlet Process Mixtures
University of Bath（巴斯大学）；University of Tübingen（图宾根大学）；University of Bristol（布里斯托尔大学）
提出了一种基于Dirichlet过程混合模型（DPMM）的高维时间扭曲序列无监督比对概率模型。我们遵循（Kazlauskaite，2018）中介绍的方法，同时将每个数据序列表示为真实底层函数和时间扭曲的组合，两者都使用高斯过程（GP）（Rasmussen，2005）建模，并使用无监督对齐方法对齐底层函数。在（Kazlauskaite，2018）中，使用GP潜变量模型（GP-LVM）（Lawrence，2005）作为序列模型进行比对，而我们的主要贡献是将这种方法扩展到使用DPMM，这允许我们在时间上比对序列并同时对其进行聚类。我们表明，DPMM实现了竞争力的结果相比，GP-LVM合成和真实世界的数据集，并讨论了不同的属性的估计的基础功能和这些模型所青睐的时间扭曲。
2018-11-26 cs.LG stat.ML
Adaptive Low-Complexity Sequential Inference for Dirichlet Process Mixture Models
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
我们开发了一个顺序的低复杂度的推理过程的Dirichlet过程混合高斯在线聚类和参数估计时，集群的数量是未知的先验。我们提出了一个易于计算的，封闭形式的参数表达式的条件似然，其中超参数递归更新的流数据假设共轭先验的函数。受大样本渐近性的启发，我们提出了一种新的自适应低复杂度的Dirichlet过程浓度参数的设计，并表明类的数量最多以对数速度增长。进一步证明了在大样本极限下，条件似然和数据预测分布都是渐近高斯分布。我们通过对合成和真实数据集的实验证明，我们的方法优于其他在线最先进的方法。
2015-09-11 cs.LG stat.ME stat.ML
Dirichlet Mixture Model based VQ Performance Prediction for Line Spectral Frequency
Beijing University of Posts and Telecommunications（北京邮电大学）
在本文中，我们继续我们以前的工作的Dirichlet混合模型（DMM）为基础的矢量量化的LSF矢量量化的性能界。LSF参数被转换到$Δ$ LSF域，并且$Δ$ LSF参数的潜在分布由具有有限数量的混合分量的DMM建模。量化失真，在均方误差（MSE）方面，与高速率理论计算。感知激励的对数谱失真（LSD）和MSE之间的映射关系是经验近似的多项式。利用该映射函数，估计用于LSF的透明编码的最小所需比特率。
2020-02-02 cs.LG cs.SD eess.AS
Dirichlet Process Mixtures of Generalized Linear Models
我们提出了狄利克雷过程混合广义线性模型（DP-GLM），一种新的非参数回归方法，可容纳连续和分类的输入，和响应，可以模拟的广义线性模型。我们证明了DP-GLM回归均值函数估计的渐近无偏性的条件。我们还给出了当这些条件成立时的例子，包括紧支持的连续分布模型和具有连续协变量和分类响应的模型。我们实证分析的DP-GLM的属性，为什么它提供了更好的结果比现有的Dirichlet过程混合物回归模型。我们评估DP-GLM的几个数据集，比较它的现代非参数回归方法，如CART，贝叶斯树和高斯过程。与现有技术相比，DP-GLM提供了一个单一的模型（和相应的推理算法），在许多回归设置中表现良好。
2010-07-15 stat.ML
Common Failure Modes of Subcluster-based Sampling in Dirichlet Process Gaussian Mixture Models -- and a Deep-learning Solution
Ben-Gurion University（本-古里安大学）
狄利克雷过程高斯混合模型（DPGMM）常用于聚类数据时，聚类数是未知的。一个主要的DPGMM推理范式依赖于采样。在这里，我们考虑一个已知的最先进的采样器（由Chang和Fisher III（2013）提出，并由Dinari等人（2019）改进），分析其故障模式，并展示如何改进它，通常是大幅改进。具体地说，在该采样器中，每当形成一个新的集群时，它都会增加两个子集群，其标签是随机初始化的。在它们的演化过程中，子集群用于提出父集群的分裂。我们表明，随机初始化往往是有问题的，伤害了否则有效的采样器。具体来说，我们证明，这种初始化往往会导致穷人的分裂建议和/或太多的迭代之前，所需的分裂被接受。这会减慢收敛速度，并可能破坏聚类。作为一种补救措施，我们提出了两个下拉式替换选项的子集群初始化子程序。第一个是直观的启发式，而第二个是基于深度学习。我们表明，所提出的方法产生更好的分裂，这反过来又转化为性能，结果和稳定性的大幅改善。
2022-03-25 cs.LG stat.ML
Regime-Adaptive Bayesian Optimization via Dirichlet Process Mixtures of Gaussian Processes
Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系）；Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）；College of Nanotechnology, Science, and Engineering, State University of New York at Albany（纽约州立大学阿尔巴尼分校纳米技术、科学与工程学院）
本文提出RAMBO方法，通过狄利克雷过程混合高斯过程实现自适应贝叶斯优化，有效处理多制度问题，提升分子构象优化、药物发现等任务的性能。
2026-07-29 cs.LG stat.ML
Clustering consistency with Dirichlet process mixtures
Dirichlet过程混合模型是一种灵活的非参数模型，特别适合于密度估计和概率聚类。在这项工作中，我们研究的后验分布引起的Dirichlet过程的混合物作为样本量的增加，更具体地说，集中在一致性为未知数的集群时，观察到的数据是从一个有限的混合物。至关重要的是，我们考虑的情况下，事先放置在浓度参数的基础Dirichlet过程。文献中以前的研究结果表明，狄利克雷过程的混合物通常是不一致的集群的数量，如果浓度参数是固定的，数据来自有限的混合物。在这里，我们表明，如果浓度参数是适应在一个完全贝叶斯的方式，在实践中通常做的，可以实现集群的数量的一致性。我们的研究结果来自来自一类有限混合物的数据，温和的假设上的浓度参数和混合物的似然核的各种选择的先验。
2022-05-25 math.ST stat.ME stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Distributed Collapsed Gibbs Sampler for Dirichlet Process Mixture Models in Federated Learning
University of Versailles, Paris-Saclay University（巴黎萨克雷大学凡尔赛大学）；Sorbonne Paris Nord University（索邦巴黎北大学）；Technology Innovation Institute（技术创新研究院）；CDAT
针对狄利克雷过程混合模型在大数据下推理慢的问题，提出适用于横向联邦学习的分布式折叠吉布斯采样方法DisCGS，在10万数据点上较集中式算法提速200倍且不损失聚类性能。
2023-12-18 cs.LG stat.ML
Variational Approach for Efficient KL Divergence Estimation in Dirichlet Mixture Models
LMU Munich（慕尼黑大学）
提出变分闭式解高效估计狄利克雷混合模型中的KL散度，显著提升计算效率与准确性，优于蒙特卡洛方法，促进组合数据聚类分析。
2024-03-18 cs.LG math.ST stat.ML
A Semiparametric Bayesian Extreme Value Model Using a Dirichlet Process Mixture of Gamma Densities
在本文中，我们提出了一个Dirichlet过程混合的伽玛密度在阈值以下的大部分和广义Pareto密度在尾部的极值估计模型。所提出的模型是简单和灵活的，允许我们的后验密度估计和后验推理的高分位数。该模型工作良好，即使小样本量和在没有先验信息。我们通过仿真研究评估所提出的模型的性能。最后，将该模型应用于一个实际的环境数据。
2013-04-02 stat.AP stat.ME stat.ML
On the identifiability of Dirichlet mixture models
La Trobe University（拉筹伯大学）；Kyushu University（九州大学）；University of Glasgow（格拉斯哥大学）
研究Dirichlet混合模型在单纯形内部的可识别性，证明了有限混合Dirichlet分布的非可识别性，并在固定总参数切片和受限区域中恢复可识别性，同时指出有限混合广义Dirichlet等模型的非可识别性。
2026-03-23 math.ST stat.TH
Dirichlet Scale Mixture Priors for Bayesian Neural Networks
Department of Statistics & Data Science, University of Oslo（统计与数据科学系，奥斯陆大学）
本文提出狄利克雷尺度混合先验用于贝叶斯神经网络，通过结构化收缩解决现有局限，提升模型稀疏性、鲁棒性和预测性能。
2026-02-23 cs.LG stat.ML
Adaptive Convergence Rates of a Dirichlet Process Mixture of Multivariate Normals
结果表明，一个简单的Dirichlet过程混合的多元常态提供贝叶斯密度估计与自适应后收敛速度。为此，一种新的非参数混合密度的筛子进行了探索，并证明了其率适应性的各种光滑类的密度在任意维。这种筛的建设，预计将提供一个实质性的技术进步，在研究贝叶斯非参数混合模型的基础上，棒断裂先验。
2011-11-17 math.ST stat.ME stat.TH
DPMM-CFL: Clustered Federated Learning via Dirichlet Process Mixture Model Nonparametric Clustering
Dept. of Electrical \& Computer Engineering, Northeastern University, Boston, MA, USA
DPMM-CFL通过非参数贝叶斯推断自动确定聚类数量和客户端分配，实现更灵活的联邦学习框架。
2026-01-29 cs.DC cs.LG stat.ML
Multidimensional Membership Mixture Models
Cornell University（康奈尔大学）
我们提出了多维隶属度混合（M3）模型，其中每个维度的成员代表一个独立的混合模型，每个数据点是从选定的混合成分联合产生的。当数据具有某种共享结构时，这很有帮助。例如，三个唯一的均值和三个唯一的方差可以有效地形成一个高斯混合模型与九个组件，而只需要六个参数来充分描述it.In本文中，我们提出了三个实例的M3模型（连同学习和推理算法）：无限，有限，和混合，这取决于是否混合的数量是固定的或不。它们分别建立在Dirichlet过程混合模型、潜在Dirichlet分配模型和组合模型上。然后，我们考虑两个应用程序：主题建模和学习3D对象的安排。我们的实验表明，我们的M3模型实现了更好的性能，使用更少的主题比许多经典的主题模型。我们还观察到，来自M3模型的不同维度的主题是有意义的，并且彼此正交。
2012-08-02 cs.LG stat.ML
A Neural Dirichlet Process Mixture Model for Task-Free Continual Learning
Seoul National University（首尔国立大学）
尽管人们对持续学习的兴趣越来越大，但大多数当代作品都是在一个相当有限的环境中进行研究的，在这个环境中，任务是可以清楚区分的，任务的边界在训练过程中是已知的。然而，如果我们的目标是开发一种像人类一样学习的算法，那么这种设置是远远不现实的，并且开发一种以无任务方式工作的方法至关重要。同时，在持续学习的几个分支中，基于扩展的方法具有通过分配新资源来学习新数据来消除灾难性遗忘的优点。在这项工作中，我们提出了一个扩展为基础的无任务的持续学习的方法。我们的模型，命名为连续神经Dirichlet过程混合（CN-混合），由一组负责数据子集的神经网络专家组成。CN-SVM在贝叶斯非参数框架下有原则地扩展专家数量。通过大量的实验，我们表明，我们的模型成功地执行无任务的持续学习的判别和生成任务，如图像分类和图像生成。
2020-01-14 cs.LG cs.NE stat.ML
Posterior contraction rates for deconvolution of Dirichlet-Laplace mixtures
研究了拉普拉斯密度和狄利克雷过程在混合分布上的位置混合的非参数贝叶斯推断。我们推导出相应的后验分布的收缩率，无论是相对于Wasserstein度量的混合分布，还是相对于Hellinger和$L_q$度量的混合密度。
2016-01-26 math.ST stat.TH
IID Sampling from Posterior Dirichlet Process Mixtures
Dirichlet过程混合的影响在贝叶斯非参数文献中是普遍存在的。但是，尽管出现了各种马尔可夫链蒙特卡罗方法，但从其后验分布中采样仍然是一个挑战。主要的挑战是无限维的设置，即使将无限维的随机测度整合出来，高维性和离散性仍然是难以处理的问题。在这篇文章中，利用Bhattacharya（2021 b）中提出的关键思想，我们提出了一种新的方法来从Dirichlet过程混合的后验中绘制iid实现。我们特别关注Bhattacharya（2008）的更通用和灵活的模型，以便这里开发的方法简单地适用于传统的狄利克雷过程混合物。我们说明了我们的想法，众所周知的酶，酸度和星系数据集，这通常被认为是混合应用程序的基准数据集。在我们的并行实现中，从Bhattacharya（2008）的Dirichlet过程混合后验生成10，000个iid实现，分别需要19分钟、8分钟和5分钟。
2022-06-18 math.ST stat.CO stat.TH
CPU- and GPU-based Distributed Sampling in Dirichlet Process Mixtures for Large-scale Analysis
Ben-Gurion University（本-古里安大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
在无监督学习领域，贝叶斯非参数混合模型，以狄利克雷过程混合模型（DPMM）为例，提供了一种使模型的复杂性适应数据的原则性方法。这种模型在聚类任务中特别有用，其中聚类的数量是未知的。然而，尽管DPMM具有潜力和数学上的优雅，但它尚未成为从业者广泛采用的主流工具。这可能是由于一种误解，即这些模型的可扩展性很差，以及缺乏可以有效处理大型数据集的高性能（和用户友好）软件工具。在本文中，我们提出了一个新的，易于使用的，统计软件包可扩展DPMM推理弥合这一实际差距。更具体地说，我们为DPMM中的高性能分布式基于采样的推理提供了高效且易于修改的实现，其中用户可以自由选择多机，多核，CPU实现（用Julia编写）和多流GPU实现（用CUDA/C++编写）。CPU和GPU实现都带有一个通用的（可选的）python包装器，为用户提供了一个具有相同界面的单一入口点。在算法方面，我们的实现利用了领先的DPMM采样器（Chang和Fisher III，2013）。虽然Chang和Fisher III的实现（用MATLAB/C++编写）只使用CPU，并且是为单个多核机器设计的，但我们在这里提出的包可以在多个多核机器或多个GPU流之间有效地分配计算。这导致了加速，消除了内存和存储限制，并使我们能够将DPMM拟合到比以前（Chang和Fisher III，2013）或其他DPMM方法更大的数据集和更高的维度。
2022-04-19 cs.LG stat.ML
Exact and Efficient Parallel Inference for Nonparametric Mixture Models
基于狄利克雷过程的非参数混合模型是有限模型的一个优雅的替代品，当底层组件的数量是未知的，但在这样的模型中的推理可能很慢。在这种模型中并行推理的现有尝试依赖于引入近似，这可能导致后验估计的不准确。在本文中，我们描述了辅助变量表示的狄利克雷过程和分层狄利克雷过程，使我们能够从真正的后验分布的方式进行采样。我们表明，我们的方法允许可扩展的推理，而不会恶化估计质量，伴随着现有的方法。
2012-11-29 stat.ML
Posterior Distribution for the Number of Clusters in Dirichlet Process Mixture Models
UT Austin（得克萨斯大学奥斯汀分校）；UC Berkeley（加利福尼亚大学伯克利分校）
狄利克雷过程混合模型（DPMM）在贝叶斯非参数中起着核心作用，其应用遍及统计学和机器学习。DPMM通常用于聚类问题，其中聚类的数量事先不知道，并且后验分布被视为提供对该数量的推断。然而，最近，它已被证明，DPMM是不一致的，在某些情况下推断的组件的真实数量。这是一个渐近结果，需要了解它是否适用于有限样本，并更充分地了解完整的后验。在这项工作中，我们提供了一个严格的研究在不同的先验分布的参数和数据的分布约束条件下，在DPMM的聚类数的后验分布。当参数的先验分布为高斯分布或均匀分布时，我们给出了$s+1$簇和$s$簇之间概率比的新下界.
2020-10-19 cs.LG math.ST stat.ML
A Dirichlet Process Mixture Model of Discrete Choice
我们提出了一个混合多项logit（MNL）模型，它利用截断棒打破过程表示的狄利克雷过程作为一个灵活的非参数混合分布。该模型是一个狄利克雷过程混合模型，并容纳离散表示的异质性，像一个潜在的类MNL模型。然而，与潜在类MNL模型不同，建议的离散选择模型不需要分析师在估计之前固定混合成分的数量，因为离散混合分布的复杂性是从证据中推断出来的。对于离散选择的Dirichlet过程混合模型的后验推理，我们给出了一个期望最大化算法。在模拟研究中，我们证明了所提出的模型框架可以灵活地捕获不同形状的口味参数分布。此外，我们实证验证了模型框架的案例研究中的驾驶员的路线选择偏好，并发现建议的离散选择的Dirichlet过程混合模型优于一个潜在的类MNL模型和混合MNL模型与常见的参数混合分布的样本内拟合和样本外的预测能力。与现有的建模方法相比，建议的离散选择模型大大简化了规格搜索，因为它依赖于较少的限制性参数假设，并不需要分析师指定的离散混合分布的复杂性之前估计。
2018-01-19 econ.EM stat.AP stat.CO
Parallel Clustering of Single Cell Transcriptomic Data with Split-Merge Sampling on Dirichlet Process Mixtures
University of California, Irvine（加州大学欧文分校）；University of Algarve（阿尔加维大学）
动机：随着基于液滴的系统的发展，大量的单细胞转录组数据已经变得可用，这使得能够以单细胞分辨率分析细胞和分子过程，并且有助于理解许多生物过程。虽然最先进的聚类方法已被应用于数据，但它们面临以下方面的挑战：（1）聚类质量仍有待提高;（2）大多数模型需要关于聚类数的先验知识，而这些知识并不总是可用的;（3）需要更快的计算速度。结果：我们建议在Dirichlet过程混合模型（Para-DPMM模型）上使用并行分裂合并采样来解决这些挑战。与在每个单个数据点上执行采样的经典DPMM方法不同，拆分合并机制在聚类级别上进行采样，这显着提高了结果的收敛性和最优性。该模型是高度并行化的，可以利用高性能计算（HPC）集群的计算能力，在巨大的数据集上实现大规模集群。实验结果表明，该模型在聚类质量和计算速度上都优于目前广泛使用的模型。可用性：源代码可在https://github.com/tiehangd/Para_DPMM/tree/master/Para_DPMM_package上公开获取
2018-12-25 cs.LG q-bio.GN stat.ML
Nondiagonal Mixture of Dirichlet Network Distributions for Analyzing a Stock Ownership Network
the University of Tokyo（东京大学）；Rikkyo University（立教大学）；National Institute of Informatics（国立信息学研究所）；The Canon Institute for Global Studies（佳能全球研究所）
块模型在复杂网络研究中有着广泛的应用。基石模型是随机块模型（SBM），在过去几十年中被广泛使用。然而，SBM在分析复杂网络时受到限制，因为该模型本质上是一个随机图模型，无法再现许多复杂网络的基本属性，例如稀疏性和重尾度分布。在本文中，我们提供了一个边缘可交换块模型，结合这些基本功能，同时推断出一个给定的复杂网络的潜在块结构。我们的模型是一个贝叶斯非参数模型，它灵活地估计块的数量，并考虑到看不见的节点的可能性。使用一个合成数据集和一个现实世界的股票所有权数据集，我们表明，我们的模型优于国家的最先进的SBM的举行了链接预测任务。
2020-11-01 cs.LG cs.SI stat.ML
Classification of pulsars with Dirichlet process Gaussian mixture model
Istanbul Technical University（伊斯坦布尔理工大学）
年轻的孤立中子星（INS）通常表现为旋转动力中子星（RPP），包括常规射电中子星、伽马射线中子星（GRP）和旋转射电瞬变（RRAT）。其他一些年轻的INS家族表现为异常X射线源星（AXP）和软伽马射线中继星（SGR），它们通常被认为是磁星，即具有超强衰减场的磁动力中子星。然而，其他一些年轻的惯性导航系统被确定为中央致密天体（CCO）和X射线暗淡孤立中子星（XDINS），它们是由其热能驱动的冷却天体。较老的双星，由于之前一个伴星的长时间吸积，表现为毫秒双星，更常见于双星系统中。我们使用Dirichlet过程高斯混合模型（DPGMM），一种无监督的机器学习算法，分析这些脉冲星家族的周期和周期导数的参数空间中的分布。我们比较了所有发现的星系团的特征年龄、磁偶极场强度、表面温度和横向速度的平均值。我们验证了DPGMM是强大的，并提供了线索，推断不同类别的类之间的关系。我们讨论了我们的研究结果的磁热自旋演化模型和后备光盘的影响。
2020-01-15 astro-ph.HE cs.LG stat.ML
Adaptive Bayesian multivariate density estimation with Dirichlet mixtures
我们表明，率自适应的多变量密度估计可以使用贝叶斯方法的基础上正常内核的协方差阵参数的先验分布的Dirichlet混合物。我们推导出充分条件的事先说明，保证收敛到一个真正的密度的速度是最佳的极小极大的平滑类的真正的密度属于。假设没有平滑度的先验知识。的充分条件示出持有的Dirichlet位置混合的法线之前的高斯基测量和逆Wishart之前的协方差阵参数。局部Hölder光滑类和它们的各向异性扩展。我们的研究涉及到几个技术创新，包括尖锐的逼近可微多元密度正常的混合物和一个新的筛子上的空间，这种密度。
2013-03-19 math.ST stat.TH
An Imputation model by Dirichlet Process Mixture of Elliptical Copulas for Data of Mixed Type
基于Copula的方法为建立混合类型多元数据的缺失数据插补模型提供了一种灵活的方法。然而，Copula函数的选择是一个悬而未决的问题。我们考虑了贝叶斯非参数方法，通过使用无限混合的椭圆copula诱导的Dirichlet过程的混合物，以建立一个灵活的copula函数。采用切片采样算法对无限维参数空间进行采样。为了克服多峰分布中的混合问题，我们将有限混合模型中的先验并行调和方法推广到Dirichlet过程混合模型.使用模拟，我们证明了无限混合Copula模型提供了一个更好的整体拟合相比，他们的单组分同行，并执行更好地捕捉尾部依赖功能的数据。仿真结果进一步表明，我们提出的模型实现了更准确的填补，特别是对连续变量和更好的推理结果在一些分析模型。该模型被应用于澳大利亚急性中风患者的医疗数据集。
2019-10-12 stat.ME
Clustering action potential spikes: Insights on the use of overfitted finite mixture models and Dirichlet process mixture models
细胞外记录动作电位的建模，或尖峰分选，是神经科学研究的一个丰富领域，其中潜变量模型经常被使用。两个这样的模型，过拟合有限混合模型（OFM）和Dirichlet过程混合模型（DPM）被认为是提供洞察复杂的，多变量的医疗数据的无监督聚类时，集群的数量是未知的。OFM和OFM以类似的分层方式构建，但它们基于不同的哲学，具有不同的基本假设。本研究探讨了这些差异如何影响穗排序的真实研究，多变量高斯位置-尺度混合模型的估计，在复杂的医疗数据所产生的共同困难的存在。结果提供的见解，让未来的分析师选择适合的情况和目标的研究问题的手的方法。
2016-02-05 stat.AP stat.ME
Mixtures of Gaussian process experts based on kernel stick-breaking processes
the University of Melbourne（墨尔本大学）
提出基于核stick-breaking过程的高斯过程专家混合模型，改进门控函数，提升预测性能，并用切片采样实现后验计算，在六个数据集上验证效果。
2023-05-05 cs.LG stat.ML
From here to infinity - sparse finite versus Dirichlet process mixtures in model-based clustering
在基于模型的聚类中，混合模型用于将数据点分组到聚类中。Malsiner Walli等人（2016）为高斯混合引入的一个有用概念是稀疏有限混合，其中具有$K$分量的混合物的权重分布的先验分布以这样的方式选择，即数据中的聚类数量先验是随机的，并且允许以高概率小于$K$。然后从数据中推断出聚类的数量。本文在稀疏有限混合模型的背景下作出了以下贡献。首先，它说明了稀疏有限混合的概念是非常通用的，很容易扩展到聚类各种类型的非高斯数据，特别是离散数据和连续的多元数据所产生的非高斯集群。其次，稀疏有限的混合物相比，狄利克雷过程的混合物就其能力，以确定集群的数量。对于这两种模型类别，考虑了用于确定权重分布的参数的随机超先验。通过适当的匹配这些先验，它表明，这种超先验的选择是远比稀疏有限混合物或Dirichlet过程的混合物被考虑的集群解决方案的影响。
2018-08-22 stat.ME
Bayesian Mixture Models for Frequent Itemset Discovery
ASN Technology Group Co,.Ltd（ASN科技集团有限公司）；University of Manchester（曼彻斯特大学）
在二进制事务数据挖掘中，传统的频繁项集挖掘往往产生难以解释的结果。为了克服这个问题，通常使用概率模型来产生更紧凑和结论性的结果，尽管精度有所损失。近年来，贝叶斯统计被广泛用于机器学习中概率模型的开发，这些方法具有许多优点，包括它们避免过拟合的能力。在本文中，我们开发了两个贝叶斯混合模型的Dirichlet分布先验和Dirichlet过程（DP）之前，以改善以前的非贝叶斯混合模型开发的交易数据集挖掘。我们使用两种方法实现这两个混合模型的推理：一个崩溃的吉布斯抽样方案和变分近似算法。在几个基准问题的实验表明，这两个混合模型实现更好的性能比非贝叶斯混合模型。变分算法是两种方法中速度较快的一种，而吉布斯抽样法得到的结果更为精确。Dirichlet过程混合模型可以自动增长到适当的复杂度，以获得更好的近似。一旦模型构建完成，查询和运行分析就可以非常快（通常比Eclat快10倍，我们将在实验部分中展示）。然而，这些方法也表明，混合模型低估了频繁项集的概率。因此，这些模型具有较高的灵敏度，但特异性较低。
2012-09-26 cs.IR cs.LG stat.ML
A probability for classification based on the mixture of Dirichlet process model
在本文中，我们提供了一个明确的概率分布分类的目的。它是从贝叶斯非参数混合狄利克雷过程模型，但适当的修改，删除不适当的方面的分类基于这个模型。由此产生的方法，然后更接近类似于一个经典的层次分组规则，因为它取决于相邻值的平方和。建议的概率模型分类依赖于一个模拟算法，这将是基于一个可逆的MCMC算法来确定的概率，我们提供了数值例子与替代的想法进行分类比较。
2009-05-02 stat.AP
A Semiparametric Bayesian Approach for Extreme Values Using Dirichlet Process Mixture of Gamma and Generalized Pareto Densities
对于极值估计，我们建议使用一个Dirichlet过程混合的伽玛密度的中心和广义帕累托密度的尾部模型。由于中心的随机性和尾部的重尾密度，高分位数的密度估计和后验推断是可能的。该方法可以在正实数上以“默认”方式使用，因为它在先验信息不可用时有效。该模型易于实现，并进行了敏感性分析。我们将所提出的模型应用于模拟和真实数据集。
2013-03-28 math.ST stat.ME stat.TH
PReMiuM: An R Package for Profile Regression Mixture Models using Dirichlet Processes
PReMiuM是最近开发的R包贝叶斯聚类使用Dirichlet过程混合模型。该模型是回归模型的替代模型，通过聚类成员关系将响应向量与协变量数据非参数化地联系起来。该软件包支持Bernoulli、Binomial、Poisson、Normal和分类响应，以及Normal和离散协变量。此外，可以对响应进行预测，并处理协变量的缺失值。几个采样器和标签切换移动与诊断工具一起实施，以评估收敛。还提供了一些用于输出后处理的R函数。除了拟合混合物之外，还可能需要确定哪些协变量主动驱动混合物成分。这在包中作为变量选择实现。
2014-04-25 stat.CO
Dirichlet Process Mixture Models with Shrinkage Prior
我们提出了Dirichlet过程混合（Dirichlet Process Mixture）模型的预测和集群明智的变量选择，基于两种选择的收缩基线先验分布的线性回归系数，即马蹄先验和正态伽玛先验。我们在模拟研究中表明，这两个建议的ESTA模型往往优于标准ESTA模型的基础上的非收缩正常的先验，在预测，变量选择和聚类精度。这对于马蹄模型尤其如此，并且当协变量的数量超过群内样本量时。一个真实的数据集进行了分析，以说明所提出的建模方法，两个建议的预测模型再次获得更好的预测精度。
2021-02-25 stat.AP stat.ME
Tensor Dirichlet Process Multinomial Mixture Model for Passenger Trajectory Clustering
University of Cologne（科隆大学）；Arizona State University（亚利桑那州立大学）；Tsinghua University（清华大学）；McGill University（麦吉尔大学）；The Hong Kong University of Science and Technology（香港科技大学）；HKUST (Guangzhou Campus)（香港科技大学（广州校区））
针对乘客行程多维多模态层次结构及聚类数难以预设的问题，提出张量Dirichlet过程多项式混合模型（Tensor-DPMM）及其带图变体，通过张量单步聚类并自动确定簇数，结合坍缩Gibbs采样与解散重定位策略，在香港地铁数据上实现了更优的簇内紧凑度与簇间分离度。
2023-06-23 cs.LG stat.ML
Quantum Annealing for Dirichlet Process Mixture Models with Applications to Network Clustering
基于中国餐馆过程（CRP），提出了一种新的Dirichlet过程混合（DRI-CHLET）模型的量子退火（QA）算法. QA是模拟退火（SA）的并行化扩展，即，它是一种并行随机优化技术。现有方法[Kurihara等人UAI 2009，Sato等人UAI 2009]不能应用于CRP，因为其QA框架是使用固定数量的混合物组分制定的。所提出的QA算法可以处理混合模型中不固定数量的类。我们将QA应用于一个用于聚类网络中顶点的网络模型，其中CRP座位排列表示网络分区。在多核处理器上进行QA实验，结果表明QA在寻找CRP中座位安排的最大后验估计方面优于SA、马尔可夫链蒙特卡罗推理和波束搜索。由于我们的QA算法是一样容易实现的SA算法，它是适合于广泛的应用。
2013-05-19 cond-mat.dis-nn cond-mat.stat-mech quant-ph
Deconvolution of dust mixtures by latent Dirichlet allocation in forensic science
从鞋底回收的灰尘颗粒可以指示个体最近访问过的地点，并且特别地，指示个体在特定的感兴趣地点的存在，例如，犯罪现场通过用固定数量的尘埃粒子类型的多项分布描述给定地点的尘埃剖面，我们可以通过潜狄利克雷分配定义从鞋底回收的尘埃的混合物的概率分布。我们使用变分贝叶斯推断来研究模型的参数，并使用它们产生的后验分布来对（a）感兴趣的地点对灰尘混合物的贡献，以及（b）与这些地点相关的颗粒分布进行推断。
2019-01-31 stat.AP
Bayesian test of normality versus a Dirichlet process mixture alternative
本文提出基于狄利克雷过程混合备择模型的贝叶斯正态性检验方法，利用潜在聚类标量参数化和序贯重要性采样计算贝叶斯因子，在保持正态性成立时不误判的同时有效检测非正态性。
2019-11-14 math.ST stat.CO stat.ME
Informed Bayesian Finite Mixture Models via Asymmetric Dirichlet Priors
本文提出一种基于非对称 Dirichlet 先验的有限混合方法，允许直接对聚类数量设定先验信息，并通过数值实验和真实数据集验证了其灵活性与实用性。
2023-08-01 stat.ME
Scalable Bayesian nonparametric measures for exploring pairwise dependence via Dirichlet Process Mixtures
在这篇文章中，我们提出了新的贝叶斯非参数方法，使用Dirichlet过程混合（Dirichlet Process Mixture）模型来检测随机变量之间的成对依赖关系，同时考虑潜在分布形式的不确定性。一个关键的标准是，这些程序应该扩展到大型数据集。在这方面，我们发现，正式计算的贝叶斯因子的依赖与。独立联合概率测度在计算上是不可行的。为了解决这个问题，我们提出了贝叶斯诊断措施，对成对独立的“空模型”的特征证据。在模拟研究中，以及一个真正的数据分析，我们表明，我们的方法提供了一个有用的工具，探索性的非参数贝叶斯分析的大型多元数据集。
2016-04-27 stat.ME
Kernel Topic Models
Cavendish Laboratory（卡文迪什实验室）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research（微软研究院）
潜在狄利克雷分配模型离散数据作为离散分布的混合，使用混合权重的狄利克雷信念。我们研究了这个概念的一个变体，其中文档的混合权重信念被替换为压缩的高斯分布。这允许文档与希尔伯特空间的元素相关联，允许内核主题模型（KTM），对文档之间的时间、空间、层次、社交及其他结构进行建模。主要的挑战是有效的近似推理的潜在高斯。我们提出了一个近似算法铸造周围的拉普拉斯近似变换的基础上。KTM还可以被解释为一种高斯过程潜变量模型，或者以文档特征为条件的主题模型，揭示这些领域早期工作之间的联系。
2011-10-21 cs.LG stat.ML
Retrieval of Experiments with Sequential Dirichlet Process Mixtures in Model Space
我们解决的问题，检索相关实验的查询实验，动机是在分子生物学和其他实验科学的数据集的公共数据库，以及需要的科学家涉及到早期的工作水平上的实际测量数据。由于实验本身就是嘈杂的，数据库不断积累，我们认为，检索引擎应该具备两个特殊的特点。首先，它应该比较从实验中学习到的模型，而不是原始测量本身：这允许结合实验特定的先验知识来抑制噪声影响，并专注于重要的事情。其次，它应该从新发布的实验中顺序更新，而不显式存储测量值或模型，这对于节省存储空间和保护数据隐私至关重要：这促进了终身学习。我们制定的检索作为一个“supermodeling”的问题，顺序学习的一组模型的后验分布，表示为一组MCMC样本，并建议使用基于粒子学习的顺序狄利克雷过程混合物（Dirichlet）为此目的。检索的相关性度量是通过混合表示从超模型中导出的。我们证明了所提出的检索方法对模拟数据和分子生物学实验的性能。
2014-03-06 cs.IR stat.AP stat.ML
Compositional Outcomes and Environmental Mixtures: the Dirichlet Bayesian Weighted Quantile Sum Regression
本研究提出Dirichlet-BWQS回归，用于联合建模组合结局与环境混合物，可同时估计混合物权重及总体暴露指数与各结局比例的关联，并通过模拟和真实数据验证，提供R包实现。
2025-03-28 stat.AP stat.ME
Dirichlet Fragmentation Processes
树结构在许多领域的数据中无处不在，许多数据集自然地由未观察到的树结构建模。在本文中，我们首先回顾了随机碎片过程的理论[Bertoin，2006]，以及一些现有的建模树的方法，包括流行的嵌套中餐厅过程（nCRP）。然后，我们定义了一类一般的概率分布在树上：Dirichlet碎裂过程（DFP）通过一个新的组合的理论Dirichlet过程和随机碎裂过程。这个DFP呈现出一个断棒构造，并且与nCRP的关系与狄利克雷过程与中国餐馆过程的关系相同。此外，我们开发了一种新的分层混合模型与DFP，并实证比较新的模型在机器学习类似的模型。实验表明，DFP混合模型令人信服地优于现有的国家的最先进的分层聚类和密度建模方法。
2015-09-16 stat.ML
A survey on Bayesian inference for Gaussian mixture model
聚类已经成为机器学习中的核心技术，主要是由于其在无监督学习、聚类、分类和密度估计领域的应用。一种基于混合模型的频率论方法被称为EM算法，其中混合模型的参数通常被估计到最大似然估计框架中。有限和无限高斯混合模型的贝叶斯方法生成所有变量的点估计以及以整体估计的后验分布形式的相关不确定性。本综述的唯一目的是对有限和无限高斯混合模型的贝叶斯推理中的概念和数学工具进行独立的介绍，以便在后续章节中无缝地介绍它们的应用。然而，我们清楚地认识到，我们无法涵盖有关这一领域的所有有用和有趣的结果，并且由于缺乏讨论的范围，例如，分别分析了用破棒法和波利亚瓮法生成Dirichlet样本的方法。我们建议读者参考文献领域的狄利克雷过程混合物模型更详细地介绍了相关领域。一些优秀的例子包括（Frigyik等人，2010; Murphy，2012; Gelman等人，2014; Hoff，2009）。本文主要综述了高斯混合模型的研究目的、意义、重要背景和技术，狄利克雷先验，中国餐馆的过程，最重要的是起源和复杂的方法，揭示了他们的现代应用。数学的先决条件是概率的第一门课程。除了这个温和的背景，发展是独立的，与严格的证明提供了整个。
2021-08-20 cs.AI cs.LG stat.ML
Nearest Neighbor Dirichlet Mixtures
针对贝叶斯混合密度估计依赖 MCMC、计算慢且不稳定的问题，提出最近邻 Dirichlet 混合及并行 Monte Carlo 伪后验算法，并证明渐近性质与实证效果。
2023-02-23 stat.CO stat.ME stat.ML
