Statistical Inference for Scale Mixture Models via Mellin Transform Approach
针对尺度混合模型，本文提出基于 Mellin–Stieltjes 变换、适用于离散与绝对连续混合分布的估计方法，并通过期望逐点误差分析及 Mellin 变换版 Berry–Esseen 不等式保证其推断性能。
2024-01-22 stat.ME
Statistical Inference for Mixture of Cauchy Distributions
$α$ -稳定分布类在工程、经济、保险和物理等领域的脉冲现象建模中受到广泛关注。缺乏概率密度函数的非解析形式被认为是通过$α$ -稳定分布类建模数据的主要障碍。柯西分布作为这类分布的核心成员，在经济学、地震学、理论物理和应用物理中得到了广泛的应用。我们通过期望最大化算法得到柯西分布和混合柯西分布的参数估计。期望最大化算法的性能通过仿真和真实数据集证明。
2018-09-15 stat.ME
Statistical inference for a mixture of Markov jump processes
我们估计一般的混合马尔可夫跳过程。所提出的混合物的关键新功能是，马尔可夫过程的过渡强度矩阵，包括混合物是完全不受约束的。马尔可夫过程与依赖于混合过程的初始状态的分布混合。新的混合估计从其连续观察到的实现使用期望最大化算法，它提供了混合的参数的极大似然（ML）估计。我们推导出ML估计量的渐近性质。为了得到混合模型参数的ML估计的标准误，导出了观测费舍尔信息矩阵的显式形式。新的信息矩阵简化了Louis（1982）关于观测费舍尔信息矩阵的一般矩阵公式中完全数据得分函数外积的条件期望。仿真研究验证了估计的准确性，并证实了估计的相合性和渐近正态性。所开发的方法被应用到医疗数据集，其中的似然比检验拒绝的约束混合物，有利于建议的无约束的。这种应用证明了一种新的无约束混合物的有用性，用于在异质群体中识别和表征同质亚群。
2022-04-11 stat.ME
Prediction-powered Inference by Mixture of Experts
Department of Mathematics, Hong Kong University of Science and Technology（香港理工大学数学系）；Department of Mathematical and Statistical Sciences, University of Alberta（阿尔伯塔大学数学与统计学系）
本文提出基于预测的半监督推理框架，利用专家混合方法降低方差，提升预测精度，适用于多种统计估计任务。
2026-04-30 cs.LG stat.AP stat.ML
Statistical inference with anchored Bayesian mixture of regressions models: A case study analysis of allometric data
针对哺乳动物脑质量与身体质量异速生长关系的线性模型拟合问题，提出用案例影响诊断选择锚点的锚定贝叶斯回归混合模型，并通过真实数据与模拟比较三种锚定方法。
2023-06-08 stat.AP stat.ME
Approximate inferences for nonlinear mixed effects models with scale mixtures of skew-normal distributions
近年来，非线性混合效应模型在统计学文献中受到了极大的关注，因为它们在处理纵向研究中具有灵活性，包括人类免疫缺陷病毒的病毒动力学、药代动力学分析以及生长和衰减研究。连续响应的非线性混合效应模型中的一个标准假设是随机效应和受试者内误差呈正态分布，这使得模型对离群值敏感。本文提出了一类新的非对称非线性混合效应模型，该模型在纵向数据的分析中提供了有效的参数估计。我们假设随机效应服从偏正态分布的多变量尺度混合，随机误差服从正态分布的对称尺度混合，这为通常的正态分布提供了一个有吸引力的稳健替代方案。我们提出了一个近似的方法极大似然估计的基础上EM型算法，产生近似的最大似然估计，并显着减少了数值困难与精确的极大似然估计。还简要讨论了这类分布下的未来响应预测技术。通过茶碱动力学数据的应用程序，并通过一些模拟研究的方法进行说明。
2020-07-29 stat.ME
Some aspects of symmetric Gamma process mixtures
在这篇文章中，我们提出了一些具体的对称Gamma过程混合用于回归模型。我们提出了一个新的吉布斯采样模拟后，我们建立了自适应后收敛率相关的高斯均值回归问题。
2016-07-28 math.ST stat.ME stat.TH
Adaptive nonparametric Bayesian inference using location-scale mixture priors
我们研究位置-尺度混合先验的非参数统计问题，包括多元回归，密度估计和分类。我们表明，可以得到一个速率自适应的过程，如果事先适当地构造。特别是，我们表明，自适应实现，如果一个内核的混合之前的回归函数使用高斯内核，反伽马带宽，高斯混合权重。
2012-11-09 math.ST stat.TH
Semiparametric mixtures of symmetric distributions
本文考虑两个分布的半参数混合等于一个移位参数。该模型被称为半参数的意义上的混合分布不应该属于一个参数的家庭。为了保证模型的可辨识性，假设混合分布是对称的，然后用混合比例、两个位置参数和混合分布的密度函数来定义模型。基于傅立叶方法，我们提出了一类新的参数M-估计，并证明了它们在弱正则性条件下是平方根相合的.它们的有限样本性质说明了Monte Carlo研究和基准真实数据集也与我们的方法进行了研究。
2011-11-09 math.ST stat.TH
Semiparametric topographical mixture models with symmetric errors
受Bowen等人（2012）中考虑的正电子发射断层扫描（PET）成像数据分析的启发，我们引入了一种半参数拓扑混合模型，该模型能够捕获二分移位响应型实验的特征。我们提出了一个局部估计过程，基于局部噪声的对称性，所提出的模型中涉及的比例和位置函数。我们建立在温和的条件下的极小极大性质和渐近正态性的估计进行Monte Carlo模拟，以检查其有限样本性能。最后，Bowen等人（2012）的PET成像数据的统计分析说明了所提出的方法。
2014-02-10 math.ST stat.TH
Bayesian Inference for Linear Dynamic Models with Dirichlet Process Mixtures
使用卡尔曼技术，可以在线性高斯状态空间模型中执行最优估计。我们在这里解决的情况下，噪声密度函数是未知的函数形式。介绍了一种基于Dirichlet过程混合的灵活贝叶斯非参数噪声模型。有效的马尔可夫链蒙特卡罗和顺序蒙特卡罗方法，然后开发执行最佳批处理和序贯估计在这种情况下。将该算法应用于盲反卷积和变点检测。合成和真实数据的实验结果表明，这种方法在各种情况下的效率。
2007-02-08 math.ST stat.TH
On universal inference in Gaussian mixture models
本文研究高斯混合模型下的通用推断，证明分割似然比检验在原假设下渐近正态，并出人意料地达到与经典似然比检验相同的检测速率，反驳了通用推断功效损失的观点。
2025-03-30 math.ST stat.TH
Bayesian inference and prediction for mean-mixtures of normal distributions
本文研究了多元正态分布均值混合的预测密度估计的频率风险性质，其中包含一个未知的位置参数$θ\in \mathbb{R}^d$，并且包含多元斜正态分布.我们提供明确的表示贝叶斯后验和预测密度，包括基准最小风险同变（MRE）密度，这是极大极小和广义贝叶斯相对于一个不适当的均匀密度$θ$。对于四个维度或更多，我们得到的贝叶斯密度，提高均匀的MRE密度下Kullback-Leibler损失。我们还提供插件类型的改进，调查的影响，某些类型的参数限制$θ$，并说明和评论的结果的基础上数值评估。
2022-02-01 math.ST stat.TH
Mixture representations and Bayesian nonparametric inference for likelihood ratio ordered distributions
本文利用混合表示刻画似然比有序分布，提出基于Dirichlet过程混合的非参数贝叶斯密度估计方法，首次证明有序约束下的后验相合性，并给出MCMC算法及生物医学应用。
2023-10-26 math.ST stat.ME stat.TH
Affinely invariant matching methods with discriminant mixtures of proportional ellipsoidally symmetric distributions
在旨在评估干预或暴露（如吸烟）影响的观察性研究中，最好尝试控制治疗组之间的背景差异（例如，当前吸烟者）和对照组（例如，从不吸烟者）对协变量$X$（例如，年龄、教育）。匹配采样试图通过选择具有此类协变量相似分布的给药组和对照组的子集来实现这种控制。本文研究了当协变量分布是"比例椭球对称的判别混合“（DMPES）分布时，使用仿射不变方法匹配的后果，本文定义了一类，它概括了Rubin和Thomas的椭球对称类[Ann. Statist. 20（1992）1079- 1093]。由此产生的广义结果有助于说明为什么早期的结果即使在不满足椭球对称的简单假设时也能很好地保持[例如，Biometrics 52（1996）249- 264]。扩展条件仿射不变匹配与条件DMPES分布也进行了讨论。
2006-11-09 math.ST stat.TH
An adaptive mixture-population Monte Carlo method for likelihood-free inference
本文主要研究具有可无偏估计的难处理的似然函数的变分推理。在\cite{cappe2008adaptive}中采用混合种群蒙特卡罗（MPMC）算法，建立了一种基于高斯混合的灵活变分逼近方法。MPMC通过重要抽样计算迭代更新混合分布的参数，而不是通常变分贝叶斯中复杂的优化目标梯度估计。注意到MPMC使用固定数量的混合组分，这是很难预测的实际应用中，我们进一步提出了一个自动组件更新程序，以获得适当数量的组件。推导出的自适应MPMC算法是能够找到良好的近似的多模态后验分布，即使与一个标准的高斯作为初始分布，在我们的数值实验证明。
2021-12-01 cs.NA math.NA math.ST
Semiparametric inference in mixture models with predictive recursion marginal likelihood
预测递推算法是混合模型中混合密度非参数估计的一种精确且计算效率高的算法。然而，在半参数混合模型中，该算法无法考虑额外的未知结构参数中的任何不确定性。作为现有的配置文件似然方法的替代方案，我们把预测递归作为一个过滤器近似拟合完全贝叶斯模型，从而出现的结构参数的近似边际似然，并可用于推理。我们称之为预测递归边际似然。预测递归下的模型误指定的收敛特性也导致了这个新的过程有吸引力的建设。我们证明了这个边缘似然函数的规范化版本的逐点收敛。仿真结果比较了这种新的边缘似然方法的性能，现有的轮廓似然方法以及Dirichlet过程混合物的密度估计。混合效应模型和经验贝叶斯多重检验应用在时间序列分析也被认为是。
2011-06-16 math.ST stat.ME stat.TH
Mixture weights optimisation for Alpha-Divergence Variational Inference
LTCI, Télécom Paris（巴黎电信学院LTCI实验室）；Institut Polytechnique de Paris（巴黎理工学院）；SAMOVAR, Télécom SudParis（南巴黎电信学院SAMOVAR实验室）
本文主要研究变分推理的$α$ -散度最小化方法。更确切地说，我们感兴趣的算法优化的混合权重的任何给定的混合模型，没有任何信息的基础分布的混合成分参数。功率下降，定义为所有$α\neq 1$，是这样一个算法，我们建立在我们的工作充分证明了其收敛到最佳的混合权重时，$α<1$。由于$α$ -发散恢复了广泛使用的前向Kullback-Leibler时，$α\to 1$，我们然后扩展功率下降的情况下，$α= 1$，我们得到了一个熵镜下降。这导致我们调查功率下降和熵镜下降之间的联系：一阶近似允许我们引入Renyi下降，一种新的算法，我们证明了$O(1/N)$收敛速度。最后，我们数值比较的行为的无偏功率下降和有偏Renyi下降，我们讨论了一个算法的潜在优势。
2021-06-09 cs.LG math.ST stat.TH
Nonparametric Pattern-Mixture Models for Inference with Missing Data
模式混合模型为处理缺失数据提供了一种透明的方法，其中完整数据分布以一种明确显示可以仅从观察数据估计的部分以及需要识别限制的部分的方式进行因子分解。我们介绍了一个非参数估计的全数据分布的模式混合模型因子分解的基础上。我们的方法使用的经验数据分布，并增加了一个非参数估计的缺失数据分布在一个给定的识别限制。我们的研究结果适用于一个大类的捐助者为基础的识别限制，包括常用的，可以处理单调和非单调缺失。我们提出了一个蒙特卡罗程序来获得点估计的泛函的兴趣，和自助构建置信区间。
2019-04-24 math.ST stat.ME stat.TH
Consistency of Variational Bayes Inference for Estimation and Model Selection in Mixtures
混合模型广泛应用于贝叶斯统计和机器学习，特别是在计算生物学，自然语言处理和许多其他领域。变分推理是一种通过优化算法来近似难以处理的后验的技术，在处理混合物等复杂模型时，在实践中非常流行。本文的贡献是双重的。首先，我们研究了后验变分逼近的集中性，这对于一般的混合物仍然是一个开放的问题，我们得到了一致性和收敛速度。我们还解决了模型选择的组件的数量的问题：我们研究的方法已经在实践中使用，其中包括在最大限度地提高数值标准（证据下界）。我们证明了这种策略确实会导致强预言不等式。我们说明我们的理论结果的应用高斯和多项式混合物。
2018-08-12 math.ST stat.CO stat.ME
Information Gap and Feasibility-Aware Inference in Binomial Logistic Mixtures
研究二项逻辑混合模型中混合检测与标签恢复之间的信息差距，提出基于后验熵惩罚的可行性感知推断方法，避免误导性成分选择并改善后验标签概率校准。
2026-06-16 cs.LG math.ST stat.ML
Full Bayesian inference with hazard mixture models
基于马尔可夫链蒙特卡罗边际方法的贝叶斯非参数推理过程通常以后验期望的形式产生点估计。虽然这些方法在各种统计问题中非常有用且易于实现，但如果用于估计后验分布的非线性泛函，则这些方法可能受到一些限制。本论文的主要目标是开发一种新的方法，扩展了一个完善的边际过程设计的危险混合模型，以得出近似推断生存函数，不限于后验均值，但包括，作为显着的例子，可信区间和中位数生存时间。我们的方法依赖于表征的后验矩，反过来，是用来近似的后验分布的雅可比多项式的基础上的技术。我们的方法的推理性能进行了分析，通过广泛的研究模拟数据和实际数据组成的白血病缓解时间。虽然定制的生存分析的背景下，我们介绍的程序可以适用于一系列的其他模型的后验分布的时刻可以估计。
2014-10-09 math.ST stat.ME stat.TH
Interpolating between sampling and variational inference with infinite stochastic mixtures
University of Pennsylvania（宾夕法尼亚大学）；University of Rochester（罗切斯特大学）；Baylor College of Medicine（贝勒医学院）；Rice University（莱斯大学）
抽样和变分推断（VI）是两大类具有互补优势的近似推理方法。抽样方法擅长于近似任意概率分布，但效率低下。VI方法是有效的，但可能会歪曲真实的分布。在这里，我们开发了一个一般的框架，近似是简单的组件分布的随机混合物。采样和VI都可以被看作是特殊情况：在采样中，每个混合分量都是一个δ函数，并且是随机选择的，而在标准VI中，选择单个分量是为了最小化发散。我们推导出一个实用的方法，通过解决混合分布的优化问题，采样和VI之间的插值。中间推理方法，然后出现通过改变一个单一的参数。我们的方法可以证明在采样（减少方差）和VI（减少偏差+方差，尽管方差增加）上有所改进。我们证明了我们的方法的偏差/方差权衡在实践中的参考问题，我们比较常用的采样和VI方法的结果。这项工作向高度灵活但简单的推理方法家族迈出了一步，该方法结合了采样和VI的互补优势。
2022-03-04 cs.LG math.ST stat.CO
Flexible mean field variational inference using mixtures of non-overlapping exponential families
Stanford University（斯坦福大学）
稀疏模型是跨不同领域的许多应用程序所期望的，因为它们可以执行自动变量选择，帮助可解释性，并提供正则化。然而，当在贝叶斯框架中拟合稀疏模型时，除了最简单的情况之外，在所有情况下都难以解析地获得感兴趣的参数的后验分布。因此，从业者必须依赖于抽样算法，如马尔可夫链蒙特卡罗或变分方法，以获得一个近似的后验。平均场变分推理是一个特别简单和流行的框架，往往是服从解析推导的封闭形式的参数更新。当模型中的所有分布都是指数族的成员并且条件共轭时，通常可以手工导出优化方案。然而，我表明，使用标准的平均场变分推理可能无法产生合理的结果与稀疏诱导先验模型，如穗和板。幸运的是，这样的病态行为可以补救，因为我表明，混合指数族分布与非重叠的支持形成一个指数族。特别地，扩散指数族和在零处的点质量的任何混合以模型稀疏性形成指数族。此外，这些分布的特定选择保持条件共轭性。我用两个应用程序来激励这些结果：一个来自统计遗传学，它与广义最小二乘法有联系，在回归系数上有一个尖峰和厚板;和稀疏概率主成分分析。这里提出的理论结果是广泛适用于这两个例子之外。
2020-10-14 cs.LG math.ST stat.ML
Semiparametric inference for the scale-mixture of normal partial linear regression model with censored data
在删失数据建模的框架下，假设随机误差为正态分布的经典线性回归模型近年来受到越来越多的关注，主要是为了数学和计算上的方便。然而，实际研究中经常批评这种线性回归模型，由于其偏离正态性和部分非线性的敏感性。本文提出了解决这些潜在的问题，同时在部分线性回归模型的背景下，假设随机误差遵循一个规模混合正态（SMN）分布族。所提出的方法使我们能够以极大的灵活性对数据进行建模，适应重尾和离群值。通过实现B样条函数，并使用方便的分层表示的SMN分布，计算分析EM型算法进行极大似然推断的模型参数。各种模拟研究进行了调查的有限样本性质以及在处理重尾分布数据集的模型的鲁棒性。最后通过实际数据实例分析说明了该方法的有效性。
2020-11-15 math.ST stat.CO stat.ME
Universal Boosting Variational Inference
University of British Columbia（不列颠哥伦比亚大学）
提升变分推断（BVI）通过迭代地建立简单分量分布的混合来逼近难以处理的概率密度，使用来自稀疏凸优化的技术来提供计算可扩展性和逼近误差保证。但是，保证有很强的条件，并不经常在实践中举行，导致退化组件优化问题，我们表明，用于防止退化的ad-hoc正则化在实践中可能会导致BVI不直观的方式失败。因此，我们开发了通用的提升变分推断（UBVI），BVI计划，利用简单的几何形状的概率密度下的Hellinger度量，以防止退化的其他基于梯度的BVI方法，避免困难的联合优化的组件和重量，并简化完全正确的重量优化。我们表明，对于任何目标密度和任何混合物成分的家庭，UBVI的输出收敛到最好的近似的混合物家庭，即使当混合物家庭是错误的。我们开发了一个可扩展的实现指数族混合成分和标准的随机最优化技术的基础上。最后，我们讨论了统计效益的Hellinger距离作为一个变分的目标，通过界的后验概率，矩，和重要性抽样错误。在多个数据集和模型上的实验表明，UBVI提供了可靠，准确的后验近似。
2019-10-27 cs.LG math.ST stat.CO
