A Mixture of Matrix Variate Bilinear Factor Analyzers
多年来，数据已经变得越来越高维，这促使对降维技术的需求增加。这对于聚类（无监督分类）以及半监督和监督分类可能尤其如此。虽然多变量数据聚类领域的降维已经在文献中进行了相当深入的讨论，但在三向或矩阵变量数据领域的工作相对较少。在此，我们开发了一个混合矩阵变量双线性因子分析器（MMVBFA）模型用于聚类高维矩阵变量数据。本文的工作既可以看作是第一个矩阵变量双线性因子分析模型，也可以看作是第一个MMVBFA模型。讨论了参数估计，并用模拟数据和实际数据说明了MMVBFA模型。
2018-09-29 stat.CO stat.ME stat.ML
Mixtures of spatial factor analyzers for tensor-variate data
University of British Columbia Okanagan Campus（不列颠哥伦比亚大学奥肯那根校区）
针对高维空间数据聚类难题，提出空间因子分析器混合模型，利用坐标系和样条结构防参数膨胀，结合矩阵变量因子分析器降维，经改进算法估计参数，在张量变量数据分析中表现良好，能准确推断区分空间模式。
2026-10-14 stat.ME stat.ML
Learning pose variations within shape population by constrained mixtures of factor analyzers
挖掘和学习底层种群的形状变异性有利于参数化形状建模、三维动画、图像分割等应用。当前的统计形状建模方法在学习非结构化形状变化而没有明显的姿势变化（身体部位的相对旋转）方面效果很好。研究形状种群内的姿势变化涉及将形状分割成不同的铰接部分并学习分割部分的变换。本文将姿势学习问题表述为因子分析器的混合。分割是通过后验概率的分量和旋转的姿态变化的因素加载矩阵的学习。为了保证因子载荷矩阵由旋转矩阵组成，施加约束条件，得到了相应的最优解的封闭形式。基于所提出的方法，姿态变化自动学习给定的形状人口。该方法被应用于运动动画中，其中新的姿势是通过在训练集中插入现有的姿势来生成的。所得到的结果是光滑和现实的。
2020-06-07 cs.CV stat.ML
A Hybrid Mixture of $t$-Factor Analyzers for Clustering High-dimensional Data
本文提出一种将轮廓似然集成到EM框架的混合方法，用于高效估计$t$-因子分析器混合模型，在保持聚类精度和鲁棒性的同时提升计算效率，并应用于伽马射线暴聚类验证其异质性。
2025-08-04 astro-ph.HE stat.AP stat.CO
Classification of weak multi-view signals by sharing factors in a mixture of Bayesian group factor analyzers
我们提出了一种新的弱信号数据分类模型，建立在最近的贝叶斯多视图学习模型，组因子分析（GFA）。而不是假设所有数据都来自一个单一的GFA模型，我们允许潜在的集群，每个集群有一个不同的GFA模型，并产生不同的类分布。我们发现，通过共享因子，在集群之间共享信息，大大提高了分类精度;共享因子基本上形成了一个灵活的噪声模型，可以解释与分类无关的数据部分。设置的动机来自单次试验功能性脑成像数据，具有非常低的信噪比和自然的多视图设置，具有不同的传感器，测量模态（EEG，MEG，fMRI）和可能的辅助信息作为视图。我们在MEG数据集上展示了我们的模型。
2016-06-07 stat.ML
A Hybrid Mixture Approach for Clustering and Characterizing Cancer Data
本文提出一种混合无矩阵计算方案，结合高斯混合模型与广义因子分析器，在高维生物医学数据中实现更快速且准确的聚类与特征刻画，并成功应用于乳腺癌类型识别和淋巴瘤亚型表征。
2025-07-18 q-bio.TO stat.AP stat.CO
A Latent Gaussian Mixture Model for Clustering Longitudinal Data
有限混合模型已经成为一种流行的聚类工具。在其他用途中，它们已被应用于聚类纵向数据和聚类高维数据。在后一种情况下，有时使用潜在高斯混合模型。虽然已经有大量的工作，聚类使用潜在变量和聚类纵向数据，分别，一直是一个缺乏的工作，结合这些功能。在扩展的混合公因子分析模型的基础上，提出了一种多时间点纵向数据聚类方法。期望最大化算法的一种变体用于参数估计，贝叶斯信息准则用于模型选择。使用真实和模拟数据的方法来说明。
2018-04-13 stat.ME stat.ML
From Adaptive Kernel Density Estimation to Sparse Mixture Models
Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学（VUB））；imec（比利时微电子研究中心）；Xi’an Jiaotong University（西安交通大学）
我们介绍了一个气球估计在广义期望最大化方法估计的所有参数的高斯混合模型给定一个数据样本的混合成分。这种正则化策略没有明确限制模型大小，而是产生低复杂度的稀疏模型，其中有效混合成分的数量随着平滑概率参数$\mathbf{P>0}$的增加而减少。这种半参数方法从非参数自适应核密度估计（KDE）过渡到参数普通最小二乘，当$\mathbf{P=1}$。实验表明，更简单的稀疏混合模型保留了自适应KDE解决方案中存在的细节水平。
2018-12-11 cs.LG stat.ML
Adaptive Recurrent Neural Network Based on Mixture Layer
Machine Intelligence Technology Lab, Alibaba Group（阿里巴巴集团机器智能技术实验室）
虽然循环神经网络（RNN）已经成为一个强大的工具来建模序列数据，它的性能是不够的，当处理序列与多个模式。在本文中，我们通过引入新的混合层和构建自适应RNN来解决这一挑战。混合层增广RNN（M-RNN）将训练序列中的模式划分为多个类，并将主模式作为混合模型中各成分的原型向量存储。通过利用混合层，该方法可以根据编码输入和原型向量之间的相似性自适应地更新状态，从而提高了对多模式序列的同化能力。此外，我们的方法可以通过利用有关数据的先验知识来进一步扩展。在模拟数据集和真实数据集上的实验证明了该方法的有效性。
2019-02-27 cs.AI cs.LG stat.ML
Adaptive Heterogeneous Mixtures of Normalising Flows for Robust Variational Inference
School of Computer Science and Informatics（计算机科学与信息学学院）
针对单流变分推断在不同分布上表现不稳定的问题，提出由多种互补流组成的两阶段训练自适应混合模型AMF-VI，在六类标准后验上实现更优的似然与传输度量，以低开销提升了变分推断的鲁棒性。
2025-10-02 cs.LG stat.ML
Parsimonious Gaussian mixture models with piecewise-constant eigenvalue profiles
Université Côte d’Azur（法国埃克塞特大学）；INRIA（法国国家信息与自动化技术研究院）；CNRS（法国国家科学研究中心）；LJAD（应用数学与计算科学实验室）；Maasai Project Team（马萨伊项目团队）
本文提出具有分段常数协方差特征值轮廓的简约高斯混合模型，扩展了MPPCA等低秩模型，并设计逐分量惩罚EM算法联合学习参数与超参数，在密度拟合、聚类和图像去噪中取得更优的似然-简约性权衡。
2025-11-07 cs.LG stat.AP stat.CO
Adaptive Low-Complexity Sequential Inference for Dirichlet Process Mixture Models
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
我们开发了一个顺序的低复杂度的推理过程的Dirichlet过程混合高斯在线聚类和参数估计时，集群的数量是未知的先验。我们提出了一个易于计算的，封闭形式的参数表达式的条件似然，其中超参数递归更新的流数据假设共轭先验的函数。受大样本渐近性的启发，我们提出了一种新的自适应低复杂度的Dirichlet过程浓度参数的设计，并表明类的数量最多以对数速度增长。进一步证明了在大样本极限下，条件似然和数据预测分布都是渐近高斯分布。我们通过对合成和真实数据集的实验证明，我们的方法优于其他在线最先进的方法。
2015-09-11 cs.LG stat.ME stat.ML
Online Variance Reduction with Mixtures
ETH Zurich（苏黎世联邦理工学院）
自适应重要性采样是一种很有前途的随机优化方法，通过减少方差来提高收敛性。在这项工作中，我们提出了一个新的方差减少框架，使混合物的使用超过预定义的采样分布，它可以自然地编码有关数据的先验知识。虽然这些采样分布是固定的，但在优化过程中会调整混合权重。我们提出了VRM，一种新的和有效的自适应方案，渐近恢复最好的混合权重在事后，也可以适应采样分布在点集。我们以经验证明了VRM在一系列应用中的多功能性。
2019-03-29 cs.LG stat.ML
An Adaptive EM Accelerator for Unsupervised Learning of Gaussian Mixture Models
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
我们提出了一个安德森加速（AA）计划的自适应期望最大化（EM）算法的无监督学习有限混合模型从多变量数据（Figueiredo和Jain 2002）。该算法能够自主地确定混合组分的最佳数量，并且比其非加速版本更快地收敛到最优解。基于AA的算法的成功源于几个发展，而不是一个单一的突破（如果没有这些，我们的测试表明AA失败的灾难性）。首先，我们使用最近提出的单调性控制算法（Henderson和Varahdan 2019）确保似然函数的单调性（标准EM算法的关键特征），并通过一种新的单调性测试进行增强，开销很小。我们提出了灵活的策略AA保持高斯权重和协方差矩阵的正定性严格，并保存到观察数据集的二阶矩准确。最后，我们采用了一个K-均值聚类算法，使用间隙统计，以避免过度高估初始组件的数量，从而最大限度地提高性能。我们证明了该算法的准确性和效率与几个合成数据集，是已知数量的组件的高斯分布的混合物，以及从粒子在细胞模拟生成的数据集。我们的数值计算结果表明，当混合物组分的确切数量是已知的，并且在几个和多个数量级之间具有组分自适应性时，相对于非加速EM的加速可达60 X。
2020-09-26 cs.LG stat.ML
Repulsive normalizing flow mixtures for adaptive importance sampling: reliability analysis of complex systems
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）
提出FAMIS框架，利用归一化流非均匀混合进行自适应重要性采样，无需先验失效数据，通过斥力项增强多样性，实现复杂系统稀有事件概率的稳定高效估计。
2026-09-21 stat.CO stat.ML
PDGMM-VAE: A Variational Autoencoder with Adaptive Per-Dimension Gaussian Mixture Model Priors for Nonlinear ICA
Hong Kong Polytechnic University（香港理工大学）
本文提出PDGMM-VAE，通过为每个潜在维度分配独立的高斯混合模型先验，实现非线性ICA中的源分离。模型通过自适应学习先验参数，提升对非高斯源统计的捕捉能力，实验表明其在非线性和线性混合问题中表现优异。
2026-03-20 cs.LG stat.ML
Adaptive Reconfiguration Moves for Dirichlet Mixtures
贝叶斯混合模型广泛应用于无监督学习和探索性数据分析。基于吉布斯抽样的马尔可夫链蒙特卡罗和分裂-合并移动被广泛用于这些模型中的推理。然而，这两种方法都局限于有限类型的过渡，并遭受迟钝的混合和低接受率，即使是适度的大小的问题。我们提出了一种方法，通过并行利用多个链并自适应地使用过去的状态来通知提案分布，考虑更广泛的接近平衡的转换范围。该方法显着改善吉布斯和分裂合并采样量化使用收敛诊断和接受率。自适应MCMC方法使用过去的状态来通知建议分布，已经为连续问题带来了许多巧妙的抽样方案，目前的工作可以被视为将这些好处带到基于分区的问题的重要的第一步
2014-05-31 stat.ML
Regime-Adaptive Bayesian Optimization via Dirichlet Process Mixtures of Gaussian Processes
Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系）；Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）；College of Nanotechnology, Science, and Engineering, State University of New York at Albany（纽约州立大学阿尔巴尼分校纳米技术、科学与工程学院）
本文提出RAMBO方法，通过狄利克雷过程混合高斯过程实现自适应贝叶斯优化，有效处理多制度问题，提升分子构象优化、药物发现等任务的性能。
2026-07-29 cs.LG stat.ML
Adaptive mixture variational inference for spike-and-slab regression
University of Calgary（卡尔加里大学）
针对相关预测变量下的稀疏回归，提出自适应混合变分推断，直接联合细化包含指标和系数，在模拟中优于平均场，并建立了理论保证。
2026-10-01 stat.ME stat.ML
Uncertainty about Uncertainty: Optimal Adaptive Algorithms for Estimating Mixtures of Unknown Coins
Brown University（布朗大学）；IAS（高等研究院）；Purdue University（普渡大学）
给定两个硬币群体之间的混合物，“正”硬币，每个都有-未知的和潜在的不同-偏置$\geq\frac{1}{2}+Δ$和“负”硬币与偏置$\leq\frac{1}{2}-Δ$，我们考虑的任务，估计分数$ρ$的正硬币内的附加误差$ε$。我们实现了$1-δ$成功概率的$Θ(\fracρ{ε^2Δ^2}\log\frac{1}δ)$样本的上限和下限，其中至关重要的是，我们的下限适用于所有完全自适应算法。因此，我们的样本复杂性界限对每个相关的问题参数都有紧密的依赖性。我们的下界证明的一个关键组成部分是一个分解引理（见引理17和18），展示了如何将部分自适应界组装成完全自适应界，这可能是独立的兴趣：虽然我们在伯努利随机变量（硬币）的特殊情况下调用它，但它适用于一般分布。我们目前的模拟结果，以证明我们的方法的实际效果为现实的问题参数众包应用程序，专注于“罕见事件”的制度，其中$ρ$是小的。我们的算法和下限的细粒度自适应风味与以前的工作在分布式测试和学习。
2021-02-05 cs.DS cs.LG stat.ML
Adaptive sequential Monte Carlo by means of mixture of experts
适当地设计粒子滤波器的建议核是一个非常重要的问题，因为一个坏的选择可能会导致粒子样本的恶化，从而浪费计算能力。在本文中，我们介绍了一种新的算法，自适应近似所谓的最优建议核的混合物的综合曲线指数分布与逻辑权重。这一系列的分布，被称为专家的混合物，是足够广泛的，以使用在存在多模态或强烈偏斜的分布。通过在线EM方法，通过最小化辅助目标和粒子滤波器的仪器分布之间的库尔贝克-莱布勒散度，将混合物拟合到最优内核。在粒子滤波器的每次迭代中，该算法只需要解决整个粒子样本的单个优化问题，从而产生仅具有线性复杂度的算法。此外，我们在仿真研究中说明了该方法可以成功地应用于非线性状态空间模型的最优滤波。
2012-10-11 stat.CO stat.ME stat.ML
An adaptive split-combine Gaussian mixture filter for nonlinear and multimodal state estimation
KAIST（韩国科学技术院）；Seoul National University（首尔大学）；University of Michigan（密歇根大学）
本文针对非线性多模态状态估计问题，提出自适应拆分-合并高斯混合滤波器（AMF），通过拆分合并高斯粒子实现高效准确的PDF估计，在多基准测试中性能优于基线滤波器，还提出了其并行实现方案。
2026-08-11 cs.NA math.NA stat.ML
Improved Regret Analysis for Variance-Adaptive Linear Bandits and Horizon-Free Linear Mixture MDPs
Gachon University（加川大学）；Seoul National University（首尔国立大学）；University of Arizona（亚利桑那大学）
在在线学习问题中，利用低方差在获得严格的性能保证方面发挥着重要作用，但由于方差通常事先未知，因此具有挑战性。最近，Zhang等人（2021）取得了相当大的进展，他们在不知道方差的情况下获得了线性强盗的方差自适应遗憾界，以及线性混合马尔可夫决策过程（MDP）的无水平遗憾界。在本文中，我们提出了新的分析，提高他们的遗憾边界显着。对于线性强盗，我们实现了$\tilde O(\min\{d\sqrt{K}, d^{1.5}\sqrt{\sum_{k=1}^K σ_k^2}\} + d^2)$，其中$d$是特征的维度，$K$是时间范围，$σ_k^2$是时间步长$k$处的噪声方差，并且$\tilde O$忽略了多对数依赖性，这是$d^3$改进的一个因素。对于线性混合MDP，假设在$[0,1]$中的事件中的最大累积奖励，我们实现了$\tilde O(d \sqrt{K} + d^2)$的无水平后悔界，其中$d$是基础模型的数量，$K$是事件的数量。这是前导项中的$d^{3.5}$和低阶项中的$d^7$改善的因素。我们的分析严重依赖于一个新的剥离为基础的遗憾分析，利用椭圆形潜在的“计数”引理。
2023-02-04 cs.LG math.ST stat.ML
Adaptive Mean Estimation in the Hidden Markov sub-Gaussian Mixture Model
针对标签具隐马尔可夫依赖的高维二元次高斯混合模型，本文提出极小极大最优且自适应的中心估计程序，将速率改进至 $\sqrt{δd/n}+d/n$。
2024-06-18 math.ST stat.ML stat.TH
