The Elliptical Processes: a Family of Fat-tailed Stochastic Processes
RISE Research Institutes of Sweden AB（瑞典RISE研究院）；Elekta（医科达）
我们提出了椭圆过程-一个家庭的非参数概率模型，包括高斯过程和学生t过程。这种推广包括一系列新的厚尾行为，但保留了计算的易处理性。我们的椭圆过程的基础上表示的椭圆分布作为一个连续的混合高斯分布，并获得封闭形式的表达的边缘和条件分布。我们使用分段常数混合分布定义的椭圆过程对稳健回归进行了数值实验，并与高斯过程进行了比较。椭圆过程可能在几种情况下取代高斯过程，包括当可能性不是高斯或精确的尾部建模至关重要时。
2020-12-02 cs.LG stat.ME stat.ML
Scalable magnetic resonance fingerprinting: Incremental inference of high dimensional elliptical mixtures from large data volumes
本研究提出一种增量算法，通过概率混合高维椭圆分布，高效处理大规模MRF数据，提升组织表征精度并降低计算成本。
2026-01-06 stat.AP
Population counts along elliptical habitat contours: hierarchical modelling using Poisson-lognormal mixtures with nonstationary spatial structure
生态学家经常解释种群空间分布的变化对环境特征的反应，但如果潜在的影响和空间和时间的相关性没有得到适当的解释，那么很难解开个体变量的影响。在这里，我们使用层次模型的基础上泊松对数正态混合，以了解空间变化的相对丰度（每标准化单位的努力计数）的黄鲈鱼，鲈鱼，最丰富的鱼类物种在圣皮埃尔湖，魁北克省，加拿大。该混合物采用了空间变化的环境协变量，代表当地的栖息地特征，和随机的时间和空间效应，捕捉未观察到的生态过程的影响。采样设计覆盖了湖的边缘，但没有覆盖湖的中心区域。我们适合空间广义线性混合模型的基础上三个不同的先验协方差结构的本地潜在的影响：一个单一的高斯过程（GP）的湖泊，一个GP在一个圆圈，和独立的GP为每个岸边。这些模型允许独立性、各向同性或非平稳空间效应。非平稳性处理使用两种不同的方法，几何各向异性，并列入协变量的潜在空间过程的相关结构。所提出的空间域的规范和选择的高斯过程先验的方法可能会被证明是有用的，在其他应用中，涉及沿不规则轮廓或在不连续的空间域的空间相关性。
2015-05-16 stat.AP
Universal Lower Bounds and Optimal Rates: Achieving Minimax Clustering Error in Sub-Exponential Mixture Models
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Bilkent University（比尔肯特大学）
本文针对次指数混合模型，提出基于Chernoff散度的通用聚类误差下界，证明迭代算法可达最优速率，并验证Bregman硬聚类在指数族混合模型中的速率最优性。
2024-07-17 cs.LG math.ST stat.ML
A mixture of ellipsoidal densities for 3D data modelling
本文提出一种基于椭圆分布族新概率密度函数的椭球混合模型，用于对围绕椭球表面分布的三维数据点进行建模，并通过EM算法估计参数，从理论和实验上验证了其性能。
2023-09-21 math.ST stat.ME stat.TH
Vine copula mixture models and clustering for non-Gaussian data
大多数有限混合模型的缺点是不允许组件内的非对称尾部依赖性，并且在聚类应用中不捕获非椭圆簇。由于藤蔓Copula是非常灵活的，在捕捉这些类型的依赖关系，我们提出了一种新的藤蔓Copula连续数据的混合模型。我们讨论了模型选择和参数估计问题，并进一步制定了一个新的基于模型的聚类算法。在聚类中使用藤连接允许聚类的形状和依赖结构的范围。我们的模拟实验说明了一个显着的增益时，聚类精度显着不对称的尾部依赖或/和非高斯利润的组件内存在。实际数据集的分析伴随着所提出的方法。我们表明，基于模型的聚类算法与藤蔓copula混合模型优于其他基于模型的聚类技术，特别是对非高斯多变量数据。
2021-09-08 stat.ME stat.ML
Quantifying Distances Between Clusters with Elliptical or Non-Elliptical Shapes
有限混合模型，允许范围广泛的潜在非椭圆集群分布是一个新兴的方法领域。这样的方法允许聚类的形状与数据的自然异质性相匹配，而不是强迫一系列椭圆聚类。这些方法与连续非正态数据的聚类高度相关-这是现在在健康研究中常规捕获的客观数据的常见情况。然而，解释和比较这些模型-特别是关于它们是否产生合理分离的有意义的集群-是不平凡的。我们总结了几种措施，可以简洁地量化两个集群之间的多元距离，无论集群分布，并建议实用的计算工具。通过模拟研究，我们评估这些措施在三种情况下，允许集群不同的平均值，规模和旋转。然后，我们展示了我们的方法，使用生理反应的情绪图像捕获的跨诊断焦虑研究的一部分，一个大规模的研究焦虑症患者和对照组的参与者。最后，我们综合研究结果提供指导，如何使用聚类应用程序中的距离措施。
2022-06-23 stat.CO stat.ME
Universality of Bayesian mixture predictors
这是有限值时间序列的序贯概率预测问题。数据由所有单向无穷序列的空间上的未知概率分布生成。已知这个测度属于一个给定的集合C，但后者是完全任意的（不可数无限，没有任何结构）。性能是用渐近平均对数损失来衡量的。在这项工作中，它表明，极小极大渐近性能总是可以达到的，它是通过一个凸组合的可数许多措施，从集合C（贝叶斯混合）。这是以前只知道的情况下，最佳可实现的渐近误差是0。这也对比了以前的结果表明，在不可实现的情况下，所有贝叶斯混合可能是次优的，而有一个预测，达到最佳性能。
2016-11-01 cs.IT cs.LG math.IT
A Relaxed Wasserstein Distance Formulation for Mixtures of Radially Contoured Distributions
针对径向轮廓分布可识别混合，本文提出一种不要求边缘一致性、允许分量来自不同族的松弛 Wasserstein 距离，并在颜色迁移实验中表现出更稳定的误差和更理想的颜色分布。
2025-03-18 math.OC stat.ML
On universal inference in Gaussian mixture models
本文研究高斯混合模型下的通用推断，证明分割似然比检验在原假设下渐近正态，并出人意料地达到与经典似然比检验相同的检测速率，反驳了通用推断功效损失的观点。
2025-03-30 math.ST stat.TH
A Robust and Flexible EM Algorithm for Mixtures of Elliptical Distributions with Missing Data
TerraNIS（TerraNIS公司）；University of Toulouse（图卢兹大学）；Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；CentraleSupélec（巴黎中央理工-高等电力学院）
针对含噪声和非高斯数据的缺失值插补问题，提出一种用于椭圆分布混合模型的新EM算法，通过简化为Angular Gaussian分布估计并利用多元t分布条件，实现了对异常值的鲁棒性和极具竞争力的插补性能。
2023-05-22 cs.LG stat.ML
On Mixtures of Skew Normal and Skew t-Distributions
偏态分布的有限混合已成为一种有效的工具，在建模具有非对称特征的异构数据。近年来，随着各种提案的迅速出现，这些提案相似但不相同，它们之间的联系及其相对绩效变得相当不清楚。本文旨在通过对现有的偏态分布进行系统的分类，将其分为四种类型，从而阐明它们之间的密切关系，从而简要概述这些发展。这也有助于理解的一些建议的期望最大化（EM）为基础的算法的计算模型的参数的最大似然估计之间的联系。本文的最后一部分提出了一个说明，这些混合模型在聚类一个真实的数据集，相对于其他非椭圆轮廓聚类方法和相关的算法，其实施的性能。
2013-05-28 stat.ME
High-dimensional unsupervised classification via parsimonious contaminated mixtures
污染高斯分布代表高斯分布的一个简单的重尾椭圆推广;与经常考虑的t分布不同，它还允许自动检测轻微的离群点或“坏”点，其方式与观察通常分配给有限混合模型上下文中的组相同。从这个分布出发，我们提出了污染因子分析模型作为降维和检测更高维度的坏点的方法。混合污染高斯因子分析器（MCGFA）模型如下，并扩展最近提出的混合污染高斯分布的高维数据。我们介绍了一个家庭的32个简约的模型，通过引入一般MCGFA模型的协方差和污染结构的约束。我们概述了参数估计的期望最大化算法的一个变体。各种实施问题进行了讨论，和新的家庭的模型相比，成熟的方法模拟和真实的数据。
2019-08-28 stat.AP stat.CO stat.ME
An adequacy approach for deciding the number of clusters for OTRIMLE robust Gaussian mixture based clustering
我们介绍了一种新的方法来决定集群的数量。该方法应用于高斯混合模型的最优调谐鲁棒不正确极大似然估计（OTRIMLE; Coretto和Hennig 2016），允许将观测值分类为“噪声”，但它也可以应用于其他聚类方法。聚类的质量由统计量$Q$评估，该统计量测量聚类内分布与在均值中具有唯一模式的椭圆单峰分布的接近程度。这种非参数测量允许非高斯聚类，只要它们根据$Q$具有良好的质量。模型的简单性通过优选较少数目的簇的测量$S$来评估，除非额外的簇可以实质上减少估计的噪声比例。然后选择最简单的模型，该模型对于数据是足够的，因为其观察到的$Q$值不显著大于从拟合模型真实生成的数据的预期值，如可以通过参数自助法评估的。该方法与基于模型的聚类使用贝叶斯信息准则（BIC）和综合完全似然法（ICL）在模拟研究和两个数据集的科学兴趣。关键词：参数自举;噪声分量;单峰性;基于模型的聚类
2020-12-26 stat.ME
Towards a Universal Gating Network for Mixtures of Experts
University of Nottingham Malaysia（诺丁汉大学马来西亚分校）
来自多个神经网络的知识的组合和聚合通常可以以专家混合的形式看到。然而，这种组合通常使用在相同任务上训练的网络来完成，很少提到异构预训练网络的组合，特别是在无数据状态下。本文提出了多种无数据的方法来组合异构神经网络，从利用简单的输出logit统计，训练专门的门控网络。门控网络根据所生成的专家激活的性质来决定特定输入是否属于特定网络。实验表明，门控网络，包括通用门控方法，构成了最准确的方法，因此代表了一个务实的一步，在一个无数据的制度与异质混合的专家的应用程序。这个项目的代码托管在github上https://github.com/cwkang1998/network-merging。
2020-11-03 cs.LG cs.NE
Mixture of Universal Experts: Scaling Virtual Width via Depth-Width Transformation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院）；Baidu Inc（百度公司）
MOUE通过引入虚拟宽度扩展维度，改进了混合专家模型的可扩展性，通过结构化专家共享和负载平衡技术，在不同扩展范围内提升了模型性能。
2026-03-05 cs.AI cs.CL cs.LG
Universal Boosting Variational Inference
University of British Columbia（不列颠哥伦比亚大学）
提升变分推断（BVI）通过迭代地建立简单分量分布的混合来逼近难以处理的概率密度，使用来自稀疏凸优化的技术来提供计算可扩展性和逼近误差保证。但是，保证有很强的条件，并不经常在实践中举行，导致退化组件优化问题，我们表明，用于防止退化的ad-hoc正则化在实践中可能会导致BVI不直观的方式失败。因此，我们开发了通用的提升变分推断（UBVI），BVI计划，利用简单的几何形状的概率密度下的Hellinger度量，以防止退化的其他基于梯度的BVI方法，避免困难的联合优化的组件和重量，并简化完全正确的重量优化。我们表明，对于任何目标密度和任何混合物成分的家庭，UBVI的输出收敛到最好的近似的混合物家庭，即使当混合物家庭是错误的。我们开发了一个可扩展的实现指数族混合成分和标准的随机最优化技术的基础上。最后，我们讨论了统计效益的Hellinger距离作为一个变分的目标，通过界的后验概率，矩，和重要性抽样错误。在多个数据集和模型上的实验表明，UBVI提供了可靠，准确的后验近似。
2019-10-27 cs.LG math.ST stat.CO
Enhanced Universal Dependency Parsing with Second-Order Inference and Mixture of Training Data
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉成像工程研究中心）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）
本文介绍了我们提交给\textit{IWPT 2020 Shared Task}的系统。我们的系统是一个基于图的解析器与二阶推理。对于资源较少的泰米尔语语料，我们特别将泰米尔语的训练数据与其他语言混合，显著提高了泰米尔语的性能。由于我们对提交要求的误解，我们提交了没有连接的图表，这使得我们的系统只能将\textbf{6th}排在10个团队以上。然而，在我们解决了这个问题后，我们的系统比在官方结果中排名\textbf{1st}的团队高出0.6 ELAS。
2021-06-02 cs.CL cs.LG
Efficient Residual Learning with Mixture-of-Experts for Universal Dexterous Grasping
Peking University（北京大学）；Beijing Academy of Artificial Intelligence（北京人工智能研究院）
本文提出 ResDex，通过将残差策略学习与专家混合框架结合，利用几何无关基础策略实现跨物体的通用灵巧抓取，在 DexGraspNet 上以 88.8% 成功率达到最优性能，且单 GPU 训练仅需 12 小时。
2024-10-03 cs.LG cs.RO
Mamba or Transformer for Time Series Forecasting? Mixture of Universals (MoU) Is All You Need
Fudan University（复旦大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
针对时间序列预测中短期与长期依赖难以兼顾的问题，提出多功能模型 MoU，通过混合特征提取器和混合架构分层整合多种技术，在保持低计算成本的同时实现了最先进的预测性能。
2024-08-28 cs.AI cs.LG
MoEUT: Mixture-of-Experts Universal Transformers
Stanford University（斯坦福大学）；Center for Brain Science, Harvard University（哈佛大学脑科学中心）；The Swiss AI Lab IDSIA, USI & SUPSI（瑞士IDSIA人工智能实验室（隶属于瑞士意大利语区大学与瑞士南部应用科学大学））；AI Initiative, KAUST（阿卜杜拉国王科技大学人工智能倡议）
提出基于混合专家的共享层Transformer架构MoEUT，通过结合MoE进展与新型层归一化和分组方案，首次在BLiMP和PIQA等语言建模任务上以更少计算和内存略优于标准Transformers。
2024-10-13 cs.AI cs.LG cs.NE
GMM-COMET: Continual Source-Free Universal Domain Adaptation via a Mean Teacher and Gaussian Mixture Model-Based Pseudo-Labeling
Institute of Signal Processing and System Theory, University of Stuttgart（信号处理与系统理论研究所，斯图加特大学）
GMM-COMET通过均值教师和高斯混合模型伪标签方法，实现连续源无关通用领域适应，提升长序列适应的稳定性与鲁棒性。
2026-01-16 cs.CV cs.LG
Training Federated GANs with Theoretical Guarantees: A Universal Aggregation Approach
Rutgers University（罗格斯大学）；Stony Brook University（石溪大学）
最近，生成对抗网络（GANs）已经证明了它们在联邦学习中的潜力，即，从多个站点私有托管的数据中学习集中式模型。联合GAN联合训练集中式生成器和托管在不同站点的多个私有鉴别器。联邦GAN的一个主要理论挑战是本地数据分布的异质性。传统的方法不能保证学习目标分布，这是一个高度不同的本地分布的混合。本文解决了这一理论挑战，并首次为联邦GAN提供了一个可证明的正确框架。我们提出了一种新的方法，称为通用聚合，它模拟了一个集中式的鉴别器通过仔细聚合的所有私人的混合物。我们证明了用这种模拟的集中式神经网络训练的生成器可以学习所需的目标分布。通过合成和真实数据集，我们表明，我们的方法可以学习现有联邦GAN方法失败的大部分不同分布的混合。
2021-02-09 cs.AI cs.LG
Learning Large-scale Universal User Representation with Sparse Mixture of Experts
Ant Group（蚂蚁集团）
学习用户序列行为嵌入是非常复杂和具有挑战性的，由于复杂的特征交互随着时间的推移和用户特征的高维度。最近出现的基础模型，例如，BERT及其变体，鼓励了大量的研究人员在这一领域进行研究。然而，与自然语言处理（NLP）任务不同的是，用户行为模型的参数主要来自用户嵌入层，这使得现有的大多数工作无法训练出大规模的通用用户嵌入。此外，用户表征是从多个下游任务中学习的，过去的研究工作没有解决跷跷板现象。在本文中，我们提出了SUPERMOE，一个通用的框架，以获得高质量的用户表示，从多个任务。具体来说，用户行为序列由MoE Transformer编码，因此我们可以将模型容量增加到数十亿个参数，甚至数万亿个参数。针对多任务学习过程中的跷跷板现象，设计了一种新的带有任务指标的损失函数。我们在公共数据集上进行了大量的离线实验，并在私人真实世界的业务场景上进行了在线实验。我们的方法在最先进的模型中实现了最佳性能，结果证明了我们框架的有效性。
2022-07-11 cs.CL cs.LG
Universal time-series forecasting with mixture predictors
Antsiranana, 2019（安蒂斯里亚纳，2019）
本书研究序列概率预测中的混合预测器，证明其在一般概率设置下的普适性并指出局限，面向研究生和研究人员，理论性强。
2025-04-19 cs.AI cs.IT cs.LG
Universality of high-dimensional scaling limits of stochastic gradient descent
Department of Mathematics, Northwestern University（西北大学数学系）；Department of Statistics and Actuarial Science, Department of Applied Mathematics, and Cheriton School of Computer Science, University of Waterloo（滑铁卢大学统计与精算科学系、应用数学系和切尔顿计算机科学学院）
该研究探讨了高维情况下随机梯度下降的缩放极限普遍性，证明在特定条件下ODE极限的普遍性，并展示了非普遍性的情形。
2025-12-20 cs.LG math.PR math.ST
MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models
University of Central Florida（中佛罗里达大学）；Meta
针对通用多模态嵌入扩展难的问题，提出MoEMB，通过混合专家沿专家轴扩展编码器容量，以3B激活参数超越4倍参数的TTE方法，并首次系统研究自适应计算以提升效率。
2026-10-09 cs.AI cs.LG
Listen to What You Want: Neural Network-based Universal Sound Selector
NTT Corporation（日本电报电话公司）
能够控制我们想要收听的声学事件（AE）将允许开发更可控的可听设备。本文讨论了AE声音选择（或删除）的问题，我们定义为提取（或抑制）的所有声音属于一个或多个所需的AE类。虽然这个问题可以通过源分离和AE分类的组合来解决，但这是解决这个问题的次优方法。此外，源分离通常需要知道源的最大数量，这在处理不良事件时可能不切实际。在本文中，我们提出了一个通用的声音选择神经网络，使直接选择AE声音从混合给定的用户指定的目标AE类。所提出的框架可以显式优化，同时选择声音从多个所需的AE类，独立的混合物中的源的数量。我们的实验表明，所提出的方法实现了有前途的AE声音选择性能，并可以推广到混合物与一些在训练过程中看不见的来源。
2020-06-10 cs.LG cs.SD eess.AS
DAMEX: Dataset-aware Mixture-of-Experts for visual understanding of mixture-of-datasets
Georgia Institute of Technology（佐治亚理工学院）；Microsoft Research（微软研究院）
针对大规模混合数据集训练通用检测器参数量大的问题，提出数据集感知混合专家模型DAMEX，通过路由数据集令牌到对应专家实现数据集专属知识整合，在通用目标检测基准上显著超越现有最优方法及非MoE基线，且对专家表示崩溃鲁棒。
2023-11-08 cs.AI cs.CV cs.LG
