Learning and Generalization with Mixture Data
Computer Science & Engineering, University of California, San Diego（计算机科学与工程系，加州大学圣地亚哥分校）；Indian Institute of Technology（印度理工学院）；Halıcıoğlu Data Science Institute, University of California, San Diego（Halıcıoğlu数据科学研究所，加州大学圣地亚哥分校）
本文研究了混合分布数据下的泛化性能与统计速率，通过两两总变差距离刻画异质性，利用Rademacher和高斯复杂度界限分析了参数与非参数回归问题，发现函数类越复杂对异质性要求越严，并为混合线性回归提供了紧界。
2025-04-29 cs.LG stat.ML
Unsupervised Learning of Mixture Regression Models for Longitudinal Data
研究了重复测量个体的混合回归模型的学习问题。形容词“无监督”意味着混合成分的数量是未知的，必须由数据驱动工具来确定。为此，提出了一种新的惩罚方法，同时选择混合组分的数量，并估计混合比例和未知参数的模型。所提出的方法是能够处理连续和离散响应，只需要前两个时刻的条件下的模型分布。它被证明是一致的，在选择的组分数量和估计的混合比例和未知的回归参数。此外，一个修改的期望最大化算法开发无缝集成模型选择和估计。仿真研究进行评估所提出的程序的有限样本性能。并通过对原发性胆汁性肝硬化数据集的分析进一步说明。
2018-01-08 stat.ME
On the robust learning mixtures of linear regressions
Jiujiang University（九江学院）
本文研究线性回归混合模型的鲁棒学习问题，通过阈值化将其与高斯混合模型建立联系，在温和分离条件下提出拟多项式时间算法，显著提升了鲁棒性。
2023-05-23 cs.LG stat.ML
Neural Mixture Distributional Regression
LMU Munich（慕尼黑大学）
我们提出了神经混合分布回归（NMDR），一个整体框架来估计由灵活的添加剂预测定义的复杂的有限混合分布回归。我们的框架能够在高维环境中处理大量潜在不同分布的混合物，允许高效和可扩展的优化，并可应用于将结构化回归模型与深度神经网络相结合的最新概念。虽然许多现有的混合模型方法解决了优化这些模型的挑战，并在特定的模型假设下提供了收敛结果，但我们的方法是无约束的，而是利用了深度学习中成熟的优化器。通过大量的数值实验和高维深度学习应用程序，我们提供的证据表明，所提出的方法是有竞争力的现有方法，并在更复杂的情况下工作得很好。
2020-10-14 cs.LG stat.CO stat.ML
Sample Complexity of Learning Mixtures of Sparse Linear Regressions
Microsoft Research（微软研究院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
在学习线性回归混合的问题中，目标是从一系列（可能有噪声）线性测量中学习信号向量的集合，其中每个测量都是在从这个集合中均匀提取的未知信号上进行评估的。这种设置是非常有表现力的，并已在实际应用方面进行了研究，并为建立理论保证。在本文中，我们考虑的情况下，信号向量是稀疏的，这概括了流行的压缩感知范式。我们对最先进的结果进行了如下改进：在有噪声的情况下，我们通过展示如何处理两个以上向量的集合来解决Yin等人（IEEE Transactions on信息论，2019）的一个公开问题，并提出了第一个鲁棒重建算法，即，如果信号不是完全稀疏的，我们仍然学习信号的良好稀疏近似。在无噪声的情况下，以及在嘈杂的情况下，我们展示了如何规避需要在以前的工作中所需的限制性假设。我们的技术是完全不同的，从那些在以前的工作：对于无噪声的情况下，我们依赖于稀疏多项式的属性和嘈杂的情况下，我们提供了新的连接学习高斯混合和使用的思想从理论的纠错码。
2019-10-30 cs.IT cs.LG math.IT
Spectral Experts for Estimating Mixtures of Linear Regressions
Stanford University（斯坦福大学）
判别潜变量模型通常使用EM或基于梯度的优化来学习，这会受到局部最优的影响。在本文中，我们开发了一个新的计算效率和可证明的一致性估计的混合线性回归，一个简单的例子，一个判别潜在变量模型。我们的方法依赖于低秩线性回归来恢复对称张量，可以使用张量幂方法将其分解为参数。我们证明了我们的估计的收敛速度，并提供了一个实证评估，说明其相对于局部优化（EM）的优势。
2013-06-17 cs.LG stat.ML
Transformers can optimally learn regression mixture models
UC Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
本研究证明Transformer能学习回归混合模型的最优预测器，通过构造生成过程并实验验证其低误差、样本高效及鲁棒性，且理论上证明最优过程可由Transformer实现。
2023-11-14 cs.LG stat.ML
Mixtures of Gaussian Processes for regression under multiple prior distributions
Otto-Friedrich-University（奥托-弗里德里希大学）
在构建贝叶斯机器学习模型时，我们可能会面临多个不同的先验分布，因此需要在模型中以合理的方式适当考虑它们。虽然这种情况在经典贝叶斯统计中得到了很好的探索，但对于复杂的机器学习问题，开发相应的方法似乎很有用。考虑到它们的基本贝叶斯框架及其广泛的流行性，高斯过程是解决这一任务的良好候选者。因此，我们扩展了高斯过程回归的混合模型的思想，以便同时处理多个先验信念-分析回归公式和稀疏变分方法都被考虑。此外，我们考虑使用我们的方法，另外占功能回归问题中的先验误指定的问题。
2021-04-19 cs.LG stat.ML
Expectation Maximization (EM) Converges for General Agnostic Mixtures
Department of Computer Science
本文研究了在无偏设置下拟合k个参数函数的问题，提出并分析了梯度EM算法，证明其在适当初始化和分离条件下的指数收敛性。
2026-04-07 cs.IT cs.LG math.IT
Learning with Correntropy-induced Losses for Regression with Mixture of Symmetric Stable Noise
State University of New York at Albany（纽约州立大学奥尔巴尼分校）
近年来，相关熵及其在机器学习中的应用由于其在处理非高斯噪声和离群点方面的优点而受到了广泛的关注。然而，相关熵的理论理解，特别是在统计学习的背景下，仍然是有限的。在这项研究中，在统计学习的框架内，我们研究了基于相关熵的回归存在非高斯噪声或离群值。受非高斯噪声或离群点产生的实际方法的启发，本文引入了对称稳定噪声的混合模型，包括高斯噪声、柯西噪声及其混合作为特例，对非高斯噪声或离群点进行建模。我们证明了在对称稳定噪声的混合假设下，基于相关熵的回归可以很好地学习条件均值函数或条件中值函数，而无需求助于噪声的有限方差甚至有限一阶矩条件。特别地，对于上述两种情况，我们建立了基于相关熵的回归估计量的渐近最优学习率，该估计量渐近为$\mathcal{O}(n^{-1})$型。这些结果证明了基于相关熵的回归估计在处理异常值和非高斯噪声时的有效性。我们相信，本研究完成了我们的理解，从统计学习的角度对基于相关熵的回归，也可能揭示了一些强大的统计学习回归。
2019-09-05 cs.LG stat.ML
Families of Parsimonious Finite Mixtures of Regression Models
回归模型的有限混合为研究具有函数依赖关系的数据的异质性提供了灵活的框架。这些模型可以方便地用于具有明确回归关系的数据的无监督学习。我们通过对多元误差协方差阵进行特征分解来扩展这种模型。通过约束部分分解，我们得到了简约的回归混合和伴随变量的回归混合的家庭。这些模型家族解释了多个响应之间的相关性。提出了一种期望最大化算法用于参数估计，并在模拟和实际数据上说明了该算法的性能。
2013-12-02 stat.CO stat.ME stat.ML
Robust Finite Mixture Regression for Heterogeneous Targets
Tsinghua University（清华大学）；University of Connecticut（康涅狄格大学）；University of Michigan（密歇根大学）；Cornell University（康奈尔大学）
有限混合回归（FMR）是指从训练数据集中学习多个回归模型的混合建模方案。他们每个人都负责一个子集。FMR是处理样本异质性的有效方案，其中单个回归模型不足以捕获给定特征的观测样本的条件分布的复杂性。本文提出了一种FMR模型，该模型能够发现样本聚类，同时对多个不完全混合类型目标进行联合建模;实现任务和聚类组件之间的共享特征选择;检测异常任务或任务间的聚类结构，并容纳离群样本。我们提供了一个高维的学习框架下，我们的模型的非渐近预言机的性能界限。所提出的模型进行评估的合成和现实世界的数据集。结果表明，我们的模型可以达到最先进的性能。
2020-10-12 cs.LG stat.ML
EM Converges for a Mixture of Many Linear Regressions
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
研究了具有任意个数$k$的混合线性回归的期望最大化算法的收敛性。我们表明，只要信号噪声比（SNR）是$\tildeΩ(k)$，良好的初始化EM收敛到真正的回归参数。$k \geq 3$的先前结果仅建立了无噪声设置的局部收敛，即，其中SNR无限大。我们的结果扩大了范围的环境噪声，值得注意的是，我们建立了一个统计出错率，是独立的范数（或成对距离）的回归参数。特别是，我们的研究结果意味着确切的恢复$σ\rightarrow 0$，与大多数以前的局部收敛结果EM，其中的统计误差缩放与规范的参数。标准的矩量法方法可以用来保证我们在局部收敛保证适用的区域。
2019-11-26 cs.LG stat.ML
Functional Mixture Discriminant Analysis with hidden process regression for curve classification
Institut Universitaire de France（法兰西大学研究院）
我们提出了一种新的基于混合模型的判别分析方法的功能数据使用一个特定的隐藏过程回归模型。该方法允许拟合灵活的曲线模型，以每一类复杂形状的曲线呈现政权的变化。通过使用专用的期望最大化（EM）算法，最大化每个类的数据对数似然来学习模型参数。仿真数据与其他方法的比较表明，所提出的方法提供了更好的结果。
2013-12-25 cs.LG stat.ME stat.ML
Modelling and computation using NCoRM mixtures for density regression
归一化复合随机测度是相关分布的灵活非参数先验。本文考虑利用归一化复合随机测度混合模型建立一般的非参数回归模型。后验推断是使用一种新的伪边缘Metropolis-Hastings采样归一化复合随机测度混合模型。该算法利用一种新的一般方法来无偏估计拉普拉斯泛函的复合随机措施（其中包括完全随机措施作为一种特殊情况）。密度回归问题的方法进行了说明。
2017-08-31 stat.AP stat.CO stat.ME
Deep Cox Mixtures for Survival Regression
Google Research（谷歌研究院）；Carnegie Mellon University（卡内基梅隆大学）
生存分析是回归建模的一个具有挑战性的变化，因为存在删失，其中结局测量仅部分已知，例如，由于失访。这些问题在医疗应用中经常出现，使得生存分析成为生物统计学和医疗保健机器学习的关键工作，Cox回归模型是最常用的模型之一。我们描述了一种新的生存分析回归模型的方法，基于学习混合Cox回归模型的个人生存分布。我们提出了一个近似的期望最大化算法，这个模型做硬分配的混合组，使优化效率。在每组分配中，我们使用深度神经网络拟合每组内的风险比，并以非参数方式拟合每个混合组分的基线风险。我们在多个真实世界的数据集上进行实验，并查看不同种族和性别的患者死亡率。我们强调了校准在医疗保健环境中的重要性，并证明了我们的方法在区分性能和校准方面优于经典和现代生存分析基线，在少数群体人口统计学方面的性能有很大提高。
2022-06-27 cs.LG stat.ME stat.ML
When do data mixtures improve scaling laws? Insights from high-dimensional regression
Institute of Science and Technology Austria (ISTA)（奥地利科学技术研究所）；Yale University（耶鲁大学）
本研究通过高维回归理论分析，揭示了数据混合改进缩放律的条件：需谱与相对样本量特定匹配，并在语言模型实验中验证了该现象。
2026-09-30 cs.LG stat.ML
Hierarchical Mixture-of-Experts Model for Large-Scale Gaussian Process Regression
Imperial College London（帝国理工学院）
提出了一种实用的、可扩展的大规模非线性概率回归高斯过程模型。我们的混合专家模型在概念上是简单的，分层重组计算的一个完整的高斯过程的整体近似。封闭形式和分布式计算允许高效和大规模的并行化，同时保持内存消耗小。如果有足够的计算资源，我们的模型可以处理任意大的数据集，没有显式稀疏近似。我们提供了强有力的实验证据表明，我们的模型可以应用于规模远远超过数百万的大型数据集。因此，我们的模型有可能为一般大规模高斯过程的研究奠定基础。
2014-12-09 cs.AI cs.LG stat.CO
High-Dimensional Regression with Gaussian Mixtures and Partially-Latent Response Variables
INRIA Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分所）
在这项工作中，我们解决的问题，近似高维数据的低维表示。我们做出以下贡献。我们提出了一种逆回归方法，它交换了输入和响应的角色，使得低维变量成为回归变量，并且易于处理。我们引入了一种混合的局部线性概率映射模型，该模型从估计逆回归的参数开始，然后推断感兴趣的高维回归问题的正向参数的封闭形式的解决方案。此外，我们引入了一个部分潜在的范例，使向量值的响应变量是由观察到的和潜在的条目，从而能够处理数据污染的实验文物，不能解释与噪声模型。所提出的概率公式可以被看作是一个潜在的变量回归增强。我们设计的期望最大化（EM）程序的基础上的数据增强战略，有利于最大似然搜索的模型参数。我们提出了两个增强方案，我们详细描述了相关的EM推理程序，可以被看作是一些EM回归，降维，因子分析算法的概括。所提出的框架与合成和真实数据进行了验证。我们提供的实验证据表明，我们的方法优于几个现有的回归技术。
2013-12-20 cs.LG stat.ML
Global Convergence of EM Algorithm for Mixtures of Two Component Linear Regression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）
期望最大化算法可能是最广泛使用的隐变量问题的推理算法。然而，对其性能的理论理解在很大程度上仍然缺乏。最近的结果表明，EM具有全局收敛性的高斯混合模型。然而，对于混合线性回归，仅建立了局部收敛结果，并且仅针对高SNR区域。在这里，我们表明，EM收敛混合线性回归与两个组件（它是已知的，它可能无法收敛三个或更多），而且，这种收敛举行随机初始化。我们的分析表明，EM表现出非常不同的行为在混合线性回归从高斯混合模型的行为，因此我们的证明需要几个新的想法的发展。
2019-05-28 cs.LG math.ST stat.ML
Uniform Consistency in Nonparametric Mixture Models
本文研究了非参数混合模型以及密切相关的混合回归（也称为混合回归）模型的一致相合性，其中允许回归函数是非参数的，并且假设误差分布是高斯密度的卷积。我们在一般条件下构造一致一致性估计，同时突出了几个痛点，在扩展现有的逐点一致性结果，以统一的结果。由此产生的分析结果是不平凡的，并在此过程中开发了一些新的技术工具。在混合回归的情况下，我们证明了$L^1$收敛的回归函数，同时允许组件回归函数相交任意经常，这提出了额外的技术挑战。我们还考虑一般（即非卷积）非参数混合的推广。
2022-12-28 math.ST stat.ML stat.TH
Bayesian mixtures of spatial spline regressions
Aix Marseille Université（艾克斯-马赛大学）；Université de Toulon（土伦大学）
这项工作涉及的框架，基于模型的空间功能数据的数据是表面的聚类。本文首先介绍了一种用于空间函数数据建模的混合效应贝叶斯空间样条回归模型（BSSR）。BSSR模型基于空间回归的Nodal基函数，通过固定效应部分适应数据的常见平均行为，并通过随机效应部分适应个体间的变异性。然后，为了对来自异质群体的空间功能数据群体进行建模，我们将BSSR模型集成到一个混合框架中。由此产生的模型是一个贝叶斯混合空间样条回归与混合效应（BMSSR）用于密度估计和基于模型的表面聚类。该模型，通过其贝叶斯公式，允许整合可能的先验知识的数据结构，并构成一个很好的替代最近的混合空间样条回归模型估计在极大似然框架通过期望最大化（EM）算法。贝叶斯模型的推断是通过马尔可夫链蒙特卡罗（MCMC）抽样进行的。我们推导出两个Gibbs采样器来推断BSSR和BMSSR模型，并将其应用于模拟表面和一个实际的问题，手写数字识别使用MNIST数据集。所获得的结果突出了潜在的好处，提出的贝叶斯方法建模表面可能分散在特别是在集群。
2015-08-04 cs.LG stat.CO stat.ME
Model-based functional mixture discriminant analysis with hidden process regression for curve classification
Université de Toulon（土伦大学）；Aix Marseille Université（艾克斯-马赛大学）；ENSAM（国立高等工程技术学院）；Institut Universitaire de France（法国大学研究院）；IFSTTAR（法国交通与安全科学技术研究所）
在本文中，我们研究的建模和分类的功能数据呈现政权随时间的变化。我们提出了一种新的基于模型的功能混合判别分析方法的基础上，一个特定的隐藏过程回归模型，管理政权随时间的变化。我们的方法是特别适合于处理复杂形状的曲线类的问题，其中每个类是潜在的几个子类组成，并处理每个同质子类内的政权变化。该模型通过混合模型公式明确地集成了每类曲线的异质性，并且通过隐藏的逻辑过程在每个子类内改变政权。每一类复杂形状的曲线是由有限数量的同质集群，他们中的每一个被分解成几个政权。通过使用专用的期望最大化（EM）算法最大化数据对数似然来学习每个类的模型参数。比较与替代曲线分类方法，包括功能线性判别分析和功能混合判别分析与多项式回归混合物和样条回归混合物。模拟数据和实际数据的实验结果表明，该方法在判别力方面优于其他方法，并显着提高了曲线的逼近。
2013-12-25 cs.LG math.ST stat.ME
Piecewise regression mixture for simultaneous functional data clustering and optimal segmentation
Aix Marseille Université（艾克斯-马赛大学）；Université de Toulon（土伦大学）
本文介绍了一种新的混合模型为基础的方法，同时聚类和最佳分割的功能数据，这是曲线政权的变化。所提出的模型包括在一个有限的混合分段多项式回归模型。每个分段多项式回归模型与聚类相关联，并且在每个聚类内，每个分段多项式分量与状态（即，段）。我们推导出两种方法来学习模型参数。前者是一种估计方法，包括通过一个专用的期望最大化（EM）算法最大限度地提高数据的似然性。然后通过最大化后验聚类概率，在收敛时得到K个聚类中曲线的模糊划分。然而，后者是一种分类方法，并通过专用的分类期望最大化（CEM）算法优化特定的分类可能性标准。采用动态规划法进行最优曲线分割。在分类方法中，曲线聚类和最优分割都是在CEM学习过程中同时进行的。我们证明了分类方法是概率版本，它推广了Hébrail等人（2010）提出的确定性K-means算法。所提出的方法进行评估，使用模拟曲线和现实世界的曲线。与包括回归混合模型和分段回归的K-means算法在内的替代方案的比较表明了该方法的有效性。
2014-04-30 cs.LG math.ST stat.ME
Dirichlet Process Mixtures of Generalized Linear Models
我们提出了狄利克雷过程混合广义线性模型（DP-GLM），一种新的非参数回归方法，可容纳连续和分类的输入，和响应，可以模拟的广义线性模型。我们证明了DP-GLM回归均值函数估计的渐近无偏性的条件。我们还给出了当这些条件成立时的例子，包括紧支持的连续分布模型和具有连续协变量和分类响应的模型。我们实证分析的DP-GLM的属性，为什么它提供了更好的结果比现有的Dirichlet过程混合物回归模型。我们评估DP-GLM的几个数据集，比较它的现代非参数回归方法，如CART，贝叶斯树和高斯过程。与现有技术相比，DP-GLM提供了一个单一的模型（和相应的推理算法），在许多回归设置中表现良好。
2010-07-15 stat.ML
Liu-type Shrinkage Estimators for Mixture of Poisson Regressions with Experts: A Heart Disease Study
针对带有专家的泊松回归混合模型在多重共线性下设计矩阵病态的问题，提出Ridge和Liu型收缩方法，在保持分类性能的同时提供更可靠的系数估计，并应用于心脏病研究。
2023-09-11 stat.CO stat.ME stat.ML
Model-based clustering with Hidden Markov Model regression for time series with regime changes
Paris Nord University（巴黎第十三大学）；IFSTTAR（法国交通与安全科学技术研究所）；Heudiasyc Lab（Heudiasyc实验室）
本文介绍了一种新的基于模型的聚类方法聚类时间序列，目前的政权变化。它由隐藏的马尔可夫链控制的多项式回归的混合物组成。每个簇的潜在隐藏过程在时间上连续激活几个多项式机制。参数估计通过专用期望最大化（EM）算法采用极大似然法进行。所提出的方法进行评估，使用模拟时间序列和现实世界的时间序列从铁路诊断应用程序发出。与现有的时间序列聚类方法，包括高斯混合的标准EM，$K$均值聚类，标准混合回归模型和混合隐马尔可夫模型的比较，证明了该方法的有效性。
2013-12-25 cs.LG stat.ME stat.ML
On the Functional Equivalence of TSK Fuzzy Systems to Neural Networks, Mixture of Experts, CART, and Stacking Ensemble Regression
Huazhong University of Science and Technology（华中科技大学）；University of Technology, Sydney（悉尼科技大学）
模糊系统在许多应用中取得了巨大的成功。然而，在设计最优模糊系统方面仍然存在许多挑战，例如，如何有效地优化其参数，如何平衡规则之间的合作与竞争之间的权衡，如何克服维数灾难，如何提高其泛化能力，等等。文献表明，通过在模糊系统和其他机器学习方法之间建立适当的联系，可以使用其他领域的良好实践来改进模糊系统，反之亦然。本文概述了Takagi-Sugeno-Kang模糊系统与四种经典机器学习方法--神经网络、混合专家模型、分类和回归树以及堆叠集成回归--在回归问题上的功能等价性。我们还指出了一些有前途的新的研究方向，灵感来自功能等效，这可能会导致解决上述问题。据我们所知，这是迄今为止关于模糊系统和其他流行的机器学习方法之间联系的最全面的概述，并希望能激发不同机器学习算法之间的更多杂交。
2019-07-13 cs.AI cs.LG stat.ML
EM Approaches to Nonparametric Estimation for Mixture of Linear Regressions
针对线性回归混合模型，提出两种EM算法估计回归系数的先验分布，分别处理连续和离散情形，并验证了收敛性与有效性。
2025-10-16 stat.ME stat.ML
Hierarchical Mixtures-of-Experts for Exponential Family Regression Models with Generalized Linear Mean Functions: A Survey of Approximation and Consistency Results
Northwestern University（西北大学）
研究了一类分层混合专家模型，其中指数族回归模型的广义线性均值函数为psi（ga+fx^Tfgb）.这里psi（.）是反向链接函数。假设真实响应y遵循指数族回归模型，其均值函数属于一类形式为psi（h（fx））的光滑函数，其中h（.）在W_2^infty（[0，1]^{s}上的Sobolev类）中。结果表明，HME概率密度函数在Lp范数下以O（m^{-2/s}）的速度逼近真密度，在Kullback-Leibler散度下以O（m^{-4/s}）的速度逼近真密度.这些速率可以在具有不超过s层的HME结构族内实现，其中s是预测因子fx的维度。它还表明，基于HME的似然推理是一致的恢复真相，在这个意义上，作为样本大小n和专家的数量m都增加，预测的平均响应的均方误差为零。这样的结果举行的条件进行了说明和讨论。
2013-01-30 cs.LG stat.ML
Learning Mixtures of Linear Classifiers
Stanford University（斯坦福大学）；Technicolor（特艺集团）
我们考虑一个判别学习（回归）问题，其中回归函数是k个线性分类器的凸组合。现有的方法是基于EM算法，或类似的技术，没有可证明的保证。我们开发了一个简单的方法，基于频谱技术和“镜像”技巧，发现子空间跨越的分类器的参数向量。在特征向量分布的概率假设下，我们证明了这种方法具有接近最优的统计效率。
2014-07-30 cs.LG stat.ML
Estimating the Coefficients of a Mixture of Two Linear Regressions by Expectation Maximization
本文给出了两个对称混合线性回归的期望最大化（EM）估计系数的收敛保证。特别是，我们表明，经验EM迭代收敛到目标参数向量的参数率，算法初始化在一个无界锥。特别地，如果初始猜测与目标参数向量具有足够大的余弦角，则期望最大化算法的样本分割版本以高概率收敛到真实系数向量。有趣的是，我们的分析借用的工具中使用的问题，估计中心的对称混合的两个高斯EM。我们还表明，人口EM算子的两个回归的混合物是反收缩的目标参数向量，如果输入向量和目标参数向量之间的余弦角太小，从而建立我们的圆锥条件的必要性。最后，我们给出了支持这一理论观察的经验证据，这表明基于样本的期望最大化算法在相应地绘制初始猜测时表现不佳。我们的模拟研究还表明，期望最大化算法即使在模型错误指定（即，当协变量和误差分布违反模型假设时）。
2018-10-16 stat.ML
Learning Mixtures of Linear Regressions in Subexponential Time via Fourier Moments
MIT（麻省理工学院）；Microsoft Research AI（微软人工智能研究院）；Princeton（普林斯顿大学）；IAS（高等研究院）
我们考虑学习混合线性回归（MLR）的问题。MLR由$k$非负混合权重$p_1, \ldots, p_k$和$1$以及$k$未知回归量$w_1,...,w_k\in\mathbb{R}^d$指定。通过以概率$p_i$对$i$进行采样，然后输出$(x, y)$，其中$y = \langle x, w_i \rangle + η$，其中$η\sim\mathcal{N}(0,ς^2)$用于噪声率$ς$，来从MLR中抽取样本。混合线性回归是一种流行的生成模型，在机器学习和理论计算机科学中得到了广泛的研究。然而，所有以前的算法学习的参数MLR需要运行时间和样本复杂度缩放指数与$k$。在本文中，我们给出了第一个算法学习的MLR运行的时间是次指数在$k$。具体来说，我们给出了一个算法，它运行在时间$\widetilde{O}(d)\cdot\exp(\widetilde{O}(\sqrt{k}))$和输出的参数的MLR的高精度，即使在存在非平凡的回归噪声。我们证明了一种新的方法，我们称之为“傅立叶矩下降”，它使用单变量密度估计和低度矩的傅立叶变换的适当的单变量投影的MLR迭代完善我们的参数估计。据我们所知，这些技术从未在高维分布学习的背景下使用过，并且可能是独立的兴趣。我们还表明，我们的技术可以用来给一个亚指数时间算法学习混合物的超平面，自然的子空间聚类问题的硬实例。
2019-12-16 cs.DS cs.LG stat.ML
Hierarchical Routing Mixture of Experts
Carnegie Mellon University（卡内基梅隆大学）
在回归任务中，数据的分布往往过于复杂，无法用单一模型拟合。相比之下，开发基于分区的模型，其中数据被划分并由局部模型拟合。这些模型划分了输入空间，并且没有利用多模分布式数据的输入-输出依赖性，并且需要强大的本地模型来进行良好的预测。针对这些问题，我们提出了一个二叉树结构的分层路由混合专家模型（HRME）模型，分类器作为非叶节点专家和简单的回归模型作为叶节点专家。分类器节点基于多模态数据的自然分离性对输入输出空间进行联合软划分。这使得简单的叶专家能够有效地进行预测。此外，我们开发了一个概率框架的HRME模型，并提出了一个递归的期望最大化（EM）为基础的算法来学习的树结构和专家模型。一组回归任务的实验验证了我们的方法的有效性相比，各种其他回归模型。
2019-03-18 cs.LG stat.ML
The noise level in linear regression with dependent data
University of Pennsylvania（宾夕法尼亚大学）；Google Research（谷歌研究院）
本文在无可实现性假设下，为β-混合相依数据的随机设计线性回归推导了上界，恢复了中心极限定理预测的噪声水平，并在中等偏差区域实现尖锐结果且不受混合时间因子影响。
2023-10-27 cs.LG math.ST stat.ML
Variable subset selection via GA and information complexity in mixtures of Poisson and negative binomial regression models
计数数据，例如一个城市中观察到的疾病病例数，通常出现在医疗分析和流行病学领域。在本文中，我们考虑对多变量数据进行回归，其中我们的结果是计数。具体来说，我们推导出对数似然函数的有限混合回归模型，涉及计数来自泊松分布，以及负二项分布时，计数显着过度分散。在我们提出的建模框架内，我们使用信息标准得分AIC，BIC，CAIC和ICOMP进行最优组件选择。我们展示了我们的方法在模拟数据上的应用，以及从2010年开始在田纳西州各县的艾滋病毒病例的真实数据集。最后，在我们的框架内使用遗传算法，我们进行变量子集选择，以确定最负责分类田纳西州县的协变量。这导致了一些有趣的见解的特点，县有高艾滋病毒计数。
2015-05-20 stat.ME stat.ML
ReLU Regression with Massart Noise
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
我们研究了ReLU回归的基本问题，其目标是将校正线性单元（ReLU）拟合到数据中。这种监督学习任务在可实现的环境中是可以有效解决的，但众所周知，在对抗性标签噪音的情况下，计算难度很大。在这项工作中，我们专注于Massart噪声模型中的ReLU回归，Massart噪声模型是一种自然且经过充分研究的半随机噪声模型。在该模型中，每个点的标签是根据类中的函数生成的，但允许攻击者以一定的概率任意改变该值，该概率最多为{ \em} $η< 1/2$。我们开发了一个有效的算法，实现精确的参数恢复在这个模型下温和的反浓度假设的基础分布。这种假设是必要的准确恢复信息理论上是可能的。我们证明，我们的算法显着优于天真的应用程序的$\ell_1$和$\ell_2$回归合成和真实的数据。
2022-01-26 cs.DS cs.LG stat.ML
A Characterization of List Regression
Stanford University（斯坦福大学）
本文提出 $k$-OIG 维度和 $k$-fat-shattering 维度，分别刻画了可实现和不可知 $k$-列表回归的 PAC 样本复杂度，将列表学习从分类扩展至回归。
2025-03-04 cs.DS cs.LG stat.ML
Maximum likelihood estimation of a finite mixture of logistic regression models in a continuous data stream
在市场营销中，我们经常会遇到对营销信息的持续不断的回应。这种流数据提供了有关消息有效性和分段的宝贵信息。然而，流数据很难使用传统方法进行分析：它们的高容量以及它们不断增加的事实意味着分析它们需要相当长的时间。我们提出了一种方法来估计一个有限的混合逻辑回归模型，可用于集群客户的基础上的连续流的响应。这种方法，我们硬币oFMLR，允许段被确定在数据流或非常大的静态数据集。与黑盒算法相反，oFMLR提供了可直接解释的模型估计。我们首先介绍oFMLR，解释通过一般的主题，如在线估计和EM算法，使本文的高层次的概述可能的方法处理大数据流在营销实践中。接下来，我们将讨论模型的收敛性，可识别性，以及与替代方法，贝叶斯方法的关系;我们还确定了处理不断增强的数据集所产生的更一般的问题。最后，我们介绍了oFMLR [R]包，并通过数值模拟和分析一个大型客户点击流数据集来评估该方法。
2018-02-28 cs.LG stat.CO stat.ML
Adaptive mixture variational inference for spike-and-slab regression
University of Calgary（卡尔加里大学）
针对相关预测变量下的稀疏回归，提出自适应混合变分推断，直接联合细化包含指标和系数，在模拟中优于平均场，并建立了理论保证。
2026-10-01 stat.ME stat.ML
ADHAM: Additive Deep Hazard Analysis Mixtures for Interpretable Survival Regression
Columbia University（哥伦比亚大学）
提出ADHAM可解释加性生存模型，通过条件潜在结构定义子组并合并相似组，在保持预测性能的同时提供人群、子组和个体层面的可解释性见解。
2025-09-08 cs.LG stat.ML
Mixture of Regression Experts in fMRI Encoding
IIIT Hyderabad（海得拉巴国际信息技术学院）；University of Hyderabad（海得拉巴大学）
使用语言编码模型的fMRI语义类别理解试图学习将刺激与相应的大脑激活相关联的前向映射。经典的编码模型使用线性多变量方法来预测给定刺激的大脑激活（所有体素）。然而，这些方法基本上假设多个区域为一个大的均匀区域或几个独立的区域，忽略了它们之间的连接。在本文中，我们提出了一个基于混合专家模型的模型，其中一组专家捕获与特定感兴趣区域（ROI）相关的大脑活动模式，并显示不同专家之间的歧视。该模型以编码为25维特征向量的单词刺激作为输入，以相应的大脑反应作为输出。给定一个新词（25维特征向量），它预测整个大脑激活作为多个专家大脑激活的线性组合。我们认为，每个专家都学习了与其词汇类别相对应的大脑激活的某个区域，这解决了用简单的编码模型识别区域的问题。我们展示了所提出的基于混合专家模型的模型确实学习了基于区域的专家，以高空间精度预测大脑激活。
2018-12-01 cs.HC cs.LG stat.ML
Permuted and Unlinked Monotone Regression in $\mathbb{R}^d$: an approach based on mixture modeling and optimal transport
George Mason University（乔治梅森大学）；Columbia University（哥伦比亚大学）
假设我们有一个回归问题，响应变量Y在$\mathbb{R}^d$中，预测变量X在$\mathbb{R}^d$中，对于$d \geq 1$。在置换或非链接回归中，我们可以访问X和Y上的单独无序数据，而不是通常回归中的（X，Y）对数据。到目前为止，在文献中，$d=1$病例已经受到关注，参见例如，Rigollet和Weed [Information & Inference，8，619- 717]和Balabdaoui等人[J. Mach.学习.结果：22（172），1- 60]。在本文中，我们考虑一般的多元设置与$d \geq 1$。我们证明了回归函数的循环单调性的概念是足够的识别和估计的置换/非链接回归模型。我们研究了置换回归设置中的置换恢复，并基于Kiefer-Wolfowitz [Ann. Math. Statist.，27，887- 906]来自最优输运理论的非参数最大似然估计和技术。我们提供了明确的上界相关的均方去噪误差高斯噪声。在以前的工作中的情况下$d = 1$，置换/未链接的设置涉及缓慢（对数）的收敛率生根在底层的反卷积问题。数值研究证实了我们的理论分析，并表明，所提出的方法执行至少与上述先前的工作中的方法在$d = 1$的情况下，同时实现大幅减少计算复杂性。
2022-01-10 cs.LG math.ST stat.ML
Imbalanced Mixed Linear Regression
Weizmann Institute of Science（魏茨曼科学研究所）
考虑混合线性回归（MLR）问题，其中每个观测样本都属于$K$未知线性模型中的一个.在实际应用中，$K$组分的比例往往不平衡。不幸的是，大多数MLR方法在这样的设置中不能很好地执行。出于这种实际的挑战，在这项工作中，我们提出了混合IRLS，一种新的，简单，快速的算法MLR具有良好的性能，平衡和不平衡的混合物。与同时恢复$K$模型的流行方法相反，Mix-IRLS使用鲁棒回归工具顺序地进行恢复。从经验上讲，Mix-IRLS在其他方法失败的广泛环境中取得了成功。这些包括不平衡的混合物，小样本量，离群值的存在，以及未知数量的模型$K$。此外，Mix-IRLS在几个真实世界的数据集上优于竞争方法，在某些情况下，表现更好。我们补充我们的经验结果得出的恢复保证混合IRLS，这突出了它的优势不平衡的混合物。
2023-01-29 cs.LG math.OC stat.ME
A Wasserstein Minimax Framework for Mixed Linear Regression
MIT（麻省理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）
多模态分布通常用于在统计学习任务中对聚类数据建模。本文研究混合线性回归（MLR）问题。我们提出了一个最佳的基于运输的框架MLR问题，Wasserstein混合线性回归（WMLR），它最小化学习和目标混合回归模型之间的瓦瑟斯坦距离。通过基于模型的对偶分析，WMLR将底层的MLR任务减少为非凸-凹极大极小优化问题，该问题可以通过梯度下降上升（GDA）算法证明求解以找到极大极小平稳点。在混合两个线性回归模型的特殊情况下，我们证明了WMLR具有全局收敛性和推广保证。我们证明了WMLR的样本复杂度与数据的维数成线性增长。最后，我们讨论了WMLR在联邦学习任务中的应用，其中训练样本由网络中的多个代理收集。与期望最大化算法不同，WMLR直接扩展到分布式、联邦学习设置。我们通过几个数值实验来支持我们的理论结果，这些实验突出了我们的框架处理混合模型联邦学习设置的能力。
2021-06-16 cs.LG math.OC stat.ML
Expert2Coder: Capturing Divergent Brain Regions Using Mixture of Regression Experts
International Institute of Information Technology（国际信息技术研究所）
使用语言编码模型的fMRI语义类别理解试图学习将刺激与相应的大脑激活相关联的前向映射。最先进的编码模型使用单个全局模型（线性或非线性）来预测给定刺激的大脑激活。然而，在这些方法中的关键假设是，先验不同的大脑区域以相同的方式对所有刺激作出反应，也就是说，没有模块化或专业化假设的任何区域。这违背了模块化理论，许多认知神经科学研究表明，大脑中存在功能专门化的区域。在本文中，我们通过将相似的区域聚类在一起来实现这一点，对于每个聚类，我们使用线性专家模型的混合来学习不同的线性回归模型。这里的关键思想是，每个线性专家都捕捉到了相似大脑区域的行为。给定一个新的刺激，所提出的模型的效用是双重的（i）预测大脑激活作为多个线性专家的激活的加权线性组合和（ii）学习对应于不同的大脑区域的多个专家。我们认为，每个专家捕捉活动模式相关的一个特定区域的利益（ROI）在人类大脑。这项研究有助于理解大脑区域在不同刺激下被激活。重要的是，我们认为回归专家混合（MoRE）框架成功地结合了大脑功能组织的两个原则，即专业化和整合。实验的fMRI数据从范例1 [1]，其中参与者查看语言刺激表明，所提出的MoRE模型具有更好的预测精度相比，传统的模型。
2020-05-29 cs.CL cs.LG q-bio.NC
Mixture model for designs in high dimensional regression and the LASSO
针对实际中设计矩阵常不满足低相干性导致LASSO估计进入慢速率区域的问题，提出列向量服从高斯混合模型的设计矩阵模型，仅要求混合中心矩阵低相干，即可实现与不相关设计精度相近的Xβ估计。
2023-12-19 math.ST stat.ML stat.TH
Robust EM algorithm for model-based curve clustering
Information Sciences and Systems Laboratory (LSIS), UMR CNRS 7296（信息科学与系统实验室（LSIS），法国国家科学研究中心 UMR 7296）；University of the South Toulon-Var (USTV)（南土伦瓦尔大学（USTV））
基于模型的聚类方法关注依赖于有限混合模型的探索性数据分析的范例，以自动地找到支配观察到的数据的潜在结构。它们是聚类分析中最流行和最成功的方法之一。混合物密度估计通常通过使用期望最大化（EM）算法来最大化所收集的数据的对数似然来执行。然而，众所周知，期望最大化算法初始化是至关重要的。此外，标准的期望最大化算法要求聚类的数量是先验已知的。在[31，12]中已经提供了一些解决方案，用于使用多变量数据的高斯混合模型进行基于模型的聚类。在本文中，我们专注于基于模型的曲线聚类方法，当数据是曲线，而不是向量数据，基于回归混合。我们提出了一种新的鲁棒的期望最大化算法的聚类曲线。我们将[31]中针对高斯混合模型提出的基于模型的聚类方法扩展到回归混合的曲线聚类的情况，包括多项式回归混合以及样条或B-样条回归混合。我们的方法既处理了初始化的问题，也处理了EM学习过程中选择最佳集群数量的问题，而不是采用双重方案。这是通过优化惩罚对数似然准则来实现的。仿真研究证实了所提出的算法的鲁棒性方面的潜在好处的初始化和资金的实际数量的集群。
2013-12-25 cs.LG stat.ME stat.ML
Regularized Maximum Likelihood Estimation and Feature Selection in Mixtures-of-Experts Models
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；UMR CNRS LMNO（法国国家科学研究中心LMNO联合研究单位）
混合专家模型（Mixture of Experts，MoE）是在回归、聚类和分类等统计学习问题中为异构数据建模的成功模型。通常通过期望最大化算法用极大似然估计拟合，因此它们在高维问题中的应用仍然具有挑战性。我们考虑在MoE模型的拟合和特征选择的问题，并提出了一个正则化的极大似然估计的方法，鼓励稀疏解决方案的异质回归数据模型与潜在的高维预测。与最先进的正则化MLE MoE，所提出的建模不需要近似的惩罚函数。本文提出了两种混合期望最大化算法：期望-优化-最大化（EM/MM）算法和带有坐标上升算法的期望最大化算法。所提出的算法允许自动获得稀疏的解决方案，而无需阈值，并避免矩阵求逆，允许单变量参数更新。实验研究表明，该算法在恢复实际稀疏解、参数估计和异质回归数据聚类等方面具有良好的性能。
2018-10-29 cs.LG stat.CO stat.ME
Modeling Cell Populations Measured By Flow Cytometry With Covariates Using Sparse Mixture of Regressions
海洋中充满了被称为浮游植物的微小藻类，它们共同负责的光合作用相当于陆地上所有植物的总和。我们预测它们对海洋变暖的反应的能力依赖于了解浮游植物种群的动态如何受到环境条件变化的影响。研究浮游植物动态的一种强大技术是流式细胞术，它每秒测量数千个细胞的光学特性。今天，海洋学家能够在移动的船上实时收集流式细胞术数据，为他们提供数千公里范围内浮游植物分布的精细分辨率。目前的挑战之一是了解这些小规模和大规模的变化与环境条件的关系，如营养物质的可用性，温度，光照和洋流。在本文中，我们提出了一种新的稀疏混合多元回归模型来估计随时间变化的浮游植物亚群，同时确定特定的环境协变量，预测观察到的变化，这些亚群。我们使用2017年春季在东北太平洋进行的海洋学巡航中收集的合成数据和真实观测结果来证明该方法的有用性和可解释性。
2022-08-03 stat.AP stat.ME stat.ML
Strong identifiability and parameter learning in regression with heterogeneous response
本文研究有限回归混合模型在精确拟合、过度拟合及成分数未知时的强可辨识性、估计收敛速率与贝叶斯后验收缩，并通过模拟和实例说明参数学习行为。
2024-01-28 math.ST stat.ML stat.TH
Non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；La Trobe University（乐卓博大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；Grenoble INP（格勒诺布尔理工学院）
通过惩罚似然类型标准进行模型选择是许多统计推断和机器学习问题中的标准任务。取得的进展，导致推导出的标准与渐近一致性的结果，并越来越重视引进非渐近标准。我们专注于在回归数据中建模非线性关系的问题，潜在的隐藏的图形结构的高维预测之间的相互作用，在混合专家建模框架。为了处理这样一个复杂的情况下，我们研究了块对角局部混合多项式专家（BLoMPE）回归模型，这是建立在一个逆回归和块对角结构的高斯专家协方差阵。我们引入惩罚极大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理具有挑战性的问题，推断的混合物成分的数量，多项式的次数多项式的次数平均函数，和隐藏的块对角结构的协方差阵，这减少了要估计的参数的数量，并导致在模型的复杂性和稀疏性之间的权衡。特别是，我们提供了一个强有力的理论保证：一个有限样本的预言不等式所满足的惩罚最大似然估计与Jensen-Kullback-Leibler型损失，以支持引入的非渐近模型选择标准。该标准的惩罚形状取决于所考虑的BLoMPE模型的随机子集的复杂性，包括相关的图形结构，多项式的次数多项式的次数均值函数，以及混合成分的数量。
2021-05-10 cs.AI cs.LG math.ST
