Anchoring to Exemplars for Training Mixture-of-Expert Cell Embeddings
Boston University(波士顿大学);Biological Research Centre(生物研究中心);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
分析显微图像中细胞的形态可以深入了解化合物的机制或基因的功能。解决这一任务需要的方法,不仅可以从图像中提取生物信息,但也忽略了技术的变化,即实验过程中的变化或用于收集显微镜图像的设备之间的差异。我们提出了混合专家(TEAMs)的治疗范例,这是一种嵌入式学习方法,它学习一组专家,这些专家专门捕捉我们训练集中的技术变化,然后在测试时聚合专家的预测。因此,TEAM可以通过最小化每个专家的噪音来学习具有更少技术偏差的强大嵌入。为了训练我们的模型,我们利用处理示例,使我们的方法能够捕获每个小批中整个数据集的分布,同时仍然适合GPU内存。我们在三个数据集上评估了我们的方法,用于药物发现等任务,将识别细胞治疗的真正作用机制的性能提高了5.5-11%。
2021-12-06 cs.LG
Identifying parameter couplings and uncertainties of mixed-noise stochastic systems via full-covariance Gaussian mixture network
School of Science, Xi’an University of Posts and Telecommunications(西安邮电大学理学院)
研究针对混合噪声随机系统参数识别的难点,提出PENN-GMD神经网络,采用全协方差高斯混合分布,经五个数值示例验证可准确恢复似然分布、捕捉参数耦合,为复杂随机系统参数识别提供实用工具。
2026-08-18 cs.LG physics.comp-ph stat.ML
Spectral Mixture Kernels for Multi-Output Gaussian Processes
Universidad de Chile(智利大学)
多输出高斯过程(MOGP)的早期方法依赖于独立的、潜在的、单输出高斯过程(GP)的线性组合。这导致交叉协方差函数具有有限的参数解释,从而与单输出GP理解长度尺度、频率和幅度的能力相冲突。相反,目前的方法MOGP能够更好地解释不同的通道之间的关系,通过直接建模的互协方差作为一个频谱混合内核与相移。我们扩展了这一基本原理,并提出了一个参数家庭的复值互谱密度,然后建立在Cramér定理(博克纳定理的多元版本),提供了一个原则性的方法来设计多元协方差函数。如此构造的内核能够建模通道之间的延迟,除了相位差,因此比以前的方法更有表现力,同时还提供跨通道的关系的完整参数解释。该方法首先验证合成数据,然后比较现有的MOGP方法在两个现实世界的例子。
2017-11-03 cs.LG stat.ML
Spectral Properties of Radial Kernels and Clustering in High Dimensions
UCA INRIA(蔚蓝海岸大学法国国家信息与自动化研究所)
本文研究了$\mathbb{R}^n$中混合分布径向核的谱和特征向量。我们的方法专注于高维度,仅依赖于混合物中组分的浓度特性。我们给出了几个结果描述的核矩阵的结构,从这样的混合物中抽取的样本。基于这些结果,我们分析了核PCA聚类高维混合的能力。特别是,我们展示了一个特定的内核,导致一个简单的频谱算法聚类可能共同的手段,但不同的协方差阵的混合物。我们表明,所需的算法成功的协方差阵之间的最小角间距趋于$0$的$n$走向无穷大。
2020-01-06 cs.LG stat.ML
Moment-Accurate Gaussian Mixtures for Constant-Step Stochastic Approximation
University of Chicago(芝加哥大学)
本文通过匹配平稳能量与局部OU极限建立常步长随机逼近的矩精确高斯混合,给出Wasserstein误差界,并验证了可观测协方差与SGD预测。
2026-10-06 cs.LG stat.ML
Gaussian Mixture Convolution Networks
TU Wien(维也纳工业大学);Ulm University(乌尔姆大学)
提出了一种基于多维高斯混合分析卷积的深度学习新方法。与张量相反,这些不受维数灾难的影响,并且允许紧凑的表示,因为数据只存储在细节存在的地方。卷积核和数据是具有无约束权重、位置和协方差矩阵的高斯混合。与离散卷积网络类似,每个卷积步骤都会产生多个特征通道,由独立的高斯混合表示。由于传统的传递函数(如ReLU)不会产生高斯混合,因此我们建议使用这些函数的拟合。如果适当减少高斯分量的数量,则该拟合步骤还充当池化层。我们证明了基于这种架构的网络在拟合MNIST和ModelNet数据集的高斯混合物上达到了具有竞争力的准确性。
2022-02-18 cs.LG
The Minecraft Kernel: Modelling correlated Gaussian Processes in the Fourier domain
Secondmind
在单变量情况下,使用核谱表示是生成平稳协方差函数的一种有吸引力的方法。然而,对多输出高斯过程执行相同的任务更具挑战性。我们表明,目前的方法来建模的光谱混合内核的互协方差具有一个关键的盲点。对于给定的一对过程,除了它们的谱密度具有相同形状的特殊情况外,互协方差在允许的相关性的整个范围内是不可再现的。我们提出了一个解决这个问题的方法,用有限带宽的块分量(即矩形阶跃函数)取代传统的高斯分量的光谱混合。建议的家庭内核代表了第一个多输出概括的光谱混合内核,可以近似任何固定的多输出内核到任意精度。
2021-03-11 cs.LG stat.ML
Clustering Mixtures of Bounded Covariance Distributions Under Optimal Separation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加州大学圣地亚哥分校)
该研究针对有界协方差分布混合模型的聚类问题,提出近似均匀混合下的首个多项式时间算法,引入聚类细化概念解决一般权重混合的信息论不可行问题,且算法对对抗性离群点具有鲁棒性。
2023-12-19 cs.DS cs.IT cs.LG
Parsimonious Gaussian mixture models with piecewise-constant eigenvalue profiles
Université Côte d’Azur(法国埃克塞特大学);INRIA(法国国家信息与自动化技术研究院);CNRS(法国国家科学研究中心);LJAD(应用数学与计算科学实验室);Maasai Project Team(马萨伊项目团队)
本文提出具有分段常数协方差特征值轮廓的简约高斯混合模型,扩展了MPPCA等低秩模型,并设计逐分量惩罚EM算法联合学习参数与超参数,在密度拟合、聚类和图像去噪中取得更优的似然-简约性权衡。
2025-11-07 cs.LG stat.AP stat.CO
Learning general Gaussian mixtures with efficient score matching
Harvard SEAS(哈佛大学工程与应用科学学院);UT Austin(德克萨斯大学奥斯汀分校)
本文提出一种基于扩散模型和得分匹配的高效算法,在无分离假设条件下学习一般高斯混合模型,首次以样本多项式时间实现无监督学习的最优理论保证。
2024-11-19 cs.DS cs.LG stat.ML
Neural Fast Full-Rank Spatial Covariance Analysis for Blind Source Separation
National Institute of Advanced Industrial Science and Technology(产业技术综合研究所);RIKEN(理化学研究所);Tokyo Metropolitan University(东京都立大学);Kyoto University(京都大学)
本文提出神经FastFCA,一种基于全秩但联合可对角化空间模型的高效无监督盲源分离方法,通过交替神经网络与迭代源转向实现快速分离,性能优于传统方法且计算时间大幅降低。
2023-06-17 cs.LG cs.SD eess.AS
Statistical Inference in Classification of High-dimensional Gaussian Mixture
Auburn University(奥本大学)
本文针对一般协方差下的高维二元高斯混合分类,利用副本方法分析正则化凸分类器的渐近泛化与变量选择性质,并构造去偏估计量进行假设检验。
2024-10-25 cs.LG stat.ML
Classifying Overlapping Gaussian Mixtures in High Dimensions: From Optimal Classifiers to Neural Nets
Raymond and Beverly Sackler School of Physics and Astronomy(雷蒙德和贝弗利·萨克勒物理与天文学院);Tel-Aviv University(特拉维夫大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
该研究推导了高维重叠高斯混合模型下贝叶斯最优分类器的闭式解,并通过实验证明深度神经网络能近似该最优分类器,且决策阈值与协方差特征向量相关,为神经网络的概率推理能力提供了理论依据。
2024-05-28 cs.AI cs.LG stat.ML
Steering Large Agent Populations using Mean-Field Schrodinger Bridges with Gaussian Mixture Models
本文针对线性时变动力学和高斯混合边界分布的多智能体群体控制,提出一种基于协方差转向半定规划的闭式参数化方法,无需学习即可高效求解平均场薛定谔桥问题。
2025-06-18 cs.LG stat.ML
Solving High Frequency and Multi-Scale PDEs with Gaussian Processes
University of Utah(犹他大学)
针对PINNs难以求解高频多尺度PDE的问题,提出基于高斯过程的方法,通过混合谱建模和克罗内克积结构实现高效可扩展求解。
2024-03-19 cs.CE cs.LG
Model-based clustering in very high dimensions via adaptive projections
German Center for Neurodegenerative Diseases (DZNE)(德国神经退行性疾病中心(DZNE));University of Lancaster(兰卡斯特大学)
混合模型是处理非独立同分布异构数据的标准方法。结构然而,当维度$p$相对于样本量$n$较大时,并且潜在组之间的均值和协方差/图形模型中的一个或两个可能不同时,混合模型面临统计和计算困难,并且目前可用的方法实际上不能超过$p \! \sim \! 10^4$左右。我们提出了一种方法,称为基于模型的聚类通过自适应投影(MCAP)。而不是估计在原始空间中的混合物,我们的工作与线性投影获得的低维表示。投影维数本身起着重要的作用,并支配着一种类型的偏差方差权衡相对于恢复的相关信号。MCAP使用分配风险的代理,以数据自适应的方式自动设置投影维度。将全协方差公式与自适应投影相结合,允许在非常高维的问题中检测均值和协方差信号。我们展示了真实数据的例子,其中协方差信号可靠地检测到的问题与$p \! \sim \! 10^4$或更多,和模拟上升到$p = 10^6$。在一些示例中,MCAP即使在平均信号被完全移除时也表现良好,从而在高维空间中留下差分协方差结构作为唯一的信号。在许多制度中,MCAP表现得与一系列现有方法一样好或更好,包括最近提出的$\ell_1$惩罚方法;并且随着维度的增加,性能保持大致稳定。MCAP可以“开箱即用”运行,并且速度足够快,可以使用标准桌面计算资源在大型$p$问题上进行交互式使用。
2019-02-22 cs.LG stat.ML
Mixtures of Gaussian Process Experts with SMC$^2$
Department of Electrical Engineering and Automation(艾尔沃斯大学电气工程与自动化系);Aalto University(艾尔沃斯大学);School of Engineering Sciences(工程科学学院);LUT University(卢托大学);School of Mathematics(数学学院);University of Edinburgh(爱丁堡大学);Department of Mathematics(数学系);University of Manchester(曼彻斯特大学)
针对高斯过程计算复杂度高、内存占用大的问题,提出基于嵌套序贯蒙特卡洛采样器的推断方法,可同时推断门控网络与专家参数,提升非平稳场景下的推断效果且支持并行。
2025-10-03 cs.LG stat.CO stat.ML
Tensor Moments of Gaussian Mixture Models: Theory and Applications
University of Texas at Austin(德克萨斯大学奥斯汀分校)
高斯混合模型(Gaussian mixture models,GMM)是统计和数据科学中的基本工具。本文研究了多元高斯和高斯的矩。一个$n$维随机变量的$d$阶矩是一个大小为$n^d$的对称$d$ -路张量,因此假设单纯地使用矩对于$d>2$和更大的$n$值来说代价太高.在这项工作中,我们开发的理论和数值方法\emph{implicit computations}与矩张量的甘精胰岛素,减少计算和存储成本$\mathcal{O}(n^2)$和$\mathcal{O}(n^3)$,分别为一般协方差阵,和$\mathcal{O}(n)$和$\mathcal{O}(n)$,分别为对角的。我们推导出简明的解析表达式的时刻对称化张量积,依靠对称张量和齐次多项式之间的对应关系,并组合身份涉及贝尔多项式。这个理论的主要应用是估计GMM参数(平均值和协方差)从一组观察,当制定为一个时刻匹配优化问题。如果有一个已知的和共同的协方差矩阵,我们还表明,它是可能的去偏的数据观测,在这种情况下,估计未知的手段减少到对称CP张量分解的问题。数值结果验证并说明了我们方法的数值效率。这项工作可能打开了大门的矩量法的竞争力相比,期望最大化方法的参数估计的Gestival。
2022-03-21 cs.LG cs.NA math.NA
Stein's Lemma for the Reparameterization Trick with Exponential Family Mixtures
University of British Columbia(不列颠哥伦比亚大学);RIKEN Center for Advanced Intelligence Project(理化学研究所高级智能中心)
本研究将 Stein 引理扩展至指数族混合分布,建立其与重新参数化技巧的联系,在弱假设下推导出多种非高斯分布的全新梯度恒等式。
2025-02-01 cs.LG stat.ML
Robust Chance-Constrained Optimization using a Continuous Parameter Space Wasserstein-2 Ambiguity Set of Gaussian Mixtures
Northwestern University(西北大学)
研究分布鲁棒线性机会约束问题,用高斯混合模型建模不确定性。提出基于连续参数空间Wasserstein-2模糊集的方法,证明强对偶性并推导半无限重新表述,开发算法,通过案例研究展示其在实现可靠性目标及引起能量分配结构变化方面的价值。
2026-08-31 cs.LG math.OC
Agnostic Estimation of Mean and Covariance
Georgia Tech(佐治亚理工学院)
我们考虑的问题估计的平均值和协方差分布从IID样本$\mathbb{R}^n$,在存在的恶意噪声的$η$分数,这是在最近的工作,噪声本身被假定为从一个已知类型的分布。不可知论问题包括许多有趣的特殊情况,例如,当$η$部分数据被逆向损坏时,学习单个高斯(或找到最佳拟合高斯)的参数,不可知地学习高斯的混合物,不可知ICA等。我们提出了多项式时间算法来估计均值和协方差,并在信息理论下限方面具有误差保证。作为推论,我们还得到了奇异值分解的一个不可知算法。
2016-08-14 cs.DS cs.LG stat.ML
Dimension-Uniform Discretization Analysis of Preconditioned Annealed Langevin Dynamics for Multimodal Gaussian Mixtures
University of Basel(巴塞尔大学);Ecole Polytechnique, IP Paris(巴黎高等理工学院);University of California Irvine(加州大学尔湾分校);Rice University(里德大学)
本文研究了预处理退火 Langevin 动力学在高斯混合中的稳定性问题,通过 Euler-Maruyama 离散化和指数积分方案,证明了在满足特定谱条件时,KL 散度具有维度均匀的上界。
2026-05-15 cs.LG cs.NA math.NA
Non-asymptotic model selection in block-diagonal mixture of polynomial experts models
Normandie Univ(诺曼底大学);UNICAEN(卡昂大学);CNRS(法国国家科学研究中心);La Trobe University(乐卓博大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Inria(法国国家信息与自动化研究所);Grenoble INP(格勒诺布尔理工学院)
通过惩罚似然类型标准进行模型选择是许多统计推断和机器学习问题中的标准任务。取得的进展,导致推导出的标准与渐近一致性的结果,并越来越重视引进非渐近标准。我们专注于在回归数据中建模非线性关系的问题,潜在的隐藏的图形结构的高维预测之间的相互作用,在混合专家建模框架。为了处理这样一个复杂的情况下,我们研究了块对角局部混合多项式专家(BLoMPE)回归模型,这是建立在一个逆回归和块对角结构的高斯专家协方差阵。我们引入惩罚极大似然选择准则来估计回归模型的未知条件密度。该模型选择准则使我们能够处理具有挑战性的问题,推断的混合物成分的数量,多项式的次数多项式的次数平均函数,和隐藏的块对角结构的协方差阵,这减少了要估计的参数的数量,并导致在模型的复杂性和稀疏性之间的权衡。特别是,我们提供了一个强有力的理论保证:一个有限样本的预言不等式所满足的惩罚最大似然估计与Jensen-Kullback-Leibler型损失,以支持引入的非渐近模型选择标准。该标准的惩罚形状取决于所考虑的BLoMPE模型的随机子集的复杂性,包括相关的图形结构,多项式的次数多项式的次数均值函数,以及混合成分的数量。
2021-05-10 cs.AI cs.LG math.ST
SQ Lower Bounds for Learning Bounded Covariance GMMs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
本研究证明学习有界协方差分离高斯混合模型的SQ算法复杂度下界为d^{Ω(1/ε)},表明现有算法近乎最优。
2023-06-22 cs.DS cs.LG math.ST