Lower Bounds on the Total Variation Distance Between Mixtures of Two Gaussians
Northwestern University（西北大学）；Halicioǧlu Data Science Institute, UC San Diego（加州大学圣地亚哥分校哈利西奥卢数据科学研究所）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；UC San Diego（加州大学圣地亚哥分校）
高维高斯分布的混合分布在统计学和学习理论中得到了广泛的研究。虽然全变差距离在分布学习的样本复杂度中自然出现，但在分析上很难获得混合物的紧密下界。利用全变差距离和混合物的特征函数之间的联系，我们提供了相当紧密的函数近似。这使我们能够得到新的下界之间的全变差距离的两个组件的高斯混合物，有一个共享的协方差阵。
2022-03-09 cs.IT cs.LG math.IT
Minimax Theory for High-dimensional Gaussian Mixtures with Sparse Mean Separation
Carnegie-Mellon University（卡内基梅隆大学）
虽然有几篇论文研究了学习高斯混合的计算和统计有效方法，但其统计性能的精确极小极大边界以及高维设置中的基本限制还没有得到很好的理解。在本文中，我们提供了精确的信息理论界的聚类精度和样本的复杂性学习的混合物的两个各向同性高斯在高维下小的平均分离。如果存在确定平均分离的相关维度的稀疏子集，则样本复杂度仅取决于相关维度的数量和平均分离，并且可以通过简单的计算高效的过程来实现。我们的研究结果提供了最近的方法，结合特征选择和聚类的理论基础的第一步。
2013-06-09 cs.LG math.ST stat.ML
Convergence Rates for Gaussian Mixtures of Experts
University of Texas（德克萨斯大学）；University of California（加利福尼亚大学）
我们提供了一个理论上的治疗过指定的高斯混合专家与无协变量门控网络。我们建立了这些模型的极大似然估计（MLE）的收敛速度。我们的证明技术是基于一个新的概念\emph{algebraic independence}的专家功能。利用最优输运理论，我们建立了代数独立性和某一类偏微分方程（PDE）之间的联系。利用这一联系，使我们能够获得收敛速度和极小极大下界的参数估计。
2022-03-08 cs.LG math.ST stat.ML
Variational Information Bottleneck for Unsupervised Clustering: Deep Gaussian Mixture Embedding
Huawei Technologies（华为技术有限公司）；Université Paris-Est（巴黎东大学）
在本文中，我们开发了一个无监督的生成聚类框架，结合了变分信息瓶颈和高斯混合模型。具体来说，在我们的方法中，我们使用变分信息瓶颈方法，并将潜在空间建模为高斯混合。我们推导了模型的代价函数的界，它推广了证据下界（ELBO），并给出了一个变分推理型算法来计算它，在该算法中，编码器的映射使用神经网络进行参数化，该界用Monte Carlo抽样近似，并用随机梯度下降进行优化。真实数据集上的数值结果提供了支持我们的方法的效率。
2020-02-27 cs.IT cs.LG math.IT
Diffusion Model Conditioning on Gaussian Mixture Model and Negative Gaussian Mixture Gradient
University of Macau（澳门大学）；Great Bay University（大湾区大学）；Great Bay Institute for Advanced Study（大湾区高等研究院）；University of Science and Technology of China（中国科学技术大学）
本研究提出以高斯混合模型为特征条件的扩散模型条件化机制，证明特征条件隐分布缺陷更少，同时提出负高斯混合梯度函数提升训练稳定性，且其作为代价函数具备与Wasserstein距离相当的优势。
2024-02-01 cs.CV cs.LG
Adaptative Inference Cost With Convolutional Neural Mixture Models
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
尽管卷积神经网络（CNN）对于许多视觉任务具有出色的性能，但当资源有限时，推理期间所需的计算成本是有问题的。在这种情况下，我们提出了卷积神经混合模型（CNNES），这是一种嵌入大量CNN的概率模型，可以以有效的方式联合训练和评估。在所提出的框架内，我们提出了不同的机制来从混合物中修剪CNN的子集，从而可以轻松地调整推理所需的计算成本。图像分类和语义分割实验表明，该方法取得了良好的精度-计算折衷。此外，与大多数先前的方法不同，单个CNMM沿着该权衡提供大范围的操作点，而无需任何重新训练。
2019-08-19 cs.CV
Mixture separability loss in a deep convolutional network for image classification
Inha University（仁荷大学）；Ton Duc Thang University（通德堂大学）
在机器学习中，成本函数至关重要，因为它衡量系统的好坏。在图像分类中，现有的网络只考虑修改网络结构，在网络末端应用交叉熵损失。然而，仅使用交叉熵损失会导致网络在所有训练图像都被正确分类时停止更新权重。这就是早期饱和的问题。本文提出了一种新的成本函数，称为混合分离损失（MSL），即使大多数训练图像被准确预测，该函数也会更新网络的权重。MSL包括类间损失和类内损失。类间损失最大化类间图像之间的差异，而类内损失最小化类内图像之间的相似性。我们将所提出的损失函数设计为附加到网络中的不同卷积层，以便利用中间特征图。实验结果表明，MSL的网络深化了学习过程，并获得了一些公共数据集，如街景门牌号（SVHN），加拿大高等研究院（CIFAR），和我们自己收集的Inha计算机视觉实验室（ICVL）性别数据集有希望的结果。
2019-06-16 cs.CV cs.LG
Temporal Gaussian Mixture Layer for Videos
Indiana University（印第安纳大学）
我们引入了一个名为时间高斯混合（TGM）层的新卷积层，并介绍了如何使用它来有效地捕获连续活动视频中的长期时间信息。TGM层是由小得多的参数集（例如，位置/高斯的方差）是完全可微的。我们提出了具有多个TGM层的完全卷积视频模型，用于活动检测。在包括Charades和MultiTHUMOS在内的多个数据集上进行的广泛实验证实了TGM层的有效性，其性能明显优于最先进的技术。
2019-08-01 cs.CV
Video Anomaly Detection and Localization via Gaussian Mixture Fully Convolutional Variational Autoencoder
Wuhan University（武汉大学）；McGill University（麦吉尔大学）
我们提出了一种新的端到端部分监督的深度学习方法，用于仅使用正常样本的视频异常检测和定位。激发这项研究的见解是，正常样本可以与高斯混合模型（GMM）的至少一个高斯分量相关联，而异常不属于任何高斯分量。该方法基于高斯混合变分自编码器，其可以将正常样本的特征表示学习为使用深度学习训练的高斯混合模型。一个不包含全连接层的全卷积网络（FCN）被用于编码器-解码器结构，以保持输入图像和输出特征图之间的相对空间坐标。基于每个高斯混合分量的联合概率，我们引入了一种基于样本能量的方法来对图像测试块的异常进行评分。一个双流网络框架相结合的外观和运动异常，使用RGB帧的前和动态流图像，后者。我们测试我们的方法在两个流行的基准（UCSD数据集和大道数据集）。实验结果验证了该方法的优越性。
2018-05-29 cs.CV
Fine-Grained Classification via Mixture of Deep Convolutional Neural Networks
Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；Queensland University of Technology (QUT)（昆士兰科技大学）；University of Queensland（昆士兰大学）；NICTA（澳大利亚国家信息与通信技术研究院）
我们提出了一种用于细粒度图像分类的新型深度卷积神经网络（DCNN）系统，称为DCNN的混合（MixDCNN）。细粒度图像分类问题的特征在于大的类内变化和小的类间变化。为了克服这些问题，我们提出的MixDCNN系统将图像划分为K个相似图像子集，并为每个子集学习专家DCNN。来自K个DCNN中的每一个的输出被组合以形成单个分类决策。与以前的技术相比，我们提供了一种公式来同时执行K个DCNN的联合端到端训练。在使用两种网络结构（AlexNet和GoogLeNet）的三个数据集上进行的大量实验表明，所提出的MixDCNN系统始终优于其他方法。它提供了12.7%的相对改进，并在两个数据集上实现了最先进的结果。
2015-11-30 cs.CV
Graph Convolutional Gaussian Processes
Imperial College London（帝国理工学院）
我们提出了一种新的贝叶斯非参数方法来学习非欧域上的不变性关系。所得到的图卷积高斯过程可以应用于机器学习中的问题，其中输入观测是具有一般图上的域的函数。这些模型的结构允许高维输入，同时保持可表达性，如卷积神经网络的情况。我们目前的应用程序的图形卷积高斯过程的图像和三角形网格，证明其通用性和有效性，相比现有的方法，尽管相对简单的模型。
2019-05-14 cs.CV cs.LG stat.ML
Scale-Based Gaussian Coverings: Combining Intra and Inter Mixture Models in Image Segmentation
Science Foundation Ireland（爱尔兰科学基金会）；CEA-Saclay（法国原子能委员会萨克雷中心）；Université Paris Diderot（巴黎第七大学）
通过“覆盖”，我们指的是拟合到观测数据的高斯混合模型。贝叶斯因子的近似可以用来判断模型是否适合给定的高斯混合模型中的数据。在高斯混合模型族之间，我们提出了Rényi二次熵作为一个优秀的和易于处理的模型比较框架。我们使用MRI图像体积的分割对此进行了验证，基于（1）应用于边缘分布函数的直接高斯混合模型，以及（2）通过应用于由小波变换提供的4D多值图像体积的k均值的高斯模型拟合。一个模型对另一个模型的视觉偏好不是立即的。雷尼二次熵使我们能够清楚地表明，这些模型之一优于其他。
2009-09-02 cs.CV
Raman spectral analysis of mixtures with one-dimensional convolutional neural network
National Research Council Canada（加拿大国家研究委员会）
近年来，一维卷积神经网络（1-D CNN）和拉曼光谱的结合在快速准确识别未知物质方面显示出了巨大的潜力。使用这种技术，研究人员可以识别纯化合物，并将其与混合物中的未知物质区分开来。这种方法的新颖之处在于，经过训练的神经网络自动运行，无需对数据进行任何预处理或后处理。一些研究试图将这种技术扩展到未知混合物中的纯化合物的分类。然而，一维CNN的应用通常仅限于纯化合物的二元分类。在这里，我们将突出一个新的方法，在光谱识别和定量的化学成分的多组分混合物。两个1-D CNN模型，RaMixNet I和II，已开发用于此目的。前者用于混合物中组分的快速分类，而后者用于这些组分的定量测定。在所提出的方法中，对混合物中化合物的数量没有限制。还介绍了一种通过向拉曼光谱中添加随机基线的数据增强方法。实验结果表明，RaMixNet I和II的分类准确率为100%的未知测试混合物的分析，同时，RaMixNet II模型可以实现88%的回归准确率为每个组件的量化。
2021-06-01 cs.AI cs.CV cs.LG
Deep Mixture of Experts via Shallow Embedding
UC Berkeley（加州大学伯克利分校）；Google Brain（谷歌大脑）
更大的网络通常以增加的计算复杂性为代价具有更大的表示能力。稀疏化这样的网络一直是一个活跃的研究领域，但通常限于静态正则化或使用强化学习的动态方法。我们探索了一种混合专家模型（MoE）方法来进行深度动态路由，该方法在每个示例的基础上激活网络中的某些专家。我们的新型DeepMoE架构通过自适应稀疏化和重新校准每个卷积层中的通道特征来提高标准卷积网络的表示能力。我们采用多头稀疏门控网络来确定每个输入的通道的选择和缩放，利用单个卷积网络中专家的指数组合。我们提出的架构在四个基准数据集和任务上进行了评估，我们表明Deep-MoE能够以比标准卷积网络更低的计算量实现更高的准确性。
2019-04-11 cs.CV
Quantum Clustering and Gaussian Mixtures
混合高斯分布是k-means的软版本，被认为是最先进的聚类算法。它被广泛用于计算机视觉中选择类别，例如，颜色、质地和形状。在该算法中，每个类由高斯分布描述，由其均值和协方差定义。数据由这些高斯分布的加权和描述。受物理学中量子干涉的启发，我们提出了一种新的方法。而不是直接建模每个类分布，我们建模类波函数，使其幅度平方是类高斯分布。然后，我们混合类波函数以创建混合波函数。最终的混合分布是混合波函数的幅度平方。结果，我们观察到量子类干涉现象，不存在于高斯混合模型。我们证明了量子方法在估计的各个方面都优于高斯混合方法。它提供了所有分布参数的更准确的估计，波动小得多，它也更强大的高斯假设的数据变形。我们说明了我们的颜色分割方法作为一个示例应用程序。
2016-12-29 cs.CV stat.ML
Image Restoration Using Conditional Random Fields and Scale Mixtures of Gaussians
提出了一种基于条件随机场（CRF）的内部分块图像复原的一般框架。与基于马尔可夫随机场（MRF）的相关模型不同，我们的方法明确地制定了整个图像的后验分布。潜在的功能被视为成比例的产品的可能性和每个补丁之前。通过假设相同的参数相似的补丁，我们的方法可以被归类为基于模型的非局部方法。对于CRF模型的势函数中的先验项，考虑了多变量高斯和多变量高斯尺度混合，后者是图像块的新先验。我们的研究结果表明，所提出的方法优于基于高斯混合模型的图像去噪方法和最先进的图像插值/修复方法。
2018-07-09 cs.CV
Optimal Weights Mixed Filter for Removing Mixture of Gaussian and Impulse Noises
CNRS（法国国家科学研究中心）；Institut de Minéralogie et de Physique des Milieux Condensés（矿物与凝聚态物理研究所）；Université Pierre et Marie Curie（皮埃尔和玛丽·居里大学）；Université de Bretagne-Sud（南布列塔尼大学）
根据高斯噪声的特点，将秩序绝对差（ROAD）修正为高斯脉冲混合噪声的秩序绝对差（ROADG）。当脉冲信号中含有高斯噪声时，对脉冲噪声的检测将更加有效。将ROADG与最优权值滤波器（OWF）有机结合，得到了一种新的处理混合噪声的方法--最优权值混合滤波器（OWMF）。仿真结果表明，该方法对去除混合噪声是有效的。
2012-05-17 cs.CV
Fisher Vectors Derived from Hybrid Gaussian-Laplacian Mixture Models for Image Annotation
Tel Aviv University（特拉维夫大学）
在传统的对象识别管道中，描述符在图像上被密集地采样，汇集成高维非线性表示，然后传递到分类器。近年来，Fisher Vectors已被经验证明是各种应用的领先表示。Fisher向量通常被视为描述符的对数似然相对于高斯混合模型（GMM）的参数的梯度。基于对不同数据集应用不同分布的假设，我们提出了另外两个混合模型，并推导了它们的期望最大化和Fisher向量表达式。第一种是基于拉普拉斯分布的拉普拉斯混合模型（LMM）。第二个混合模型是一个混合高斯-拉普拉斯混合模型（HGLMM），它是基于高斯和拉普拉斯分布的加权几何平均值。对于后者，期望最大化算法的一个有趣的特性是，在最大化步骤中，每个分量中的每个维度都被选择为高斯或拉普拉斯。最后，通过使用新的Fisher向量从HGLSTOM派生，我们实现了国家的最先进的结果，图像注释和图像搜索的一句话的任务。
2015-01-24 cs.CV
Smart Content Recognition from Images Using a Mixture of Convolutional Neural Networks
Multimedia University（多媒体大学）
随着互联网的迅速发展，网络内容变得庞大。大多数网站都是公开的，任何人都可以从任何地方访问内容，如工作场所，家庭甚至学校。然而，并非所有的网页内容都适合所有用户，尤其是儿童。这些内容的一个例子是色情图像，应该限制在特定的年龄组。此外，这些图像对工作不安全（NSFW），员工在工作期间不应该看到访问这些内容。近年来，卷积神经网络已成功地应用于许多计算机视觉问题。受这些成功的启发，我们提出了一种用于成人内容识别的卷积神经网络混合。与其他作品不同，我们的方法是在多个深度神经网络模型的加权和上制定的。每个CNN模型的权重表示为使用普通最小二乘法（OLS）学习的线性回归问题。实验结果表明，该模型在成人内容识别中的性能优于单个CNN模型和CNN模型的平均和。
2017-07-14 cs.CV cs.NE stat.ML
Efficient Learning of Convolution Weights as Gaussian Mixture Model Posteriors
University of Chicago（芝加哥大学）
该研究揭示卷积特征图与高斯混合未归一化对数后验的等价关系，并通过扩展模型及 EM 算法实现无需监督、保证收敛的卷积权重高效学习。
2024-07-01 cs.CV
Direct Fitting of Gaussian Mixture Models
Carnegie Mellon University（卡内基梅隆大学）
当将高斯混合模型拟合到3D几何体时，模型通常拟合到点云，即使形状是作为3D网格获得的。在这里，我们提出了一个公式，拟合高斯混合模型（GARCH）直接到一个三角形网格，而不是使用从其表面采样点。这项工作的一部分，分析了一个一般的公式，用于评估几何对象的可能性。通过这种修改，可以在更广泛的初始化条件下拟合更高质量的Gestival。此外，从这种拟合方法获得的模型显示，以产生改进的网格和RGB-D帧的3D配准。这一结果是通用的，适用于任意几何对象，包括表示传感器测量的不确定性。
2019-06-12 cs.CV cs.GR
Gaussian Mixture Proposals with Pull-Push Learning Scheme to Capture Diverse Events for Weakly Supervised Temporal Video Grounding
Seoul National University（首尔大学）；Gachon University（嘉泉大学）；NAVER CLOVA
针对弱监督时序视频定位中单一高斯提议难以表达多样事件的问题，本文提出GMP并设计拉推学习方案，实现最先进性能。
2023-12-27 cs.AI cs.CV
Gaussian Mixture Estimation from Weighted Samples
Intelligent Sensor-Actuator-Systems Laboratory (ISAS)（智能传感器-执行器系统实验室）
研究从加权样本中估计高斯混合密度参数的问题，提出一种正确处理样本权重的期望最大化方法，适用于任意维度且计算负载与标准估计器相同。
2021-06-09 cs.CV cs.SY eess.SY
Gaussian implementation of the multi-Bernoulli mixture filter
University of Liverpool（利物浦大学）；Chalmers University of Technology（查尔姆斯理工大学）；Commonwealth Scientific and Industrial Research Organisation（联邦科学与工业研究组织）
本文提出了多伯努利混合（MBM）滤波器的高斯实现。MBM滤波器在出生模型为多伯努利或多伯努利混合时为标准动态和雷达测量模型提供滤波（多目标）密度。在线性/高斯模型下，MBM混合物的单个目标密度允许高斯封闭形式的表达式。Murty算法用于选择具有最高权重的全局假设。MBM滤波器与文献中的其他算法进行了比较，通过数值模拟。
2019-08-23 cs.CV eess.SP stat.AP
Exact Consistency Tests for Gaussian Mixture Filters using Normalized Deviation Squared Statistics
Smead Aerospace Engineering Sciences, University of Colorado Boulder（科罗拉多大学博尔德分校斯米德航空航天工程科学学院）；Aurora Flight Sciences, a Boeing Company（波音公司旗下极光飞行科学公司）
本文针对高斯混合滤波器的动态一致性检验问题，在归一化偏差平方统计框架下推导出精确结果，证明检验统计量服从广义卡方分布混合，并通过数值示例验证了其准确性和实用性。
2024-03-15 cs.CV cs.RO cs.SY
