Harmonizable mixture kernels with variational Fourier features
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；Aalto University（阿尔托大学）
高斯过程的表达能力很大程度上取决于核的选择。在这项工作中，我们提出了新的协调混合内核（HMK），一个家庭的表现力，可解释的，非平稳的内核来自混合模型的广义谱表示。作为非平稳核的理论上合理的处理，HMK支持协调协方差，包括所有平稳和许多非平稳协方差的广泛的核子集。我们还提出了变分傅立叶特征，一个域间稀疏GP推理框架，提供了一组代表性的“诱导频率”。我们表明，调和混合内核插值局部模式之间，变分傅立叶特征提供了一个强大的内核学习框架的新的内核家庭。
2019-03-11 cs.LG stat.ML
Invertible Particle Flow-based Sequential MCMC with extension to Gaussian Mixture noise models
非线性和非高斯状态空间中的序贯状态估计在统计和信号处理中有着广泛的应用。粒子滤波是最有效的非线性滤波方法之一，但在高维滤波场景中存在权值退化问题。已经探索了几种途径来解决高维度问题。其中，粒子流粒子滤波器通过使用可逆流将粒子从先验分布连续迁移到后验分布来构造有效的建议分布，而顺序马尔可夫链蒙特卡罗（SMCMC）方法使用Metropolis-Hastings（MH）接受-拒绝方法来提高过滤性能。在本文中，我们建议结合可逆粒子流和SMCMC的优势，通过构建一个复合大都市黑斯廷斯（MH）内核SMCMC框架内使用可逆粒子流。此外，我们提出了一个高斯混合模型（GMM）为基础的粒子流算法来构建有效的多模态分布的MH核。仿真结果表明，对于高维状态估计的例子问题，所提出的核显着增加的接受率与最小的额外的计算开销，并提高估计精度相比，国家的最先进的滤波算法。
2019-03-11 stat.ME
Geometric Ergodicity in Modified Variations of Riemannian Manifold and Lagrangian Monte Carlo
黎曼流形哈密尔顿算子和拉格朗日蒙特卡罗方法已成为贝叶斯推断的有力工具。与欧氏哈密顿蒙特卡罗（EHMC）和Metropolis调整的Langevin算法（MALA）不同，这些黎曼算法的几何遍历性尚未得到广泛研究。另一方面，流形Metropolis调整Langevin算法（MMALA）最近已被证明在一定条件下表现出几何遍历性。这项工作调查的混合物的LMC和RMHMC过渡内核MMALA，以装备所得到的方法与“继承”的几何遍历理论。我们激励这个混合内核之间的类比单步HMC和MALA的基础上。然后，我们继续评估几个基准贝叶斯推断任务的原始和修改后的过渡内核。
2023-01-04 stat.CO stat.ME stat.ML
Recovery Guarantees for Kernel-based Clustering under Non-parametric Mixture Models
University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Technical University of Munich（慕尼黑工业大学）
尽管基于内核的聚类无处不在，但令人惊讶的是，除了考虑数据生成过程中强结构假设的设置之外，几乎没有统计保证。在这项工作中，我们采取了一个步骤弥合这一差距，通过研究基于核的聚类算法的统计性能下的非参数混合模型。我们提供了必要和充分的可分性条件下，这些算法可以始终恢复底层的真实聚类。我们的分析为内核聚类方法提供了保证，而无需对组件分布的形式进行结构性假设。此外，我们建立了一个关键的等价基于核的数据聚类和基于核密度的聚类。这使我们能够为非参数混合模型的基于核的估计提供一致性保证。除了理论上的影响，这种联系可能具有实际意义，包括在聚类的背景下系统地选择高斯核的带宽。
2021-10-18 cs.LG stat.ML
Neural Non-Stationary Spectral Kernel
Aalto University（阿尔托大学）；Silo AI
标准的核函数，如Matérn或RBF核函数，只对输入空间中的简单单调依赖进行编码。光谱混合核已被提出作为通用的，灵活的内核，用于学习和发现数据中更复杂的模式。谱混合核最近被推广到非平稳核取代的混合权重，频率均值和方差的输入相关的功能。这些函数本身也被建模为高斯过程。在本文中，我们提出了建模的超参数函数与神经网络，并提供了一个实验比较之间的平稳光谱混合物和两个非平稳光谱混合物。可扩展高斯过程推理的稀疏变分框架内考虑的所有内核。我们表明，内核的神经变体能够在几个基准数据集上实现最佳性能。
2018-11-27 cs.LG stat.ML
Safe and adaptive importance sampling: a mixture approach
本文研究了自适应重要性抽样算法的政策，用于生成粒子的分布序列，是一个灵活的核密度估计（基于以前的粒子）之间的混合分布，和一个“安全”的重尾密度。当根据安全密度生成的样本份额趋于零但不太快时，建立了两个结果：（i）一致收敛性速度推导出的政策向目标密度;（ii）得到的积分估计的中心极限定理。渐近方差与方差最优策略的“oracle”过程的方差相同的事实说明了该方法的好处。此外，可以在构建核估计之前进行子采样步骤（在粒子之间），以便在不改变方法的性能的情况下减少计算工作量。的算法的实际行为示出在模拟研究。
2020-03-20 math.ST stat.TH
From Adaptive Kernel Density Estimation to Sparse Mixture Models
Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学（VUB））；imec（比利时微电子研究中心）；Xi’an Jiaotong University（西安交通大学）
我们介绍了一个气球估计在广义期望最大化方法估计的所有参数的高斯混合模型给定一个数据样本的混合成分。这种正则化策略没有明确限制模型大小，而是产生低复杂度的稀疏模型，其中有效混合成分的数量随着平滑概率参数$\mathbf{P>0}$的增加而减少。这种半参数方法从非参数自适应核密度估计（KDE）过渡到参数普通最小二乘，当$\mathbf{P=1}$。实验表明，更简单的稀疏混合模型保留了自适应KDE解决方案中存在的细节水平。
2018-12-11 cs.LG stat.ML
Optimal Transport for Kernel Gaussian Mixture Models
Memorial Sloan Kettering Cancer Center（纪念斯隆凯特琳癌症中心）；Stony Brook University（石溪大学）
本文针对再生核希尔伯特空间中高斯混合模型距离度量研究不足的问题，提出一种基于核技巧的Wasserstein型度量，用于计算核高斯混合模型之间的距离。
2023-10-28 cs.LG stat.ML
Quasi-Monte Carlo methods for mixture distributions and approximated distributions via piecewise linear interpolation
本文针对非乘积测度下的数值积分问题，提出结合混合分布、张量积帽函数近似与高斯混合自适应近似的拟蒙特卡罗方法，证明了收敛速度并通过数值算例验证了性能。
2023-04-28 cs.NA math.NA stat.CO
Spectral Properties of Radial Kernels and Clustering in High Dimensions
UCA INRIA（蔚蓝海岸大学法国国家信息与自动化研究所）
本文研究了$\mathbb{R}^n$中混合分布径向核的谱和特征向量。我们的方法专注于高维度，仅依赖于混合物中组分的浓度特性。我们给出了几个结果描述的核矩阵的结构，从这样的混合物中抽取的样本。基于这些结果，我们分析了核PCA聚类高维混合的能力。特别是，我们展示了一个特定的内核，导致一个简单的频谱算法聚类可能共同的手段，但不同的协方差阵的混合物。我们表明，所需的算法成功的协方差阵之间的最小角间距趋于$0$的$n$走向无穷大。
2020-01-06 cs.LG stat.ML
Universality of Gaussian-Mixture Reverse Kernels in Conditional Diffusion
Center for Mathematics and Interdisciplinary Sciences, Fudan University（复旦大学数学与交叉科学中心）；Shanghai Institute for Mathematics and Interdisciplinary Sciences (SIMIS)（上海数学与交叉科学研究院（SIMIS））；Northeastern University（东北大学）；Infectious Diseases Division, icddr,b（icddr,b传染病部门）；Rutgers University（罗格斯大学）
研究证明，具有ReLU网络对数的有限高斯混合反向核的条件扩散模型可近似任意正则目标分布，误差随扩散时间增加而减小。
2026-04-15 cs.LG stat.ML
Multi-Kernel Correntropy for Robust Learning
Hong Kong Polytechnic University（香港理工大学）
相关熵作为一种新的相似性度量，被定义为两个随机变量之间核函数的期望，已被成功地应用于鲁棒机器学习和信号处理中，以对抗大的离群值。相关熵中的核函数通常是零均值高斯核。最近的一项工作提出了混合相关熵（MC）的概念来提高学习性能，其中核函数是一个混合高斯核，即多个具有不同宽度的零均值高斯核的线性组合。然而，在相关熵和混合相关熵中，核函数的中心总是位于零。在目前的工作中，为了进一步提高学习性能，我们提出了多核相关熵（MKC）的概念，其中混合高斯核的每个分量可以集中在不同的位置。研究了MKC的性质，提出了一种确定MKC中自由参数的有效方法。实验结果表明，最大多核相关熵准则（MMKCC）下的学习算法性能优于原始最大相关熵准则（MCC）和最大混合相关熵准则（MMCC）下的学习算法.
2021-09-06 cs.LG stat.ML
A Comparison of Kernels for ABC-SMC
University of Bristol（布里斯托大学）；University of Salerno（萨莱诺大学）
本文系统回顾并比较了 ABC-SMC 算法中的各类马尔可夫核函数，提出新方案，并通过大量实验表明带混合提议分布的一次命中核函数是最佳默认选择。
2025-11-09 stat.CO
Multi-Output Convolution Spectral Mixture for Gaussian Processes
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Shenzhen College of Advanced Technology, University of Chinese Academy of Sciences（中国科学院大学深圳先进技术学院）；Institute for Computing and Information Sciences, Radboud University（拉德堡德大学计算与信息科学研究所）；Faculty of Management, Science and Technology, Open University of The Netherlands（荷兰开放大学管理、科学与技术学院）
多输出高斯过程（MOGP）是高斯过程（GP）的扩展，用于同时预测多个输出变量（也称为通道，任务）。在本文中，我们使用卷积定理来设计一个新的内核MOGP，通过建模跨信道的依赖性，通过交叉卷积的时间和相位延迟分量在频谱域。得到的核称为多输出卷积光谱混合（MOCSM）核。合成和现实生活中的数据集上的大量实验结果表明，所提出的内核的优点和其最先进的性能。当考虑单通道时，MOCSM具有降低到众所周知的光谱混合（SM）核的理想性质。与最近推出的多输出频谱混合内核的比较表明，这是不是后者的内核，其中包含二次项，产生不良的尺度效应时，不同通道的频谱密度是非常接近或非常远离对方在频域中的情况。
2021-10-08 cs.LG stat.ML
Mixtures of Gaussian process experts based on kernel stick-breaking processes
the University of Melbourne（墨尔本大学）
提出基于核stick-breaking过程的高斯过程专家混合模型，改进门控函数，提升预测性能，并用切片采样实现后验计算，在六个数据集上验证效果。
2023-05-05 cs.LG stat.ML
Compressible Spectral Mixture Kernels with Sparse Dependency Structures for Gaussian Processes
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Central South University（中南大学）
本文提出一种具有稀疏依赖结构的可压缩谱混合核（SMD），通过互协方差和互卷积推广依赖结构，并用时间-相位延迟增强表达力，结合结构自适应算法，提升高斯过程的泛化性能。
2023-07-26 cs.LG stat.ML
Mixture Proportion Estimation via Kernel Embedding of Distributions
IBM Research（IBM研究院）；Indian Institute of Science（印度科学学院）；University of Michigan（密歇根大学）
混合比例估计（MPE）是估计混合物中组分分布的权重的问题，给定混合物和组分的样本。这个问题构成了许多“弱监督学习“问题的关键部分，例如使用正样本和未标记样本进行学习，使用标签噪声进行学习，异常检测和众包。虽然已经提出了几种方法来解决这个问题，据我们所知，没有一个有效的算法证明收敛速度对这个问题的真实比例存在。我们填补了这一空白，构建一个可证明正确的算法MPE，并在一定的假设下，对分布的收敛速度。我们的方法是基于嵌入分布到RKHS，实现它只需要解决一个简单的凸二次规划问题几次。我们在几个标准的分类数据集上运行我们的算法，并证明它在大多数数据集上的性能优于或优于其他算法。
2016-05-31 cs.LG stat.ML
Spectral Mixture Kernels for Multi-Output Gaussian Processes
Universidad de Chile（智利大学）
多输出高斯过程（MOGP）的早期方法依赖于独立的、潜在的、单输出高斯过程（GP）的线性组合。这导致交叉协方差函数具有有限的参数解释，从而与单输出GP理解长度尺度、频率和幅度的能力相冲突。相反，目前的方法MOGP能够更好地解释不同的通道之间的关系，通过直接建模的互协方差作为一个频谱混合内核与相移。我们扩展了这一基本原理，并提出了一个参数家庭的复值互谱密度，然后建立在Cramér定理（博克纳定理的多元版本），提供了一个原则性的方法来设计多元协方差函数。如此构造的内核能够建模通道之间的延迟，除了相位差，因此比以前的方法更有表现力，同时还提供跨通道的关系的完整参数解释。该方法首先验证合成数据，然后比较现有的MOGP方法在两个现实世界的例子。
2017-11-03 cs.LG stat.ML
The Minecraft Kernel: Modelling correlated Gaussian Processes in the Fourier domain
Secondmind
在单变量情况下，使用核谱表示是生成平稳协方差函数的一种有吸引力的方法。然而，对多输出高斯过程执行相同的任务更具挑战性。我们表明，目前的方法来建模的光谱混合内核的互协方差具有一个关键的盲点。对于给定的一对过程，除了它们的谱密度具有相同形状的特殊情况外，互协方差在允许的相关性的整个范围内是不可再现的。我们提出了一个解决这个问题的方法，用有限带宽的块分量（即矩形阶跃函数）取代传统的高斯分量的光谱混合。建议的家庭内核代表了第一个多输出概括的光谱混合内核，可以近似任何固定的多输出内核到任意精度。
2021-03-11 cs.LG stat.ML
The Kernel Mixture Network: A Nonparametric Method for Conditional Density Estimation of Continuous Random Variables
本文介绍一种利用神经网络进行条件概率密度非参数估计的新方法--核混合网络。我们将任意复杂的条件密度建模为以训练点子集为中心的核函数族的线性组合。权重由深度神经网络的外层确定，通过最小化负对数似然来训练。这推广了流行的量化softmax方法，该方法可以被视为具有方形和非重叠内核的内核混合网络。我们测试我们的方法的性能上的两个重要的应用程序，即贝叶斯过滤和生成建模。在贝叶斯滤波的例子中，我们表明，该方法可以用来过滤复杂的非线性和非高斯信号定义在流形上。由此产生的核混合网络滤波器优于量化softmax滤波器和扩展卡尔曼滤波器的模型似然。最后，我们对生成模型的实验表明，在相同的架构下，核混合网络比量化softmax方法具有更高的测试集似然性，更少的过拟合和更多样化和真实的生成样本。
2017-05-19 stat.ML
Gaussian mixture models in Hilbert spaces via kernel methods
Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃朗根-纽伦堡大学）；Universidad Autónoma de Madrid（马德里自治大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出基于核均值嵌入的希尔伯特空间数据高斯混合模型，通过高效优化算法进行估计，并在无限维空间中建立理论保证，验证了该框架在动态函数数据和现代医学应用中的有效性。
2026-11-11 cs.LG stat.ML
Kernel Topic Models
Cavendish Laboratory（卡文迪什实验室）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Microsoft Research（微软研究院）
潜在狄利克雷分配模型离散数据作为离散分布的混合，使用混合权重的狄利克雷信念。我们研究了这个概念的一个变体，其中文档的混合权重信念被替换为压缩的高斯分布。这允许文档与希尔伯特空间的元素相关联，允许内核主题模型（KTM），对文档之间的时间、空间、层次、社交及其他结构进行建模。主要的挑战是有效的近似推理的潜在高斯。我们提出了一个近似算法铸造周围的拉普拉斯近似变换的基础上。KTM还可以被解释为一种高斯过程潜变量模型，或者以文档特征为条件的主题模型，揭示这些领域早期工作之间的联系。
2011-10-21 cs.LG stat.ML
Nonstationary multi-output Gaussian processes via harmonizable spectral mixtures
Universidad de Chile（智利大学）
多输出高斯过程的核设计问题近年来受到了广泛的关注。特别地，多输出光谱混合内核（MOSM）arXiv：1709.01298方法已经被称赞为通用模型，因为它扩展了其他方法，例如相关化的线性模型、内在相关化模型和交叉光谱混合。MOSM依赖于Cramér定理将功率谱密度（PSD）参数化为高斯混合，因此具有结构限制：通过假设PSD的存在，该方法仅适用于多输出稳态应用。我们开发了一个非平稳扩展MOSM提出家庭的和谐内核MOGP，一类内核，包含固定和绝大多数的非平稳过程。所提出的可协调内核的主要贡献在于，它们自动识别可能的非平稳行为，这意味着从业者不需要在平稳或非平稳内核之间进行选择。该方法首先在合成数据上进行验证，目的是说明我们方法的关键特性，然后将其与现有的MOGP方法在金融和脑电图两个真实环境中进行比较。
2022-02-18 cs.LG eess.SP stat.ML
The Responsibility Weighted Mahalanobis Kernel for Semi-Supervised Training of Support Vector Machines for Classification
University of Kassel（卡塞尔大学）
支持向量机（SVM）中的核函数需要评估输入样本的相似性，以便例如对这些样本进行分类。除了诸如高斯（即，径向基函数（RBF）或多项式核，也有特定的核被定制为考虑数据中的结构以进行相似性评估。在本文中，我们将通过概率混合密度模型来捕获数据中的结构，例如在实值输入空间的情况下的高斯混合。从这些模型中固有包含的距离度量，例如，马氏距离的高斯混合的情况下，我们推导出一个新的核，责任加权马氏（RWM）核。基本上，该内核强调模型组件的影响，假设任何两个被比较的样本都来自模型组件（即“负责的”模型组件）。我们将看到，在许多部分标记数据可用的应用中，该内核优于RBF内核和其他捕获数据结构的内核（例如Laplacian SVM中的KNN内核），即，用于SVM的半监督训练。其他关键优点是RWM内核可以很容易地与标准SVM实现和训练算法（如顺序最小优化）一起使用，并且可以很容易地将C-SVM中RBF内核的参数化方法转移到这个新内核中。RWM内核的性能证明了20个基准数据集和训练数据中标记样本的百分比不断增加。
2015-02-16 cs.LG stat.ML
On the Identifiability and Interpretability of Gaussian Process Models
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文从理论上证明单输出高斯过程中 Matérn 核加性混合的光滑性由最不光滑分量决定且混合参数不可识别，而多输出乘性核中的协方差矩阵在相差常数倍意义下可识别，为不同任务的核结构选择提供了理论依据。
2023-10-25 cs.LG stat.ML
A spectral mixture representation of isotropic kernels with application to random Fourier features
Beijing Normal-Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院）；EDF Lab Paris-Saclay（法国电力集团巴黎-萨克雷实验室）
本文提出各向同性核的谱混合表示方法，为多种核函数提供简单的谱采样公式，适用于支持向量机等机器学习技术。
2026-02-22 cs.LG math.PR stat.CO
Improving Sepsis Treatment Strategies by Combining Deep and Kernel-Based Reinforcement Learning
Harvard University（哈佛大学）；Imperial College London（帝国理工学院）；MIT（麻省理工学院）
脓毒症是ICU死亡的主要原因。这是具有挑战性的管理，因为个别患者对治疗的反应不同。因此，为个体患者量身定制治疗对于获得最佳结果至关重要。在本文中，我们通过应用专家混合框架来实现这一目标，以个性化脓毒症治疗。混合模型根据患者的当前病史选择性地在基于邻居（内核）和深度强化学习（DRL）专家之间交替。在一个大型回顾性队列中，这种基于混合的方法优于医生、仅内核和仅DRL专家。
2019-01-15 cs.AI cs.LG stat.ML
Plug-And-Play Learned Gaussian-mixture Approximate Message Passing
Technische Universität Berlin（柏林工业大学）
深度展开被证明是加速和调整经典信号处理算法的一种非常成功的方法。在本文中，我们提出了学习高斯混合AMP（L-GM-AMP）-即插即用压缩感知（CS）恢复算法适用于任何i.i.d.源前。我们的算法建立在Borgerding的学习AMP（LAMP）的基础上，但通过在算法中采用通用的去噪函数来显着改进它。鲁棒和灵活的去噪器是高斯混合（GM）模型源之前的副产品，它可以很好地逼近连续，离散以及混合分布。它的参数使用标准的反向传播算法学习。为了证明所提出的算法的鲁棒性，我们进行蒙特卡罗（MC）模拟的混合和离散分布。数值计算表明，L-GM-AMP算法实现了最先进的性能，而无需任何知识的源先验。
2020-11-18 cs.LG stat.ML
Be More Diverse than the Most Diverse: Optimal Mixtures of Generative Models via Mixture-UCB Bandit Algorithms
Sharif University of Technology（谢里夫理工大学）；The Chinese University of Hong Kong（香港中文大学）
针对生成模型选择仅考虑单模型的局限，本研究将最优混合模型选择建模为多臂老虎机问题，提出Mixture-UCB算法，可高效找到优于单个模型的生成模型最优混合体，并验证了其在文本、图像生成任务中的有效性。
2025-03-22 cs.LG stat.ML
Gaussian Mixture Models with Component Means Constrained in Pre-selected Subspaces
IBM Almaden Research Center（IBM阿尔马登研究中心）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文研究了一个分量均值约束在一个预先选定的子空间中的高斯混合模型。分类和聚类的应用进行了探讨。EM型估计算法的推导。我们证明了包含具有公共协方差阵的GMM的分量均值的子空间也包含密度和类均值的模。这促使我们通过对核密度和类均值的模式应用加权主成分分析来找到子空间。为了避免核带宽难以确定的困难，我们从基于带宽序列的核密度中获得多个子空间。对每个子空间约束下的GMM进行估计，并选择产生极大似然的模型。一个降维属性被证明在意义上的分类或聚类的信息。在真实数据集和模拟数据集上进行了实验，研究了几种确定子空间的方法，并与降秩混合判别分析（MDA）进行了比较。我们的新方法与简单的技术，跨越子空间，只有类的手段往往优于降秩MDA时，子空间维数很低，使它特别吸引人的可视化。
2015-08-26 cs.LG stat.ML
Integration-free Training for Spatio-temporal Multimodal Covariate Deep Kernel Point Processes
Hangzhou Dianzi University（杭州电子科技大学）；Alibaba Group（阿里巴巴集团）；Renmin University of China（中国人民大学）
本研究提出融合多模态协变量的深度核混合点过程模型DKMPP，采用基于得分匹配的无积分方法解决训练难题，实验证明其性能优于基线模型。
2023-10-09 cs.LG stat.ML
The Bayesian Low-Rank Determinantal Point Process Mixture Model
Google DeepMind（谷歌DeepMind）；Microsoft（微软）
确定性点过程（DPPs）是一个优雅的模型，用于编码基集（如商品目录）的子集（如购物篮）上的概率。它们对许多机器学习任务都很有用，包括产品推荐。DPP由半正定核矩阵参数化。最近的工作表明，使用该内核的低秩因子分解提供了显着的可扩展性改进，为在大规模数据集上进行训练和计算在线推荐打开了大门，这两者对于使用满秩内核的标准DPP模型都是不可行的。在本文中，我们提出了一个低秩DPP混合模型，使我们能够表示潜在的结构中存在的观察到的子集作为一个混合物的一些组件低秩DPP，其中每个组件DPP负责代表一部分的观察到的数据。混合模型使我们能够有效地解决低秩DPP模型的容量约束。我们提出了一个有效的和可扩展的马尔可夫链蒙特卡罗（MCMC）学习算法，我们的模型，使用吉布斯抽样和随机梯度哈密顿蒙特卡罗（SGHMC）。使用几个真实世界的产品推荐数据集的评估，我们表明，我们的低秩DPP混合模型提供了更好的预测性能比可能与一个单一的低秩或全秩DPP，并显着更好的性能比其他几个竞争的推荐方法在许多情况下。
2016-08-16 cs.LG stat.ML
A Criterion for Extending Continuous-Mixture Identifiability Results
Tsinghua University（清华大学）；CPC Yichang Municipal Committee（中共宜昌市委）
本文提出生成函数可及性准则，用于扩展基于核的方法的可辨识性结果到新核分布，适用于连续混合的离散和连续随机变量，并举例说明其在地质科学和风险分析中的应用。
2025-06-16 math.PR stat.AP stat.ML
On Column Selection in Approximate Kernel Canonical Correlation Analysis
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）
我们使用Nyström近似研究了大规模核典型相关分析（KCCA）中的列选择问题，其中使用训练集中的“地标”点近似两个半正定核矩阵。当在KCCA中构建低秩核近似时，以前的工作主要是从训练集中随机均匀采样地标。我们提出了新的策略，采样的地标不均匀的基础上最近开发的核岭回归的统计杠杆分数的版本。我们研究了所提出的非均匀采样策略的近似精度，开发了一个增量算法，探索路径的近似秩，有利于有效的模型选择，并推导出我们的方法的样本外映射的核稳定性。在合成和真实世界数据集上的实验结果证明了我们的方法的前景。
2016-02-05 cs.LG stat.ML
Effective regions and kernels in continuous sparse regularisation, with application to sketched mixtures
本文推进了基于Beurling-LASSO的测度连续稀疏正则化理论，证明了sinc-4核满足LPC假设，引入核切换分析为平移不变核提供误差界条件，并使BLASSO保证自适应噪声水平，应用于混合模型估计。
2025-10-14 math.ST stat.ML stat.TH
Classifying high-dimensional Gaussian mixtures: Where kernel methods fail and neural networks succeed
Laboratoire de Physique de l’École Normale Supérieure（巴黎高等师范学院物理实验室）；Université PSL（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；Sorbonne Université（索邦大学）；Université Paris-Diderot（巴黎第七大学）；Sorbonne Paris Cité（巴黎索邦西岱大学）；EPFL（洛桑联邦理工学院）；International School of Advanced Studies (SISSA)（国际高等研究学院）
最近的一系列理论工作表明，具有一定初始化的神经网络的动力学很好地捕捉核方法。同时的实验工作表明，核方法可以接近神经网络的性能上的一些图像分类任务。这些结果提出了一个问题，即神经网络是否只有在内核也成功学习的情况下才能成功学习，尽管神经网络更具表达力。在这里，我们从理论上证明了只有几个隐藏神经元的两层神经网络（2LNN）可以在简单的高斯混合分类任务上击败核学习的性能。我们研究了样本数量与输入维度成线性比例的高维限制，并表明虽然小型2LNN在此任务上实现了接近最佳的性能，但惰性训练方法（如随机特征和核方法）却没有。我们的分析是基于一组封闭方程的推导，这些方程跟踪2LNN的学习动态，从而可以提取网络的渐近性能作为信噪比和其他超参数的函数。最后，我们说明了如何过度参数化的神经网络导致更快的收敛，但并没有提高其最终的性能。
2021-06-10 cond-mat.dis-nn cond-mat.stat-mech cs.LG
Solving general elliptical mixture models through an approximate Wasserstein manifold
Imperial College London（帝国理工学院）
我们解决一般有限混合模型的估计问题，特别关注椭圆混合模型（EMM）。与广泛采用的Kullback-Leibler分歧相比，我们表明Wasserstein距离提供了一个更理想的优化空间。因此，我们提供了一个稳定的解决方案，既强大的初始化，并通过自适应优化沿流形的近似Wasserstein距离达到一个优越的最佳的EMM。为此，我们首先提供了一个统一的帐户可计算和可识别的EMM，这是一个基础，严格解决基础优化问题。由于概率约束，解决这个问题是非常麻烦和不稳定的，特别是在Wasserstein距离下。为了缓解这个问题，我们引入了一个有效的优化方法下定义的统计流形的近似Wasserstein距离，它允许明确的指标和可计算的操作，从而显着稳定和提高EMM估计。我们进一步提出了一种自适应的方法来加速收敛。实验结果表明，所提出的EMM求解器的优良性能。
2020-10-07 cs.LG stat.ML
The Ensemble Epanechnikov Mixture Filter
Oden Institute for Computational Engineering & Sciences, the University of Texas at Austin（得克萨斯大学奥斯汀分校奥登计算工程与科学学院）；Dept of Aerospace Engineering & Engineering Mechanics, the University of Texas at Austin（得克萨斯大学奥斯汀分校航空航天工程与工程力学系）
本文提出集成Epanechnikov混合滤波器（EnEMF），在高维序贯滤波中采用最优多元Epanechnikov核替代高斯核，实现与高斯混合滤波器相当的成本效率，并在静态示例和Lorenz '96系统上展现出维度鲁棒性和更低的每粒子误差。
2024-08-20 cs.LG cs.NA math.NA
DeRegiME: Deep Regime Mixtures for Probabilistic Forecasting under Distribution Shift
Machine Learning Research Group, University of Oxford（牛津大学机器学习研究组）；Oxford-Man Institute, University of Oxford（牛津大学奥克斯曼研究所）
DeRegiME通过引入稀疏变分高斯过程，实现了概率预测中的制度混合，解决了神经预测器在处理分布偏移时的不足，提升了预测密度的准确性。
2026-05-19 cs.LG stat.ML
Bayesian Optimization with Approximate Set Kernels
POSTECH（浦项科技大学）；SigOpt（SigOpt公司）；Kakao Brain；BARO AI（BARO人工智能）
我们提出了一个实用的集合上的贝叶斯优化方法，以最小化一个黑盒函数，把一个集作为一个单一的输入。由于集合输入是置换不变的，传统的基于高斯过程的贝叶斯优化策略假设向量输入可能达不到要求。为了解决这个问题，我们开发了一个贝叶斯优化方法与\emph{set kernel}，用于建立代理函数。该内核在集合元素上累积相似性以强制置换不变性，但这会带来更大的计算成本。为了减少这种负担，我们提出了两个关键组成部分：（i）一个更有效的近似集内核，它仍然是正定的，是一个无偏估计量的真集内核上限方差的子样本的数量，（ii）一个受约束的采集函数优化集，它使用的可行域的对称性，定义了一组输入。最后，我们提出了几个数值实验表明，我们的方法优于其他方法。
2021-01-25 cs.LG stat.ML
Learning Two-Player Mixture Markov Games: Kernel Function Approximation and Correlated Equilibrium
University of California, Berkeley（加州大学伯克利分校）；University of California, Los Angeles（加州大学洛杉矶分校）
研究了具有非线性函数逼近的两人零和马尔可夫博弈的纳什均衡学习问题，其中作用价值函数由再生核希尔伯特空间（RKHS）中的函数逼近.关键的挑战是如何在高维函数空间中进行探索。我们提出了一种新的在线学习算法，以找到一个纳什均衡通过最小化的对偶差距。我们算法的核心是置信上限和置信下限，它们是基于面对不确定性时的乐观原则得出的。我们证明了我们的算法是能够达到一个$O(\sqrt{T})$遗憾多项式计算复杂性，非常温和的假设下的奖励函数和潜在的动态马尔可夫游戏。我们还提出了我们的算法的几个扩展，包括一个算法与伯恩斯坦型奖金，可以实现更严格的遗憾界，和另一种算法模型误指定，可应用于神经函数逼近。
2022-08-10 cs.AI cs.GT cs.LG
The geometry of kernelized spectral clustering
数据集的聚类是科学和工程的许多领域中的标准问题。谱聚类的方法是基于使用核函数嵌入数据集，并使用归一化拉普拉斯算子的顶部特征向量来恢复连通分量。我们研究了谱聚类在恢复i.i.d.的潜在标签的性能。样本来自非参数分布的有限混合。这个标签恢复问题的难度取决于混合成分之间的重叠，以及如何容易将混合成分分成两个不重叠的成分。当重叠是小的混合物成分的不可分割性相比，人口水平的归一化拉普拉斯算子的主特征空间近似由平方根核化的成分密度。在有限样本条件下，在相同的假设条件下，当样本量较大时，来自不同成分的嵌入样本以高概率近似正交。作为一个推论，我们控制的分数的样本错误标记的谱聚类下有限的混合物与非参数成分。
2015-04-07 math.ST stat.ML stat.TH
Every Model Learned by Gradient Descent Is Approximately a Kernel Machine
University of Washington（华盛顿大学）
深度学习的成功通常归因于它能够自动发现数据的新表示，而不是像其他学习方法那样依赖手工制作的功能。然而，我们发现，通过标准梯度下降算法学习的深度网络实际上在数学上近似等同于核机器，核机器是一种简单地记忆数据并通过相似性函数（核）直接将其用于预测的学习方法。这极大地增强了深度网络权重的可解释性，通过阐明它们实际上是训练样本的叠加。网络架构将目标函数的知识并入内核中。这种改进的理解应该会导致更好的学习算法。
2020-11-30 cs.LG cs.NE stat.ML
Stability of the Stochastic Gradient Method for an Approximated Large Scale Kernel Machine
University of Washington（华盛顿大学）
本文研究了随机梯度法（SGM）学习近似傅立叶原始支持向量机的稳定性。算法的稳定性是通过测试和训练误差之间的绝对差来衡量泛化误差的。我们的问题是通过在线凸优化设置学习一个近似的核函数，使用随机傅立叶特征的二进制分类问题。对于一个凸的、Lipschitz连续的光滑损失函数，给定合理的迭代次数，随机梯度法是稳定的。我们证明了SGM在给定的假设条件下很好地推广了近似核，并使用几个数据集对不同参数的理论结果进行了实证验证。
2018-04-21 cs.LG eess.SP stat.ML
How to Approximate Inference with Subtractive Mixture Models
University of Edinburgh（爱丁堡大学）；University of Warwick（沃里克大学）；KU Leuven（鲁汶大学）
本文研究了如何通过设计IS的期望估计器和VI的学习方案来有效利用减法混合模型，并评估其在分布近似中的表现，同时讨论了估计稳定性与学习效率的挑战。
2026-04-17 cs.LG stat.CO stat.ML
Scalable Lévy Process Priors for Spectral Kernel Learning
Cornell University（康奈尔大学）
高斯过程是函数上的丰富分布，具有由核函数确定的泛化特性。当用于长程外推时，预测对核参数的选择特别敏感。因此，在我们的预测分布中考虑内核的不确定性是至关重要的。我们提出了一个分布的内核通过建模的频谱混合密度与Lévy过程。由此产生的分布支持所有平稳协方差-包括流行的RBF，周期性和Matérn内核-结合归纳偏差，实现自动和数据有效的学习，长距离外推和最先进的预测性能。所提出的模型还提出了一种谱正则化的方法，因为Lévy过程引入了混合成分的稀疏诱导先验，允许自动选择模型阶数和修剪无关成分。我们利用所提出的过程的代数结构的$\mathcal{O}(n)$培训和$\mathcal{O}(1)$预测。我们进行外推合理的不确定性估计的几个基准，表明该模型可以恢复灵活的地面真协方差，它是鲁棒的初始化错误。
2018-02-02 cs.AI cs.LG stat.ML
Identifying Finite Mixtures of Nonparametric Product Distributions and Causal Inference of Confounders
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
我们提出了一个核方法来识别有限混合非参数乘积分布。它基于联合分布的Hilbert空间嵌入。构造的张量的秩等于混合分量的个数。我们提出了一种算法来恢复组件的数据点划分成集群，使变量是联合条件独立给定的集群。该方法可用于识别有限混杂因素。
2013-09-26 cs.AI cs.LG stat.ML
Statistical Optimality and Computational Efficiency of Nyström Kernel PCA
Pennsylvania State University（宾夕法尼亚州立大学）
核方法为从简单的线性方法开发非线性学习算法提供了一个优雅的框架。虽然这些方法在一些实际数据应用中具有优越的经验性能，但它们的实用性受到大样本情况下产生的显着计算负担的抑制。在文献中已经提出了各种近似方案，以减轻这些计算问题，近似核机器被证明保留的经验性能。然而，这些近似核机器的理论性质还不太清楚。在这项工作中，我们从理论上研究了Nyström近似核主成分分析（KPCA）的计算复杂性和统计精度之间的权衡，其中我们表明，Nyström近似KPCA匹配（非近似）KPCA的统计性能，同时保持计算上的优势。此外，我们表明，Nyström近似KPCA优于另一种流行的近似方案，随机特征近似，当应用于KPCA的统计行为。
2021-05-19 cs.LG math.ST stat.ML
Nearest Neighbor Dirichlet Mixtures
针对贝叶斯混合密度估计依赖 MCMC、计算慢且不稳定的问题，提出最近邻 Dirichlet 混合及并行 Monte Carlo 伪后验算法，并证明渐近性质与实证效果。
2023-02-23 stat.CO stat.ME stat.ML
Approximate Kernel PCA Using Random Features: Computational vs. Statistical Trade-off
核方法是允许执行非线性数据分析的强大学习方法。尽管它们很受欢迎，但它们在大数据场景中的可扩展性很差。已经提出了各种近似方法，包括随机特征近似，以缓解该问题。然而，除了核岭回归之外，大多数这些近似核方法的统计一致性还没有得到很好的理解，其中已经表明随机特征近似不仅在计算上有效，而且在统计上与最小最大最优收敛速率一致。在本文中，我们调查的核主成分分析（KPCA）的上下文中的随机特征近似的有效性，通过研究近似KPCA的计算和统计行为之间的权衡。我们表明，与KPCA相比，近似KPCA在计算和统计上都是有效的，因为根据核函数到相应特征空间的投影来重建核函数会产生误差。分析的关键在于自伴Hilbert-Schmidt算子值U-统计量的算子和Hilbert-Schmidt范数的Bernstein型不等式，它们是独立的。
2022-06-11 math.ST stat.ML stat.TH
Bayesian Approximate Kernel Regression with Variable Selection
非线性核回归模型常用于统计学和机器学习，因为它们比线性模型更准确。核回归模型的变量选择是一个挑战，部分原因是，与线性回归设置不同，回归系数的效应量没有明确的概念。在本文中，我们提出了一个新的框架，提供了一个效果大小模拟贝叶斯核回归模型的每个解释变量时，内核是平移不变的-例如，高斯内核。我们使用移位不变再生核希尔伯特空间（RKHS）的函数分析性质来定义一个线性向量空间，该线性向量空间：（i）捕获非线性结构，（ii）可以投影到原始解释变量上。对原始解释变量的投影作为效应量的模拟。我们使用的特定函数分析性质是，移位不变核函数可以通过随机傅立叶基来近似。基于随机傅立叶展开，我们提出了一类计算效率高的贝叶斯近似核回归（BAKR）模型的非线性回归和二进制分类，可以计算模拟的效果大小。我们通过研究统计遗传学中的两个重要问题来说明BAKR的实用性：基因组选择（即表型预测）和关联映射（即推断显著的变体或位点）。用于基因组选择和关联作图的现有技术方法分别基于核回归和线性模型。BAKR是第一种在这两种情况下都具有竞争力的方法。
2017-06-10 q-bio.QM stat.AP stat.ME
