Be More Diverse than the Most Diverse: Optimal Mixtures of Generative Models via Mixture-UCB Bandit Algorithms
Sharif University of Technology（谢里夫理工大学）；The Chinese University of Hong Kong（香港中文大学）
针对生成模型选择仅考虑单模型的局限，本研究将最优混合模型选择建模为多臂老虎机问题，提出Mixture-UCB算法，可高效找到优于单个模型的生成模型最优混合体，并验证了其在文本、图像生成任务中的有效性。
2025-03-22 cs.LG stat.ML
Kernel Density Matrices for Probabilistic Deep Learning
Universidad Nacional de Colombia（哥伦比亚国立大学）；Universidad de Antioquia（安蒂奥基亚大学）；MindLab
本文提出核密度矩阵方法，将量子密度矩阵扩展到再生核希尔伯特空间，为连续和离散变量的联合分布提供可微分、可组合且可逆的表示，并展示了其在分类、生成建模和带标签比例学习等任务中的有效性。
2024-04-30 cs.LG quant-ph stat.ML
Generalization, memorization, and overfitting for diffusion models trained in the lazy high-dimensional regime
Yale University（耶鲁大学）；Institute for Foundations of Data Science, Yale University（耶鲁大学数据科学基础研究所）
本研究针对惰性高维 regime 中训练的扩散模型，推导了梯度流训练下的精确风险轨迹，揭示了其泛化、记忆与过拟合的阶段机制，为生成式建模提供了理论分析框架。
2026-08-26 cs.LG math.ST stat.ML
Extrapolation and generative algorithms for three applications in finance
本文提出基于再生核希尔伯特空间（RKHS）的推断与生成算法，用于金融定价、反向压力测试和时间序列分析，并扩展定量模型有效性，支持条件分析及逃离高斯世界。
2024-04-20 cs.NA math.NA math.ST
Kernel-based Generative Learning in Distortion Feature Space
University of Rhode Island（罗德岛大学）
本文提出了一种新的基于核的生成式分类器，它是在一个失真子空间中使用多项式级数展开定义的，称为核失真（KD）分类器。提出了一种迭代核选择算法，通过不断地去除和添加核来稳定地提高分类性能。字符识别应用的实验结果不仅表明，所提出的生成分类器的性能优于许多现有的分类器，但也说明了它有不同的识别能力相比，最先进的判别分类器-深度信念网络。识别多样性表明，所提出的生成分类器和判别分类器的混合组合，可以进一步提高分类性能。两种混合组合方法，级联和堆叠，已被实现，以验证的多样性和改进的分类器。
2016-06-21 cs.LG stat.ML
Latent Space Exploration Using Generative Kernel PCA
KU Leuven（鲁汶大学）
核PCA是一种功能强大的特征提取器，最近在受限核机器（RKM）的上下文中进行了重新表述。这些RKM允许在类似于受限玻尔兹曼机的隐藏和可见单元方面表示内核PCA。这种联系导致了关于如何在生成过程中使用内核PCA的见解，称为生成内核PCA。在本文中，使用生成核PCA探索数据集的潜在空间。新的点可以通过在潜在空间中逐渐移动来生成，这允许对组件进行解释。首先，在三个数据集上显示了这种特征空间探索的示例，其中一个数据集导致ECG信号的可解释表示。之后，结合使用的工具与新颖性检测，在数据中的新模式周围的潜在空间进行了探索。这有助于解释为什么某些观点被认为是新颖的。
2021-05-28 cs.LG stat.ML
Generative and Latent Mean Map Kernels
Georgia Institute of Technology（佐治亚理工学院）
我们引入了两个扩展均值映射的内核，均值映射在希尔伯特空间中嵌入概率测度。生成均值映射核（GMMK）是概率模型之间的平滑相似性度量。潜在均值映射核（LMMK）推广了经验分布的希尔伯特空间嵌入的非iid公式，以纳入潜在变量模型。当比较某些类别的分布时，GMMK表现出有益的正则化和泛化特性，这在以前的生成内核中没有表现出来。我们目前的实验比较支持向量机的性能，使用GMMK和LMMK之间的隐马尔可夫模型的其他方法的性能离散和连续观测序列数据。结果表明，在许多情况下，GMMK具有泛化误差竞争或优于其他方法。
2010-05-03 cs.LG stat.ML
Kernel Change-point Detection with Auxiliary Deep Generative Models
Carnegie Mellon University（卡内基梅隆大学）
检测时间序列中突然属性变化的出现是一个具有挑战性的问题。核两样本检验方法比传统的参数方法对样本分布的假设更少。然而，选择核在实践中是不平凡的。虽然人们已经研究了双样本检验的核选择问题，但在变点检测问题中样本的不足阻碍了核选择算法的成功。在本文中，我们提出了KL-CPD，一种新的内核学习框架的时间序列CPD，通过辅助生成模型优化测试功率的下限。KL-CPD通过深度核参数化，将数据驱动的核赋予核双样本测试，以检测实际应用中不同类型的变点。在我们对基准数据集和模拟研究的比较评估中，所提出的方法显着优于其他最先进的方法。
2019-01-18 cs.LG stat.ML
Learning Discriminative Metrics via Generative Models and Kernel Learning
University of Southern California（南加州大学）；University of Pennsylvania（宾夕法尼亚大学）
指定数据点之间的距离的距离可以以区别性方式或从生成模型中学习。在本文中，我们展示了如何通过一个内核学习框架来统一度量的生成学习和判别学习。具体来说，我们学习从参数生成模型优化的局部度量。然后，这些被用作基本内核，以构建一个全局内核，最大限度地减少一个歧视性的训练标准。我们考虑局部度量核的线性和非线性组合。我们的实证结果表明，这些组合显着提高分类任务的性能。所提出的学习算法也是非常有效的，实现了数量级的训练时间相比，以前的判别基线方法的加速。
2011-09-19 cs.AI cs.LG stat.ME
Kernel-Guided Training of Implicit Generative Models with Stability Guarantees
现代隐式生成模型，如生成对抗网络（GANs），通常存在不稳定、不可解释性和难以评估其性能等问题。如果我们将这些隐式模型视为动力系统，那么其中一些问题是由于在训练过程中无法以有意义的方式控制其行为而引起的。在这项工作中，我们提出了一种理论上有基础的方法来指导GANs的训练轨迹，方法是用基于内核的正则化项来增强GAN损失函数，该正则化项控制模型与真实分布之间的局部和全局差异。这个控制信号允许我们将先验知识注入模型。我们提供的动力系统的稳定性的理论保证，并通过广泛的实验证明它的不同方面。
2019-11-03 cs.LG math.DS stat.ML
Kernel-Based Training of Generative Networks
Rutgers University（罗格斯大学）；University of Patras（帕特雷大学）
生成对抗网络（GANs）是在最小-最大优化问题的帮助下设计的，这些优化问题是用随机梯度型算法解决的，而这些算法是非鲁棒的。在这项工作中，我们重新审视了一个非对抗性的方法依赖于一个纯粹的最小化问题的内核，并提出了一个简单的随机梯度算法计算其解决方案。使用随机逼近理论的简化工具，我们证明了批量版本的算法或平滑的梯度不会提高收敛性。这些观察允许开发一种训练算法，该算法具有降低的计算复杂性和增加的鲁棒性，同时表现出与经典GANs相似的合成特性。
2018-11-23 cs.LG stat.ML
Statistical inference on black-box generative models in the data kernel perspective space
Johns Hopkins University（约翰霍普金斯大学）；Nomic AI
本文提出在数据核视角空间中对黑盒生成模型进行统计推断，扩展了模型表示方法，并验证其在多种推断任务中的有效性。
2025-05-22 cs.LG stat.ML
Generative models with kernel distance in data space
处理建模联合数据分布的生成模型通常基于自动编码器或GAN。两者各有利弊，分别会产生模糊的图像或在训练中不稳定或容易出现模式坍塌现象。本文的目标是构建一个介于上述体系结构之间的~模型，该模型不继承它们的主要弱点。所提出的LCW发生器（潜在的Cramer-Wold发生器）类似于一个经典的GAN在转换高斯噪声到数据空间。最重要的是，LCW生成器使用核距离而不是~ Σ。没有使用对抗训练，因此命名为生成器。培训分两个阶段进行。首先，一个自动编码器为基础的架构，使用内核措施，建立了一个流形的数据模型。为了得到最终的模型，我们提出了一个将高斯映射到潜在的潜在技巧。这导致非常有竞争力的FID值。
2020-09-15 cs.CV cs.LG stat.ML
Forward Operator Estimation in Generative Models with Kernel Transfer Operators
Carnegie Mellon University（卡内基梅隆大学）；Butlr（Butlr公司）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
使用显式密度建模的生成模型（例如，变分自编码器、基于流的生成模型）涉及找到从已知分布（例如高斯分布）到未知输入分布的映射。这通常需要搜索一类非线性函数（例如，可由深度神经网络表示）。虽然在实践中是有效的，但是相关的运行时/内存成本可能会迅速增加，通常是应用程序中所需性能的函数。我们提出了一个更便宜（和更简单）的战略，以估计这种映射的基础上，适应已知的结果，在内核传输运营商。我们表明，我们的配方能够实现高效的分布近似和采样，并提供了令人惊讶的良好的经验性能，与强大的基线相比，但具有显着的运行时间节省。我们表明，该算法也表现良好，在小样本量的设置（在脑成像）。
2021-12-01 cs.CV cs.LG stat.ML
Kernel-Guided Training of Implicit Generative Models with Stability Guarantees
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；ETH Zürich（苏黎世联邦理工学院）
现代隐式生成模型，如生成对抗网络（GANs），通常存在不稳定、不可解释性和难以评估其性能等问题。如果我们将这些隐式模型视为动力系统，那么其中一些问题是由于在训练过程中无法以有意义的方式控制其行为而引起的。在这项工作中，我们提出了一种理论基础的方法来指导GANs的训练轨迹，通过使用基于内核的正则化项来增强GAN损失函数，该正则化项控制模型与真实分布之间的局部和全局差异。这个控制信号允许我们将先验知识注入模型。我们提供的动力系统的稳定性的理论保证，并通过广泛的实验证明它的不同方面。
2019-11-06 cs.LG stat.ML
Online Kernel based Generative Adversarial Networks
Georgia Institute of Technology（佐治亚理工学院）；Carnegie Mellon University（卡内基梅隆大学）
在过去五年中，深度学习的重大突破之一是生成对抗网络（GAN），这是一种基于神经网络的生成模型，旨在模拟给定样本数据集的一些底层分布。与许多有监督的问题不同，在这些问题中，人们试图最小化参数的简单目标函数，GAN训练被公式化为一对网络参数上的最小-最大问题。虽然经验上GANs在几个领域取得了令人印象深刻的成功，但研究人员一直对不寻常的训练行为感到困惑，包括循环所谓的模式坍塌。在本文中，我们首先提供了一种定量方法来探索GAN训练中的一些挑战，并以经验的方式展示了这与神经网络的参数性质之间的关系。我们提出了一种新的方法，解决了许多这些问题，依赖于一个基于内核的非参数神经网络，是非常适合在线培训-我们称之为在线基于内核的生成对抗网络（OKGAN）。我们的经验表明，OKGAN减轻了一些训练问题，包括模式坍塌和循环，并且更符合理论保证。在合成数据上，OKGAN在反向KL发散方面的经验表现明显优于其他GAN公式;在MNIST、SVHN和CelebA等经典视觉数据集上，表现出相当的性能。
2020-06-19 cs.LG stat.ML
A Bias-Variance-Covariance Decomposition of Kernel Scores for Generative Models
German Cancer Research Center (DKFZ)（德国癌症研究中心）；German Cancer Consortium (DKTK)（德国癌症联盟）；Goethe University Frankfurt（法兰克福大学）；Frankfurt Cancer Institute (FCI)（法兰克福癌症研究所）
针对生成模型缺乏不确定性评估理论框架的问题，提出核分数的偏差-方差-协方差分解，推导核方差与熵的无偏一致估计量，经多模态实验验证其性能优于基线且适用于闭源模型。
2024-07-10 cs.LG stat.ML
Discriminative Viewer Identification using Generative Models of Eye Gaze
University of Potsdam（波茨坦大学）
我们研究的问题，确定观众的任意图像的基础上，他们的眼睛注视。心理学研究已经推导出眼动的生成随机模型。为了利用这个背景知识内的歧视性训练的分类模型，我们从不同的生成模型的眼睛凝视费舍尔内核。实验上，我们发现分类器的性能强烈依赖于底层的生成模型。使用具有Fisher核的SVM提高了底层生成模型的分类性能。
2020-03-25 cs.LG stat.ML
Generative Ratio Matching Networks
MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室）；University of Edinburgh（爱丁堡大学）；Google AI（谷歌人工智能）
深度生成模型可以学习生成逼真的图像，但许多最有效的方法是对抗性的，涉及鞍点优化，这需要在生成器网络和评论器网络之间仔细平衡训练。最大平均差异网络（MMD-nets）通过使用内核作为固定对手来避免这个问题，但不幸的是，它们本身无法匹配对抗训练的生成质量。在这项工作中，我们进一步利用他们使用内核作为固定对手的见解，并提出了一种新的方法来训练不涉及鞍点优化的深度生成模型。我们称我们的方法为生成比匹配或简称为matching。在这个过程中，生成器网络和批评者网络并不相互进行零和游戏，而是针对一个固定的内核。因此，递归网络不仅像MMD网络一样对训练稳定，而且它们还匹配并击败了对抗训练的生成网络的生成质量。
2020-02-15 cs.LG stat.ML
Identifiability and Stability of Generative Drifting in the Companion-Elliptic Kernel Family
Department of Mathematical Sciences, Korea Advanced Institute of Science and Technology (KAIST)（数学科学系，韩国科学技术院（KAIST））
本文研究了生成漂移框架下漂移场的可识别性和稳定性，引入伴随椭圆核族以解决标准高斯分数场论证失效的问题，并证明该族包含拉普拉斯核和具有平滑参数ν≥1/2的高斯和马特恩核，从而建立任意Borel概率测度下的场可识别性及稳定性条件。
2026-08-14 cs.LG stat.ML
Reflected Schrödinger Bridge for Constrained Generative Modeling
Morgan Stanley（摩根士丹利）；Meta AI (FAIR)（Meta AI（FAIR））
本文提出 Reflected Schrödinger Bridge 算法，通过推导反射前向-后向随机微分方程并引入熵正则化最优传输，解决了反射扩散模型在有界域生成中适应性差且不保证最优传输的问题，实现了跨域的稳健生成建模。
2024-01-06 cs.LG stat.ML
Kernel Stein Generative Modeling
Carnegie Mellon University（卡内基梅隆大学）；Google（谷歌）；IBM Research（IBM研究院）
我们感兴趣的是基于梯度的显式生成建模，其中样本可以根据数据分布的得分函数的估计从迭代梯度更新中获得。随机梯度朗之万动力学（SGLD）的最新进展展示了基于能量的模型在高维和复杂数据分布上的令人印象深刻的结果。Stein变分梯度下降（SVGD）是一种确定性采样算法，其基于减小库尔贝克-莱布勒散度的函数梯度下降来迭代地传输一组粒子以近似给定分布。SVGD在几个贝叶斯推断应用上有很好的结果。然而，应用SVGD高维问题仍然是探索不足。本文的目标是研究基于SVGD的高维推理。我们首先确定在高维的实际内核SVGD推理的关键挑战。我们提出了噪声条件核SVGD（NCK-SVGD），它与最近推出的噪声条件得分网络估计器协同工作。NCK对于高维SVGD的成功推理至关重要，因为它使内核适应分数估计的噪声水平。当我们对噪声进行退火时，NCK-SVGD以真实数据分布为目标。然后，我们扩展退火SVGD与熵正则化。我们表明，这提供了一个灵活的控制样本质量和多样性之间，并验证它的经验精度和召回评估。NCK-SVGD在计算机视觉基准测试（包括MNIST和CIFAR-10）上产生了与GANs和退火SGLD相当的样本。
2020-07-06 cs.CV cs.LG stat.ML
Debiasing Kernel-Based Generative Models
Lehigh University（里海大学）
提出去偏核基生成模型（DKGM），结合核密度估计与随机逼近，通过两阶段框架生成高质量图像，在CIFAR10等基准上达到与扩散模型和GAN相当的性能。
2025-03-26 cs.AI stat.ML
Theoretical Insights into the Use of Structural Similarity Index In Generative Models and Inferential Autoencoders
University of Waterloo（滑铁卢大学）
生成式模型和推理式自动编码器在其优化目标中大多使用$\ell_2$范数。为了生成感知更好的图像，本文从理论上讨论了如何在生成模型和推理自动编码器中使用结构相似性指数（SSIM）。我们首先回顾SSIM、SSIM距离度量和SSIM内核。我们表明，SSIM内核是一个通用的内核，因此可以用于无条件和有条件生成的矩匹配网络。然后，我们解释如何在变分和对抗自动编码器以及无条件和条件生成对抗网络（GANs）中使用SSIM距离。最后，我们建议在最小二乘GAN中使用SSIM距离而不是$\ell_2$范数。
2020-04-04 cs.CV cs.LG eess.IV
Kernel Mean Matching for Content Addressability of GANs
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Georgia Institute of Technology（佐治亚理工学院）
我们提出了一种新的程序，它增加了“内容寻址”到任何给定的无条件隐式模型，例如，生成对抗网络（GAN）。该程序允许用户通过指定一组（任意大小）所需的示例来控制生成过程，基于这些示例，从模型中生成类似的样本。所提出的方法，基于核均值匹配，适用于任何生成模型，将潜在向量转换为样本，并且不需要重新训练的模型。对各种高维图像生成问题（CelebA-HQ、LSUN卧室、桥、塔）的实验表明，该方法能够生成与输入集一致的图像，同时保持原始模型的图像质量。据我们所知，这是第一个尝试在测试时从训练的边缘模型构建内容可寻址生成模型的工作。
2019-05-14 cs.CV cs.LG stat.ML
Non-parametric estimation of Jensen-Shannon Divergence in Generative Adversarial Network training
生成对抗网络（GANs）已经成为一个广泛流行的框架，用于高维数据集的生成建模。然而，他们的训练是众所周知的困难。这项工作对GANs进行了严格的统计分析，为常见的训练病态（如梯度消失）提供了直接的解释。此外，它提出了一种新的训练目标，核GANs，并证明了其在大规模真实世界数据集上的实际有效性。分析中的一个关键因素是关于（未知）数据分布的训练与其经验对应物之间的区别。为了克服GAN训练中的问题，我们追求通过将噪声合并到训练器的输入分布中来平滑Jensen-Shannon散度（JSD）的想法。正如我们所展示的，这有效地导致了JSD的经验版本，其中真实和生成器密度被核密度估计所取代，这导致了核GANs。
2017-10-15 stat.ML
Gradients of Generative Models for Improved Discriminative Analysis of Tandem Mass Spectra
University of California, Davis（加州大学戴维斯分校）
串联质谱（MS/MS）是一种高通量技术，用于鉴定复杂生物样品（如一滴血）中的蛋白质。在该过程的输出处生成光谱的集合，其中每个光谱代表原始复杂样品中存在的肽（蛋白质子序列）。在这项工作中，我们利用生成模型的对数似然梯度来提高这种光谱的识别。特别是，我们表明，最近提出的动态贝叶斯网络（DBN）的梯度可以自然地采用基于核的判别分类。由此产生的Fisher核大大改善了最近尝试将生成和判别模型结合起来进行后处理分析的尝试，在评估的数据集上优于所有其他方法。我们通过引入Theseus，DBN代表大量广泛使用的MS/MS评分函数，将Fisher内核框架提供的改进精度扩展到其他搜索算法。此外，通过梯度上升和最大乘积推理，我们使用Theseus在没有任何监督的情况下学习模型参数。
2019-09-04 cs.LG q-bio.QM stat.ML
Concentration bounds on response-based vector embeddings of black-box generative models
本文研究了基于响应的生成模型向量嵌入的集中界，通过数据核视角空间嵌入方法，在适当正则条件下推导出样本向量嵌入的高概率集中界，并确定所需样本响应数量以实现目标精度的群体嵌入近似。
2026-06-27 cs.LG stat.ML
Implicit Kernel Learning
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究（中心/部门））
内核是机器学习和统计学中功能强大且用途广泛的工具。虽然已经研究了通用核和特征核的概念，但核的选择仍然极大地影响了经验性能。虽然已经研究了以数据驱动的方式学习内核，但在本文中，我们探索了通过由深度神经网络参数化的隐式生成模型来学习内核的谱分布。我们称之为隐式核学习（IKL）。所提出的框架是简单的训练和推理是通过采样随机傅立叶特征。我们研究了所提出的IKL作为例子的两个应用，包括具有MMD的生成对抗网络（MMD GAN）和标准监督学习。从经验上看，MMD GAN与IKL在图像和文本生成基准上的表现优于vanilla预定义内核;使用IKL与Random Kitchen Sinks也导致了对流行监督学习基准的现有最先进内核学习算法的实质性改进。在这两个应用中使用IKL的理论和条件也进行了研究，以及连接到以前的国家的最先进的方法。
2019-02-26 cs.AI cs.LG stat.ML
Generative Sliced MMD Flows with Riesz Kernels
University College London（伦敦大学学院）；Technische Universität Berlin（柏林工业大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）
本文提出基于Riesz核的切片MMD流，通过将计算降至一维并利用排序算法大幅降低复杂度，从而能用神经网络高效训练生成模型，并在多个图像数据集上验证了效果。
2024-02-20 cs.LG math.PR stat.ML
Time-changed normalizing flows for accurate SDE modeling
Univ Brest（布雷斯特大学）；IMT Atlantique（大西洋电信学院）
本文提出时变归一化流TCNF，通过对Brown运动作时间形变来建模传统动态归一化流无法表示的SDE，并推广已有方法、提升推断与预测性能。
2024-01-15 cs.LG stat.ML
Wasserstein proximal operators describe score-based generative models and resolve memorization
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of South Carolina, Columbia（南卡罗来纳大学哥伦比亚分校）
本文通过Wasserstein近端算子和平均场博弈揭示基于分数的生成模型的数学结构，提出可解释的核模型以提升训练效率并解决记忆效应，同时为流形学习和泛化提供新解释。
2024-02-09 cs.LG stat.ML
Statistical Inference for Generative Model Comparison
Marshall School of Business, University of Southern California, USA（美国南加州大学马歇尔商学院）；Department of Mathematical Science, New Jersey Institute of Technology, USA（美国新泽西理工学院数学科学系）；School of Statistics, Beijing Normal University, People’s Republic of China（中国北京师范大学统计学院）
研究如何比较不同生成模型与测试样本潜在分布的接近程度，核心方法是用KL散度衡量距离并扩展到条件生成模型，利用Edgeworth展开处理有限数据，在模拟及图像文本数据集上有有效覆盖率且结论有统计置信度。
2026-07-24 cs.LG stat.ML
Local Convergence of Gradient Descent-Ascent for Training Generative Adversarial Networks
UCLA（加州大学洛杉矶分校）；UCSD（加州大学圣地亚哥分校）；NYU（纽约大学）
本文在孤立点模型假设下通过线性化非线性动力系统，分析了基于核判别器的GAN训练中梯度下降-上升方法的局部收敛性，揭示了学习率、正则化和核带宽对收敛、振荡或发散相变的影响，并用数值模拟验证了理论结果。
2023-05-29 cs.LG stat.ML
Image Registration and Predictive Modeling: Learning the Metric on the Space of Diffeomorphisms
The Institute for Information Transmission Problems（信息传输问题研究所）；Higher School of Economics（高等经济学院）；University of Pennsylvania（宾夕法尼亚大学）；Indiana University（印第安纳大学）；Northwestern University Feinberg School of Medicine（西北大学范伯格医学院）；Illinois Institute of Technology（伊利诺伊理工学院）
我们提出了一种度量优化的方法在大变形同构度量映射（LDDMM）的框架下，通过处理诱导黎曼度量空间的同构作为一个内核在机器学习上下文中。为了简单起见，我们选择核Fischer线性判别分析（KLDA）作为框架。在期望最大化框架中优化核参数，我们通过决策函数的铰链损失定义模型保真度。由此产生的算法优化的LDDMM范数诱导微分算子的参数作为一个解决方案，以组明智的注册和分类问题。在实践中，这可能会导致生物意识登记，将注意力集中在手头的预测任务上，例如确定疾病的影响。我们首先在合成数据集上测试了我们的算法，结果表明我们的参数选择提高了配准质量和分类精度。然后，我们在来自精神分裂症队列Schizconnect的3D皮层下形状上测试了该算法。与基线参数相比，我们的精神分裂症对照预测模型显示ROC AUC显着改善。
2018-08-10 cs.CV cs.LG stat.ML
Diffusion map particle systems for generative modeling
Massachusetts Institute of Technology（麻省理工学院）
提出扩散映射粒子系统（DMPS），结合扩散映射与LAWGD实现无需离线训练、少调参的生成建模，在中等维度数据上表现更优。
2024-12-18 cs.LG stat.CO stat.ML
Adaptive generative moment matching networks for improved learning of dependence structures
Department of Statistics and Actuarial Science, The University of Hong Kong（香港大学统计与精算科学系）
提出自适应带宽选择的最大均值差异混合核用于生成矩匹配网络，通过增加核数量和早停策略提升训练性能，在copula随机数生成、高维收敛率及金融数据依赖建模中优于传统方法。
2026-06-12 cs.LG stat.CO stat.ML
Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院（KAIST））
本文提出Riemannian Diffusion Mixture框架，通过混合桥过程构建流形生成扩散模型，避免热核估计，实现高效可扩展训练。
2024-06-02 cs.LG stat.ML
Variational Weighting for Kernel Density Ratios
Korea Institute for Advanced Study（韩国高等研究院）；Seoul National University（首尔大学）；Saige Research；POSTECH（浦项科技大学）；Hanyang University（汉阳大学）
该研究针对核密度估计在密度比计算中的偏差问题，借助多维变分法推导最优权重函数，提升了预测后验与信息论测度的估计效果，还揭示了密度估计的相关基础特性。
2023-11-06 cs.LG stat.ML
Support-Conditioned Flow Matching Is Kernel Smoothing
Department of Computer Science（计算机科学系）；University of Washington（华盛顿大学）
本文通过核平滑理论揭示流匹配中支持集的核密度估计机制，证明流时间影响核带宽，并验证跨注意力在高维数据中的局限性。
2026-05-13 cs.LG stat.ML
Time-aware Large Kernel Convolutions
Carleton University（卡尔顿大学）
到目前为止，大多数最先进的序列建模架构使用注意力来构建基于语言的任务的生成模型。这些模型中的一些使用所有可用的序列令牌来生成注意力分布，这导致$O(n^2)$的时间复杂度。或者，它们利用具有大小为$k$的softmax归一化内核的dependency卷积作为有限窗口自注意，导致时间复杂度为$O(k{\cdot}n)$。在本文中，我们介绍了时间感知大内核（Taq）卷积，这是一种新的自适应卷积运算，它学习预测求和内核的大小，而不是使用固定大小的内核矩阵。该方法产生$O(n)$的时间复杂度，有效地使序列编码过程与令牌的数量成线性关系。我们评估了所提出的方法在大规模标准机器翻译，抽象摘要和语言建模数据集，并表明，TaLK卷积构成了一个有效的改进其他注意力/卷积为基础的方法。
2020-06-19 cs.CL cs.LG stat.ML
MMD GAN: Towards Deeper Understanding of Moment Matching Network
Carnegie Mellon University（卡内基梅隆大学）；AI Foundations, IBM Research（IBM研究院人工智能基础部）
生成矩匹配网络（Generative Moment Matching Network，GMMN）是一种深度生成模型，它与生成对抗网络（Generative Adversarial Network，GAN）的不同之处在于将生成对抗网络（Generative Adversarial Network，GAN）中的随机性检验替换为基于核最大均值差异（MMD）的双样本检验。虽然已经研究了MMD的一些理论保证，但在具有挑战性的大型基准数据集上，GMMN的经验性能仍然不如GAN具有竞争力。与GAN相比，GMMN的计算效率也不太理想，部分原因是其在训练期间需要相当大的批量大小。在本文中，我们建议通过引入对抗核学习技术来提高GMMN的模型表达能力和计算效率，作为原始GMMN中固定高斯核的替代。新方法结合了GMMN和GAN的核心思想，因此我们称之为MMD GAN。MMD GAN中的新距离度量是一种有意义的损失，具有弱拓扑的优点，并且可以通过梯度下降以相对较小的批量大小进行优化。在MNIST、CIFAR- 10、CelebA和LSUN等多个基准数据集上的评测结果表明，MMD-GAN的性能明显优于GMMN，与其他代表性的GAN作品相比具有竞争力。
2017-11-27 cs.AI cs.LG stat.ML
Separation Results between Fixed-Kernel and Feature-Learning Probability Metrics
New York University（纽约大学）；IBM Research AI（IBM研究院）
隐式和显式生成建模的几项工作经验地观察到，特征学习鉴别器在模型的样本质量方面优于固定内核鉴别器。我们分别使用函数类$\mathcal{F}_2$和$\mathcal{F}_1$提供固定核和特征学习判别器的概率距离之间的分离结果，这些函数类是为了研究过参数化的两层神经网络而开发的。特别是，我们构建了一对分布在超球，不能区分的固定核$(\mathcal{F}_2)$积分概率距离（IPM）和Stein差异（SD）在高维，但可以区分他们的特征学习（$\mathcal{F}_1$）的同行。为了进一步研究分离，我们提供了$\mathcal{F}_1$和$\mathcal{F}_2$ IPM之间的联系，并使用切片瓦瑟斯坦距离。我们的工作表明，固定内核鉴别器的性能比他们的特征学习同行，因为他们相应的指标较弱。
2021-11-01 cs.LG math.PR math.ST
On the minimax optimality of Flow Matching through the connection to kernel density estimation
Ruhr University Bochum and Karlsruhe Institute of Technology（博鲁姆鲁尔大学和卡尔斯鲁厄理工学院）
本文通过将流匹配与核密度估计联系起来，证明了流匹配在Wasserstein距离下的最优收敛速率，并展示了其在高维设置中的理论基础。
2026-10-30 cs.LG math.ST stat.ML
Lower Dimensional Kernels for Video Discriminators
The University of Edinburgh（爱丁堡大学）；Heriot-Watt University（赫瑞-瓦特大学）；FiveAI
这项工作提出了一个用于视频生成对抗网络（GANs）的鉴别器的分析。我们发现，无约束的视频流架构诱导高曲率的损失面，使优化困难。我们还表明，这种曲率变得更加极端的视频鉴别器的最大内核尺寸的增加。有了这些观察结果，我们提出了一系列有效的低维视频鉴别器GANs（LDVD GANs）。所提出的鉴别器系列提高了它们所应用的视频GAN模型的性能，并在复杂和多样化的数据集（如UCF-101）上表现出良好的性能。特别是，我们证明了它们可以将Temporal-GAN的性能提高一倍，并在单个GPU上提供最先进的性能。
2019-12-18 cs.CV cs.LG eess.IV
Conditional COT-GAN for Video Prediction with Kernel Smoothing
London School of Economics（伦敦政治经济学院）；ETH Zurich（苏黎世联邦理工学院）
因果最优运输（COT）是在经典的最优运输问题上施加时间因果约束的结果，它自然地产生了一个新的概念，即路径空间上分布之间的距离。Xu等人（2020）首次将COT理论应用于顺序学习，其中COT-GAN被引入作为对抗算法，用于训练优化的隐式生成模型以产生顺序数据。依靠（Xu et al.，2020年），本文的贡献是双重的。首先，我们开发了一个适合序列预测的COT-GAN的条件版本。这意味着现在使用数据集来了解序列在观察其过去演变的情况下将如何演变。其次，我们通过核平滑修改经验测量来改进收敛结果（Pflug and Pichler（2016））。所得到的内核条件COT-GAN算法与视频预测的应用程序进行说明。
2022-01-27 cs.AI cs.CV cs.LG
