A Class-aware Optimal Transport Approach with Higher-Order Moment Matching for Unsupervised Domain Adaptation
Monash University（莫纳什大学）；Adobe Research（Adobe研究院）
针对无监督域适应中的数据与标签偏移问题，提出结合类别感知高阶矩匹配的类别感知最优传输方法，采用深度神经网络实现高效计算，实验效果优于现有最优基线。
2024-01-29 cs.AI cs.CV cs.LG
Moment-Matching Conditions for Exponential Families with Conditioning or Hidden Data
使用指数族的最大似然学习导致充分统计量的矩匹配，这是一个经典的结果。这可以推广到条件指数族和/或当存在隐藏数据时。本文给出了这些广义矩匹配条件的第一原理解释，以及一个独立的推导。
2020-01-07 cs.LG stat.ML
Moment-Matching Graph-Networks for Causal Inference
在本文中，我们探索了一个完全无监督的深度学习框架，用于从观测训练数据中模拟非线性结构方程模型。本文的主要贡献是将矩匹配损失函数应用于因果贝叶斯图的边缘，从而生成条件矩匹配图神经网络。因此，该框架使得能够对各种图形干预的潜在空间条件概率分布进行自动采样，并且能够生成样本外干预概率，该样本外干预概率通常忠实于远超出训练集中包含的范围的地面实况分布。这些方法原则上可以与任何现有的自动编码器结合使用，该自动编码器产生包含因果图结构的潜在空间表示。
2020-07-27 cs.LG stat.ML
Moment Matching Denoising Gibbs Sampling
Centre for Artificial Intelligence（人工智能中心）；University College London（伦敦大学学院）
针对去噪分数匹配训练的能量模型存在不一致性，提出矩匹配的（伪）吉布斯采样框架，从带噪声模型中有效采样底层干净模型，并扩展到高维数据。
2024-03-19 cs.LG stat.ML
DWMD: Dimensional Weighted Orderwise Moment Discrepancy for Domain-specific Hidden Representation Matching
Xi’an Jiaotong University（西安交通大学）
在无监督领域自适应（UDA）中，从源领域到不同但语义相关的目标领域的知识转移一直是一个重要的课题。该领域的一个关键挑战是建立一个度量标准，可以准确地测量两个同质域之间的数据分布差异，并采用它的分布对齐，特别是在隐藏的激活空间中的特征表示的匹配。现有的分布匹配方法在实际应用中既不能显式地按序对齐高阶矩，也不能满足某些假设的前提。我们提出了一种新的基于矩的概率分布度量称为维度加权有序矩差异（DWMD）的特征表示匹配的UDA方案。我们的度量函数利用了一系列高阶矩对齐，我们从理论上证明了我们的DWMD度量函数是无误差的，这意味着它可以严格反映域之间的分布差异，是有效的，没有任何特征分布假设。此外，由于每个特征维度中的概率分布之间的差异是不同的，因此在我们的函数中考虑了维度加权。我们进一步计算了DWMD度量的经验估计在实际应用中的误差界。在基准数据集上的综合实验表明，我们的方法产生了最先进的分布度量。
2020-07-18 cs.LG stat.ML
Momentum Multi-Marginal Schrödinger Bridge Matching
Georgia Institute of Technology（佐治亚理工学院）；FAIR at Meta（Meta 的 FAIR）
3MSBM通过学习满足多位置约束的随机系统光滑测度值样条，改进了多边际设置中匹配框架的收敛性和可扩展性。
2025-11-25 cs.LG stat.ML
Implicit Density Estimation by Local Moment Matching to Sample from Auto-Encoders
University of Montreal（蒙特利尔大学）
最近的工作表明，一些自动编码器变体在捕获未知数据生成密度的局部流形结构方面做得很好。本文有助于从数学上理解这一现象，并有助于基于自动编码器变体为深度学习定义更合理的采样算法。我们考虑MCMC，其中每个步骤从高斯采样，其均值和协方差矩阵取决于先前的状态，通过其渐近分布定义目标密度。首先，我们证明了这些均值和协方差函数的良好选择（在一致性的意义上）是该目标密度下的局部期望值和协方差。然后，我们表明，一个压缩惩罚的自动编码器捕获这些局部矩在其重建函数和雅可比矩阵的估计。因此，这项工作的贡献是一种新的替代最大似然密度估计，我们称之为本地矩匹配。它还证明了最近提出的压缩自动编码器的采样算法，并将其扩展到去噪自动编码器。
2012-06-30 cs.LG stat.ML
Online and Distributed learning of Gaussian mixture models by Bayesian Moment Matching
David R. Cheriton School of Computer Science, University of Waterloo（滑铁卢大学大卫·R·切里顿计算机科学学院）
高斯混合模型是聚类和数据建模的经典技术，在许多应用中使用。随着大数据的兴起，需要能够处理流数据并将计算分布在多个处理器上的参数估计技术。虽然存在期望最大化（EM）算法的在线变体，但它们的数据效率因E步的随机近似而降低，并且不清楚如何将计算分布在多个处理器上。我们提出了一种贝叶斯学习技术，自然适合在线和分布式计算。由于贝叶斯后验是不听话的，我们将其投影到一个家庭听话的分布后，每个观察匹配一组足够的时刻。在一组数据建模基准上，这种贝叶斯矩匹配技术在时间和精度方面优于在线EM。
2016-09-19 cs.AI cs.LG stat.ML
Of Moments and Matching: A Game-Theoretic Framework for Closing the Imitation Gap
Carnegie Mellon University（卡内基梅隆大学）；Aurora Innovation（奥罗拉创新公司）
我们提供了一个统一的观点，以前的模仿学习算法通过镜头的时刻匹配的大家庭。在其核心，我们的分类方案是基于学习者是否试图匹配（1）奖励或（2）专家行为的行动价值时刻，每个选项导致不同的算法方法。通过考虑学习者和专家行为之间的对立选择分歧，我们能够推导出适用于这些类中的所有算法的政策性能的界限，这是我们所知的第一个。我们还介绍了瞬间可恢复性的概念，隐含在许多以前的分析模仿学习，这使我们能够清楚地描绘如何以及每个算法家族能够减轻复合错误。我们推导出三种新的算法模板（AdVIL，AdRIL和DAeQuIL）具有强有力的保证，简单的实现，和竞争力的经验性能。
2021-06-10 cs.LG cs.RO stat.ML
Message passing with relaxed moment matching
Purdue University（普渡大学）
贝叶斯学习经常受到大量计算费用的阻碍。期望传播作为普遍信念传播的一种有效推广，有效地逼近了精确贝叶斯计算。然而，EP可能对异常值敏感，并且在困难的情况下会出现发散。为了解决这个问题，我们提出了一个新的近似推理方法，放松期望传播（REP）。它通过在KL最小化中加入一个松弛因子来放松期望传播的矩匹配要求。我们用$l_1$惩罚来惩罚这种松弛。因此，当松弛KL散度中的两个分布相似时，松弛因子将被惩罚为零，因此，我们获得原始矩匹配;在存在离群值的情况下，这两个分布显著不同，松弛因子将用于减少离群值的贡献。基于这种惩罚KL最小化，REP对离群值具有鲁棒性，并且可以大大提高EP的后验近似质量。为了检验REP的有效性，我们将其应用于高斯过程分类，这是一项适合EP的任务。我们在合成和UCI基准数据集上的分类结果表明，REP在算法稳定性、估计准确性和预测性能方面比EP和Power EP有显着改善。
2012-08-29 cs.LG stat.CO stat.ML
Inductive Moment Matching
Luma AI；Stanford University（斯坦福大学）
提出单阶段训练的归纳矩匹配（IMM）生成模型，支持单步或少步采样，无需预训练初始化或双网络优化，兼具稳定训练与分布收敛保证，并在 ImageNet 与 CIFAR-10 上取得领先 FID。
2025-05-14 cs.AI cs.LG stat.ML
Q-MMR: Off-Policy Evaluation via Recursive Reweighting and Moment Matching
Nanjing University（南京大学）
Q-MMR提出了一种新的理论框架，用于有限时间 horizon MDPs 的非策略评估，通过递归加权和矩匹配目标函数学习权重，实现目标策略下的预期回报近似，并在无样本条件下提供函数逼近的有限样本保证。
2026-10-26 cs.AI cs.LG stat.ML
On the Nash equilibrium of moment-matching GANs for stationary Gaussian processes
Université de Toulouse（图卢兹大学）；INP（国立理工学院）；IRIT（图卢兹计算机科学研究所）
生成对抗网络（GANs）通过两人游戏从数据样本中学习隐式生成模型。本文研究了当数据样本数增长到无穷大时，博弈的纳什均衡的存在性。在一个可实现的设置的目标是估计地面实况发生器的平稳高斯过程，我们表明，一致的纳什均衡的存在至关重要地取决于的选择的家庭。由二阶统计矩所定义的非一致性可以导致Nash均衡不存在、一致非Nash均衡存在或一致Nash均衡存在且唯一，这取决于生成元族的对称性是否被尊重.我们进一步实证研究了梯度下降-上升方法向一致平衡点的局部稳定性和全局收敛性。
2022-09-12 cs.GT cs.LG stat.ML
Sampling-based speech parameter generation using moment-matching networks
The University of Tokyo（东京大学）；Tokyo Institute of Technology（东京工业大学）
本文提出了基于采样的语音参数生成，使用矩匹配网络的深度神经网络（DNN）为基础的语音合成。尽管人们即使试图表达相同的语言和副语言信息也不会产生完全相同的语音，但是典型的统计语音合成产生完全相同的语音，即，在合成语音中没有话语间变化。为了使合成语音具有自然的话语间变化，本文建立了DNN声学模型，使随机采样语音参数成为可能。DNN被训练，使得它们使生成的语音参数的矩接近自然语音参数的矩。由于语音参数的变化被压缩成一个低维的简单的先验噪声向量，我们的算法具有较低的计算成本比直接采样的语音参数。作为生成具有自然话语间变化的合成语音的第一步，本文研究了所提出的基于采样的生成是否会使合成语音质量恶化。在评价中，我们比较了传统的最大似然生成和提出的采样为基础的生成的语音质量。实验结果表明，该方法不会降低语音质量。
2017-04-12 cs.LG cs.SD stat.ML
Generative Moment Matching Networks
University of Toronto（多伦多大学）；Canadian Institute for Advanced Research（加拿大高等研究院）
我们考虑从数据中学习深度生成模型的问题。我们制定了一种方法，该方法通过多层感知器的单次前馈来生成独立样本，如最近提出的生成对抗网络（Goodfellow et al.，2014年）。然而，训练一个生成对抗网络需要仔细优化一个困难的极小极大程序。相反，我们利用了一种被称为最大平均差异（MMD）的统计假设检验技术，这导致了一个简单的目标，可以被解释为匹配数据集和模型样本之间的所有统计阶数，并且可以通过反向传播进行训练。我们通过将我们的生成网络与自动编码器网络相结合，使用MMD来学习生成代码，然后可以解码生成样本，从而进一步提高了这种方法的性能。我们表明，这些技术的组合产生优秀的生成模型相比，MNIST和多伦多人脸数据库上测量的基线方法。
2015-02-10 cs.AI cs.LG stat.ML
A moment-matching Ferguson and Klass algorithm
完全随机测度（CRM）代表了各种流行的随机模型的关键组成部分，并在现代贝叶斯非参数中发挥着举足轻重的作用。一个流行的表示标准物质作为一个随机序列与减少跳跃是由于弗格森和克拉斯（1972年）。这可以立即转化为一种算法，用于对CRM或涉及转换后CRM的更精细模型的实现进行采样。然而，具体的实现需要在某个阈值处截断随机序列，从而导致近似误差。本文的目标是量化质量的近似矩匹配标准，其中包括在评估的实际时刻和时刻的仿真输出的基础上的差异的措施。作为截断水平的函数，该方法可用于确定达到一定精度水平所需的截断水平。由此产生的时刻匹配\FK算法，然后实施和说明几个流行的贝叶斯非参数模型。
2016-06-08 stat.CO stat.ML
Learning Linear Symmetries in Data Using Moment Matching
在机器学习和统计学中，通常使用来自专家知识的对称性来简化问题或提高性能，使用数据增强或惩罚等方法。在本文中，我们考虑的无监督和半监督的问题，学习这种对称分布直接从数据中的模型自由的方式。我们表明，在最坏的情况下，这个问题是困难的图自同构问题。然而，如果我们仅限于协方差矩阵具有唯一特征值的情况，则特征向量也将是对称变换的特征向量。如果我们进一步限制于寻找正交对称，那么特征值将是1或-1，问题简化为确定哪些特征向量是哪些。我们从理论上和经验上发展和比较了不同方法的有效性，选择哪些特征向量应具有特征值-1的对称变换，并讨论如何将这种方法扩展到非正交的情况下，我们有标签
2022-04-04 cs.LG math.GR stat.ML
Distributional Reinforcement Learning via Moment Matching
我们考虑在分布强化学习（RL）中从经验贝尔曼动态学习一组概率分布的问题，这是一类估计总回报的分布而不仅仅是期望的最先进方法。我们制定了一种方法，通过神经网络从每个回报分布中学习有限的统计数据集，如（Bellemare，Dabney和Munos 2017; Dabney等人2018 b）。然而，现有的分布式RL方法将学习到的统计数据约束为返回分布的\emph{predefined}函数形式，这在表示上是限制性的，并且难以维护预定义的统计数据。相反，我们学习\emph{unrestricted}统计，即，确定性（伪）样本的回报分布，通过利用一种技术，从假设检验称为最大均值差异（MMD），这导致一个更简单的目标服从反向传播。我们的方法可以被解释为隐式匹配的所有订单的时刻之间的回报分布和贝尔曼目标。我们建立了分布Bellman算子收缩的充分条件，并给出了分布近似下确定性样本的有限样本分析。在Atari游戏套件上的实验表明，我们的方法优于标准的分布式RL基线，并在Atari游戏中为非分布式代理创造了新的记录。
2020-12-09 cs.AI cs.LG stat.ML
MMD GAN: Towards Deeper Understanding of Moment Matching Network
Carnegie Mellon University（卡内基梅隆大学）；AI Foundations, IBM Research（IBM研究院人工智能基础部）
生成矩匹配网络（Generative Moment Matching Network，GMMN）是一种深度生成模型，它与生成对抗网络（Generative Adversarial Network，GAN）的不同之处在于将生成对抗网络（Generative Adversarial Network，GAN）中的随机性检验替换为基于核最大均值差异（MMD）的双样本检验。虽然已经研究了MMD的一些理论保证，但在具有挑战性的大型基准数据集上，GMMN的经验性能仍然不如GAN具有竞争力。与GAN相比，GMMN的计算效率也不太理想，部分原因是其在训练期间需要相当大的批量大小。在本文中，我们建议通过引入对抗核学习技术来提高GMMN的模型表达能力和计算效率，作为原始GMMN中固定高斯核的替代。新方法结合了GMMN和GAN的核心思想，因此我们称之为MMD GAN。MMD GAN中的新距离度量是一种有意义的损失，具有弱拓扑的优点，并且可以通过梯度下降以相对较小的批量大小进行优化。在MNIST、CIFAR- 10、CelebA和LSUN等多个基准数据集上的评测结果表明，MMD-GAN的性能明显优于GMMN，与其他代表性的GAN作品相比具有竞争力。
2017-11-27 cs.AI cs.LG stat.ML
Sketchy Moment Matching: Toward Fast and Provable Data Selection for Finetuning
New York University（纽约大学）
本文提出Sketchy Moment Matching（SkMM）数据选择方法，通过梯度草图控制低秩近似偏差、矩匹配降低方差，在微调中实现快速且可证明的数据选择，并保持与参数维度无关的快速泛化率。
2024-11-17 cs.LG cs.NA math.NA
Asymptotic FDR Control with Model-X Knockoffs: Is Moments Matching Sufficient?
University of Southern California（南加州大学）；University of Tennessee（田纳西大学）
本文提出统一理论框架研究近似模型-X Knockoffs的渐近FDR控制，证明基于矩匹配的高斯Knockoffs生成器在特定条件下可实现该控制，首次正式验证其有效性与鲁棒性，并通过模拟和真实数据验证理论。
2025-02-09 cs.LG math.ST stat.ML
A moment-matching metric for latent variable generative models
Université du Québec à Montréal（魁北克大学蒙特利尔分校）
针对无监督学习中潜变量生成模型似然度量失效的问题，提出基于Frobenius范数等矩阵范数的矩匹配度量，用于模型比较与正则化，相较采样评估计算更快、方差更小，并给出概念验证。
2023-05-16 cs.LG cs.PF stat.ME
