Extended Flow Matching: a Method of Conditional Generation with Generalized Continuity Equation
Graduate School of Mathematical Sciences(数理科学研究科);University of Tokyo(东京大学);Preferred Networks;The Institute of Statistical Mathematics(统计数学研究所)
本文提出扩展流匹配(EFM),通过学习条件空间到分布空间的矩阵场为条件生成引入归纳偏置,并给出 MMOT-EFM 变体及实验验证其有效性。
2024-07-05 cs.LG math.AP math.FA
Moment Matching Denoising Gibbs Sampling
Centre for Artificial Intelligence(人工智能中心);University College London(伦敦大学学院)
针对去噪分数匹配训练的能量模型存在不一致性,提出矩匹配的(伪)吉布斯采样框架,从带噪声模型中有效采样底层干净模型,并扩展到高维数据。
2024-03-19 cs.LG stat.ML
Momentum Multi-Marginal Schrödinger Bridge Matching
Georgia Institute of Technology(佐治亚理工学院);FAIR at Meta(Meta 的 FAIR)
3MSBM通过学习满足多位置约束的随机系统光滑测度值样条,改进了多边际设置中匹配框架的收敛性和可扩展性。
2025-11-25 cs.LG stat.ML
On the Closed-Form of Flow Matching: Generalization Does Not Arise from Target Stochasticity
Université Jean Monnet Saint-Étienne, CNRS, Institut d’Optique Graduate School, Inria, Laboratoire Hubert Curien UMR 5516;ENS de Lyon, CNRS, Université Claude Bernard Lyon 1, Inria, LIP UMR 5668;Inria, ENS de Lyon, CNRS, Université Claude Bernard Lyon 1, LIP UMR 5668;Institut Universitaire de France
本文通过实验证明,流匹配中闭式形式的损失在高维情况下与随机形式效果相近,且可能提升性能,反驳了目标随机性驱动泛化的观点。
2025-12-01 cs.LG stat.ML
Heavy-Tailed Flow Matching via Random Clocks
Johns Hopkins University(约翰斯·霍普金斯大学);National University of Singapore(新加坡国立大学)
研究重尾数据匹配问题,提出HTFM框架,将重尾源视为时钟条件高斯源混合,用截断对数签名特征编码时钟。实验显示其在多领域优于高斯流匹配等基线,保留低NFE采样优势,还提供尾部控制接口。
2026-07-16 cs.LG stat.ML
Message passing with relaxed moment matching
Purdue University(普渡大学)
贝叶斯学习经常受到大量计算费用的阻碍。期望传播作为普遍信念传播的一种有效推广,有效地逼近了精确贝叶斯计算。然而,EP可能对异常值敏感,并且在困难的情况下会出现发散。为了解决这个问题,我们提出了一个新的近似推理方法,放松期望传播(REP)。它通过在KL最小化中加入一个松弛因子来放松期望传播的矩匹配要求。我们用$l_1$惩罚来惩罚这种松弛。因此,当松弛KL散度中的两个分布相似时,松弛因子将被惩罚为零,因此,我们获得原始矩匹配;在存在离群值的情况下,这两个分布显著不同,松弛因子将用于减少离群值的贡献。基于这种惩罚KL最小化,REP对离群值具有鲁棒性,并且可以大大提高EP的后验近似质量。为了检验REP的有效性,我们将其应用于高斯过程分类,这是一项适合EP的任务。我们在合成和UCI基准数据集上的分类结果表明,REP在算法稳定性、估计准确性和预测性能方面比EP和Power EP有显着改善。
2012-08-29 cs.LG stat.CO stat.ML
Multistep Distillation of Diffusion Models via Moment Matching
Google DeepMind(谷歌DeepMind)
本文提出基于矩匹配的多步蒸馏方法,将多步扩散模型压缩为最多8步的少步模型,在ImageNet上超越原始教师模型,并实现无需自编码器的高分辨率文本到图像快速生成。
2024-06-06 cs.AI cs.CV cs.LG
Beyond Independent Genes: Learning Module-Inductive Representations for Single-Cell Gene Perturbation Prediction
The State Key Lab of Brain-Machine Intelligence, Zhejiang University, Hangzhou, Zhejiang, China(脑机智能国家重点实验室,浙江大学,杭州,浙江省,中国);ReLER Lab, College of Artificial Intelligence, Zhejiang University, Hangzhou, Zhejiang, China(ReLER实验室,人工智能学院,浙江大学,杭州,浙江省,中国);Department of Biomedical Informatics, Harvard Medical School, Boston, MA, USA(生物医学信息学系,哈佛医学院,波士顿,马萨诸塞州,美国)
提出scBIG框架,通过基因关系聚类、基因簇感知编码器和结构感知对齐学习协调的基因程序模块表示,结合条件流匹配实现灵活泛化的扰动预测,在多个单细胞扰动基准上平均提升6.7%。
2026-06-17 cs.LG q-bio.GN
On the Nash equilibrium of moment-matching GANs for stationary Gaussian processes
Université de Toulouse(图卢兹大学);INP(国立理工学院);IRIT(图卢兹计算机科学研究所)
生成对抗网络(GANs)通过两人游戏从数据样本中学习隐式生成模型。本文研究了当数据样本数增长到无穷大时,博弈的纳什均衡的存在性。在一个可实现的设置的目标是估计地面实况发生器的平稳高斯过程,我们表明,一致的纳什均衡的存在至关重要地取决于的选择的家庭。由二阶统计矩所定义的非一致性可以导致Nash均衡不存在、一致非Nash均衡存在或一致Nash均衡存在且唯一,这取决于生成元族的对称性是否被尊重.我们进一步实证研究了梯度下降-上升方法向一致平衡点的局部稳定性和全局收敛性。
2022-09-12 cs.GT cs.LG stat.ML
Generating Physically Consistent Molecules with Energy-Based Models
Graz University of Technology(格拉茨技术大学);University of Zurich(苏黎世大学)
本文提出了一种基于能量模型(EBM)的方法EBMol,用于生成三维分子,通过学习原子可加的标量势能恢复了能量归纳偏差,从而在QM9和GEOM-Drugs数据集上实现了最先进的性能,并展示了学习的能量景观作为质量度量用于配置排序和过滤,以及通过形状引导采样实现可控生成。
2026-11-04 cs.LG
Stiefel Flow Matching for Moment-Constrained Structure Elucidation
University of Toronto(多伦多大学);Vector Institute(向量研究所);Intel Labs(英特尔实验室);Acceleration Consortium(加速联盟)
本文提出 Stiefel Flow Matching 生成模型,利用 Stiefel 流形和等变最优传输在精确转动惯量约束下预测分子全原子3D结构,相比现有模型实现了更高的成功率和更快的采样速度。
2025-03-02 cs.LG physics.chem-ph
Moment-Matching Conditions for Exponential Families with Conditioning or Hidden Data
使用指数族的最大似然学习导致充分统计量的矩匹配,这是一个经典的结果。这可以推广到条件指数族和/或当存在隐藏数据时。本文给出了这些广义矩匹配条件的第一原理解释,以及一个独立的推导。
2020-01-07 cs.LG stat.ML
Q-MMR: Off-Policy Evaluation via Recursive Reweighting and Moment Matching
Nanjing University(南京大学)
Q-MMR提出了一种新的理论框架,用于有限时间 horizon MDPs 的非策略评估,通过递归加权和矩匹配目标函数学习权重,实现目标策略下的预期回报近似,并在无样本条件下提供函数逼近的有限样本保证。
2026-10-26 cs.AI cs.LG stat.ML
Online and Distributed learning of Gaussian mixture models by Bayesian Moment Matching
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学大卫·R·切里顿计算机科学学院)
高斯混合模型是聚类和数据建模的经典技术,在许多应用中使用。随着大数据的兴起,需要能够处理流数据并将计算分布在多个处理器上的参数估计技术。虽然存在期望最大化(EM)算法的在线变体,但它们的数据效率因E步的随机近似而降低,并且不清楚如何将计算分布在多个处理器上。我们提出了一种贝叶斯学习技术,自然适合在线和分布式计算。由于贝叶斯后验是不听话的,我们将其投影到一个家庭听话的分布后,每个观察匹配一组足够的时刻。在一组数据建模基准上,这种贝叶斯矩匹配技术在时间和精度方面优于在线EM。
2016-09-19 cs.AI cs.LG stat.ML
Moment-Matching Graph-Networks for Causal Inference
在本文中,我们探索了一个完全无监督的深度学习框架,用于从观测训练数据中模拟非线性结构方程模型。本文的主要贡献是将矩匹配损失函数应用于因果贝叶斯图的边缘,从而生成条件矩匹配图神经网络。因此,该框架使得能够对各种图形干预的潜在空间条件概率分布进行自动采样,并且能够生成样本外干预概率,该样本外干预概率通常忠实于远超出训练集中包含的范围的地面实况分布。这些方法原则上可以与任何现有的自动编码器结合使用,该自动编码器产生包含因果图结构的潜在空间表示。
2020-07-27 cs.LG stat.ML
Rethinking LDA: moment matching for discrete ICA
INRIA(法国国家信息与自动化研究所)
我们考虑矩匹配技术估计潜在狄利克雷分配(LDA)。通过明确的LDA和离散版本的独立成分分析(ICA)之间的联系,我们首先推导出一组新的基于累积量的张量,与改进的样本复杂度。此外,我们重用标准的ICA技术,如联合对角化张量,以改善现有的方法的基础上张量功率方法。在合成和真实数据集上的一组广泛的实验中,我们证明了我们的张量和正交联合对角化技术的新组合优于现有的矩匹配方法。
2015-11-05 cs.LG stat.ML
Beyond CCA: Moment Matching for Multi-View Models
INRIA(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院)
我们介绍了三个新的半参数扩展的概率典型相关分析的可识别性保证。我们认为矩匹配技术在这些模型中的估计。为此,通过绘制新模型和离散版本的独立成分分析(DICA)之间的明确联系,我们首先将DICA累积量张量扩展到新的离散版本的CCA。通过进一步利用与独立成分分析的紧密联系,我们引入了广义协方差阵,它可以取代矩匹配框架中的累积量张量,从而显著地提高了样本复杂度,简化了推导和算法。由于张量幂方法或正交联合对角化方法在新的设置中不适用,我们使用非正交联合对角化技术来匹配累积量。我们证明了所提出的模型和估计技术的性能与合成和真实数据集的实验。
2016-06-03 cs.LG stat.ML
InPhyRe Discovers: Large Multimodal Models Struggle in Inductive Physical Reasoning
Department of Computer Science and Engineering, Michigan State University(密歇根州立大学计算机科学与工程系)
提出 InPhyRe 基准测试,通过合成视频中的碰撞事件预测任务,评估大型多模态模型在未见物理定律下的归纳物理推理能力,发现其依赖有限参数知识、受语言偏差影响且忽略视觉输入。
2026-05-31 cs.AI cs.LG
DWMD: Dimensional Weighted Orderwise Moment Discrepancy for Domain-specific Hidden Representation Matching
Xi’an Jiaotong University(西安交通大学)
在无监督领域自适应(UDA)中,从源领域到不同但语义相关的目标领域的知识转移一直是一个重要的课题。该领域的一个关键挑战是建立一个度量标准,可以准确地测量两个同质域之间的数据分布差异,并采用它的分布对齐,特别是在隐藏的激活空间中的特征表示的匹配。现有的分布匹配方法在实际应用中既不能显式地按序对齐高阶矩,也不能满足某些假设的前提。我们提出了一种新的基于矩的概率分布度量称为维度加权有序矩差异(DWMD)的特征表示匹配的UDA方案。我们的度量函数利用了一系列高阶矩对齐,我们从理论上证明了我们的DWMD度量函数是无误差的,这意味着它可以严格反映域之间的分布差异,是有效的,没有任何特征分布假设。此外,由于每个特征维度中的概率分布之间的差异是不同的,因此在我们的函数中考虑了维度加权。我们进一步计算了DWMD度量的经验估计在实际应用中的误差界。在基准数据集上的综合实验表明,我们的方法产生了最先进的分布度量。
2020-07-18 cs.LG stat.ML
Submodular Mini-Batch Training in Generative Moment Matching Networks
这篇文章被撤回,因为(1)它是在没有共同作者知情或同意的情况下上传的,(2)有剽窃的指控。
2017-08-03 cs.LG
Overcoming Catastrophic Forgetting by Incremental Moment Matching
Seoul National University(首尔国立大学);Clova AI Research(克洛娃人工智能研究院);NAVER Corp(Naver公司);Surromind Robotics(Surromind机器人公司)
灾难性遗忘是神经网络在训练第二个任务后丢失第一个任务信息的问题。在这里,我们提出了一种方法,即增量矩匹配(IMM),来解决这个问题。IMM递增地匹配分别在第一和第二任务上训练的神经网络的后验分布的矩。为了使后验参数的搜索空间平滑,IMM过程中补充了各种迁移学习技术,包括权重转移,L2范数的旧的和新的参数,和一个变体的dropout与旧的参数。我们在各种数据集上分析了我们的方法,包括MNIST,CIFAR-10,Caltech-UCSD-Birds和Lifelog数据集。实验结果表明,IMM通过平衡新旧网络之间的信息,实现了最先进的性能。
2018-01-30 cs.AI cs.LG
Implicit Density Estimation by Local Moment Matching to Sample from Auto-Encoders
University of Montreal(蒙特利尔大学)
最近的工作表明,一些自动编码器变体在捕获未知数据生成密度的局部流形结构方面做得很好。本文有助于从数学上理解这一现象,并有助于基于自动编码器变体为深度学习定义更合理的采样算法。我们考虑MCMC,其中每个步骤从高斯采样,其均值和协方差矩阵取决于先前的状态,通过其渐近分布定义目标密度。首先,我们证明了这些均值和协方差函数的良好选择(在一致性的意义上)是该目标密度下的局部期望值和协方差。然后,我们表明,一个压缩惩罚的自动编码器捕获这些局部矩在其重建函数和雅可比矩阵的估计。因此,这项工作的贡献是一种新的替代最大似然密度估计,我们称之为本地矩匹配。它还证明了最近提出的压缩自动编码器的采样算法,并将其扩展到去噪自动编码器。
2012-06-30 cs.LG stat.ML
Of Moments and Matching: A Game-Theoretic Framework for Closing the Imitation Gap
Carnegie Mellon University(卡内基梅隆大学);Aurora Innovation(奥罗拉创新公司)
我们提供了一个统一的观点,以前的模仿学习算法通过镜头的时刻匹配的大家庭。在其核心,我们的分类方案是基于学习者是否试图匹配(1)奖励或(2)专家行为的行动价值时刻,每个选项导致不同的算法方法。通过考虑学习者和专家行为之间的对立选择分歧,我们能够推导出适用于这些类中的所有算法的政策性能的界限,这是我们所知的第一个。我们还介绍了瞬间可恢复性的概念,隐含在许多以前的分析模仿学习,这使我们能够清楚地描绘如何以及每个算法家族能够减轻复合错误。我们推导出三种新的算法模板(AdVIL,AdRIL和DAeQuIL)具有强有力的保证,简单的实现,和竞争力的经验性能。
2021-06-10 cs.LG cs.RO stat.ML
Learning Mental Models From Unreliable Evidence
Computer Science University of Waterloo(滑铁卢大学计算机科学系);Department of Computer Science Cornell University(康奈尔大学计算机科学系);Department of Computer Science Dalhousie University(达尔豪斯大学计算机科学系);Department of Psychology University of Toronto(多伦多大学心理学系)
通过归纳推理盒子任务,结合贝叶斯粒子推断的程序归纳形式化,比较儿童与基于LLM的智能体在不确定性下的假设生成与证据寻求行为,发现两者在适应环境结构上相似但信息寻求成本与归纳偏差不同。
2026-10-30 cs.AI cs.CL cs.LG
Conditional Generative Moment-Matching Networks
Tsinghua University(清华大学)
最大均值差异(MMD)已成功应用于学习深度生成模型,以通过内核均值嵌入来表征变量的联合分布。在本文中,我们提出了条件生成矩匹配网络(CGMMN),它学习一个条件分布给定一些输入变量的基础上的条件最大均值差异(CMMD)标准。通过随机梯度下降执行学习,其中梯度通过反向传播计算。我们评估了CGMMN在广泛的任务,包括预测建模,上下文生成和贝叶斯暗知识,它通过学习一个相对较小的CGMMN学生网络从贝叶斯模型中提取知识。我们的结果表明,在所有的任务竞争力的表现。
2016-06-14 cs.LG
Adversarial Moment-Matching Distillation of Large Language Models
SI-TECH Information Technology(SI-TECH信息技术)
本文提出一种基于模仿学习的对抗矩匹配蒸馏方法,通过联合估计和最小化教师行为动作价值矩的距离优化学生策略,在指令遵循等实验中实现了大型语言模型蒸馏的新SOTA性能。
2024-06-05 cs.CL cs.LG
Game-Theoretic Algorithms for Conditional Moment Matching
Carnegie Mellon University(卡内基梅隆大学);Aurora Innovation(极光创新公司)
计量经济学和机器学习中的各种问题,包括工具变量回归和贝尔曼残差最小化,都可以表示为满足一组条件矩约束(CMR)。我们推导出一个一般的,博弈论的策略,满足CMR规模的非线性问题,是服从于基于梯度的优化,并能够占有限样本的不确定性。我们恢复Dikkala等人的方法。和Dai等人。在详细说明各种扩展以及如何有效地解决CMR定义的游戏之前,作为我们的一般框架的特殊情况。
2022-08-19 cs.GT cs.LG
Local moment matching: A unified methodology for symmetric functional estimation and distribution estimation under Wasserstein distance
Stanford University(斯坦福大学)
我们提出\emph{Local Moment Matching (LMM)},对称函数估计和分布估计下瓦瑟斯坦距离的统一方法。我们构造了一个有效的可计算的估计,实现了极大极小率估计的分布排列,并表明,插件的方法,我们的无标签分布估计是“通用”的对称泛函估计的离散分布。而不是做最好的多项式逼近显式在现有文献中的功能估计,插件的方法进行多项式逼近隐式,并达到最佳的样本复杂性的熵,功率和支持大小泛函。
2018-06-26 cs.IT cs.LG math.IT
Exact Gaussian Moment Matching for Residual Networks: a Second-Order Method
Department of Mechanical and Aerospace Engineering(机械与航空航天工程系);University of California, Davis(加州大学戴维斯分校)
本文提出通过逐层矩匹配在残差网络中精确传播高斯分布的均值和协方差,针对多种激活函数实现精确矩匹配,显著提升KL散度误差指标。
2026-11-04 cs.LG cs.NA math.NA
Amortized Moment Matching for Visual Generation
MMLab, CUHK(香港中文大学MMLab);Kling Team, Kuaishou Technology(快手科技影幻团队)
该研究提出摊销矩匹配方法,构建AMFD损失,用于视觉生成,在ImageNet、GenEval等基准上性能优于FD基线及FLUX.2 4B模型,实现高效高维数据生成。
2026-07-30 cs.LG
Moment Matching Training for Neural Machine Translation: A Preliminary Study
Computing and Information Systems(计算与信息系统学院);University of Melbourne(墨尔本大学);NAVER Labs Europe(NAVER欧洲实验室)
在以前的工作中,如果可以提供外部先验知识,例如通过允许模型在训练和推理期间访问显式特征的嵌入,神经序列模型已经被证明可以显着改进。在这项工作中,我们提出了一个不同的观点,如何将先验知识的原则性的方式,使用矩匹配框架。在这种方法中,顺序模型的标准局部交叉熵训练与矩匹配训练模式相结合,该模式鼓励模型分布和经验分布之间的某些预定义特征的期望相等。特别是,我们展示了如何获得一些随机梯度的无偏估计,这些随机梯度是训练的核心,并将我们的框架与正式相关的框架进行比较:强化学习中的策略梯度训练,指出两种方法中先验假设的一些重要差异。我们的初步结果是有希望的,显示了我们提出的框架的有效性。
2018-12-28 cs.CL cs.LG
Sketchy Moment Matching: Toward Fast and Provable Data Selection for Finetuning
New York University(纽约大学)
本文提出Sketchy Moment Matching(SkMM)数据选择方法,通过梯度草图控制低秩近似偏差、矩匹配降低方差,在微调中实现快速且可证明的数据选择,并保持与参数维度无关的快速泛化率。
2024-11-17 cs.LG cs.NA math.NA
A Few Moments Please: Scalable Graphon Learning via Moment Matching
Rice University(里士大学);King Juan Carlos University(胡安卡洛斯国王大学)
本文提出一种基于矩匹配和隐式神经表示的可扩展 graphon 估计方法,避免潜在变量建模与 Gromov-Wasserstein 优化,并引入 MomentMixup 数据增强,在多个基准上取得领先性能。
2025-06-04 cs.LG
In the light of feature distributions: moment matching for Neural Style Transfer
ETH Zürich(苏黎世联邦理工学院)
风格转换旨在以另一个图像的图形/艺术风格呈现给定图像的内容。NeuralStyle Transfer(NST)的基本概念是将风格解释为卷积神经网络的特征空间中的分布,使得可以通过匹配其特征分布来实现期望的风格。我们表明,该概念的大多数当前实现具有重要的理论和实践局限性,因为它们仅部分对齐特征分布。我们提出了一种新的方法,更精确地匹配的分布,从而更忠实地再现所需的风格,同时仍然是计算效率。具体来说,我们适应的双重形式的中心矩离散(CMD),最近提出的领域自适应,以尽量减少目标风格和输出图像的特征分布之间的差异。该度量的双重解释明确匹配所有高阶集中矩,因此是仅考虑一阶和二阶矩的现有NST方法的自然扩展。我们的实验证实,强大的理论属性也转化为视觉上更好的风格转移,更好地从语义图像内容的风格。
2021-03-12 cs.CV cs.LG