SLIME: Stabilized Likelihood Implicit Margin Enforcement for Preference Optimization
Floating Point Sigma Lab(浮点数Sigma实验室)
SLIME通过引入稳定性似然隐边界的隐式约束,解决偏好优化中的目标不匹配问题,提升模型生成稳定性。
2026-02-03 cs.LG
Super-Resolution via Conditional Implicit Maximum Likelihood Estimation
University of California, Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学)
单图像超分辨率(SISR)是一个典型的问题,具有不同的应用。像SRGAN这样的领先方法产生的图像包含各种伪影,如高频噪声,幻觉颜色和形状失真,这对结果的真实性产生了不利影响。在本文中,我们提出了一种替代方法的基础上扩展的隐式最大似然估计(IMLE)的方法。我们在降噪和保留原始颜色和形状方面表现出更大的有效性,从而产生更逼真的超分辨率图像。
2018-10-02 cs.CV cs.GR cs.LG
Control-Oriented Model-Based Reinforcement Learning with Implicit Differentiation
Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);Vector Institute(向量研究所);University of Toronto(多伦多大学);Google Research(谷歌研究院);Facebook(脸书)
基于基于模型的强化学习中的最大似然估计的缺点已经被越来越多的论文所强调。当模型类被错误指定或具有有限的表示能力时,具有高可能性的模型参数可能不一定导致代理在下游控制任务上的高性能。为了缓解这个问题,我们提出了一种端到端的模型学习方法,该方法使用隐式微分直接优化预期收益。我们把一个满足Bellman最优性算子的价值函数作为模型参数的隐函数,并说明如何区分该函数。我们提供了理论和实证证据,强调我们的方法的好处,在模型的误指定制度相比,基于可能性的方法。
2021-06-06 cs.AI cs.LG stat.ML
Hierarchical Implicit Models and Likelihood-Free Variational Inference
Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学)
隐式概率模型是由数据模拟过程定义的一类灵活的模型。它们构成了包含我们对物理世界理解的理论的基础。尽管有这种基本性质,隐式模型的使用仍然有限,这是由于在指定其中的复杂潜在结构以及在具有大数据集的此类模型中执行推断方面的挑战。在本文中,我们首先介绍层次隐式模型(HIMs)。HIM将隐式密度的思想与分层贝叶斯建模相结合,从而通过具有丰富隐藏结构的数据的模拟器来定义模型。接下来,我们开发了似然自由变分推断(LFVI),这是一种适用于HIM的可扩展变分推断算法。LFVI的关键是指定一个也是隐式的变分族。这与模型的灵活性相匹配,并允许后验的精确近似。我们展示了不同的应用:生态学中捕食者-猎物种群的大规模物理模拟器;离散数据的贝叶斯生成对抗网络;以及文本生成的深层隐式模型。
2017-11-05 cs.LG stat.CO stat.ME
Social-Implicit: Rethinking Trajectory Prediction Evaluation and The Effectiveness of Implicit Maximum Likelihood Estimation
The University of Texas at Austin(德克萨斯大学奥斯汀分校);KAUST(阿卜杜拉国王科技大学)
N次最佳(BoN)平均位移误差(ADE)/最终位移误差(FDE)是用于评估轨迹预测模型的最常用指标。然而,BoN没有量化整个生成的样本,导致对模型的预测质量和性能的不完整看法。我们提出了一个新的度量,平均马氏距离(AMD)来解决这个问题。AMD是量化整个生成的样本与地面实况的接近程度的度量。我们还引入了平均最大特征值(AMV)度量,该度量量化了预测的总体分布。我们的指标进行了验证经验表明,ADE/FDE是不敏感的分布偏移,给出了一个有偏见的准确性,不像AMD/AMV指标。我们介绍了使用隐式最大似然估计(IMLE)作为传统的生成模型的替代训练我们的模型,社会隐式。IMLE训练机制与AMD/AMV的目标一致,即预测接近地面实况的轨迹,并具有紧密的分布。Social-Implicit是一个内存高效的深度模型,只有5.8K个参数,实时的运行约580 Hz,并取得了有竞争力的结果。这个问题的交互式演示可以在https://www.abduallahmohamed.com/social-implicit-amdamv-adefde-demo上看到。代码可在https://github.com/abduallahmohamed/Social-Implicit上获得。
2022-09-10 cs.CV cs.LG cs.RO
Maximum Likelihood Training of Implicit Nonlinear Diffusion Models
KAIST(韩国科学技术院);NAVER CLOVA
尽管存在各种各样的扩散模型,但将线性扩散扩展为非线性扩散过程的研究却很少。非线性效应很难理解,但直观地说,将存在有希望的扩散模式,以有效地训练生成分布朝向数据分布。针对基于分数的扩散模型,提出了一种数据自适应的非线性扩散过程。所提出的隐式非线性扩散模型(INDM)通过结合归一化流和扩散过程来学习。具体地,INDM通过利用流网络在\textit{latent space}上的线性扩散来隐式地在\textit{data space}上构造非线性扩散。该流动网络是形成非线性扩散的关键,因为非线性取决于流动网络。这种灵活的非线性将INDM的学习曲线改进为接近最大似然估计(MLE),而DDPM++的非MLE曲线则是INDM的不灵活版本,其流固定为恒等映射。此外,INDM的离散化显示了采样鲁棒性。在实验中,INDM在CelebA上实现了1.75的最新FID。我们在https://github.com/byeonghu-na/INDM上发布代码。
2022-10-12 cs.LG
IMLE Policy: Fast and Sample Efficient Visuomotor Policy Learning via Implicit Maximum Likelihood Estimation
QUT Centre for Robotics(昆士兰科技大学机器人中心)
本文提出基于隐式最大似然估计的行为克隆方法IMLE Policy,在低数据场景下以单步生成实现快速且样本高效的视觉运动策略学习,较基线方法减少38%数据需求并提升97.3%推理速度。
2025-03-11 cs.AI cs.LG cs.RO
Implicit Maximum Likelihood Estimation for Real-time Generative Model Predictive Control
School of Computing Science, Simon Fraser University(计算科学系,西蒙弗雷泽大学)
本文提出隐式最大似然估计(IMLE)作为生成模型的替代方法,实现快速推理和强模式覆盖,适用于实时MPC任务。
2026-03-22 cs.AI cs.LG cs.RO
Multimodal Image Synthesis with Conditional Implicit Maximum Likelihood Estimation
University of California, Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);Nanjing University(南京大学)
计算机视觉和图形学中的许多任务都属于条件图像合成的框架。近年来,生成对抗网络(GANs)在合成图像质量方面取得了令人印象深刻的进步。然而,由于模式坍塌的问题,对于相同的输入生成多样且合理的图像仍然是一个挑战。在本文中,我们开发了一种新的通用多模态条件图像合成方法的基础上隐式最大似然估计(IMLE),并证明了改进的多模态图像合成性能的两个任务,单图像超分辨率和图像合成场景布局。我们公开我们的实现。
2020-04-07 cs.CV cs.GR cs.LG
Mining gold from implicit models to improve likelihood-free inference
New York University(纽约大学);University of Liège(列日大学);Federico Santa María Technical University(费德里科·圣玛丽亚理工大学)
模拟器通常提供对真实世界现象的最佳描述。然而,它们也会导致具有挑战性的逆问题,因为它们隐含定义的密度通常是棘手的。我们提出了一套新的基于模拟的推理技术,超越了传统的近似贝叶斯计算方法,在高维环境中的斗争,并扩展方法,使用代理模型的基础上神经网络。我们表明,额外的信息,如联合似然比和联合得分,往往可以从模拟器中提取,并用于增强这些代理模型的训练数据。最后,我们证明了这些新技术是更有效的样本,并提供更高保真的推理比传统的方法。
2019-08-05 cs.LG hep-ph physics.data-an
Sample-efficient neural likelihood-free Bayesian inference of implicit HMMs
PhysicsX;MRC Biostatistics Unit, University of Cambridge(剑桥大学医学研究委员会生物统计学单元);UK Health Security Agency(英国卫生安全局)
本文针对隐式HMM提出一种基于自回归流和马尔可夫性质的样本高效无似然方法,直接估计高维隐状态后验,其估计质量可与计算成本高得多的SMC算法相媲美。
2024-05-02 cs.LG stat.CO stat.ML
MoFlow: One-Step Flow Matching for Human Trajectory Forecasting via Implicit Maximum Likelihood Estimation based Distillation
University of British Columbia(不列颠哥伦比亚大学);Vector Institute for AI(向量人工智能研究所);Simon Fraser University(西蒙菲莎大学)
提出条件流匹配模型 MoFlow 及仅需教师样本的 IMLE 蒸馏方法,在多个人体轨迹基准上达到最优,并以一步学生模型实现百倍采样加速。
2026-10-06 cs.AI cs.CV cs.LG
Approximating Signed Distance Fields With Sparse Ellipsoidal Radial Basis Function Networks: A Dynamic Multi-Objective Optimization Strategy
the School of Mathematical Sciences(数学科学学院);the Department of Computer Science(计算机科学系);the School of Electronic and Information Engineering(电子与信息工程学院)
本文提出一种动态多目标优化策略,利用稀疏椭球径向基函数网络高效近似隐式表面的带符号距离场,实现紧凑表示和高精度计算。
2026-02-07 cs.CV cs.GR cs.LG
Semi-Implicit Generative Model
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
为了结合显式和隐式生成模型,我们引入了半隐式生成器(SIG)作为一个灵活的分层模型,可以在极大似然框架中进行训练。理论和实验表明,SIG可以生成高质量的样本,特别是在处理多模态时。通过将SIG作为无偏正则化器引入到生成对抗网络(GAN)中,我们证明了极大似然和对抗学习之间的相互作用可以稳定对抗训练,抵抗GANs臭名昭著的模式崩溃问题,并提高生成的随机样本的多样性。
2019-07-29 cs.LG stat.ML
Neural Approximate Sufficient Statistics for Implicit Models
The University of Edinburgh(爱丁堡大学);MILA;Beijing Institute of Big Data Research(北京大数据研究院)
我们考虑的基本问题是如何自动构建汇总统计量的隐式生成模型的似然函数的评价是棘手的,但从模型的采样数据是可能的。这个想法是将构建充分统计量的任务定义为在深度神经网络的帮助下学习互信息最大化数据的表示。infomax学习过程不需要估计任何密度或密度比。我们将我们的方法应用于传统的近似贝叶斯计算和最近的神经似然方法,提高了它们在一系列任务上的性能。
2021-03-30 cs.AI cs.LG stat.AP
Set-based Implicit Likelihood Inference of Galaxy Cluster Mass
McWilliams Center for Cosmology and Astrophysics, Department of Physics, Carnegie Mellon University(麦卡威廉宇宙学与天体物理学中心,物理系,卡内基梅隆大学);Entertainment Technology Center, Carnegie Mellon University(娱乐技术中心,卡内基梅隆大学);Kavli IPMU (WPI), UTIAS, The University of Tokyo(Kavli IPMU(WPI),UTIAS,东京大学);Center for Data-Driven Discovery, Kavli IPMU (WPI), Japan(数据驱动发现中心,Kavli IPMU(WPI),日本)
提出结合 Deep Sets 与条件归一化流的集合式框架,利用投影星系动力学推断星系团质量后验,降低离散度并给出可靠不确定性。
2025-07-27 astro-ph.CO cs.LG
Efficient Bayesian Experimental Design for Implicit Models
University of Edinburgh(爱丁堡大学)
贝叶斯试验设计涉及在试验中资源的最优分配,目的是优化成本和性能。对于隐式模型,其中的可能性是棘手的,但从模型中采样是可能的,这项任务特别困难,因此在很大程度上未探索。这主要是由于与近似后验分布和效用函数相关的技术困难。我们设计了一个新的试验设计框架,隐式模型,提高了以前的工作在两个方面。首先,我们使用参数和数据之间的互信息作为效用函数,这在以前是不可行的。我们实现了这一点,利用似然自由推理比估计(LFIRE)近似后验分布,而不是传统的近似贝叶斯计算或合成似然方法。其次,我们使用贝叶斯优化来解决最优设计问题,而不是通常使用的网格搜索或基于采样的方法。我们发现,这提高了效率,并允许我们考虑更高的设计尺寸。
2019-02-23 cs.LG stat.CO stat.ME
Adversarial Likelihood-Free Inference on Black-Box Generator
KAIST(韩国科学技术院)
生成对抗网络(GAN)可以被视为数据分布的隐式估计器,并且这种观点激励在黑盒生成器的真实输入参数估计中使用对抗概念。虽然以前的工作中的似然自由推理介绍了一个隐式的建议分布的发电机输入,本文分析了理论上的局限性的建议分布方法。最重要的是,我们引入了一种新的算法,对抗似然自由推理(ALFI),以减轻分析的局限性,因此ALFI能够找到黑盒生成模型输入参数的后验分布。我们用不同的仿真模型以及预训练的统计模型对ALFI进行了实验,我们发现ALFI在有限的仿真预算下实现了最佳的参数估计精度。
2020-06-11 cs.LG stat.ML
MolGAN: An implicit generative model for small molecular graphs
University of Amsterdam(阿姆斯特丹大学)
图结构数据的深度生成模型为化学合成问题提供了一个新的角度:通过优化直接生成分子图的可微模型,可以在离散和巨大的化学结构空间中避开昂贵的搜索程序。我们引入MolGAN,一个隐式的,无可能性的生成模型的小分子图,避免了昂贵的图匹配程序或节点排序算法以前的可能性为基础的方法的需要。我们的方法适应生成对抗网络(GANs)直接对图结构数据进行操作。我们将我们的方法与强化学习目标相结合,以鼓励生成具有特定所需化学性质的分子。在QM9化学数据库上的实验中,我们证明了我们的模型能够生成接近100%的有效化合物。MolGAN与最近提出的使用基于字符串(SMILES)的分子表示和直接生成图形的基于可能性的方法相比都很有利,尽管容易受到模式崩溃的影响。代码https://github.com/nicola-decao/MolGAN
2022-09-27 cs.LG stat.ML
Implicit Generation and Generalization in Energy-Based Models
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Brain(谷歌大脑)
基于能量的模型(EBM)由于其在似然建模中的通用性和简单性而吸引人,但是传统上难以训练。我们提出了在连续神经网络上扩展基于MCMC的EBM训练的技术,并在ImageNet 32 x32,ImageNet 128 x128,CIFAR-10和机器人手轨迹的高维数据域上展示了其成功,实现了比其他可能性模型更好的样本,并接近当代GAN方法的性能,同时覆盖了所有数据模式。我们强调了隐式生成的一些独特功能,如组合性和损坏的图像重建和修复。最后,我们证明了EBM是跨各种任务的有用模型,实现了最先进的分布外分类,对抗性强的分类,最先进的持续在线类学习,以及连贯的长期预测轨迹推出。
2020-06-30 cs.CV cs.LG stat.ML
Efficient Semi-Implicit Variational Inference
Huawei R&D UK(华为英国研发部);University College London(伦敦大学学院)
在本文中,我们提出了CI-VI的半隐式变分推理(SIVI)的一个有效的和可扩展的求解器。我们的方法,首先,映射SIVI的证据下限(ELBO)的形式,涉及一个非线性功能嵌套的预期值,然后开发一个严格的优化器能够正确处理固有的偏差非线性嵌套的期望使用外推平滑机制加上梯度草图。我们的理论结果表明,在一般的非凸设置中,通常会出现在使用深度网络模型和$O(t^{-\frac{4}{5}})$梯度偏差消失率的顺序时,收敛到ELBO的一个稳定点。我们相信,这些结果概括超出特定嵌套所产生的SIVI的其他形式。最后,在一组实验中,我们证明了我们的算法在各种数据集,包括那些从自然语言处理的复杂后验近似的有效性。
2021-01-15 cs.LG
Implicit Variational Rejection Sampling
RIKEN iTHEMS;RIKEN AIP;South China University of Technology(华南理工大学);Xiamen University(厦门大学);Columbia University(哥伦比亚大学)
提出隐式变分拒绝采样(IVRS),结合隐式分布与拒绝采样,通过神经网络构建提议分布并用判别器估计密度比来改进后验近似,引入IR-ELBO作为质量度量,实验优于传统变分推断。
2026-06-15 cs.LG
Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution
Data61, CSIRO(联邦科学与工业研究组织数据61研究所)
我们提出了一种新的方法来执行近似贝叶斯推断在复杂的模型,如贝叶斯神经网络。该方法比马尔可夫链蒙特卡罗更适合大数据,它比变分推断包含更多表达模型,并且它不依赖于对抗训练(或密度比估计)。我们采用最近的方法构建两个模型:(1)主要模型,负责执行回归或分类;(2)次要的,表达(例如隐式)模型,定义了主要模型参数的近似后验分布。然而,我们根据后验预测分布的蒙特卡罗估计通过梯度下降来优化后验模型的参数-这是我们唯一的近似值(后验模型除外)。只需要指定可能性,它可以采取各种形式,如损失函数和合成可能性,从而提供一种形式的无可能性方法。此外,我们制定的方法,使后验样本可以是独立的,或有条件地依赖于主模型的输入。后一种方法被证明是能够增加的主要模型的明显的复杂性。我们认为这在诸如代理和基于物理的模型等应用中很有用。为了促进贝叶斯范式提供的不仅仅是不确定性量化,我们展示了:不确定性量化,多模态,以及最近的深度预测神经网络架构的应用。
2022-09-06 cs.LG stat.ML
Normalizing Flow Regression for Bayesian Inference with Offline Likelihood Evaluations
University of Helsinki(赫尔辛基大学);Washington University in St. Louis(圣路易斯华盛顿大学)
针对计算成本高昂的似然评估下的贝叶斯推理挑战,提出归一化流回归(NFR)离线推理方法,通过对数密度评估回归直接生成可处理后验近似,在合成基准和实际应用中表现优异。
2025-04-15 cs.LG stat.ML
On Contrastive Learning for Likelihood-free Inference
University of Edinburgh(爱丁堡大学);DeepMind(深度思维)
无似然方法在随机模拟器模型中执行参数推断,其中评估似然性是棘手的,但可以采样合成数据。这种无似然问题的一类方法使用分类器来区分使用模拟器生成的参数观察样本对和从一些参考分布中采样的对,其隐式地学习与似然成比例的密度比。另一类流行的方法适合条件分布的参数后直接,和一个特定的最近的变体允许使用灵活的神经密度估计这一任务。在这项工作中,我们表明,这两种方法可以统一在一个一般的对比学习计划,并澄清他们应该如何运行和比较。
2020-12-18 cs.LG stat.ML
Divide and Couple: Using Monte Carlo Variational Objectives for Posterior Approximation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Mount Holyoke College(曼荷莲学院)
最近的工作在变分推理(VI)使用的想法从蒙特卡洛估计收紧的下限的对数似然作为目标。然而,没有系统的理解如何优化不同的目标与近似的后验分布。如果要将这些思想应用于推理,那么发展这样一种联系是很重要的,需要近似后验而不仅仅是对数似然的近似的应用。给定一个由蒙特卡罗估计的可能性定义的VI目标,我们使用一个“划分和耦合”的程序来确定增强的建议和目标分布。这些之间的分歧等于VI目标和对数似然之间的差距。因此,在最大化VI目标之后,可以使用增强变分分布来近似后验分布。
2020-01-07 cs.LG stat.ML
Recovery-Directed Symbolic Distillation of Neural Likelihoods
本文提出一种面向恢复的符号蒸馏流程,将神经似然转化为显式表达式,在保持参数恢复精度的同时实现超100倍加速,并适用于多种基于模拟的推断场景。
2026-09-29 cs.LG q-bio.NC stat.CO
Semi-Implicit Variational Inference via Kernelized Path Gradient Descent
Department of Statistics, LMU Munich(统计系);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出核化 KL 散度估计器与重要性采样校正,改进半隐式变分推断的高维训练稳定性与效率,并在性能和训练成本上达到或超越现有最先进方法。
2025-06-05 cs.LG stat.CO
Implicit Variational Inference for High-Dimensional Posteriors
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学)
该研究提出基于神经采样器局部线性化的隐式变分推断方法及新型采样器架构,可处理数千万潜变量的高维后验,能恢复大型贝叶斯神经网络跨层相关性,在下游任务上的不确定性量化效果优于现有最优方法。
2023-11-09 cs.LG stat.ML
Neural Surrogate HMC: On Using Neural Likelihoods for Hamiltonian Monte Carlo in Simulation-Based Inference
本文提出利用神经似然进行Hamiltonian Monte Carlo,以提高模拟基础推断中参数推断的效率。
2026-08-04 astro-ph.HE cs.LG
Likelihood-free inference with an improved cross-entropy estimator
Imperial College London(伦敦帝国学院);New York University(纽约大学);University of Liège(列日大学);Federico Santa María Technical University(费德里科·圣玛丽亚理工大学)
我们扩展最近的工作(Bavelmer,等。例如,2018年),使用神经网络作为替代模型的似然自由推理。在以前的工作中,我们利用的事实,即联合似然比和联合得分,条件的观察和潜在的变量,往往可以从一个隐式生成模型或模拟器中提取,以增加这些代理模型的训练数据。我们展示了如何使用这种增强的训练数据来提供一种新的交叉熵估计器,与以前利用这种增强的训练数据的损失函数相比,它提供了更高的样本效率。
2018-08-02 cs.LG hep-ph physics.data-an
Learning in Implicit Generative Models
DeepMind
生成对抗网络(GANs)提供了一个算法框架,用于构建具有几个吸引人特性的生成模型:它们不需要指定似然函数,只需要一个生成过程;它们提供了清晰而引人注目的样本;它们允许我们利用我们的知识来构建高度准确的神经网络分类器。在这里,我们发展了对GANs的理解,目的是形成对机器学习这一不断发展的领域的丰富看法-建立与关于这一主题的各种统计思想的联系,其中很多可以通过相互交流思想来获得。我们将GANs构建在隐式生成模型(只指定生成数据的随机过程的模型)中的更广泛的学习算法中,并将这些想法与相关领域的建模问题联系起来,例如计量经济学和近似贝叶斯计算。我们开发了无可能性推理方法,并强调假设检验作为隐式生成模型中学习的原则,使用它我们能够推导出GANs使用的目标函数以及许多其他相关目标。检验的观点将我们的注意力集中在密度比估计的一般问题上。密度比估计有四种方法,其中之一是使用分类器区分真实数据和生成数据的解决方案。其他方法,如发散最小化和矩匹配也已在GAN文献中进行了探索,我们综合这些观点,形成一个理解,它们之间的关系和更广泛的文献,突出未来的探索和交叉授粉的途径。
2017-02-27 cs.LG stat.CO stat.ML