The Illusion of Fit: Spatially Resolved Assessment of Constitutive Model Validity in Elastography and Physics-Based Inverse Problems
Technical University of Munich, Professorship of Data-driven Materials Modeling, School of Engineering and Design（慕尼黑技术大学，数据驱动材料建模教授职位，工程与设计学院）；Munich Data Science Institute (MDSI - Core member)（慕尼黑数据科学研究所（MDSI - 核心成员））
本文提出一种概率框架，将本构模型的有效性从隐含假设转为显式空间解析推断目标，通过将应力场视为独立潜在变量，实现机械平衡应力与本构模型预测应力的点对点比较，以评估模型有效性。
2026-04-13 cs.LG stat.ML
Conditional score-based diffusion models for solving inverse problems in mechanics
University of Southern California（南加州大学）；Harry Perkins Institute of Medical Research（哈里·珀金斯医学研究所）；The University of Western Australia（西澳大学）；Massachusetts Institute of Technology（麻省理工学院）
本文提出条件式基于分数扩散模型的贝叶斯推断框架，仅需仿真黑箱正演模型即可训练分数网络并复用采样后验，可在复杂噪声与非线性条件下高效推断非均质材料属性。
2024-08-29 cs.AI cs.LG stat.ML
Multimodal, high-dimensional, model-based, Bayesian inverse problems with applications in biomechanics
本文主要研究基于模型的贝叶斯反问题的数值解法。我们特别感兴趣的情况下，每个似然评估（前向模型调用）的成本是昂贵的，未知的（潜在的）变量的数量是高的。这是计算物理学中许多问题的设置，其中使用具有非线性偏微分方程的前向模型，并且待校准的参数涉及时空变化系数，其在离散化时产生未知数的高维向量。逆问题的病态性的一个结果是可能有多个解。虽然这些信息包含在贝叶斯公式的后验密度中，但发现单一模式是一项艰巨的任务，更不用说多个模式了。本文件的目标有两个方面。一方面，我们提出了近似的自适应推理策略，使用混合密度来捕获多模态后验，另一方面，扩展了我们在[1]中关于有效降维技术的工作，这些技术揭示了后验方差主要集中的低维子空间。我们采用重要性抽样验证提出的模型，这证实了引入的偏差很小，如果分析师希望这样做，可以有效地纠正。我们证明了所提出的策略在非线性弹性成像中的性能，其中生物材料的机械特性的识别可以告知非侵入性的医学诊断。在这些问题中发现多种模式（解决方案）对于实现诊断目标至关重要。
2016-07-21 stat.CO stat.ML
Parallel Tempering With a Variational Reference
从复杂的目标分布中采样是贝叶斯推断的基本挑战性任务。并行回火（PT）通过在后验分布和固定参考分布之间插值的分布序列的扩展状态空间上构建马尔可夫链来解决这个问题，该固定参考分布通常被选择为先验分布。然而，在先验和后验几乎相互奇异的典型情况下，PT方法在计算上是禁止的。在这项工作中，我们解决这个挑战，通过构建一个广义退火路径连接后的自适应调整变分参考。使用简单的无梯度矩匹配程序调整参考分布，以使前向（包括在内）KL与后验分布的发散最小化。我们表明，我们的自适应过程收敛到前向KL极小值，和前向库尔贝克-莱布勒散度作为一个很好的代理，以前开发的PT性能的措施。我们还表明，在典型的贝叶斯模型的大数据限制，所提出的方法提高了性能，而传统的PT任意恶化。最后，我们引入PT与两个参考-一个固定的，一个变-与一个新的分裂退火路径，确保稳定的变参考适应。本文最后通过实验证明，我们的方法在广泛的现实贝叶斯推断场景中取得了巨大的经验收益。
2023-01-16 stat.CO
Bayesian and Variational Bayesian approaches for flows in heterogenous random media
本文研究非均质随机介质中的渗流问题。我们提出了一种高效的正演模拟技术，是专为变分贝叶斯反演。作为一个出发点，提出的前向模拟技术分解的解决方案到可分离的函数（相对于随机性和空间），其中每一项计算的基础上变分方法的总和。这类似于适当的广义分解（PGD）。接下来，我们应用多尺度技术来求解每个项，并进一步将随机函数分解为1D字段。因此，我们提出的方法提供了一个近似层次的解决方案，因为我们增加了扩展中的术语数量，也增加了每个术语的空间分辨率。我们使用变分贝叶斯近似的分层解决方案分布进行反问题的不确定性量化。我们进行了详细的数值研究，以探讨所提出的不确定性量化技术的性能，并显示理论后验浓度。
2018-02-09 stat.AP stat.CO
Scalable Bayesian Inference for Detection and Deblending in Astronomical Images
我们提出了一种新的概率方法检测，去混合，和编目的天文来源称为贝叶斯光源分离器（BLISS）。BLISS基于深度生成模型，将神经网络嵌入贝叶斯模型。对于后验推理，BLISS使用一种新的变分推理形式，称为前向摊销变分推理。BLISS推理例程速度很快，一旦编码器网络被训练，就需要在GPU上对编码器网络进行单次正向传递。BLISS可以在几秒钟内对百万像素的图像进行完全的贝叶斯推断，并产生高度准确的目录。BLISS具有高度可扩展性，除了生成概率目录外，还具有直接回答下游科学问题的潜力。
2022-07-12 astro-ph.IM stat.AP stat.ML
Variational Bayesian strategies for high-dimensional, stochastic design problems
Technische Universität München（慕尼黑工业大学）
本文提出变分贝叶斯方法用于解决高维不确定性下的优化设计问题，通过识别设计空间中的低维方向提升计算效率。
2015-07-27 cs.NA math.NA stat.CO
A Recursive Theory of Variational State Estimation: The Dynamic Programming Approach
本文提出了一种基于动态规划的变分状态估计理论，通过逆向和正向方法结合，得出了变分双滤波公式，并展示了在特定模型中价值函数递归的可行性。
2025-12-16 stat.ME
A Variational Perspective on Generative Flow Networks
University of Amsterdam（阿姆斯特丹大学）；Linköping University（林雪平大学）
生成流网络（generative flow networks，GFN）是一类用于复合对象的序贯抽样的模型，它近似于根据能量函数或奖励定义的目标分布。GFN通常使用流匹配或轨迹平衡目标来训练，其匹配轨迹上的前向和后向转换模型。在这项工作中，我们定义变分目标GFNs的Kullback-Leibler（KL）之间的分歧的前向和后向分布。我们表明，变分推断在GFNs是相当于最小化的轨迹平衡目标时，从前向模型的轨迹采样。我们通过优化反向和正向库尔贝克-莱布勒散度的凸组合来推广这种方法。这种见解表明，变分推断方法可以用作定义用于训练生成流网络的更一般的目标族的手段，例如，通过结合通常用于变分推断的控制变量，以减少轨迹平衡目标的梯度的方差。我们评估我们的研究结果和性能的建议变目标数值比较，它的轨迹平衡目标上的两个合成任务。
2022-10-14 cs.LG stat.ML
Forward $χ^2$ Divergence Based Variational Importance Sampling
School of Computational Science & Engineering（计算科学与工程学院）；Georgia Institute of Technology（佐治亚理工学院）
针对变分推断处理复杂后验时对数似然偏低的问题，提出基于前向$\chi^2$散度的变分重要性采样方法，在多种潜变量模型上的表现优于现有最优基线。
2024-02-02 cs.LG stat.CO stat.ML
Stochastic Variance Reduction for Variational Inequality Methods
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Linköping University（林雪平大学）
我们提出了求解凸凹鞍点问题、单调变分不等式和单调包含的随机方差缩减算法。我们的框架适用于外梯度，向前向后向前，向前反射向后的方法在欧几里得和布雷格曼设置。所有提出的方法收敛于相同的设置，因为他们的确定性同行，他们要么匹配或提高最知名的复杂性，解决结构化的最小最大问题。我们的结果加强了变分不等式的方差约化与极小化之间的对应关系。我们还说明了我们的方法的改进与数值计算上的矩阵对策。
2022-06-11 cs.LG math.OC stat.ML
Variational Bi-LSTMs
Microsoft Maluuba（微软 Maluuba）；MILA, Université de Montréal（蒙特利尔大学 MILA）
像长短期记忆（LSTM）这样的递归神经网络是顺序预测任务的重要架构。LSTM（和一般的RNN）沿着向前的时间方向对序列进行建模。另一方面，双向LSTM（Bi-LSTM）沿着向前和向后方向对序列进行建模，并且通常已知在此类任务中表现更好，因为它们捕获更丰富的数据表示。在Bi-LSTM的训练中，前向和后向路径是独立学习的。我们提出了一种Bi-LSTM架构的变体，我们称之为Variational Bi-LSTM，它在两条路径之间创建了一个通道（在训练期间，但在推理期间可能会被忽略）;从而联合优化了两条路径。我们通过最小化数据序列的联合似然的变分下界来达到我们模型的联合目标。我们的模型充当正则化器，并鼓励两个网络使用不同的信息进行各自的预测。我们进行消融研究，以更好地了解我们模型的不同组成部分，并在各种基准上评估该方法，显示最先进的性能。
2017-11-15 cs.LG stat.ML
VISA: Variational Inference with Sequential Sample-Average Approximations
University of Amsterdam（阿姆斯特丹大学）
VISA 通过序列样本均值近似扩展重要性加权前向 KL 变分推断，在信任域内重用模型评估以降低计算成本，在多个实验中达到相当精度并节省两倍以上计算量。
2024-03-15 cs.LG stat.ML
Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence
University of California Berkeley（加州大学伯克利分校）；Duke University（杜克大学）；Google Research（谷歌研究院）；University of California San Diego（加州大学圣迭戈分校）
变分推断是贝叶斯推断中渐近精确抽样的一种常用方法。它的主要工作是优化反向库尔贝克-莱布勒散度（RKL），这通常会低估后验的尾部，导致误校准和潜在的退化。另一方面，重要性抽样（IS）通常用于对近似贝叶斯推断过程的估计进行微调和去偏。信息系统的质量在很大程度上取决于建议分发的选择。理想情况下，建议分布的尾部比目标分布的尾部重，这很少能通过最小化RKL来实现。因此，我们提出了一种新的组合的优化和采样技术的近似贝叶斯推断通过构建一个IS建议分布通过最小化的前向KL（FKL）的分歧。这种方法保证了最优IS估计和最优变分逼近的渐近一致性和快速收敛性。我们实证证明，我们的方法是有竞争力的变分助推和MCMC的真实数据。
2021-06-30 cs.LG stat.CO stat.ML
Transport Score Climbing: Variational Inference Using Forward KL and Adaptive Neural Transport
Columbia University（哥伦比亚大学）；University of Amsterdam（阿姆斯特丹大学）
变分推断通常最小化“反向”Kullbeck-Leibler（KL）KL（q||最近的工作研究了“前向”KL KL（p|| q），这与反向KL不同，不会导致低估不确定性的变分近似。本文介绍了一种优化KL（p|| q）的自适应输运映射。运输映射通过在潜在变量空间和翘曲空间之间改变变量来改善HMC的轨迹。TSC使用HMC样本动态训练运输地图，同时优化KL（p|| q）。TSC利用协同效应，更好的交通地图导致更好的HMC采样，然后导致更好的交通地图。我们证明TSC合成和真实数据。我们发现，TSC在大规模数据上训练变分自编码器时具有竞争力的性能。
2022-09-02 cs.LG stat.CO stat.ME
Automatic variational inference with cascading flows
Donders Centre for Cognition, Radboud University（拉德堡德大学唐德斯认知中心）；One Planet（一个星球（研究机构））
概率推理的自动化是机器学习的主要目标之一。最近，变分推断和深度学习的融合产生了强大而灵活的自动推理方法，可以通过随机梯度下降进行训练。特别是，归一化流是高度参数化的深度模型，可以拟合任意复杂的后验密度。然而，规范化流在高度结构化的概率程序中很难实现，因为它们需要重新学习程序的前向传递。自动结构化变分推断（ASVI）通过构造嵌入前向传递的变分程序来解决这个问题。在这里，我们结合规范化流的灵活性和事先嵌入属性的ASVI在一个新的家庭变分方案，我们命名为级联流。级联流程序在先前程序的条件分布之间插入一个新设计的高速公路流架构，以便将其转向观察到的数据。这些程序可以从输入的概率程序自动构造，也可以自动摊销。我们在一系列的结构化推理问题的新变分方案的性能进行评估。我们发现，级联流有更高的性能比规范化流程和ASVI在一个大的结构化推理问题。
2021-02-09 cs.LG stat.ML
Stochastic variance-reduced Gaussian variational inference on the Bures-Wasserstein manifold
University of Helsinki（赫尔辛基大学）
针对Bures-Wasserstein流形上变分推断中蒙特卡洛估计高方差问题，提出基于控制变量的方差缩减估计器，理论证明方差更小并改进优化界限，实验实现数量级性能提升。
2025-02-28 cs.LG stat.ML
Structured Black Box Variational Inference for Latent Time Series Models
Disney Research（迪士尼研究院）
连续潜在时间序列模型在贝叶斯建模中很普遍;示例包括卡尔曼滤波器、动态协同过滤或动态主题模型。这些模型通常受益于结构化的，非平均场变分近似，捕获时间步长之间的相关性。黑盒变分推断与重新参数化梯度（BBVI），使我们能够探索一个丰富的新的类贝叶斯非共轭潜在的时间序列模型，然而，一个天真的BBVI的应用程序，这样的结构化变分模型将规模平方的时间步长。我们描述了一个BBVI算法类似的向前向后算法，而不是线性缩放的时间。它允许我们有效地从变分分布中采样并估计ELBO的梯度。最后，我们展示了最近提出的动态单词嵌入模型的结果，该模型是使用我们的方法训练的。
2017-07-04 cs.LG stat.ML
Nested Variational Inference
Northeastern University（东北大学）
我们开发嵌套的变分推断（NVI），学习嵌套的重要性采样器的建议，通过最小化在每个层次的嵌套的正向或反向库尔贝克-莱布勒散度的方法。NVI适用于许多常用的重要性抽样策略，并提供了一种学习中间密度的机制，可以作为指导采样器的算法。我们的实验将NVI应用于（a）使用学习的退火路径从多峰分布中采样（b）学习近似隐马尔可夫模型中未来观察的可能性的概率（c）在分层深度生成模型中执行摊销推理。我们观察到，优化嵌套目标导致改善的样本质量的对数平均权重和有效的样本量。
2021-06-21 cs.LG stat.ML
Automatic structured variational inference
Radboud University（拉德堡德大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Google Research（谷歌研究院）
随机变分推断作为可微概率规划的缺省方法提供了一个有吸引力的选择。然而，变分方法的性能取决于一个合适的变分家庭的选择。在这里，我们介绍了自动结构化变分推断（ASVI），一个全自动的方法构造结构化变分家庭，共轭贝叶斯模型的封闭形式更新的启发。这些凸更新家庭纳入了输入概率程序的前向传递，因此可以捕获复杂的统计依赖关系。凸更新族具有与输入概率程序相同的空间和时间复杂度，因此对于包括连续变量和离散变量的非常大的模型族是易于处理的。我们验证了我们的自动变分方法在广泛的低维和高维推理问题。我们发现，ASVI提供了一个明显的改善性能相比，其他流行的方法，如平均场方法和逆自回归流。我们在TensorFlow Probability中提供了ASVI的开源实现。
2021-02-10 cs.LG stat.ML
Revisiting Unbiased Implicit Variational Inference
LMU Munich（慕尼黑大学）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文重新审视无偏隐式变分推断（UIVI），提出用重要性采样替代其内部MCMC循环，并通过最小化期望前向KL散度稳定学习最优提议分布，在SIVI基准上取得领先或持平性能。
2025-06-04 cs.LG stat.ML
Variational AutoEncoder For Regression: Application to Brain Aging Analysis
Stanford University（斯坦福大学）；SRI International（SRI国际）
虽然无监督变分自编码器（VAE）已成为神经图像分析中的一个强大工具，但其在监督学习中的应用尚不充分。我们的目标是通过提出一个统一的概率模型来学习成像数据的潜在空间并进行监督回归来缩小这一差距。基于最近的进展，在学习解纠缠表示，新的生成过程明确建模的条件分布的潜在表示相对于回归目标变量。在这个模型上执行变分推理过程导致VAE和神经网络回归量之间的联合正则化。在从结构磁共振（MR）图像预测245名受试者的年龄时，我们的模型在应用于感兴趣区域（ROI）测量或原始3D体积图像时比最先进的方法更准确。更重要的是，与简单的前馈神经网络不同，在潜在表征中解开年龄的纠缠可以直观地解释人类大脑的结构发育模式。
2019-07-11 cs.LG stat.ML
Preconditioned training of normalizing flows for variational inference in inverse problems
Utrecht University（乌得勒支大学）；Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
从逆问题的后验分布中获取样本是具有挑战性的，特别是当未知数涉及强非均匀地球时。为了应对这些挑战，我们提出了一个预处理方案，涉及一个条件归一化流（NF）能够直接从低保真度后验分布采样。该条件NF用于加速高保真度目标的训练，包括最小化预测的和所需的高保真度后验密度之间的库尔贝克-莱布勒散度，用于手头的间接测量。为了最大限度地减少与前向运算符相关的成本，我们使用预先训练的低保真度NF的权重初始化高保真NF，该NF预先在可用的模型和数据对上进行训练。我们的数值实验，包括一个2D玩具和一个地震压缩传感的例子，表明由于预处理相当大的速度相比，从头开始训练NF是可以实现的。
2021-01-11 cs.LG physics.geo-ph stat.ML
Recursive Inference for Variational Autoencoders
Samsung AI Center（三星人工智能中心）；Rutgers University（罗格斯大学）
传统的变分自编码器（VAE）的推理网络通常被摊销，导致与实例变分优化相比相对不准确的后验近似。最近提出的半摊销的方法来解决这个缺点，但是，他们的迭代梯度更新程序可以计算要求。为了解决这些问题，在本文中，我们介绍了一个准确的摊销推理算法。我们提出了一种新的递归混合估计算法的VAE，迭代增加当前的混合与新的组件，以最大限度地减少变分和真正的后验之间的分歧。使用函数梯度方法，我们设计了一个直观的学习标准来选择一个新的混合成分：新的成分必须提高数据的似然性（下限），同时，尽可能地偏离当前的混合分布，从而增加代表性的多样性。与最近提出的提升变分推理（BVI）相比，我们的方法依赖于摊销推理，而不是BVI的非摊销单一优化实例。我们的方法的一个关键好处是，在测试时的推理需要一个单一的前馈通过混合推理网络，使其显着快于半摊销的方法。我们表明，我们的方法产生更高的测试数据的可能性比国家的最先进的几个基准数据集。
2020-11-17 cs.LG stat.ML
Ensemble Kalman Variational Objectives: Nonlinear Latent Trajectory Inference with A Hybrid of Variational Inference and Ensemble Kalman Filter
Meiji University（明治大学）；Chuo University（中央大学）
变分推断（VI）结合贝叶斯非线性滤波产生潜在的时间序列建模的最先进的结果。最近的大量工作集中在序贯蒙特卡罗（SMC）及其变体上，例如，前向滤波后向模拟（FFBSi）。虽然这些研究取得了成功，严重的问题仍然存在于粒子退化和有偏梯度估计。在本文中，我们提出了Ensemble卡尔曼变分目标（EnKO），VI和集合卡尔曼滤波（EnKF）的混合方法，推断状态空间模型（SSM）。我们提出的方法可以有效地识别潜在的动态，因为它的粒子多样性和无偏梯度估计。我们证明了我们的EnKO优于SMC为基础的方法在预测能力和粒子效率的三个基准非线性系统识别任务。
2021-11-09 cs.LG stat.CO stat.ML
Sequential Monte Carlo for Inclusive KL Minimization in Amortized Variational Inference
University of Michigan（密歇根大学）
针对摊销变分推断中包容性KL最小化难题，提出SMC-Wake方法，利用似然温度化序贯蒙特卡洛估计梯度，实现更准确的后验逼近。
2024-03-15 cs.LG stat.ML
PI-VAE: Physics-Informed Variational Auto-Encoder for stochastic differential equations
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一类新的物理信息神经网络，称为物理信息变分自动编码器（PI-VAE），解决随机微分方程（SDES）或反问题涉及SDES。在这些问题中的控制方程是已知的，但只有有限数量的测量系统参数是可用的。PI-VAE由一个变分自动编码器（VAE）组成，它生成系统变量和参数的样本。该生成模型与控制方程相结合。在这种集成中，VAE输出的导数很容易使用自动微分计算，并用于基于物理的损失项。在这项工作中，损失函数被选择为最大平均离散（MMD），以提高性能，和神经网络参数迭代更新使用随机梯度下降算法。我们首先测试所提出的方法近似随机过程。然后，我们研究了三种类型的问题相关的SDES：正问题和反问题，以及混合问题，系统参数和解决方案同时计算。与物理信息生成对抗网络（PI-WGAN）相比，该方法具有令人满意的精度和效率。
2022-03-21 cs.LG stat.ML
Variational Flow Graphical Model
Baidu Research（百度研究院）
本文介绍了一种新的方法来嵌入基于流的模型与层次结构。该框架被命名为变流图形（VFG）模型。VFG通过变分推断集成基于流的函数，经由消息传递方案来学习高维数据的表示。通过利用神经网络的表达能力，VFG使用较低的维度产生数据的表示，从而克服了许多基于流的模型的缺点，通常需要涉及许多琐碎变量的高维潜在空间。在VFG模型中引入聚集节点，通过消息传递机制集成前向-后向层次信息。最大化数据可能性的证据下限（ELBO）对齐每个聚合节点中的前向和后向消息，实现一致性节点状态。已经开发了算法来通过关于ELBO目标的梯度更新来学习模型参数。聚合节点的一致性使VFG能够适用于图形结构的易处理推理。除了表示学习和数值推理之外，VFG为具有图形潜在结构的数据集的分布建模提供了一种新方法。此外，理论研究表明，VFG是通用的逼近器，利用隐式可逆的流为基础的结构。VFG具有灵活的图形结构和卓越的超额功率，可以潜在地用于改进概率推理。在实验中，VFG在多个数据集上实现了改进的证据下限（ELBO）和似然值。
2022-07-06 cs.AI cs.LG stat.ML
A Latent Variational Framework for Stochastic Optimization
University of Toronto（多伦多大学）
本文通过一个潜在的随机变分问题，为随机优化算法提供了一个统一的理论框架。使用随机控制技术，变分问题的解决方案是等价的一个向前向后随机微分方程（FBSTO）。通过求解这些方程，我们恢复了各种现有的自适应随机梯度下降方法。该框架建立了随机优化算法和二次贝叶斯推理问题之间的直接联系梯度，在噪声梯度观测的先验测量确定所得到的算法。
2019-10-27 cs.LG math.PR stat.CO
SenGen: Sentence Generating Neural Variational Topic Model
AWS Deep Learning, Amazon（亚马逊 AWS 深度学习）；IBM Research（IBM 研究院）
我们提出了一种新的主题模型，它通过一次对一个整句的主题进行采样来生成文档，并使用以句子主题为条件的RNN解码器来生成句子中的单词。我们认为，这种新颖的形式主义将帮助我们不仅可视化和模型的主题话语结构在一个文件中更好，但也可能导致更多的可解释的主题，因为我们现在可以说明主题抽样代表性的句子，而不是一袋的话或短语。我们提出了一种用于学习的变分自动编码器方法，其中我们使用因子分解的变分编码器，该编码器使用前馈网络独立地对文档的主题混合向量进行后验建模，并使用RNN对句子的主题分配进行后验建模。我们在两个不同数据集上的初步实验表明了早期的希望，但也暴露了许多有待解决的挑战。
2017-08-01 cs.CL cs.LG stat.ML
Bridging the Gap Between Variational Inference and Wasserstein Gradient Flows
School of Mathematics（数学学院）；University of Bristol（布里斯托大学）
本文通过将Bures-Wasserstein梯度流重构为欧几里得梯度流，建立了变分推断与Wasserstein梯度流之间的理论联系，并将路径导数梯度解释为蒸馏过程，进而提出适用于f-散度和非高斯变分族的新梯度估计器。
2023-10-31 cs.LG stat.CO stat.ML
Material Microstructure Design Using VAE-Regression with Multimodal Prior
TCS Research, Tata Consultancy Services Ltd（塔塔咨询服务有限公司 TCS 研究院）；Department of Computer Science and Engineering, Indian Institute of Technology Bombay（印度理工学院孟买分校 计算机科学与工程系）
该研究提出结合 VAE 与回归、并采用两级多模态高斯混合先验的模型，以实现材料微观结构与性能之间的正向预测和一对多逆向设计。
2024-02-27 cond-mat.mtrl-sci cs.LG stat.ML
Learning from samples: inverse problems over measures
INRIA (PreMeDICaL & HeKA)（法国国家信息与自动化研究所（PreMeDICaL & HeKA））；CNRS and ENS, PSL Université（法国国家科学研究中心与巴黎高等师范学院，PSL大学）；Mathematics Institute, University of Warwick（华威大学数学研究所）
本文研究通过样本观测未知势函数的逆问题，提出改进的Fenchel-Young损失以提升局部几何特性，通过分离误差分析获得高概率参数恢复界。
2026-06-29 cs.LG math.ST stat.ML
Variational Inference MPC for Bayesian Model-based Reinforcement Learning
Panasonic Corp.（松下公司）；Ritsumeikan Univ.（立命馆大学）
在最近关于基于模型的强化学习（MBRL）的研究中，在前向动力学中引入不确定性是提高学习性能的最新策略，使MBRL与尖端的无模型方法竞争，特别是在模拟机器人任务中。轨迹采样概率集成（Probablenessbles with trajectory sampling，PETS）是MBRL的一种主要类型，它将贝叶斯推理应用于动力学建模和模型预测控制（Model Predictive Control，MPC），并通过交叉熵方法（Cross Entropy Method，CEM）进行随机优化。在本文中，我们提出了一种新的扩展不确定性感知MBRL。我们的主要贡献是两方面的：首先，我们引入了变分推理MPC，它重新制定了各种随机方法，包括CEM，在贝叶斯时尚。其次，我们提出了一个新的框架，称为概率动作合奏与轨迹采样（PaETS）的实例。因此，我们的贝叶斯MBRL可以涉及多模态的不确定性，无论是在动态和最佳轨迹。与PETS相比，我们的方法在几个具有挑战性的运动任务上始终提高了渐近性能。
2019-10-07 cs.LG cs.SY eess.SY
Ensemble-based kernel learning for a class of data assimilation problems with imperfect forward simulators
模拟器的不完善性，通常被称为模式误差，是普遍存在的实际数据同化问题。尽管为解决这个问题付出了巨大的努力，但正确处理数据同化中的模拟器缺陷仍然是一项具有挑战性的任务。在这项工作中，我们提出了一种方法来处理模拟器的不完美性，从功能近似的角度来看，可以通过一定的机器学习方法，如基于内核的学习，在目前的工作中采用。为此，我们从考虑一类监督学习问题开始，然后确定监督学习和变分数据同化之间的相似之处。这些相似之处为我们开发基于集合的学习框架来解决监督学习问题奠定了基础，同时实现了基于集合的方法相对于变分方法的各种优势。在建立了基于集合的学习框架之后，我们继续研究基于集合的学习集成到基于集合的数据同化框架中以处理模拟器不完善。在我们的调查过程中，我们还开发了一个策略来解决监督学习问题中的多模态问题，并将此策略转移到数据同化问题，以帮助提高同化性能。为了演示，我们应用基于集成的学习框架和集成的，基于集成的数据同化框架的监督学习问题和数据同化问题与不完善的前向模拟器，分别。实验结果表明，这两个框架在相关的案例研究中取得了良好的性能，通过机器学习的功能近似可以作为一种可行的方式来解释模拟器不完善的数据同化问题。
2019-01-30 math.OC physics.data-an physics.geo-ph
