Notes on the Behavior of MC Dropout
Aalto University（阿尔托大学）
在深度神经网络中估计不确定性的各种选择中，蒙特卡罗丢弃因其简单有效而广受欢迎。然而，通过这种方法估计的不确定性的质量变化和选择在架构设计和培训程序必须仔细考虑和测试，以获得满意的结果。在本文中，我们提出了一项研究，提供了不同的观点的行为蒙特卡洛辍学，这使我们能够观察到一些有趣的性能的技术，请记住，当考虑其用于不确定性估计。
2021-07-13 cs.LG stat.ML
Generating Data using Monte Carlo Dropout
West University of Timisoara（蒂米什瓦拉西部大学）；University of Ljubljana（卢布尔雅那大学）
对于许多分析问题来说，挑战在于处理大量可用数据。然而，存在收集信息困难且成本高的数据科学应用领域，例如，在许多此类情况下，具有与实际数据相同的统计和预测属性的合成数据生成器允许有效的模拟和工具及应用程序的开发。在这项工作中，我们提出了将蒙特卡罗辍学方法内的自动编码器（MCD-AE）和变分自动编码器（MCD-VAE）作为合成数据集的有效生成器。由于变分自动编码器（VAE）是最流行的生成器技术之一，我们探讨了它的相似性和差异所提出的方法。我们比较生成的数据集与原始数据的基础上的统计特性，结构相似性和预测相似性。结果表明，VAE，MCD-VAE和MCD-AE的结果之间有很强的相似性，但是，所提出的方法更快，可以生成类似于特定的初始实例的值。
2019-09-16 cs.LG stat.ML
On Feature Relevance Uncertainty: A Monte Carlo Dropout Sampling Approach
EFS（EFS公司）
本文提出蒙特卡洛相关性传播（MCRP）方法，通过蒙特卡洛估计特征相关性分布来计算不确定性分数，弥补现有解释技术无法量化特征相关性不确定性的不足。
2023-04-11 cs.LG stat.ML
Unreliable Uncertainty Estimates with Monte Carlo Dropout
Department of Data Science, Norwegian University of Life Sciences（数据科学系，挪威生命科学大学）；SINTEF AS, Department of Mathematics and Cybernetics（SINTEF公司，数学与自动化系）
本文指出蒙特卡洛滴落在估计不确定性时不可靠，尤其在插值和外推区域表现不佳，不如传统贝叶斯方法可靠。
2025-12-16 cs.LG
Deep Ensemble Bayesian Active Learning : Addressing the Mode Collapse issue in Monte Carlo dropout via Ensembles
The University of Edinburgh（爱丁堡大学）
在图像分类任务中，深度CNN处理复杂图像数据的能力已被证明是无与伦比的。然而，它们需要大量标记的训练数据来充分发挥其潜力。在医疗保健等专业领域，获取标记数据可能很困难且成本高昂。主动学习旨在通过减少特定任务所需的标记数据量，同时提供令人满意的性能来缓解这个问题。我们提出了DEBAL，这是一种为深度神经网络设计的新的主动学习策略。该方法改进了当前最先进的深度贝叶斯主动学习方法，该方法遭受模式坍塌问题。我们纠正这一不足，利用模型合奏的表达能力和统计特性。我们提出的方法设法捕捉卓越的数据不确定性，这转化为改进的分类性能。我们根据经验证明，我们的集成方法可以更快地收敛在MNIST和CIFAR-10数据集上训练的CNN。
2018-11-09 cs.LG stat.ML
Surrogate Modelling of Proton Dose with Monte Carlo Dropout Uncertainty Quantification
Institute for Mathematical Innovation University of Bath, Bath, UK（数学创新研究所 英国巴斯大学）；Department of Mathematical Sciences University of Bath, Bath, UK（数学科学系 英国巴斯大学）
本文提出一种集成蒙特卡洛丢弃的神经代理模型，用于快速可微的质子剂量预测，并通过一维至三维实验验证其精度、方差分解及对认知与参数不确定性的区分能力，在保持不确定性信息的同时显著加速蒙特卡洛计算。
2025-09-16 cs.LG physics.data-an stat.AP
Calibration of Model Uncertainty for Dropout Variational Inference
Leibniz Universität Hannover（汉诺威莱布尼茨大学）
通过蒙特卡罗退出的变分贝叶斯推断得到的模型不确定性容易发生误校准。本文将不同的logit标度方法推广到dropout变分推断中，对模型的不确定性进行重新校正。期望不确定度校准误差（UCE）被提出作为衡量误校准的度量。在CIFAR-10/100和SVHN上评估了最近CNN架构的重新校准的有效性。实验结果表明，通过UCE，logit缩放可以显着减少误校准。良好校准的不确定性可以可靠地拒绝不确定的预测和可靠地检测分布外的数据。
2020-06-20 cs.LG stat.ML
Rate-In: Information-Driven Adaptive Dropout Rates for Improved Inference-Time Uncertainty Estimation
Yale University（耶鲁大学）；New York University（纽约大学）；Meta FAIR
Rate-In 提出一种无监督推理时方法，通过量化每层特征图中 dropout 引起的信息损失，动态调整 dropout 率，从而在不牺牲预测性能的情况下改善校准并锐化不确定性估计。
2025-06-04 cs.CV cs.LG stat.ML
Well-calibrated Model Uncertainty with Temperature Scaling for Dropout Variational Inference
Institute of Mechatronic Systems（机电系统研究所）；Leibniz University Hannover（汉诺威莱布尼茨大学）
通过蒙特卡罗退出的变分贝叶斯推断得到的模型不确定性容易发生误校准。不确定度不能很好地代表模型误差。本文将温度标度法推广到丢弃变分推断中，以校正模型的不确定性。提出了期望不确定度校准误差（UCE）作为度量不确定度误校准的指标。这种方法的有效性进行评估CIFAR-10/100最近的CNN架构。实验结果表明，温度定标大大减少了UCE的误校准，并使不确定的预测鲁棒拒绝。所提出的方法可以很容易地从频率论的温度标度，并产生良好的校准模型的不确定性。该方法实现简单，不影响模型精度。
2019-11-18 cs.LG stat.ML
Robust Uncertainty Quantification Using Conformalised Monte Carlo Prediction
University of York（约克大学）
本文提出混合不确定性量化方法MC-CP，通过自适应MC dropout节省资源并结合共形预测生成稳健预测集合/区间，在分类与回归基准上优于多种先进方法且易于部署。
2024-01-22 cs.AI cs.LG stat.ML
Prior Networks for Detection of Adversarial Attacks
University of Cambridge（剑桥大学）
对抗性示例被认为是人工智能安全关键应用的一个严重问题，例如金融、自动驾驶汽车控制和医疗应用。虽然大量的工作已经提高了系统对这些攻击的鲁棒性，但系统仍然容易受到精心设计的攻击。为了解决这个问题，已经提出了几种对抗性攻击检测方法。然而，系统仍然容易受到旨在专门逃避这些检测方法的对抗性样本的攻击。一个最近的检测方案，已表现出良好的性能是基于来自蒙特卡洛dropout合奏的不确定性估计。先验网络是一种估计预测不确定性的新方法，已被证明在一系列任务上优于Monte-Carlo丢弃。这种方法的优点之一是先验网络的行为可以显式调整，例如，在没有训练数据样本的区域预测高不确定性。在这项工作中，先验网络被应用于对抗性攻击检测，使用与Monte-Carlo Dropout类似的不确定性度量。基于DNN和Monte-Carlo dropout ensembles的不确定性度量的检测被用作基线。在白盒和黑盒配置的检测中，先验网络在一系列对抗性攻击中的表现明显优于这些基线方法。即使对抗性攻击是在完全了解检测机制的情况下构建的，成功生成对抗性样本也具有高度挑战性。
2018-12-06 cs.CR cs.LG stat.ML
Machine Learning's Dropout Training is Distributionally Robust Optimal
Stanford University（斯坦福大学）；Columbia University（哥伦比亚大学）
本文表明，在广义线性模型中的辍学培训是一个两个球员，零和游戏的最小最大的解决方案，其中的对抗性质破坏了统计学家的协变量使用乘法非参数变量误差模型。在这个博弈中，自然界最不利的分布是丢弃噪声，其中自然界以某种固定的概率$δ$独立地删除协变量向量的条目。这个结果意味着，dropout训练确实为样本内数据的乘法扰动引起的分布提供了样本外预期损失保证。除了决策理论的分析，本文作出了两个贡献。首先，有一个关于如何选择调优参数$δ$的具体建议，以保证随着样本量变大，脱落训练后的样本内损失超过真实的总体损失，并具有某种预先指定的概率。其次，本文提出了一种新的，可并行化的，无偏的多级蒙特卡罗算法，以加快实现辍学训练。我们的算法具有更小的计算成本相比，天真的实施辍学，提供的数据点的数量是远远小于协变量向量的维数。
2021-04-14 cs.LG stat.ML
Dropout as a Structured Shrinkage Prior
University of Cambridge（剑桥大学）；Microsoft Research（微软研究院）；Alan Turing Institute（艾伦·图灵研究所）；University of California, Irvine（加州大学欧文分校）
深度神经网络的丢弃正则化是一种神秘而有效的防止过拟合的工具。其成功的解释范围从防止“共同适应”的权重，它是一种廉价的贝叶斯推断的形式。我们提出了一个新的框架来理解神经网络中的乘性噪声，考虑了连续分布以及伯努利噪声（即辍学）。我们发现，乘性噪声诱导结构化收缩先验网络的权重。我们通过尺度混合物的重新参数化性质得到等价性，而不需要调用任何近似。鉴于等价性，我们然后表明，辍学的蒙特卡罗训练目标接近边际MAP估计。我们利用这些见解，提出了一种新的收缩框架resnets，terning之前的“自动深度确定”，因为它是网络深度的自动相关性确定的自然模拟。最后，我们研究了两种推理策略，改进了回归基准中的MAP近似。
2019-05-29 cs.LG stat.ML
Continuum Dropout for Neural Differential Equations
针对神经微分方程难以应用Dropout而易过拟合的问题，本文基于交替更新过程提出通用正则化技术Continuum Dropout，可提升模型泛化能力、量化预测不确定性，在多类任务上性能优于现有正则化方法。
2025-11-18 cs.LG stat.ML
Curriculum based Dropout Discriminator for Domain Adaptation
Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
领域自适应对于使用大型标记数据集训练的基于深度学习的网络的广泛使用至关重要。基于对抗性学习的技术已经显示出它们在解决这个问题方面的实用性，它使用了一种确保源和目标分布接近的方法。然而，在这里，我们建议，而不是使用点估计，这将是有用的，如果一个基于分布的估计可以用来弥合这一差距。这可以使用多个分类器或使用传统的集成方法来实现。相比之下，我们建议基于蒙特卡罗丢弃的系综估计足以获得基于分布的估计。具体来说，我们提出了一个基于课程的辍学率，逐渐增加的样本为基础的分布和相应的反向梯度的方差用于对齐源和目标特征表示。详细的结果和全面的烧蚀分析表明，我们的模型优于国家的最先进的结果。
2019-10-19 cs.CV cs.LG stat.ML
Antithetic Riemannian Manifold And Quantum-Inspired Hamiltonian Monte Carlo
University of Johannesburg（约翰内斯堡大学）；University of Witwatersrand（威特沃特斯兰德大学）
机器学习中目标后验分布的马尔可夫链蒙特卡罗推断主要通过哈密顿蒙特卡罗及其变体进行。这是由于基于哈密顿蒙特卡罗的采样器抑制随机游走行为的能力。与其他马尔可夫链蒙特卡罗方法一样，哈密顿蒙特卡罗产生自相关样本，这导致估计量的高方差，以及所生成样本的低有效样本量率。先前已经证明，与普通哈密顿蒙特卡罗相比，向哈密顿蒙特卡罗添加对偶采样可以产生更高的有效采样率。在本文中，我们提出了新的算法，这是对立的版本的黎曼流形哈密顿蒙特卡罗和量子启发哈密顿蒙特卡罗。黎曼流形哈密顿蒙特卡罗算法通过考虑目标的局部几何形状来改进哈密顿蒙特卡罗，这对于可能在参数中表现出强相关性的目标密度是有益的。受量子启发的哈密顿蒙特卡罗是基于可以具有随机质量的量子粒子。量子启发的哈密顿蒙特卡罗使用随机质量矩阵，这导致比哈密顿蒙特卡罗更好的采样尖峰和多模态分布，如跳跃扩散过程。使用真实世界的金融市场数据的跳跃扩散过程进行分析，以及使用贝叶斯逻辑斯谛回归的真实世界的基准分类任务。
2021-07-05 cs.LG stat.CO stat.ML
Multilevel Monte Carlo estimation of log marginal likelihood
University of Tokyo（东京大学）
在这个简短的说明中，我们提供了一个无偏的多级蒙特卡罗估计的对数边际似然，并讨论其应用变分贝叶斯。
2019-12-23 cs.LG stat.ML
Multilevel Monte Carlo simulation of a diffusion with non-smooth drift
我们表明，Lasso和贝叶斯Lasso是非常接近时，稀疏性是大的，噪声是小的。然后我们提出用多值随机微分方程求解贝叶斯套索。给出了三种离散化算法，并给出了计算蒙特卡罗（MC）、多级蒙特卡罗（MLMC）和MCMC算法的代价的方法。
2015-04-24 math.ST stat.TH
Subspace Langevin Monte Carlo
Brandeis University（布兰迪大学）
针对高维分布采样的计算挑战，提出子空间朗之万蒙特卡洛方法，通过投影到子采样特征块推广现有方法，兼具适应性与效率，建立了误差保证并通过实验验证了其在病态分布采样中的有效性。
2025-05-19 cs.LG stat.ML
Quasi continuous level Monte Carlo for random elliptic PDEs
本文提出拟连续水平蒙特卡洛方法，用拟蒙特卡洛序列生成指数分布随机变量，显著降低方差，在随机椭圆偏微分方程示例中明显优于多水平和连续水平蒙特卡洛。
2023-10-12 cs.NA math.NA math.PR
A Short Review of Ergodicity and Convergence of Markov chain Monte Carlo Estimators
这篇短文回顾了量化马尔可夫链蒙特卡罗估计的渐近收敛和前渐近收敛的基本理论。
2021-10-13 math.PR math.ST stat.ME
Covariance estimation using h-statistics in Monte Carlo and multilevel Monte Carlo methods
本文提出利用 h-statistics 的 MC 与 MLMC 无偏协方差估计方法，以闭式形式构造无偏均方误差，并通过一维随机椭圆 PDE 验证数值效果。
2024-05-08 cs.NA math.NA math.ST
Repetition effects in a Sequential Monte Carlo sampler
本文研究了近期为政治选区重划引入的序贯蒙特卡洛（SMC）方法中样本重复现象的普遍性。
2024-09-24 cs.CY math.PR math.ST
Combining Normalizing Flows and Quasi-Monte Carlo
本文提出将拟蒙特卡洛采样与归一化流相结合，用拟蒙特卡洛采样流的初始分布，实验表明该组合估计量方差显著低于经典蒙特卡洛采样。
2024-01-11 stat.CO stat.ML
Adaptive Tuning Of Hamiltonian Monte Carlo Within Sequential Monte Carlo
序贯蒙特卡罗（SMC）采样器形成了一个有吸引力的替代MCMC贝叶斯计算。然而，它们的性能在很大程度上取决于用于恢复粒子的马尔可夫核。我们讨论了如何自动校准（使用当前粒子）哈密顿蒙特卡罗内核SMC。为此，我们建立在Fearnhead和Taylor（2013）的自适应SMC方法的基础上，我们还提出了替代方法。我们通过广泛的数值研究说明了在SMC采样器内使用HMC内核的优点。
2020-02-12 stat.CO
The Convergence of Markov chain Monte Carlo Methods: From the Metropolis method to Hamiltonian Monte Carlo
从20世纪50年代开始到应用统计学的现代前沿，马尔可夫链蒙特卡罗一直是统计计算中最普遍和最成功的方法之一。在这段时间里，它的发展受到越来越困难的问题和物理学新技术的推动。在这篇文章中，我将回顾马尔可夫链蒙特卡罗的历史，从一开始的大都会方法，今天的国家的最先进的哈密顿蒙特卡罗。在此过程中，我将专注于该方法的统计和物理观点之间不断发展的相互作用。
2018-01-10 physics.hist-ph stat.ME
Inference with Hamiltonian Sequential Monte Carlo Simulators
本文结合序贯蒙特卡罗模拟器和哈密顿蒙特卡罗模拟器的优点，提出了一种新的蒙特卡罗模拟器。结果是一种对多模态和复杂形状具有鲁棒性的方法，用于在存在困难的似然性或目标函数的情况下进行推理。提供了几个例子。
2018-12-19 stat.CO
Discussion of "Sequential Quasi-Monte Carlo" by Mathieu Gerber and Nicolas Chopin
关于拟蒙特卡罗估计在应用中降低方差可能性的讨论。进一步的细节在随附的论文“拟蒙特卡罗的方差缩减“中提供。
2015-01-14 stat.CO
Exploring multi-dimensional spaces: a Comparison of Latin Hypercube and Quasi Monte Carlo Sampling Techniques
三种抽样方法进行了比较，效率的各种复杂性的测试问题，其中解析求积。比较的方法是伪随机数的蒙特卡罗，拉丁超立方抽样，准蒙特卡罗抽样的基础上Sobol序列。一般的结果显示出优越的性能的准蒙特卡罗方法的基础上Sobol序列与理论预测。拉丁超立方抽样可以比蒙特卡罗方法和准蒙特卡罗方法更有效，但后者的不等式适用于减少的函数类型集和少量的采样点。总之，拟蒙特卡罗方法将出现最安全的赌注时，集成功能的未知类型。
2015-05-10 stat.AP stat.CO
Supplement to "Markov Chain Monte Carlo Based on Deterministic Transformations"
这是对文章“基于确定性变换的马尔可夫链蒙特卡罗”的补充，可在http://arxiv.org/abs/1106.5850上获得
2013-06-28 stat.CO
Identifying the Optimal Integration Time in Hamiltonian Monte Carlo
通过利用光滑概率系统的自然几何结构，哈密顿蒙特卡罗产生计算效率高的马尔可夫链蒙特卡罗估计。至少在算法足够好的情况下。在本文中，我将展示如何几何基础的哈密顿蒙特卡罗隐含地确定这些参数的最佳选择，特别是积分时间。然后，我认为这些原则在现有的算法和一个新的实现称为\emph{Exhaustive Hamiltonian Monte Carlo}的实际后果，然后在一些说明性的例子证明这些想法的效用。
2016-01-02 stat.CO stat.ME
The Geometry of Hamiltonian Monte Carlo
哈密顿蒙特卡罗是一种有效的马尔可夫链蒙特卡罗技术，它系统地探索了概率分布;然而，它最终取决于选择合适的哈密尔顿函数。通过考察哈密顿动力学的辛几何基础和马尔可夫链蒙特卡罗的要求，我们构造了可容许哈密顿量的一般形式，并提出了一种在贝叶斯推断中具有潜在应用的特殊选择.
2011-12-18 physics.data-an stat.ME
Improving approximate Bayesian computation via quasi-Monte Carlo
近似贝叶斯计算（ABC）是处理具有难处理的可能性的模型的一般方法。在这项工作中，我们推导出基于QMC（准蒙特卡罗）序列的ABC算法。我们表明，由此产生的ABC估计有一个较低的方差比他们的蒙特卡罗的对手。我们还开发了顺序ABC算法的QMC变体，逐步适应提案分布和接受阈值。我们说明了我们的QMC方法，通过几个例子从ABC文学。保留字：近似贝叶斯计算，无似然推断，拟蒙特卡罗，随机化拟蒙特卡罗，自适应重要性抽样
2018-05-07 stat.CO
Forward Event-Chain Monte Carlo: Fast sampling by randomness control in irreversible Markov chains
不可逆和无拒绝蒙特卡罗方法，最近在物理学中以事件链的名义开发，在统计学中称为分段确定性蒙特卡罗（PDMC），已被证明比标准蒙特卡罗方法产生明显的加速，这要归功于它们的随机游走行为的减少。然而，当将这样的方案应用于标准统计模型时，为了正确性，通常需要引入额外的随机化。我们在这里提出了一类新的事件链蒙特卡罗方法，减少这种额外的随机化到最低限度。我们比较了这种新方法的效率，标准的PDMC和蒙特卡罗方法。加速到几个数量级和减少尺寸缩放展出。
2020-04-27 stat.CO
Sweave Documentation for "Implementing Markov chain Monte Carlo: Estimating with confidence"
该文件是Flegal，J.M. Jones，G. L.（2010），“Implementing马尔可夫链蒙特卡罗：Estimating with confidence”，in Handbook of马尔可夫链蒙特卡罗，edited by Brooks，S.，Gelman，A.，琼斯，G.，和Meng，X.出版社：Chapman & Hall/CRC Press
2010-06-24 stat.OT
An Annealed Sequential Monte Carlo Method for Bayesian Phylogenetics
我们描述了一个“并行”的贝叶斯系统发育推断，退火顺序蒙特卡罗方法，基于最近的进展，如退火参数的自适应确定顺序蒙特卡罗文献。该算法提供了一个近似的后验分布的树木和进化参数，以及一个无偏估计的边际似然。该无偏性可用于检验后验仿真软件的正确性。我们评估系统发育退火序贯蒙特卡罗的性能，通过审查和比较与其他计算贝叶斯系统发育方法，特别是不同的边际似然估计方法。与以前的序列蒙特卡罗方法在遗传学中，我们的退火方法可以利用标准的马尔可夫链蒙特卡罗树移动，因此受益于大量的库存，这种移动在文献中。因此，退火顺序蒙特卡罗方法应该是相对容易纳入现有的系统发育软件包的基础上马尔可夫链蒙特卡罗算法。我们用模拟研究和真实数据分析来说明我们的方法。
2019-03-13 q-bio.PE stat.CO
An invitation to sequential Monte Carlo samplers
统计学家经常使用蒙特卡罗方法来近似概率分布，主要是马尔可夫链蒙特卡罗和重要性抽样。序贯蒙特卡罗采样器是一类结合了两种技术来近似感兴趣的分布及其归一化常数的算法。这些采样器起源于状态空间模型的粒子滤波，并已成为通用和可扩展的采样技术。本文描述了序贯蒙特卡罗采样器及其可能的实现，认为它们在统计中仍然没有得到充分的使用，尽管它们能够执行顺序推理并利用并行处理资源以及其他潜在的好处。
2022-06-17 stat.CO stat.ME
The Fundamental Incompatibility of Hamiltonian Monte Carlo and Data Subsampling
利用哈密顿流的相干探索，哈密顿蒙特卡罗产生计算效率高的蒙特卡罗估计，即使对于复杂和高维的目标分布。然而，当遇到数据密集型应用程序时，该算法的实现可能过于昂贵，这让我们需要考虑数据二次采样等近似方法的实用性。在本文中，我演示了如何从根本上妥协的有效探索汉密尔顿流的数据二次采样，因此可扩展性能的哈密顿蒙特卡罗本身。
2015-02-05 stat.ME
Simple rejection Monte Carlo algorithm and its application to multivariate statistical inference
本文针对拒绝蒙特卡洛算法应用较少的问题，提出一种简化版本，并以多元分布抽样和多元积分为例展示其在统计推断中的具体应用。
2024-02-27 stat.CO
Zero Variance and Hamiltonian Monte Carlo Methods in GARCH Models
在本文中，我们发展了贝叶斯哈密顿蒙特卡罗方法的推断在非对称的Gestival模型在不同的分布的误差项。我们实现了零方差和哈密顿蒙特卡罗计划的参数估计，试图减少标准误的估计，从而获得更有效的结果，在一个小的额外的计算成本的价格。
2017-10-20 stat.CO
Finite Sample Complexity of Sequential Monte Carlo Estimators
本文给出了静态空间上序贯蒙特卡罗采样器的有限样本误差的界。我们的方法明确地将算法的性能与所选分布序列的属性和相关马尔可夫核的混合属性联系起来。这使我们能够给出第一个有限样本比较其他蒙特卡罗计划。我们得到了各种目标分布的序贯蒙特卡罗近似的复杂性的界限，包括有限空间，产品措施，和对数凹分布，包括贝叶斯逻辑斯谛回归。所得到的界限是在一个对数因子内的类似界限可获得马尔可夫链蒙特卡罗。
2022-08-18 math.PR stat.CO stat.ME
Introducing Monte Carlo Methods with R Solutions to Odd-Numbered Exercises
这是我们的书“Introducing蒙特卡罗Methods with R”中奇数练习的解决方案手册，由Springer Verlag于2009年12月10日出版，并免费提供给每个人。
2010-01-17 stat.CO stat.ME
Density Estimation by Monte Carlo and Quasi-Monte Carlo
估计连续随机变量X的密度在统计学中已经被广泛研究，在设置中，X的n个独立观测值被先验地给出，并且人们希望从中估计密度。流行的方法包括直方图和核密度估计。在这篇综述论文中，我们感兴趣的是，而不是在这种情况下，观察产生的蒙特卡罗模拟从一个模型。然后，可以利用方差缩减方法，如分层，条件蒙特卡罗，和随机准蒙特卡罗（RQMC），并获得一个更准确的密度估计比标准的蒙特卡罗对于给定的计算预算。我们讨论了几种方法，在最近的论文中提出，重点是利用RQMC的方法。第一个想法是直接将RQMC与标准核密度估计器相结合。另一种方法是采用基于模拟的导数估计方法，如平滑扰动分析或似然比方法，以获得cdf的连续估计量，其导数是密度的无偏估计量。这可以与RQMC结合使用。我们总结了最近的理论结果与这些方法，并给出了它们如何提高均方积分误差的收敛性的数值例子。
2021-09-07 stat.CO
Likelihood-free Markov chain Monte Carlo
出现在MCMC手册中，S。P. Brooks，A. Gelman，G.琼斯和X L. Meng（eds），Chapman & Hall.
2010-01-13 stat.ME
Multivariate initial sequence estimators in Markov chain Monte Carlo
马尔可夫链蒙特卡罗（MCMC）是一种模拟方法，通常用于估计关于给定分布的期望。本文考虑估计样本均值向量的渐近多元正态分布的协方差阵。Geyer（1992）开发了一种用于估计单变量均值的蒙特卡罗误差估计方法。我们提出了一种新的多元版本的Geyer的方法，提供了一个渐近有效的估计的协方差阵和稳定的蒙特卡罗估计的结果。通过仿真实验研究了该方法的有限样本性质。
2017-06-02 stat.ME
A General Metric for Riemannian Manifold Hamiltonian Monte Carlo
马尔可夫链蒙特卡罗（MCMC）是一种非常有用的复杂模型推理方法，而哈密顿蒙特卡罗，特别是黎曼流形哈密顿蒙特卡罗（RMHMC），在许多具有挑战性的问题上取得了令人瞩目的成功。然而，目前的RMHMC实现依赖于黎曼度量，这限制了其应用于分析方便的模型。在本文中，我提出了一个新的度量RMHMC没有这些限制，并验证其成功的分布，模拟许多层次和潜在的模型。
2013-09-18 physics.data-an stat.ME
Fast Monte Carlo Dropout and Error Correction for Radio Transmitter Classification
InterDigital（英特尔数字公司）
蒙特卡洛dropout可以有效地捕获深度学习中的模型不确定性，其中通过在测试时使用dropout的多个实例来获得不确定性的度量。然而，蒙特卡罗丢弃应用于整个网络，因此显著增加了计算复杂度，与实例数量成比例。为了降低计算复杂度，在测试时，我们只在神经网络的输出附近启用dropout层，并重用先前层的计算，同时保持其他dropout层（如果有的话）禁用。此外，我们利用各种输入样本的理想分布的辅助信息对预测进行“纠错”。我们将这些技术应用于射频（RF）发射机分类问题，并表明所提出的算法能够提供比简单的系综平均算法更好的预测不确定性，并可用于有效地识别不在训练数据集中的发射机，同时正确地对已训练的发射机进行分类。
2020-01-31 cs.LG cs.NI eess.SP
Augmenting Monte Carlo Dropout Classification Models with Unsupervised Learning Tasks for Detecting and Diagnosing Out-of-Distribution Faults
University of California, Berkeley（加州大学伯克利分校）；RWTH Aachen University（亚琛工业大学）；California Institute of Technology（加州理工学院）
蒙特卡罗丢弃方法已被证明是一种可扩展且易于使用的方法，用于估计深度神经网络预测的不确定性。这种方法最近被应用到故障检测和诊断（FDD）的应用，以提高早期故障的分类性能。在本文中，我们提出了一种新的方法，增加了一个额外的无监督学习任务的分类模型。我们证明我们的选择算法设计通过信息理论分析。我们的实验结果表明，从不同的应用领域的三个数据集，所提出的方法导致改进的故障检测和诊断性能，特别是在分布的例子，包括早期和未知的故障。
2019-09-10 cs.LG eess.SP stat.ML
Enhanced Data-Driven Product Development via Gradient Based Optimization and Conformalized Monte Carlo Dropout Uncertainty Estimation
ETH Zurich（苏黎世联邦理工学院）；University of Liechtenstein（列支敦士登大学）
本文提出一种结合梯度优化和符合化蒙特卡洛丢弃的增强数据驱动产品开发方法，通过联合神经网络和不确定性估计提升多属性优化性能。
2026-01-02 cs.LG
Uncertainty Quantification for AI-Driven Crash Simulation Surrogates: A Comparative Study of Monte Carlo Dropout and Deep Ensemble on Open-Source Bumper Beam Benchmark
研究人工智能驱动碰撞模拟代理的不确定性量化，对蒙特卡洛随机失活和深度集成两种方法在开源管道上比较，用具体随机失活解决常见批评，经汽车碰撞模拟实验，揭示权衡，表明可低成本实现良好校准和无超参数的不确定性估计。
2026-07-22 cs.LG
Enhancing Fairness and Performance in Machine Learning Models: A Multi-Task Learning Approach with Monte-Carlo Dropout and Pareto Optimality
Rice University（莱斯大学）
针对机器学习中由数据与算法引发的偏差问题，提出结合MC Dropout的多任务学习框架，借助帕累托最优平衡公平性与性能，在多数据集上验证有效并提升了模型可解释性。
2024-10-06 cs.CY cs.LG
Customer Lifetime Value Prediction with Uncertainty Estimation Using Monte Carlo Dropout
Tencent（腾讯）
本文提出将蒙特卡洛 Dropout 框架引入纯神经网络模型，用于客户终身价值预测中的不确定性估计，并在全球热门手机游戏数据上验证其显著降低 Top 5% 平均绝对百分比误差，同时提供置信度指标以辅助商业决策。
2024-11-24 cs.LG
Self-Supervised Learning for 3D Medical Image Analysis using 3D SimCLR and Monte Carlo Dropout
Technical University of Berlin, Germany（柏林工业大学（德国））；Hasso Plattner Institute for Digital Engineering, University of Potsdam, Germany（波茨坦大学哈索普拉特纳数字工程研究所（德国））；Hasso Plattner Institute for Digital Health at the Icahn School of Medicine at Mount Sinai, NYC, USA（西奈山伊坎医学院哈索普拉特纳数字健康研究所（美国纽约市））
自监督学习方法可用于从未标记的数据中学习有意义的表示，这些表示可被转移到受监督的下游任务，以减少对标记数据的需求。在本文中，我们提出了一个3D的自我监督的方法，是基于对比（Simplified）的方法。此外，我们表明，在推理阶段采用贝叶斯神经网络（蒙特卡洛丢弃）可以进一步增强下游任务的结果。我们在两个医学成像分割任务上展示了我们的模型：i）3D MRI的脑肿瘤分割，ii）3D CT的胰腺肿瘤分割。我们的实验结果证明了我们提出的方法在下游数据效率和性能方面的优势。
2021-10-01 cs.CV cs.LG eess.IV
Bayesian Neural Networks with Monte Carlo Dropout for Probabilistic Electricity Price Forecasting
Faculty of Mathematics and Economics（数学与经济学学院）；Ulm University（乌尔姆大学）；Department of Mathematics, Natural and Economic Sciences（数学、自然科学与经济科学系）；Ulm University of Applied Sciences（乌尔姆应用科学大学）
本文提出利用贝叶斯神经网络与蒙特卡罗滴落进行概率电价预测，通过日间模式建模优于传统基准模型。
2025-11-12 cs.LG
