Adaptative clustering by minimization of the mixing entropy criterion
我们提出了一种聚类方法，并提供了理论分析和解释的现象，在应用统计文献中遇到的，因为20世纪90年代。这一现象是使用从著名的EM算法衍生的聚类方法时的顺序的自然适应性。我们定义了一个新的统计量，相对熵的顺序，它代表了在目标分布的团块的数量。我们证明，特别是这种相对熵顺序的经验版本是一致的。该方法易于实现，具有很高的应用潜力。这些作品的观点是算法和理论的，可能的自然扩张到各种情况下，如依赖或多维数据。
2022-03-22 math.ST stat.ME stat.ML
Adaptive MCMC for Generalized Method of Moments with Many Moment Conditions
广义矩量法（GMM）估计量在大量矩量条件下是不可靠的，即它与样本量相当或大于样本量。虽然经典的GMM文献对此问题提出了几个规定，但其贝叶斯对应物（即，本文提出了一种自适应马尔可夫链蒙特卡罗（MCMC）方法来解决多矩条件下的GMM推断问题，从而弥补了这一缺陷。特别是，本研究侧重于自适应调整的加权矩阵的飞行。我们的建议包括两个要素。首先是使用非参数特征值正则化精度矩阵估计，这有助于数值稳定性。第二个是随机更新的加权矩阵，这大大降低了计算成本，同时保持估计的准确性。然后，我们提出了一个模拟研究和实际数据应用所提出的方法与现有的方法的性能进行比较。
2021-03-10 stat.CO
Principle of detailed balance and convergence assessment of Markov Chain Monte Carlo methods and simulated annealing
马尔可夫链蒙特卡罗（MCMC）方法被用来从一个给定的分布的利益，无论何时分布不存在于封闭的形式，或，如果它是，没有有效的方法来模拟一个独立的样本从它是可用的。虽然在过去的二十年中已经提出了丰富的诊断工具的收敛评估MCMC方法，寻找一个可靠的和易于实施的工具正在进行中。在这篇文章中，我们提出了一个标准的基础上的原则，详细的平衡，提供了一个定性的评估一个给定的链的收敛。该标准是基于一个一维的统计，其渐近分布的平稳性假设下的行为，推导出我们的结果适用于弱条件下，具有完全直观的优势。我们实现这个标准作为一个停止规则的模拟退火的问题，找到极大似然估计的20个组件的混合模型的参数。我们还将其应用于通过切片采样和梅特罗波利斯-黑斯廷斯算法从10维漏斗分布中采样的问题。此外，基于这个收敛标准，我们定义了一个衡量一个算法与另一个算法的效率。
2008-07-20 stat.CO stat.ME
An MCMC Approach to Classical Estimation
本文研究了计算和理论上有吸引力的估计称为拉普拉斯型估计（LTE），其中包括平均值和分位数的准后验分布定义为一般（非似然为基础的）统计准则函数，如GMM，非线性IV，经验似然和最小距离方法的转换。该方法产生了一种替代经典极值估计，也落在参数贝叶斯方法之外。例如，它提供了一个新的有吸引力的估计方法等重要的半参数问题，如删失和工具分位数，非线性GMM和风险价值模型。使用马尔可夫链蒙特卡罗方法计算LTE，这有助于规避维数的计算灾难。对于正则情形，得到了一个大样本理论.
2023-01-18 econ.EM stat.CO stat.ME
Convergence Analysis of Stochastic Gradient Descent with MCMC Estimators
本文分析了采用 MCMC 估计器计算梯度的 MCMC-SGD 算法，利用 Bernstein 不等式推导误差界限，证明其具有一阶收敛速率并能高概率逃离鞍点达到近似二阶驻点。
2024-03-23 math.OC stat.ML
Learning variational autoencoders via MCMC speed measures
Nanyang Technological University（南洋理工大学）；University College London（伦敦大学学院）；Athens University of Economics and Business（雅典经济与商业大学）
针对深度潜变量模型中基于梯度的MCMC提议分布自适应方法研究不足的问题，提出基于熵的短程MALA/HMC链自适应策略，优化更紧的变分界，提升了VAEs的留出对数似然与生成性能，可适配复杂后验几何结构。
2023-08-26 cs.CV cs.LG stat.ML
Maximum conditional entropy Hamiltonian Monte Carlo sampler
哈密顿蒙特卡罗（HMC）采样器的性能主要取决于总积分时间和数值积分步长等算法参数。当HMC采样器的质量矩阵被适配时，参数调整是特别具有挑战性的。在这项工作中，我们提出了一个基于Kolmogorov-Sinai熵（KSE）的设计标准来优化这些算法参数，这可以避免一些潜在的问题，在经常使用的跳跃距离为基础的措施。对于近高斯分布，我们能够推导出最佳的算法参数相对于KSE标准解析。作为一个副产品，KSE准则也提供了一个理论上的理由，需要调整HMC采样器的质量矩阵。在此基础上，我们提出了一种自适应HMC算法，并通过数值例子验证了该算法的性能。
2020-05-17 stat.CO
Markov chain Monte Carlo importance samplers for Bayesian models with intractable likelihoods
我们认为有效地使用近似的马尔可夫链蒙特卡罗（MCMC），随后的重要性抽样（IS）校正的马尔可夫链不精确的输出，导致渐近精确的推断。我们详细的收敛性和中心极限定理MCMC-IS估计。我们还考虑的情况下，近似马尔可夫链是伪边际，需要无偏估计量的近似边际目标。渐近方差公式的收敛结果示出了这种情况下，和的情况下，IS权重的基础上无偏估计量只计算不同的输出样本的所谓的“跳”链，其中，与一个合适的重新加权，允许提高效率。由于IS类型权重可以假定为负值，因此可以将扩展类的无偏估计量用于IS类型校正，例如从随机化多水平蒙特卡罗获得的估计量。使用欧拉近似和耦合的粒子滤波器，我们将所得的估计使用随机权重的问题的参数推断部分可观察的Itô扩散。收敛性的估计被验证为持有的正则性假设，不需要扩散可以被精确地模拟。在近似贝叶斯计算（ABC）的背景下，我们建议一个自适应MCMC方法来处理一个适当的大公差的选择，与IS校正可能更精细的公差，并提供近似置信区间。一个突出的问题是MCMCC-IS的效率相比，标准的直接MCMC，如伪边际，延迟接受，和ABC-MCMC。我们提供了一个比较标准，概括的协方差排序的IS设置。
2019-04-11 stat.CO
Gradient-based Adaptive Markov Chain Monte Carlo
DeepMind（深度思维）；University College of London（伦敦大学学院）；Univ. of Econ. and Business（经济与商业大学）；The Alan Turing Institute（艾伦·图灵研究所）
我们引入了一个基于梯度的学习方法，自动适应马尔可夫链蒙特卡罗（MCMC）的建议分布，棘手的目标。我们定义了一个最大熵正则化的目标函数，称为广义速度测度，它可以通过应用随机梯度优化的建议分布的参数进行鲁棒优化。与传统的自适应MCMC方法相比，我们的方法的一个优点是，即使候选状态值被拒绝，也会发生自适应。这是任何自适应策略的高度期望的属性，因为自适应在早期迭代中开始，即使初始提议分布远离最优。我们应用框架学习多元随机游动大都市和大都市调整Langevin建议与完整的协方差阵，并提供经验证据表明，我们的方法可以优于其他MCMC算法，包括哈密顿蒙特卡罗计划。
2020-01-06 cs.LG stat.CO stat.ML
Geometry and factorization of multivariate Markov chains with applications to MCMC acceleration and approximate inference
National University of Singapore（新加坡国立大学）；Tokyo University of Agriculture and Technology（东京农工大学）；RIKEN AIP（理化学研究所创新人工智能中心）；Waseda University（早稻田大学）
本文通过信息几何视角分析多元马尔可夫链转移矩阵的可分解性，提出投影采样器以加速MCMC混合，并设计因子滤波方案实现高维近似推断。
2026-07-24 cs.IT math.IT math.OC
Variational consensus Monte Carlo
贝叶斯统计的实践者长期以来一直依赖于马尔可夫链蒙特卡罗（MCMC）从难以处理的后验分布中获得样本。不幸的是，MCMC算法通常是串行的，并且不能扩展到现代机器学习典型的大型数据集。最近提出的共识蒙特卡罗算法通过对数据进行分区并以每个分区为条件并行绘制样本来消除这一限制（Scott等人，2013）。一个固定的聚合函数，然后结合这些样本，产生近似的后验样本。我们引入变分共识蒙特卡罗（VCMC），变分贝叶斯算法，优化聚合函数，以获得更好地逼近目标的分布样本。由此产生的目标包含一个棘手的熵项，因此，我们得到一个放松的目标，并表明放松的问题是块凹在温和的条件下。我们说明了我们的算法的优势，从文献中的三个推理任务，表现出优越的质量的后验近似和适度的开销的优化步骤。我们的算法实现了一个相对误差减少（对串行MCMC测量）高达39%的共识相比，蒙特卡罗的任务估计300维概率回归参数的期望，同样，它实现了92%的错误减少估计集群comembership概率在高斯混合模型中的任务，8个组件在8个维度。此外，与串行MCMC的运行时相比，这些增益的成本适中，在某些情况下实现了接近理想的加速比。
2015-06-09 stat.CO stat.ML
Torchtree: flexible phylogenetic model development and inference using PyTorch
本文提出基于PyTorch的torchtree框架，通过自动微分与插件系统支持固定树拓扑的系统发育模型开发与变分推断，在速度与精度上媲美BEAST，并探索前向KL散度优化以处理不可微模型。
2024-06-26 q-bio.PE stat.CO
Entropy-based adaptive Hamiltonian Monte Carlo
哈密顿蒙特卡罗（HMC）是一种流行的马尔可夫链蒙特卡罗（MCMC）算法，用于对非归一化概率分布进行采样。跳耦积分器通常用于在实践中实现HMC，但其性能可能对其中使用的质量矩阵的选择敏感。我们开发了一种基于梯度的算法，允许通过鼓励蛙跳积分器具有高的接受率，同时还共同探索所有维度来适应质量矩阵。与以前使用某种形式的期望平方跳跃距离来适应HMC的超参数的工作相比，这里建议的适应策略旨在通过最大化提议熵的近似来增加抽样效率。我们说明，使用多个梯度在HMC的建议可以是有益的相比，一个单一的梯度步骤的大都会调整Langevin的建议。经验证据表明，自适应方法可以优于不同版本的HMC计划，通过调整质量矩阵的目标分布的几何形状，并通过提供一些控制的积分时间。
2021-10-27 stat.CO stat.ML
What Regularized Auto-Encoders Learn from the Data Generating Distribution
University of Montreal（蒙特利尔大学）
自动编码器了解底层数据生成分布的哪些信息？最近的工作表明，一些自动编码器变体在捕获数据的局部流形结构方面做得很好。本文澄清了一些这些以前的观察，通过显示，最小化一个特定形式的正则化重建误差产生一个重建函数，局部特征的数据生成密度的形状。我们表明，自动编码器捕获的分数（相对于输入的对数密度的衍生物）。这与以前将重建误差解释为能量函数相矛盾。与以前的结果不同，这里提供的定理是完全通用的，并且不依赖于自动编码器的参数化：它们显示了如果给定足够的容量和示例，自动编码器会倾向于什么。这些结果是针对收缩训练标准的，我们表明其类似于具有小腐败噪声的去噪自动编码器训练标准，但是收缩应用于整个重建函数而不仅仅是编码器。与分数匹配类似，可以将所提出的训练标准视为最大似然的方便替代方案，因为它不涉及分区函数。最后，我们展示了如何近似的大都会黑斯廷斯MCMC可以设置从估计的分布中恢复样本，这在采样实验中得到了证实。
2014-08-19 cs.LG stat.ML
An Extended Result on the Optimal Estimation under Minimum Error Entropy Criterion
最小误差熵准则在参数估计、系统辨识和有监督机器学习等领域得到了成功的应用。一般来说，除非对条件分布施加一些约束，否则最优的最优估计没有明确的表达式。最近的一篇论文证明了，如果条件密度是条件对称和单峰的（CSUM），那么最佳的估计（与香农熵）等于条件中位数。在本研究中，我们将这个结果推广到广义的最优性准则是Renyi熵或等价的α-阶信息势（IP）的估计。
2014-01-24 cs.IT math.IT math.ST
Entropy-Wasserstein regularization, defective local concentration and a cutoff criterion beyond non-negative curvature
ETH Zürich（苏黎世联邦理工学院）
本文提出一种放松的Ollivier粗黎曼曲率变种，通过熵-运输正则化效应和缺陷性局部集中，推导出在负曲率设置中截断现象的出现准则。
2026-07-21 math.FA math.PR math.ST
On the Computational Complexity of High-Dimensional Bayesian Variable Selection
University of California, Berkeley（加州大学伯克利分校）
研究稀疏约束下高维贝叶斯线性回归的马尔可夫链蒙特卡罗（MCMC）方法的计算复杂性。我们首先表明，贝叶斯方法可以在相对温和的条件下实现变量选择的一致性的设计矩阵。然后，我们证明，后验浓度的统计标准不需要意味着计算的迫切需要的快速混合的MCMC算法。通过引入一个截断稀疏变量选择前，我们提供了一组条件，保证变量选择的一致性和快速混合的一个特定的大都会黑斯廷斯算法。混合时间与协变量数量呈线性关系，直至对数因子。我们的证明控制的马尔可夫链的频谱间隙，通过构建一个典型的路径合奏，启发由变量选择的贪婪算法采取的步骤。
2015-05-29 cs.LG math.ST stat.CO
