Bridging Stochastic Flow Maps and Boltzmann Generators with Normalizing Flows
Flatiron Institute（熨斗研究所）；University of Cambridge（剑桥大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
提出NF$^2$M，结合随机流映射与归一化流构建玻尔兹曼生成器，通过逐步重加权去噪转换提升采样效率与样本质量，在肽系统上验证了有效性。
2026-09-29 cs.LG stat.ML
On Thompson Sampling with Langevin Algorithms
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
多臂强盗问题的Thompson采样方法在理论和实践中都有良好的性能。然而，它遭受了显着的限制计算，所产生的需要在每次迭代后验分布的样本。我们提出了两个马尔可夫链蒙特卡罗（MCMC）的方法，汤普森采样量身定制，以解决这个问题。我们构造快速收敛的Langevin算法来生成具有精度保证的近似样本，并利用新的后验浓度率来分析由此产生的近似Thompson采样算法的遗憾。此外，我们指定必要的超参数的MCMC过程，以保证最佳的实例相关的频率后悔，同时具有低的计算复杂性。特别是，我们的算法利用后验浓度和样本重用机制，以确保在每一轮中只需要恒定数量的迭代和恒定数量的数据。所得到的近似Thompson采样算法具有对数遗憾性，并且其计算复杂性不与算法的时间范围成比例。
2020-06-18 cs.LG stat.ML
Fast and Flexible Temporal Point Processes with Triangular Maps
Technical University of Munich（慕尼黑工业大学）
时间点过程（TPP）模型与递归神经网络相结合，为连续时间事件数据建模提供了一个强大的框架。虽然这些模型是灵活的，但它们本质上是顺序的，因此不能从现代硬件的并行性中受益。通过利用归一化流领域的最新发展，我们设计了TriTPP -一类新的非递归TPP模型，其中采样和似然计算可以并行进行。TriTPP匹配基于RNN的方法的灵活性，但允许数量级更快的采样。这使我们能够使用新的模型在连续时间离散状态系统的变分推理。我们证明了所提出的框架在合成和真实世界数据集上的优势。
2020-11-10 cs.LG stat.ML
Neural Triangular Transport Maps: A New Approach Towards Sampling in Lattice QCD
Department of Mathematics（数学系）；Laboratory for Information and Decision Systems（信息与决策系统实验室）
针对格点场论采样难题，提出稀疏三角输运映射，利用条件独立结构实现线性复杂度，并在二维φ⁴模型中验证了其优于HMC和RealNVP的性能。
2025-10-15 cs.LG hep-lat physics.comp-ph
Approximate Sampling using an Accelerated Metropolis-Hastings based on Bayesian Optimization and Gaussian Processes
University of South Carolina（南卡罗来纳大学）；University of North Carolina Charlotte（北卡罗来纳大学夏洛特分校）
马尔可夫链蒙特卡罗（MCMC）方法在处理目标分布或似然函数时有一个缺点，这是计算昂贵的评估，特别是在处理大数据时。本文主要研究单峰分布的Metropolis-Hastings（MH）算法。在这里，提出了一种增强的MH算法，需要较少的昂贵的功能评估，具有较短的老化期，并使用更好的建议分布。主要创新包括使用贝叶斯优化快速到达高概率区域，使用高斯过程（GP）模拟目标分布，以及使用GP的拉普拉斯近似来构建更好地捕获潜在相关性的建议分布。实验表明，显着改善了常规MH。两种算法的结果之间的统计比较。
2019-10-21 cs.LG stat.ML
Conditional Sampling with Monotone GANs: from Generative Models to Likelihood-Free Inference
California Institute of Technology（加州理工学院）；University of Washington（华盛顿大学）；NVIDIA（英伟达）；Massachusetts Institute of Technology（麻省理工学院）
本文提出基于分块三角传输映射的条件采样框架，构建 Banach 空间理论并设计仅依赖联合样本的无似然 M-GAN，在逆问题与图像修复中实现准确条件采样。
2023-06-05 cs.LG stat.CO stat.ML
Variational Flow Maps: Make Some Noise for One-Step Conditional Generation
University of Oxford（牛津大学）；California Institute of Technology（加州理工学院）；University of Toronto（多伦多大学）；NVIDIA（英伟达公司）
变分流映射通过学习初始噪声分布，实现单步条件生成，提升逆问题求解效率和样本保真度。
2026-03-07 cs.CV cs.LG stat.ML
Posterior sampling by source-space MCMC via prior-based few-step transport maps
Nanyang Technological University（南洋理工大学）；University of Helsinki（赫尔辛基大学）
提出源空间广义贝叶斯推断框架，利用少步iMF传输映射表示隐式先验，在高斯源空间采样，并给出误差界，实验验证其准确高效及文本引导能力。
2026-10-02 cs.AI cs.LG stat.ML
Approximate blocked Gibbs sampling for Bayesian neural networks
The University of Manchester（曼彻斯特大学）
本文提出近似分块 Gibbs 采样以提升前馈神经网络小批量 MCMC 的可行性，通过参数分组与深层降方差缓解深度增加导致的接受率消失，从而支持更长链运行并改善分类准确率与不确定性量化。
2023-07-24 cs.LG stat.CO stat.ME
Efficient Approximate Posterior Sampling with Annealed Langevin Monte Carlo
Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin（德克萨斯大学奥斯汀分校电气与计算机工程系）
本文提出了一种在多项式时间内高效近似后验采样的方法，结合KL散度和Fisher散度，确保样本同时符合测量和先验。
2025-12-08 cs.AI cs.LG stat.ML
Non-reversible Markov chain Monte Carlo for sampling of districting maps
在统计框架中评估党派划分（Gerrymandering）的程度通常需要从符合现实和非党派标准的规定概率分布中得出的一系列划分计划。在这篇文章中，我们介绍了新的不可逆的马尔可夫链蒙特卡罗（MCMC）的抽样方法，这样的分区计划，改善了混合性能相比，以前使用的（可逆）MCMC算法。在这样做，我们扩展了目前的框架，考虑广义的斜详细平衡的离散采样空间上的不可逆马尔可夫链的建设。我们提供了一个详细的描述所提出的算法，并评估其性能的数值实验。
2020-08-18 math.PR stat.CO
Multilevel rejection sampling for approximate Bayesian computation
无似然方法，如近似贝叶斯计算，是解决具有复杂似然函数的实际推理问题的有力工具。近似贝叶斯计算的马尔可夫链蒙特卡罗和序贯蒙特卡罗变体可以是在近似贝叶斯计算设置中对后验分布进行采样的有效技术。然而，如果不仔细考虑收敛标准和建议内核的选择，这种方法可能会导致非常有偏见的推理或计算效率低下的采样。相比之下，用于近似贝叶斯计算的拒绝抽样尽管计算密集，但会导致来自近似后验的独立的、相同分布的样本。提出了一种加速无似然贝叶斯推断的替代方法，该方法将多级蒙特卡罗方差缩减技术直接应用于拒绝抽样。所得到的方法保留了拒绝抽样的精度优势，同时显着提高了计算效率。
2018-02-28 stat.CO
Approximate Collapsed Gibbs Clustering with Expectation Propagation
University of Washington（华盛顿大学）
我们开发了一个框架，近似崩溃的吉布斯抽样生成潜变量集群模型。Collapsed Gibbs是一种流行的MCMC方法，它在后验中整合变量以改善混合。不幸的是，对于许多复杂的模型，整合出这些变量是分析或计算上难以处理的。我们有效地近似必要的崩溃吉布斯积分借用的想法从期望传播。我们提出了两个案例研究，其中精确的崩溃吉布斯抽样是棘手的学生-t的和时间序列聚类的混合物。我们对真实数据和合成数据的实验表明，我们的近似采样器能够在对这些类型的模型进行采样时实现运行时精度的权衡，从而比在这些情况下依赖的天真Gibbs采样器更快地提供具有竞争力的精度的结果。
2018-07-19 cs.LG stat.CO stat.ML
Approximate sampling and estimation of partition functions using neural networks
Santa Fe Institute（圣塔菲研究所）
我们认为密切相关的问题，从一个已知的分布采样到一个归一化常数，并估计说归一化常数。我们展示了如何变分自编码器（VAE）可以应用到这个任务。在其标准应用中，VAE经过训练以拟合从棘手分布中提取的数据。我们反转的逻辑和训练VAE，以适应一个简单的和易于处理的分布，假设一个复杂的和棘手的潜在的分布，指定的归一化。该过程在不使用训练数据或马尔可夫链蒙特卡罗采样的情况下构造近似。我们说明我们的方法上三个例子：伊辛模型，图聚类和排名。
2022-09-21 cs.LG stat.ME
Sampling Boltzmann distributions via normalizing flow approximation of transport maps
本文通过传输映射的归一化流近似方法，建立了参考测度与真实玻尔兹曼分布之间的归一化流，证明其在Wasserstein距离下的存在性，并通过数值模拟验证了该方法的有效性。
2026-03-15 cs.LG cs.NA math.NA
Theoretical guarantees for approximate sampling from smooth and log-concave densities
从各种分布中抽样是统计学中最重要的问题，因为它通常是构造估计量、检验程序或置信区间的关键成分。在许多情况下，从给定分布中进行精确采样是不可能的，或者计算成本很高，因此需要采用近似采样策略。然而，没有发达的理论提供有意义的非渐近保证的近似抽样程序，特别是在高维问题。本文在这个方向上取得了一些进展，考虑的问题，从分布具有光滑和对数凹密度定义在\(\RR^p\)，为一些整数\(p>0\)。我们建立了由朗之万蒙特卡罗方法及其变体得到的目标分布近似误差的非渐近界。我们用各种实验说明了所建立的保证的有效性。基于我们的分析是从连续时间扩散过程的理论，这可能是感兴趣的超出了在本工作中考虑的对数凹密度的框架的见解。
2016-12-03 math.ST stat.CO stat.ML
Approximate inference via variational sampling
本文提出了一种新的变分抽样方法来估计概率分布下的积分，这种方法可以估计到一个归一化常数。其关键思想是通过最小化使用确定性或随机抽样计算的库尔贝克-莱布勒散度的强一致经验近似值，用指数族模型拟合目标分布。它示出了变分抽样不同的概念，从正交和重要性抽样，并建立，在随机独立抽样的情况下，它可能有更快的随机收敛比重要性抽样在温和的条件下。本文提出的变分采样实现需要一个粗略的初始近似的目标分布，这可能会发现，例如使用拉普拉斯方法，并显示出有潜力大大提高了几个现有的近似推理技术估计矩的顺序高达两个近高斯分布，这经常发生在贝叶斯分析。特别地，给出了变分抽样在中维贝叶斯逻辑斯谛回归中的应用。
2013-10-14 stat.CO
Multimodal Sampling via Approximate Symmetries
针对多模态采样中分布缺乏精确对称性的问题，通过群轨道平均构造精确对称参考分布，并结合多层级蒙特卡洛方法（如退火重要性采样和回火转移）提升采样效率，Ising模型实验验证了其有效性。
2024-01-04 cs.NA math.NA math.ST
Electrostatics-based particle sampling and approximate inference
本文提出一种基于静电学和牛顿力学原理的粒子采样与近似推断方法，通过模拟正负电荷相互作用使负电荷分布逼近目标分布，实现确定性、无梯度的推断，并在多个基准任务中取得与现有方法相当的性能。
2024-06-28 cs.AI stat.CO stat.ML
Likelihood-free approximate Gibbs sampling
似然自由方法，如近似贝叶斯计算（ABC）已经扩展了统计推断的范围与计算棘手的似然问题。这种方法对于小到中等维度的问题表现良好，但是在模型参数的数量上遭受维度灾难。我们引入了一个似然自由近似吉布斯采样器，自然地绕过了维数问题，专注于低维条件分布。这些分布是由灵活的回归模型估计，无论是在采样器运行之前，或自适应采样器的实施过程中。因此，与基于Metropolis-Hastings的方法相比，我们能够拟合比其他方法更具挑战性的统计模型。我们通过两个模拟示例展示了采样器的性能，并使用包含13，140个参数的棘手高维多变量非线性状态空间模型对Airbnb租金价格进行了真实分析，这对标准ABC技术提出了真正的挑战。
2019-06-11 stat.CO stat.ME stat.ML
Multifidelity Approximate Bayesian Computation with Sequential Monte Carlo Parameter Sampling
多保真度近似贝叶斯计算（MF-ABC）是一种用于参数推断的无可能性技术，它利用模型近似来显着提高ABC算法的速度（Prescott和Baker，2020）。以前的工作只考虑MF-ABC的上下文中的拒绝抽样，这并不特别有效地探索参数空间。在这项工作中，我们集成了多保真度的方法与ABC序贯蒙特卡罗（ABC-SMC）算法到一个新的MF-ABC-SMC算法。我们表明，ABC-SMC和MF-ABC产生的改进，以产生蒙特卡罗样本的效率和估计的ABC后被放大时，这两种技术一起使用。
2020-10-12 stat.CO
Approximate Conditional Sampling for Pattern Detection in Weighted Networks
评估网络模式的统计显著性对于理解这些模式是否表明存在有趣的网络现象，或者它们是否仅仅是由不太有趣的过程（如网络异质性）引起的至关重要。通常，显著性是参考空模型计算的。虽然已经有广泛的研究，这种零模型的非加权图，很少有做了加权的情况下。本文提出了一个加权图的空模型。该模型精确地确定了节点的强度，近似地确定了节点的度。提出了一种新的MCMC算法对模型进行采样，并讨论了其随机稳定性。我们的经验表明，该模型相比，有利的替代品，特别是当网络模式是微妙的。我们展示了如何使用该算法来评估社区结构的统计意义。
2021-09-19 stat.ME
Machine Learning Trivializing Maps: A First Step Towards Understanding How Flow-Based Samplers Scale Up
The University of Edinburgh（爱丁堡大学）
平凡化映射是一种场变换，其雅可比行列式精确地抵消了作用中的相互作用项，提供了理论在分布的确定性变换方面的表示，其中采样是平凡的。最近，Albergo，Kanwar和Shanahan [arXiv：1904.12072]的一项原理证明研究表明，平凡化映射的近似可以通过一类称为\textit{normalizing flows}的可逆可微神经模型“机器学习”。通过确保可以有效地计算雅可比行列式，可以通过从简单分布中抽取样本并将其传递到网络来执行来自感兴趣理论的渐近精确采样。从理论的角度来看，这种方法有可能变得比传统的马尔可夫链蒙特卡罗采样技术，其中自相关严重降低采样效率，因为一个接近连续极限更有效。一个主要的警告是，目前还不清楚模型的大小和训练它们的成本预计将如何扩展。作为第一步，我们已经进行了探索性的缩放研究，使用二维$ϕ^4$高达$20^2$晶格网站。虽然我们的研究范围仅限于特定的模型架构和训练算法，但初步结果描绘了一幅有趣的画面，其中训练成本确实增长得非常快。我们描述了一个候选人的解释穷人的缩放，并概述了我们的意图，以澄清在未来的工作中的情况。
2021-12-31 cs.LG hep-lat
Informed Sub-Sampling MCMC: Approximate Bayesian Inference for Large Datasets
本文介绍了一个框架，以加快贝叶斯推断进行大数据集的存在。我们设计了一个马尔可夫链，其过渡内核使用（未知）部分（固定大小）的可用数据，在整个算法中随机刷新。受近似贝叶斯计算（ABC）文献的启发，二次抽样过程由对观察数据的保真度指导，如通过汇总统计测量的。由此产生的算法，知情子采样MCMC（ISS-MCMC），是一个通用的和灵活的方法，相反，现有的可扩展的方法，保留了简单的梅特罗波利斯-黑斯廷斯算法。即使失去了准确性，即链分布近似后验，我们研究和量化理论上的这种偏见，并显示在一组不同的例子，它产生出色的性能时，计算预算是有限的。如果可用和廉价的计算，我们表明，设置汇总统计量的极大似然估计是支持的理论论据。
2018-05-31 stat.CO stat.ME
Neural Approximate Mirror Maps for Constrained Diffusion Models
California Institute of Technology（加州理工学院）
本文提出神经近似镜像映射（NAMMs），仅利用可微距离函数即可处理一般非凸约束，通过在学习的镜像空间中训练扩散模型并借助逆映射恢复样本，显著提升约束满足程度并支持求解带约束的逆问题。
2025-04-09 cs.CV cs.LG eess.IV
Ensemble approximate control variate estimators: Applications to multi-fidelity importance sampling
最近的增长，在多保真度的不确定性量化已经引起了一个大的集合的方差减少技术，利用信息从模型集成提供方差减少估计的高保真模型的统计。在本文中，我们提供了两个贡献：（1）我们利用系综估计占近似控制变量（ACV）的方法的最佳权重的不确定性，并推导出下限所需的样本数量，以保证方差减少;（2）我们扩展了现有的多保真度重要性抽样（MFIS）计划，以利用控制变量。因此，我们取得了重大进展，例如，通过考虑导频样本$-$的影响，并使用多保真度方法更有效地估计低概率事件，从而提高了近似控制变量$-$的实用性。数值结果表明，我们的混合MFIS-ACV估计实现了高达50%的改进，在方差减少现有的国家的最先进的MFIS估计，这已经表现出出色的收敛速度相比，蒙特卡罗方法，对计算力学的几个问题。
2021-01-07 stat.CO stat.ME
Importance sampling type estimators based on approximate marginal MCMC
考虑基于马尔可夫链蒙特卡罗（MCMC）的重要性抽样（IS）型加权估计，目标是目标分布的近似边缘。在贝叶斯潜变量模型的上下文中，MCMC通常对超参数进行操作，并且随后的加权可以基于IS或序贯蒙特卡罗（SMC），但也允许多级技术。IS方法提供了延迟接受（DA）伪边缘/粒子MCMC的一个自然的替代方案，并具有许多优势，DA，包括一个简单的并行化和MCMC实现的额外灵活性。我们详细的最小条件，确保强一致性的建议估计，并提供中心极限定理的渐近方差的表达式。我们演示了我们的方法可以利用SMC的状态空间模型的上下文中，使用拉普拉斯近似和时间离散扩散。我们的实验结果是有希望的，并表明，IS型的方法可以提供大量的收益相对于一个类似的DA计划，往往是有竞争力的，即使没有并行化。
2020-03-09 math.PR stat.CO
Fast Sampling and Inference via Preconditioned Langevin Dynamics
本文研究预条件朗之万蒙特卡洛算法，证明其采样样本可用于统计推断，并给出全变差收敛速率及 Wasserstein 距离下空间不变预条件采样的非渐近界。
2024-03-29 stat.CO
Sequential Monte Carlo as Approximate Sampling: bounds, adaptive resampling via $\infty$-ESS, and an application to Particle Gibbs
序贯蒙特卡罗（SMC）算法最初是为估计状态空间模型中的棘手条件期望而设计的，但现在通常用于在通用贝叶斯推理的上下文中生成近似样本。特别是，SMC算法经常被用作子程序内较大的蒙特卡罗计划，在这种情况下，放在SMC的要求是不同的：控制的均方误差是不够的-一个需要控制的发散直接从目标分布。为了实现这一目标，我们引入了条件自适应恢复粒子滤波器，建立在Gordon，Salmond和Smith（1993），Andrieu，Doucet和Holenstein（2010）以及Whiteley，Lee和Heine（2016）的工作基础上。通过控制有效样本量的新概念，$\infty$ -ESS，我们建立了由此产生的SMC采样算法的效率，提供了Andrieu，Lee和Vihola（2013）工作的自适应恢复扩展。我们应用我们的研究结果，以达到新的发散范围SMC采样器的自适应rescue以及自适应rescue版本的粒子吉布斯算法具有相同的几何遍历保证其非自适应对应。
2017-04-10 math.ST stat.CO stat.TH
Covariance Expressions for Multi-Fidelity Sampling with Multi-Output, Multi-Statistic Estimators: Application to Approximate Control Variates
本文推导了多保真度采样中多输出、多统计量估计量的协方差表达式，并在approximate control variate方案中证明利用多输出能显著降低估计量方差。
2024-06-28 stat.CO stat.ME
Thompson Sampling with Approximate Inference
College of Information and Computer Science（信息与计算机科学学院）；University of Massachusetts（马萨诸塞大学）；VinAI（VinAI研究院）
我们研究了近似推理对$k$ -armed bandit问题中Thompson采样性能的影响。汤普森抽样是一个成功的在线决策算法，但需要后验推理，这往往必须在实践中近似。我们表明，即使是小的常数推理错误（$α$发散），也会导致性能不佳（线性遗憾），这是由于近似的探索不足（对于$α<1$）或过度探索（对于$α>0$）。对于$α> 0$，这是不可避免的，而对于$α\leq 0$，即使当推理误差是一个大的常数时，也可以通过添加少量的强制探索来改善遗憾。
2020-01-15 cs.LG stat.ML
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain（谷歌大脑）
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而，在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法，只需访问模型的后验样本。与此同时，近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此，在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响，我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现，许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是，我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
Active Sampling for Pairwise Comparisons via Approximate Message Passing and Information Gain Maximization
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）
成对比较数据出现在许多领域的主观评估实验中，例如在图像和视频质量评估中。在这些实验中，观察者被要求在两种条件之间表达偏好。然而，许多成对比较协议需要大量的比较来推断准确的分数，当每次比较都是耗时的（例如视频）或昂贵的（例如医学成像）时，这可能是不可行的。这促使使用主动采样算法，该算法仅选择信息量最大的对进行比较。在本文中，我们提出了ASAP，主动采样算法的基础上近似消息传递和期望信息增益最大化。与大多数现有方法不同，这些方法依赖于后验分布的部分更新，我们能够执行完全更新，因此大大提高了推断分数的准确性。该算法依赖于三种技术来降低计算成本：基于近似消息传递的推断，信息增益的选择性评估，以及在一批中选择对，形成信息增益的逆的最小生成树。我们证明，真实的和合成数据，ASAP提供了最高的准确性推断分数相比，现有的方法。我们还提供了一个开源的GPU实现的ASAP的大规模实验。
2020-04-12 cs.LG stat.ML
Subsampled Optimization: Statistical Guarantees, Mean Squared Error Approximation, and Sampling Method
Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；University of California, Davis（加利福尼亚大学戴维斯分校）
对于大规模数据的优化，由于数据的大小，精确计算其解可能在计算上是困难的。在本文中，我们考虑子采样优化快速逼近精确解。该方法通过对全部数据进行抽样得到一个代理数据集，然后基于该代理数据集进行二次抽样优化，得到一个近似解。一个主要的理论贡献是提供的渐近性质的近似解的精确解作为统计保证，并严格推导出一个精确的近似的均方误差（MSE）和近似无偏的MSE估计。这些结果有助于我们更好地诊断子采样优化的上下文中，一个置信区域上的精确解提供使用的近似解。我们的结果的另一个后果是提出一个最佳的抽样方法，海森为基础的抽样，其概率是成比例的牛顿方向的范数。最小二乘和逻辑斯谛回归的数值实验显示出良好的性能，与我们的结果一致。
2018-04-10 cs.LG stat.ML
Itô maps for any-step SDEs
Harvard University（哈佛大学）；University of Oxford（牛津大学）；Kempner Institute（凯门研究所）
提出Itô映射，一种任意步随机流映射，通过单次前向传播预测未来状态，实现随机动力学的精确蒸馏，并支持推理时控制和后验采样。
2026-11-03 cs.LG stat.ML
Scalable Discrete Sampling as a Multi-Armed Bandit Problem
University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
从离散分布中抽取样本是蒙特卡罗方法的构建组件之一。与其他采样算法一样，离散采样算法在大规模推理问题中也存在计算量大的问题。我们研究的问题采样的离散随机变量具有高度的依赖性，这是典型的大规模贝叶斯推断和图形模型，并提出了一个有效的近似解决方案与子采样方法。我们提出了一种新的离散采样和多臂强盗问题与有限奖励人口之间的联系，并提供了三个算法的理论保证。实验结果表明，该近似算法在大规模问题中具有较好的鲁棒性和有效性。
2016-04-27 cs.LG stat.ML
Approximate Thompson Sampling for Learning Linear Quadratic Regulators with $O(\sqrt{T})$ Regret
Department of Applied Artificial Intelligence, Seoul National University of Science and Technology（应用人工智能系，首尔科学技术大学）；Department of Electrical and Computer Engineering and ASRI, Seoul National University（电气电子工程系和ASRI，首尔国立大学）
提出一种基于Langevin动力学和激励机制的近似Thompson采样算法，用于学习LQR，在无限制性假设下实现了$O(\sqrt{T})$的贝叶斯遗憾界。
2025-05-29 cs.LG cs.SY eess.SY
Constructive approximate transport maps with normalizing flows
本文通过构造分段常数控制来近似求解连续方程的可控性问题，利用归一化流将基密度传输到目标密度，并基于相对尾部衰减假设给出切换次数上界及可达空间刻画。
2025-08-16 math.OC stat.ML
The Power of Test-Time Training for Approximate Sampling
Microsoft Research NYC（微软研究院纽约分校）；MIT（麻省理工学院）
本文形式化测试时训练（TTT）为从已知分布类中采样的问题，证明查询复杂度的二次下界，并展示在分布类大小受限时可规避该下界，为TTT提供理论框架。
2026-06-11 cs.AI cs.DS cs.LG
A generative flow for conditional sampling via optimal transport
University of the Philippines Diliman（菲律宾大学迪里曼分校）；California Institute of Technology（加州理工学院）；Columbia University（哥伦比亚大学）；Baruch College（巴鲁克学院）；University of Edinburgh（爱丁堡大学）；Georgia Institute of Technology（佐治亚理工学院）；Grinnell College（格林内尔学院）；University of Michigan（密歇根大学）；Yale University（耶鲁大学）
本文提出一种基于块三角传输映射和加权L2最优传输的非参数生成模型，通过迭代映射参考样本实现条件采样，并在二维示例和非线性ODE参数推断中验证其有效性。
2023-07-09 cs.LG math.OC stat.CO
Algorithms and Bounds for Rollout Sampling Approximate Policy Iteration
近年来，一些不带值函数的近似策略迭代方案被提出来，这些方案侧重于使用分类器的策略表示，并将策略学习作为一个监督学习问题来解决。使用这种方法找到好的策略不仅需要适当的分类器，还需要可靠的最佳动作示例，充分覆盖状态空间。到目前为止，很少有工作已经做了适当的覆盖计划和方法，以减少样本的复杂性，这种方法，特别是在连续状态空间。本文重点介绍了最简单的覆盖方案（状态空间上的离散网格），并在最简单的（以前常用的）卷展采样分配策略（在考虑中的每个状态下均匀分配样本）和几乎同样简单的方法（仅根据需要分配样本，需要的样本数量明显较少）之间进行了样本复杂性比较。
2008-07-18 cs.LO math.ST stat.ML
On the Nyström and Column-Sampling Methods for the Approximate Principal Components Analysis of Large Data Sets
在本文中，我们分析近似方法进行主成分分析（PCA）的大型数据集。PCA是一种经典的降维方法，它涉及到将数据投影到由协方差阵的前导特征向量所张成的子空间上。该预测可用于探索性目的或作为进一步分析的输入，例如回归。如果数据具有数十亿个条目或更多，则在快速存储器中保存和操纵设计矩阵的计算和存储要求是禁止的。最近，Nyström和列采样方法出现在数值线性代数社区中，用于大矩阵奇异值分解的随机近似。然而，它们在统计应用中的效用仍不清楚。我们比较这些近似理论上的诱导子空间和所需的，但计算上不可行的，PCA子空间之间的距离。此外，我们经验表明，通过模拟和一个真实的数据例子，涉及语料库的电子邮件，近似精度和计算复杂性的权衡。
2016-02-02 stat.CO stat.ML
Random Sampling for Distributed Coded Matrix Multiplication
矩阵乘法是在各种应用（包括机器学习）中出现的大规模计算的基本构建块。最近，人们对使用编码来加速分布式矩阵乘法产生了很大的兴趣，分布式矩阵乘法对离散者（即，可以执行较慢计算的机器）。在许多情况下，代替精确计算，近似矩阵乘法，即，允许容许误差也是足够的。这种近似方案利用随机化技术来加速计算过程。在本文中，我们发起了近似编码矩阵乘法的研究，并调查随机化和编码提供的联合协同作用。具体来说，我们提出了两个编码的随机采样方案，使用（a）代码，以实现所需的恢复阈值和（b）随机采样，以获得近似的矩阵乘法。针对一类编码矩阵乘法方案，研究了恢复门限与通过随机抽样获得的近似误差之间的折衷关系。
2019-05-16 cs.IT math.IT stat.ML
Sampling and Identity-Testing Without Approximate Tensorization of Entropy
Carnegie Mellon University（卡内基梅隆大学）
本文研究了不满足近似熵张量化（ATE）的混合分布的采样与同一性测试问题，证明了其Glauber dynamics的快速混合性，并在坐标条件访问模型下提出了高效的同一性测试器。
2025-06-30 cs.DS cs.LG math.ST
