GSplit: Scaling Graph Neural Network Training on Large Graphs via Split-Parallelism
GSplit通过分片并行性在大规模图上高效扩展图神经网络训练,采用轻量级分区算法减少通信开销,优于现有主流系统。
2025-12-12 cs.DC cs.LG
Scaling Up Bayesian DAG Sampling
针对贝叶斯网络结构推断中DAG采样效率问题,提出基础边操作高效实现与父集剪枝预处理两种技术,显著提升了马尔可夫链采样的效率。
2025-10-29 cs.AI cs.LG
Parallel Sampling for Efficient High-dimensional Bayesian Network Structure Learning
Queen Mary University of London(伦敦玛丽女王大学)
学习贝叶斯网络结构的基于分数的算法可用于精确和近似解决方案。虽然近似学习随着变量的数量而更好地扩展,但在存在高维数据的情况下,它在计算上可能是昂贵的。本文描述了一个近似算法,执行并行采样的候选父集(CPS),并可以被视为一个扩展的MINOBS,这是一个国家的最先进的算法,从高维数据的结构学习。修改后的算法,我们称之为并行采样MINOBS(PS-MINOBS),构造的图形,通过采样CPS为每个变量。假设CPS的分布按每个变量的贝叶斯评分排序时为半正态分布,平行进行采样。从半正态分布中抽样可确保抽样的CPS可能是产生较高分数的CPS。实证结果表明,在大多数情况下,该算法发现更高的分数结构比MINOBS时,这两种算法被限制到相同的运行时间限制。
2022-02-19 cs.AI cs.LG
Bayesian Negative Sampling for Recommendation
Huazhong University of Science and Technology (HUST)(华中科技大学)
如何从未标记的数据中采样高质量的负实例,即,负采样对于训练隐式协同过滤和对比学习模型是非常重要的。虽然以前的研究已经提出了一些方法来样本信息的情况下,很少有人做了区分假阴性和真阴性的无偏阴性抽样。在对负样本得分进行序关系分析的基础上,我们首先推导出真负样本和假负样本的类条件密度。接下来,我们设计了一个贝叶斯分类器的阴性分类,我们定义了一个模型不可知的后验概率估计的实例是真阴性作为一个定量的阴性信号的措施。我们还提出了一个贝叶斯最优抽样规则来抽样高质量的底片。提出的贝叶斯负采样(BNS)算法具有线性时间复杂度。实验研究验证了BNS在更好的采样质量和更好的推荐性能方面优于同行。
2022-07-09 cs.AI cs.IR cs.LG
Structure Learning in Bayesian Networks of Moderate Size by Efficient Sampling
Iowa State University(爱荷华州立大学)
我们研究了贝叶斯模型平均方法来学习贝叶斯网络结构(DAG)的数据。我们开发了新的算法,包括第一个算法,能够有效地采样DAG根据确切的结构后验。然后,可以使用DAG样本来构建任何特征的后验估计。我们从理论上证明了我们的估计良好的性能和经验表明,我们的估计大大优于估计从以前的国家的最先进的方法。
2015-01-19 cs.AI cs.LG stat.ML
BEACON: Bayesian Optimal Stopping for Efficient LLM Sampling
University of Virginia(弗吉尼亚大学)
本文提出 BEACON 自适应采样框架,利用贝叶斯后验实时评估新增 LLM 响应的边际收益与计算成本,实现最优停止,在保持质量的同时最高减少 80% 采样。
2025-10-09 cs.AI cs.LG
Prune Sampling: a MCMC inference technique for discrete and deterministic Bayesian networks
TNO(荷兰应用科学研究组织);Utrecht University(乌得勒支大学);University of Amsterdam(阿姆斯特丹大学)
本文介绍了马尔可夫链蒙特卡罗(MCMC)推理方法Prune Sampling,并对它在离散和确定性贝叶斯网络(BN)中的性能进行了分析。我们开发了一个程序,以获得性能的MCMC采样方法在无限的模拟时间的限制,从相对较短的模拟外推。这种方法被用来进行一项研究,以比较准确性,收敛速度和时间消耗的修剪采样与两个传统的MCMC采样方法:吉布斯和大都会采样。我们发现,修剪采样创建的马尔可夫链总是收敛到所需的后验分布,也为传统的吉布斯抽样失败的网络。除此之外,我们证明了修剪优于吉布斯抽样,至少对于某一类BN。不过,这个诱人的功能是有代价的。在Prune Sampling的第一个版本中,对于大BN,统一选择下一个迭代步骤的过程是相当耗时的。我们的结论是,修剪采样是所有类型的小型和中型BN的竞争力的方法,但(现在)标准方法仍然表现更好的所有类型的大型BN。
2019-08-17 cs.AI cs.LG stat.CO
Fast Sampling for Bayesian Max-Margin Models
贝叶斯最大边际模型结合了贝叶斯建模的灵活性和最大边际学习的预测优势,在文本分类、协同预测、社交网络链接预测和众包等实际应用中表现出了优越性。然而,这些模型的蒙特卡罗采样仍然具有挑战性,特别是对于涉及大规模数据集的应用程序。本文提出了随机次梯度哈密顿蒙特卡罗(HMC)方法,该方法易于实现,计算效率高。我们展示了次梯度HMC的近似详细平衡性质,揭示了普通HMC的自然和有效的推广。此外,我们研究了使用随机子采样和恒温器的变体,以获得更好的可扩展性和混合。利用随机次梯度马尔可夫链蒙特卡罗(MCMC)方法,我们有效地解决了各种贝叶斯最大间隔模型的后验推理问题,大量的实验结果证明了我们方法的有效性.
2016-10-18 cs.AI cs.LG stat.ML
Bayesian Local Sampling-based Planning
The University of Sydney(悉尼大学);NVIDIA(英伟达)
基于采样的规划是机器人运动规划的主要范例。大多数基于抽样的规划者使用全局随机抽样方案来保证概率的完整性。然而,大多数计划往往是低效的,因为样本来自全球的建议分布,并没有利用相关的本地结构。另一方面,基于局部采样的运动规划器采取随机行走的顺序决策来采样配置空间中的有效轨迹。然而,目前的方法不适应他们的战略,根据过去的样本的成功和失败。在这项工作中,我们介绍了一个局部采样为基础的运动规划与贝叶斯学习计划建模的自适应采样建议分布。基于先前的样本顺序地更新建议分布,从而根据配置空间中的局部障碍和约束对其进行成形。因此,通过从过去观察到的结果中学习,我们最大限度地提高了在狭窄通道内形成轨迹的概率较高的区域中进行采样的可能性。我们提供了一个样本有效分布的制定,以及按顺序更新此分布的理论基础。我们的实验表明,通过使用贝叶斯建议分布,解决方案被发现更快,需要更少的样本,没有任何明显的性能开销。
2020-01-19 cs.AI cs.LG cs.RO
Deep Bayesian Bandits Showdown: An Empirical Comparison of Bayesian Deep Networks for Thompson Sampling
Google Brain(谷歌大脑)
深度强化学习的最新进展在Go和Atari游戏等应用程序的性能方面取得了重大进展。然而,在复杂领域开发平衡勘探和开采的实用方法在很大程度上仍然没有解决。Thompson Sampling及其对强化学习的扩展提供了一种优雅的探索方法,只需访问模型的后验样本。与此同时,近似贝叶斯方法的进步使灵活的神经网络模型的后验近似变得实用。因此,在Thompson采样框架中考虑近似贝叶斯神经网络是有吸引力的。为了了解使用近似后验对汤普森采样的影响,我们对一系列上下文强盗问题的近似后验采样与汤普森采样相结合的方法进行了基准测试。我们发现,许多在监督学习环境中取得成功的方法在顺序决策场景中表现不佳。特别是,我们强调了适应缓慢收敛的不确定性估计在线设置的挑战。
2018-02-26 cs.LG stat.ML
How does Bayesian Sampling help Membership Inference Attacks?
Department of Statistics and Data Science, Southern University of Science and Technology(统计与数据科学系,南方科技大学);Shanghai Innovation Institute(上海创新研究院);School of Computer Science, Nanjing University(南京大学计算机科学系);Center for Applied Statistics and School of Statistics, Renmin University of China(应用统计中心和统计学系,中国人民大学)
提出贝叶斯成员推断攻击(BMIA),通过拉普拉斯近似对单个参考模型进行贝叶斯采样以估计条件分数分布,理论证明降低模型内方差从而提升攻击性能,并在多模态数据集上实现最先进的效果与效率。
2026-05-29 cs.AI cs.LG
Batch Bayesian Active Learning with Partial Batch Label Sampling
Georgia Institute of Technology(佐治亚理工学院)
本文提出ParBaLS方法,用于改进EPIG算法在大规模批量中的性能,通过实验验证其在固定预算下优于其他方法,适用于基于大预训练模型的贝叶斯逻辑回归。
2026-10-14 cs.AI cs.LG stat.ML
Myopic Bayesian Design of Experiments via Posterior Sampling and Probabilistic Programming
Carnegie Mellon University(卡内基梅隆大学);U-Mass, Amherst(马萨诸塞大学阿默斯特分校)
我们设计了一个新的近视策略的顺序实验设计(DOE)的问题,其中的目标是收集数据,以满足一定的问题的具体目标。我们的方法,近视后验采样(MPS),是受经典的后验(汤普森)采样算法的启发,多武装匪徒,并利用概率规划和近似贝叶斯推断的灵活性,以解决广泛的问题。从经验上讲,这种通用策略在各种DOE任务中与更专业的方法竞争,更重要的是,能够解决现有方法似乎不适用的复杂DOE目标。在理论方面,我们利用自适应子模块化和强化学习的思想来推导MPS实现次线性后悔的条件。
2018-05-25 cs.AI cs.LG stat.ML
Sampling Techniques in Bayesian Target Encoding
Spok, Inc.(Spok公司)
目标编码是一种有效的分类变量编码技术,经常用于机器学习系统中,用于处理具有混合数值和分类变量的表格数据集。最近,一个增强版本的这种编码技术提出了使用共轭贝叶斯建模。本文提出了一种基于抽样技术的贝叶斯编码方法,该方法有助于从目标变量的类内分布中提取信息,提高泛化能力,减少目标泄漏。
2020-11-23 cs.DM cs.LG stat.ML
Adaptive Sampling for Estimating Distributions: A Bayesian Upper Confidence Bound Approach
University of Southern California(南加州大学);University of California, San Diego(加州大学圣地亚哥分校)
研究了概率质量函数(pmf)一致估计的自适应抽样问题。采样策略的性能以最差情况下的均方误差来衡量。提出了一种贝叶斯变体现有的置信上限(UCB)为基础的方法。分析表明,这种贝叶斯变体的性能并不比现有的方法差。贝叶斯设置中pmfs上的后验分布允许更严格地计算置信上限,这在实践中导致显著的性能增益。使用这种方法,自适应采样协议提出了估计SARS-CoV-2血清阳性率在不同的群体,如位置和种族。这一战略的有效性进行了讨论,使用从洛杉矶县的血清阳性率调查获得的数据。
2020-12-08 cs.LG stat.ME
Particle-based Online Bayesian Sampling
University of California, Santa Barbara(加州大学圣巴巴拉分校);Microsoft Research Asia(微软亚洲研究院)
在线优化由于其跟踪真实世界流数据的能力而获得了越来越多的关注。虽然在线优化方法已被广泛研究的设置频率统计,很少有作品考虑在线优化与贝叶斯抽样问题。在本文中,我们研究了在线粒子变分推理(OPVI)算法,使用一组粒子来表示近似分布。为了减少使用随机近似所造成的梯度误差,我们包括一个次线性增加批量的方法,以减少方差。为了跟踪一系列动态变化的目标后验序列的OPVI算法的性能,我们提供了一个详细的理论分析,从Wasserstein梯度流的角度与动态遗憾。综合实验和贝叶斯神经网络实验表明,该算法比单纯应用现有的贝叶斯抽样方法在在线环境下取得了更好的效果。
2023-02-28 cs.LG
Bayesian Reinforcement Learning via Deep, Sparse Sampling
Chalmers University of Technology(查尔姆斯理工大学);University of Oslo(奥斯陆大学)
我们使用有效的基于模型的在线规划解决贝叶斯强化学习的问题。我们提出了一个无乐观的贝叶斯自适应算法,以诱导更深,更稀疏的探索与理论界的性能相对于贝叶斯最优策略,具有较低的计算复杂性。主要的新颖性是使用候选策略生成器,在规划树中生成长期选项(超过信念),这使我们能够创建更稀疏和更深的树。在不同环境下的实验结果表明,与现有算法相比,该算法不仅在计算效率上更高,而且在离散环境下获得了更高的回报.
2020-06-27 cs.AI cs.LG stat.ML
Diversified Sampling for Batched Bayesian Optimization with Determinantal Point Processes
ETH Zurich(苏黎世联邦理工学院)
在贝叶斯优化(BO)中,我们研究了带有噪声点评估和贝叶斯先验的黑盒函数优化。BO的收敛速度可以大大加快,其中黑盒函数的多个评估在单轮中执行。在这种情况下,主要困难是同时提出各种各样的、内容丰富的评价要点。在这项工作中,我们介绍了DPP-Batch Bayesian Optimization(DPP-BBO),一个通用的框架,用于通过利用行列式点过程(DPP)的排斥特性来诱导基于BO的抽样中的批次多样性,从而自然地使批次抽样过程多样化。通过将DPP-Thompson Sampling(DPP-TS)算法作为Thompson Sampling(TS)算法的一种变体,引入Markov Chain Monte Carlo方法进行抽样,证明了经典批量TS和DPP-TS算法的贝叶斯简单遗憾界,后者的界更紧.我们的真实世界,以及合成,实验表明,改进的性能DPP-BBO在经典的高斯过程和Cox过程模型的方法。
2022-02-08 cs.LG stat.ML
Efficient RF Passive Components Modeling with Bayesian Online Learning and Uncertainty Aware Sampling
ShanghaiTech University(上海科技大学)
针对传统射频无源元件机器学习建模计算量大的问题,提出带可重构头贝叶斯神经网络与不确定性引导自适应采样的贝叶斯在线学习框架,在保证精度的同时将电磁仿真时间降至原流程的2.86%,提速35倍。
2025-11-19 cs.LG
Adaptive Candidate Point Thompson Sampling for High-Dimensional Bayesian Optimization
University of British Columbia(不列颠哥伦比亚大学);Vector Institute(向量研究所)
本文提出ACTS方法,通过自适应缩减搜索空间提高高维贝叶斯优化效率,改进了现有汤普森采样方法在合成和现实基准中的表现。
2026-04-10 cs.LG
Fast MCMC sampling for Markov jump processes and continuous time Bayesian networks
Gatsby Computational Neuroscience Unit(盖比计算神经科学单元);University College London(伦敦大学学院)
马尔可夫跳过程和连续时间贝叶斯网络是一类重要的连续时间动态系统。在本文中,我们通过引入一个快速辅助变量吉布斯采样器来解决这些模型中未观测路径的推断问题。我们的方法是基于均匀化的思想,并建立了一个马尔可夫链的路径通过采样一组有限的虚拟跳跃时间,然后运行一个标准的隐马尔可夫模型的前向滤波-后向采样算法的状态在现有的和虚拟的跳跃时间。我们证明了显着的计算效益超过一个国家的最先进的吉布斯采样器上的一些连续时间贝叶斯网络。
2012-02-14 cs.LG stat.ME stat.ML
BOSH: Bayesian Optimization by Sampling Hierarchically
Lancaster University(兰卡斯特大学)
贝叶斯优化(BO)用于具有随机评估的函数的部署,例如通过交叉验证和仿真优化的参数调整,通常优化目标函数的固定噪声实现集合的平均值。然而,以这种方式忽略真正的目标函数会找到错误函数的高精度最优值。为了解决这个问题,我们提出了贝叶斯优化分层采样(BOSH),一种新的BO例程配对的分层高斯过程与信息理论框架,以生成一个不断增长的实现池的优化进展。我们证明了BOSH在综合基准测试、仿真优化、强化学习和超参数调整任务中提供了比标准BO更高效、更高精度的优化。
2020-07-02 cs.LG stat.ML
Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling
Northeastern University(东北大学);Google Research(谷歌研究院)
许多当代的机器学习模型需要大量的超参数调整才能表现良好。各种方法,如贝叶斯优化,已被开发来自动化和加快这一过程。然而,调优仍然非常昂贵,因为它通常需要反复完全训练模型。我们提出了加速贝叶斯优化方法的超参数调整的神经网络,考虑到每个训练样本贡献的相对信息量。为此,我们利用了重要性采样(IS);这显著提高了黑盒函数计算的质量,但也提高了它们的运行时间,因此必须小心完成。将超参数搜索作为超参数和重要性采样设计的多任务贝叶斯优化问题,实现了两全其美:通过学习IS的参数化,权衡评估复杂性和质量,我们改进了贝叶斯优化最先进的运行时间和最终验证错误,跨越各种数据集和复杂的神经架构。
2020-02-23 cs.LG stat.ML
High-dimensional near-optimal experiment design for drug discovery via Bayesian sparse sampling
Chalmers University of Technology(查尔姆斯理工大学);AstraZeneca AB(阿斯利康公司)
我们研究的问题进行自动化实验设计的药物筛选,通过贝叶斯推理和优化。特别是,我们比较和对比的线性高斯模型和高斯过程的行为,当与置信上限算法,汤普森采样,或有界水平树搜索。我们表明,非近视的复杂的探索技术,使用稀疏树搜索有一个明显的优势,如汤普森采样或置信上限在这种情况下的方法。我们证明了显着的优越性,该方法比现有的和合成的药物毒性数据集。
2021-04-23 cs.LG q-bio.QM stat.ML
Bayesian Optimal Control of Smoothly Parameterized Systems: The Lazy Posterior Sampling Algorithm
Queensland University of Technology(昆士兰科技大学);University of Alberta(阿尔伯塔大学)
研究了一类光滑参数化马尔可夫决策问题的贝叶斯最优控制。由于计算的最优控制是计算昂贵的,我们设计了一个算法,权衡性能的计算效率。该算法是一个懒惰的后验抽样方法,保持分布的未知参数。该算法仅在分布的方差充分减小时才改变其策略。重要的是,我们分析了算法,并显示了性能与计算权衡的精确性质。最后,我们在一个Web服务器控件应用程序上展示了该方法的有效性。
2014-06-16 cs.LG stat.ML
Sampling Bias Correction for Supervised Machine Learning: A Bayesian Inference Approach with Practical Applications
Local Maximum Labs(Local Maximum实验室)
给定一个有监督的机器学习问题,其中训练集受到已知的采样偏差的影响,如何训练模型来拟合原始数据集?我们通过贝叶斯推断框架,通过改变后验分布来解释抽样函数。然后,我们将此解决方案应用于二进制逻辑斯谛回归,并讨论了数据集可能会受到故意的样本偏差,如标签不平衡的情况。这种技术广泛适用于大数据的统计推断,从医学科学到图像识别再到营销。熟悉它将为从业者提供工具,以改进从数据收集到模型选择的推理管道。
2022-03-15 cs.LG stat.ML
Variational Bayesian Optimistic Sampling
DeepMind
我们考虑在线顺序决策问题,代理必须平衡探索和利用。我们推导出一组贝叶斯“乐观”的政策,其中,在随机多臂土匪的情况下,包括汤普森抽样政策。我们提供了一个新的分析表明,任何算法产生的政策,在乐观的设置享受$\tilde O(\sqrt{AT})$贝叶斯遗憾的问题与$A$行动后,$T$轮。我们扩展的遗憾分析的乐观政策的双线性鞍点问题,其中包括零和矩阵游戏和约束土匪作为特殊情况。在这种情况下,我们表明,汤普森抽样可以产生的乐观集之外的政策,并在某些情况下遭受线性遗憾。在乐观集内找到一个策略相当于解决一个凸优化问题,我们称之为变分贝叶斯乐观采样算法(VBOS)。该过程适用于任何后验,\ie,它不需要后验具有任何特殊属性,如对数,单峰,或光滑。问题的变分视图具有许多有用的属性,包括调整探索-开发权衡、添加正则化、合并约束和线性参数化策略的能力。
2021-10-29 cs.LG stat.ML
Continuous Chain of Thought Enables Parallel Exploration and Reasoning
University of Michigan - Ann Arbor(密歇根大学安娜堡分校);Google Research NYC(谷歌纽约研究)
本文提出CoT2连续思维链方法,通过并行探索与推理提升模型性能,解决组合子集和问题并优化推理效率。
2026-03-05 cs.LG
Rate-Informed Discovery via Bayesian Adaptive Multifidelity Sampling
Waymo, LLC(Waymo有限责任公司)
针对自动驾驶车辆安全性需准确估计性能与高效发现故障案例的问题,本文提出贝叶斯自适应多保真采样(BAMS),其优先探索低性能区域,发现的问题数量是MC和IS的10倍,速率估计方差分别窄15倍和6倍。
2024-11-26 cs.LG cs.RO stat.ML
Designing over uncertain outcomes with stochastic sampling Bayesian optimization
National Institute of Standards and Technology(美国国家标准与技术研究院)
优化在科学和工程领域变得越来越普遍。通常,这些问题涉及各种程度的随机性或不确定性,在产生建议的解决方案。因此,在这些情况下的优化必须考虑这种随机性,以正确指导未来实验的设计。在这里,我们适应贝叶斯优化来处理不确定的结果,提出了一个新的框架,称为随机抽样贝叶斯优化(SSBO)。我们发现,在SSBO的置信上限搜索的预期遗憾的界限类似于早期的贝叶斯优化方法,由于随机生成的输入增加了处罚。此外,我们适应现有的批处理优化技术,以适当地限制近视决策时,可能会出现选择多个实例反馈之前。最后,我们表明,SSBO技术适当地优化了一组标准的优化问题,以及生物工程启发的应用问题。
2020-06-03 cs.LG stat.ML
Bayesian Graph Neural Networks with Adaptive Connection Sampling
Texas A&M University(德克萨斯A&M大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们提出了一个统一的框架,自适应连接采样的图神经网络(GNNs),概括了现有的随机正则化方法训练GNNs。所提出的框架不仅消除了深度GNN的过度平滑和过度拟合趋势,而且还可以在使用GNN的图分析任务中进行不确定性学习。与现有随机正则化方法中使用固定采样率或手动调整它们作为模型超参数不同,我们的自适应连接采样可以与GNN模型参数以全局和局部方式联合训练。使用自适应连接采样的GNN训练在数学上等价于训练贝叶斯GNN的有效近似。在基准数据集上进行消融研究的实验结果验证了自适应学习给定图训练数据的采样率是提高GNNs在半监督节点分类中性能的关键,不易于过平滑和过拟合,具有更强大的预测能力。
2020-06-30 cs.LG stat.ML
Sampling Acquisition Functions for Batch Bayesian Optimization
University of Oxford(牛津大学);UC Berkeley(加州大学伯克利分校);IBM Research, Zurich(IBM研究院苏黎世分部)
我们提出了采集汤普森采样(ATS),一种新的技术,批量贝叶斯优化(BO)的基础上,从一个随机过程中采样多个采集功能的想法。我们通过一组模型超参数上的采集函数的依赖性来定义这个过程。ATS在概念上是简单的,直接实现,并且与其他批处理BO方法不同,它可以用于并行化任何顺序采集功能或使现有的并行方法进一步扩展。我们提出了各种基准函数和超参数优化的一个流行的梯度提升树算法的实验。这些证明了ATS的优势,经典的并行汤普森采样BO,其竞争力与两个国家的最先进的批BO方法,其有效性,如果应用于现有的并行BO算法。
2019-10-16 cs.LG stat.ML
Bayesian Optimization with Output-Weighted Optimal Sampling
Massachusetts Institute of Technology(麻省理工学院)
在贝叶斯优化中,考虑输出相对于输入的重要性是一项至关重要但具有挑战性的工作,因为它可以大大改善最终结果,但通常涉及不准确和繁琐的熵估计。我们从重要性抽样理论的角度来处理这个问题,并主张使用似然比来引导搜索算法向输入空间的区域,其中要最小化的目标函数假设异常小的值。似然比作为一个抽样权重,可以在每次迭代计算,而不会严重恶化算法的整体效率。特别是,它可以近似的方式,使该方法在高维易于处理。在这项工作中引入的“似然加权”的采集功能被发现在许多应用中优于其未加权的同行。
2020-10-03 cs.LG stat.ML
A Bayesian Sampling Approach to Exploration in Reinforcement Learning
Rutgers University(罗格斯大学);Massachusetts Institute of Technology(麻省理工学院)
我们提出了一个模块化的方法来强化学习,使用贝叶斯表示模型的不确定性。BOSS(Best of Sampled Set,最佳采样集)方法通过从后验中采样多个模型并乐观地选择行动来驱动探索。它扩展了以前的工作,提供了一个规则,决定何时重新采样和如何组合的模型。我们表明,我们的算法实现了接近最优的奖励,具有较高的概率与样本的复杂性,这是相对较低的后验分布在学习过程中收敛的速度。我们证明,BOSS表现相当有利相比,国家的最先进的学习方法,并说明其灵活性,它与一个非参数模型,概括跨国家配对。
2012-05-09 cs.LG
Thompson Sampling in Switching Environments with Bayesian Online Change Point Detection
University of Manchester(曼彻斯特大学)
汤普森采样最近已被证明在伯努利多臂强盗设置中是最佳的[Kaufmann等人,2012年]。这个强盗问题假设回报是平稳分布的。将现实世界建模为一个平稳分布通常是不现实的。在本文中,我们推导和评估算法使用汤普森采样切换多臂强盗问题。我们提出了一个汤普森采样策略配备了贝叶斯变点机制来解决这个问题。我们开发的算法在各种情况下具有恒定的开关速率:当开关发生所有的武器变化(全局开关),开关独立发生每个手臂(每臂开关),当开关速率是已知的,当它必须从数据中推断。这导致了我们统称为变点汤普森采样(CTS)的一系列算法。我们在4个人工环境中展示了该算法的实证结果,其中2个来自真实世界的数据;新闻点击[Yahoo!2011]和外汇数据[Dukascopy,2012],将它们与其他一些强盗算法进行比较。在现实世界的数据中,CTS是最有效的。
2013-02-15 cs.LG
Bayesian inference via rejection filtering
Microsoft Research(微软研究院);University of Sydney(悉尼大学)
我们提供了一种近似贝叶斯推理的方法,使用拒绝抽样。我们不仅使过程高效,而且还大大减少了所需的内存相对于传统的方法相结合的拒绝采样与粒子滤波。我们还提供了一个近似形式的拒绝采样,使拒绝滤波易于处理的情况下,精确拒绝采样是没有效率的。最后,我们提出了几个数值例子的拒绝过滤,显示其跟踪时间依赖的参数在在线设置的能力,也基准测试其性能的MNIST分类问题。
2015-12-03 cs.LG quant-ph stat.ML
Efficient MCMC Sampling for Bayesian Matrix Factorization by Breaking Posterior Symmetries
University of Michigan(密歇根大学)
贝叶斯低秩矩阵分解技术已成为关系数据分析和矩阵补全的重要工具。标准的方法是在因子矩阵的列或行上分配零均值高斯先验以创建共轭系统。这种先验的选择导致简单的实现;然而,它也会导致后验分布的对称性,这会严重降低马尔可夫链蒙特卡罗(MCMC)采样方法的效率。在本文中,我们提出了一个简单的修改先验选择,可证明打破这些对称性,并保持/提高精度。具体来说,我们提供的条件,高斯先验均值和协方差必须满足,使后验不表现出不变性,产生采样困难。例如,我们表明,使用非零线性独立的先验均值显着降低了MCMC样本的自相关性,也可以导致较低的重建误差。
2020-11-10 cs.LG stat.ML
Regularization by denoising: Bayesian model and Langevin-within-split Gibbs sampling
Institut Denis Poisson, University of Orléans(德尼·泊松研究所,奥尔良大学);University of Toulouse, IRIT/INP-ENSEEIHT, CNRS(图卢兹大学,法国国家信息与自动化研究所/国立高等电子、电子技术、计算机与机械学院,法国国家科学研究中心)
本文提出一种基于去噪正则化(RED)的图像反演贝叶斯框架,并设计了内含Langevin Monte Carlo步骤的分裂Gibbs采样算法,通过去模糊等任务验证了其有效性。
2024-02-19 cs.CV cs.LG stat.ML
Optimize Your Sampling: Tuned Diffusion Sampling with Bayesian Optimization
Cornell University(康奈尔大学)
本研究提出OYS方法,将扩散模型采样的时间步长选择作为黑盒优化问题,用贝叶斯优化直接优化目标指标,可提升多类图像生成任务性能,大幅降低推理成本且无需额外训练。
2026-08-19 cs.CV cs.LG
Bayesian Sampling Bias Correction: Training with the Right Loss Function
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
我们推导出一个损失函数的家庭的训练模型中存在的抽样偏差。例如,当病理学的患病率与其在训练数据集中的采样率不同时,或者当机器学习从业者重新平衡其训练数据集时。采样偏差会导致实验室中的模型性能与更现实的设置之间存在很大差异。它在医学成像应用中无处不在,但在训练时经常被忽视或在特定的基础上解决。我们的方法是基于贝叶斯风险最小化。对于任意似然模型,我们推导出相关的偏差校正损失的训练,表现出直接连接到信息增益。该方法无缝集成在当前的(深度)学习范式中,使用随机反向传播并自然地与贝叶斯模型相结合。我们举例说明肺结节恶性程度分级的病例研究的方法。
2020-06-24 cs.LG q-bio.QM stat.AP
A Finite Time Analysis of Thompson Sampling for Bayesian Optimization with Preferential Feedback
Imperial College London(帝国理工学院伦敦分校);MediaTek Research(联发科技研究)
本文提出一种基于偏好反馈的贝叶斯优化的强化学习方法,通过单调链接建模比较并利用双核机制,证明其性能与传统贝叶斯优化方法一致。
2026-04-27 cs.LG stat.ML
Future Information-Directed Sampling for Bayesian Nonstationary Bandits
Boston University(波士顿大学);Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所)
本文提出未来信息导向采样(FIDS),一种面向贝叶斯非平稳老虎机的新算法,通过显式探索未来最优臂信息,在保持与汤普森采样相近遗憾的同时利用预测性结构,并采用监督学习框架从离线数据近似后验推断。
2026-09-29 cs.LG
Self-Adversarially Learned Bayesian Sampling
State University of New York at Buffalo(纽约州立大学布法罗分校);Fudan University(复旦大学)
可扩展贝叶斯采样在现代机器学习中发挥着重要作用,特别是在快速发展的无监督(深度)学习模型中。虽然通过可扩展的贝叶斯采样(如随机梯度MCMC(SG-MCMC)和Stein变分梯度下降(SVGD))已经取得了巨大的进展,但生成的样本通常高度相关。此外,他们的样本生成过程经常被批评为效率低下。在本文中,我们提出了一种新的自对抗学习框架,该框架自动学习条件生成器来模仿马尔可夫核(过渡核)的行为。高质量的样本可以通过直接向前传递通过学习生成器来有效地生成。最重要的是,学习过程采用自学习范例,不需要关于现有马尔可夫核的信息,例如,如何从中提取样本的知识。具体来说,我们的框架学习使用当前样本,无论是来自生成器还是预先提供的训练数据,来更新生成器,使得生成的样本逐渐接近目标分布,因此它被称为自学习。在合成数据集和真实数据集上的实验验证了该框架的优势,在抽样效率和样本质量方面优于相关方法。
2018-11-21 cs.LG stat.ML
Covariance-Controlled Adaptive Langevin Thermostat for Large-Scale Bayesian Sampling
University of Edinburgh(爱丁堡大学)
贝叶斯后验推理的蒙特卡罗抽样是机器学习中常用的方法。所使用的马尔可夫链蒙特卡罗程序通常是相关随机微分方程(SDEs)的离散时间模拟。这些随机微分方程保证所需的后验分布不变。当前研究的一个领域是在这种情况下随机梯度方法的计算优势。现有技术依赖于估计子采样误差的方差或协方差,并且通常假设方差恒定。在这篇文章中,我们提出了一个协方差控制的自适应Langevin恒温器,可以有效地消散参数相关的噪声,同时保持所需的目标分布。所提出的方法实现了大规模机器学习应用程序的流行的替代方案的大幅加速。
2020-02-12 cs.LG stat.ML
Posterior Sampling-Based Bayesian Optimization with Tighter Bayesian Regret Bounds
Nagoya University(名古屋大学);RIKEN AIP(理化学研究所人工智能项目);Nagoya Institute of Technology(名古屋工业大学)
本文证明Thompson采样能达到更紧的贝叶斯累积遗憾界,并提出采集函数PIMS,其同样实现更紧遗憾界且无需手动调参,有效缓解了GP-UCB和TS的实际问题。
2024-06-04 cs.LG stat.ML
Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling
University of Cambridge(剑桥大学);Google Research(谷歌研究院)
我们介绍reprorisation,一个数据相关的reparameterisation,将贝叶斯神经网络(BNN)后的分布,其库尔贝克-莱布勒散度的BNN前消失层宽度的增长。的reprorisation映射直接作用于参数,其分析的简单性补充了已知的神经网络高斯过程(NNGP)的行为,广泛的BNN在函数空间。利用repriorisation,我们开发了一个马尔可夫链蒙特卡罗(MCMC)后验采样算法,混合更快更广泛的BNN。这与MCMC在高维中通常较差的性能形成对比。我们观察到高达50倍的有效样本量相对于没有重新参数化的完全连接和剩余网络。在所有宽度上都实现了改进,重新参数化和标准BNN之间的裕度随着层宽度的增加而增加。
2022-06-15 cs.LG stat.ML
Multilevel Gibbs Sampling for Bayesian Regression
Departement of Computer Science, KU Leuven(计算机科学系,鲁汶大学);Department of Electrical Engineering, ESAT - STADIUS, KU Leuven(电气工程系,ESAT - STADIUS,鲁汶大学)
贝叶斯回归仍然是一个简单而有效的工具,基于贝叶斯推断技术。对于大规模的应用,复杂的后验分布,马尔可夫链蒙特卡罗方法被应用。针对马尔可夫链蒙特卡罗方法在贝叶斯回归中的计算量大的问题,提出了一种适用于线性混合模型贝叶斯回归的多级Gibbs抽样方法.通过对数据矩阵的特征和/或样本进行聚类来创建数据矩阵的层级。此外,使用相关样本的方差减少,以改善马尔可夫链的收敛性进行了研究。在不同的数据集上进行测试,几乎所有数据集都实现了加速,而预测性能没有显著损失。
2020-09-25 cs.LG cs.NA math.NA
Sampling-Free Variational Inference of Bayesian Neural Networks by Variance Backpropagation
Heidelberg University(海德堡大学);Özyeğin University(厄兹耶因大学);Bosch Center for Artificial Intelligence(博世人工智能中心)
我们提出了一个新的贝叶斯神经网络制定,提供变分推断的证据下限是分析易处理的紧近似。我们通过(i)将ReLU非线性分解为恒等式和Heaviside阶跃函数的乘积,(ii)引入一个单独的路径,将神经网络期望从其方差中分解出来。我们正式证明,引入单独的潜在的二进制变量的激活允许代表的神经网络的可能性作为一个链的线性操作。执行变分推断上的这种结构,使一个采样自由计算的证据下限,这是一个更有效的近似比广泛应用的蒙特卡罗采样和CLT相关技术。我们评估了一系列回归和分类任务对BNN推理替代模型,表现出竞争力或改进的性能超过目前最先进的。
2019-06-12 cs.LG stat.ML
Asynchronous Parallel Bayesian Optimisation via Thompson Sampling
Carnegie Mellon University(卡内基梅隆大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
我们设计和分析的经典汤普森采样(TS)过程中的贝叶斯优化(BO)的设置功能评估是昂贵的,但可以并行执行的变化。我们的理论分析表明,在同步或异步并行设置的顺序汤普森采样算法的直接应用程序产生了令人惊讶的强大的结果:使$n$评价分布在$M$工人基本上相当于执行$n$评价序列。此外,通过建模完成函数评估所需的时间,我们表明,在时间约束下,异步并行TS实现渐近低于同步和顺序版本的遗憾。这些结果的补充实验分析,表明异步TS优于一套现有的并行BO算法在模拟和超参数调整应用在卷积神经网络。除了这些,建议的程序是概念上和计算上比现有的工作更简单的并行BO。
2017-05-25 cs.LG stat.ML
Regret Analysis of Posterior Sampling-Based Expected Improvement for Bayesian Optimization
Nagoya University(名古屋大学);RIKEN(理化学研究所);AIP(Advanced Institute for Particle Physics);Nagoya Institute of Technology(名古屋工业大学)
本文研究贝叶斯优化中期望改进(EI)理论保证不足的问题,提出从后验样本路径最大值评估 EI 的随机化方法,并证明其在高斯过程假设下具有次线性贝叶斯累积遗憾界,实验验证了有效性。
2025-09-30 cs.LG stat.ML
Sequential Importance Sampling for Hybrid Model Bayesian Inference to Support Bioprocess Mechanism Learning and Robust Control
Northeastern University(东北大学);University of Waterloo(滑铁卢大学)
在生物制造4.0的关键需求的驱动下,我们引入了一个概率知识图混合模型,该模型表征了对生物过程机制的基于风险和科学的理解。它可以忠实地捕捉重要的性质,包括非线性反应,部分可观测状态,和非平稳动力学。给出了非常有限的实际过程的观察,我们得到了一个后验分布量化模型估计的不确定性。为了避免计算复杂的似然性,采用序贯蒙特卡罗近似贝叶斯计算抽样(ABC-SMC)来近似后验分布。在高度随机和模型不确定性下,匹配输出轨迹的计算代价很高。因此,我们创建了一个线性高斯动态贝叶斯网络(LG-DBN)辅助似然ABC-SMC方法。通过匹配由LG-DBN似然驱动的摘要统计量,可以捕获关键的相互作用和变化,所提出的算法可以加速混合模型推理,支持过程监控,并促进机制学习和鲁棒控制。
2022-09-30 cs.LG stat.ML
Sampling-Free Learning of Bayesian Quantized Neural Networks
University of Maryland, College Park(马里兰大学帕克分校);Amazon Web Services(亚马逊云科技);Amazon.com, Inc.(亚马逊公司)
神经网络中模型参数的贝叶斯学习在具有良好校准的不确定性的估计是重要的情况下是重要的。在本文中,我们提出了贝叶斯量化网络(BQNs),量化神经网络(QNN),我们学习其离散参数的后验分布。我们提供了一组用于BQN中学习和预测的有效算法,而无需从其参数或激活中进行采样,这不仅允许QNN中的可微学习,而且还减少了梯度的方差。我们在MNIST,Fashion-MNIST,KMNIST和CIFAR 10图像分类数据集上评估BQN,并与QNN的自举集成(E-QNN)进行比较。我们证明了BQN比E-QNN实现了更低的预测误差和更好的校准不确定性(小于20%的负对数似然)。
2019-12-06 cs.LG stat.ML
Batch-Incremental Triplet Sampling for Training Triplet Networks Using Bayesian Updating Theorem
University of Waterloo(滑铁卢大学)
Triplet网络的变体是用于学习判别嵌入子空间的鲁棒实体。存在不同的三元组挖掘方法来选择最合适的训练三元组。这些挖掘方法中的一些依赖于实例之间的极端距离,而另一些则使用采样。然而,从数据的随机分布中采样而不是仅仅从现有的嵌入实例中采样可以提供更多的判别信息。在这项工作中,我们从分布的数据,而不是从现有的实例中采样三元组。我们考虑一个多元正态分布的嵌入每一类。使用贝叶斯更新和共轭先验,我们动态更新类的分布,通过接收新的小批量的训练数据。所提出的具有贝叶斯更新的三元组挖掘可以与任何基于三元组的损失函数一起使用,例如,三重损失或邻域分量分析(NCA)损失。因此,我们的三元组挖掘方法被称为贝叶斯更新三元组(BUT)和贝叶斯更新NCA(BUNCA),这取决于使用的损失函数。两个公共数据集,即MNIST和组织病理学结直肠癌(CRC)的实验结果,证实了所提出的三元组挖掘方法的有效性。
2020-10-13 cs.CV cs.LG eess.IV
Fast Parallel SAME Gibbs Sampling on General Discrete Bayesian Networks
University of California, Berkeley(加州大学伯克利分校)
在机器学习和相关领域中的基本任务是在贝叶斯网络上执行推理。由于精确推理通常需要指数时间,因此使用了各种近似方法。吉布斯抽样是最准确的方法之一,并提供无偏样本的后验,但它历来是太昂贵的大型模型。在本文中,我们提出了一个优化的,并行吉布斯采样增强状态复制(或状态增强边际估计),以减少收敛时间。我们发现,改进的参数估计的质量,同时加速收敛。合成和真实数据的实验表明,我们的吉布斯采样器是大大快于最先进的采样器,JAGS,而不牺牲精度。我们的最终目标是向许多领域的研究人员介绍吉布斯采样器,以扩大他们可行推理问题的范围。
2015-11-19 cs.LG stat.ML