Optimally-Weighted Herding is Bayesian Quadrature
羊群效应和核心羊群效应是选择概括概率分布的样本的确定性方法。一个相关的任务是选择样本估计积分使用贝叶斯求积。我们发现,在选择样本时,在内核羊群的标准最小化是等价的贝叶斯正交的后验方差。然后,我们表明,序贯贝叶斯正交可以被视为一个加权版本的内核放牧,实现性能优于任何其他加权放牧方法。我们证明经验的收敛速度快于O(1/N)。我们的研究结果也意味着贝叶斯正交估计的经验误差的上限。
2016-07-13 cs.LG stat.ML
Optimization, fast and slow: optimally switching between local and Bayesian optimization
Department of Engineering Science, University of Oxford(牛津大学工程科学系);Oxford-Man Institute of Quantitative Finance(牛津曼量化金融研究所)
我们开发了第一个贝叶斯优化算法,BLOSSOM,它选择多个替代的采集功能和传统的局部优化在每一步。这是结合了一个新的停止条件的基础上预期的遗憾。这种配对使我们能够获得局部优化和贝叶斯优化的最佳特性,有效地利用函数求值,同时在选择优化问题时获得全局最小值的卓越收敛,并且一旦满足原则性和直观的停止条件,就停止优化。
2018-05-22 cs.LG stat.ML
Learning optimal Bayesian prior probabilities from data
无信息一致先验是贝叶斯推理的主要内容,特别是在贝叶斯机器学习中。这项研究挑战的假设,他们是最佳的,他们在贝叶斯推理的使用产生最佳结果。我们提出了一种基于机器学习的替代方法,而不是使用任意的无信息的统一先验,通过最大化感兴趣的目标函数从数据中学习最佳先验。应用朴素贝叶斯文本分类方法和为此研究开发的搜索算法,我们的系统使用阳性预测值度量作为目标函数从数据中学习先验。任务是找到没有(但应该)被归类在某些维基百科类别下的维基百科条目。我们使用不同的维基百科类别进行了五组实验。虽然基线模型使用流行的贝叶斯-拉普拉斯先验,但研究模型在使用它们之前分别学习每组实验的最佳先验。结果显示,研究模型始终优于基线模型,具有广泛的统计学显著性(p < 0.001)。该研究模型在基线上的测量性能改善高达443%,在五个维基百科类别上的平均值为193%。
2021-01-03 cs.LG stat.ML
Convergence rate of Bayesian tensor estimator: Optimal rate without restricted strong convexity
Tokyo Institute of Technology(东京工业大学)
本文研究了贝叶斯低秩张量估计的统计收敛速度。我们的问题设置是回归问题,其中估计数据的张量结构。这种问题设置在许多实际应用中出现,例如协同过滤、多任务学习和时空数据分析。的收敛速度进行了分析,在样本内和样本外的预测精度。它示出了一个接近最优的速率实现没有任何强凸性的观察。此外,我们表明,该方法具有自适应的真实张量的未知秩,也就是说,接近最优的速度取决于真实的秩,即使它是不知道的先验。
2014-08-13 cs.LG stat.ML
Topological Bayesian Optimization with Persistence Diagrams
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
寻找黑盒函数的最佳参数对于寻找稳定的材料结构和寻找最佳神经网络结构是重要的,并且贝叶斯优化算法被广泛用于该目的。然而,现有的贝叶斯优化算法大多只能处理向量数据,不能处理复杂的结构化数据。在本文中,我们提出了拓扑贝叶斯优化,它可以有效地找到一个最佳的解决方案,从结构化数据使用\emph{topological information}。更具体地说,为了将贝叶斯优化应用于结构化数据,我们从结构中提取有用的拓扑信息,并测量结构之间的适当相似性。为此,我们利用持久同源性,这是一个拓扑数据分析方法,最近被应用在机器学习。此外,我们提出了贝叶斯优化算法,可以处理多种类型的拓扑信息,通过使用一个线性组合的内核持久图。通过实验,我们表明,拓扑信息提取的持久同源性有助于更有效地搜索最佳结构相比,随机搜索基线和图贝叶斯优化算法。
2019-02-26 cs.LG stat.ML
Active inference, Bayesian optimal design, and expected utility
Wellcome Centre for Human Neuroimaging, University College London(伦敦大学学院威康人类神经影像中心);Department of Mathematics, Imperial College London(伦敦帝国理工学院数学系)
主动推理是自由能原理的一个推论,是描述具有感知外观的某些随机动力系统行为的一种形式化方法。在这一章中,我们描述了主动推理如何结合贝叶斯决策理论和最优贝叶斯设计原则,在一个单一的命令,以最大限度地减少预期的自由能。正是主动推理的这一方面使得信息寻求行为自然出现。当从期望自由能中去除先前结果偏好时,主动推理简化为最优贝叶斯设计,即,信息增益最大化相反,在没有歧义和相对风险的情况下,主动推理简化为贝叶斯决策理论,即,期望效用最大化使用这些限制的情况下,我们说明了如何不同的行为时,代理选择的行动,优化预期的效用,预期的信息增益,和预期的自由能。我们的T型迷宫模拟表明,优化预期的自由能产生目标导向的信息寻求行为,而优化预期的效用诱导纯粹的剥削行为和最大限度地提高信息增益产生内在动机的行为。
2021-09-21 cs.AI cs.IT cs.LG
Bayesian Inference for Optimal Transport with Stochastic Cost
Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学)
在机器学习和计算机视觉中,最优传输在学习生成模型和定义结构化和随机数据对象之间的度量距离方面取得了重大成功,可以将其转换为概率度量。最佳传输的关键要素是所谓的提升\emph{exact}成本(距离)函数,定义在样本空间上,在样本空间上的概率测量之间的成本(距离)。然而,在许多实际应用中,成本是\emph{stochastic}:例如,不可预测的交通流量影响工厂和销售点之间的运输成本。要考虑到这种随机性,我们引入贝叶斯框架来推断由随机成本引起的最优运输计划分布,允许一个原则性的方法来包括先验信息和模型的诱导随机性的运输计划。此外,我们量身定制的HMC方法,从产生的运输计划后验分布的样本。
2020-10-19 cs.LG stat.ML
An Asymptotically Optimal Coordinate Descent Algorithm for Learning Bayesian Networks from Gaussian Models
Department of Industrial Engineering and Management Sciences Northwestern University(工业工程与管理科学系西北大学);Department of Biostatistics University of Washington(生物统计学系华盛顿大学);Department of Statistics University of Washington(统计学系华盛顿大学)
本文提出一种新的坐标下降算法来近似求解线性高斯模型下学习贝叶斯网络的$\ell_0$-惩罚极大似然估计器,证明了其渐近最优性和有限样本统计一致性,并在合成与真实数据上验证了近最优解和可扩展性。
2025-10-11 cs.LG stat.ML
Optimal simulation-based Bayesian decisions
Calda AI AB(Calda AI公司);Oskar Klein Centre for Cosmoparticle Physics, Stockholm University(斯德哥尔摩大学奥斯卡·克莱因宇宙粒子物理中心);William H. Miller III Department of Physics and Astronomy, Johns Hopkins University(约翰斯·霍普金斯大学威廉·H·米勒三世物理与天文学系);Center for Computational Astrophysics, Flatiron Institute(熨斗研究所计算天体物理中心);Sorbonne Université(索邦大学);Institut d’Astrophysique de Paris(巴黎天体物理研究所)
该框架通过替代模型和主动学习,在似然难以处理时高效计算最优贝叶斯决策,模拟效率比蒙特卡洛方法高100-1000倍。
2023-11-09 astro-ph.IM cs.AI cs.GT
Latent Optimal Paths by Gumbel Propagation for Variational Bayesian Dynamic Programming
Australian National University(澳大利亚国立大学)
本文提出基于Gumbel传播的贝叶斯动态规划(BDP),将最优路径问题概率软化,在VAE潜空间中捕获结构化稀疏路径,实现端到端生成训练,并应用于语音合成。
2024-06-25 cs.LG stat.ML
Training Neural Networks with Optimal Double-Bayesian Learning
Lister Hill National Center for Biomedical Communications, National Library of Medicine National Institutes of Health(利斯特希尔国家生物医学通讯中心、国家医学图书馆国家卫生研究院)
本文提出了一种新的概率框架,用于学习率这一关键参数,通过双贝叶斯决策机制改进随机梯度下降,从而推导出理论上最优的学习率,并在多种任务中验证其有效性。
2026-05-19 cs.AI cs.LG cs.NE
Robust Bayesian reinforcement learning through tight lower bounds
EPFL(洛桑联邦理工学院)
在贝叶斯序贯决策方法中,(主观)效用的精确计算是困难的。这扩展到大多数感兴趣的特殊情况,例如强化学习问题。虽然这个问题的效用边界是已知的,但到目前为止,没有一个是特别紧的。在本文中,我们将展示如何有效地计算一个下界,这对应于一个接近最优的无记忆政策的决策问题,这是一般不同的贝叶斯最优的政策和政策,这是最佳的预期MDP下的当前信念的效用。然后,我们将展示如何将这些应用于贝叶斯强化学习设置中获得强大的探索策略。
2011-11-11 cs.LG stat.ML
On the Consistency of Optimal Bayesian Feature Selection in the Presence of Correlations
The Ohio State University(俄亥俄州立大学)
最佳贝叶斯特征选择(OBFS)是一种多变量监督筛选方法,旨在从根本上发现生物标志物。在这项工作中,我们证明了高斯OBFS是强一致的温和的条件下,并提供关键后验的收敛速度的框架。这些结果是非常重要的,因为他们准确地确定了OBFS渐近选择的功能,表征不同类型的功能的后验的相对收敛速度,提供条件,保证收敛,证明使用OBFS时,其内部假设是无效的,并设置为理解基于OBFS框架的其他算法的渐近行为的阶段。
2020-02-01 cs.CV cs.LG stat.ML
Correcting Predictions for Approximate Bayesian Inference
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所 HIIT);University of Helsinki(赫尔辛基大学)
贝叶斯模型量化不确定性,并促进下游应用的最佳决策。然而,对于大多数模型,从业者被迫使用近似推理技术,由于不正确的后验预测分布,导致次优决策。我们提出了一种新的方法,通过改变决策过程来纠正后验推理的不准确性。我们训练一个单独的模型,使最佳决策下的近似后验,结合可解释的贝叶斯建模与优化的直接预测精度的原则性的方式。该解决方案是一般适用于作为一个插件模块的预测决策的任意概率程序,无论后验推理策略。我们证明了经验的方法在几个问题,确认其潜力。
2019-09-11 cs.LG stat.ML
Bayesian Optimal Active Search and Surveying
Carnegie Mellon University(卡内基梅隆大学);Uppsala Universitet(乌普萨拉大学)
我们考虑两个积极的二进制分类问题与非典型目标。在第一个主动搜索中,我们的目标是主动发现尽可能多的给定类的成员。在第二个主动调查中,我们的目标是主动查询点,以最终预测给定类的比例。许多现实世界中的问题都可以用这些术语来描述,在任何一种情况下,典型的基于模型的问题,如泛化误差都只是次要的。我们通过贝叶斯决策理论来解决这些问题,在选择自然效用函数后,我们得到最优策略。我们提供三项贡献。除了引入主动测量问题,我们扩展了以前的工作,主动搜索在两个方面。首先,我们证明了一个新的理论结果,少近视近似的最优策略可以优于任何程度的近视近似。然后,我们推导出的界限,对于某些模型,使我们能够减少(在实践中显着)的指数搜索空间所需的一个天真的实施的最佳政策,使进一步的前瞻,同时仍然确保最佳决策总是。
2012-06-27 cs.LG stat.ML
Bayesian Optimization with Output-Weighted Optimal Sampling
Massachusetts Institute of Technology(麻省理工学院)
在贝叶斯优化中,考虑输出相对于输入的重要性是一项至关重要但具有挑战性的工作,因为它可以大大改善最终结果,但通常涉及不准确和繁琐的熵估计。我们从重要性抽样理论的角度来处理这个问题,并主张使用似然比来引导搜索算法向输入空间的区域,其中要最小化的目标函数假设异常小的值。似然比作为一个抽样权重,可以在每次迭代计算,而不会严重恶化算法的整体效率。特别是,它可以近似的方式,使该方法在高维易于处理。在这项工作中引入的“似然加权”的采集功能被发现在许多应用中优于其未加权的同行。
2020-10-03 cs.LG stat.ML
Masked Bayesian Neural Networks : Computation and Optimality
本文提出一种新颖的稀疏贝叶斯神经网络,通过掩码变量实现节点级稀疏,并设计先验分布保证后验分布的理论最优性,在保持预测精度和不确定性量化能力的同时有效简化了复杂的DNN架构。
2023-05-23 cs.LG stat.ML
On a Multiplicative Algorithm for Computing Bayesian D-optimal Designs
我们使用最小化-最大化原理(Lange,Hunter和Yang 2000)来建立计算贝叶斯D-最优设计的乘法算法的单调性。这证明了Dette,Pepelyshev和Zhigljavsky(2008)的一个猜想。
2010-05-13 stat.CO stat.ME
High-dimensional near-optimal experiment design for drug discovery via Bayesian sparse sampling
Chalmers University of Technology(查尔姆斯理工大学);AstraZeneca AB(阿斯利康公司)
我们研究的问题进行自动化实验设计的药物筛选,通过贝叶斯推理和优化。特别是,我们比较和对比的线性高斯模型和高斯过程的行为,当与置信上限算法,汤普森采样,或有界水平树搜索。我们表明,非近视的复杂的探索技术,使用稀疏树搜索有一个明显的优势,如汤普森采样或置信上限在这种情况下的方法。我们证明了显着的优越性,该方法比现有的和合成的药物毒性数据集。
2021-04-23 cs.LG q-bio.QM stat.ML
Evaluating Anytime Algorithms for Learning Optimal Bayesian Networks
Helsinki Institute for Information Technology(赫尔辛基信息技术研究所);Queens College/City University of New York(皇后学院/纽约市立大学);University of Helsinki(赫尔辛基大学)
学习贝叶斯网络的精确算法保证找到可证明的最优网络。然而,由于时间或记忆有限,他们可能会在困难的学习任务中失败。在本研究中,我们采用了几个随时启发式搜索为基础的算法来学习贝叶斯网络。这些算法快速找到高质量的解决方案,并在资源耗尽之前不断改进现有解决方案或证明其最优性。实验结果表明,任何时间窗口A* 算法通常比其他方法更快地找到更高质量,通常是最优的网络。结果还表明,令人惊讶的是,虽然每个变量的父节点较少的生成网络在结构上更简单,但它们比每个变量的父节点较多的复杂生成网络更难学习。
2013-09-26 cs.AI
A Domain-Shrinking based Bayesian Optimization Algorithm with Order-Optimal Regret Performance
MediaTek Research(联发科研究);Cornell University(康奈尔大学)
考虑再生核Hilbert空间中未知函数的序列优化问题。我们提出了一个基于高斯过程的算法,并建立其顺序最优的遗憾性能(到一个多对数因子)。这是第一个基于GP的算法,具有顺序最优后悔保证。该算法是植根于域收缩的方法,通过一系列的基于树的区域修剪和细化集中查询越来越小的高性能区域的功能域实现。通过对最优函数值的迭代估计来局部化和引导对高性能区域的搜索,以确保学习效率和计算效率。与目前流行的GP-UCB算法族相比,该算法的计算复杂度降低了$O(T^{2d-1})$(其中$T$是时域,$d$是函数域的维数).
2021-10-29 cs.LG stat.ML
Random Exploration in Bayesian Optimization: Order-Optimal Regret and Computational Efficiency
School of Electrical & Computer Engineering, Cornell University(康奈尔大学电气与计算机工程学院);MediaTek Research, UK(联发科英国研究院)
该研究针对高斯过程贝叶斯优化问题,提出带定义域收缩的随机探索算法,证明其在有无噪声场景下均达阶最优后悔值,填补无噪声场景研究空白,且计算效率更优。
2024-02-02 cs.LG stat.ML
Bayesian $D$-optimal designs for error-in-variables models
贝叶斯最优性准则提供了一种鲁棒的设计策略,参数误设定。本文对协变量具有测量误差的非线性回归模型建立了贝叶斯$D$ -最优性的近似设计理论.极大似然和最小二乘估计的研究和明确的特征的贝叶斯$D$ -最优饱和设计的Michaelis-Menten,Emax和指数回归模型。对于不偏好特定参数值的情况,考虑了几个数据示例,其中使用均匀先验计算贝叶斯$D$最优饱和设计,并将其与其他几个设计进行比较,包括实践中经常使用的相应局部$D$最优设计。
2016-05-13 math.ST stat.ME stat.TH
A Unified Stochastic Gradient Approach to Designing Bayesian-Optimal Experiments
University of Oxford(牛津大学);Uber AI(优步人工智能实验室);University of Michigan(密歇根大学)
介绍了一种基于完全随机梯度的贝叶斯最优试验设计(BOED)方法.我们的方法利用变分的预期信息增益(EIG)的实验,可以同时优化的变分和设计参数的下限。这使得设计过程可以通过一个单一的统一的随机梯度上升过程进行,与现有的方法,通常构建一个逐点EIG估计,然后通过这个估计到一个单独的优化。我们提供了一些不同的变分目标,包括新的自适应对比估计(ACE)界。最后,我们表明,我们的基于梯度的方法能够提供有效的设计优化,在更高的维度设置比现有的方法。
2020-02-27 cs.LG stat.CO stat.ML
Optimal Bayesian Minimax Rates for Unconstrained Large Covariance Matrices
当样本量n和协方差阵的维数p均趋于无穷大时,得到了均值为零的多元正态样本的无约束大协方差阵的最优Bayes Minimax率.传统上用后验收敛速度来比较先验的频率论渐近性能,但用它来定义最优性是很难的。我们提出了一个新的决策理论框架的先验选择和定义贝叶斯极大极小率。在该框架下,我们得到了p的所有速率的谱范数的最优贝叶斯极大极小化率,同时考虑了Frobenius范数、Bregman散度和平方对数行列式损失,得到了p上一定速率条件下的最优贝叶斯极大极小化率,并进行了仿真研究以支持理论结果.
2017-11-30 math.ST stat.TH
Frequentist optimality of Bayesian wavelet shrinkage rules for Gaussian and non-Gaussian noise
本文研究了独立同分布非参数回归模型中各种贝叶斯小波收缩规则的理论性能。误差不一定是正态分布的。主要目的是比较各种贝叶斯模型在Sobolev和Besov空间中的频率论渐近最优性。我们建立了超参数之间的关系,验证了迄今为止研究的大多数贝叶斯模型都达到了理论最优,说明了哪些贝叶斯模型不能达到最优收敛速度,并解释了为什么会发生这种情况。
2006-07-01 math.ST stat.TH
Bayesian optimal control of GHZ states in Rydberg lattices
以稳健的方式制备非经典态的能力对于超出标准量子极限的量子传感器是必不可少的。我们证明了贝叶斯最优控制能够找到控制脉冲,驱动被困的里德伯原子进入高度纠缠的GHZ态。控制序列具有基于伊辛动力学的准可积性的物理直观的功能。它们可以在实验室实验中构建,从而使制备时间与系统尺寸非常有利地成比例。
2020-08-21 physics.atom-ph quant-ph stat.ML
Epidemiologically and Socio-economically Optimal Policies via Bayesian Optimization
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
大规模公共防疫,俗称封锁,是一种非药物干预,以控制疾病的传播。本文介绍了ESOP(流行病学和社会经济最优政策),主动机器学习技术的一种新的应用,使用贝叶斯优化,与流行病学模型相互作用,以达到锁定时间表,最佳平衡的公共健康利益和社会经济的不利因素减少经济活动在锁定期间。ESOP的效用证明了使用VIPER(病毒个人政策环境),本文还提出了一个基于随机代理的模拟器的案例研究。然而,员工持股计划是足够灵活的互动与任意流行病学模拟器在一个黑盒子的方式,并产生时间表,涉及多个阶段的锁定。
2020-06-15 cs.LG math.OC q-bio.PE
An Analytically Tractable Bayesian Approximation to Optimal Point Process Filtering
基于点过程观测的动态状态估计(滤波)过程一般是难以处理的。数值采样技术通常在实践中很有用,但导致对最佳编码/解码策略的概念性见解有限,这与计算神经科学具有重要意义。我们开发了一个易于分析的贝叶斯近似最佳过滤点过程的观察,这使我们能够引入分布假设的感觉细胞的属性,这大大方便了分析的最佳编码的情况下偏离共同的假设统一编码的基础上。分析框架导致的见解,这是很难从数值算法中获得的,是一致的调谐曲线中心的分布与实验。有趣的是,我们发现,从没有尖峰获得的信息可能是至关重要的性能。
2015-07-28 q-bio.NC stat.ML
Exact Structure Learning of Bayesian Networks by Optimal Path Extension
University at Buffalo(布法罗大学)
贝叶斯网络是大数据分析中经常使用的概率图模型。精确结构学习的问题是在一定的评分标准下找到一个最优的网络结构。已知该问题是NP难的,现有的方法都是计算和内存密集型的。在本文中,我们介绍了一种新的方法,精确的结构学习。我们的策略是利用部分网络结构和其余变量之间的关系来约束部分网络可以最佳扩展的方式的数量。通过实验结果,我们表明,该方法提供了高达三倍的改善,在运行时间,并在内存消耗的数量级减少了目前最好的算法。
2017-03-21 cs.AI
Multi-Step Bayesian Optimization for One-Dimensional Feasibility Determination
贝叶斯最优化方法分配有限的抽样预算,以最大限度地提高昂贵的评估功能。通常使用一步先行策略,但计算最佳多步先行策略仍然是一个挑战。我们考虑一个专门的贝叶斯最优化问题:寻找一个昂贵的一维函数的超水平集,与马尔可夫过程的先验。我们有效地计算了贝叶斯最优抽样策略,并描述了一步前瞻的次优性。我们的数值实验表明,一步前瞻政策是接近最佳的,在这个问题中,在98%的最佳实验设置考虑。
2016-07-11 cs.LG math.OC stat.CO
Bayesian optimal designs for dose-response curves with common parameters
在II期临床试验中,不仅要确定药物的适当剂量,还要确定药物的给药频率。这导致具有一些共同参数的模型的比较。规划这样的研究贝叶斯最优设计的基础上提供了鲁棒性,我们的结论,因为这些设计,不像局部最优设计,是有效的,即使参数是错误的。本文研究了具有公共参数的非线性回归模型的Bayesian $D$ -最优性的近似设计理论,并分别研究了公共位置或公共位置和尺度参数的情况。饱和贝叶斯$D$ -最优设计的解析特性推导出常用的剂量-反应模型和我们的结果的优势,通过数值研究说明。
2017-11-15 math.ST stat.ME stat.TH
Bayesian learning of the optimal action-value function in a Markov decision process
University of Cambridge(剑桥大学);University of Wollongong(伍伦贡大学)
本文针对无限时域无折扣MDP提出完整贝叶斯框架,通过基于贝尔曼最优性方程的最小假设似然、人工观测噪声松弛及自适应序贯蒙特卡洛算法实现最优动作价值函数学习与决策,并在Deep Sea基准上验证了后验采样的探索优势。
2025-05-03 cs.LG stat.CO stat.ML
Bayesian T-optimal discriminating designs
考虑了一类回归模型在Atkinson和Fedorov(1975 a)提出的T-最优性准则下的贝叶斯最优判别设计的构造问题。结果表明,离散化的积分相对于先验分布导致局部T-最优的歧视设计只能处理几个比较,但离散化的贝叶斯先验很容易产生歧视设计问题,超过100个竞争模型。为处理这类问题提供了一种新的有效方法。它结合了经典交换型算法和梯度法的一些特点。收敛性的证明,它表明,新的方法可以找到贝叶斯最优判别设计的情况下,所有目前可用的程序失败。
2014-12-08 stat.ME
Stochastic Optimal Control with Side Information and Bayesian Learning
Georgia Institute of Technology(佐治亚理工学院)
本文提出了一种基于参数密度模型和后验预测动力学的贝叶斯方法,用于解决具有未知上下文条件随机分布的无限时间 horizon 随机最优控制问题,并证明了后验一致性和渐近正态性。
2026-07-22 math.OC math.ST stat.TH
Optimally-Weighted Herding is Bayesian Quadrature
Cambridge University(剑桥大学)
本文证明核Herding的样本选择准则等价于贝叶斯求积的后验方差,并提出序贯贝叶斯求积作为加权Herding的改进版本,实现优于O(1/N)的收敛速度。
2016-07-15 cs.NA math.NA stat.ML
Tractable Fully Bayesian Inference via Convex Optimization and Optimal Transport Theory
我们考虑的问题,从一个连续的源分布的样本转换成另一个目标分布的样本。我们证明了与最优传输理论,当源分布可以很容易地采样和目标分布是对数凹的,这可以用凸优化tractably解决。我们表明,一个特殊的情况下,当源是先验和目标是后验,是贝叶斯推断。在这里,我们可以计算归一化常数并绘制后验i.i.d.。样品值得注意的是,我们的贝叶斯易于处理的标准是简单的对数先验和似然:易于计算的最大后验点估计相同的标准。通过模拟数据,我们展示了如何在模拟中获得贝叶斯风险。通过生理数据,我们证明了在重症监护室结局预测和基于脑电图的睡眠分期中点估计的改进。
2015-09-29 stat.ML
Continuous-in-time Limit for Bayesian Bandits
University of California-San Diego(加州大学圣地亚哥分校);Stanford University(斯坦福大学)
该研究针对贝叶斯老虎机最优策略计算难的问题,推导其重标度后收敛于连续HJB方程,基于显式解或数值法提出大时域下的近似贝叶斯最优策略,且计算成本不随时域增长。
2023-09-30 cs.LG cs.NA math.NA
Bayesian Optimality of In-Context Learning with Selective State Spaces
School of AI and Advanced Computing(人工智能与先进计算学院);Xi’an Jiaotong-Liverpool University(西安交通大学利物浦大学)
本文提出基于选择性状态空间的上下文学习的贝叶斯最优性,通过元学习潜在序列任务,证明其在高斯状态空间模型中实现最优预测,优于传统梯度下降方法。
2026-02-19 cs.CL cs.LG math.ST
On Bayesian index policies for sequential resource allocation
本文研究随机多臂强盗模型中最小化(频率主义)后悔的指数策略,其灵感来自于贝叶斯观点。我们的主要贡献是证明了贝叶斯UCB算法,它依赖于分位数的后验分布,是渐近最优的奖励分布属于一个一维指数族,一个大类的先验分布。我们还表明,贝叶斯文献提供了新的见解,什么样的探索率可以用于频率,UCB型算法。事实上,贝叶斯最优解或有限时域Gittins指数的近似值为kl-UCB+和kl-UCB-H+算法提供了理由,其渐近最优性也被建立。
2017-11-06 stat.ML
Optimal Posteriors for Chi-squared Divergence based PAC-Bayesian Bounds and Comparison with KL-divergence based Optimal Posteriors and Cross-Validation Procedure
我们调查最佳后验最近推出的\cite{begin2016pac}卡方发散PAC贝叶斯边界的性质,他们的分布,计算的可扩展性和测试集的性能。对于一个有限的分类器集,我们推导出三个距离函数的界限:KL-发散,线性和平方距离。最优后验权重与经验风险的偏差成比例,通常具有子集支持。对于均匀先验,在按这些风险排序的分类器子集上的后验中搜索就足够了。我们将线性距离的界最小化作为凸规划,并得到其最优后验的封闭形式的表达式。而平方距离问题在一定条件下是一个拟凸规划,KL-发散问题是一个非凸优化(一个凸函数的差)问题。为了计算这样的最佳后验,我们得到快速收敛的不动点(FP)方程。我们将这些方法应用于SVM正则化参数值的有限集,以产生具有紧边界的随机SVM。我们在各种UCI数据集上对我们的最佳后验和已知的基于KL发散的后验进行了全面的性能比较,这些数据集具有不同的风险值范围和方差等。基于卡方发散的后验具有较弱的边界和更差的测试误差,暗示了基于KL发散的后验的潜在正则化。我们的研究突出了发散函数对PAC-Bayesian分类器性能的影响。我们比较我们的随机分类器与基于交叉验证的确定性分类器。后者具有更好的测试误差,但我们的样本更稳健,具有可量化的泛化保证,并且计算速度更快。
2020-08-14 cs.LG math.ST stat.ML
Optimal sparse phase retrieval via a quasi-Bayesian approach
Norwegian Institute of Public Health(挪威公共卫生研究院)
针对需仅用变换幅度重建信号的稀疏相位恢复问题,提出新型稀疏准贝叶斯方法,以缩放Student分布为收缩先验,通过PAC-贝叶斯框架分析,实现极小极大最优收敛率,为噪声环境下的该问题提供有原则的替代方案。
2025-04-13 cs.LG math.ST stat.ME
Improving the Scalability of Optimal Bayesian Network Learning with External-Memory Frontier Breadth-First Branch and Bound Search
Mississippi State University(密西西比州立大学)
以前的工作表明,学习贝叶斯网络的最佳结构的问题可以用公式表示为图中的最短路径查找问题,并使用A* 搜索来解决。在本文中,我们提高了这种方法的可扩展性,通过开发一个内存有效的启发式搜索算法学习的贝叶斯网络的结构。而不是使用A*,我们提出了一个边界宽度优先的分支和边界搜索,利用这个问题的搜索图的分层结构,使不超过两层的图形,加上解决方案的重建信息,需要存储在内存中的时间。为了进一步提高可扩展性,该算法将大部分图存储在外部存储器中,例如硬盘,当它不适合RAM时。实验结果表明,所得到的算法解决了显着更大的问题比目前的最先进的。
2012-02-14 cs.AI
Optimal Robustness Results for Some Bayesian Procedures and the Relationship to Prior-Data Conflict
基于统计证据的措施的贝叶斯推理程序的先验的鲁棒性被认为是。这些推论被证明具有最佳性能的鲁棒性。此外,鲁棒性和先验数据冲突之间的联系建立。特别是,推理被证明是有效的鲁棒性时,先验的选择不会导致先验数据冲突。然而,当存在先验数据冲突时,鲁棒性可能无法保持。
2015-04-27 math.ST stat.TH
On the number of support points of maximin and Bayesian optimal designs
我们考虑非线性回归模型的极大极小和贝叶斯$D$ -最优设计。maximin准则要求为模型中的非线性参数指定一个区域,而贝叶斯最优性准则假设这些参数的先验是可用的。在区间参数空间上,许多作者根据经验观察到,先验信息(即,在最大最小准则中的参数空间的较大范围或在贝叶斯准则中的先验的较大方差)产生相应的最优设计的较大数目的支持点。在本文中,我们提出了分析工具,用于证明这一现象在具体情况下。所提出的方法可以用来解释许多经验观察到的结果在文献中。此外,它还解释了为什么最大最小$D$ -最优设计通常比贝叶斯$D$ -最优设计得到更多点的支持。
2007-08-14 math.ST stat.TH
A brief note on the Bayesian D-optimality criterion
本文针对有限维贝叶斯线性逆问题,简洁推导了D-最优实验设计(最大化期望信息增益)等价于最小化后验协方差对数行列式,并保持通用性以利扩展至无限维。
2023-12-23 math.ST stat.TH
Bayesian Optimal Phase II design with optimised stopping boundaries and response-adaptive randomisation
MRC Biostatistics Unit, University of Cambridge(剑桥大学医学研究委员会生物统计学单位);Population Health Sciences Institute, Newcastle University(纽卡斯尔大学人口健康科学研究所)
针对原始BOP2框架等比例随机化、等间隔期中分析的设置缺陷,本研究引入BRAR与最优期中分析节点,在几乎不损失检验效能的前提下优化受试者分配与样本量,提供实操建议并开放仿真代码。
2025-11-18 stat.AP
On Bayesian A- and D-optimal experimental designs in infinite dimensions
我们考虑无限维可分希尔伯特空间中的贝叶斯线性逆问题,高斯先验测度和加性高斯噪声模型,并提供了一个扩展的贝叶斯D-最优性的概念,无限维的情况下。为此,我们推导出从后验测度到先验测度的Kullback-Leibler发散的表达式的无限维版本,该表达式随后用于推导出预期信息增益的表达式。我们还研究了贝叶斯A-最优性的概念在无限维的设置,并延长众所周知的(在有限维的情况下)等价的贝叶斯风险的MAP估计与跟踪的后验协方差,高斯线性的情况下,无限维的希尔伯特空间的情况下。
2014-09-03 math.ST stat.TH
Bayesian Fractional Polynomials for Optimal Dosage Estimation with Fish Nutrition Applications
NMBU, Norway(挪威生命科学大学)
本文提出贝叶斯分数多项式框架,用于建模非线性剂量反应关系,通过贝叶斯模型平均实现模型不确定性量化和稳健预测,实验证明其在鱼营养实验数据中优于传统方法。
2026-05-07 stat.AP stat.ME
Estimating Bayesian Optimal Treatment Regimes for Dichotomous Outcomes using Observational Data
最佳治疗方案(OTR)是个体化治疗分配策略,在给定个体所有可用背景信息的情况下,将医学治疗确定为最佳。我们讨论贝叶斯最优治疗方案估计使用的损失函数定义的二元分布的二分潜在的结果。所提出的方法允许考虑OTR的比预期结果的最大化更一般的目标(例如,生存概率),例如考虑不必要的治疗负担。作为一个激励性的例子,我们考虑口咽癌治疗的情况下,由于化疗不必要的负担是要避免,同时最大限度地提高生存机会。假设可验证的治疗分配,我们描述了关于OTR的贝叶斯推断,包括对潜在结局未观察到的部分相关性的敏感性分析。我们评估的方法,应用贝叶斯参数和更灵活的非参数结果模型的模拟。拟议的口咽癌OTR将更繁重的化疗分配频率降低了约75%,而不会降低平均生存概率。因此,该方案大大提高了患者的预期生活质量。
2018-09-28 stat.ME stat.ML
Efficient computation of Bayesian optimal discriminating designs
一个有效的算法确定竞争回归模型的贝叶斯最优判别设计的开发,其中的主要重点是模型的一般分布假设超出了“经典”的情况下,正态分布的同方差误差。为此,我们考虑López-Fidalgo等人(2007)引入的Kullback-Leibler(KL)最优性准则的贝叶斯版本。离散化的先验分布导致当地的KL-最优鉴别设计问题的大量竞争模型。现有的方法要么计算量大,要么不能计算出最优判别设计,因为它们只能有效地处理少量的模型比较。在本文中,我们开发了一个新的算法来确定贝叶斯最优判别设计的Kullback-Leibler准则。它表明,新算法是能够计算出最佳的鉴别设计与合理的精度和计算时间的情况下,所有目前可用的程序是缓慢或失败。
2015-08-02 stat.CO
Bayesian Joint Chance Constrained Optimization: Approximations and Statistical Consistency
Texas A& M University(得克萨斯农工大学);Purdue University(普渡大学)
本文研究贝叶斯框架下机会约束随机优化问题,证明使用近似后验分布所得最优值具有频率学派统计一致性并给出概率收敛速率,同时证明问题的凸可行性,并在M/M/c排队模型上验证了方法有效性。
2022-10-01 cs.LG math.OC math.ST
A simple approach for finding the globally optimal Bayesian network structure
我们研究的问题,学习最好的贝叶斯网络结构相对于一个可分解的分数,如BDe,BIC或AIC。这个问题是NP难的,这意味着随着变量数量的增加,解决它很快变得不可行。然而,在本文中,我们表明,有可能学习最好的贝叶斯网络结构超过30个变量,其中包括许多实际有趣的情况。我们的算法是不那么复杂,更有效的比前面提出的技术。它可以很容易地并行化,并提供了一种可能性,有效地探索最好的网络与不同的变量排序一致。在本文的实验部分,我们比较了该算法的性能,以前的国家的最先进的算法。免费的源代码和在线演示可以在http://b-course.hiit.fi/bene上找到。
2012-06-27 cs.AI
Optimal Bayesian clustering using non-negative matrix factorization
基于贝叶斯模型的聚类是一种广泛应用的发现数据集中相关观测组的过程。这些方法使用贝叶斯混合模型,用MCMC估计,提供模型参数和聚类分区的后验样本。虽然对模型参数的推断已经很好地建立,但对聚类分区的推断还不太发达。提出了一种基于贝叶斯聚类模型的两两后验相似矩阵估计最优划分的新方法。这种方法使用非负矩阵分解(NMF)提供一个低秩近似的相似性矩阵。因子分解允许硬或软分区,并表现出更好的性能比几个流行的替代品下的各种惩罚函数。
2018-09-20 stat.ME