The Kalai-Smorodinski solution for many-objective Bayesian optimization
在多目标贝叶斯优化的研究正在进行的目标是将其适用性扩展到大量的目标。在应对有限的评价预算时,恢复一套最佳折衷解决方案通常需要进行大量观察,而且不太容易解释,因为这套解决方案往往随着目标的增加而增加。因此,我们建议专注于一个特定的解决方案源自对策论,Kalai-Smorodinsky解决方案,它具有吸引力的属性。特别是,它确保所有目标的边际收益相等。我们进一步使它不敏感的单调变换的目标,考虑Copula空间中的目标。提出了一种新的定制算法搜索的解决方案,在贝叶斯优化算法的形式:序贯抽样决定的基础上,从工具高斯过程之前获得的采集功能。我们的方法是测试四个问题,分别有四个,六个,八个和九个目标。该方法可在CRAN的Rpackage GPGame中获得,网址为https://cran.r-project.org/package=GPGame。
2019-10-03 math.OC stat.ML
Bayesian Search for Robust Optima
The University of Exeter(埃克塞特大学);Swansea University(斯旺西大学)
许多昂贵的黑盒优化问题对它们的输入很敏感。在这些问题中,找到一个好的设计区域比找到一个可能脆弱的最优设计更有意义。昂贵的黑盒函数可以使用贝叶斯优化进行有效优化,其中高斯过程是一种流行的选择,作为昂贵函数的先验。我们提出了一种使用贝叶斯优化的鲁棒优化方法,以找到一个区域的设计空间中,昂贵的功能的性能是相对不敏感的输入,同时保持良好的质量。这是通过从高斯过程中采样实现来实现的,高斯过程对昂贵的函数进行建模,并评估每个实现的改进。这些改进的期望可以用进化算法来廉价地优化,以确定评估昂贵函数的下一个位置。我们描述了一个有效的过程,以找到最佳的预期改善。我们的经验表明,评估昂贵的功能在候选人的不确定性区域的模型是最不确定的,或在随机的位置,产生最佳的收敛性相比,剥削计划。我们说明了我们的方法在两个,五个和十个维度的六个测试功能,并证明它是能够超越两个国家的最先进的方法从文献中。我们还展示了我们的方法一个两个现实世界中的问题,在4和8维,其中包括训练机器人手臂,以推动物体到目标。
2021-12-15 cs.LG stat.ML
Robust Bayesian Reliability for Complex Systems under Prior-Data Conflict
在可靠性工程中,有关故障事件的数据往往是稀缺的。为了对系统的可靠性进行有意义的估计,通常还需要在分析中包括专家信息,这在贝叶斯方法中是直接的,通过使用信息先验分布。一个被称为先验数据冲突的问题可能会出现:从先验的角度来看,观察到的数据似乎非常令人惊讶,即,数据中的信息与先前的假设相冲突。基于共轭先验的模型可能对先验数据冲突不敏感,因为在这种冲突的情况下,后验分布的分布不会增加,从而传达了错误的确定性。本文提出了一种解决这一问题的方法,即利用先验分布对威布尔分布元件寿命的有限知识进行建模,并利用生存特征对任意布局的系统进行处理。这种方法可以被看作是一个强大的贝叶斯过程或不精确的概率方法,反映了令人惊讶的早期或晚期组件故障更广泛的系统可靠性界限。
2016-10-23 stat.ME
Oil and Gas Reservoirs Parameters Analysis Using Mixed Learning of Bayesian Networks
ITMO University(伊特莫大学);Gazpromneft-GEO;Gazpromneft Science and Technology Center(Gazpromneft科技中心)
本文提出了一种基于贝叶斯的油气藏开发数据分析、因果推断和预测的多用途方法。这允许分析储层的参数,发现参数之间的依赖关系(包括因果关系),检查异常,预测缺失参数的预期值,寻找最接近的类似物等等。该方法基于贝叶斯网络结构学习的扩展算法MixLearn@BN。MixLearn@BN的主要思想如下:(1)在同构数据子集上学习网络结构,(2)由专家分配一部分结构,(3)在混合数据(离散和连续)上学习分布参数。同质数据子集被识别为具有相似特征(类似物)的储层的各个组,其中相似性度量可以基于几种类型的距离。所描述的贝叶斯网络学习技术的目的是提高这种网络上的预测和因果推断的质量。实验结果表明,该方法在缺失值预测和异常检测准确率方面具有明显的优势。此外,该方法被应用于全球1000多个油藏的数据库,并允许发现地质参数关系的新见解。
2021-03-02 cs.LG stat.ML
Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces
Imperial College London(帝国理工学院);BASF SE(巴斯夫股份公司);Cooperative State University(合作州立大学)
树集成非常适合黑盒优化任务,如算法调优和神经架构搜索,因为它们在很少或没有手动调优的情况下实现了良好的预测性能,自然地处理离散特征空间,并且对训练数据中的离群值相对不敏感。使用树集成进行黑盒优化的两个众所周知的挑战是(i)有效地量化用于探索的模型不确定性和(ii)优化分段常数获取函数。为了同时解决这两点,我们建议使用内核解释的树集成作为一个高斯过程之前,获得模型方差估计,我们开发了一个兼容的优化配方的采集功能。后者进一步允许我们无缝地集成已知的约束,以通过考虑工程设置中的领域知识和对搜索空间对称性建模来提高抽样效率,例如,神经结构搜索中的层次关系。我们的框架执行以及国家的最先进的方法,无约束的黑盒优化连续/离散的功能,并优于竞争的方法相结合的混合变量特征空间和已知的输入约束的问题。
2022-12-31 cs.AI cs.LG math.OC
Effectiveness of sparse Bayesian algorithm for MVAR coefficient estimation in MEG/EEG source-space causality analysis
Tokyo Metropolitan University(东京都立大学);Golden Metallic Inc.(金色金属公司);University of California, San Francisco(旧金山加利福尼亚大学)
本文通过计算机实验评估稀疏贝叶斯算法在强背景干扰下估计多元自回归系数的有效性,发现其虽对干扰不敏感但会降低真实因果关系的可检测性。
2012-11-14 cs.NA math.NA stat.AP
Projecting Flood-Inducing Precipitation with a Bayesian Analogue Model
降雨的时空相关性对洪泛灾害的危害有很大影响。当极端降水具有较强的空间依赖性时,由于地形等引起径流累积的集水因素,洪水的风险被放大。时间依赖性也会增加洪水风险,因为暴雨排水系统的运行能力可能会被连续多日的强降水所淹没。虽然转换高斯过程是模拟降水的常见选择,但其弱尾相关性可能导致低估洪水风险。极值模型,如广义帕累托过程的阈值方差和最大稳定模型是有吸引力的替代品,但很难适合当观测站点的数量很大,并用于建模的大部分分布,这也可能是感兴趣的水管理规划者。虽然大气动力学降水是复杂的,很难完全纳入一个吝啬的统计模型,非机械模拟方法,近似这些动态已被证明是有前途的方法来捕捉降水的时间依赖性。在本文中,我们提出了一个贝叶斯模拟方法,利用大,天气尺度的大气模式,使降水预报。在不同的强度变化的空间依赖性建模为一个混合的空间Student-t过程,可以容纳强和弱的尾部依赖。该模型在捕捉社区大气模型(CAM)5.2预测的极端降水分布方面表现出更好的性能。
2019-11-14 stat.AP
Bayesian Regularization for Functional Graphical Models with Applications to Neuroimaging
图模型用于表达在不同节点上观察到的随机变量之间的条件依赖关系,广泛应用于遗传学、神经科学和社会网络分析等许多领域。虽然目前大多数用于估计图形模型的统计方法都集中在标量数据上,但当在每个节点处观察到的数据是功能性的(例如信号或图像)时,人们对估计类似的依赖结构感兴趣。在本文中,我们提出了一个完全贝叶斯正则化计划估计功能图模型。我们首先考虑乔等人提出的函数图形套索的直接贝叶斯模拟。(2019)。然后,我们提出了一个正则化策略,通过图形马蹄铁。我们通过模拟研究比较这些方法,并将我们提出的功能图形马蹄铁应用于两个激励应用程序,用于比较酒精组和对照组之间的脑激活的脑电图数据,以及在创伤性脑损伤(TBI)存在下结构连接的变化。我们的研究结果让我们深入了解了大脑在受伤后如何试图补偿断开的网络。
2022-10-21 stat.AP stat.ME stat.ML
Covariance-Controlled Adaptive Langevin Thermostat for Large-Scale Bayesian Sampling
University of Edinburgh(爱丁堡大学)
贝叶斯后验推理的蒙特卡罗抽样是机器学习中常用的方法。所使用的马尔可夫链蒙特卡罗程序通常是相关随机微分方程(SDEs)的离散时间模拟。这些随机微分方程保证所需的后验分布不变。当前研究的一个领域是在这种情况下随机梯度方法的计算优势。现有技术依赖于估计子采样误差的方差或协方差,并且通常假设方差恒定。在这篇文章中,我们提出了一个协方差控制的自适应Langevin恒温器,可以有效地消散参数相关的噪声,同时保持所需的目标分布。所提出的方法实现了大规模机器学习应用程序的流行的替代方案的大幅加速。
2020-02-12 cs.LG stat.ML
Bayesian modelling of time-varying conditional heteroscedasticity
条件异方差(CH)模型通常用于分析金融数据集。经典的模型,如ARCH-GARCH与时不变系数往往不足以描述随着时间的推移,由于市场的变化频繁的变化。然而,我们可以通过考虑这些模型的时变类似物来获得更好的洞察力。在本文中,我们提出了一种贝叶斯方法来估计这样的模型,并开发计算效率MCMC算法的基础上汉密尔顿蒙特卡洛(HMC)采样。我们还建立了后验收缩率与增加样本量的平均Hellinger度量。我们的方法的性能进行了比较与频率估计和估计的时间常数的类似物。最后,我们获得了一些流行的外汇(货币兑换率)和股票市场数据集的时变参数估计。
2021-03-08 econ.EM math.ST stat.TH
Expressive Priors in Bayesian Neural Networks: Kernel Combinations and Periodic Functions
University of Queensland(昆士兰大学);University of Cambridge(剑桥大学)
在高斯过程(GP)模型中创建表达先验的简单、灵活的方法从基本内核的组合中产生新内核,例如,对周期性和线性内核求和可以捕获具有长期趋势的季节变化。尽管GP和贝叶斯神经网络(BNN)之间的联系已经得到了很好的研究,但BNN类似物尚未被探索。本文推导出BNN架构镜像这样的内核组合。此外,它还展示了BNN如何生成周期性内核,这在这种情况下通常很有用。这些想法提供了一个原则性的方法来设计BNN,将先验知识的功能。我们通过在监督和强化学习环境中的说明性实验展示了这些想法的实用价值。
2019-06-28 cs.LG stat.ML
Preference-Aware Constrained Multi-Objective Bayesian Optimization
Washington State University(华盛顿州立大学)
本文讨论了当输入空间的大部分是不可行的(即,违反约束)。这一问题在包括模拟电路和电力系统设计在内的许多工程设计问题中都存在。我们的总体目标是在一小部分可行的输入设计上近似最优Pareto集。关键的挑战包括设计空间的巨大规模,多个目标和大量的约束条件,以及一小部分可行的输入设计,只能在执行昂贵的模拟后才能确定。我们提出了一种新的和有效的偏好感知约束多目标贝叶斯优化方法称为PAC-MOO来解决这些挑战。其关键思想是学习输出目标和约束的代理模型,并在每次迭代中选择候选输入进行评估,以最大限度地提高所获得的关于最优约束Pareto前沿的信息,同时考虑对目标的偏好。我们对两个真实世界的模拟电路设计优化问题的实验证明了PAC-MOO的有效性。
2023-03-23 cs.AI cs.LG math.OC
Using Mixed-Effects Models to Learn Bayesian Networks from Related Data Sets
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达勒莫勒人工智能研究所(IDSIA));Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
在学习贝叶斯网络的结构时,我们通常假设数据是一组同质的观测。然而,这些数据往往包括相关但不同质的不同数据集,因为它们是以不同方式收集的,或来自不同的人群。在我们之前的工作中(Azzimonti,Corani和Scutari,2021),我们提出了离散数据的封闭形式贝叶斯分层Dirichlet得分,该得分将相关数据集的信息汇集在一起,以学习单个包含的网络结构,同时考虑到其概率结构的差异。在本文中,我们提供了一个类似的解决方案,使用混合效应模型从连续数据中学习贝叶斯网络,以汇集相关数据集的信息。我们研究了它的结构,参数,预测和分类精度,我们表明,它优于条件高斯贝叶斯网络(不执行任何池)和经典高斯贝叶斯网络(忽略数据的异质性)。对于低样本量和不平衡的数据集,这种改善是显著的。
2022-08-04 cs.LG stat.ML
Efficient Aerosol Retrieval for Multi-angle Imaging SpectroRadiometer (MISR): A Bayesian Approach
针对多角度成像光谱辐射计(MISR)气溶胶光学厚度(AOD)反演算法的研究现状,提出了一种分层贝叶斯模型。然而,在他们的工作中使用的推理算法是马尔可夫链蒙特卡罗(MCMC),据报道,这是令人望而却步的缓慢。MCMC的速度差,大大限制了生产的可行性贝叶斯框架,如果大规模(如全球范围内)的气溶胶检索是理想的。在本文中,我们提出了一种替代的优化方法,以减轻速度问题。特别是,我们采用最大化后验概率(MAP)方法,并应用无梯度的“爬山”算法:坐标随机搜索。我们的方法比MCMC快得多(约100倍),更容易收敛,对超参数不敏感。为了进一步扩展我们的方法,我们使用Apache Spark并行化了我们的方法,它实现了CPU核心数量高达16的线性加速。由于这些努力,我们能够检索AOD在更精细的分辨率(1.1公里)与一小部分的时间消耗相比,现有的方法。在我们的研究中,我们发现,在低AOD水平,贝叶斯网络往往会产生高估的检索。我们还发现,高吸收气溶胶类型的检索在同一时间。这可能是由气溶胶类型的狄利克雷先验引起的,因为它表明在实践中鼓励选择吸收类型。将Dirichlet变换为均匀分布后,反演的气溶胶光学厚度与地面观测值在各层均表现出良好的一致性。
2017-08-06 stat.AP
A PAC-Bayesian approach to generalization for quantum models
Department of Physical Chemistry, University of the Basque Country UPV/EHU(巴斯克大学化学系);EHU Quantum Center, University of the Basque Country UPV/EHU(巴斯克大学量子中心);TECNALIA, Basque Research and Technology Alliance (BRTA)(TECNALIA巴斯克研究与技术联盟);Department of Computer Science, University of Warwick, UK(沃里克大学计算机科学系);Dahlem Center for Complex Quantum Systems, Freie Universität Berlin(柏林自由大学复杂量子系统中心);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
本文提出首个量子模型的PAC-Bayesian泛化界,通过分析分层电路中的通用量子通道,建立依赖于学习参数矩阵范数的非均匀界,并通过数值实验验证理论框架。
2026-03-24 cond-mat.quant-gas cs.LG quant-ph
Tree Exploration for Bayesian RL Exploration
EPFL(洛桑联邦理工学院)
强化学习的研究已经产生了两种主要类型的不确定性下的最优决策算法。第一种方法采用贝叶斯框架,最优性随着计算时间的增加而提高。这是因为所得到的规划任务采用具有无限数量的状态的信念树上的动态规划问题的形式。第二种类型采用相对简单的算法,这被证明是遭受小遗憾的分布自由的框架内。本文给出了贝叶斯信念树中节点的最优值函数的一个下界和一个高概率上界,它们类似于POMDPs中的类似界。然后使用边界来创建更有效的策略来探索树。所得到的算法进行比较与分布免费算法UCB 1,以及一个更简单的基线算法多臂强盗问题。
2011-09-21 cs.LG stat.ML
Discriminative Bayesian filtering lends momentum to the stochastic Newton method for minimizing log-convex functions
University of Cambridge(剑桥大学)
该研究将最小化对数凸函数平均值的随机牛顿优化问题转化为判别式观测的潜状态空间序列贝叶斯推断问题,提出结合梯度与海森矩阵历史的贝叶斯滤波优化算法,推导了类重球动量的旧观测衰减条件,并辅以示例阐释。
2023-08-21 cs.LG math.OC stat.ML
Bayesian filtering for multi-object systems with independently generated observations
研究了多目标系统贝叶斯滤波的一般方法,特别强调了每个对象独立于其他对象生成观测值的模型。该方法是基于变分应用到生成泛函,使用的一般版本的Faa迪布鲁诺的公式的Gateaux微分。这一结果使我们能够在应用多目标模拟贝叶斯规则后确定更新生成泛函的一些一般公式。
2012-02-05 stat.ME
Bayesian Bootstraps for Massive Data
在这篇文章中,我们提出了数据子集算法,允许近似和可扩展的实现贝叶斯引导。它们类似于频率论文献中的两个现有算法:小引导包(Kleiner et al.,2014)和二次抽样双自举(SDB; Sengupta et al.,2016)。我们的算法有吸引力的理论和计算性能,是他们的频率论同行。此外,我们提供了一种策略,用于执行无损推理的一类泛函的贝叶斯引导,并简要介绍了扩展的狄利克雷过程。
2019-03-22 stat.CO
Frequentist tests for Bayesian models
频率主义卡方和F检验的类比提出了贝叶斯模型的拟合优度和一致性测试。简单的例子展示了当第一个实验为第二个实验提供先验时,这些测试检测具有相同参数的连续实验之间的不一致性。在相关分析中,导出了一个定量测度,用于判断具有部分重叠参数向量的两个不同实验之间的张力程度。
2016-02-03 astro-ph.IM physics.data-an stat.ME
Using Statistical Mechanics to Improve Real-World Bayesian Inference: A New Method Combining Tempered Posteriors and Wang-Landau Sampling
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出一种简单方法,通过统计力学语言重新表述贝叶斯定理,结合温后验和王-兰道采样,提升贝叶斯推断质量,应用于材料科学中的方程状态建模问题。
2026-04-26 physics.comp-ph physics.data-an stat.CO
Generalized Variational Inference in Function Spaces: Gaussian Measures meet Bayesian Deep Learning
University of Oxford(牛津大学);Amazon(亚马逊)
我们开发了一个框架,广义变分推断在无限维函数空间,并使用它来构建一个方法称为高斯Wasserstein推理(GWI)。GWI利用平方可积函数的希尔伯特空间上的高斯测度之间的瓦瑟斯坦距离,以便使用易于处理的优化标准来确定变分后验,并避免标准变分函数空间推断中出现的病态。GWI的一个令人兴奋的应用是能够在GWI的变分参数化中使用深度神经网络,将其卓越的预测性能与类似于高斯过程的原则性不确定性量化相结合。所提出的方法在几个基准数据集上获得了最先进的性能。
2022-10-16 cs.LG stat.CO stat.ME
A Flexible Bayesian Clustering of Dynamic Subpopulations in Neural Spiking Activity
随着神经记录技术的进步,神经科学家现在能够同时记录数百个神经元的尖峰活动,需要新的统计方法来了解这种大规模神经元群体活动的结构。虽然以前的工作试图通过提取低维潜在因子来总结已知群体内和群体之间的神经活动,但在许多情况下,确定独特群体的因素可能尚不清楚。神经元在它们的解剖位置上不同,而且在它们的细胞类型和反应特性上也不同。为了识别与神经活动直接相关的种群,我们提出了一种基于混合动态泊松因子分析器(mixDPFA)模型的聚类方法,将聚类数和每个聚类的潜在因子维数作为未知参数。为了分析建议的mixDPFA模型,我们提出了一个马尔可夫链蒙特卡罗(MCMC)算法,有效地采样其后验分布。通过仿真实验验证了MCMC算法的有效性,该算法能够准确地恢复模型中的未知参数和真实聚类,并且对初始聚类分配不敏感。然后,我们将所提出的mixDPFA模型应用于多区域实验记录,在那里我们发现,所提出的方法可以根据它们的活动来识别新的,可靠的神经元簇,因此,可能是神经数据分析的有用工具。
2023-03-02 q-bio.NC stat.AP
The Bayesian Echo Chamber: Modeling Social Influence via Linguistic Accommodation
Duke University(杜克大学);UCL(伦敦大学学院);Microsoft Research(微软研究院)
我们提出了贝叶斯回声室,一个新的贝叶斯生成模型的社会互动数据。该模型通过对人们语言使用随时间的演变进行建模,发现它们之间潜在的影响关系。与以前的工作推断的影响,这主要集中在简单的时间动态证明通过话轮转换行为,我们的模型捕捉到更微妙的影响关系,证明通过语言的适应模式的互动内容。该模型是基于离散模拟的多变量霍克斯过程,允许一个完全的贝叶斯推断算法。我们验证了我们的模型的能力,发现潜在的影响模式,使用美国最高法院和电影“12愤怒的人”听到的辩论成绩单。“我们展示了我们的模型的能力,通过使用它来推断联邦公开市场委员会会议记录的潜在影响模式,展示了在小组讨论中发现社会动态的最先进性能。
2015-01-27 cs.CL cs.LG cs.SI
A Quantum Bayes' Rule and Related Inference
在这项工作中,量子模拟的贝叶斯推断被认为是。基于仪器的概念,我们提出了一个量子模拟贝叶斯规则,阐述了如何在观察下更新的先验正常状态。此外,我们还研究了当观测数趋于无穷大时后验正态的极限。然后,根据量子贝叶斯规则,推广了贝叶斯推断的基本概念和结果。我们的理论不仅保留了经典理论的特例,而且具有许多新的特点。
2023-01-09 math.ST quant-ph stat.TH
PAC-Bayesian Inequalities for Martingales
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University College London(伦敦大学学院);Université Laval(拉瓦尔大学);Università degli Studi di Milano(米兰大学);Montanuniversität Leoben(莱奥本矿业大学)
我们提出了一组高概率不等式,控制多个(可能不可数)同时发展和相互依赖的鞅的加权平均值的浓度。我们的研究结果扩展了学习理论中的PAC贝叶斯分析从i.i.d.设置为鞅,为它在重要性加权采样、强化学习和其他交互式学习领域以及概率论和统计中遇到鞅的许多其他领域的应用开辟了道路。我们还提出了一个比较不等式,该不等式将鞅差序列的凸函数的期望限定在由独立Bernoulli变量的同一函数的期望所限定的[0,1]区间上.这个不等式被应用于导出Hoeffding-Azuma不等式的一个更严格的模拟。
2012-07-30 cs.IT cs.LG math.IT
Thermodynamic assessment of probability distribution divergencies and Bayesian model comparison
在路径抽样的框架下,我们表明,概率分布的分歧,如的Bulloff信息,可以通过热力学积分估计。玻尔兹曼-吉布斯分布属于不同的哈密顿实现,以获得沿路径的回火过渡,连接在端点处的感兴趣的分布。在这个角度下,几何方法是可行的,它提示直觉,并有利于调整误差源。此外,还有贝叶斯模型评估的直接应用。现有的边际似然和贝叶斯因子估计在这里审查随着他们的垫脚石抽样类似物。提出了新的估计量,并介绍了使用复合路径。
2013-10-17 stat.ME
Bayesian Multiplicity Correction in the Probabilistic Forward Stepwise Framework
Department of Mathematics and Statistics, Portland State University(波特兰州立大学数学与统计系)
本文在回归问题的概率前向逐步模型空间先验表示中,提出一种自然的贝叶斯多重校正先验分布,通过类比Holm过程实现,并与Matryoshka doll先验行为一致,论证了多重校正为回归模型空间先验设定提供了原则性且透明的标准。
2026-05-27 math.ST stat.ME stat.ML
A note on the geometry of the MAP partition in Conjugate Exponential Bayesian Mixture Models
本文研究了贝叶斯混合模型中最大后验概率(MAP)划分的几何性质,其中成分分布和基分布都是从共轭指数族中选取的。我们证明,在这种情况下,集群分离的轮廓线的线性泛函的充分统计量。作为一个特定的例子,我们描述了贝叶斯混合正态分布与正态-逆-Wishart之前的组件的平均值和协方差,其中集群在任何MAP分区分离的二次曲面。结合Rajkowski(2018)的结果,其中证明了具有固定分量协方差阵的贝叶斯混合模型中聚类的线性可分性,它给出了Fisher判别分析(LDA和QDA)几何特性的很好的贝叶斯模拟。
2019-06-24 math.ST stat.TH
Hierarchical Bayesian Bradley-Terry for Applications in Major League Baseball
在统计推断中面临的一个常见问题是从配对比较中得出结论,其中两个对象竞争,其中一个被宣布为胜利者。布拉德利-特里模型(Bradley-Terry model)是一种解决这类问题的概率方法,由策梅洛于1929年首次研究,布拉德利和特里于1952年重新发现。这种模型的一个明显的应用领域是体育赛事,特别是美国职业棒球大联盟。考虑到这一点,我们描述了一个分层贝叶斯版本的布拉德利-特里适合用于排名和预测问题,并比较结果从这些应用领域的标准极大似然方法。我们的贝叶斯方法优于基于MLE的类似物,同时易于构建,实现和解释。
2017-12-16 stat.AP
Bayesian Mosaic: Parallelizable Composite Posterior
本文提出了贝叶斯镶嵌,一个可并行化的复合后验,可扩展的贝叶斯推断上的一个广泛的多元离散数据模型。采样是并行的,因为贝叶斯镶嵌是可以独立采样的分量后验的乘积。类似于复合似然方法,这些成分后验是基于单变量或双变量的边缘密度。利用这些密度的得分函数是无偏的这一事实,我们证明了贝叶斯镶嵌是一致的,在温和的条件下渐近正态。由于单变量或双变量边缘密度的评估可以依赖于数值积分,贝叶斯镶嵌的采样绕过传统的数据增强马尔可夫链蒙特卡罗(DA-MCMC)方法,该方法在数据不平衡时具有可证明的慢混合速率。此外,我们表明,从贝叶斯马赛克采样具有更好的可扩展性大样本量比DA-MCMC。该方法通过模拟研究和应用程序的引用计数数据集进行评估。
2018-04-01 stat.ME
Bayesian Tensor Network with Polynomial Complexity for Probabilistic Machine Learning
Capital Normal University(首都师范大学)
众所周知,描述或计算多个事件的条件概率是指数级昂贵的。在这项工作中,贝叶斯张量网络(BTN)提出了有效地捕捉多个事件的多项式复杂性的条件概率。BTN是形成TN的子集的有向非循环图模型。为了证明其有效性指数多事件,BTN实现的图像识别,其中的分类映射到捕捉条件概率在指数大的样本空间。具有简单的树形网络结构的BTN实现了具有竞争力的性能。类似于量子系统的张量网络模拟,简单树BTN的有效性意味着图像识别问题中波动的“面积定律”。
2020-01-07 cond-mat.str-el cs.LG math.ST
Bayesian Analysis of Spatial Generalized Linear Mixed Models with Laplace Random Fields
高斯随机场(GRF)模型在空间统计学中被广泛用于捕获空间相关误差。研究了空间广义线性混合模型中用拉普拉斯移动平均代替高斯过程的结果。我们证明,LMAs提供更好的预测能力时,数据表现出本地化的尖峰响应。与LMA的SGLCLUNK保持类似的参数推断和类似的计算高斯SGLCLUNK。我们提出了一种新的离散空间LMA模型的不规则格和构造共轭采样器的LMA与地理参考和面积的支持。我们提供了一个贝叶斯分析的SGLsites与LMA和GRF在多个数据支持和响应类型。
2019-07-25 stat.AP stat.CO
Bayesian Evidence and Model Selection
在本文中,我们回顾了贝叶斯证据和贝叶斯因子的概念,也被称为对数优势比,以及它们在模型选择中的应用。该理论是随着分析,近似和数值技术的讨论。特别注意的是拉普拉斯近似,变分贝叶斯,重要性抽样,热力学集成,嵌套抽样及其最近的变种。类比统计物理,从其中许多这些技术的起源,讨论,以提供读者更深入的见解,可能导致新的技术。贝叶斯模型测试在域科学中的效用是通过提出四个具体的实际例子,在信号检测,传感器表征,科学模型选择和分子力表征领域的信号处理的背景下考虑。
2015-11-23 astro-ph.IM stat.AP stat.CO
Compound decisions and empirical Bayes via Bayesian nonparametrics
University of Chicago(芝加哥大学)
本文通过贝叶斯非参数方法研究高斯序列复合决策问题,证明基于狄利克雷过程的估计器可实现接近最优的懊悔界,并展示后验均值贝叶斯规则的可接受性。
2026-09-10 econ.EM math.ST stat.ME
Extended feature allocation models
University of Milano–Bicocca(米兰比可卡大学);Duke University(杜克大学)
提出统一贝叶斯框架,联合建模特征标签和比例,克服标准模型忽略标签依赖性的局限,并引入Cox过程和行列式点过程先验,在基因组变异和森林调查中展示有效性。
2026-06-17 math.ST stat.ME stat.TH
On the correspondence between thermodynamics and inference
我们扩展贝叶斯统计和统计物理学之间的自然类比,其中样本量对应于逆温度。这个类比激发了两个新统计量的定义:学习能力和吉布斯熵。通过对热物理学中热容对应的学习能力的分析,对学习机制有了新的认识,并解释了为什么某些模型具有极高的学习性能。我们探讨了一些例子中的学习能力的属性,包括一个草率的模型。接下来,我们建议吉布斯熵提供了一个自然的设备计数可区分的分布在贝叶斯推理的上下文中。我们使用这种设备来定义一个广义的无差异原则(GPI),其中每个可区分的模型被分配相等的先验概率。这一原则的结果在一个新的解决方案,长期存在的问题,贝叶斯推理:定义一个客观的或无信息的先验。这种新方法的一个关键特点是,它可以应用于分析的模型维数是未知的,并规避贝叶斯推理中的高维模型的自动拒绝。
2019-04-04 math.ST physics.data-an stat.TH
Thermodynamic Cyclic Processes with Markov Samplers in Bayesian Inference
Universität Heidelberg(海德堡大学);University of Tübingen(蒂宾根大学);ELLIS Institute Tübingen(蒂宾根ELLIS研究所);Zuse School ELIZA(祖塞ELIZA学院)
本文提出马尔可夫链蒙特卡洛循环类比热机循环,通过自适应集成调度器实现参数调整,发现非高斯模型可产生非零净功,并作为非高斯性度量应用于超新星宇宙学。
2026-09-09 cond-mat.stat-mech cs.AI stat.CO
Cluster and Feature Modeling from Combinatorial Stochastic Processes
贝叶斯非参数化的现代文献的焦点之一是聚类或分区的问题,其中每个数据点被建模为与称为聚类或分区块的一些集合中的一个且仅一个相关联。这些贝叶斯非参数模型的基础是一组相互关联的随机过程,最著名的是狄利克雷过程和中国餐馆过程。在本文中,我们提供了一个正式的发展类似的问题,称为特征建模,关联数据点与任意非负整数数量的群体,现在被称为功能或主题。我们回顾了现有的组合随机过程表示的聚类问题,并开发类似的特征建模问题的表示。这些表征包括beta过程和印度自助餐过程,以及提供这些过程之间的联系的见解的新表征。因此,我们带来了相同水平的完整性,贝叶斯非参数特征建模,以前已经实现了贝叶斯非参数聚类的治疗。
2013-10-01 math.ST stat.ME stat.TH
Discussion of "Bayesian Models and Methods in Public Policy and Government Settings" by S. E. Fienberg
Fienberg令人信服地证明了贝叶斯模型和方法是一种强大的方法,可以在公共政策设置中从数据中挤出照明。然而,没有一个推理学派是没有弱点的,而且,面对现实世界中的模糊性、不确定性和不恰当的问题,也许我们不应该期望找到一种形式上正确的推理策略,这种策略可以普遍适用,无论问题的性质如何:我们不应该期望能够识别一种“规范”方法。在乔治·博克斯的“没有模型是正确的,但有些是有用的”和推理系统之间进行了类比[arXiv:1108.2177]。
2011-08-18 stat.ME
A Locally Adaptive Bayesian Cubature Method
贝叶斯求积(BC)是关于昂贵被积函数求积的流行推理观点,其中被积函数使用随机过程模型来仿真。已经提出了几种方法来编码顺序适应(即依赖于以前的被积函数评价)到这个框架。然而,这些建议已被限制到估计一个平稳的协方差模型的参数或集中计算资源的区域,其中大的值是由被积函数。相比之下,许多经典的自适应体积方法将计算资源集中在局部误差估计最大的空间区域上。这项工作的贡献是三方面的:首先,我们提出了一个理论结果,表明不存在一个直接的贝叶斯模拟的经典自适应梯形法。然后,我们提出了一种新的BC方法,具有经验上类似的行为的自适应梯形方法。最后,我们提出的证据表明,新的方法提供了改进的容积性能,相对于标准BC,在一个详细的实证评估。
2019-10-07 stat.CO
Well-posed Bayesian inverse problems and heavy-tailed stable quasi-Banach space priors
Free University of Berlin(柏林自由大学);Zuse Institute Berlin(齐泽研究所柏林)
本文基于贝叶斯反问题框架,探讨了在准巴拿赫空间上使用厚尾稳定分布作为先验分布的可能性,并证明了在弱正则性假设下后验测度对扰动的Hellinger连续性。
2017-06-30 cs.NA math.NA math.PR
Bayesian MISE convergence rates of Polya urn based density estimators: asymptotic comparisons and choice of prior parameters
混合模型以其通用性而闻名,贝叶斯范式是混合分析的合适平台,特别是当组分数量未知时。Bhattacharya(2008)介绍了一种基于狄利克雷过程的混合模型,其中需要指定组分的未知数的上界。在这里,我们考虑一个贝叶斯渐近框架,客观地指定的上界,我们假设依赖于样本量。特别是,我们定义了一个贝叶斯模拟的平均积分平方误差(贝叶斯MISE),并选择该形式的上界,以及该形式的精度参数的基础狄利克雷过程,贝叶斯MISE的一个特定的密度估计,这是一个合适的修改的Polya-urn基于先验预测模型,收敛在所需的速率。作为我们方法的副产品,我们研究了传统Dirichlet过程混合模型精度参数的渐近选择;我们在这里考虑的密度估计是Escobar & West(1995)与Polya瓮模型相关的先验预测分布的修改。与上述两种混合物有关的各种渐近问题,包括比较性能,也进行了研究。
2018-11-13 math.ST stat.TH
A Better (Bayesian) Interval Estimate for Within-Subject Designs
我们开发了一个贝叶斯最高密度区间(HDI)用于受试者内设计。该可信区间基于标准的无信息先验分布和修改后的后验分布,该后验分布以受试者特异性随机效应的数据和点估计值为条件。对估计的随机效应进行调节,去除受试者间方差,并产生Loftus和Masson(1994)中提出的受试者内置信区间的贝叶斯模拟区间。我们发现,后者的时间间隔也可以推导出作为一个贝叶斯内的主题HDI在一定的不适当的先验。我们认为,建议的新的区间优于原来的受试者内的置信区间,理由是(a)它是基于一个更合理的先验,(b)它有一个明确的和直观的吸引力的解释,(c)因为它的长度总是较小。还导出了可应用于异方差数据的新区间的推广,并且我们表明所得区间在数值上等同于Franz和Loftus(2012)中讨论的归一化方法;然而,我们的工作为归一化方法提供了贝叶斯公式,并且在此过程中,我们识别了相关的先验分布。
2018-06-12 stat.ME
Bayesian-Assisted Inference from Visualized Data
数据解释的贝叶斯观点建议可视化用户应该根据新观测捕获的关于参数值的信息量来更新他们关于参数值的现有信念。扩展了最近应用贝叶斯模型来理解和评估可视化的信念更新的工作,我们展示了如何使用贝叶斯推理的预测来指导更合理的信念更新。我们设计了一个贝叶斯推理辅助的不确定性类比,在数字上与观察到的数据的不确定性用户的主观不确定性,和后验可视化,规定用户应该如何更新他们的信念,他们的先验信念和观察到的数据。在对4,800人进行的预注册实验中,我们发现,当新观察到的数据样本相对较小(N=158)时,与当前可视化观察数据中的不确定性的最佳实践相比,这两种技术平均可靠地提高了人们的贝叶斯更新。对于大数据样本(N=5208),人们的更新的信念往往偏离更强烈的贝叶斯模型的处方,我们发现证据表明,这两种形式的贝叶斯援助的有效性可能取决于人们的倾向对信任的数据源。我们讨论了我们的研究结果如何提供洞察个人的信念更新和主观不确定性的过程,以及如何理解这些方面的解释铺平了道路,为更复杂的交互式可视化分析和沟通。
2020-08-08 cs.HC stat.ME
Optimal Bayesian Estimation for Random Dot Product Graphs
我们提出了一种贝叶斯方法,称为后验谱嵌入,用于估计随机点积图中的潜在位置,并证明了它的最优性。与经典的基于谱的邻接/Laplacian谱嵌入不同,后验谱嵌入是一种完全基于似然的图估计方法,它利用了观测到的邻接矩阵的Bernoulli似然信息。我们开发了一个极小极大下界估计的潜在位置,并表明后验谱嵌入实现这一下界,因为它既在一个极小极大最优后收缩率的结果,并产生一个点估计渐近实现极小极大风险。收敛结果随后被应用到随机块模型中的聚类,其结果加强了现有的结果关于错误聚类顶点的数量。我们还研究了基于谱的高斯谱嵌入作为自然贝叶斯类比的邻接谱嵌入,但由此产生的后验收缩率是次优的额外的对数因子。所提出的方法的实际性能说明通过广泛的合成例子和维基百科的图形数据的分析。
2019-04-26 math.ST stat.ME stat.TH
Bayesian Nonparametrics for Directional Statistics
本文介绍了一种适合于混合模型的三角多项式密度基。统计和几何性质的推导,表明它作为一个圆形的类似伯恩斯坦多项式密度。非参数先验构造使用这个基础和模拟研究表明,使用所得到的贝叶斯估计可能会提供收益比以前在文献中提出的可比循环密度估计。从理论的角度,我们提出了一个一般的先验规范框架的密度估计紧度量空间上使用筛先验。这是针对诸如本文所考虑的密度基础而定制的,并且也可以用于利用其特定的形状保持特性。此外,强后验一致性,持有显着弱的正则性假设和自适应收敛速度方面的正线性算子生成我们的模型的逼近性质。
2019-02-25 math.ST stat.ME stat.TH
A Bayesian Proof of the Bernoulli Theorem
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Yale University(耶鲁大学)
该研究给出伯努利定理的新贝叶斯证明,基于信息论思想提出刻画伯努利过程上确界的新泛函,并将高斯过程的相关分布现象推广至伯努利过程。
2026-08-13 cs.IT math.IT math.PR
Bayesian Power and Sample Size Calculations for Bayes Factors in the Binomial Setting
本文针对二项分布设定下贝叶斯因子检验,提出一种数值求根方法以快速计算达到预设贝叶斯功效和第一类错误率界限所需的样本量,并通过临床试验案例验证其有效性,相关方法已实现于R包bfpwr。
2025-02-05 stat.AP stat.ME
Kelly Betting as Bayesian Model Evaluation: A Framework for Time-Updating Probabilistic Forecasts
本文提出利用凯利投注框架评估时间更新的概率预测,通过迭代投注比赛实时更新模型可信度,提高区分正确与错误模型的准确性。
2026-02-10 stat.ME
LLM-Enhanced Bayesian Optimization for Efficient Analog Layout Constraint Generation
Chinese University of Hong Kong(香港中文大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);The University of Hong Kong(香港大学)
本文提出 LLANA 框架,利用大语言模型的少样本学习能力增强贝叶斯优化,以更少数据高效生成模拟版图参数约束,并达到与 SOTA 方法相当的性能。
2024-12-06 cs.AI cs.AR cs.LG
BayesAoA: A Bayesian method for Computation Efficient Angle of Arrival Estimation
Indian Institute of Technology Madras(马德拉斯印度理工学院)
到达角(AoA)估计在现代通信系统中具有重要意义。传统的基于最大似然的迭代算法对初始化敏感,不能在线使用。我们提出了一个贝叶斯方法来找到AoA是不敏感的初始化。与传统的基于深度学习的方法相比,所提出的方法不那么复杂,需要的计算资源也更少。它比暴力算法有更快的收敛速度。此外,提出了一种对冲型解决方案,有助于在线部署该方法,以处理接收机中的信道噪声和天线配置随时间变化的情况。该方法在噪声方差为$10^{-6}$的信道中实现了$92\%$的精度,与$19.3\%$的蛮力法的计算结果一致。
2021-10-15 cs.LG eess.SP
LinEasyBO: Scalable Bayesian Optimization Approach for Analog Circuit Synthesis via One-Dimensional Subspaces
Fudan University(复旦大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
大量的文献已经证明贝叶斯优化框架在模拟电路综合中特别有效。然而,以往的研究工作大多集中在设计信息代理模型或有效的获取功能。即使在采集函数表面上搜索全局最优值本身是一项困难的任务,但它在很大程度上被忽略了。在本文中,我们提出了一个快速和强大的贝叶斯优化方法,通过一维子空间的模拟电路综合。通过在每次迭代中只关注优化一维子空间,我们大大降低了贝叶斯优化框架的计算开销,同时安全地最大化了获取函数。通过结合不同维度选择策略的优点,我们自适应地在全局搜索和局部搜索之间取得平衡。通过利用批贝叶斯优化框架,我们进一步加快优化过程,充分利用硬件资源。实验结果定量地表明,我们提出的算法可以加速优化过程高达9倍和38倍相比,LP-EI和REMBOpBO分别当批量大小为15。
2021-09-01 cs.LG cs.SY eess.SY
Resource-Efficient and Robust Inference of Deep and Bayesian Neural Networks on Embedded and Analog Computing Platforms
Ruprecht–Karls-University Heidelberg(海德堡大学)
本研究通过算法-硬件协同设计,从模型压缩、含噪训练、近似概率推理及概率光子计算等方向,实现了嵌入式与模拟平台上深度和贝叶斯神经网络的高效鲁棒推理,为可信节能机器学习系统奠基。
2025-10-28 cs.AR cs.LG cs.NE