Voronoi Candidates for Bayesian Optimization
University of Massachusetts（马萨诸塞大学）；Montana State University（蒙大拿州立大学）；Virginia Tech（弗吉尼亚理工大学）
本文提出在贝叶斯优化中使用 Voronoi 边界候选点，并通过直接采样避免显式剖分，在保持精度的同时显著降低高维采集优化耗时。
2024-12-06 cs.LG stat.ML
Update Rules for Parameter Estimation in Bayesian Networks
Stanford University（斯坦福大学）；AT&T Labs（AT&T实验室）
本文从在线学习的角度重新研究了具有缺失值和隐变量的贝叶斯网络中的参数估计问题。我们提供了一个统一的参数估计框架，包括在线学习，其中模型不断适应新的数据情况，因为他们到达，和更传统的批量学习，其中一个预先积累的样本集用于一次性模型选择过程。在批处理的情况下，我们的框架包括贝叶斯网络的梯度投影算法和EM算法。该框架还导致新的在线和批量参数更新计划，包括EM的参数化版本。我们提供的经验和理论结果表明，参数化EM允许更快的收敛到最大似然参数比标准EM。
2013-02-06 cs.LG stat.ML
On Bayesian Exponentially Embedded Family for Model Order Selection
The University of Rhode Island（罗德岛大学）
本文利用指数嵌入族方法推导了贝叶斯模型的序选择规则，称为贝叶斯EEF。与许多其他贝叶斯模型选择方法不同，贝叶斯EEF可以使用模糊的正确先验和不正确的无信息先验来客观地提取参数先验。此外，该规则的惩罚项是参数维数的一半和参数与观测数据之间的估计互信息之和。这有助于揭示EEF在模型阶数选择中的作用机制，并从信息论的角度对模型阶数选择的最优惩罚项选择和先验选择等问题提供新的见解.最后给出了线性模型选阶的重要实例，说明了算法和参数的选取。最后，使用Jeffreys先验的贝叶斯EEF与频率主义策略导出的EEF规则一致。这显示了频率论和贝叶斯哲学在模型选择中的另一个有趣的关系。
2018-12-21 cs.LG stat.ML
Bayesian Inverse Reinforcement Learning for Collective Animal Movement
University of Missouri（密苏里大学）；U. S. Geological Survey（美国地质调查局）；Colorado State University（科罗拉多州立大学）
基于代理的方法允许定义生成复杂群体行为的简单规则。这种模型的管理规则通常是先验设置的，并且参数是根据观察到的行为轨迹来调整的。反向强化学习不是对所有预期场景进行简化假设，而是通过使用马尔可夫决策过程的属性来提供对管理长期行为策略的短期（局部）规则的推断。我们使用计算效率的线性可解马尔可夫决策过程学习的本地规则集体运动的模拟的自推进粒子（SPP）模型和数据应用程序的捕获孔雀鱼人口。行为决策成本的估计是在贝叶斯框架与基函数平滑。我们在SPP模拟中恢复了真实的成本，发现孔雀鱼更重视集体运动而不是有针对性的运动。
2022-06-11 cs.LG stat.ML
Towards E-Value Based Stopping Rules for Bayesian Deep Ensembles
LMU Munich（慕尼黑莱布尼茨大学）
本文提出基于E值的停止规则，用于决定贝叶斯深度集合的采样持续时间，以在优化后的基线模型上实现显著改进。
2026-04-20 cs.LG stat.ML
Rule-State Inference (RSI): A Bayesian Framework for Compliance Monitoring in Rule-Governed Domains
Institut National des Postes et Télécommunications（摩洛哥邮政和电信国家研究院）；Togo DataLab（多哥数据实验室）；Ministry of Digital Economy（数字经济部）
本文提出了一种名为规则状态推断（RSI）的贝叶斯框架，用于解决规则治理领域中合规监控的三大结构性挑战：部署时缺乏标记结果、非合规实体战略性缺失观察以及监管环境变化速度超过任何监督模型的重新训练速度。RSI通过将权威、形式化的规则集作为结构化的贝叶斯先验，利用变分推断和精确坐标上升更新来推断人口的潜在合规状态。
2026-05-21 cs.AI cs.LG stat.ML
Bayesian fairness
University of Oslo（奥斯陆大学）；Chalmers University（查尔姆斯理工大学）；UC Santa Cruz（加州大学圣克鲁兹分校）；Harvard University（哈佛大学）
我们考虑的问题，如何决策可以是公平的，当世界的基本概率模型是不确定的。我们认为，最近的机器学习中的公平性的概念需要明确地纳入参数的不确定性，因此，我们引入了{ \em贝叶斯公平性}的概念作为一个合适的候选人公平的决策规则。使用平衡，Kleinberg et al（2016）引入的公平性定义，我们展示了贝叶斯观点如何导致即使在高度不确定性下也能表现良好，公平的决策规则。
2018-11-04 cs.LG stat.ML
Rule-based Bayesian regression
The Alan Turing Institute（艾伦图灵研究所）；Imperial College London（伦敦帝国理工学院）
我们介绍了一种新的基于规则的方法来处理回归问题。新的方法进行元素从两个框架：（一）它提供了有关的参数的不确定性使用贝叶斯推断的信息，（二）它允许通过规则为基础的系统纳入专家知识。这两种不同框架的混合对于各个领域（例如工程）特别有益，尽管不确定性量化的重要性激发了贝叶斯方法，但没有简单的方法将研究人员的直觉纳入模型中。我们验证我们的模型，将它们应用到合成应用程序：一个简单的线性回归问题和两个更复杂的结构偏微分方程的基础上。最后，我们回顾了我们的方法的优点，其中包括简单的实施，由于增加的信息和不确定性降低，在某些情况下，推导出更好的点预测，我们解决的局限性，主要是从计算复杂性的角度来看，如在选择合适的算法和增加的计算负担的困难。
2021-10-08 cs.LG stat.ME stat.ML
Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian Optimization and Tuning Rules
University of Ferrara（费拉拉大学）
深度学习技术由于其出色的效果，在工业和研究环境中发挥着越来越重要的作用。然而，要设置的大量超参数如果手动设置则可能导致错误。最先进的超参数调整方法是网格搜索，随机搜索和贝叶斯优化。前两种方法是昂贵的，因为它们分别尝试超参数的所有可能组合和随机组合。相反，贝叶斯优化构建目标函数的代理模型，使用高斯过程回归量化代理中的不确定性，并使用获取函数来决定在何处对新的超参数集进行采样。该工作面向超参数优化领域。目的是改进贝叶斯优化应用于深度神经网络。为此，我们建立了一个新的算法来评估和分析网络的训练和验证集的结果，并使用一组调整规则来添加新的超参数和/或减少超参数搜索空间，以选择一个更好的组合。
2020-06-03 cs.CV cs.LG stat.ML
Adaptive Candidate Point Thompson Sampling for High-Dimensional Bayesian Optimization
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute（向量研究所）
本文提出ACTS方法，通过自适应缩减搜索空间提高高维贝叶斯优化效率，改进了现有汤普森采样方法在合成和现实基准中的表现。
2026-04-10 cs.LG
Information-Theoretic Scoring Rules to Learn Additive Bayesian Network Applied to Epidemiology
University of Zurich（苏黎世大学）
贝叶斯网络建模是一种非常适合研究杂乱和高度相关的数据集的方法，这些数据集在例如，系统流行病学从观测数据集学习贝叶斯网络的一种流行方法是在搜索和评分方法中识别最大后验网络。许多分数都是基于贝叶斯或频率论提出的。从应用的角度来看，一个合适的方法将允许数据的多个分布，并且足够强大，可以自主运行。计算分数的一个有前途的框架是广义线性模型。事实上，存在快速估计算法和许多针对常见流行病学问题的定制解决方案。本文的目的是提出一个R包ABN，它具有多个频率论分数的实现和一些现实的模拟，显示其可用性和性能。它包括有效处理数据分离和调整的功能，这在系统流行病学中非常常见。
2018-08-03 cs.LG stat.CO stat.ML
Learning Bayesian Network Structure from Massive Datasets: The "Sparse Candidate" Algorithm
Hebrew University（希伯来大学）；Institute of Computer Science（计算机科学研究所）；Center for Neural Computations（神经计算中心）
学习贝叶斯网络通常被视为一个优化问题，其中的计算任务是找到一个最大化统计动机得分的结构。总的来说，现有的学习工具使用标准的启发式搜索技术来解决这个优化问题。由于搜索空间非常大，这样的搜索过程可能花费大部分时间来检查非常不合理的候选。当我们处理实例数量或属性数量都很大的数据集时，这个问题变得至关重要。在本文中，我们介绍了一种算法，通过限制搜索空间来实现更快的学习。这种迭代算法将每个变量的父变量限制为属于候选变量的一个小子集。然后，我们搜索满足这些约束的网络。然后，学习的网络用于为下一次迭代选择更好的候选者。我们评估该算法的合成和现实生活中的数据。我们的研究结果表明，它是显着快于替代搜索过程中学习的结构质量没有损失。
2013-01-23 cs.AI cs.LG stat.ML
Oblique Bayesian additive regression trees
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对轴对齐BART的局限，提出基于线性组合的斜BART方法，利用数据自适应先验沿随机超平面递归划分特征空间，实验证明其预测性能具竞争力且有时更优。
2024-11-13 cs.LG stat.ML
Stopping Bayesian Optimization with Probabilistic Regret Bounds
Morgan Stanley（摩根士丹利）
针对贝叶斯优化传统预算耗尽停止规则的问题，提出基于$(ε, δ)$概率准则的停止方法，证明其在高斯过程先验下满足条件，给出高效鲁棒的蒙特卡洛评估算法并通过实验验证优劣。
2024-12-10 cs.LG stat.ML
Numerical Sequence Prediction using Bayesian Concept Learning
Courant Institute of Mathematical Sciences, New York University（纽约大学库朗数学科学研究所）
当人们学习数学模式或序列时，他们能够识别这些模式背后的概念（或规则）。在学习了基本概念之后，人类也能够将这些概念推广到其他数字，甚至可以识别这些规则的前所未见的组合。目前最先进的RNN架构（如LSTM）在预测连续数据的连续元素方面表现良好，但需要大量的训练样本。即使有大量的数据，这些模型也很难概括概念。从我们的行为研究中，我们还发现人类能够忽视噪音并识别产生损坏序列的潜在规则。因此，我们提出了一个贝叶斯模型，它可以捕获这些类似人类的学习能力，以预测给定序列中的下一个数字，比传统的LSTM更好。
2020-01-13 cs.LG stat.ML
Marginal likelihood based model comparison in Fuzzy Bayesian Learning
Imperial College London（伦敦帝国学院）；Sciemus Ltd（Sciemus有限公司）；University of Oxford（牛津大学）
在最近的一篇论文[1]中，我们介绍了模糊贝叶斯学习（FBL）范式，其中专家意见可以以模糊规则库的形式编码，模糊集的超参数可以使用贝叶斯方法从数据中学习。本文扩展了这项工作，选择最合适的规则库之间的一组竞争的替代品，最好的解释数据，通过计算模型的证据或边际似然。我们解释了为什么这是一个有吸引力的替代简单地最小化预测的均方误差度量，并显示了使用合成的例子和现实世界的案例研究在金融服务部门的命题的有效性。
2017-03-29 cs.LG stat.ML
Overfitting and Generalizing with (PAC) Bayesian Prediction in Noisy Binary Classification
The University of Chicago（芝加哥大学）；The University of Illinois at Chicago（伊利诺伊大学香槟分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了PAC-Bayes类型学习规则在二分类中的应用，通过平衡随机后验预测的训练误差与KL散度，提出了一种在噪声环境下改进泛化的学习方法，揭示了不同正则化参数λ对过拟合的影响。
2026-03-23 cs.LG stat.ML
Known Unknowns: Uncertainty Quality in Bayesian Neural Networks
University of Campinas (Unicamp)（坎皮纳斯州立大学 (Unicamp)）
我们使用异常检测来评估神经网络的不确定性质量。我们从候选模型的预测中提取不确定性度量（例如熵），使用这些度量作为异常检测器的特征，并衡量检测器区分已知类别和未知类别的程度。我们将更高的不确定性质量分配给候选模型，从而产生更好的检测器。我们还提出了一种新的方法，称为单样本贝叶斯近似（OSBA）的贝叶斯神经网络的变分近似采样。我们在两个数据集上进行了实验，MNIST和CIFAR 10。我们比较了以下候选神经网络模型：极大似然，贝叶斯丢弃，OSBA和-对于MNIST --标准变分近似。我们表明，贝叶斯丢弃和OSBA提供更好的不确定性信息比极大似然，基本上相当于标准的变分近似，但更快。
2016-12-23 cs.LG cs.NE stat.ML
A PAC-Bayesian Tutorial with A Dropout Bound
本教程简要概述了现有的PAC贝叶斯理论，重点是三个泛化边界。第一个是奥卡姆界限，它处理具有有限精度参数的规则，并且当写入规则所需的位数与样本大小相比很小时，它指出泛化损失接近训练损失。第二个是PAC-Bayesian界，为后验分布而不是单个规则提供泛化保证。PAC-Bayesian界自然地处理无限精度规则参数、$L_2$正则化、{ \em提供了用于放弃训练的界}，并且定义了单个区分的PAC-Bayesian后验分布的自然概念。第三个界限是训练方差界限-一种偏差方差分析，但用预期训练损失代替偏差。训练方差界占主导地位的其他界限，但更难以解释。这似乎表明方差减少方法，如装袋，并可能最终提供一个更有意义的辍学分析。
2013-07-08 cs.LG
A discussion of "Bayesian model selection based on proper scoring rules" by A.P. Dawid and M. Musio
本文是对A.P. Dawid和M. Musio，出现在贝叶斯分析中。虽然赞赏背后的概念使用适当的评分规则，包括不适当的先验知识，我们在这里指出一些可能的实际困难与提倡的方法。
2015-02-26 stat.ME
Interpretable classifiers using rules and Bayesian analysis: Building a better stroke prediction model
Massachusetts Institute of Technology（麻省理工学院）；University of Washington（华盛顿大学）；Columbia University（哥伦比亚大学）
我们的目标是生成不仅准确，而且可由人类专家解释的预测模型。我们的模型是决策列表，其中包括一系列的如果...然后...语句（例如，如果是高血压，则是中风），其将高维、多变量特征空间离散化为一系列简单、易于解释的决策语句。我们引入了一个生成模型称为贝叶斯规则列表，产生一个后验分布可能的决策列表。它采用了一种新的先验结构，以鼓励稀疏。我们的实验表明，贝叶斯规则列表的预测精度与当前机器学习中的顶级预测算法相当。我们的方法是由个性化医疗的最新发展，并可用于产生高度准确和可解释的医疗评分系统的动机。我们通过产生CHADS $_2$评分的替代方案来证明这一点，该评分在临床实践中被积极用于估计房颤患者的卒中风险。我们的模型与CHADS $_2$一样可解释，但更准确。
2015-11-05 cs.LG stat.AP stat.ML
Training Restricted Boltzmann Machines with Binary Synapses using the Bayesian Learning Rule
RIKEN Center for Advanced Intelligence Project（日本理化学研究所先进智能项目中心）；Institute for Physics of Intelligence（智能物理研究所）；The University of Tokyo（东京大学）
具有低精度突触的受限玻尔兹曼机（RBM）具有高能量效率。然而，由于突触的离散性质，训练具有二元突触的RBM是具有挑战性的。最近Huang提出了一种在变分推理框架下结合梯度上升和消息传递算法来训练具有二元突触的RBM的有效方法。然而，需要额外的启发式裁剪操作。在本技术说明中，受Huang工作的启发，我们提出了一种使用贝叶斯学习规则的替代优化方法，这是一种自然梯度变分推理方法。与Huang的方法相反，我们更新变分对称Bernoulli分布的自然参数而不是期望参数。由于自然参数在整个实域中取值，因此不需要额外的裁剪。有趣的是，\cite{huang2019data}中的算法可以被视为所提出的算法的一阶近似，这证明了其启发式裁剪的有效性。
2020-07-09 cond-mat.dis-nn cs.LG stat.ML
Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values
Amsterdam UMC Leiden University（阿姆斯特丹大学医学中心-莱顿大学）；Leiden University（莱顿大学）；Amsterdam UMC（阿姆斯特丹大学医学中心）
提出RuleSHAP框架，结合贝叶斯稀疏回归、改进的树规则生成器和Shapley值，实现非线性与交互效应的检测及个体水平的不确定性量化，应用于流行病学数据发现高胆固醇和血压的影响因素。
2026-06-11 cs.LG stat.ML
Model-based Kernel Sum Rule: Kernel Bayesian Inference with Probabilistic Models
核贝叶斯推断是概率图模型中非参数推理的一种原则性方法，其中变量之间的概率关系以非参数方式从数据中学习。核贝叶斯推断的各种算法已经通过结合核化的基本概率运算，如核求和规则和核贝叶斯规则而发展起来。然而，目前的框架是完全非参数的，它不允许用户灵活地结合非参数和基于模型的推理。当图形模型的某些部分有好的概率模型（或仿真模型）可用时，这是低效的;在“模型”是研究的中心主题的科学领域中尤其如此。我们在本文中的贡献是介绍一种新的方法，称为{ \em模型为基础的内核和规则}（Mb-KSR），结合概率模型和内核贝叶斯推断。通过将Mb-KSR与现有的核化概率规则相结合，可以开发用于混合（即，非参数和基于模型的）推断。作为一个说明性的例子，我们考虑贝叶斯滤波的状态空间模型，通常存在一个准确的概率模型的状态转换过程。我们提出了一种新的过滤方法，结合基于模型的推理的状态转换过程和数据驱动的，非参数的观察生成过程的推断。我们经验验证我们的方法与合成和真实数据的实验，后者是基于视觉的移动机器人定位在机器人技术，这说明了所提出的混合方法的有效性的问题。
2019-04-17 stat.ME stat.ML
Data-efficient Bayesian-guided design selection from large candidate sets: Application to hyperelastic stochastic metamaterials
Technische Universität Braunschweig（布伦瑞克工业大学）
本文提出一种贝叶斯引导的设计选择框架，通过统计特征工程降低设计维度，并利用多输出高斯过程代理模型映射到有效超弹性本构参数，以高效筛选出满足目标宏观应力响应的设计。
2026-09-09 cs.CE stat.ML
Frequentist optimality of Bayesian wavelet shrinkage rules for Gaussian and non-Gaussian noise
本文研究了独立同分布非参数回归模型中各种贝叶斯小波收缩规则的理论性能。误差不一定是正态分布的。主要目的是比较各种贝叶斯模型在Sobolev和Besov空间中的频率论渐近最优性。我们建立了超参数之间的关系，验证了迄今为止研究的大多数贝叶斯模型都达到了理论最优，说明了哪些贝叶斯模型不能达到最优收敛速度，并解释了为什么会发生这种情况。
2006-07-01 math.ST stat.TH
Efficient acquisition rules for model-based approximate Bayesian computation
近似贝叶斯计算（ABC）是当可能性不可用但从模型进行模拟是可能的时用于贝叶斯推断的方法。然而，许多ABC算法需要大量的模拟，这可能是昂贵的。为了减少计算成本，贝叶斯优化（BO）和代理模型，如高斯过程已经提出。贝叶斯优化使人们能够智能地决定下一步在哪里评估模型，但常见的BO策略并不是为了估计后验分布而设计的。我们的论文解决了文献中的这一空白。我们建议计算ABC后验密度的不确定性，这是由于缺乏模拟来准确估计这个数量，并定义一个损失函数来测量这种不确定性。然后，我们建议选择下一个评估位置，以尽量减少预期损失。实验表明，该方法往往产生最准确的近似相比，常见的BO策略。
2018-08-08 stat.CO stat.ME stat.ML
Admissibility of a posterior predictive decision rule
近几十年来，人们对贝叶斯方法被广泛使用的预测问题产生了兴趣。从贝叶斯模型中的后验预测分布中采样或近似，允许人们对给定观测数据的潜在可观测随机量进行推断。本说明的目的是使用统计决策论作为基础来证明使用后验预测分布进行点预测的合理性。
2017-09-09 stat.ML
Bayesian rules and stochastic models for high accuracy prediction of solar radiation
CHD Castelluccio（卡斯泰卢乔医院）；University of Corsica（科西嘉大学）；CNRS（法国国家科学研究中心）
必须找到太阳能预测方法，以便在配电网上大规模插入可再生能源。本研究的目的是找到最好的方法，可以预测高精度的每小时全球辐射。这个量的知识对于电网管理者或私人光伏生产商来说是必不可少的，以便预测与云发生相关的波动并稳定注入的光伏功率。在本文中，我们测试两种方法：单一和混合预测。在第一类中，我们包括多层感知器（MLP），自回归和移动平均（ARMA）和持久性模型。在第二类中，我们将这些预测因子与贝叶斯规则混合，以获得ad-hoc模型选择和与单个模型相关的贝叶斯平均输出。如果MLP和ARMA相等（两者的nRMSE接近40.5%），则与持久性估计相比，这种混合允许nRMSE增益高于14个百分点（nRMSE=37% vs 51%）。
2013-09-18 cs.LG stat.AP
Bayesian Parameter Shift Rule in Variational Quantum Eigensolvers
BIFOLD；Technische Universität Berlin（柏林工业大学）；Università degli Studi di Padova（帕多瓦大学）；RIKEN Center for AIP（理化学研究所先进智能项目中心）；University of Bonn（波恩大学）；Helmholtz Institute for Radiation and Nuclear Physics（亥姆霍兹辐射与核物理研究所）；Deutsches Elektronen-Synchrotron（德国电子同步加速器研究所）；The Cyprus Institute（塞浦路斯研究所）；Oldendorff Carriers GmbH & Co. KG（奥滕多夫航运有限公司）
本文提出贝叶斯参数移位法则，利用高斯过程估计VQE梯度并提供不确定性信息，结合梯度置信区域最小化观测成本，显著加速随机梯度下降优化。
2025-02-04 cs.LG quant-ph
A Note on Bayesian Model Selection for Discrete Data Using Proper Scoring Rules
我们考虑的问题之间的选择参数模型的离散观察，采用贝叶斯方法，其中模型内的先验分布是允许不适当的。为了避免这种情况下边缘似然函数的模糊性，我们采用了齐次评分规则。对于区分泊松和负二项模型的特定情况下，我们进行模拟表明，应用prequentially，该方法将始终选择真正的模型。
2017-03-09 math.ST stat.TH
SBAMDT: Bayesian Additive Decision Trees with Adaptive Soft Semi-multivariate Split Rules
Texas A&M University（德克萨斯农工大学）；University of Cincinnati（辛辛那提大学）；Shell International Exploration and Production Inc（壳牌国际勘探与生产公司）
针对标准决策树单变量确定性分裂规则难以捕捉复杂决策边界的问题，提出采用自适应软半多变量分裂规则的SBAMDT概率加性决策树模型，可适配不同平滑度，经多数据集对比验证了其实用性。
2025-01-17 cs.LG math.ST stat.ME
Cost-aware Stopping for Bayesian Optimization
Cornell University, Ithaca, New York, USA（康奈尔大学）；University of California, Berkeley, Berkeley, California, USA（加州大学伯克利分校）
针对贝叶斯优化中成本感知的停止问题，提出一种基于理论连接成本感知采集函数的停止规则，并证明其能保证期望成本调整简单遗憾的界。
2026-11-03 cs.LG
Bayesian Mediation Analysis for Individualized Treatment Rules
University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；Duke University（杜克大学）
本研究提出贝叶斯中介框架，将个体化治疗规则的价值对比分解为直接与间接成分，采用贝叶斯因果中介森林估计，经模拟与TRIUMPH试验数据验证，可实现ITR的机制评估与解释。
2026-08-03 stat.ME stat.ML
Bayesian Model Selection Based on Proper Scoring Rules
贝叶斯模型选择与不适当的先验是没有很好的定义，因为依赖于模型内先验密度的任意缩放常数的边际似然。我们展示了如何可以通过用一个均匀的适当的评分规则，这是不敏感的缩放常数取代边际对数似然来规避这个问题。适当地应用，这通常将使得能够一致地选择真实模型。
2015-05-08 math.ST stat.TH
A bayesian wavelet shrinkage rule under LINEX loss function
本文针对具有高斯误差的非参数回归模型，提出了一种基于非对称LINEX损失函数的贝叶斯小波收缩规则，采用零点质点与逻辑斯蒂分布的混合先验，推导了其统计性质，并通过模拟和红外光谱数据验证了其有效性。
2023-07-26 stat.ME
Fitness inheritance in the Bayesian optimization algorithm
本文介绍了如何适应度继承可以用来估计适应度的一部分新采样的候选解决方案的贝叶斯优化算法（BOA）。估计某些候选解的适应度的目的是为了减少适应度评估昂贵的问题的适应度评估的数量。贝叶斯网络中使用的BOA模型有前途的解决方案，并产生新的扩展，不仅允许建模和采样的候选解决方案，但也用于估计他们的健身。结果表明，健身继承是一个很有前途的概念BOA，因为人口规模的要求，建立适当的模型有前途的解决方案，导致良好的健身估计，即使只有一小部分的候选解决方案进行评估，使用实际的健身功能。这可以导致实际健身评估的数量减少30倍或更多。
2004-02-15 cs.AI cs.LG cs.NE
Bayesian hierarchical rule modeling for predicting medical conditions
我们提出了一种统计建模技术，称为层次关联规则模型（HARM），预测患者的当前和过去的历史报告的条件下，患者的未来可能的医疗条件。我们的技术的核心是一个贝叶斯层次模型，用于从一个大的候选规则集选择预测关联规则（如“条件1和条件2 $\rightarrow$条件3”）。因为这种方法使用许多类似患者的状况“借用力量”，所以即使在关于患者的病史的信息很少的情况下，它也能够提供针对任何给定患者的预测。
2012-06-28 stat.AP
Entropy-based Pruning for Learning Bayesian Networks using BIC
Istituto Dalle Molle di studi sull’Intelligenza Artificiale (IDSIA)（达莱莫勒人工智能研究所）
对于贝叶斯网络的可分解的基于得分的结构学习，现有的方法首先计算每个变量的候选父集的集合，然后通过为每个变量选择一个父集来优化该集合，而不创建有向循环，同时最大化总得分。我们的目标是构建候选父集合的选择得分时，贝叶斯信息准则（BIC）的任务。我们提供了新的非平凡的结果，可用于修剪每个节点的候选父集的搜索空间。我们分析了这些新的结果如何与以前的想法在文献中的理论和经验。我们在UCI数据集的实验中表明，收益可能是显着的。由于新的剪枝规则易于实现，计算成本低，他们可以迅速地集成到所有国家的最先进的贝叶斯网络的结构学习方法。
2017-07-19 cs.AI stat.ML
Differences Among Noninformative Stopping Rules Are Often Relevant to Bayesian Decisions
萨维奇曾经希望表明，“表面上不相容的思想体系一方面与[主观贝叶斯主义]有关，另一方面与[古典统计学]有关.互相支持和澄清。然而，到了1972年，他已经基本上“对经典统计学的方法失去了信心”。他发现这些“装置”的一个方面令人反感的是，用于决定何时结束实验的“停止规则“之间的差异从贝叶斯的角度来看是“无信息”的，可能会影响使用经典方法做出的决定。使用不同的停止规则产生相同数据的两个实验，似乎只在实验者的意图上有所不同，即如果数据不同，他们是否会继续进行，这似乎与数据的证据输入无关，因此与数据证明什么行为的事实无关。我认为，古典和贝叶斯关于停止规则的想法实际上确实“互相借”了萨维奇最初希望找到的那种“相互支持和澄清”。他们这样做是在一种科学实践中常见的情况下，在这种情况下，设计实验的人与根据实验结果做出决定的人有不同的利益。我表明，在这种情况下，贝叶斯原理提供了合格的支持经典的统计实践的“惩罚”“有偏见的”停止规则。然而，与传统原则相比，这些原则要求在更窄的范围内实行这一做法，而且原因也不同。我认为，这种做法的经典论点是令人信服的，正是在这类情况下，贝叶斯原则也需要它，因此，我们应该把贝叶斯原则作为澄清经典统计思想的停止规则，而不是相反。
2017-07-01 math.ST stat.TH
Rejoinder to "Bayesian Model Selection Based on Proper Scoring Rules"
我们非常感谢编辑玛丽娜·瓦努奇主动要求对我们的文件进行讨论，并非常感谢所有讨论者提出的富有洞察力和发人深思的意见。我们按字母顺序对讨论作出回应[arXiv：1409.5291]。
2015-05-11 math.ST stat.TH
Minimaxity and Admissibility of Bayesian Neural Networks
Department of Statistics and Data Science, Cornell University（康奈尔大学统计与数据科学系）
本文研究了基于ReLU激活函数的深度全连接前馈BNN在正态位置模型下的决策规则，证明其非极小大，并提出超前先验以获得同时可接受和极小大的决策规则，进一步扩展到KL损失下的预测密度估计。
2026-10-27 cs.LG math.ST stat.ML
Bayesian ranking and selection with applications to field studies, economic mobility, and forecasting
决策通常涉及排名和选择。例如，为了组建一个政治预测团队，我们可以先将选择范围缩小到我们有信心在预测能力上排在前10%的候选人。不幸的是，我们不知道每个候选人的真实能力，但观察到一个嘈杂的估计。本文开发了新的贝叶斯算法排名和选择候选人的基础上嘈杂的估计。使用基于经验数据的模拟，我们表明，我们的算法往往优于频率论的排名和选择算法。我们的贝叶斯排名算法产生较短的排名置信区间，同时保持近似正确的覆盖率。我们的贝叶斯选择算法选择更多的候选人，同时保持正确的错误率。我们将我们的排名和选择程序应用于实地实验，经济流动性，预测和类似的问题。最后，我们在一个用户友好的Python包中实现了我们的排名和选择技术，该包的文档如下：https://dsbowen-conditional-inference.readthedocs.io/en/latest/。
2022-08-03 econ.EM stat.ME
Multi-rules mining algorithm for combinatorially exploded decision trees with modified Aitchison-Aitken function-based Bayesian optimization
College of Industrial Technology, Nihon University（日本大学工业技术学院）
针对决策树规则提取受组合爆炸、随机搜索及冗余不可靠规则限制的问题，提出 MAABO-MT 与 GS-MRM，以低计算成本构建高性能树并提取可靠、非相似规则。
2023-10-04 cs.AI cs.LG
Range-Aware Bayesian Optimization for Discovering Diverse Designs within Target Property Windows
Department of Chemical and Biological Engineering, Princeton University（普林斯顿大学化学与生物工程系）
提出范围感知贝叶斯优化框架，通过采集函数直接评分候选解满足目标范围的后验概率，在基准任务和实际案例中比标准方法发现更多样化的有效设计。
2026-06-11 cond-mat.mtrl-sci cs.LG physics.chem-ph
Bayesian wavelet shrinkage for low SNR data based on the Epanechnikov kernel
针对低信噪比数据，提出一种基于Epanechnikov分布与零点质量混合先验的贝叶斯小波收缩规则，并验证了其统计性质及在模拟与真实EEG数据上的优越性。
2025-07-15 stat.ME
Bayesian Mendelian randomization testing of interval causal null hypotheses: ternary decision rules and loss function calibration
我们的方法孟德尔随机化（MR）分析的目的是增加因果效应的“发现”的可重复性：（i）使用贝叶斯方法进行推理;（ii）用实际等效区域代替点原假设，该实际等效区域包括对于感兴趣的效应的可忽略量值的值，同时利用贝叶斯分析的能力来量化落在区域内/区域外的影响的证据;（iii）拒绝通常的二元决策逻辑，而赞成三元逻辑，其中假设检验可能导致接受或拒绝空值，同时还适应“不确定”的结果。我们提出了一种方法来校准所提出的方法，通过损失函数，我们用我们的方法与频率论的比较。我们说明的方法与援助的因果关系的影响，肥胖的青少年心肌梗死的风险的研究。
2022-08-10 stat.ME
The rule of conditional probability is valid in quantum theory [Comment on Gelman & Yao's "Holes in Bayesian Statistics"]
在最近的一份手稿中，Gelman & Yao（2020）声称“条件概率的通常规则在量子领域失败”，“概率论不是真的（量子物理学）”，并声称用量子双缝实验的例子来支持这些陈述。本文的评论回顾了量子理论中的一些相关文献，并表明：（1）盖尔曼和姚的陈述是错误的;事实上，量子例子证实了概率论的规则;（2）在量子例子中发现的特殊不等式可以证明也出现在非常非量子的例子中，例如从一个瓮中绘画;因此在这件事上量子理论没有什么特别之处。引用的手稿中关于量子理论的一些错误或不精确的陈述也得到了纠正。
2020-07-31 quant-ph stat.OT
GS-BART: Bayesian Additive Regression Trees with Graph-split Decision Rules
GS-BART提出一种基于图分裂规则的贝叶斯加性决策树方法，通过编码图拓扑信息并设计可扩展MCMC算法，在空间和网络数据回归与分类中优于传统集成树和高斯过程模型。
2025-09-08 stat.ME
Objective Bayesian inference with proper scoring rules
当完全似然性以及完全后验分布过于复杂且难以指定时，或者如果需要对数据或模型错误指定的稳健性，则可能难以执行标准贝叶斯分析。在这些情况下，我们建议根据适当的评分规则，对感兴趣的参数采用后验分布。评分规则是一种损失函数，设计用于测量随机变量的概率分布的质量（给定其观测值）。重要的例子是Tsallis评分和Hyvärinen评分，它们允许我们处理模型错误指定或复杂模型。此外，完全似然和合成似然都是评分规则的特殊实例。该文致力于研究两个问题.首先，我们讨论了在贝叶斯公式中使用评分规则来计算一个后验分布，称为SR-后验分布，并推导了它的渐近正态性。其次，我们提出了一个为感兴趣的未知参数建立默认先验的过程，该过程可以用于更新SR-后验分布中的评分规则所提供的信息。特别地，通过最大化来自SR-后验分布的平均$α-$散度来获得参考先验.对于$0 \leq |α|<1$，结果是Jeffreys型先验，其与关联于评分规则的Godambe信息矩阵的行列式的平方根成比例。文中还讨论了一些实例。
2019-01-06 math.ST stat.ME stat.TH
Compound decisions and empirical Bayes via Bayesian nonparametrics
University of Chicago（芝加哥大学）
本文通过贝叶斯非参数方法研究高斯序列复合决策问题，证明基于狄利克雷过程的估计器可实现接近最优的懊悔界，并展示后验均值贝叶斯规则的可接受性。
2026-09-10 econ.EM math.ST stat.ME
Fuzzy Bayesian Learning
Imperial College London（帝国理工学院）；Sciemus Ltd（Sciemus有限公司）；University of Oxford（牛津大学）
在本文中，我们提出了一种新的方法，从数据中学习使用基于规则的模糊推理系统的模型参数估计使用贝叶斯推断和马尔可夫链蒙特卡罗（MCMC）技术。我们使用合成数据集的回归和分类任务的方法的适用性，也在金融服务行业的一个现实世界的例子。然后，我们演示了如何将该方法扩展到知识提取中，以贝叶斯方式选择最能解释给定数据的单个规则。最后，我们讨论了使用这种方法的优点和陷阱，在国家的最先进的技术，并强调这将是有用的问题的具体类别。
2018-06-22 cs.AI stat.ML
Bayesian model averaging via mixture model estimation
基于Kaniav等人提出的假设检验的混合模型方法，提出了一种新的贝叶斯模型平均（BMA）和选择方法，2014.继承这种方法的良好特性，它扩展了BMA的情况下，不适当的先验选择的参数是共同的所有候选模型。从算法的角度来看，我们的方法包括从所有候选模型的单数据混合物的后验分布中采样，由其先验概率加权。我们证明了这个后验分布等于所有候选模型的“贝叶斯模型平均”后验分布，由它们的后验概率加权。从这个BMA后验样本，每个模型的后验概率的一个简单的蒙特卡罗估计，以及每个模型的后验分布下的期望的重要性抽样估计。
2018-08-01 stat.ME
Stochastic Convergence Rates and Applications of Adaptive Quadrature in Bayesian Inference
我们提供了第一个随机收敛速度的家庭自适应正交规则用于规范化的后验分布贝叶斯模型。我们的结果适用于一致的相对误差的近似后验密度，覆盖概率的近似可信集，近似的时刻和分位数，从而保证快速渐近收敛的近似汇总统计量在实践中使用。该系列的积分规则包括自适应高斯-厄米特积分，我们将这一规则在两个具有挑战性的低维的例子。此外，我们演示了如何自适应正交可以作为一个重要组成部分的现代近似贝叶斯推断过程的高维添加剂模型。该方法在R语言的aghq包中实现并公开提供，可在CRAN上获得。
2022-10-25 stat.ME
