Efficient Robust Bayesian Optimization for Arbitrary Uncertain Inputs
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
针对贝叶斯优化中输入不确定性导致性能波动的问题,提出基于MMD和Nystrom近似的AIRBO算法,可处理任意分布的不确定输入,具备理论保证且性能达SOTA。
2023-11-03 cs.LG stat.ML
Error Bounds Revisited, and How to Use Bayesian Statistics While Remaining a Frequentist
本文探讨了似然函数存在多峰时点估计器的可靠性问题,提出将先验重新解释为加权函数,使贝叶斯估计器在频率学派语境中具有意义,并以到达时间(TOA)问题为例,推导了不同于置信区域的基于区域的估计器理论。
2025-03-01 eess.SP stat.ME
Is MC Dropout Bayesian?
Imperial College London(帝国理工学院);King’s College London(伦敦国王学院);University College London(伦敦大学学院)
MC Dropout是医学成像中用于近似贝叶斯计算(ABC)的主流“免费午餐”方法。它的吸引力是解决了开箱即用的ABC和神经网络(NN)中的不确定性量化的艰巨任务;属于变分推理(VI)框架;并提出了一个高度多模态,忠实的预测后验。我们质疑MC Dropout的近似推理属性,因为事实上MC Dropout改变了贝叶斯模型;其预测后验概率在封闭形式的基准上将$0$概率分配给真实模型;其预测后验的多模态不是真实预测后验的属性,而是设计假象。为了满足任意模型对VI的需求,我们在pytorch框架中共享了一个通用的VI引擎。该代码包括一个精心设计的结构化(对角线加低秩)多元正常变分家庭,及其混合物的实现。它的目的是作为一个去没有免费午餐的方法,解决了平均场VI的缺点与可调的表达性和计算复杂性之间的权衡。
2021-10-08 cs.LG stat.ML
Determination of emissivity profiles using a Bayesian data-driven approach
本研究提出一种贝叶斯数据驱动方法,结合CAMEL发射率数据库与土地覆盖图,通过高分辨率Huang剖面的凸组合确定光谱发射率剖面,经IASI数据验证,效果优于CAMEL数据的线性样条插值。
2024-06-27 stat.AP
blavaan: Bayesian structural equation models via parameter expansion
本文介绍了blavaan,这是一个R软件包,用于通过JAGS估计贝叶斯结构方程模型(SEM)并总结结果。它还描述了一种新的参数扩展方法,用于估计具有残差协方差的特定类型的模型,这有助于在JAGS中估计这些模型。该方法和软件的目的是为用户提供一个一般的方法来估计贝叶斯SEM,经典和新颖的,在一个简单的方式。用户可以使用lavaan语法估计经典SEM的贝叶斯版本,他们可以获得与模型相关的最先进的贝叶斯拟合度量,并且他们可以导出JAGS代码以根据需要修改SEM。这些功能和更多的例子说明,并详细说明了参数扩展的方法。
2016-11-17 stat.CO
Introducing Bayesian Analysis with $\text{m&m's}^\circledR$: an active-learning exercise for undergraduates
我们提出了一个积极的学习策略,适用于本科生贝叶斯分析糖果覆盖巧克力$\text{m&m's}^\circledR$。这个练习最适合小班授课和辅导设置,在学生已经介绍了贝叶斯统计的概念。该练习利用了$\text{m&m's}^\circledR~$颜色的非均匀分布以及两个不同工厂的分布差异。在本文中,我们提供了预期的学习成果,课程计划和分步指导,以及开源教材。我们还建议扩展到研究生水平的练习,其中包括分层贝叶斯分析。
2019-04-16 astro-ph.IM physics.data-an stat.AP
Hyperparameters Optimization in Deep Convolutional Neural Network / Bayesian Approach with Gaussian Process Prior
Nanyang Technological University(南洋理工大学)
卷积神经网络被称为ConvNet,已被广泛应用于许多复杂的机器学习任务中。然而,超参数优化是开发ConvNet架构的关键步骤之一,因为准确性和性能依赖于超参数。这种多层架构通过一组超参数进行参数化,例如卷积层的数量,完全连接的密集层和神经元的数量,辍学实现的概率,学习率。因此,在超参数空间上搜索超参数是非常困难的,以建立这样复杂的层次结构。在过去的十年中,已经提出了许多方法来探索超参数空间并找到超参数值的最佳集合。据报道,由于架构的大量超参数,网格搜索和随机搜索被认为是低效且极其昂贵的。因此,基于序贯模型的贝叶斯优化是一种很有前途的替代技术,以解决未知的成本函数的极端。Snoek最近在9个卷积网络参数中进行的贝叶斯优化研究在CIFAR-10基准测试中获得了最低误差报告。本文旨在概述高斯先验贝叶斯优化背后的数学概念。
2017-12-19 cs.CV cs.LG stat.ML
A Bayesian Deep Learning Framework for End-To-End Prediction of Emotion from Heartbeat
Limbic Ltd(Limbic有限公司)
情感的自动预测有望彻底改变人机交互。最近的趋势涉及融合多种数据形式-音频,视觉和生理-对情绪状态进行分类。然而,在实践中,“在野外”收集生理数据目前仅限于由负担得起的可穿戴心脏监测器生成的那种心跳时间序列。此外,情感预测的实际应用通常需要对模型输出的不确定性进行某种度量,以便为下游决策提供信息。我们在这里提出了一个端到端的深度学习模型,用于从单峰心跳时间序列中分类情感效价。我们进一步提出了一个贝叶斯框架,这些效价预测建模的不确定性,并描述了一个概率的程序,选择接受或拒绝模型输出根据预期的应用。我们将我们的框架与两个已建立的数据集进行了基准测试,并实现了90%的峰值分类准确率。这些结果为情感计算在现实世界领域的应用奠定了基础,例如医疗保健,其中高度重视非侵入性数据收集和预测确定性。
2020-04-19 cs.HC cs.LG stat.ML
Maximally Robust Satisficing Bayesian Optimization
University of Helsinki(赫尔辛基大学);ASM International N.V.(阿斯麦尔公司)
研究设计任务中黑箱函数优化问题,提出一种贝叶斯优化方法,该方法能有效找到对最大扰动具有鲁棒性的满意解,且假设优化时输入可控,部署后会受扰。
2026-07-16 cs.LG
Specification analysis for technology use and teenager well-being: statistical validity and a Bayesian proposal
科学中的一个关键问题是评估数据分析选择的稳健性,同时避免选择性报告并提供有效的推断。规范曲线分析是一种旨在防止选择性报告的工具。唉,当用于推断时,由于错误地调整协变量,它可能会产生严重的偏倚和假阳性,并掩盖重要的处理效应异质性。作为我们的激励应用,它导致了一项有影响力的研究,得出结论,技术使用和青少年心理健康之间没有相关联系。我们讨论这些问题,并提出了一个有效的推理策略。贝叶斯规范曲线分析(BSCA)使用贝叶斯模型平均值来合并治疗、结局和亚群之间的协变量和异质性效应。BSCA对青少年的幸福感给出了截然不同的见解,揭示了与技术的关联因设备、性别和评估幸福感的人(青少年或其父母)而异。
2022-05-06 stat.AP
A Bayesian Functional Data Model for Surveys Collected under Informative Sampling with Application to Mortality Estimation using NHANES
函数数据通常是非常高维的,并且表现出很强的依赖结构,但通常可以证明对预测和推理都很有价值。功能数据分析的文献是发达的,但是,很少有工作涉及功能数据在复杂的调查设置。从全国健康和营养检查调查(NHANES)的体力活动监测数据的动机,我们开发了一个贝叶斯模型的功能协变量,可以正确地解释调查设计。我们的方法适用于非高斯数据,可以应用于多变量设置。此外,我们利用各种贝叶斯建模技术,以确保该模型是适合在计算效率的方式。我们通过实证模拟研究以及使用NHANES数据的死亡率估计的例子来说明我们的方法的价值。
2020-11-06 stat.AP stat.ME
Making Recursive Bayesian Inference Accessible
贝叶斯模型自然地提供递归推理,因为它们可以正式地协调新数据和现有的科学信息。然而,贝叶斯方法的普遍使用通常避免了基于先前研究得出的精确后验分布的先验。两种现有的递归贝叶斯方法是:先验递归贝叶斯和建议递归贝叶斯。先验递归贝叶斯使用贝叶斯更新,拟合模型顺序地划分数据,并提供一种方法来适应新数据,因为它们可以使用前一阶段的后验作为基于最新数据的新阶段的先验。Proposal-Recursive Bayes旨在与分层贝叶斯模型一起使用,并在数据分区的第一阶段独立分析中使用一组瞬时先验。Proposal-Recursive Bayes的第二阶段使用第一阶段的后验作为MCMC算法中的建议来拟合完整模型。我们结合先验递归和建议递归概念来拟合任何贝叶斯模型,并且通常具有计算改进。我们证明了我们的方法与两个案例研究。我们的方法对大数据,流数据和最佳自适应设计情况有影响。
2019-04-26 stat.ME
Does Bayesian Model Averaging improve polynomial extrapolations? Two toy problems as tests
我们评估的准确性贝叶斯多项式外推从小参数值,x,大值的x。我们考虑一组固定阶的多项式,作为一个代理的固定阶有效场论(EFT)描述的数据。我们采用贝叶斯模型平均(BMA)来结合不同阶多项式(EFT阶数)的结果。我们的研究考虑了两个"玩具问题",其中用于生成数据集的基本函数是已知的。我们使用贝叶斯参数估计来提取在低x下描述这些数据的多项式系数。一个"自然性"的先验被强加在系数上,所以它们是O(1)。我们通过根据贝叶斯证据对每个多项式进行加权来对不同的多项式次数进行贝叶斯模型平均,并将该贝叶斯模型平均值的预测性能与单个多项式的预测性能进行比较。BMA预测的可信区间比最高证据多项式具有更一致的覆盖特性,尽管BMA不一定优于每个多项式。
2022-06-16 nucl-th physics.data-an stat.ME
Nuclear Norm-Regularized Bayesian Matrix Completion
Cornell University(康奈尔大学)
针对核范数正则化贝叶斯矩阵补全,提出首个具有非渐近保证的多项式时间采样器,通过离散化噪声精度并利用热力学积分构建后验,证明了可行性。
2026-10-28 cs.LG stat.ML
Galaxy Formation: Bayesian History Matching for the Observable Universe
达勒姆大学计算宇宙学研究所的宇宙学家开发了一种称为Galform的星系形成模型,旨在帮助我们了解暗物质存在下星系的形成,生长和随后的演化。Galform需要指定许多输入参数,并且需要大量时间来完成一次模拟,这使得模型的输出与宇宙的真实观测之间的比较极具挑战性。本文涉及这个问题的分析,使用贝叶斯仿真内的迭代历史匹配策略,并表示最详细的不确定性分析的星系形成模拟尚未执行。
2014-05-20 stat.ME
Bayesian Intent Prediction in Object Tracking Using Bridging Distributions
在几个应用领域,如人机交互,监视和防御,确定跟踪对象的意图使系统能够帮助用户/操作员,并促进有效的,可能是自动化的决策。在本文中,我们提出了一种概率推理方法,允许预测,提前跟踪对象的预定目的地及其未来的轨迹。在这里介绍的框架内,所观察到的对象的部分轨道被建模为在其目的地终止的马尔可夫桥的一部分,因为目标路径,虽然随机,必须在预期的端点结束。这捕获轨迹中的潜在长期依赖性,如对象意图所指示的。通过确定部分轨道从特定建造的桥梁引出的可能性,评估多个可能目的地中的每一个的概率。这些桥还可以用于产生潜在系统状态(例如,对象位置、速度等)的精细估计,预测其未来值(直到到达指定端点)并估计到达时间。这表明,导致一个低复杂度的卡尔曼滤波器为基础的实现的推理例程,其中任何线性高斯运动模型,包括目的地恢复的,可以应用。自由的手指向手势的数据收集在一个仪表车辆和合成轨迹的船只走向多个可能的港口被用来证明所提出的方法的有效性。
2016-02-04 stat.AP
Interactive Trajectory Adaptation through Force-guided Bayesian Optimization
Bosch Center for Artificial Intelligence(博世人工智能中心)
灵活的制造工艺要求机器人能够轻松适应环境的变化并与人类互动。在这样的动态场景中,机器人任务可以通过从演示中学习的方法来编程,其中任务的标称计划由机器人学习。然而,学习的计划可能需要调整,以满足额外的要求或克服意外的环境变化。当所需的适应发生在末端执行器轨迹水平,人类操作员可能希望直观地显示机器人所需的变化,通过物理与它交互。在这种情况下,机器人需要了解人类预期的变化,从嘈杂的触觉数据,快速适应相应的执行标称任务计划时,没有进一步的适应是必要的。本文通过利用LfD和贝叶斯优化来解决上述挑战,以赋予机器人数据高效的适应能力。我们的方法利用感测到的相互作用力来指导机器人适应,并通过定义从学习的任务模型中提取的局部搜索空间来加快优化过程。我们展示了我们的框架如何快速适应任务的时空模式,从而导致与标称计划和人类引入的变化一致的变形轨迹分布。
2019-08-20 cs.LG cs.RO math.OC
The Computational Structure of Unintentional Meaning
Princeton University(普林斯顿大学);The MITRE Corporation(MITRE公司)
言语行为既有字面意义,也有语用意义,但这两种意义都涉及说话者通常想要的后果。言语行为也可以有非故意的意义,其中所传达的内容超出了意图。在这里,我们提出了一个贝叶斯分析如何,一个听众,话语的意义可以显着不同于扬声器的意图。我们的模型强调如何理解言语行为的有意和无意的意义,要求听众参与复杂的基于模型的观点采择和推理的历史状态的世界,彼此的行动,和彼此的观察。为了测试我们的模型,我们让人类参与者对说话者发出的可能被解释为故意侮辱或无意失礼的话语进行判断。在阐明具有无意意义的言语行为的机制时,我们的解释提供了对沟通功能和故障的洞察。
2019-06-03 cs.AI cs.CL cs.LG
A Prior Distribution over Directed Acyclic Graphs for Sparse Bayesian Networks
本文的主要贡献是在有向无环图上提出了一种新的先验分布,它赋予稀疏图更大的权值。此分布适用于结构化贝叶斯网络,其中结构由有序块模型给出。也就是说,图的节点是属于类别(或块)的对象;块具有自然顺序。两个对象之间的关系的存在由箭头表示,从较低类别的对象到较高类别的对象。这里考虑的模型在Kemp et al.(2004)中针对关系数据进行了介绍,并在Mansinghka et al.(2006)中扩展到多变量数据。这里给出的图结构的先验有一个明确的公式。图的每一层中的节点的数量遵循Hoppe Ewens瓮模型。我们考虑图的节点表示随机变量的情况,其联合概率分布沿DAG分解。我们描述了蒙特卡罗计划,找到最佳的后验结构给定的数据矩阵和比较的性能与Mansinghka等人。(2006年),也与均匀的先验。
2015-04-25 stat.ML
A Multivariate Copula-based Bayesian Framework for Doping Detection
本文提出一种基于Copula的多元贝叶斯框架,扩展ADAPTIVE方法以同时分析多个生物标志物,用于提高兴奋剂检测的准确性。
2024-04-18 stat.AP stat.ME
Bayesian Transfer Learning for Artificially Intelligent Geospatial Systems: A Predictive Stacking Approach
University of Milano-Bicocca(米兰比可卡大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出基于预测堆叠的贝叶斯迁移学习框架,用于大规模地理数据的自动分析,实现高效的数据处理与推断,且无需人工干预。
2026-07-23 stat.CO stat.ME
Decentralized Finance and Local Public Goods: A Bayesian Maximum Entropy Model of School District Spending in the U.S
本文采用贝叶斯最大熵模型研究2000-2016年美国学区公立学校支出分布,揭示辖区竞争与家庭选择在统计均衡框架下对教育支出分配的关键作用,为地方公共物品去中心化供给的政策制定提供统计依据。
2024-04-26 econ.GN q-fin.EC stat.AP
Bayesian Manifold-Constrained-Prior Model for an Experiment to Locate Xce
我们提出了一个新的实验旨在定位的遗传位点Xce(X染色体控制元件),这偏向的随机过程的X失活在小鼠的分析。X失活偏差是一种现象,即胚胎中的细胞随机选择一条亲本染色体进行失活,但对一条亲本染色体表现出平均偏差。通过焦磷酸测序对未表征的亲本与已知载体的小鼠杂交进行等位基因特异性基因表达的测量。我们的贝叶斯分析是适合于这种自适应试验设计,占基因之间的偏差和精度的差异。模型的可识别性是由先验约束到一个流形。我们表明,重新参数化切片采样可以适当地解决一般类的约束先验。我们展示了一个物理模型,基于一个“加权硬币”的假设,预测X-失活率在未经测试的十字架。该模型表明,Xce等位基因的差异是由于称为拷贝数变异的过程,其中较强的Xce等位基因是较短的序列。
2018-12-20 q-bio.GN q-bio.QM stat.AP
BlackJAX: Composable Bayesian inference in JAX
Lancaster University(兰卡斯特大学);Aalto University(阿尔托大学);Google(谷歌公司);txt(.txt公司)
BlackJAX 是一个基于 JAX 的 Python 库,以函数式、可组合的方式实现贝叶斯采样与变分推断算法,兼顾易用性、速度与模块化,并支持 CPU、GPU 和 TPU。
2024-02-22 cs.LG cs.MS stat.CO
A Framework for the Bayesian Calibration of Complex and Data-Scarce Models in Applied Sciences
IMDEA Materials Institute(IMDEA材料研究所);Universidad Politécnica de Madrid(马德里理工大学)
本文提出了一种统一的贝叶斯校准框架,整合多种方法并提供开源库,以支持复杂模型在数据稀缺情况下的可靠校准。
2026-01-30 cond-mat.mtrl-sci math.OC math.ST
Learning-assisted Stochastic Capacity Expansion Planning: A Bayesian Optimization Approach
针对大规模随机容量扩展问题,提出一种基于贝叶斯优化的学习辅助近似求解方法,通过时间聚合替代问题降低成本,在新英格兰联合电力-天然气系统中节省高达3.8%的成本。
2024-07-17 cs.LG cs.SY eess.SY
BayesVarSel: Bayesian Testing, Variable Selection and model averaging in Linear Models using R
本文介绍了R软件包BayesVarSel,它实现了线性模型中假设检验和变量选择的客观贝叶斯方法。该软件包计算竞争假设/模型的后验概率,并提供了一套工具,特别是在文献中提出的,以正确总结结果。此外,\ourpack \还配备了计算几种类型的模型平均估计值和预测值的函数,这些模型平均估计值和预测值的权重由后验概率给出。BayesVarSel包含精确的算法,可以在小到中等大小的问题中执行快速计算,并包含启发式采样方法来解决大型问题。该软件旨在吸引广泛的用户,因此界面经过精心设计,非常直观,并受到著名的lm函数的启发。事先投入的问题得到认真处理。在默认使用中(用户完全自动),BayesVarSel实现了Bayarri等人(2012)提出的基于标准的先验,但高级用户可以使用文献中其他几种流行的先验。该软件包可通过Comprehensive R Archive Network,CRAN获得。我们用几个数据示例说明了BayesVarSel的使用。
2016-11-24 stat.OT
Bayesian Sequential Design Based on Dual Objectives for Accelerated Life Tests
传统的加速寿命试验计划通常基于优化C-最优性,以最小化寿命分布的感兴趣分位数的方差。传统的方法依赖于一些指定的规划值的模型参数,这通常是未知的,在实际测试之前。指定参数的模糊性可能导致优化预期可靠性性能的次优设计。本文提出了一种基于双目标考虑的寿命试验计划序贯设计策略。在序贯实验的早期阶段,我们建议在优化D-最优性的基础上分配更多的设计位置,以快速获得估计模型参数的精度。在实验的后期,我们可以在优化C-最优性的基础上分配更多的样本,以最大化寿命分布的估计分位数的精度。我们比较了建议的顺序设计策略与现有的测试计划只考虑一个单一的标准,并说明了新的方法与聚合物复合材料的疲劳测试的例子。
2018-11-30 stat.AP
A Bayesian approach to uncertainty in word embedding bias estimation
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);Basis Research Institute(基础研究院);The University of Gdansk(格但斯克大学)
针对现有词嵌入偏差单一数值度量方法易产生虚假置信度的问题,提出分层贝叶斯建模方法,可在不同粒度下更敏感地考察偏差不确定性,经多词表多嵌入验证及去偏差技术评估,揭示了更复杂的偏差图景。
2023-06-15 cs.CL cs.HC cs.LG
Introduction
马里兰大学帕克分校的统计学联合会在2008年4月30日至5月1日期间举办了一个为期两天的关于频繁使用者应该知道的贝叶斯方法的研讨会。该活动由数学统计研究所(IMS)、研究和方法办公室、国家卫生统计中心、美国统计协会调查研究方法科(SRMS)和华盛顿统计学会共同主办。讲习班的目的是展示贝叶斯统计在解决现实生活问题方面的积极特点,包括抽样调查和编制高质量官方统计数据方面的复杂问题。
2011-09-29 stat.ME
A Bayesian nonlinear stationary model with multiple frequencies for business cycle analysis
本文提出一种用于分析多重商业周期的非线性单误差源模型,允许不同周期类型、长度及时间可变振幅与相位偏移,结合贝叶斯框架与 MCMC 方法估计,应用于波兰 GDP 增长率揭示了投资与库存周期共存并支持概率化周期定年。
2024-06-04 stat.AP stat.ME
A note on auxiliary mixture sampling for Bayesian Poisson models
University of Bologna(博洛尼亚大学)
本文提出一种稳健的辅助混合采样算法,用于改进贝叶斯泊松模型中后验分布的采样效率,通过检测近似失败并引入Metropolis-Hastings步骤提升鲁棒性。
2025-02-07 stat.CO stat.ME
SunBURST: Deterministic GPU-Accelerated Bayesian Evidence via Mode-Centric Laplace Integration
Braude College of Engineering(布雷德工程学院)
SunBURST通过模式中心拉普拉斯积分实现高维贝叶斯证据计算,结合GPU并行加速,适用于高斯和近高斯后验,提供高精度且高效的结果。
2026-01-27 astro-ph.CO astro-ph.IM stat.CO
TWICEBEE: A Two-stage Intra-patient Curve-free Bayesian Decision-Theoretic Dose Escalation Design
Stanford University(斯坦福大学);Parker Institute for Cancer Immunotherapy(帕克癌症免疫治疗研究所)
针对多周期免疫治疗中毒性随周期递减的特点,提出两阶段患者内剂量递增设计,结合加速滴定与改进的无曲线贝叶斯决策理论框架,实现安全高效的剂量探索。
2026-06-17 stat.ME
The Parallel C++ Statistical Library for Bayesian Inference: QUESO
Queso是一个并行C++统计库,用于量化估计、模拟和优化的不确定性,是一个统计算法和编程结构的集合,支持对模型及其预测的不确定性的量化研究。Queso主要专注于使用贝叶斯定理解决统计逆问题,贝叶斯定理表示一组不确定参数的可能值的分布(后验分布),根据系统的现有知识(先验知识)和物理过程的噪声观测,由似然分布表示。后验分布通常不是解析已知的,因此需要计算方法。通常从后验分布计算概率和矩,但这通常是一个高维对象,并且用于求积的标准Reimann型方法变得过于昂贵。Queso在这方面采取的方法是依靠马尔可夫链蒙特卡罗(MCMC)方法,该方法非常适合于评估高维概率分布的概率和矩等数量。Queso的预期用途是作为一种工具,帮助和促进将不确定性量化耦合到称为前向问题的特定应用程序。虽然目前存在许多解决贝叶斯推断问题的库,但Queso是一个专门的软件,主要设计用于通过利用大规模前向问题所需的并行环境来解决此类问题。Queso是用C++编写的,使用MPI,并利用科学界已经可用的库。
2015-07-02 stat.CO
Fast and robust Bayesian Inference using Gaussian Processes with GPry
本研究提出无需预训练和专用硬件的 GPry 贝叶斯推断算法,结合高斯过程代理模型、支持向量机分类器与主动学习,大幅减少后验评估次数,在秒级以上似然评估场景下显著优于传统蒙特卡洛方法,已开源为 Python 包。
2022-12-17 astro-ph.CO astro-ph.IM stat.ME
Scale-Free Priors and Survival Dynamics: A Bayesian Framework for Conflict Duration
University of Cincinnati(辛辛那提大学)
提出一个完全贝叶斯生存分析框架,通过无标度先验和交互作用扩展,用于稀疏数据下系统寿命的推断,并以2026年美以-伊朗冲突为例展示其应用。
2026-05-31 physics.soc-ph stat.ME
Quantifying the Value of Privileged Information Using a PAC-Bayesian Approach
Leiden University(莱顿大学);Honda Research Institute Europe GmbH(本田欧洲研究院有限公司)
本文提出一种基于PAC-Bayes的算法无关信息论方法,通过比较有无特权信息时的最紧风险界来量化其潜在价值,并引入训练时指标,无需测试数据即可预测性能提升。
2026-09-14 cs.LG
A Bayesian approach for the analysis of error rate studies in forensic science
在过去的十年中,法医科学领域已经收到了美国国家科学院国家研究委员会,美国国家标准与技术研究所和美国总统科学技术顾问委员会的建议,以研究法医分析的有效性和可靠性。更具体地说,这些委员会建议对法医分析得出的错误结论的发生率进行估计。各种基于主观特征的比较方法的“黑箱”研究就是为了这个目的。一般来说,“黑盒”研究通常有不平衡的设计、不独立的比较和缺失数据。这些方面给分析结果带来困难,往往被忽视。相反,数据的解释依赖于假设观察和平衡实验之间独立的方法。此外,所有这些项目都是在频率论框架内解释的,并导致与置信区间相关的点估计,这对于沟通和理解是混乱的。我们建议使用现有的似然自由贝叶斯推断方法,称为近似贝叶斯计算(ABC),这是能够处理不平衡的设计,观测之间的依赖关系,和缺失数据。ABC允许研究感兴趣的参数,而无需求助于不连贯和误导性的不确定性测量,如置信区间。通过考虑来自给定考官的所有决策类别的信息和来自考官群体的信息,我们的方法还允许量化给定考官的错误风险,即使该考官没有记录错误。我们通过重新分析Ulery等人在2011年的“Noblis黑匣子”研究结果来说明我们提出的方法。
2019-06-06 stat.AP
Learning to bin: differentiable and Bayesian optimization for multi-dimensional discriminants in high-energy physics
RWTH Aachen University(亚琛RWTH大学)
本文提出了一种在多维判别器中进行的可微和贝叶斯优化方法,用于提高高能物理中的信号灵敏度。
2026-09-23 cs.LG hep-ex physics.data-an
Bayesian Inference of Mixing and Transmission Heterogeneity in Stratified Disease Surveillance Models
Oregon State University(俄勒冈州立大学)
提出一种贝叶斯潜变量扩展的内生-流行病模型,用于从分层疾病监测数据中推断未观测的个体传播性、疾病发生率与流行率的分离以及人口组间混合结构。
2026-05-27 stat.ME
Approximating Bayesian leave-one-group-out cross-validation
Aalto University(阿尔托大学);TU Dortmund University(多特蒙德工业大学)
针对留组交叉验证中期望对数预测密度估计的计算难题,提出结合重要性抽样与积分技术的新策略,经模拟和实证验证可显著提升可靠性。
2026-09-09 stat.CO stat.ME
Cross-validatory model selection for Bayesian autoregressions with exogenous regressors
针对贝叶斯自回归模型ARX(p,q),研究交叉验证方案的选择,发现联合密度评分优于逐点估计,并推导了有限样本分布,为实践者提供建议。
2023-10-10 stat.ME
Learning from Literature: Integrating LLMs and Bayesian Hierarchical Modeling for Oncology Trial Design
Yale Cancer Center, Yale School of Medicine(耶鲁癌症中心,耶鲁医学院);Pfizer Inc(辉瑞公司);Public Health Sciences Division, Fred Hutchinson Cancer Center(弗雷德·哈钦森癌症中心公共卫生科学部)
LEAD-ONC通过整合大语言模型和贝叶斯分层建模,利用文献数据优化肿瘤试验设计,预测生存差异和治疗益处。
2026-02-09 stat.AP
Low-rank statistical finite elements for scalable model-data synthesis
统计学习对物理推导的数学模型的补充在文献中越来越受到关注。最近的一种方法是用数据驱动的贝叶斯统计方法学来增强控制方程的基础物理。该方法通过在控制方程中嵌入随机强迫来承认先验模型的错误。在收到额外的数据,离散有限元解的后验分布更新使用经典贝叶斯滤波技术。由此产生的后验联合量化与模型误指定和数据旨在代表感兴趣的真实过程的普遍存在的问题相关联的不确定性。尽管有这种吸引力,计算的可扩展性是一个挑战statFEM的应用程序通常在物理和工业环境中经历的高维问题。本文通过嵌入底层稠密协方差阵的低秩近似值克服了这一障碍,该矩阵是从满秩替代方案的首阶模式中获得的。证明了一系列的反应扩散问题的维数增加,使用实验和模拟数据,该方法重建稀疏观测的数据生成过程,以最小的信息损失,在后验均值和方差,铺平了道路,进一步整合的物理和概率的方法来复杂的系统。
2022-03-21 cs.NA math.NA stat.ME
Generalization Bounds: Perspectives from Information Theory and PAC-Bayes
University College London(伦敦大学学院);Chalmers University of Technology(查尔姆斯理工大学);Inria(法国国家信息与自动化研究所);University of Illinois(伊利诺伊大学)
本专著系统性地统一了PAC-Bayes与信息论视角的机器学习泛化界,揭示了两者紧密联系与共享的模块化证明结构,并重点探讨了条件互信息(CMI)框架及其在深度学习中的应用。
2024-03-27 cs.AI cs.IT cs.LG
On the half-Cauchy prior for a global scale parameter
本文认为,在贝叶斯分层模型中,半柯西分布应取代逆Γ分布作为顶层尺度参数的默认先验,至少在需要适当先验的情况下是这样.我们的论点涉及贝叶斯和频率论推理的混合,旨在补充Gelman(2006)支持先验的折叠t家族的原始案例。首先,我们将半柯西先验推广到更广泛的超几何倒β先验。我们推导出后验矩和边际密度的表达式,当这些先验被用于贝叶斯分层模型中的顶级正态方差时。我们继续证明一个命题,连同结果的时刻和边际,使我们能够描述的频率风险的贝叶斯估计下所有的全球收缩先验的类。这些理论结果,反过来,使我们能够研究半柯西先验与广泛的一类替代品的频率属性。半柯西在这个类中占据了一个合理的“中间地带”:它在原点附近表现得很好,但在参数空间的其他部分不会导致剧烈的妥协。这为重复、常规地使用这个先验提供了一个替代的、经典的理由。我们还考虑的情况下,潜在的平均向量是稀疏的,我们认为,通常的共轭选择的逆伽马先验是特别不合适的,并可能导致高度扭曲的后验推理。最后,我们简要总结了层次模型中尺度项的默认先验规范中的一些公开问题。
2011-09-25 stat.ME
On the Posterior Computation Under the Dirichlet-Laplace Prior
本文揭示了Dirichlet-Laplace先验Gibbs采样实现中因算法步骤表述模糊导致的广泛不准确问题,并以正态均值和高维线性回归为例提出修正且更高效的采样方法。
2025-07-07 stat.ME
A Comparative study of Artificial Neural Networks Using Reinforcement learning and Multidimensional Bayesian Classification Using Parzen Density Estimation for Identification of GC-EIMS Spectra of Partially Methylated Alditol Acetates
本研究报告的模式识别搜索引擎的开发,基于万维网的数据库的气相色谱-电子轰击质谱(GC-EIMS)的部分甲基化糖醇乙酸酯(PMAAs)。在这里,我们还报告了本研究所采用的两种模式识别技术的比较结果。第一种技术是使用贝叶斯分类器和Parzen密度估计器的统计技术。第二种技术涉及用强化学习训练的人工神经网络模块。我们在这里证明,这两个系统在识别光谱与少量的噪声表现良好。这两种系统的性能都随着信噪比(SNR)的降低而降低。当处理部分光谱(缺失数据)时,人工神经网络系统表现得更好。所开发的系统是在万维网上实现的,并打算使用提交的光谱记录在任何GC-EIMS仪器上的这些分子来识别PMAAs。因此,该系统对GC-EIMS光谱中的仪器和色谱柱相关变化不敏感。
2020-07-31 cs.LG cs.NE eess.SP
Split Conformal Prediction with Label-Shift-Adjusted Bayesian Scores
MOGAM Institute for Biomedical Research(MOGAM生物医学研究所);CROID Research(CROID研究);aSSIST University(aSSIST大学)
针对标签偏移下共形预测失效问题,提出标签偏移调整的贝叶斯分数(LSA分数),通过后验预测倾斜恒等式修正贝叶斯分数,在分子性质预测中生成更短区间且覆盖相当。
2026-09-14 cs.LG
Optimization of time-consuming experimental conditions using pseudo-experimental data guided by adaptive polynomial regression
Graduate School of Science and Technology, Keio University(庆应义塾大学理工学研究科);Department of Biosciences and Informatics, Keio University(庆应义塾大学生物科学与信息学系)
研究针对实际实验科学中传统贝叶斯优化收敛性差的问题,开发PolyBO方法,利用自适应更新的通用参数模型生成高质量伪实验数据,结合实验数据更新代理模型,有效减少优化时间,在合成函数和实际问题中均有显著效果。
2026-07-27 cs.AI cs.LG