Memory by Design: Bayesian Layers for Sequence Modeling
Champalimaud Research, Champalimaud Foundation, Portugal（恰帕拉马德研究、恰帕拉马德基金会、葡萄牙）；Center for Neural Science, New York University, USA（神经科学中心、纽约大学、美国）；Center for Data Science, New York University, USA（数据科学中心、纽约大学、美国）；RyvivyR Inc., NY, USA（RyvivyR公司、纽约、美国）
提出设计-模型框架，通过精确贝叶斯滤波推导高效循环序列映射，线性高斯实例中的贝叶斯层传播均值和协方差以跟踪不确定性，统一多种次二次递归，并提升鲁棒性和长上下文检索。
2026-10-15 cs.LG stat.ML
Bayesian Posteriors Without Bayes' Theorem
经典的贝叶斯后验作为几个不同最优化问题的唯一解自然出现，而不需要将数据解释为条件概率，然后使用贝叶斯定理。例如，经典的贝叶斯后验是唯一的后验，它最大限度地减少了在结合先验分布和似然分布时香农信息的损失。这些结果，最近的结果合并的概率分布的直接推论，加强使用贝叶斯后验，并可能有助于部分调和经典和贝叶斯统计之间的一些差异。
2012-03-01 cs.IT math.IT math.PR
A XGBoost risk model via feature selection and Bayesian hyper-parameter optimization
Kennesaw State University（肯尼索州立大学）
本文旨在探索基于极端梯度提升（XGBoost）方法的商业风险分类模型。特征选择（FS）算法和超参数优化同时考虑在模型训练。五种最常用的FS方法，包括基尼加权，卡方加权，层次变量聚类，相关性加权和信息加权，以减轻冗余功能的影响。在XGBoost中应用了两种超参数优化方法：随机搜索（RS）和贝叶斯树结构Parzen估计（TPE）。通过Wilcoxon符号秩检验研究了不同FS和超参数优化方法对模型性能的影响。XGBoost的性能相比，传统上使用的逻辑斯谛回归（LR）模型的分类精度，曲线下面积（AUC），召回，和F1得分从10倍交叉验证。结果表明，层次聚类是LR的最佳FS方法，而卡方加权在XG-Boost中获得最佳性能。XGBoost中的TPE和RS优化都显著优于LR。TPE优化显示出优于RS的优势，因为它导致了显著更高的准确性和略高的AUC、召回率和F1评分。此外，具有TPE调谐的XGBoost显示出比RS方法更低的可变性。最后，基于XGBoost的特征重要性排序增强了模型的解释能力。因此，XGBoost与贝叶斯TPE超参数优化可作为业务风险建模的有效而强大的方法。
2019-01-24 cs.LG stat.ML
Bayesian Semiparametric Covariate Informed Multivariate Density Deconvolution
不同膳食成分长期平均摄入量的边际密度和联合密度的估计是营养流行病学中的一个重要问题。由于这些变量无法直接测量，因此通常以24小时回顾摄入量的形式收集数据。估计潜在的长期平均摄入量的密度的问题，从他们的观察，但错误污染的回忆，然后成为一个问题的多变量反卷积的密度。潜在的密度可能会随着受试者的人口统计学特征，如性别，种族，年龄等，在相关的精确测量的协变量的存在下，密度反卷积的问题，但是，从来没有被考虑过，甚至在单变量设置。我们提出了一个灵活的贝叶斯半参数方法协变量知情的多元反卷积。基于Copula反卷积和条件张量分解技术的最新进展，我们提出的方法不仅允许联合和边缘密度随相关预测因子灵活变化，而且允许自动选择最有影响力的预测因子。重要的是，该方法还允许感兴趣的密度和测量误差的密度随潜在的不同预测器组而变化。我们设计了马尔可夫链蒙特卡罗算法，可以实现高效的后验推理，适当地适应分析各个方面的不确定性。通过仿真实验验证了该方法的有效性。它的实际效用在上述营养流行病学应用中被证明是在估计不同膳食成分的协变量调整的长期摄入量。补充材料包括实质性的额外细节和R代码也可在线获得。
2022-05-17 stat.ME
Accurate Bayesian Data Classification without Hyperparameter Cross-validation
King’s College London（伦敦国王学院）
我们扩展了标准的贝叶斯多变量高斯生成数据分类器考虑的共轭，正常的Wishart先验分布的推广，并推导出的超参数分析通过证据最大化。在高维数据制度的最佳超参数的行为进行了探讨。所得到的广义模型的分类精度是有竞争力的国家的最先进的贝叶斯判别分析方法，但没有通常的交叉验证的计算负担。
2017-12-28 cs.LG math.ST stat.ME
Loss Functions in Restricted Parameter Spaces and Their Bayesian Applications
平方误差损失仍然是最常用的损失函数，用于构建感兴趣的参数的贝叶斯估计。然而，当参数被定义在受限空间中时，它可能导致次最优解。在极端高估和/或低估导致严重后果的情况下，它也可能是一个不适当的选择，更保守的估计是首选。我们提倡一类损失函数的参数定义在有限的空间，无限惩罚边界的决定一样，平方误差损失在真正的线。我们还回顾了损失函数的几个性质，如对称性，凸性和不变性。我们提出了广义的平方误差损失函数的参数定义在正实数线和区间。我们提供了明确的解决方案，相应的贝叶斯估计，并讨论多元扩展。{四}著名的贝叶斯估计问题被用来证明推理的好处，新的贝叶斯估计可以提供在限制估计的上下文中。
2019-02-22 math.ST stat.TH
BNP-Seq: Bayesian Nonparametric Differential Expression Analysis of Sequencing Count Data
我们在贝叶斯非参数框架下对高通量测序计数数据进行差异表达分析，去除了现有算法中通常需要的复杂的特设预处理步骤。我们建议使用伽马（β）负二项过程，它考虑到不同的测序深度，使用样本特异性负二项概率（分散）参数，通过比较基因特异性负二项分散（概率）参数的后验分布来检测差异表达的基因。这些模型参数是通过借用基因和样本的统计强度来推断的。模拟和真实世界的RNA测序计数数据上的广泛实验表明，所提出的差异表达分析算法明显优于先前提出的接收器操作特性和精确度-召回曲线下的区域。
2017-05-02 q-bio.GN stat.AP stat.ME
Hierarchical Bayesian Personalized Recommendation: A Case Study and Beyond
Facebook Inc（脸书公司）
现代推荐系统中的项目通常以层次结构组织。这些层次结构和其中的数据为构建个性化推荐系统提供了有价值的信息。在本文中，我们提出了一个通用的分层贝叶斯学习框架，即，\emph{HBayes}，学习结构和相关的潜在因素。此外，我们开发了一个变分推理算法，能够学习模型参数，经验收敛速度快。建议HBayes评估两个现实世界的数据集，从不同的领域。结果表明，我们的方法的项目推荐任务的好处，并表明，它可以优于国家的最先进的模型在精度，召回率和归一化的折扣累积增益。为了鼓励可重复的结果，我们在git repo上公开了我们的代码：\url{https://tinyurl.com/ycruhk4t}。
2019-08-20 cs.IR cs.LG stat.ML
Bayesian Semiparametric Multivariate Density Deconvolution via Stochastic Rotation of Replicates
我们考虑多变量密度反卷积的问题，其中随机向量的分布需要从被条件异方差测量误差污染的重复中估计。我们提出了一个概念上简单，但从根本上新颖的和高度鲁棒的方法，多变量密度反卷积随机旋转的复制对相应的真实潜在值。我们还解决了另外显着的挑战性问题，适应条件异方差测量误差在这个新引入的框架。我们采取贝叶斯路线估计和推理，通过一个有效的马尔可夫链蒙特卡罗算法，适当地适应在我们的分析的各个方面的不确定性。渐近收敛保证的方法也建立。我们通过模拟实验及其在估计不同膳食成分的长期联合平均摄入量中的实际效用，说明了该方法的经验功效，从受测量误差污染的24小时膳食回忆。
2022-11-28 stat.ME
Bayesian Optimization with Machine Learning Algorithms Towards Anomaly Detection
University of Western Ontario（西安大略大学）；University of Sharjah（沙迦大学）
网络攻击已经非常普遍，因为它们的速率正在急剧增长。组织和个人现在都关心他们的机密性，完整性和关键信息的可用性，这些信息经常受到网络攻击的影响。为此，已经开发了几种先前的基于机器学习的入侵检测方法，以保护网络基础设施免受此类攻击。本文提出了一种有效的异常检测框架，利用贝叶斯优化技术调整参数的支持向量机与高斯核（SVM-RBF），随机森林（RF），和k-最近邻（k-NN）算法。使用ISCX 2012数据集评估所考虑的算法的性能。实验结果表明，该框架的有效性，在准确率，精度，低误报率和召回。
2020-08-05 cs.LG cs.NI stat.ML
Bayesian estimation of Differential Transcript Usage from RNA-seq data
下一代测序允许鉴定由差异表达的转录物组成的基因，该术语通常指总体表达水平的变化。一种特定类型的差异表达是差异转录物使用（DTU），并且靶向转录物的相对基因表达内的变化。本文的贡献是：（a）将cjBitSeq的使用扩展到DTU上下文中，这是一种先前引入的贝叶斯模型，最初设计用于识别整体表达水平的变化，以及（b）提出DRIMSeq的贝叶斯版本，这是一种用于推断DTU的频率论模型。cjBitSeq是基于读取的模型，并且通过MCMC采样对每个基因的每个转录本的潜在状态的空间执行完全贝叶斯推断。BayesDRIMSeq是一个基于计数的模型，它使用拉普拉斯近似来估计DTU模型相对于空模型的贝叶斯因子。使用最近的独立模拟研究以及真实的RNA测序数据集，将所提出的模型与现有模型进行基准测试。我们的研究结果表明，贝叶斯方法在精确度/召回率方面表现出与DRIMSeq相似的性能，但提供了更好的错误发现率校准。
2017-09-28 q-bio.GN stat.AP stat.CO
A Bayesian Proportional Mean Model Using Panel Binary Data-An Application to Health and Retirement Study
针对面板二元复发事件数据缺乏贝叶斯方法的问题，提出贝叶斯比例均值模型及验证、选择与影响诊断技术，并通过模拟和 HRS 数据分析验证其有效性。
2025-03-15 stat.AP stat.ME
The rule of conditional probability is valid in quantum theory [Comment on Gelman & Yao's "Holes in Bayesian Statistics"]
在最近的一份手稿中，Gelman & Yao（2020）声称“条件概率的通常规则在量子领域失败”，“概率论不是真的（量子物理学）”，并声称用量子双缝实验的例子来支持这些陈述。本文的评论回顾了量子理论中的一些相关文献，并表明：（1）盖尔曼和姚的陈述是错误的;事实上，量子例子证实了概率论的规则;（2）在量子例子中发现的特殊不等式可以证明也出现在非常非量子的例子中，例如从一个瓮中绘画;因此在这件事上量子理论没有什么特别之处。引用的手稿中关于量子理论的一些错误或不精确的陈述也得到了纠正。
2020-07-31 quant-ph stat.OT
Consistency of Bayesian procedures for variable selection
人们早就知道，对于成对嵌套模型的比较，基于贝叶斯因子的决策会产生一致的模型选择器（在频率论意义上）。在这里，我们超越了通常的嵌套成对模型的一致性，并表明，对于广泛的一类先验分布，包括内在先验，相应的贝叶斯程序的变量选择在正态回归是一致的，在整个类的正常线性模型。我们发现，贝叶斯因子的渐近性的内在先验是等价的Schwarz（BIC）准则。此外，回想一下Jeffreys-Lindley悖论是指一个众所周知的事实，即当共轭先验的方差趋于无穷大时，正态均值参数上的一个点原假设总是可以接受的。这意味着某些极限形式的真先验分布不一定适合于检验问题。内在先验是适当的先验分布的限制，有限的样本量，他们已被证明表现非常好的回归变量选择的结果是，内在先验林德利悖论不会出现。
2009-04-20 math.ST stat.TH
Beyond Regrets: Geometric Metrics for Bayesian Optimization
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对现有贝叶斯优化性能度量忽略几何信息的问题，提出四个新的几何度量（精确率、召回率、平均度、平均距离）及其无参数形式，以更细致地评估算法。
2024-11-07 cs.LG stat.ML
Bayesian Semiparametric Multivariate Density Deconvolution
我们考虑多变量密度反褶积的问题时，兴趣在于估计的分布的向量值的随机变量，但精确的测量的变量的兴趣是不可用的，观察被污染的添加剂测量误差。关于该问题的现有稀疏文献假设测量误差的密度是完全已知的。当测量误差密度未知但复制代理可用于随机向量的每个未观测值时，我们提出了鲁棒贝叶斯半参数多元反卷积方法。另外，我们允许测量误差的可变性通过未知关系依赖于感兴趣的矢量的相关联的未观察值，这也自动包括多变量乘法测量误差的情况。有限混合模型、多元正态核和可交换先验的基本性质被以许多新颖的方式利用，以满足建模和计算的挑战。理论结果表明，所提出的方法的灵活性。我们通过仿真实验说明了所提出的方法在恢复感兴趣的真实密度的效率。该方法适用于估计联合消费模式的不同膳食成分污染的24小时召回。
2016-12-05 stat.ME
Bayesian Weapon System Reliability Modeling with Cox-Weibull Neural Network
Naval Surface Warfare Center – Corona（海军水面作战中心科罗纳分部）
本文提出将武器系统特征通过神经网络整合到Cox-Weibull可靠性模型中，并开发贝叶斯变体，利用区间删失似然和MCMC采样优化，在多项分类指标上优于XGBoost等传统模型。
2023-04-14 cs.AI cs.LG math.PR
Bayesian predictive inference without a prior
设$(X_n:n\ge 1)$为随机观测序列。设$σ_n(\cdot)=P\bigl(X_{n+1}\in\cdot\mid X_1,\ldots,X_n\bigr)$为第$n$个预测分布，$σ_0(\cdot)=P(X_1\in\cdot)$为$X_1$的边缘分布。在贝叶斯框架中，要对$(X_n)$进行预测，只需要集合$σ=(σ_n:n\ge 0)$。由于Ionescu-Tulcea定理，$σ$可以直接分配，而无需通过通常的先验/后验方案。一个主要优点是不必选择先验概率。在本文中，$σ$受到两个要求：（i）所得到的序列$(X_n)$是条件同分布的，在Berti，Pratelli和Rigo（2004）的意义下;（ii）每个$σ_{n+1}$是$σ_n$的简单递归更新。介绍并研究了满足（i）-（ii）的各种新的$σ$。对于这样的$σ$，确定$σ_n$的渐近性，作为$n\rightarrow\infty$。在某些情况下，还评估了$(X_n)$的概率分布。
2021-04-26 math.ST stat.ME stat.TH
Bayesian model selection for linear regression
在这篇笔记中，我们介绍了线性回归与基函数，以应用贝叶斯模型选择。我们的目标是结合贝叶斯分析提供的奥卡姆剃刀，以便自动选择能够最佳地解释数据而不过度拟合的模型。
2015-12-15 math.ST stat.ME stat.TH
When Is a Graph a Covariance? Bayesian Residual Propagation under Covariance Uncertainty
Brigham Young University（杨百翰大学）
本研究提出贝叶斯残差协方差模型，在协方差不确定性下推导最优线性更新恒等式，并在八个图基准上验证，多数情况下优于残差传播，但密集异质图上表现较差。
2026-10-06 math.ST stat.ML stat.TH
LSBN: A Large-Scale Bayesian Structure Learning Framework for Model Averaging
Shanghai Jiao Tong University（上海交通大学）；East China Normal University（华东师范大学）
本文的动机是在大规模网络中使用模型平均的贝叶斯结构学习。目前，贝叶斯模型平均算法适用于只有几十个变量的网络，受到其超指数复杂度的限制。我们提出了一个新的框架，称为LSBN（大规模贝叶斯网络），使它有可能处理网络与无限大小的原则，分而治之。LSBN的方法包括三个步骤。一般来说，LSBN首先使用二阶划分策略执行划分，从而获得更鲁棒的结果。LSBN在每个重叠社区内进行抽样和结构学习，然后通过马尔可夫毯将社区与其他变量隔离开来。最后，LSBN采用了一种有效的算法，将重叠的社区结构合并为一个整体。通过与ARACNE、PC、Greedy Search和MMHC等四种最先进的大规模网络结构学习算法的比较，LSBN在五个常用的基准数据集上的查准率、查全率和f-score等性能指标都表现出相当的结果。同时，LSBN使得以往难以解决的大规模贝叶斯结构学习问题通过模型平均成为可能。总之，LSBN为网络结构的重构提供了一个可扩展的并行框架。此外，重叠社区的完整信息作为副产品，可以用来挖掘生物网络中的有意义的集群，如蛋白质-蛋白质相互作用网络或基因调控网络，以及在社会网络。
2012-10-18 cs.LG stat.ML
Convergence rate of Bayesian tensor estimator: Optimal rate without restricted strong convexity
Tokyo Institute of Technology（东京工业大学）
本文研究了贝叶斯低秩张量估计的统计收敛速度。我们的问题设置是回归问题，其中估计数据的张量结构。这种问题设置在许多实际应用中出现，例如协同过滤、多任务学习和时空数据分析。的收敛速度进行了分析，在样本内和样本外的预测精度。它示出了一个接近最优的速率实现没有任何强凸性的观察。此外，我们表明，该方法具有自适应的真实张量的未知秩，也就是说，接近最优的速度取决于真实的秩，即使它是不知道的先验。
2014-08-13 cs.LG stat.ML
Posterior Summarization for Variable Selection in Bayesian Tree Ensembles
Northwestern University（西北大学）；Rice University（莱斯大学）
针对贝叶斯树集成变量选择的后验汇总问题，提出VC-度量及聚类阈值，该方法适配BART变体，在大规模基准测试中提升F1值，与DART结合后平衡了召回率、精度与效率。
2026-08-25 stat.ME
Bayesian Optimization with Exponential Convergence
MIT（麻省理工学院）
本文提出了一种指数收敛的贝叶斯优化方法，它不需要辅助优化，也不需要增量覆盖抽样。大多数贝叶斯优化方法需要辅助优化：一个额外的非凸全局优化问题，这可能是耗时的，很难在实践中实现。此外，现有的具有指数收敛的贝叶斯优化方法需要访问增量覆盖采样，这被认为是不切实际的。我们的方法消除了这两个要求，并实现了指数收敛速度。
2016-04-05 cs.LG stat.ML
Coin Sampling: Gradient-Based Bayesian Inference without Learning Rates
Lancaster University（兰卡斯特大学）
针对SVGD等ParVI方法依赖学习率调参的问题，提出基于coin betting的无学习率粒子化贝叶斯推断方法，在高维模型与数据集上达到与现有ParVI算法相当的性能。
2023-06-01 cs.LG stat.ML
Comparison of Bayesian and Frequentist Multiplicity Correction For Testing Mutually Exclusive Hypotheses Under Data Dependence
考虑了用相依检验统计量检验互斥假设的问题。贝叶斯和频率论方法的多重性控制进行了研究和比较，以帮助获得理解的效果，检验统计量依赖于每种方法。贝叶斯方法被证明具有优良的频率特性，并被认为是最有效的方式获得频率多重控制，而不牺牲权力，当有相当大的检验统计量依赖。
2016-11-17 math.ST stat.TH
Bayesian Regression of Piecewise Constant Functions
我们推导出一个精确和有效的贝叶斯回归算法的分段常数函数的未知段数，边界位置和水平。它适用于任何噪声和段级先验，例如可以处理离群值的Cauchy。我们得到简单，但很好的估计段内方差。我们还提出了贝叶斯回归曲线作为平滑数据而不模糊边界的更好方法。贝叶斯方法还允许直接确定证据、断裂概率和误差估计，这对于模型选择以及显著性和稳健性研究非常有用。我们讨论了合成和现实世界的例子的性能。将讨论许多可能的扩展。
2006-06-13 cs.LG math.PR math.ST
Bayesian experimental design without posterior calculations: an adversarial approach
贝叶斯试验设计的大多数计算方法需要对大量潜在设计和/或模拟数据集重复进行后验计算。这可能是昂贵的，并且禁止将这些方法扩展到具有许多参数的模型或具有许多未知数的设计。我们引入了一种有效的替代方法，无需后验计算，基于优化费舍尔信息的预期轨迹，如Walker（2016）所讨论的。我们说明了这种方法的缺点，包括缺乏不变性重新参数化和鼓励设计，其中一个参数组合推断准确，但不是任何其他。我们表明，这些可以避免使用对抗性的方法：实验者必须选择他们的设计，而批评家试图选择最不利的参数化。我们提出了这种方法的理论特性，并表明它可以与基于梯度的优化方法在实践中有效地找到设计。
2021-11-17 stat.CO
A Probabilistic Adaptive Search System for Exploring the Face Space
Escuela Superior Politecnica del Litoral (ESPOL)（滨海高等理工学院（ESPOL））
人脸回忆是人类日常进行的基本认知过程，例如，当我们遇到一个人，并确定我们是否见过这个人之前。通过建议候选面孔来帮助受试者回忆面孔可能具有挑战性。其中一个原因是搜索空间-人脸空间-相当大并且缺乏结构。面部回忆的一个商业应用是面部合成系统--如Identikit、PhotoFIT和CD-FIT --证人在其中搜索与他对特定罪犯的记忆相似的面部图像。目标函数评估中固有的不确定性和成本、搜索空间的大尺寸和缺乏结构以及梯度概念的不可用性使得该问题不适合于传统的优化方法。在本文中，我们提出了一种新的进化方法来搜索人脸空间，可以用作一个面部合成系统。该方法受到贝叶斯优化方法的启发，与其他应用不同之处在于使用偏正态分布作为其采集函数。这种采集函数的选择提供了更大的粒度，具有正则化、保守和现实的结果。
2016-04-28 cs.CV stat.ML
Towards On-Chip Bayesian Neuromorphic Learning
Virginia Tech（弗吉尼亚理工大学）；Argonne National Laboratory（阿贡国家实验室）
如果边缘设备要部署到关键应用程序中，它们的决策可能会产生严重的财务、政治或公共卫生后果，那么当它们不确定如何对环境做出反应时，它们将需要一种方式来发出信号。例如，丢失的送货无人机可能会返回配送中心或联系客户，如果它对如何准确送货感到困惑，而不是采取“最有可能”正确的行动。这一问题在医疗保健或军事应用中更为复杂。然而，类脑计算算法所要解决的大脑真实感时间信用分配问题是一个难点。权重在基于反向传播的学习中扮演的双重角色，决定了网络如何对输入和反馈做出反应，需要解耦。e-prop 1是一种很有前途的学习算法，它通过广播对齐（一种在反馈期间用随机权重替换网络权重的技术）和累积的本地信息来解决这个问题。我们调查在什么条件下的贝叶斯损失项可以表示在一个类似的方式，提出了一个算法，可以计算只有本地信息，以及因此没有更难实现的硬件。该算法展示了一个存储召回问题，这表明它可以学习随着时间的推移做出的决策的良好的不确定性。
2020-05-05 cs.LG cs.NE stat.ML
What is the `relevant population' in Bayesian forensic inference?
在讨论法庭上出示法医证据的贝叶斯范例的著作中，经常提到“相关人群”的概念，但没有明确界定其含义，也没有就如何选择此类人群提出建议。本文旨在更好地理解这一概念。我们的分析旨在足够普遍，以适用于不同的法医技术，我们将考虑DNA分析和说话人识别作为例子。
2014-03-24 stat.AP
High-Dimensional Sparse Bayesian Learning without Covariance Matrices
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Athinoula A. Martinos Center for Biomedical Imaging（阿瑟努拉·A·马蒂诺斯生物医学成像中心）；Harvard Medical School（哈佛医学院）
稀疏贝叶斯学习（SBL）是解决稀疏编码问题的一个强大框架。然而，最流行的推理算法SBL变得过于昂贵的高维设置，由于需要存储和计算一个大的协方差矩阵。我们引入了一个新的推理方案，避免了显式的协方差矩阵的建设，并行求解多个线性系统，以获得后验矩的SBL。我们的方法耦合一个鲜为人知的对角估计结果，从数值线性代数与共轭梯度算法。在几次模拟中，我们的方法在计算时间和内存方面比现有方法更好，特别是对于能够快速矩阵向量乘法的结构化字典。
2022-02-25 cs.LG eess.SP stat.CO
Without Pain -- Clustering Categorical Data Using a Bayesian Mixture of Finite Mixtures of Latent Class Analysis Models
本文提出一种贝叶斯两层有限混合模型，用潜在类别分析近似簇分布，结合伸缩采样器和标签切换处理，实现对未知簇数多元分类数据的简约聚类，并在模拟和下背痛数据上验证了有效性。
2024-07-07 stat.ME
Continuous Monitoring of A/B Tests without Pain: Optional Stopping in Bayesian Testing
A/B测试是统计理论在现代互联网时代最成功的应用之一。原假设统计检验（NHST）是A/B检验方法学的主干，它的一个问题是不允许实验者对结果进行连续监测和实时决策。许多人认为这种限制是对实时数据分析技术趋势的一种挫折。近年来，贝叶斯假设检验，直观上是更适合于实时决策，吸引了越来越多的兴趣作为替代NHST。虽然NHST的连续监测设置的校正在现有的文献中已经建立，并且在A/B测试社区中是已知的，但是关于连续监测是否是贝叶斯测试中的适当实践的问题的争论存在于学术研究人员和全科医生中。在本文中，我们正式证明了贝叶斯测试的有效性与连续监测时，适当的停止规则使用，并说明了理论结果与具体的模拟说明。我们指出了常见的不良做法，停止规则是不适当的，也比较我们的方法NHST更正。还为研究人员和从业人员提供了一般准则。
2016-02-17 stat.AP
"Not only defended but also applied": The perceived absurdity of Bayesian inference
在另一个方向上，许多贝叶斯主义者的传教热情与一些理论家的观点相匹配，他们认为贝叶斯方法是荒谬的，不仅是被误导，而且在原则上显然是错误的。我们考虑几个例子，开始与费勒的经典文本的概率论，并继续与最近的情况下，如感知贝叶斯性质的所谓世界末日的论点。我们在这篇文章中分析了对贝叶斯统计的各种误解背后的知识背景，而不是针对这种解雇的原因进行完整的历史报道。
2012-06-09 math.ST stat.OT stat.TH
Encoding Domain Knowledge in Multi-view Latent Variable Models: A Bayesian Approach with Structured Sparsity
German Cancer Research Center (DKFZ)（德国癌症研究中心（DKFZ））；German Cancer Consortium (DKTK)（德国癌症联盟（DKTK））；Goethe University Frankfurt（法兰克福歌德大学）；Frankfurt Cancer Institute（法兰克福癌症研究所）
许多真实世界的系统不仅由来自单个源的数据描述，而且还通过多个数据视图来描述。例如，在基因组医学中，患者可以通过来自不同分子层的数据来表征。具有结构化稀疏性的潜变量模型是一种常用的工具，用于解开数据视图内和跨数据视图的变化。然而，它们的可解释性是繁琐的，因为它需要领域专家对每个因素进行直接检查和解释。在这里，我们提出了MuVI，一种新的多视图隐变量模型的基础上修改马蹄先验建模结构稀疏。这有利于有限的和嘈杂的领域知识的结合，从而允许以固有的可解释的方式对多视图数据进行分析。我们证明了我们的模型（i）在重建误差和精度/召回方面优于最先进的结构化稀疏建模方法，（ii）以特征集的形式稳健地集成了噪声领域的专业知识，（iii）促进了因素的可识别性，（iv）推断出癌症患者真实世界多视图数据集中可解释的和生物学上有意义的变异轴。
2023-03-15 cs.AI cs.LG stat.ML
Kernel Methods for Bayesian Elliptic Inverse Problems on Manifolds
研究了流形上偏微分方程（PDE）的贝叶斯反问题的构造和实现。具体地说，我们研究的逆问题，确定扩散系数的二阶椭圆型偏微分方程的闭流形从噪声测量的解决方案。受流形学习技术的启发，我们用一个基于核的积分算子来近似椭圆微分算子，该算子可以通过蒙特卡洛离散化，而不需要参考黎曼度量。由此产生的计算方法是无网格的，易于实现，并且可以在不完全了解底层流形的情况下应用，前提是流形样本的点云可用。我们采用贝叶斯的角度来看，逆问题，并建立一个上限的全变差之间的距离的真实后验和近似后定义的核前向映射。支持的数值结果表明所提出的方法的有效性。
2019-10-23 cs.NA math.NA math.ST
Bayesian Credibility for GLMs
我们重新审视Jewell和Bühlmann的经典可信度结果，以使用现代贝叶斯方法获得GLM的可信度溢价。这里，可以无限制地选择先验分布与响应分布共轭。如果精算师愿意，它甚至可以来自样本外的信息。然后，我们使用“真实”和估计模型之间的相对熵作为损失函数，而不限制可信度溢价是线性的。一个真实数据的数值例子显示了这种方法的可行性，现在计算能力很便宜，模拟软件也很容易获得。
2018-08-16 stat.AP
Bayesian Parameter Identification for Jump Markov Linear Systems
本文提出了一种跳变马尔可夫线性系统参数辨识的贝叶斯方法。一个主要的动机是提供准确的量化参数的不确定性，而不依赖于渐近的数据长度参数。为了实现这一点，本文详细介绍了粒子吉布斯抽样方法，提供所需的后验分布的样本。这些样本是通过利用修改后的离散粒子滤波器和精心选择的共轭先验。
2021-02-10 cs.SY eess.SY stat.AP
Linear Embedding-based High-dimensional Batch Bayesian Optimization without Reconstruction Mappings
Graduate School of Information Science and Technology（信息科学技术研究生院）；The University of Tokyo（东京大学）；NTT Communication Science Laboratories（NTT通信科学实验室）；Epistra Inc.（Epistra公司）
高维黑箱函数的优化是一个具有挑战性的问题。现有的贝叶斯优化（BO）方法在假设低维线性嵌入结构时，往往将原问题转化为低维空间的优化问题。他们利用低维结构，减少计算负担。然而，我们发现，这种方法可能是有限的或效率低下，在探索高维空间，主要是由于偏见重建的高维查询从低维查询。在本文中，我们研究了一种简单的替代方法：使用来自学习的低维结构的信息在原始高维空间中解决问题。我们提供了一个理论分析的探索能力。此外，我们表明，我们的方法是适用于批量优化问题的数千维没有任何计算困难。我们证明了我们的方法在高维基准和现实世界的功能的有效性。
2022-11-02 cs.LG stat.ML
How To Grade a Test Without Knowing the Answers --- A Bayesian Graphical Model for Adaptive Crowdsourcing and Aptitude Testing
Microsoft Research（微软研究院）
我们提出了一个新的概率图形模型，共同模拟问题的难度，参与者的能力和正确的答案，在能力倾向测试和众包设置的问题。我们设计了一个主动学习/自适应测试计划的基础上，贪婪的预期模型熵最小化，它允许一个更有效的资源分配，通过动态选择下一个问题要问的基础上以前的反应。我们目前的实验结果，确认我们的模型推断所需的参数的能力，并证明自适应测试方案需要更少的问题，以获得相同的精度作为一个静态的测试方案。
2012-06-27 cs.AI cs.LG stat.ML
Time-Varying Bayesian Optimization Without a Metronome
EPFL（苏黎世联邦理工学院）
针对时变贝叶斯优化中恒定观测频率假设不现实的问题，本文推导显式纳入采样频率变化的遗憾上界，并据此提出数据集与陈旧数据策略建议，使 BOLT 在合成和真实实验中优于现有方法。
2026-09-25 cs.LG stat.ML
Transportability without Graphs: A Bayesian Approach to Identifying s-Admissible Backdoor Sets
本文提出了一种贝叶斯方法，通过结合观察和实验数据识别s-可接受后门集，以实现跨群体的无偏因果效应估计。
2026-02-02 cs.LG stat.ML
General Bayesian Updating and the Loss-Likelihood Bootstrap
在本文中，我们重新审视加权似然自助法，一种从参数模型的近似贝叶斯后验生成样本的方法。我们表明，相同的方法可以得到，没有近似，在贝叶斯非参数模型与参数定义为最小化预期的负对数似然未知的抽样分布下的利益。这种解释使我们能够将加权似然自助法扩展到参数的后验抽样，以最大限度地减少预期损失。我们称这种方法为损失似然自助法。我们在此和一般贝叶斯更新之间建立了联系，贝叶斯更新是一种更新先验置信分布的方法，而无需构建全局概率模型，但需要校准两种形式的损失函数。损失似然自举法用于通过匹配渐近费舍尔信息来校准一般贝叶斯后验。我们证明了一些例子的方法。
2018-05-22 stat.ME stat.ML
Inherent Difficulties of Non-Bayesian Likelihood-based Inference, as Revealed by an Examination of a Recent Book by Aitkin
几十年来，统计学家一直试图在不打破贝叶斯鸡蛋的情况下准备贝叶斯煎蛋卷;也就是说，在不依赖信息丰富的先验分布的情况下获得基于概率似然的推断。最近的一个例子是Murray Aitkin的新书《{ \em统计推断}》，其中提出了一种基于竞争模型下可能性的后验分布比较的统计假设检验方法。Aitkin通过一些简单的例子，从iid数据和双向独立性测试中推断出他的方法。我们在这份说明中分析了其中采用的推理范式的一些后果，讨论了为什么这种方法是不兼容的贝叶斯的角度来看，为什么我们不认为它相关的应用工作。
2011-11-06 stat.ME stat.OT
A note on the Karhunen-Loève expansions for infinite-dimensional Bayesian inverse problems
Shanghai Jiao Tong University（上海交通大学）
本文探讨了截断卡尔文-洛埃夫展开在无限维逆问题中的应用，证明在特定条件下，误差界可无需解知即可估计。
2014-12-30 cs.NA math.NA math.ST
Bayesian Multi-scale Modeling of Factor Matrix without using Partition Tree
多尺度因子模型对于分析矩阵或张量值数据特别有吸引力，因为它们对局部几何形状的适应性和直观的解释。然而，依赖于二叉树进行递归划分在参数空间中产生了高复杂性，使得量化其不确定性极具挑战性。在这篇文章中，我们发现了一种使用简单的矩阵运算生成多尺度矩阵的替代方法：从每列具有两个唯一值的随机矩阵开始，其Cholesky白化变换遵循递归划分结构。这使我们能够考虑一个生成的分布与常见的多尺度因子模型，并通过哈密顿蒙特卡罗有效的后验计算的大先验支持。我们在多尺度因子模型中展示了它的潜力，可以为人脑连接找到更广泛的感兴趣区域。
2020-02-25 stat.ME
Weak neural variational inference for solving Bayesian inverse problems without forward models: applications in elastography
Technical University of Munich（慕尼黑工业大学）；Munich Data Science Institute（慕尼黑数据科学研究所）
提出弱神经变分推断（WNVI）方法，通过加权残差作为探针在无前向模型下求解高维贝叶斯逆问题，将状态变量视为潜变量并用神经网络逼近逆映射，在弹性成像实验中展现出高准确度、高效率及处理不适定问题的能力。
2024-07-30 cs.LG stat.ML
Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly
Carnegie Mellon University（卡内基梅隆大学）
贝叶斯优化（BO）是指一套用于全局优化昂贵的黑盒函数的技术，它使用函数的内省贝叶斯模型来有效地搜索最优值。虽然BO已成功地应用于许多应用程序，但现代优化任务带来了新的挑战，传统方法通常会失败。在这项工作中，我们介绍了Dragonfly，一个用于可扩展和健壮BO的开源Python库。Dragonfly结合了多个最近开发的方法，允许BO应用于具有挑战性的现实世界的设置;这些方法包括更好的方法，用于处理高维域，用于处理多保真度评估的方法时，廉价的近似昂贵的功能是可用的，方法优化结构化的组合空间，如空间的神经网络架构，并处理并行评估的方法。此外，我们在BO中开发了新的方法改进，用于选择贝叶斯模型，选择采集函数，并优化具有不同变量类型和附加约束的复杂域。我们比较Dragonfly的一套其他软件包和算法的全局优化，并证明，当上述方法集成，它们使BO的性能显着改善。Dragonfly库可以在dragonfly.github.io上找到。
2020-04-19 cs.AI cs.LG stat.ML
Safe Imitation Learning via Fast Bayesian Reward Inference from Preferences
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Applied Research Laboratories, The University of Texas at Austin（德克萨斯大学奥斯汀分校应用研究实验室）
通过演示进行贝叶斯奖励示教学习，可在执行模仿学习时进行严格的安全性和不确定性分析。然而，贝叶斯奖励学习方法对于复杂的控制问题通常是计算上难以处理的。我们提出了贝叶斯奖励外推（贝叶斯REX），一个高效的贝叶斯奖励学习算法，规模高维模仿学习的问题，通过预训练低维特征编码通过自我监督的任务，然后利用偏好的演示，以执行快速贝叶斯推理。Bayesian REX可以从演示中学习玩Atari游戏，而无需访问游戏分数，并且可以在个人笔记本电脑上仅用5分钟就从奖励函数中生成100，000个样本。贝叶斯REX还导致模仿学习性能与仅学习奖励函数的点估计的最新方法竞争或更好。最后，Bayesian REX能够在不访问奖励函数样本的情况下进行高效的高置信度策略评估。这些高置信度性能界限可用于对各种评估策略的性能和风险进行排名，并提供一种检测奖励投机行为的方法。
2020-12-17 cs.LG stat.ML
A Bayesian Approach to Linking Data Without Unique Identifiers
现有的文件链接方法可能会产生次优的结果，因为它们既不考虑不同的匹配记录对之间的相互作用，也不考虑变量之间的关系，是专属于一个文件。此外，许多当前的方法未能解决链接中的不确定性，这可能导致对变量之间的关系的过于精确的估计，而这些变量仅限于其中一个文件。贝叶斯方法的记录链接可以减少在估计的科学关系的利益和提供区间估计，占的不确定性的联系，但是，这些方法的实施往往是复杂的和计算密集型的。本文介绍了Python编程语言的gfs_sampler包，它利用贝叶斯方法进行文件链接。在gfs_sampler中实现的链接过程从模型参数的联合后验分布和链接排列中采样。该算法将文件链接问题看作是一个缺失数据问题，并生成多个链接数据集。为了计算效率，仅存储连接排列，并且单独使用每个排列执行多个分析。这种实现降低了链接过程的计算复杂性和研究人员分析链接数据集所需的专业知识。我们描述了在gfs_sampler包中实现的算法及其统计基础，并演示了其在样本数据集上的使用。
2021-09-27 stat.CO
Meta-analysis of Bayesian analyses
本文提出一个框架，将多个相关贝叶斯研究的后验分布组合进行荟萃分析，能重用预计算后验、事后更新局部后验以共享统计强度，并适用于无似然贝叶斯分析。
2024-10-14 stat.ME
Inferring constructs of effective teaching from classroom observations: An application of Bayesian exploratory factor analysis without restrictions
使用标准化的课堂观察工具对教师的教学实践进行评级越来越多地用于研究和教师问责制。有多种工具在使用中，每一个试图评估教学和课堂活动的许多方面，很少有人知道什么基本的教学质量属性正在衡量。我们使用从458名中学数学和英语语言艺术教师收集的多个工具的数据，通过建模高质量教学的潜在结构，为教师绩效评估的研究和实践提供信息。我们使用贝叶斯探索性因子分析（EFA）的一种新方法对这些结构进行推断，该方法与贝叶斯EFA中识别因子载荷的常用方法不同，它对数据维度的排序方式是不变的。将这种方法应用于课程评级揭示了数学和英语语言艺术中两种不同的教学结构：（1）教学实践的质量;（2）教师课堂管理的质量。我们展示了这些结构的关系，教学质量的其他指标，包括教师的内容知识和学生的标准化考试成绩。
2015-11-17 stat.AP
Bayesian Deep Convolutional Networks with Many Channels are Gaussian Processes
Google Brain（谷歌大脑）；Microsoft Research AI（微软人工智能研究院）；University of Cambridge（剑桥大学）
在宽全连接神经网络（FCN）和高斯过程（GP）之间存在先前确定的等价性。例如，这种等价性使得能够计算由完全贝叶斯的无限宽训练的FCN产生的测试集预测，而无需实例化FCN，而是通过评估相应的GP。在这项工作中，我们推导出具有和不具有池化层的多层卷积神经网络（CNN）的类似等价性，并在CIFAR 10上实现了不具有可训练内核的GP的最新结果。我们还介绍了蒙特卡罗方法来估计GP对应于一个给定的神经网络架构，即使在情况下，分析形式有太多的条款是计算上可行的。令人惊讶的是，在没有池化层的情况下，对应于具有和不具有权重共享的CNN的GP是相同的。因此，平移等方差，在用随机梯度下降（SGD）训练的有限通道CNN中是有益的，保证在无限通道限制的贝叶斯处理中不起作用-这是两种机制之间的定性差异，在FCN情况下不存在。我们通过实验证实，虽然在某些情况下，随着信道数量的增加，SGD训练的有限CNN的性能接近相应的GP，但仔细调整SGD训练的CNN可以显着优于其相应的GP，这表明SGD训练与完全贝叶斯参数估计相比具有优势。
2020-08-21 cs.AI cs.LG cs.NE
