Bayesian dynamic financial networks with time-varying predictors
本文提出了一种动态网络推理中包含时变预测变量的贝叶斯非参数模型。该模型被用来推断在全球金融危机期间金融市场之间的依赖结构，估计口头和物质的合作努力的效果。有趣的是，我们学到了传染效应，在金融危机期间，语言关系的影响越来越大，而在美国房地产泡沫期间，结果正好相反。
2014-03-10 stat.AP stat.ME
A Bayes interpretation of stacking for M-complete and M-open settings
在没有真正的模型可以概念化的M-开放问题中，通常会从建模中退出，只寻求良好的预测。即使在M-完全问题中，采用预测方法也是非常有用的。堆叠是一种模型平均过程，它通过使用优化交叉验证标准的权重组合模型列表中的各个预测因子来给出复合预测因子。我们表明，堆叠权重也渐近最小化后验预期损失。因此，我们正式提供了交叉验证的贝叶斯理由。通常，权重被限制为正值并且总和为1。为了更大的一般性，我们省略了积极性约束，并放宽了“总和为一”的约束。一个关键问题是“平均值中应该有哪些预测因素？“我们首先验证堆叠误差仅取决于模型的跨度。然后，我们建议使用数据中的引导样本来生成可用于形成模型的经验基础元素。我们在两个计算示例中使用它来给出堆叠预测器，这些预测器是（i）数据驱动的，（ii）相对于组件预测器的数量最优，以及（iii）相对于每个预测器获得的权重最优。
2016-02-16 math.ST stat.TH
Projection-pursuit Bayesian regression for symmetric matrix predictors
本文提出一种针对对称矩阵预测变量的贝叶斯多指标回归方法，利用投影寻踪结构并施加稀疏先验，通过贝叶斯回拟进行推断，在模拟和脑连接数据案例中验证了有效性。
2024-07-18 stat.ME
Traffic Flow Forecasting Using a Spatio-Temporal Bayesian Network Predictor
Tsinghua University（清华大学）
提出了一种新的交通流预测模型--时空贝叶斯网络预测模型。与现有的方法不同，我们的方法结合了所有的空间和时间信息，在交通网络进行我们的交通流量预测的当前站点。采用Pearson相关系数对输入变量（交通流）进行排序预测，并采用最佳优先策略选择一个子集作为贝叶斯网络的原因节点。在时空贝叶斯网络中，给定导出的原因节点和相应的结果节点，采用高斯混合模型描述输入和输出之间的统计关系。最后，在最小均方误差（M.M.S.E.）准则下进行交通流预测。北京市城市车流数据的实验结果验证了时空贝叶斯网络预测器的有效性。
2017-12-24 cs.AI stat.AP
Classical and bayesian componentwise predictors for non-compact correlated ARH(1) processes
考虑一类特殊的一阶标准高斯自回归希尔伯特过程（Gaussian ARH（1）过程），其线性自相关算子有界，不满足通常的Hilbert-Schmidt假设.为了补偿自相关算子的对角系数的缓慢衰减，假设新息过程的迹自协方差算子的特征值具有更快的衰减速度。通常，ARH（1）过程的自协方差算子的特征向量被考虑用于投影，因为这里假设它们是已知的。研究了自相关算子的对角分量经典估计和偏最小二乘估计在预测中的应用。证明了这两个估计量及其相关的ARH（1）插件预测量的渐近有效性和等价性。进行了模拟研究，以说明理论推导的结果。
2018-09-04 math.ST stat.AP stat.OT
Regional summaries of Bayesian model uncertainty
Department of Mathematics and Statistics（数学与统计学系）；University of Calgary（卡尔加里大学）；Eastern Kentucky University（东部 Kentucky 大学）
针对预测变量冗余导致后验质量分散的问题，提出通过密度比后验压缩生成硬或软支持区域报告，提供可计算的失真度量、诊断指标和误差界，实现用少量区域替代大量单个支持并保持主要后验信息。
2026-10-20 cs.LG stat.ME stat.ML
Bayesian Effect Fusion for Categorical Predictors
在本文中，我们提出了一个贝叶斯方法，以获得一个稀疏表示的分类预测的影响，在回归型模型。由于分类预测因子的效应由一组水平效应捕获，因此稀疏性不仅可以通过排除单个不相关水平效应来实现，还可以通过排除与预测因子关联的整组效应或通过融合对响应具有基本相同效应的水平来实现。为了实现这一目标，我们提出了一个先验，它允许几乎完美的，以及几乎为零的水平影响之间的依赖先验。我们展示了如何通过指定与一个分类预测因子相关的所有效应差异上的尖峰和平板先验分布来获得此先验，以及如何实现限制性融合。提出了一种有效的后验计算MCMC方法。所提出的方法的性能进行了研究模拟数据。最后，我们说明了它的应用程序的实际数据从欧盟SILC。
2017-11-16 stat.CO
Bayesian multinomial regression with class-specific predictor selection
考虑一个多项回归模型，其中的响应表示一个单元在几个可能的无序类之一中的成员资格，并与一组预测变量相关联。这样的模型通常包括回归系数矩阵，该矩阵的$(j,k)$元素调节第$k$预测器对单元属于第$j$类的倾向的影响。因此，只有可用预测因子的子集与响应相关联的假设对应于系数矩阵的某些列为零。在贝叶斯范式下，与响应相关的预测因子子集可以被视为未知参数，从而导致典型的贝叶斯模型选择和模型平均过程。作为一种替代方案，我们调查模型选择和平均，从而系数矩阵的各个元素的子集为零。也就是说，与属于一个类别的倾向相关联的预测因子的子集随类别而变化。我们将此称为类特定的预测器选择。我们认为，这样的计划可以是有吸引力的概念和计算的理由。
2009-01-27 stat.AP
A generalized Bayesian approach for high-dimensional robust regression with serially correlated errors and predictors
本文提出基于缩放伪Huber损失的广义贝叶斯方法，用于高维稳健回归，在序列相关误差和预测变量下实现无需调节参数选择的正式统计推断，并通过适当先验保证稀疏高维设置中参数估计和变量选择的理论性质与稳健性能。
2025-03-12 math.ST stat.CO stat.ME
Joint Bayesian Variable and DAG Selection Consistency for High-dimensional Regression Models with Network-structured Covariates
考虑了高维回归模型中协变量的回归系数和协变量的协方差阵的联合稀疏估计问题，其中预测变量既与响应变量相关，又通过高斯有向无圈图（DAG）模型在函数上相互关联.高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性，而稀疏性模式又对应于对基础预测变量的特定条件独立性假设。近年来已经开发了各种方法贝叶斯推理在确定这样的网络结构的预测回归设置，但这些模型的重要稀疏性选择属性还没有得到彻底的研究。本文研究了一类在回归系数上具有spike和slab先验的递阶模型和一类在逆协方差阵的Cholesky因子上具有多个形状参数的灵活且一般的DAG-Wishart分布.在温和的规律性假设下，我们建立了联合选择一致性的变量和潜在的DAG的协变量时，预测的维度允许增长远远大于样本量。我们证明了我们的方法优于现有的方法在选择网络结构的预测在几个模拟设置。
2020-04-20 math.ST stat.ME stat.TH
A Bayesian Mixture Model for Changepoint Estimation Using Ordinal Predictors
在回归模型中，具有固有排序的预测变量，如肿瘤分期范围和ECOG体力状态，在医疗环境中很常见。在统计学上，可能很难确定有序预测变量的函数形式。通常，这样的变量根据它是高于还是低于某个截止值而被二分。其他方法方便地将有序预测因子视为连续变量，并假设与结果呈线性关系。然而，任意选择一种方法可能会导致不准确的推断和处理。在本文中，我们提出了一个贝叶斯混合模型，同时评估适当的形式的预测回归模型，通过考虑存在一个变点，通过镜头的阈值检测问题。通过使用混合模型框架来考虑变量的二分和线性形式，估计是线性和二进制参数化的加权平均。该方法适用于连续、二元和生存结局，并且易于进行惩罚回归。我们评估了所提出的方法，使用模拟研究，并将其应用到两个真实的数据集。我们提供JAGS代码以便于实现。
2020-08-01 stat.ME
A Bayesian Evaluation Framework for Subjectively Annotated Visual Recognition Tasks
University of Notre Dame（圣母大学）；Perceptive Automata（感知自动机公司）
自动视觉识别的一个有趣的发展是任务的出现，在这些任务中，不可能为图像分配客观的标签，但仍然可以收集反映人类对它们的判断的注释。用于这些任务的基于机器学习的预测器依赖于对注释器的行为进行建模的监督训练，即，一般人对一个图像的判断是什么呢？这类工作的一个关键的开放问题，特别是对于与人类行为不一致可能导致道德失误的应用，是如何评估训练有素的预测者的认知不确定性，即，来自预测模型的不确定性。我们提出了一个贝叶斯框架来评估黑箱预测在这个制度，不可知的预测的内部结构。该框架规定了如何估计的认知不确定性，来自预测相对于人类的标签，通过近似的条件分布，并产生一个可信的区间的预测和他们的措施的性能。该框架被成功地应用到四个图像分类任务，使用主观的人类判断：面部美容评估，社会属性分配，表观年龄估计，和模糊的场景标记。
2021-09-01 cs.CV cs.LG stat.ML
Bayesian Regression with Undirected Network Predictors with an Application to Brain Connectome Data
本文提出了一种贝叶斯方法，回归连续标量响应和无向网络预测。无向网络预测器通常用对称邻接矩阵表示，矩阵的行和列表示节点，零条目表示两个对应节点之间没有关联。网络预测器矩阵通常在任何分析之前被向量化，因此无法考虑网络中的重要结构信息。这导致在小样本量的情况下推断和预测性能较差。我们提出了一类新的网络收缩先验的系数对应的无向网络预测。所提出的框架被设计为检测网络中的节点和边缘预测的响应。我们的框架是使用一个有效的马尔可夫链蒙特卡罗算法。仿真研究的实证结果表明，与普通的高维贝叶斯收缩先验和惩罚优化方案相比，所提出的框架具有显着优越的推理和预测增益。我们将我们的方法应用于大脑连接体数据集，该数据集包含大脑网络的信息以及多个人的创造力测量。在这里，兴趣在于建立一个回归模型的创造力措施的网络预测，以确定重要的区域和连接在大脑中与创造力密切相关。据我们所知，我们的方法是第一个原则性的贝叶斯方法，能够在小样本量的情况下检测大脑中积极影响连续反应（创造力）的科学可解释区域和连接。
2018-03-28 stat.ME
Modular Bayes screening for high-dimensional predictors
在许多应用领域中，随着多维预测因子的常规收集，快速识别有希望的预测因子的小子集的筛选方法已经变得司空见惯。我们提出了一种新的模数贝叶斯筛选（MOBS）方法，其中涉及几个新的特点，可能会导致性能的提高。MOBS首先将贝叶斯混合模型应用于响应的边缘分布，获得混合权重的后验样本、集群特定参数和每个主题的集群分配。然后引入假设检验，对应于是否包括给定的预测因子，每个假设的后验概率可有条件地分析在第一阶段中采样的未知数，并调整控制跨测试的信息借用的参数。通过对第一阶段后验样本进行边缘化，我们避免了两阶段方法中典型的不确定性估计不足。通过使用{ \em模块化}，我们大大简化了模型规范，降低了计算复杂度。我们为这种方法提供了基本的理论支持，并说明了在模拟研究中相对于竞争对手的出色性能，以及捕捉复杂变化的能力，超越了简单的差异。该方法说明了基因组学的应用程序，通过使用一个非常高维的顺式eQTL数据集，约38万个SNP。
2017-03-29 stat.ME
Bayesian Variable Selection for High-Dimensional Predictors with Missing Psychometric Outcomes
Vanderbilt University Medical Center（范德堡大学医学中心）；University of California, Riverside（加州大学河滨分校）
针对心理测量中高维多模态预测变量与缺失多变量结果，提出SHIM贝叶斯框架，结合层次马蹄收缩与缺失结果处理，模拟验证平衡灵敏度与假阳性，并应用于阿尔茨海默病队列。R包shim已公开。
2026-09-11 stat.AP stat.ME
A Cheat Sheet for Bayesian Prediction
本文系统梳理贝叶斯预测的核心概念、四类通用方法、预测器选择策略及大规模观测数据场景下的新技术，并指出若干待解决的开放问题。
2025-02-05 stat.ME
Variability as a Predictor: A Bayesian Variability Model for Small Samples and Few Repeated Measures
虽然大多数心理学研究集中在手段的差异，越来越多的文献表明，考虑个体内变异的差异的价值。与用于分析平均差异的方法数量相比，用于分析个体内变异性的方法很少，特别是当变异性被视为预测因子时。本文首先回顾了作为结果的个体内变异性分析方法，包括个体标准差（ISD）和一些最新的方法。然后，我们介绍了一种新的贝叶斯方法来分析个体内变异作为预测因子。为了使研究社区更容易使用这种方法，我们开发了一个开源R包VARIAN。为了比较使用所提出的贝叶斯分析对ISD作为回归预测器的参数估计的准确性，我们进行了模拟研究。然后，我们展示了，使用经验数据，如何估计的个体内变异来自所提出的贝叶斯分析可以用来回答以下两个问题：（1）是在床上的日常时间的个体内变异与主观睡眠质量？(2)主观睡眠质量介导卧床时间变异性和抑郁症状之间的关联吗？最后，我们讨论了方法和实际考虑，可以帮助指导研究人员选择方法来评估个体内变异。
2014-11-11 stat.AP
Bayesian Nonparametric Covariance Regression
虽然有丰富的文献中的方法，允许在一个单变量回归模型的方差随预测因子，时间和其他因素而变化，相对较少的多变量的情况下做。我们的重点是发展一类非参数协方差回归模型，它允许一个未知的p × p协方差阵灵活地改变预测。所提出的建模框架通过因子模型中依赖于预测因子的载荷矩阵的先验，在由预测因子索引的协方差阵集合上诱导先验。特别地，依赖于预测器的加载被表征为未知字典函数（例如，高斯过程随机函数）的集合的稀疏组合。然后，诱导协方差是这些字典元素的正则化二次函数。我们提出的框架导致了一个高度灵活的，但计算上易于处理的配方与简单的共轭后验更新，可以很容易地处理缺失数据。理论特性进行了讨论，并通过模拟研究和应用程序的谷歌流感趋势数据的方法进行说明。
2011-02-08 stat.ME stat.ML
RoBART: Bayesian Additive Regression Trees with Tree-Specific Rotations
Yonsei University（延世大学）
RoBART通过为每棵树分配旋转，使BART能高效逼近轴不对齐的边界，并在理论上证明其适应内在维度而轴对齐BART不能。
2026-10-08 cs.LG math.ST stat.ML
flexBART: Flexible Bayesian regression trees with categorical predictors
针对传统BART独热编码分类预测变量导致划分受限的问题，提出可将多水平分配到节点两分支的flexBART，并新增空间数据决策规则先验，提升了预测性能与大数据扩展性。
2024-08-12 stat.ME stat.ML
Targeted empirical Bayes for more supervised joint factor analysis
针对标准联合贝叶斯因子模型在响应变量不依赖预测因子主导主成分时难以识别信号的问题，提出靶向响应预测性能的经验贝叶斯方法估计残差方差，提升了模拟效果，并应用于环境暴露健康效应评估的NHANES数据。
2025-05-16 stat.ME
Bayesian Conditional Tensor Factorizations for High-Dimensional Classification
在许多应用领域中，收集分类响应和高维分类预测因子的数据，目标是在对重要预测因子进行推断的同时构建用于分类的简约模型。在基因组学等环境中，预测因子之间可能存在复杂的相互作用。通过使用一个精心构造的塔克分解，我们定义了一个模型，可以描述任何条件概率，同时促进变量的选择和建模的高阶相互作用。贝叶斯方法之后，我们提出了一个马尔可夫链蒙特卡罗算法的后验计算容纳不确定性的预测要包括在内。在近稀疏假设下，后验分布的条件概率实现接近参数率的收缩，即使在超高维设置。使用模拟的例子和生物医学应用程序的方法进行说明。
2013-01-21 stat.ME
Predictor-Informed Bayesian Nonparametric Clustering
本文提出了一种基于预测器的贝叶斯非参数聚类方法，通过灵活的潜在组划分提升聚类效果，并在真实数据中验证了其预测能力。
2025-12-10 stat.ME
A partial graphical model with a structural prior on the direct links between predictors and responses
本文研究了具有结构贝叶斯惩罚的部分图模型的估计问题。确切地说，我们对线性回归设置感兴趣，其中通过潜在的高维预测因子和多个响应之间的直接联系进行估计，因为已知高斯图形模型仅能够显示直接联系，而线性回归中的系数包含直接和间接关系（由于变量之间的强相关性，\textit{e.g.}）。一个光滑的惩罚反映了广义高斯贝叶斯先验的协变量，无论是强制执行模式（如行结构）的直接链接或调节预测的联合影响。我们给出了一个理论保证我们的方法，采取的形式上的估计误差的上界的高概率，提供了适当的正则化模型。对合成数据和真实数据集进行了实证研究。
2021-05-22 math.ST stat.AP stat.TH
BOAT: Navigating the Sea of In Silico Predictors for Antibody Design via Multi-Objective Bayesian Optimization
MRC Biostatistics Unit, University of Cambridge（剑桥大学生物统计学单位）；Centre for AI, Data Science and Artificial Intelligence, R&D, AstraZeneca（人工智能、数据科学和人工智能研究中心，阿斯利康研发部）
本文提出BOAT框架，通过贝叶斯优化与遗传算法联合优化抗体多属性，解决抗体设计中的多目标优化问题，展示其在序列空间中的高效探索能力。
2026-04-15 cs.LG q-bio.QM stat.ML
Adaptive Bayesian density regression for high-dimensional data
密度回归提供了一种灵活的策略，用于对给定预测因子$\mathbf{X}=(X_1,\ldots,X_p)$的响应变量$Y$的分布进行建模，方法是将给定$\mathbf{X}$的$Y$的条件密度作为完全未知的函数，并允许其形状随$\mathbf{X}$的值而变化。预测因子$p$的数量可能非常大，可能比观测值$n$的数量大得多，但假设条件密度仅取决于数量少得多的未知预测因子。除了估计之外，目标还在于选择实际影响真实条件密度的重要预测因子。本文考虑了一种基于样条函数的张量积构造随机序列先验的非参数贝叶斯密度回归方法。所提出的先验也包含变量选择的问题。我们发现，后验分布的条件密度合同自适应的真理几乎在最佳的预言率，由未知的稀疏性和光滑度水平，即使在超高的设置，其中$p$呈指数增长与$n$。结果也被扩展到各向异性的情况下，光滑度可以在不同的方向上变化，随机和确定性的预测被认为是。我们还提出了一种技术来计算后验矩的条件密度函数，而不需要马尔可夫链蒙特卡罗方法。
2016-01-06 math.ST stat.ME stat.TH
Bayesian Optimality of In-Context Learning with Selective State Spaces
School of AI and Advanced Computing（人工智能与先进计算学院）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）
本文提出基于选择性状态空间的上下文学习的贝叶斯最优性，通过元学习潜在序列任务，证明其在高斯状态空间模型中实现最优预测，优于传统梯度下降方法。
2026-02-19 cs.CL cs.LG math.ST
A Bayesian Sparse Kronecker Product Decomposition Framework for Tensor Predictors with Mixed-Type Responses
针对超高维张量预测变量下混合类型响应建模难题，提出贝叶斯稀疏克罗内克积分解框架，结合收缩先验与数据增广实现高效计算，证明后验性质，在模拟和真实影像数据上表现优于现有方法。
2025-05-20 stat.ME
Beyond NNGP: Large Deviations and Feature Learning in Bayesian Neural Networks
Dipartimento di Matematica Università di Pisa（数学系，比萨大学）
本文提出了一种超越NNGP的贝叶斯神经网络方法，通过大偏离理论直接在函数层面进行特征学习，有效捕捉非高斯尾部和数据依赖的核选择效应。
2026-02-26 cs.LG stat.ML
Simple Bayesian testing of scientific expectations in linear regression models
科学理论通常可以使用线性回归模型中相对效应的等式和顺序约束来制定。例如，可以预期第一预测器的效果大于第二预测器的效果，并且预期第二预测器大于第三预测器。然后，我们的目标是将这些期望与竞争性的科学期望或理论进行测试。本文提出了一种简单的默认贝叶斯因子检验，用于检验具有等式和顺序约束的多个假设对兴趣效应的影响。所提出的测试标准可以计算，而不需要外部先验信息的预期效果之前，观察数据。该方法在名为“{ \tt lmhyp}”的R包中实现，该包可免费下载并随时可用。使用社会和行为科学的实证应用程序的方法和软件的可用性进行说明。
2019-01-29 stat.ME
Bayesian dynamic variable selection in high dimensions
提出了一种变分贝叶斯算法，用于时变参数（TVP）模型的后验和预测推理。在这种情况下，我们指定了一个新的动态变量/模型选择策略的TVP动态回归模型中存在大量的预测。该策略允许在单个时间段内评估哪些预测因子与预测因变量相关（或不相关）。新的算法进行了评估，数值模拟使用合成数据，其计算优势。使用美国的宏观经济数据，我们发现，回归模型，结合了随时间变化的参数与信息，在许多预测有可能改善预测的价格通胀的替代预测模型。
2020-05-06 econ.EM stat.CO
Flexible cost-penalized Bayesian model selection: developing inclusion paths with an application to diagnosis of heart disease
本文提出一种灵活成本惩罚的贝叶斯模型选择方法，通过可调先验和包含路径可视化，帮助医疗从业者在考虑预测变量成本的情况下选择有用子集，并在心脏病诊断数据上验证其有效性。
2024-05-06 stat.ME
Classifier Learning with Supervised Marginal Likelihood
有人认为，在监督分类任务中，在实践中，相对于一些更集中的模型选择得分（如监督（条件）边际似然），而不是相对于标准边际似然标准，执行模型选择可能更明智。然而，对于大多数贝叶斯网络模型，计算监督边际似然得分需要相对于观察到的数据量呈指数级的时间。在本文中，我们考虑诊断贝叶斯网络分类器的显着模型参数表示类变量的条件分布，给定的预测变量的值，在这种情况下，监督边际似然可以计算在线性时间相对于数据。由于模型参数的数量在这种情况下相对于预测因子的数量呈指数增长，我们专注于简单的诊断模型，其中相关的预测因子的数量是小的，并建议两种方法应用这种类型的模型分类。第一种方法是基于简单诊断模型的混合，而在第二种方法中，我们应用简单诊断模型的小预测集来增强朴素贝叶斯分类器。
2013-01-10 cs.LG stat.ML
Tractable Bayesian Density Regression via Logit Stick-Breaking Priors
人们越来越关注响应变量的分布如何随一组预测变量而变化。贝叶斯非参数依赖混合模型提供了一种灵活的方法来解决这个问题。然而，几个公式需要计算要求高的算法后验推理。基于这个问题，我们研究了一类预测依赖的无限混合模型，它依赖于一个简单的表示的棒断裂先验通过顺序逻辑斯谛回归。该公式保持了与流行的预测依赖棒断裂先验相同的理想特性，并利用最近的Pólya-gamma数据增强来促进后验推理的几种计算方法的实现。这些例程包括马尔可夫链蒙特卡罗通过吉布斯抽样，期望最大化算法，和平均场变分贝叶斯可扩展的推理，从而刺激了更广泛的实施贝叶斯密度回归的从业者。与这些方法相关的算法详细介绍，并在毒理学研究中进行测试。
2020-05-04 stat.CO
Bayesian Compressed Regression
作为高维回归中变量选择或收缩的替代方案，我们建议在分析之前随机压缩预测因子。这极大地减少了存储和计算瓶颈，当预测器可以投影到低维线性子空间时表现良好，并且关于响应的信息损失最小。与现有的贝叶斯降维方法相反，压缩数据的精确后验分布条件是分析可用的，加速了许多数量级的计算，同时还绕过了由于MCMC的收敛和混合问题而引起的鲁棒性问题。模型平均用于降低对随机投影矩阵的敏感性，同时适应子空间维度中的不确定性。强有力的理论支持的方法显示近参数收敛速度的预测密度在大p小n渐近范例。在模拟和实际数据应用中说明了相对于竞争对手的实际性能。
2013-03-22 cs.LG stat.ML
Bayesian inference in high-dimensional linear models using an empirical correlation-adaptive prior
在高维线性回归模型的背景下，我们提出了使用经验相关自适应先验，利用观察到的预测变量矩阵中的信息来自适应地解决高共线性，确定与相关预测变量相关的参数是否应该收缩在一起或保持分开。在适当的条件下，我们证明了这种经验贝叶斯后验以最优速率渐近地集中在真实稀疏参数周围。采用霰弹枪随机搜索算法的简化版本来实现变量选择过程，通过不同设置和真实数据应用的模拟实验，我们表明，与现有方法相比，所提出的方法具有良好的性能。
2018-10-01 math.ST stat.ME stat.TH
BANANAS: Bayesian Optimization with Neural Architectures for Neural Architecture Search
Stanford University（斯坦福大学）；Petuum Inc.（Petuum公司）
在过去的五年中，许多方法被认为是神经结构搜索（NAS）。贝叶斯优化（BO），长期以来一直成功的超参数优化，最近出现了作为一个非常有前途的战略NAS时，它与神经预测器。最近的工作提出了该框架的不同实例，例如，使用贝叶斯神经网络或图卷积网络作为BO内的预测模型。然而，这些论文中的分析通常集中在成熟的NAS算法上，因此很难判断框架的哪些单独组件会导致最佳性能。在这项工作中，我们给出了一个彻底的分析“BO +神经预测器”的框架，确定五个主要组成部分：架构编码，神经预测器，不确定性校准方法，采集功能和采集优化策略。我们为每个组件测试了几种不同的方法，并为神经架构开发了一种新的基于路径的编码方案，我们在理论上和经验上都证明了它比其他编码更好。使用我们所有的分析，我们开发了一个最终的算法称为BANANAS，它实现了国家的最先进的性能NAS搜索空间。我们坚持NAS研究清单（Lindauer和Hutter 2019）以促进最佳实践，我们的代码可在https://github.com/naszilla/naszilla上获得。
2020-11-02 cs.LG cs.NE stat.ML
Bayesian Chain Graph LASSO Models to Learn Sparse Microbial Networks with Predictors
微生物组数据需要统计模型，这些模型可以同时解码微生物对环境的反应和微生物之间的相互作用。虽然多响应线性回归模型似乎是一个简单的解决方案，我们认为，把它作为一个图形模型是有缺陷的，因为它不代表邻接矩阵的回归系数矩阵不编码的响应和预测节点之间的条件依赖结构。这一观察结果在生物学环境中尤其重要，因为我们对特定实验干预的边缘有先验知识，而这些知识只能在条件依赖模型下正确编码。在这里，我们提出了一个链图模型与两组节点（预测和响应），其解决方案产生一个图形的边缘，确实代表条件依赖，因此，同意实验者的直觉的平均行为下的节点治疗。我们的模型的解决方案是稀疏通过贝叶斯LASSO。此外，我们提出了一个自适应的扩展，使不同的收缩可以适用于不同的边缘，将边缘特定的先验知识。我们的模型是通过一个有效的吉布斯抽样算法计算成本低廉，并可以通过适当的层次结构，二进制，计数和成分的反应。我们将我们的模型应用于人类肠道和土壤微生物组成数据集，并强调CG-LASSO可以估计数据中有生物意义的网络结构。CG-LASSO软件作为R软件包可在https://github.com/YunyiShen/CAR-LASSO上获得。
2022-07-23 stat.AP stat.ME
Bayesian Space-time SIR modeling of Covid-19 in two US states during the 2020-2021 pandemic
本文描述了2020-2021年期间美国两个对比州的3波新冠肺炎疫情的贝叶斯SIR建模。各种模型在县一级的拟合优度进行评估，并评估混杂的预测。结果发现，模型与三个剥夺的预测和邻里效应是重要的。此外，谷歌移动性的工作指数也被发现为传输动态提供了更多的解释。
2022-02-21 stat.AP
B-MASTER: Scalable Bayesian Multivariate Regression for Master Predictor Discovery in Colorectal Cancer Microbiome-Metabolite Profiles
Virginia Commonwealth University（弗吉尼亚联邦大学）；Harvard Medical School（哈佛医学院）；Rice University（莱斯大学）；University of Missouri（密苏里大学）
提出可扩展贝叶斯多元回归框架B-MASTER，结合L1稀疏性和L2组收缩，识别系统性调控代谢组的微生物属，并在结直肠癌数据中发现关键主预测因子。
2026-06-01 stat.ME
Bayes-xG: Player and Position Correction on Expected Goals (xG) using Bayesian Hierarchical Approach
Cardiff University（卡迪夫大学）
本研究提出Bayes-xG贝叶斯分层xG校正方法，通过对多联赛射门数据的分析，验证了球员层面效应对xG的持续影响，同时指出先验分布可优化以提升复杂模型构建效率。
2023-11-22 cs.LG stat.AP
Improving Geopolitical Forecasts with Bayesian Networks
Université du Québec à Montréal（魁北克大学蒙特利尔分校）
本研究通过比较贝叶斯网络与逻辑回归等方法，发现贝叶斯网络在地缘政治预测中表现出色，但需进一步优化以提高准确性。
2026-01-19 cs.LG stat.AP
Holes in Bayesian Statistics
每一种哲学都有漏洞，指出这些问题是哲学支持者的责任。以下是贝叶斯数据分析中的一些漏洞：（1）条件概率的通常规则在量子领域失败，（2）平坦或弱先验导致对我们关心的事情的可怕推断，（3）主观先验是不连贯的，（4）贝叶斯决策选择了错误的模型，（5）贝叶斯因子在平坦或弱先验存在的情况下失败，（6）由于Cantorian的原因，我们需要检查我们的模型，但这破坏了贝叶斯推理的一致性。贝叶斯统计的一些问题是由于人们试图做他们不应该做的事情而产生的，但其他漏洞并不那么容易修补。特别是，避免平坦的、弱的或传统的先验可能是一个好主意，但如果遵循这样的建议，将违背绝大多数贝叶斯实践，并要求我们面对贝叶斯推理的基本不一致性。这并不意味着我们认为贝叶斯推理是一个坏主意，但它确实意味着贝叶斯逻辑和贝叶斯工作流之间存在紧张关系，我们认为只有将贝叶斯逻辑视为一种工具，一种揭示模型假设中不可避免的不匹配和不连贯性的方式，而不是将其本身视为目的，才能解决这一问题。
2020-11-10 math.ST stat.ME stat.TH
Identification of stable models via nonparametric prediction error methods
最近的一系列论文提出了一种新的线性系统辨识贝叶斯方法。其主要思想是框架的线性系统识别的预测估计在无限维空间中，正则化/贝叶斯技术的帮助下。这种方法保证了基于预测误差最小化的稳定预测器的识别。不幸的是，预测器的稳定性并不保证系统的脉冲响应的稳定性。在本文中，我们提出并比较了各种技术来解决这个问题。比较这些技术的模拟结果将被提供。
2015-07-02 stat.ML
Bayesian Environment Invariant Regression
Fudan University（复旦大学）；University of Pennsylvania（宾夕法尼亚大学）
本文提出一种贝叶斯框架，通过分离共享响应机制与环境特定关联，识别环境不变的预测变量。方法利用异质性进行结构学习，并通过竞争性尖峰- slab先验强制预测变量在不变和非不变效应间竞争。
2026-04-28 stat.ME
What is the best predictor that you can compute in five minutes using a given Bayesian hierarchical model?
本文的目标是为统计学家提供一种方法来回答本文标题中提出的问题，使用他们选择的任何贝叶斯分层模型，而不施加额外的限制性模型假设。我们的动机是，"大数据“的兴起给统计人员直接将其方法应用于大数据集带来了困难。我们引入了一个“数据子集模型”流行的“数据模型，过程模型，参数模型”的框架，用于总结贝叶斯分层模型。数据子集模型的超参数被构造性地指定，因为它们被选择为使得子集的隐含大小满足预定义的计算约束。因此，这些超参数有效地将统计模型校准到计算机本身，以在预先指定的时间量内获得预测/估计。提供了数据子集模型的几个属性，包括：适当性，部分充分性和半参数属性。此外，我们还证明了正态分布数据的子集在合理的约束下是渐近部分充分的。模拟数据集的结果将在不同的计算机上显示，以显示计算机对统计分析的影响。此外，我们提供了两个不同的环境数据集的联合空间分析。
2019-12-10 stat.ME
Bayesian shrinkage methods for partially observed data with many predictors
出于阵列技术的日益使用和快速变化的动机，我们考虑拟合线性回归的预测问题，该线性回归将连续结果$Y$与大量协变量$\mathbf {X}$（例如，来自当前最先进技术的测量值）相关联。对于大多数样本，仅结局$Y$和替代协变量$\mathbf {W}$可用。这些替代数据可能来自使用较旧技术的先前研究。由于问题的维度和大部分丢失的信息，一个关键问题是适当的收缩模型参数的最佳偏差方差权衡。我们讨论了各种完全贝叶斯和经验贝叶斯算法，占缺失数据的不确定性和自适应收缩参数估计优越的预测。这些方法通过全面的模拟研究进行评估。此外，我们将我们的方法应用于肺癌数据集，使用qRT-PCR（$\mathbf {X}$）和微阵列（$\mathbf {W}$）测量预测生存时间（$Y$）。
2014-01-10 stat.AP
PAC-Bayesian Bounds for Deep Gaussian Processes
变分逼近技术和机器学习中随机模型的推理在过去几年中得到了广泛的关注。特别是在高斯过程（GP）及其深度版本，深度高斯过程（DGP）的情况下，这些观点改进了最先进的工作。在本文中，我们介绍了可能近似正确（PAC）贝叶斯风险界的DGP利用变分近似。我们证明了PAC-Bayesian推广风险界的最小化使得属于特定DGP模型的变分下界最大化。我们推广的损失函数属性的对数似然损失函数的PAC-Bayesian风险界的二次形式高斯的情况下。给出了一致性结果，并给出了一个预言型不等式的见解，在原始模型（预测无变分近似）和我们的变分模型（预测的变分近似）之间的收敛性。此外，我们给出了我们的主要定理的特定假设和参数的情况下的扩展。此外，我们还通过实验展示了两个深度递归高斯过程（DRGP）建模时间序列的一致性结果的演变，即递归高斯过程（RGP）和具有变分稀疏谱近似的DRGP，即DRGP-（V）SS。
2019-09-22 math.ST stat.TH
NPENAS: Neural Predictor Guided Evolution for Neural Architecture Search
Xidian University（西安电子科技大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）
神经网络结构搜索是一种很有前途的自动设计神经网络结构的方法。NAS采用一种搜索策略来探索预定义的搜索空间，以最小的搜索代价找到性能优异的体系结构。贝叶斯优化和进化算法是两种常用的搜索策略，但它们存在计算量大、实现困难或搜索能力低的问题。本文提出了一种神经预测器引导的进化算法，以增强进化算法的探索能力，并设计了两种神经预测器。第一个预测是从贝叶斯优化定义，我们提出了一个基于图的不确定性估计网络作为一个代理模型，易于实现和计算效率。第二预测器是基于图的神经网络，其直接输出输入神经架构的性能预测。使用两个神经预测器的NPENAS分别表示为NPENAS-BO和NPENAS-NP。此外，我们引入了一种新的随机结构抽样方法，以克服现有的抽样方法的缺点。大量的实验证明了NPENAS的优越性。在三个NAS搜索空间上的定量结果表明，NPENAS-BO和NPENAS-NP都优于大多数现有的NAS算法，NPENAS-BO在NASBench-201上达到最先进的性能，NPENAS-NP在NASBench-101和DARTS上分别达到最先进的性能。
2020-09-10 cs.AI cs.CV cs.LG
A PAC-Bayesian Link Between Generalisation and Flat Minima
Inria（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩信息与自动化研究所）；University College London（伦敦大学学院）
针对过参数化机器学习模型泛化能力的开放问题，该研究结合PAC-Bayes工具箱与庞加莱、对数索伯列夫不等式，提出含梯度项的新型泛化界，揭示平坦极小值对泛化性能的积极影响。
2025-02-11 cs.LG stat.ML
Joint estimation of quantile planes over arbitrary predictor spaces
尽管分位数回归近年来受到广泛关注，但线性分位数平面的联合估计仍然是统计学和计量经济学中的一个重大挑战。我们提出了一种新的参数化，其特征在于任何集合的非交叉分位数平面在任意形状的凸预测域在任何维度上通过无约束的标量，矢量和函数值参数。基于此参数化的统计模型继承了似然函数的快速计算，从而使惩罚似然或贝叶斯方法能够用于模型拟合。我们引入了一个完整的贝叶斯方法，通过使用高斯过程先验分布的函数值的参数，并开发了一个强大的和有效的马尔可夫链蒙特卡罗参数估计。结果表明，所得到的方法提供温和的尾巴和正则条件下的后验一致性。我们提出了几个说明性的例子，新方法与现有的方法进行比较，发现提供更好的准确性，覆盖面和模型拟合。
2015-07-11 stat.CO stat.ME stat.ML
Bayesian estimation of in-game home team win probability for Division-I FBS college football
Maddox等人[9，10]建立了贝叶斯方法，用于估计大学和NBA篮球的主队在比赛中获胜的概率。本文介绍了一种贝叶斯方法，估计在游戏中的主队获胜概率，第一部FBS大学（美国）足球，使用预期剩余财产和预期得分作为两个预测。模型估计这些提出和比较。这些，以及其他预测被引入到两个贝叶斯方法的最终估计在游戏中的主队获胜概率。为了说明效用，方法被应用于贝勒和俄克拉荷马州之间的2021年大十二联盟足球锦标赛比赛。
2022-07-27 stat.ME
Bayesian additive regression trees for evaluating treatment benefit predictors using observational data
本研究利用贝叶斯加性回归树，基于观测数据评估治疗获益预测因子，通过模拟和COPD案例验证方法有效性，发现所构建的TBP预测不校准。
2026-09-21 stat.ME
Bayesian $l_0$-regularized Least Squares
贝叶斯$l_0$ -正则化最小二乘法是一种用于高维预测的变量选择技术。挑战是通过在由所有可能的预测器组合组成的模型空间上搜索来优化非凸目标函数。钉板（又称Bernoulli-Gaussian）先验是贝叶斯变量选择的黄金标准，但需要注意计算速度和可扩展性。单一最佳替换（SBR）提供了一种快速可扩展的替代方案。我们提供了贝叶斯正则化和最近更新之间的联系，这提供了一个等价的后验模式和后验均值与不同的正则化先验。这允许我们使用SBR来找到尖峰和板估计器。为了说明我们的方法，我们提供了模拟证据和一个真实的数据的统计特性和计算效率的SBR与直接后验抽样使用穗和板先验的例子。最后，我们总结了未来研究的方向。
2018-12-18 stat.CO stat.ML
