Provable benefits of representation learning
Princeton University（普林斯顿大学）
人们普遍认为，学习表示是有用的，原因有很多，例如有效使用标记数据（半监督学习），迁移学习和理解数据的隐藏结构。表示学习的流行技术包括聚类、流形学习、核学习、自动编码器、玻尔兹曼机等。为了研究这些技术的相对优点，必须形式化表示学习的定义和目标，以便它们都成为相同定义的实例。本文介绍了这样一个正式的框架，也形式化的效用学习的表示。它与以前的贝叶斯概念有关，但有一些新的转折。我们展示了我们的框架的有用性，通过展示简单和自然的设置-线性混合模型和对数线性模型，其中表示学习的力量可以正式显示。在这些例子中，表示学习可以在合理的假设下被证明和有效地执行（尽管是NP难的），而且：（i）它大大减少了对标记数据的需求（半监督学习），（ii）当像最近邻这样的简单方法需要太多数据时，它允许解决分类任务（iii）它比流形学习方法更强大。
2017-06-14 cs.LG stat.ML
Beyond Confidence Regions: Tight Bayesian Ambiguity Sets for Robust MDPs
Department of Computer Science（计算机科学系）；University of New Hampshire（新罕布什尔大学）
在强化学习中，鲁棒MDP（RMDP）可用于计算具有可证明的最坏情况保证的策略。RMDP解决方案的质量和鲁棒性由模糊集-合理转移概率集-决定，模糊集通常构造为多维置信区域。现有的方法构造模糊集的置信区域使用浓度不等式，导致过于保守的解决方案。本文提出了一种新的范例，可以实现更好的解决方案，具有相同的鲁棒性保证，而不使用置信区域作为模糊集。为了结合先验知识，我们的算法使用贝叶斯推理优化歧义集的大小和位置。我们的理论分析表明，所提出的方法的安全性，和实证结果表明其实际的承诺。
2019-02-20 cs.LG stat.ML
Tight Bayesian Ambiguity Sets for Robust MDPs
University of New Hampshire（新罕布什尔大学）
鲁棒性对于具有不确定概率参数的随机动态环境中的序贯决策非常重要。我们解决的问题，使用强大的MDP（RMDPs）计算政策与可证明的最坏情况下的保证强化学习。RMDP解的质量和鲁棒性由其模糊集决定。现有的方法构造模糊集，导致不切实际的保守的解决方案。在本文中，我们提出了RSVF，它实现了保守性较低的解决方案，具有相同的最坏情况下的保证，1）利用贝叶斯先验，2）优化的大小和位置的模糊集，最重要的是，3）放松的要求，该集是一个置信区间。我们的理论分析表明了RSVF的安全性，实验结果证明了它的实用前景。
2018-11-15 cs.LG stat.ML
Random Hypervolume Scalarizations for Provable Multi-Objective Black Box Optimization
Google Brain（谷歌大脑）
单目标黑箱优化（也称为零阶优化）是在自适应选择的输入$x$上给出评估的情况下，最小化标量目标$f(x)$的过程。在本文中，我们考虑多目标优化，其中$f(x)$输出一个向量的可能竞争的目标和目标是收敛到帕累托前沿。在量化方面，我们希望最大化标准超体积指标度量，该指标度量整个选定输入集的主导超体积。在本文中，我们引入了一种新的标量化函数，我们称之为超体积标量化，并表明，从适当选择的分布绘制随机标量化可以用来有效地近似超体积指标度量。我们利用这种连接表明，贝叶斯优化与我们的标量通过常见的采集功能，如汤普森采样或上置信界，可证明收敛到整个帕累托前沿推导紧超体积遗憾界的顺序$\widetilde{O}(\sqrt{T})$。此外，我们强调了我们的标量化框架的一般效用，通过显示任何可证明收敛的单目标优化过程可以毫不费力地转换为具有可证明收敛保证的多目标优化过程。
2020-06-09 cs.LG math.OC stat.ML
Streaming Bayesian Inference for Crowdsourced Classification
University of Southampton（南安普顿大学）；Imperial College, London（伦敦帝国理工学院）
众包的一个关键挑战是从嘈杂和不可靠的数据中推断出真实情况。要做到这一点，现有的方法依赖于从人群中收集冗余信息，并使用某种概率方法对其进行聚合。然而，通常这样的方法是计算效率低，限于一些特定的设置，或缺乏理论保证。在本文中，我们重新审视了众包数据的二进制分类问题。具体来说，我们提出了流贝叶斯推理众包（SBIC），一种新的算法，不受任何这些限制。首先，SBIC具有低复杂度，并且可以用于实时在线设置。其次，SBIC在所有设置中具有与最佳最先进算法相同的精度。第三，SBIC在在线和离线设置下都具有可证明的渐近保证。
2019-11-13 cs.LG stat.ML
PAC-Bayesian Learning of Optimization Algorithms
University of Tübingen（蒂宾根大学）
我们将PAC-Bayes理论应用于学习优化的设置。据我们所知，我们提出了第一个框架来学习优化算法与可证明的泛化保证（PAC界）和明确的高概率收敛和高收敛速度之间的权衡。即使在极限的情况下，收敛性得到保证，我们学到的优化算法证明优于相关算法的基础上（确定性）的最坏情况分析。我们的研究结果依赖于PAC贝叶斯界一般，无界损失函数的指数家庭的基础上。通过推广现有的想法，我们重新制定的学习过程成一个一维的最小化问题，并研究的可能性，找到一个全局最小值，这使得算法实现的学习过程。作为概念验证，我们学习标准优化算法的超参数，以经验方式强调我们的理论。
2023-02-15 cs.LG stat.ML
Provable diffusion-based posterior sampling for linear inverse problems via DDIM
该研究针对线性逆问题，提出\pddim算法，通过对标准DDIM更新进行轻量级逐坐标修改并纳入测量模型，沿测量算子奇异方向分别采样。此算法收敛到贝叶斯后验，在图像恢复任务中性能优于现有方法，实现高效且具后验一致性。
2026-07-22 cs.AI cs.LG stat.ML
Provable Uncertainty Decomposition via Higher-Order Calibration
Harvard University（哈佛大学）；Apple（苹果公司）；Stanford University（斯坦福大学）
本文提出高阶校准新概念，利用 k-快照度量并实现高阶校准，首次在不对真实数据分布作任何假设的情况下，为模型预测不确定性分解为偶然与认知分量提供可证明保证，并在图像分类中验证其有效性。
2024-12-25 cs.CV cs.LG stat.ML
Bayesian Adaptive Data Analysis Guarantees from Subgaussianity
MIT（麻省理工学院）
自适应数据分析的新领域旨在为机器学习模型提供算法和可证明的保证，使研究人员能够重用他们的数据，这通常超出了静态数据分析的通常统计范式。2014年，Dwork、Feldman、Hardt、Pitassi、Reingold和Roth提出了一种潜在的模型，并提出了几种基于差分隐私的解决方案。在2016年之前的工作中，我们描述了这个模型的一个问题，并提出了一个贝叶斯变体，但也发现类似的贝叶斯方法无法实现与静态情况相同的统计保证。在本文中，我们证明了贝叶斯模型的第一个积极的结果，表明与狄利克雷先验，后验均值算法确实匹配的静态情况下的统计保证。主要成分是一个新的定理，表明$\mathrm{Beta}(α,β)$分布是亚高斯方差代理$O(1/(α+β+1))$，浓度结果也是独立的利益。我们提供了两个证明这一结果：一个概率证明利用一个简单的条件为一个正随机变量的原始时刻和学习理论证明的基础上考虑的beta分布作为一个后验，这两个都有影响到其他相关问题。
2017-03-20 cs.LG math.PR stat.ML
On the Interplay of Priors and Overparametrization in Bayesian Neural Network Posteriors
LMU Munich（慕尼黑大学）；MCML（慕尼黑计算机学院）；HTWG Konstanz（康斯坦茨应用科学大学）
研究探讨了先验与过参数化如何共同塑造贝叶斯神经网络后验，揭示了冗余性引入的平衡性、权重再分配及先验一致性等关键现象，通过实验验证了过参数化对权重后验分布的影响。
2026-03-23 cs.LG stat.ML
The Whetstone and the Alum Block: Balanced Objective Bayesian Comparison of Nested Models for Discrete Data
当使用贝叶斯因子比较两个嵌套模型时，从客观的角度来看，在选择两个模型下的参数先验时出现了两个看似矛盾的问题。一方面，对于中等样本量，有利于较小模型的证据可以通过较大模型下先验的扩散而膨胀。另一方面，渐进地，支持较小模型的证据通常以较慢的速度积累。参考离散数据模型，我们表明，这两个问题可以联合处理，通过结合内在先验和非局部先验在一个新的统一类先验。我们在一个运行的Bernoulli例子中说明我们的想法，然后我们应用它们来测试两个比例的相等性，最后我们处理更一般的逻辑斯谛回归模型。
2013-10-02 stat.ME
RAPTOR-GEN: RApid PosTeriOR GENerator for Bayesian Learning in Biomanufacturing
Department of Mechanical and Industrial Engineering, Northeastern University（机械与工业工程系，东北大学）
RAPTOR-GEN提出一种机制感知的贝叶斯学习框架，结合概率知识图谱与朗之万扩散，从稀疏异构数据中加速生物制造数字孪生开发，并有效揭示调控机制。
2025-10-24 cs.LG stat.ML
A closed form solution for Bayesian analysis of a simple linear mixed model
Norwegian University of Life Sciences（挪威生命大学）
本研究提出了一种基于四参数广义Beta分布的闭式贝叶斯解法，用于简单线性混合模型的分析，实现了与传统方法相当的性能并降低了均方误差。
2026-02-11 math.ST stat.ME stat.TH
Private Outsourced Bayesian Optimization
Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
提出了私有外包高斯过程置信上限（PO-GP-UCB）算法，该算法是第一个在外包环境下具有可证明性能保证的隐私保护贝叶斯优化（BO）算法.我们考虑外包设置，其中持有数据集的实体和执行BO的实体由不同方表示，并且数据集不能以非私有方式发布。例如，一家医院拥有一个敏感医疗记录的数据集，并将该数据集上的BO任务外包给一家工业AI公司。我们方法的关键思想是使我们算法的BO性能类似于使用原始数据集运行的非私有GP-UCB，这是通过使用基于随机投影的变换来实现的，该变换既保留了隐私，又保留了输入之间的成对距离。我们的主要理论贡献是表明，一个遗憾界类似的标准GP-UCB算法可以建立我们的PO-GP-UCB算法。我们经验性地评估我们的PO-GP-UCB算法的性能与合成和真实世界的数据集。
2020-10-24 cs.CR cs.LG stat.ML
Posterior Concentration for Sparse Deep Learning
Booth School of Business, University of Chicago（芝加哥大学布斯商学院）；University of Chicago（芝加哥大学）
Spike-and-Slab Deep Learning（SS-DL）是Dropout的完全贝叶斯替代方案，用于提高深度ReLU网络的泛化能力。这种新型的正则化能够证明恢复具有未知平滑度的平滑输入-输出映射。事实上，我们发现后验分布集中在$α$ -Hölder光滑映射的极小极大率附近，表现得就像我们提前知道$α$的光滑度一样好。我们的结果揭示了深神经网络的架构设计，即深度，宽度和稀疏水平的选择。这些网络属性通常取决于未知的平滑度，以便达到最佳。我们将这个约束与完全贝叶斯建设。作为一个旁白，我们表明，SS-DL并没有过拟合的意义上说，后验集中在较小的网络与较少（最佳数量）的节点和链接。我们的研究结果从贝叶斯的角度为深度ReLU网络提供了新的理论依据。
2018-03-24 cs.LG stat.ML
Evaluating structure learning algorithms with a balanced scoring function
School of EECS, Queen Mary University of London (QMUL)（伦敦玛丽女王大学电子工程与计算机科学学院）；The Alan Turing Institute（图灵研究所）
已经提出了几种结构学习算法来发现因果或贝叶斯网络（BN）图。这些算法的有效性往往通过评估学习和地面真值图之间的关系来评估。然而，没有商定的评分指标来确定这种关系。此外，本文表明，一些常用的指标往往偏向于最小化边缘的图形。虽然不太复杂的图是可取的，一些指标有利于欠拟合的图，从而鼓励有限的传播证据。本文提出了平衡评分函数（BSF），通过根据发现边缘或无边缘的难度（与它们在地面真值图中的出现率成比例）调整奖励函数来消除这种偏差。BSF分数可以与其他传统度量结合使用，以提供关于结构学习算法在发现因果图或BN图中的能力的替代且无偏的评估。
2020-09-02 cs.AI cs.LG stat.ML
Bayesian bandits: balancing the exploration-exploitation tradeoff via double sampling
Columbia University（哥伦比亚大学）
强化学习研究如何平衡现实世界系统中的探索和利用，优化与世界的交互，同时学习世界如何运作。用于这种学习的一个一般类的算法是多臂强盗设置。随机概率匹配，在20世纪30年代推出的汤普森抽样方法的基础上，最近已被证明表现良好，并享有可证明的最优属性。它允许在贝叶斯设置中生成可解释的建模，其中包含先验知识，并且计算的后验自然捕获知识的全部状态。在这项工作中，我们利用贝叶斯后验中包含的信息，并通过抽样估计其充分统计量。在几个应用领域，例如在健康和医学中，与世界的每次交互都可能是昂贵的和侵入性的，而从模型中提取样本相对便宜。利用这一观点，我们开发了一种由学习过程中的不确定性驱动的双重抽样技术：当确定每个臂的属性时，它有利于开发，否则进行探索。该算法不做任何分布假设，只要贝叶斯后验更新是可计算的，它适用于复杂的回报分布。利用估计的后验充分统计量，双重抽样自主地平衡探索-开发权衡，以做出更明智的决策。我们的经验表明，减少累积遗憾相比，国家的最先进的替代品在代表性的土匪设置。
2018-08-08 cs.LG stat.CO stat.ML
Mixed Models and Shrinkage Estimation for Balanced and Unbalanced Designs
收缩估计，经验贝叶斯和混合效应模型之间的已知连接进行了探讨，并应用于平衡和不平衡的设计，其中的响应是相关的。作为一个例子，一个混合模型提出了预测结果的英超联赛，考虑到主客场球队的影响。从拟合混合线性模型获得的经验最佳线性无偏预测的基础上的结果进行比较，充分利用先验信息从上一个赛季的贝叶斯预测。
2021-11-04 stat.AP stat.CO stat.ME
Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection
Delft Center for Systems and Control (DCSC), Delft University of Technology, The Netherlands（代尔夫特系统与控制中心（DCSC），代尔夫特理工大学，荷兰）；School of Computer Science and Statistics, Trinity College Dublin, Ireland（三一学院都柏林计算机科学与统计学系，爱尔兰）；Departments of Aerospace Engineering Sciences and Computer Science, University of Colorado Boulder, USA（科罗拉多大学波德分校航空航天工程科学系与计算机科学系，美国）；The Italian Institute of Artificial Intelligence (AI4I), Italy（意大利人工智能研究所（AI4I），意大利）
本文提出了一种算法框架，通过高斯过程混合近似有限宽度和深度的神经网络，并在误差界内进行逼近，同时探讨了如何利用该方法调整神经网络参数以模仿给定高斯过程的函数行为，如贝叶斯推断中的先验选择。
2026-03-22 cs.LG stat.ML
Incorporating functional summary information in Bayesian neural networks using a Dirichlet process likelihood approach
Aalto University（阿尔托大学）
贝叶斯神经网络（BNN）可以解释任意和认知的不确定性。然而，在BNN的先验知识往往是指定的权重，很少反映真正的先验知识，在大型和复杂的神经网络架构。我们提出了一种简单的方法，将先验知识的BNN的基础上外部汇总信息的预测分类概率为一个给定的数据集。可用的摘要信息被纳入增强数据和建模的狄利克雷过程，我们推导出相应的\emph{Summary Evidence Lower BOund}。该方法基于贝叶斯原理，所有超参数都有适当的概率解释。我们展示了该方法如何告知模型任务难度和类不平衡。大量的实验表明，可以忽略不计的计算开销，我们的方法平行，并在许多情况下优于流行的替代品的准确性，不确定性校准，并对腐败的鲁棒性与平衡和不平衡的数据。
2023-01-24 cs.AI cs.LG stat.ML
Optimal Bayesian stepped-wedge cluster randomised trial designs for binary outcome data
基于广义估计方程和近似设计理论确定二元结局阶梯整群随机试验的贝叶斯D-最优设计，发现其效率优势取决于相关结构，在强时间段效应下可能显著优于传统设计，但需更多假设且正态近似方法通常更简便。
2024-02-15 stat.ME
Regularization Implies balancedness in the deep linear network
Department of Mathematics, Maloney Hall, Boston College, Chestnut Hill, MA 02467-3806（波士顿学院数学系，Maloney Hall， Chestnut Hill， MA 02467-3806）；Division of Applied Mathematics, Brown University, 182 George St., Providence, RI 02912（布朗大学应用数学系，182 George St., Providence， RI 02912）；School of Mathematics, Institute for Advanced Study, 1 Einstein Drive, Princeton, NJ 08540（高级研究院数学系，1 Einstein Drive， Princeton， NJ 08540）
本文利用几何不变理论研究深度线性网络，证明L2正则化在平衡流形上最小化，并通过黎曼几何分析平衡流形的收敛性，为深度学习中的平衡性提供了统一数学框架。
2026-03-23 cs.LG math.AG math.DS
A Data-Driven Probabilistic Framework for Cascading Urban Risk Analysis Using Bayesian Networks
Department of Computer Science and Engineering, School of Computing, Coimbatore, Amrita Vishwa Vidyapeetham, Tamil Nadu, India（计算机科学与工程系，计算学院，科瓦尔，阿米塔大学文理学院，泰米尔纳德邦，印度）
提出一种基于贝叶斯网络的数据驱动概率框架，利用GAN与SMOTE处理混合城市数据并学习跨域风险传播结构，以识别关键风险因素并支持城市韧性规划。
2025-05-07 cs.LG stat.ML
Bayesian model-based spatiotemporal survey design for log-Gaussian Cox process
在地质统计学中，数据收集的设计是精确预测和参数推断的核心。一类重要的地质统计模型是对数高斯Cox过程（LGCP），它被广泛使用，例如，在生态学中。然而，没有正式的分析LGCP模型的最优设计。在这项工作中，我们开发了一种新的基于模型的试验设计时空点过程数据的LGCP建模。我们提出了一个新的空间平衡的拒绝抽样设计，直接采样的时空位置，是一个先验的预期提供最多的信息。我们比较了拒绝抽样设计传统的平衡和均匀随机设计，使用平均预测方差损失函数和库尔贝克-莱布勒散度之间的先验和后验的LGCP强度函数。我们的研究结果表明，拒绝抽样方法优于相应的平衡和均匀随机抽样设计LGCP，而后者的工作更好的模型与高斯模型。我们进行了一个案例研究，应用我们的新的抽样设计，计划对芬兰沿海地区的两个商业上重要的鱼类种群的幼虫区的物种分布建模的调查。实例研究结果表明，与传统设计相比，拒绝抽样设计具有相当大的优势。结果还表明，最佳性能的设计可能会有很大的不同目标物种。
2018-08-28 stat.ME
Distributionally Robust Bayesian Optimization with $φ$-divergences
Amazon（亚马逊）
本文研究基于φ-散度的分布鲁棒贝叶斯优化问题，将其转化为有限维优化问题，提出计算易处理且具有次线性遗憾界的算法，并通过实验验证其优于现有方法。
2023-10-28 cs.LG math.OC stat.ML
A Metalearned Neural Circuit for Nonparametric Bayesian Inference
Princeton University（普林斯顿大学）
提出从非参数贝叶斯模型提取归纳偏置并转移至人工神经网络的方法，通过元学习序列模型实现开放类别集合上的快速序列推断，性能优于粒子滤波器等基线方法。
2023-11-24 cs.LG cs.NE stat.ML
Efficient Bayesian Modeling of Binary and Categorical Data in R: The UPG Package
本文介绍R语言UPG包，通过边际数据增强技术为多种离散选择模型提供高效且便捷的贝叶斯推断框架，并支持快速生成可视化结果。
2023-06-30 stat.CO stat.ME
Exploring Exploration in Bayesian Optimization
Department of Computer Science, Lund University（卢德大学计算机科学系）；Department of Applied Mathematics, University of Colorado Boulder（科罗拉多大学博尔德分校应用数学系）；DBtune
本文提出两种新方法量化获取函数的探索特性，分析不同获取函数在多种黑箱问题中的探索性质，揭示探索与实际性能的关系，为获取函数设计提供理论基础。
2025-02-12 cs.LG
Looping in the Human Collaborative and Explainable Bayesian Optimization
University of Oxford（牛津大学）；Toyota Motor Corporation（丰田汽车公司）；The Faraday Institution（法拉第研究所）；CISPA Helmholtz Center for Information Security（CISPA亥姆霍兹信息安全中心）
本文提出协作与可解释的贝叶斯优化框架CoExBO，通过偏好学习无缝融合人类洞察，提供迭代解释与无害保证，在锂离子电池设计中显著优于传统方法。
2024-02-29 cs.HC cs.LG stat.ML
A User-Guided Bayesian Framework for Ensemble Feature Selection in Life Science Applications (UBayFS)
Norwegian University of Life Sciences（挪威生命科学大学）
特征选择是一种降低高维数据集复杂性并深入了解数据系统变化的方法。这方面在依赖模型可解释性的领域（如生命科学）中特别重要。我们提出了UBayFS，集成特征选择技术嵌入在贝叶斯统计框架。我们的方法考虑两个信息来源：数据和领域知识。我们建立了一个元模型，从一个合奏的基本特征选择器和聚合这些信息在一个多项式的可能性。用户通过加权特征和惩罚特定特征块或组合来指导UBayFS，通过Dirichlet型先验分布和正则化项实现。在定量评估中，我们证明了我们的框架（a）允许用户知识和数据观测之间的平衡权衡，（b）实现了具有竞争力的性能与最先进的方法。
2021-12-11 cs.LG stat.ME
Learning under Invariable Bayesian Safety
Technion - Israeli Institute of Technology（以色列理工学院）；University of British Columbia（不列颠哥伦比亚大学）
最近的工作机构解决了探索和利用系统中的安全约束。例如，当勘探是由个人进行的，而个人的福利应与总体福利相平衡时，就会出现这种限制。在本文中，我们采用了一个模型的灵感来自最近的工作，一个土匪般的设置的建议。我们通过引入一个在每一轮都应该遵守的安全约束，并确定每一轮的期望值都高于给定的阈值，从而为这一系列文献做出了贡献。由于我们的建模，安全的探索和利用政策值得仔细规划，否则，它将导致次优福利。我们设计了一个渐近最优算法的设置和分析其依赖于实例的收敛速度。
2020-06-08 cs.AI cs.CY cs.GT
Bayesian decomposition using Besov priors
Technical University of Denmark（丹麦技术大学）；University of Oulu（奥卢大学）
本文提出基于贝索先验的贝叶斯分解方法，用于解决具有不同正则性的反问题，通过联合推断组件和超参数提升重建质量。
2026-07-27 cs.NA math.NA stat.CO
A weighted-likelihood framework for class imbalance in Bayesian prediction models
针对预测毒理学中的类别不平衡问题，提出一种加权似然贝叶斯框架，通过按类别比例调整似然权重嵌入成本敏感学习，提升少数类预测性能，并易于在标准概率编程语言中实现。
2025-10-09 stat.AP stat.ML
d-blink: Distributed End-to-End Bayesian Entity Resolution
University of Melbourne（墨尔本大学）；Colorado State University（科罗拉多州立大学）；Australian Bureau of Statistics（澳大利亚统计局）；Duke University（杜克大学）；United States Census Bureau（美国人口普查局）
实体解析（ER;也称为记录链接或重复数据删除）是通常在没有唯一标识符的情况下合并有噪声的数据库的过程。ER方法的一个主要进步是贝叶斯生成模型的应用，它提供了一个自然的框架，用于推断具有严格量化的不确定性的潜在实体。尽管有这些优点，现有的模型在实践中受到严重限制，因为标准的推理算法在记录数量上是二次方的。虽然可以通过在单独的数据块上拟合模型来管理缩放，但这种幼稚的方法可能会在后验中引起显著的误差。在本文中，我们提出了一个可扩展的贝叶斯ER的原则模型，称为“分布式贝叶斯链接”或d-眨眼，它联合执行阻塞和ER，而不影响后验正确性。我们的方法依赖于几个关键思想，包括：（i）一个辅助变量表示，诱导的实体和记录到块的分区;（ii）一种方法，用于构建基于k-d树的平衡块;（iii）一个分布式的部分折叠吉布斯采样器与改进的混合;和（iv）快速算法执行吉布斯更新。六个数据集的实证研究-包括2010年十年一次的人口普查的案例研究-证明了我们的方法的可扩展性和有效性。
2020-09-22 cs.DB cs.LG stat.CO
A Bayesian 'sandwich' for variance estimation
本文提出平衡损失函数下的贝叶斯“三明治”稳健方差估计，证明其在模型误设时仍能可靠量化参数估计变异，并通过模拟与 NHANES 数据验证。
2023-11-02 math.ST stat.ME stat.TH
When Do Early-Exit Networks Generalize? A PAC-Bayesian Theory of Adaptive Depth
The University of Hong Kong, Hong Kong, China（香港大学）；Brain Investing Limited, Hong Kong, China（Brain Investing有限公司）
本文提出基于PAC-Bayesian框架的自适应深度网络理论，通过熵基界、构造性常数、早期退出优势、近似标签独立性扩展以及实验验证，探讨早期退出网络的泛化能力。
2026-04-17 cs.AI cs.LG
Fine-tuning LLMs with variational Bayesian last layer for high-dimensional Bayesian optimization
School of ECE University of Georgia（电子工程学院 佐治亚大学）
针对高维含不规则变量的黑盒优化中传统高斯过程代理模型效果不佳的问题，提出结合LoRA与VBLL微调LLM的代理模型，并设计加权集成方法自动调参，在多类基准和真实分子优化任务中表现优异。
2025-10-03 cs.LG
Infinite-dimensional statistical manifolds based on a balanced chart
我们开发了一个家庭的无限维Banach流形上的抽象可测空间的措施，采用图表之间的密度和日志密度函数的“平衡”。流形$(\tilde{M}_λ,λ\in [2,\infty))$保留了有限维信息几何的许多特征;特别是$α$ -发散属于$C^{\lceilλ\rceil-1}$类，使得能够定义Fisher度量和$α$ -特定类向量场的导数。基于图表中心版本的概率测度流形$(M_λ,λ\in [2,\infty))$被证明是$C^{\lceilλ\rceil-1}$--$\tilde{M}_λ$的嵌入子流形。Fisher度量是$\tilde{M}_λ$上的伪黎曼度量。然而，当限制到有限维嵌入子流形，它成为黎曼度量，允许充分发展的几何$α$ -共变导数。$\tilde{M}_λ$和$M_λ$为贝叶斯估计问题中后验分布的近似值的研究和比较提供了自然设置。
2016-02-09 math.PR math.ST stat.TH
Covariate-localized False Discovery Rates
Duke University（杜克大学）
本文提出基于非参数高斯混合模型和权重局部化预测递归的协变量局部化错误发现率估计方法，实现更高效、更可控的多重检验。
2026-09-11 stat.ME
Bayesian Deep Learning for Discrete Choice
School of Civil and Environmental Engineering, Cornell University（土木与环境工程学院，康奈尔大学）；Industrial Engineering Department, Universidad de Los Andes（工业工程系，洛斯安德斯大学）
研究针对离散选择模型，提出将深度学习模型与近似贝叶斯推理方法集成的架构，数据有限时可减轻过拟合等问题，通过模拟研究和实证案例展示该方法，评估相关指标，提升离散选择模型性能。
2026-07-10 cs.LG econ.EM stat.AP
Bayesian Dyadic Trees and Histograms for Regression
许多用于回归的机器学习工具基于将协变量空间递归划分为较小的区域，其中可以局部估计回归函数。其中，回归树和他们的合奏表现出令人印象深刻的经验表现。在这项工作中，我们揭示了这些方法的贝叶斯变体背后的机制。特别是，我们研究贝叶斯回归直方图，如贝叶斯二元树，在简单的回归情况下，只有一个预测。我们专注于重建的回归曲面是分段常数，其中的跳跃数是未知的。我们发现，适当设计的先验，后验分布集中在真正的步骤回归函数在一个接近极小极大率。这些结果不需要知道真正的步骤数，也不需要知道真正的分区单元的宽度。因此，贝叶斯二元回归树是完全自适应的，可以恢复真正的分段回归函数几乎一样，如果我们知道确切的数量和位置的跳跃。我们的研究结果构成了理解贝叶斯树及其集合在实践中如此有效的第一步。作为一个旁白，我们讨论了平衡区间划分的先验分布，以及它们如何与几何概率中的一个老问题相关。也就是说，我们涉及的概率覆盖的圆周的圆与随机弧的端点被限制在一个网格，一个新的变种的原始问题。
2017-11-28 math.ST stat.TH
Mastering the exploration-exploitation trade-off in Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）
本文提出一种自适应平衡探索与利用的新型采集函数，在多个测试函数上优于现有方法，几乎总是帕累托最优且权衡最平衡。
2023-05-15 cs.AI cs.LG math.OC
User Preference Meets Pareto-Optimality in Multi-Objective Bayesian Optimization
University of California, Berkeley（加州大学伯克利分校）；Mitsubishi Electric Research Laboratories（三菱电机研究院）
针对效用驱动MOBO可能产生受支配解且经典方法需估计完整Pareto前沿的问题，提出PUB-MOBO，结合偏好支配效用函数与局部多梯度下降，在多个基准上取得更优Pareto接近度和效用遗憾。
2025-03-17 cs.LG
Bayesian improved cross entropy method with categorical mixture models
本文提出基于类别混合模型的贝叶斯改进交叉熵方法，通过加权MAP估计和广义EM算法缓解过拟合并估计静态网络稀有事件，数值实验表明其显著优于标准iCE方法。
2023-09-21 stat.AP stat.ME
Bayesian Covariance Structure Modeling of Multi-Way Nested Data
提出一种用于多向嵌套数据的贝叶斯多元协方差结构模型，通过平移-逆伽马先验保证正定性，结合Gibbs抽样与数据增强提升计算效率，并应用于分析不同支架治疗患者的不良事件差异。
2022-01-25 stat.ME
Random construction of interpolating sets for high dimensional integration
许多高维积分可以归结为求两个集合的相对测度的问题。通常，一个集合会比另一个集合大，这使得很难比较它们的大小。处理这个问题的一个标准方法是用一系列嵌套集合在集合之间插值，其中相邻集合具有由常数限制的相对度量。在实践中，选择这样一个平衡良好的序列可能非常困难。这里提出了一种新的方法，自动创建这样的集合。这些良好平衡的集合允许更快的积分和求和的近似算法，以及更好的回火和退火马尔可夫链以生成随机样本。应用，如发现的伊辛模型的分拆函数和规范化常数的后验分布贝叶斯方法进行了讨论。
2011-12-16 cs.DS math.PR stat.CO
Hierarchical Bayesian state-space modeling of age- and sex-structured wildlife population dynamics
全球生物多样性正在以惊人的速度下降，包括大型野生哺乳动物。因此，必须制定有效的人口保护和恢复战略。种群动力学模型可以深入了解导致某一物种特定种群数量下降的过程及其相对重要性。我们开发了一个综合的贝叶斯状态空间种群动态模型的野生动物种群，并说明它使用topi人口居住在肯尼亚的马赛马拉生态系统。该模型具有通用性，将地面人口调查与航测监测数据相结合。它结合了人口的年龄和性别结构和生活史特征，并将出生率，年龄特定的存活率和性别比与气象协变量，事先人口密度，环境季节性和捕食风险。该模型运行在一个月的时间步长，使生殖季节性，物候，同步和多产的出生和少年招募的准确表征。模型的性能进行了评估，使用平衡的自助抽样和比较预测与空中人口规模估计。该模型采用MCMC方法实现，并再现了马拉托皮人口的几个众所周知的功能，包括惊人的和持续的人口下降，出生和青少年招募的季节性。它可以很容易地适应其他野生动物物种，并扩展到包括几个额外的有用功能。
2021-12-19 stat.AP
Provable Mixed-Noise Learning with Flow-Matching
Institute of Mathematics, Technische Universität Berlin（柏林技术大学数学研究所）；Institute of Mathematics, Freie Universität Berlin（柏林自由大学数学研究所）；Bundesanstalt für Materialforschung und Prüfung（材料研究和测试联邦机构）
本文提出一种基于条件流匹配和EM算法的框架，用于解决混合噪声贝叶斯逆问题，可联合估计后验采样器与噪声参数，并证明其在总体极限下收敛。
2025-10-16 cs.LG math.OC
Variational Sequential Optimal Experimental Design using Reinforcement Learning
Department of Mechanical Engineering, University of Michigan（密歇根大学机械工程系）
本文提出变分序列最优实验设计方法，结合变分后验近似和强化学习，实现基于信息论准则的最优实验设计，展示其在工程和科学中的高效性。
2024-12-23 cs.AI cs.LG stat.CO
Bayesian analysis of finite population sampling in multivariate co-exchangeable structures with separable covariance matric
我们探讨了有限总体抽样在多变量交叉分类设计问题中的作用。特别是，我们研究的设计，我们希望样本属于不同的群体，其基础的协方差阵是可分离的组和变量之间的个人。我们利用模型的广义条件独立结构来展示如何将完整模型的分析简化为一系列可解释的低维问题。我们通过采样获得的信息类型与正交典范方向相一致。我们首先解决一个变量的问题，它利用了强大的属性的调整二阶可交换向量，它具有相同的定性特征，所代表的基本典型变量的方向，无论所选择的组，人口规模或样本量。然后，我们解决了一系列的组问题，在一个平衡的设计减少到二阶可交换向量的采样。如果总体大小是有限的，则每个组问题的定性和定量特征将取决于每个组中的抽样比，当每个组中的抽样比相同时，模仿无限问题。
2017-11-29 stat.ME
Uncovering latent territorial structure in ICFES Saber 11 performance with Bayesian multilevel spatial models
Universidad Nacional de Colombia（哥伦比亚国立大学）
本文通过贝叶斯多级空间模型分析哥伦比亚Saber 11考试表现，揭示地域结构及社会因素对教育成绩的影响。
2025-12-27 stat.AP stat.ME
Mitigating Sample-Level Imbalance via Probabilistic Separation for Adaptive Multimodal Fusion
South China University of Technology（南方科技大学）
本文提出基于GMM的自适应损失，用于量化和缓解多模态学习中的样本级不平衡问题，通过双阶段框架提升音频-视觉学习性能。
2026-08-25 cs.AI cs.LG cs.SD
Taming Score-Based Diffusion Priors for Infinite-Dimensional Nonlinear Inverse Problems
University of Basel（巴塞尔大学）；Rice University（莱斯大学）；Ecole Polytechnique, IP Paris（巴黎综合理工学院（巴黎IP））；University of California Irvine（加州大学欧文分校）
本文提出一种函数空间中的采样方法，利用无限维基于分数的扩散模型作为先验，结合Langevin型MCMC算法，解决非线性贝叶斯逆问题，并提供收敛性分析及实验验证。
2024-05-24 cs.LG cs.NA math.NA
Hyperparameter Optimization: A Spectral Approach
Princeton University（普林斯顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）；Cornell University（康奈尔大学）
我们从布尔函数的分析中得到启发，给出了一个简单、快速的超参数优化算法。我们专注于高维制度，其中的典型例子是训练一个神经网络与大量的超参数。该算法-正交多项式的压缩感知技术的迭代应用-只需要均匀采样的超参数，因此很容易并行化。在Cifar-10上训练深度神经网络的实验表明，与最先进的工具（例如，Hyperband和Spearmint），我们的算法发现显着改进的解决方案，在某些情况下比手动调整所能达到的效果更好。在总运行时间方面（即，采样各种超参数设置所需的时间加上额外的计算时间），我们至少比Hyperband和Bayesian Optimization快一个数量级。我们也优于随机搜索8x。此外，我们的方法具有可证明的保证，并在二十多年来首次改进了学习决策树的样本复杂性。特别地，我们得到了第一个准多项式时间算法学习噪声决策树多项式样本复杂度。
2018-01-20 cs.AI cs.LG math.OC
