Model-free Bayesian Clustering and Multimodal Posterior Summarisation
University of Edinburgh（爱丁堡大学）
该研究提出无模型感知噪声贝叶斯聚类框架，结合Wasserstein型摘要方法，可避免复杂模型指定与昂贵采样，能有效捕捉聚类及噪声不确定性。
2026-10-12 cs.LG stat.ML
A PAC-Bayesian Link Between Generalisation and Flat Minima
Inria（法国国家信息与自动化研究所）；PSL Research University（巴黎文理研究大学）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩信息与自动化研究所）；University College London（伦敦大学学院）
针对过参数化机器学习模型泛化能力的开放问题，该研究结合PAC-Bayes工具箱与庞加莱、对数索伯列夫不等式，提出含梯度项的新型泛化界，揭示平坦极小值对泛化性能的积极影响。
2025-02-11 cs.LG stat.ML
Complexity-Aware Deep Symbolic Regression with Robust Risk-Seeking Policy Gradients
Kahlert School of Computing（卡勒特计算学院）；Scientific Computing and Imaging Institute（科学计算与成像研究所）；Department of Mechanical Engineering, University of Utah（犹他大学机械工程系）
本文提出一种新颖的深度符号回归方法，提升数据驱动数学表达发现的鲁棒性和可解释性。通过频率域注意力和双索引位置编码，结合贝叶斯信息准则奖励函数，改进了表达复杂度与数据适应性的平衡，实验验证了方法的有效性。
2026-03-27 cs.AI cs.LG
The Case for Bayesian Deep Learning
Courant Institute of Mathematical Sciences（柯朗数学科学研究所）；Center for Data Science（数据科学中心）；New York University（纽约大学）
贝叶斯方法的关键区别属性是边缘化而不是优化，而不是先验或贝叶斯规则。贝叶斯推理对于深度神经网络尤其引人注目。(1)神经网络通常被数据低估，并且可以表示对应于不同参数设置的许多不同但高性能的模型，这正是边缘化将对校准和准确性产生最大差异的时候。(2)深度集成被误认为是贝叶斯方法的竞争方法，但可以被视为近似贝叶斯边缘化。(3)神经网络的结构在函数空间中产生了结构化的先验，这反映了神经网络的归纳偏差，有助于它们的推广。(4)所观察到的损失的平坦区域中的参数与提供良好泛化的解的多样性之间的相关性进一步有助于贝叶斯边缘化，因为平坦区域在高维空间中占据大体积，并且每个不同的解将对贝叶斯模型平均值做出良好贡献。(5)与标准训练相比，贝叶斯深度学习的最新实践进展在准确性和校准方面有所改进，同时保持了可扩展性。
2020-01-29 cs.LG stat.ML
SVI-DAG: A Structured Variational Inference Approach to Bayesian Causal Discovery
SVI-DAG是一种贝叶斯因果发现的结构化变分推断方法，用归一化流建模边依赖、斯坦变分梯度下降优化，在不确定性量化上优于5种现有方法，结构准确性具竞争力。
2026-08-25 cs.AI cs.LG
Be Bayesian by Attachments to Catch More Uncertainty
Nankai University（南开大学）；Beihang University（北京航空航天大学）
针对贝叶斯神经网络不确定性捕捉能力不足的问题，提出带附加贝叶斯结构的ABNN，整合分布外数据不确定性，经理论与实验验证优于现有前沿方法。
2024-04-12 cs.AI cs.LG
Improving Bayesian Optimization via Training-Aware Conditional Diffusion Models
National University of Singapore（新加坡国立大学）；Georgia Institute of Technology（佐治亚理工学院）
提出利用条件扩散模型高效近似最优解分布，并开发贝叶斯优化固有的训练策略和基于扩散的模态搜索采集函数，理论保证次优性，实验优于标准基线。
2026-06-07 cs.LG stat.ML
Why flatness does and does not correlate with generalization for deep neural networks
University of Oxford（牛津大学）；Hertford college（赫特福德学院）
损失景观的局部平坦性与深度神经网络（DNN）的更好泛化相关的直觉已经探索了几十年，产生了许多不同的平坦性度量。最近，这种与泛化的联系受到了质疑，因为许多平坦度的度量容易受到参数重新缩放的影响，参数重新缩放任意地改变它们的值而不改变神经网络的输出。在这里，我们表明，此外，一些流行的SGD的变体，如亚当和熵SGD，也可以打破平坦化的相关性。作为平坦度测量的替代方案，我们使用基于函数的图片，并建议使用初始化时贝叶斯先验的对数，$\log P(f)$，作为DNN在训练到零误差后收敛于函数$f$时的泛化预测。对于在测试集上给出零误差的函数，先验与贝叶斯后验成正比。对于图像分类的情况下，我们表明，$\log P(f)$是一个显着更强大的预测比平坦度的措施的推广。虽然局部平坦度测量在参数重新缩放下失败，但作为全局量的先验/后验在重新缩放下保持不变。此外，作为数据复杂性的函数，与泛化的相关性对于SGD的不同变体仍然很好。
2021-06-21 cs.LG stat.ML
Make Continual Learning Stronger via C-Flat
Tsinghua University（清华大学）；Zhejiang University（浙江大学）；Sichuan University（四川大学）；ByteDance（字节跳动）；Xi’an Jiaotong University（西安交通大学）；Carnegie Mellon University（卡内基梅隆大学）；DAMO Academy, Alibaba Group（阿里巴巴达摩院）
针对持续学习的敏感性-稳定性困境，提出即插即用的C-Flat方法，通过构建更平坦的损失景观提升模型泛化能力，适用于各类持续学习场景且性能普遍优于现有方法。
2024-11-01 cs.CV cs.LG
Feature Space Particle Inference for Neural Network Ensembles
Denso IT Laboratory Inc.（电装IT实验室公司）；Tokyo Institute of Technology（东京工业大学）
深度神经网络的集成展示了比单个模型更好的性能。为了提高集成成员的多样性，同时保持他们的性能，基于粒子的推理方法提供了一个很有前途的方法从贝叶斯的角度来看。然而，将这些方法应用于神经网络的最佳方式仍然不清楚：由于过度参数化问题，从权重空间后验中寻找样本效率低下，而直接从函数空间后验中寻找样本通常会导致严重的欠拟合。在这项研究中，我们提出了在特征空间中优化粒子，其中特定中间层的激活在于解决上述困难。我们的方法鼓励每个成员捕捉不同的功能，这有望提高集成预测的鲁棒性。对真实世界数据集的广泛评估表明，我们的模型在各种指标上都明显优于黄金标准的深度集成，包括准确性，校准和鲁棒性。代码可在https://github.com/DensoITLab/featurePI上获得。
2022-06-02 cs.CV cs.LG stat.ML
Scale-invariant Bayesian Neural Networks with Connectivity Tangent Kernel
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Samsung Medical Center（三星医疗中心）；Sungkyunkwan University School of Medicine（成均馆大学医学院）；AITRICS
解释泛化和防止过度自信的预测是神经网络损失景观研究的中心目标。平坦性被定义为对预先训练的解决方案的扰动的损失不变性，被广泛接受为在这种情况下泛化的预测因子。然而，平坦性和推广界可以根据参数的尺度任意改变的问题被指出，和以前的研究部分解决了这个问题的限制：反直观地，他们的推广界仍然是可变的函数保持参数缩放变换或仅限于一个不切实际的网络结构。作为一个更根本的解决方案，我们提出了新的先验和后验分布不变的缩放变换的\textit{decomposing}的规模和连接的参数，从而使由此产生的泛化约束来描述一个广泛的一类网络的泛化能力与更实际的类的转换，如权重衰减与批量归一化。我们还表明，上述问题对拉普拉斯近似的不确定性校准产生不利影响，并提出了一个解决方案，使用我们的不变后验。我们的经验表明，我们的后验提供了有效的平坦度和校准措施，在这样一个实际的参数变换的情况下，低复杂性，支持其实际有效性符合我们的理由。
2022-09-30 cs.AI cs.LG
Rethinking Sharpness-Aware Minimization as Variational Inference
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）
锐度感知最小化（SAM）旨在通过寻找平坦最小值来提高基于梯度的学习的泛化能力。在这项工作中，我们建立SAM和平均场变分推断（MFVI）的神经网络参数之间的联系。我们发现，这两种方法都有解释为优化的平坦度的概念，当使用的reparametrisation技巧，他们都归结为计算在当前的平均参数的扰动版本的梯度。这种想法激发了我们对SAM和MFVI之间组合或插值的算法的研究。我们在几个基准数据集上评估了所提出的变分算法，并将其性能与SAM的变体进行了比较。从更广泛的角度来看，我们的工作表明，SAM类更新可以用作重新参数化技巧的替代品。
2022-10-19 cs.LG stat.ML
Range-Aware Bayesian Optimization for Discovering Diverse Designs within Target Property Windows
Department of Chemical and Biological Engineering, Princeton University（普林斯顿大学化学与生物工程系）
提出范围感知贝叶斯优化框架，通过采集函数直接评分候选解满足目标范围的后验概率，在基准任务和实际案例中比标准方法发现更多样化的有效设计。
2026-06-11 cond-mat.mtrl-sci cs.LG physics.chem-ph
Causal datasheet: An approximate guide to practically assess Bayesian networks in the real world
University of Sussex（萨塞克斯大学）；Surgo Foundation（苏尔戈基金会）；Harvard T.H. Chan School of Public Health（哈佛大学陈曾熙公共卫生学院）；University of Washington（华盛顿大学）
在解决现实世界的问题，如改变就医行为，设计干预措施，以改善下游的结果需要了解系统内的因果关系。因果贝叶斯网络（BN）已经被提出作为这样一个强大的方法。然而，在现实世界的应用中，对BN结果的信心通常最多是中等的。这在一定程度上是由于无法验证一些基本事实，因为DAG不可用。如果学习到的DAG与预先存在的域原则冲突，这尤其成问题。在政策一级，必须证明这种分析所产生的见解是正确的，最好是伴随着不确定性估计。在这里，我们提出了Gebru等人（2018）提出的贝叶斯概念的因果扩展，以包括任何给定数据集的近似BN性能预期。为了生成原型因果数据表的结果，我们构建了超过30，000个具有真实数据特征的属性的合成数据集。然后，我们记录了最先进的结构学习算法给出的结果。这些结果用于填充因果数据表，并根据预期性能自动生成建议。作为概念验证，我们使用我们的因果数据表生成工具（CDG-T）来分配预期的性能期望，我们在印度北方邦进行的孕产妇健康调查。
2020-03-12 cs.AI cs.LG cs.PF
Irregular-Time Bayesian Networks
Ben-Gurion University（本-古里安大学）
在许多领域的观察是不规则的，由于测量的限制或缺乏一个恒定的implementation率。虽然离散时间马尔可夫模型（如动态贝叶斯网络）引入了低效的计算或信息丢失，但连续时间马尔可夫模型假设离散状态空间（如连续时间贝叶斯网络）或平坦的连续状态空间（如随机微分方程）。为了解决这些问题，我们提出了一个新的建模类称为不规则时间贝叶斯网络（ITBN），概括动态贝叶斯网络，允许更紧凑的表示，并增加了时间动态的表达能力。此外，一个全局最优的解决方案是保证学习时的时间系统，只要他们是完全观察到在相同的不规则间隔的时间点，并引入ITBN的半参数子类，以允许进一步适应现有数据的不规则性。
2012-03-15 cs.AI cs.LG stat.ML
On the Implicit Flatness Bias of Sharpness-Aware Minimization: A Linear Stability Analysis with Quantitative Hyperparameter Bounds
该研究针对SAM偏向平坦极小值的隐式偏差，通过线性稳定性分析得到定量超参数边界，验证了增大ρ可降低Hessian最大特征值，并提出TLC-SAM变体进一步优化性能。
2026-08-05 cs.LG
Sharpness-Aware Minimization Revisited: Weighted Sharpness as a Regularization Term
Ant Group（蚂蚁集团）
针对SAM优化器，本文提出将锐度作为正则化项的WSAM方法，结合PAC与Bayes-PAC证明泛化界，并在多个公开数据集上验证其更优或具竞争力的泛化性能。
2024-12-05 cs.LG
Tilted Sharpness-Aware Minimization
University of Chicago（芝加哥大学）；University of Washington（华盛顿大学）
提出受指数倾斜启发的平滑 SAM 推广 TSAM，用倾斜超参数优先考虑高损失局部解，并通过 Hamiltonian 动力学离散化算法求解，在图像和文本任务上获得更平坦最小值与更优测试性能。
2025-06-08 cs.LG
Bridging GANs and Bayesian Neural Networks via Partial Stochasticity
本文通过将GANs视为具有部分随机性的贝叶斯神经网络，提出平滑损失景观和最小描述长度方法，以提升GANs的性能和理解。
2026-02-01 cs.CV cs.LG stat.ML
Adaptive Stepsizing for Stochastic Gradient Langevin Dynamics in Bayesian Neural Networks
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）
本文提出 SA-SGLD 方法，通过时间重缩放自适应调整步长，提升贝叶斯神经网络后验采样精度与稳定性。
2026-04-09 cs.LG stat.ML
Entropy-MCMC: Sampling from Flat Basins with Ease
Purdue University（普渡大学）
本文提出Entropy-MCMC方法，通过引入辅助引导变量将后验采样偏向泛化误差低的平坦盆地，以最小计算开销实现高效采样，在分类、校准和分布外检测等基准上优于所有基线。
2024-03-25 cs.LG stat.ML
Differentially Private Sharpness-Aware Training
Seoul National University（首尔大学）
针对差分隐私深度学习训练性能下降的问题，研究发现平坦极小值可缓解梯度裁剪和高斯噪声的负面影响，提出新的锐度感知训练方法以缓解隐私-优化权衡，在从头训练和微调场景下均提升了模型性能。
2023-06-09 cs.AI cs.CR cs.LG
The Bayesian Geometry of Transformer Attention
Columbia University（哥伦比亚大学）；Columbia University School of Professional Studies（哥伦比亚大学专业研究学院）；Department of Statistics（统计学系）；Columbia University Department of Computer Science（哥伦比亚大学计算机科学系）
本文通过构建贝叶斯风道，验证了Transformer在上下文中的贝叶斯推理能力，发现其通过几何机制实现后验更新与路由，揭示了注意力机制的必要性及扁平架构的不足。
2026-05-16 cs.AI cs.LG stat.ML
