Convergence rate of Bayesian tensor estimator: Optimal rate without restricted strong convexity
Tokyo Institute of Technology（东京工业大学）
本文研究了贝叶斯低秩张量估计的统计收敛速度。我们的问题设置是回归问题，其中估计数据的张量结构。这种问题设置在许多实际应用中出现，例如协同过滤、多任务学习和时空数据分析。的收敛速度进行了分析，在样本内和样本外的预测精度。它示出了一个接近最优的速率实现没有任何强凸性的观察。此外，我们表明，该方法具有自适应的真实张量的未知秩，也就是说，接近最优的速度取决于真实的秩，即使它是不知道的先验。
2014-08-13 cs.LG stat.ML
On the Performance of Direct Loss Minimization for Bayesian Neural Networks
Indiana University（印第安纳大学）
直接损失最小化（DLM）是一种基于正则化损失最小化的伪贝叶斯方法。与变分推理相比，它用预测损失代替了证据下限（ELBO）中的损失项，这与评估中使用的损失函数相同。先前工作中的一些理论和经验结果表明，DLM可以显着改善某些模型的ELBO优化。然而，正如我们在本文中指出的，贝叶斯神经网络（BNN）的情况并非如此。本文探讨了BNN的DLM的实际性能，其失败的原因及其与优化ELBO的关系，揭示了两种算法的一些有趣的事实。
2022-11-15 cs.LG stat.ML
Convergence Guarantees for Adaptive Bayesian Quadrature Methods
EURECOM（欧洲电信学院）；University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
自适应贝叶斯求积（ABQ）是一种强大的数值积分方法，在中等维度（非自适应求积不具有竞争力）的问题上，它与蒙特卡罗积分相比具有优势。它的关键成分是一个获取函数，该函数作为先前收集的被积函数值的函数而变化。虽然这种适应性在经验上似乎很强大，但它使分析复杂化。因此，到目前为止，这类方法还没有理论上的保证。在这项工作中，对于广泛的自适应贝叶斯求积方法，我们证明了一致性，推导出非紧但信息量大的收敛速度。为了做到这一点，我们引入了一个新的概念，我们称之为弱适应性。我们的研究结果确定了一个大的和灵活的自适应贝叶斯求积规则一致，从业者可以开发经验有效的方法。
2019-10-28 cs.LG cs.NA math.NA
Accelerating Convergence in Bayesian Few-Shot Classification
Center for Applied Statistics（应用统计中心）；School of Statistics, Renmin University of China（中国人民大学统计学院）；Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高精尖创新中心）
本文提出将镜像下降变分推断集成到高斯过程少样本分类中，利用非欧几何实现加速收敛并改善不确定性量化，实验验证了其优于基线模型的性能。
2024-05-07 cs.LG stat.ML
Loss-Driven Bayesian Active Learning
University of Oxford（牛津大学）
本文提出一种基于损失的贝叶斯主动学习方法，通过将损失函数转化为优化目标，提升下游任务的预测性能。实验表明该方法在回归和分类任务中有效降低了测试损失。
2026-05-08 cs.LG
Loss-calibrated expectation propagation for approximate Bayesian decision-making
Princeton Neuroscience Institute（普林斯顿神经科学研究所）；Princeton University（普林斯顿大学）
近似贝叶斯推断方法提供了一套强大的工具，找到近似的棘手的后验分布。然而，机器学习应用程序通常涉及选择动作，在贝叶斯设置中，这些动作仅通过其对预期效用的贡献取决于后验分布。因此，越来越多的关于损失校准近似推理方法的工作试图开发对效用函数的影响敏感的后验近似。在这里，我们引入损失校准期望传播（Loss-EP），期望传播的损失校准变体。这种方法类似于标准EP，但有一个额外的因素使后验概率向更高效用的决策“倾斜”。我们展示了应用程序的高斯过程分类下的二进制效用函数与不对称的罚款假阴性和假阳性错误，并显示这种不对称性如何可以有戏剧性的后果，什么信息是“有用的”捕捉在一个近似。
2022-01-10 cs.LG stat.ML
Posterior concentration and fast convergence rates for generalized Bayesian learning
Dalhousie University（达尔豪斯大学）；University of Science（理大学）；Vietnam National University（越南国立大学）；AISIA Research Lab（AISIA研究实验室）；University of Delaware（特拉华大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文研究了一般情形下广义Bayes估计的学习率，其中假设类可以是不可数的且形状不规则，损失函数可以有重尾，最优假设可能不唯一.证明了在多尺度Bernstein条件下，广义后验分布集中在最优假设集附近，广义Bayes估计具有较快的学习速度.我们的结果表明，标准的贝叶斯线性回归是强大的重尾分布。
2021-11-19 cs.LG math.ST stat.TH
PAC-Bayesian Generalization Bounds for MultiLayer Perceptrons
University of Delaware（特拉华大学）
研究了交叉熵损失下多层感知器的PAC-Bayes推广界。首先，我们从两个方面对MLP问题进行了概率解释：（i）MLP问题形成了一个Gibbs分布族;（ii）MLP问题的交叉熵损失最小化等价于贝叶斯变分推理，这为研究MLP问题的PAC-Bayesian界奠定了坚实的概率基础。基于证据下界（ELBO），证明了具有交叉熵损失的MLP本质上保证了PAC-Bayesian泛化界，并且最小化MLP的PAC-Bayesian泛化界等价于最大化ELBO.最后，我们在基准数据集上验证了所提出的PAC-Bayesian泛化界。
2020-06-17 cs.LG stat.ML
Post-hoc loss-calibration for Bayesian neural networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；IBM Research（IBM研究院）
贝叶斯决策理论提供了一个优雅的框架下采取最佳行动的不确定性时，易于处理的后验分布。然而，现代贝叶斯模型通常涉及难以处理的后验，这些后验是用可能是粗糙的替代品近似的。这种困难产生了损失校准技术，旨在学习有利于高效用决策的后验近似。在本文中，专注于贝叶斯神经网络，我们开发的方法来纠正近似后验预测分布，鼓励他们喜欢高效用的决定。与以前的工作相比，我们的方法是不可知的近似推理算法的选择，允许有效的测试时间决策，通过摊销，并根据经验产生更高质量的决策。我们通过跨越各种任务和数据集的对照实验证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
PAC-Bayesian Theory Meets Bayesian Inference
INRIA Paris - École Normale Supérieure（法国国家信息与自动化研究所巴黎分部 - 巴黎高等师范学院）；Google（谷歌）
我们表现出一个强有力的联系之间的频率PAC贝叶斯风险界和贝叶斯边际似然。也就是说，对于负对数似然损失函数，我们表明，PAC-Bayesian泛化风险界的最小化最大化贝叶斯边际似然。这为贝叶斯奥卡姆剃刀准则提供了另一种解释，假设数据是由i.i.d分布生成的。此外，由于负对数似然是一个无界的损失函数，我们激励和提出了一个PAC贝叶斯定理为子伽玛损失家庭，我们表明，我们的方法是健全的经典贝叶斯线性回归任务。
2017-02-13 cs.LG stat.ML
From Shallow Bayesian Neural Networks to Gaussian Processes: General Convergence, Identifiability and Scalable Inference
Universidade do Estado de Minas Gerais (UEMG)（巴西米纳斯戈亚斯州大学）；Universidade Federal de Minas Gerais (UFMG)（巴西联邦大学矿务学院）
本文研究了浅层贝叶斯神经网络到高斯过程的收敛性，提出了一种新的协方差函数，并通过实验验证了其在可扩展推断中的有效性。
2026-02-26 cs.AI cs.LG stat.ML
Probably approximate Bayesian computation: nonasymptotic convergence of ABC under misspecification
CFM
近似贝叶斯计算（ABC）是贝叶斯统计中广泛使用的一种推理方法，可以绕过逐点计算似然。在本文中，我们开发的理论界限之间的距离，在ABC的统计。我们表明，ABC的某些版本是固有的强大的误指定。在有限样本量下，以Oracle不等式的形式给出了其界.明确了对参数空间的维数和统计量的依赖性。结果表明，在参数空间中，所得结果服从预言不等式。我们将我们的理论结果应用于给定的先验分布和数据生成过程，包括非参数回归模型。在本文的第二部分中，我们提出了一个顺序蒙特卡罗（SMC）从伪后验采样，改进了最先进的采样器。
2019-01-01 cs.LG math.ST stat.CO
On the Convergence of the Shapley Value in Parametric Bayesian Learning Games
National University of Singapore（新加坡国立大学）
贡献度量是合作博弈论中的一个经典问题，Shapley值是最著名的解概念。本文建立了参数贝叶斯学习博弈中Shapley值的收敛性，其中博弈者使用他们的组合数据进行贝叶斯推理，后验先验KL散度被用作特征函数。我们表明，对于任何两个球员，在一定的规律性条件下，他们的Shapley值的差异收敛于概率的Shapley值的差异的限制游戏，其特征函数是成比例的联合Fisher信息的对数行列式。作为一个应用，我们提出了一个在线协作学习框架，是渐近Shapley公平的。我们的结果使这一点能够实现，而无需任何昂贵的计算后验先验KL分歧。只需要Fisher信息的一致估计量。我们的框架的有效性证明了使用真实世界的数据与实验。
2022-06-14 cs.GT cs.LG stat.ML
A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm
University of Pennsylvania（宾夕法尼亚大学）；MIT-IBM Watson AI Lab, IBM Research（IBM研究院麻省理工学院-IBM沃森人工智能实验室）；IBM Thomas J. Watson Research Center, IBM Research（IBM研究院托马斯·J·沃森研究中心）；Delft University of Technology（代尔夫特理工大学）
在基于系统与控制（S\&C）的优化算法分析的最新进展中，没有足够的工作专门致力于机器学习（ML）算法及其应用。本文解决了这一差距，说明（离散时间）李雅普诺夫稳定性理论可以作为一个强大的工具，以帮助，甚至导致，在分析（和潜在的设计）的优化算法，不一定是基于梯度。本文关注的特定ML问题是通过称为最大后验期望最大化（MAP-EM）的流行优化算法在不完全数据贝叶斯框架中进行参数估计。根据动力系统稳定性理论的第一性原理，给出了MAP-EM收敛的条件。此外，如果满足额外的假设，我们表明，快速收敛（线性或二次）实现，这可能是很难揭开没有我们采用的S\&C方法。本文中的收敛保证有效地扩展了EM应用的充分条件集，从而展示了其他ML算法的类似基于S\& C的收敛分析的潜力。
2021-02-12 cs.LG math.OC stat.ML
Loss-Calibrated Approximate Inference in Bayesian Neural Networks
University of Oxford（牛津大学）
贝叶斯神经网络的近似推理中的当前方法最小化库尔贝克-莱布勒散度以近似权重上的真实后验。然而，这种近似没有最终应用的知识，因此不能保证给定任务的最佳预测。为了使更合适的特定于任务的近似，我们引入了一个新的损失校准证据下限贝叶斯神经网络的监督学习的背景下，通知贝叶斯决策理论。通过引入依赖于效用函数的下限，我们确保我们的近似比具有非对称效用函数的应用程序的传统方法实现更高的效用。此外，在使用dropout推理时，我们强调我们的新目标与标准dropout神经网络的目标相同，只是增加了一个依赖于效用的惩罚项。我们展示了我们的新的损失校准模型与说明性的医疗例子和限制模型容量实验，并突出故障模式的可比加权交叉熵的方法。最后，我们展示了我们的方法的可扩展性，以现实世界的应用程序与自动驾驶数据集上的每像素语义分割。
2018-05-10 cs.LG stat.ML
On the convergence rate of noisy Bayesian Optimization with Expected Improvement
Center for Applied Scientific Computing, Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室应用科学计算中心）；National University of Singapore（新加坡国立大学）
针对贝叶斯优化中期望改进（EI）的理论收敛问题，本文在高斯过程（GP）先验假设下，首次建立带噪声观测的GP-EI渐近误差界及速率，并通过分析EI函数的探索利用性质，改进了无噪声和有噪声场景下的误差界。
2025-02-12 cs.LG math.OC stat.ML
Fast Bayesian Non-Negative Matrix Factorisation and Tri-Factorisation
University of Cambridge（剑桥大学）
本文提出一种快速变分贝叶斯算法，用于非负矩阵分解和三因子分解，相比Gibbs采样和非概率方法，该方法在迭代和时间步收敛速度更快，且无需额外样本估计后验。
2016-10-26 cs.AI cs.LG cs.NA
A Bayesian Approach To Graph Partitioning
提出了一种基于高斯过程（GP）的局部图电导学习算法，该算法利用MCMC的收敛思想，构造了一种可扩展的、快速收敛到平稳分布的算法，用于学习无向加权图中电导的最小值.第一个度量嵌入用于表示图的顶点。然后，计算训练点的均匀诱导电导。最后，在学习步骤中，使用高斯过程来近似均匀诱导电导。MCMC用于度量估计超参数的不确定性。
2022-04-24 cs.LG
On the Consistency of Optimal Bayesian Feature Selection in the Presence of Correlations
The Ohio State University（俄亥俄州立大学）
最佳贝叶斯特征选择（OBFS）是一种多变量监督筛选方法，旨在从根本上发现生物标志物。在这项工作中，我们证明了高斯OBFS是强一致的温和的条件下，并提供关键后验的收敛速度的框架。这些结果是非常重要的，因为他们准确地确定了OBFS渐近选择的功能，表征不同类型的功能的后验的相对收敛速度，提供条件，保证收敛，证明使用OBFS时，其内部假设是无效的，并设置为理解基于OBFS框架的其他算法的渐近行为的阶段。
2020-02-01 cs.CV cs.LG stat.ML
Asymptotic Properties for Bayesian Neural Network in Besov Space
Seoul National University（首尔国立大学）
神经网络在处理图像和自然语言等各种非结构化数据时显示出强大的预测能力。贝叶斯神经网络通过为模型的参数设置先验分布并计算后验分布来捕获预测的不确定性。本文证明了当真实回归函数在Besov空间中时，采用尖峰-板先验的贝叶斯神经网络具有近似极小极大收敛速度的一致性。即使当回归函数的平滑度未知时，相同的后验收敛速率保持，并且因此尖峰和平板先验适应于回归函数的平滑度。我们还考虑了收缩先验，这是更可行的比其他先验，并表明它具有相同的收敛速度。换句话说，我们提出了一个实用的贝叶斯神经网络保证渐近性质。
2022-11-25 cs.LG math.ST stat.ML
Constrained Bayesian Optimization Under Partial Observations: Balanced Improvements and Provable Convergence
University of Electronic Science and Technology of China（电子科技大学）；University of Exeter（埃克塞特大学）
针对部分可观测约束优化问题，提出一种结合改进采集函数与嵌入不同似然的高斯过程代理模型的约束贝叶斯优化方法，实现平衡探索并证明收敛性，在合成和实际问题上表现优异。
2023-12-23 cs.LG stat.ML
On Improved Regret Bounds In Bayesian Optimization with Gaussian Noise
Center for Applied Scientific Computing, Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室应用科学计算中心）；National University of Singapore（新加坡国立大学）
本文在高斯噪声的频率学派设定下建立了高斯过程预测误差的新逐点界，并据此证明了GP-UCB和GP-TS累积遗憾界具有改进的收敛速率，该误差界还可推广到一般贝叶斯优化算法的收敛分析。
2024-12-25 cs.LG stat.ML
Bayesian Sampling Bias Correction: Training with the Right Loss Function
Imperial College London（帝国理工学院）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）
我们推导出一个损失函数的家庭的训练模型中存在的抽样偏差。例如，当病理学的患病率与其在训练数据集中的采样率不同时，或者当机器学习从业者重新平衡其训练数据集时。采样偏差会导致实验室中的模型性能与更现实的设置之间存在很大差异。它在医学成像应用中无处不在，但在训练时经常被忽视或在特定的基础上解决。我们的方法是基于贝叶斯风险最小化。对于任意似然模型，我们推导出相关的偏差校正损失的训练，表现出直接连接到信息增益。该方法无缝集成在当前的（深度）学习范式中，使用随机反向传播并自然地与贝叶斯模型相结合。我们举例说明肺结节恶性程度分级的病例研究的方法。
2020-06-24 cs.LG q-bio.QM stat.AP
A PAC-Bayesian Tutorial with A Dropout Bound
本教程简要概述了现有的PAC贝叶斯理论，重点是三个泛化边界。第一个是奥卡姆界限，它处理具有有限精度参数的规则，并且当写入规则所需的位数与样本大小相比很小时，它指出泛化损失接近训练损失。第二个是PAC-Bayesian界，为后验分布而不是单个规则提供泛化保证。PAC-Bayesian界自然地处理无限精度规则参数、$L_2$正则化、{ \em提供了用于放弃训练的界}，并且定义了单个区分的PAC-Bayesian后验分布的自然概念。第三个界限是训练方差界限-一种偏差方差分析，但用预期训练损失代替偏差。训练方差界占主导地位的其他界限，但更难以解释。这似乎表明方差减少方法，如装袋，并可能最终提供一个更有意义的辍学分析。
2013-07-08 cs.LG
Exponential Convergence of CAVI for Bayesian PCA
Department of Mathematics and Statistics（数学与统计学系）；Université de Montréal（蒙特利尔大学）
本文首次证明了贝叶斯主成分分析中坐标上升变分推断（CAVI）的指数收敛性，通过连接幂迭代算法及引入新的KL散度下界，填补了理论空白。
2025-05-22 cs.LG stat.ML
PAC-Bayesian bounds for learning LTI-ss systems with input from empirical loss
Aalborg University（奥尔堡大学）；Laboratoire Signal et Automatique de Lille (CRIStAL)（里尔信号与自动化实验室（CRIStAL））
在本文中，我们得到了一个可能近似正确（PAC）的贝叶斯误差界的线性时不变（LTI）随机动力系统的输入。这样的界限在机器学习中很普遍，它们对于表征从大量数据点学习的模型的预测能力很有用。特别是，本文导出的边界将未来的平均预测误差与模型在用于学习的数据上产生的预测误差联系起来。反过来，这使我们能够提供有限样本误差界的广泛的学习/系统识别算法。此外，由于LTI系统是递归神经网络（RNN）的一个子类，这些误差范围可能是RNN迈向PAC-贝叶斯边界的第一步。
2023-03-29 cs.LG stat.ML
On the Convergence of Locally Adaptive and Scalable Diffusion-Based Sampling Methods for Deep Bayesian Neural Network Posteriors
本文研究深度贝叶斯神经网络后验采样的局部自适应扩散方法，证明即使步长趋零且全批处理，这些方法仍可能采样到有偏分布，不收敛于正确后验。
2024-03-14 cs.LG stat.ML
Accelerating Convergence of Stein Variational Gradient Descent via Deep Unfolding
Tokyo Institute of Technology（东京工业大学）
本文提出将深度展开技术融入 Stein 变分梯度下降，通过可训练方式学习其内部参数以加速收敛，并在高斯混合采样、贝叶斯逻辑回归和贝叶斯神经网络任务中验证了其优于传统 SVGD 变体的收敛性能。
2024-02-23 cs.LG stat.ML
On the generalization of bayesian deep nets for multi-class classification
Bar-Ilan University（巴伊兰大学）；Technion（以色列理工学院）；University of Illinois（伊利诺伊大学）
评估真实风险和经验风险之间差异的泛化界限已经得到了广泛的研究。然而，为了获得边界，当前技术使用严格的假设，诸如一致有界或Lipschitz损失函数。为了避免这些假设，在本文中，我们通过利用Log-Sobolev不等式的收缩性，提出了一个新的贝叶斯深度网的推广界。使用这些不等式增加了一个额外的损失梯度范数项的推广界，这是直观的模型复杂性的替代品。从经验上讲，我们使用不同的深度网络分析了这种损失梯度范数项的影响。
2020-02-23 cs.LG stat.ML
Bayesian Risk-Sensitive Policy Optimization For MDPs With General Loss Functions
Industrial and Systems Engineering Georgia Institute of Technology（工业与系统工程佐治亚理工学院）
针对带通用损失函数的未知参数MDPs，提出基于贝叶斯框架与一致性风险泛函的策略梯度优化方法，推导收敛速率并扩展至回合场景证明全局收敛。
2025-09-30 cs.LG
Bayesian Jammer Localization with a Hybrid CNN and Path-Loss Mixture of Experts
1Dept. of Electrical \& Computer Engineering, Northeastern University, Boston, MA, USA 2Dept. of Computer Science, University of Massachusetts Boston, Boston, MA, USA
针对城市GNSS干扰定位中RSS重建不佳的问题，提出融合物理路径损耗与CNN的贝叶斯专家混合框架，实现高精度定位并量化不确定性。
2025-10-23 cs.LG eess.SP
Jensen-Shannon Divergence Based Novel Loss Functions for Bayesian Neural Networks
Johns Hopkins University（约翰斯·霍普金斯大学）；Michigan Technological University（密歇根理工大学）
针对贝叶斯神经网络中基于KL散度的变分推断优化不稳定等问题，提出基于改进广义JS散度和几何JS散度的新型损失函数，在含噪或有偏数据集上性能更优，并量化了相关不确定性指标。
2024-12-03 cs.LG
On permutation symmetries in Bayesian neural network posteriors: a variational perspective
Stellantis（斯泰兰蒂斯）
本研究将边缘化损失障碍形式化扩展到贝叶斯神经网络，提出一种基于置换矩阵对齐的匹配算法以搜索线性连接解，实验表明多种架构和数据集上边缘化损失障碍几乎为零。
2023-10-16 cs.LG stat.ML
Precise Regret Bounds for Log-loss via a Truncated Bayesian Algorithm
Purdue University（普渡大学）
我们研究了序贯一般在线回归，也被称为序贯概率分配，对数损失下相比，对广泛的一类专家。我们专注于获得紧密的，往往匹配，下限和上限的顺序极大极小后悔，被定义为超额损失，它招致了一类专家。在证明了一个一般的上界后，我们考虑了从Lipschitz类到有界Hessian类的一些特定的专家类，并导出了匹配的上下界和可证明的最优常数。我们的边界适用于数据维度和轮数的广泛值。为了得到下限，我们使用来自信息论的工具（例如，Shtarkov和）和上界，我们诉诸新的“光滑截断覆盖”的专家类。这使我们能够找到建设性的证据，通过应用一个简单而新颖的截断贝叶斯算法。我们的证明比现有的证明简单得多，但提供了更严格的（通常是最优的）界限。
2022-05-07 cs.IT cs.LG math.IT
Client Selection for Federated Bayesian Learning
South China University of Technology（华南理工大学）；King’s College London（伦敦国王学院）
Distributed Stein Variational梯度下降（DSVGD）是一种用于联邦贝叶斯学习的非参数分布式学习框架，其中多个客户端通过与服务器通信许多非随机和交互粒子来联合训练机器学习模型。由于通信资源有限，选择具有最多信息的局部学习更新的客户端可以提高模型收敛性和通信效率。本文提出了两种基于核Stein离散（KSD）和Hilbert内积（HIP）的DSVGD选择方案。我们推导出了这两种方案的每次迭代的全局自由能减少的上界，然后将其最小化以加快模型收敛。我们使用各种学习任务和数据集，在模型精度、收敛速度和稳定性方面对我们的方案与传统方案进行评估和比较。
2023-03-13 cs.LG eess.SP
Decentralized Joint-Sparse Signal Recovery: A Sparse Bayesian Learning Approach
Indian Institute of Science（印度科学院）
这项工作提出了一种分散的，迭代的，贝叶斯算法称为CB-DSBL的多个联合稀疏向量的网络估计的网络节点，使用噪声和欠定线性测量。所提出的算法利用未知稀疏向量的网络范围联合稀疏性，与独立稀疏信号恢复方案相比，从数量显著较少的本地测量中恢复未知稀疏向量。为了减少节点间通信量和相关开销，节点仅与其单跳邻居的一小部分交换消息。在这种通信方案下，我们分别分析了我们所提出的算法中使用的交替方向乘法（ADMM）迭代的收敛性，并建立了其线性收敛速度。从分散ADMM的收敛性分析的结果被用来加速所提出的CB-DSBL算法的收敛性。使用Monte Carlo模拟，我们证明了优越的信号重建，以及支持恢复性能相比，我们提出的算法现有的分散式算法：DRL-1，DCOMP和DCSP。
2015-12-18 cs.IT cs.LG math.IT
Neural Bayesian Anomaly Mitigation: A Robust Loss that Doubles as an Unsupervised Contamination Classifier
Astrophysics Group, Cavendish Laboratory, University of Cambridge（剑桥大学卡文迪许实验室天体物理组）；Institute of Astronomy, University of Cambridge（剑桥大学天文研究所）
提出神经贝叶斯异常缓解（NBAM）损失，基于贝叶斯潜变量混合模型，既提供鲁棒监督损失又输出无监督污染后验，在CIFAR-10上优于Huber等基线。
2026-06-16 astro-ph.CO cs.LG stat.ML
Pseudo-Bayesian Optimization
Columbia University（哥伦比亚大学）
本文提出伪贝叶斯优化公理化框架，提炼黑箱优化收敛的最小要求，并利用局部回归与随机先验构造出在合成实验、超参数调优和机器人应用中均优于现有基准的算法。
2025-02-04 cs.LG stat.ML
Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors
New York University（纽约大学）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Maryland（马里兰大学）；Meta AI Research（Meta人工智能研究院）
深度学习正越来越多地朝着迁移学习范式发展，在这种范式下，大型基础模型从源任务上学习的初始化开始，在下游任务上进行微调。但是初始化包含的关于源任务的信息相对较少。相反，我们表明，我们可以从源任务中学习高度信息化的后验，通过监督或自我监督的方法，然后作为修改下游任务的整个损失表面的先验的基础。这种简单的模块化方法可以在各种下游分类和分割任务上实现显着的性能提升和更有效的数据学习，作为标准预训练策略的替代品。这些高度信息化的先验也可以被保存以供将来使用，类似于预先训练的权重，并且与贝叶斯深度学习中通常使用的零均值各向同性无信息先验形成对比。
2022-05-20 cs.CV cs.LG
A Bayesian Approach for Online Classifier Ensemble
Boston University（波士顿大学）；University of Michigan（密歇根大学）
我们提出了一个贝叶斯方法递归估计分类器的权重在在线学习的分类器集成。与过去的方法，如随机梯度下降或在线提升，我们的方法估计的权重递归更新其后验分布。对于一类特定的损失函数，我们表明，它是可以制定一个适当定义的似然函数，因此使用后验分布作为近似的全球经验损失最小。如果训练数据流是从一个平稳的过程中采样的，我们还可以证明，我们的方法比标准的随机梯度下降方法具有更好的收敛速度。在真实世界数据集的实验中，我们的公式通常比最先进的随机梯度下降和在线提升算法表现得更好。
2015-07-08 cs.LG
PAC-Bayesian Learning of Optimization Algorithms
University of Tübingen（蒂宾根大学）
我们将PAC-Bayes理论应用于学习优化的设置。据我们所知，我们提出了第一个框架来学习优化算法与可证明的泛化保证（PAC界）和明确的高概率收敛和高收敛速度之间的权衡。即使在极限的情况下，收敛性得到保证，我们学到的优化算法证明优于相关算法的基础上（确定性）的最坏情况分析。我们的研究结果依赖于PAC贝叶斯界一般，无界损失函数的指数家庭的基础上。通过推广现有的想法，我们重新制定的学习过程成一个一维的最小化问题，并研究的可能性，找到一个全局最小值，这使得算法实现的学习过程。作为概念验证，我们学习标准优化算法的超参数，以经验方式强调我们的理论。
2023-02-15 cs.LG stat.ML
On the Importance of Gradient Norm in PAC-Bayesian Bounds
Technion（以色列理工学院）；Meta AI Research（元人工智能研究院）；The Hebrew University of Jerusalem（希伯来大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
评价真实风险和经验风险之间差异的泛化界限已被广泛研究。然而，为了获得边界，当前技术使用严格的假设，诸如一致有界或Lipschitz损失函数。为了避免这些假设，在本文中，我们遵循另一种方法：我们放松一致的边界假设，使用平均有界损失和平均有界梯度范数假设。在这种放松之后，我们提出了一个新的推广界，利用log-Sobolev不等式的收缩性。这些不等式增加了一个额外的损失梯度范数项的推广界，这是直观的模型复杂性的替代品。我们将提出的边界应用于贝叶斯深度网络，并实证分析了这种新的损失梯度范数项对不同神经架构的影响。
2022-11-02 cs.LG stat.ML
PAC$^m$-Bayes: Narrowing the Empirical Risk Gap in the Misspecified Bayesian Regime
Google Research（谷歌研究院）
贝叶斯后验最小化“推断风险”，其本身限制了“预测风险”。当可能性和先验信息明确指定时，该界限很紧。然而，由于误设定导致间隙，贝叶斯后验预测分布可能具有较差的泛化性能。这项工作开发了一个多样本损失（PAC $^m$），它可以通过跨越两个风险之间的权衡来缩小差距。损失是计算上有利的，并提供PAC泛化保证。实证研究表明，改善的预测分布。
2022-05-23 cs.LG stat.ML
A Bayesian approach for initialization of weights in backpropagation neural net with application to character recognition
University of Turin（都灵大学）
权值的初始化严重影响神经网络训练算法的收敛速度。本文提出了一种新颖的反向传播神经网络权值初始化算法，并将其应用于字符识别。初始化方法主要基于卡尔曼滤波器的定制，将其转换为贝叶斯统计术语。在这种情况下，考虑权重作为相互依赖的正态随机变量建模的测量值，使用一种新的方法。算法的性能证明了报告和讨论的模拟试验的结果。并与随机权值初始化等方法进行了比较。所提出的方法显示了一个改进的收敛速度的反向传播训练算法。
2020-04-04 cs.LG stat.ML
A PAC-Bayesian Perspective on Structured Prediction with Implicit Loss Embeddings
Mines ParisTech – PSL（巴黎高等矿业学院——巴黎文理研究大学）；Inria（法国国家信息与自动化研究所）；Sorbonne Université（索邦大学）；University College London（伦敦大学学院）
许多实际的机器学习任务可以被构造为结构化预测问题，其中多个输出变量被预测并被认为是相互依赖的。结构化预测的最新理论进展集中在获得快速收敛保证，特别是在隐损失嵌入（ILE）框架中。PAC-Bayes最近因其能够为预测分布产生严格的风险边界而引起了人们的兴趣。这项工作提出了一种新的PAC贝叶斯观点的ILE结构化预测框架。我们提出了两个推广的界限，风险和超额风险，从而产生洞察ILE预测的行为。两个学习算法推导出这些界限。算法的实现和他们的行为分析，源代码可在\url{https://github.com/theophilec/PAC-Bayes-ILE-Structured-Prediction}。
2020-12-21 cs.LG math.ST stat.ML
A new integral loss function for Bayesian optimization
SUPELEC（高等电力学院）
我们考虑的问题，最大化的实值连续函数$f$使用贝叶斯方法。自70年代Jonas Mockus和Antanas Mockilinskas的早期工作以来，优化问题通常通过考虑损失函数$\max f - M_n$（其中$M_n$表示在对$f$进行$n$评估后观察到的最佳函数值）来公式化。这个损失函数强调最大值的价值，而牺牲了最大化者的位置。在一步贝叶斯最优策略的特殊情况下，它导致经典的期望改进（EI）抽样标准。这是逐步不确定性降低（SUR）策略的特殊情况，其中与感兴趣的数量上的特定不确定性度量（此处为预期损失）相关的风险在算法的每一步都被最小化。在这篇文章中，假设$f$是定义在测量空间$(\mathbb{X}, λ)$，我们建议，而不是考虑的积分损失函数$\int_{\mathbb{X}} (f - M_n)_{+}\, dλ$，我们表明，这导致，在高斯过程之前的情况下，到一个新的数值上易于处理的采样标准，我们称之为$\rm EI^2$（预期的综合预期改善）。数值实验表明，基于这种新的采样准则的SUR策略减少了错误的值和位置的最大化比基于EI的策略。
2014-08-20 cs.LG math.OC stat.CO
Being Bayesian about Categorical Probability
ESTsoft
神经网络利用softmax作为分类任务的构建块，其包含过度自信问题并且缺乏不确定性表示能力。作为softmax的贝叶斯替代方案，我们考虑类标签上分类概率的随机变量。在这个框架中，先验分布显式地对观察到的标签中固有的假定噪声进行建模，这在多个具有挑战性的任务中提供了一致的泛化性能增益。该方法继承了贝叶斯方法的优点，实现了更好的不确定性估计和模型校准。我们的方法可以实现为一个即插即用的损失函数，与具有交叉熵损失函数的softmax相比，其计算开销可以忽略不计。
2020-06-29 cs.LG stat.ML
Asymptotic Consistency of Loss-Calibrated Variational Bayes
Purdue University（普渡大学）
本文建立了{ \it损失校准变分贝叶斯}（LCVB）方法的渐近相合性。LCVB是在~ \cite{LaSiGh2011}中提出的，作为一种以“损失感知”方式近似计算贝叶斯后验的方法。这种方法在一般数据驱动的决策环境中也高度相关。在这里，我们不仅建立了校准的近似后验的渐近一致性，而且还建立了决策规则的渐近一致性。我们还建立了一个“天真”变分贝叶斯过程中获得的决策规则的渐近一致性。
2019-11-04 cs.LG stat.ML
Bayesian Federated Learning with Hamiltonian Monte Carlo: Algorithm and Theory
ByteDance Inc（字节跳动公司）；Purdue University（普渡大学）；Morgan Stanley（摩根士丹利）
该研究提出贝叶斯联邦学习新算法FA-HMC，在非独立同分布数据下建立严格收敛保证并验证分析紧致性，实验证明其性能优于现有FA-LD算法。
2024-07-09 cs.LG stat.CO stat.ML
Distributionally Robust PAC-Bayesian Control
本文提出一种分布鲁棒的PAC-Bayesian框架，用于验证基于学习的有限时间 horizon 控制器性能。通过结合PAC-Bayes泛化理论和基于类型1 Wasserstein距离的分布鲁棒优化，解决无界损失和环境分布偏移问题，提供高概率安全证书。
2026-04-12 cs.LG cs.SY eess.SY
Batch-Incremental Triplet Sampling for Training Triplet Networks Using Bayesian Updating Theorem
University of Waterloo（滑铁卢大学）
Triplet网络的变体是用于学习判别嵌入子空间的鲁棒实体。存在不同的三元组挖掘方法来选择最合适的训练三元组。这些挖掘方法中的一些依赖于实例之间的极端距离，而另一些则使用采样。然而，从数据的随机分布中采样而不是仅仅从现有的嵌入实例中采样可以提供更多的判别信息。在这项工作中，我们从分布的数据，而不是从现有的实例中采样三元组。我们考虑一个多元正态分布的嵌入每一类。使用贝叶斯更新和共轭先验，我们动态更新类的分布，通过接收新的小批量的训练数据。所提出的具有贝叶斯更新的三元组挖掘可以与任何基于三元组的损失函数一起使用，例如，三重损失或邻域分量分析（NCA）损失。因此，我们的三元组挖掘方法被称为贝叶斯更新三元组（BUT）和贝叶斯更新NCA（BUNCA），这取决于使用的损失函数。两个公共数据集，即MNIST和组织病理学结直肠癌（CRC）的实验结果，证实了所提出的三元组挖掘方法的有效性。
2020-10-13 cs.CV cs.LG eess.IV
A Tutorial on Distributed (Non-Bayesian) Learning: Problem, Algorithms and Results
Arizona State University（亚利桑那州立大学）；Boston University（波士顿大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们概述了分布式学习的一些结果，重点是最近提出的一系列算法，称为非贝叶斯社会学习。我们考虑分布式学习问题的不同方法及其在有限多个假设的情况下的算法解决方案。最初的集中式问题进行了讨论，然后由一个概括的分布式设置。收敛性和收敛速度的结果给出了渐近和有限时间制度。各种扩展进行了讨论，如处理定向时变网络，Nesterov的加速技术和连续集的假设。
2016-09-23 cs.LG cs.MA cs.SI
