Online Optimization with Costly and Noisy Measurements using Random Fourier Expansions
Delft University of Technology（代尔夫特理工大学）
本文分析了DONE，在线优化算法，迭代最小化一个未知的功能的基础上昂贵和嘈杂的测量。该算法以随机傅立叶展开（RFE）的形式维护未知函数的代理。每当有新的测量值可用时，替代值就会更新，然后用于确定下一个测量点。该算法与贝叶斯优化算法相当，但其每次迭代的计算复杂性不依赖于测量的数量。我们得出了几个理论结果，提供洞察力的超参数的算法应该如何选择。该算法相比，贝叶斯优化算法的基准问题和三个应用程序，即，光学相干断层扫描，光学波束形成网络调整，和机器人手臂控制。结果发现，DONE算法是明显快于贝叶斯优化在讨论的问题，同时实现类似或更好的性能。
2016-09-29 cs.LG math.OC stat.ML
Parallel Gaussian process surrogate Bayesian inference with noisy likelihood evaluations
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所）；Aalto University（阿尔托大学）；University of Edinburgh（爱丁堡大学）
我们考虑贝叶斯推断时，只有有限数量的噪声对数似然评价可以得到。例如，当将复杂的基于模拟器的统计模型拟合到数据时，会发生这种情况，并且使用合成似然（SL）方法来使用计算成本高的前向模拟来形成噪声对数似然估计。我们框架的推理任务作为一个连续的贝叶斯试验设计问题，其中的对数似然函数建模与分层高斯过程（GP）代理模型，这是用来有效地选择额外的对数似然评估位置。最近的进展的相关问题的批量贝叶斯优化的动机，我们开发了各种批量顺序的设计策略，允许并行运行一些潜在的昂贵的模拟。我们从理论和经验上分析了所产生的方法的属性。几个玩具问题和仿真模型的实验表明，我们的方法是强大的，高度并行化，样本效率。
2020-03-06 cs.LG stat.CO stat.ME
Bayesian learning of noisy Markov decision processes
University of Cambridge（剑桥大学）；CREST—ENSAE（法国国家统计与经济研究所-国立统计与经济管理学院）；HEC Paris（巴黎高等商学院）；University of Bristol（布里斯托大学）
我们考虑逆强化学习问题，也就是说，学习的问题，然后预测或模仿基于状态/动作数据的控制器。我们提出了一个统计模型，这样的数据，来自结构的马尔可夫决策过程。采用贝叶斯推理方法，我们展示了如何估计模型的潜在变量，以及如何在一个统一的框架中预测行动。设计了一种新的基于后验分布的马尔可夫链蒙特卡罗（MCMC）采样器。这一步包括一个参数扩展步骤，这是必不可少的良好的收敛性能的MCMC采样器。作为示例，该方法被应用于学习人类控制器。
2012-11-26 cs.LG stat.CO stat.ML
Bayesian Optimization with Exponential Convergence
MIT（麻省理工学院）
本文提出了一种指数收敛的贝叶斯优化方法，它不需要辅助优化，也不需要增量覆盖抽样。大多数贝叶斯优化方法需要辅助优化：一个额外的非凸全局优化问题，这可能是耗时的，很难在实践中实现。此外，现有的具有指数收敛的贝叶斯优化方法需要访问增量覆盖采样，这被认为是不切实际的。我们的方法消除了这两个要求，并实现了指数收敛速度。
2016-04-05 cs.LG stat.ML
A Score-and-Search Approach to Learning Bayesian Networks with Noisy-OR Relations
University of Waterloo（滑铁卢大学）；University of Bristol（布里斯托大学）
贝叶斯网络是由有向无环图（DAG）组成的概率图模型，其中每个节点是随机变量，并且每个节点都是条件概率分布（CPD）。贝叶斯网络可以使用众所周知的评分和搜索方法从数据中学习，在这种方法中，一个关键的考虑因素是如何同时学习底层DAG形式的全局结构和CPD中的局部结构。在文献中已经确定了几种有用的局部结构形式，但到目前为止，得分和搜索方法只被扩展到处理局部结构的形式，上下文特定的独立性。在本文中，我们将展示如何扩展的得分和搜索方法的重要和广泛有用的情况下，噪声或关系。我们提供了一个有效的梯度下降算法来评分的候选噪声或使用广泛使用的BIC得分，我们提供了修剪规则，使搜索成功地扩展到中等规模的网络。我们的实证结果提供了证据，我们的方法来学习贝叶斯网络，将噪声或关系的成功。
2020-11-03 cs.AI cs.LG
Eigenvalue Corrected Noisy Natural Gradient
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
变分贝叶斯神经网络将深度学习的灵活性与贝叶斯不确定性估计相结合。然而，灵活的变分后验的推理程序是计算昂贵的。最近提出的一种方法，噪声自然梯度，是一个令人惊讶的简单的方法来适应表达后验通过添加权重噪声定期自然梯度更新。噪声K-FAC是噪声自然梯度的一个实例，其拟合具有对普通K-FAC的微小改变的矩阵变量高斯后验。然而，矩阵变量高斯后验并不能捕获准确的对角方差。在这项工作中，我们扩展噪声K-FAC，以获得一个更灵活的后验分布称为特征值校正矩阵变量高斯。该方法在Kronecker分解特征基中计算全对角重标度因子。从经验上讲，我们的方法始终优于现有的算法（例如，噪声K-FAC）的回归和分类任务。
2018-11-30 cs.LG stat.ML
Bayesian model selection and misspecification testing in imaging inverse problems only from noisy and partial measurements
Heriot-Watt University, MACS \& Maxwell Institute for Mathematical Sciences, EH14 4AS, Edinburgh, United Kingdom
提出一种结合贝叶斯交叉验证与数据分裂的通用方法，用于在无真实数据情况下对成像逆模型进行选择与误设定检测，兼容扩散采样器等贝叶斯成像采样器，计算成本低且准确率高。
2026-05-28 cs.LG eess.IV stat.ME
Gaussian processes meet NeuralODEs: A Bayesian framework for learning the dynamics of partially observed systems from scarce and noisy data
University of Pennsylvania（宾夕法尼亚大学）
本文提出了一个机器学习框架（GP-NODE），用于从非线性动态系统的部分、噪声和不规则观测中识别贝叶斯系统。该方法利用微分编程的最新发展，通过常微分方程求解器传播梯度信息，并使用Hamilton Monte Carlo采样和高斯过程先验对所观察到的系统状态进行贝叶斯推断。这使我们能够利用观测数据中的时间相关性，并有效地推断具有量化不确定性的合理模型的后验分布。此外，使用稀疏促进先验，如芬兰马蹄免费模型参数，使潜在的潜在动态的可解释和简约的表示发现。一系列的数值研究表明，建议的GP-NODE方法的有效性，包括捕食系统，系统生物学，和50维人体运动动力系统。总之，我们的研究结果提出了一种新的，灵活的和强大的工作流程，数据驱动的模型发现下的不确定性。本手稿随附的所有代码和数据可在\url{https://github.com/PredictiveIntelligenceLab/GP-NODEs}在线获取。
2021-03-04 cs.LG physics.data-an stat.ML
STREGO: A Scalable Implementation of a Trust-Region Framework for Noisy Bayesian Optimization
GERAD & Department of Mathematics and Industrial Engineering, Polytechnique Montréal（蒙特利尔理工学院 GERAD 与数学及工业工程系）；GERAD & Department of Management, Université du Québec à Trois-Rivières（特鲁瓦河魁北克大学 GERAD 与管理系）
本文提出STREGO，即面向带噪声贝叶斯优化的信赖域框架的可扩展实现，通过推广TREGO并优化全局与局部阶段，在4至124维的合成与真实世界问题上，其性能优于TREGO等基准方法。
2026-10-14 cs.LG math.OC
Bayesian deep learning with hierarchical prior: Predictions from limited and noisy data
University of Notre Dame（圣母大学）
工程应用中的数据集往往是有限的和污染的，主要是由于不可避免的测量噪声和信号失真。因此，使用传统的数据驱动的方法来建立一个可靠的判别模型，并进一步将此确定的替代不确定性分析仍然是非常具有挑战性的。提出了一种深度学习方法，以提供基于有限和噪声数据的预测。为了解决噪声扰动，贝叶斯学习方法，自然有利于自动更新机制被认为是量化和传播模型的不确定性到预测量。具体而言，层次贝叶斯模型（HBM），首先采用描述模型的不确定性，这使得先验假设是不那么主观的，同时也使建议的替代更强大。接下来，贝叶斯推理被无缝地集成到DL框架中，DL框架又通过产生感兴趣的数量的概率分布而不是它们的点估计来支持概率编程。变分推理（VI）用于后验分布分析，其中参数空间上的似然函数的难以处理的边缘化问题以优化形式被框定，并且随机梯度下降方法被应用于解决该优化问题。最后，使用蒙特卡罗模拟在贝叶斯推断的预测阶段获得无偏估计，其中所提出的贝叶斯深度学习（BDL）方案能够通过分析传播的不确定性来提供输出估计的置信界。贝叶斯收缩的有效性证明在提高预测性能，使用污染的数据，并提供各种例子来说明概念，方法和算法，提出的BDL建模技术。
2019-07-08 cs.LG eess.SP physics.comp-ph
Thompson Sampling for Stochastic Bandits with Noisy Contexts: An Information-Theoretic Regret Analysis
University of Birmingham（伯明翰大学）；Iowa State University（爱荷华州立大学）
针对带噪声上下文的随机线性老虎机问题，提出一种基于贝叶斯框架的Thompson Sampling算法，并通过信息论分析证明其贝叶斯遗憾，发现延迟观测真实上下文可降低遗憾，实证表明算法优于基线。
2024-03-22 cs.LG stat.ML
Overfitting and Generalizing with (PAC) Bayesian Prediction in Noisy Binary Classification
The University of Chicago（芝加哥大学）；The University of Illinois at Chicago（伊利诺伊大学香槟分校）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了PAC-Bayes类型学习规则在二分类中的应用，通过平衡随机后验预测的训练误差与KL散度，提出了一种在噪声环境下改进泛化的学习方法，揭示了不同正则化参数λ对过拟合的影响。
2026-03-23 cs.LG stat.ML
Rapid Bayesian identification of sparse nonlinear dynamics from scarce and noisy data
提出一种基于贝叶斯框架的快速概率方法 Bayesian-SINDy，通过高斯近似加速计算，在稀缺和含噪声数据下高效识别非线性动力学微分方程并量化不确定性，为生物数据分析和实时控制中的主动学习奠定基础。
2024-09-23 nlin.CD stat.ME stat.ML
Approximate Bayesian inference from noisy likelihoods with Gaussian process emulated MCMC
提出用高斯过程模拟Metropolis-Hastings采样进程的近似贝叶斯推断框架，在有限噪声似然评估下实现高效且鲁棒的推断。
2023-08-31 stat.CO stat.ME stat.ML
Loss convergence in a causal Bayesian neural network of retail firm performance
我们通过将有向无环图实现为因果贝叶斯神经网络来扩展结构方程模型（SEM）的实证结果，该模型发表在《零售购买、零售商店运营和企业绩效的产品组合规划》一文中。神经网络的收敛性，以改善与最弱的SEM路径的节点的删除时，变分推断提供扰动权重与Flipout层，而结果从扰动权重在输出与Vadam优化器是不确定的。
2020-08-29 cs.LG stat.ML
A Dynamical Systems Approach for Convergence of the Bayesian EM Algorithm
University of Pennsylvania（宾夕法尼亚大学）；MIT-IBM Watson AI Lab, IBM Research（IBM研究院麻省理工学院-IBM沃森人工智能实验室）；IBM Thomas J. Watson Research Center, IBM Research（IBM研究院托马斯·J·沃森研究中心）；Delft University of Technology（代尔夫特理工大学）
在基于系统与控制（S\&C）的优化算法分析的最新进展中，没有足够的工作专门致力于机器学习（ML）算法及其应用。本文解决了这一差距，说明（离散时间）李雅普诺夫稳定性理论可以作为一个强大的工具，以帮助，甚至导致，在分析（和潜在的设计）的优化算法，不一定是基于梯度。本文关注的特定ML问题是通过称为最大后验期望最大化（MAP-EM）的流行优化算法在不完全数据贝叶斯框架中进行参数估计。根据动力系统稳定性理论的第一性原理，给出了MAP-EM收敛的条件。此外，如果满足额外的假设，我们表明，快速收敛（线性或二次）实现，这可能是很难揭开没有我们采用的S\&C方法。本文中的收敛保证有效地扩展了EM应用的充分条件集，从而展示了其他ML算法的类似基于S\& C的收敛分析的潜力。
2021-02-12 cs.LG math.OC stat.ML
Bayesian Topological Learning for Brain State Classification
University of Tennessee（田纳西大学）；US Army Research Laboratory（美国陆军研究实验室）
通过脑电信号研究人脑状态是人机通信的关键步骤。然而，由于脑电信号的噪声、非线性和非平稳性，其分类和分析具有挑战性。目前用于分析这些信号的方法往往不足，因为它们有几个规律性假设。这项工作提供了一个有效的，灵活的和抗噪声的方案来分析EEG提取相关的信息，同时遵守3N（噪声，非线性和非平稳）的数据的性质。我们实现了一个拓扑工具，即持久的同源性，跟踪拓扑特征随时间间隔的演变，并结合个人的期望作为先验知识，通过贝叶斯框架计算后验分布。依靠这些后验分布，我们应用贝叶斯因子分类噪声EEG测量。这种贝叶斯分类方案的性能，然后与其他现有的方法进行比较EEG信号。
2019-12-18 cs.LG stat.ME stat.ML
No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations
The Ohio State University（俄亥俄州立大学）
针对噪声观测下昂贵混合模型的约束全局优化问题，提出约束上分位数界（CUQB）方法，利用复合结构与可微近似提升采样效率，提供次线性收敛保证与不可行性检测，数值实验证明其优于传统贝叶斯优化。
2023-07-28 cs.LG stat.ML
Parallel Bayesian Optimization of Multiple Noisy Objectives with Expected Hypervolume Improvement
Facebook（脸书）；University of Oxford（牛津大学）
优化多个竞争的黑箱目标在许多领域都是一个具有挑战性的问题，包括科学，工程和机器学习。多目标贝叶斯优化（MOBO）是一种样本有效的方法，用于确定目标之间的最佳权衡。然而，许多现有的方法表现不佳时，观测被噪声破坏。我们提出了一种新的采集功能，NEHVI，克服了这一重要的实际限制，通过应用贝叶斯处理流行的预期超体积改进（EHVI）标准，并整合在帕累托前沿的不确定性。我们认为，即使在无噪声的设置，并行生成多个候选人是一个化身的EHVI与帕累托前沿的不确定性，因此可以使用相同的底层技术来解决。通过这个镜头，我们得到一个自然的并行变量，$q$ NEHVI，减少计算复杂性的并行EHVI从指数多项式的批量大小。$q$ NEHVI是一步贝叶斯最优的超体积最大化在噪声和无噪声的环境中，我们表明，它可以有效地优化与基于梯度的方法，通过样本平均近似。从经验上讲，我们不仅证明了$q$ NEHVI比现有的MOBO方法对观测噪声的鲁棒性更强，而且还证明了它在大批量环境中实现了最先进的优化性能和有竞争力的墙时间。
2021-10-26 cs.AI cs.LG stat.ML
Noisy Low-rank Matrix Optimization: Geometry of Local Minima and Convergence Rate
University of California, Berkeley（加州大学伯克利分校）
低秩矩阵优化在机器学习中有着广泛的应用。在矩阵传感的特殊情况下，这个问题已经通过限制等距属性（RIP）的概念进行了广泛的研究，导致了大量的结果的几何景观的问题和常见算法的收敛速度。然而，现有的结果可以处理的情况下，一般的目标函数受噪声数据只有当RIP常数接近0的问题。在本文中，我们开发了一个新的数学框架来解决上述问题，限制性更小的RIP常数。我们证明，只要RIP常数的无噪声目标是小于$1/3$，任何虚假的本地解决方案的噪声最优化问题必须接近地面真理的解决方案。通过严格的鞍性质，我们还表明，近似解可以在多项式时间内找到。当RIP常数大于$1/3$时，我们刻画了问题在真实情况下的局部极小值的几何特征。与已有的文献结果相比，本文给出了最强RIP界，并对一般低秩最优化问题在任意有限方差族随机破坏下的全局和局部最优化景观进行了完整的理论分析.
2023-03-15 cs.LG math.OC stat.ML
Stratified Bayesian Optimization
Cornell University（康奈尔大学）
我们考虑昂贵的噪声函数的无导数黑箱全局优化，当目标中的大部分随机性由几个有影响力的标量随机输入产生时。我们提出了一种新的贝叶斯全局优化算法，称为分层贝叶斯优化（SBO），它使用这种强依赖性，以提高性能。我们的算法在精神上类似于分层，分层是一种来自模拟的技术，它使用对随机输入的分类表示的强烈依赖来减少方差。我们在数值实验中证明，SBO优于最先进的贝叶斯优化基准，不利用这种依赖。
2016-02-20 cs.LG math.OC stat.ML
Bayesian uncertainty-aware deep learning with noisy labels: Tackling annotation ambiguity in EEG seizure detection
Department of Electrical and Computer Engineering, Johns Hopkins University（约翰霍普金斯大学电气与计算机工程系）；Department of Electrical and Computer Engineering, Boston University（波士顿大学电气与计算机工程系）
本文提出BUNDL算法，通过整合领域知识和贝叶斯框架，设计基于KL散度的损失函数，提升EEG癫痫检测的鲁棒性，验证了其在噪声标签下的有效性及跨机构泛化能力。
2026-01-05 cs.LG eess.SP stat.ML
Focused econometric estimation for noisy and small datasets: A Bayesian Minimum Expected Loss estimator approach
许多推理情形的中心是参数的有理函数的估计。统计学和计量经济学的主流估计这些数量的基础上插件的方法，而不考虑的主要目标的推理情况。我们提出了贝叶斯最小预期损失（MELO）的方法，明确关注的功能，并计算其频率变异。MELO估计量的渐近性质类似于插入式方法。然而，模拟实验表明，我们的建议是更好的情况下，其特征在于小样本量和噪声模型。此外，我们在应用程序中观察到，当数据集信息量不是很大时，我们的方法比常用的替代方法提供更低的标准误差。
2018-09-19 econ.EM stat.ME
Variational hybridization and transformation for large inaccurate noisy-or networks
Baidu Research（百度研究院）
变分推理为贝叶斯网络中难以计算的后验分布提供了近似。噪声或贝叶斯网络的一个突出的医学应用是根据观察到的症状来推断潜在的疾病。以往的研究主要集中在用变分变换来近似少数复杂的病理情况。我们的目标是使用变分变换作为一种新的混合推理的一部分，在网络规模上提供可靠和实时的诊断。我们提出了一种混合推理，允许变分参数估计没有疾病后验或先验，使推理速度更快，其计算可回收。此外，我们提出了一个转换排名算法，是非常稳定的网络先验概率，在贝叶斯网络的医疗应用中出现的一个常见问题的大方差。在实验中，我们对一个大型的现实生活中的医疗网络进行了比较研究，并对一个更大的（36，000倍）合成网络进行了可扩展性研究。
2016-05-20 cs.AI cs.LG stat.ML
Joint Bayesian estimation of close subspaces from noisy measurements
在这封信中，我们考虑两组定义为嵌入在噪声中的子空间信号的观测，我们希望分析这两个子空间之间的距离。后者需要评估子空间之间的角度，这个问题让人想起著名的Procrustes问题。贝叶斯方法的研究，其中感兴趣的子空间被认为是随机的联合先验分布（即宾汉分布），这使得两个子空间的接近程度进行调整。在这个框架内，最小均方距离估计的两个子空间制定和实施通过吉布斯采样器。本文还提出了一种基于交替最大后验估计的简单方案。新的计划，以提供更准确的估计的角度之间的子空间，相比基于奇异值分解的独立估计的两个子空间。
2013-10-01 stat.ME stat.ML
Bayesian Optimization of Hyperparameters from Noisy Marginal Likelihood Estimates
贝叶斯模型通常涉及通过最大化边际似然来确定的一小组超参数。贝叶斯优化是一种流行的迭代方法，其中底层函数的高斯过程后验通过新的函数评估顺序地更新。获取策略使用该后验分布来决定在何处放置下一个函数评估。我们提出了一种新的贝叶斯优化框架的情况下，用户控制的计算工作量，因此精度的功能评估。这是计量经济学中常见的情况，通常通过马尔可夫链蒙特卡罗（MCMC）或重要性抽样方法计算边际似然，边际似然估计量的精度由样本数量决定。新的获取策略使优化器可以选择使用廉价的噪声评估来探索函数，从而更快地找到最佳值。该方法被应用于估计先验超参数在两个流行的模型对美国宏观经济时间序列数据：稳态贝叶斯向量自回归（BVAR）和随机波动率的时变参数BVAR。该方法比传统的贝叶斯优化或网格搜索更快地找到最优解。
2022-08-17 econ.EM stat.CO
Noisy Bayesian Active Learning
我们考虑噪声贝叶斯主动学习的问题，其中我们给出了一个有限的功能集$\mathcal{H}$，一个样本空间$\mathcal{X}$，和一个标签集$\mathcal{L}$。$\mathcal{H}$中的一个函数为$\mathcal{X}$中的样本分配标签。目标是识别生成标签的函数，即使样本上的标签查询结果被独立噪声破坏。更确切地说，目标是通过自适应地和以策略性方式选择查询，使用尽可能少的标签查询，将$\mathcal{H}$中的函数之一声明为具有高置信度的真实标签生成函数。贝叶斯主动学习中以前的工作考虑了广义二进制搜索及其在噪声情况下的变体，并分析了这些采样策略所需的查询数量。在本文中，我们表明，这些计划是，在一般情况下，次优。相反，我们提出并分析了一种替代策略的样本收集。我们的抽样策略是出于贝叶斯主动学习和主动假设检验之间的连接，是基于查询标签的样本，最大限度地提高外在的詹森-香农分歧在每一步。我们提供了上界和下界的性能，这种采样策略，并表明，这些界限优于以前的界限。
2013-12-09 cs.IT math.IT math.OC
The Behavior and Convergence of Local Bayesian Optimization
University of Pennsylvania（宾夕法尼亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
该研究针对高维场景下贝叶斯局部优化行为与收敛性不明的问题，分析了局部方法的特性，首次严格证明Müller等人2021年提出的算法在含噪和无噪设置下的收敛速率。
2024-03-08 cs.LG stat.ML
Convergence rate of Bayesian tensor estimator: Optimal rate without restricted strong convexity
Tokyo Institute of Technology（东京工业大学）
本文研究了贝叶斯低秩张量估计的统计收敛速度。我们的问题设置是回归问题，其中估计数据的张量结构。这种问题设置在许多实际应用中出现，例如协同过滤、多任务学习和时空数据分析。的收敛速度进行了分析，在样本内和样本外的预测精度。它示出了一个接近最优的速率实现没有任何强凸性的观察。此外，我们表明，该方法具有自适应的真实张量的未知秩，也就是说，接近最优的速度取决于真实的秩，即使它是不知道的先验。
2014-08-13 cs.LG stat.ML
Bayesian estimate of the degree of a polynomial given a noisy data sample
回归分析是一种广泛使用的对离散数据集进行连续表示的方法.当回归模型不是基于对数据背后的物理学的数学描述时，启发式技术起着至关重要的作用，模型的选择可能对结果产生重大影响。在本文中，确定最合适的模型的问题制定和解决贝叶斯选择。此外，概率演算是在不同方案中进行选择的最佳方法。所得结果适用于一元和二元多项式作为热力学偏微分方程系统的试探解的情况。
2013-07-17 math.PR math.ST physics.data-an
Accelerating Convergence in Bayesian Few-Shot Classification
Center for Applied Statistics（应用统计中心）；School of Statistics, Renmin University of China（中国人民大学统计学院）；Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算高精尖创新中心）
本文提出将镜像下降变分推断集成到高斯过程少样本分类中，利用非欧几何实现加速收敛并改善不确定性量化，实验验证了其优于基线模型的性能。
2024-05-07 cs.LG stat.ML
Nonlinear MCMC for Bayesian Machine Learning
我们探讨了在[1]中首次引入的非线性MCMC技术在贝叶斯机器学习问题中的应用。我们提供了一个收敛保证总变分，使用新的结果，长时间收敛和大粒子（“混沌传播”）收敛。我们应用这种非线性MCMC技术的采样问题，包括贝叶斯神经网络CIFAR10。
2022-11-24 cs.LG math.PR stat.ML
Closed-form Bayesian homography estimation from noisy point correspondences
Technische Hochschule Augsburg（奥格斯堡应用技术大学）；TTZ Landsberg am Lech（兰茨贝格技术转化中心）
本文提出一种闭式贝叶斯单应性估计方法，融合测量不确定性与先验知识，提供后验分布，在合成和真实实验中优于DLT并输出不确定性。
2026-09-15 cs.CV stat.ME
LyAm: Robust Non-Convex Optimization for Stable Learning in Noisy Environments
Tarbiat Modares University（塔里亚特莫达雷斯大学）；Shahid Beheshti University（沙希德贝赫沙迪大学）；Institute for Cognitive and Brain Sciences（认知与脑科学研究所）
针对深度神经网络训练中噪声梯度与不稳定收敛的问题，提出结合Adam与Lyapunov稳定性机制的新型优化器LyAm，理论证明其非凸收敛性，并在CIFAR等数据集上验证了其优于现有方法的准确率与稳定性。
2025-07-15 cs.LG math.OC
Bayesian Optimization with Expensive Integrands
Cornell University（康奈尔大学）；School of Operations Research & Information Engineering（运筹学与信息工程学院）
我们提出了一个贝叶斯优化算法的目标函数是昂贵的评估功能的总和或积分，允许嘈杂的评价。这些目标函数出现在用于调整机器学习超参数的多任务贝叶斯优化、通过模拟进行的优化以及具有随机环境条件的实验的顺序设计中。我们的方法是平均情况下最优的建设时，一个单一的评估被积保持在我们的评估预算。实现这种一步最优性需要解决一个具有挑战性的价值的信息优化问题，为此，我们提供了一种新的有效的离散化的计算方法。我们还提供了一致性证明，我们的方法在连续和离散有限域的目标函数的总和。在数值实验中，与以前的最先进的方法相比，包括那些也利用总和或积分结构，我们的方法在广泛的问题中表现良好或更好，并且在评估有噪声或被积函数在积分变量中平滑变化时提供了显着的改进。
2018-03-23 cs.LG stat.ML
On the convergence of gradient-like flows with noisy gradient input
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LIG（格勒诺布尔信息实验室）；Maastricht University（马斯特里赫特大学）
针对带噪声梯度输入的凸优化问题，分析了随机扰动下类梯度流的渐近行为。具体来说，我们专注于广泛研究的类镜像下降计划的凸计划与紧凑的可行域，我们研究的动力学的收敛性和浓度的存在噪声的性质。在消失的噪声限制，我们表明，动态收敛到解决方案的基本问题（a.s.）。否则，当噪声是持久的，我们表明，从长远来看，动力学集中在内部解决方案，他们收敛到边界的解决方案，是足够的“尖锐”。最后，我们证明了一个适当的整流的方法收敛的变体，而不管噪声的大小（或结构的基本凸计划），我们推导出一个明确的估计其收敛速率。
2017-09-20 cs.LG math.DS math.OC
Convergence of a class of gradient-free optimisation schemes when the objective function is noisy, irregular, or both
School of Mathematics, University of Bristol, UK（布里斯托尔大学数学学院）
本文研究了在目标函数嘈杂或不规则时，一类无梯度优化算法的收敛性，通过分析和实验展示了其在机器学习中的应用。
2025-12-02 cs.LG stat.CO stat.ML
Bayesian nonparametric analysis for the detection of spikes in noisy calcium imaging data
最近在小型化荧光显微镜的进步，使人们有可能通过分析细胞内的钙信号，在清醒的行为动物的神经元对外部刺激的反应。一个持续的挑战是去卷积的时间信号，以提取尖峰列车从嘈杂的钙信号的时间序列。在这篇手稿中，我们提出了一个嵌套贝叶斯有限混合规范，允许尖峰活动的估计，同时，重建在不同的实验条件下的钙瞬态尖峰的幅度分布。该模型利用两个嵌套层的随机离散混合先验借用实验之间的信息，并发现神经元对不同刺激的反应的分布模式的相似性。此外，尖峰的强度值也在实验条件内和实验条件之间聚类，以确定共同（重现）响应幅度的存在。仿真研究和艾伦脑天文台的数据集的分析表明，该方法在聚类和检测神经元活动的有效性。
2022-01-27 stat.AP
Last-Iterate Convergence with Full and Noisy Feedback in Two-Player Zero-Sum Games
CyberAgent, Inc.（赛博艾坚特公司）；KTH Royal Institute of Technology（KTH皇家理工学院）；University of Electro-Communications（电气通信大学）
本文提出变异驱动乘性权重更新（M2WU）算法，用于解决两人零和博弈中全反馈和噪声反馈下的均衡学习问题，并证明其具有末迭代收敛性质，实验显示其在可利用度和收敛速度上优于MWU和OMWU。
2023-05-26 cs.GT cs.LG
Slamming the sham: A Bayesian model for adaptive adjustment with noisy control data
本文提出一种基于贝叶斯层次建模的自适应调整方法，在重复实验中利用数据决定调整程度，相比差异估计提高统计效率，并在真实和模拟数据上验证其实际影响。
2025-01-21 stat.AP stat.ME
A Corrected Expected Improvement Acquisition Function Under Noisy Observations
KU Leuven（鲁汶大学）；Amazon Web Services（亚马逊云服务）
针对噪声观测下期望改进函数忽略当前最优解不确定性的问题，提出一种利用高斯过程协方差信息修正闭式表达式的采集函数，在异方差噪声下实现次线性遗憾界，并在基准函数和模型压缩参数搜索中优于EI。
2023-11-13 cs.LG stat.ML
A note on Bayesian convergence rates under local prior support conditions
贝叶斯后收敛速度的界限，假设先验满足局部和全局支持条件，现在很容易获得。在本文中，我们探讨，在密度估计的背景下，贝叶斯收敛速度假设只有当地的先验支持条件。我们的研究结果给出了最优利率在最小条件下使用非常简单的参数。
2013-12-24 math.ST stat.TH
MCMC convergence diagnosis using geometry of Bayesian LASSO
利用Bayesian LASSO的后验分布，构造了参数空间上的半范数。我们表明，分拆函数取决于l1和l2的标准和目前的三个制度的比率。我们推导了贝叶斯LASSO的浓度，并给出了MCMC收敛性诊断。
2015-12-04 math.ST stat.TH
Convergence Guarantees for Adaptive Bayesian Quadrature Methods
EURECOM（欧洲电信学院）；University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
自适应贝叶斯求积（ABQ）是一种强大的数值积分方法，在中等维度（非自适应求积不具有竞争力）的问题上，它与蒙特卡罗积分相比具有优势。它的关键成分是一个获取函数，该函数作为先前收集的被积函数值的函数而变化。虽然这种适应性在经验上似乎很强大，但它使分析复杂化。因此，到目前为止，这类方法还没有理论上的保证。在这项工作中，对于广泛的自适应贝叶斯求积方法，我们证明了一致性，推导出非紧但信息量大的收敛速度。为了做到这一点，我们引入了一个新的概念，我们称之为弱适应性。我们的研究结果确定了一个大的和灵活的自适应贝叶斯求积规则一致，从业者可以开发经验有效的方法。
2019-10-28 cs.LG cs.NA math.NA
From Noisy News Sentiment Scores to Interpretable Temporal Dynamics: A Bayesian State-Space Model
本文提出一种贝叶斯状态空间模型，用于从嘈杂的新闻情感评分中提取可解释的时间动态，通过考虑数据可用性变化来提高时间序列的不确定性估计。
2026-01-23 stat.AP stat.ME
Bayesian Hierarchical Modelling of Noisy Gamma Processes: Model Formulation, Identifiability, Model Fitting, and Extensions to Unit-to-Unit Variability
本文提出含噪 Gamma 过程的贝叶斯分层建模与重新参数化方法，分析少量观测下的可识别性问题，并扩展至单元间变异性、模型选择及失效时间推断。
2024-06-17 stat.AP stat.ME
Bayesian hypergraph inference from scarce and noisy dynamical observations
Cornell University（康奈尔大学）；Utah State University（犹他州立大学）
针对稀缺含噪动力学数据，提出贝叶斯超图推断方法Bayes-THIS，通过稀疏贝叶斯回归改进推断，并新增后验诊断与剪枝规则，揭示高阶交互可致低阶伪影的结构性限制。
2026-10-01 physics.data-an physics.soc-ph stat.ME
On convergence rates of Bayesian predictive densities and posterior distributions
贝叶斯后验分布的频率型大样本性质，如一致性和收敛速度，在非参数问题中是重要的考虑因素。在本文中，我们给出了贝叶斯渐近分析的基础上，主要是预测密度。我们的分析是统一的，在这个意义上，基本上可以采取相同的方法来开发收敛速度的结果在iid，错误指定的iid，独立的非iid，和依赖的数据情况。
2012-09-29 math.ST stat.TH
On the Convergence of the Shapley Value in Parametric Bayesian Learning Games
National University of Singapore（新加坡国立大学）
贡献度量是合作博弈论中的一个经典问题，Shapley值是最著名的解概念。本文建立了参数贝叶斯学习博弈中Shapley值的收敛性，其中博弈者使用他们的组合数据进行贝叶斯推理，后验先验KL散度被用作特征函数。我们表明，对于任何两个球员，在一定的规律性条件下，他们的Shapley值的差异收敛于概率的Shapley值的差异的限制游戏，其特征函数是成比例的联合Fisher信息的对数行列式。作为一个应用，我们提出了一个在线协作学习框架，是渐近Shapley公平的。我们的结果使这一点能够实现，而无需任何昂贵的计算后验先验KL分歧。只需要Fisher信息的一致估计量。我们的框架的有效性证明了使用真实世界的数据与实验。
2022-06-14 cs.GT cs.LG stat.ML
Noisy Linear Convergence of Stochastic Gradient Descent for CV@R Statistical Learning under Polyak-Łojasiewicz Conditions
Michigan State University（密歇根州立大学）
条件风险值（$\mathrm{CV@R}$）是最流行的风险度量之一，最近被认为是监督统计学习的性能标准，因为它与现代应用中期望的操作特性有关，例如安全性，公平性，分布鲁棒性和预测误差稳定性。然而，由于其变分定义，$\mathrm{CV@R}$通常被认为会导致困难的优化问题，即使是光滑和强凸损失函数。我们通过建立噪声（即，固定精度）线性收敛的随机梯度下降顺序$\mathrm{CV@R}$学习，为一大类不一定强凸（或甚至凸）损失函数满足集限制Polyak-Lojasiewicz不等式。这类包含所有光滑和强凸损失，确认经典问题，如线性最小二乘回归，可以有效地解决$\mathrm{CV@R}$标准下，就像他们的风险中性版本。我们的结果在这样一个风险意识岭回归任务的数值说明，也验证了他们在实践中的有效性。
2021-01-19 cs.LG cs.SY eess.SP
A Bayesian Approach to Segmentation with Noisy Labels via Spatially Correlated Distributions
Tohoku University（东北大学）；Preferred Networks, Inc.（Preferred Networks公司）
本文提出一种基于概率模型的贝叶斯方法，通过空间相关分布处理带噪声标签的分割问题，提升模型性能。
2025-11-13 cs.CV cs.LG eess.IV
On the Convergence of A Family of Robust Losses for Stochastic Gradient Descent
Centre for Quantum Computation and Intelligent Systems（量子计算与智能系统中心）；University of Technology Sydney（悉尼科技大学）
采用凸损失函数的随机梯度下降（SGD）算法的收敛性已被广泛研究。然而，使用凸损失的普通SGD方法不能很好地执行噪声标签，这对SGD方法中原始变量的更新产生不利影响。不幸的是，噪声标签在现实世界的应用中无处不在，例如众包。为了处理噪声标签，在本文中，我们提出了一个家庭的SGD方法的鲁棒损失。通过采用我们的鲁棒损失，SGD方法成功地减少了噪声标签对原始变量每次更新造成的负面影响。我们不仅证明了采用鲁棒损失的SGD方法的收敛速度为O（1/T），而且给出了两种典型鲁棒损失的鲁棒性分析。在6个真实数据集上的综合实验结果表明，在大多数情况下，使用鲁棒损失的SGD方法比其他基线方法具有更好的鲁棒性，并且收敛速度更快。
2016-05-05 cs.LG
A hierarchical Bayesian setting for an inverse problem in linear parabolic PDEs with noisy boundary conditions
在这项工作中，我们开发了一个贝叶斯设置来推断未知参数的初边值问题相关的线性抛物型偏微分方程。对于给定的初始条件，我们实际上假设边界数据是有噪声的。我们展示了如何推导出联合似然函数的正问题，给出了一些测量的解决方案领域的高斯噪声。给定高斯先验的时间依赖的Dirichlet边界值，我们分析边缘化的联合似然使用方程的线性。我们的分层贝叶斯方法在涉及热方程的示例中完全实现。在该示例中，热扩散率是未知参数。我们假设热扩散率参数可以通过对数正态随机变量或通过空间相关的平稳对数正态随机场先验建模。合成数据被用来测试的推断。我们利用非归一化的日志后验分布的热扩散率的行为。然后，我们使用拉普拉斯方法来获得一个近似的高斯后验，从而避免昂贵的马尔可夫链蒙特卡罗计算。预期的信息增益和预测后验密度的可观测量的数值估计使用拉普拉斯近似为不同的实验设置。
2015-01-28 stat.ME
Nonlocal Prior Mixture-Based Bayesian Wavelet Regression with Application to Noisy Imaging and Audio Data
本文提出一种基于三成分尖峰-厚板先验的贝叶斯小波回归方法，结合MOM与IMOM先验并采用经验贝叶斯估计超参数，在脑电图和含噪音频数据上显著优于双成分小波方法。
2025-08-23 stat.AP stat.ME
