No-Regret Bayesian Optimization with Unknown Hyperparameters
ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）
基于高斯过程模型的贝叶斯优化（BO）是一种有效的优化黑箱函数的方法。虽然一些BO算法可证明收敛于未知函数的全局最优解，但它们假设内核的超参数是预先已知的。但实际情况并非如此，错误指定通常会导致这些算法收敛到较差的局部最优值。在本文中，我们提出了第一个BO算法，可证明没有遗憾，收敛到最佳的超参数的知识。在优化过程中，我们缓慢地调整静态内核的超参数，从而随着时间的推移扩展相关的函数类，以便BO算法考虑更复杂的函数候选。基于理论上的见解，我们提出了几个实用的算法，实现BO的经验样本效率与在线超参数估计，但保留理论上的收敛保证。我们评估我们的方法在几个基准问题。
2019-04-01 cs.LG stat.ML
Classified as unknown: A novel Bayesian neural network
Haverford College（哈弗福德学院）；Widener University（威德纳大学）
我们使用probit函数建立softmax激活函数输出分布参数的估计。作为一个应用程序，我们开发了一个新的有效的贝叶斯学习算法完全连接的神经网络，训练和预测内的贝叶斯推理框架内进行封闭形式。这种方法允许顺序学习，并且不需要计算昂贵的梯度计算和蒙特卡罗采样。我们的工作将\cite{H}中用于二进制分类的单个感知器的贝叶斯算法推广到用于多类分类的多层感知器。
2023-01-31 cs.LG stat.AP
Bayesian Optimization with Unknown Search Space
Applied Artificial Intelligence Institute（应用人工智能研究所）；Deakin University（迪肯大学）
在搜索空间未知的问题中应用贝叶斯优化是具有挑战性的。为了解决这个问题，我们提出了一个系统的体积扩张策略的贝叶斯优化。我们设计了一个策略，以保证在迭代扩展的搜索空间，我们的方法可以找到一个点，其函数值在目标函数最大值的1/4。不需要指定任何参数，我们的算法自动触发迭代所需的最小扩展。我们推导出了何时触发膨胀以及膨胀多少的解析表达式。我们还提供了理论分析表明，我们的方法达到ε精度后，有限数量的迭代。我们在基准测试函数和机器学习超参数调整任务上演示了我们的方法，并证明了我们的方法优于基线。
2019-10-29 cs.LG math.OC stat.ML
Learned Bayesian Cramér-Rao Bound for Unknown Measurement Models Using Score Neural Networks
针对无法获取先验与测量分布完整信息时贝叶斯克拉美-罗界（BCRB）难以计算的问题，提出可同时学习两种分布的学习贝叶斯克拉美-罗界（LBCRB），设计后验方法和整合领域知识的测量-先验方法（含物理编码得分神经网络），经理论分析和多信号处理任务验证其有效性。
2025-02-09 cs.AI cs.LG eess.SP
Bayesian causal discovery from unknown general interventions
Università Cattolica del Sacro Cuore（圣心天主教大学）；Università degli Studi di Milano-Bicocca（米兰比可卡大学）
本文提出一种贝叶斯因果发现方法，在干预目标未知且允许修改父节点集合的一般干预条件下学习DAG，并给出干预马尔可夫等价类的图形刻画、兼容先验和MCMC后验近似方案。
2023-12-01 cs.LG stat.ME stat.ML
Variational Bayesian inference of hidden stochastic processes with unknown parameters
Swansea University（斯旺西大学）；University of Sheffield（谢菲尔德大学）
估计隐藏的过程从非线性噪声观测是特别困难的，当这些过程的参数是未知的。本文采用了机器学习的方法来设计变分贝叶斯推理这样的场景。特别地，由自回归移动平均（ARMA）线性模型生成的随机过程是从非线性噪声观测推断的。隐藏状态的后验分布近似的一组加权粒子产生的序贯蒙特卡罗（SMC）算法涉及采样与重要性采样响应（SISR）。通过计算机模拟对所提出的推理方法的数值效率和估计精度进行了评估。最后，以基因表达时间序列中缺失值的估计为例，证明了该方法在向量自回归（VAR）数据模型下的有效性。
2019-11-02 cs.LG stat.CO stat.ML
Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces
Applied Artificial Intelligence Institute（应用人工智能研究所）；Deakin University（德金大学）
本文提出了一种扩展搜索空间的贝叶斯优化算法，通过超调和级数控制扩展率，实现亚线性 regrets 界限，并在高维空间中验证了其优越性。
2020-11-01 cs.IT cs.LG math.IT
Bayesian inverse problems with unknown operators
我们考虑的贝叶斯方法的线性逆问题时，潜在的运营商取决于一个未知的参数。考虑到有限维和无限维参数，该理论涵盖了几种不同层次的不确定性的运营商模型。使用产品的先验，我们证明了收缩率的后验分布符合最佳的收敛速度的对数因子。为了适应未知的光滑性，在Lepski方法的基础上构造了一个经验贝叶斯过程。数值例子说明了该过程。
2018-04-06 math.ST stat.ME stat.TH
Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation
RMIT University（RMIT大学）；Amazon（亚马逊公司）；Deakin University（迪肯大学）；Chongqing University（重庆大学）；University of Adelaide（阿德莱德大学）
针对贝叶斯优化中高斯过程超参数未知且估计有偏的问题，本文提出结合EXP3多臂老虎机随机采样与一致性训练损失函数的新方法，在保证次线性全局收敛的同时实现优于现有方法的性能。
2024-06-06 cs.LG stat.ML
Near-optimal Bayesian Solution For Unknown Discrete Markov Decision Process
Chalmers University of Technology（查尔姆斯理工大学）
我们解决的问题，在一个未知的有限和离散的马尔可夫决策过程（MDP）的预期最短路径从任何状态到任何其他状态是有界的有限数$D$。MDP由$S$状态和每个状态的$A$可能操作组成。当在状态$s_t$选择动作$a_t$时，接收实值奖励$r_t$，然后转换到下一状态$s_{t+1}$。从仅取决于$(s_t, a_t)$的固定回报分布生成回报$r_t$，并且类似地，从仅取决于$(s_t, a_t)$的固定转移分布生成下一状态$s_{t+1}$。目标是在$T$交互后最大化累积的奖励。在本文中，我们考虑的情况下，奖励分布，转移，$T$和$D$都是未知的。我们得到了第一个多项式时间贝叶斯算法，BUCRL{}，实现了对数因子，一个遗憾（即最优策略和我们的算法的累积回报之间的差异）的最佳顺序$\tilde{\mathcal{O}}(\sqrt{DSAT})$。重要的是，我们的结果与最坏情况下（频率论）的遗憾，而不是较弱的贝叶斯遗憾的概念的概率高。我们在各种环境中进行实验，证明我们的算法比以前的技术的优越性。我们的工作还说明了几个结果，将是独立的利益。特别地，我们得到了一个更尖锐的上界的KL-发散的Bernoulli随机变量。我们还得到了更清晰的上界和下界的Beta和二项式分位数。所有的界都非常简单，只使用初等函数。
2019-07-09 cs.AI cs.GT cs.LG
Causal Bayesian Optimization with Unknown Graphs
Imperial College London（帝国理工学院）；Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
针对因果图未知的现实场景，提出无需先验图结构的因果贝叶斯优化方法，通过贝叶斯推断目标变量直接父节点并优化结果，线性情形给出闭式解，非线性用高斯过程近似，性能与基准相当且可扩展。
2025-03-25 cs.LG stat.ML
Barrier Certificates for Unknown Systems with Latent States and Polynomial Dynamics using Bayesian Inference
Technical University of Munich（慕尼黑工业大学）
本文提出了一种基于贝叶斯推断的方法，用于为具有潜在状态和多项式动力学的未知系统生成有效的障碍证书，并通过概率保证验证其有效性。
2026-01-15 cs.LG cs.SY eess.SY
Predictive Entropy Search for Bayesian Optimization with Unknown Constraints
未知的约束条件出现在许多类型的昂贵的黑盒优化问题。基于期望改进（EI）启发式算法，近年来提出了几种带约束的贝叶斯优化方法。然而，EI可能会导致病态时，使用的约束。例如，在解耦约束的情况下，即，当一个人可以独立地评估目标或限制时-EI可能会遇到阻止探索的病理学。此外，计算EI需要一个当前最佳解，如果到目前为止收集的数据都不满足约束条件，则该最佳解可能不存在。相比之下，基于信息的方法不受这些故障模式的影响。在本文中，我们提出了一种新的基于信息的方法称为预测熵搜索与约束（PESC）。我们分析了PESC的性能，并表明，它相比有利的EI为基础的方法的合成和基准问题，以及几个现实世界的例子。我们证明，PESC是一个有效的算法，提供了一个有前途的方向统一的解决方案，约束贝叶斯优化。
2015-07-15 stat.ML
Multi-Step Budgeted Bayesian Optimization with Unknown Evaluation Costs
Cornell University（康奈尔大学）；Facebook
贝叶斯优化（BO）是一种样本有效的方法来优化成本评估黑盒函数。大多数BO方法忽略了评估成本在优化域上的变化。然而，这些成本可能是高度异质性的，并且通常事先未知。这发生在许多实际设置中，例如机器学习算法的超参数调整或基于物理的仿真优化。此外，那些承认费用异质性的少数现有方法自然不能适应对总评价费用的预算限制。这种未知成本和预算约束的组合为探索-开发权衡引入了一个新的维度，其中了解成本本身会导致成本。现有的方法不以原则性的方式对这个问题的各种权衡进行推理，往往导致性能不佳。我们正式证明，预期的改善和单位成本的预期改善，可以说是两个最广泛使用的收购功能在实践中，可以任意劣于最优的非近视政策，这种说法。为了克服现有方法的缺点，我们提出了预算的多步预期改进，一个非近视的收购功能，将经典的预期改进的异构和未知的评估成本的设置。最后，我们表明，我们的采集功能优于现有的方法在各种合成和实际问题。
2021-11-12 cs.LG math.OC stat.ML
Bayesian Sparse Linear Regression with Unknown Symmetric Error
我们研究了稀疏线性回归的贝叶斯程序时，错误有一个对称的，但在其他方面未知的分布。未知的误差分布被赋予一个对称的Dirichlet过程混合高斯。对于回归系数的先验，考虑了零点质量和连续分布的混合。我们研究了预测变量个数不同的后验概率的行为。条件提供的平均海林格距离的一致性。相容性和限制特征值条件分别给出了回归系数在$\ell_1$ -和$\ell_2$ -范数下的极小极大收敛速度.在相容性条件下，算法的收敛速度同时适应于未知的稀疏度和未知的对称误差密度。此外，强模型选择的一致性和半参数Bernstein-von Mises定理被证明在稍强的条件。
2019-03-22 math.ST stat.TH
Information-Theoretic Safe Bayesian Optimization
Bosch Corporate Research（博世公司研究中心）；TU Darmstadt（达姆施塔特工业大学）；German Research Center for AI (DFKI)（德国人工智能研究中心）
针对连续域中带未知安全约束的贝叶斯优化问题，提出直接利用 GP 后验的信息论安全探索准则，无需额外超参数，并在理论上保证高概率安全与任意精度收敛，实验显示数据效率和可扩展性提升。
2024-05-10 cs.AI cs.LG stat.ML
Graph Agnostic Causal Bayesian Optimisation
German Research Centre for Artificial Intelligence(DFKI)（德国人工智能研究中心(DFKI)）；University of Oxford（牛津大学）；University of Kaiserslautern-Landau（凯泽斯劳滕-兰道大学）
提出图无关因果贝叶斯优化算法，在未知因果图下通过平衡探索与利用，实现累积遗憾目标下的全局优化，并在模拟和实际应用中超越基线。
2024-11-05 cs.LG stat.ML
Bayesian inference for PCA and MUSIC algorithms with unknown number of sources
主成分分析（PCA）是一种流行的方法，用于将数据投影到低维的不相关成分上，尽管没有指定最佳成分数量。同样，多信号分类（MUSIC）算法是一种流行的基于PCA的方法来估计的正弦源的到达方向（DOA），但它需要的源的数量是已知的先验。因此，准确估计的源的数量是这些算法的性能的一个关键问题。在本文中，我们将表明，PCA和MUSIC实际上返回的确切的联合最大后验（MAP）估计不相关的导向矢量，虽然他们只能计算这个MAP估计近似相关的情况下。然后，我们使用贝叶斯方法，第一次，计算的PCA和MUSIC算法的源的数量的MAP估计。直觉上，该MAP估计对应于信号加噪声的方差仍然主导信号子空间上的投影噪声的方差的最高概率。在线性传感器阵列的重叠多音源的仿真中，我们的精确MAP估计远远优于渐近Akaike信息准则（AIC），这是一种流行的方法估计PCA和MUSIC算法的组件的数量。
2018-09-26 cs.LG stat.ML
Variational multiple shooting for Bayesian ODEs with Gaussian processes
Aalto University（阿尔托大学）；University of Tübingen（蒂宾根大学）
最近的机器学习的进步提出了直接从数据中对未知的连续时间系统动态进行黑盒估计。然而，早期的作品是基于近似ODE解决方案或点估计。我们提出了一种新的贝叶斯非参数模型，使用高斯过程来推断未知的ODE系统的后验直接从数据。我们推导出稀疏变分推理与解耦功能采样表示向量场后验。我们还引入了一个概率射击增强，使有效的推断任意长的轨迹。该方法证明了计算向量场后验的好处，预测的不确定性得分优于多个ODE学习任务的替代方法。
2022-07-17 cs.LG stat.ML
Bayesian bandwidth estimation for a nonparametric functional regression model with mixed types of regressors and unknown error density
在误差密度未知的框架下，研究了具有函数值、连续实值和离散值回归变量的非参数函数回归模型的带宽估计问题.从Shang（2013，Computational Statistics & Data Analysis）的最近工作扩展，我们通过残差的核密度估计来近似未知误差密度，其中回归函数由允许混合类型回归变量的函数Nadaraya-Watson估计器估计。在核形式误差密度下，推导了带宽参数的核似然和后验密度，提出了一种同时估计带宽的贝叶斯带宽估计方法。仿真研究表明，所提出的贝叶斯方法的回归函数和误差密度的估计精度。以食品质量控制中的光谱数据集为例，我们应用贝叶斯方法来选择具有混合类型回归变量的非参数函数回归模型中的最佳带宽。
2014-03-08 stat.CO stat.ME
Planning to Be Surprised: Optimal Bayesian Exploration in Dynamic Environments
IDSIA（达勒·莫尔人工智能研究所）
为了最大限度地取得成功，AGI通常需要探索其最初未知的世界。有没有一个最佳的方法来做到这一点？在这里，我们得到一个肯定的答案，为广泛的一类环境。
2011-03-29 cs.AI stat.ML
Classified Regression for Bayesian Optimization: Robot Learning with Unknown Penalties
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（图宾根大学）
使用贝叶斯优化（BO）通过最小化黑盒目标成本来学习机器人控制器可能是耗时且具有挑战性的。这是非常常见的情况下，一些推出导致失败的行为，造成过早的实验延迟。在这种情况下，设计者被迫决定启发式成本惩罚，因为所获得的数据往往是稀缺的，或不可比的稳定政策。为了克服这一点，我们提出了一个贝叶斯模型，准确地捕捉我们所知道的不稳定控制器的成本之前，数据汇集：什么都没有，除了它应该是一个有点大的数字。由此产生的贝叶斯模型，近似与高斯过程，预测高成本值的地区，故障可能会发生。以这种方式，该模型引导BO探索稳定区域。我们证明了所提出的模型的好处，在几个说明性和统计合成基准，并在一个真正的机器人平台上的实验。此外，我们提出并实验验证了一个新的BO方法来考虑未知的约束。这种方法是最大值熵搜索，最近的信息论方法，解决无约束全局优化问题的扩展。
2020-11-09 cs.LG cs.RO cs.SY
Mathematical Theory of Bayesian Statistics for Unknown Information Source
Tokyo Institute of Technology（东京工业大学）
在统计推断中，不确定性是未知的，所有模型都是错误的。也就是说，一个建立统计模型和先验分布的人同时意识到两者都是虚构的候选人。为了研究这种情况，统计措施，如交叉验证，信息标准，和边际似然，然而，他们的数学性质尚未完全澄清时，统计模型的参数不足和过度。我们介绍了一个地方的数学理论贝叶斯统计的未知的不确定性，它澄清了一般属性的交叉验证，信息标准，和边际似然，即使一个未知的数据生成过程是无法实现的模型，或者即使后验分布不能近似的任何正态分布。因此，它为一个不能相信任何特定模型和先验的人提供了一个有用的观点。本文共分三个部分。第一个是新的结果，而第二个和第三个是众所周知的新实验的结果。我们证明了存在比留一交叉验证更精确的泛化损失估计，存在比BIC更精确的边缘似然近似，并且泛化损失和边缘似然的最佳超参数是不同的。
2023-02-10 cs.LG math.ST stat.TH
Learning and Testing Causal Models with Interventions
Cornell University（康奈尔大学）；Indian Institute of Science（印度科学学院）；MIT（麻省理工学院）
我们考虑Pearl（Pearl，2009）定义的因果贝叶斯网络上的测试和学习问题。给定一个图上的因果贝叶斯网络$\mathcal{M}$，$n$离散变量和有界的度和有界的“混淆分量”，我们证明了$O(\log n)$干预在同一个图上的未知因果贝叶斯网络$\mathcal{X}$上，以及每个干预的$\tilde{O}(n/ε^2)$样本，足以有效区分是否存在$\mathcal{X}=\mathcal{M}$或是否存在某种干预，在该干预下$\mathcal{X}$和$\mathcal{M}$总体上比$ε$更远变化距离我们还获得了样本/时间/干预有效的算法：（i）在同一个图上测试两个未知因果贝叶斯网络的身份;（ii）在给定的图上学习因果贝叶斯网络。虽然我们的算法是非自适应的，我们表明，自适应一般没有帮助：$Ω(\log n)$干预是必要的测试身份的两个未知的因果贝叶斯网络在同一个图，甚至自适应。我们的算法是通过一个新的次加性不等式的平方之间的因果贝叶斯网络的Hellinger距离。
2018-05-24 cs.AI cs.DS stat.ML
Bayesian Pool-based Active Learning With Abstention Feedbacks
我们研究了基于池的主动学习与回避反馈，其中一个标签可以放弃标记查询的例子与一些未知的回避率。这是许多有用应用的重要问题。我们采取贝叶斯方法来解决这个问题，并开发了两个新的贪婪算法，同时学习分类问题和未知的拦截率。这些是通过简单地将估计的预测率纳入贪婪准则来实现的。我们证明了我们的两种算法都具有近最优性保证：它们分别实现了有用效用函数的最佳期望值或最坏情况值的${(1-\frac{1}{e})}$常数因子逼近。实验结果表明，该算法在各种实际场景中表现良好。
2021-01-03 cs.LG stat.ML
Detecting and Adapting to Irregular Distribution Shifts in Bayesian Online Learning
University of California, Irvine（加州大学欧文分校）
我们考虑的问题，在线学习的分布变化，发生在一个未知的速度和未知的强度的存在。我们推导出一种新的贝叶斯在线推理方法，同时推断这些分布的变化，并通过整合变点检测，切换动力系统和贝叶斯在线学习的想法，使模型适应检测到的变化。使用一个二进制的“变化变量”，我们构建了一个信息丰富的先验，这样-如果检测到变化-模型部分删除过去的模型更新的信息，通过回火，以促进适应新的数据分布。此外，该方法使用波束搜索来跟踪多个变点假设，并在事后选择最可能的一个。我们提出的方法是模型不可知的，适用于监督和无监督学习设置，适用于概念漂移或协变量漂移的环境，并产生比最先进的贝叶斯在线学习方法的改进。
2021-10-26 cs.LG stat.ML
Bayesian Covariance Modelling of Large Tensor-Variate Data Sets $\&$ Inverse Non-parametric Learning of the Unknown Model Parameter Vector
我们提出了一种方法，张量变量数据的协方差结构建模，与使用这样的数据学习一个未知的模型参数向量的别有用心。我们将高维可观测值表示为这个所寻求的模型参数向量的函数，并试图通过将其建模为张量变量高斯过程（GP）的实现来学习给定训练数据的高维函数。给定训练数据的未知数的可能性是张量正态的。我们选择未知GP参数（平均张量协方差阵）的模糊先验，并写出给定数据的这些未知数的后验概率密度。我们使用Random-Walk Metropolis-Hastings进行后验抽样。之后，我们学习上述未知的模型参数向量，通过执行后验采样在两种不同的方式，给定的测试和训练数据，使用MCMC，以产生95个$\%$ HPD可信区域上的每个未知。我们将此方法应用于太阳在银河系盘中的位置的学习。
2015-12-17 stat.AP
A Lipschitz Exploration-Exploitation Scheme for Bayesian Optimization
Turn Inc（Turn公司）；Microsoft Inc（微软公司）；Oregon State University（俄勒冈州立大学）
在贝叶斯优化的背景下，优化未知的评估成本函数的问题已经研究了很长时间。该领域的算法旨在通过在基于后验模型仔细选择的位置处仅要求几个函数评估来找到函数的优化器。本文假设未知函数是Lipschitz连续的。利用Lipschitz属性，我们提出了一个算法，一个独特的探索阶段，然后利用阶段。探索阶段旨在选择尽可能缩小搜索空间的样本。然后，利用阶段将重点放在缩小的搜索空间上，并选择最接近优化器的样本。考虑到预期改进（EI）作为基线，我们的经验表明，所提出的算法显着优于EI。
2013-07-16 cs.LG stat.ML
Optimally Stopping a Brownian Bridge with an Unknown Pinning Time: A Bayesian Approach
我们考虑的问题，最佳停止布朗桥与未知的钉扎时间，以最大限度地提高停止后的过程的价值。采用贝叶斯方法，我们假设塞子有一个一般的连续先验，并允许更新他们的信念的钉扎时间的值，通过连续的观察过程。钉扎时间的不确定性影响过程的条件动态和最优停止问题的预期（随机）范围。我们详细分析了某些伽玛和贝塔分布的先验。值得注意的是，最优停止问题在伽马的情况下成为时间齐次的，是完全可解的封闭形式。此外，在beta的情况下，我们发现，最佳停止边界的平方根的形式，类似于经典解与一个已知的钉扎时间。
2020-03-14 math.OC math.PR stat.AP
Defending Non-Bayesian Learning against Adversarial Attacks
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-尚佩恩分校）
本文讨论了多智能体网络上的非贝叶斯学习问题，其中智能体反复收集关于世界未知状态的部分信息观测，并尝试协作学习真实状态。我们专注于对抗代理对基于共识的非贝叶斯学习性能的影响，其中非故障代理将局部学习更新与共识原语相结合。特别是，我们考虑的情况下，一个未知的子集的代理遭受拜占庭故障-代理遭受拜占庭故障的行为任意。提出了两种不同的学习规则。
2016-06-28 cs.DC cs.LG
Bayesian Active Learning for Wearable Stress and Affect Detection
Solarillion Foundation（Solarillion基金会）；Global AI Accelerator, Ericsson（爱立信全球人工智能加速器）
近年来，人们越来越多地观察到人类的心理压力，早期发现对预防健康风险至关重要。由于普适计算的进步，使用设备上深度学习算法的压力检测一直在上升。然而，需要解决的一个重要挑战是通过合适的地面实况技术（如主动学习）实时处理未标记的数据，这应该有助于建立情感状态（标签），同时只选择最具信息量的数据点从Oracle查询。在本文中，我们提出了一个框架的能力，代表模型的不确定性，通过近似贝叶斯神经网络使用蒙特卡洛（MC）辍学。这与用于主动学习的合适的采集功能相结合。在Raspberry Pi 2上进行的流行压力和影响检测数据集的实证结果表明，我们提出的框架在推理过程中实现了相当大的效率提升，在各种采集功能的主动学习过程中获得的池点数量非常少。变异比达到了90.38%的准确率，这与在大约40%的数据上训练时达到的最大测试准确率相当。
2020-12-04 cs.LG stat.ML
Generative Modeling with Bayesian Sample Inference
School of Computation, Information；Technology \& Munich Data Science Institute, Technical University of Munich
本文提出一种基于贝叶斯采样推断的生成模型，通过迭代高斯后验推断提升样本质量，并在ImageNet32上优于BFNs和变分扩散模型。
2026-08-17 cs.LG stat.ML
Bayesian inference for continuous-time hidden Markov models with an unknown number of states
我们考虑由一个潜在的连续时间马尔可夫跳跃过程与有限的状态空间，但未知的维度所产生的数据建模。通常在这样的模型中，状态的数量必须预先指定，并且直到最近才研究了固定数量状态的贝叶斯推断。此外，虽然已经开发了解决离散时间模型问题的方法，但对于连续时间的情况，还没有成功实施的方法。我们专注于可逆跳马尔可夫链蒙特卡罗，它允许不同数量的状态之间的跨维移动，以执行贝叶斯推断的未知数量的状态。具体来说，我们提出了一个有效的分裂合并移动，可以促进参数空间的探索，并证明它可以有效地实现规模。随后，我们将此算法扩展到基于模型的聚类的上下文中，允许在分析过程中确定的状态和聚类的数量。模型制定，推理方法，和相关的算法进行了说明，通过模拟研究。最后，我们将此方法应用于加拿大魁北克省医疗保健系统的实际数据。
2021-06-20 stat.CO stat.ME
Bayesian Learning in a Nonlinear Multiscale State-Space Model
School of Complex Systems（复杂系统学院）；Arizona State University（亚利桑那州立大学）
本文提出一种非线性多尺度状态空间模型及贝叶斯学习框架，通过学习过程噪声协方差并利用PGAS算法推断未知状态，仿真验证了方法有效性。
2024-09-03 cs.LG eess.SP stat.ML
Bayesian Nonparametric View to Spawning
Arizona State University（亚利桑那州立大学）
在跟踪多个对象时，通常假设每个观测（测量）源自一个且仅一个对象。然而，我们可能会遇到这样一种情况，即在每个时间步，每个度量可能与多个对象关联，也可能不关联--繁殖。因此，每个测量与多个对象的关联是为了跟踪具有出生和死亡的多个对象而执行的关键任务。在本文中，我们介绍了一种新的贝叶斯非参数方法，模型的情况下，每个观察可以从一个未知数量的对象，它提供了一个易于处理的马尔可夫链蒙特卡罗（MCMC）方法从后验分布采样。在每个时间步的对象的数量，本身，也被假定为未知的。然后，我们通过实验表明，非参数建模的优势，产卵事件的情况下。我们的实验结果也证明了我们的框架比现有的方法的优势。
2021-12-03 cs.LG stat.ML
Identifiable Bayesian Deep Generative Copulas with Unknown Layer Widths for Data with Arbitrary Marginal Distributions
Department of Statistics and Data Science（统计与数据科学系）；Washington University in St. Louis（圣路易斯华盛顿大学）；Department of Statistics（统计系）；Columbia University（哥伦比亚大学）
提出Deep Discrete Encoder (DDE) Copula模型，通过二元潜变量的分层有向网络与Copula框架结合，实现任意边缘分布数据的可识别与可解释生成建模，并基于秩似然进行估计与后验推断。
2026-05-26 cs.LG stat.ML
Bayesian approach for inverse obstacle scattering with Poisson data
我们考虑了一个泊松数据的声障碍重建问题。由于数据的随机性，我们在贝叶斯反演的框架中解决这个问题。未知障碍物以其角度形式参数化。参数化未知量的先验知识在贝叶斯重建算法中起着关键作用。最常用的先验是高斯先验。在高斯先验假设下，我们进一步假设未知量满足全变差先验。在混合先验下，讨论了后验分布的适定性。数值算例验证了算法的有效性。
2019-07-09 cs.NA math.NA math.ST
A Nested Weighted Tchebycheff Multi-Objective Bayesian Optimization Approach for Flexibility of Unknown Utopia Estimation in Expensive Black-box Design Problems
Oregon State University（俄勒冈州立大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
我们提出了一个嵌套的加权切比雪夫多目标贝叶斯优化框架，我们建立了一个回归模型选择过程，从一个合奏的模型，朝着更好地估计加权切比雪夫昂贵的黑箱多目标函数的不确定参数。在现有的工作中，加权Tchebycheff MOBO方法已被证明，试图估计未知的乌托邦在制定收购功能，通过校准使用先验选择的回归模型。然而，现有的MOBO模型在给定引导采样数据的情况下选择适当的回归模型时缺乏灵活性，因此，随着MOBO的迭代进行，可能欠拟合或过拟合，从而降低了整体MOBO性能。由于它过于复杂，无法先验地保证一般的最佳模型，这促使我们考虑在WTB MOBO的指导下，采用当前训练数据拟合的不同系列预测模型的组合;最佳模型是按照用户定义的基于预测均方根误差的方法选择的。所提出的方法是在优化多模态基准问题和薄壁管的设计温度-压力恒定载荷下，与蠕变疲劳失效的风险和设计成本最小化。最后，嵌套加权Tchebycheff MOBO模型的性能进行了比较与不同的MOBO框架的参数估计精度，帕累托最优解和功能评估成本。这种方法是广义的，足以考虑不同的家庭的预测模型的投资组合中的最佳模型选择，其中的整体设计架构允许解决任何高维（多功能）复杂的黑盒问题，并可以扩展到任何其他全球标准的多目标优化方法，需要先验知识的乌托邦。
2021-10-16 cs.LG stat.ML
Clustering Multivariate Data using Factor Analytic Bayesian Mixtures with an Unknown Number of Components
最近的工作过拟合贝叶斯混合分布提供了一个强大的框架，使用潜在的高斯模型，类似于因子分析模型的聚类多变量数据。过拟合混合模型提供的灵活性产生了一个简单而有效的方法，以估计未知数量的集群和模型参数的马尔可夫链蒙特卡罗（MCMC）抽样。本研究通过考虑一组8个参数化扩展了这种方法，从而产生了每个聚类的协方差阵的简约表示。为了近似地从过拟合混合物的后验分布中采样，实现了与先前的并行回火方案相结合的Gibbs采样器。根据贝叶斯信息准则选择参数化和因子数。与标签切换相关的可识别性问题通过使用等价类代表算法对模拟输出进行后处理来处理。贡献的方法和软件进行了演示和比较，类似的模型估计使用期望最大化算法的模拟和真实的数据集。该软件可在https://CRAN.R-project.org/package=fabMix上在线获得。
2019-06-02 stat.CO stat.ME
Bayesian orthogonal component analysis for sparse representation
本文讨论了确定一个低维空间，观察到的数据可以稀疏表示的问题。这个不完全字典学习任务可以被公式化为稀疏源与未知正交混合矩阵线性混合的盲分离问题。这个问题是制定在贝叶斯框架。首先，未知稀疏源被建模为Bernoulli-Gaussian过程。为了提高稀疏性，提出了一个原子在零和高斯分布的加权混合作为未观测源的先验分布。一个无信息的先验分布定义在一个适当的Stiefel流形被选为混合矩阵。使用马尔可夫链蒙特卡罗（MCMC）方法对未知参数进行贝叶斯推断。设计了一个部分塌陷Gibbs抽样器，根据未知模型参数和超参数的联合后验分布生成渐近分布的样本。然后，这些样本被用来近似的联合最大后验估计的源和混合矩阵。模拟合成数据进行报告，以说明该方法的性能恢复稀疏表示。最后研究了欠完备字典在稀疏编码中的应用。
2010-01-04 stat.ME stat.ML
Sparse Bayesian factor analysis when the number of factors is unknown
有越来越多的研究兴趣在子字段的稀疏贝叶斯因子分析收缩先验，实现额外的稀疏性超出自然简约的因素模型。本着这种精神，我们估计的共同因素的数量，在高度实施的稀疏潜在的因素模型与尖峰和板先验的因素负载矩阵。我们的框架导致一个自然的，高效的，同时耦合的模型估计和选择，一方面和模型识别和秩估计（因子数）的另一方面。更准确地说，通过嵌入无序广义下三角负载表示过拟合稀疏因子模型，我们获得后验总结因子负载，共同的因素，以及通过后处理的因素尺寸从我们的高效和定制的马尔可夫链蒙特卡罗计划。
2023-01-16 stat.ME
Estimating a density near an unknown manifold: a Bayesian nonparametric approach
针对欧几里得空间中未知子流形偏移内的数据，提出一种基于高斯位置-尺度混合的贝叶斯非参数密度估计方法，引入新的各向异性Hölder概念，获得自适应于密度正则性、流形维度和偏移大小的极小极大最优后验速率，且实现简便、实际效果好。
2024-07-17 math.ST stat.TH
Bayesian Analysis of Stochastic Volatility Model using Finite Gaussian Mixtures with Unknown Number of Components
金融研究需要基于波动率的模型，这些模型提供了与投资相关的风险的有用见解。随机波动率模型是此类研究中最流行的波动率建模方法之一。所研究的资产收益可能来自多个集群，这些集群在假设标准分布的情况下无法很好地捕捉。混合分布在这种情况下更合适。在这项工作中，一个算法证明，这是能够研究有限的混合物，但未知数量的组件。该算法使用一个死亡过程来调整混合分布中的分量数，并相应地分配权重。这种混合分布规格，然后用于资产收益率和半参数随机波动率模型拟合在贝叶斯框架。研究了高斯混合的一种特殊情况。采用适当的先验规范，吉布斯抽样方法被用来生成后验链和评估模型的收敛性。印度国家银行的股票收益率数据的案例研究被用来说明的方法。
2021-10-25 stat.ME
Covering Unknown Correlations in Bayesian Priors by Inflating Uncertainties
Johannes Gutenberg University Mainz（约翰内斯·古腾堡美因茨大学）
本文提出通过放大不确定性来覆盖未知相关性，以确保贝叶斯先验中对感兴趣参数的保守后验不确定性。
2025-10-23 astro-ph.IM physics.data-an stat.ME
Bayesian bandwidth estimation and semi-metric selection for a functional partial linear model with unknown error density
This study examines the optimal selections of bandwidth and semi-metric for a functional partial linear model . Our proposed method begins by estimating the unknown error density using a kernel density estimator of residuals, where the regression function , consisting of parametric and nonparametric components, can be estimated by functional principal component and functional Nadayara-Watson estimators. The estimation accuracy of the regression function and error density crucially depends on the optimal estimations of bandwidth and semi-metric. A Bayesian method is utilized to simultaneously e…
2020-02-24 stat.AP stat.ME
Exploiting gradients and Hessians in Bayesian optimization and Bayesian quadrature
机器学习研究的一个令人兴奋的分支集中在学习，优化和集成未知函数的方法上，这些方法很难或昂贵地进行评估。一个流行的贝叶斯方法来解决这个问题使用高斯过程（GP），以构建一个后验分布的功能的利益，给定一组观察到的测量，并选择新的点来评估使用这个后验的统计。在这里，我们将这些方法扩展到利用未知函数的导数信息。我们描述了贝叶斯优化（BO）和贝叶斯求积（BQ）的方法，其中一阶和二阶导数可以与函数本身一起评估。我们进行基于采样的推理，以纳入超参数的不确定性，并表明超参数和功能的不确定性降低得更快，当使用导数信息。此外，我们介绍了技术，克服病态的问题，困扰早期的方法梯度增强高斯过程和克里金。我们说明了这些方法的有效性，使用实际和模拟的贝叶斯优化和正交问题的应用程序，并表明，开发衍生工具可以提供大量的收益超过标准方法。
2018-03-29 stat.ML
Overfitting Bayesian Mixtures of Factor Analyzers with an Unknown Number of Components
过拟合贝叶斯混合模型的最新进展提供了一个坚实的和直接的方法来推断潜在的聚类数和模型参数在异构数据集。这种框架的适用性聚类相关的高维数据证明。为了这个目的，一个过拟合的混合因素分析仪的介绍，假设因素的数量是固定的。采用马尔可夫链蒙特卡罗（MCMC）抽样器结合先验并行回火方案估计模型参数的后验分布。使用信息准则估计因子的最佳数目。与标签切换问题相关的可识别性问题通过重新标记算法对模拟MCMC样本进行后处理来处理。该方法是基准对国家的最先进的软件，极大似然估计的混合物的因素分析，使用广泛的模拟研究。最后，该方法的适用性说明在公开可用的数据。
2018-02-26 stat.ME
A Bayesian semi-parametric hybrid model for spatial extremes with unknown dependence structure
最大稳定过程是空间极值的渐近合理模型。特别是，我们专注于分层极值过程（HEVP），这是一个特定的最大稳定的过程，有利于贝叶斯计算。HEVP和所有最大稳定过程模型是参数化的，并施加强有力的假设，包括所有边缘分布属于广义极值族，附近的站点是渐近相关的。我们通过放松这些假设来推广HEVP，以通过空间随机效应分布的Dirichlet过程提供更广泛的一类边缘分布。此外，我们提出了一个混合最大混合模型，结合了参数和半参数模型的优势。我们表明，这种通用的最大混合模型，同时容纳渐近独立性和依赖性，可以使用标准的马尔可夫链蒙特卡罗算法。在蒙特卡罗模拟研究和荷兰阵风数据的应用中，我们的模型的效用进行了评估。
2020-03-24 stat.ME
A deep-learning based Bayesian approach to seismic imaging and uncertainty quantification
Georgia Institute of Technology（佐治亚理工学院）
不确定性量化是必不可少的，当处理病态的反问题，由于固有的非唯一性的解决方案。贝叶斯方法允许我们通过公式化后验分布来确定未知参数的估计的可能性。不幸的是，通常不可能用公式表示一个先验分布，它精确地编码了我们关于未知的先验知识。此外，坚持手工制作的先验可能会极大地偏倚贝叶斯分析的结果。为了解决这个问题，我们建议使用随机初始化的卷积神经网络的函数形式作为隐式结构化先验，这被证明可以促进自然图像并排除具有非自然噪声的图像。为了将模型的不确定性纳入最终估计，我们使用随机梯度Langevin动力学对后验分布进行采样，并对获得的样本进行贝叶斯模型平均。我们的合成数值实验验证了深度先验与贝叶斯模型平均相结合能够部分规避成像伪影并降低极端噪声存在下过拟合的风险。最后，我们提出了逐点方差的估计作为衡量的不确定性，这与更难以成像的区域相吻合。
2020-01-15 cs.LG physics.geo-ph stat.ML
A Bayesian Nonparametric Approach to Dynamical Noise Reduction
基于马尔可夫链蒙特卡罗方法（MCMC），提出了一种贝叶斯非参数降噪方法，用于对被动态噪声污染的混沌时间序列进行降噪.潜在的未知噪声过程（可能）表现出重尾行为。我们介绍了动态降噪复制器（DNRR）模型，我们重建未知的动态方程，并在并行我们复制的动态降低噪声水平的动态扰动。动态噪声降低过程中，具体证明了在多项式映射的情况下。基于合成时间序列的仿真。
2018-02-17 nlin.CD stat.ME
Stochastic Optimal Control with Side Information and Bayesian Learning
Georgia Institute of Technology（佐治亚理工学院）
本文提出了一种基于参数密度模型和后验预测动力学的贝叶斯方法，用于解决具有未知上下文条件随机分布的无限时间 horizon 随机最优控制问题，并证明了后验一致性和渐近正态性。
2026-07-22 math.OC math.ST stat.TH
Sparse Bayesian Factor Analysis when the Number of Factors is Unknown
尽管稀疏因子模型的流行，很少有人注意到正式解决这些模型的可识别性超出标准的旋转为基础的识别，如正下三角约束。为了填补这一空白，我们提供了一个计数规则的非零因子载荷的数量，这是足以实现唯一性的方差分解的因子表示。此外，我们引入了广义下三角表示来解决旋转不变性，并表明在该模型类中，可以在过拟合稀疏因子模型中恢复未知数量的公共因子。通过将点质量混合先验与高效和定制的MCMC方案相结合，我们获得了关于公共因子数量以及通过后处理的因子载荷的后验摘要。我们的方法是说明每月汇率的22种货币相对于欧元在8年的时间和每月日志回报的73家公司从纽约证券交易所100在20年的时间。
2018-04-11 stat.ME
Bayesian network approach to building an affective module for a driver behavioural model
本文提出用贝叶斯网络为驾驶员行为模型构建情感模块，通过生理与人口统计学变量估计心理负荷和主动疲劳等心理状态的概率，以提升动态环境下驾驶行为理解并服务于交通安全与自动驾驶。
2025-02-05 stat.AP
Output-weighted optimal sampling for Bayesian regression and rare event statistics using few samples
Massachusetts Institute of Technology（麻省理工学院）
对于许多重要问题，感兴趣的量是参数的未知函数，这是具有已知统计量的随机向量。由于输出对该随机向量的依赖性是未知的，因此挑战在于使用最少数量的函数求值来识别其统计信息。这个问题可以在主动学习或最佳试验设计的背景下看到。我们采用贝叶斯回归表示由于有限和少量的输入输出对导出的模型的不确定性。在这种情况下，我们评估现有的最佳样本选择方法，如模型误差最小化和互信息最大化。我们发现，对于已知的输出方差的情况下，在文献中常用的标准不考虑现有的输入输出对的输出值，而对于未知的输出方差的情况下，这种依赖性可以是非常弱的。我们引入了一个标准，考虑到现有的样本的输出值，并自适应地选择输入的参数空间的区域有重要贡献的输出。新方法允许应用到高维输入，铺平了道路，在高维的最佳试验设计。
2019-11-30 cs.LG stat.AP stat.CO
