Streaming, Distributed Variational Inference for Bayesian Nonparametrics
LIDS（实验室信息与决策系统实验室）；CSAIL, MIT（麻省理工学院计算机科学与人工智能实验室）
本文提出了一种方法来创建流，分布式推理算法的贝叶斯非参数（BNP）模型。在提出的框架中，处理节点接收一系列数据小批量，计算每个小批量的变分后验，并对中心模型进行异步流更新。与以前的算法相比，所提出的框架是真正的流，分布式，异步，学习率免费，和截断免费。开发框架的关键挑战是，BNP模型不会对其组件施加固有的排序，因此在执行每次更新之前，找到minibatch和中央BNP后验组件之间的对应关系。为了解决这个问题，本文提出了一个组合优化问题的组件对应，并提供了一个有效的解决方案。本文最后与DP混合模型的方法的应用，实验结果表明其实际的可扩展性和性能。
2015-10-30 cs.LG stat.ML
Vector Quantized Bayesian Neural Network Inference for Data Streams
Yonsei University（延世大学）
贝叶斯神经网络（BNN）可以估计预测中的不确定性，而非贝叶斯神经网络（NN）。然而，BNN在实践中的应用远不如非贝叶斯NN广泛，因为它们需要迭代NN执行来预测一个数据的结果，并且它会产生令人望而却步的计算成本。这种计算负担是处理低延迟数据流时的一个关键问题。为了解决这个问题，我们提出了一种新的模型VQ-BNN，它近似于数据流的BNN推理。为了减少计算负担，VQ-BNN推理仅预测NN一次，并使用先前记忆的预测结果进行补偿。具体来说，VQ-BNN的数据流推理是通过最近预测的时间指数平滑来给出的。该模型的计算成本与非贝叶斯神经网络的计算成本几乎相同。包括对真实数据的语义分割在内的实验表明，该模型的执行速度明显快于BNN，同时估计的预测结果与BNN的结果相当或更好。
2021-01-25 cs.CV cs.LG stat.ML
Analyzing and Storing Network Intrusion Detection Data using Bayesian Coresets: A Preliminary Study in Offline and Streaming Settings
University of Oslo（奥斯陆大学）
在本文中，我们提供了一个初步的研究应用贝叶斯核心集的网络安全数据。网络入侵检测是一个可以利用贝叶斯机器学习来建模不确定性和管理流数据的领域;然而，大规模的数据集往往阻碍了基于MCMC的贝叶斯学习方法的使用。限制有用数据的数量是网络流量分析等领域的核心问题，其中通过数据包收集可以非常快速地生成大量冗余数据。减少样本的数量不仅会使学习更可行，而且还有助于减少对记忆和存储的需求。我们在这里探索使用贝叶斯coresets，一种技术，减少数据样本的数量，同时保证学习一个准确的后验分布使用贝叶斯学习。我们分析了贝叶斯核心集如何影响学习模型的准确性，以及在静态场景和流场景中如何权衡时空要求。
2019-06-20 cs.CR cs.LG stat.ML
Variational Bayesian Inference for Robust Streaming Tensor Factorization and Completion
Department of Mathematics, UC Santa Barbara（加州大学圣巴巴拉分校数学系）；Department of ECE, UC Santa Barbara（加州大学圣巴巴拉分校电气工程与计算机科学系）
流张量分解是一个强大的工具，用于处理互联网网络，推荐系统和图像/视频数据分析中的大容量和多路时态数据。现有的流式张量分解算法依赖于最小二乘数据拟合，并且它们不具有用于张量秩确定的机制。这使得它们容易受到离群值的影响，并且容易过度拟合。本文提出了一种贝叶斯鲁棒流张量分解模型，用于识别稀疏离群点，自动确定底层张量秩，精确拟合低秩结构。我们在Matlab中实现了我们的模型，并将其与动态MRI和互联网流量生成的张量数据集上的现有算法进行了比较。
2018-12-31 cs.LG eess.SP stat.ML
Streaming Variational Inference for Bayesian Nonparametric Mixture Models
理论上，贝叶斯非参数（BNP）模型非常适合流数据场景，因为它们能够根据观察到的数据调整模型复杂性。不幸的是，这些好处在实践中还没有完全实现;现有的推理算法要么不适用于流应用程序，要么不能扩展到BNP模型。对于Dirichlet过程的特殊情况，流推理被考虑.然而，越来越多的兴趣在更灵活的BNP模型上建立的类归一化随机措施（NRM）。我们在这个框架下工作，并提出了一个流变分推断算法的NRM混合模型。我们的算法是基于假设密度过滤（ADF），直接导致期望传播（EP）的大规模批量推理。我们证明了该算法在大型流文本语料库中对文档进行聚类的有效性。
2015-04-21 stat.ML
Momentum-Space Renormalization Group Transformation in Bayesian Image Modeling by Gaussian Graphical Model
Tohoku University（东北大学）；Yamagata University（山形大学）
针对高斯图模型，提出了一种将边际似然最大化与动量空间重整化群变换相结合的贝叶斯建模方法。此外，我们提出了一个计划计算的统计平均值的超参数和均方误差在我们提出的方法的基础上动量空间重整化变换。
2018-03-20 cond-mat.stat-mech cs.LG stat.ML
Streaming Bayesian Modeling for predicting Fat-Tailed Customer Lifetime Value
Ural Federal University（乌拉尔联邦大学）
本文提出适用于层次贝叶斯模型和GLMS的在线学习MCMC方法，并构建可泛化多种肥尾与薄尾分布的LTV模型，在大型移动应用商业数据上验证了有效性。
2023-12-01 cs.LG stat.AP stat.ME
You say Normalizing Flows I see Bayesian Networks
University of Liège（列日大学）
规范化流已经成为一个重要的深度神经网络家族，用于对复杂的概率分布进行建模。在本文中，我们将其耦合和自回归变换层作为概率图模型进行了重新审视，并表明它们可以简化为贝叶斯网络，每个节点具有预定义的拓扑结构和可学习的密度。从这个新的角度来看，我们提供了三个结果。首先，我们证明了在一个规范化流中堆叠多个变换放松了独立性假设，并使模型分布纠缠在一起。其次，我们表明，一个根本性的飞跃的能力出现时，仿射流的深度超过3个转换层。第三，我们证明了非普适性的仿射正规化流，无论其深度。
2020-06-03 cs.LG stat.ML
Adaptive Bayesian Online Learning via Expert Aggregation
Inha University（仁荷大学）
研究如何改进贝叶斯在线学习，将其更新规则视为专家，按顺序预测损失聚合专家。通过在线共形推理和高斯过程回归实例化框架，得到平滑贝叶斯对应物及神谕不等式，实验显示聚合能跟踪强大专家且无需神谕专家选择。
2026-07-23 cs.LG stat.ML
Invariant Priors for Bayesian Quadrature
University College London（伦敦大学学院）；Microsoft Research Cambridge（微软剑桥研究院）；University of Tübingen（蒂宾根大学）
贝叶斯求积（Bayesian quadrature，BQ）是一种基于模型的数值积分方法，能够通过编码和利用手头的积分任务的已知结构来提高样本效率。在本文中，我们探讨了先验编码下的输入域中的双射变换，特别是一些酉变换，如旋转，轴翻转，或点对称的被积函数的不变性。我们展示了在几个合成和一个现实世界中的应用相比，标准贝叶斯正交的优越性能的初步结果。
2021-12-02 cs.LG stat.ML
Deep Bayesian Unsupervised Lifelong Learning
Northeastern University（东北大学）
终身学习（LL）指的是不断学习和解决新问题的能力，随着时间的推移，随着可用信息的增加，同时保留以前的知识。最近，人们对带有标签数据流的监督式终身学习（SLL）给予了很大的关注。相比之下，我们专注于解决无监督终身学习（Unsupervised Lifelong Learning，简称EML）中的挑战，当数据分布和未知类标签随着时间的推移而演变时，使用未标记的数据流。贝叶斯框架很自然地结合了过去的知识，并用新的数据顺序地更新信念。我们开发了一个完整的贝叶斯推理框架，用于使用一种新型的端到端深度贝叶斯无监督终身学习（DBSTO）算法，该算法可以在学习潜在表示的同时逐步发现新的聚类，而不会忘记过去的未标记数据。为了有效地维护过去的知识，我们开发了一种新的知识保存机制，通过充分的统计数据的潜在表示的原始数据。为了检测潜在的新集群的飞行，我们开发了一个自动集群发现和冗余删除策略，在我们的推理启发非参数贝叶斯统计技术。我们在LL和批处理设置中使用图像和文本语料库基准数据集证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Bayesian Discrete Conditional Transformation Models
我们提出了一种新的贝叶斯模型框架的离散序数和计数数据的基础上的条件转换的响应。条件变换函数是从数据中结合先验选择的参考分布来估计的。对于计数响应，由此产生的转换模型是新颖的，在这个意义上，它是一个贝叶斯完全参数但分布自由的方法，可以额外考虑额外的零与添加剂的转换功能规范。对于有序分类响应，我们的累积链接转换模型允许包含线性和非线性协变量效应，这些效应还可以是分类特异性的，从而产生（非）比例优势或风险模型等，具体取决于参考分布的选择。推理是由一个通用的模块化马尔可夫链蒙特卡罗算法，其中多元高斯先验执行特定的属性，如平滑的功能效果。为了说明贝叶斯离散条件转换模型的多功能性，应用程序的专利引用计数在存在多余的零和治疗森林健康类别的离散部分比例优势模型。
2022-05-17 stat.ME stat.ML
Inverse Renormalization Group Transformation in Bayesian Image Segmentations
Tohoku University（东北大学）；Yamagata University（山形大学）；Kyoto University（京都大学）
提出了一种新的贝叶斯图像分割算法，该算法将循环置信传播和逆实空间重整化群变换相结合，以减少计算时间。在我们的实验结果中，我们观察到，所提出的方法可以减少计算时间，传统的贝叶斯方法所采取的不到十分之一。
2015-01-05 cond-mat.stat-mech cs.CV stat.ML
Streaming Bayesian inference: theoretical limits and mini-batch approximate message-passing
在统计学习的现实世界中的大规模数据问题，人们必须经常诉诸“流”算法，按顺序操作的小批量数据。在这项工作中，我们提出了一个小批量推理的信息论限制的背景下，广义线性模型和低秩矩阵分解的分析。在一个受控的贝叶斯最优设置中，我们将最优性能和相变描述为小批量大小的函数。我们的一部分结果的基础上详细分析的小批量版本的近似消息传递算法（Mini-AMP），我们介绍。此外，我们表明，这种理论上的最优结转到实际数据的问题，说明迷你AMP是有竞争力的标准流算法的集群。
2017-06-02 cond-mat.stat-mech cs.IT math.IT
Generative Filtering for Recursive Bayesian Inference with Streaming Data
针对流式递归贝叶斯更新中滤波样本退化的问题，本文提出 Generative Filtering，以并行更新兼顾效率与非退化性，并给出收敛速率、充分统计量条件及模拟与生态数据验证。
2024-12-06 stat.CO
Low Latency Anomaly Detection and Bayesian Network Prediction of Anomaly Likelihood
我们开发了一个有监督的机器学习模型，可以实时的检测系统中的异常。我们的模型将无限的数据流处理成时间序列，然后形成低延迟异常检测模型的基础。此外，我们扩展我们的初步目标，只是异常检测到同步异常预测。我们通过开发一个贝叶斯网络框架来解决这个非常具有挑战性的问题，该框架捕获了在我们方法的第一部分中校准的滞后回归量的参数信息，并使用该结构来学习局部条件概率分布。
2016-11-11 cs.LG stat.ML
Unsupervised Joint Alignment and Clustering using Bayesian Nonparametrics
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
一组功能的联合对齐是独立转换功能的过程，以便它们看起来彼此更相似。通常，当呈现由多个模态产生的复杂数据集时，这种无监督对齐算法失败，或者对函数或变换的形式进行限制性假设，从而限制了它们的通用性。我们提出了一个转换贝叶斯无限混合模型，可以同时对齐和聚类的数据集。我们的模型和相关的学习方案提供了两个关键优势：通过使用Dirichlet过程先验以数据驱动的方式确定聚类的最佳数量，并且它可以容纳由连续参数向量参数化的任何变换函数。因此，它适用于广泛的数据类型和转换函数。我们提出了积极的结果，合成二维数据，一组一维曲线，并在各种图像数据集，显示出很大的改进，比以前的工作。我们讨论了几种变化的模型，并得出结论，为今后的工作方向。
2012-10-16 cs.LG stat.ML
The Bayesian Gaussian Process Latent Variable Model for Spatio-Temporal Stream Networks
Stellenbosch University（斯泰伦博斯大学）；University of Bath（巴斯大学）
本文提出了一种基于变分推断的框架，用于训练多输出高斯过程隐变量模型，特别针对尾部向上空间时间流网络进行优化，通过梯度优化最大化模型对数边际似然的变分下界，引入了一种新的尾部向上空间时间流网络模型家族，利用稀疏高斯过程诱导变量框架、贝叶斯高斯过程隐变量模型和局部变分方法，采用流距离代替欧几里得距离，并利用自相关/交叉相关和过程卷积捕捉空间和时间依赖性，从而开发出有效的可分离空间时间流网络基协方差函数。模拟案例研究结果表明，该框架在基准比较和多种性能指标下表现良好。
2026-05-20 stat.ME
Efficient Multiple Incremental Computation for Kernel Ridge Regression with Bayesian Uncertainty Modeling
Monash University（莫纳什大学）；Chungang University（中央大学）
这项研究提出了一种基于核岭回归（KRR）的大数据流的有效增量/减量方法，KRR是云中心常用的数据分析方法。为了避免在传感器接收到新的训练数据时重新分析整个数据集，典型的增量KRR使用单实例机制来更新现有系统。然而，这不可避免地增加了冗余的计算时间，更不用说对大数据流的适用性。为此，所提出的机制支持针对单个和多个样本的增量/减量处理（即，批处理）。大规模的数据可以分成批次，由机器处理，而不会牺牲准确性。此外，在本研究中还提出了经验和内在空间的增量/减量分析，以处理不同类型的数据，无论是大量的样本或高特征维度，而典型的方法只集中在一种类型。在这项研究的最后，我们进一步提出的机制，统计核贝叶斯回归，使不确定性建模与增量/减量计算变得适用。实验结果表明，该方法的计算时间明显缩短，优于原有的非增量设计和典型的单增量方法。此外，拟议方法的准确性与基线相同。这意味着该系统在不牺牲精度的情况下提高了效率。这些结果证明了所提出的方法适用于可变流数据分析，从而证明了所提出的方法的有效性。
2017-11-09 cs.LG stat.ML
Variational hybridization and transformation for large inaccurate noisy-or networks
Baidu Research（百度研究院）
变分推理为贝叶斯网络中难以计算的后验分布提供了近似。噪声或贝叶斯网络的一个突出的医学应用是根据观察到的症状来推断潜在的疾病。以往的研究主要集中在用变分变换来近似少数复杂的病理情况。我们的目标是使用变分变换作为一种新的混合推理的一部分，在网络规模上提供可靠和实时的诊断。我们提出了一种混合推理，允许变分参数估计没有疾病后验或先验，使推理速度更快，其计算可回收。此外，我们提出了一个转换排名算法，是非常稳定的网络先验概率，在贝叶斯网络的医疗应用中出现的一个常见问题的大方差。在实验中，我们对一个大型的现实生活中的医疗网络进行了比较研究，并对一个更大的（36，000倍）合成网络进行了可扩展性研究。
2016-05-20 cs.AI cs.LG stat.ML
Bayesian model updating via streamlined Bayesian active learning cubature
本文提出流线型贝叶斯主动学习求积法（SBALC），通过高斯过程回归近似对数似然函数，仅用后验均值和方差构建模型证据估计器、停止准则和学习函数，显著减少了模型评估次数与计算时间且不损失精度。
2025-09-14 stat.CO
Achieving a Hyperlocal Housing Price Index: Overcoming Data Sparsity by Bayesian Dynamical Modeling of Multiple Data Streams
了解住房价值如何随着时间的推移而演变对政策制定者，消费者和房地产专业人士非常重要。构建住房指数的现有方法是在粗空间粒度上计算的，例如大都市地区，这可能会掩盖或扭曲当地市场中明显的价格动态，例如社区和人口普查区。例如，在人口普查区一级进行估计的一个挑战是时空定位的房屋销售观测的稀疏性。我们的工作旨在通过利用发现具有相关估值动态的多个人口普查区域的观察来应对这一挑战。我们提出的贝叶斯非参数方法建立在潜在因素模型的框架上，以实现一个灵活的，数据驱动的方法来推断相关的人口普查区域的聚类。我们探索的方法，可扩展性和并行计算，产生一个住房估价指数在人口普查区的水平，而不是邮政编码，并在每月的基础上，而不是季度。我们的分析是在一个大型西雅图大都市住房数据集上提供的。
2015-05-05 stat.AP stat.ME stat.ML
A Transformational Characterization of Unconditionally Equivalent Bayesian Networks
KTH Royal Institute of Technology（瑞典皇家理工学院）
我们考虑的问题，表征贝叶斯网络的无条件等价，即，当有向无环图（DAG）具有相同的无条件$d$分离语句集时。每个无条件等价类（UEC）是唯一表示的无向图的团结构编码的类的成员。通过这种结构，我们提供了无条件等价的转换表征;即，我们表明，两个DAG是在同一UEC当且仅当一个可以通过一个有限序列的指定移动到其他转换。我们还扩展了这种特征的基本图表示的马尔可夫等价类（MEC）的UEC。UEC划分MEC的空间，并且很容易从边缘独立性测试中估计。因此，无条件等价的表征在涉及搜索贝叶斯网络的MEC空间的方法中具有应用。
2022-08-10 cs.LG math.CO math.ST
Virtual Vector Machine for Bayesian Online Classification
Microsoft Research（微软研究院）；Purdue University（普渡大学）
在典型的在线学习场景中，要求学习器使用小的存储器缓冲器来处理大的数据流。这样的要求通常与学习者对预测准确性的主要追求相冲突。为了解决这个难题，我们引入了一种新的贝叶斯在线分类算法，称为虚拟向量机。虚拟向量机允许您平滑地权衡预测精度与内存大小。虚拟向量机通过在分类权重上的高斯分布加上恒定数量的虚拟数据点来总结包含在先前数据流中的信息。虚拟数据点被设计为添加关于分类权重的额外非高斯信息。为了保持虚拟点的数量不变，虚拟向量机将当前真实数据点添加到虚拟点集合中，将两个最相似的虚拟点合并为新的虚拟点，或者删除远离决策边界的虚拟点。在这个过程中丢失的信息被吸收到高斯分布中。由虚拟点提供的额外信息导致比以前的在线分类算法更高的预测准确性。
2012-05-09 cs.LG stat.ML
Bayesian Optimized Continual Learning with Attention Mechanism
Peking University（北京大学）；Beijing Institute of Big Data Research（北京大数据研究院）
虽然神经网络在各种应用中取得了很大的进展，但对它们来说，从连续的任务流中学习而不忘记仍然是一个高度挑战。持续学习是一种新的学习范式，旨在解决这一问题。在这项工作中，我们提出了一个新的模型，持续学习，称为贝叶斯优化的持续学习注意力机制（BOCL），动态地扩大网络容量的到来时，新的任务贝叶斯优化和选择性地利用以前的知识（例如，以前的任务的特征图）通过注意力机制。我们对MNIST和CIFAR-100变体的实验表明，我们的方法在防止灾难性遗忘和更好地适应新任务方面优于最先进的方法。
2019-05-10 cs.LG stat.ML
On Transformations in Stochastic Gradient MCMC
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；NTT Communication Science Laboratories, NTT Corporation（日本电报电话公司通信科学实验室）
随机梯度朗之万动力学（SGLD）是一种计算效率高的采样器，用于大规模数据集的贝叶斯后验推理。虽然SGLD是为无界随机变量设计的，但许多实际模型包含具有边界的变量，例如非负变量或有限区间内的变量。为了弥合这一差距，我们考虑将无界样本映射到目标区间。本文从理论和实证的角度揭示了文献中常用的几种映射方法产生的错误样本。我们证明了用可逆的Lipschitz映射函数改变随机变量，克服了这个缺陷，并达到了弱收敛。实验证明了它的有效性，广泛使用的模型与有界的潜在变量，包括贝叶斯非负矩阵分解和二进制神经网络。
2019-06-20 cs.LG stat.ML
Dirichlet process mixture models for non-stationary data streams
Basque Center for Applied Mathematics（巴斯克应用数学中心）
近年来，我们已经看到了一些关于非平稳数据流上的推理算法的工作。鉴于其灵活性，贝叶斯非参数模型是这些情景的良好候选者。然而，在概念漂移现象下的可靠流推理仍然是这些模型的一个开放问题。在这项工作中，我们提出了一个变分推断算法的Dirichlet过程混合模型。我们的建议处理的概念漂移，包括指数遗忘在先前的全局参数。我们的算法允许自动适应学习模型的概念漂移。我们在合成和真实数据中进行了实验，表明该模型在密度估计问题上与最先进的算法具有竞争力，并且在聚类问题上优于它们。
2022-10-13 cs.LG stat.ML
Adaptive Bayesian Very Short-Term Wind Power Forecasting Based on the Generalised Logit Transformation
School of Mathematics and Statistics, University of Glasgow（数学与统计学学院，格拉斯哥大学）
针对双重边界风电功率数据的超短期概率预测，本文提出结合广义 logit 变换与自适应形状参数更新的贝叶斯方法，并在英国百余个风电场验证其 CRPS 与校准优势。
2025-05-08 cs.LG stat.AP
Rotation Invariant Householder Parameterization for Bayesian PCA
Goethe University（歌德大学）；Frankfurt Institute for Advanced Studies（法兰克福高等研究院）
我们认为概率PCA和相关的因素模型从贝叶斯的角度。这些模型通常无法识别，因为可能性具有旋转对称性。这会产生复杂的后验分布与连续的子空间的等密度，从而阻碍了效率的推断，以及获得的参数的解释。特别是，因子载荷的后验平均值变得毫无意义，只有模型预测是明确的。在这里，我们提出了一个参数化的基础上Householder变换，它删除了旋转对称的后验。此外，通过依赖于随机矩阵理论的结果，我们建立的参数分布，使模型不变的原始旋转对称配方相比。特别是，我们避免了需要计算的雅可比行列式的参数变换。这使我们能够在任何现有技术工具箱中以旋转不变的方式有效地实现概率PCA。在这里，我们在概率编程语言Stan中实现了我们的模型，并在几个示例中进行了说明。
2019-05-12 cs.LG stat.ML
On the Choice of Model Space Priors and Multiplicity Control in Bayesian Variable Selection: An Application to Streaming Logistic Regression
The University of Iowa（爱荷华大学）
本文探讨了贝叶斯变量选择中模型空间先验的选择对流式逻辑回归的影响，提出了一种简化MD先验并评估其在稀疏性和多重性控制中的有效性。
2025-12-27 stat.CO stat.ME
Spatiotemporal Clustering with Neyman-Scott Processes via Connections to Bayesian Nonparametric Mixture Models
University of Michigan（密歇根大学）；Stanford University（斯坦福大学）；New York University（纽约大学）；Flatiron Institute（弗拉蒂伦研究所）；Wu Tsai Neurosciences Institute（吴蔡神经科学研究所）
本文揭示了Neyman-Scott过程与Dirichlet过程混合模型通过有限混合模型建立的新联系，借此改编坍缩吉布斯采样算法实现可扩展贝叶斯推断，并验证了其在神经脉冲序列与文档流等时空数据聚类任务中的有效性。
2023-09-11 cs.LG stat.ML
BayCANN: Streamlining Bayesian Calibration with Artificial Neural Network Metamodeling
目的：贝叶斯校正算法能够揭示校正后参数的联合后验分布，因而在理论上优于标准的直接搜索算法。然而，到目前为止，贝叶斯校准还没有经常使用的健康决策科学由于实际和计算负担。在本文中，我们建议使用人工神经网络（ANN）作为这些限制的解决方案之一。研究方法：使用人工神经网络的贝叶斯校准（BayCANN）涉及（1）在模型输入和输出的样本上训练ANN元模型，以及（2）然后在概率编程语言中校准经训练的ANN元模型而不是完整模型，以获得校准参数的后验联合分布。我们通过校准结直肠癌的自然史模型来证明BayCANN，以腺瘤患病率和癌症发病率数据。此外，我们比较的效率和准确性BayCANN对执行贝叶斯校准直接使用增量混合重要性抽样（IMIS）算法的模拟模型。结果：BayCANN在恢复“真实”参数值方面通常比IMIS更准确。在9个校准参数中，有8个参数的绝对ANN偏离真实值的比率小于1，表明BayCANN比综管系统更准确。此外，BayCANN总共花了大约15分钟，而综管系统的方法花了80分钟。结论：在我们的案例研究中，BayCANN比IMIS更准确，速度快五倍。由于BayCANN不依赖于仿真模型的结构，它可以适应各种复杂程度的模型，只需对其结构进行微小的更改。我们提供BayCANN在R中的开源实现。
2020-10-26 stat.CO stat.ME stat.ML
Monte Carlo inference for semiparametric Bayesian regression
本文提出一种简单高效的蒙特卡洛推断策略，通过贝叶斯自助法实现未知数据变换与回归模型参数的联合后验推断，在多重模型误设下保持一致性，适用于多种数据类型，并在多种模型中验证了其有效性与高效性。
2024-07-29 math.ST stat.CO stat.ME
Generalized Bayesian Posterior Expectation Distillation for Deep Neural Networks
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们提出了一个通用框架，用于提取深度神经网络分类器的贝叶斯后验分布的预期，扩展了贝叶斯暗知识框架的先前工作。建议的框架作为输入“教师”和学生模型架构和一般的后验期望的兴趣。蒸馏方法使用迭代生成的Monte Carlo样本对选定的后验期望进行在线压缩。我们专注于后验预测分布和期望熵作为蒸馏目标。我们调查了这个框架的几个方面，包括不确定性的影响和学生模型架构的选择。我们从速度-存储-准确性的角度研究学生模型架构搜索的方法，并利用熵蒸馏评估下游任务，包括不确定性排名和分布外检测。
2020-05-16 cs.LG stat.ML
Bayesian transformation family selection: moving towards a transformed Gaussian universe
转换选择的问题是彻底处理从贝叶斯的角度来看。几个家庭的转换被认为是为了实现正常的：Box-Cox，模，Yeo & Johnson和对偶变换。马尔可夫链蒙特卡罗算法已被构造，以便从与每个竞争家族$T$相关联的变换参数$λ_T$的后验分布中采样。我们研究了不同的方法来构建兼容的先验分布$λ_T$在替代的转换家庭，使用单位信息功率先验的方法和替代的正常前近似单位信息的解释。通过后验模型概率实现不同变换族之间的选择和区分。我们证明了我们的方法使用各种模拟数据集的效率。虽然没有一种转换家族可以普遍适用于所有问题，但经验证据表明，某些特定的数据结构最好由特定的转换家族处理。例如，偏度与Box-Cox族相关联，而厚尾分布则使用模变换进行有效处理。
2013-12-12 stat.ME
Efficient Bayesian synthetic likelihood with whitening transformations
无似然方法是一种已建立的方法，用于对具有难处理的似然函数的模型执行近似贝叶斯推断。然而，它们可能需要计算。贝叶斯综合似然（Bayesian synthetic likelihood，BSL）是一种流行的方法，它用已知的、易处理的分布（通常是高斯分布）近似概括统计量的似然函数，然后使用标准的基于似然的技术执行统计推断。然而，随着汇总统计量的增加，精确估计该可能性的协方差阵所需的模型模拟数量迅速增加。这对BSL的应用提出了重大挑战，特别是在模型模拟昂贵的情况下。在这篇文章中，我们提出了白化BSL（wBSL）-一个有效的BSL方法，使用近似白化变换去相关的汇总统计在每个算法迭代。我们的经验表明，这可以减少所需的模型模拟实现BSL的数量超过一个数量级，而不会损失太多的准确性。我们探索了一系列的白化程序，并展示了一系列的模拟和真实的建模方案，从生态学和生物学的wBSL的性能。
2020-02-01 stat.CO stat.ME stat.ML
Bayesian Conditional Transformation Models
统计回归方法的最新发展从纯均值回归转向分布回归模型。其中一个重要的链是条件转换模型（CTM）。CTM直接通过将转换函数应用于响应，以一组协变量为条件，朝向简单对数凹参考分布，推断整个条件分布。因此，CTM不仅允许方差、峰度或偏度，而且允许完整的条件分布依赖于解释变量。我们提出了一个贝叶斯概念的条件转换模型（BCTM）专注于精确观察到的连续响应，但也将扩展到随机删失和离散响应。而不是依赖于伯恩斯坦多项式，已被认为是在基于似然的CTM，我们实现了基于样条的参数化的单调效应，补充平滑先验。此外，我们能够受益于贝叶斯范式通过容易获得的可信区间和其他数量，而不依赖于大样本近似。模拟研究表明，我们的方法对它的似然性为基础的同行，但也贝叶斯添加剂模型的位置，规模和形状和贝叶斯分位数回归的竞争力。两个应用程序说明了多功能性的BCTM的问题，涉及现实世界的数据，再次包括与各种类型的竞争对手的比较。
2022-05-21 stat.ME
Fast Bayesian Record Linkage for Streaming Data Contexts
针对流数据场景下记录链接参数更新效率低的问题，将双文件贝叶斯Fellegi-Sunter模型推广至多文件场景，提出两种流式更新方法，以极少计算时间实现近乎等效的后验推断。
2023-10-30 stat.CO
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然（BSL）的正态分布假设偏差及统计量兼容性需求，结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯，提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
Transformations in Semi-Parametric Bayesian Synthetic Likelihood
贝叶斯合成似然（Bayesian synthetic likelihood，BSL）是一种在似然函数难以处理的情况下进行近似贝叶斯推断的常用方法。在合成似然方法中，似然函数通过模型模拟进行参数近似，然后使用标准的基于似然的技术来执行推断。高斯合成似然估计已成为无处不在的BSL文献，主要是因为它的简单性和易于实现。然而，它通常限制性太强，并可能导致较差的后验近似。最近，一个更灵活的半参数贝叶斯合成似然（semiBSL）估计已被引入，这是显着更强大的不规则分布的汇总统计量。在这项工作中，我们提出了一些扩展semiBSL。首先，我们考虑使用变换核密度估计的边缘分布的更灵活的估计。其次，我们提出了白化semiBSL（wsemiBSL）-显着提高semiBSL的计算效率的方法。wsemiBSL在每次算法迭代时使用近似白化变换来解相关汇总统计量。本文开发的方法显着提高了BSL算法的通用性和效率。
2020-07-03 stat.CO stat.ME
Learning-augmented count-min sketches via Bayesian nonparametrics
University of Pavia（帕维亚大学）；University of Torino（都灵大学）；Collegio Carlo Alberto（卡洛·阿尔贝托学院）；Cogent Labs（Cogent实验室）
count-min sketch（CMS）是一种时间和存储器高效的随机化数据结构，其基于随机散列数据来提供对令牌的数据流（即点查询）中的令牌的频率的估计。Cai，Mitzenmacher和Adams（\textit{NeurIPS} 2018）提出了CMS的学习增强版本（称为CMS-DP），它依赖于通过Dirichlet过程（DP）先验对令牌数据流进行贝叶斯非参数（BNP）建模，并将点查询的估计值作为点查询的后验分布的适当均值泛函获得，给定散列数据。虽然CMS-DP已被证明在CMS的某些方面有所改进，但它的主要缺点是基于为DP先验量身定制的参数的"建设性”证明，即不能用于其他非参数先验的参数。在本文中，我们提出了一个“贝叶斯”证明CMS-DP的主要优点是建立在参数是可用的，原则上，在一个广泛的类的非参数先验所产生的归一化完全随机措施。这一结果导致在幂律数据流下开发一种新的学习增强CMS，称为CMS-PYP，它依赖于通过Pitman-Yor过程（PYP）先验对令牌数据流进行BNP建模。在这个更一般的框架下，我们应用CMS-DP的"贝叶斯”证明的参数，适当地适应PYP先验，以计算给定散列数据的点查询的后验分布。对合成数据和真实文本数据的应用表明，CMS-PYP在估计低频令牌方面优于CMS和CMS-DP，这在文本数据中是至关重要的，并且它相对于针对低频令牌设计的CMS的变体具有竞争力。我…
2022-09-13 cs.LG math.ST stat.ML
Dynamic trees for streaming and massive data contexts
大规模的数据收集在各种各样的环境中变得无处不在，从庞大的离线数据库到流实时信息。在这种情况下部署的学习算法必须依赖于单遍推理，其中数据历史永远不会被重新访问。在流式上下文中，学习还必须在时间上自适应，以针对数据生成机制中不可预见的变化保持最新。虽然快速增长，在线贝叶斯推断文献仍然面临着巨大的数据和瞬态，不断变化的数据流的挑战。非参数建模技术可能被证明特别不适合，因为模型的复杂性可以随着样本量的增加而增加。在这项工作中，我们采取措施来克服这些挑战，通过移植标准的流技术，如数据丢弃和降权，到一个完全贝叶斯框架，通过使用信息先验和主动学习算法。我们展示了我们的方法，通过增强现代非参数建模框架，动态树，并说明其性能的一些实际例子。最终产品是一个强大的流回归和分类工具，其性能与最先进的相比毫不逊色。
2012-01-26 stat.ME stat.ML
Streaming PAC-Bayes Gaussian process regression with a performance guarantee for online decision making
Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Technology Sydney（悉尼科技大学）
高斯过程（GP）作为一种功能强大的贝叶斯非参数化算法，在贝叶斯优化和信号处理中发挥着重要作用。全科医生也有先进的在线决策系统，因为他们的后验分布有一个封闭的形式的解决方案。然而，它的训练和推理过程需要存储所有历史数据，并从头开始训练GP模型。出于这些原因，一些在线GP算法，如O-SGPR和O-SVGP，已专门设计用于流媒体设置。在本文中，我们提出了一个新的理论框架，在线GPS的基础上在线可能近似正确（PAC）贝叶斯理论。该框架提供了广义性能和良好的准确性的保证。我们的算法不是最小化边际似然，而是优化经验风险函数和正则化项，这与参数的先验分布和后验分布之间的分歧成比例。除了理论上的吸引力，该算法在几个回归数据集上的经验表现良好。与其他在线GP算法相比，我们产生了泛化保证和非常有竞争力的准确性。
2022-10-26 cs.AI cs.LG stat.ML
Integrating Marketing Channels into Quantile Transformation and Bayesian Optimization of Ensemble Kernels for Sales Prediction with Gaussian Process Models
University of Pittsburgh（匹兹堡大学）
本文提出一种结合RBF、有理二次和Matérn集成核的高斯过程销售预测模型，并通过贝叶斯优化自动确定核权重，实现98%准确率并显著优于传统GP模型。
2024-06-11 cs.LG stat.AP
A Novel Framework for Analyzing Structural Transformation in Data-Constrained Economies Using Bayesian Modeling and Machine Learning
针对中低收入国家数据稀缺难以准确评估结构转型的问题，提出整合贝叶斯层次建模、机器学习数据插补与因子分析的框架，经模拟验证在60%数据缺失时仍可预测结构变化，为相关决策提供工具。
2024-09-25 stat.AP stat.CO stat.ML
Composable Models for Online Bayesian Analysis of Streaming Data
数据的数量和速度正在迅速增加，物联网（IoT）是这些数据的重要来源之一。物联网是一组连接的设备（事物），它们使用车载传感器不断记录周围环境的数据。这些设备可以以非常高的速率记录数据并将数据流传输到云端，从而导致高存储和分析成本。为了降低这些成本，我们可以在数据流到达时对其进行分析，以了解底层过程，执行插值和平滑，并进行预测和预测。状态空间建模的传统工具假设数据位于固定的规则时间网格上。然而，许多传感器会改变其采样频率，有时是自适应的，或者中断并重新启动，与先前的采样网格不同步，或者只是在不规则的时间生成事件数据。因此，希望将系统建模为在连续时间内演化的部分和不规则观测的马尔可夫过程。过程和观测模型都可能是非线性的。因此，粒子滤波器代表了在线分析的最简单方法。为了对物联网中捕获的各种数据进行建模，开发了一个功能性的可组合连续时间马尔可夫过程模型Scala库。
2016-09-02 stat.ME
Bayesian prediction via nonparametric transformation models
本文通过一种新的贝叶斯方法来解决非参数转换模型（NTM）预测的老问题。由于模型的不可识别性，NTM的估计已知是具有挑战性的，尽管由于其在生存分析中的稳健预测能力而具有吸引力。受后验预测分布唯一性的启发，我们在贝叶斯范式下通过上述NTM实现了有效的预测。我们的策略是将弱信息先验分配给非参数分量，而不是通过在现有文献中添加复杂的约束来识别模型。贝叶斯的成功致敬i）一个微妙的铸造的NTMs的指数变换的目的是压缩空间的无穷维参数的正象限考虑非负的故障时间; ii）一个新构造的弱信息分位数结I样条之前的重铸转换函数连同Dirichlet过程混合模型分配给误差分布。此外，我们提供了一个方便和精确的估计所确定的参数分量的一般单位范数的限制，通过后验修正，使有效的相对风险。在真实数据集上的仿真和应用表明，我们的方法是鲁棒的，优于竞争的方法。R软件包BuLTM可用于预测生存曲线，估计相对风险，并便于事后检查。
2023-02-07 stat.ME
Bayesian spatial transformation models with applications in neuroimaging data
本文的目的是开发一类空间变换模型（STM），在空间上模拟成像措施之间的变化关联在一个三维（3D）体积（或2D表面）和一组协变量。我们的STM包括一个不同的Box-Cox变换模型，用于处理非高斯分布的成像数据和高斯马尔可夫随机场模型的问题，将空间平滑的成像数据。后验计算通过有效的马尔可夫链蒙特卡罗算法进行。仿真和实际数据分析表明，STM在恢复有意义的几何图案方面明显优于带高斯噪声的逐体素线性模型。我们的扫描隧道显微镜能够揭示儿童注意缺陷多动障碍的重要脑区的形态学变化。
2016-07-26 stat.AP
HINT: Hierarchical Invertible Neural Transport for Density Estimation and Bayesian Inference
Heidelberg University（海德堡大学）
许多最近的可逆神经架构是基于耦合块设计，其中变量被分成两个子集，作为一个容易可逆的（通常是仿射）三角变换的输入。虽然这样的变换是可逆的，但其雅可比矩阵非常稀疏，因此可能缺乏表达性。这项工作提出了一个简单的补救措施，注意到细分和（仿射）耦合可以在得到的子集内递归地重复，导致一个高效的可逆块与密集的三角形雅可比矩阵。通过经由分层架构制定我们的递归耦合方案，HINT允许从联合分布p（y，x）和对应的后验p（x）进行采样|y）使用单个可逆网络。我们评估我们的方法在一些标准的数据集和基准的密度估计和贝叶斯推断的一个新的数据集的二维形状的傅立叶参数化，这使得一致的可视化不同维度的样本的全部权力。
2021-05-25 cs.AI cs.LG stat.ML
Flexible Transformations for Bayesian Score Calibration
Queensland University of Technology（昆士兰科技大学）；Adelaide University（阿德莱德大学）；National University of Singapore（新加坡国立大学）
本文提出两种灵活变换（多项式扩展和顺序应用）用于贝叶斯评分校准，以修正复杂模型误差，并在模拟研究中展示其优于现有方法。
2026-09-09 stat.CO stat.ME
Improved Variational Bayesian Phylogenetic Inference with Normalizing Flows
变分贝叶斯系统发育推断（VBPI）提供了一个有前途的通用变分框架，有效地估计系统发育后验。然而，目前的对角对数正态分支长度近似将显着限制近似分布的质量。在本文中，我们提出了一种新型的VBPI，VBPI-NF，作为使用深度学习技术进行系统发育后验估计的第一步。通过使用精心设计的置换等变变换处理系统发育模型的非欧几里德分支长度空间，VBPI-NF使用规范化流来提供丰富的灵活分支长度分布家族，这些分支长度分布可以在不同的树拓扑中进行推广。我们表明，VBPI-NF显着改善香草VBPI的基准挑战真实数据贝叶斯系统发育推理问题。进一步的研究还表明，在这些置换等变变换中的结构化参数化可以提供额外的摊销收益。
2020-12-01 q-bio.PE stat.ML
Bayesian Point Set Registration
点集配准涉及识别两个点集中的对应点之间的平滑可逆变换，其中一个点集可能小于另一个点集，并且可能被观测噪声破坏。这个问题传统上被分解成两个单独的优化问题：（i）分配或对应，以及（ii）识别有序点集之间的最佳变换。在这项工作中，我们提出了一种同时解决这两个问题的方法。特别是，一个连贯的贝叶斯制定的问题的结果在一个边际后验分布的变换，这是探讨内的马尔可夫链蒙特卡罗计划。受原子探针层析成像（APT）的启发，在高熵合金（HEA）结构推断的背景下，我们重点研究了已知参考构型刚性变换的噪声稀疏观测的配准问题，最后在合成数据集上对我们的方法进行了测试。
2018-12-24 stat.AP
Coordinate Transformation and Polynomial Chaos for the Bayesian Inference of a Gaussian Process with Parametrized Prior Covariance Function
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；LIMSI-CNRS（法国国家科学研究中心 LIMSI 实验室）；Duke University（杜克大学）
本文提出了一种基于坐标变换和多项式混沌的高斯过程贝叶斯推断方法，用于在不确定的协方差函数超参数下进行模型降维和参数估计。
2015-10-08 cs.NA math.NA stat.CO
Perturbative adaptive importance sampling for Bayesian LOO cross-validation
NIH Clinical Center Rehabilitation Medicine Epidemiology and Biostatistics Section（NIH临床中心康复医学流行病学与生物统计学部门）；UCLA Department of Computational Medicine（UCLA计算医学系）；UCLA Department of Statistics（UCLA统计学系）；Data Science Research Center（数据科学研究中心）；Duke Kunshan University（杜克-昆山大学）；NIH NIDDK
本文提出扰动自适应重要性采样方法，通过变换实现高方差问题的解决，结合多种变换策略降低LOO交叉验证的重拟合需求。
2026-03-25 cs.AI cs.LG math.SP
