Analyzing and Storing Network Intrusion Detection Data using Bayesian Coresets: A Preliminary Study in Offline and Streaming Settings
University of Oslo(奥斯陆大学)
在本文中,我们提供了一个初步的研究应用贝叶斯核心集的网络安全数据。网络入侵检测是一个可以利用贝叶斯机器学习来建模不确定性和管理流数据的领域;然而,大规模的数据集往往阻碍了基于MCMC的贝叶斯学习方法的使用。限制有用数据的数量是网络流量分析等领域的核心问题,其中通过数据包收集可以非常快速地生成大量冗余数据。减少样本的数量不仅会使学习更可行,而且还有助于减少对记忆和存储的需求。我们在这里探索使用贝叶斯coresets,一种技术,减少数据样本的数量,同时保证学习一个准确的后验分布使用贝叶斯学习。我们分析了贝叶斯核心集如何影响学习模型的准确性,以及在静态场景和流场景中如何权衡时空要求。
2019-06-20 cs.CR cs.LG stat.ML
Scalable Bayesian modeling, monitoring and analysis of dynamic network flow data
网络中的流量计数数据出现在许多应用中,例如汽车或航空运输,某些定向社交网络上下文和互联网研究。使用的互联网浏览器流量通过一个国际新闻网站的网站部分的例子,我们提出了贝叶斯分析的两个链接类的模型,在串联,允许快速,可扩展和可解释的贝叶斯推断。我们首先为流式计数数据开发了灵活的状态空间模型,能够实时有效地自适应地表征和量化网络动态。然后,我们使用这些模型作为仿真器的更结构化的,随时间变化的重力模型,允许正式解剖网络动态。这会产生可解释的交通流特性的推断,并在网络节点之间的相互作用的动态。贝叶斯监测理论定义了一种策略,当网络流量数据偏离基于模型的预测时,进行顺序模型评估和自适应。探索性和连续的监测分析不断变化的流量在网络上的网站段在电子商务演示了这种耦合的贝叶斯仿真方法来分析流网络计数数据的效用。
2016-07-09 stat.ME
Generative Filtering for Recursive Bayesian Inference with Streaming Data
针对流式递归贝叶斯更新中滤波样本退化的问题,本文提出 Generative Filtering,以并行更新兼顾效率与非退化性,并给出收敛速率、充分统计量条件及模拟与生态数据验证。
2024-12-06 stat.CO
Dynamic trees for streaming and massive data contexts
大规模的数据收集在各种各样的环境中变得无处不在,从庞大的离线数据库到流实时信息。在这种情况下部署的学习算法必须依赖于单遍推理,其中数据历史永远不会被重新访问。在流式上下文中,学习还必须在时间上自适应,以针对数据生成机制中不可预见的变化保持最新。虽然快速增长,在线贝叶斯推断文献仍然面临着巨大的数据和瞬态,不断变化的数据流的挑战。非参数建模技术可能被证明特别不适合,因为模型的复杂性可以随着样本量的增加而增加。在这项工作中,我们采取措施来克服这些挑战,通过移植标准的流技术,如数据丢弃和降权,到一个完全贝叶斯框架,通过使用信息先验和主动学习算法。我们展示了我们的方法,通过增强现代非参数建模框架,动态树,并说明其性能的一些实际例子。最终产品是一个强大的流回归和分类工具,其性能与最先进的相比毫不逊色。
2012-01-26 stat.ME stat.ML
Streaming, Distributed Variational Inference for Bayesian Nonparametrics
LIDS(实验室信息与决策系统实验室);CSAIL, MIT(麻省理工学院计算机科学与人工智能实验室)
本文提出了一种方法来创建流,分布式推理算法的贝叶斯非参数(BNP)模型。在提出的框架中,处理节点接收一系列数据小批量,计算每个小批量的变分后验,并对中心模型进行异步流更新。与以前的算法相比,所提出的框架是真正的流,分布式,异步,学习率免费,和截断免费。开发框架的关键挑战是,BNP模型不会对其组件施加固有的排序,因此在执行每次更新之前,找到minibatch和中央BNP后验组件之间的对应关系。为了解决这个问题,本文提出了一个组合优化问题的组件对应,并提供了一个有效的解决方案。本文最后与DP混合模型的方法的应用,实验结果表明其实际的可扩展性和性能。
2015-10-30 cs.LG stat.ML
Streaming Bayesian Inference for Crowdsourced Classification
University of Southampton(南安普顿大学);Imperial College, London(伦敦帝国理工学院)
众包的一个关键挑战是从嘈杂和不可靠的数据中推断出真实情况。要做到这一点,现有的方法依赖于从人群中收集冗余信息,并使用某种概率方法对其进行聚合。然而,通常这样的方法是计算效率低,限于一些特定的设置,或缺乏理论保证。在本文中,我们重新审视了众包数据的二进制分类问题。具体来说,我们提出了流贝叶斯推理众包(SBIC),一种新的算法,不受任何这些限制。首先,SBIC具有低复杂度,并且可以用于实时在线设置。其次,SBIC在所有设置中具有与最佳最先进算法相同的精度。第三,SBIC在在线和离线设置下都具有可证明的渐近保证。
2019-11-13 cs.LG stat.ML
Streaming Bayesian inference: theoretical limits and mini-batch approximate message-passing
在统计学习的现实世界中的大规模数据问题,人们必须经常诉诸“流”算法,按顺序操作的小批量数据。在这项工作中,我们提出了一个小批量推理的信息论限制的背景下,广义线性模型和低秩矩阵分解的分析。在一个受控的贝叶斯最优设置中,我们将最优性能和相变描述为小批量大小的函数。我们的一部分结果的基础上详细分析的小批量版本的近似消息传递算法(Mini-AMP),我们介绍。此外,我们表明,这种理论上的最优结转到实际数据的问题,说明迷你AMP是有竞争力的标准流算法的集群。
2017-06-02 cond-mat.stat-mech cs.IT math.IT
Doubly Robust Bayesian Inference for Non-Stationary Streaming Data with $β$-Divergences
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学)
我们提出了第一个强大的贝叶斯在线变点检测算法,通过一般贝叶斯推断(GBI)与$β$ -分歧。由此产生的推理过程是双重强大的参数和变点(CP)后,线性时间和恒定的空间复杂度。我们提供了一个指数模型的构造,并在贝叶斯线性回归模型上进行了演示。在这样做时,我们做了两个额外的贡献:首先,我们使GBI可扩展的结构变分近似是精确的$β\to 0$。其次,我们给出了一个原则性的方法来选择的分歧参数$β$的期望预测损失最小的在线。将CP的错误发现率从超过90%降低到真实世界数据的0%,这提供了最先进的技术。
2018-11-27 cs.LG stat.ML
Fast Bayesian Record Linkage for Streaming Data Contexts
针对流数据场景下记录链接参数更新效率低的问题,将双文件贝叶斯Fellegi-Sunter模型推广至多文件场景,提出两种流式更新方法,以极少计算时间实现近乎等效的后验推断。
2023-10-30 stat.CO
Online Prediction For Streaming Observational Data
针对流式观测数据对应的$\textit{M}$-Open问题难以假设有效模型的挑战,本文综述了Shtarkov解法、高斯过程先验、Count-Min概要、共形预测等近期成功的预测方法,并从原则性视角比较其特性。
2025-07-28 stat.ME
The Population Posterior and Bayesian Inference on Streams
许多现代数据分析问题涉及从流数据的推断。然而,流数据不容易服从标准的概率建模方法,它假设我们的条件是有限的数据。我们开发人口变分贝叶斯,一种新的方法,使用贝叶斯建模来分析数据流。它近似于一种新型的分布,即人口后验分布,它将数据的总体分布的概念与概率模型中的贝叶斯推断相结合。我们研究了我们的方法与潜在的Dirichlet分配和Dirichlet过程的混合物在几个大规模的数据集。
2015-07-21 stat.ML
Making Recursive Bayesian Inference Accessible
贝叶斯模型自然地提供递归推理,因为它们可以正式地协调新数据和现有的科学信息。然而,贝叶斯方法的普遍使用通常避免了基于先前研究得出的精确后验分布的先验。两种现有的递归贝叶斯方法是:先验递归贝叶斯和建议递归贝叶斯。先验递归贝叶斯使用贝叶斯更新,拟合模型顺序地划分数据,并提供一种方法来适应新数据,因为它们可以使用前一阶段的后验作为基于最新数据的新阶段的先验。Proposal-Recursive Bayes旨在与分层贝叶斯模型一起使用,并在数据分区的第一阶段独立分析中使用一组瞬时先验。Proposal-Recursive Bayes的第二阶段使用第一阶段的后验作为MCMC算法中的建议来拟合完整模型。我们结合先验递归和建议递归概念来拟合任何贝叶斯模型,并且通常具有计算改进。我们证明了我们的方法与两个案例研究。我们的方法对大数据,流数据和最佳自适应设计情况有影响。
2019-04-26 stat.ME
A strategy to avoid particle depletion in recursive Bayesian inference
针对递归贝叶斯推理中滤波方法的粒子耗尽问题,提出基于前序样本经验分布平滑版生成提议的方法,保留计算优势且无粒子耗尽,经仿真和两类模型模拟数据验证有效。
2025-08-03 stat.CO stat.ME
Streaming PAC-Bayes Gaussian process regression with a performance guarantee for online decision making
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
高斯过程(GP)作为一种功能强大的贝叶斯非参数化算法,在贝叶斯优化和信号处理中发挥着重要作用。全科医生也有先进的在线决策系统,因为他们的后验分布有一个封闭的形式的解决方案。然而,它的训练和推理过程需要存储所有历史数据,并从头开始训练GP模型。出于这些原因,一些在线GP算法,如O-SGPR和O-SVGP,已专门设计用于流媒体设置。在本文中,我们提出了一个新的理论框架,在线GPS的基础上在线可能近似正确(PAC)贝叶斯理论。该框架提供了广义性能和良好的准确性的保证。我们的算法不是最小化边际似然,而是优化经验风险函数和正则化项,这与参数的先验分布和后验分布之间的分歧成比例。除了理论上的吸引力,该算法在几个回归数据集上的经验表现良好。与其他在线GP算法相比,我们产生了泛化保证和非常有竞争力的准确性。
2022-10-26 cs.AI cs.LG stat.ML
Parallel Streaming Wasserstein Barycenters
Massachusetts Institute of Technology(麻省理工学院)
有效地聚合来自不同来源的数据是一个具有挑战性的问题,特别是当来自每个来源的样本分布不同时。这些差异可能是推理任务所固有的,也可能是由于其他原因而存在的:传感器网络中的传感器可能被放置得很远,从而影响它们各自的测量结果。相反,在计算上将贝叶斯推理任务划分为数据子集是有利的,但是数据不需要在子集之间相同地分布。融合概率分布的一个原则性方法是通过最优传输的透镜:Wasserstein重心是一个单一的分布,它总结了一系列输入测量,同时尊重它们的几何形状。然而,计算重心的规模差,需要离散化的所有输入分布和重心本身。改进这种情况下,我们提出了一个可扩展的,通信效率高,并行算法计算任意分布的Wasserstein重心。我们的算法可以直接对连续输入分布进行操作,并针对流数据进行了优化。我们的方法甚至是强大的非平稳输入分布,并产生一个重心估计,跟踪随着时间的推移的输入措施。该算法是半离散的,只需要离散重心估计。据我们所知,我们还提供了第一界的质量近似重心的离散化变得更精细。最后,我们证明了我们的方法的实际有效性,无论是在跟踪移动的分布在一个球体上,以及在一个大规模的贝叶斯推理任务。
2017-11-14 cs.LG math.OC stat.CO
Sampling in Dirichlet Process Mixture Models for Clustering Streaming Data
Ben-Gurion University(本-古里安大学)
用于聚类流数据的实用工具必须足够快以处理观测的到达率。通常,它们还必须在运行中适应可能缺乏稳定性;即,由于各种形式的漂移、簇数量的变化等,数据统计可能是时间相关的。Dirichlet过程混合模型(DPMM),其贝叶斯非参数性质允许其使其复杂性适应于数据,似乎是流式数据情况的自然选择。然而,在其经典公式中,DPMM无法捕获数据统计中常见的漂移类型。此外,尽管存在这种限制,但现有的在线DPMM推理方法太慢,无法处理快速的数据流。在这项工作中,我们提出了适应DPMM和一个已知的DPMM采样为基础的非流推理方法流数据聚类。我们证明了所提出的方法在几个具有挑战性的设置上的实用性,在那里它获得了最先进的结果,同时在速度方面与其他方法不相上下。
2022-02-27 cs.LG stat.ML
Quasi-Bayesian sequential deconvolution
University of Torino(都灵大学);Collegio Carlo Alberto(卡罗阿尔贝托学院);Bocconi University(博科尼大学)
针对流式数据密度反卷积的计算瓶颈,提出基于牛顿递归算法的准贝叶斯非参数序列反卷积方法,兼具精度与计算优势,可扩展至大规模数据。
2026-08-10 stat.ME stat.ML
Streaming Probabilistic Deep Tensor Factorization
University of Utah(犹他大学);Kwai Inc.(快手)
尽管现有的张量因式分解方法取得了成功,但它们中的大多数进行多线性分解,很少利用强大的建模框架,如深度神经网络,来捕获数据中的各种复杂交互。更重要的是,对于高表达性的深度因子分解,我们缺乏有效的方法来处理流数据,这在现实世界的应用中无处不在。为了解决这些问题,我们提出了SPIDER,流ProbabilistIc深度tEnsoR分解方法。我们首先使用贝叶斯神经网络(NN)构建一个深度张量分解模型。我们在NN权重上分配了一个尖峰和厚板先验,以鼓励稀疏性并防止过拟合。然后,我们使用泰勒展开和矩匹配近似后验的NN输出和计算运行模型的证据,在此基础上,我们开发了一个有效的流式后验推理算法的假设密度过滤和期望传播的框架。我们的算法在接收新的张量条目时为潜在因子和NN权重的后验提供响应性增量更新,同时选择和抑制冗余/无用的权重。我们展示了我们的方法在四个实际应用中的优势。
2020-07-14 cs.LG stat.ML
Real-time semiparametric regression
我们开发了实时执行半参数回归分析的算法,数据在收集时进行处理,并通过现代电信技术立即提供。我们的半参数回归的定义是相当广泛的,包括,作为特殊情况下,广义线性混合模型,广义可加模型,地质统计模型,小波非参数回归模型及其各种组合。快速更新回归拟合是通过将半参数回归耦合到贝叶斯分层模型或等价的图形模型框架中并采用在线平均场变分思想来实现的。本文所附的一个网站realtime-semiparametric-regression.net说明了不断获得股票市场、房地产和航空公司数据的方法。基于日益普遍的流数据源的灵活实时分析将受益匪浅。
2013-02-06 stat.ME
Hierarchical Modeling and Shrinkage for User Session Length Prediction in Media Streaming
Massachusetts Institute of Technology(麻省理工学院);Pandora Media, Inc.(潘多拉媒体公司);Stanford(斯坦福大学)
在线流媒体服务内的用户满意度和参与度的重要度量是用户会话长度,即,他们连续不中断地花费在服务上的时间量。能够预测此值直接有益于音乐和视频流媒体服务中的推荐和广告节奏上下文。最近的研究表明,由于用户可以结束会话的许多外部因素以及缺乏预测协变量,预测所花费的确切时间是非常重要的。大多数关于基于持续时间的用户参与度的其他相关文献都集中在网站的停留时间,搜索和显示广告,主要用于点击后满意度预测或广告排名。在这项工作中,我们提出了一个新的框架的启发,层次贝叶斯建模预测,在登录的那一刻,用户将花费在流媒体服务的时间量。用户在平台上花费的时间取决于通过分层收缩学习的用户特定的潜在变量。我们的框架享有理论保证,并自然地结合了灵活的参数/非参数模型的协变量,包括模型鲁棒离群值。我们的建议被发现在现实世界的公共和私人数据集的效率和预测性能方面优于最先进的估计。
2018-06-22 cs.LG stat.ML
Low-rank extended Kalman filtering for online learning of neural networks from streaming data
U. Chicago(芝加哥大学);Queen Mary Univ.(玛丽女王大学);U. Colorado, Boulder(科罗拉多大学博尔德分校);Google DeepMind(谷歌DeepMind)
提出基于EKF的低秩加对角分解在线贝叶斯推理算法,实现线性计算成本与无需步长调整的确定性学习,在适应分布变化和累积奖励上表现更优。
2023-06-28 cs.LG stat.ML
Online and Distributed learning of Gaussian mixture models by Bayesian Moment Matching
David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学大卫·R·切里顿计算机科学学院)
高斯混合模型是聚类和数据建模的经典技术,在许多应用中使用。随着大数据的兴起,需要能够处理流数据并将计算分布在多个处理器上的参数估计技术。虽然存在期望最大化(EM)算法的在线变体,但它们的数据效率因E步的随机近似而降低,并且不清楚如何将计算分布在多个处理器上。我们提出了一种贝叶斯学习技术,自然适合在线和分布式计算。由于贝叶斯后验是不听话的,我们将其投影到一个家庭听话的分布后,每个观察匹配一组足够的时刻。在一组数据建模基准上,这种贝叶斯矩匹配技术在时间和精度方面优于在线EM。
2016-09-19 cs.AI cs.LG stat.ML
Dynamic transformation of prior knowledge into Bayesian models for data streams
Hanoi University of Science and Technology(河内科技大学);Institute for Chemical Research, Kyoto University(京都大学化学研究所)
我们考虑如何有效地使用先验知识时,学习贝叶斯模型从流媒体环境中的数据来无限和顺序。这个问题在数据爆炸和丰富的外部知识来源(如预训练模型,本体,维基百科等)的时代非常重要。然后,我们提出了一个新的框架,使不同形式的先验知识纳入一个基础贝叶斯模型的数据流。我们的框架包含了一些现有的流行模型的时间序列/动态数据。大量的实验表明,我们的框架优于现有的方法有很大的利润。特别是,我们的框架可以帮助贝叶斯模型在极短的文本上很好地泛化,而其他方法则过拟合。我们的框架的实现可以在https://github.com/bachtranxuan/TPS.git上获得。
2021-12-26 cs.LG stat.ML
TRACE: Retrospective Streaming Generation of Physical Fields under Sparse Structured Sensing
Zhejiang University(浙江大学)
本文提出TRACE框架,针对结构化感知下的物理场重构问题,通过近似贝叶斯推理、卡尔曼滤波与回溯式平滑提升重构质量,在多类物理场实验中表现优于或匹配基线方法。
2026-08-28 cs.LG stat.ML
Bayesian Structure Adaptation for Continual Learning
Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校)
持续学习是一种学习范式,其中学习系统通过顺序或流式任务进行训练。在神经网络持续学习的最新进展中,有两个值得注意的方向是($i$)通过学习先前任务的先验知识进行基于变分贝叶斯的正则化,以及($ii$)学习深度网络的结构以适应新任务。到目前为止,这两种方法是正交的。我们提出了一种基于学习深度神经网络结构的持续学习贝叶斯方法,解决了这两种方法的缺点。该模型通过学习要使用的权重来学习每个任务的深层结构,并通过不同任务学习的不同稀疏权重子集的重叠来支持任务间的转移。在有监督和无监督基准测试上的实验结果表明,我们的模型在持续学习环境中的性能优于或优于最近的进展。
2020-02-21 cs.LG stat.ML
Deep Bayesian Unsupervised Lifelong Learning
Northeastern University(东北大学)
终身学习(LL)指的是不断学习和解决新问题的能力,随着时间的推移,随着可用信息的增加,同时保留以前的知识。最近,人们对带有标签数据流的监督式终身学习(SLL)给予了很大的关注。相比之下,我们专注于解决无监督终身学习(Unsupervised Lifelong Learning,简称EML)中的挑战,当数据分布和未知类标签随着时间的推移而演变时,使用未标记的数据流。贝叶斯框架很自然地结合了过去的知识,并用新的数据顺序地更新信念。我们开发了一个完整的贝叶斯推理框架,用于使用一种新型的端到端深度贝叶斯无监督终身学习(DBSTO)算法,该算法可以在学习潜在表示的同时逐步发现新的聚类,而不会忘记过去的未标记数据。为了有效地维护过去的知识,我们开发了一种新的知识保存机制,通过充分的统计数据的潜在表示的原始数据。为了检测潜在的新集群的飞行,我们开发了一个自动集群发现和冗余删除策略,在我们的推理启发非参数贝叶斯统计技术。我们在LL和批处理设置中使用图像和文本语料库基准数据集证明了我们方法的有效性。
2021-06-13 cs.LG stat.ML
Online Bayesian Model Averaging with Joint Uncertainty Quantification for Models and Regression Coefficients in Binary Regression
The University of Iowa(爱荷华大学)
针对流式二元响应数据,提出基于可再生估计的在线贝叶斯模型平均方法,在降低计算成本的同时近似离线推断,并量化模型与系数的不确定性,支持自适应问题分配。
2026-09-21 stat.AP stat.CO stat.ME
Experimenting, Fast and Slow: Bayesian Optimization of Long-term Outcomes with Online Experiments
Meta
针对在线A/B测试中长期实验耗时过长的问题,提出结合快速实验或离线代理与慢速实验的方法,在短时间内对大型动作空间执行顺序贝叶斯优化。
2025-06-30 cs.LG stat.ML
Process-based Inference for Spatial Energetics Using Bayesian Predictive Stacking
本文提出结合共轭贝叶斯时空过程模型与预测堆叠的框架,用于GPS可穿戴设备的空间能量学数据,实现无需MCMC的精确推断与不确定性量化。
2024-09-10 stat.AP stat.CO stat.ME
Online Bayesian Node Classification on Inductive Graphs under Distribution Shift
University of Georgia(佐治亚大学);University of Rochester(罗切斯特大学)
针对演化图分布偏移下的节点分类,提出在线变分贝叶斯最后一层(GVBLL)方法,联合训练编码器与近似后验,测试时在线更新,在五个基准上均取得最佳准确率与负对数似然。
2026-09-15 cs.LG stat.ME stat.ML
Deep Bayesian Multi-Target Learning for Recommender Systems
Alibaba Group(阿里巴巴集团)
随着电子商务平台提供的服务种类越来越多,评估其成功的标准也越来越多。这项工作介绍了一个多目标优化框架与贝叶斯建模的目标事件,称为深度贝叶斯多目标学习(DBMTL)。在该框架中,目标事件被建模为形成贝叶斯网络,其中有向链接由隐藏层参数化,并从训练样本中学习。贝叶斯网络的结构由模型选择决定。我们将该框架应用到淘宝直播推荐中,对点击率、用户在直播间停留时间、购买行为和互动等目标进行同步优化(并取得平衡)。与其他MTL框架和非MTL模型相比,所提出的方法有了显着的改进。我们的实践表明,通过集成的因果关系结构,我们可以有效地使目标的学习受益于其他目标,创造显著的协同效应,提高所有目标。DBMTL引导的神经网络构造符合特征与多目标连接的一般概率模型,比本文讨论的其他方法具有更弱的假设。这种理论上的普遍性带来了各种目标分布,包括稀疏目标和连续值的实际推广能力。
2019-02-25 cs.IR cs.LG stat.ML
MIST: Reliable Streaming Decision Trees for Online Class-Incremental Learning via McDiarmid Bound
Faculty of Information and Technology University of Science Vietnam National University Ho Chi Minh City(信息科技学院科学大学越南国家大学胡志明市);Department of Computer Science University of Warwick(计算机科学系沃里克大学)
本文提出MIST方法,通过三个集成组件解决流决策树在在线类增量学习中的可靠性问题,包括McDiarmid置信半径、贝叶斯继承协议和KLL量化图,以提升在非高斯几何中的鲁棒性。
2026-05-18 cs.LG math.ST stat.TH
Active recursive Bayesian inference using Rényi information measures
Northeastern University(东北大学);University of Pittsburgh(匹兹堡大学)
递归贝叶斯推理(RBI)提供了最佳的贝叶斯潜在变量估计在实时设置与流噪声观测。主动RBI试图有效地选择查询,导致更多信息的观察,以快速减少不确定性,直到做出自信的决定。然而,通常推理和查询机制的最优性目标不是联合选择的。此外,传统的主动查询方法由于误导性的先验信息而错开。受信息论方法的启发,我们提出了一个主动RBI框架,通过Renyi熵和$α$ -发散统一的推理和查询选择步骤。我们还提出了一个新的目标的基础上Renyi熵和它的变化称为动量,鼓励探索误导以前的情况。所提出的主动RBI框架被应用于概率单纯形中的后验变化的轨迹,该概率单纯形提供了具有指定置信度的协调主动查询和决策。在一定的假设下,我们分析表明,所提出的方法优于传统的方法,如互信息,允许选择不太可能的事件。我们目前的经验和实验性能评估的两个应用程序:餐厅推荐和脑机接口(BCI)打字系统。
2021-03-10 cs.IT cs.LG eess.SP
PASS-GLM: polynomial approximate sufficient statistics for scalable Bayesian GLM inference
广义线性模型(GLM)--如逻辑斯谛回归、泊松回归和鲁棒回归--为不同的数据类型提供了可解释的模型。概率方法,特别是贝叶斯方法,允许对不确定性进行一致的估计,纳入先验信息,并通过分层模型在实验中共享功率。然而,在实践中,推理所需的近似贝叶斯方法要么无法扩展到大数据集,要么无法提供推理质量的理论保证。本文提出了一种基于构造多项式近似充分统计量的广义线性模型(PASS-GLM)。我们证明,我们的方法承认一个简单的算法,以及平凡的流和分布式扩展,不跨计算复合错误。我们提供理论保证点(MAP)估计,近似后验,后验均值和不确定性估计的质量。我们在使用二次近似的逻辑斯谛回归的情况下经验地验证了我们的方法,并在速度和多个准确性指标方面显示了与随机梯度下降,MCMC和拉普拉斯近似的竞争性能-包括具有4000万数据点和20,000协变量的广告数据集。
2018-12-17 stat.CO stat.ML
Coresets for Scalable Bayesian Logistic Regression
贝叶斯方法在大规模数据环境中的使用是有吸引力的,因为它们提供了丰富的层次模型,不确定性量化和先验规范。然而,标准的贝叶斯推断算法在计算上是昂贵的,使得它们直接应用于大型数据集是困难的或不可行的。最近的工作缩放贝叶斯推断的重点是修改底层算法,例如,在每次迭代中只使用一个随机的数据子样本。我们利用数据通常是冗余的这一观点,来获得比原始数据集小得多的数据的加权子集(称为核心集)。然后,我们可以在任何数量的现有后验推理算法中使用这个小的核心集而无需修改。在本文中,我们开发了一个有效的贝叶斯逻辑斯谛回归模型的核心构造算法。我们提供了理论上的保证的大小和近似质量的coreset -无论是固定的,已知的数据集,并在预期的广泛的一类数据生成模型。至关重要的是,所提出的方法还允许在流式和并行设置中高效地构建核心集,而只需最小的额外努力。我们证明了我们的方法在一些合成和真实世界的数据集上的有效性,并发现,在实践中,coreset的大小是独立的原始数据集的大小。此外,与在其上运行MCMC所需的时间相比,构建coreset所需的时间可以忽略不计。
2017-02-06 cs.DS stat.CO stat.ML
Quasi-Bayes properties of a recursive procedure for mixtures
Bocconi University(博科尼大学)
本文提出了一种递归过程在非参数混合模型中的近似贝叶斯性质方法,通过重新解释为预测规则,展示了其渐近贝叶斯特性,并提供了后验分布和可信区间。
2026-02-17 math.ST stat.ME stat.TH
Online Low-Rank Subspace Learning from Incomplete Data: A Bayesian View
在过去的几十年里,提取高维信号经常驻留的底层低维空间一直是信号处理和机器学习文献中众多算法的中心。与此同时,由于各种原因,使用不完整(部分观察到的)大规模数据集最近已经司空见惯。这个所谓的{ \it大数据时代},我们目前生活的要求设计在线子空间学习算法,可以适当地处理不完整的数据。他们设想的目标是{ \it递归地}通过顺序地处理流数据来估计未知子空间,从而降低计算复杂度,同时避免将整个数据集存储在存储器中的需要。本文提出了一种基于部分观测值的在线变分贝叶斯子空间学习算法。考虑到子空间的真实秩的未知性,通常在实践中遇到,低秩是明确施加在所寻求的子空间数据矩阵,通过利用稀疏贝叶斯学习原理。此外,稀疏性,{ \it同时}低秩,有利于子空间矩阵的复杂的层次贝叶斯方案,采用。在这样做时,所提出的算法变得善于处理应用,由此底层子空间也可以是稀疏的,例如,稀疏字典学习问题。如图所示,在对模拟和真实数据进行的各种实验中,新的子空间跟踪方案在估计精度方面优于其最先进的同行。
2016-02-12 stat.ML
Online Bayesian Calibration under Gradual and Abrupt System Changes
Department of Industrial and Systems Engineering(工业与系统工程系);University of Washington(华盛顿大学);Seattle, WA 98195(华盛顿州西雅图98195)
本文提出BRPC框架,用于处理流数据中的系统渐进变化和突发变化,通过分离校准参数更新和偏差更新,提升校准精度和鲁棒性。
2026-11-03 cs.ET cs.LG stat.ML
AMIDST: a Java Toolbox for Scalable Probabilistic Machine Learning
Aalborg University(奥尔堡大学);University of Almería(阿尔梅里亚大学);HUGIN EXPERT A/S
AMIDST是一款用于可扩展概率机器学习的软件,特别关注(海量)流数据。该工具箱支持一种灵活的建模语言,该语言基于具有潜在变量和时间依赖性的概率图形模型。指定的模型可以从大型数据集学习,使用并行或分布式实现的贝叶斯学习算法的流或批处理数据。这些算法是基于一个灵活的变分消息传递计划,它支持离散和连续变量从广泛的概率分布。AMIDST还通过与Flink、Spark、MOA、Weka、R和HUGIN等软件工具的接口来利用现有的功能和算法。AMIDST是一个用Java编写的开源工具箱,可以在Apache软件许可证2.0版下在http://www.amidsttoolbox.com上获得。
2017-04-04 cs.LG stat.ML
Kernel Operator-Theoretic Bayesian Filter for Nonlinear Dynamical Systems
University of Florida(佛罗里达大学)
本研究结合RKHS理论与贝叶斯滤波,提出核算子理论贝叶斯滤波方法,将非线性动力学提升至希尔伯特空间用线性方法求解,可自适应追踪系统变化,小维度下即可实现高精度,性能优于有限维Koopman分解。
2024-10-31 cs.LG eess.SP stat.ML
Distributed and recursive Bayesian inference for Big Data and complex spatio-temporal models
Swiss Ornithological Institute(瑞士鸟类研究所);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
针对计量经济学等领域数据带来的挑战,引入基于INLA方法、用R-INLA软件实现的分布式递归推理贝叶斯框架,通过分区降低计算复杂度,经案例研究验证其有效性,为现代贝叶斯推理提供实用工具。
2026-07-28 stat.ME
BOCO: Bayesian Online Contextual Optimization for Decision-Focused Online Learning
Laboratoire Génie Industriel, CentraleSupélec, Université Paris-Saclay(工业工程实验室,中央苏佩莱克学院,巴黎萨克雷大学)
本文提出首个基于PAC-Bayes理论的贝叶斯在线上下文优化框架,通过吉布斯后验实现有界损失下的 $\mathcal{O}(\sqrt{T})$ 坏境,并利用顺序马尔可夫链采样器处理不可微问题。
2026-09-24 math.OC stat.ML
Efficient Multiple Incremental Computation for Kernel Ridge Regression with Bayesian Uncertainty Modeling
Monash University(莫纳什大学);Chungang University(中央大学)
这项研究提出了一种基于核岭回归(KRR)的大数据流的有效增量/减量方法,KRR是云中心常用的数据分析方法。为了避免在传感器接收到新的训练数据时重新分析整个数据集,典型的增量KRR使用单实例机制来更新现有系统。然而,这不可避免地增加了冗余的计算时间,更不用说对大数据流的适用性。为此,所提出的机制支持针对单个和多个样本的增量/减量处理(即,批处理)。大规模的数据可以分成批次,由机器处理,而不会牺牲准确性。此外,在本研究中还提出了经验和内在空间的增量/减量分析,以处理不同类型的数据,无论是大量的样本或高特征维度,而典型的方法只集中在一种类型。在这项研究的最后,我们进一步提出的机制,统计核贝叶斯回归,使不确定性建模与增量/减量计算变得适用。实验结果表明,该方法的计算时间明显缩短,优于原有的非增量设计和典型的单增量方法。此外,拟议方法的准确性与基线相同。这意味着该系统在不牺牲精度的情况下提高了效率。这些结果证明了所提出的方法适用于可变流数据分析,从而证明了所提出的方法的有效性。
2017-11-09 cs.LG stat.ML
BayesJudge: Uncertainty-Aware Bayesian Meta-Evaluation of Human and LLM Judgments
South China Normal University(华南师范大学);University of Southern California(南加州大学);Fudan University(复旦大学);East China Normal University(华东师范大学)
BayesJudge是面向人类与LLM判断的不确定性感知贝叶斯元评估方法,可分离响应质量与呈现效应,在SummEval数据集上成功检测LLM的顺序偏差并推断评分者行为特征。
2026-11-10 stat.AP
Bayesian-based Online Label Shift Estimation with Dynamic Dirichlet Priors
Department of Electrical and Electronic Engineering, Imperial College London(帝国理工学院伦敦分校电子与电气工程系)
本文提出FMAPLS和online-FMAPLS方法,通过动态优化Dirichlet超参数和类别先验,有效解决标签偏移问题,提升分类性能。
2025-11-23 cs.LG stat.ML
Doubly Outlier-Robust Online Infinite Hidden Markov Model
Oxford-Man Institute of Quantitative Finance(牛津量化金融研究所);Mathematical Institute, University of Oxford(牛津大学数学研究所)
本文提出BR-iHMM,通过引入两个可调参数平衡适应性与鲁棒性,在限价订单数据、小时电力需求和高维线性系统中,将一阶预测误差降低67%,并提供有界后验影响函数的理论保证。
2026-05-12 cs.LG stat.ML
An Online Algorithm for Bayesian Variable Selection in Logistic Regression Models With Streaming Data
针对流式数据下逻辑回归的贝叶斯变量选择,提出允许模型空间随新批次数据动态更新的在线算法,优于现有方法。
2025-01-19 stat.CO stat.ME
BayOTIDE: Bayesian Online Multivariate Time series Imputation with functional decomposition
University of Utah(犹他大学);DAMO Academy, Alibaba Group(阿里巴巴达摩院);Carnegie Mellon University(卡内基梅隆大学)
针对多元时间序列插补中局部建模、不规则采样和离线学习的局限性,提出BayOTIDE框架,利用高斯过程与随机微分方程进行函数分解,实现可扩展的在线推理,支持任意时间戳插补并提供不确定性量化。
2024-05-30 cs.LG stat.ML
Dirichlet process mixture models for non-stationary data streams
Basque Center for Applied Mathematics(巴斯克应用数学中心)
近年来,我们已经看到了一些关于非平稳数据流上的推理算法的工作。鉴于其灵活性,贝叶斯非参数模型是这些情景的良好候选者。然而,在概念漂移现象下的可靠流推理仍然是这些模型的一个开放问题。在这项工作中,我们提出了一个变分推断算法的Dirichlet过程混合模型。我们的建议处理的概念漂移,包括指数遗忘在先前的全局参数。我们的算法允许自动适应学习模型的概念漂移。我们在合成和真实数据中进行了实验,表明该模型在密度估计问题上与最先进的算法具有竞争力,并且在聚类问题上优于它们。
2022-10-13 cs.LG stat.ML
Supervised Negative Binomial Classifier for Probabilistic Record Linkage
MCG Mysore(迈索尔MCG)
出于跨各种数据库的链接记录的需要,我们提出了一种新的基于图形模型的分类器,它使用的混合泊松分布与潜变量。这个想法是通过使用贝叶斯建模技术推断其潜在的潜在错误率来深入了解匹配的每对假设记录。使用伽马先验来学习潜变量以及监督标签的新方法是独特的,并且允许主动学习。天真的假设是故意的独立性的领域提出了一个广义的理论,这类问题,而不是破坏层次的依赖关系,可能存在于不同的情况下。该分类器能够处理稀疏数据和流数据。记录链接的应用能够满足稀疏性、数据流和数据集的变化性质的几个挑战。
2019-08-11 cs.DB cs.LG stat.ML
Small-Variance Nonparametric Clustering on the Hypersphere
Massachusetts Institute of Technology(麻省理工学院)
人造环境中的结构变形反映在其表面法线的分布上。描述这些表面正态分布在许多计算机视觉应用中是重要的,例如场景理解、平面分割和3D重建的正则化。基于贝叶斯非参数von-Mises-Fisher(vMF)混合分布的小方差极限,提出了两种新的面向曲面法线等方向数据的灵活高效的类k-means聚类算法.第一,DP-vMF-means,是一个批量聚类算法来自狄利克雷过程(DP)vMF混合。认识到在许多应用程序中的顺序性质的数据汇集,我们将此算法扩展到DDP-vMF-means,推断时间上不断演变的集群结构从流数据。这两种算法自然尊重方向数据的几何形状,它位于单位球面上。我们展示了他们的性能合成方向数据和真正的3D表面法线从RGB-D传感器。虽然我们的实验集中在3D数据,这两种算法推广到高维方向数据,如蛋白质骨架配置和语义词向量。
2016-07-21 cs.CV math.ST stat.AP
SafeRNet: Safe Transportation Routing in the era of Internet of Vehicles and Mobile Crowd Sensing
Troy University(特洛伊大学);Lakehead University(湖首大学)
世界范围内的道路交通死亡率和事故率都很高,即使在美国这样的技术先进国家也是如此。尽管智能交通系统取得了进展,但安全的交通路线,即,寻找最安全的路线在很大程度上是一个被忽视的范例。近年来,人、车联网和物联网(IoT)产生了大量的交通数据。此外,由于云计算的进步和移动通信技术的扩散,现在可以对大量生成的数据(众包)执行分析并将结果实时的传递回用户。本文提出了一个安全路由计算框架SafeRNet,该框架利用这些技术分析流媒体流量数据和历史数据,有效地推断出安全路由,并将其实时的反馈给用户。SafeRNet利用贝叶斯网络建立安全路由模型。此外,一个案例研究表明,我们的方法使用真实的交通数据的有效性。SafeRNet旨在提高现代技术丰富的交通系统中驾驶员的安全性。
2018-05-03 cs.LG stat.ML
Online Distributional Prediction via Latent Cluster Geometry Under Drift and Corruption
Indian Institute of Technology, Bombay(印度理工学院,孟买)
针对非平稳流中的在线分布预测问题,提出一种基于潜在簇几何的吉布斯准后验方法,通过可逆跳跃MCMC采样变维后验,并引入重启变体应对漂移,在亚线性腐败预算和运输代价下实现亚线性Wasserstein遗憾。
2026-10-26 cs.LG stat.ML
Leveraging viscous Hamilton-Jacobi PDEs for uncertainty quantification in scientific machine learning
Brown University(布朗大学);Naval Air Warfare Center Weapons Division(海军空战中心武器分部);Pacific Northwest National Laboratory(太平洋西北国家实验室)
该研究建立了SciML中贝叶斯推理问题与粘性HJ PDE的理论联系,提出基于Riccati的UQ方法,可高效更新模型且无需重训旧数据,适用于实时推理和动态学习场景。
2024-04-12 cs.LG stat.ML