RouteRec: Behavior-Guided Sparse Routing for Sequential Recommendation
Korea Advanced Institute of Science and Technology(韩国科学技术院);Seoul National University(首尔大学)
RouteRec利用会话行为线索(交互节奏、物品组聚焦、重复与延续、流行度倾向)作为路由标准,在宏观、中观和微观范围指导专家分配,在六个数据集上平均排名1.61,优于基线4.11。
2026-10-01 cs.IR cs.LG
SeqRoute: Global Budget-Aware Sequential LLM Routing via Offline Reinforcement Learning
Department of Operations Research and Industrial Engineering(运筹学与工业工程系)
提出SeqRoute框架,将多轮LLM路由建模为有限时域马尔可夫决策过程,通过离线强化学习(CQL)和事后预算重标记(HBR)学习延迟满足,在全局预算约束下优化成本与质量,降低破产率至1%以下。
2026-05-25 cs.AI cs.LG
Guiding the Sequential Experiments in Autonomous Experimentation Platforms through EI-based Bayesian Optimization and Bayesian Model Averaging
West Virginia University(西弗吉尼亚大学)
自主实验平台(AEP)是先进的制造平台,在智能控制下,可以顺序搜索材料设计空间(MDS)并识别具有所需特性的参数。这些AEP的智能控制的核心是指导顺序实验的策略,即选择进行下一个实验的位置。在这种情况下,必须实现开采和勘探之间的平衡。贝叶斯优化(BO)框架与预期的改善为基础的(EI为基础的)采集功能可以有效地搜索MDS和指导在哪里进行下一个实验,使潜在的关系,可以确定与较少的实验数量。传统的BO框架试图通过依赖于单个模型以顺序的方式优化黑盒目标函数。然而,这种单一模型方法并不考虑模型的不确定性。贝叶斯模型平均(BMA)通过使用多个模型来解决这个问题,从而考虑模型中的不确定性。在这项工作中,我们首先将传统的BO算法与最流行的基于EI的实验策略应用于钢的真实疲劳数据集,以预测钢的疲劳强度。之后,我们通过使用一组预测模型将BMA应用于同一数据集,并将BMA的性能与传统的BO算法进行比较,后者依赖于单个模型进行近似。我们比较结果的RMSE和发现,BMA的表现优于基于EI的BO在预测任务中,通过考虑模型的不确定性在其框架。
2023-02-26 cs.LG
Accelerated Sequential Flow Matching: A Bayesian Filtering Perspective
Georgia Institute of Technology(佐治亚理工学院)
本文提出基于贝叶斯过滤的序列贝叶斯流匹配框架,通过学习概率流在时间步间传输后验分布,实现高效采样,提升实时流处理中的推断效率。
2026-05-13 cs.LG
Equity-Transformer: Solving NP-hard Min-Max Routing Problems as Sequential Generation with Equity Context
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出Equity-Transformer,采用顺序规划与公平性归纳偏置解决大规模极小极大路由问题,在mTSP和mPDP上显著优于LKH3,运行时间减少约335倍,成本降低约53%。
2024-02-05 cs.LG math.OC stat.ML
SAE: Sequential Anchored Ensembles
University of Liège(列日大学)
由于神经网络参数空间的高维性,计算其贝叶斯后验是一项具有挑战性的任务。锚定集成通过在锚定损失上训练神经网络的集成来近似后验,所述锚定损失被设计用于最优值以遵循贝叶斯后验。然而,训练集合随着其成员数量的增长而变得计算上昂贵,因为对每个成员重复完整的训练过程。在本说明中,我们提出了顺序锚定集成(SAE),一个轻量级的替代锚定集成。不是从头开始训练集合中的每个成员,而是按顺序对具有高自相关性采样的损失进行训练,从而实现神经网络的快速收敛和贝叶斯后验的有效逼近。对于给定的计算预算,SAE在一些基准测试中的表现优于锚定集合,同时在其他基准测试中表现出相当的性能,并在NeurIPS 2021贝叶斯深度学习竞赛中的近似推理的轻型和扩展赛道中获得第二名和第三名。
2022-10-13 cs.LG
On Sequential Bayesian Inference for Continual Learning
University of Oxford(牛津大学);SRI International(SRI国际)
本文研究序贯贝叶斯推断能否防止神经网络灾难性遗忘,通过 HMC 与密度估计实验及解析分析揭示模型误设和数据不平衡问题,并提出具有竞争力的 Prototypical Bayesian Continual Learning 基线。
2025-01-07 cs.AI cs.LG
BayeSQP: Bayesian Optimization through Sequential Quadratic Programming
Institute for Data Science in Mechanical Engineering(机械工程中的数据科学研究所);RWTH Aachen University(亚琛工业大学)
BayeSQP通过结合序列二次规划与贝叶斯优化,提供了一个灵活的框架,用于高维黑箱优化问题,优于现有方法。
2026-02-03 cs.LG
Sequential Update of Bayesian Network Structure
University of California(加利福尼亚大学);SRI International(斯坦福国际研究院)
当观察到新数据时,显然需要改进贝叶斯网络的性能和准确性。由于模型构建的错误和领域动态的变化,我们不能忽视新数据中的信息。虽然可以使用标准技术来完成固定结构的参数的顺序更新,但是网络结构的顺序更新仍然是一个开放的问题。本文研究了贝叶斯网络在参数和结构都有变化时的序贯更新问题。我们引入了一种新的方法,允许灵活地操纵学习网络的质量和维护有关过去观测的信息量之间的权衡。我们正式描述我们的方法,包括必要的修改,学习贝叶斯网络的评分功能,通过实证研究评估其有效性,并将其扩展到缺失数据的情况下。
2013-02-06 cs.AI cs.LG
Climbing the Design Ladder: Sequential Knowledge Distillation for Early-Stage Circuit Timing Prediction
McGill University(麦吉尔大学)
提出STEP-KD方法,利用中间设计阶段作为垫脚石进行序列知识蒸馏,从后期阶段向早期综合后模型转移时序知识,显著降低时序预测误差,提前识别时序问题。
2026-10-07 cs.AR cs.LG
Bayesian optimization using sequential Monte Carlo
SUPELEC(巴黎高等电力学院)
我们认为,使用贝叶斯方法,其中$f$的评价是通过结合有关$f$,这是由一个随机过程模型,和过去的评价结果的先验信息顺序选择的实值连续函数$f$的优化问题。这种方法的主要困难是能够计算用于选择评估点的感兴趣的量的后验分布。在本文中,我们决定使用顺序蒙特卡罗(SMC)方法。
2011-11-21 cs.LG math.OC stat.CO
Routing-Based Continual Learning for Multimodal Large Language Models
本文提出一种基于路由的持续学习方法,用于多模态大语言模型,有效缓解灾难性遗忘并提升跨模态迁移性能,同时保持训练效率。
2026-04-06 cs.AI cs.LG
Sequential Cooperative Bayesian Inference
Rutgers University(罗格斯大学)
在向其他代理人学习时,合作往往是隐含的假设。合作意味着选择数据的主体和从数据中学习的主体具有相同的目标,即学习者推断预期的假设。人类和机器学习的最新模型已经证明了合作的可能性。我们通过序列数据寻求贝叶斯代理合作推理的基础理论结果。我们开发了新的方法分析的一致性,收敛速度和稳定性的顺序合作贝叶斯推理(SCBI)。我们的有效性,样本效率和鲁棒性的分析表明,合作不仅是可能的,在特定的情况下,但在理论上是有根据的一般。我们讨论了人与人和人机合作的影响。
2020-07-01 cs.LG cs.MA stat.ML
LDPC codes: tracking non-stationary channel noise using sequential variational Bayesian estimates
Stellenbosch University(斯泰伦博斯大学)
本研究提出一种基于概率图模型的序贯贝叶斯学习方法,通过LTRIP算法构建LDPC码的簇图并扩展全局Gamma簇,实现非平稳信道噪声跟踪,在5G路测数据上表现优于固定平均噪声的LDPC码。
2023-10-02 cs.LG eess.SP
Sequential Bayesian experimental designs via reinforcement learning
Systems Innovation, Faculty of Engineering, The University of Tokyo(东京大学工学部系统创新)
贝叶斯实验设计(Bayesian Experimental Design,BED)是一种基于贝叶斯推理进行有效实验的方法。然而,现有的方法,大多集中在最大化的预期信息增益(EIG),实验成本和样本效率往往没有考虑。为了解决这一问题,提高BED的实用性,本文提出了一种新的基于强化学习的序贯实验设计方法,通过应用强化学习,以序贯的方式构建BED。在这里,强化学习是机器学习的一个分支,其中代理通过与环境交互来学习策略以最大化其奖励。与环境交互的特点类似于序贯实验,强化学习确实是一种擅长序贯决策的方法。通过提出一个新的面向现实世界的实验环境,我们的方法旨在最大化EIG,同时考虑实验成本和样本效率。我们进行了三个不同的例子的数值实验。实验结果表明,该方法在EIG和采样效率等多个指标上均优于现有方法,表明该方法和实验环境能够为BED在现实世界中的应用做出重要贡献.
2022-02-14 cs.LG stat.ME
Sequential edge detection using joint hierarchical Bayesian learning
Dartmouth College(达特茅斯学院);Old Dominion University(欧道明大学)
本文介绍了一种新的稀疏贝叶斯学习(SBL)算法,联合恢复的时间序列的边缘地图从噪声和欠采样的傅立叶数据。新方法是投在贝叶斯框架,并使用一个先验,同时结合图像内的信息,以促进稀疏在每个单独的边缘图与图像间的信息,以促进任何不变的区域的相似性。通过将边缘以及相邻图像之间的相似性都视为随机变量,不需要单独形成变化区域。因此,我们既避免了额外的计算成本,以及任何信息损失所造成的预处理的图像。我们的数值例子表明,我们的新方法相比,更标准的SBL方法。
2023-02-28 cs.LG stat.AP
Variational Combinatorial Sequential Monte Carlo Methods for Bayesian Phylogenetic Inference
Columbia University(哥伦比亚大学)
贝叶斯系统发育推断通常使用随机游走马尔可夫链蒙特卡罗(MCMC)或组合序贯蒙特卡罗(CSMC)等算法通过拓扑和分支长度上的局部或顺序搜索来进行。然而,当MCMC用于进化参数学习时,收敛需要长时间运行,状态空间的探索效率低下。我们介绍变分组合序贯蒙特卡罗(VCSMC),一个强大的框架,建立变分顺序搜索学习分布在复杂的组合结构。然后,我们开发嵌套CSMC,一个有效的建议分布CSMC和证明嵌套CSMC是一个精确的近似(棘手的)局部最优建议。我们使用嵌套的CSMC定义第二个目标,VNCSMC产生更严格的下限比VCSMC。我们表明,VCSMC和VNCSMC的计算效率和探索更高的概率空间比现有的方法在一系列的任务。
2021-06-17 cs.LG stat.CO stat.ML
Sequential Importance Sampling for Hybrid Model Bayesian Inference to Support Bioprocess Mechanism Learning and Robust Control
Northeastern University(东北大学);University of Waterloo(滑铁卢大学)
在生物制造4.0的关键需求的驱动下,我们引入了一个概率知识图混合模型,该模型表征了对生物过程机制的基于风险和科学的理解。它可以忠实地捕捉重要的性质,包括非线性反应,部分可观测状态,和非平稳动力学。给出了非常有限的实际过程的观察,我们得到了一个后验分布量化模型估计的不确定性。为了避免计算复杂的似然性,采用序贯蒙特卡罗近似贝叶斯计算抽样(ABC-SMC)来近似后验分布。在高度随机和模型不确定性下,匹配输出轨迹的计算代价很高。因此,我们创建了一个线性高斯动态贝叶斯网络(LG-DBN)辅助似然ABC-SMC方法。通过匹配由LG-DBN似然驱动的摘要统计量,可以捕获关键的相互作用和变化,所提出的算法可以加速混合模型推理,支持过程监控,并促进机制学习和鲁棒控制。
2022-09-30 cs.LG stat.ML
Utilising Gradient-Based Proposals Within Sequential Monte Carlo Samplers for Training of Partial Bayesian Neural Networks
Department of Electronics and Electrical Engineering, University of Liverpool(利物浦大学电子与电气工程系)
本文提出了一种基于SMC的训练方法,利用梯度引导的提案和马尔可夫核,提升pBNNs在高维问题中的可扩展性和预测性能。
2026-01-29 cs.LG stat.ML
BACH: A Bayesian Admixture of Contrastive Heads for Multi-Interest Two-Tower Retrieval
Amazon(亚马逊)
研究针对双塔检索器不能满足多样兴趣、多兴趣模型硬路由训练有缺陷的问题,提出BACH模型,通过变分推理拟合用户在头之上的混合分布,在多基准测试中提升了检索性能,改进了训练方式。
2026-07-10 cs.IR cs.LG
Bayesian Learning from Sequential Data using Gaussian Processes with Signature Covariances
University of Oxford(牛津大学)
我们开发了一种贝叶斯方法,通过使用高斯过程(GP)与所谓的签名内核作为协方差函数从序列数据中学习。这允许使不同长度的序列具有可比性,并依赖于来自随机分析的强有力的理论结果。签名捕获序列结构与张量,可以缩放不利的序列长度和状态空间维度。为了解决这个问题,我们引入了一个稀疏变分方法与诱导张量。然后,我们将得到的GP与LSTM和GRU相结合,以构建更大的模型,这些模型利用了每种方法的优势,并将得到的GP在多变量时间序列(TS)分类数据集上进行基准测试。代码可在https://github.com/tgcsaba/GPSig获得。
2020-07-06 cs.LG math.PR stat.ML
Structured Noise Adaptation for Sequential Bayesian Filtering with Embedded Latent Transfer Operators
The University of Osaka(大阪大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所革新智能综合研究中心(AIP))
针对ELTO卡尔曼滤波器噪声模型无法适应非平稳过程的问题,提出结构化噪声参数化方法,结合最优时不变噪声学习与动态参数自适应,提升时变噪声环境下的状态估计性能。
2026-06-15 cs.LG math.OC
Exploring Bayesian Models for Multi-level Clustering of Hierarchically Grouped Sequential Data
Indian Institute of Science(印度科学学院)
已经提出了各种各样的贝叶斯模型的数据,分为分层成组。这些模型的目的是通过为每个数据点分配混合成分,并为每个组分配混合分布,在不同的分组级别上对数据进行聚类。通过组共享这些组件和分布,促进了多级聚类。在本文中,我们引入了共享度(DoS)的概念的混合成分和分布,旨在分析和分类各种现有的模型。接下来,我们介绍了一个广义的层次贝叶斯模型,现有的模型可以被证明是特殊情况。与大多数这些模型不同,我们的模型在分配混合成分和分布时考虑了数据的顺序性质以及不同级别的各种其他时间结构。我们展示了该模型的一个专门化,旨在新闻文本的分层分割,并提出了一个基于Gibbs抽样的推理算法。我们还通过实验表明,该模型优于现有的模型,对于相同的任务。
2015-04-19 cs.AI cs.LG
Sequential Embedding Induced Text Clustering, a Non-parametric Bayesian Approach
State University of New York at Buffalo(纽约州立大学布法罗分校);University of California, Irvine(加州大学欧文分校)
当前最先进的非参数贝叶斯文本聚类方法通过词袋上的多项分布对文档进行建模。虽然这些方法可以有效地利用文档的单词突发性表示,并取得不错的性能,但它们没有探索文本的顺序信息和同义词之间的关系。本文将文档建模为词袋、序列特征和词嵌入的结合点。我们提出了顺序嵌入诱导狄利克雷过程混合模型(SiDPMM),有效地利用这种联合文档表示文本聚类。序列特征由编码器-解码器组件提取。通过连续词袋模型(CBOW)产生的词嵌入来处理同义词。实验结果表明,我们的模型在两个主要方面的好处:1)提高了性能在多个不同的文本数据集的归一化互信息(NMI); 2)更准确的推理地面真理的聚类数与正则化效果的微小离群聚类。
2018-11-29 cs.IR cs.LG stat.ML
Query-Efficient and Scalable Black-Box Adversarial Attacks on Discrete Sequential Data via Bayesian Optimization
Seoul National University(首尔国立大学)
我们专注于对离散序列数据模型进行对抗攻击的问题,在黑盒设置中,攻击者的目标是制作对抗示例,对受害者模型进行有限的查询访问。现有的黑盒攻击,主要是基于贪心算法,发现敌对的例子使用预先计算的关键位置扰动,这严重限制了搜索空间,并可能导致次优的解决方案。为此,我们提出了一个查询高效的黑盒攻击,使用贝叶斯优化,动态计算重要的位置,使用自动相关性确定(ARD)分类内核。当输入序列变长时,我们引入块分解和历史子采样技术来提高贝叶斯优化的可扩展性。此外,我们开发了一个后优化算法,发现具有较小扰动大小的对抗性示例。在自然语言和蛋白质分类任务上的实验表明,与现有的方法相比,该方法具有更高的攻击成功率,查询次数和修改率显著降低.
2022-06-17 cs.CR cs.LG
Sequential Bayesian Design for Efficient Surrogate Construction in the Inversion of Darcy Flows
School of Mathematics and Statistics(数学与统计学学院);Central South University(中南大学);Institute of Mathematics(数学研究所);Henan Academy of Sciences(河南省科学院)
针对Darcy流PDE反演中正演求解昂贵、全局代理构建成本高的问题,提出SBD-LAS,用序贯贝叶斯设计构建聚焦似然高概率区的局部精确代理并加速计算。
2025-07-23 cs.LG stat.ML
Hybrid Batch Bayesian Optimization
Oregon State University(俄勒冈州立大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
贝叶斯优化的目的是优化一个未知的非凸/凹函数,这是昂贵的评估。我们感兴趣的应用场景,并发功能评估是可能的。在这样的设置下,BO可以选择顺序地评估函数,一次一个输入,并在做出下一个选择之前等待函数的输出,或者一次评估一批多个输入的函数。这两种不同的设置通常称为贝叶斯优化的顺序和批处理设置。一般来说,顺序设置导致更好的优化性能,因为每个函数评估都是用更多的信息选择的,而批量设置在总实验时间(迭代次数)方面具有优势。在这项工作中,我们的目标是结合两种设置的优势。具体而言,我们系统地分析贝叶斯优化使用高斯过程作为后验估计,并提供了一个混合算法,根据当前状态,动态切换顺序策略和批量策略与可变批量大小。我们为我们的算法提供了理论依据,并在8个基准BO问题上给出了实验结果。结果表明,我们的方法实现了实质性的加速(高达%78)相比,一个纯粹的顺序的政策,没有遭受任何显着的性能损失。
2012-05-01 cs.AI cs.LG
Sequential Decision Making on Unmatched Data using Bayesian Kernel Embeddings
University of Oxford(牛津大学);Carnegie Mellon University(卡内基梅隆大学)
顺序最大化函数期望的问题寻求最大化感兴趣的函数的期望值,而无需直接控制其特征。相反,这些特征的分布取决于给定的上下文和代理所采取的动作。与贝叶斯优化相反,函数的参数不受代理的控制,而是由代理基于给定上下文的动作间接确定。如果要将特征的信息包括在最大化问题中,则需要考虑这些特征的完整条件分布,而不仅仅是其期望。此外,该函数本身是未知的,仅对此类函数的噪声观测进行计数,并且可能需要使用不匹配的数据集。我们提出了一种新的算法,考虑到来自两个条件分布的特征和未知函数的估计的不确定性,通过建模前者作为贝叶斯条件均值嵌入和后者作为一个高斯过程。我们的算法在经验上优于目前最先进的算法在实验中进行。
2022-10-25 cs.LG stat.ML
Bayesian Mixture-of-Experts: Towards Making LLMs Know What They Don't Know
Imperial College London(帝国理工学院伦敦分校)
针对 MoE 大模型确定性路由导致的校准错误与过度自信问题,提出在权重、logit 和选择阶段建模路由不确定性的贝叶斯框架,并在 30 亿参数模型上验证其校准与 OoD 检测收益。
2025-09-28 cs.LG math.ST stat.ML
Solving Linear-Gaussian Bayesian Inverse Problems with Decoupled Diffusion Sequential Monte Carlo
Department of Computer and Information Science (IDA), Linköping University, Sweden(计算机与信息科学系(IDA),_linköping大学,瑞典)
本文提出了一种基于解耦扩散的序列蒙特卡洛方法(DDSMC),用于求解线性高斯贝叶斯逆问题,该方法允许对样本进行更大更新且渐近精确,并在合成、蛋白质及图像数据上验证了有效性,同时可扩展至离散数据。
2025-10-10 cs.AI cs.LG stat.ML
Weighted Sequential Bayesian Inference for Non-Stationary Linear Contextual Bandits
Department of Mathematics and Computer Science(数学与计算机科学系);University of Southern Denmark(丹麦南方大学)
本文针对非平稳线性上下文多臂老虎机问题,提出加权序贯贝叶斯(WSB)推理框架,开发三种对应算法,其遗憾保证与WRLS基线相当,实证性能更优,还提供了向量值鞅的简化证明。
2026-08-12 cs.LG stat.ML
Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition
Applied Artificial Intelligence Institute (A2I2)(应用人工智能研究所(A2I2));Deakin University(迪肯大学)
我们提出了一种贝叶斯函数优化算法-也就是说,找到优化过程的函数-由实验者的信念和直觉指导,关于预期的特征(长度尺度,平滑度,周期性等)。最优解编码到高斯过程的协方差函数中。我们的算法生成一个序列的有限维随机子空间的功能空间由一组绘制从实验者的高斯过程。标准贝叶斯优化应用于每个子空间,并找到最佳解决方案用作下一个子空间的起点(原点)。利用有效维数的概念,我们分析了我们的算法的收敛性,并提供了一个遗憾界,表明我们的算法收敛于次线性时间提供了一个有限的有效维数存在。我们在模拟和真实世界的实验中测试了我们的算法,即盲函数匹配,寻找铝合金的最佳沉淀强化函数,以及深度网络的学习率调度优化。
2020-09-08 cs.LG stat.ML
Task-Differentiated Atomic Skill Expansion and Routing for Continual Learning Across Highly Heterogeneous Tasks
East China Normal University(华东师范大学);Fudan University(复旦大学);Ocean University of China(中国海洋大学)
提出TASER框架,通过原子技能增量学习、正交增强技能检测和动态路由机制,解决高度异构任务持续学习中的灾难性遗忘和容量分配问题。
2026-06-23 cs.AI cs.LG
Variational Combinatorial Sequential Monte Carlo for Bayesian Phylogenetics in Hyperbolic Space
Spelman College(斯巴灵学院);University of Amsterdam(阿姆斯特丹大学);Columbia University(哥伦比亚大学)
针对系统发育树超指数缩放限制欧几里得推理效率的问题,提出双曲空间下序贯蒙特卡洛算法的扩展及变分推理方法,显著提升了高维贝叶斯系统发育推理的速度与性能。
2025-07-15 cs.LG stat.ML
Neural Deconstruction Search for Vehicle Routing Problems
Bielefeld University, Germany(弗赖堡大学);University of British Columbia, Canada(不列颠哥伦比亚大学)
针对车辆路径问题,提出由神经策略解构解、结合贪心插入算法重建的迭代搜索框架,在多类问题上性能达到或超越现有最优运筹学方法。
2025-10-06 cs.AI cs.LG
Sequential Bayesian Experimental Design for Implicit Models via Mutual Information
University of Edinburgh(爱丁堡大学);Queensland University of Technology(昆士兰科技大学)
贝叶斯试验设计(Bayesian Experimental Design,简称BED)是一种利用统计模型和不确定性下的决策来优化科学实验成本和性能的框架。与静态BED相反,序贯BED考虑的是我们可以通过实验中收集的数据顺序更新我们对模型参数的信念的场景。对于自然科学和医学科学特别感兴趣的一类模型是隐式模型,其中数据生成分布是棘手的,但从中采样是可能的。尽管在过去的几年里,隐式模型的静态床层展开已经有了大量的工作,但隐式模型的序贯床层展开这一出了名的难题却很少有人涉及。我们通过设计一种新颖的用于参数估计的序贯设计框架来解决文献中的这一差距,该框架使用模型参数和模拟数据之间的互信息(MI)作为效用函数来寻找最佳试验设计,这是以前没有针对隐式模型进行过的。我们的方法使用比率估计的似然自由推断,同时估计后验分布和MI。在连续的BED过程中,我们利用贝叶斯优化来帮助我们优化MI效用。我们发现,我们的框架是有效的各种隐式模型测试,产生准确的参数估计后,只有几次迭代。
2020-03-20 cs.LG stat.CO stat.ME
Generalized Bayesian Filtering via Sequential Monte Carlo
University of Warwick(华威大学);The Alan Turing Institute(艾伦·图灵研究所)
我们引入了一个框架,在一般的状态空间隐马尔可夫模型(HHALGORY)的可能性误指定的推理。特别是,我们利用广义贝叶斯推断(GBI)的损失理论的角度来定义广义过滤递归的障碍,可以解决模型误指定下的推理问题。在这样做的过程中,我们到达的原则性程序,强大的推理对观察污染利用$β$分歧。通过序贯蒙特卡罗方法(SMC),其中大多数标准粒子方法及其相关的收敛结果,可以很容易地适应新的设置操作所提出的框架。我们将我们的方法应用于目标跟踪和高斯过程回归问题,并观察到标准滤波算法和其他鲁棒滤波器的性能改善。
2020-10-21 cs.LG stat.CO stat.ME
Deep Adaptive Design: Amortizing Sequential Bayesian Experimental Design
University of Oxford(牛津大学)
我们介绍了深度自适应设计(DAD),一种用于摊销自适应贝叶斯试验设计成本的方法,该方法允许实时运行实验。传统的序贯贝叶斯最优试验设计方法需要在试验的每个阶段进行大量的计算。这使得它们不适合大多数现实世界的应用程序,其中通常必须快速做出决策。DAD通过预先学习摊销设计网络来解决这个限制,然后使用它在部署时快速运行(多个)自适应实验。该网络表示一种设计策略,该策略将先前步骤的数据作为输入,并使用单个前向传递输出下一个设计;这些设计决策可以在实时实验期间以毫秒为单位做出。为了训练网络,我们引入了对比信息界,这是合适的目标顺序设置,并提出了一个定制的网络架构,利用关键的对称性。我们证明了DAD成功地摊销了试验设计的过程,在许多问题上优于其他策略。
2021-06-11 cs.AI cs.LG stat.CO
Bayesian Design Principles for Frequentist Sequential Learning
Columbia University(哥伦比亚大学)
本文提出基于贝叶斯原理的通用理论,通过“算法信息比”优化频率派遗憾,实现无需先验且适用于对抗性设置的算法,并在多臂老虎机等场景中达到最佳全场景性能。
2024-02-09 cs.LG math.OC math.ST
Targeting Solutions in Bayesian Multi-Objective Optimization: Sequential and Batch Versions
Groupe PSA(标致雪铁龙集团);École Nationale Supérieure des Mines de Saint-Étienne(圣艾蒂安国立高等矿业学校);CNRS LIMOS(法国国家科学研究中心LIMOS实验室);INRA Toulouse(法国国家农业科学研究院图卢兹分院)
多目标优化的目的是找到折衷的解决方案,以冲突的目标。这些构成了帕累托最优集合。在评价费用很高的职能的情况下,不可能而且往往没有任何信息来寻找整个集合。由于最终用户通常更喜欢目标空间的某一部分,我们修改了贝叶斯多目标优化算法,该算法使用高斯过程来最大化预期超卷改进,以将搜索集中在首选区域。高斯过程和目标策略的累积效应导致特别有效地收敛到帕累托集合的期望部分。为了充分利用并行计算的优势,提出并分析了目标准则的多点扩展。
2020-02-19 cs.LG math.OC stat.ML
An efficient likelihood-free Bayesian inference method based on sequential neural posterior estimation
Purdue University(普渡大学);South China University of Technology(华南理工大学);University of Chinese Academy of Sciences(中国科学院大学)
针对现有序列神经后验估计方法因校准核导致训练效率低的问题,提出带自适应校准核与方差缩减技术的改进无似然贝叶斯推断方法,在多组实验中实现更快训练与更优后验近似。
2025-01-16 cs.LG stat.CO stat.ML
Gradient-Free Sequential Bayesian Experimental Design via Interacting Particle Systems
Freie Universität Berlin, Fachbereich Mathematik und Informatik(柏林自由大学数学与计算机科学学院);University of Canterbury(坎特伯雷大学)
本文提出一种无梯度序列贝叶斯最优实验设计框架,结合EKI与ALDI,并通过变分高斯和参数化拉普拉斯近似为EIG提供可处理上下界,在高维和PDE反问题中实现可扩展且高效的实验设计。
2025-09-19 cs.LG cs.NA math.NA
Bayesian Allocation Model: Inference by Sequential Monte Carlo for Nonnegative Tensor Factorizations and Topic Models using Polya Urns
Boğaziçi University(博阿齐奇大学);Sabancı University(萨班哲大学);Télécom ParisTech(巴黎高等电信学院)
我们介绍了一个动态生成模型,贝叶斯分配模型(BAM),建立显式连接之间的非负张量因子分解(NTF),离散概率分布的图形模型和贝叶斯扩展,和主题模型,如潜在的狄利克雷分配。BAM是基于泊松过程,其事件是通过使用贝叶斯网络标记,其中该网络的条件概率表,然后集成了分析。我们表明,由此产生的边际过程原来是一个波利亚瓮,一个整数值的自我增强过程。这个瓮过程,我们命名为Polya-Bayes过程,服从一定的条件独立性,提供了进一步了解NTF的性质。这些见解也让我们开发空间有效的模拟算法,尊重潜在的稀疏数据:我们提出了一类连续的重要性抽样算法计算NTF和近似其边际似然,这将是有用的模型选择。所得到的方法也可以被看作是一个模型评分方法的主题模型和离散贝叶斯网络的隐变量。新算法具有良好的性能在稀疏的数据制度相比,变分算法,变得更准确时,所观察到的张量的元素的总和趋于无穷大。我们说明了几个例子的性能和数值研究的各种数据制度的算法的行为。
2019-03-11 cs.LG stat.CO stat.ME
Bayesian Sequential Optimal Experimental Design for Nonlinear Models Using Policy Gradient Reinforcement Learning
University of Michigan(密歇根大学)
本文提出一种基于POMDP和策略梯度强化学习的贝叶斯序贯最优实验设计(sOED)框架,利用深度神经网络和演员-评论家方法求解最优设计策略,并在基准和污染源反演问题中验证了其优于批量和贪婪设计的性能。
2022-03-20 cs.LG stat.CO stat.ME