Bayesian Model Averaging Using the k-best Bayesian Network Structures
Iowa State University(爱荷华州立大学)
我们研究了从数据中学习贝叶斯网络结构的问题。我们开发了一个算法来寻找k-最好的贝叶斯网络结构。我们建议通过贝叶斯模型在k-best贝叶斯网络上平均来计算感兴趣的假设的后验概率。我们提出的实证结果结构发现几个真实的和合成数据集,并表明该方法优于模型选择方法和最先进的MCMC方法。
2012-03-15 cs.AI cs.LG stat.ML
Bayesian autoencoders for data-driven discovery of coordinates, governing equations and fundamental constants
University of Washington(华盛顿大学)
基于自动编码器的非线性动力学稀疏识别(SINDy)在$\ell_1$约束下的最新进展允许从时空数据(包括模拟视频帧)联合发现控制方程和潜在坐标系。然而,由于测量数据的噪声和有限的样本量,基于$\ell_1$的稀疏推理对真实数据进行正确的识别是具有挑战性的。为了解决低数据和高噪声条件下的数据驱动的物理发现问题,我们提出了贝叶斯SINDy自动编码器,它结合了分层贝叶斯稀疏化先验:尖峰和板高斯套索。Bayesian SINDy自动编码器能够联合发现控制方程和坐标系,并具有理论上保证的不确定性估计。为了解决具有挑战性的贝叶斯分层设置的计算易处理性,我们适应自适应经验贝叶斯方法与随机梯度Langevin动态(SGLD),它提供了一个计算易处理的方式贝叶斯后验抽样在我们的框架内。贝叶斯SINDy自动编码器以更少的数据和更少的训练时间实现了更好的物理发现,以及实验研究提出的有效不确定性量化。Bayesian SINDy自动编码器可应用于真实视频数据,具有准确的物理发现,可正确识别控制方程,并为标准物理常数(例如,钟摆视频中的重力$g$)提供接近的估计值。
2022-11-19 cs.AI cs.LG stat.ML
Latent Variable Models for Bayesian Causal Discovery
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);ÉTS Montréal(蒙特利尔高等技术学院)
学习不依赖于虚假相关性的预测器涉及构建因果表示。然而,学习这样的表示是非常具有挑战性的。因此,我们制定了从高维数据中学习因果表示的问题,并研究了因果恢复与合成数据。这项工作介绍了一个潜在的变量解码器模型,解码器BCD,贝叶斯因果发现,并在轻度监督和无监督的设置进行实验。我们提出了一系列的合成实验来表征因果发现的重要因素,并表明使用已知的干预目标作为标签有助于无监督贝叶斯推理的结构和参数的线性高斯加性噪声潜在的结构因果模型。
2022-08-11 cs.AI cs.LG stat.ML
Model Discovery Agent: LLM-assisted Bayesian experiment design for data-efficient discovery of mechanistic world models
该研究提出模型发现智能体(MDA),结合LLM与贝叶斯机制,在少量干预下发现机制世界模型,在三类基准上实现数据高效模型学习与可靠干预预测的SOTA性能。
2026-09-29 cs.AI
A Bayesian Method for Causal Modeling and Discovery Under Selection
本文描述了一种贝叶斯方法,用于学习因果网络,使用从感兴趣的人群中以非随机方式选择的样本。通过非随机抽样获得的数据的例子包括便利样本和病例对照数据,其中收集了固定数量的有和没有某种条件的样本;这种数据并不罕见。本文描述了一种方法,用于结合数据的选择与先验信念,以获得一个模型的因果过程,产生的数据在人口的利益的后验概率。先验知识包括对非随机抽样程序性质的信念。虽然精确的应用程序的方法将是计算上棘手的最现实的数据集,有效的特殊情况和近似方法进行了讨论。最后,本文描述了如何将选择下的学习与以前的方法相结合,用于从感兴趣的人群的随机样本中获得的观察和实验数据中学习。最终结果是贝叶斯方法,支持因果建模和从不同类型数据的丰富混合中发现。
2013-01-16 cs.AI
SVI-DAG: A Structured Variational Inference Approach to Bayesian Causal Discovery
SVI-DAG是一种贝叶斯因果发现的结构化变分推断方法,用归一化流建模边依赖、斯坦变分梯度下降优化,在不确定性量化上优于5种现有方法,结构准确性具竞争力。
2026-08-25 cs.AI cs.LG
Bayesian Hierarchical Multi-Objective Optimization for Vehicle Parking Route Discovery
Assam University(阿萨姆大学)
发现到最可行的停车场的最佳路线一直是任何驾驶员关注的问题,其在一天的高峰时间和拥挤的地方进一步加速,导致相当大的时间和燃料浪费。本文提出了一种贝叶斯分层技术,以获得最佳路径到停车场。路径选择是基于相互冲突的目标,因此该问题属于多目标优化领域。概率数据驱动的方法已被用来克服固有的问题的权重选择在流行的加权和技术。这些相互冲突的目标的权重已被细化使用贝叶斯分层模型的基础上多项式和狄利克雷先验。遗传算法已被用于获得最优解。模拟数据已被用来获得与现实生活中的情况非常吻合的路线。
2020-03-27 cs.AI cs.NE
How Does Bayesian Causal Discovery Fail? Characterising Structural Consequences in Linear Gaussian Networks under Latent Confounding
Department of Information and Computing Sciences, Utrecht University(乌得勒支大学信息与计算科学系);Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学莱顿高级计算机科学研究所)
研究贝叶斯因果发现在潜在混杂下的行为,聚焦线性高斯因果模型中两观测变量的加性潜在混杂。推导关键相关阈值,刻画两种后验失败模式,通过精确后验计算验证,揭示其在潜在混杂下的结构后果。
2026-07-17 cs.AI
BCD Nets: Scalable Variational Approaches for Bayesian Causal Discovery
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院);University of California, Los Angeles(加州大学洛杉矶分校)
结构方程模型(SEM)是一个有效的框架,通过一个有向无环图(DAG)表示的因果关系的原因。最近的进展使有效的最大似然点估计的DAG从观测数据。然而,在实际场景中,点估计可能无法准确地捕获推断基础图时的不确定性,其中真实DAG是不可识别的和/或观察到的数据集是有限的。我们提出了贝叶斯因果发现网(BCD网),一个变分推理框架,用于估计分布在DAG特征的线性高斯SEM。由于图的离散性和组合性,在DAG上开发完整的贝叶斯后验是具有挑战性的。我们分析了DAG上可扩展VI的关键设计选择,例如1)通过表达变分族对DAG进行参数化,2)实现低方差随机优化的连续松弛,以及3)潜在变量的合适先验。我们提供了一系列的真实和合成数据的实验表明,BCD网优于最大似然方法的标准因果发现指标,如结构汉明距离在低数据制度。
2021-12-06 cs.AI cs.LG stat.ML
SVGym (SciVerseGym): An Environment for Reinforcement Learning and Bayesian Optimization in Crystal Discovery
Bin Cao(包超)
提出一个兼容Gymnasium的晶体发现环境SciVerseGym,将晶体设计建模为马尔可夫决策过程,支持局部和全局编辑操作,为强化学习、贝叶斯优化等提供可复现的测试平台。
2026-06-23 cond-mat.mtrl-sci cs.AI
Open-Ended Task Discovery via Bayesian Optimization
Lattice Lab Toyota Motor Corporation(电装株式会社拉特实验室);Machine Learning Research Group(机器学习研究组);University of Oxford(牛津大学)
本文提出GSR框架,通过生成-选择-细化流程实现开放-ended的贝叶斯优化,应用于新产品开发、化学合成放大、算法分析和专利再利用,优于现有LLM优化器。
2026-05-08 cs.AI stat.ML
Bayesian Nonparametrics for Offline Skill Discovery
Layer 6 AI(Layer 6人工智能公司);University of Toronto(多伦多大学);Vector Institute(向量研究所)
强化学习中的技能或低级策略是时间上扩展的动作,可以加速学习并实现复杂的行为。最近在离线强化学习和模仿学习方面的工作提出了几种从一组专家轨迹中发现技能的技术。虽然这些方法是有前途的,发现的技能的数量K总是一个固定的超参数,这需要先验知识的环境或额外的参数搜索来调整it.We首先提出了一种方法离线学习的选项(一个特定的技能框架)利用变分推理和连续松弛的进步。然后,我们强调贝叶斯非参数和离线技能发现之间的未探索的连接,并展示如何获得我们的模型的非参数版本。这个版本是易于处理的,这要归功于一个精心构造的近似后验模型,具有动态变化的选项数量,无需指定K。我们还展示了我们的非参数扩展如何应用于其他技能框架,并以经验证明,我们的方法可以在各种环境中优于最先进的离线技能学习算法。我们的代码可在https://github.com/layer6ai-labs/BNPO上获得。
2022-06-22 cs.AI cs.LG stat.ML
Challenges and Considerations in the Evaluation of Bayesian Causal Discovery
KTH Royal Institute of Technology(瑞典皇家理工学院);University of Oxford(牛津大学);Digital Futures(数字未来机构);Helmholtz AI(亥姆霍兹人工智能研究所);TU Munich(慕尼黑工业大学)
本文重新审视贝叶斯因果发现(BCD)的评估指标,通过实证发现现有指标在低样本量和高熵设置下与近似真实后验质量相关性弱,强调需考虑真实后验性质以改进评估方法。
2024-06-05 cs.AI cs.LG
Constraint-Aware Neurosymbolic Uncertainty Quantification with Bayesian Deep Learning for Scientific Discovery
Department of Computer Science and Engineering Muffakham Jah College of Engineering and Technology (MJCET)(计算机科学与工程系穆法卡姆·贾赫工程与技术学院)
CANUF通过结合贝叶斯深度学习与可微符号推理,首次实现科学预测中的不确定性量化、约束满足和可解释性解释。
2026-01-18 cs.AI cs.CV cs.LG
Bayesian Spline Learning for Equation Discovery of Nonlinear Dynamics with Quantified Uncertainty
University of Notre Dame(圣母大学);California Institute of Technology(加州理工学院);Renmin University of China(中国人民大学)
非线性动力学在科学和工程应用中无处不在,但大多数复杂系统的物理学还远未被完全理解。从测量数据中发现可解释的控制方程可以帮助我们理解和预测复杂动态系统的行为。虽然最近在这一领域已经做了大量的工作,鲁棒地提取显式模型的形式非常稀疏的数据与相当大的噪声仍然是棘手的。此外,量化和传播的不确定性的识别系统从噪声数据是具有挑战性的,相关文献仍然是有限的。为了弥合这一差距,我们开发了一种新的贝叶斯样条学习框架,以确定简约的非线性(空间)时间动力学的稀疏,嘈杂的数据与量化的不确定性的控制方程。该方法利用样条基处理数据稀缺性和测量噪声,在此基础上可以精确计算一组导数,形成候选模型项库。方程残差用于以贝叶斯方式通知样条学习,其中采用近似贝叶斯不确定性校准技术来近似可训练参数的后验分布。为了提高稀疏性,迭代序列阈值贝叶斯学习方法的发展,使用交替方向优化策略,系统地近似L0稀疏约束。所提出的算法进行评估的多个非线性动力系统规范的常微分方程和偏微分方程,所提出的方法的优点/优越性,通过与国家的最先进的方法进行比较证明。
2022-10-14 cs.AI cs.LG
Cost-Aware Recovery-Pathway Identification and Bayesian Optimization for Autonomous Materials Discovery
Coactive Science(协同科学);California Institute of Technology(加州理工学院)
研究自主材料发现中恢复路径优化问题,提出结合成本敏感贝叶斯假设判别与高斯过程贝叶斯优化的协同学习方法,通过合成基准测试评估,性能良好,避免特定惩罚,还分析了对成本模型的敏感性,代码和基准开源。
2026-07-28 cs.AI cs.RO
Bayesian Spectral Emotion Transition Discovery from Multi-Annotator Disagreement
Keio University(庆应大学);National Institute of Advanced Industrial Science and Technology(国家工业科学与技术研究院)
提出贝叶斯谱情感转移发现(BSETD)两阶段框架,从多标注者软标签中挖掘情感转移结构,并通过谱分解分离惯性与传染成分,在EmotionLines数据集上验证了与心理学理论的一致性。
2026-06-01 cs.AI
A Bayesian Method for Constructing Bayesian Belief Networks from Databases
Stanford University(斯坦福大学);University of Pittsburgh(匹兹堡大学)
本文提出了一种从案例数据库中构造贝叶斯信度网的贝叶斯方法。潜在的应用包括计算机辅助假设检验、自动科学发现和概率专家系统的自动构造。结果提出了一个初步评估的算法,用于构建一个信念网络的数据库的情况下。我们在本文中的方法,以前的工作,我们讨论开放的问题。
2013-03-20 cs.AI
Automated Kernel Discovery Towards Understanding High-dimensional Bayesian Optimization
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院)
本文提出了一种基于大语言模型的进化框架,用于高维贝叶斯优化中的自动核发现,通过扩展核空间并避免依赖观测条件,提高了高维问题中核设计的有效性。
2026-05-18 cs.AI cs.LG
Measurements with Noise: Bayesian Optimization for Co-optimizing Noise and Property Discovery in Automated Experiments
University of Duisburg-Essen(杜伊斯堡-埃森大学);University of Tennessee(田纳西大学);University of Silesia(西里西亚大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出一种将时间作为额外输入参数的贝叶斯优化框架,在自动实验中同时优化目标性质与测量噪声,并通过模拟和PFM实验验证其能提升数据质量、降低资源消耗。
2024-10-03 cond-mat.mtrl-sci cs.AI cs.LG
Unleashing LLMs in Bayesian Optimization: Preference-Guided Framework for Scientific Discovery
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Harbin Institute of Technology(哈尔滨工业大学);Shanghai Jiao Tong University(上海交通大学)
本文提出了一种基于大语言模型的贝叶斯优化框架LGBO,通过在优化循环中持续整合大语言模型的语义推理,提高了科学发现中的优化效率和收敛速度。
2026-05-18 cs.AI math.OC
The Stanford Acuity Test: A Precise Vision Test Using Bayesian Techniques and a Discovery in Human Visual Response
Stanford University(斯坦福大学)
基于图表的视力测量被数十亿人用于诊断和指导视力障碍的治疗。然而,无处不在的眼科检查没有推理不确定性的机制,因此,遭受了有据可查的再现性问题。在本文中,我们做了两个核心贡献。首先,我们发现了一个新的参数概率模型的基础上详细测量的眼病患者的视力反应。然后,我们提出了一种自适应的,数字眼科检查使用现代人工智能技术,大大减少了现有方法的敏锐度检查错误,同时还引入了新的能力,模拟自己的不确定性,并纳入事先的信念。使用标准评估指标,我们估计与普遍存在的基于图表的眼科检查相比,预测误差减少了74%,与以前最好的数字检查相比,减少了67%。对于患有眼科疾病的患者,在家中精细测量视力的新能力可能是早期诊断的关键部分。我们提供了我们的算法的Web实现,供世界上任何人使用。本文的见解也提供了有趣的影响领域的心理测量项目反应理论。
2019-11-22 cs.AI stat.AP
AutoDiscovery: Open-ended Scientific Discovery via Bayesian Surprise
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Allen Institute for AI(人工智能研究院);Capital One
AutoDiscovery通过贝叶斯惊喜驱动科学探索,实现开放性科学发现,显著提升发现数量和质量。
2026-02-12 cs.AI cs.CL cs.LG
Agentic Resource Allocation for Batch Multi-Objective Bayesian Optimization in Autonomous Materials Discovery
Texas A&M University(德克萨斯农工大学)
本研究提出一种智能体资源分配框架,用于批量多目标贝叶斯优化,通过自适应策略调整在资源约束下平衡探索与利用,显著提升合金材料发现效率并减少预测不确定性。
2026-10-06 cond-mat.mtrl-sci cs.AI cs.LG
Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue Response Generation Models by Causal Discovery
Faculty of Information Technology(信息技术学院);Monash University(莫纳什大学)
在本文中,我们进行了第一次研究虚假相关的开放域响应生成模型的基础上,语料库CGDIALOG策划在我们的工作。目前的模型确实存在虚假的相关性,并且有产生不相关和通用响应的趋势。受因果发现算法的启发,我们提出了一种新的模型不可知的方法,使用条件独立分类器的响应生成模型的训练和推理。该分类器是由一个约束的自我训练方法,创造约束,以克服数据稀缺。基于人工和自动评估的实验结果表明,我们的方法显着优于竞争基线的相关性,信息量和流畅性。
2023-03-02 cs.AI cs.CL
Optimal Experiment Design for Causal Discovery from Fixed Number of Experiments
University of Illinois at Urbana-Champaign(伊利诺伊大学香槟分校)
我们研究了当实验者被允许以非自适应的方式进行至多$M$实验时,一组随机变量的因果结构学习问题。我们认为最佳的学习策略,最大限度地减少部分的结构,仍然是未知的实验在贝叶斯和极大极小设置的数量有限。我们描述了理论上的最优解,并提出了一种算法,该算法有效地设计了实验的时间复杂度。我们表明,有界度图,在极大极小的情况下,在贝叶斯的情况下,均匀先验,我们提出的算法是一个$ρ$近似算法,其中$ρ$是独立的底层图的顺序。对模拟数据和实际数据的仿真表明,该算法的性能非常接近最优解。
2017-02-27 cs.AI cs.LG stat.ML