Convolutional Neural Networks as Summary Statistics for Approximate Bayesian Computation
Uppsala University(乌普萨拉大学);Scaleout Systems AB(Scaleout Systems 公司)
近似贝叶斯计算广泛应用于系统生物学中随机基因调控网络模型的参数推断。它的性能关键取决于将时间序列等高维系统响应汇总为一些信息丰富的低维汇总统计数据的能力。这些统计数据的质量严重影响了推理任务的准确性。从候选统计量池中选择最佳子集的现有方法不能很好地扩展几十到几百个候选统计量的大池。由于高质量的统计数据对于良好的性能至关重要,因此在对复杂和高维问题进行推理时,这成为一个严重的瓶颈。本文提出了一种卷积神经网络架构,用于自动学习时间响应的信息汇总统计。我们表明,该网络可以有效地规避ABC推理的预处理步骤的统计选择问题。在高维随机遗传振子的两个基准问题和一个具有挑战性的推理问题上证明了所提出的方法。我们还研究了试验设计对网络性能的影响,通过比较不同的数据丰富度和数据采集策略。
2021-04-12 cs.LG stat.ML
Simulation-based Bayesian inference with ameliorative learned summary statistics -- Part I
Department of Electrical & Computer Engineering, College of Engineering, Physics, and Computing, The Catholic University of America(电气与计算机工程系,工程、物理与计算学院,天主教美国大学)
本文提出了一种基于模拟的贝叶斯推断方法,利用改善的学得总结统计量提升推断效果,并适用于分布式计算环境。
2026-01-30 cs.LG stat.ML
Multi-Task Learning with Summary Statistics
提出利用汇总统计的灵活多任务学习框架及基于Lepski方法的自适应参数选择,通过非渐近分析和模拟验证性能,适用于遗传风险预测等领域。
2024-02-08 stat.ME stat.ML
Causal Mediation Analysis Leveraging Multiple Types of Summary Statistics Data
Massachusetts Institute of Technology(麻省理工学院);Broad Institute of MIT and Harvard(麻省理工学院和哈佛大学布罗德研究所);University of Chicago(芝加哥大学)
全基因组关联研究(GWAS)的汇总统计表明,数百万个遗传标记与数万种表型之间存在因果关系。然而,潜在的生物学机制尚未阐明。我们可以在因果中介框架中实现对GWAS的必要解释,希望在遗传和下游变量之间建立一组稀疏的中介,但存在一些挑战。与现有的方法依赖于强有力的和不切实际的假设,我们解决了实际的挑战,在一个原则性的总结为基础的因果推断框架。我们在从真实世界的遗传数据生成的广泛模拟中分析了所提出的方法。我们证明了只有我们的方法可以准确地挽救因果基因,即使不知道实际的个人水平的数据,尽管存在竞争的非因果线索。
2019-01-24 cs.LG q-bio.GN stat.ML
A statistical framework for GWAS of high dimensional phenotypes using summary statistics, with application to metabolite GWAS
最近爆炸的遗传和高维生物库和“组学”数据提供了研究人员有机会调查数百至数千个相关表型的共享遗传起源(多效性)。然而,现有的方法多表型全基因组关联研究(GWAS)不模型多效性,仅适用于少数表型,或提供没有办法进行推理。为了增加进一步的复杂性,原始遗传和表型数据很少被观察到,这意味着必须对GWAS汇总统计进行分析,其高维统计特性知之甚少。因此,我们开发了一种新的模型,理论框架,和一套方法来执行贝叶斯推断在GWAS的高维表型使用概括统计,明确模型多效性,产生快速计算,并促进使用生物信息先验。我们通过将其应用于代谢物GWAS来证明我们的程序的实用性,在那里我们开发了新的非参数先验,用于对代谢物水平的遗传影响,该代谢物水平使用已知的代谢途径信息并在途径水平上促进可解释的推断。
2023-03-17 math.ST q-bio.QM stat.ME
Summary Statistics for Partitionings and Feature Allocations
Boğaziçi University(海峡大学)
无限混合模型通常用于聚类。人们可以通过蒙特卡罗方法从混合分配的后验中抽样,或者通过优化来找到其最大后验解。然而,在某些问题中,后验是扩散的,并且很难解释采样的划分。在本文中,我们介绍了新的统计数据的基础上块的大小代表样本集的分区和功能分配。我们开发了一个基于元素的熵的定义来量化它们的元素之间的分割。然后,我们提出了一个简单的算法称为熵凝聚(EA)总结和可视化这些信息。在不同的无穷混合后验和特征分配数据集上的实验表明,所提出的统计量在实践中是有用的。
2013-11-25 cs.LG stat.ML
Partially Exchangeable Networks and Architectures for Learning Summary Statistics in Approximate Bayesian Computation
Lund University(隆德大学);IT University of Copenhagen(哥本哈根信息技术大学);Chalmers University of Technology(查尔姆斯理工大学);University of Gothenburg(哥德堡大学)
我们提出了一种新型的深度神经架构家族,称为部分可交换网络(PENs),它利用了概率对称性。通过设计,PENS对块开关变换是不变的,块开关变换表征了条件马尔可夫过程的部分交换性质。此外,我们表明,任何块开关不变函数具有PEN样表示。DeepSets架构是PEN的一个特例,因此我们也可以针对完全可交换的数据。我们采用PEN学习近似贝叶斯计算(ABC)中的汇总统计量。当将PEN与以前用于学习汇总统计的深度学习方法进行比较时,我们的结果具有很强的竞争力,无论是考虑时间序列还是静态模型。事实上,即使使用较少的训练数据,PEN也能提供更可靠的后验样本。
2019-05-17 cs.LG stat.CO stat.ML
Improving the Accuracy of Marginal Approximations in Likelihood-Free Inference via Localisation
无似然方法是一种重要的工具,用于对可以模拟的隐式模型进行推理,但相应的似然是难以处理的。然而,常见的无似然方法不能很好地扩展到大量的模型参数。一个有前途的方法,高维似然自由推理涉及估计低维边缘后验的条件下,只有概括统计被认为是信息的低维组件,然后结合低维近似以某种方式。在本文中,我们证明了这种低维近似在实践中可能会令人惊讶地差,看似直观的汇总统计量的选择。我们描述了一个理想化的低维汇总统计量,原则上,适用于边际估计。然而,在实践中很难直接近似理想化的选择。因此,我们提出了一种替代方法,边际估计,更容易实现和自动化。给定可能仅提供关于边缘后验位置的信息的低维汇总统计量的初始选择,新方法通过首先使用所有汇总统计量粗略地定位后验近似以确保全局可识别性来提高性能,然后是第二步,使用低维汇总统计量精确地定位低维近似。我们表明,这种方法的目标后,可以表示为一个对数池的后验分布的基础上,低维和完整的汇总统计量,分别。几个例子说明了我们的方法的良好性能。
2022-07-14 stat.CO stat.ME stat.ML
Personalized pathology test for Cardio-vascular disease: Approximate Bayesian computation with discriminative summary statistics learning
心/脑血管疾病(CVD)已成为我们社会的主要健康问题之一。但最近的研究表明,目前检测CVD的病理学测试是无效的,因为它们没有考虑血小板活化的不同阶段或血小板相互作用中涉及的分子动力学,并且不能考虑个体间的差异。在这里,我们提出了一个随机血小板沉积模型和推理计划,估计生物学上有意义的模型参数,使用近似贝叶斯计算与汇总统计,最大限度地区分不同类型的患者。从健康志愿者和不同患者类型收集的数据推断的参数有助于我们识别特定的生物学参数,从而确定每种类型患者功能障碍背后的生物学推理。这项工作为CVD检测和医疗提供了前所未有的个性化病理测试机会。
2022-02-09 stat.CO stat.ME stat.ML
Bias-corrected Cox regression with AI-extracted covariates via calibration summary statistics
Northwell Health
研究针对协变量受AI提取误差影响的情况,为Cox比例风险模型开发偏差校正框架,通过多变量校准框架分解偏差,给出校正估计器、置信区间及诊断方法,经合成数据实验验证可有效减少偏差并实现接近名义覆盖。
2026-07-29 stat.ME stat.ML
Fitting summary statistics of neural data with a differentiable spiking network simulator
École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
将网络模型拟合到神经活动是神经科学中的重要工具。一种流行的方法是用概率性周期性尖峰网络对大脑区域进行建模,该网络的参数最大化记录活动的可能性。虽然这是广泛使用的,我们表明,由此产生的模型不会产生现实的神经活动。为了纠正这一点,我们建议增加对数似然与衡量模拟和记录的活动之间的差异的条款。这种差异是通过神经科学中常用的汇总统计来定义的,并且优化是有效的,因为它依赖于通过随机模拟的尖峰序列的反向传播。我们从理论上分析了这种方法,并实证表明,它产生更现实的活动统计。我们发现,它改进了其他拟合算法的尖峰网络模型,如GLM(广义线性模型),通常不依赖于反向传播。这种新的拟合算法还可以考虑隐藏的神经元,这是众所周知的困难,我们表明,当试图从尖峰记录推断网络连接时,它可能是至关重要的。
2021-11-14 cs.LG q-bio.NC stat.ML
Likelihood-free inference by ratio estimation
我们考虑的问题时,参数统计推断的可能性计算是昂贵的,但从模型的采样是可能的。已经开发了几种所谓的无似然方法来在没有似然函数的情况下执行推断。流行的合成似然方法通过用高斯概率分布对数据的汇总统计进行建模来推断参数。在另一种称为近似贝叶斯计算的流行方法中,通过识别模拟数据的汇总统计量接近观察数据的汇总统计量的参数值来执行推断。合成似然更容易使用,因为不需要衡量“接近程度”,但高斯假设往往是有限的。此外,这两种方法都需要明智地选择汇总统计数据。在这里,我们提出了一种替代的推理方法,是一样容易使用的合成似然,但不受限制,在其假设,并在一个自然的方式,使自动选择相关的汇总统计量从一个大的候选人。其基本思想是将后验概率的估计问题归结为数据生成分布与边缘分布之间的比值的估计问题。这个问题可以通过逻辑斯谛回归来解决,并且包括正则化惩罚项使得能够自动选择与推理任务相关的汇总统计量。我们说明了规范的例子一般理论,并利用它来执行具有挑战性的随机非线性动力系统和高维汇总统计推断。
2020-09-11 stat.CO stat.ME stat.ML
Hybrid Summary Statistics
Imperial College London(伦敦帝国学院);Tsinghua University(清华大学);Sorbonne Université(索邦大学);Center for Computational Astrophysics, Flatiron Institute(Flatiron研究所计算天体物理学中心);Oxford University(牛津大学)
提出混合摘要统计量方法,结合领域知识统计量与神经网络输出最大化互信息,提升稀疏训练集下基于模拟推断的稳健性,并在两个宇宙学数据集中提取非高斯参数信息。
2025-09-25 astro-ph.CO cs.IT cs.LG
Summary Statistics of Large-scale Model Outputs for Observation-corrected Outputs
本文提出Sig-PCA框架,通过神经网络整合模型输出的汇总统计量与局部观测数据,校正大规模物理模型输出,使其概率分布和时空相关结构更贴近观测数据。
2025-06-18 stat.AP stat.CO stat.ME
Hybrid summary statistics: neural weak lensing inference beyond the power spectrum
Imperial Centre for Inference and Cosmology (ICIC)(帝国推理与宇宙学中心);Imperial Astrophysics(帝国天文学);Department of Physics(物理系);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Institut d’Astrophysique de Paris(巴黎天体物理研究所);Center for Computational Astrophysics(计算天文学中心);Flatiron Institute(Flatiron研究院)
本文提出混合汇总统计方法,将物理基统计量与神经压缩统计量结合,用于弱引力透镜推断,提取信息量达功率谱3至8倍,且所需模拟更少。
2024-07-26 astro-ph.CO cs.LG physics.comp-ph
Wasserstein Gaussianization and Efficient Variational Bayes for Robust Bayesian Synthetic Likelihood
针对贝叶斯合成似然(BSL)的正态分布假设偏差及统计量兼容性需求,结合Wasserstein高斯化变换、鲁棒BSL与高效变分贝叶斯,提出一种高效可靠的无似然近似贝叶斯推断方法。
2024-08-15 stat.CO stat.ML
Efficient First-Order Algorithms for Adaptive Signal Denoising
我们考虑离散时间信号去噪的问题,专注于一个特定的家庭的非线性卷积型估计。每个这样的估计器与通过求解某个凸优化问题自适应地获得的时不变滤波器相关联。自适应卷积型估计被证明具有良好的统计特性。然而,他们的计算复杂性的问题仍然在很大程度上未被探索,事实上,我们不知道任何公开的实现这些估计。我们的第一个贡献是通过一些已知的一阶近似算法,这些估计的有效实施。我们的第二个贡献是一个计算复杂性分析所提出的程序,其中考虑到他们的统计性质和相关的统计精度的概念。所提出的程序和他们的分析说明了一个模拟的数据基准。
2018-06-12 math.OC math.ST stat.ML
Unifying Summary Statistic Selection for Approximate Bayesian Computation
Harvard T.H. Chan School of Public Health(哈佛大学陈曾熙公共卫生学院)
本文提出了一种统一的近似贝叶斯计算中总结统计量选择框架,通过最小化预期后验熵来获得信息性总结,适用于多种复杂模型。
2025-11-23 cs.IT math.IT stat.ME
K2-ABC: Approximate Bayesian Computation with Kernel Embeddings
University College London(伦敦大学学院);University of Oxford(牛津大学);University of Amsterdam(阿姆斯特丹大学)
复杂的生成模型通常会导致计算观测数据的可能性是棘手的,而从给定参数值的条件密度进行模拟相对容易。近似贝叶斯计算(ABC)是一种范式,它通过测量模拟和观察数据之间的相似性,在这种情况下,使基于模拟的后验推理在一组选定的汇总统计。然而,没有一般规则来为复杂模型构建足够的汇总统计量。不充分的汇总统计量将“泄漏”信息,这导致ABC算法从不正确的(部分)后验中产生样本。在本文中,我们提出了一个完全非参数ABC范式,它避免了手动选择汇总统计量的需要。我们的方法,K2-ABC,使用最大平均差异(MMD)作为观测数据和模拟数据的分布之间的相异性度量。MMD很容易估计为它们的经验内核嵌入之间的平方差。模拟场景和现实世界的生物问题的实验表明,该算法的有效性。
2015-12-26 cs.LG stat.ML
Targeted Optimal Treatment Regime Learning Using Summary Statistics
个性化决策,旨在根据个人特征获得最佳治疗方案,近年来在许多领域,如医学,社会服务和经济学中引起了越来越多的关注。目前的文献主要集中在估计治疗方案从一个单一的来源人口。在实际应用中,目标种群的分布可能与源种群的分布不同。因此,通过现有方法学习的治疗方案可能无法很好地推广到目标人群。由于隐私问题和其他实际问题,目标人群的个人水平数据往往不可用,这使得治疗方案学习更具挑战性。我们考虑的治疗方案估计的问题时,源和目标人群可能是异质性的,个人水平的数据是从源人口,只有汇总信息的协变量,如时刻,是从目标人口。我们开发了一个加权框架,通过利用现有的汇总统计数据为给定的目标人群量身定制治疗方案。具体而言,我们提出了一个校准的增广逆概率加权估计的目标人群的价值函数,并估计最佳的治疗方案,通过最大化这类预先指定的制度内的估计。我们表明,建议的校准估计是一致的,渐近正常的,即使灵活的半/非参数模型的滋扰函数近似,和方差的值估计可以一致估计。我们证明了所提出的方法的经验性能,使用模拟研究和实际应用的eICU数据集作为源样本和MIMIC-III数据集作为目标样本。
2023-02-26 stat.AP stat.ME stat.ML
Non-linear regression models for Approximate Bayesian Computation
基于概括统计的近似贝叶斯推断非常适合于可能性在数学上或计算上难以处理的复杂问题。然而,当汇总统计量的数量增加时,使用拒绝的方法遭受维数灾难。在这里,我们提出了一种机器学习方法,通过引入两个创新的后验密度的估计。该方法首先将参数的非线性条件异方差回归拟合到汇总统计量上,然后利用重要性抽样自适应地改进估计。新算法相比,国家的最先进的近似贝叶斯方法,并实现了相当大的减少计算负担的两个例子中的推理统计遗传学和一个推理模型。
2009-02-23 stat.CO stat.ML
Statistical inference for case-control logistic regression via integrating external summary data
针对病例对照数据下逻辑回归截距参数不可识别的问题,提出一种基于经验似然的方法,通过整合外部汇总数据实现截距及所有回归参数的一致估计,并证明了估计量的渐近正态性。
2024-05-31 stat.ME stat.ML
DR-ABC: Approximate Bayesian Computation with Kernel-Based Distribution Regression
University of Oxford(牛津大学)
在复杂的生成模型中执行精确的后验推理通常是困难的或不可能的,这是由于昂贵的评估或棘手的似然函数。近似贝叶斯计算(ABC)是一种推理框架,它基于观察数据和模拟数据之间的相似性(由一组预定义的汇总统计量测量)构建真实可能性的近似值。虽然选择适当的特定问题的汇总统计量至关重要的影响质量的似然近似,因此也在ABC后验样本的质量,只有少数原则性的通用方法来选择或建设这样的汇总统计量。在本文中,我们开发了一个新的框架,这项任务使用基于内核的分布回归。我们使用基于核的分布回归模型的数据分布和最佳选择(相对于损失函数)的汇总统计量之间的函数关系。我们表明,我们的方法可以实现在计算和统计上有效的方式使用随机傅立叶特征框架的大规模内核学习。除此之外,与玩具和现实世界问题的相关方法相比,我们的框架表现出卓越的性能。
2016-02-15 cs.LG stat.CO stat.ME