Active Sequential Posterior Estimation for Sample-Efficient Simulation-Based Inference
Google Research(谷歌研究院);HEC Montréal(蒙特利尔高等商学院)
针对基于模拟的推断存在样本需求大、难扩展至高维场景的问题,提出主动序贯神经后验估计方法,通过主动学习评估参数效用,以低开销提升样本效率,在交通等高维场景及SBI基准上均优于现有方法。
2024-12-07 cs.LG stat.ML
Revisiting Active Sequential Prediction-Powered Mean Estimation
University of California San Diego(加州大学圣地亚哥分校)
本文重新审视主动顺序预测驱动的均值估计问题,提出基于不确定性建议和常数概率的混合方案,并通过非渐近分析建立了数据依赖的置信区间界。
2026-04-20 cs.LG stat.ML
On Uncertainty Estimation by Tree-based Surrogate Models in Sequential Model-based Optimization
POSTECH(浦项科技大学);BARO AI
基于模型的序贯优化通过构造具有评价历史的代理模型来顺序地选择候选点,以解决黑盒优化问题。高斯过程(GP)回归是一个流行的选择作为代理模型,因为它的能力,分析计算预测的不确定性。另一方面,随机化树的集合是另一种选择,并且由于其可扩展性和易于处理连续/离散混合变量而具有优于GP的实际优点。在本文中,我们重新审视各种合奏的随机树的预测不确定性估计的角度来研究他们的行为。然后,我们提出了一种新的方法来构建一个合奏的随机树,被称为BwO森林,装袋与过采样被用来构建自举样本,用于建立随机树与随机分裂。实验结果表明,在各种情况下,BwO森林的有效性和良好的性能比现有的基于树的模型。
2022-02-22 cs.LG math.OC stat.ML
Reducing sequential change detection to sequential estimation
Carnegie Mellon University(卡内基梅隆大学)
本文提出一种使用置信序列将序贯变点检测归约为序贯估计的简单方法,在每个时间步开始新的置信序列并在交集为空时宣告变化,在最小结构假设下实现了强保证。
2023-11-25 cs.LG math.ST stat.ME
A Log-Linear Time Sequential Optimal Calibration Algorithm for Quantized Isotonic L2 Regression
我们研究了在一个量化的保序L2回归设置的估计的顺序校准。我们首先表明,最佳校准量化估计可以从传统的保序L2回归解决方案。我们修改了传统的PAVA算法创建校准的量化保序回归问题的批量和顺序优化。我们的算法可以更新的最佳量化单调映射到目前为止观察到的样本在线性空间和对数时间每新的无序样本。
2022-06-01 cs.LG math.OC stat.ML
Minimax Rates in Network Analysis: Graphon Estimation, Community Detection and Hypothesis Testing
本文综述了网络分析的基本极限和优化算法的一些最新进展。我们专注于最小最大最优率在网络分析的三个基本问题:图子估计,社区检测,和假设检验。对于每一个问题,我们回顾国家的最先进的结果,在文献中遵循的一般原则,导致最小最大估计和测试的最佳程序。这使我们能够从一般的角度将网络分析中的问题与其他统计推断问题联系起来。
2019-02-14 cs.SI math.ST stat.ML
Sequential Quantiles via Hermite Series Density Estimation
序贯分位数估计是指以增量方式将观测值合并到分位数估计值中,从而在任何给定时间点提供一个或多个分位数的在线估计值。序贯分位数估计也称为在线分位数估计。这个领域与数据流分析和大规模数据集的一次性分析有关。应用包括网络流量和延迟分析、实时欺诈检测和高频交易。在静态分位数估计和动态分位数估计的背景下,提出了基于Hermite级数估计的在线分位数估计新方法。在静态分位数估计设置中,我们以一种新的方式应用现有的Gauss-Hermite展开。特别是,我们利用高斯-厄米系数可以按顺序更新的事实。为了处理动态分位数估计,我们引入了一种新的扩展与指数加权估计的高斯-厄米特系数,我们称之为指数加权高斯-厄米特(EWGH)的扩展。这些算法超越了现有的顺序分位数估计算法,因为它们允许在任何时间点估计任意分位数(与预先指定的分位数相反)。在这样做,我们提供了一个解决方案,在线分布函数和在线分位数函数估计的数据流。特别是,我们推导出的CDF的解析表达式,并证明在一定条件下的CDF的一致性结果。此外,我们分析了相关的分位数估计。仿真研究和实际数据的测试表明,基于高斯-厄米特算法是具有竞争力的领先的现有算法。
2017-03-04 stat.CO stat.ML
Leaders, Followers, and Community Detection
社交网络或图中的社区是连接良好的重叠顶点的集合。社区检测算法的有效性取决于找到地面真实社区的准确性和随数据大小扩展的能力。在这项工作中,我们提供了三个贡献。首先,我们证明了一种流行的准确性度量,称为F1得分,它介于0和1之间,1是完美的检测,其信息下限为0.5。我们提供了一个简单的算法,可以为任何图生成F1得分为0.5的社区!有些令人惊讶的是,我们发现流行的算法,如模块化优化,BigClam和CESNA对于流行的IMDB图的F1分数小于0.5。为了纠正这一点,作为第二个贡献,我们提出了一个生成模型的社区形成,顺序社区图,这是由形成社交网络的动机。第三,我们的生成模型的动机,我们提出了领导者-追随者算法(LFA)。我们证明了它恢复所有社区的序列社区图建立一个结构性的结果,序列社区图是弦。对于大量流行的社交网络,它恢复社区的F1分数比其他流行的算法高得多。对于IMDB图,它获得了0.81的F1分数。我们还提出了一个修改的LFA称为快速领导者-追随者算法(FLFA),除了是高度准确的,也是快速的,与缩放,几乎是线性的网络大小。
2019-09-22 cs.SI physics.soc-ph stat.ML
SNAP: Sequential Non-Ancestor Pruning for Targeted Causal Effect Estimation With an Unknown Graph
University of Amsterdam(阿姆斯特丹大学);Radboud University Nijmegen(奈梅亨拉德堡德大学)
针对多变量因果发现计算需求高的问题,提出SNAP框架序贯剪枝目标的确定非祖先,可作为预处理或独立算法,大幅减少计算量与检验次数,且不影响因果效应估计质量。
2025-02-11 cs.AI cs.LG stat.ML
Density Estimation via Discrepancy Based Adaptive Sequential Partition
给定定义在某个域$Ω$上的未知绝对连续分布的$iid$观测值,我们提出了一种非参数方法来学习分段常数函数来逼近潜在的概率密度函数.我们的密度估计是定义在$Ω$的二进制划分上的分段常数函数。该算法的关键是使用差异,一个概念来源于准蒙特卡罗分析,以控制分区过程。由此产生的算法简单、高效,并且具有可证明的收敛速度。我们经验证明其效率作为一个密度估计方法。我们提出了它的应用范围广泛的任务,包括找到良好的初始化k-均值。
2018-03-11 stat.ML
An efficient likelihood-free Bayesian inference method based on sequential neural posterior estimation
Purdue University(普渡大学);South China University of Technology(华南理工大学);University of Chinese Academy of Sciences(中国科学院大学)
针对现有序列神经后验估计方法因校准核导致训练效率低的问题,提出带自适应校准核与方差缩减技术的改进无似然贝叶斯推断方法,在多组实验中实现更快训练与更优后验近似。
2025-01-16 cs.LG stat.CO stat.ML
Online Estimation and Community Detection of Network Point Processes for Event Streams
Fudan University(复旦大学);Simon Fraser University(西蒙弗雷泽大学);Columbia University(哥伦比亚大学)
针对事件流网络的社区发现问题,提出一种基于连续时间点过程潜在网络模型的快速在线变分推断算法,在保证社区恢复性能与非在线方法相当的同时显著降低计算开销。
2023-10-26 cs.LG cs.SI stat.ML
Near-optimal algorithms for private estimation and sequential testing of collision probability
Google Research(谷歌研究)
针对碰撞概率这一离散分布扩散的基本度量,提出满足(α,β)局部差分隐私的估计算法(样本复杂度提升1/α²倍)和序贯检验算法(ε未知时样本复杂度Õ(1/ε²)),实现近最优样本复杂度且实验样本需求显著减少。
2025-04-18 cs.AI cs.LG stat.ML
Distributed sequential method for analyzing massive data
为了分析包含冗长变量的超大数据集,我们采用了序贯估计的思想,提出了一种并行分治方法。我们分别进行几个传统的序贯估计程序,并适当地整合他们的结果,同时保持所需的统计特性。此外,使用统计实验设计的标准,我们采用了自适应样本选择,以及自适应收缩估计方法,同时加快估计过程,并确定有效的变量。我们确认我们的方法的说服力,通过理论的理由和来自合成数据集的数值结果。然后,我们将所提出的方法应用于三个真实的数据集,包括那些有关家电能源使用和颗粒物浓度。
2018-12-22 stat.AP stat.CO stat.ME
Concentration inequalities for correlated network-valued processes with applications to community estimation and changepoint analysis
网络值时间序列是目前网络数据的一种常见形式。然而,网络值随机过程生成的网络序列的聚集行为的研究相对较少。大多数现有的研究集中在简单的设置,其中网络在时间上是独立的(或条件独立的),并且所有的边在每个时间步同步更新。本文研究了由惰性网络值随机过程生成的网络序列的聚集邻接矩阵和相应的Laplacian矩阵的集中性质,其中边的更新是异步的,每条边的更新都遵循惰性随机过程,且与其它边的更新无关.我们证明了这些浓度的有用结果证明社区估计和变点估计问题的标准估计的一致性。我们还进行了模拟研究,以证明懒惰参数,它控制的时间相关性的程度,社区和变点估计的准确性的效果。
2022-08-02 math.PR math.ST stat.ML
Bayesian estimation from few samples: community detection and related problems
Cornell University(康奈尔大学);Microsoft Research New England(微软新英格兰研究院);ETH Zürich(苏黎世联邦理工学院);Institute for Advanced Study(普林斯顿高等研究院)
我们提出了一个有效的元算法贝叶斯估计问题,是基于低次多项式,半定规划,张量分解。该算法的灵感来自最近的下限建设平方和相关的矩量法。我们的重点是样本的复杂性边界,尽可能紧(添加剂低阶项),往往达到统计阈值或计算阈值。我们的算法恢复了最好的已知界的社区发现在稀疏随机块模型,一类广泛研究的估计问题的社区发现图。我们获得了混合成员随机块模型(Airoldi等)的第一个恢复保证。在常数平均度图中-达到我们推测的这个模型的计算阈值。我们表明,我们的算法表现出一个尖锐的计算阈值的随机块模型与多个社区超越Kesten-Stigum界-证据表明,这项任务可能需要指数时间。我们的算法的基本策略是惊人的简单:我们计算最好的可能的低次近似的后验分布的参数的时刻,并使用一个强大的张量分解算法来恢复这些近似后验矩的参数。
2017-09-30 cs.CC cs.DS cs.LG
Sequential Mode Estimation with Oracle Queries
Indian Institute of Technology, Bombay(印度理工学院孟买分校);Indian Institute of Science, Bangalore(印度科学学院班加罗尔分院)
我们考虑的问题,自适应PAC学习的概率分布$\mathcal{P}$的模式,通过查询一个预言的信息序列的i.i.d.从$\mathcal{P}$生成的样本$X_1, X_2, \ldots$。我们考虑两种不同的查询模型:(a)每个查询是一个索引$i$,其中的oracle揭示的样本$X_i$的值,(b)每个查询是由两个索引$i$和$j$,其中的oracle揭示,如果样本$X_i$和$X_j$是相同的或不。对于这些查询模型,我们给出了顺序模式估计算法,在每一次$t$,要么根据过去的观察查询到相应的Oracle,或决定停止并输出估计的分布的模式,需要正确的指定的信心。我们分析了这些算法的查询复杂度的任何底层分布$\mathcal{P}$,并得出相应的下界的最佳查询复杂度下的两个查询模型。
2019-11-19 cs.IT cs.LG math.IT
The Application of Zig-Zag Sampler in Sequential Markov Chain Monte Carlo
Meiji University(明治大学)
粒子滤波方法广泛应用于非线性非高斯状态空间模型的序贯状态估计中。然而,传统的粒子滤波方法在高维状态空间模型中存在权值退化的问题。目前,在高维状态空间模型下,有很多方法可以提高粒子滤波的性能。其中,比较先进的方法是通过实现复合大都市-哈希(MH)核来构造顺序马尔可夫chian蒙特卡罗(SMCMC)框架。在本文中,我们提出了离散的Zig-Zag采样器和应用Zig-Zag采样器在SMCMC框架内的复合MH核的细化阶段,实现了在联合绘制阶段的可逆粒子流。我们评估所提出的方法的性能,通过具有挑战性的复杂的高维滤波的例子的数值实验。数值实验表明,在高维状态估计算例中,与现有滤波方法相比,该方法提高了估计精度,提高了接收率。
2021-11-18 cs.LG stat.AP stat.CO
Martingale Methods for Sequential Estimation of Convex Functionals and Divergences
我们提出了一个统一的技术序贯估计凸分布之间的分歧,包括积分概率距离,如内核的最大均值差异,$φ$ -分歧,如Kullback-Leibler分歧,和最优输运成本,如权力的Wasserstein距离。这是通过观察经验凸发散是关于可交换过滤的(偏序)逆下鞅,再加上这种过程的极大不等式来实现的。这些技术似乎是补充和强大的补充,现有的文献上的置信序列和凸发散。我们构建了一个离线到顺序的设备,将大量现有的离线浓度不等式转换成时间均匀的置信序列,可以连续监测,提供有效的测试或置信区间在任意停时。由此产生的顺序界限只需要在相应的固定时间界限上迭代对数代价,保留对问题参数(如尺寸或字母表大小,如果适用)的相同依赖性。这些结果也适用于更一般的凸泛函-如负微分熵,经验过程的上确界,和V-统计量-和更一般的过程满足一个关键的留一属性。
2023-03-12 cs.IT math.IT math.PR
Node-private community estimation in stochastic block models: Tractable algorithms and lower bounds
University of Cambridge(剑桥大学)
本文研究了在固定社区数的随机块模型中社区恢复问题,提出在节点差分隐私约束下基于谱聚类的可计算算法及下界,通过隐私保护的PCA、凸优化等方法提升社区估计一致性。
2026-05-15 math.ST stat.ML stat.TH
Cosmological Parameter Estimation with Sequential Linear Simulation-based Inference
本文提出 LSBI 框架,用高斯线性似然和解析超参数后验进行序贯基于模拟的推断,并在玩具模型与 CMB 温度功率谱仿真数据上验证其收敛性、竞争力及可解释性。
2025-01-07 astro-ph.CO astro-ph.IM physics.data-an
Globally-Optimal Greedy Experiment Selection for Active Sequential Estimation
针对多维主动序贯估计问题,提出一类贪心实验选择方法,证明了其最大似然估计量的一致性与渐近正态性,并在决策理论框架下建立渐近最优性,同时设计了新的分析工具解决理论挑战。
2024-02-13 math.ST stat.ME stat.ML
Near-optimal node-private community estimation in polynomial-time
University of Cambridge(剑桥大学);ESSEC Business School(ESSEC高等商学院);Yale University(耶鲁大学)
研究解决Klopp和Zadik的开放问题,提出高概率多项式时间节点隐私算法,通过显式构造替代及接受-拒绝算法,在随机块模型中实现精确恢复,分析表明该算法在社区数量和隐私参数特定增长情况下能达极小极大率,匹配隐私成本下限。
2026-07-13 math.ST stat.ML stat.TH
Consistency of some sequential experimental design strategies for excursion set estimation based on vector-valued Gaussian processes
本文扩展了逐步不确定性减少序贯设计的一致性结果至向量值高斯过程,澄清了连续高斯过程与高斯测度的联系,并应用于极值集估计的不确定性泛函。
2023-10-11 math.PR math.ST stat.ML