The Online Closure Principle
本文提出在线多重检验的严格数学定义与在线闭包原理，证明其可推导任意控制族系错误率的在线程序，并给出可接受性与捷径方法。
2023-12-21 stat.ME
Online multiple testing with super-uniformity reward
有效的在线推理是当前多重检验研究中的一个重要问题，目前已经提出了各种解决方案。众所周知，如果空$p$值是保守的，则这些现有方法可能遭受显著的功率损失。在这项工作中，我们扩展了以前介绍的方法，以获得更强大的程序的情况下，超均匀分布的$p$值。这些类型的$p$值出现在重要的设置中，例如，当执行离散假设检验或当对$p$值进行加权时。为此，我们引入了超均匀性奖励（SUR）的方法，它结合了有关个人的零累积分布函数的信息。我们的方法产生了几个新的“奖励”的程序，提供统一的电源改进已知的程序，并与数学保证控制在线错误标准的基础上的家庭明智的错误率（FWER）或边际错误发现率（mFDR）。我们说明了超均匀奖励的好处，在实际数据分析和模拟研究。虽然离散测试作为我们的主要例子，我们也展示了我们的方法可以应用于加权$p$值。
2023-01-13 stat.ME
Online multiple hypothesis testing
针对传统FDR控制方法无法适配假设随时间逐个到达的在线检验场景的问题，本文系统梳理了在线多重假设检验错误率控制领域的文献、理论与应用，对比了不同算法的模拟效果并概述了方法学扩展。
2023-07-24 stat.AP stat.ME
Dynamic Algorithms for Online Multiple Testing
我们推导出新的算法在线多重检验，可证明控制错误发现的不确定性（FDX），同时实现数量级以上的权力比以前的方法。这种统计学上的进步是通过新算法思想的发展实现的：早期的算法更“静态”，而我们的新算法允许根据算法积累的财富量动态调整测试水平。我们证明了我们的算法在各种合成实验中实现了更高的功率。我们还证明了SupLORD可以为FDR和FDX提供错误控制，并在停止时间控制FDR。停止时间是特别重要的，因为它们允许实验者任意早地结束实验，同时保持对FDR的期望控制。SupLORD是第一个非平凡的算法，据我们所知，可以控制FDR在停止时间在线设置。
2021-06-02 math.ST stat.ME stat.ML
Online Testing of Subgroup Treatment Effects Based on Value Difference
在线A/B测试在高科技行业中起着指导产品开发和加速创新的关键作用。它执行原假设统计检验以确定哪个变体更好。然而，典型的A/B测试存在两个问题：（i）固定视野框架扩大了连续监测下的假阳性误差;（ii）同质效应假设无法识别具有有益处理效应的亚组。在本文中，我们提出了一个序贯测试的亚组处理效应的基础上的价值差异，命名为SUBTLE，同时解决这两个问题。SUBTLE允许实验者在实验过程中“偷看”结果，而不会损害统计保证。它假设异质性处理效应，旨在检验是否有部分人群亚组将从研究性治疗中获益。如果检测结果表明存在此类亚组，则将使用现成的估计最佳治疗规则识别亚组。我们研究了我们提出的测试模拟和真实数据集的实证性能。结果表明，与相应的固定时域检验相比，SUBTLE具有较高的检测能力，在任何时刻都能控制第一类错误，对噪声协变量具有更强的鲁棒性，并能实现早期停止.
2021-09-02 stat.ME
Analytics of Adaptive Online Testing in Practice Over a Decade
Chuo University（中央大学）；Kurume University（久留米大学）
本文分析了十年实践中自适应在线测试的效率与实用性，探讨了试题数量对测试效果的影响及如何避免受试者疲劳。
2025-11-20 stat.ME
Asynchronous Online Testing of Multiple Hypotheses
University of California, Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）
我们考虑的问题，异步在线测试，旨在提供控制的错误发现率（FDR）在一个连续的数据流收集和测试，其中每个测试可能是一个顺序的测试，可以在任意时间开始和停止。这种设置越来越多地体现了科学和工业中的现实应用，大型组织的研究人员团队可以以分散的方式进行假设测试。时间和空间上的重叠也倾向于引起检验统计量之间的依赖性，这是对经典方法的挑战，经典方法要么假设（过于乐观地）检验统计量之间的独立性，要么假设（过于悲观地）任意依赖性。我们提出了一个通用的框架，通过一个统一的计算抽象，我们称之为“冲突集”，解决这两个问题。“我们展示了这个框架如何在一个更中间的、局部的依赖概念下产生具有正式FDR保证的算法。我们说明我们的算法在模拟中比较现有的在线FDR控制算法。
2020-08-21 cs.LG math.ST stat.ME
Large-scale linear hypothesis testing for high-dimensional online M-estimation
University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）；Ewha Womans University（梨花女子大学）；Oregon State University（俄勒冈州立大学）
针对高维在线M估计，提出修正可再生损失结合部分折叠凹正则化，实现大规模线性假设检验，并建立误差界与渐近有效检验。
2026-10-07 stat.ME
Design-Driven Inference for Online Experiments: Jointly Optimal Evidence Collection, Testing, and Estimation
School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院）；School of Science, China University of Mining and Technology-Beijing（中国矿业大学（北京）理学院）；Department of Statistics, Beijing Normal University at Zhuhai（北京师范大学珠海校区统计学系）
针对在线多因素实验，提出设计驱动框架联合优化分配与证据规则，实现检验与估计双重最优，并通过模拟和LLM实验验证改进。
2026-10-07 stat.ME
Online multiple testing with e-values
针对在线假设检验中未知依赖关系下的FDR控制问题，提出e-LOND算法，基于e值实现任意依赖下的错误发现率控制，并通过模拟证明其功效优于现有方法，同时扩展至随机化与置信区间构建。
2023-11-10 stat.ME stat.ML
An Online Sequential Test for Qualitative Treatment Effects
技术公司（例如，谷歌或Facebook）经常使用随机在线实验和/或主要基于平均处理效应的A/B测试来比较他们的新产品和旧产品。然而，检测定性处理效应也是至关重要的，使得新的处理效果可能仅在某些特定情况下显著优于现有的处理效果。本文的目的是开发一个强大的测试程序，有效地检测这种定性处理效应。我们提出了一个可扩展的在线更新算法来实现我们的测试过程。它有三个新颖之处，包括自适应随机化，顺序监测，并保证第一类错误控制的在线更新。我们还彻底检查我们的测试程序，包括极限分布的检验统计量和一个有效的引导方法的理由的理论属性。进行了广泛的实证研究，以检查我们的测试程序的有限样本性能。
2021-11-06 math.ST stat.ME stat.TH
Online control of the familywise error rate
生物学研究通常涉及测试越来越多的零假设，因为随着时间的推移，新数据会不断积累。我们研究的问题，在线控制的familywise错误率（FWER），这是测试一个先验无界序列的假设（p值）一个接一个的时间不知道未来，这样的概率很高，有没有错误的发现在整个序列。本文结合离线（单批）FWER控制和在线错误发现率控制的算法概念，开发新的在线FWER控制方法。虽然许多离线FWER方法（例如Bonferroni，回退程序和Sidak的方法）可以平凡地扩展到在线设置，我们的主要贡献是设计新的，功能强大的，自适应的在线算法，控制FWER时，p值是独立的或局部依赖的时间。我们的实验证明了功率的实质性增益，这在高斯序列模型中也得到了正式的证明。多重检验，FWER控制，在线设定。
2020-03-09 math.ST stat.ME stat.ML
Improved prediction of future user activity in online A/B testing
Politecnico di Milano（米兰理工大学）；University of Washington（华盛顿大学）；University of Torino（都灵大学）
本文提出一种新颖的贝叶斯非参数方法，用于在线A/B测试中预测未来用户活动，同时预测新客户数量及其观察次数，并推导闭式后验分布，在真实和模拟数据上优于现有方法。
2024-02-05 cs.LG stat.AP stat.ME
An Online Updating Approach for Testing the Proportional Hazards Assumption with Streams of Survival Data
即使对于大型数据集，Cox模型仍然是分析事件发生时间数据的首选，它依赖于比例风险（PH）假设。当生存数据按块顺序到达时，需要一种快速且最小存储密集型的方法来测试PH假设。我们提出了一种在线更新的方法，更新标准的检验统计量，因为每个新的数据块变得可用，并大大减轻了计算负担。在PH的原假设下，所提出的统计量具有与在整个数据流上计算的标准版本相同的渐近分布，其中数据块汇集到一个数据集中。在模拟研究中，当PH假设成立时，基于最新数据块的测试及其变体保持其大小，并且具有很大的能力来检测PH假设的不同违规行为。我们还在模拟中表明，我们的方法可以成功地用于“大数据”，超过了一台计算机的计算资源。该方法是说明与淋巴瘤患者的生存分析从监测，流行病学和最终结果计划。拟定的测试迅速识别出与PH假设的偏离，而基于整个数据的测试未捕获该偏离。
2020-11-21 stat.ME
D-optimal Design for Network A/B Testing
Virginia Commonwealth University（弗吉尼亚联邦大学）；Clemson University（克莱姆森大学）；Illinois Institute of Technology（伊利诺伊理工学院）
本文提出利用条件自回归模型构建网络结构，并在治疗效应估计和推断中纳入网络效应，开发了基于该模型的D最优设计准则，通过合成和真实社交网络的数值结果验证了方法的有效性。
2019-02-01 stat.ME
Online LLM watermark detection via e-processes
University of Pennsylvania（宾夕法尼亚大学）；University of Waterloo（滑铁卢大学）；Zhejiang University（浙江大学）
本文提出基于e过程的LLM水印检测框架，提供在线测试的 anytime-valid 保证，并通过实验验证其检测性能。
2026-04-10 stat.ME stat.ML
e-GAI: e-value-based Generalized $α$-Investing for Online False Discovery Rate Control
针对现有在线多重假设检验FDR控制方法依赖结构受限或功效不足的问题，提出基于e值的e-GAI框架，通过动态分配检验水平提升功效，还推出e-LORD、e-SAFFRON两种流程并解决α-死亡问题，实验验证了其性能优势。
2025-08-04 stat.ME
A framework for Multi-A(rmed)/B(andit) testing with online FDR control
UC Berkeley（加州大学伯克利分校）
我们提出了一个替代框架，以现有的设置控制假警报时，多个A/B测试运行一段时间。这种设置出现在许多实际应用中，例如，当制药公司针对不同疾病的控制药丸测试新的治疗方案时，或者当互联网公司随着时间的推移测试其默认网页与各种替代方案时。我们的框架建议用一系列最佳臂MAB实例取代A/B测试序列，数据科学家可以持续监控这些实例。当MAB测试与在线错误发现率（FDR）算法交错时，我们可以获得两全其美的效果：低样本复杂度和随时在线FDR控制。我们的主要贡献是：（i）提出MAB实例的原假设的合理定义;（ii）证明如何推导出始终有效的连续p值，以允许连续监测每个MAB检验;（iii）证明使用在线FDR算法的拒绝阈值作为MAB算法的置信水平，在任何时间点都能获得样本最优性、高功效和低FDR。我们运行了大量的模拟来验证我们的说法，并报告了从《纽约客》卡通字幕比赛中收集的真实数据的结果。
2017-11-18 cs.LG stat.ME stat.ML
A penalized online sequential test of heterogeneous treatment effects for generalized linear models
提出惩罚在线序贯检验（POST）方法，在广义线性模型中同时识别异质性处理效应并选择协变量，实现高检测功效与错误率控制。
2024-09-24 stat.ME
FDR Control for Online Anomaly Detection
针对在线异常检测中经典多重检验方法无法适用、缺乏FDR控制的问题，提出基于mFDR局部控制的在线多重检验策略，结合校准数据集基数调优实现全序列FDR控制，并通过理论与仿真验证了性能。
2024-12-16 stat.ME
PAPRIKA: Private Online False Discovery Rate Control
Georgia Institute of Technology（佐治亚理工学院）；University of Waterloo（滑铁卢大学）
在假设检验中，当由于样本中的噪声而错误地拒绝假设时，会发生错误发现。当自适应地测试多个假设时，错误发现的概率随着执行更多的测试而增加。因此，错误发现率（FDR）控制的问题是找到一个程序，用于测试多个假设，考虑这种影响，在确定一组假设拒绝。目标是最小化错误发现的数量（或分数），同时保持高的真阳性率（即，正确的发现）。本文研究了样本差异隐私约束下多假设检验中的错误发现率控制问题。与以前在这个方向上的工作不同，我们专注于在线设置，这意味着必须在执行测试后立即做出关于每个假设的决定，而不是像离线设置那样等待所有测试的输出。我们提供了新的私人算法的基础上，国家的最先进的非私人在线FDR控制的结果。我们的算法对隐私和统计性能具有强有力的可证明保证，这些性能由FDR和功率来衡量。我们还提供了实验结果来证明我们的算法在各种数据环境中的有效性。
2020-10-21 cs.CR cs.DS cs.LG
An exhaustive ADDIS principle for online FWER control
本文提出一个穷尽的ADDIS原则，统一改进所有ADDIS程序，在保持FWER控制的同时拒绝更多假设，并证明其最优性，应用于ADDIS-Spending和ADDIS-Graph。
2024-01-27 stat.ME
SCORE: A Unified Framework for Overshoot Refund in Online FDR Control
Fudan University（复旦大学）
提出SCORE框架，利用不等式回收超过拒绝阈值的证据，增强基于e值的在线多重假设检验方法的统计功效，并严格保持FDR控制。
2026-05-29 stat.ME
Leveraging covariate adjustments at scale in online A/B testing
本文将带协变量的因果效应估计算法适配到大规模在线 A/B 测试，实现并评估多种协变量调整估计量，以提升精度、缓解组间不平衡并缩短实验周期。
2023-05-01 stat.AP stat.ME
Online Control of the False Discovery Rate under "Decision Deadlines"
在线测试程序旨在控制一系列假设测试中错误发现的程度，允许早期测试结果影响后期测试假设的选择。通常，在线方法假设在进行下一个测试之前，必须做出关于当前测试的永久决定（拒绝或不拒绝）。相反，我们假设每个假设都需要立即做出初步决定，但也允许我们在预设的最后期限之前更新该决定。粗略地说，这让我们可以在假设的移动窗口上应用Benjamini-Hochberg类型的过程，其中即将到来的测试的阈值参数可以基于初步结果来确定。我们的方法控制的错误发现率（FDR）在每个阶段的测试，以及在自适应选择的停止时间。这些结果甚至适用于任意p值依赖结构。
2021-10-15 stat.ME stat.ML
The Power of Batching in Multiple Hypothesis Testing
控制多重检验中的错误发现率（FDR）的算法的一个重要划分是离线算法和在线算法。第一种通常实现显着更高的发现能力，而后者允许顺序地做出决策，并根据过去的观察自适应地制定假设。使用现有的方法，目前还不清楚如何权衡这两个广泛的算法家族的好处，同时保留其正式的FDR保证。为此，我们引入$\text{Batch}_{\text{BH}}$和$\text{Batch}_{\text{St-BH}}$，算法用于控制FDR时，可能是无限序列的批次的假设进行测试，反复应用的最广泛使用的离线算法之一，Benjamini-Hochberg（BH）的方法或层的BH方法的改进。我们表明，我们的算法插入现有的在线和离线方法之间，从而权衡了两全其美。
2021-03-04 stat.ME stat.ML
Sequential Control of False Positives in Online Change Point Detection
University of Pennsylvania（宾夕法尼亚大学）
研究在线变点检测中误报控制问题，提出顺序族错误率及基于模拟的校准程序来估计监测阈值，通过模拟研究和实例验证该方法能有效控制误报，优于常用替代方法。
2026-07-20 stat.ME
Bridging Control Variates and Regression Adjustment in A/B Testing: From Design-Based to Model-Based Frameworks
Shandong University（山东大学）；ByteDance（字节跳动）
本文系统分析A/B测试中控制变量与回归调整两种方差缩减技术的统计性质，建立理论桥梁，并通过模拟和字节跳动实验验证，推荐方法已实际部署。
2025-10-10 math.PR stat.ME
Online Rules for Control of False Discovery Rate and False Discovery Exceedance
University of Southern California（南加州大学）；Stanford University（斯坦福大学）
多重假设检验是统计推断中的一个核心问题，几乎在各个科学领域都有出现。Benjamini和Hochberg在给定一组零假设$\mathcal{H}(n) = (H_1,\dotsc, H_n)$的情况下，引入了假发现率（FDR），即被拒绝的零假设中假阳性的预期比例，并提出了一种将FDR控制在预先指定的显着性水平以下的检验方法。FDR是目前大规模多重假设检验的首选准则。在本文中，我们考虑的问题，控制FDR在一个“在线的方式”。具体地说，我们考虑一个有序的-可能是无穷序列的零假设$\mathcal{H} = (H_1,H_2,H_3,\dots )$，在每一步$i$，统计学家必须决定是否拒绝假设$H_i$只能访问以前的决定。这个模型是由Foster和Stine提出的。我们研究了一类“广义阿尔法投资”的程序，并证明，在这个类中的任何规则控制在线FDR，提供$p$ -值对应于真正的空值是独立于其他$p$ -值。（早期的工作仅建立了mFDR控制。接下来，我们得到的条件下，广义α投资控制FDR在一般$p$值的依赖关系的存在。最后，我们开发了一套修改后的程序，也可以控制错误发现的比例（尾部的错误发现）。数值模拟和分析结果表明，在线程序不会招致大量的损失，在统计功率相对于离线的方法，如Benjamini-Hochberg。
2017-07-06 cs.LG math.ST stat.AP
All about sample-size calculations for A/B testing: Novel extensions and practical guide
本文针对在线 A/B 测试中的样本量估计缺口，提出相关数据、绝对与相对处理效应的新计算方法，并阐明最小显著观测差异、ATE 与样本量的关系。
2023-08-17 stat.AP stat.ME
On Online Control of False Discovery Rate
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
多重假设检验是统计推断的核心问题，几乎在各个科学领域都有出现。给定一系列零假设$\mathcal{H}(n) = (H_1,..., H_n)$，Benjamini和Hochberg \cite{benjamini1995controlling}引入了错误发现率（FDR）标准，这是被拒绝的零假设中假阳性的预期比例，并提出了一个测试程序，控制FDR低于预先指定的显著性水平。他们还提出了一个不同的标准，称为mFDR，它不控制已实现的测试集的属性;相反，它控制预期的错误发现数量与预期的发现数量之比。在本文中，我们提出了两个多假设检验的程序，我们称之为“LOND”和“LORD”。这些程序控制\emph{online manner}中的FDR和mFDR。具体地说，我们考虑一个有序的-可能是无限的-序列的零假设$\mathcal{H} = (H_1,H_2,H_3,...)$，在每一步$i$，统计学家必须决定是否拒绝假设$H_i$只能访问以前的决定。据我们所知，我们的工作是第一个在这种情况下控制FDR的工作。该模型由Foster和Stine \cite{alpha-investing}引入，其alpha投资规则仅以在线方式控制mFDR。为了比较不同的程序，我们开发了下界的总发现率下的混合模型，并证明了LOND和LORD都有近线性的发现数。我们进一步建议调整LOND以解决$p$值之间的任意相关性…
2015-03-04 cs.LG math.ST stat.AP
