Concolic Testing for Deep Neural Networks
University of Oxford（牛津大学）；University of Liverpool（利物浦大学）
Concolic测试结合了程序执行和符号分析来探索软件程序的执行路径。本文提出了第一种用于深度神经网络（DNN）的concolic测试方法。更具体地说，我们正式的覆盖标准DNN已在文献中研究，然后开发一个连贯的方法进行concolic测试，以增加测试覆盖率。我们的实验结果表明，concolic测试方法在实现高覆盖率和发现对抗性示例方面的有效性。
2018-08-04 cs.LG cs.SE stat.ML
Meta Two-Sample Testing: Learning Kernels for Testing with Limited Data
University of Oxford（牛津大学）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Australian AI Institute, UTS（悉尼科技大学澳大利亚人工智能研究院）；Gatsby Unit, UCL（伦敦大学学院盖茨比中心）；UBC（不列颠哥伦比亚大学）；Amii（阿尔伯塔机器智能研究所）
现代基于核的双样本测试在区分复杂的高维分布方面取得了巨大的成功，并使用了适当的学习核。以前的工作已经证明，这种内核学习过程是成功的，假设从每个分布观察到大量的样本。然而，在数据样本数量非常有限的现实场景中，识别一个足够强大的内核来区分复杂的分布可能具有挑战性。我们通过引入Meta双样本测试（M2ST）问题来解决这个问题，该问题旨在利用相关任务的（丰富的）辅助数据来找到一种算法，该算法可以快速识别新目标任务的强大测试。我们提出了两个具体的算法，这项任务：一个通用的计划，提高了基线和一个更适合的方法，表现更好。我们提供了理论依据和经验证据，我们提出的元测试计划直接从稀缺的观察学习基于内核的测试，并确定这种计划将是成功的。
2022-01-04 cs.AI cs.LG stat.ME
DeepEvolution: A Search-Based Testing Approach for Deep Neural Networks
Polytechnique Montréal（蒙特利尔高等理工学院）
深度学习（DL）模型越来越多地应用于安全关键系统（如自动驾驶汽车）中，导致了基于多模型的DL测试技术的发展。这些测试技术的一个共同点是测试用例的自动生成，例如，从原始训练数据转换的新输入，目的是优化某些测试充分性准则。到目前为止，这些方法的有效性受到了阻碍，因为它们依赖于随机模糊或转换，这些转换并不总是产生具有良好多样性的测试用例。为了克服这些限制，我们提出了DeepEvolution，一种新的基于搜索的方法来测试DL模型，该模型依赖于元分析来确保生成的测试用例的最大多样性。我们评估了DeepEvolution在测试计算机视觉DL模型方面的有效性，发现它显著增加了生成的测试用例的神经元覆盖率。此外，使用DeepEvolution，我们可以成功地找到几种极端情况下的行为。最后，DeepEvolution在检测模型量化过程中引入的潜在缺陷方面优于Tensorfuzz（由Google Brain开发的覆盖引导模糊工具）。这些结果表明，基于搜索的方法可以帮助建立有效的测试工具，DL系统。
2019-09-05 cs.CV cs.LG stat.ML
Automated Testing for Deep Learning Systems with Differential Behavior Criteria
GEICO Headquarter（GEICO总部）；Clemson University（克莱姆森大学）
在这项工作中，我们进行了一项研究，建立一个自动化测试系统的深度学习系统的基础上，差分行为准则。通过联合优化两个目标函数来实现自动化测试目标：最大化被测模型的差异行为和最大化神经元覆盖率。通过在每次测试迭代期间观察来自三个预训练模型的差异行为，触发错误反馈的输入图像被注册为角情况。生成的角点情况可以用于检查DNN的鲁棒性，从而提高模型的准确性。一个名为DeepXplore的项目也被用作基线模型。在我们完全实现和优化基线系统之后，我们探索了它作为新生成的角落案例的增强训练数据集的应用。使用GTRSB数据集，通过基于自动生成的角点案例重新训练模型，三种通用模型的准确率分别提高了259.2%，53.6%和58.3%。此外，为了扩展自动化测试的能力，我们探索了基于差分行为标准的其他方法，以生成用于深度学习系统的照片般逼真的图像。一种方法是对深度学习框架的种子图像应用各种变换。另一种方法是利用生成对抗网络（GAN）技术，该技术在MNIST和Driving数据集上实现。已经观察到风格转移能力在添加额外的视觉效果、替换图像元素和风格转换（虚拟图像到真实图像）方面非常有效。基于GAN的测试样本生成系统被证明是深度学习系统自动化测试的下一个前沿。
2019-12-31 cs.LG stat.ML
Testing Properties of Multiple Distributions with Few Samples
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一个新的设置，用于测试分布的属性，同时接收来自多个分布的样本，但每个分布的样本很少。给定来自$s$分布的样本，$p_1, p_2, \ldots, p_s$，我们设计测试器用于以下问题：（1）一致性测试：测试所有的$p_i$是否一致或$ε$-在$\ell_1$-距离中是否远不一致（2）同一性测试：测试是否所有的$p_i$都等于明确给定的分布$q$或$ε$-在$\ell_1$-距离中远离$q$，以及（3）接近性测试：测试所有$p_i$是否等于我们具有样本访问的分布$q$，或者$ε$-在$\ell_1$-距离中远离$q$。通过假设源分布的一个额外的自然条件，我们提供了所有这些问题的样本最优测试。
2019-11-17 cs.DM cs.DS cs.LG
Practical methods for graph two-sample testing
University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
图的假设检验是应用研究领域的一个重要工具，但它仍然是一个具有挑战性的问题，因为人们经常需要从大图的几个副本中得出推论。最近的统计学和学习理论的研究提供了一些理论见解，这种高维图测试问题，但开发的理论方法的实用性仍然是一个悬而未决的问题。本文考虑大型图的两样本测试问题。我们展示了现有的理论测试和自举的变体的实际优点和局限性。我们还提出了两个新的测试的基础上渐近分布。我们表明，这些测试是计算成本较低，在某些情况下，比现有的方法更可靠。
2018-11-30 cs.LG stat.ML
Out-of-Sample Testing for GANs
University Carlos III in Madrid（马德里卡洛斯三世大学）；Swiss Data Science Center（瑞士数据科学中心）
我们提出了一种新的方法来评估GANs，即EvalGAN。EvalGAN依赖于测试集来直接测量原始样本空间中的重建质量（不需要辅助网络），并且它还计算测试集中重建样本的（对数）似然。此外，Eval GAN对于GAN算法和数据集是不可知的。我们决定在三个最先进的GANs上测试它，这些GANs都是基于著名的CIFAR-10和CelebA数据集。
2019-01-28 cs.LG stat.ML
Machine Learning for Two-Sample Testing under Right-Censored Data: A Simulation Study
Sber AI Lab（Sber人工智能实验室）；Novosibirsk State Technical University（新西伯利亚国立技术大学）
本研究评估机器学习方法在右删失数据两样本检验中的有效性，开发了结合经典检验的集成方法，通过蒙特卡洛模拟证明其统计功效，并公开了相关资源。
2024-09-26 cs.LG stat.CO stat.ME
Active Testing: Sample-Efficient Model Evaluation
OATML, Department of Computer Science（牛津大学计算机科学系OATML）；Department of Statistics, Oxford（牛津大学统计系）
我们引入了一个新的框架，我们称之为主动测试的样本效率的模型评估。虽然主动学习等方法减少了模型训练所需的标签数量，但现有文献在很大程度上忽略了标记测试数据的成本，通常不切实际地假设模型评估的测试集很大。这就造成了与实际应用的脱节，在实际应用中，测试标签很重要，也同样昂贵，例如用于优化超参数。主动测试通过仔细选择要标记的测试点来解决这个问题，确保模型评估是样本有效的。为此，我们推导出理论上的接地和直观的收购策略，专门针对主动测试的目标，注意到这些是不同的主动学习。由于主动选择标签会引入偏差，我们进一步展示了如何在减少估计量方差的同时消除这种偏差。主动测试易于实现，可以应用于任何有监督的机器学习方法。我们在包括Fashion-MNIST和CIFAR-100在内的数据集上证明了它在包括WideResNets和高斯过程在内的模型上的有效性。
2021-06-14 cs.LG stat.ML
DRIFT: Deep Reinforcement Learning for Functional Software Testing
Microsoft Research（微软研究院）
高效的软件测试对于高效的软件开发和可靠的用户体验至关重要。由于人工测试效率低且成本高，因此需要自动化的软件测试。在这项工作中，我们提出了一个强化学习（RL）框架的功能软件测试命名为DRIFT。DRIFT对用户界面的符号表示进行操作。它通过Batch-RL使用Q学习，并使用图神经网络对状态-动作价值函数进行建模。我们将DRIFT应用于测试Windows 10操作系统，并表明DRIFT可以以完全自动化的方式稳健地触发所需的软件功能。我们的实验测试的能力，在不同的应用程序中执行单个和组合的任务，表明我们的框架可以有效地测试软件的测试目标范围很大。
2020-07-16 cs.AI cs.LG stat.ML
LOTTERY: Learning from Reference-Only Samples in Two-Sample Testing under Size Asymmetry
University of Science and Technology of China（中国科学技术大学）
针对参考样本丰富而查询样本极少的双样本检验问题，提出利用参考样本学习依赖参考的表示并自适应加权，实现置换检验的I类错误控制和一致性。
2026-06-07 cs.LG stat.ML
Coverage Testing of Deep Learning Models using Dataset Characterization
IBM Research（IBM研究院）；Borealis AI（Borealis人工智能研究院）
深度神经网络（DNN）凭借其良好的性能，正越来越多地用于自动驾驶、癌症检测和安全认证等安全关键应用。随着深度学习的重要性日益增加，需要一个更加标准化的框架来评估和测试深度学习模型。涉及自动生成大量测试用例的主要挑战是：（i）神经网络难以解释和调试，以及（ii）人类注释器生成专门测试点的可用性。在这项研究中，我们解释了测量数据集的质量的必要性，并提出了一个测试用例生成系统的数据集属性的指导下。从测试的角度来看，提出了四个不同的数据集质量维度：（i）等价划分，（ii）质心定位，（iii）边界条件，（iv）成对边界条件。该系统在MNIST、Fashion-MNIST、CIFAR 10、CIFAR 100和SVHN等知名图像分类数据集上进行了评估，并与LeNet、ResNet-20、VGG-19等流行的深度学习模型进行了对比。此外，我们进行了各种实验，以证明系统的测试用例生成系统的有效性，用于评估深度学习模型。
2019-11-17 cs.LG stat.ML
Towards Testing of Deep Learning Systems with Training Set Reduction
Simula Research Laboratory（Simula研究实验室）
测试深度学习系统及其训练例程的实现对于维护可靠的代码库至关重要。现代软件开发采用诸如持续集成之类的过程，在该过程中，对软件的更改被频繁地集成和测试。然而，测试训练例程需要运行它们，并且当使用完整的数据集时，完全训练深度学习模型可能是资源密集型的。仅使用训练数据的子集可以缩短测试运行时间，但也会降低其有效性。我们评估了不同的训练集缩减方法及其利用原始完整数据集模仿模型训练特征的能力。我们的研究结果强调了训练集减少的有用性，特别是在资源受限的环境中。
2019-01-14 cs.LG cs.NE cs.SE
A Data-Driven Approach to Robust Hypothesis Testing Using Sinkhorn Uncertainty Sets
Georgia Institute of Technology（佐治亚理工学院）
小样本情形下的假设检验是一个具有重要实际意义的问题。在本文中，我们研究了强大的假设检验问题，在数据驱动的方式，我们寻求最坏情况下的检测器分布的不确定性集的经验分布为中心的样本使用Sinkhorn距离。与Wasserstein鲁棒性检验相比，该方法在训练样本之外支持相应的最不利分布，从而提供了一种更灵活的检测器。在合成数据集和真实数据集上进行了各种数值实验，以验证我们所提出的方法的竞争力。
2022-05-15 cs.LG stat.ML
Deep anytime-valid hypothesis testing
University of Amsterdam（阿姆斯特丹大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一个通用的深度任意时刻有效假设检验框架，通过抽象零假设定义和 testing-by-betting 博弈论方法，利用机器学习模型表示能力实现在线序贯检验，在控制第一类错误的同时自适应样本量，并在多个任务上取得与专用基线相当的实证效果。
2023-10-30 cs.LG stat.ML
Adversarial Sample Detection for Deep Neural Network through Model Mutation Testing
Singapore University of Technology and Design（新加坡科技设计大学）；Zhejiang University（浙江大学）
深度神经网络（DNN）已被证明在广泛的应用中是有用的。然而，它们也容易受到对抗性样本的影响。通过用一些精心设计的人类难以察觉的扰动来转换正常样本，即使是高度准确的DNN也会做出错误的决定。已经提出了多种防御机制，旨在阻止这种对抗性样本的生成。然而，最近的一项研究表明，其中大多数是无效的。在这项工作中，我们提出了一种在运行时检测对抗样本的替代方法。我们的主要观察结果是，如果我们对DNN施加随机突变，对抗样本比正常样本更敏感。因此，我们首先提出了一个衡量的“敏感性”，并显示经验，正常样本和对抗样本具有可区分的敏感性。然后，我们整合统计假设检验和模型突变检验，通过测量其敏感性来检查输入样本在运行时是否可能是正常的或敌对的。我们在MNIST和CIFAR10数据集上评估了我们的方法。实验结果表明，该方法能够有效、准确地检测到由最先进的攻击方法生成的对抗样本。
2019-01-18 cs.LG cs.SE stat.ML
Kernel Two-Sample Hypothesis Testing Using Kernel Set Classification
研究了高维小样本量数据集的双样本假设检验问题。我们表明，两个样本的假设检验问题可以构成一类集分类问题。在集合分类问题中，目标是对假设具有共同类的一组数据点进行分类。我们证明了给定一个集合的平均错误概率小于或等于贝叶斯错误，并且随着集合中样本数据点的$n$数量的幂而减小。我们使用正定集核直接将数据集映射到相关的再生核希尔伯特空间，而不需要学习概率分布。我们特别解决了两个样本的假设检验问题，使用一个类SVM结合建议的集核。我们比较了所提出的方法与最大均值离散，F-检验和T-检验方法在一些具有挑战性的模拟高维和小样本量的数据。我们还对六个癌症基因表达数据集进行了双样本假设检验实验，并在所有数据集上实现了零I类和第二类错误结果。
2017-11-13 stat.ML
Sequential Nonparametric Testing with the Law of the Iterated Logarithm
University of California, San Diego（加州大学圣地亚哥分校）；University of California, Berkeley（加州大学伯克利分校）
我们提出了一个新的算法框架，顺序假设检验与i.i.d.数据，其中包括A/B检验，非参数两样本检验，独立性检验作为特例。它在几个方面是新颖的：（a）它需要线性时间和恒定的空间来计算，（b）它具有与非顺序版本的测试相同的功率保证，具有相同的计算约束，直到一个小的因子，（c）它只访问所需的样本-它的停止时间适应未知的问题难度。所有的检验统计量都是在原假设下的零均值鞅，并且拒绝阈值由一致的非渐近重对数律（LIL）决定。对于非参数两样本均值检验的情形，我们也给出了有限样本的功效分析，以及这类问题的第一非渐近停时的计算。我们验证了我们的预测I型和II型错误和停止时间使用模拟。
2016-03-02 cs.LG math.ST stat.ME
Testing match-3 video games with Deep Reinforcement Learning
测试视频游戏是制作过程中的关键步骤，需要花费大量的时间和资源。一些软件公司正试图使用人工智能来减少对人力资源的需求，使用能够取代人类代理的系统。我们研究了使用深度强化学习在match-3视频游戏中自动化测试过程的可能性，并建议在Dueling Deep Q-Network范式的框架中解决这个问题。我们在Jelly Juice游戏上测试了这种网络，这是一款由RedBit Games开发的匹配3视频游戏。网络从游戏环境中提取基本信息，并推断下一步行动。我们将结果与随机玩家的表现进行比较，发现网络显示出最高的成功率。在大多数情况下，结果与真实用户获得的结果相似，随着时间的推移，网络也成功地学习了区分游戏级别的不同特征，并使其策略适应日益增加的难度。
2020-11-24 cs.LG cs.SE stat.ML
The Sample Complexity of Robust Covariance Testing
UW Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣迭戈分校）
本文研究了在Huber污染模型中输入分布被破坏的情况下，高维高斯分布协方差矩阵在鲁棒环境中的检验问题。具体来说，我们被赋予了身份证。来自$Z = (1-ε) X + εB$形式的分布的样本，其中$X$是零均值和未知协方差高斯$\mathcal{N}(0, Σ)$，$B$是固定但未知的噪声分布，并且$ε>0$是表示污染比例的任意小常数。我们想区分$Σ$是单位矩阵与$γ$的情况--远不是Frobenius范数中的单位矩阵。在没有污染的情况下，先前的工作为使用$O(d)$样品的假设检验任务提供了一个简单的测试仪。此外，该样本上限被证明是最好的可能性，在恒定的因素。我们的主要结果是，样本的复杂性的协方差检验显着增加污染的设置。特别是，我们证明了一个样本的复杂性下限的$Ω(d^2)$ $ε$一个任意小的常数和$γ= 1/2$。该下限是最可能的，因为$O(d^2)$样本足以稳健地{ \em学习}协方差。我们的研究结果的概念含义是，对于我们考虑的自然环境，稳健的假设检验至少和稳健的估计一样难。
2020-12-31 cs.LG math.ST stat.ML
Optimal Algorithms for Augmented Testing of Discrete Distributions
Rice University（莱斯大学）；Boston University（波士顿大学）；Northeastern University（东北大学）；MIT（麻省理工学院）；UW-Madison（威斯康星大学麦迪逊分校）
针对离散分布的均匀性、同一性和接近性测试，本文提出可利用预测分布并按其总变差距离自适应调整样本量的最优稳健算法。
2024-12-01 cs.DS cs.LG stat.ML
Tight Bounds for Equivalence Testing with Non-Adaptive Conditional Samples
New York University（纽约大学）
针对非自适应条件样本下的分布等价性测试问题，给出了该问题所需查询次数的紧界，证明其复杂度为tildeθ(log n)，明确了该场景下等价性测试的查询复杂度。
2026-10-09 cs.DS cs.IT math.IT
Optimal Testing of Discrete Distributions with High Probability
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；MPI（马克斯·普朗克研究所）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Yale University（耶鲁大学）；UT Austin（德克萨斯大学奥斯汀分校）
我们研究的问题测试离散分布的高概率制度的重点。具体地，给定来自一个或多个离散分布的样本、属性$\mathcal{P}$和参数$0< ε, δ<1$，我们想要区分{概率至少为$1-δ$的\em}这些分布是否满足$\mathcal{P}$或者是$ε$ -在总变化距离上远离$\mathcal{P}$。分布测试中的大多数先前工作研究了恒定置信度情况（对应于$δ= Ω(1)$），并为一系列属性提供了样本最佳测试器。虽然人们总是可以通过黑盒放大来提高任何这样的测试者的置信概率，但是这种通用的提高方法通常会导致次优的样本界限。在这里，我们研究了以下广泛的问题：对于一个给定的属性$\mathcal{P}$，我们可以{ \em表征}的样本复杂性测试$\mathcal{P}$作为所有相关的问题参数的函数，包括错误概率$δ$？在这项工作之前，均匀性测试是唯一的统计任务，其样本的复杂性已在此设置的特点。作为我们的主要成果，我们提供了第一个算法的封闭性和独立性测试是样本最优的，在恒定的因素，作为所有相关参数的函数。我们还显示了匹配的信息理论的样本复杂性，这些问题的下限。我们的技术自然会扩展到为相关问题提供最佳测试人员。为了说明我们的方法的一般性，我们给出了最佳算法，用于测试分布的集合和测试不等大小的样本的接近度。
2020-09-14 cs.DS cs.LG math.ST
DeepGauge: Multi-Granularity Testing Criteria for Deep Learning Systems
Harbin Institute of Technology（哈尔滨工业大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanyang Technological University（南洋理工大学）；Kyushu University（九州大学）；University of Illinois at Urbana–Champaign（伊利诺伊大学厄巴纳-香槟分校）；Monash University（莫纳什大学）
深度学习（DL）定义了一种新的数据驱动编程范式，通过一组训练数据构建精心制作的神经元网络的内部系统逻辑。我们已经看到DL在许多安全关键场景中的广泛采用。然而，大量的研究表明，国家的最先进的DL系统遭受各种漏洞，这可能会导致严重的后果时，应用到现实世界的应用程序。目前，DL系统的测试充分性通常由测试数据的准确性来衡量。考虑到可获得的高质量测试数据的局限性，对测试数据的良好准确性很难为DL系统的测试充分性和通用性提供信心。与具有清晰和可控逻辑和功能的传统软件系统不同，深度学习系统中缺乏可解释性使得系统分析和缺陷检测变得困难，这可能会阻碍其在现实世界中的部署。在本文中，我们提出了DeepGauge，一组多粒度的测试标准DL系统，其目的是呈现多方面的写照的测试床。我们提出的测试标准的深入评估证明了两个著名的数据集，五个DL系统，并与四个国家的最先进的对抗攻击技术对DL。DeepGauge的潜在用途为构建更通用和更强大的DL系统提供了帮助。
2018-08-14 cs.CR cs.LG cs.SE
Optimal Prediction-Augmented Algorithms for Testing Independence of Distributions
Rice University（莱斯大学）
本文提出最优预测增强算法，用于高效检验分布独立性，通过自适应减少样本复杂度并匹配最优下界。
2026-03-04 cs.DS cs.LG stat.ML
Classification Logit Two-sample Testing by Neural Networks
Duke University（杜克大学）；University of California at San Diego（加州大学圣地亚哥分校）；Halicioğlu Data Science Institute（哈利西奥卢数据科学研究所）
最近生成对抗网络和变分学习的成功表明，训练分类器网络可以很好地解决经典的双样本问题。基于网络的测试具有算法可扩展到大样本的计算优势。本文提出了一种双样本统计量，这是由训练好的分类神经网络提供的logit函数的差异，评估两个数据集的测试集分裂。在理论上，我们证明了在网络充分参数化的情况下，区分两个次指数密度的检验能力。当这两个密度位于或接近嵌入在可能的高维空间中的低维流形时，所需的网络复杂性被降低到仅与固有维数成比例。近似和估计误差分析都是基于近流形积分近似的一个新结果。在实验中，所提出的方法表现出更好的性能比以前的基于网络的测试使用分类精度作为两个样本的统计量，并比较有利的合成数据集和手写数字数据集的某些内核最大均值差异测试。
2020-05-22 cs.LG math.ST stat.ML
Communication and Memory Efficient Testing of Discrete Distributions
University of Southern California（南加州大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of California, San Diego（加州大学圣地亚哥分校）
我们在以下计算模型中研究了具有通信和内存约束的分布测试：（1）{ \em one-pass streaming model}，其目标是最小化受内存约束的协议的样本复杂度，以及（2）{ \em distributed model}，其中数据样本驻留在多台机器上，目标是最小化协议的通信成本。在这两个模型中，我们提供了有效的算法，用于均匀性/同一性测试（拟合优度）和接近性测试（两个样本测试）。此外，我们显示几乎紧下界（1）的样本复杂性的任何单通流测试仪的均匀性，受内存约束，和（2）的通信成本的任何均匀性测试协议，在一个受限制的“一通”模型的通信。
2019-06-11 cs.DS cs.LG math.ST
Distribution-free two-sample testing with blurred total variation distance
Carnegie Mellon University（卡内基梅隆大学）；University of Chicago（芝加哥大学）
本文提出模糊总变差距离用于无需分布假设的两样本检验，提供理论保障并探讨其高维性质。
2026-04-10 cs.LG math.ST stat.ML
Private Sequential Hypothesis Testing for Statisticians: Privacy, Error Rates, and Sample Size
Harvard John A. Paulson School Of Engineering And Applied Sciences（哈佛大学约翰·A·保尔森工程与应用科学学院）；Georgia Institute of Technology（佐治亚理工学院）；H. Milton Stewart School of Industrial and Systems Engineering, Georgia Institute of Technology（佐治亚理工学院H·米尔顿·斯图尔特工业与系统工程学院）；Department of Industrial Engineering and Operations Research, Columbia University（哥伦比亚大学工业工程与运筹学系）
序贯假设检验问题是一类样本量事先不确定的统计分析问题。相反，决策过程顺序地接受新的观察结果，以做出实时决策，用于针对原假设测试备择假设，直到满足某个停止标准。在序贯假设检验的许多常见应用中，数据可能具有高度敏感性，可能需要隐私保护;例如，序贯假设检验用于临床试验，医生按顺序收集患者的数据，必须确定何时停止招募患者以及治疗是否有效。差分隐私领域已经发展为提供具有强隐私保证的数据分析工具，并且已经普遍应用于机器学习和统计任务。在这项工作中，我们研究了顺序假设检验问题下的一个轻微的变化的差分隐私，被称为Renyi差分隐私。我们提出了一个新的私有算法的基础上沃尔德的序贯概率比测试（SPRT），也给出了强有力的理论隐私保证。我们提供了理论分析的统计性能衡量的I型和第二类错误，以及预期的样本量。我们还在几个合成数据库上实证验证了我们的理论结果，表明我们的算法在实践中也表现良好。与以往的工作，私人假设检验，只集中在经典的固定样本设置，我们的结果在顺序设置允许的结论，以达到更早，从而节省了收集额外的样本的成本。
2022-04-10 cs.LG math.ST stat.ML
Statistical Windows in Testing for the Initial Distribution of a Reversible Markov Chain
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
我们研究了两个离散分布之间的假设检验问题，其中我们只能访问一个已知的可逆马尔可夫链的作用后的样本，发挥噪声的作用。我们推导出这个问题的样本复杂性的实例依赖的极大极小率，并展示了它在时间上的依赖性是如何与马尔可夫链的谱特性相关的。我们发现，有一个广泛的统计窗口，在样本复杂性的假设检验之间的不同对初始分布。我们说明这些结果在几个具体的例子。
2018-08-06 cs.LG math.ST stat.ML
The Sample Complexity of Distributed Simple Binary Hypothesis Testing under Information Constraints
该研究解决了信息约束下分布式简单二元假设检验样本复杂度的两个公开问题，证明序贯交互不降低样本复杂度，推导了通信约束下的最优紧界，并提出三项关键技术贡献。
2025-06-16 cs.IT math.IT math.ST
Two-Sample Testing on Ranked Preference Data and the Role of Modeling Assumptions
Carnegie Mellon University（卡内基梅隆大学）
许多应用程序需要对排名偏好数据进行双样本测试。例如，在众包中，人们提供的成对比较数据是否与评级转换为比较的数据类似，这是一个长期存在的问题。其他例子包括体育数据分析和同行评分。本文针对两两比较数据和排序数据设计了两样本检验。对于成对比较数据的双样本检验，我们建立了正确区分两组样本分布所需的样本复杂度的上限。我们的测试基本上不需要对分布做任何假设。然后，我们证明互补的下界表明，我们的结果是紧（在极大极小意义上）的常数因子。我们通过证明一系列成对比较模型（WST，MST，SST，基于参数的BTL和Thurstone）的下限来研究建模假设的作用。我们还提供了测试算法和相关的样本复杂性界限的问题，两个样本测试的部分（或全部）rankingdata.Therefore，我们经验性地评估我们的结果，通过广泛的模拟，以及两个现实世界的数据集组成的成对比较。通过将我们的双样本测试应用于现实世界的成对比较数据，我们得出结论，人们提供的评级和排名确实分布不同。另一方面，我们的测试承认欧洲足球队在两个赛季的相对表现没有显着差异。最后，我们将我们的双样本测试应用于真实世界的部分和总排名数据集，并发现基于性别，年龄和居住地区的人口统计学划分中的寿司偏好存在统计学显著差异。
2020-11-19 cs.IT cs.LG math.IT
Gaussian Mean Testing Made Simple
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of California, San Diego（加州大学圣地亚哥分校）
我们研究了以下基本的假设检验问题，我们称之为高斯均值检验。注射了。样本来自$p$上的分布$\mathbb{R}^d$，任务是以高概率区分以下情况：（i）$p$是标准高斯分布$\mathcal{N}(0,I_d)$，以及（ii）$p$是高斯$\mathcal{N}(μ,Σ)$，对于某些未知协方差$Σ$和均值$μ\in \mathbb{R}^d$满足$\|μ\|_2 \geq ε$。最近的工作给出了一个算法，这个测试问题的最佳样本复杂度为$Θ(\sqrt{d}/ε^2)$。以前的算法及其分析都相当复杂。在这里，我们给出了一个非常简单的算法高斯均值测试与一页分析。我们的算法是样本最优的，并且在样本线性时间内运行。
2022-10-25 cs.DS cs.LG math.ST
Adversarial Examples, Uncertainty, and Transfer Testing Robustness in Gaussian Process Hybrid Deep Networks
深度神经网络（DNN）具有出色的代表性，是许多任务的最先进分类器。然而，他们往往不能很好地捕捉自己的不确定性，使他们在现实世界中不太稳健，因为他们过度自信地推断，没有注意到域的变化。另一方面，具有RBF内核的高斯过程（GP）具有更好的校准不确定性，并且不会过度自信地从其训练集中的数据进行外推。然而，GP具有较差的代表性能力，并且在复杂域上的表现不如DNN。在本文中，我们证明了GP混合深度网络GPDNN（DNN上的GP和训练的端到端）继承了GP和DNN的良好特性，并且对对抗性示例更加鲁棒。当外推到对抗性示例并在域偏移设置中进行测试时，GPDNN经常输出对应于基本上“不知道”的高熵类概率。因此，GPDNN很有希望成为知道什么时候不知道的深层架构。
2017-07-08 stat.ML
Strictly Proper Kernel Scoring Rules and Divergences with an Application to Kernel Two-Sample Hypothesis Testing
我们研究了再生核Hilbert空间中的严格恰当评分规则。我们提出了一个通用的核评分规则和相关的核分歧。我们考虑的条件下，核分数是严格适当的。然后，我们证明了核分数包括作为特殊情况的最大均值离散。我们还考虑了核分数和适当损失函数的最小风险之间的联系。我们表明，核分数包含更多的信息有关的投影嵌入式分布相比，最大均值离散。最后，我们展示了如何整合从不同的核分歧，如建议Bhattacharyya核分歧，使用一个类分类器改进的双样本假设检验结果提供的信息。
2017-04-22 stat.ML
Distance and Kernel-Based Measures for Global and Local Two-Sample Conditional Distribution Testing
针对现有两样本条件分布检验仅关注全局层面的不足，本文基于距离与核方法构建统一框架，提出相应度量及一致估计量，推导其理论性质，开发全局与局部检验，经实验验证性能可靠。
2025-08-31 econ.EM math.ST stat.ME
Differentially Private Identity and Closeness Testing of Discrete Distributions
MIT（麻省理工学院）；USC（南加州大学）；TAU（特拉维夫大学）
本文研究了离散总体上随机样本的同一性和紧密性检验问题。我们的目标是开发高效的测试人员，同时保证人口中的个体的差分隐私。我们描述了一种方法，产生样本有效的差异私人测试这些问题。我们的理论研究结果表明，存在私人身份和亲密度测试，几乎是他们的非私人同行的样本效率。我们进行实验评估我们的算法上的合成数据。我们的实验表明，我们的私人测试人员实现小的I型和II型错误的样本量次线性域大小的基础分布。
2017-07-18 cs.DS cs.IT cs.LG
Communication-constrained hypothesis testing: Optimality, robustness, and reverse data processing inequalities
IBM Research（IBM研究院）；University of Cambridge（剑桥大学）
本文研究通信约束下的假设检验，证明二元情形样本复杂度仅增加一个紧的对数因子并给出多项式时间算法，同时扩展到鲁棒检验并揭示 M 元情形的 Ω(M) 下界。
2023-12-15 cs.DS cs.IT cs.LG
Asymptotically Optimal One- and Two-Sample Testing with Kernels
我们描述了非参数单样本和双样本检验的渐近性能。第二类错误概率的指数衰减率或错误指数被用作渐近性能度量，并且最优测试在第一类错误概率的恒定水平约束下实现最大速率。利用Sanov定理，我们得到了单样本检验在普适环境下达到最优误差指数的一个充分条件，即，定义备择假设的分布。然后，我们表明，两个类的最大均值离散（MMD）为基础的测试达到最佳的第二类误差指数$\mathbb R^d$，而二次时间核斯坦离散（KSD）为基础的测试实现了这个最优的渐近水平约束。然而，对于一般的双样本检验，Sanov定理不足以获得类似的充分条件。我们继续建立一个扩展版本的Sanov定理，并推导出一个精确的误差指数的二次时间MMD基于两个样本测试。进一步证明了所得到的误差指数在满足给定水平约束的所有双样本检验中是最优的。因此，我们的工作提供了一个最佳的非参数单样本和双样本测试在通用设置的可验证性结果。并讨论了其在离线变化检测中的应用及相关问题。
2021-02-05 cs.IT math.IT stat.ML
Leveraging Optimal Transport for Distributed Two-Sample Testing: An Integrated Transportation Distance-based Framework
本文提出基于集成传输距离的分布式双样本检验框架，解决联邦学习中分布变化检测问题，通过置换检验实现高效计算，具有稳健错误控制和高功效。
2025-06-19 math.ST stat.AP stat.CO
Towards Testing Monotonicity of Distributions Over General Posets
在这项工作中，我们考虑的样本的复杂性测试的单调性分布在偏序。偏序集上的分布$p$是单调的，如果对于任何一对域元素$x$和$y$，使得$x \preceq y$，$p(x) \leq p(y)$。为了理解这个问题的样本复杂性，我们引入了一个新的属性称为bigness在有限域，其中的分布是$T$ -大，如果任何域元素的最小概率至少是$T$。我们建立了$Ω(n/\log n)$的一个下界，用于检验大小为$n$的域上分布的大性。然后，我们建立在这些下界给$Ω(n/\log{n})$下界测试单调性的匹配偏序集的大小$n$和显着改善的超立方体偏序集的下界。给出了匹配偏序集上的大性检验和单调性检验的次线性样本复杂性界。然后，我们给出了一些工具，分析上界的样本的单调性测试问题的复杂性。
2019-07-06 cs.DS math.ST stat.ML
