Universal Hypothesis Testing with Kernels: Asymptotically Optimal Tests for Goodness of Fit
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Syracuse University(雪城大学);Cubist Systematic Strategies(立体派系统策略公司)
我们刻画了非参数拟合优度检验的渐近性能。使用第二类错误概率的指数衰减率作为渐近性能度量,并且如果测试在第一类错误概率上的恒定水平约束下达到最大速率,则测试是最优的。我们发现,两类最大均值离散(MMD)为基础的测试达到这个最优的$\mathbb R^d$,而二次时间内核斯坦离散(KSD)为基础的测试达到最大指数衰减率下放松的水平约束。在相同的性能指标下,我们继续表明,基于二次时间MMD的双样本测试也是最佳的一般双样本问题,提供的内核是有界连续和特征。我们的方法的关键是大偏差理论的Sanov定理和MMD和KSD的弱度量化性质。
2019-03-18 cs.IT cs.LG math.IT
A Joint-Distribution Route to Fair Representations with Continuous Sensitive Attributes
Georgia Institute of Technology(佐治亚理工学院)
该研究提出一种无需条件分布的联合分布路径,以 HSIC 为实例实现公平表示学习,其收敛速度优于条件路径方法,对应算法 FRHSIC 能在保持公平性-准确性权衡的同时缩短训练时间。
2026-08-12 cs.LG stat.AP
Neural Tangent Kernel Maximum Mean Discrepancy
Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的神经网络最大平均离散(MMD)统计量,通过识别神经正切核(NTK)和MMD之间的一种新的连接。这种连接使我们能够开发一种计算效率和内存效率高的方法来计算MMD统计量,并执行基于NTK的双样本测试,以解决MMD统计量的内存和计算复杂性的长期挑战,这对于在线实现吸收新样本至关重要。从理论上讲,这样的连接使我们能够理解NTK检验统计量的属性,如第一类错误和执行双样本检验的检验能力,通过调整现有的理论内核MMD。在合成数据集和真实数据集上的数值实验验证了理论的正确性,并证明了NTK-MMD统计量的有效性。
2021-10-17 cs.LG math.ST stat.ML
Signature Maximum Mean Discrepancy Two-Sample Statistical Tests
Department of Informatics(信息学系);King’s College London(伦敦国王学院);Department of Mathematics(数学系);University of Oxford(牛津大学)
本文研究签名最大均值差异(sig-MMD)在路径分布双样本检验中的实际应用,分析其导致第2类错误的情形并提出缓解技术。
2025-06-02 cs.LG math.DS stat.ML
The Variational Fair Autoencoder
University of Toronto(多伦多大学);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院);University of California, Irvine(加州大学欧文分校);University of Amsterdam(阿姆斯特丹大学)
我们研究的问题,学习表示,是不变的某些滋扰或敏感因素的变化,在数据中,同时保留尽可能多的剩余信息。我们的模型是基于一个变分自动编码架构与先验,鼓励敏感和潜在的变化因素之间的独立性。然后可以对该清除的潜在表示执行任何后续处理,诸如分类。为了去除任何剩余的依赖关系,我们根据“最大平均离散度”(MMD)度量引入了一个额外的惩罚项。我们讨论了如何在数据上有效地训练这些架构,并在实验中表明,这种方法比以前的工作更有效地去除不必要的变化来源,同时保持信息丰富的潜在表示。
2017-08-10 cs.LG stat.ML
Kernel Two-Sample Testing via Directional Components Analysis
Guangzhou Nanfang College(广州南方学院);Xi’an Jiaotong–Liverpool University(西交利物浦大学);Peking University(北京大学)
针对标准核双样本检验中尾部方向成分噪声导致功效下降的问题,提出通过截断MMD谱分解保留前导方向成分的核检验方法,结合高效参数自举过程,在高维和不平衡场景下实现更优功效和稳健性。
2026-06-16 math.ST stat.ME stat.ML
Cheap Permutation Testing
Microsoft Research(微软研究院);Cornell Tech(康奈尔科技)
研究如何加速排列检验,提出将数据点分组为箱并仅对箱排列的方法,证明该廉价排列检验对U和V统计量有运行快、功效近似标准检验的特性,继承了标准检验的优点且优于多种其他检验。
2026-07-22 math.ST stat.CO stat.ME
On Learning and Testing of Counterfactual Fairness through Data Preprocessing
North Carolina State University(北卡罗来纳州立大学);Indian Institute of Management(印度管理学院)
机器学习在现实生活中的决策中变得越来越重要,但人们担心它在使用不当时可能带来的伦理问题。最近的工作将机器学习公平性的讨论引入因果框架,并详细阐述了反事实公平性的概念。在本文中,我们开发了通过dAta预处理进行公平学习(FLAP)算法,以从有偏见的训练数据中学习反事实公平决策,并形式化应使用不同数据预处理程序来保证反事实公平性的条件。我们还表明,反事实的公平性是等价的条件独立的决定和敏感属性的处理非敏感属性,这使我们能够检测歧视的原始决策使用处理后的数据。我们的算法的性能说明使用模拟数据和现实世界的应用程序。
2022-02-25 cs.LG stat.ML
Equivalence of distance-based and RKHS-based statistics in hypothesis testing
University College London(伦敦大学学院);University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Institute of Statistical Mathematics(统计数学研究所)
我们提供了一个统一的框架,连接两类统计用于双样本和独立性测试:一方面,从统计文献的能量距离和距离协方差;另一方面,最大均值差异(MMD),即嵌入的分布之间的距离再生核希尔伯特空间(RKHS),建立在机器学习。在使用负类型的半度量计算能量距离的情况下,可以定义一个正定核(称为距离核),使得MMD精确对应于能量距离。相反,对于任何正定核,我们可以将MMD解释为关于某个负型半度量的能量距离。这种等价性很容易扩展到使用乘积空间上的核的距离协方差。我们确定一类概率分布的检验统计量是一致的对所有的替代品。最后,我们调查的距离内核在两个样本和独立性测试的家庭的性能:我们特别表明,最常用的统计能量距离只是一个成员的参数家庭的内核,从这个家庭的其他选择可以产生更强大的测试。
2013-11-12 cs.LG math.ST stat.ME
A Scalable Nystrom-Based Kernel Two-Sample Test with Permutations
CNRS, Univ. Grenoble-Alpes, GIPSA-lab, France e1;MaLGa Center - DIBRIS, Università di Genova, Genoa, Italy e2,e4;CNRS, Laboratoire d'Informatique Gaspard Monge, Champs-sur-Marne, France e3;CBMM - Massachusets Institute of Technology, Cambridge, MA, USA
本文提出一种基于Nystrom近似的高效两样本检验方法,通过保留统计保证,解决大规模数据下的计算成本问题,并在分离率上达到最小化最优标准。
2026-04-20 cs.LG math.ST stat.ME
Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics
University of British Columbia(不列颠哥伦比亚大学);Alberta Machine Intelligence Institute(阿尔伯塔人工智能研究所)
研究不等样本量下的MMD检验问题,通过扩展广义U统计量理论应用于MMD估计量,得到其渐近分布新特征及检验功效优化准则,保留所有数据提升检验准确性与适用性,还清晰刻画了MMD估计量方差。
2026-07-10 cs.LG math.ST stat.ME
A Semi-Bayesian Nonparametric Estimator of the Maximum Mean Discrepancy Measure: Applications in Goodness-of-Fit Testing and Generative Adversarial Networks
University of Hong Kong(香港大学);University of Maryland(马里兰大学)
针对难以处理似然的模型,提出半贝叶斯非参数MMD估计器用于拟合优度检验,并嵌入GAN框架,实现更低的错误率、增强样本多样性和推断准确性。
2023-11-10 cs.LG stat.AP stat.ME
A Permutation-free Kernel Two-Sample Test
Carnegie Mellon University(卡内基梅隆大学);Yonsei University(延世大学)
本文提出了一种基于样本划分和学生化的新统计量cross-MMD,解决了核MMD两样本检验中因置换导致计算成本大的问题,在原假设下具有标准高斯极限分布,并在保持极小极大最优功效的同时实现了显著加速。
2025-09-15 cs.LG math.ST stat.ME
Generative Models and Model Criticism via Optimized Maximum Mean Discrepancy
University College London(伦敦大学学院);Carnegie Mellon University(卡内基梅隆大学);University of California at Berkeley(加州大学伯克利分校)
我们提出了一种方法来优化的代表性和可重复性的样本从两个概率分布,通过最大化估计功率的统计检验的基础上的最大均值差异(MMD)。这种优化的MMD被应用于生成对抗网络(GAN)的无监督学习设置,其中模型试图生成真实的样本,而模型试图将这些样本与数据样本区分开来。在此上下文中,MMD可用于两个角色:第一,作为直接在样本上或在样本的特征上的标记。第二,MMD可以用于评估生成模型的性能,通过测试模型的样本对参考数据集。在后一个角色中,优化的MMD特别有用,因为它给出了模型和数据分布如何不同的可解释指示,即使在单个模型样本不容易通过眼睛或分类器区分的情况下。
2021-01-14 cs.AI cs.LG cs.NE
A Kernel Two-Sample Test for Functional Data
我们提出了一种基于最大均值离散(MMD)的非参数双样本检验方法,用于检验两个函数样本具有相同的潜在分布的假设,使用定义在函数空间上的核。这种结构的动机是基于MMD的测试的效率不断增加的维度的数据集的缩放分析。函数空间及其相关的MMD内核的理论属性的建立和使用,以确定新提出的测试的有效性,以及评估使用功能重建的基础上离散函数样本的影响。在一系列的合成和现实世界的数据集的理论结果证明。
2020-10-19 math.ST stat.ME stat.ML
Conditional Distributional Treatment Effects: Doubly Robust Estimation and Testing
Department of Statistics, University of Washington, Seattle, USA(华盛顿大学统计系,美国西雅图);Departments of Health Care Policy and Statistics, Harvard University, USA(哈佛大学健康政策与统计系,美国)
本文提出捕捉条件分布治疗效应的新估计量,开发了局部渐近最优的双重鲁棒估计器,并设计了检验条件潜在结果分布全局同质性的测试方法,具有严格的一阶误差控制和一致性。
2026-09-23 cs.LG math.ST stat.ME
Beyond Internal Data: Constructing Complete Datasets for Fairness Testing
Centre of Artificial Intelligence University College London(人工智能研究中心伦敦大学学院)
针对公平性测试中人口统计数据难以获取的问题,本文提出利用分离但重叠的数据集构建高保真合成完整数据,实证表明其公平性指标与真实数据一致。
2025-07-24 cs.AI cs.LG stat.ML
Asymptotically Optimal One- and Two-Sample Testing with Kernels
我们描述了非参数单样本和双样本检验的渐近性能。第二类错误概率的指数衰减率或错误指数被用作渐近性能度量,并且最优测试在第一类错误概率的恒定水平约束下实现最大速率。利用Sanov定理,我们得到了单样本检验在普适环境下达到最优误差指数的一个充分条件,即,定义备择假设的分布。然后,我们表明,两个类的最大均值离散(MMD)为基础的测试达到最佳的第二类误差指数$\mathbb R^d$,而二次时间核斯坦离散(KSD)为基础的测试实现了这个最优的渐近水平约束。然而,对于一般的双样本检验,Sanov定理不足以获得类似的充分条件。我们继续建立一个扩展版本的Sanov定理,并推导出一个精确的误差指数的二次时间MMD基于两个样本测试。进一步证明了所得到的误差指数在满足给定水平约束的所有双样本检验中是最优的。因此,我们的工作提供了一个最佳的非参数单样本和双样本测试在通用设置的可验证性结果。并讨论了其在离线变化检测中的应用及相关问题。
2021-02-05 cs.IT math.IT stat.ML
Spectral Regularized Kernel Two-Sample Tests
Pennsylvania State University(宾夕法尼亚州立大学)
本文研究基于RKHS嵌入的双样本检验最优性,证明MMD检验非最优,并提出利用协方差信息的谱正则化MMD检验,证明其极小极大最优且分离边界更小,同时给出自适应版本,实验验证其优越性。
2024-05-01 cs.LG math.ST stat.ML
Confidence Intervals for Testing Disparate Impact in Fair Learning
Institut de Mathématiques de Toulouse(图卢兹数学研究所);Universidad de Valladolid(巴利亚多利德大学)
我们提供了统计文献中用于量化机器学习中不同处理的主要指标的渐近分布。我们的目标是促进使用置信区间时,测试所谓的组不同的影响。我们在一些例子中说明了使用置信区间而不是单个值的重要性。
2018-07-17 cs.LG math.ST stat.ML
Robust Fairness under Covariate Shift
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);California Institute of Technology(加州理工学院)
对受保护群体的成员资格(种族、性别、年龄等)做出公平的预测已经成为分类算法的重要要求。现有技术从采样标记数据中导出公平模型,依赖于训练数据和测试数据从相同分布中相同且独立地抽取(iid)的假设。在实践中,当与机器学习系统交互的个体的特征改变时,在训练和测试数据集之间可能并且确实发生分布偏移。我们研究了协变量偏移下的公平性,这是对iid假设的放松,其中输入或协变量发生变化,而条件标签分布保持不变。在这些假设下,我们在具有未知标签的目标数据上寻求公平的决策。我们提出了一种方法,获得的预测,是强大的最坏情况下的目标性能,同时满足目标的公平性要求和匹配的统计特性的源数据。我们展示了我们的方法对基准预测任务的好处。
2021-02-06 cs.LG stat.ML
Testing Group Fairness via Optimal Transport Projections
Stanford University(斯坦福大学);Singapore University of Technology and Design(新加坡科技设计大学);VinAI Research(VinAI研究院)
我们提出了一个统计测试框架来检测给定的机器学习分类器是否无法满足广泛的组公平性概念。所提出的测试是一种灵活的,可解释的,统计上严格的工具,用于审计是否表现出的偏见是固有的算法或由于数据的随机性。统计的挑战,这可能会出现从多个影响标准,定义组公平性和模型参数是不连续的,方便地解决了投影的经验措施组公平的概率模型,使用最佳运输。这个统计量是有效地计算使用线性规划和它的渐近分布明确获得。该框架还可以用于测试复合公平性假设和多敏感属性的公平性。最佳的运输测试配方,提高了可解释性的特点,最小的协变量扰动,消除了在审计中观察到的偏见。
2021-06-02 cs.CY cs.LG math.ST
Kernel Trace Distance: Quantum Statistical Metric between Measures through RKHS Density Operators
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI、巴黎电信学院、巴黎理工学院);CREST, ENSAE, Institut Polytechnique de Paris(CREST、ENSAE、巴黎理工学院)
本文提出一种基于核协方差算子Schatten范数的测度间距离,介于MMD与Wasserstein距离之间,更具判别性和鲁棒性,并给出高效算法,应用于鲁棒近似贝叶斯计算与粒子流模拟。
2025-07-08 cs.LG stat.ML
A Witness Two-Sample Test
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Google Research(谷歌研究院)
最大平均离散度(MMD)是解决双样本问题的最先进的非参数检验。它的统计量由见证函数的期望值的差异给出,见证函数是一个实值函数,定义为一组基点上的核评估的加权和。通常,在训练集上优化内核,并且在单独的测试集上执行假设测试以避免过拟合(即,控制I型错误)。也就是说,测试集用于同时估计期望值和定义基点,而训练集仅用于选择内核并被丢弃。在这项工作中,我们建议使用训练数据来定义权重和基点,以获得更好的数据效率。我们表明:1)新的测试是一致的,并具有良好控制的I型错误; 2)最佳见证函数由与内核相关的再生内核希尔伯特空间中的精度加权平均值给出;以及3)所提出的测试的测试能力与MMD和其他现代测试相当或超过MMD和其他现代测试,如在具有挑战性的合成和真实问题(例如,Higgs数据)。
2022-02-11 cs.LG stat.ML
Robust Kernel Hypothesis Testing under Data Corruption
Centre for Artificial Intelligence(人工智能中心);Gatsby Computational Neuroscience Unit(加布特计算神经科学单位);University College London(伦敦大学学院);Inria London(伦敦研究所);Department of Statistics and Data Science(统计与数据科学系);Department of Applied Statistics(应用统计学系);Yonsei University(延世大学)
我们提出一种数据损坏下稳健的核置换检验方法,控制非渐近第一类错误并证明功效一致性,在两样本和独立性设置中达到极小极大最优,实验表明其功效远高于差分隐私检验。
2025-04-25 cs.LG stat.ML
Two-sample Statistics Based on Anisotropic Kernels
Duke University(杜克大学);University of California, San Diego(加州大学圣地亚哥分校);Yale University(耶鲁大学)
本文介绍了一种新的基于核的最大均值离散(MMD)统计量,用于测量有限多个多元样本下两个分布之间的距离。当分布是局部低维时,通过结合局部协方差阵和构造各向异性核,可以使所提出的检验更强大地区分某些替代方案。核矩阵是不对称的;它计算$n$数据点和一组$n_R$参考点之间的亲和度,其中$n_R$可以比$n$小得多。该统计量可看作一类特殊的再生核Hilbert空间MMD,在对核函数的适当假设下,只要$\|p-q\| \sqrt{n} \to \infty $,证明了检验的相合性,并得到了检验功效的有限样本下界.流式细胞术和扩散MRI数据集的应用程序进行了演示,这促使所提出的方法来比较分布。
2018-08-30 cs.LG stat.AP stat.CO
Automated Directed Fairness Testing
Singapore Univ. of Tech. and Design(新加坡科技设计大学);BITS Pilani(皮拉尼博拉理工学院)
公平是决策过程中的一个重要特征。随着机器学习模型越来越多地用于敏感的应用领域(例如教育和就业)进行决策,至关重要的是,这些模型计算的决策没有意外的偏见。但是,我们如何自动验证任意机器学习模型的公平性?对于给定的机器学习模型和一组敏感的输入参数,我们的AEQUITAS方法自动发现突出违反公平性的歧视性输入。AEQUITAS的核心是三种新的策略,在输入空间上采用概率搜索,目的是发现公平性违反。我们的AEQUITAS方法利用常见机器学习模型中固有的鲁棒性来设计和实现可扩展的测试生成方法。我们生成的测试输入的一个吸引人的特点是,它们可以系统地添加到底层模型的训练集,并提高其公平性。为此,我们设计了一个完全自动化的模块,保证提高底层模型的公平性。我们实现了AEQUITAS,并在六个最先进的分类器上对其进行了评估,其中包括一个设计有公平性约束的分类器。我们表明,AEQUITAS有效地生成输入,以发现所有主题分类器中的公平性违反,并使用生成的测试输入系统地提高了相应模型的公平性。在我们的评估中,AEQUITAS产生高达70%的歧视性输入(w.r.t.生成的输入的总数),并利用这些输入将公平性提高到94%。
2018-07-31 cs.AI cs.LG cs.SE
Size-adaptive Hypothesis Testing for Fairness
CENTAI;Graz University of Technology(格拉茨技术大学);Sapienza University(拉瓦尔大学);EURECAT
本文提出一种统一的大小适应性假设检验框架,用于解决公平性评估中的统计决策问题,通过中央极限定理和贝叶斯方法提高小群体的估计精度。
2026-03-19 cs.AI cs.CY cs.LG
Hypothesis testing for matched pairs with missing data by maximum mean discrepancy: An application to continuous glucose monitoring
统计科学中经常遇到的问题是如何正确处理配对观测中的缺失数据。有大量的文献处理单变量的情况下。然而,在测量生物系统方面正在进行的技术进步提出了处理更复杂数据的需要,例如,图形、字符串和概率分布等。为了填补这一空白,本文提出了新的估计的最大平均差异(MMD)处理复杂的匹配对缺失数据。这些估计器可以检测不同缺失机制下数据分布的差异。这种方法的有效性得到证明,并在广泛的仿真研究中进一步研究,并提供统计一致性的结果。在一个纵向人群为基础的糖尿病研究的连续血糖监测数据被用来说明这种方法的应用。通过采用新的分布表示与聚类分析,可以探索五年内葡萄糖变化在分布水平上如何变化的新临床标准。
2022-06-03 stat.ME stat.ML
Variable Selection for Kernel Two-Sample Tests
针对两样本检验的变量选择问题,提出基于核最大均值差异(MMD)的新框架,通过最大化方差正则化MMD统计量选择最优变量子集,并推导了混合整数规划求解算法与检验功效收敛速率,在高维数据上表现优越。
2024-12-20 stat.AP stat.ML
Compress Then Test: Powerful Kernel Testing in Near-linear Time
Harvard University(哈佛大学);MIT(麻省理工学院);Microsoft Research New England(微软研究院新英格兰分部)
针对现有核双样本检验在时间与功效间的权衡问题,提出基于样本压缩的CTT框架,在近线性时间内保持最优检测边界,实验实现20-200倍加速且不损失功效。
2025-03-28 cs.LG math.ST stat.ME
Machine Learning Testing: Survey, Landscapes and Horizons
University College London(伦敦大学学院);Facebook London(Facebook伦敦);Kyushu University(九州大学);Nanyang Technological University(南洋理工大学)
本文对机器学习测试(ML测试)的研究进行了全面的综述。它涵盖了144篇关于测试性能的论文(例如,正确性、鲁棒性和公平性),测试组件(例如,数据、学习程序和框架),测试工作流(例如,测试生成和测试评估),以及应用场景(例如,自动驾驶、机器翻译)。本文还分析了有关数据集的趋势,研究趋势和研究重点,最后总结了ML测试的研究挑战和有前途的研究方向。
2019-12-21 cs.AI cs.LG cs.SE
Spectral Regularized Kernel Goodness-of-Fit Tests
本文针对基于MMD的拟合优度检验在限制性假设下非最优且不可计算的问题,提出将结果推广至一般谱正则化器,涵盖Tikhonov正则化,以提升检验的实用性与最优性。
2025-01-22 math.ST stat.ML stat.TH
Minimax Optimal Kernel Two-Sample Tests with Random Features
本文提出一种基于随机傅里叶特征和谱正则化的核双样本检验,在保证最小最大最优性的同时,将计算复杂度从三次方降低,并通过实验验证其高效性与近似最优功效。
2025-10-16 cs.LG math.ST stat.ML
Kernel Robust Hypothesis Testing
University at Buffalo(布法罗大学)
本文利用核方法和最大均值差异构造数据驱动的不确定性集合,在贝叶斯和Neyman-Pearson两种设定下提出鲁棒核检验方法,并证明其最优性或渐近最优性。
2023-08-05 cs.IT cs.LG eess.SP