Testing error distribution by kernelized Stein discrepancy in multivariate time series models
知道误差分布在许多多变量时间序列应用中是重要的。为了减少错误分布的风险,需要测试方法来检测所选择的错误分布是否正确。然而,现有的大多数检验方法只针对某些特殊的多元时间序列模型进行了多元正态分布的检验,因而不能用于检验实际应用中常见的重尾和偏态误差分布。本文基于核化Stein差异,构造了一般多元时间序列模型的一种新的相容性检验。考虑到估计的不确定性和未观测到的初始值,提供了一种自举方法来计算临界值。我们的新测试是易于实现的大范围的多元误差分布,其重要性是由模拟和真实数据说明。
2020-08-03 econ.EM stat.ME
Testing Hypotheses by Regularized Maximum Mean Discrepancy
IDSIA/SUPSI;Università della Svizzera Italiana(瑞士意大利语区大学);Vita-Salute San Raffaele University(圣拉斐尔生命健康大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Université de Sherbrooke(舍布鲁克大学)
两个数据样本是否来自不同的分布?最近对这个基本问题的研究集中在将概率分布嵌入到足够丰富的特征再生核希尔伯特空间(RKHS)中,以通过嵌入之间的距离来比较分布。我们发现,正则化最大均值离散度(RMMD),我们的新措施,基于内核的假设检验,即使样本量很小,也会产生实质性的改善,并擅长于假设检验,涉及多重比较与功率控制。我们推导出零假设和备择假设下的渐近分布,并评估功率控制。在以下方面获得了出色的结果:具有挑战性的EEG数据,MNIST,Berkley Covertype和Flare-Solar数据集。
2013-05-02 cs.AI cs.LG stat.ML
Hypothesis testing for matched pairs with missing data by maximum mean discrepancy: An application to continuous glucose monitoring
统计科学中经常遇到的问题是如何正确处理配对观测中的缺失数据。有大量的文献处理单变量的情况下。然而,在测量生物系统方面正在进行的技术进步提出了处理更复杂数据的需要,例如,图形、字符串和概率分布等。为了填补这一空白,本文提出了新的估计的最大平均差异(MMD)处理复杂的匹配对缺失数据。这些估计器可以检测不同缺失机制下数据分布的差异。这种方法的有效性得到证明,并在广泛的仿真研究中进一步研究,并提供统计一致性的结果。在一个纵向人群为基础的糖尿病研究的连续血糖监测数据被用来说明这种方法的应用。通过采用新的分布表示与聚类分析,可以探索五年内葡萄糖变化在分布水平上如何变化的新临床标准。
2022-06-03 stat.ME stat.ML
Statistical Inference for Generative Models with Maximum Mean Discrepancy
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所);Imperial College London(帝国理工学院)
虽然基于似然的推理及其变体提供了一种统计上有效且广泛适用的参数推理方法,但将其应用于涉及棘手似然的模型会带来挑战。在这项工作中,我们研究了一类最小距离估计的棘手的生成模型,即统计模型的可能性是棘手的,但模拟是廉价的。考虑的距离,最大平均差异(MMD),通过嵌入到再生核希尔伯特空间的概率测度定义。我们研究了这些估计量的理论性质,证明了它们是相合的、渐近正态的和对模型误设的鲁棒性。这些估计器的一个主要优点是核的选择所提供的灵活性,这可以用来权衡统计效率和鲁棒性。在算法方面,我们研究了几何形状引起的MMD的参数空间,并使用此引入一种新的自然梯度下降算法,有效地实现这些估计。我们说明了几类模型,包括离散时间潜在的马尔可夫过程和两个多变量随机微分方程模型的理论结果的相关性。
2019-06-13 cs.LG math.ST stat.CO
Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics
University of British Columbia(不列颠哥伦比亚大学);Alberta Machine Intelligence Institute(阿尔伯塔人工智能研究所)
研究不等样本量下的MMD检验问题,通过扩展广义U统计量理论应用于MMD估计量,得到其渐近分布新特征及检验功效优化准则,保留所有数据提升检验准确性与适用性,还清晰刻画了MMD估计量方差。
2026-07-10 cs.LG math.ST stat.ME
Gradient-Free Kernel Stein Discrepancy
斯坦差异已成为一个强大的统计工具,被应用于基本的统计问题,包括参数推断,拟合优度检验和抽样。典型的斯坦差异需要计算统计模型的导数,并反过来提供收敛检测和控制的理论保证。然而,对于复杂的统计模型,导数的稳定数值计算可能需要定制的算法开发,并使Stein差异不切实际。本文重点介绍了后验近似使用斯坦差异,并介绍了一个非典型的斯坦差异,梯度自由,这意味着衍生物的统计模型是不需要的。建立了收敛检测和控制的充分条件,并给出了在采样和变分推断中的应用。
2022-07-18 math.ST stat.CO stat.TH
Post Selection Inference with Incomplete Maximum Mean Discrepancy Estimator
测量两个分布之间的差异在机器学习和统计学中是必不可少的,并且具有各种应用,包括二进制分类,变点检测和双样本测试。此外,在大数据时代,设计可解释的、能够处理高维复杂数据的分歧度量变得非常重要。在本文中,我们提出了一个后选择推理(PSI)框架的分歧措施,它可以选择一组统计上显着的特征,区分两个分布。具体来说,我们采用了添加剂的最大均值差异(MMD)的功能,并介绍了一个一般的假设检验PSI。提出了一种新的基于不完全U-统计量的MMD估计器,该估计器具有渐近正态分布(在较弱的假设下),在PSI中具有较高的检测能力。通过合成和真实世界的特征选择实验,我们表明,该框架可以成功地检测统计上显着的功能。最后,我们提出了一个样本选择框架,用于分析生成对抗网络(GANs)家族中的不同成员。
2018-02-17 stat.ML
Strictly Proper Kernel Scoring Rules and Divergences with an Application to Kernel Two-Sample Hypothesis Testing
我们研究了再生核Hilbert空间中的严格恰当评分规则。我们提出了一个通用的核评分规则和相关的核分歧。我们考虑的条件下,核分数是严格适当的。然后,我们证明了核分数包括作为特殊情况的最大均值离散。我们还考虑了核分数和适当损失函数的最小风险之间的联系。我们表明,核分数包含更多的信息有关的投影嵌入式分布相比,最大均值离散。最后,我们展示了如何整合从不同的核分歧,如建议Bhattacharyya核分歧,使用一个类分类器改进的双样本假设检验结果提供的信息。
2017-04-22 stat.ML
Goodness-of-Fit Tests for Censored and Truncated Data: Maximum Mean Discrepancy Over Regular Functionals
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidade de Vigo(维戈大学)
本文提出了一种基于最大均值差异的适配性检验方法,用于处理删失和截断数据,解决了传统方法在计算和收敛性上的不足。
2026-02-08 stat.ME
Minimax Estimation of Kernel Stein Discrepancy: Trace versus Hilbert-Schmidt Scales
Weierstrass Institute(魏尔斯特拉斯研究所)
研究从n个独立观测估计核Stein差异,确定控制极小极大风险的尖锐谱常数,正部平方根U统计量达最优尺度,标准插件V统计量次优。
2026-07-07 math.ST stat.ML stat.TH
Nyström Kernel Stein Discrepancy Tests
Chair of Information Systems(信息系统系);Department of Statistics(统计系);London School of Economics(伦敦经济学院);The Pennsylvania State University(宾夕法尼亚州立大学)
本文提出并理论证明 Nyström 加速的核 Stein 散度检验在保持渐近水平和局部一致性的同时,显著降低计算复杂度。
2026-05-24 cs.LG math.ST stat.ML
Kernel Two-Sample Tests in High Dimension: Interplay Between Moment Discrepancy and Dimension-and-Sample Orders
针对高维大规模数据下核两样本检验的应用需求,推导各向同性核MMD等统计量的渐近展开,建立多假设下的中心极限定理,揭示矩差异与维度-样本阶数的相互作用并通过数值验证。
2024-10-30 math.ST stat.ML stat.TH
Kernelized Stein Discrepancy for Goodness-of-Fit Tests and Stein Sampling in R
University of California San Diego(加州大学圣地亚哥分校)
该研究提出核化Stein差异,开发R包steinsampling提供统一工作流,实现基于得分的Stein方法在拟合优度检验与采样中的应用,提升方法的复用性与可扩展性。
2026-10-14 stat.CO stat.ME
Signature Maximum Mean Discrepancy Two-Sample Statistical Tests
Department of Informatics(信息学系);King’s College London(伦敦国王学院);Department of Mathematics(数学系);University of Oxford(牛津大学)
本文研究签名最大均值差异(sig-MMD)在路径分布双样本检验中的实际应用,分析其导致第2类错误的情形并提出缓解技术。
2025-06-02 cs.LG math.DS stat.ML
Minimum Stein Discrepancy Estimators
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
当极大似然估计不可行时,人们往往转向得分匹配,对比发散,或最小概率流,以获得易于处理的参数估计。我们提供了一个统一的角度来看,这些技术的最小斯坦差异估计,并使用这个镜头设计新的扩散核斯坦差异(DKSD)和扩散评分匹配(DSM)估计互补的优势。我们建立了DKSD和DSM估计量的相合性、渐近正态性和稳健性,然后推导了随机黎曼梯度下降算法,使其有效地优化。我们的方法的主要优势是它的灵活性,这使我们能够设计估计与所需的属性为特定的模型在手仔细选择斯坦差异。我们说明了这一优势的分数匹配,如非光滑,重尾或轻尾密度的几个具有挑战性的问题。
2022-10-06 cs.LG math.ST stat.ME
Universal Hypothesis Testing with Kernels: Asymptotically Optimal Tests for Goodness of Fit
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Syracuse University(雪城大学);Cubist Systematic Strategies(立体派系统策略公司)
我们刻画了非参数拟合优度检验的渐近性能。使用第二类错误概率的指数衰减率作为渐近性能度量,并且如果测试在第一类错误概率上的恒定水平约束下达到最大速率,则测试是最优的。我们发现,两类最大均值离散(MMD)为基础的测试达到这个最优的$\mathbb R^d$,而二次时间内核斯坦离散(KSD)为基础的测试达到最大指数衰减率下放松的水平约束。在相同的性能指标下,我们继续表明,基于二次时间MMD的双样本测试也是最佳的一般双样本问题,提供的内核是有界连续和特征。我们的方法的关键是大偏差理论的Sanov定理和MMD和KSD的弱度量化性质。
2019-03-18 cs.IT cs.LG math.IT
Standardisation-function Kernel Stein Discrepancy: A Unifying View on Kernel Stein Discrepancy Tests for Goodness-of-fit
基于核斯坦差异(KSD)的非参数拟合优度检验程序是在各种情况下验证一般非正态化分布的有前途的方法。现有的工作集中在研究内核的选择,以提高测试性能。然而,(非唯一)Stein算子的选择也有相当大的影响的测试性能。受标准化技术的启发,最初开发的正态分布,以更好地获得近似性能,我们提出了一个统一的框架,称为标准化函数核斯坦差异(Sf-KSD),研究不同的斯坦运营商在KSD为基础的测试拟合优度。我们推导出明确的建议框架与现有的KSD为基础的测试,并表明,Sf-KSD可以作为一个指南,开发新的基于内核的非参数测试复杂的数据场景,如截尾分布或成分数据。实验结果表明,所提出的测试控制第一类错误以及实现更高的测试功率比现有的方法。
2022-05-31 stat.ME stat.ML
Computationally efficient goodness-of-fit tests through kernelized Stein discrepancy
Department of Statistics and Data Science(统计与数据科学系)
本文提出了一种半参数核化Stein检验,统一了基于分数和距离的拟合优度检验方法,通过指数倾斜模型展示其等价性,并在计算效率和通用性方面优于现有方法。
2026-10-27 cs.LG stat.ME stat.ML
Asymptotically Optimal One- and Two-Sample Testing with Kernels
我们描述了非参数单样本和双样本检验的渐近性能。第二类错误概率的指数衰减率或错误指数被用作渐近性能度量,并且最优测试在第一类错误概率的恒定水平约束下实现最大速率。利用Sanov定理,我们得到了单样本检验在普适环境下达到最优误差指数的一个充分条件,即,定义备择假设的分布。然后,我们表明,两个类的最大均值离散(MMD)为基础的测试达到最佳的第二类误差指数$\mathbb R^d$,而二次时间核斯坦离散(KSD)为基础的测试实现了这个最优的渐近水平约束。然而,对于一般的双样本检验,Sanov定理不足以获得类似的充分条件。我们继续建立一个扩展版本的Sanov定理,并推导出一个精确的误差指数的二次时间MMD基于两个样本测试。进一步证明了所得到的误差指数在满足给定水平约束的所有双样本检验中是最优的。因此,我们的工作提供了一个最佳的非参数单样本和双样本测试在通用设置的可验证性结果。并讨论了其在离线变化检测中的应用及相关问题。
2021-02-05 cs.IT math.IT stat.ML
Maximum entropy based testing in network models: ERGMs and constrained optimization
National University of Singapore(新加坡国立大学);Kyushu University(九州大学)
本文基于最大熵原理研究网络模型的拟合优度和两样本检验,通过约束优化问题构建测试统计量,提出统一的熵基框架适用于不同增长模式。
2026-03-26 cs.IT math.IT math.PR
Stein Discrepancy for Unsupervised Domain Adaptation
本文提出利用斯蒂恩偏差的无监督域适应框架,通过核化和对抗形式提升低数据目标场景下的性能。
2025-12-05 cs.LG stat.ML
Strategic A/B testing via Maximum Probability-driven Two-armed Bandit
本文提出一种基于反事实框架的最大概率驱动双臂老虎机(TAB)方法,通过加权均值波动性统计量控制第一类错误,有效检测微小平均处理效应,在维持高统计功效的同时显著降低A/B测试成本。
2025-06-27 cs.LG math.PR stat.ML
Testing maximum entropy models with e-values
本文针对最大熵模型的假设检验,提出微正则与正则设置下的最优 e 值及微正则近似,并在 $2 \ imes k$ 列联表中验证其有效性。
2025-09-01 cond-mat.stat-mech physics.data-an stat.ME
Generative Neural Networks for Sinkhorn Distributionally Robust Hypothesis Testing
School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)人工智能学院);College of Business, City University of Hong Kong(香港城市大学商学院);School of Data Science, The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据科学学院)
本文针对现有Sinkhorn分布鲁棒假设检验方法可扩展性不足的问题,提出基于超输入凸神经网络的生成式框架,实现了更优的检测精度与鲁棒性,且具备良好的可扩展性。
2026-08-25 cs.LG math.OC stat.ML
The $β$-model for Random Graphs --- Regression, Cramér-Rao Bounds, and Hypothesis Testing
我们开发了一种基于最大似然的回归方法,其中因变量是一个随机图,协变量可以在图级上使用。该模型推广了著名的随机图$β$模型,通过用回归函数代替常数模型参数。对无向$β$ -模型、有向$β$ -模型和广义$β$ -模型分别导出了克拉美-拉奥界.相应的极大似然估计的界限进行了比较,通过模拟。此外,给出了如何使用所提出的极大似然估计量来检验方向性和显著性的例子。最后,该模型的适用性证明了使用动态的社会网络数据描述医疗工作者之间的通信。
2016-11-14 stat.ME
Universal Robust Regression via Maximum Mean Discrepancy
针对现有鲁棒估计方法多针对特定模型的问题,提出基于最大均值差异最小化的通用鲁棒回归方法,构建两个对Huber型污染鲁棒的估计量,其中一个兼具对抗污染鲁棒性并获非渐近误差界,还附带得到核条件均值嵌入的新结果。
2023-05-04 math.ST stat.TH
Testing Un-Separated Hypotheses by Estimating a Distance
在本文中,我们提出了一个贝叶斯回答测试问题时,假设没有很好地分离。该方法的思想是研究参数与我们想要检验的模型之间的差异度量的后验分布。这被证明是等效的测试损失的修改。这种方法的一个优点是,它可以很容易地适应复杂的假设测试,这是一般难以测试。的渐近性质的测试可以从差异测量的后验分布的渐近行为,并给出了可能的校准洞察。此外,可以得到分离率的测试,这确保了我们的程序的渐近频率最优性。
2017-06-27 math.ST stat.ME stat.TH
Neural Tangent Kernel Maximum Mean Discrepancy
Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的神经网络最大平均离散(MMD)统计量,通过识别神经正切核(NTK)和MMD之间的一种新的连接。这种连接使我们能够开发一种计算效率和内存效率高的方法来计算MMD统计量,并执行基于NTK的双样本测试,以解决MMD统计量的内存和计算复杂性的长期挑战,这对于在线实现吸收新样本至关重要。从理论上讲,这样的连接使我们能够理解NTK检验统计量的属性,如第一类错误和执行双样本检验的检验能力,通过调整现有的理论内核MMD。在合成数据集和真实数据集上的数值实验验证了理论的正确性,并证明了NTK-MMD统计量的有效性。
2021-10-17 cs.LG math.ST stat.ML
MMD-Bayes: Robust Bayesian Estimation via Maximum Mean Discrepancy
CREST(Crest研究中心);ENSAE(法国国立统计与经济管理学院);Institut Polytechnique de Paris(巴黎理工学院);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
在某些错误指定的设置中,贝叶斯统计中的后验分布可能导致不一致的估计。为了解决这个问题,已经建议用伪似然代替似然,伪似然是享受适当鲁棒性特性的损失函数的指数。在本文中,我们建立了一个伪似然最大均值离散的基础上,定义通过嵌入的概率分布到再生核希尔伯特空间。我们表明,这种MMD-Bayes后验是一致的和强大的模型误设定。由于以这种方式获得的后验可能是棘手的,我们还证明了合理的变分近似后享有相同的属性。我们提供的随机梯度算法来计算这些变分近似的细节。数值模拟确实表明,我们的估计是更强大的误指定比的基础上的可能性。
2019-12-11 cs.LG math.ST stat.ML
Game theory, maximum entropy, minimum discrepancy and robust Bayesian decision theory
我们描述和开发的两个问题,通常被视为不同的密切关系:最大化熵,最小化最坏情况下的预期损失。使用配方接地的平衡理论的决策者和自然之间的零和对策,这两个问题被证明是对偶的,每个提供的解决方案,以其他。尽管托普索在20多年前就描述了香农熵的这种联系,但即使在这个重要的特殊情况下,它似乎也没有被广泛了解。本文将这一理论推广到任意判定问题和损失函数。我们表明如何适当的广义熵的定义可以与这样一个问题,我们表明,在一定的规律性条件下,上述对偶性继续适用于在此扩展的上下文中。这同时为最大化熵提供了一个可能的理论基础,也为寻找鲁棒贝叶斯行为提供了一个工具。我们还描述了熵最大化的问题和最小化相关的差异或分布之间的分歧之间的本质相同。这导致了一个著名的Kullback-Leibler发散情况下的极大极小极大定理(信息论的“冗余容量定理”)的任意差异的扩展。对于具有特定平均值的分布族的重要情形,我们给出了确定所需解的简单充分条件和方法。
2004-10-05 math.ST stat.TH
Conditional Independence Testing Using Exchangeable Pairs
National University of Singapore(新加坡国立大学)
提出基于可交换对的条件独立性检验方法,将问题转化为两样本检验,利用能量距离度量偏离,并证明其一致性和最优检测率。
2026-06-11 math.ST stat.ME stat.TH
Non-asymptotic two-sample kernel testing with the spectrally truncated normalized MMD
Nantes Université(南特大学);Laboratoire de Mathématiques Jean Leray, LMJL(让·勒雷数学实验室);Ecole Normale Supérieure de Lyon(里昂高等师范学院);Université Claude Bernard Lyon 1(里昂第一大学);Laboratoire de Biologie et Modélisation de la Cellule(细胞生物学与建模实验室);CEREMADE, CNRS, Université Paris-Dauphine(巴黎道芬大学数学与计算机科学研究与应用中心);Université PSL(巴黎文理研究大学);Université Paris-Saclay(巴黎萨克雷大学);Inria, LMO(法国国家信息与自动化研究所,数学与优化实验室)
本文研究了两样本核检验问题,提出归一化MMD作为检验统计量,通过谱截断归一化MMD推导非渐近上界,并提出数据自适应估计器和超参数调优算法。
2026-04-08 math.ST stat.ME stat.TH
Exact Testing of Many Moment Inequalities Against Multiple Violations
本文考虑了多个矩不等式的检验问题,其中矩不等式的个数($p$)可能大于样本量($n$). Escherichzhukov等人(2019)提出了使用最大$t$统计量对此问题进行渐近检验。我们观察到,这样的测试可以有低功率,如果多个不等式被违反。作为替代方案,我们提出了新的随机化测试的基础上,最大的非负加权组合的$t$统计。我们提供了一个条件,保证在大样本的大小控制。模拟表明,测试控制小样本($n = 30$,$p = 1000$)的大小,并经常有更高的权力对多个违规的替代品比测试的基础上最大的$t$统计。
2020-06-08 econ.EM math.ST stat.TH
Asymptotics and practical aspects of testing normality with kernel methods
本文研究了希尔伯特空间中基于最大平均偏差的正态性检验问题。具体来说,我们讨论的行为的测试从两个角度:渐近性和实用方面。在固定的备择假设下,得到了检验的渐近正态性,这意味着检验具有一致性。本文还导出了检验在局部选择序列下的渐近分布,由此得到了检验的渐近零分布。与零分布相关的积分核的具体表达式是在高斯核的使用下导出的,允许实现零分布的可靠近似。模拟和实际数据集的应用报告,重点是高维低样本量的情况下。
2019-02-08 math.ST stat.ME stat.TH
Maximum a posteriori testing in statistical inverse problems
针对统计逆问题的假设检验需求,提出最大后验检验方法,完成频率学派性质分析与功效下界推导,实验验证其在不同不适定场景下的优越性能。
2025-03-24 cs.NA math.NA math.ST