Testing Hypotheses by Regularized Maximum Mean Discrepancy
IDSIA/SUPSI;Università della Svizzera Italiana(瑞士意大利语区大学);Vita-Salute San Raffaele University(圣拉斐尔生命健康大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Université de Sherbrooke(舍布鲁克大学)
两个数据样本是否来自不同的分布?最近对这个基本问题的研究集中在将概率分布嵌入到足够丰富的特征再生核希尔伯特空间(RKHS)中,以通过嵌入之间的距离来比较分布。我们发现,正则化最大均值离散度(RMMD),我们的新措施,基于内核的假设检验,即使样本量很小,也会产生实质性的改善,并擅长于假设检验,涉及多重比较与功率控制。我们推导出零假设和备择假设下的渐近分布,并评估功率控制。在以下方面获得了出色的结果:具有挑战性的EEG数据,MNIST,Berkley Covertype和Flare-Solar数据集。
2013-05-02 cs.AI cs.LG stat.ML
Asymptotic normality of generalized maximum spacing estimators for multivariate observations
本文讨论了多元观测值的最大间距法。最近邻球被用作单变量间距的多维模拟。利用一类信息型测度推广了最大间距估计的概念。证明了当所指定的模型类是正确的,即真密度是模型类的成员时,这些广义最大间距估计的渐近正态性。
2019-04-18 math.ST stat.TH
Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics
University of British Columbia(不列颠哥伦比亚大学);Alberta Machine Intelligence Institute(阿尔伯塔人工智能研究所)
研究不等样本量下的MMD检验问题,通过扩展广义U统计量理论应用于MMD估计量,得到其渐近分布新特征及检验功效优化准则,保留所有数据提升检验准确性与适用性,还清晰刻画了MMD估计量方差。
2026-07-10 cs.LG math.ST stat.ME
On the maximum likelihood estimator for the Generalized Extreme-Value distribution
单变量极值理论中的vanilla方法包括将三参数广义极值(GEV)分布拟合到块极大值的样本。尽管有相反的说法,但最大似然估计量的渐近正态性从未被建立。本文利用一个一般结果给出了支持度依赖于参数的二次均值可微的参数族的极大似然估计的一个形式证明。一个有趣的副作用是关于GEV族的二次均值的可微性(缺乏)。
2017-03-15 math.ST stat.TH
Post Selection Inference with Incomplete Maximum Mean Discrepancy Estimator
测量两个分布之间的差异在机器学习和统计学中是必不可少的,并且具有各种应用,包括二进制分类,变点检测和双样本测试。此外,在大数据时代,设计可解释的、能够处理高维复杂数据的分歧度量变得非常重要。在本文中,我们提出了一个后选择推理(PSI)框架的分歧措施,它可以选择一组统计上显着的特征,区分两个分布。具体来说,我们采用了添加剂的最大均值差异(MMD)的功能,并介绍了一个一般的假设检验PSI。提出了一种新的基于不完全U-统计量的MMD估计器,该估计器具有渐近正态分布(在较弱的假设下),在PSI中具有较高的检测能力。通过合成和真实世界的特征选择实验,我们表明,该框架可以成功地检测统计上显着的功能。最后,我们提出了一个样本选择框架,用于分析生成对抗网络(GANs)家族中的不同成员。
2018-02-17 stat.ML
Hypothesis testing for matched pairs with missing data by maximum mean discrepancy: An application to continuous glucose monitoring
统计科学中经常遇到的问题是如何正确处理配对观测中的缺失数据。有大量的文献处理单变量的情况下。然而,在测量生物系统方面正在进行的技术进步提出了处理更复杂数据的需要,例如,图形、字符串和概率分布等。为了填补这一空白,本文提出了新的估计的最大平均差异(MMD)处理复杂的匹配对缺失数据。这些估计器可以检测不同缺失机制下数据分布的差异。这种方法的有效性得到证明,并在广泛的仿真研究中进一步研究,并提供统计一致性的结果。在一个纵向人群为基础的糖尿病研究的连续血糖监测数据被用来说明这种方法的应用。通过采用新的分布表示与聚类分析,可以探索五年内葡萄糖变化在分布水平上如何变化的新临床标准。
2022-06-03 stat.ME stat.ML
Goodness-of-Fit Tests for Censored and Truncated Data: Maximum Mean Discrepancy Over Regular Functionals
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidade de Vigo(维戈大学)
本文提出了一种基于最大均值差异的适配性检验方法,用于处理删失和截断数据,解决了传统方法在计算和收敛性上的不足。
2026-02-08 stat.ME
Kernel Two-Sample Tests in High Dimension: Interplay Between Moment Discrepancy and Dimension-and-Sample Orders
针对高维大规模数据下核两样本检验的应用需求,推导各向同性核MMD等统计量的渐近展开,建立多假设下的中心极限定理,揭示矩差异与维度-样本阶数的相互作用并通过数值验证。
2024-10-30 math.ST stat.ML stat.TH
Signature Maximum Mean Discrepancy Two-Sample Statistical Tests
Department of Informatics(信息学系);King’s College London(伦敦国王学院);Department of Mathematics(数学系);University of Oxford(牛津大学)
本文研究签名最大均值差异(sig-MMD)在路径分布双样本检验中的实际应用,分析其导致第2类错误的情形并提出缓解技术。
2025-06-02 cs.LG math.DS stat.ML
Uniqueness and global optimality of the maximum likelihood estimator for the generalized extreme value distribution
三参数广义极值分布起源于经典的单变量极值理论,常用于分析观测现象的远尾。奇怪的是,在这个标准模型下的似然估计的重要渐近性质尚未建立。在本文中,我们正式证明了极大似然估计是整体和唯一的。一个有趣的次要结果是一类极限关系在形状参数的紧邻域中的一致相合性。
2020-08-14 math.ST stat.ME stat.TH
Correcting Mode Proportion Bias in Generalized Bayesian Inference via a Weighted Kernel Stein Discrepancy
本文提出加权KSD方法,用于纠正通用贝叶斯推断中的模式比例偏差,提升多模式后验处理能力。
2026-01-06 cs.LG stat.ME stat.ML
Minimum Stein Discrepancy Estimators
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
当极大似然估计不可行时,人们往往转向得分匹配,对比发散,或最小概率流,以获得易于处理的参数估计。我们提供了一个统一的角度来看,这些技术的最小斯坦差异估计,并使用这个镜头设计新的扩散核斯坦差异(DKSD)和扩散评分匹配(DSM)估计互补的优势。我们建立了DKSD和DSM估计量的相合性、渐近正态性和稳健性,然后推导了随机黎曼梯度下降算法,使其有效地优化。我们的方法的主要优势是它的灵活性,这使我们能够设计估计与所需的属性为特定的模型在手仔细选择斯坦差异。我们说明了这一优势的分数匹配,如非光滑,重尾或轻尾密度的几个具有挑战性的问题。
2022-10-06 cs.LG math.ST stat.ME
Stein Discrepancy for Unsupervised Domain Adaptation
本文提出利用斯蒂恩偏差的无监督域适应框架,通过核化和对抗形式提升低数据目标场景下的性能。
2025-12-05 cs.LG stat.ML
Trimmed Maximum Likelihood Estimation for Robust Learning in Generalized Linear Models
Google Research(谷歌研究院)
研究了对抗性腐败下广义线性模型的学习问题。我们分析了一个经典的启发式称为迭代修剪最大似然估计,这是已知的是有效的标签腐败在实践中。在标签损坏的情况下,我们证明了这个简单的估计在广泛的广义线性模型,包括高斯回归,泊松回归和二项式回归上实现了极大极小近似最优风险。最后,我们将估计量扩展到更具挑战性的标签和协变量腐败设置,并证明了其鲁棒性和最优性。
2022-10-23 cs.LG stat.ML
Strictly Proper Kernel Scoring Rules and Divergences with an Application to Kernel Two-Sample Hypothesis Testing
我们研究了再生核Hilbert空间中的严格恰当评分规则。我们提出了一个通用的核评分规则和相关的核分歧。我们考虑的条件下,核分数是严格适当的。然后,我们证明了核分数包括作为特殊情况的最大均值离散。我们还考虑了核分数和适当损失函数的最小风险之间的联系。我们表明,核分数包含更多的信息有关的投影嵌入式分布相比,最大均值离散。最后,我们展示了如何整合从不同的核分歧,如建议Bhattacharyya核分歧,使用一个类分类器改进的双样本假设检验结果提供的信息。
2017-04-22 stat.ML
Universal Robust Regression via Maximum Mean Discrepancy
针对现有鲁棒估计方法多针对特定模型的问题,提出基于最大均值差异最小化的通用鲁棒回归方法,构建两个对Huber型污染鲁棒的估计量,其中一个兼具对抗污染鲁棒性并获非渐近误差界,还附带得到核条件均值嵌入的新结果。
2023-05-04 math.ST stat.TH
Neural Tangent Kernel Maximum Mean Discrepancy
Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的神经网络最大平均离散(MMD)统计量,通过识别神经正切核(NTK)和MMD之间的一种新的连接。这种连接使我们能够开发一种计算效率和内存效率高的方法来计算MMD统计量,并执行基于NTK的双样本测试,以解决MMD统计量的内存和计算复杂性的长期挑战,这对于在线实现吸收新样本至关重要。从理论上讲,这样的连接使我们能够理解NTK检验统计量的属性,如第一类错误和执行双样本检验的检验能力,通过调整现有的理论内核MMD。在合成数据集和真实数据集上的数值实验验证了理论的正确性,并证明了NTK-MMD统计量的有效性。
2021-10-17 cs.LG math.ST stat.ML
MMD-Bayes: Robust Bayesian Estimation via Maximum Mean Discrepancy
CREST(Crest研究中心);ENSAE(法国国立统计与经济管理学院);Institut Polytechnique de Paris(巴黎理工学院);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
在某些错误指定的设置中,贝叶斯统计中的后验分布可能导致不一致的估计。为了解决这个问题,已经建议用伪似然代替似然,伪似然是享受适当鲁棒性特性的损失函数的指数。在本文中,我们建立了一个伪似然最大均值离散的基础上,定义通过嵌入的概率分布到再生核希尔伯特空间。我们表明,这种MMD-Bayes后验是一致的和强大的模型误设定。由于以这种方式获得的后验可能是棘手的,我们还证明了合理的变分近似后享有相同的属性。我们提供的随机梯度算法来计算这些变分近似的细节。数值模拟确实表明,我们的估计是更强大的误指定比的基础上的可能性。
2019-12-11 cs.LG math.ST stat.ML
Game theory, maximum entropy, minimum discrepancy and robust Bayesian decision theory
我们描述和开发的两个问题,通常被视为不同的密切关系:最大化熵,最小化最坏情况下的预期损失。使用配方接地的平衡理论的决策者和自然之间的零和对策,这两个问题被证明是对偶的,每个提供的解决方案,以其他。尽管托普索在20多年前就描述了香农熵的这种联系,但即使在这个重要的特殊情况下,它似乎也没有被广泛了解。本文将这一理论推广到任意判定问题和损失函数。我们表明如何适当的广义熵的定义可以与这样一个问题,我们表明,在一定的规律性条件下,上述对偶性继续适用于在此扩展的上下文中。这同时为最大化熵提供了一个可能的理论基础,也为寻找鲁棒贝叶斯行为提供了一个工具。我们还描述了熵最大化的问题和最小化相关的差异或分布之间的分歧之间的本质相同。这导致了一个著名的Kullback-Leibler发散情况下的极大极小极大定理(信息论的“冗余容量定理”)的任意差异的扩展。对于具有特定平均值的分布族的重要情形,我们给出了确定所需解的简单充分条件和方法。
2004-10-05 math.ST stat.TH
Bayesian interpretation of Generalized empirical likelihood by maximum entropy
研究了矩条件模型的参数估计问题。作为广义经验似然法(GEL)和广义矩量法(GMM)的替代方法,可以采用贝叶斯方法来解决这个问题,将MEM过程扩展到参数矩条件。我们特别表明,大量的GEL估计可以解释为一个最大熵的解决方案。此外,我们提供了一个更一般的应用领域,证明该方法是强大的近似矩条件。
2012-02-29 math.ST stat.TH
Sample dependence in the maximum entropy solution to the generalized moment problem
最大熵方法是求解广义矩问题的一个非常有力的工具,它是由已知随机变量X的几个函数的期望值来确定该变量的概率密度。在实际操作中,这些期望值是根据经验样本确定的,这就留下了解对样本的依赖性问题。本说明的目的是采取一些步骤来分析这种依赖性。
2015-10-14 math.ST stat.TH
Moment convergence of the generalized maximum composite likelihood estimators for determinantal point processes
讨论了参数模型的最大复合似然估计。由于这些点过程的联合强度是由正定核的行列式给出的,因此我们得到了每一阶联合强度的显式表示。这一事实使我们能够考虑任何阶的广义极大复合似然估计。本文介绍了两步广义复合似然估计,并在平稳性下证明了该估计的矩收敛性。此外,我们的研究结果可以产生的信息标准的统计模型选择的DPP。
2019-09-03 math.PR math.ST stat.TH