Variance Estimation for Tree Order Restricted Models
本文讨论了几个正态总体的共同方差的树序约束均值估计。我们讨论了当总体数趋于无穷大时方差的最大似然估计量的渐近性质。我们考虑了几种情况下的各种顺序的样本量和方差的最大似然估计可能是或可能不是一致的或渐近正态的。
2014-07-23 math.ST stat.TH
A mixture of a normal distribution with random mean and variance -- Examples of inconsistency of maximum likelihood estimates
该研究探讨移位和尺度为不可观测随机变量的正态混合分布估计,证明移位参数有界时模型可识别,但此时广义最大似然估计仍不一致,仅当每个潜在变量实现对应多观测值时混合分布才可识别。
2024-08-17 math.ST stat.TH
Statistical Inference for Generative Models with Maximum Mean Discrepancy
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所);Imperial College London(帝国理工学院)
虽然基于似然的推理及其变体提供了一种统计上有效且广泛适用的参数推理方法,但将其应用于涉及棘手似然的模型会带来挑战。在这项工作中,我们研究了一类最小距离估计的棘手的生成模型,即统计模型的可能性是棘手的,但模拟是廉价的。考虑的距离,最大平均差异(MMD),通过嵌入到再生核希尔伯特空间的概率测度定义。我们研究了这些估计量的理论性质,证明了它们是相合的、渐近正态的和对模型误设的鲁棒性。这些估计器的一个主要优点是核的选择所提供的灵活性,这可以用来权衡统计效率和鲁棒性。在算法方面,我们研究了几何形状引起的MMD的参数空间,并使用此引入一种新的自然梯度下降算法,有效地实现这些估计。我们说明了几类模型,包括离散时间潜在的马尔可夫过程和两个多变量随机微分方程模型的理论结果的相关性。
2019-06-13 cs.LG math.ST stat.CO
Testing Hypotheses by Regularized Maximum Mean Discrepancy
IDSIA/SUPSI;Università della Svizzera Italiana(瑞士意大利语区大学);Vita-Salute San Raffaele University(圣拉斐尔生命健康大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Université de Sherbrooke(舍布鲁克大学)
两个数据样本是否来自不同的分布?最近对这个基本问题的研究集中在将概率分布嵌入到足够丰富的特征再生核希尔伯特空间(RKHS)中,以通过嵌入之间的距离来比较分布。我们发现,正则化最大均值离散度(RMMD),我们的新措施,基于内核的假设检验,即使样本量很小,也会产生实质性的改善,并擅长于假设检验,涉及多重比较与功率控制。我们推导出零假设和备择假设下的渐近分布,并评估功率控制。在以下方面获得了出色的结果:具有挑战性的EEG数据,MNIST,Berkley Covertype和Flare-Solar数据集。
2013-05-02 cs.AI cs.LG stat.ML
Maximum likelihood estimators uniformly minimize distribution variance among distribution unbiased estimators in exponential families
我们采用无参数分布估计框架,其中估计量是广义过程,并利用Kullback-Leibler(KL)散度作为损失函数。Wu和Vos [J. Statist.计划推论142(2012)1525-1536]表明,当从i.i.d.样本被看作是一个广义过程,当估计量是一个实值随机变量时,估计量的KL风险以与均方误差分解平行的方式分解。在本文中,我们探讨如何条件版本的分布期望($E^{\dagger}$)可以定义,使分布版本的Rao-Blackwell定理成立。我们定义了分布期望和方差($V^{\dagger}$),也提供了一个分解的KL风险指数和混合物的家庭。对于指数族,我们证明了最大似然估计(视为一个广义过程)是分布无偏的,是唯一的均匀最小分布方差无偏(UMV $^{\dagger}$ U)估计。此外,我们表明,MLE是强大的对模型规格,如果真的分布不属于指数族,MLE是UMV $^{\dagger}$ U的KL投影的真的分布到指数族提供这两个分布有相同的期望的典型统计量。为了让估计值以外的指数家庭,我们包括KL投影的结果,并定义一个扩展的投影,以适应不存在的MLE的离散样本空间的家庭。提供了说明性的例子。
2015-09-18 math.ST stat.TH
Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics
University of British Columbia(不列颠哥伦比亚大学);Alberta Machine Intelligence Institute(阿尔伯塔人工智能研究所)
研究不等样本量下的MMD检验问题,通过扩展广义U统计量理论应用于MMD估计量,得到其渐近分布新特征及检验功效优化准则,保留所有数据提升检验准确性与适用性,还清晰刻画了MMD估计量方差。
2026-07-10 cs.LG math.ST stat.ME
Post Selection Inference with Incomplete Maximum Mean Discrepancy Estimator
测量两个分布之间的差异在机器学习和统计学中是必不可少的,并且具有各种应用,包括二进制分类,变点检测和双样本测试。此外,在大数据时代,设计可解释的、能够处理高维复杂数据的分歧度量变得非常重要。在本文中,我们提出了一个后选择推理(PSI)框架的分歧措施,它可以选择一组统计上显着的特征,区分两个分布。具体来说,我们采用了添加剂的最大均值差异(MMD)的功能,并介绍了一个一般的假设检验PSI。提出了一种新的基于不完全U-统计量的MMD估计器,该估计器具有渐近正态分布(在较弱的假设下),在PSI中具有较高的检测能力。通过合成和真实世界的特征选择实验,我们表明,该框架可以成功地检测统计上显着的功能。最后,我们提出了一个样本选择框架,用于分析生成对抗网络(GANs)家族中的不同成员。
2018-02-17 stat.ML
Hypothesis testing for matched pairs with missing data by maximum mean discrepancy: An application to continuous glucose monitoring
统计科学中经常遇到的问题是如何正确处理配对观测中的缺失数据。有大量的文献处理单变量的情况下。然而,在测量生物系统方面正在进行的技术进步提出了处理更复杂数据的需要,例如,图形、字符串和概率分布等。为了填补这一空白,本文提出了新的估计的最大平均差异(MMD)处理复杂的匹配对缺失数据。这些估计器可以检测不同缺失机制下数据分布的差异。这种方法的有效性得到证明,并在广泛的仿真研究中进一步研究,并提供统计一致性的结果。在一个纵向人群为基础的糖尿病研究的连续血糖监测数据被用来说明这种方法的应用。通过采用新的分布表示与聚类分析,可以探索五年内葡萄糖变化在分布水平上如何变化的新临床标准。
2022-06-03 stat.ME stat.ML
Pseudo-variance quasi-maximum likelihood estimation of semi-parametric time series models
本文提出基于高斯拟似然和参数化伪方差的半参数时间序列估计方法,推导其渐近性质与限制检验,证明其不受伪方差误设影响且效率更高,并通过模拟和实证验证其有效性。
2025-07-18 math.ST stat.ME stat.TH
Asymptotic mixed normality of maximum likelihood estimator for Ewens--Pitman partition
本文研究了 Ewens--Pitman 划分的参数估计渐近性质,证明参数 $α$ 的极大似然估计收敛于方差混合正态分布,并通过随机统计量归一化消除方差随机性以构建近似置信区间。
2025-05-02 math.PR math.ST stat.TH
Goodness-of-Fit Tests for Censored and Truncated Data: Maximum Mean Discrepancy Over Regular Functionals
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Universidade de Vigo(维戈大学)
本文提出了一种基于最大均值差异的适配性检验方法,用于处理删失和截断数据,解决了传统方法在计算和收敛性上的不足。
2026-02-08 stat.ME
Signature Maximum Mean Discrepancy Two-Sample Statistical Tests
Department of Informatics(信息学系);King’s College London(伦敦国王学院);Department of Mathematics(数学系);University of Oxford(牛津大学)
本文研究签名最大均值差异(sig-MMD)在路径分布双样本检验中的实际应用,分析其导致第2类错误的情形并提出缓解技术。
2025-06-02 cs.LG math.DS stat.ML
Minimum Stein Discrepancy Estimators
Imperial College London(帝国理工学院);University College London(伦敦大学学院);University of Cambridge(剑桥大学);Microsoft Research(微软研究院)
当极大似然估计不可行时,人们往往转向得分匹配,对比发散,或最小概率流,以获得易于处理的参数估计。我们提供了一个统一的角度来看,这些技术的最小斯坦差异估计,并使用这个镜头设计新的扩散核斯坦差异(DKSD)和扩散评分匹配(DSM)估计互补的优势。我们建立了DKSD和DSM估计量的相合性、渐近正态性和稳健性,然后推导了随机黎曼梯度下降算法,使其有效地优化。我们的方法的主要优势是它的灵活性,这使我们能够设计估计与所需的属性为特定的模型在手仔细选择斯坦差异。我们说明了这一优势的分数匹配,如非光滑,重尾或轻尾密度的几个具有挑战性的问题。
2022-10-06 cs.LG math.ST stat.ME
Maximum-Variance-Reduction Stratification for Improved Subsampling
State Key Laboratory of Mathematical Sciences, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院);Department of Statistics, University of Connecticut(康涅狄格大学统计系)
MVRS通过最大方差减少分层法提升抽样效率,实现估计精度和效率的双重提升。
2026-02-27 stat.ME
Confidence Sets Based on Penalized Maximum Likelihood Estimators in Gaussian Regression
基于惩罚的最大似然估计,如LASSO,自适应LASSO,和硬阈值的置信区间进行了分析。在已知方差的情况下,有限样本覆盖性质,这样的间隔被确定,它表明,对称的间隔是最短的。基于硬阈值估计的最短间隔的长度大于基于自适应LASSO的最短间隔的长度,其大于基于LASSO的最短间隔的长度,其进而大于基于最大似然估计的标准间隔。在惩罚估计量被调整为具有“稀疏性”的情况下,基于这些估计量的区间比标准区间大数量级。此外,一个简单的渐近置信区间的建设在“稀疏”的情况下,也适用于平滑剪切绝对偏差估计,进行了讨论。已知方差的情况下的结果进行到未知方差的情况下,在适当的渐近意义。
2010-02-01 math.ST stat.ME stat.ML
Minimax-Optimal Early Stopping for SGD via the Discrepancy Principle
本文针对不适定逆问题中的连续时间SGD,提出基于偏差原则的后验早停规则,证明其误差达到极小极大最优速率(至多差对数因子),为首个此类收敛速率结果。
2026-11-10 cs.NA math.NA math.OC
MM Algorithms for Variance Components Models
方差分量估计和混合模型分析是统计学中的中心主题,在许多科学学科中都有应用。尽管一代又一代的统计学家和数值分析家做出了最大的努力,但方差分量模型的极大似然估计和限制极大似然估计仍然具有数值挑战性。基于最小化-最大化(MM)原理,提出了一种新的方差分量估计的迭代算法。MM算法实现起来很简单,在大数据问题上具有竞争力。该算法很容易扩展到更复杂的问题,如线性混合模型,多变量响应模型可能与缺失数据,最大后验估计,惩罚估计,广义估计方程(GEE)。我们建立的MM算法的全局收敛到一个KKT点,并证明,无论是数值和理论,它比经典期望最大化算法的收敛速度时,方差分量的数量大于2和所有的协方差阵是正定的。
2015-09-24 stat.CO stat.ME
Stein Discrepancy for Unsupervised Domain Adaptation
本文提出利用斯蒂恩偏差的无监督域适应框架,通过核化和对抗形式提升低数据目标场景下的性能。
2025-12-05 cs.LG stat.ML
Properties of the Nonparametric Maximum Likelihood {ROC} Model with a Monotonic Likelihood Ratio
我们期望在感知信号检测实验中的一些观察者,如放射科医生,会做出理性的决定,因此这些观察者的评级有望形成凸ROC曲线。然而,测量和发布的曲线通常不是凸的。本文考察了Lloyd(2002)给出的ROC曲线的凸约束非参数极大似然估计。像Lloyd一样,我们使用池相邻Violator算法(PAVA)来构造凸曲线的估计。我们提出了一个直接的证明,这个估计是一个凸包的经验ROC曲线。该估计是简单的手工构造,并遵循Pesce等人的建议。(2010年)。在大量的实验条件下,我们研究了这种约束非参数极大似然估计(NPMLE)的性质。特别是,我们研究的行为下的曲线,这是经常被用来作为诊断性能的总结度量的面积。这种受约束的ROC估计量给出的曲线下面积(AUC)估计值相对于通常的经验AUC估计值偏高,但相对于潜在的连续真实AUC值可能偏差较小。约束ROC估计比通常的经验估计具有更低的方差。与以前的作者谁使用复杂的自举来估计方差的约束NPMLE,我们证明了标准的无偏估计量的方差工作以及估计方差的NPMLE AUC。
2013-01-31 stat.AP
Discrepancy estimates for variance bounding Markov chain quasi-Monte Carlo
The University of New South Wales(新南威尔士大学);Friedrich Schiller University Jena(耶拿弗里德里希·席勒大学)
本文研究了由确定性序列驱动的方差限制马尔可夫链准蒙特卡洛方法的效率,定义了驱动序列的回溯偏差,并证明了存在确定性驱动序列使偏差以蒙特卡洛速率n^1/2衰减,同时提供了误差估计示例。
2014-12-02 cs.NA math.NA math.ST
A note on the existence of the maximum likelihood estimate in variance components models
本文研究了方差分量模型中最大似然估计和REML估计的存在性问题。指出并纠正了Demjuko和Massam(Sankhybrid 61,1999)的文章中定理3.1证明中的错误,该定理给出了该模型存在最大似然估计的充要条件.本文给出了Demerko和Massam文章中定理3.4关于方差分量的REML估计的存在性的一个新的证明。
2014-10-28 math.ST stat.TH
Minimum Variance Designs With Constrained Maximum Bias
University of Alberta(阿尔伯塔大学)
本文提出在受约束最大偏差条件下最小化预测器方差的设计方法,并证明最小最大设计是解决这两个问题的解。
2026-03-04 math.ST stat.TH
Universal Robust Regression via Maximum Mean Discrepancy
针对现有鲁棒估计方法多针对特定模型的问题,提出基于最大均值差异最小化的通用鲁棒回归方法,构建两个对Huber型污染鲁棒的估计量,其中一个兼具对抗污染鲁棒性并获非渐近误差界,还附带得到核条件均值嵌入的新结果。
2023-05-04 math.ST stat.TH
On the maximum likelihood degree of linear mixed models with two variance components
本文推广了Gross等人[Electron. J. Stat.]中提出的单向随机效应模型的最大似然度和REML度的上界的结果。6(2012),pp. 993-1016]的方法推广到具有两个方差分量的正态线性混合模型的情况。然后,我们证明了Gross等人的论文中的猜想1的两个部分,它涉及单向随机效应模型的某种扩展,在相当温和的条件下是正确的。
2016-10-22 math.ST stat.TH
Neural Tangent Kernel Maximum Mean Discrepancy
Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的神经网络最大平均离散(MMD)统计量,通过识别神经正切核(NTK)和MMD之间的一种新的连接。这种连接使我们能够开发一种计算效率和内存效率高的方法来计算MMD统计量,并执行基于NTK的双样本测试,以解决MMD统计量的内存和计算复杂性的长期挑战,这对于在线实现吸收新样本至关重要。从理论上讲,这样的连接使我们能够理解NTK检验统计量的属性,如第一类错误和执行双样本检验的检验能力,通过调整现有的理论内核MMD。在合成数据集和真实数据集上的数值实验验证了理论的正确性,并证明了NTK-MMD统计量的有效性。
2021-10-17 cs.LG math.ST stat.ML
MMD-Bayes: Robust Bayesian Estimation via Maximum Mean Discrepancy
CREST(Crest研究中心);ENSAE(法国国立统计与经济管理学院);Institut Polytechnique de Paris(巴黎理工学院);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
在某些错误指定的设置中,贝叶斯统计中的后验分布可能导致不一致的估计。为了解决这个问题,已经建议用伪似然代替似然,伪似然是享受适当鲁棒性特性的损失函数的指数。在本文中,我们建立了一个伪似然最大均值离散的基础上,定义通过嵌入的概率分布到再生核希尔伯特空间。我们表明,这种MMD-Bayes后验是一致的和强大的模型误设定。由于以这种方式获得的后验可能是棘手的,我们还证明了合理的变分近似后享有相同的属性。我们提供的随机梯度算法来计算这些变分近似的细节。数值模拟确实表明,我们的估计是更强大的误指定比的基础上的可能性。
2019-12-11 cs.LG math.ST stat.ML
Game theory, maximum entropy, minimum discrepancy and robust Bayesian decision theory
我们描述和开发的两个问题,通常被视为不同的密切关系:最大化熵,最小化最坏情况下的预期损失。使用配方接地的平衡理论的决策者和自然之间的零和对策,这两个问题被证明是对偶的,每个提供的解决方案,以其他。尽管托普索在20多年前就描述了香农熵的这种联系,但即使在这个重要的特殊情况下,它似乎也没有被广泛了解。本文将这一理论推广到任意判定问题和损失函数。我们表明如何适当的广义熵的定义可以与这样一个问题,我们表明,在一定的规律性条件下,上述对偶性继续适用于在此扩展的上下文中。这同时为最大化熵提供了一个可能的理论基础,也为寻找鲁棒贝叶斯行为提供了一个工具。我们还描述了熵最大化的问题和最小化相关的差异或分布之间的分歧之间的本质相同。这导致了一个著名的Kullback-Leibler发散情况下的极大极小极大定理(信息论的“冗余容量定理”)的任意差异的扩展。对于具有特定平均值的分布族的重要情形,我们给出了确定所需解的简单充分条件和方法。
2004-10-05 math.ST stat.TH
Mean and Variance of Brownian Motion with Given Final Value, Maximum and ArgMax: Extended Version
考虑了布朗运动的条件期望和条件方差,给出了argmax,B(t| argmax),以及具有附加信息的那些:B(t| close,argmax),B(t| max,argmax),B(t| close,max,argmax),其中close是最终值:B(t=1)=c且t在[0,1]中。我们计算布朗曲流在时间上的期望和方差。通过拼接两条布朗曲折线,计算了约束过程的均值和方差。计算结果显示的期望值和方差的时间。比较的模拟与理论值时,关闭和argmax。
2021-06-02 math.PR math.ST stat.ME