Federated Soft Clustering via Generalized Total Variation Minimization
Aalto University(阿尔托大学)
针对联邦学习中各设备持有私有数据并拟合个性化高斯混合模型的软聚类问题,提出广义全变差最小化框架,比较三种差异度量,并给出优化算法与收敛保证,评估了对数据异质性的鲁棒性。
2026-09-18 cs.LG stat.ML
Game theory, maximum entropy, minimum discrepancy and robust Bayesian decision theory
我们描述和开发的两个问题,通常被视为不同的密切关系:最大化熵,最小化最坏情况下的预期损失。使用配方接地的平衡理论的决策者和自然之间的零和对策,这两个问题被证明是对偶的,每个提供的解决方案,以其他。尽管托普索在20多年前就描述了香农熵的这种联系,但即使在这个重要的特殊情况下,它似乎也没有被广泛了解。本文将这一理论推广到任意判定问题和损失函数。我们表明如何适当的广义熵的定义可以与这样一个问题,我们表明,在一定的规律性条件下,上述对偶性继续适用于在此扩展的上下文中。这同时为最大化熵提供了一个可能的理论基础,也为寻找鲁棒贝叶斯行为提供了一个工具。我们还描述了熵最大化的问题和最小化相关的差异或分布之间的分歧之间的本质相同。这导致了一个著名的Kullback-Leibler发散情况下的极大极小极大定理(信息论的“冗余容量定理”)的任意差异的扩展。对于具有特定平均值的分布族的重要情形,我们给出了确定所需解的简单充分条件和方法。
2004-10-05 math.ST stat.TH
Universal Approximation of Residual Flows in Maximum Mean Discrepancy
University of California San Diego(加州大学圣地亚哥分校)
规范化流是一类灵活的深度生成模型,提供简单的似然计算。尽管它们在经验上取得了成功,但对它们的表现力几乎没有理论上的理解。在这项工作中,我们研究了剩余流,一类由Lipschitz剩余块组成的归一化流。我们证明了剩余流在最大平均偏差下是普适逼近器。我们提供了上界的残差块的数量,以实现在不同的假设下近似。
2021-06-25 cs.LG stat.ML
Calibrated Reliable Regression using Maximum Mean Discrepancy
Tsinghua University(清华大学);RealAI(瑞莱智慧)
不确定性的准确量化对于机器学习的实际应用至关重要。然而,现代深度神经网络仍然会产生不可靠的预测不确定性,通常会产生过于自信的预测。在本文中,我们关注的是在回归任务中获得校准良好的预测。通过最小化核嵌入测度,我们提出了使用最大均值偏差的校准回归方法。理论上,当样本量足够大时,该方法的标定误差渐近收敛于零。在非平凡真实数据集上的实验表明,我们的方法可以产生校准良好和尖锐的预测区间,这优于相关的最先进的方法。
2020-10-28 cs.LG stat.ML
Bounding the Error From Reference Set Kernel Maximum Mean Discrepancy
本文给出了核最大均值差两样本检验中两个数据集的加权平均化所引起的误差界。误差是量化的速度,其中热量从这些点扩散到其余的数据,以及如何在参考点上的权重,并给出了一个非渐近,非概率界。这个结果与特征向量三重积的问题有关,它出现在一些重要的问题中。误差界还建议了一个优化方案,用于选择最佳的参考点和权重。该方法进行了测试的几个两个样品的测试实例。
2018-12-11 cs.LG stat.ML
Optimally-Weighted Estimators of the Maximum Mean Discrepancy for Likelihood-Free Inference
本文提出一种改进样本复杂度的最大均值差异(MMD)最优加权估计器,用于似然无关推断,特别适用于计算昂贵的中低维平滑模拟器,并通过理论和模拟研究验证其有效性。
2023-05-10 stat.CO stat.ME stat.ML
Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation
Huazhong University of Science and Technology(华中科技大学)
在领域自适应中,最大平均差异(MMD)被广泛采用来衡量源域和目标域分布之间的差异。许多现有的领域自适应方法基于联合MMD,其被计算为边缘分布差异和条件分布差异的(加权)和;然而,更自然的度量可以是它们的联合概率分布差异。此外,大多数度量仅旨在提高域之间的可转移性,而忽略了不同类别之间的可区分性,这可能导致分类性能不足。为了解决这些问题,本文提出了判别式联合概率MMD(DJP-MMD),以取代领域自适应中常用的联合MMD。它具有两个理想的性质:1)它为计算分布差异提供了一个新的理论基础,它更简单,更精确; 2)它同时增加了可传递性和可区分性。我们通过将其嵌入到联合概率领域自适应框架中来验证其性能。在6个图像分类数据集上的实验表明,该方法的分类性能优于传统的MMD方法。
2020-04-10 cs.CV cs.LG stat.ML
Maximum Mean Discrepancy Gradient Flow
Gatsby Computational Neuroscience Unit(盖茨比计算神经科学研究组);University College London(伦敦大学学院);Visual Computing Center(视觉计算中心);KAUST(阿卜杜拉国王科技大学)
构造了一个最大平均差异(MMD)的Wasserstein梯度流,并研究了它的收敛性质。MMD是为再生核希尔伯特空间(RKHS)定义的积分概率距离,并且用作足够丰富的RKHS的概率测度的度量。我们得到的梯度流收敛到一个全局最优的条件,可以与粒子传输时,优化神经网络。我们还提出了一种方法来规范这个MMD流,基于在梯度中注入噪声。这种算法修复有理论和经验证据。该流程的实际实现是简单的,因为MMD及其梯度都具有简单的闭合形式表达式,可以很容易地用样本进行估计。
2019-12-03 cs.LG stat.ML
Closed-form Expressions for Maximum Mean Discrepancy with Applications to Wasserstein Auto-Encoders
AT&T Labs(AT&T实验室)
最大平均离散度(MMD)在统计学和机器学习中有许多应用,最近作为Wasserstein自动编码器(WAE)中的惩罚。在本文中,我们计算封闭形式的表达式估计高斯核MMD之间的一个给定的分布和标准的多元正态分布。该公式揭示了与Henze-Zirkler检验的Baringhaus-Henze-Epps-Pulley(BHEP)统计量的联系,并提供了关于MMD的进一步见解。我们引入MMD的标准化版本作为WAE训练目标的惩罚,允许MMD值的更好的可解释性和不同超参数设置的更多兼容性。接下来,我们建议在代码层使用一种批处理规范化版本;这具有使内核宽度选择更容易,减少训练工作量和防止聚合代码分布中的离群值的好处。我们的合成和真实数据的实验表明,分析公式改善了常用的MMD的随机逼近,并证明代码规范化提供了显着的好处时,训练WAE。
2020-06-02 cs.LG stat.ME stat.ML
Testing Hypotheses by Regularized Maximum Mean Discrepancy
IDSIA/SUPSI;Università della Svizzera Italiana(瑞士意大利语区大学);Vita-Salute San Raffaele University(圣拉斐尔生命健康大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Université de Sherbrooke(舍布鲁克大学)
两个数据样本是否来自不同的分布?最近对这个基本问题的研究集中在将概率分布嵌入到足够丰富的特征再生核希尔伯特空间(RKHS)中,以通过嵌入之间的距离来比较分布。我们发现,正则化最大均值离散度(RMMD),我们的新措施,基于内核的假设检验,即使样本量很小,也会产生实质性的改善,并擅长于假设检验,涉及多重比较与功率控制。我们推导出零假设和备择假设下的渐近分布,并评估功率控制。在以下方面获得了出色的结果:具有挑战性的EEG数据,MNIST,Berkley Covertype和Flare-Solar数据集。
2013-05-02 cs.AI cs.LG stat.ML
Maximum Mean Discrepancy Test is Aware of Adversarial Attacks
Hong Kong Baptist University(香港浸会大学);The Chinese University of Hong Kong(香港中文大学);University of Technology Sydney(悉尼科技大学);RIKEN-AIP(理化学研究所人工智能研究中心);University of Sydney(悉尼大学);University of Tokyo(东京大学)
最大平均差异(MMD)检验原则上可以检测两个数据集之间的任何分布差异。然而,已经表明MMD测试没有意识到对抗攻击-MMD测试未能检测到自然数据和对抗数据之间的差异。鉴于这种现象,我们提出了一个问题:自然数据和对抗数据真的来自不同的分布吗?答案是肯定的--以前使用MMD测试的目的遗漏了三个关键因素,因此,我们提出了三个组成部分。首先,高斯核具有有限的表示能力,我们用有效的深度核代替它。其次,忽略了MMD检验的检验功效,并根据渐近统计量使其最大化。最后,对抗性数据可能是非独立的,我们用wild bootstrap克服了这个问题。通过考虑这三个因素,我们验证了MMD测试是知道的对抗攻击,这照亮了一条新的道路,对抗数据检测的基础上双样本测试。
2021-07-11 cs.LG stat.ML
Privacy-preserving Transfer Learning via Secure Maximum Mean Discrepancy
Tongji University(同济大学);Alibaba Group(阿里巴巴集团)
机器学习算法的成功通常依赖于大量高质量的数据来训练性能良好的模型。然而,数据是一种宝贵的资源,在现实中总是由不同的方持有。对于这种数据隔离问题的有效解决方案是采用联邦学习,它允许多方协作训练模型。在本文中,我们提出了一个安全版本的广泛使用的最大均值离散(SMMD)的基础上同态加密,使有效的知识转移下的数据联邦设置不损害数据的隐私。该算法能够有效避免迁移学习在调整源数据和目标数据分布时可能出现的信息泄漏。因此,源域和目标域都可以充分利用它们的数据来构建更具可伸缩性的模型。实验结果表明,我们提出的SMMD是安全和有效的。
2020-10-03 cs.LG stat.ML
Maximum Weighted Loss Discrepancy
Stanford University(斯坦福大学)
虽然机器学习算法擅长最小化群体的平均损失,但这可能导致群体内各组之间的损失之间存在很大差异。为了捕捉这种不平等,我们引入并研究了一个概念,我们称之为最大加权损失差异(MWLD),一个组的损失和人口的损失之间的最大(加权)差异。我们将MWLD与群体公平概念和人口变化的鲁棒性联系起来。然后,我们证明了MWLD满足以下三个性质:1)当所有组具有相等的权重时,统计上不可能估计MWLD。2)对于一个特定的家庭的加权函数,我们可以有效地估计MWLD。3)MWLD与损失方差有关,损失方差是在泛化界限中出现的量。我们估计MWLD与不同的加权函数在四个常见的数据集的公平性文献。我们最后表明,损失方差正则化可以将分类器的损失方差减半,从而减少MWLD,而不会显著降低准确性。
2019-06-08 cs.LG stat.ML
Word Sense Detection Leveraging Maximum Mean Discrepancy
Université Côte d’Azur, CNRS, LJAD, France(法国阿尔卑斯海岸大学、国家科学研究中心、LJAD研究所)
针对词义变化检测任务,本文提出了利用最大均值差异筛选语义变量、量化时间维度变化的MMD-Sense-Analysis方法,可识别词义转变并解释其多时期演变,是MMD首次应用于该领域,经实证验证有效。
2025-06-13 cs.CL cs.LG stat.ML
On the Optimization Landscape of Maximum Mean Discrepancy
Hebrew University of Jerusalem(耶路撒冷希伯来大学);Tel Aviv University(特拉维夫大学)
本文分析了生成模型中最大均值差异(MMD)学习的优化景观,证明在低秩协方差高斯分布和高斯混合分布等情形下MMD目标具有良性优化结构,梯度方法可实现全局最优。
2024-05-03 cs.LG stat.ML
Statistical Inference for Generative Models with Maximum Mean Discrepancy
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所);Imperial College London(帝国理工学院)
虽然基于似然的推理及其变体提供了一种统计上有效且广泛适用的参数推理方法,但将其应用于涉及棘手似然的模型会带来挑战。在这项工作中,我们研究了一类最小距离估计的棘手的生成模型,即统计模型的可能性是棘手的,但模拟是廉价的。考虑的距离,最大平均差异(MMD),通过嵌入到再生核希尔伯特空间的概率测度定义。我们研究了这些估计量的理论性质,证明了它们是相合的、渐近正态的和对模型误设的鲁棒性。这些估计器的一个主要优点是核的选择所提供的灵活性,这可以用来权衡统计效率和鲁棒性。在算法方面,我们研究了几何形状引起的MMD的参数空间,并使用此引入一种新的自然梯度下降算法,有效地实现这些估计。我们说明了几类模型,包括离散时间潜在的马尔可夫过程和两个多变量随机微分方程模型的理论结果的相关性。
2019-06-13 cs.LG math.ST stat.CO
Neural Tangent Kernel Maximum Mean Discrepancy
Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的神经网络最大平均离散(MMD)统计量,通过识别神经正切核(NTK)和MMD之间的一种新的连接。这种连接使我们能够开发一种计算效率和内存效率高的方法来计算MMD统计量,并执行基于NTK的双样本测试,以解决MMD统计量的内存和计算复杂性的长期挑战,这对于在线实现吸收新样本至关重要。从理论上讲,这样的连接使我们能够理解NTK检验统计量的属性,如第一类错误和执行双样本检验的检验能力,通过调整现有的理论内核MMD。在合成数据集和真实数据集上的数值实验验证了理论的正确性,并证明了NTK-MMD统计量的有效性。
2021-10-17 cs.LG math.ST stat.ML
Training generative neural networks via Maximum Mean Discrepancy optimization
University of Cambridge(剑桥大学);University of Toronto(多伦多大学)
我们考虑训练一个深度神经网络来从给定i.i.d.的未知分布中生成样本。数据我们将学习定义为最小化双样本检验统计量的优化-非正式地说,一个好的生成器网络产生的样本会导致双样本测试无法拒绝原假设。作为我们的双样本检验统计量,我们使用最大均值差异的无偏估计,这是Gretton等人提出的非参数核双样本检验的核心。我们将其与Goodfellow等人(2014)引入的对抗网络框架进行比较,在该框架中,学习是生成器网络和对抗网络之间的两人游戏,两者都被训练以战胜对方。从这个角度来看,MMD统计量起着预测的作用。除了经验比较,我们证明了优化经验MMD的泛化误差的界限。
2015-05-14 cs.LG stat.ML
(De)-regularized Maximum Mean Discrepancy Gradient Flow
University College London(伦敦大学学院);Pennsylvania State University(宾夕法尼亚州立大学);Institut Polytechnique de Paris(巴黎理工学院)
DrMMD流通过去正则化方法实现了最大均值差的梯度流,能够在连续和离散时间下保证近全局收敛,并以闭式形式仅使用样本进行实现。
2025-11-24 cs.LG stat.ML
Hypothesis testing for matched pairs with missing data by maximum mean discrepancy: An application to continuous glucose monitoring
统计科学中经常遇到的问题是如何正确处理配对观测中的缺失数据。有大量的文献处理单变量的情况下。然而,在测量生物系统方面正在进行的技术进步提出了处理更复杂数据的需要,例如,图形、字符串和概率分布等。为了填补这一空白,本文提出了新的估计的最大平均差异(MMD)处理复杂的匹配对缺失数据。这些估计器可以检测不同缺失机制下数据分布的差异。这种方法的有效性得到证明,并在广泛的仿真研究中进一步研究,并提供统计一致性的结果。在一个纵向人群为基础的糖尿病研究的连续血糖监测数据被用来说明这种方法的应用。通过采用新的分布表示与聚类分析,可以探索五年内葡萄糖变化在分布水平上如何变化的新临床标准。
2022-06-03 stat.ME stat.ML
A Deterministic Sampling Method via Maximum Mean Discrepancy Flow with Adaptive Kernel
Illinois Institute of Technology(伊利诺伊理工学院);University of California, Riverside(加州大学河滨分校);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文提出EVI-MMD方法,通过最小化核差异近似目标分布,采用能量变分推断框架和隐式欧拉方案解决ODE动态系统,动态选择高斯核带宽提升性能,应用于密度指定和两样本问题。
2026-06-29 cs.LG stat.CO stat.ML
Diversity-Inducing Policy Gradient: Using Maximum Mean Discrepancy to Find a Set of Diverse Policies
Harvard University(哈佛大学)
标准的强化学习方法旨在掌握解决任务的一种方法,而可能存在多个接近最优的策略。能够识别这种接近最优策略的集合可以允许领域专家有效地探索合理解决方案的空间。不幸的是,现有的方法,量化政策的不确定性,并不最终相关的政策与定性不同的行为。在这项工作中,我们正式的政策之间的差异,作为每个政策,鼓励国家访问和行动选择方面的多样性诱导的轨迹分布之间的差异。我们得出一个基于梯度的优化技术,可以与现有的策略梯度方法相结合,现在确定不同的集合表现良好的政策。我们展示了我们的基准和医疗保健任务的方法。
2019-05-31 cs.LG stat.ML
Generative Models and Model Criticism via Optimized Maximum Mean Discrepancy
University College London(伦敦大学学院);Carnegie Mellon University(卡内基梅隆大学);University of California at Berkeley(加州大学伯克利分校)
我们提出了一种方法来优化的代表性和可重复性的样本从两个概率分布,通过最大化估计功率的统计检验的基础上的最大均值差异(MMD)。这种优化的MMD被应用于生成对抗网络(GAN)的无监督学习设置,其中模型试图生成真实的样本,而模型试图将这些样本与数据样本区分开来。在此上下文中,MMD可用于两个角色:第一,作为直接在样本上或在样本的特征上的标记。第二,MMD可以用于评估生成模型的性能,通过测试模型的样本对参考数据集。在后一个角色中,优化的MMD特别有用,因为它给出了模型和数据分布如何不同的可解释指示,即使在单个模型样本不容易通过眼睛或分类器区分的情况下。
2021-01-14 cs.AI cs.LG cs.NE
Simulation-Based Inference with Convolutional Maximum Mean Discrepancy for Noisy Data
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Utah(犹他大学)
本文提出一种基于卷积最大均值差异(convMMD)的推断方法,用于处理受异方差噪声污染的数据,通过建立有限样本偏差界和等价性证明,实现了统计推断的一致性和渐近正态性。
2026-10-30 stat.ME stat.ML
Bayesian Neural Networks With Maximum Mean Discrepancy Regularization
Sapienza University of Rome(罗马第一大学)
贝叶斯神经网络(BNN)被训练以优化其权重的整个分布而不是单个集合,在例如以下方面具有显著的优点:可解释性、多任务学习和校准。由于所产生的优化问题的棘手性,大多数BNN要么通过Monte Carlo方法进行采样,要么通过最小化变分近似的合适证据下限(ELBO)进行训练。在本文中,我们提出了后者的一个变体,其中我们取代了Kullback-Leibler发散的ELBO项与最大平均离散(MMD)估计,最近的工作在变分推理的启发。在激励我们的建议的基础上的MMD项的属性,我们继续展示了一些经验的优势,所提出的配方在国家的最先进的。特别是,我们的BNN实现更高的精度在多个基准,包括几个图像分类任务。此外,它们对权重的先验选择更鲁棒,并且它们被更好地校准。作为第二个贡献,我们提供了一个新的公式来估计给定预测的不确定性,表明它以更强大的方式对抗对抗攻击和在其输入上注入噪声,与更经典的标准(如微分熵)相比。
2020-09-30 cs.LG stat.ML
Post Selection Inference with Incomplete Maximum Mean Discrepancy Estimator
测量两个分布之间的差异在机器学习和统计学中是必不可少的,并且具有各种应用,包括二进制分类,变点检测和双样本测试。此外,在大数据时代,设计可解释的、能够处理高维复杂数据的分歧度量变得非常重要。在本文中,我们提出了一个后选择推理(PSI)框架的分歧措施,它可以选择一组统计上显着的特征,区分两个分布。具体来说,我们采用了添加剂的最大均值差异(MMD)的功能,并介绍了一个一般的假设检验PSI。提出了一种新的基于不完全U-统计量的MMD估计器,该估计器具有渐近正态分布(在较弱的假设下),在PSI中具有较高的检测能力。通过合成和真实世界的特征选择实验,我们表明,该框架可以成功地检测统计上显着的功能。最后,我们提出了一个样本选择框架,用于分析生成对抗网络(GANs)家族中的不同成员。
2018-02-17 stat.ML
Partial Wasserstein and Maximum Mean Discrepancy distances for bridging the gap between outlier detection and drift detection
MathInf GmbH(MathInf有限公司)
随着机器学习和基于深度学习的应用在实践中的兴起,监控(即验证这些在规范内操作)已成为重要的实际问题。这种监测的一个重要方面是检查输入(或中间体)是否偏离了它们被验证的分布,这可能使测试期间获得的性能保证无效。对此有两种常见的方法。也许,更经典的是离群值检测或新颖性检测,其中,对于单个输入,我们询问它是否是离群值,即极不可能源自参考分布。第二种方法,可能是最近的方法,是考虑大量的输入,并将其分布与参考分布(例如在测试期间采样)进行比较。这在标签漂移检测下完成。在这项工作中,我们通过将给定数量的输入与自动选择的参考分布部分进行比较,弥合了离群值检测和漂移检测之间的差距。
2021-06-28 cs.LG stat.ML
Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics
University of British Columbia(不列颠哥伦比亚大学);Alberta Machine Intelligence Institute(阿尔伯塔人工智能研究所)
研究不等样本量下的MMD检验问题,通过扩展广义U统计量理论应用于MMD估计量,得到其渐近分布新特征及检验功效优化准则,保留所有数据提升检验准确性与适用性,还清晰刻画了MMD估计量方差。
2026-07-10 cs.LG math.ST stat.ME
MMD-Flagger: Leveraging Maximum Mean Discrepancy to Detect Hallucinations
Université Côte d’Azur, CNRS, LJAD, France(法国埃克塞特大学、法国国家科学研究中心、LJAD研究所);Center for Artificial Intelligence and Data Science (CAIDAS)(人工智能与数据科学中心);Julius-Maximilans-Universität Würzburg, Germany(德国维尔茨堡约利乌斯-马克斯米利安大学)
针对智能体AI系统中大型语言模型的幻觉问题,提出基于最大均值差异(MMD)的MMD-Flagger方法,通过监控不同解码温度下的输出轨迹检测幻觉,在MUCH基准上用Llama-3、Gemma-3模型完成评估。
2026-08-20 cs.CL stat.ML
Rethink Maximum Mean Discrepancy for Domain Adaptation
Dalian University of Technology(大连理工大学);Indiana University-Purdue University Indianapolis(印第安纳大学-普渡大学印第安纳波利斯分校)
现有的领域自适应方法通过建立最大平均离散度(MMD)和区分距离,来减小源域和目标域之间的分布差异,并尊重源域和目标域的特定区分信息。然而,他们通常积累考虑这些统计量,并通过盲目估计参数来处理它们之间的关系。本文从理论上证明了两个基本事实:1)最小化MMD等于最大化源和目标的类内距离,但通过一些隐式权重共同最小化它们的方差,从而降低了特征的可分辨性; 2)类内距离和类间距离之间的关系是一个下降,另一个上升。在此基础上,我们提出了一种新的歧视性MMD。一方面,我们单独考虑类内和类间距离以去除冗余参数,并且所揭示的权重提供了它们的近似最优范围。另一方面,我们设计了两种不同的策略来提高特征的区分度:1)直接对MMD中隐含的类内距离施加一个权衡参数来调节其变化; 2)我们将MMD中揭示的相似权重施加在类间距离上并使其最大化,则可以引入平衡因子来定量地利用特征可转移性与其可辨别性。在多个基准数据集上的实验不仅证明了理论结果的有效性,而且表明我们的方法可以比比较先进的方法有更好的性能。
2020-07-01 cs.LG stat.ML
Maximum Discrepancy Generative Regularization and Non-Negative Matrix Factorization for Single Channel Source Separation
NTNU – Norwegian University of Science and Technology(挪威科技大学)
本文提出最大差异生成正则化方法,通过对抗训练非负矩阵分解(NMF)基,有效提升了图像与音频的单通道源分离效果,尤其在缺乏强监督数据时表现突出。
2024-03-26 cs.LG cs.NA eess.SP
Signature Maximum Mean Discrepancy Two-Sample Statistical Tests
Department of Informatics(信息学系);King’s College London(伦敦国王学院);Department of Mathematics(数学系);University of Oxford(牛津大学)
本文研究签名最大均值差异(sig-MMD)在路径分布双样本检验中的实际应用,分析其导致第2类错误的情形并提出缓解技术。
2025-06-02 cs.LG math.DS stat.ML
I Am Going MAD: Maximum Discrepancy Competition for Comparing Classifiers Adaptively
Texas A&M University(得克萨斯农工大学);City University of Hong Kong(香港城市大学);Department of Computer Science and Engineering(计算机科学与工程系);Department of Computer Science(计算机科学系)
用于图像分类的分层表示的学习已经经历了一系列令人印象深刻的成功,部分原因是大规模标记数据的可用性。另一方面,训练的分类器传统上是在小的和固定的测试图像集上进行评估的,这些测试图像被认为在所有自然图像的空间中分布非常稀疏。因此,值得怀疑的是,最近对过度重用的测试集的性能改进是否适用于具有更丰富内容变化的真实世界自然图像。在心理物理和生理研究中测试感知模型的有效刺激选择的启发下,我们提出了一个替代框架来比较图像分类器,我们称之为最大离散度(MAD)的竞争。而不是使用固定的测试图像比较图像分类器,我们自适应地采样一个小的测试集,从任意大的语料库的未标记的图像,以最大限度地提高分类器之间的差异,测量的距离超过WordNet层次结构。在所得到的依赖于模型的图像集上的人类标记揭示了竞争分类器的相对性能,并提供了关于改进它们的潜在方法的有用见解。我们报告了11个ImageNet分类器的MAD竞赛结果,同时指出该框架易于扩展,并且具有成本效益,可以将未来的分类器添加到竞赛中。代码可以在https://github.com/TAMU-VITA/MAD上找到。
2020-02-25 cs.CV cs.LG stat.ML
Bias Detection via Maximum Subgroup Discrepancy
Czech Technical University in Prague, Faculty of Electrical Engineering(捷克技术大学布拉格电子工程学院)
针对经典分布距离样本复杂度高的问题,本文提出最大子组差异MSD及基于MIO的算法,证明其线性样本复杂度并构建MSDD偏差检测框架。
2025-06-11 cs.AI cs.LG stat.ML
Variable Selection in Maximum Mean Discrepancy for Interpretable Distribution Comparison
Laboratoire Jean-Alexandre Dieudonné, Université Côte d’Azur(Jean-Alexandre Dieudonné实验室,坎特伯雷大学);EURECOM;Data Science Department, EURECOM(EURECOM数据科学系);Microblink;Huawei Munich Research Center(华为慕尼黑研究中心);Intelligent Cloud Technologies Laboratory, Huawei Munich Research Center(华为慕尼黑研究中心智能云技术实验室)
研究双样本变量选择问题,提出变量判别集的数学概念及两种最大化核双样本检验功效的稀疏变量选择方法,并开发数据驱动正则化参数选择程序,实验证明其性能优于基线。
2025-11-04 cs.LG stat.ML
Generative neural networks for characteristic functions
本研究提出一种基于生成式神经网络的黑盒特征函数仿真算法,利用最大均值差异度量的特定表示构造损失函数,具备维度无关、无假设的通用性,并推导了有限样本近似保证,通过仿真研究验证了方法有效性。
2024-09-16 cs.LG stat.ME stat.ML
Stein Discrepancy for Unsupervised Domain Adaptation
本文提出利用斯蒂恩偏差的无监督域适应框架,通过核化和对抗形式提升低数据目标场景下的性能。
2025-12-05 cs.LG stat.ML
Cycle Consistent Probability Divergences Across Different Spaces
Cornell University(康奈尔大学);IBM Research AI(IBM人工智能研究院);Pennsylvania State University(宾夕法尼亚州立大学)
概率分布之间的离散度量是统计推断和机器学习的核心。在许多应用中,感兴趣的分布在不同的空间上得到支持,但需要数据点之间有意义的对应关系。出于明确编码一致的双向映射到差异的措施,这项工作提出了一种新的不平衡的蒙赫最优运输配方匹配,等距,分布在不同的空间。我们的公式是作为度量空间之间的Gromov-Haussdroff距离的原则性放松而产生的,并采用了两个循环一致的映射,将每个分布推向另一个。我们研究了所提出的差异的结构特性,特别是,它捕获了流行的周期一致的生成对抗网络(GAN)框架作为一个特例,从而提供了理论来解释它。出于计算效率的考虑,我们然后将差异核化,并将映射限制为参数函数类。由此产生的核化版本被称为广义最大平均差异(GMMD)。研究了GMMD经验估计的收敛速度,并给出了支持我们理论的实验。
2021-11-22 cs.LG stat.ML
Universal Hypothesis Testing with Kernels: Asymptotically Optimal Tests for Goodness of Fit
Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Syracuse University(雪城大学);Cubist Systematic Strategies(立体派系统策略公司)
我们刻画了非参数拟合优度检验的渐近性能。使用第二类错误概率的指数衰减率作为渐近性能度量,并且如果测试在第一类错误概率上的恒定水平约束下达到最大速率,则测试是最优的。我们发现,两类最大均值离散(MMD)为基础的测试达到这个最优的$\mathbb R^d$,而二次时间内核斯坦离散(KSD)为基础的测试达到最大指数衰减率下放松的水平约束。在相同的性能指标下,我们继续表明,基于二次时间MMD的双样本测试也是最佳的一般双样本问题,提供的内核是有界连续和特征。我们的方法的关键是大偏差理论的Sanov定理和MMD和KSD的弱度量化性质。
2019-03-18 cs.IT cs.LG math.IT
A Practical Introduction to Kernel Discrepancies: MMD, HSIC & KSD
Centre for Artificial Intelligence(人工智能中心);Gatsby Computational Neuroscience Unit(加布利尔计算神经科学单位);University College London(伦敦大学学院)
本文介绍了MMD、HSIC和KSD等核差异及其多种估计量,强调了核带宽选择的影响,并提出自适应估计量以解决核选择问题。
2025-10-31 cs.LG stat.ML
Wasserstein gradient flows of Maximum Mean Discrepancy with energy kernels
Carnegie Mellon University(卡内基梅隆大学);National University of Singapore(新加坡国立大学)
该研究探讨非光滑能量核生成的MMD的Wasserstein梯度流,证明不同维度与$q$值下的适定性、粒子系统收敛性及平衡态特性,还指出相关衰减模与不等式的不存在性。
2026-08-04 math.AP math.PR stat.ML
Kernel Two-Sample Tests in High Dimension: Interplay Between Moment Discrepancy and Dimension-and-Sample Orders
针对高维大规模数据下核两样本检验的应用需求,推导各向同性核MMD等统计量的渐近展开,建立多假设下的中心极限定理,揭示矩差异与维度-样本阶数的相互作用并通过数值验证。
2024-10-30 math.ST stat.ML stat.TH
Minimax Lower Bounds of Kernel Discrepancy Estimation: MMD, HSIC, KSD
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);London School of Economics(伦敦政治经济学院)
研究核差异估计(MMD、HSIC、KSD)在一般拓扑空间上的极小极大下界,在对核的温和假设下证明其为\(n^{-1/2}\),解决了这些核差异最优估计问题,均值嵌入等估计也有相同速率。
2026-07-28 cs.LG math.ST stat.ML
Validation of Composite Systems by Discrepancy Propagation
Robert Bosch GmbH(罗伯特·博世有限公司);Bosch Center for Artificial Intelligence(博世人工智能中心)
本文提出一种通过复合系统传播分布差异界的方法,利用半定规划凸松弛从可能不准确的仿真中推导真实系统失效概率上界,并验证其能有效应对数据偏移和模型误差。
2024-01-03 cs.LG stat.ML
Central Moment Discrepancy (CMD) for Domain-Invariant Representation Learning
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Software Competence Center Hagenberg(哈根贝格软件能力中心)
研究了在领域自适应的背景下,用神经网络学习领域不变表示的问题。我们提出了一种新的正则化方法,直接在隐藏的激活空间中最大限度地减少特定领域的潜在特征表示之间的差异。虽然存在一些标准的分布匹配方法,可以被解释为矩的加权和的匹配,例如最大均值离散(MMD),高阶矩的显式顺序匹配之前没有被考虑过。我们建议匹配高阶中心矩的概率分布的顺序明智的时刻差的手段。我们的模型不需要计算昂贵的距离和核矩阵计算。利用矩序列对概率分布的等价表示,定义了一种新的距离函数,称为中心矩离散(CMD)。证明了CMD是紧区间上概率分布集合上的度量。进一步证明了紧区间上的概率分布的收敛性。新的度量意味着各个随机变量的分布依分布收敛。我们在两个不同的基准数据集上测试我们的方法,用于对象识别(Office)和产品评论的情感分析(Amazon评论)。CMD在Office的大多数域自适应任务上实现了最先进的性能,并且在Amazon评论上优于使用MMD、变分公平自动编码器和域对抗神经网络训练的网络。此外,事后参数敏感性分析表明,新的方法是稳定的w.r.t.参数在一定的时间间隔内变化。实验的源代码是公开的。
2019-05-02 cs.LG stat.ML
FastMMD: Ensemble of Circular Discrepancy for Efficient Two-Sample Test
Carnegie Mellon University(卡内基梅隆大学);Xi’an Jiaotong University(西安交通大学)
最大平均差异(MMD)是最近提出的两样本检验统计量。然而,它的二次时间复杂度,极大地阻碍了其大规模应用的可用性。为了加速MMD计算,在这项研究中,我们提出了一种高效的方法称为FastMMD。FastMMD的核心思想是基于Bochner定理和傅立叶变换将具有移位不变核的MMD等效地变换为正弦分量的线性组合的幅度期望(Rahimi & Recht,2007)。FastMMD算法利用傅立叶变换的采样特性,将MMD计算的时间复杂度从$O(N^2 d)$降低到$O(L N d)$,其中$N$和$d$分别是样本集的大小和维数。这里,$L$是用于确定近似精度的近似核的基函数的数量。对于球形不变的内核,可以通过使用Fastfood技术将计算进一步加速到$O(L N \log d)$(Le等人,2013年)的报告。在无偏估计和有偏估计下,我们的方法的一致收敛性也得到了理论证明。我们进一步提供了我们的方法的几何解释,即集合的圆形差异,这有助于我们理解MMD的洞察力,并希望有助于引起更广泛的衡量两个样本的测试。实验结果表明,FastMMD具有与精确MMD相似的精度,而与现有的MMD近似方法相比,具有更快的计算速度和更低的方差。
2015-06-18 cs.AI cs.LG stat.ML
Mean-field underdamped Langevin dynamics and its spacetime discretization
提出N粒子欠阻尼朗之万算法,通过平均场欠阻尼动力学的时空离散化,优化概率测度上的非线性泛函,并证明其全局收敛与快速混合。
2024-02-06 math.OC math.ST stat.CO