Statistical Inference for Generative Models with Maximum Mean Discrepancy
University of Cambridge(剑桥大学);The Alan Turing Institute(艾伦·图灵研究所);Imperial College London(帝国理工学院)
虽然基于似然的推理及其变体提供了一种统计上有效且广泛适用的参数推理方法,但将其应用于涉及棘手似然的模型会带来挑战。在这项工作中,我们研究了一类最小距离估计的棘手的生成模型,即统计模型的可能性是棘手的,但模拟是廉价的。考虑的距离,最大平均差异(MMD),通过嵌入到再生核希尔伯特空间的概率测度定义。我们研究了这些估计量的理论性质,证明了它们是相合的、渐近正态的和对模型误设的鲁棒性。这些估计器的一个主要优点是核的选择所提供的灵活性,这可以用来权衡统计效率和鲁棒性。在算法方面,我们研究了几何形状引起的MMD的参数空间,并使用此引入一种新的自然梯度下降算法,有效地实现这些估计。我们说明了几类模型,包括离散时间潜在的马尔可夫过程和两个多变量随机微分方程模型的理论结果的相关性。
2019-06-13 cs.LG math.ST stat.CO
Simulation-Based Inference with Convolutional Maximum Mean Discrepancy for Noisy Data
The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Utah(犹他大学)
本文提出一种基于卷积最大均值差异(convMMD)的推断方法,用于处理受异方差噪声污染的数据,通过建立有限样本偏差界和等价性证明,实现了统计推断的一致性和渐近正态性。
2026-10-30 stat.ME stat.ML
Bias Detection via Maximum Subgroup Discrepancy
Czech Technical University in Prague, Faculty of Electrical Engineering(捷克技术大学布拉格电子工程学院)
针对经典分布距离样本复杂度高的问题,本文提出最大子组差异MSD及基于MIO的算法,证明其线性样本复杂度并构建MSDD偏差检测框架。
2025-06-11 cs.AI cs.LG stat.ML
Unsupervised Learning of Initialization in Deep Neural Networks via Maximum Mean Discrepancy
New York University(纽约大学);Prescient Design, Genentech(基因泰克Prescient Design部门)
尽管随机梯度下降最近在深度学习中取得了成功,但通常很难用不适当的初始参数来训练深度神经网络。即使训练成功,已知初始参数配置也可能对泛化产生负面影响。在本文中,我们提出了一个无监督的算法,找到良好的初始化输入数据,给定的下游任务是d-路分类。我们首先注意到,参数空间中的每个参数配置对应于d路分类的一个特定下游任务。然后,我们推测,学习的成功直接关系到下游任务在初始参数附近的多样性。因此,我们设计了一个算法,鼓励小扰动的初始参数配置导致一组不同的d-路分类任务。换句话说,所提出的算法确保任何下游任务的解决方案接近初始参数配置。我们经验评估所提出的算法在各种任务来自MNIST与一个完全连接的网络。在这些实验中,我们观察到我们的算法提高了大多数任务的平均测试准确度,并且当标记的示例数量较少时,这种提高更大。
2023-02-08 cs.LG
Universal Approximation of Residual Flows in Maximum Mean Discrepancy
University of California San Diego(加州大学圣地亚哥分校)
规范化流是一类灵活的深度生成模型,提供简单的似然计算。尽管它们在经验上取得了成功,但对它们的表现力几乎没有理论上的理解。在这项工作中,我们研究了剩余流,一类由Lipschitz剩余块组成的归一化流。我们证明了剩余流在最大平均偏差下是普适逼近器。我们提供了上界的残差块的数量,以实现在不同的假设下近似。
2021-06-25 cs.LG stat.ML
DWMD: Dimensional Weighted Orderwise Moment Discrepancy for Domain-specific Hidden Representation Matching
Xi’an Jiaotong University(西安交通大学)
在无监督领域自适应(UDA)中,从源领域到不同但语义相关的目标领域的知识转移一直是一个重要的课题。该领域的一个关键挑战是建立一个度量标准,可以准确地测量两个同质域之间的数据分布差异,并采用它的分布对齐,特别是在隐藏的激活空间中的特征表示的匹配。现有的分布匹配方法在实际应用中既不能显式地按序对齐高阶矩,也不能满足某些假设的前提。我们提出了一种新的基于矩的概率分布度量称为维度加权有序矩差异(DWMD)的特征表示匹配的UDA方案。我们的度量函数利用了一系列高阶矩对齐,我们从理论上证明了我们的DWMD度量函数是无误差的,这意味着它可以严格反映域之间的分布差异,是有效的,没有任何特征分布假设。此外,由于每个特征维度中的概率分布之间的差异是不同的,因此在我们的函数中考虑了维度加权。我们进一步计算了DWMD度量的经验估计在实际应用中的误差界。在基准数据集上的综合实验表明,我们的方法产生了最先进的分布度量。
2020-07-18 cs.LG stat.ML
Calibrated Reliable Regression using Maximum Mean Discrepancy
Tsinghua University(清华大学);RealAI(瑞莱智慧)
不确定性的准确量化对于机器学习的实际应用至关重要。然而,现代深度神经网络仍然会产生不可靠的预测不确定性,通常会产生过于自信的预测。在本文中,我们关注的是在回归任务中获得校准良好的预测。通过最小化核嵌入测度,我们提出了使用最大均值偏差的校准回归方法。理论上,当样本量足够大时,该方法的标定误差渐近收敛于零。在非平凡真实数据集上的实验表明,我们的方法可以产生校准良好和尖锐的预测区间,这优于相关的最先进的方法。
2020-10-28 cs.LG stat.ML
Bounding the Error From Reference Set Kernel Maximum Mean Discrepancy
本文给出了核最大均值差两样本检验中两个数据集的加权平均化所引起的误差界。误差是量化的速度,其中热量从这些点扩散到其余的数据,以及如何在参考点上的权重,并给出了一个非渐近,非概率界。这个结果与特征向量三重积的问题有关,它出现在一些重要的问题中。误差界还建议了一个优化方案,用于选择最佳的参考点和权重。该方法进行了测试的几个两个样品的测试实例。
2018-12-11 cs.LG stat.ML
Maximum Mean Discrepancy Test is Aware of Adversarial Attacks
Hong Kong Baptist University(香港浸会大学);The Chinese University of Hong Kong(香港中文大学);University of Technology Sydney(悉尼科技大学);RIKEN-AIP(理化学研究所人工智能研究中心);University of Sydney(悉尼大学);University of Tokyo(东京大学)
最大平均差异(MMD)检验原则上可以检测两个数据集之间的任何分布差异。然而,已经表明MMD测试没有意识到对抗攻击-MMD测试未能检测到自然数据和对抗数据之间的差异。鉴于这种现象,我们提出了一个问题:自然数据和对抗数据真的来自不同的分布吗?答案是肯定的--以前使用MMD测试的目的遗漏了三个关键因素,因此,我们提出了三个组成部分。首先,高斯核具有有限的表示能力,我们用有效的深度核代替它。其次,忽略了MMD检验的检验功效,并根据渐近统计量使其最大化。最后,对抗性数据可能是非独立的,我们用wild bootstrap克服了这个问题。通过考虑这三个因素,我们验证了MMD测试是知道的对抗攻击,这照亮了一条新的道路,对抗数据检测的基础上双样本测试。
2021-07-11 cs.LG stat.ML
Privacy-preserving Transfer Learning via Secure Maximum Mean Discrepancy
Tongji University(同济大学);Alibaba Group(阿里巴巴集团)
机器学习算法的成功通常依赖于大量高质量的数据来训练性能良好的模型。然而,数据是一种宝贵的资源,在现实中总是由不同的方持有。对于这种数据隔离问题的有效解决方案是采用联邦学习,它允许多方协作训练模型。在本文中,我们提出了一个安全版本的广泛使用的最大均值离散(SMMD)的基础上同态加密,使有效的知识转移下的数据联邦设置不损害数据的隐私。该算法能够有效避免迁移学习在调整源数据和目标数据分布时可能出现的信息泄漏。因此,源域和目标域都可以充分利用它们的数据来构建更具可伸缩性的模型。实验结果表明,我们提出的SMMD是安全和有效的。
2020-10-03 cs.LG stat.ML
(De)-regularized Maximum Mean Discrepancy Gradient Flow
University College London(伦敦大学学院);Pennsylvania State University(宾夕法尼亚州立大学);Institut Polytechnique de Paris(巴黎理工学院)
DrMMD流通过去正则化方法实现了最大均值差的梯度流,能够在连续和离散时间下保证近全局收敛,并以闭式形式仅使用样本进行实现。
2025-11-24 cs.LG stat.ML
Discriminative Joint Probability Maximum Mean Discrepancy (DJP-MMD) for Domain Adaptation
Huazhong University of Science and Technology(华中科技大学)
在领域自适应中,最大平均差异(MMD)被广泛采用来衡量源域和目标域分布之间的差异。许多现有的领域自适应方法基于联合MMD,其被计算为边缘分布差异和条件分布差异的(加权)和;然而,更自然的度量可以是它们的联合概率分布差异。此外,大多数度量仅旨在提高域之间的可转移性,而忽略了不同类别之间的可区分性,这可能导致分类性能不足。为了解决这些问题,本文提出了判别式联合概率MMD(DJP-MMD),以取代领域自适应中常用的联合MMD。它具有两个理想的性质:1)它为计算分布差异提供了一个新的理论基础,它更简单,更精确; 2)它同时增加了可传递性和可区分性。我们通过将其嵌入到联合概率领域自适应框架中来验证其性能。在6个图像分类数据集上的实验表明,该方法的分类性能优于传统的MMD方法。
2020-04-10 cs.CV cs.LG stat.ML
Ensemble Transport Filter via Optimized Maximum Mean Discrepancy
School of Mathematical Sciences, Tongji University(同济大学数学科学学院)
本文提出一种基于集成的滤波方法,通过传输图重构粒子滤波的分析步骤,直接将先验粒子传输到后验粒子。利用最大均值差异损失函数优化传输图,提升高维同化问题的精度和鲁棒性。
2026-02-06 cs.LG stat.ML stat.OT
Diversity-Inducing Policy Gradient: Using Maximum Mean Discrepancy to Find a Set of Diverse Policies
Harvard University(哈佛大学)
标准的强化学习方法旨在掌握解决任务的一种方法,而可能存在多个接近最优的策略。能够识别这种接近最优策略的集合可以允许领域专家有效地探索合理解决方案的空间。不幸的是,现有的方法,量化政策的不确定性,并不最终相关的政策与定性不同的行为。在这项工作中,我们正式的政策之间的差异,作为每个政策,鼓励国家访问和行动选择方面的多样性诱导的轨迹分布之间的差异。我们得出一个基于梯度的优化技术,可以与现有的策略梯度方法相结合,现在确定不同的集合表现良好的政策。我们展示了我们的基准和医疗保健任务的方法。
2019-05-31 cs.LG stat.ML
Testing Hypotheses by Regularized Maximum Mean Discrepancy
IDSIA/SUPSI;Università della Svizzera Italiana(瑞士意大利语区大学);Vita-Salute San Raffaele University(圣拉斐尔生命健康大学);Ruhr-Universität Bochum(波鸿鲁尔大学);Université de Sherbrooke(舍布鲁克大学)
两个数据样本是否来自不同的分布?最近对这个基本问题的研究集中在将概率分布嵌入到足够丰富的特征再生核希尔伯特空间(RKHS)中,以通过嵌入之间的距离来比较分布。我们发现,正则化最大均值离散度(RMMD),我们的新措施,基于内核的假设检验,即使样本量很小,也会产生实质性的改善,并擅长于假设检验,涉及多重比较与功率控制。我们推导出零假设和备择假设下的渐近分布,并评估功率控制。在以下方面获得了出色的结果:具有挑战性的EEG数据,MNIST,Berkley Covertype和Flare-Solar数据集。
2013-05-02 cs.AI cs.LG stat.ML
Word Sense Detection Leveraging Maximum Mean Discrepancy
Université Côte d’Azur, CNRS, LJAD, France(法国阿尔卑斯海岸大学、国家科学研究中心、LJAD研究所)
针对词义变化检测任务,本文提出了利用最大均值差异筛选语义变量、量化时间维度变化的MMD-Sense-Analysis方法,可识别词义转变并解释其多时期演变,是MMD首次应用于该领域,经实证验证有效。
2025-06-13 cs.CL cs.LG stat.ML
Correcting Mode Proportion Bias in Generalized Bayesian Inference via a Weighted Kernel Stein Discrepancy
本文提出加权KSD方法,用于纠正通用贝叶斯推断中的模式比例偏差,提升多模式后验处理能力。
2026-01-06 cs.LG stat.ME stat.ML
Bayesian Neural Networks With Maximum Mean Discrepancy Regularization
Sapienza University of Rome(罗马第一大学)
贝叶斯神经网络(BNN)被训练以优化其权重的整个分布而不是单个集合,在例如以下方面具有显著的优点:可解释性、多任务学习和校准。由于所产生的优化问题的棘手性,大多数BNN要么通过Monte Carlo方法进行采样,要么通过最小化变分近似的合适证据下限(ELBO)进行训练。在本文中,我们提出了后者的一个变体,其中我们取代了Kullback-Leibler发散的ELBO项与最大平均离散(MMD)估计,最近的工作在变分推理的启发。在激励我们的建议的基础上的MMD项的属性,我们继续展示了一些经验的优势,所提出的配方在国家的最先进的。特别是,我们的BNN实现更高的精度在多个基准,包括几个图像分类任务。此外,它们对权重的先验选择更鲁棒,并且它们被更好地校准。作为第二个贡献,我们提供了一个新的公式来估计给定预测的不确定性,表明它以更强大的方式对抗对抗攻击和在其输入上注入噪声,与更经典的标准(如微分熵)相比。
2020-09-30 cs.LG stat.ML
Partial Wasserstein and Maximum Mean Discrepancy distances for bridging the gap between outlier detection and drift detection
MathInf GmbH(MathInf有限公司)
随着机器学习和基于深度学习的应用在实践中的兴起,监控(即验证这些在规范内操作)已成为重要的实际问题。这种监测的一个重要方面是检查输入(或中间体)是否偏离了它们被验证的分布,这可能使测试期间获得的性能保证无效。对此有两种常见的方法。也许,更经典的是离群值检测或新颖性检测,其中,对于单个输入,我们询问它是否是离群值,即极不可能源自参考分布。第二种方法,可能是最近的方法,是考虑大量的输入,并将其分布与参考分布(例如在测试期间采样)进行比较。这在标签漂移检测下完成。在这项工作中,我们通过将给定数量的输入与自动选择的参考分布部分进行比较,弥合了离群值检测和漂移检测之间的差距。
2021-06-28 cs.LG stat.ML
Neural Tangent Kernel Maximum Mean Discrepancy
Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的神经网络最大平均离散(MMD)统计量,通过识别神经正切核(NTK)和MMD之间的一种新的连接。这种连接使我们能够开发一种计算效率和内存效率高的方法来计算MMD统计量,并执行基于NTK的双样本测试,以解决MMD统计量的内存和计算复杂性的长期挑战,这对于在线实现吸收新样本至关重要。从理论上讲,这样的连接使我们能够理解NTK检验统计量的属性,如第一类错误和执行双样本检验的检验能力,通过调整现有的理论内核MMD。在合成数据集和真实数据集上的数值实验验证了理论的正确性,并证明了NTK-MMD统计量的有效性。
2021-10-17 cs.LG math.ST stat.ML
Performance analysis of greedy algorithms for minimising a Maximum Mean Discrepancy
Université Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心)
我们分析了几种迭代算法的概率测度$μ$的量化的性能,基于最小化的最大平均离散(MMD)。我们的分析包括核羊群,贪婪MMD最小化和序贯贝叶斯正交(SBQ)。我们发现,有限样本大小的近似误差,测量的MMD,减少为$1/n$ SBQ和内核放牧和贪婪的MMD最小化时,使用一个合适的步长序列。SBQ的近似误差上限稍好,但其他方法明显更快,计算成本仅随所选点数线性增加。通过两个数值例子说明了这一点,其中目标测量$μ$是均匀的(空间填充设计应用),并且$μ$是高斯混合。他们认为,在论文中得出的界限过于悲观,特别是SBQ。这种悲观情绪的根源是确定的,但似乎很难反驳。
2022-04-28 cs.LG stat.CO stat.ML
Maximum Mean Discrepancy for Generalization in the Presence of Distribution and Missingness Shift
Bloomberg(彭博社);AWS(亚马逊云科技)
协变量偏移是现实问题预测建模中的常见问题。本文提出了解决协变量偏移的问题,最大限度地减少最大均值离散(MMD)统计之间的训练和测试集的特征输入空间,特征表示空间,或两者兼而有之。我们设计了三种技术,我们称之为MMD表示,MMD掩码和MMD混合,以处理仅存在分布偏移,仅存在缺失偏移,或两种类型的偏移都存在的情况下,分别。我们发现,集成MMD损失分量有助于模型使用最佳特征进行泛化,并尽可能避免每个测试样本的危险外推。用这种MMD方法处理的模型在测试集上显示出更好的性能、校准和外推。
2022-03-01 cs.LG
Rethink Maximum Mean Discrepancy for Domain Adaptation
Dalian University of Technology(大连理工大学);Indiana University-Purdue University Indianapolis(印第安纳大学-普渡大学印第安纳波利斯分校)
现有的领域自适应方法通过建立最大平均离散度(MMD)和区分距离,来减小源域和目标域之间的分布差异,并尊重源域和目标域的特定区分信息。然而,他们通常积累考虑这些统计量,并通过盲目估计参数来处理它们之间的关系。本文从理论上证明了两个基本事实:1)最小化MMD等于最大化源和目标的类内距离,但通过一些隐式权重共同最小化它们的方差,从而降低了特征的可分辨性; 2)类内距离和类间距离之间的关系是一个下降,另一个上升。在此基础上,我们提出了一种新的歧视性MMD。一方面,我们单独考虑类内和类间距离以去除冗余参数,并且所揭示的权重提供了它们的近似最优范围。另一方面,我们设计了两种不同的策略来提高特征的区分度:1)直接对MMD中隐含的类内距离施加一个权衡参数来调节其变化; 2)我们将MMD中揭示的相似权重施加在类间距离上并使其最大化,则可以引入平衡因子来定量地利用特征可转移性与其可辨别性。在多个基准数据集上的实验不仅证明了理论结果的有效性,而且表明我们的方法可以比比较先进的方法有更好的性能。
2020-07-01 cs.LG stat.ML
Optimal quantisation of probability measures using maximum mean discrepancy
Newcastle University(纽卡斯尔大学);Alan Turing Institute(艾伦·图灵研究所);Whisper.ai, Inc.(Whisper.ai公司);King’s College London(伦敦国王学院)
几个研究人员已经提出最大平均差异(MMD)的最小化作为量化概率测度的方法,即,以通过代表性点集来近似目标分布。我们考虑顺序算法,greetly最小化MMD在一个离散的候选集。我们提出了一种新的非近视算法,为了提高统计效率和降低计算成本,我们研究了一种变体,该变体在每次迭代时将该技术应用于小批量的候选集。当从目标中采样候选点时,这些新算法及其小批量变体的一致性就建立起来了。我们展示了一系列重要的计算问题的算法,包括优化节点的贝叶斯立方和细化的马尔可夫链输出。
2021-02-12 cs.LG stat.CO stat.ME
MMD-Bayes: Robust Bayesian Estimation via Maximum Mean Discrepancy
CREST(Crest研究中心);ENSAE(法国国立统计与经济管理学院);Institut Polytechnique de Paris(巴黎理工学院);RIKEN Center for AI Project(理化学研究所人工智能项目中心)
在某些错误指定的设置中,贝叶斯统计中的后验分布可能导致不一致的估计。为了解决这个问题,已经建议用伪似然代替似然,伪似然是享受适当鲁棒性特性的损失函数的指数。在本文中,我们建立了一个伪似然最大均值离散的基础上,定义通过嵌入的概率分布到再生核希尔伯特空间。我们表明,这种MMD-Bayes后验是一致的和强大的模型误设定。由于以这种方式获得的后验可能是棘手的,我们还证明了合理的变分近似后享有相同的属性。我们提供的随机梯度算法来计算这些变分近似的细节。数值模拟确实表明,我们的估计是更强大的误指定比的基础上的可能性。
2019-12-11 cs.LG math.ST stat.ML
Closed-form Expressions for Maximum Mean Discrepancy with Applications to Wasserstein Auto-Encoders
AT&T Labs(AT&T实验室)
最大平均离散度(MMD)在统计学和机器学习中有许多应用,最近作为Wasserstein自动编码器(WAE)中的惩罚。在本文中,我们计算封闭形式的表达式估计高斯核MMD之间的一个给定的分布和标准的多元正态分布。该公式揭示了与Henze-Zirkler检验的Baringhaus-Henze-Epps-Pulley(BHEP)统计量的联系,并提供了关于MMD的进一步见解。我们引入MMD的标准化版本作为WAE训练目标的惩罚,允许MMD值的更好的可解释性和不同超参数设置的更多兼容性。接下来,我们建议在代码层使用一种批处理规范化版本;这具有使内核宽度选择更容易,减少训练工作量和防止聚合代码分布中的离群值的好处。我们的合成和真实数据的实验表明,分析公式改善了常用的MMD的随机逼近,并证明代码规范化提供了显着的好处时,训练WAE。
2020-06-02 cs.LG stat.ME stat.ML
Maximum Mean Discrepancy on Exponential Windows for Online Change Detection
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
针对数据流变化检测中经典MMD估计器二次时间复杂度的问题,提出结合MMD优势与指数窗口高效计算的MMDEW算法,该算法具有多对数时间和对数内存复杂度,且在基准数据流上优于现有技术。
2025-02-12 cs.LG
Learning Dynamic Representations via An Optimally-Weighted Maximum Mean Discrepancy Optimization Framework for Continual Learning
School of Information and Software Engineering, University of Electronic Science and Technology of China(电子科技大学信息与软件工程学院);School of Mechanical Engineering, Huazhong University of Science and Technology(华中科技大学机械工程学院);Xihua University(西华大学);School of Computation, Information and Technology, Technische Universität München(慕尼黑工业大学计算、信息与技术学院);China Mobile Communications Group Chongqing Co., Ltd.(中国移动通信集团重庆有限公司)
本文提出最优加权最大均值差异优化框架,通过多级特征匹配机制和自适应正则化优化策略,有效解决持续学习中的灾难性遗忘问题,并在实验中取得最佳性能。
2026-01-27 cs.AI cs.LG
Weighted Joint Maximum Mean Discrepancy Enabled Multi-Source-Multi-Target Unsupervised Domain Adaptation Fault Diagnosis
Zhejiang University(浙江大学);University of Illinois Urbana–Champaign Institute(伊利诺伊大学厄巴纳-香槟分校研究院);Huazhong University of Science and Technology(华中科技大学)
本文提出加权联合最大均值差异实现的多源-多目标无监督域适应方法(WJMMD-MDA),通过改进的加权距离损失实现多源域与多目标域间的域对齐,学习域不变且具判别性的特征,首次在故障诊断领域实现多源-多目标场景下的跨域诊断,并在三个数据集上验证了其优越性。
2023-11-23 cs.AI cs.LG
MMD-OPT : Maximum Mean Discrepancy Based Sample Efficient Collision Risk Minimization for Autonomous Driving
University of Tartu(塔尔图大学)
本文提出MMD-OPT方法,利用再生核希尔伯特空间嵌入和最大均值差异构建样本高效的碰撞风险代理,在低样本条件下实现比CVaR方法更安全的自动驾驶轨迹优化。
2025-07-07 cs.LG cs.RO
Learning aligned embeddings for semi-supervised word translation using Maximum Mean Discrepancy
Interdepartmental Neuroscience Program(跨系神经科学项目);Yale School of Medicine(耶鲁医学院)
词汇翻译是语言翻译的一个组成部分。在机器翻译中,每种语言都被认为是一个域,具有自己的词嵌入。词嵌入之间的对齐允许在多语言上下文中链接语义上等同的词。此外,它提供了一种方法来推断跨语言意义的话,没有直接翻译。用于词嵌入对齐的当前方法是有监督的,即它们需要已知的词对,或者以无监督的方式学习固定嵌入上的跨域变换。在这里,我们提出了一个端到端的词嵌入对齐方法,不需要已知的词对。我们的方法称为通过MMD(WAM)进行单词对齐,它使用嵌入之间的本地化最大平均离散度(MMD)约束来学习在句子翻译训练期间对齐的嵌入。我们表明,我们的方法不仅优于无监督的方法,但也有监督的方法,训练已知的单词翻译。
2020-06-20 cs.CL cs.LG
A Unified Joint Maximum Mean Discrepancy for Domain Adaptation
Dalian University of Technology(大连理工大学);Baidu Research(百度研究院);Tulane University(杜兰大学);University of Shenzhen(深圳大学);University of Queensland(昆士兰大学)
领域自适应近年来受到了广泛的关注,提出了许多算法,取得了令人瞩目的进展。然而,它仍然没有充分探讨有关联合概率分布(P(X,Y))的距离为这个问题,因为它的经验估计来自最大平均差异(联合最大平均差异,JMMD)将涉及复杂的张量积算子,很难操作。为了解决这一问题,本文从理论上推导出了一种易于优化的JMMD统一形式,并证明了边缘、类条件和加权类条件概率分布距离是我们在不同标签核下的特例,其中加权类条件概率分布距离不仅可以实现类别级的跨域特征对齐,还可以利用类先验概率来处理不平衡数据集。从揭示的统一JMMD,我们说明,JMMD降低的特征-标签的依赖性(区分度),有利于分类,它是敏感的标签分布偏移时,标签核是加权类条件。因此,我们利用Hilbert Schmidt独立性准则,提出了一种新的MMD矩阵,以促进依赖性,并设计了一种新的标签核,是强大的标签分布偏移。最后,我们在多个跨域数据集上进行了大量的实验,以证明所揭示的理论结果的有效性和有效性。
2021-01-25 cs.LG
A Deterministic Sampling Method via Maximum Mean Discrepancy Flow with Adaptive Kernel
Illinois Institute of Technology(伊利诺伊理工学院);University of California, Riverside(加州大学河滨分校);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
本文提出EVI-MMD方法,通过最小化核差异近似目标分布,采用能量变分推断框架和隐式欧拉方案解决ODE动态系统,动态选择高斯核带宽提升性能,应用于密度指定和两样本问题。
2026-06-29 cs.LG stat.CO stat.ML
Signature Maximum Mean Discrepancy Two-Sample Statistical Tests
Department of Informatics(信息学系);King’s College London(伦敦国王学院);Department of Mathematics(数学系);University of Oxford(牛津大学)
本文研究签名最大均值差异(sig-MMD)在路径分布双样本检验中的实际应用,分析其导致第2类错误的情形并提出缓解技术。
2025-06-02 cs.LG math.DS stat.ML
Online Drift Detection with Maximum Concept Discrepancy
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Fudan University(复旦大学);Korea University(高丽大学)
针对高维数据流中复杂不规则的概念漂移,本文提出无标签的 MCD-DD,通过概念嵌入对比学习与最大概念差异实现自适应在线检测,实验表明其优于现有基线且具备高可解释性。
2024-07-07 cs.AI cs.LG
I Am Going MAD: Maximum Discrepancy Competition for Comparing Classifiers Adaptively
Texas A&M University(得克萨斯农工大学);City University of Hong Kong(香港城市大学);Department of Computer Science and Engineering(计算机科学与工程系);Department of Computer Science(计算机科学系)
用于图像分类的分层表示的学习已经经历了一系列令人印象深刻的成功,部分原因是大规模标记数据的可用性。另一方面,训练的分类器传统上是在小的和固定的测试图像集上进行评估的,这些测试图像被认为在所有自然图像的空间中分布非常稀疏。因此,值得怀疑的是,最近对过度重用的测试集的性能改进是否适用于具有更丰富内容变化的真实世界自然图像。在心理物理和生理研究中测试感知模型的有效刺激选择的启发下,我们提出了一个替代框架来比较图像分类器,我们称之为最大离散度(MAD)的竞争。而不是使用固定的测试图像比较图像分类器,我们自适应地采样一个小的测试集,从任意大的语料库的未标记的图像,以最大限度地提高分类器之间的差异,测量的距离超过WordNet层次结构。在所得到的依赖于模型的图像集上的人类标记揭示了竞争分类器的相对性能,并提供了关于改进它们的潜在方法的有用见解。我们报告了11个ImageNet分类器的MAD竞赛结果,同时指出该框架易于扩展,并且具有成本效益,可以将未来的分类器添加到竞赛中。代码可以在https://github.com/TAMU-VITA/MAD上找到。
2020-02-25 cs.CV cs.LG stat.ML
Least Squares Maximum and Weighted Generalization-Memorization Machines
Hainan University(海南大学);Inner Mongolia University(内蒙古大学)
本文提出一种记忆影响机制用于LSSVM,在不改变约束下精确划分训练集,并构建MIMM和WIMM模型,实验显示其泛化性能优于LSSVM且时间成本更低。
2023-08-31 cs.LG stat.ML
Variable Selection in Maximum Mean Discrepancy for Interpretable Distribution Comparison
Laboratoire Jean-Alexandre Dieudonné, Université Côte d’Azur(Jean-Alexandre Dieudonné实验室,坎特伯雷大学);EURECOM;Data Science Department, EURECOM(EURECOM数据科学系);Microblink;Huawei Munich Research Center(华为慕尼黑研究中心);Intelligent Cloud Technologies Laboratory, Huawei Munich Research Center(华为慕尼黑研究中心智能云技术实验室)
研究双样本变量选择问题,提出变量判别集的数学概念及两种最大化核双样本检验功效的稀疏变量选择方法,并开发数据驱动正则化参数选择程序,实验证明其性能优于基线。
2025-11-04 cs.LG stat.ML
Maximum Discrepancy Generative Regularization and Non-Negative Matrix Factorization for Single Channel Source Separation
NTNU – Norwegian University of Science and Technology(挪威科技大学)
本文提出最大差异生成正则化方法,通过对抗训练非负矩阵分解(NMF)基,有效提升了图像与音频的单通道源分离效果,尤其在缺乏强监督数据时表现突出。
2024-03-26 cs.LG cs.NA eess.SP
Maximum Mean Discrepancy Kernels for Predictive and Prognostic Modeling of Whole Slide Images
University of Warwick(华威大学)
两个图像有多相似?在计算病理学中,其中来自患者的数字扫描的组织样本的全载玻片图像(WSI)的大小可以是数千兆像素,确定两个WSI之间的相似程度是具有许多实际应用的具有挑战性的任务。在这项工作中,我们探索了一种新的策略,基于核化的最大均值离散(MMD)分析确定WSI之间的成对相似性。所提出的方法的工作原理是通过计算两个WSI之间的MMD使用内核的图像补丁的深度功能。这允许将WSI的整个数据集表示为WSI水平聚类的核矩阵,从乳腺癌患者的常规WSI中弱监督预测TP-53突变状态,以及具有最先进预测性能的生存分析。我们相信,这项工作将开辟进一步的途径,应用WSI级内核的预测和预后任务,在计算病理学。
2023-01-23 cs.CV cs.LG eess.IV
A Bayesian Non-parametric Approach to Generative Models: Integrating Variational Autoencoder and Generative Adversarial Networks using Wasserstein and Maximum Mean Discrepancy
Department of Statistics and Actuarial Science University of Hong Kong(统计与精算科学系香港大学)
本文提出一种基于贝叶斯非参数框架的生成模型,整合VAE、GAN及CGAN,采用Wasserstein距离和最大均值差异损失,以解决过拟合和噪声样本问题,提升训练稳定性并生成高质量多样样本。
2025-06-22 cs.LG stat.AP stat.CO
Utilizing Maximum Mean Discrepancy Barycenter for Propagating the Uncertainty of Value Functions in Reinforcement Learning
本文提出基于MMD重心传播价值函数不确定性的MMD-QL及深度版本MMD-QN,证明其PAC-MDP性质,并在表格环境与Atari游戏中验证其优于或可比现有方法。
2024-04-03 cs.LG
MCDAL: Maximum Classifier Discrepancy for Active Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院);University of California, Berkeley(加州大学伯克利分校)
最近最先进的主动学习方法主要利用生成对抗网络(GAN)进行样本获取;然而,GAN通常已知具有不稳定性和对超参数的敏感性。与这些方法相比,我们在本文中提出了一种新的主动学习框架,我们称之为最大分类器离散主动学习(MCDAL),它需要多个分类器之间的预测差异。特别是,我们利用两个辅助分类层,通过最大化它们之间的差异来学习更紧密的决策边界。直觉上,辅助分类层预测中的差异表明预测中的不确定性。在这方面,我们提出了一种新的方法来利用分类器的差异为主动学习的采集功能。我们还提供了我们的想法与现有的GAN为基础的主动学习方法和领域自适应框架的解释。此外,我们经验性地证明了我们的方法的效用,其中我们的方法的性能超过了主动学习设置中的几个图像分类和语义分割数据集上的最先进的方法。
2022-02-14 cs.AI cs.CV cs.LG
Scalable and Differentiable Point-Cloud Registration Using Maximum Mean Discrepancy
Data61, CSIRO, Brisbane, Australia(Data61,澳大利亚联邦科学与工业研究组织,布里斯班);Work done while at Data61, CSIRO, Brisbane, Australia(在Data61,澳大利亚联邦科学与工业研究组织,布里斯班工作期间)
提出MMD-Reg,一种基于最大均值差异的无对应点云配准方法,通过随机傅里叶特征近似实现线性复杂度,并利用隐函数定理保证可微性,支持端到端训练。
2026-06-29 cs.CV cs.LG
Anchor-based Maximum Discrepancy for Relative Similarity Testing
The University of Melbourne(墨尔本大学)
针对相对相似性测试中手动指定假设导致核选择困难的问题,提出基于锚点的最大差异(AMD)方法,通过同时学习假设与深度核,并采用两阶段测试框架,有效确定分布间相对相似性。
2025-10-12 cs.LG
Maximum Mean Discrepancy with Unequal Sample Sizes via Generalized U-Statistics
University of British Columbia(不列颠哥伦比亚大学);Alberta Machine Intelligence Institute(阿尔伯塔人工智能研究所)
研究不等样本量下的MMD检验问题,通过扩展广义U统计量理论应用于MMD估计量,得到其渐近分布新特征及检验功效优化准则,保留所有数据提升检验准确性与适用性,还清晰刻画了MMD估计量方差。
2026-07-10 cs.LG math.ST stat.ME
HistoKernel: Whole Slide Image Level Maximum Mean Discrepancy Kernels for Pan-Cancer Predictive Modelling
HistoKernel通过最大均值差异核提升全切片图像层面的跨癌症预测性能,实现多模态数据整合与斑块级可解释性。
2024-08-09 cs.AI cs.LG
Belief Propagation for Maximum Coverage on Weighted Bipartite Graph and Application to Text Summarization
Ibaraki University(茨城大学)
本文从最大覆盖问题的角度研究文本摘要。在图论中,文本摘要的任务被看作是二分图上的最大覆盖问题。近年来,利用统计力学的思想,提出了基于置信传播的无权图最大覆盖算法。我们将其推广到加权图的文本摘要。最后,我们将我们的算法应用于加权双正则随机图的最大覆盖性能验证。我们还将其应用于表示开放文本数据集上真实文档的二分图,并检验了文本摘要的性能。实验结果表明,该算法在某些文本摘要环境下具有比贪婪型算法更好的性能。
2020-03-26 cs.CL cs.IR cs.LG
A Semi-Bayesian Nonparametric Estimator of the Maximum Mean Discrepancy Measure: Applications in Goodness-of-Fit Testing and Generative Adversarial Networks
University of Hong Kong(香港大学);University of Maryland(马里兰大学)
针对难以处理似然的模型,提出半贝叶斯非参数MMD估计器用于拟合优度检验,并嵌入GAN框架,实现更低的错误率、增强样本多样性和推断准确性。
2023-11-10 cs.LG stat.AP stat.ME
Learning a Compressive Sensing Matrix with Structural Constraints via Maximum Mean Discrepancy Optimization
Technische Universität München(慕尼黑工业大学)
我们引入了一个基于学习的算法来获得一个测量矩阵的压缩感知相关的恢复问题。重点在于具有恒模约束的矩阵,其通常表示混合预编码/组合架构中的模拟移相器的网络。我们将具有限制等距性质的矩阵解释为从高维超球面到低维超球面的点的映射。我们认为,低维超球面上的点,即在矩阵的范围内,应均匀分布,以增加对测量噪声的鲁棒性。这个概念是正式的优化问题,它使用的目标函数中的最大平均差异度量之一。最近在神经网络相关主题中这种度量的成功激励了基于机器学习的问题的解决方案。数值实验显示出比通常在压缩感知上下文中采用的随机测量矩阵更好的性能。此外,我们适应的方法从文献中的常数模量约束。该方法也可以与随机矩阵竞争,如果将其用作初始化,则与所提出的基于学习的方法很好地协调。最后,我们描述了其他结构矩阵约束,例如,也可以考虑Toeplitz约束。
2021-10-14 cs.IT cs.LG eess.SP
Sample-Efficient Human Evaluation of Large Language Models via Maximum Discrepancy Competition
Zhejiang University(浙江大学);ZJU-Hangzhou Global Scientific and Technological Innovation Center(浙江大学杭州国际科创中心);Shanghai Electric Group Co., Ltd. Central Academe(上海电气集团股份有限公司中央研究院);City University of Hong Kong(香港城市大学);Shanghai Institute for Advanced Study of Zhejiang University(浙江大学上海高等研究院);Zhoushan-Zhejiang University Ocean Research Center(舟山-浙江大学海洋研究中心)
针对大语言模型评估中客观指标与人类感知不符及人工标注成本高的问题,提出基于最大差异竞争的样本高效人类评估方法,通过自适应选择指令和三选一强迫选择恢复模型排名并揭示其优缺点。
2025-05-29 cs.CL cs.HC cs.LG
MMD-MIX: Value Function Factorisation with Maximum Mean Discrepancy for Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
在现实世界中,许多任务需要多个智能体在局部观测条件下相互协作。为了解决这些问题,许多多智能体强化学习方法的基础上集中训练与分散执行已被提出。一个代表性的工作类别是值分解,其将全局联合Q值$Q_\text{jt}$分解为个体Q值$Q_a$以指导个体的行为,例如VDN(值分解网络)和QMIX。然而,这些基线往往忽略了情况的随机性。我们提出了MMD-MIX,一种结合分布式强化学习和值分解的方法来缓解上述弱点。此外,为了提高数据采样效率,我们受到了REM(随机混合)的启发,REM是一种鲁棒的RL算法,将随机性显式引入MMD-MIX。实验表明,MMD-MIX优于星际争霸多智能体挑战赛(SMAC)环境中的先前基线。
2021-06-22 cs.AI cs.LG cs.MA
Detecting Machine-Generated Texts by Multi-Population Aware Optimization for Maximum Mean Discrepancy
South China University of Technology(华南理工大学);Pazhou Laboratory(琶洲实验室);The University of Adelaide(阿德莱德大学);Hong Kong Baptist University(香港浸会大学)
针对多 LLM 来源导致 MMD 方差增大、机器文本检测不稳的问题,本文提出多种群感知优化方法 MMD-MP,并实现段落级与句子级检测,实验显示其性能优越。
2024-02-29 cs.CL cs.LG
Approximate Maximum Halfspace Discrepancy
Amazon(亚马逊);University of Utah(犹他大学)
考虑几何值域空间$(X, \mathcal{H}_d)$,其中$X \subset \mathbb{R}^d$和$\mathcal{H}_d$是由$d$维半空间定义的值域的集合。在这种情况下,我们认为$X$是红色和蓝色集合的不相交并集。对于每个半空间$h \in \mathcal{H}_d$,定义一个函数$Φ(h)$,该函数测量落在$h$范围内的红色点的分数和蓝色点的分数之间的“差”。在这种情况下,最大差异问题是找到$h^* = \arg \max_{h \in (X, \mathcal{H}_d)} Φ(h)$。我们的目标是找到一个$\hat{h}$,使得$Φ(h^*) - Φ(\hat{h}) \le \varepsilon$。这是机器学习的线性分类、空间异常检测的空间扫描统计中的核心问题,也出现在许多其他领域。我们在$O(|X| + (1/\varepsilon^d) \log^4 (1/\varepsilon))$时间内为这个问题提供了一个解决方案,该解决方案比以前的最佳解决方案以多项式方式改进。对于$d=2$,我们证明了这几乎是紧通过条件下界。对于不同类的$Φ$,我们可以提供精确解的$Ω(|X|^{3/2 - o(1)})$时间下限(约简为APSP)或近似解的$Ω(|X| + 1/\varepsilon^{2-o(1)})$下限(约简为3SUM)。一个关键的技术成果是一个…
2021-06-25 cs.CG cs.LG