首页/论文/2110.12751

arXiv 2110.127512021-10-25stat.MLcs.LG

尺度参数趋于零的最大相关熵准则回归模型

Maximum Correntropy Criterion Regression models with tending-to-zero scale parameters

Anhui University（安徽大学）

Ying Jing, Lianqiang Yang

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

在统计学习的框架下，最大相关熵准则回归（MCCR）模型在尺度参数取定值或趋于无穷大时得到了很好的研究。研究尺度参数趋于零的MCCR模型。当样本量$n$趋于无穷大时，MCCR模型的最优学习率在渐近意义下为${\mathcal{O}}(n^{-1})$.在有限样本情况下，比较了MCCR、Huber和最小二乘回归模型的稳健性。最后给出了这三种方法在实际数据上的应用。

英文摘要：

Maximum correntropy criterion regression (MCCR) models have been well studied within the frame of statistical learning when the scale parameters take fixed values or go to infinity. This paper studies the MCCR models with tending-to-zero scale parameters. It is revealed that the optimal learning rate of MCCR models is ${\mathcal{O}}(n^{-1})$ in the asymptotic sense when the sample size $n$ goes to infinity. In the case of finite samples, the performances on robustness of MCCR, Huber and the least square regression models are compared. The applications of these three methods on real data are also displayed.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

变中心最大相关熵准则

Maximum Correntropy Criterion with Variable Center

Xi’an Jiaotong University（西安交通大学）；Harbin Engineering University（哈尔滨工程大学）；National Space Science Center, Chinese Academy of Sciences（中国科学院国家空间科学中心）；University of Florida（佛罗里达大学）

相关熵是定义在核空间中的一种局部相似性度量，最大相关熵准则近年来在信号处理和机器学习的许多领域得到了成功的应用。相关熵核函数通常限定为中心为零的高斯函数。然而，零均值高斯函数在许多实际应用中可能不是一个好的选择。在这项研究中，我们提出了一个扩展版本的相关熵，其中心可以位于任何位置。因此，我们提出了一种新的优化准则称为最大相关熵准则与可变中心（MCC-VC）。我们还提出了一种有效的方法来优化MCC-VC中的内核宽度和中心位置。用线性参数（LIP）模型进行回归的仿真结果证实了新方法的良好性能。

2019-04-13cs.LGstat.ML

鲁棒学习的多核相关熵

Multi-Kernel Correntropy for Robust Learning

Hong Kong Polytechnic University（香港理工大学）

相关熵作为一种新的相似性度量，被定义为两个随机变量之间核函数的期望，已被成功地应用于鲁棒机器学习和信号处理中，以对抗大的离群值。相关熵中的核函数通常是零均值高斯核。最近的一项工作提出了混合相关熵（MC）的概念来提高学习性能，其中核函数是一个混合高斯核，即多个具有不同宽度的零均值高斯核的线性组合。然而，在相关熵和混合相关熵中，核函数的中心总是位于零。在目前的工作中，为了进一步提高学习性能，我们提出了多核相关熵（MKC）的概念，其中混合高斯核的每个分量可以集中在不同的位置。研究了MKC的性质，提出了一种确定MKC中自由参数的有效方法。实验结果表明，最大多核相关熵准则（MMKCC）下的学习算法性能优于原始最大相关熵准则（MCC）和最大混合相关熵准则（MMCC）下的学习算法.

2021-09-06cs.LGstat.ML

稳健分布估计的扩散最大相关熵准则算法

Diffusion Maximum Correntropy Criterion Algorithms for Robust Distributed Estimation

Xi’an University of Technology（西安理工大学）；Xi’an Jiaotong University（西安交通大学）；Southwest Jiaotong University（西南交通大学）

针对脉冲（长尾）噪声环境下的网络分布式估计问题，提出了基于最大相关熵准则（MCC）的鲁棒扩散自适应估计算法，包括自适应组合MCC和组合自适应MCC。在分布式估计中使用的成本函数通常基于均方误差（MSE）准则，这在测量噪声为高斯时是期望的。在非高斯情况下，例如脉冲噪声情况，基于MCC的方法可以实现比MSE方法好得多的性能，因为它们考虑了误差分布的顺序统计量。所提出的方法也可以优于鲁棒的扩散最小平均p-功率（DLMP）和扩散最小误差熵（DXM）算法。对新算法进行了均方收敛性分析。

2016-02-03cs.LGstat.ML

基于最大相关熵准则的宽度学习系统

Broad Learning System Based on Maximum Correntropy Criterion

Xi’an Jiaotong University（西安交通大学）；Southwest University（西南大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）

针对标准宽度学习系统（BLS）对异常值敏感的问题，提出基于最大相关熵准则的C-BLS方法及三种增量学习算法，在保持原性能的同时显著提升了系统的鲁棒性。

2019-12-24cs.LGstat.ML

带噪声输入系统辨识的偏差补偿归一化最大相关熵准则算法

Bias-Compensated Normalized Maximum Correntropy Criterion Algorithm for System Identification with Noisy Input

针对脉冲输出噪声环境下带噪输入的系统辨识问题，提出了一种具有低稳态失调特性的偏差补偿归一化最大相关熵准则（BCNMCC）算法。归一化最大相关熵准则（NMCC）是从一个基于相关熵的成本函数，这是相当强大的脉冲噪声。为了处理噪声输入，我们在NMCC算法中引入了一个偏差补偿向量（BCV），然后使用无偏准则和一些合理的假设来计算BCV。利用该结构，可以有效地抑制输入噪声引起的偏置。系统辨识仿真结果表明，所提出的BCNMCC算法可以优于其他相关算法的噪声输入，特别是在脉冲输出噪声环境中。

2017-11-23eess.SPstat.ML

约束最大相关熵自适应滤波

Constrained Maximum Correntropy Adaptive Filtering

约束自适应滤波算法包括约束最小均方（CLMS）、约束仿射投影（CAP）和约束递归最小二乘（CRLS）等，在许多应用中得到了广泛的研究。现有的约束自适应滤波算法大多是在均方误差（MSE）准则下发展起来的，MSE准则是高斯噪声下的理想最优性准则。然而，该假设未能对实践中发现的非高斯噪声的行为进行建模。基于最大相关熵准则（MCC）在非高斯脉冲噪声中的鲁棒性和简单性，提出了一种新的自适应滤波算法-约束最大相关熵准则（CMCC）。具体来说，CMCC将线性约束并入MCC滤波器以明确地解决约束优化问题。该自适应滤波算法易于实现，计算复杂度低，在重尾脉冲噪声背景下，收敛精度（均方差）和稳定性明显优于基于均方误差的约束自适应算法.在能量守恒关系下，研究了算法的均方收敛性，得到了保证算法均方收敛和稳态均方偏差的充分条件.仿真结果证实了高斯和非高斯噪声下的理论预测，并通过与其他传统方法的比较，证明了新算法的优良性能。

2016-12-14stat.ML

更多相关论文收起更多论文

鲁棒自适应滤波的广义相关熵

Generalized Correntropy for Robust Adaptive Filtering

相关熵作为核空间中一种鲁棒的非线性相似性度量，在机器学习和信号处理领域受到越来越多的关注。特别是，最大相关熵准则（MCC）最近已成功地应用于鲁棒回归和滤波。相关熵中的默认核函数是高斯核，当然，这并不总是最佳选择。在这项工作中，我们提出了一个广义相关熵，采用广义高斯密度（GGD）函数作为内核（不一定是Mercer内核），并提出了一些重要的性质。本文进一步提出了广义最大相关熵准则（GMCC），并将其应用于自适应滤波。提出了一种自适应算法GMCC，并研究了其均方收敛性能。我们表明，该算法是非常稳定的，可以实现零发散概率（POD）。仿真结果证实了理论预期，并证明了新算法的理想性能。

2015-04-12cs.ITmath.ITstat.ML

基于相关熵的回归学习新见解

New Insights into Learning with Correntropy Based Regression

University at Albany（奥尔巴尼大学）

源于信息论学习的相关熵准则及其在机器学习任务中的应用已经得到了广泛的探索和研究。它的回归问题的应用导致鲁棒性增强回归范式-即，基于相关熵的回归。在获得了大量成功的实际应用后，其理论性质也在最近的一系列研究中从统计学习的角度进行了研究。由此产生的大画面是基于相关熵的回归在某些条件下稳健地向条件模式函数或条件均值函数回归。继续这一趋势，更进一步，在本研究中，我们报告了一些新的见解，这个问题。首先，我们证明了在加性噪声回归模型下，这样的回归范式可以从最小距离估计推导出来，这意味着所得到的估计量本质上是一个最小距离估计量，因此具有鲁棒性。其次，我们表明，回归范式，事实上，提供了一个统一的方法来回归问题，它的方法的条件平均值，条件模式，以及在一定条件下的条件中值函数。第三，我们提出了一些新的结果，当它被用来学习的条件均值函数的条件下$(1+ε)$矩的假设下，开发其误差界和指数收敛速度。在$(1+ε)$矩假设下观察到的对已建立的收敛速率的饱和效应仍然存在，表明回归估计量的固有偏倚。这些新的见解加深了我们对基于相关熵的回归的理解，有助于巩固相关熵的理论框架，也使我们能够研究由一般有界非凸损失函数引起的学习方案。

2020-07-21cs.LGstat.ML

最大相关熵卡尔曼滤波器

Maximum Correntropy Kalman Filter

Xi’an Jiaotong University（西安交通大学）；University of Florida（佛罗里达大学）

本文提出最大相关熵卡尔曼滤波器，用于改善传统卡尔曼滤波在非高斯噪声下的鲁棒性，通过最大相关熵准则替代最小均方误差准则，提供更稳定的估计。

2015-09-15cs.SYeess.SYstat.ML

基于自动相关性确定的 correntropy 自适应稀疏鲁棒回归

Adaptive sparseness for correntropy-based robust regression via automatic relevance determination

Institute of Innovative Research, Tokyo Institute of Technology（东京工业大学创新研究院）；ATR Neural Information Analysis Laboratories（ATR神经信息分析实验室）

针对基于MCC的鲁棒回归，提出在贝叶斯框架下结合ARD技术实现自适应稀疏的MCC-ARD方法，避免了L1正则化的超参数调优，并在实验中展现出更优的预测与特征选择能力。

2023-01-31cs.LGstat.ML

基于相关性损失的深部颗粒物预报模型

Deep Particulate Matter Forecasting Model Using Correntropy-Induced Loss

Yonsei University（延世大学）

韩国的颗粒物（PM）浓度对人类生活产生了强烈的负面影响，因此对其进行预测已成为当务之急。在大多数统计或机器学习方法中，假设独立和相同分布的数据，例如高斯分布;然而，空气污染和天气数据等时间序列不满足此假设。本研究应用最大相关熵回归损失准则（MCCR）分析大气污染与天气资料的统计特性。由于空气污染和天气数据具有复杂的季节性模式，而且即使在去季节化之后数据仍具有重尾分布，因此对它们进行了严格的季节性调整。MCCR损失被应用于多个模型，包括传统的统计模型和最先进的机器学习模型。结果表明，MCCR损失比传统的均方误差损失更适合于预测极值。

2021-08-30cs.LGstat.APstat.ML

极大相关熵估计对大离群值的稳健性

Robustness of Maximum Correntropy Estimation Against Large Outliers

最大相关熵准则（MCC）最近已被成功地应用于鲁棒回归、分类和自适应滤波中，其中相关熵最大化而不是众所周知的均方误差（MSE）最小化，以提高对离群值（或脉冲噪声）的鲁棒性。在MCC下，人们一直致力于开发各种鲁棒自适应算法，但迄今为止，对于离群值对最优解的影响还知之甚少。在这项工作中，我们研究了这个问题的背景下，参数估计的一个简单的线性误差的变量（EIV）模型，其中所有的变量是标量。在一定的条件下，我们推导出上界的绝对值的估计误差，并表明MCC下的最优解可以非常接近的真实值的未知参数，即使离群值（其值可以是任意大）的输入和输出变量。最后通过实例验证了理论的正确性.

2017-11-23stat.ML

最大相关熵无迹滤波器

Maximum Correntropy Unscented Filter

无迹变换（Unscented Transform，UT）是一种有效的非线性动态系统状态估计方法，它利用无导数的高阶近似来近似高斯分布，而不是近似非线性函数。将UT应用于卡尔曼滤波器类型的估计器导致众所周知的无迹卡尔曼滤波器（UKF）。虽然UKF在高斯噪声环境下有很好的效果，但当噪声为非高斯噪声时，尤其是当系统受到强尾脉冲噪声干扰时，UKF的性能会显著恶化。为了提高UKF对脉冲噪声的鲁棒性，提出了一种新的非线性系统滤波器，即最大相关熵无迹滤波器（MCUF）。在MCUF中，UT被应用于获得状态和协方差阵的先验估计，然后使用基于最大相关熵准则（MCC）的鲁棒统计线性化回归来获得状态和协方差矩阵的后验估计。两个算例验证了新算法的有效性。

2016-08-26stat.ML

基于最大相关熵幂迭代的鲁棒主成分分析

Robust Principal Component Analysis Based On Maximum Correntropy Power Iterations

Imperial College London（帝国理工学院）

主成分分析（PCA）被认为是描述数据集特征之间线性关系的典型数据分析技术。然而，PCA对非高斯样本和/或离群值的众所周知的敏感性通常使其在实践中不可靠。为此，一个强大的PCA公式推导出基于最大相关熵准则（MCC），以最大限度地提高高斯分布的重建误差的预期可能性。通过这种方式，所提出的解决方案减少到广义幂迭代，从而：（i）即使在存在离群值的情况下也可以获得主成分的鲁棒估计;（ii）不需要预先指定主成分的数量;以及（iii）可以获得整个主成分集合，这与现有方法不同。通过一个直观的数值算例说明了最大相关熵幂迭代法的优点。

2019-10-24cs.ITcs.LGeess.SP

基于张量分解和最大相关准则的鲁棒低秩管张量完备化

Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion

University of Central Florida（中佛罗里达大学）

张量补全的目标是从其条目的子集中恢复张量，通常是通过利用其低秩属性。在张量秩的几个有用的定义中，低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法，但这些算法利用二阶统计量来测量误差残差，当观察到的条目包含大的离群值时，这可能不能很好地工作。在本文中，我们提出了一个新的目标函数的低管秩张量完成，它使用相关熵作为误差测量，以减轻离群值的影响。为了有效地优化所提出的目标，我们利用半二次最小化技术，从而将优化转化为加权低管秩张量因式分解问题。随后，我们提出了两个简单而有效的算法来获得解决方案，并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明，所提出的算法的鲁棒性和优越的性能。

2022-10-14cs.LGstat.ML

模态回归的统计学习方法

A Statistical Learning Approach to Modal Regression

本文从统计学习的角度系统地研究了非参数模态回归问题。最初的动机是追求的最大相关熵准则为基础的回归（MCCR）的理论理解，我们的研究表明，MCCR与趋于零的尺度参数基本上是模态回归。我们证明了非参数模态回归问题可以通过经典的经验风险最小化来逼近。一些努力，然后开发一个框架，分析和实现模态回归。例如，描述了模态回归函数，明确定义了模态回归风险并刻画了其\textit{Bayes}规则;为了便于计算，引入了替代模态回归风险，我们称之为泛化风险。在理论方面，对超模态回归风险、超泛化风险、函数估计误差以及三者之间的关系进行了严格的研究。结果表明，在温和的条件下，在模态回归中可以追求函数估计的一致性和收敛性，就像在香草回归协议中一样，例如均值回归，中位数回归和分位数回归。然而，它在稳健性方面优于这些回归模型，如我们的研究从重新下降的M估计的角度所示。这与MCCR在鲁棒性方面的优点相吻合，并反过来解释了MCCR的优点。在实际应用方面，讨论了模态回归的实现问题，包括计算算法和调整参数的选择。模态回归的数值评估也进行了实证验证我们的发现。

2020-01-17math.STstat.MEstat.ML