arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2301.01410cs.LGstat.ML
收藏

核子空间与特征提取

Kernel Subspace and Feature Extraction

MIT(麻省理工学院)

Xiangxiang Xu, Lizhong Zheng

AI总结:

本文从特征子空间角度研究核方法,建立特征子空间与核的一一对应,提出信息论度量,构造最大相关核并证明其最优性,以SVM为例展示核方法与特征提取的联系,并阐释Fisher核的最优性。

摘要:

我们从特征子空间的角度研究机器学习中的核方法。我们建立了特征子空间与核之间的一一对应关系,并提出了一种用于核的信息论度量。特别地,我们从Hirschfeld--Gebelein--Rényi最大相关函数构造了一个核,称为最大相关核,并证明了其信息论最优性。我们以支持向量机(SVM)为例,说明核方法与特征提取方法之间的联系。我们证明了在最大相关核上的核SVM能够达到最小预测误差。最后,我们将Fisher核解释为一种特殊的最大相关核,并建立了其最优性。

英文摘要:

We study kernel methods in machine learning from the perspective of feature subspace. We establish a one-to-one correspondence between feature subspaces and kernels and propose an information-theoretic measure for kernels. In particular, we construct a kernel from Hirschfeld--Gebelein--Rényi maximal correlation functions, coined the maximal correlation kernel, and demonstrate its information-theoretic optimality. We use the support vector machine (SVM) as an example to illustrate a connection between kernel methods and feature extraction approaches. We show that the kernel SVM on maximal correlation kernel achieves minimum prediction error. Finally, we interpret the Fisher kernel as a special maximal correlation kernel and establish its optimality.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑