Recently, Transformer is much popular and plays an important role in the fields of Machine Learning (ML), Natural Language Processing (NLP), and Computer Vision (CV), etc. In this paper, based on the Vision Transformer (ViT) model, a new dimensionality reduction (DR) model is proposed, named Transformer-DR. From data visualization, image reconstruction and face recognition, the representation ability of Transformer-DR after dimensionality reduction is studied, and it is compared with some representative DR methods to understand the difference between Transformer-DR and existing DR methods. The experimental results show that Transformer-DR is an effective dimensionality reduction method.
Learning-Based Dimensionality Reduction for Computing Compact and Effective Local Feature Descriptors
ETH Zürich(苏黎世联邦理工学院);University of Bonn(波恩大学);Lund University(隆德大学);Microsoft(微软);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
A Convolutional Layer Activation Dimensionality Reduction for Out-of-Distribution and Adversarial Attack Detection Methods
Alma Mater Studiorum Università di Bologna(博洛尼亚大学);Advanced Research Center on Electronic Systems “Ercole De Castro” (ARCES) - Alma Mater Studiorum Università di Bologna(博洛尼亚大学“埃尔科莱·德·卡斯特罗”电子系统高级研究中心)
A novel filter based on three variables mutual information for dimensionality reduction and classification of hyperspectral images
ENSET, Mohammed V University(穆罕默德五世大学国立高等技术教育学院)
高光谱图像(HSI)包含同一区域(称为地面实况图)的一百多个波段(图像),其高维性通常给图像处理带来沉重的计算负担,并使学习过程变得复杂。实际上,去除不相关的、有噪声的和冗余的波段有助于提高分类精度。基于“互信息“的波段选择滤波器是一种常用的降维技术。本文根据评价过程对降维方法进行了分类。提出了一种新的基于三变量互信息的滤波方法,该方法不仅考虑了波段间的相关性,而且考虑了波段间的相互作用。所提出的方法进行了比较,再现滤波算法的基础上的互信息。在HSIAVIRIS 92 AV 3C上的实验结果表明,该方法具有很强的竞争力,有效性和优于复制过滤策略的性能。关键词-高光谱图像;分类;波段选择;三变量互信息;信息增益。
Hybridization of filter and wrapper approaches for the dimensionality reduction and classification of hyperspectral images
ENSET Mohammed V University(穆罕默德五世大学高等师范技术学院)
高光谱图像的高维性往往给图像处理带来沉重的计算负担。因此,降维往往是一个必要的步骤,以消除不相关的,噪声和冗余的频带。从而提高分类精度。然而,从数百甚至数千个相关条带中识别有用的条带是一项重要的任务。本文的目的是确定一个小的波段,以提高计算速度和预测精度。因此,我们提出了一种混合算法,通过波段选择的高光谱图像降维。该方法结合了互信息增益、最小冗余最大相关和Fano错误概率与支持向量机波段消除算法。所提出的方法相比,一个有效的再生过滤器的方法的基础上互信息。在HSIAVIRIS 92 AV 3C上的实验结果表明,该方法的性能优于再生滤波器。关键词-高光谱图像;分类;波段选择;滤波器;包装器;互信息;信息增益。
Hyperspectral images classification and Dimensionality Reduction using Homogeneity feature and mutual information
ENSET Mohammed V University(穆罕默德五世大学高等师范学院)
高光谱图像(HSI)包含数百个波段的同一区域称为地面实况(GT)。这些频带是以并列的频率获取的,但其中一些是嘈杂的测量或不包含任何信息。对于分类来说,波段的选择,对分类结果影响很大,实际上,使用相关波段的子集,这些结果可以比使用所有波段得到的结果更好,由此需要对HSI进行降维。本文根据降维方法的生成过程,对降维方法进行了分类。在此基础上,提出了一种基于互信息(MI)的特征选择降维算法,并引入了一种利用互信息和同质性的降维算法。这两种模式是一种过滤策略。最后,为了验证这一点,我们考虑了案例研究AVIRIS HSI 92 AV 3C。关键词:高光谱图像;分类;特征选择;互信息;均匀性
Curvature as a tool for evaluating dimensionality reduction and estimating intrinsic dimension
Center for Scalable Data Analytics and Artificial Intelligence (ScaDS,AI)(可扩展数据分析与人工智能中心);Max Planck Institute for Human Cognitive and Brain Sciences(人类认知与脑科学马克斯·普朗克研究所);Max Planck Institute for Mathematics in the Sciences(科学数学马克斯·普朗克研究所);Santa Fe Institute for the Sciences of Complexity(复杂性科学圣菲研究所)