"Why Here and Not There?" -- Diverse Contrasting Explanations of Dimensionality Reduction
KIOS Research and Innovation Center of Excellence, University of Cyprus(塞浦路斯大学KIOS卓越研究与创新中心);Bielefeld University(比勒费尔德大学)
模糊性约简是数据采掘中常用的预处理方法和工具。透明度,这通常是通过解释的方式来实现的,现在是一个广泛接受的和关键的要求,机器学习为基础的系统,如分类器和推荐系统。然而,降维和其他数据采掘工具的透明度还没有被深入考虑,理解它们的行为仍然是至关重要的--特别是从业者可能想知道为什么特定的样本被映射到特定的位置。为了(局部地)理解给定的降维方法的行为,我们引入了对降维的对比解释的抽象概念,并将此概念的实现应用于解释二维的数据可视化的具体应用。
2023-02-22 cs.AI cs.LG
A Visual Interaction Framework for Dimensionality Reduction Based Data Exploration
IBM Research(IBM研究院)
高维性约简是高维数据分析和可视化的常用方法。然而,动态地推理降维的结果是困难的。降维算法使用复杂的优化来减少数据集的维度数量,但这些新维度通常与初始数据维度缺乏明确的关系,因此难以解释。在这里,我们提出了一个可视化的交互框架,以提高降维为基础的探索性数据分析。我们介绍了两种互动技术,向前投影和向后投影,动态推理降维数据。我们还提供了两个可视化技术,脯氨酸和可行性地图,以促进有效地使用拟议的相互作用。我们将我们的框架应用于PCA和基于自动编码器的降维。通过数据探索的例子,我们展示了我们的视觉交互如何可以提高在探索性数据分析的降维的使用。
2018-11-28 cs.AI cs.HC cs.LG
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University(朱拉隆功大学)
我们提出了一个半监督降维流形学习的一般框架,自然地概括了现有的监督和无监督学习框架,适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子,并能够处理复杂的问题,数据形成单独的簇的流形。我们的框架提供了简单的视图,解释了现有框架之间的关系,并提供了进一步的扩展,可以改善现有的算法。此外,提出了一种新的半监督核化框架,称为“KPCA技巧”,以处理非线性问题。
2009-07-29 cs.AI cs.LG
DimenFix: A novel meta-dimensionality reduction method for feature preservation
Dalhousie University(达尔豪斯大学);Eindhoven University of Technology (TU/e)(埃因霍温理工大学)
近年来,随着对高维数据集解释需求的快速增长,高维性约简已经成为一个重要的研究课题。已经有许多降维方法在将数据点映射到低维空间时保持数据点之间的整体关系方面具有良好的性能。然而,这些现有的方法未能纳入特征之间的重要性的差异。为了解决这个问题,我们提出了一种新的元方法,XNUMX Fix,它可以在任何涉及梯度下降过程的基本降维方法上操作。通过允许用户定义不同特征的重要性,这在降维中得到了考虑,CNOFFIX为可视化和理解给定数据集创造了新的可能性。同时,相对于所使用的基本降维,RSSFix不会增加时间成本或降低降维质量。
2022-11-30 cs.LG
Semi-Supervised Graph Learning Meets Dimensionality Reduction
University of Missouri(密苏里大学)
半监督学习(SSL)最近受到了机器学习研究人员越来越多的关注。通过在基于图的深度学习(GDL)算法中实现已知标签的有效传播,SSL有望在未来几年成为GDL中越来越多使用的技术。然而,目前很少有探索在基于图的SSL文献利用经典的降维技术,以改善标签传播。在这项工作中,我们研究了PCA,t-SNE和UMAP等降维技术的使用,以了解它们对用于节点标签半监督传播的图神经网络(GNNs)性能的影响。我们的研究利用基准半监督GDL数据集,如Cora和Citeseer数据集,以便在与降维技术配对时对每个算法学习的表示进行有意义的比较。我们全面的基准测试和聚类可视化定量和定性地证明,在一定条件下,分别对GNN输入和输出进行先验和后验降维,可以同时提高半监督节点标签传播和节点聚类的有效性。我们的源代码在GitHub上免费提供。
2022-03-23 cs.AI cs.LG
Riemannian joint dimensionality reduction and dictionary learning on symmetric positive definite manifold
The University of Electro-Communications(电气通信大学);Microsoft(微软)
字典学习(DL)和降维(DR)是分析高维噪声信号的有力工具。本文提出了一种新的黎曼联合降维和字典学习(R-JDRDL)对称正定(SPD)流形分类任务的建议。联合学习通过将降维和字典学习过程连接到一个统一的框架中来考虑它们之间的相互作用。我们利用黎曼优化框架来解决DL和DR问题。最后,我们证明了建议的R-JDRDL优于现有的国家的最先进的算法时,用于图像分类任务。
2019-02-11 cs.AI cs.CV cs.LG
A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks
National University of Defense Technology(国防科技大学);Nanchang University(南昌大学);Hefei University of Technology(合肥工业大学)
现实世界的数据通常具有高维度,减轻维度灾难非常重要。高维数据通常具有相干结构,使得数据的真实自由度相对较小。有全局和局部降维方法可以缓解这个问题。现有的局部降维方法大多通过特征值或奇异值分解得到嵌入,对于大数据量,计算复杂性很高。在这里,我们提出了一种新的局部非线性方法命名为Vec2vec的通用降维,它概括了最近的进展,嵌入表示学习的词的矩阵降维。该算法采用一个只有一个隐层的神经网络来实现非线性嵌入,降低了计算复杂性。为了训练神经网络,我们建立了矩阵的邻域相似图,并利用随机游走特性定义了数据点的上下文。实验表明,Vec2vec是更有效的比几个国家的最先进的局部降维方法在大量的高维数据。在8个真实数据集上进行的大量数据分类和聚类实验表明,Vec2vec在统计假设检验方面优于几种经典的降维方法,与最近发展起来的最先进的UMAP相比具有竞争力。
2021-03-10 cs.LG
Joint Dimensionality Reduction for Separable Embedding Estimation
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Nanyang Technological University(南洋理工大学)
针对不同数据源的低维嵌入在多模态机器学习、多媒体信息检索和生物信息学中起着关键作用。在本文中,我们提出了一种监督降维方法,学习线性嵌入联合两个特征向量表示数据的不同形式或数据从不同类型的实体。我们还提出了一个有效的特征选择方法,补充,并可以应用之前,我们的联合降维方法。假设这些特征存在真实的线性嵌入,我们对学习的线性嵌入中的误差的分析提供了理论保证,即当满足某些技术条件并且样本数量足够大时,降维方法可以准确地估计真实嵌入。衍生的样本复杂性的结果是呼应的数值实验。我们将所提出的降维方法应用于基因-疾病关联,并在降维后的特征向量上使用核回归来预测未知关联。我们的方法与其他降维方法以及最先进的双线性回归预测基因-疾病关联的方法相比毫不逊色。
2021-01-14 cs.LG
Exploring the Influence of Dimensionality Reduction on Anomaly Detection Performance in Multivariate Time Series
Istanbul Technical University(伊斯坦布尔技术大学);Parton Big Data Analytics and Consulting(帕顿大数据分析与咨询公司)
本文通过在三个数据集上实验研究四种降维技术与两种无监督异常检测模型的结合,发现降维可提升检测性能并大幅缩短训练时间,为降维策略选择提供参考。
2024-03-07 cs.LG
TLDR: Twin Learning for Dimensionality Reduction
NAVER LABS Europe(NAVER欧洲实验室)
简化方法是一种无监督的方法,它学习低维空间,其中保留了初始空间的一些属性,通常是“邻域”的概念。这种方法通常需要在大型k-NN图或复杂的优化求解器上进行传播。另一方面,自监督学习方法通常用于从头开始学习表示,依赖于简单且更具可扩展性的学习框架。在本文中,我们提出了TLDR,这是一种通用输入空间的降维方法,它将Zbontar等人(2021)最近的自监督学习框架移植到任意表示的降维特定任务中。我们建议使用最近的邻居来从训练集和冗余减少损失来学习编码器,该编码器在这些对中产生不变的表示。TLDR是一种简单、易于训练且具有广泛适用性的方法;它由可以高度近似的离线最近邻计算步骤和简单的学习过程组成。针对可扩展性,我们专注于改进线性降维,并在图像和文档检索任务上显示出一致的增益,例如在ROxford上为GeM-AP获得了超过PCA的+4%mAP,提高了DINO在ImageNet上的性能或保留了10倍压缩。
2022-06-15 cs.AI cs.CV cs.LG
Nonnegative Matrix Factorization in Dimensionality Reduction: A Survey
Graduate University of Advanced Technology(高级技术研究生院);Queensland University of Technology (QUT)(昆士兰科技大学);Ardakan University(阿尔达坎大学);Griffith University(格里菲斯大学)
本文综述了非负矩阵分解(NMF)在降维中的特征提取与特征选择应用,提出降维分类框架,并探讨未来研究方向。
2024-05-06 cs.LG
Assessing the impact of dimensionality reduction on clustering performance - a systematic study
Université du Québec à Montréal(魁北克大学蒙特利尔分校);Mila - Quebec AI Institute(魁北克AI研究所)
本文系统研究了五种降维方法对四种聚类算法的影响,通过调整降维级别评估聚类质量,强调了选择合适降维技术和级别的重要性。
2026-09-24 cs.LG
Dimensionality Reduction with Subspace Structure Preservation
SUNY Buffalo(纽约州立大学布法罗分校)
将数据建模为从独立子空间的并集中采样已经广泛应用于许多现实世界的应用。然而,理论上保持这种独立性假设的降维方法还没有得到很好的研究。我们的主要贡献是表明,$2K$投影向量是足够的任何$K$类数据的独立保存从一个联盟的独立子空间。正是这种非平凡的观察,我们用来设计我们的降维技术。在本文中,我们提出了一种新的降维算法,理论上保留了给定数据集的这种结构。我们支持我们的理论分析与实证结果的合成和现实世界的数据实现\textit{state-of-the-art}结果相比,流行的降维技术。
2016-04-06 cs.LG stat.ML
Deep Autoencoders for Dimensionality Reduction of High-Content Screening Data
University of Toronto(多伦多大学)
高内容筛选使用大量未标记的细胞图像数据来推理遗传学或细胞生物学。两个重要的任务是鉴定具有感兴趣的表型的那些细胞,以及鉴定富集这些表型的亚群。这种探索性数据分析通常涉及降维,然后进行聚类,希望聚类代表一种表型。我们建议使用堆叠去噪自动编码器来执行高内容筛选的降维。我们证明了我们的方法优于PCA,局部线性嵌入,核PCA和Isomap的性能。
2015-01-07 cs.LG
Formation-Controlled Dimensionality Reduction
Yonsei University(延世大学);Sungkyunkwan University(成均馆大学)
受移动智能体编队控制启发,提出一种结合邻点与远点控制、兼顾局部与全局结构的非线性降维动力系统,经数学分析与实验验证其合理性与有效性。
2025-01-16 cs.LG
A Meta-learning Formulation of the Autoencoder Problem for Non-linear Dimensionality Reduction
Virginia Polytechnic Institute and State University(弗吉尼亚理工学院暨州立大学)
一个快速增长的研究领域是使用机器学习方法,如自动编码器,用于科学应用中的数据和模型的降维。我们表明,规范制定的自编码器遭受几个缺陷,可以阻碍他们的表现。使用元学习的方法,我们重新制定的自动编码器的问题作为一个双层优化过程,明确解决了降维任务。我们证明了新的配方纠正了规范的自动编码器的缺陷,提供了一个实用的方法来解决它,并展示了这个配方的强度与一个简单的数值说明。
2022-07-27 cs.LG
Local Explanation of Dimensionality Reduction
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
多维性约简(DR)是一种用于准备和分析高维数据的流行方法。简化的数据表示方式计算密集度更低,更易于管理和可视化,同时保留了相当大比例的原始信息。除了这些优点之外,这些简化的表示在大多数情况下可能难以或不可能解释,特别是当DR方法不提供关于原始空间的哪些特征导致其构造的进一步信息时。可解释机器学习解决了这个问题,它是可解释人工智能的一个子领域,解决了机器学习模型的不透明性。然而,目前对可解释机器学习的研究主要集中在有监督的任务上,而对无监督的任务(如简化)则没有进行探索。在本文中,我们介绍LXDR,一种能够提供本地的DR技术的输出解释的技术。实验结果和两个LXDR用例的例子来评估其有效性。
2022-04-29 cs.AI cs.IR cs.LG
Representative period selection for power system planning using autoencoder-based dimensionality reduction
Massachusetts Institute of Technology(麻省理工学院)
用于研究未来低碳电网情景的电力部门容量扩展模型(CEM)必须包含电网运营的详细表示。通常,CEM被公式化以对使用聚类算法从原始输入数据采样的代表性时段上的网格操作进行建模。然而,这种代表性时段选择(RPS)方法受到聚类算法随着输入数据的维数增加而降低的功效的限制,并且不考虑输入数据变化对CEM结果的相对重要性。在这里,我们提出了一个RPS方法,解决了这些限制,通过将降维,通过基于神经网络的自编码器,聚类之前完成。这样的降维不仅提高了聚类算法的性能,而且还便于使用附加特征,诸如从针对输入数据中的每个不相交时段(例如,1周)的CEM的简化版本的并行解产生的估计输出。将降维作为RPS方法的一部分的影响通过相应的缩减空间CEM与全空间CEM的结果中的误差来量化。在各种网络和各种技术和政策场景中进行的大量数值实验确立了基于降维的RPS方法的优越性。
2022-04-28 cs.LG
Dimensionality Reduction for $k$-means Clustering
我们提出了一个研究如何有效地降低维度的$k$ -均值聚类问题,从而获得可证明准确的近似。四个算法,两个\textit{feature selection}和两个基于\textit{feature extraction}的算法,所有这些都是随机的。
2020-07-26 cs.LG stat.ML
Ensembles of Classifiers based on Dimensionality Reduction
Academic College of Tel Aviv-Yaffo(特拉维夫-雅法学院);Ben-Gurion University of the Negev(内盖夫本-古里安大学);Interdisciplinary Center (IDC) Herzliya(赫兹利亚跨学科中心)
提出了一种基于降维的集成分类器构造方法。抽象性约简方法使用少量属性表示数据集,同时保留原始数据集传达的信息。基于训练集的降维版本来训练系综成员。这些版本是通过使用输入参数的不同值对原始训练集应用降维来获得的。这种结构满足多样性和准确性的标准,所需的构建集成分类器,其中前一个标准是通过各种输入参数值获得的,后者是由于降维的去相关和降噪特性而实现的。为了对测试样本进行分类,首先使用样本外扩展算法将测试样本嵌入到每个分类器的降维空间中。然后,每个分类器被应用于嵌入的样本,并且通过投票方案获得分类。我们提出了三种变化的方法的基础上随机投影,扩散映射和随机子空间降维算法。我们还提出了一个多策略集成,结合AdaBoost和扩散地图。与Bagging,AdaBoost,Rotation Forest集成分类器以及不包含降维的基本分类器进行了比较。我们的实验使用了来自UCI存储库的17个基准数据集。所提出的算法得到的结果是优于其他算法在许多情况下。
2013-05-19 cs.LG
A Brief Survey on Representation Learning based Graph Dimensionality Reduction Techniques
Northern Illinois University(北伊利诺伊大学)
简化技术将表示在较高维度上的数据映射到具有不同程度信息损失的较低维度上。图形降维技术采用相同的原理,即提供图形结构的潜在表示,并对输出表示以及输入数据进行较小的调整。有几种尖端技术可以有效地从图数据生成嵌入并将其投影到低维潜在空间。由于操作理念的变化,特定图形降维技术的好处可能不会证明对每个场景或每个数据集都有利。因此,一些技术在表示较低维度的节点之间的关系方面是有效的,而另一些技术则擅长在低维空间上封装整个图结构。我们提出这项调查概述的好处,以及与现有的图形降维技术相关的问题。我们还试图将这些点与一些技术的潜在改进联系起来。这项调查可能有助于即将到来的研究人员有兴趣探索使用图表示学习,以有效地产生不同程度的粒度的低维图嵌入。
2022-10-13 cs.LG
Dimensionality Reduction by Local Discriminative Gaussians
University of Washington(华盛顿大学)
我们提出了局部判别高斯(LDG)降维,监督降维分类技术。LDG目标函数是对局部二次判别分析分类器的留一法训练误差的近似,并且因此局部地作用于每个训练点,以便找到其中可以将相似数据与不相似数据区分开的映射。虽然其他最先进的线性降维方法需要梯度下降或迭代求解方法,但LDG是用单个特征分解求解的。因此,它可以更好地扩展具有大量特征维度或训练样本的数据集。我们还适应LDG的迁移学习设置,并表明,它实现了良好的性能时,测试数据的分布不同于训练数据。
2012-06-18 cs.CV cs.LG stat.ML
Nonlinear Dimensionality Reduction on Graphs
University of Minnesota(明尼苏达大学)
在这个数据泛滥的时代,许多信号处理和机器学习任务都面临着高维数据集,包括图像、视频以及社交、商业和大脑网络交互产生的时间序列。它们的有效处理要求降维技术能够正确压缩数据,同时保留与任务相关的特征,超越成对的数据相关性。本文提出了一个非线性降维框架,占数据躺在已知的图形。新的框架包括大多数现有的降维方法,但它也能够捕捉和保留可能被线性方法忽略的非线性相关性。此外,它可以考虑来自多个图形的信息。所提出的算法进行了测试合成以及真实的数据集,以证实其有效性。
2018-03-29 cs.LG stat.ML
Dimensionality Reduction on Riemannian Manifolds in Data Analysis
Université du Littoral Cote d’Opale(杜瓦利尔海岸大学)
本文提出基于黎曼几何的降维方法,通过扩展PCA和判别分析,提升流形数据的表示质量和分类性能。
2026-02-05 cs.LG
A survey of dimensionality reduction techniques based on random projection
School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
在大数据分析中,模糊性约简技术起着重要的作用。传统的降维方法,如主成分分析(PCA)和线性判别分析(LDA),在过去的几十年中得到了广泛的研究。然而,随着数据维数的增加,传统降维方法的计算成本呈指数级增长,并且计算变得非常棘手。这些缺点引发了随机投影(RP)技术的发展,该技术将高维数据映射到低维子空间上,大大降低了时间成本。然而,RP变换矩阵的生成没有考虑原始数据的内在结构,并且通常导致相对较高的失真。因此,近年来,已经提出了基于RP的方法来解决这个问题。在本文中,我们总结了在不同情况下使用的方法,以帮助从业者采用适当的技术,为他们的具体应用。同时,我们列举了各种方法的优点和局限性,并提供进一步的参考研究人员开发新的RP为基础的方法。
2018-05-30 cs.LG
Feature Dimensionality Reduction for Video Affect Classification: A Comparative Study
Wuhan University(武汉大学);Huazhong University of Science and Technology(华中科技大学)
情感计算已经成为人机交互领域的一个重要研究方向。然而,影响是主观的、微妙的和不确定的。因此,与我们可以提取的可能特征的数量相比,很难获得大量的标记训练样本。因此,降维在情感计算中至关重要。本文介绍了我们的初步研究降维的影响分类。介绍并比较了五种常用的降维方法。在DEAP数据集上的实验表明,没有一种方法可以普遍优于其他方法,直接使用原始特征进行分类可能并不总是一个坏的选择。
2018-08-08 cs.CV cs.HC cs.LG
Topology-Preserving Dimensionality Reduction via Interleaving Optimization
University of Chicago(芝加哥大学)
嵌入性约简技术是数据预处理和可视化的有力工具,但通常很少保证嵌入的拓扑正确性。Vietoris-Rips过滤的持久同源性之间的交织距离可以用于识别嵌入和原始数据集中的拓扑特征(例如簇或孔)对应的尺度。我们展示了如何优化寻求最小化的交织距离可以纳入降维算法,并明确展示了它的使用,找到一个最佳的线性投影。我们证明了这个框架的数据可视化的实用程序。
2022-01-31 cs.CG cs.LG math.OC
Towards One Model for Classical Dimensionality Reduction: A Probabilistic Perspective on UMAP and t-SNE
University of Cambridge(剑桥大学)
本文从概率视角将 UMAP 与 t-SNE 近似统一为 Ravuri 等模型下的 MAP 推断,并通过核与 GPLVM 建立理论联系。
2025-05-10 cs.AI cs.LG stat.ML
Improving Metric Dimensionality Reduction with Distributed Topology
Duke University(杜克大学);Geometric Data Analytics(几何数据分析公司)
我们提出了一种新的方法来降维结合技术的度量几何和分布式持久的同源性,在一个基于梯度下降的方法称为DIPOLE的形式。DIPOLE是一个降维后处理步骤,它通过最小化具有局部度量项和全局拓扑项的损失泛函来校正初始嵌入。通过固定初始嵌入方法(我们使用Isomap),DIPOLE也可以被视为一个完整的降维管道。这个框架是基于强大的理论和计算特性的分布式持久同源性,并保证几乎必然收敛。我们观察到,DIPOLE在许多流行的数据集上,无论是在视觉上还是在精确的定量指标上,都优于UMAP、t-SNE和Isomap等流行的方法。
2021-09-03 cs.LG math.AT
Dimensionality Reduction: An Empirical Study on the Usability of IFE-CF (Independent Feature Elimination- by C-Correlation and F-Correlation) Measures
LBR College of Engineering(LBR工程学院)
近年来数据维数的增加对现有的降维方法的有效性提出了挑战。简化是机器学习应用中重要的预处理步骤之一,它可以有效地去除不合适的数据,提高学习的准确性和可理解性。特征冗余对分类过程的性能有很大的影响。为了获得更好的分类性能,本文讨论了截断高度相关和冗余属性的有用性。在这里,已经作出了努力,以验证降维的效用,通过应用LVQ(学习矢量量化)方法对两个基准数据集的“皮马印度糖尿病患者”和“肺癌患者”。
2010-02-05 cs.LG
Cost-informed dimensionality reduction for structural digital twin technologies
University of Sheffield(谢菲尔德大学);The Alan Turing Institute(图灵研究所)
针对结构数字孪生分类模型的维度灾难问题,提出一种决策论降维方法,以误分类成本最小化为目标构建特征值问题,通过合成案例验证了有效性。
2024-09-17 cs.LG
Branching embedding: A heuristic dimensionality reduction algorithm based on hierarchical clustering
University of Toyama(富山大学);Institute of Natural Medicine, University of Toyama, Japan(富山大学自然医学研究所)
本文提出了一种新的降维算法-分支嵌入(BE)。它将树状图转换为二维散点图,并可视化原始高维数据的固有结构。由于转换部分在计算上要求不高,因此BE算法对于已经执行了分层聚类的情况将是有益的。数值实验表明,该算法的输出适度地保持了原有的层次结构。
2018-05-06 cs.LG stat.ML
Dimensionality Reduction of Movement Primitives in Parameter Space
Technische Universität Darmstadt(达姆施塔特工业大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
运动基元是现实世界机器人的重要策略类。然而,它们的参数化的高维性使得策略优化在样本和计算方面都是昂贵的。实现运动基元的有效表示有助于机器学习技术的应用,例如机器人技术上的强化。运动,特别是在高度冗余的运动学结构中,在位形空间中表现出高度的相关性。由于这些原因,以前的工作主要集中在应用降维技术的配置空间。在本文中,我们研究的应用降维的参数空间,识别主要的运动。由此产生的方法是丰富的概率处理的参数,继承所有属性的概率运动原语。我们测试所提出的技术都在一个真正的机器人任务和复杂的人类运动的数据库。实证分析表明,参数空间中的降维比配置空间中的降维更有效,因为它使运动的表示与参数的显着减少。
2020-02-26 cs.LG cs.RO stat.ML
Regularizers versus Losses for Nonlinear Dimensionality Reduction: A Factored View with New Convex Relaxations
University of Alberta(阿尔伯塔大学)
我们证明了几乎所有的非参数降维方法都可以用一个简单的过程来表示:正则化损失最小化加上奇异值截断。通过区分损失和正则化在这样一个过程中的作用,我们恢复了一个因子化的角度,揭示了一些差距,在目前的文献。除了确定一个有用的新损失流形展开,一个关键的贡献是获得新的凸正则化,结合距离最大化与秩减少。这些正则化器可以应用于任何损失。
2012-06-27 cs.LG stat.ML
Prescriptive PCA: Dimensionality Reduction for Two-stage Stochastic Optimization
George Washington University(乔治华盛顿大学);Georgetown University(乔治城大学)
针对上游降维与下游随机优化不对齐的问题,提出Prescriptive PCA处方性降维框架,通过分布鲁棒优化及半定规划松弛最小化优化次优性,在两类问题的实验中性能显著优于PCA。
2023-06-04 cs.LG math.OC
Adaptive Metric Dimensionality Reduction
Ariel University(阿里埃勒大学);Ben-Gurion University of the Negev(内盖夫本-古里安大学);Weizmann Institute of Science(魏茨曼科学研究所)
在一般度量空间中,我们研究了监督学习背景下的自适应数据相关降维问题。我们的主要统计贡献是一个推广的Lipschitz函数在度量空间的两倍,或接近一倍。在算法方面,我们描述了一个类似的PCA度量空间:即一个有效的程序,近似数据的内在维度,这往往是远低于环境维度。因此,我们的方法利用了低维度的双重好处:(1)更有效的算法,例如,用于邻近搜索,以及(2)更乐观的泛化边界。
2015-03-25 cs.DS cs.LG stat.ML
Dimensionality Reduction in Sentence Transformer Vector Databases with Fast Fourier Transform
NextAI Systems(NextAI系统公司)
本文提出将 FFT 直接用于 Sentence Transformer 测试输入生成的嵌入向量降维,以提升 RAG、图像处理等场景的检索效率与可扩展性。
2024-04-09 cs.AI cs.CL cs.DB
Detecting covariate drift in text data using document embeddings and dimensionality reduction
本文研究TF-IDF、Doc2Vec和BERT等文档嵌入结合LSA、PCA降维及KS、MMD检测方法在文本协变量漂移检测中的效果,发现特定组合表现更优,为提升文本分析模型可靠性提供依据。
2023-09-17 cs.CL cs.LG
SparCA: Sparse Compressed Agglomeration for Feature Extraction and Dimensionality Reduction
Mayo Clinic(梅奥诊所)
最有效的降维过程从原始输入空间产生可解释的特征,同时还为下游的监督学习任务提供良好的性能。对于许多方法,这需要为特定任务优化一个或多个超参数,这可能会限制泛化能力。在这项研究中,我们提出了稀疏压缩凝聚(SparCA),一种新的降维过程,涉及多步骤的层次特征分组,压缩,和特征选择过程。我们展示了SparCA方法在异质合成和真实世界数据集上的特性和性能,包括图像,自然语言和单细胞基因表达数据。我们的研究结果表明,SparCA适用于广泛的数据类型,产生高度可解释的功能,并在下游监督学习任务上显示出令人信服的性能,而无需超参数调整。
2023-01-26 cs.LG stat.AP
Quantifying the Conceptual Error in Dimensionality Reduction
University of Kassel(卡塞尔大学)
数据集的降维是机器学习和知识推理领域的标准问题。它们影响数据维度的模式和依赖关系,并最终影响任何决策过程。因此,正在使用各种各样的裁减程序,每种程序都追求不同的目标。一个迄今尚未考虑的标准是归约映射的概念连续性,即,相对于原始数据集的概念结构的保存。基于形式概念分析中的尺度度量概念,本文提出了一种检测和量化数据尺度中概念错误的理论基础,并在11个数据集上对该方法进行了实验研究。
2021-06-12 cs.AI cs.IT cs.LG
A Review, Framework and R toolkit for Exploring, Evaluating, and Comparing Visualizations
Bogazici University(博阿齐奇大学);Mississippi State University(密西西比州立大学)
本文对降维技术的评价方法进行了综述和综合。特别注意的是排名顺序的邻域评价指标。一个框架,通过可视化探索降维质量。一个相关的工具包是用R实现的。该工具包包括散点图、热图、黄土平滑和性能提升图。总体原理是帮助研究人员比较降维技术,并使用视觉见解来帮助选择和改进技术。给出了流形的降维和应用于消费者调查数据集的降维的例子。
2019-02-22 cs.LG stat.ML
HoroPCA: Hyperbolic Dimensionality Reduction via Horospherical Projections
Stanford University(斯坦福大学)
本文研究了双曲空间中数据的主成分分析。给定方向,PCA依赖于:(1)由这些方向跨越的子空间的参数化,(2)在这些方向上保留信息的子空间上的投影方法,以及(3)优化目标,即投影解释的方差。我们推广这些概念的双曲空间,并提出HoroPCA,双曲型降维的方法。通过专注于提取主方向的核心问题,HoroPCA理论上更好地保留了原始数据中的信息,如距离,与以前的PCA概括相比。从经验上讲,我们验证了HoroPCA优于现有的降维方法,显着减少了距离保持的错误。作为一种数据白化方法,与不使用白化的方法相比,它将下游分类提高了3.9%。最后,我们证明了HoroPCA可以用于二维双曲数据的可视化。
2021-06-07 cs.LG
Interpretable Linear Dimensionality Reduction based on Bias-Variance Analysis
Politecnico di Milano(米兰理工大学)
真实数据上的几个机器学习应用的中心问题之一是输入特征的选择。理想情况下,设计者应该只选择相关的、非冗余的特征,以保留原始数据集中包含的完整信息,特征之间的共线性很小,维度也更小。这个过程有助于缓解在处理高维问题时出现的过拟合和维数灾难等问题。另一方面,简单地丢弃一些特征是不可取的,因为它们可能仍然包含可以被利用来改进结果的信息。相反,降维技术被设计为通过将数据集投影到低维空间来限制数据集中的特征数量,可能会考虑所有原始特征。然而,降维技术的应用所产生的投影特征通常难以解释。在本文中,我们试图设计一个原则性的降维方法,保持所产生的功能的可解释性。具体来说,我们提出了一个线性模型的偏差方差分析,我们利用这些理论结果来设计一个算法,线性相关特征聚合(LinCFA),如果它们的相关性是“足够大”,它会聚合连续特征组的平均值。通过这种方式,考虑了所有的特征,降低了维度,并保持了可解释性。最后,我们提供了数值验证所提出的算法在合成数据集上,以确认理论结果和真实数据集上显示一些有前途的应用。
2023-03-26 cs.LG
A New Method for Performance Analysis in Nonlinear Dimensionality Reduction
University of Waterloo(滑铁卢大学)
在本文中,我们开发了一个局部秩相关性度量,量化的性能的降维方法。局部秩相关是容易解释的,并且对高维中最近邻分布的极端偏斜具有鲁棒性。一些基准数据集进行了研究。我们发现,当地的秩相关性密切对应于我们的视觉解释的输出质量。此外,我们还证明了局部秩相关在估计原始数据的内在维数和选择一些算法中使用的调谐参数的合适值方面是有用的。
2017-11-16 cs.LG stat.ME
A Dimensionality Reduction Approach for Convolutional Neural Networks
SISSA(的里雅斯特国际高等研究院)
提出结合主动子空间、POD与PCE或前馈网络的通用降维方法,用于压缩预训练CNN,在保持相近精度的同时降低内存占用。
2021-10-18 cs.AI cs.LG cs.NA
Deep Variational Sufficient Dimensionality Reduction
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
我们考虑充分降维(SDR)的问题,其中高维观测被转换到一个低维的子空间,在该子空间中,关于标签变量的观测信息被保留。我们提出了DVSDR,一个深度变分方法,充分降维。我们模型中的深层结构有一个瓶颈,代表数据的低维嵌入。我们使用图形模型解释SDR问题,并使用变分自编码器的框架来最大化观察和标签的联合分布的对数似然的下限。我们表明,这样的最大化问题可以解释为解决SDR问题。DVSDR可以很容易地应用到半监督学习环境中。在我们的实验中,我们表明,DVSDR在分类任务上具有竞争力,同时能够生成新的数据样本。
2018-12-18 cs.LG stat.ML
Nonnegative Matrix Factorization for Semi-supervised Dimensionality Reduction
University of California, San Diego(加利福尼亚大学圣迭戈分校)
我们展示了如何将来自标记示例的信息纳入非负矩阵分解(NMF),这是一种流行的无监督学习降维算法。除了将数据映射到一个较低维度的空间,我们的方法旨在保留数据的非负成分,这对分类很重要。我们确定这些组件的支持向量的大利润分类器,并获得迭代更新,以保持它们在一个半监督版本的NMF。这些更新具有简单的乘法形式,就像它们的无监督对应物一样;它们也保证在每次迭代时减少它们的损失函数--I-发散的加权和,它捕获了无监督学习和监督学习之间的权衡。我们评估这些更新降维时,他们被用作线性分类的先驱。在这个角色中,我们发现它们比无监督的同行产生更好的性能。我们还发现了我们的方法发现的低维表示的一个意想不到的好处:它们通常比在原始输入空间中训练的普通和转换SVM产生更准确的分类器。
2011-12-16 cs.LG
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology(华中科技大学);University of Technology Sydney(悉尼科技大学)
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作,特别是在处理有噪声的高维数据时。然而,大多数现有的方法都保留了数据的全局或局部结构,但不能同时保留两者。只保留全局数据结构的方法,如主成分分析(PCA),通常对离群值敏感。仅保留局部数据结构的方法,例如局部保留投影,通常是无监督的(因此不能使用标签信息),并且使用固定的相似性图。我们提出了一种新的线性降维方法,监督判别稀疏PCA与自适应邻居(SDSPCAAN),集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此,全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Detecting Adversarial Examples through Nonlinear Dimensionality Reduction
Universitá di Pisa(比萨大学);Universitá degli Studi di Cagliari(卡利亚里大学)
深度神经网络容易受到对抗性示例的影响,即,精心干扰的输入旨在误导分类。本文提出了一种基于非线性降维和密度估计相结合的检测方法。我们的实证研究结果表明,所提出的方法能够有效地检测由非自适应攻击者制作的对抗性示例,即,而不是专门调谐以绕过检测方法。考虑到我们的结果,我们计划在未来的工作中将我们的分析扩展到自适应攻击者。
2019-05-01 cs.CR cs.LG stat.ML
Blockwise Principal Component Analysis for monotone missing data imputation and dimensionality reduction
Warsaw University of Technology(华沙理工大学);Simula Metropolitan(西穆拉城市实验室);AISIA Research Lab(AISIA研究实验室)
针对单调缺失数据插补与降维计算成本高的问题,提出BPI框架,通过对数据单调块观测部分进行PCA并合并主成分进行插补,显著提升速度并改善MICE收敛性。
2024-01-10 cs.LG
Hierarchical mixtures of Gaussians for combined dimensionality reduction and clustering
University of Tübingen(图宾根大学)
本研究提出分层高斯混合模型HMoGs,将降维与聚类统一为单个概率模型,通过新型指数族参数化降低计算复杂度,在合成数据和MNIST上验证了联合优化的性能提升,兼具统计严谨性与可解释性。
2025-07-29 cs.LG stat.ML
Interpolating between Clustering and Dimensionality Reduction with Gromov-Wasserstein
ENS de Lyon(里昂高等师范学院);CNRS(法国国家科学研究中心);EPFL(洛桑联邦理工学院);Univ. Lyon(里昂大学);UCBL(里昂第一大学);Inria(法国国家信息与自动化研究所);École polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院);Université Bretagne Sud(南布列塔尼大学)
本研究提出一种基于半松弛Gromov-Wasserstein最优传输的通用框架,可同时实现样本与特征降维,兼具经典降维与硬聚类能力,可用于图像数据集可视化,为真实数据摘要提供了融合降维和聚类的新途径。
2023-10-05 cs.LG stat.ML
Performance Analysis of Deep Autoencoder and NCA Dimensionality Reduction Techniques with KNN, ENN and SVM Classifiers
International University of Business Agriculture and Technology(国际商业农业技术大学);Islamic University of Technology(伊斯兰科技大学)
本文的主要目的是在Matlab中实现Deep Autoencoder和Neighborhood Components Analysis(NCA)降维方法,并观察这些算法在UCI机器学习库中9个不同数据集上的应用。这些数据集包括CNAE 9、Movement Libras、Pima Indians diabetes、Parkinsons、Knowledge、Segmentation、Seeds、Mammographic Masses和Ionosphere。首先,通过使用Deep Autoencoder和NCA降维技术选择和提取最相关和最合适的特征或属性,这些数据集的维度已经减少到原始维度的50%。然后,每个数据集分类应用K-最近邻(KNN),扩展最近邻(ENN)和支持向量机(SVM)分类算法。所有的分类算法都是在Matlab环境下开发的。在每个分类中,训练测试数据比率始终设置为90%:10%。在分类时,观察和分析精度之间的变化,以找到每个降维技术与每个分类器的兼容程度,并评估每个分类器在每个数据集上的性能。
2019-12-24 cs.LG
TriMap: Large-scale Dimensionality Reduction Using Triplets
Google Research(谷歌研究院)
介绍了TriMap;一种基于三元组约束的降维技术,它比其他常用的方法(如t-SNE,LargeVis和UMAP)更好地保留了数据的全局结构。为了量化嵌入的全局准确性,我们引入了一个分数,该分数大致反映了聚类而不是单个点的相对位置。我们凭经验证明了TriMap在嵌入质量和运行时间方面在各种数据集上的出色性能。在我们的性能基准测试中,TriMap可以轻松扩展到数百万个点,而不会耗尽内存,并且在运行时间方面明显优于t-SNE,LargeVis和UMAP。
2022-03-26 cs.LG stat.ML