Regularizers versus Losses for Nonlinear Dimensionality Reduction: A Factored View with New Convex Relaxations
University of Alberta（阿尔伯塔大学）
我们证明了几乎所有的非参数降维方法都可以用一个简单的过程来表示：正则化损失最小化加上奇异值截断。通过区分损失和正则化在这样一个过程中的作用，我们恢复了一个因子化的角度，揭示了一些差距，在目前的文献。除了确定一个有用的新损失流形展开，一个关键的贡献是获得新的凸正则化，结合距离最大化与秩减少。这些正则化器可以应用于任何损失。
2012-06-27 cs.LG stat.ML
Adaptivity of deep ReLU network for learning in Besov and mixed smooth Besov spaces: optimal rate and curse of dimensionality
The University of Tokyo（东京大学）；RIKEN（理化学研究所）；Japan Digital Design（日本数字设计公司）
深度学习在从视觉识别到自然语言处理的各种任务中表现出了很高的性能，这表明深度学习具有优越的灵活性和自适应性。为了从理论上理解这一现象，我们开发了一种新的近似和估计误差分析方法，该方法使用ReLU激活Besov空间中的函数及其具有混合平滑性的变体。Besov空间是包含Holder空间和Sobolev空间的一个相当一般的函数空间，特别是可以捕捉光滑性的空间不均匀性。通过在Besov空间中的分析表明，深度学习可以达到Minimax最优速率，并且优于任何非自适应（线性）估计器，如核岭回归，这表明深度学习比线性估计器等其他估计器对目标函数的空间不均匀性具有更高的自适应性。此外，如果目标函数位于混合光滑Besov空间中，则深度学习可以避免维数灾难。我们还表明，由于其极大极小最优性的收敛速度对维数的依赖是紧密的。这些结果支持了深度学习的高适应性及其作为特征提取器的卓越能力。
2018-10-18 cs.LG stat.ML
A Nonlinear Dimensionality Reduction Framework Using Smooth Geodesics
Worcester Polytechnic Institute（伍斯特理工学院）；Clarkson University（克拉克森大学）
现有的降维方法善于揭示隐藏的底层流形所产生的高维数据，从而产生一个低维的表示。然而，由经典技术在稀疏和噪声数据上产生的流形的平滑性是不能保证的。事实上，使用这些数据生成的嵌入可能会扭曲流形的几何形状，从而产生不忠实的嵌入。在这里，我们提出了一个非线性降维的框架，生成一个流形上的光滑测地线，旨在处理问题，其中流形测量是稀疏的或被噪声破坏。我们的方法生成一个网络结构，给定的高维数据使用最近邻搜索，然后产生分段线性最短路径被定义为测地线。然后，我们拟合点在每个测地线光滑样条强调的光滑性。通过在合成数据集和真实数据集上实施该方法，证明了该方法对稀疏和噪声数据集的鲁棒性。
2018-07-13 cs.CV cs.LG math.DS
Iterative bias reduction multivariate smoothing in R: The ibr package
在多元非参数分析中，协变量的稀疏性也称为维数灾难，迫使人们使用大的平滑参数。这会导致一个有偏的平滑器。而不是专注于最佳选择平滑参数，我们将其固定为某个合理的大值，以确保数据的过度平滑。生成的基础平滑器的方差很小，但偏差很大。在本文中，我们提出了一个R软件包名为ibr迭代校正的初始偏差的（基地）估计的偏差通过平滑残差获得的估计。在简单描述了迭代偏差减少平滑器之后，我们研究了包中实现的基本平滑器：Nadaraya-Watson内核平滑器和薄板样条平滑器。然后，我们解释包中可用的停止规则及其实现。最后，我们用两个例子来说明这个包：RxR中的一个玩具例子和原始的洛杉矶臭氧数据集。
2011-05-18 stat.CO
Mitigating the Curse of Dimensionality in Uniform Convergence of Deep Neural Networks via Smooth Activations
Department of Statistics, The Pennsylvania State University（宾夕法尼亚州立大学统计学系）
本文通过分析平滑激活深度神经网络，建立了统一收敛的理论框架，证明其能够通过自适应利用目标函数的低维层次组合结构来缓解维度灾难。
2026-06-04 cs.LG math.ST stat.ME
On large bandwidth matrix values kernel smoothed estimators for multi-index models
School of Data Science, Yokohama City University（横滨市立大学数据科学学院）
本研究探讨了多索引模型中大带宽矩阵值核平滑估计量的渐近性质，发现其能自然减少维度灾难，通过数值实验和案例研究验证了其有效性。
2026-03-04 math.ST stat.TH
A Review, Framework and R toolkit for Exploring, Evaluating, and Comparing Visualizations
Bogazici University（博阿齐奇大学）；Mississippi State University（密西西比州立大学）
本文对降维技术的评价方法进行了综述和综合。特别注意的是排名顺序的邻域评价指标。一个框架，通过可视化探索降维质量。一个相关的工具包是用R实现的。该工具包包括散点图、热图、黄土平滑和性能提升图。总体原理是帮助研究人员比较降维技术，并使用视觉见解来帮助选择和改进技术。给出了流形的降维和应用于消费者调查数据集的降维的例子。
2019-02-22 cs.LG stat.ML
MultiView Diffusion Maps
Tel Aviv University（特拉维夫大学）
在本文中，我们解决了具有挑战性的任务，实现多视图降维。我们的目标是有效地利用多个视图的可用性来提取数据的一致的低维表示。所提出的方法利用每个视图内的内在关系，以及视图之间的相互关系。通过定义一个跨视图模型来实现多视图降维，在该模型中，隐含的随机游走过程被约束为在不同视图中的对象之间跳跃。该方法是强大的缩放和不敏感的数据中的小结构变化。我们定义了新的扩散距离，并分析了所提出的内核的频谱。我们表明，所提出的框架是有用的各种机器学习的应用，如聚类，分类和流形学习。最后，通过多传感器地震数据融合，提出了一种地震同相轴自动识别方法。
2019-06-05 cs.LG stat.ML
Overcoming the curse of dimensionality with Laplacian regularization in semi-supervised learning
ENS（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）；PSL（巴黎文理研究大学）；EPFL（洛桑联邦理工学院）
由于在大规模的实际问题中，数据的注释可能很少，因此利用未标记的示例是机器学习最重要的方面之一。这就是半监督学习的目的。为了从无标签数据的获取中获益，自然要将有标签数据的知识顺利地传播给无标签数据。这导致了拉普拉斯正则化的使用。然而，拉普拉斯正则化的当前实现遭受几个缺点，特别是众所周知的维数灾难。在本文中，我们提供了一种统计分析来克服这些问题，并揭示了大量表现出理想行为的光谱过滤方法。它们是通过（再现）核方法实现的，为此，我们提供了现实的计算准则，以使我们的方法可用于大量的数据。
2021-11-29 cs.LG stat.ML
Dimensionality Reduction Meets Message Passing for Graph Node Embeddings
Intel（英特尔公司）；SigOpt（西格奥普特）
图神经网络（GNN）已经成为各种应用的流行方法，从社会网络分析到分子的化学性质建模。虽然GNN通常在公共数据集上表现出出色的性能，但由于过度平滑和过度挤压的趋势，它们很难学习数据中的长期依赖关系。为了缓解这一挑战，我们提出PCAPass，一种方法，它结合了主成分分析（PCA）和消息传递生成节点嵌入在一个无监督的方式，并利用梯度提升决策树的分类任务。我们的经验表明，这种方法提供了有竞争力的性能相比，流行的GNN的节点分类基准，同时收集信息，从较长的距离邻域。我们的研究表明，应用降维与消息传递和跳过连接是一个很有前途的机制，聚合图结构数据中的长距离依赖。
2022-02-02 cs.LG stat.ML
Positive semi-definite embedding for dimensionality reduction and out-of-sample extensions
CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；KU Leuven（鲁汶大学）
在机器学习或统计学中，通常期望降低高维空间$\mathbb{R}^d$中的数据点样本的维度。本文介绍了一种降维方法，其中嵌入坐标是作为半定程序的无穷维模拟的解而获得的半正定核的特征向量。这种嵌入是自适应的和非线性的。我们讨论了这个问题，弱和强光滑性假设的学习内核。我们的方法的一个主要特点是在这两种情况下的嵌入坐标的样本外扩展公式的存在。该外推公式将核矩阵扩展为数据依赖的Mercer核函数。我们的实证结果表明，这种嵌入方法是更强大的离群值的影响，与谱嵌入方法相比。
2021-11-27 cs.LG stat.ML
Mitigating the Curse of Dimensionality for Certified Robustness via Dual Randomized Smoothing
Nanyang Technological University（南洋理工大学）
本文提出双重随机平滑 DRS，通过下采样到两个低维子图像分别平滑，缓解 RS 的维数灾难，并在 CIFAR-10 和 ImageNet 上提升准确率与 ℓ2 认证鲁棒性。
2024-06-15 cs.CV cs.LG
Do Neural Networks Really Beat the Curse of Dimensionality? A Bit-Complexity View
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
本研究从比特复杂度视角构建统一逼近框架，对比经典方法与神经网络的逼近速率，发现神经网络的优势源于函数类复杂度差异，根本限制是比特复杂度灾难而非维度灾难。
2026-08-04 cs.LG
A dimensionality reduction technique based on the Gromov-Wasserstein distance
Instituto Federal de Educação, Ciência e Tecnologia do Ceará（塞阿拉联邦教育、科学与技术研究所）；Federal University of Ceara（塞阿拉联邦大学）；Université Paris-Saclay, CEA, List（巴黎-萨克雷大学，CEA，List）
本文提出一种基于最优传输理论和Gromov-Wasserstein距离的降维方法，以概率视角重新解释MDS与Isomap，并通过梯度下降实现高维数据的稳健低维嵌入。
2025-07-07 cs.LG stat.ML
Dimensionality Reduction has Quantifiable Imperfections: Two Geometric Bounds
在本文中，我们研究了从定量拓扑学的角度来看，在信息检索设置的简化（DR）地图。特别是，我们表明，没有DR地图可以同时实现完美的精度和完美的召回。因此，连续的DR图必须具有不完美的精度。我们进一步证明了Lipschitz连续DR映射精度的一个上界。虽然精确度是信息检索设置中的一个自然度量，但它并不度量检索到的数据有“多”错。因此，我们提出了一个新的措施的基础上，瓦瑟斯坦距离，具有类似的理论保证。在我们的证明中的一个关键技术步骤是一个特定的优化问题的$L_2$ -瓦瑟斯坦距离的分布约束集。我们提供了一个完整的解决方案，这个优化问题，这可以在技术方面的独立利益。
2018-10-31 cs.LG stat.ML
Graph Dimensionality Reduction for Contextual Bandits: Structure-Specific Regret Bounds under Approximate Smoothness and Noisy Eigenspaces
Department of Computer and Information Sciences, University of Delaware, USA（德克萨斯大学达勒姆分校计算机与信息科学系）；Department of Computer Science, Iowa State University, USA（爱荷华州立大学计算机科学系）；Department of Civil, Construction & Environmental Engineering, Iowa State University, USA（爱荷华州立大学土木、建设与环境工程系）
提出GraphDR-LinUCB算法，将臂特征投影到图的低频谱子空间，实现从d到k的维度缩减，并证明首个~O(k√T)遗憾界，通过扰动分析扩展到噪声图，在六个真实数据集上减少15倍累积遗憾。
2026-06-29 cs.LG
Probabilistic Dimensionality Reduction via Structure Learning
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们提出了一种新的概率降维框架，可以自然地集成生成模型和数据的局部性信息。基于这个框架，我们提出了一个新的模型，它能够从高维噪声数据中学习低维空间中嵌入点的平滑骨架。新模型的公式化可以等价地解释为两个耦合的学习问题，即，结构学习和投影矩阵的学习。这种解释激发了对嵌入点的学习，这些嵌入点可以直接形成显式图结构。我们开发了一种新的方法来学习嵌入点，形成一个生成树，这是进一步扩展，以获得一个有区别的和紧凑的特征表示聚类问题。与传统的聚类方法不同，我们假设如果聚类中心在学习图中连接，则它们应该彼此靠近，而其他聚类中心应该远离。这可以极大地促进下游分析中的数据可视化和科学发现。大量的实验表明，所提出的框架是能够获得歧视性的特征表示，并正确地恢复各种现实世界的数据集的内在结构。
2016-10-16 cs.LG stat.ML
Multi-view Data Visualisation via Manifold Learning
Imperial College London（伦敦帝国学院）
非线性降维可以通过\textit{manifold learning}方法来执行，诸如随机邻域嵌入（SNE）、局部线性嵌入（LLE）和等距特征映射（ISOMAP）。这些方法的目的是产生两个或三个潜在的嵌入，主要是可视化的数据在可理解的表示。本文提出了学生的t-分布SNE（t-SNE），LLE和ISOMAP，降维和可视化的多视图数据的扩展。多视图数据是指从相同样本生成的多种类型的数据。所提出的多视图方法提供了更易于理解的预测相比，通过可视化每个数据视图分别获得的样本。通常，可视化用于识别样本中的潜在模式。通过将从多视图流形方法获得的低维嵌入到K-均值聚类算法中，结果表明，样本的聚类被准确地识别。通过对真实数据和合成数据的分析，发现所提出的多SNE方法具有最佳性能。我们进一步说明了多SNE方法用于分析多组学单细胞数据的适用性，其目的是可视化和识别与健康和疾病相关的生物组织中的细胞异质性和细胞类型。
2021-12-07 cs.LG stat.CO stat.ML
A Unified Semi-Supervised Dimensionality Reduction Framework for Manifold Learning
Chulalongkorn University（朱拉隆功大学）
我们提出了一个半监督降维流形学习的一般框架，自然地概括了现有的监督和无监督学习框架，适用于谱分解。在我们的框架下推导出的算法能够采用标记和未标记的例子，并能够处理复杂的问题，数据形成单独的簇的流形。我们的框架提供了简单的视图，解释了现有框架之间的关系，并提供了进一步的扩展，可以改善现有的算法。此外，提出了一种新的半监督核化框架，称为“KPCA技巧”，以处理非线性问题。
2009-07-29 cs.AI cs.LG
Solving NMF with smoothness and sparsity constraints using PALM
École normale supérieure de Lyon（里昂高等师范学院）
非负矩阵分解是一个数据降维和声源分离的问题，自1999年Lee和Seung对它进行深入研究以来，它已被广泛应用于数据压缩、文档聚类、声谱图处理和天文学等领域。在这项工作中，我们已经适应了凸函数的最小化方案与不可微的约束，称为PALM解决NMF问题的解决方案，可以是光滑和/或稀疏的，两个属性经常需要。
2021-03-18 cs.CV cs.LG stat.ML
Exact Schur-Sylvester Dimensionality Reductions for Non-Smooth Stochastic Complexity and Manifold Sampling
Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）
提出利用块Schur补和Sylvester行列式恒等式，将非光滑估计器NML编码长度计算中投影和体积因子的复杂度从O(N^3)降至O(k^3+N^2k)，并推广到稀疏SVM、弹性网和组Lasso。
2026-06-24 cs.IT cs.LG math.IT
Multi-View Kernels for Low-Dimensional Modeling of Seismic Events
Tel Aviv University（特拉维夫大学）
从地震记录中学习的问题已经研究了多年。人们对开发用于识别地震事件的属性的自动机制越来越感兴趣。一个主要的动机是能够可靠地识别人为爆炸。多个高维观测的可用性增加了机器学习技术在各种领域中的使用。在这项工作中，我们建议使用基于核融合的降维框架，从原始数据中生成有意义的地震表示。所提出的方法进行了测试，在以色列和约旦记录的2023事件。该方法取得了可喜的成果，在事件类型的分类，以及在估计的事件的位置。所提出的融合和降维工具可以应用于其他类型的地球物理数据。
2017-06-06 cs.LG
On Lower and Upper Bounds for Smooth and Strongly Convex Optimization Problems
Weizmann Institute of Science（魏茨曼科学研究所）；The Hebrew University（希伯来大学）
我们开发了一个新的框架来研究光滑和强凸优化算法，包括确定性和随机性。集中在二次函数，我们能够检查作为线性算子的递归应用的优化算法。这反过来又揭示了一类优化算法和多项式分析理论之间的强有力的联系，从而导出了新的下限和上界。而现有的下界的设置是有效的，只有当维度规模与迭代次数，我们的下界持有的自然制度，其中的维度是固定的。最后，表示为相应的最优化问题的多项式的最优解，制定我们的框架，我们提出了一种新的系统推导Nesterov的著名的加速梯度下降法。这种对年龄、性别和多元性的相当自然的解释与早期的解释形成了鲜明对比，早期的解释缺乏简单而坚实的动机。
2015-03-23 cs.LG math.OC
On Lower and Upper Bounds in Smooth Strongly Convex Optimization - A Unified Approach via Linear Iterative Methods
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
在这篇论文中，我们开发了一个新的框架来研究光滑和强凸优化算法，包括确定性和随机性。集中在二次函数，我们能够检查作为线性算子的递归应用的优化算法。这反过来又揭示了一类优化算法和多项式分析理论之间的强有力的联系，从而导出了新的下限和上界。特别是，我们提出了一个新的和自然的推导Nesterov的著名的加速梯度下降法采用简单的“经济”多项式。这种对年龄、性别和多元性的相当自然的解释与早期的解释形成了鲜明对比，早期的解释缺乏简单而坚实的动机。最后，现有的下界仅在维数与迭代次数成比例时才有效，而我们的下界在维数固定的自然状态下成立。
2014-10-23 cs.LG math.OC
Improving Metric Dimensionality Reduction with Distributed Topology
Duke University（杜克大学）；Geometric Data Analytics（几何数据分析公司）
我们提出了一种新的方法来降维结合技术的度量几何和分布式持久的同源性，在一个基于梯度下降的方法称为DIPOLE的形式。DIPOLE是一个降维后处理步骤，它通过最小化具有局部度量项和全局拓扑项的损失泛函来校正初始嵌入。通过固定初始嵌入方法（我们使用Isomap），DIPOLE也可以被视为一个完整的降维管道。这个框架是基于强大的理论和计算特性的分布式持久同源性，并保证几乎必然收敛。我们观察到，DIPOLE在许多流行的数据集上，无论是在视觉上还是在精确的定量指标上，都优于UMAP、t-SNE和Isomap等流行的方法。
2021-09-03 cs.LG math.AT
FibeRed: Fiberwise Dimensionality Reduction of Topologically Complex Data with Vector Bundles
Northeastern University（东北大学）
现有的降维算法很难将具有非平凡大规模拓扑结构的数据集嵌入到低维欧氏空间中。我们建议使用向量束对拓扑复杂的数据集进行建模，以这样一种方式，即基空间占大规模拓扑，而纤维占局部几何。这允许减少纤维的维数，同时保持大规模拓扑。我们形式化这一观点，并作为一个应用程序，我们描述了一种算法，它需要作为输入的数据集连同它在欧几里得空间的初始表示，假设恢复其大规模拓扑的一部分，并输出一个新的表示，集成本地表示，通过本地线性降维，沿初始的全球表示。我们证明了这种算法的例子来自动力系统和化学。在这些例子中，我们的算法能够学习拓扑上忠实的嵌入数据在较低的目标维度比各种众所周知的基于度量的降维算法。
2023-03-15 cs.CG cs.LG math.AT
GP-VAE: Deep Probabilistic Time Series Imputation
ETH Zürich（苏黎世联邦理工学院）；Yandex（俄罗斯搜索引擎公司）；UC Irvine（加州大学欧文分校）
具有缺失值的多变量时间序列在医疗保健和金融等领域很常见，并且多年来在数量和复杂性上都有所增长。这就提出了一个问题，即深度学习方法在这一领域的表现是否优于经典的数据填补方法。然而，深度学习的幼稚应用无法提供可靠的置信度估计，并且缺乏可解释性。我们提出了一个新的深度序列潜变量模型降维和数据填补。我们的建模假设是简单和可解释的：高维时间序列具有低维表示，其根据高斯过程在时间上平滑地演变。在缺失数据存在的非线性降维，实现了一种新的结构变分近似的VAE方法。我们证明，我们的方法在计算机视觉和医疗保健领域的高维数据上优于几种经典的基于深度学习的数据插补方法，同时还提高了插补的平滑性，并提供了可解释的不确定性估计。
2020-02-20 cs.LG stat.ML
Dimensionality Reduction of Collective Motion by Principal Manifolds
Department of Mathematics, Clarkson University, Potsdam, NY-13699, USA.（数学系，克林顿大学，Potsdam分校）；Department of Mechanical and Aerospace Engineering, New York University Polytechnic School of Engineering, Brooklyn, NY-11201, USA.（机械与航空航天工程系，纽约大学理工学院，布鲁克林分校）
本文提出基于立方平滑样条构建二维主流形的方法，用于降维分析集体运动数据，保留原始结构并优于现有非线性降维方法。
2015-08-13 cs.LG cs.MA cs.NA
Deep neural network surrogates for non-smooth quantities of interest in shape uncertainty quantification
Radboud University（拉德堡德大学）
我们考虑的解决方案的几何不确定性，在障碍物中的不确定性是由一个高维参数$\boldsymbol{y}\in[-1,1]^d$，$d\in\mathbb{N}$接口问题的点评估。我们特别关注椭圆界面问题和亥姆霍兹传输问题。在物理域中的解决方案的点值一般依赖于非光滑的高维参数，提出了一个挑战，当一个有兴趣建立代理。实际上，高阶方法显示出较差的收敛速度，而能够跟踪不连续性的方法通常遭受所谓的维数灾难。出于这个原因，在这项工作中，我们建议使用深度神经网络构建点评估的代理。我们提供了一个理论上的理由，为什么我们期望神经网络提供良好的代理。此外，我们提出了广泛的数值实验显示其良好的性能在实践中。我们特别注意到，神经网络不受维数灾难的影响，我们研究了误差对点评估的数量（即参数空间中的不连续性数量）以及几个建模参数的依赖性，例如两种材料之间的对比度，以及亥姆霍兹传输问题的波数。
2021-01-18 cs.LG cs.NA math.NA
Random projections of random manifolds
Stanford University（斯坦福大学）；Space Exploration Technologies Co.（太空探索技术公司）
有趣的数据通常集中在高维环境空间中的低维光滑流形上。随机投影是一个简单的，强大的工具，用于此类数据的降维。以前的作品已经研究了有多少投影需要准确地保持这些流形的几何形状，给定其内在的维数，体积和曲率的界限。然而，这样的作品采用体积和曲率的定义，这是固有的难以计算。因此，这种理论不能很容易地通过数值模拟来测试，以了解已证明的边界的紧密性。相反，我们研究的光滑高斯随机流形的合奏随机投影中产生的典型失真。我们发现明确可计算的，近似的理论界限上的投影的数量需要准确地保持这些流形的几何形状。我们的界限，虽然近似，只能违反的概率是指数小的环境维度，因此，他们持有的情况下，实际利益的概率很高。此外，与以前的工作不同，我们测试我们的理论界限对实际的几何失真，通常发生随机光滑流形的随机投影的数值实验。我们发现我们的边界比以前的结果更紧了几个数量级。
2016-09-10 cs.LG q-bio.NC stat.ML
High-Dimensional Smoothed Entropy Estimation via Dimensionality Reduction
IBM Research（IBM研究院）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
本文提出基于主成分分析降维的高维平滑熵估计方法，克服了指数级样本复杂度，适用于低维嵌入高维结构，并验证了在DNN互信息估计中的有效性。
2023-05-11 cs.IT cs.LG math.IT
Spatial-Spectral Regularized Local Scaling Cut for Dimensionality Reduction in Hyperspectral Image Classification
Advanced Technology Development Centre, Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校先进技术开发中心）；Department of Electrical Engineering, Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校电气工程系）
分辨率约简（DR）方法在提供高光谱图像（HSI）分类的鉴别信息和减少计算负担方面受到了广泛的关注。然而，由于高维谱的训练样本有限，DR方法面临许多挑战。为了解决这个问题，提出了一种基于图的空间和光谱正则化局部尺度切割（SSRLSC）的HSI数据DR。该方法的基本思想是利用光谱和空间域的信息，以实现更好的分类精度比光谱域对应。在SSRLSC中，引导滤波器最初用于平滑和均匀化HSI数据的像素，以保持像素的一致性。其次是生成类间和类内相异度矩阵在光谱和空间域的正则化局部尺度切割（RLSC）和相邻像素局部尺度切割（NPLSC）分别。最后，我们通过优化更新的空间-光谱类间和总类相异度来获得投影矩阵。两个流行的现实世界的HSI数据集的DR算法的有效性说明。
2018-12-07 cs.CV cs.LG stat.ML
A Semi-supervised Spatial Spectral Regularized Manifold Local Scaling Cut With HGF for Dimensionality Reduction of Hyperspectral Images
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
高光谱图像（HSI）包含了数百个连续光谱波段的丰富信息，使得通过细微的光谱差异对材料进行分类成为可能。然而，对这些丰富的光谱信息进行分类也面临着高维、奇异性、训练样本有限、缺乏标记数据样本、异方差性和非线性等挑战。为了解决这些问题，我们提出了一种基于半监督图的降维方法，称为“半监督空间谱正则化流形局部尺度切割”（S3RMLSC）。所提出的方法的基本思想是利用有限的标记信息从光谱和空间域以及丰富的未标记的样本，以促进分类任务，通过保留原始分布的数据。在S3RMLSC中，首先使用分层引导滤波器（HGF）来平滑HSI数据的像素，以保持空间像素的一致性。这一步之后，通过使用最大线性补丁（MLP）标准从非线性流形的线性补丁的建设。然后分别利用正则化流形局部尺度割（RMLSC）和相邻像素流形局部尺度割（NPMLSC）在光谱域和空间域上构造图像块间和图像块内的相异性矩阵。最后，我们通过优化更新的半监督空间-光谱斑块间和总斑块相异度来获得投影矩阵。所提出的DR算法的有效性与公开可用的真实世界的HSI数据集说明。
2018-11-20 cs.CV cs.LG stat.ML
Weight Matrix Dimensionality Reduction in Deep Learning via Kronecker Multi-layer Architectures
Scientific Computing and Imaging Institute（科学计算与成像研究所）；University of Utah（犹他大学）；School of Computing（计算学院）；Department of Mathematics（数学系）
使用神经网络的深度学习是生成复杂数据模型的有效技术。然而，当网络具有由大量层和节点导致的大模型容量时，训练这样的模型可能是昂贵的。对于在这种计算上禁止的制度中进行训练，降维技术减轻了计算负担，并允许实现更鲁棒的网络。我们提出了一种新型的降维，通过一种新的深度学习架构的基础上快速矩阵乘法的克罗内克积分解，特别是我们的网络建设可以被视为一个克罗内克产品引起的稀疏化的“扩展”全连接网络。分析和实际例子表明，这种架构允许一个神经网络的训练和实施的计算时间和资源显着减少，同时实现了类似的错误水平相比，传统的前馈神经网络。
2023-01-17 cs.LG cs.NA math.NA
Smoothed Multi-View Subspace Clustering
University of Electronic Science and Technology of China（电子科技大学）；Trusted Cloud Computing and Big Data Key Laboratory of Sichuan Province（四川省可信云计算与大数据重点实验室）
近年来，多视点子空间聚类由于利用了多视点间的互补信息，取得了令人瞩目的性能。然而，多视图数据可能非常复杂，并且在现实世界的应用中不容易聚类。大多数现有的方法对原始数据进行操作，并且可能无法获得最优解。在这项工作中，我们提出了一种新的多视图聚类方法命名为平滑多视图子空间聚类（SMVSC）采用一种新的技术，即，图过滤，以获得每个视图的平滑表示，其中相似的数据点具有相似的特征值。具体地说，它通过应用低通滤波器来保留图形的几何特征。因此，它产生了一个“集群友好”的表示，并大大方便了下游的集群任务。在基准数据集上的大量实验验证了该方法的优越性。分析表明，图过滤提高了类的可分性。
2021-06-18 cs.AI cs.CV cs.LG
PAC-Bayes Analysis of Multi-view Learning
East China Normal University（华东师范大学）；University College London（伦敦大学学院）
本文提出了八个PAC-Bayes界来分析多视图分类器的泛化性能。这些界限采用数据相关的高斯先验，强调高视图协议的分类器。前两个边界的先验中心是原点，而第三和第四边界的先验中心由数据相关向量给出。获得这些界的一个重要技术是两个导出的对数行列式不等式，其区别在于是否涉及数据的维数。第五和第六边界的中心是在训练集的单独子集上计算的。最后两个边界使用未标记的数据来表示视图协议，因此适用于半监督多视图学习。我们评估所有提出的多视图PAC-Bayes边界的基准数据，并将它们与以前的单视图PAC-Bayes边界进行比较。讨论了多视图边界的实用性和性能。
2016-06-04 cs.AI cs.LG stat.ML
Parameter-free entropy-regularized multi-view clustering with hierarchical feature selection
针对多视图聚类中参数调整和高维特征问题，提出无参数熵正则化框架AMVFCM-U和AAMVFCM-U，通过信噪比正则化和层次降维，在五个基准上优于15种方法，效率提升97%。
2025-08-07 cs.CV cs.LG math.ST
Seeking Commonness and Inconsistencies: A Jointly Smoothed Approach to Multi-view Subspace Clustering
South China Agricultural University（华南农业大学）；Sun Yat-sen University（中山大学）
多视点子空间聚类旨在从多个视点中发现隐藏的子空间结构，以实现鲁棒聚类，近年来受到了广泛的关注。尽管已有的多视点子空间聚类算法取得了很大的进展，但仍存在两个局限性。首先，他们通常专注于多个视图的一致性（或共性），但往往缺乏捕捉子空间表示中的跨视图不一致性的能力。第二，他们中的许多人忽略了多个视图的局部结构，不能联合利用多个局部结构来增强子空间表示学习。为了解决这两个限制，在本文中，我们提出了一个联合平滑多视点子空间聚类（JSMC）的方法。具体来说，我们同时将跨视图的共性和不一致的子空间表示学习。提出了视图一致性分组效应，共同利用多个视图的局部结构对视图一致性表示进行正则化，并通过核范数将视图一致性表示与低秩约束相关联，以增强视图一致性表示的聚类结构.因此，跨视图的共性和不一致性，视图一致性分组效果，和低秩表示无缝地纳入到一个统一的目标函数，在此基础上，交替优化算法执行，以实现一个强大的子空间表示聚类。在多种真实世界多视图数据集上的实验结果证实了该方法的优越性。可用代码：https://github.com/huangdonghere/JSMC。
2022-10-31 cs.CV cs.LG
Beyond Worst-Case Dimensionality Reduction for Sparse Vectors
Google Research（谷歌研究院）；Google Deepmind（谷歌DeepMind）
本文研究稀疏向量超越最坏情况降维：给出平均情况线性嵌入的最优下界，并针对非负稀疏向量提出非线性嵌入方法，实现更小维度且保持距离，同时证明必要性与算法改进。
2025-02-27 cs.DS cs.LG
Multi-view Unsupervised Feature Selection by Cross-diffused Matrix Alignment
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
在大数据时代，多视角的高维数据变得越来越普遍。特征选择是缓解多视图学习中维数灾难的有效方法。在本文中，我们研究了无监督特征选择的多视图数据，类标签通常是昂贵的获得。传统的特征选择方法大多是针对单视图数据设计的，不能充分利用多视图数据中的丰富信息。现有的多视图特征选择方法通常是基于噪声聚类标签，这可能无法从多视图数据中保留足够的信息。为了更好地利用多视图信息，我们提出了一种方法，CDMA-FS，通过交叉扩散矩阵上执行对齐来选择每个视图的特征。我们将其表述为一个约束优化问题，并使用基于拟牛顿的方法求解。在四个真实世界数据集上的实验结果表明，该方法在多视图环境下比现有方法更有效。
2017-05-02 cs.LG
The More, the Merrier: the Blessing of Dimensionality for Learning Large Gaussian Mixtures
Ohio State University（俄亥俄州立大学）；Microsoft Research India（微软研究院印度）
在本文中，我们表明，非常大的混合高斯是有效的学习在高维。更确切地说，我们证明了一个混合物与已知的相同的协方差矩阵，其组件的数量是一个多项式的任何固定程度的维度n是多项式学习，只要一定的非退化条件的手段是满意的。事实证明，只要空间的维数足够高，这个条件在平滑复杂性的意义上是通用的。此外，我们证明了在低维情况下不可能存在这样的条件，并且学习参数的问题是一般困难的。相比之下，现有的许多关于高斯混合的工作依赖于低维投影，因此遇到了人为的障碍。我们的主要结果的混合物恢复依赖于一个新的“泊松化”为基础的技术，该技术将高斯混合物的产品分布的线性映射。学习这个映射的问题可以有效地解决使用张量分解和独立分量分析（ICA）的一些最近的结果，从而给出了一个算法恢复的混合。此外，我们结合我们的低维硬度结果高斯混合与泊松化，以显示如何嵌入困难的低维高斯混合到ICA设置的情况下，从而建立指数信息理论的低维欠定ICA的下界。据我们所知，这是文献中的第一个这样的结果。除了有助于高斯混合学习的问题，我们相信这项工作是朝着更好地理解统计推断的计算方面的罕见现象“维度祝福”的第一步。
2014-02-18 cs.DS cs.LG stat.ML
DumbleDR: Predicting User Preferences of Dimensionality Reduction Projection Quality
University of Stuttgart（斯图加特大学）；TU Wien（维也纳工业大学）；University of Namur（那慕尔大学）
在过去的几十年里，出现了大量的降维技术，给研究人员和分析人员提供了各种各样的选择来减少他们的数据，尤其是考虑到一些技术带有额外的参数化（例如t-SNE，UMAP等）。最近的研究表明，人们经常使用降维作为一个黑盒子，而不管方法本身保留的特定属性。因此，评估和比较2D投影通常是定性决定的，通过并排设置投影并让人类判断决定哪个投影是最好的。在这项工作中，我们提出了一种定量的方法来评估预测，但仍将人类的感知置于中心。我们进行了一项比较研究，我们要求人们在图像数据集的低级别投影散点图之间选择“好”和“误导”的视图，模拟人们通常选择投影的方式。我们使用研究数据作为一组质量指标的标签，其目的是发现和量化人们在决定预测时到底在寻找什么。有了这个人类判断的代理，我们用它来对新数据集上的投影进行排名，解释它们为什么相关，并量化所选投影的主观程度。
2021-05-19 cs.HC cs.LG
Semantic-Preserving Feature Partitioning for Multi-View Ensemble Learning
University of Technology Sydney（悉尼科技大学）；Sultan Qaboos University（苏丹卡布斯大学）；Obuda University（欧布达大学）
本文提出基于信息论的语义保持特征划分算法SPFP，通过构建语义一致的多视图提升集成学习性能，并在八个数据集上验证其能兼顾准确率与不确定性度量，同时降低计算需求。
2024-01-11 cs.IT cs.LG math.IT
AdaDim: Dimensionality Adaptation for SSL Representational Dynamics
Department of Electrical and Computer Engineering（电气与计算机工程系）；Georgia Institute of Technology（佐治亚理工学院）
本文提出AdaDim，一种通过自适应平衡表示维度与互信息来优化自监督学习训练动态的策略，在无需复杂技术下提升性能达3%。
2026-09-24 cs.AI cs.LG
Incorporating Texture Information into Dimensionality Reduction for High-Dimensional Images
TU Delft（代尔夫特理工大学）；TU Eindhoven（埃因霍温理工大学）；Leiden University Medical Center（莱顿大学医学中心）
针对高维图像降维忽略空间纹理信息的问题，提出将其融入基于距离的降维方法（如t-SNE），通过修改像素属性向量距离度量考虑空间邻域，并在理论和实验及真实用例中验证了方法价值。
2022-03-02 cs.CV cs.LG
Discrete Differential Principle for Continuous Smooth Function Representation
National Key Laboratory of Science & Technology on Multi-Spectral Information Processing（国家多谱信息处理科技重点实验室）；College of artificial intelligence and automation（人工智能与自动化学院）；Huazhong University of Science and Technology（华中科技大学）
针对Taylor公式在离散导数计算中的维度灾难和误差传播问题，提出基于Vandermonde系数矩阵的离散微分算子，实现高精度导数估计与连续光滑函数局部表示，并在多维扩展及多领域实验中验证了其优越性。
2025-07-13 cs.LG cs.NA math.NA
HyperNTF: A Hypergraph Regularized Nonnegative Tensor Factorization for Dimensionality Reduction
Southern University of Science and Technology（南方科技大学）；Sun Yat-sen University（中山大学）
张量分解是从高维数据中学习多向结构和异构特征的有效工具，如多视点图像和多通道脑电信号，通常用张量表示。然而，大多数张量分解方法都是线性特征提取技术，无法揭示高维数据中的非线性结构。为了解决这个问题，已经提出了许多算法来同时执行线性和非线性特征提取。一种代表性的算法是用于图像聚类的图正则化非负矩阵分解（GNMF）。然而，普通的二阶图只能模拟对象的两两相似性，不能充分利用样本的复杂结构。因此，我们提出了一种新的方法--超图正则化非负张量因子分解（Hypergraph Regularized Non-negative Tensor Factorization，HyperNTF），该方法利用超图对样本之间的复杂连接进行编码，并采用与典型多矢（CP）分解最后一个模式对应的因子矩阵作为低维表示。在合成流形、真实世界图像数据集和EEG信号上进行的大量实验表明，HyperNTF在降维、聚类和分类方面优于最先进的方法。
2022-06-28 cs.LG eess.IV eess.SP
Multi-view Feature Extraction based on Dual Contrastive Head
China Agricultural University（中国农业大学）
多视图特征提取是解决高维多视图数据维数问题的有效方法。对比学习是一种流行的自监督学习方法，近年来引起了广泛的关注。大多数基于CL的方法仅从样本水平构建。本文提出了一种新的基于双对比度头的多视角特征提取方法。结构级CL使潜在子空间结构在任意两个交叉视图中保持一致，从而有助于样本级CL更有效地提取区分性特征。进一步证明了结构级CL与互信息、概率内散射和概率间散射之间的关系，为该算法的优良性能提供了理论支持。最后，在六个真实数据集上的数值实验表明，该方法与现有方法相比具有更好的性能.
2023-02-08 cs.CV cs.LG
An Incremental Dimensionality Reduction Method for Visualizing Streaming Multidimensional Data
University of California, Davis（加州大学戴维斯分校）；Bosch Research North America（博世北美研究院）
多维性约简（DR）方法通常用于分析和可视化多维数据。然而，当数据是实时流馈送时，由于常规DR方法的计算复杂性并且不能保留在先前时间点的投影数据位置，因此不能直接使用常规DR方法。此外，当动态数据记录具有在现实世界应用中经常发现的不同数量的维度时，问题变得更具挑战性。本文提出了一种增量式灾难恢复解决方案。我们增强了现有的增量PCA方法在几个方面，以确保其可用性可视化流多维数据。首先，我们使用几何变换和动画的方法，以帮助保持观众的心理地图时，可视化的增量结果。其次，为了处理数据维度变量，我们使用优化方法来估计投影数据的位置，并在可视化中传达由此产生的不确定性。我们证明了我们的设计与两个案例研究使用真实世界的数据集的有效性。
2019-10-15 cs.GR cs.HC cs.LG
Zeroth-order Nonconvex Stochastic Optimization: Handling Constraints, High-Dimensionality and Saddle-Points
Department of Statistics, University of California, Davis（加利福尼亚大学戴维斯分校统计系）；Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）
在本文中，我们提出并分析了零阶随机逼近算法的非凸和凸优化，重点解决约束优化，高维设置和鞍点避免。为了处理约束优化，我们首先提出了条件梯度算法实现类似于标准的随机梯度算法只使用零阶信息的速率的概括。为了便于零阶优化在高维，我们探讨了结构稀疏性假设的优点。具体来说，（i）我们强调了一个隐式正则化现象，其中零阶信息的标准随机梯度算法通过改变步长来适应手头问题的稀疏性，以及（ii）提出了一个零阶信息的截断随机梯度算法，其收敛速率仅依赖于多维。接下来我们重点讨论如何避免非凸设置中的鞍点。为此，我们解释高斯平滑技术的基础上估计梯度的零阶信息作为一个实例的一阶斯泰因的身份。在此基础上，利用二阶Stein恒等式，给出了一个仅利用零阶信息的函数的黑塞矩阵的线性时间估计.然后，我们提供了一个算法，以避免鞍点，这是基于零阶三次正则化牛顿法，并讨论其收敛速度。
2019-01-14 cs.DS cs.LG math.OC
Manifold Approximation by Moving Least-Squares Projection (MMLS)
Tel Aviv University（特拉维夫大学）
为了避免大数据分析中经常遇到的"维数灾难“问题，近年来线性和非线性降维技术得到了广泛的发展。这些技术（有时称为流形学习）假设分散的输入数据位于低维流形上，因此可以通过学习低维行为来克服高维问题。然而，在实际应用中，数据往往是非常嘈杂的。在这项工作中，我们提出了一种方法来近似$\mathcal{M}$一个$d$维$C^{m+1}$光滑子流形的$\mathbb{R}^n$（$d \ll n$）的基础上，噪声分散的数据点（即，数据云）。我们假设数据点位于“附近”的低维流形，并建议一个近似的$d$维流形上的非线性移动最小二乘投影。在一些温和的假设下，所得到的逼近被证明是无限光滑的和高逼近阶（即，$O(h^{m+1})$，其中$h$是填充距离，$m$是局部多项式近似的次数）。本文提出的方法不需要对近似流形有任何解析知识，并且近似算法在大维数$n$上是线性的。此外，近似流形可以用作以计算高效的方式直接对高维数据执行操作的框架。这样，可以完全避免导致数据失真的降维准备步骤。
2020-02-26 cs.GR cs.LG math.DG
A Novel Evolution Strategy with Directional Gaussian Smoothing for Blackbox Optimization
Oak Ridge National Laboratory（橡树岭国家实验室）
我们提出了一种改进的进化策略（ES）使用一种新的非局部梯度算子的高维黑箱优化。标准ES方法与$d$维高斯平滑遭受的灾难的维数由于高方差的Monte Carlo（MC）的梯度估计。为了控制方差，高斯平滑通常被限制在一个小区域内，因此现有的ES方法缺乏逃离局部极小所需的非局部探索能力。我们开发了一个非局部梯度算子与方向高斯平滑（DGS）来解决这一挑战。DGS在$\mathbb{R}^d$中沿$d$正交方向进行1D非局部探索，每个探索将非局部方向导数定义为1D积分。然后，我们使用高斯-厄米求积，而不是MC采样，来估计$d$ 1D积分，以确保高精度（即，小差异）。我们的方法使有效的非局部探索，以促进在高维优化的全局搜索。我们在三组示例中展示了我们的方法的卓越性能，包括全局优化的基准函数以及现实世界的科学和工程应用。
2020-06-11 cs.LG cs.NE math.OC
Dimensionality Controls When Modularity Helps in Continual Learning
IT University of Copenhagen, Denmark（丹麦技术大学）；Hasso Plattner Institute, University of Potsdam, Germany（波茨坦大学哈asso 印度学院）
研究在持续学习中，模块化架构、任务相似性和表示维度如何共同影响组合学习，发现低维“丰富”机制下模块化结构显著提升性能，而高维“懒惰”机制下影响较小。
2026-06-17 cs.AI cs.LG cs.NE
