Asymptotic equivalence of regularization methods in thresholded parameter space
高维数据分析激发了一系列用于变量选择和稀疏建模的正则化方法,其中有两类流行的凸方法和凹方法。关于一个阶级是否支配另一个阶级的争论由来已久,这在理论上和实践中都是一个重要的问题。本文在广义线性模型下,刻画了具有一般罚函数的正则化方法在阈值参数空间中的渐近等价性,其中维数随样本量呈指数增长.为了评估它们的性能,我们建立了预言不等式,如在Bickel,Ritov和Tsybakov(2009)中,这些方法在各种预测和变量选择损失下的全局极小值。这些结果揭示了一个有趣的相变现象。对于多项式增长的维数,Lasso的$L_1$ -正则化方法与凹方法是渐近等价的,在预言不等式中具有相同的收敛速度.对于指数增长的维数,凹方法是渐近等价的,但比Lasso有更快的收敛速度。我们还建立了正则化方法的预言风险不等式的一个更强的性质,以及可计算解的抽样性质。我们的新的理论结果说明和证明模拟和真实数据的例子。
2016-05-11 math.ST stat.ME stat.ML
Supervised Discriminative Sparse PCA with Adaptive Neighbors for Dimensionality Reduction
Huazhong University of Science and Technology(华中科技大学);University of Technology Sydney(悉尼科技大学)
降维是信息可视化、特征提取、聚类、回归和分类等领域的一个重要操作,特别是在处理有噪声的高维数据时。然而,大多数现有的方法都保留了数据的全局或局部结构,但不能同时保留两者。只保留全局数据结构的方法,如主成分分析(PCA),通常对离群值敏感。仅保留局部数据结构的方法,例如局部保留投影,通常是无监督的(因此不能使用标签信息),并且使用固定的相似性图。我们提出了一种新的线性降维方法,监督判别稀疏PCA与自适应邻居(SDSPCAAN),集成无邻域监督判别稀疏PCA和投影聚类与自适应邻居。因此,全局和局部数据结构以及标签信息都用于更好的降维。在9个高维数据集上的分类实验验证了SDSPCAAN的有效性和鲁棒性。
2020-01-12 cs.LG stat.ML
Convexity-Driven Projection for Point Cloud Dimensionality Reduction
Big Data Analytics, Goa Institute of Management, Goa, India(大数据分析,果阿管理学院,果阿,印度)
本文提出凸性驱动投影(CDP),通过构建 k-NN 图并利用半正定非凸性结构矩阵的特征向量进行点云降维,以保留局部非凸性,并提供成对后验证证书和平均谱界来量化失真保证。
2025-09-26 cs.LG stat.ML
Nonlinear Feature Aggregation: Two Algorithms driven by Theory
Politecnico di Milano(米兰理工大学)
本文提出两种由理论驱动的非线性特征聚合降维算法,通过放宽线性假设并基于偏差-方差分析,在合成和真实数据上展现竞争性能。
2023-06-19 cs.LG stat.ML
IT-map: an Effective Nonlinear Dimensionality Reduction Method for Interactive Clustering
University of Electronic Science and Technology of China(电子科技大学)
降维是许多领域科学家的共同需求和基本需求:在低维空间中可视化海量多元数据的底层结构。然而,许多降维方法面临所谓的“拥挤问题”,即聚类在嵌入时往往相互重叠。以前,研究人员希望避免这个问题,并寻求在嵌入中最大限度地分离集群。然而,所提出的基于入树(IT)的方法,称为IT映射,允许嵌入中的聚类局部重叠,同时寻求通过一些小而关键的部分使它们可区分。IT-map为聚类保持映射提供了一种简单、有效、新颖的解决方案,使得对原始数据点进行交互式聚类成为可能,在科学和工程中具有普遍意义。
2015-03-18 cs.CV cs.LG stat.ML
Homomorphic Mappings for Value-Preserving State Aggregation in Markov Decision Processes
Zhejiang University of Technology(浙江工业大学);Qingdao University(青岛大学)
本文提出基于同态映射的MDP状态聚合抽象框架,确立了最优策略等价的充分条件,并推导了误差上界与性能下界,设计了保证等价的同态策略梯度(HPG)及其平衡效率与性能的扩展版EBHPG。
2025-10-11 cs.AI cs.LG stat.ML
Tensor-Train Parameterization for Ultra Dimensionality Reduction
The University of Sydney(悉尼大学);China University of Geosciences(中国地质大学)
局部保持投影(LPP)是一种经典的基于数据图信息的降维方法。然而,LPP仍然对极端离群值有反应。针对向量数据的LPP在应用于多维数据时可能会破坏数据的结构信息。此外,它假设数据的维数小于实例的数量,这是不适合高维数据。对于高维数据分析,张量-列车分解被证明是能够高效和有效地捕捉空间关系。因此,我们提出了一个张量列车参数化的超降维(TTPUDR),其中传统的LPP映射张量列车和LPP目标的Frobenius范数取代,以增加模型的鲁棒性。利用流形优化技术对新模型进行求解。TTPUDR的性能进行评估分类问题和TTPUDR显着优于过去的方法和几个国家的最先进的方法。
2019-08-14 cs.LG eess.IV stat.ML
FibeRed: Fiberwise Dimensionality Reduction of Topologically Complex Data with Vector Bundles
Northeastern University(东北大学)
现有的降维算法很难将具有非平凡大规模拓扑结构的数据集嵌入到低维欧氏空间中。我们建议使用向量束对拓扑复杂的数据集进行建模,以这样一种方式,即基空间占大规模拓扑,而纤维占局部几何。这允许减少纤维的维数,同时保持大规模拓扑。我们形式化这一观点,并作为一个应用程序,我们描述了一种算法,它需要作为输入的数据集连同它在欧几里得空间的初始表示,假设恢复其大规模拓扑的一部分,并输出一个新的表示,集成本地表示,通过本地线性降维,沿初始的全球表示。我们证明了这种算法的例子来自动力系统和化学。在这些例子中,我们的算法能够学习拓扑上忠实的嵌入数据在较低的目标维度比各种众所周知的基于度量的降维算法。
2023-03-15 cs.CG cs.LG math.AT
A Comparative Study of UMAP and Other Dimensionality Reduction Methods
NIH NIGMS DE-INBRE P20 GM103446;NIH U19 AG068054 ABC-DS;NIH U19 AG063893 LLF Study
本文通过综合比较分析,评估了UMAP及其监督扩展方法与其他降维方法在回归和分类任务中的性能,揭示了监督UMAP在回归任务中整合响应信息的局限性。
2026-11-17 cs.LG stat.AP stat.ML
Effective Dimensionality as an Operator Invariant for Physics-Preserving Constraint Adaptation in Physics-Informed Neural Networks
University of Cambridge(剑桥大学)
利用Fisher信息矩阵定义物理约束模型的有效自由度d_eff,证明其收敛于微分算子核维数,并基于此提出子空间投影策略实现边界条件适配。
2026-06-04 cs.LG cs.NA math.NA
Optimal Dimensionality Reduction of Complex Dynamics: The Chess Game as Diffusion on a Free Energy Landscape
在复杂动力学分析中,简化是普遍存在的问题.传统的降维技术,然而,专注于再现底层的配置空间,而不是动力学本身。构造的低维空间不能提供完整和准确的动力学描述。在这里,我描述了如何执行降维,同时保持动力学的基本属性。该方法通过分析国际象棋游戏-复杂动力学的原型来说明。一个变量,提供完整和准确的描述国际象棋的动态构造。获胜概率通过将游戏描述为与变量相关的自由能景观上的随机行走来预测。这种方法提出了一种可能的方法,获得一个简单而准确的描述许多重要的复杂现象。国际象棋博弈的分析表明,该方法可以定量描述人类决策发挥核心作用的过程的动态,例如,金融和社会动态。
2011-03-18 nlin.AO physics.chem-ph physics.data-an
Dimensionality reduction can be used as a surrogate model for high-dimensional forward uncertainty quantification
Sejong University(世宗大学);Rice University(莱斯大学);University of California, Berkeley(加州大学伯克利分校)
该研究提出了一种基于降维结果构建随机替代模型的方法,用于高维正向不确定性量化,通过保留顺序方法的便利性并克服其限制,提升不确定性量化效率。
2025-10-31 stat.AP stat.ML