Supervised PCA: A Multiobjective Approach
University of Michigan(密歇根大学)
监督主成分分析(SPCA)的方法旨在将标签信息结合到主成分分析(PCA)中,使得提取的特征对于感兴趣的预测任务更有用。SPCA的先前工作主要集中在优化预测误差上,而忽略了由提取的特征解释的方差最大化的值。我们提出了一种新的方法SPCA,解决这两个目标共同,并证明经验表明,我们的方法优于现有的方法,即,在预测误差和所解释的变化方面优于它们。我们的方法适应任意监督学习损失,并通过统计重新制定,提供了一种新的低秩扩展的广义线性模型。
2022-08-16 cs.LG stat.ML
The Mathematics Behind Spectral Clustering And The Equivalence To PCA
谱聚类是一种流行的算法,它使用来自数据的拉普拉斯矩阵的特征值和特征向量来聚类点。多年来,谱聚类一直在神秘地工作。本文解释谱聚类分为两类的基础上,图拉普拉斯是完全连接或不。对于全连通图,本文通过提供一个目标函数:原始数据点的相似性和映射数据点的相似性之间的协方差来演示降维部分。对于多连通图,证明了在适当的$k$下,第一个$k$特征向量是连通分支的指示.本文还证明了谱嵌入与主成分分析之间的等价性。
2021-03-01 cs.LG stat.ML
TL-PCA: Transfer Learning of Principal Component Analysis
Ben-Gurion University(本古里安大学)
针对目标数据样本过少限制PCA性能的问题,提出TL-PCA方法,通过引入源任务知识扩展优化目标,有效提升了降维表示效果。
2024-10-14 cs.LG stat.ML
Determining Principal Component Cardinality through the Principle of Minimum Description Length
Facebook Research(脸书研究院)
PCA(Principal Component Analysis)及其变体是矩阵降维和降维潜在因子提取的普遍技术。使用PCA的一个重要挑战是主成分数量的选择。信息论的最小描述长度(MDL)原则为模型选择提供了基于压缩的客观标准,但很难将其现代定义--归一化最大似然(NML)--应用于PCA问题。这项工作显示了NML问题的一般减少到低维问题。应用这一约简,它用已知的线性回归的NML项来界定PCA的NML。
2019-06-29 cs.LG stat.ML
Two-Scale Localized PCA-Net: Coarse-Global and Local-Residual Representations for Artifact-Reduced PDE Operator Learning
University of Tennessee(田纳西大学);Boston University(波士顿大学)
本文提出双尺度局部化PCA-Net,通过粗全局与局部残差分解,减少块伪影并降低计算成本,在泊松和达西流基准上显著提升重建精度。
2026-09-09 cs.LG
Objective-Sensitive Principal Component Analysis for High-Dimensional Inverse Problems
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
提出了一种新的自适应、可微的大尺度随机场参数化方法。如果该方法与任何基于梯度的优化算法相结合,它可以应用于各种优化问题,包括历史匹配。所开发的技术是基于主成分分析(PCA),但修改一个纯粹的数据驱动的基础上考虑目标函数的行为的主成分。为了定义一个有效的编码,对模型参数敏感的PCA使用一个目标函数梯度。我们提出了计算效率的实现的技术,其中两个是基于平稳扰动理论(SPT)。最优性,正确性和低计算成本的新的编码方法进行了测试,验证和讨论。提出了三种最优参数分解算法,并将其应用于二维合成历史拟合目标。结果表明,在编码质量方面的目标函数最小化和所需字段的分布模式的改进。提出了可能的应用和扩展。
2020-06-02 cs.LG math.OC stat.ML
An Alternating Manifold Proximal Gradient Method for Sparse PCA and Sparse CCA
The Chinese University of Hong Kong(香港中文大学);University of California, Davis(加利福尼亚大学戴维斯分校);The Pennsylvania State University(宾夕法尼亚州立大学);University of Minnesota(明尼苏达大学)
稀疏主成分分析(PCA)和稀疏典型相关分析(CCA)是高维统计学和机器学习中用于分析大规模数据的两种基本技术。这两个问题都可以表述为一个具有非光滑目标和非凸约束的优化问题。由于非光滑性和非凸性带来的数值困难,大多数算法在文献中提出的解决一些松弛或启发式,缺乏收敛保证。在本文中,我们提出了一个新的交替流形近似梯度方法来解决这两个高维问题,并提供了一个统一的收敛性分析。数值实验结果证明了该算法的优越性。
2019-03-27 cs.LG math.OC stat.CO
A Simple and Fast Algorithm for L1-norm Kernel PCA
Northwestern University(西北大学)
本文提出了一种L1范数核PCA算法,并给出了算法的收敛性分析,L2范数核PCA的最优解可以通过矩阵分解得到,而L1范数核PCA的最优解由于其非凸性和非光滑性而不易得到。我们提供了一个新的重新制定,通过它得到一个等价的,几何可解释的问题。基于重新表述的问题的几何解释,我们提出了一个不动点类型的算法,迭代计算每个观察的二进制权重。由于该算法只需要数据向量的内积,因此计算效率高,核技巧也适用。在收敛性分析中,我们证明了算法在有限步内收敛到局部最优解。此外,我们提供了一个收敛速度分析,这是从来没有做过的任何L1范数PCA算法,证明目标值的序列以线性速度收敛。在数值实验中,我们表明,该算法是强大的,在存在的条目方面的扰动和计算可扩展性,特别是在一个大规模的设置。最后,我们介绍了一个应用程序的离群点检测模型的基础上提出的算法优于基准算法。
2020-06-11 cs.LG stat.ML
An Inverse Power Method for Nonlinear Eigenproblems with Applications in 1-Spectral Clustering and Sparse PCA
Saarland University(萨尔兰大学)
机器学习和统计学中的许多问题可以用公式表示为(广义)特征问题。就相关的优化问题而言,计算线性特征向量相当于找到受二次约束的二次函数的临界点。本文证明了一类具有非二次目标和约束的约束优化问题可以理解为非线性特征值问题。我们得到了一个推广的逆幂方法,保证收敛到一个非线性特征向量。我们将逆幂方法应用于1-谱聚类和稀疏PCA,它们可以自然地被表述为非线性特征值问题。在这两个应用程序中,我们在解决方案质量和运行时间方面都取得了最先进的成果。超越标准的特征值问题应该是有用的,也在许多其他应用中,我们的逆功率方法可以很容易地适应新的问题。
2010-12-03 cs.LG math.OC stat.ML
PLPCA: Persistent Laplacian Enhanced-PCA for Microarray Data Analysis
Michigan State University(密歇根州立大学)
针对传统PCA在微阵列数据分析中存在的可解释性差、无法捕捉复杂几何结构及高阶相互作用等问题,提出融合持久谱图理论的PLPCA方法,经基准数据集验证,其降维后分类性能优于现有最优模型。
2023-06-09 cs.LG math.AT
Rotation-Based Subspace Tracking for Robust Kernel PCA on Streaming Data
Harvard University(哈佛大学);George Washington University(乔治华盛顿大学)
本文提出基于旋转的更新机制,在再生核希尔伯特空间中向新样本旋转子空间估计,结合鲁棒影响函数抑制异常值,实现流式数据上核PCA的动态跟踪,实验证明比梯度下降收敛更快。
2026-09-15 cs.LG
Streaming PCA for Markovian Data
University of Texas at Austin(德克萨斯大学奥斯汀分校)
针对马尔可夫链采样的流式PCA,本文提出Oja算法在全量数据上的首个尖锐收敛速率,消除了下采样导致的对样本量的对数依赖。
2023-06-16 cs.LG math.ST stat.ML
High Dimensional Bayesian Optimization with Kernel Principal Component Analysis
ITMO University(圣彼得堡国立信息技术机械与光学大学);Leiden University(莱顿大学);Technical University of Munich(慕尼黑工业大学);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
贝叶斯优化(BO)是一种基于代理的全局优化策略,它依赖于高斯过程回归(GPR)模型来近似目标函数和获取函数来建议候选点。众所周知,BO对于高维问题不能很好地缩放,因为GPR模型需要更多的数据点来实现足够的精度,并且采集优化在高维中变得计算昂贵。最近的几项工作旨在解决这些问题,例如,实现在线变量选择或在原始搜索空间的低维子流形上进行搜索的方法。在PCA-BO算法学习线性子流形的基础上,提出了一种新的核PCA辅助BO(KPCA-BO)算法,该算法在搜索空间中嵌入一个非线性子流形,并对该子流形进行BO。直观地说,在低维子流形上构造GPR模型有助于提高建模精度,而不需要更多的目标函数的数据。此外,我们的方法定义了低维子流形上的采集功能,使采集优化更易于管理。我们比较KPCA-BO的性能香草BO和PCA-BO的多模态问题的COCO/BBOB基准套件。实验结果表明,KPCA-BO在大多数测试问题上的收敛速度优于BO,并且这种优势随着维数的增加而变得更加明显。对于60 D函数,KPCA-BO在许多测试用例中取得了比PCA-BO更好的结果。与普通BO相比,它有效地减少了训练GPR模型和优化采集功能所需的CPU时间。
2022-06-26 cs.LG cs.NE stat.ML
Sparse Principal Component Analysis via Rotation and Truncation
Zhejiang University(浙江大学)
稀疏主成分分析(Sparse PCA)的目的是寻找一个稀疏基,以提高PCA稠密基的可解释性,同时稀疏基应尽可能覆盖数据子空间。与现有的大多数工作通过在PCA的各个目标上添加一些稀疏性惩罚来处理这个问题相比,在本文中,我们提出了一种新的方法SPCArt,其动机是找到一个旋转矩阵和一个稀疏基,使得稀疏基近似旋转后的PCA基。SPCArt算法由三个交替的步骤组成:旋转PCA基,截断小条目,更新旋转矩阵。并给出了其性能界。SPCArt是高效的,每次迭代都与数据维度线性缩放。由于其明确的物理解释,在SPCArt中选择参数很容易。此外,我们给出了一个统一的看法,现有的几种稀疏PCA方法,并讨论了与SPCArt的联系。将SPCArt中的一些思想推广到GPower算法中,克服了GPower算法的不足。实验结果表明,SPCArt达到了最先进的性能。它还实现了一个很好的折衷之间的各种标准,包括稀疏性,解释方差,正交性,负载之间的稀疏性的平衡,和计算速度。
2014-05-01 cs.CV cs.LG stat.ML
Different representation learning objectives recover distinct latent structures from the same psychometric data
Yale University(耶鲁大学);Yale School of Public Health(耶鲁公共卫生学院);VA Connecticut Healthcare System(VA康涅狄格医疗系统);Cooperative Studies Program Coordinating Center(合作研究项目协调中心);Center for the Advancement of Research & Development in Educational Technology (CARDET)(教育技术研究与发展促进中心(CARDET))
该研究以757对师生的心理测量数据为对象,发现不同表征学习目标恢复的潜在结构不同,对比学习提升了师生检索性能但保留行为表型结构的效果弱于PCA,多任务目标可部分恢复行为组织但降低检索性能。
2026-09-02 cs.AI cs.LG stat.ME
Universal Collaboration Strategies for Signal Detection: A Sparse Learning Approach
Syracuse University(雪城大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文研究了一个大型分布式网络中的高维信号检测问题,该网络中的节点可以与它们的一跳邻居节点协作(空间协作)。我们假设只有一小部分节点与融合中心(FC)进行通信。我们设计的最优合作策略,这是普遍的一类确定性信号。通过建立协作策略设计问题与稀疏PCA之间的等价关系,有效地解决了协作策略设计问题,并评估了协作对检测性能的影响。
2016-06-28 cs.LG stat.ML
Orthogonal Sparse PCA and Covariance Estimation via Procrustes Reformulation
Hong Kong University of Science and Technology(香港科技大学)
对称矩阵稀疏特征向量的估计问题在许多应用中,特别是高维数据集的应用中,引起了人们的广泛关注。虽然经典的特征向量可以作为最大化问题的解来获得,但是现有的方法通过将惩罚项添加到目标函数中来制定这个问题,该目标函数鼓励稀疏解。然而,由此产生的方法实现稀疏性牺牲的正交属性。在本文中,我们开发了一种新的方法来估计主导稀疏特征向量,而不牺牲他们的正交性。这个问题是高度非凸的,很难处理。我们应用MM框架,我们迭代地最大化一个紧密的下限(代理函数)的目标函数在Stiefel流形。内部最大化问题是一个矩形Procrustes问题,它有一个封闭的形式的解决方案。此外,我们提出了一种方法来改善协方差估计问题时,其潜在的特征向量是稀疏的。我们使用的协方差阵的特征值分解,制定一个优化问题,我们施加稀疏相应的特征向量。数值实验表明,该特征向量提取算法在支持度恢复和解释方差方面与现有算法相当或优于现有算法,而协方差估计算法显著改善了样本协方差估计量.
2016-02-12 cs.LG math.OC stat.AP
Principal Components for Neural Network Initialization
Simula Metropolitan(Simula 城市);University of Science(科学大学)
本文针对训练前对数据使用PCA导致XAI解释复杂的问题,提出用主成分初始化网络首层的PCsInit及其两个变体,以获得更直接的解释、理论保证和更好的反向传播训练效果。
2025-09-29 cs.AI cs.LG
A Variational Manifold Embedding Framework for Nonlinear Dimensionality Reduction
Harvard University(哈佛大学)
本文提出了一种变分流形嵌入框架,用于解决非线性降维问题,通过引入偏微分方程和对称性分析,提升了降维方法的灵活性和可解释性。
2025-11-27 cs.LG
On the Convergence of the Dynamic Inner PCA Algorithm
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Southern California(南加利福尼亚大学)
动态内主成分分析(DiPCA)是一种分析时变多变量数据的有效方法。DiPCA通过求解大规模、密集和非凸非线性规划(NLP)来提取动态潜变量,这些动态潜变量捕获最主要的时间趋势。最近文献中提出了一种可扩展的分解算法来解决这些具有挑战性的NLP。分解算法在实践中表现良好,但其收敛性还没有得到很好的理解。在这项工作中,我们表明,该算法是一个专门的坐标最大化算法的变体。这一观察使我们能够解释为什么分解算法在实践中可能有效(或无效),并可以指导改进。我们比较的分解策略的性能与现成的求解器Ipopt。结果表明,分解更具可扩展性,并且令人惊讶的是,提供了更高质量的解决方案。
2020-03-12 cs.LG cs.SY eess.SY
Efficient Estimation of Unique Components in Independent Component Analysis by Matrix Representation
Seikei University, Tokyo, Japan(青狮大学,东京,日本);The University of Tokyo, Tokyo, Japan(东京大学,东京,日本)
本文提出通过矩阵表示和减少冗余计算来加速独立成分分析(ICA)中唯一成分的估计,解决了ICA解的唯一性无法保证的问题,并在人工数据集和EEG数据上验证了方法的有效性。
2025-09-16 cs.LG cs.NE
HoroPCA: Hyperbolic Dimensionality Reduction via Horospherical Projections
Stanford University(斯坦福大学)
本文研究了双曲空间中数据的主成分分析。给定方向,PCA依赖于:(1)由这些方向跨越的子空间的参数化,(2)在这些方向上保留信息的子空间上的投影方法,以及(3)优化目标,即投影解释的方差。我们推广这些概念的双曲空间,并提出HoroPCA,双曲型降维的方法。通过专注于提取主方向的核心问题,HoroPCA理论上更好地保留了原始数据中的信息,如距离,与以前的PCA概括相比。从经验上讲,我们验证了HoroPCA优于现有的降维方法,显着减少了距离保持的错误。作为一种数据白化方法,与不使用白化的方法相比,它将下游分类提高了3.9%。最后,我们证明了HoroPCA可以用于二维双曲数据的可视化。
2021-06-07 cs.LG
Is the reconstruction loss culprit? An attempt to outperform JEPA
本文通过线性动态系统对比了JEPA与重建自动编码器,发现自动编码器性能受目标不对称性和瓶颈效应影响,提出门控预测自动编码器以提升鲁棒性。
2026-03-14 cs.LG
Multidimensional Analysis of Specific Language Impairment Using Unsupervised Learning Through PCA and Clustering
Northeastern University(东北大学)
本研究利用PCA与聚类对1163名儿童的语言特征进行无监督分析,发现SLI主要体现为语言产出能力下降而非句法复杂度缺陷,并支持语言能力连续体模型,为改进诊断与干预提供依据。
2025-06-05 cs.CL cs.LG
Uncertainty-Aware Principal Component Analysis
University of Konstanz(康斯坦茨大学);University of Stuttgart(斯图加特大学)
我们提出了一种技术来执行降维的数据,是受不确定性。我们的方法是传统的主成分分析(PCA)的多变量概率分布的推广。与非线性方法相比,线性降维技术具有这样的优点,即这种概率分布的特征在投影后保持不变。我们推导出PCA样本协方差矩阵的表示,该表示尊重每个输入中的潜在不确定性,构建了我们的新方法的数学基础:不确定性感知PCA。除了我们的方法在基于采样的策略上获得的准确性和性能外,我们的公式还允许我们对数据中的不确定性进行敏感性分析。为此,我们提出了一种新的可视化,使更好地了解所选择的主成分的不确定性的影响因素的痕迹。我们使用真实世界的数据集提供了我们的技术的多个例子。作为一种特殊情况,我们展示了如何通过PCA传播多元正态分布的封闭形式。此外,我们讨论了我们的方法的扩展和限制。
2019-08-01 cs.HC cs.LG stat.ML
Orthogonal Dendritic Intrinsic Networks: An Architecture for Significance-Ordered, Orthogonal Latent Spaces
George Mason University(乔治梅森大学)
研究旨在解决深度自动编码器架构中PCA属性难实现的问题,提出ODIN架构,通过纳入几何约束使潜在维度正交且按方差排序,兼具PCA可解释性与深度网络表达力,还给出理论依据及合成与真实数据集实证结果。
2026-07-08 cs.LG math.OC
Prescriptive PCA: Dimensionality Reduction for Two-stage Stochastic Optimization
George Washington University(乔治华盛顿大学);Georgetown University(乔治城大学)
针对上游降维与下游随机优化不对齐的问题,提出Prescriptive PCA处方性降维框架,通过分布鲁棒优化及半定规划松弛最小化优化次优性,在两类问题的实验中性能显著优于PCA。
2023-06-04 cs.LG math.OC
A Linearly Convergent Algorithm for Distributed Principal Component Analysis
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校)
主成分分析(PCA)是大数据时代降维的主力工具。虽然经常被忽视,但PCA的目的不仅是降低数据维度,而且还产生不相关的特征。此外,现代世界中不断增加的数据量通常需要在多台机器上存储数据样本,这排除了使用集中式PCA算法。本文重点研究PCA的双重目标,即降维和去相关的功能,但在分布式设置。这需要估计数据协方差矩阵的特征向量,而不是当数据分布在机器网络中时仅估计特征向量所跨越的子空间。虽然最近已经提出了一些分布式解决方案的PCA问题,收敛保证和/或这些解决方案的通信开销仍然是一个问题。着眼于通信效率,本文介绍了一种前馈神经网络为基础的一个时间尺度的分布式PCA算法称为分布式桑格算法(DSA),估计的特征向量的数据协方差矩阵时,数据分布在一个无向和任意连接的网络的机器。此外,所提出的算法线性收敛到真解的邻域。数值结果也证明了所提出的解决方案的有效性。
2021-11-28 cs.DC cs.LG cs.MA
A Decomposition Framework for Certifiably Optimal Orthogonal Sparse PCA
School of Computer Science and Artificial Intelligence(计算机科学与人工智能学院);Aerospace Information Technology University(航空航天信息技术大学);Academy of Mathematics and Systems Science(数学与系统科学学院);Chinese Academy of Sciences(中国科学院)
本文提出GS-SPCA算法和分解框架,解决稀疏PCA中稀疏性、正交性和最优性的平衡问题,通过分支定界和分解方法提升计算效率。
2026-03-01 cs.LG
Local Shrunk Discriminant Analysis (LSDA)
Tianjin University of Technology(天津理工大学);Northwestern Polytechnical University(西北工业大学)
维数约简是模式识别和数据采掘任务克服维数灾难的关键步骤。主成分分析(PCA)是一种传统的无监督降维技术,通常用于寻找最小二乘意义下的投影以最好地表示数据,但如果原始数据是非线性结构,PCA的性能会迅速下降。一种称为线性判别分析(LDA)的有监督降维算法寻求嵌入变换,其可以很好地用于高斯分布数据或单峰数据,但是对于非高斯分布数据或多峰数据,它给出了不期望的结果。更糟糕的是,LDA的维度不能超过类的数量。为了解决这些问题,本文提出了局部收缩判别分析(LSDA)方法来处理非高斯分布数据或多模态数据,该方法不仅融合了原始数据的线性和非线性结构,而且通过学习模式收缩,使数据更灵活地拟合流形结构。LSDA具有更强的泛化能力,其目标函数在不同的极值参数下分别变为局部LDA和传统LDA。此外,还提出了一种新的高效优化算法,以较低的计算代价求解非凸目标函数。与PCA、LDA和局部LDA等相关方法相比,该方法能够得到更适合非高斯分布和真实数据的子空间。在不同类型的数据集上的实验结果表明了该方法的有效性。
2017-05-03 cs.LG
Deep Learning for GWP Prediction: A Framework Using PCA, Quantile Transformation, and Ensemble Modeling
AIZOTH Inc.(AIZOTH公司)
本研究针对单组分制冷剂100年全球变暖潜势(GWP 100)预测问题,提出结合PCA、分位数变换和集成建模的深度学习框架,基于RDKit分子描述符实现高精度预测,为低GWP制冷剂虚拟筛选提供可扩展方案。
2024-11-28 cond-mat.mtrl-sci cs.LG physics.chem-ph
Multi-Criteria Dimensionality Reduction with Applications to Fairness
University of Washington(华盛顿大学);Georgia Institute of Technology(佐治亚理工学院)
近似性约简是一种广泛应用于数据分析的经典技术。一个基本的实例是主成分分析(PCA),它使平均重建误差最小化。在本文中,我们介绍了“多标准降维”问题,我们给出了多个目标,需要同时优化。作为一个应用程序,我们的模型捕获了几个公平的标准,如我们的新的公平PCA问题和纳什社会福利(NSW)的降维问题。在Fair-PCA中,输入数据被划分为$k$组,目标是为所有组找到单个$d$维表示,其中任何一个组的最小方差被最大化。在新南威尔士州,目标是最大化由公共低维空间实现的组的个体方差的乘积。我们的主要结果是一个精确的多项式时间算法的双准则降维问题的两个标准时,这两个标准是增凹函数。作为这个结果的应用,我们得到了$k=2$群的Fair-PCA的多项式时间算法和$k=2$群的NSW目标的多项式时间算法.我们还给出了$k>2$的近似算法。我们在上述结果中的技术贡献是证明了半定规划极值点解的新的低秩性质。最后,我们的实验表明的有效性的算法的基础上的极值点解决方案的半定方案在几个现实世界的数据集。
2020-06-16 cs.DM cs.DS cs.LG
Share Price Prediction of Aerospace Relevant Companies with Recurrent Neural Networks based on PCA
AVIC General Huanan Aircraft Industry Co., Ltd.(中航通用华南飞机工业有限公司);School of Aerospace, Transport and Manufacturing, Cranfield University(克兰菲尔德大学航空、运输与制造学院)
资本市场在航天产业的市场运作中起着至关重要的作用。但由于股票市场的不确定性和复杂性以及诸多周期性因素,航天上市公司股价波动明显。这使得股价预测具有挑战性。为了提高航空航天行业股价的预测能力,更好地理解各指标对股价的影响,提出了一种主成分分析(PCA)与递归神经网络相结合的混合预测模型。我们调查了两种类型的航空航天工业(制造商和运营商)。实验结果表明,主成分分析方法可以提高预测的准确率和效率。各种因素都可能影响预测模型的性能,例如财务数据、提取的特征、优化算法和预测模型的参数。特征的选择可能取决于历史数据的稳定性:当股价稳定时,技术特征可能是首选,而当股价波动较大时,基本面特征可能更好。RNN的延迟还取决于不同类型公司历史数据的稳定性。对于航空航天制造商,使用短期历史数据,而对于航空航天运营航空公司,使用长期历史数据,这将更加准确。该模型可以作为股票自动预测系统中的智能代理,金融业可以根据预测的未来股票价格及时做出经济战略和业务活动的决策,从而提高投资回报率。目前,COVID-19严重影响航空航天工业。所开发的方法可用于预测航空航天工业在COVID-19后的股价。
2020-08-26 cs.LG q-fin.ST
Spectral Phase Transition and Optimal PCA in Block-Structured Spiked models
École Fédérale Polytechnique de Lausanne(洛桑联邦理工学院);University of Waterloo(滑铁卢大学)
本文研究非齐次块结构尖峰 Wigner 模型,通过严格分析变换矩阵的离群特征值与特征向量重叠,将 BBP 相变准则推广并证明该谱方法在迭代方法中最优。
2024-03-06 cond-mat.dis-nn cs.LG math.PR
SAKI-RoPE: Score-Aware Low-Rank Key Indexing with RoPE-Aware Covariance and Random-Matrix Noise Analysis
该研究提出无需训练的KV缓存索引SAKI,通过优化注意力分数目标,在多个开源大模型上的长上下文KV检索任务中,相比键PCA方法显著提升了前k个召回率。
2026-10-27 cs.LG stat.AP
Improved SVRG for Non-Strongly-Convex or Sum-of-Non-Convex Objectives
Princeton University(普林斯顿大学);Cornell University(康奈尔大学)
许多经典的算法直到几年后才被发现,它们的寿命超过了它们被构思的范围,并且在不可预见的环境中仍然相关。在本文中,我们表明,SVRG是这样一种方法:最初设计的强凸目标,它也是非常强大的非强凸或非凸设置的总和。更确切地说,我们提供了新的分析,以提高国家的最先进的运行时间在这两种设置,无论是应用SVRG或其新的变体。由于非强凸目标包括Lasso或逻辑回归等重要示例,而非凸目标之和包括随机PCA等著名示例,甚至被认为与训练深度神经网络有关,因此我们的结果也意味着在这些应用中具有更好的性能。
2016-05-27 cs.DS cs.LG math.OC
Spherical Principal Component Analysis
Colorado School of Mines(科罗拉多矿业学院)
主成分分析是处理高维数据的重要方法之一。然而,大多数关于PCA的研究旨在最大限度地减少投影后的损失,通常测量欧氏距离,尽管在某些领域中,角距离对于分析更重要和关键。本文提出了一种通过对因子增加约束条件来统一欧氏距离和角距离的方法。然而,由于目标和约束的非凸性,最优解不易获得。我们提出了一个交替线性化的最小化方法来解决它的可证明的收敛速度和保证。在合成数据和真实数据集上的实验验证了该方法的有效性,并展示了其优于现有聚类方法的优势。
2019-03-16 cs.LG math.OC stat.ML
Partial Sum Minimization of Singular Values in Robust PCA: Algorithm and Applications
KAIST(韩国科学技术院);ETH Zurich(苏黎世联邦理工学院)
基于秩最小化的鲁棒主成分分析(RPCA)是一种有效的工具,用于恢复被稀疏噪声/异常值破坏的干净数据的底层低秩结构。在许多低级视觉问题中,不仅已知干净数据的底层结构是低秩的,而且还知道干净数据的确切秩。然而,当对这些问题应用常规秩最小化时,目标函数以不完全利用关于问题的先验目标秩信息的方式来制定。这一观察促使我们研究在使用秩最小化时是否有更好的替代解决方案。在本文中,而不是最小化核范数,我们建议最小化奇异值的部分和,这隐含地鼓励目标秩约束。我们的实验分析表明,当样本数不足时,我们的方法导致更高的成功率比传统的秩最小化,而通过这两种方法得到的解决方案是几乎相同的样本数超过充足。我们将我们的方法应用于各种低层次的视觉问题,例如高动态范围成像,运动边缘检测,光度立体,图像对齐和恢复,并表明我们的结果优于传统的核范数秩最小化方法。
2015-08-13 cs.AI cs.CV cs.LG
sparseGeoHOPCA: A Geometric Solution to Sparse Higher-Order PCA Without Covariance Estimation
Department of Electrical Engineering and Centre for Intelligent Multidimensional Data Analysis(电气工程系和智能多维数据分析中心);City University of Hong Kong(香港城市大学);State Key Laboratory of Public Big Data(公共大数据国家重点实验室);School of Mathematics and Statistics(数学与统计学学院);School of Mathematics(数学学院)
提出 sparseGeoHOPCA 几何框架,将 SHOPCA 转化为结构化二元线性子问题,无需协方差估计与迭代紧缩,并给出误差界、线性复杂度及优异实验结果。
2025-06-10 cs.LG cs.NA math.NA
Adversarially Robust Low Dimensional Representations
Google Research(谷歌研究院);Rutgers University(罗格斯大学);Northwestern University(西北大学);George Mason University(乔治梅森大学)
许多机器学习系统容易受到在测试时间或训练时间对输入进行的小扰动的影响。由于可靠性和安全性至关重要的应用程序,这已经收到了最近的兴趣在实证方面。然而,对对抗性扰动鲁棒的算法的理论理解是有限的。在这项工作中,我们专注于主成分分析(PCA),在机器学习中无处不在的算法原语。我们制定了一个自然的强大的PCA的变体,其目标是找到一个低维子空间来表示给定的数据与最小的投影误差,这是另外强大的$\ell_q$规范(说$q=\infty$)测量的小扰动。与在多项式时间内可解的PCA不同,我们的公式在计算上难以优化,因为它捕获了作为特殊情况的经过充分研究的稀疏PCA目标的变体。我们展示了以下结果:- 多项式时间算法,在投影误差和鲁棒性标准方面,该算法在最坏情况下相对于最佳子空间具有恒定因子竞争力。- 我们表明,我们的算法技术也可以对对抗性训练时间扰动具有鲁棒性,此外还可以在测试时产生对对抗性扰动具有鲁棒性的表示。具体来说,我们设计了一个强概念的训练时间扰动算法,其中每个点都被反向扰动到一个指定的量。- 我们说明了我们的算法技术在解决对抗性扰动的鲁棒性方面的广泛适用性,无论是在训练时还是在测试时。特别是,我们的adversarially强大的PCA原语导致计算效率和强大的算法,无监督和监督学习的问题,如聚类和学习adversarially强大的分类器。
2021-08-13 cs.DS cs.LG math.ST
Enhancing Prostate Cancer Diagnosis with Deep Learning: A Study using mpMRI Segmentation and Classification
KLS Gogte Institute of Technology(KLS戈格特理工学院);University of Stavanger(斯塔万格大学);Dr. M.S. Sheshgiri College of Engineering and Technology(M.S.谢什吉里博士工程技术学院);JN Medical College(JN医学院)
本研究利用深度学习模型对mpMRI图像进行前列腺癌分割与分类,通过比较四种流程,发现U-Net与LSTM组合在分割和分类任务中性能最优,可提高诊断精度。
2023-10-10 cs.CV cs.LG eess.IV
Exploring Quantum Control Landscape and Solution Space Complexity through Dimensionality Reduction & Optimization Algorithms
School of Computer Science, University College Dublin(计算机科学学院,都柏林大学学院);Centre for Quantum Engineering, Science, and Technology, University College Dublin(量子工程、科学与技术中心,都柏林大学学院);School of Physics, University College Dublin(物理学院,都柏林大学学院)
本文通过PCA降维和多种优化算法分析单量子比特的量子控制景观,发现GA优于SGD、QL优于DQN和PPO,并证明即时奖励设计及CDI指标对提升控制策略效果具有重要意义。
2025-02-17 cs.ET cs.LG quant-ph
Quantum principal component analysis without eigenvector recovery
Global College, Shanghai Jiao Tong University, Shanghai 200240, China(上海交通大学全球学院);School of Electrical and Computer Engineering, Cornell University, Ithaca, New York 14850, United States(康奈尔大学电气与计算机工程学院);Institute of Natural Sciences, Shanghai Jiao Tong University, Shanghai 200240, China(上海交通大学自然科学研究院);School of Mathematical Sciences, Shanghai Jiao Tong University, Shanghai 200240, China(上海交通大学数学科学学院)
提出一种基于测量的软PCA框架,用熵正则化费米-狄拉克滤波器替代硬top-k投影,通过量子电路实现无需特征向量恢复的主子空间评分。
2026-05-27 cs.DS cs.LG quant-ph
Don't miss the Mismatch: Investigating the Objective Function Mismatch for Unsupervised Representation Learning
为无监督表示学习技术寻找通用的评价指标是一个具有挑战性的开放研究问题,由于对无监督方法的兴趣日益增加,这一问题变得越来越必要。尽管这些方法承诺有益的表示特性,但目前大多数方法都存在目标函数不匹配的问题。这种不匹配表明,当无监督的借口任务学习时间过长时,所需目标任务的性能可能会下降-特别是当两个任务都是不适定时。在这项工作中,我们建立在广泛使用的线性评估协议,并定义新的一般评估指标,以定量地捕捉目标函数不匹配和更通用的指标不匹配。我们讨论了我们的协议的可用性和稳定性的各种借口和目标任务,并在广泛的实验研究不匹配。因此,我们披露的依赖关系的目标函数不匹配的几个借口和目标任务的借口模型的表示大小,目标模型的复杂性,借口和目标增强,以及借口和目标任务类型。在我们的实验中,我们发现目标函数不匹配在许多设置中会使Cifar 10,Cifar 100和PCam的性能降低约0.1-5.0%,在极端情况下,3dshapes数据集的性能降低约25-59%。
2022-02-28 cs.AI cs.CV cs.LG
Revisiting OmniAnomaly for Anomaly Detection: performance metrics and comparison with PCA-based models
IEETA/DETI/LASI, University of Aveiro(IEETA/DETI/LASI,艾维罗大学)
本文系统比较了深度模型OmniAnomaly与PCA线性基线在多变量时间序列异常检测中的性能,发现PCA在无点调整时甚至更优,质疑了复杂架构的额外价值。
2026-06-23 cs.LG stat.ML
An Efficient Reconstructed Differential Evolution Variant by Some of the Current State-of-the-art Strategies for Solving Single Objective Bound Constrained Problems
Faculty of Engineering University of Toyama Toyama, Japan;School of Mechanical Engineering Tongji University Shanghai, China
本文针对单目标边界约束问题,提出一种组合当前最先进策略的重构差分进化算法(RDE),基于CEC2024基准测试验证了其优越性能。
2024-04-25 cs.AI cs.LG cs.NE
Simple Extensions of Single-Objective Acquisition Functions and Hedge Strategies for Multi-Objective Bayesian Optimization
本文提出通过超体积变换和对冲策略扩展单目标采集函数至多目标贝叶斯优化,简化流程,实验证明其性能匹配或超越复杂MOBO方法。
2026-11-09 cs.LG math.OC stat.ML
Deep Learning Based Proactive Multi-Objective Eco-Routing Strategies for Connected and Automated Vehicles
Laboratory of Innovations in Transportation (LiTrans)(交通创新实验室);Ryerson University(瑞尔森大学)
本研究利用信息和通信技术(ICT)、互联和自动驾驶车辆(CAV)以及传感技术的进步,制定积极主动的多目标生态路由策略。为了一个强大的应用程序,几个温室气体成本核算方法进行了审查。利用带有外生预测因子的长短期记忆深度网络建立了链路级流量和排放状态的预测模型。结果发现,积极主动的路由策略优于近视的策略,无论路由目标。无论是短视还是前瞻性的,多目标路由,旅行时间和温室气体最小化为目标,优于单目标路由策略,导致平均旅行时间(TT),平均车辆行驶公里数(VKT),总温室气体和总氮氧化物分别减少了17%,21%,18%和20%。最后,网络中车辆经历的额外TT和VKT对网络中产生的GHG和NOx的量产生了不利影响。
2020-12-27 cs.AI cs.LG cs.MA
Mixed Strategies for Robust Optimization of Unknown Objectives
ETH Zürich(苏黎世联邦理工学院)
我们考虑鲁棒优化问题,其目标是优化一个未知的目标函数对最坏情况下实现的不确定参数。对于这种设置,我们设计了一种新的采样效率算法GP-MRO,它顺序地从噪声点评估中学习未知目标。GP-MRO寻求发现一个强大的和随机的混合策略,最大化最坏情况下的期望目标值。为了实现这一点,它结合了在线学习的技术与高斯过程的非参数置信区间。我们的理论结果表征了GP-MRO所需的样本数量,以发现一个强大的接近最优的混合策略,为不同的GP内核的利益。我们通过实验证明了我们的算法在合成数据集和自动驾驶车辆的人工辅助轨迹规划任务上的性能。在我们的模拟中,我们表明,强大的确定性策略可能过于保守,而GP-MRO发现的混合策略显着提高了整体性能。
2020-03-02 cs.LG stat.ML
The GT-Score: A Robust Objective Function for Reducing Overfitting in Data-Driven Trading Strategies
Department of Computer and Data Science, Capitol Technology University(计算机与数据科学系,Capitol Technology University)
本文提出GT-Score目标函数,通过整合绩效、统计显著性、一致性及下行风险,有效减少数据驱动交易策略的过拟合问题,并通过实证研究验证其提升回测可靠性的作用。
2026-01-22 cs.LG q-fin.ST
Ordered Preference Elicitation Strategies for Supporting Multi-Objective Decision Making
Vrije Universiteit Brussel(布鲁塞尔自由大学);University of Oxford(牛津大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学);City of Amsterdam, Signal Control Design and Analysis(阿姆斯特丹市信号控制设计与分析部门);Delft University of Technology(代尔夫特理工大学)
在多目标决策规划和学习中,人们非常关注产生最优解集,这些解集包含针对每个可能的用户偏好配置文件的最优策略。我们认为,接下来的步骤,即,通过最大化这个(可能是无限的)集的用户的内在效用函数来确定执行哪一个政策,是研究不足。本文旨在填补这一空白。我们建立在以前的工作高斯过程和成对比较的偏好建模,将其扩展到多目标决策支持的情况下,并提出了新的排序和聚类的基础上的偏好启发策略。我们的主要贡献是使用计算机和基于人类的实验,这些策略的深入评估。我们表明,我们提出的启发式策略优于目前使用的成对方法,并发现用户最喜欢排名。我们的实验进一步表明,利用单调性信息的GP通过使用线性先验均值在开始和虚拟比较的最低点和理想点,提高性能。我们展示了我们的决策支持框架,在现实世界中的交通管制研究,与阿姆斯特丹市进行。
2018-02-21 cs.AI cs.LG stat.ML
Enhancing Robotic Navigation: An Evaluation of Single and Multi-Objective Reinforcement Learning Strategies
University of San Francisco(旧金山大学);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本研究对比单目标与多目标强化学习的机器人导航效果,指出传统DQN、DDPG、TD3等方法在多冲突目标复杂场景的局限,提出基于奖励向量的MORL方法以实现帕累托最优,验证了其在复杂动态导航任务中的潜力。
2023-12-14 cs.LG cs.RO
Learning Rational Strategies for Temporal Objectives in Multi-Agent Systems
Imperial College London(帝国理工学院);University of Manchester(曼彻斯特大学)
该研究针对未知动态的随机多智能体系统,提出结合纳什-Q学习、有限样本置信区间验证与近似最佳响应检查的方法,在MARL环境中学习满足$\textsf{PLTL}_f$时序目标的稳定策略,经8个一般和并发随机游戏验证有效。
2026-10-20 cs.LG cs.LO cs.MA
Improved optimization strategies for deep Multi-Task Networks
Georgia Institute of Technology(佐治亚理工学院);Twentieth Century Fox(二十世纪福克斯公司);Starfleet Academy(星际舰队学院)
在多任务学习(MTL)中,通常通过优化目标函数来训练多任务网络,该目标函数是特定于任务的目标函数的加权平均。虽然这种策略的计算优势是明确的,所产生的损失景观的复杂性还没有在文献中研究。可以说,其优化可能比单独优化构成特定任务的目标更困难。在这项工作中,我们研究了这样一种替代方案的好处,通过交替独立的梯度下降步骤上的不同的任务特定的目标函数,我们制定了一种新的方式来结合这种方法与国家的最先进的优化。由于任务特定目标的分离是以增加计算时间为代价的,因此我们提出了一种随机任务分组,作为更好的优化和计算效率之间的权衡。在三个著名的可视化MTL数据集上的实验结果显示,与平均目标函数和其他最先进的MTL方法相比,损失和标准度量的整体绝对性能更好。特别是,我们的方法在处理不同性质的任务时显示出最大的好处,并且可以更广泛地探索共享参数空间。我们还表明,我们的随机分组策略允许这些好处和计算效率之间的权衡。
2022-07-18 cs.AI cs.LG