Distributed Estimation for Principal Component Analysis: an Enlarged Eigenspace Analysis
New York University（纽约大学）；Princeton University（普林斯顿大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
现代数据集规模的不断增长给现有的统计估计方法带来了许多挑战，这需要新的分布式方法。本文研究了一个基本的统计机器学习问题，主成分分析（PCA）的分布估计。尽管有大量关于顶特征向量估计的文献，但对于顶- $L$ -dim（$L>1$）特征空间估计，特别是以分布式方式，提出的文献要少得多.本文提出了一种新的多轮算法来构造分布式数据的top- $L$ -dim特征空间。我们的算法利用移位和反转预处理和凸优化。我们的估计是通信效率和实现快速收敛速度。与现有的分治算法相比，我们的方法对机器的数量没有限制。传统的Davis-Kahan定理在理论上需要明确的本征间隙假设来估计顶$L$ -维本征空间。为了放弃这个本征间隙假设，我们在我们的分析中考虑一个新的路线：而不是准确地识别顶部- $L$ -暗淡的本征空间，我们表明，我们的估计是能够覆盖目标顶部- $L$ -暗淡的人口本征空间。我们的分布式算法可以应用于广泛的统计问题的PCA的基础上，如主成分回归和单指标模型。最后，我们提供模拟研究，以证明所提出的分布式估计器的性能。
2021-02-03 cs.DC cs.LG stat.ME
Rapid Robust Principal Component Analysis: CUR Accelerated Inexact Low Rank Estimation
University of California, Los Angeles（加州大学洛杉矶分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）；Sun Yat-sen University（中山大学）
鲁棒主成分分析（RPCA）是一种广泛应用的降维工具。在这项工作中，我们提出了一种新的非凸算法，创造迭代鲁棒CUR（IRCUR），解决RPCA问题，这大大提高了计算效率相比，现有的算法。IRCUR通过在更新低秩分量时采用CUR分解来实现这种加速，这使得我们可以仅通过三个小的子矩阵来获得准确的低秩近似。因此，IRCUR是能够处理只有小的子矩阵，并避免昂贵的计算上的整个算法的全矩阵。数值实验建立了IRCUR的计算优势，在合成和真实世界的数据集上的最先进的算法。
2021-02-07 cs.AI cs.IT cs.LG
On the Consistency of Maximum Likelihood Estimation of Probabilistic Principal Component Analysis
Université de Montréal（蒙特利尔大学）；Northwestern University（西北大学）
针对PPCA模型因旋转对称导致的不可识别性问题，提出基于商拓扑空间的方法，证明最大似然估计在商欧几里得空间中具有一致性，并推广至更广估计器类别。
2023-11-13 cs.LG stat.ML
Principal Curvatures Estimation with Applications to Single Cell Data
Université de Montréal（蒙特利尔大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；Yale University（耶鲁大学）；Université de Fribourg（弗里堡大学）；Helmholtz Zentrum München（慕尼黑亥姆霍兹中心）
本文提出自适应局部主成分分析方法AdaL-PCA，通过局部PCA估计切空间以准确计算数据流形的主曲率，并在单细胞RNA测序数据中结合PHATE嵌入识别细胞分化的关键变化。
2025-02-06 cs.AI cs.LG
Distributed Stochastic Algorithms for High-rate Streaming Principal Component Analysis
University of Michigan（密歇根大学）；Rutgers University–New Brunswick（罗格斯大学新伯朗士威分校）
本文研究了在流媒体环境下，从独立同分布的数据样本中估计协方差矩阵的主特征向量的问题。在许多当代应用中，数据的流式传输速率可能足够高，以至于单个处理器在新样本到达之前无法完成现有特征向量估计方法的迭代。本文制定和分析了一个分布式的经典Krasulina的方法（D-Krasulina），可以跟上高数据流率分布在多个处理节点的计算负载。分析表明，在适当的条件下，D-Krasulina以顺序最优的方式收敛到主特征向量;即，在所有节点上接收到$M$样本之后，其估计误差可以是$O(1/M)$。为了减少网络通信开销，本文还开发和分析了D-Krasulina的小批量扩展，称为DM-Krasulina。对DM-Krasulina算法的分析表明，在适当的条件下，即使在网络中由于通信延迟而必须丢弃某些样本的情况下，DM-Krasulina算法也能实现阶次最优的估计出错率。最后，在合成数据和真实数据上进行实验，以验证D-Krasulina和DM-Krasulina在高速率流设置下的收敛行为。
2020-01-04 cs.CV cs.LG eess.SP
On the Error-Propagation of Inexact Hotelling's Deflation for Principal Component Analysis
Rice University（莱斯大学）
本文数学刻画了PCA中非精确Hotelling消减法的误差传播，分别在抽象子程序和幂迭代两种场景下给出了误差演进界，并利用幂迭代方向信息获得了更紧的误差界。
2024-05-29 cs.LG math.OC stat.ML
Communication-efficient Algorithms for Distributed Stochastic Principal Component Analysis
Technion - Israel Institute of Technology（以色列理工学院）；Weizmann Institute of Science（魏茨曼科学研究学院）；Toyotoa Technological Institute at Chicago（芝加哥丰田技术研究所）
我们研究了主成分分析的基本问题，在统计分布设置中，每台机器的$m$存储的$n$点采样i.i.d.的样本。一个未知的分布。我们研究的算法，用于估计人口协方差矩阵的主要成分，都是通信效率和实现估计误差的集中式ERM解决方案，使用所有$mn$样本的顺序。在消极的一面，我们表明，在凸性假设下的分布估计得到的结果相比，PCA的目标，简单地平均本地ERM解决方案不能保证误差是一致的集中式ERM。我们表明，这种不幸的现象可以通过执行一个简单的校正步骤，其中相关的个别解决方案，并提供了一个估计，这是一致的集中式ERM的巨大的$n$。我们还介绍了一个迭代分布式算法，适用于任何政权的$n$，这是基于分布式矩阵向量产品。该算法给出了显着的加速通信轮在以前的分布式算法，在一个广泛的制度的参数。
2017-02-27 cs.LG
Riemannian Principal Component Analysis
University of Costa Rica（哥斯达黎加大学）
本文提出黎曼主成分分析（R-PCA），通过为数据表配备局部度量，将主测地分析（PGA）推广到任意具有局部距离结构的黎曼流形数据，实现直接在流形上进行降维和统计分析。
2025-05-30 cs.LG math.ST stat.CO
Distributed Robust Principal Component Analysis
Institute for Interdisciplinary Information Sciences（交叉信息研究院）；Tsinghua University（清华大学）
研究了分布式环境下的鲁棒主元分析问题。RPCA的目标是当数据矩阵受到粗稀疏误差的破坏时，为原始数据矩阵找到一个潜在的低秩估计。以前的研究已经开发出RPCA算法，提供稳定的解决方案，快速收敛。然而，这些算法通常难以扩展，并且由于使用SVD或大型矩阵乘法而无法分布式实现。在本文中，我们提出了第一个分布式鲁棒主分析算法的一致性分解的基础上，称为DCF-PCA。我们证明了DCF-PCA的收敛性，并在各种问题设置上评估了DCF-PCA
2022-08-13 cs.DC cs.LG
Sparse principal component regression via singular value decomposition approach
The University of Electro-Communications（电气通信大学）
主成分回归（PCR）是一个两阶段的过程：第一阶段执行主成分分析（PCA），第二阶段构建回归模型，其解释变量由第一阶段获得的主成分代替。由于PCA仅使用解释变量进行，因此主成分没有关于响应变量的信息。为了解决这个问题，我们提出了一个单阶段的PCR过程中的奇异值分解方法。我们的方法是基于两个损失函数，回归损失和PCA损失，稀疏正则化。所提出的方法使我们能够获得主成分负荷，拥有解释变量和响应变量的信息。提出了一种利用乘子交替方向法的估计算法。我们进行数值研究，以显示所提出的方法的有效性。
2020-02-21 cs.LG stat.ME stat.ML
Endowing Deep 3D Models with Rotation Invariance Based on Principal Component Analysis
Sun Yat-sen University（中山大学）；Pixtalks Tech（Pixtalks科技）
在本文中，我们提出了一种简单而有效的方法，通过在由对象形状本身确定的内在框架中表示坐标来赋予深度3D模型旋转不变性。我们的方法的关键是找到这样一个内在框架，它应该是唯一的相同的对象形状和一致的跨不同的实例相同的类别，例如，桌子的框架轴应该都大致沿边缘。有趣的是，主成分分析正好提供了一种有效的方法来定义这样的框架，即将主成分设置为框架轴。由于特征向量计算的符号模糊性导致主分量具有方向模糊性，因此每个对象存在多个内标。为了实现深度模型的绝对旋转不变性，我们采用所有内在框架中表示的坐标作为输入，以获得多个输出特征，这些特征将通过自注意模块进一步聚合为最终特征。我们的方法在理论上是旋转不变的，可以灵活地嵌入到当前的网络架构。综合实验表明，我们的方法可以在旋转增强数据集上实现接近最先进的性能，用于ModelNet40分类，并在SHREC'17扰动检索任务上优于其他模型。
2019-10-20 cs.CV
Transferability Estimation Based On Principal Gradient Expectation
Fudan University（复旦大学）；Zhejiang Lab（之江实验室）；Zhejiang University（浙江大学）
迁移学习旨在通过迁移源任务中获得的知识来提高目标任务的绩效。标准方法是预训练，然后进行微调或线性探测。特别是，在预定义的任务下，为特定的目标域选择合适的源域是提高效率和有效性的关键。传统上通过估计可转移性来解决这个问题。然而，现有的方法不能达到性能和成本之间的权衡。为了综合评价估计方法，我们总结了三个性质：稳定性，可靠性和效率。在此基础上，我们提出了主梯度期望（PGE），一个简单而有效的方法来评估可转移性。具体来说，我们使用重启方案多次计算每个权重单元上的梯度，然后计算所有梯度的期望值。最后，通过计算归一化主梯度的间隔来估计源和目标之间的可传递性。大量的实验表明，所提出的度量是优于国家的最先进的方法上的所有属性。
2023-03-15 cs.CV
Intrinsic Image Decomposition for Robust Self-supervised Monocular Depth Estimation on Reflective Surfaces
Daegu Gyeongbuk Institute of Science and Technology（大邱庆北科学技术院）
针对反射表面导致自监督单目深度估计误差的问题，提出融合内在图像分解的框架，协同训练深度估计与分解，并引入伪深度生成和知识蒸馏，在多个数据集上显著提升深度预测精度。
2025-03-28 cs.CV cs.LG
Intrinsic Dimensionality Estimation within Tight Localities: A Theoretical and Experimental Analysis
CNRS-IRISA（法国国家科学研究中心-法国信息与自动化研究所）；Amazon Web Services（亚马逊云科技）；The University of Melbourne（墨尔本大学）；National Institute of Informatics（国立信息学研究所）；University of Novi Sad, Faculty of Sciences（诺维萨德大学理学院）；Bank of Thailand（泰国银行）
在数据采掘和机器学习的许多任务中，包括维数约简、离群点检测、相似性搜索和子空间聚类等，准确地估计固有相似性是至关重要的。然而，由于它们的收敛通常需要数百个点的数量级的样本大小（即，邻域大小），现有的ID估计方法对于其中数据由许多小尺寸的自然组组成的应用可能仅具有有限的有用性。在本文中，我们提出了一个本地ID估计策略稳定，即使是“紧”的地方组成的少至20个样本点。估计应用MLE技术在样本的成员之间的所有可用的成对距离，基于最近的极值理论模型的内在维度，本地内在维度（LID）。我们的实验结果表明，我们提出的估计技术可以实现显着更小的方差，同时保持可比水平的偏差，在更小的样本量比国家的最先进的估计。
2022-09-29 cs.CV cs.LG cs.NE
Robust Principal Component Analysis for Background Estimation of Particle Image Velocimetry Data
New York Institute of Technology（纽约理工学院）
粒子图像测速（PIV）数据处理程序受到光反射和背景以及模型中的缺陷和堵塞边界内壁的粘性粒子的不利影响。在本文中，提出了一种新的方法分解的PIV数据到背景/前景组件，大大减少了这种文物的影响。这是通过利用鲁棒主成分分析（RPCA）应用于数据矩阵，通过聚合矢量化PIV帧生成。假设数据矩阵可以被分解成两个统计上不同的分量，一个低秩分量描绘静止的背景和一个稀疏分量表示成像的几何形状内的移动粒子。将假设条件转化为优化问题，采用增广拉格朗日乘子（ALM）方法将数据矩阵分解为低秩稀疏分量。实验和比较与国家的最先进的使用几个PIV图像序列显示的优越性，所提出的方法去除背景的PIV数据。
2019-08-16 cs.CV eess.IV
Spatially-Varying Outdoor Lighting Estimation from Intrinsics
Beijing University of Posts and Telecommunications（北京邮电大学）；Google（谷歌）；Peking University（北京大学）
我们提出了固体网络，一个神经网络的空间变化的室外照明估计从一个单一的户外图像的任何二维像素位置。以前的工作使用统一的天空环境贴图来表示室外照明。相反，我们生成空间变化的局部光照环境地图相结合的全球天空环境地图与扭曲的图像信息，根据几何信息估计的内在。由于没有现成的具有图像和局部照明地面实况的室外数据集，我们引入了具有基于物理的渲染图像及其相应的内在和照明信息的SOLID-Img数据集。我们训练一个深度神经网络来回归具有基于物理的约束的内在线索，并使用它们来进行全局和局部照明估计。在合成数据集和真实数据集上的实验表明，SOLID-Net的性能明显优于以前的方法。
2021-04-28 cs.CV
A Fast Method For Computing Principal Curvatures From Range Images
Monash University（莫纳什大学）
从距离数据估计表面曲率对于计算机视觉和机器人技术中的一系列任务、对象分割、对象识别和机器人抓取估计是重要的。本文提出了一种基于GPU的点云度量主曲率快速计算方法。与现有的现成的解决方案相比，首先区分表面以估计表面法线，然后区分这些以获得曲率，放大噪声，我们的方法迭代地拟合抛物线二次曲面片的数据。另外，具有类似公式的先前方法使用较不适用于高噪声传感器的较不稳健的技术。我们证明，我们的方法是快速的，并提供更好的曲率估计比现有的技术。特别是，我们比较我们的方法，以证明改进的几个替代方案。
2017-07-14 cs.CV
Joint Blind Deconvolution and Robust Principal Component Analysis for Blood Flow Estimation in Medical Ultrasound Imaging
Université de Tours, Inserm（图尔大学、法国国家健康与医学研究院）
本文讨论的问题，高分辨率多普勒血流估计超快序列的超声图像。将杂波和血液成分的分离公式化为逆问题已在文献中被证明是基于时空奇异值分解（SVD）的杂波滤波的一个很好的替代方案。特别地，最近已经在这样的问题中嵌入了去卷积步骤，以减轻成像系统的实验测量的点扩散函数（PSF）的影响。在这种情况下，反卷积被证明可以提高血流重建的准确性。然而，测量PSF需要非平凡的实验设置。为了克服这个限制，我们在这里提出了一个盲反卷积方法，能够估计血液成分和PSF从多普勒数据。模拟和体内数据进行的数值实验表明，定性和定量的所提出的方法相比，与以前的方法的基础上实验测量的PSF和其他两个国家的最先进的方法的有效性。
2020-07-10 cs.CV eess.IV
Intrinsic Dimension Estimation via Nearest Constrained Subspace Classifier
我们考虑的问题的分类和内在的维数估计的图像数据。提出了一种新的基于子空间的分类器，用于监督分类或本征维数估计。数据在每个类中的分布由特征空间的有限个仿射子空间的并集来建模。仿射子空间有一个共同的维度，它被假设为远小于特征空间的维度。使用基于L0范数的回归来找到子空间。该方法是经典的NN（最近邻），NFL（最近特征线）分类器的推广，并与NS（最近子空间）分类器有着密切的关系。所提出的分类器具有准确估计的维度参数，通常在分类精度方面优于其竞争对手。我们还提出了一个快速版本的分类器使用邻域表示，以减少其计算复杂性。对公开数据集的实验证实了这些说法。
2020-02-08 cs.CV
PCAAE: Principal Component Analysis Autoencoder for organising the latent space of generative networks
LTCI, Télécom Paris, Université Paris Saclay（巴黎萨克雷大学巴黎电信学院LTCI实验室）
自动编码器和生成模型产生了一些迄今为止最壮观的深度学习结果。然而，理解和控制这些模型的潜在空间提出了相当大的挑战。借鉴主成分分析和自动编码器的思想，提出了主成分分析自动编码器（PCAAE）。这是一种新型的自动编码器，其潜在空间验证了两个属性。首先，维度按照相对于手头数据的重要性递减来组织。其次，潜在空间的分量是统计独立的。我们通过在训练过程中逐渐增加潜在空间来实现这一点，并将协方差损失应用于潜在代码。由此产生的自动编码器产生一个潜在空间，它以完全无监督的方式将数据的固有属性分离到潜在空间的不同分量中。我们还描述了我们的方法的扩展到强大的，预先训练的GANs的情况。我们展示了形状的合成示例和最先进的GAN的结果。例如，我们能够在CelebA中分离头发和皮肤的颜色阴影比例，面部的姿势和性别，而无需访问任何标签。我们比较的PCAAE与其他国家的最先进的方法，特别是在潜在空间中解开属性的能力。我们希望这种方法将有助于更好地理解强大的深度生成模型的内在潜在空间。
2020-06-14 cs.CV
Principal Basis Analysis in Sparse Representation
Wuhan University（武汉大学）；Telecom ParisTech（巴黎电信学院）
本文介绍了一种新的信号分析方法，它可以解释为信号稀疏分解中的主成分分析。该方法被称为主基分析，是基于一个新的标准：成分的再现性，这是一个内在的规律性特征的自然信号。我们展示了如何测量再现性。然后，我们提出了主基分析方法，它选择，在稀疏表示的信号，优化的再现度的组件，以建立所谓的主基。有了这个主要的基础上，我们表明，潜在的信号模式可以有效地从损坏的数据中提取。作为例子，我们应用主基分析的图像去噪破坏高斯和非高斯噪声，表现出更好的性能比一些参考方法在抑制强噪声和保留信号的细节。
2015-11-25 cs.CV
Pose estimation of a single circle using default intrinsic calibration
IRIT (INP-ENSEEIHT)（图卢兹计算机科学研究所（法国国立高等工程技术学院））；Ubleam（优布莱姆）
圆形标记是平面标记，其为检测和姿态估计提供了很好的性能。对于焦距未知的未标定相机，通常需要至少两个共面圆的图像来恢复它们的位姿。不幸的是，检测图像中的多个椭圆必须是棘手和耗时的，特别是关于同心圆。另一方面，当摄像机被校准时，一个圆就足够了，但解决方案是双重的，并且很难消除歧义。我们的贡献是通过处理未校准的情况下，看到一个圆的相机，并讨论如何消除歧义，把这个限制。我们提出了一个新的问题制定，使如何检测几何配置中的模糊性可以被删除。此外，我们介绍了默认相机的内在的概念，并显示，使用密集的经验工作，令人惊讶的观察，非常近似的校准可以导致准确的圆姿态估计。
2018-04-13 cs.CV
Boosting Generalizable Depth Estimation in Endoscopy by Mixture of Lightweight Experts and Intrinsic Image Alignment
The Chinese University of Hong Kong（香港中文大学）；Shenzhen Loop Area Institute（深圳河套学院）
本文提出自监督框架EndoMINI，结合低秩专家混合与本征图像对齐，在多内窥镜数据集上实现了更优的可泛化深度估计性能。
2026-08-04 cs.AI cs.CV
Estimation of intrinsic volumes from digital grey-scale images
Aarhus University（奥胡斯大学）
局部算法是用于从黑白数字图像估计固有体积的常用工具。然而，这些算法通常在基于设计的设置中有偏差，即使当分辨率趋于无穷大时也是如此。此外，在实践中记录的图像通常是模糊的灰度图像，而不是黑白图像。在本文中，局部算法的一个扩展的定义，直接适用于灰度图像没有阈值，建议。我们调查这些新算法的渐近时，分辨率趋于无穷大，并应用此构建估计表面积和综合中曲率是渐近无偏的，在某些自然设置。
2013-09-16 cs.CV math.ST stat.TH
A Batch-Incremental Video Background Estimation Model using Weighted Low-Rank Approximation of Matrices
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Central Florida（中佛罗里达大学）；University of Edinburgh（爱丁堡大学）
本文提出一种批量增量视频背景估计模型，通过加权低秩近似改进传统方法，在实测和合成视频上优于GRASTA、ReProCS等算法。
2017-07-02 cs.CV cs.NA math.NA
An Infinitesimal Probabilistic Model for Principal Component Analysis of Manifold Valued Data
University of Copenhagen（哥本哈根大学）
我们提供了一个概率和无穷小的观点如何主成分分析程序（PCA）可以推广到非线性流形值数据的分析。从概率PCA的解释欧几里德PCA过程，我们展示了如何PCA可以推广到流形的内在方式，不诉诸线性化的数据空间。基本的概率模型是通过利用欧氏半鞅的随机发展将欧氏随机过程映射到流形上来构造的。该结构使用连接和束的共变张量，以允许全球运输的主要特征向量，该模型是一个例子，如何主纤维丛可以用来处理缺乏全球坐标系和方向的特点，多方面的价值统计。我们展示了如何曲率意味着非积分的等价的欧几里得主子空间，以及如何随机流提供了一种替代明确建设这样的子空间。我们描述的参数推断和预测的主成分估计程序，我们给嵌入式表面上的模型的属性的例子。
2018-06-24 cs.CV math.ST stat.TH
Transformers in Self-Supervised Monocular Depth Estimation with Unknown Camera Intrinsics
Advanced Research Lab, NavInfo Europe（四维图新欧洲高级研究实验室）
自动驾驶和高级驾驶员辅助系统的出现使得计算机视觉在3D场景理解方面的不断发展成为必要。自监督单目深度估计是一种不使用地面真值标签的单目距离估计方法，是三维场景理解中的一项重要任务。然而，用于该任务的现有方法限于卷积神经网络（CNN）架构。与使用局部线性运算并在各层中丢失特征分辨率的CNN相比，视觉Transformer在每个阶段都以恒定的分辨率处理全局感受野。虽然最近的工作比较了Transformers与他们的CNN同行的任务，如图像分类，没有研究存在调查的影响，使用Transformers的自我监督单眼深度估计。在这里，我们首先演示了如何适应视觉Transformer的自我监督单眼深度估计。此后，我们比较了Transformer和基于CNN的架构在KITTI深度预测基准上的性能，以及它们对自然损坏和对抗攻击的鲁棒性，包括当相机内部函数未知时。我们的研究演示了如何基于transformer的架构，虽然运行时效率较低，实现了相当的性能，同时更强大和更普遍。
2022-02-07 cs.AI cs.CV
