Sparse and Functional Principal Components Analysis
主成分分析的正则化变体，特别是稀疏PCA和函数PCA，是分析复杂高维数据最有用的工具之一。大规模数据的许多示例具有稀疏和功能（平滑）方面，并且可以从可以捕获两种形式的结构的正则化方案中受益。例如，在神经成像数据中，大脑对刺激的响应可能被限制在离散的激活区域（空间稀疏），同时在该区域内表现出平滑的响应。我们提出了一个统一的方法来正则PCA，可以同时诱导稀疏性和光滑性的行和列的主成分。我们的框架概括了许多以前的文献，稀疏，功能，双向稀疏，双向功能PCA都是我们的方法的特殊情况。我们的方法允许灵活的稀疏性和平滑度的组合，从而改善特征选择和信号恢复，以及更可解释的PCA因素。我们证明了我们的方法对模拟数据和EEG数据的神经成像例子的有效性。
2019-08-19 stat.ML
Principal Covariate Regression with Nuclear Norm Penalty
Unit Methodology and Statistics, Institute of Psychology（方法学与统计单元，心理学研究所）；Leiden University（莱顿大学）
提出PcovRnnp方法，通过核范数惩罚同时实现高维数据中的降维和正则化回归，避免传统方法分步选择的缺陷。
2026-06-23 stat.ME
DeepVir -- Graphical Deep Matrix Factorization for "In Silico" Antiviral Repositioning: Application to COVID-19
IIIT - Delhi（德里印度理工学院）；Inria Saclay（法国国家信息与自动化研究所萨克雷分部）；Univ. Paris Saclay（巴黎萨克雷大学）
这项工作制定了抗病毒重新定位作为一个矩阵完成的问题，其中抗病毒药物是沿行和病毒沿列。输入矩阵是部分填充的，在已知抗病毒药物对病毒有效的位置上有一个。抗病毒药物（化学结构和途径）和病毒（基因组结构和症状）的策划元数据被编码到我们的矩阵完成框架中，作为图拉普拉斯正则化。然后，我们将由此产生的多图正则化矩阵完成问题框架为深度矩阵分解。这是通过使用一种新的优化方法，称为HyPALM（混合近端交替线性化最小化）。我们策划的RNA药物病毒关联（DVA）数据集的结果表明，所提出的方法优于最先进的图正则化矩阵完成技术。当应用于COVID-19抗病毒药物的“计算机模拟”预测时，我们的方法返回用于治疗患者或正在进行相同试验的抗病毒药物。
2020-09-22 cs.LG stat.ML
Regularized Principal Component Analysis for Spatial Data
在许多大气和地球科学中，人们感兴趣的是根据在$p$位置和$n$时间点观测到的数据来识别主要的空间变化模式，其中可能是$p>n$。虽然通常应用主成分分析（PCA）来找到主导模式，但是当$p$相对于$n$较大时，从PCA产生的本征图像可能表现出噪声太大而没有物理意义的模式。为了获得更精确的估计特征图像，我们提出了一种正则化方法，结合光滑性和稀疏性的特征图像，同时考虑到他们的正交性。我们的方法允许在不规则间隔或稀疏的位置采集数据。此外，由此产生的优化问题可以使用交替方向的乘法器，这是易于实现，适用于一个大的空间数据集解决。此外，估计的特征函数提供了一个自然的基础，用于表示潜在的空间过程中的空间随机效应模型，从空间协方差函数估计和空间预测可以有效地使用正则化固定秩克里格方法。最后通过几个数值算例验证了所提方法的有效性
2016-02-03 stat.ME
Sum-of-norms regularized Nonnegative Matrix Factorization
University of Southampton（南安普顿大学）；University of Waterloo（滑铁卢大学）
针对NMF中未知秩的问题，提出SON正则化方法在线估计非负秩，通过一阶BCD算法高效求解，能处理秩亏数据并适用于高光谱成像。
2025-09-22 cs.LG math.OC stat.ML
Learning a Factor Model via Regularized PCA
Stanford University（斯坦福大学）
我们考虑线性因子模型的学习问题。我们提出了一个正规化的形式的主成分分析（PCA），并通过实验证明与合成和真实的数据所产生的估计的优越性，那些预先存在的因素分析方法。我们还建立了理论结果，解释我们的算法如何纠正传统方法引起的偏见。我们的算法的一个重要特点是，它的计算要求是类似的PCA，这在很大程度上是由于其效率享有广泛的使用。
2013-02-24 cs.LG stat.ML
Principal Component Analysis When n < p: Challenges and Solutions
针对n<p高维场景下标准主成分分析因传统协方差估计不准表现不佳的问题，本研究提出四种正则化成对差分协方差估计方法，实证显示其在协方差与主成分估计上优于现有方法，还给出了真实数据应用。
2025-03-21 stat.ME stat.ML
Applying separative non-negative matrix factorization to extra-financial data
我们在这里提出了一个原始的应用程序的非负矩阵分解（NMF）方法，额外的金融数据的情况下。这些数据受到协变量之间以及观测之间的高度相关性的影响。NMF比简单的主成分分析（PCA）提供了一个更相关的协变量和观测值的聚类。此外，我们表明，应用NMF之前的初始数据分离步骤进一步提高了聚类的质量。
2022-06-09 q-fin.CP stat.ML
Principal Geodesic Analysis for Probability Measures under the Optimal Transport Metric
给定Hilbert空间X上的概率测度空间P（X）中的一个概率测度族，本文的目标是突出P（X）中的一条或多条曲线，这些曲线有效地概括了该族。我们建议研究这个问题下的最佳运输（Wasserstein）的几何形状，使用曲线，被限制为测地线段下的度量。我们发现，在欧几里得PCA中发挥关键作用的概念，如数据中心或主方向的正交性，找到一个自然的最佳运输几何等效，使用Wasserstein手段和微分几何。然而，这些想法的实现在计算上具有挑战性。为了实现可扩展的算法，可以处理成千上万的措施，我们建议使用一个宽松的定义测地线和正则化的最佳运输距离。我们的方法的兴趣被证明无论是作为形状或颜色直方图的图像。
2015-11-22 stat.ML
A Functional SVD Framework for Regularized Multivariate Functional PCA with Dual Penalization
University of Minnesota（明尼苏达大学）；Persian Gulf University（波斯湾大学）；Marquette University（马凯特大学）
本文提出基于函数奇异值分解的正则化多元函数主成分分析框架，通过双惩罚同时正则化主成分及得分，增强可解释性，并借助幂算法与交叉验证提升提取效果。
2026-09-15 cs.LG stat.ME stat.ML
Regularized Singular Value Decomposition and Application to Recommender System
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
奇异值分解（SVD）是主成分分析（PCA）的数学基础。SVD和PCA是机器学习、数据采掘、模式识别、人工智能、计算机视觉、信号处理等领域中最广泛使用的数学形式主义/分解之一。本文提出了一种正则化奇异值分解（RSVD），给出了一种有效的计算算法，并给出了一些理论分析。我们表明，虽然RSVD是非凸的，它有一个封闭形式的全局最优解。最后，我们将RSVD应用于推荐系统中，实验结果表明RSVD的性能明显优于SVD。
2018-04-13 cs.IR cs.LG stat.ML
Cross-product Penalized Component Analysis (XCAN)
University of Granada（格拉纳达大学）；Simula Metropolitan Center for Digital Engineering（Simula大都会数字工程中心）；University of Copenhagen（哥本哈根大学）
矩阵分解方法被广泛用于理解复杂数据。在本文中，我们介绍了叉积惩罚分量分析（XCAN），这是一种基于损失函数优化的稀疏矩阵因子分解，允许在方差最大化和结构保留之间进行权衡。该方法是基于以前的发展，特别是（i）稀疏主成分分析（SPCA）框架的基础上的LASSO，（ii）扩展的SPCA约束两种模式的因子分解，如共同聚类或惩罚矩阵分解（PMD），和（iii）组明智的主成分分析（GPCA）方法。其结果是一种灵活的建模方法，可用于各种问题的数据探索。我们展示了它的使用与来自不同学科的应用程序。
2019-06-28 cs.LG stat.ML
Riemannian Perspective on Matrix Factorization
MIT（麻省理工学院）
本文研究了利用黎曼几何的非凸矩阵分解方法来完成矩阵完备化。基于格拉斯曼流形上的优化公式，我们根据子空间之间的主角度的概念来描述景观。对于完全观测的情形，我们的结果表明，存在一个区域，在该区域中的成本是测地线凸的，并且在该区域之外的所有临界点都是严格鞍点。我们实证研究的部分观察的情况下，根据我们的研究结果。
2021-02-01 cs.LG math.DG math.OC
A Fast deflation Method for Sparse Principal Component Analysis via Subspace Projections
School of Mathematics and Information Sciences, Yantai University（烟台大学数学与信息科学学院）；Department of Mathematics, Shandong Normal University（山东师范大学数学学院）
在高维数据集上实现传统的稀疏主成分分析（SPCA）已成为一项耗时的工作。本文利用Household QR分解有效地构造了一系列子空间投影。利用这些子空间投影，提出了一种快速收缩的SPCA方法，称为SPCA-SP。该方法在稀疏性、正交性、解释方差、稀疏性平衡和计算成本等各种标准之间保持了良好的权衡。在基准数据集上的对比实验证实了该方法的有效性。
2019-12-06 cs.LG stat.ML
Convergence of the majorized PAM method with subspace correction for low-rank composite factorization model
本文证明带有子空间校正的majorized PAM方法在低秩复合分解模型中的完全收敛性，并在二值矩阵补全中优于PALM，能以更少时间获得更低相对误差。
2025-10-07 math.OC stat.ML
Dimensionality Reduction for Binary Data through the Projection of Natural Parameters
二进制数据的主成分分析（PCA），称为逻辑PCA，已经成为二进制数据降维的一种流行的替代方法。它的动机是通过矩阵分解，类似于奇异值分解，最大化伯努利对数似然的普通PCA的扩展。我们提出了一个新的制剂的逻辑PCA扩展皮尔逊的制定低维数据表示与最小误差的二进制数据。我们的公式不需要矩阵分解，因为以前的方法，而是寻找从饱和模型的自然参数的投影。由于这种差异，参数的数量不会随着观测值的数量而增加，并且可以通过简单的矩阵乘法来计算新数据的主成分得分。我们推导出特殊结构的数据矩阵的显式解决方案，并提供计算效率高的算法求解主成分负荷。通过模拟实验和对医疗诊断数据的分析，我们将我们的逻辑PCA公式与以前的公式以及普通PCA进行了比较，以证明其优点。
2015-10-21 stat.ME stat.ML
Scalable Probabilistic Matrix Factorization with Graph-Based Priors
Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所 HIIT）；Aalto University（阿尔托大学）；Tampere University（坦佩雷大学）；Kyoto University（京都大学）
在矩阵分解中，可用的图边信息可能不太适合矩阵完成问题，具有与从不完整数据矩阵中学习的潜在特征关系不一致的边缘。我们表明，删除这些$\textit{contested}$边缘提高预测精度和可扩展性。我们通过一个高效的图形套索近似确定有争议的边缘。竞争边的识别和去除没有向现有技术的图正则化矩阵分解增加计算复杂性，相对于非零的数量保持线性。计算负载甚至与移除的边的数目成比例地减小。制定一个概率生成模型，并使用期望最大化扩展图正则化交替最小二乘（GRALS）保证收敛。丰富的模拟实验说明了所产生的算法的预期性能。在真实数据实验中，我们证明了用更少的图边缘提高了预测精度（经验证据表明，图边信息通常是不准确的）。一个有300万条边的30万维图（雅虎音乐边信息）可以在10分钟内在标准膝上计算机上进行分析，这证明了我们的图形更新的效率。
2019-09-11 cs.LG stat.ML
Decoding the Encoding of Functional Brain Networks: an fMRI Classification Comparison of Non-negative Matrix Factorization (NMF), Independent Component Analysis (ICA), and Sparse Coding Algorithms
University of California, Los Angeles（加州大学洛杉矶分校）
功能磁共振成像中的大脑网络通常使用空间独立成分分析（ICA）来识别，但稀疏编码和阳性等数学约束都为生成大脑网络提供了替代的生物学合理框架。非负矩阵分解（NMF）通过增强正性来抑制负BOLD信号。空间稀疏编码算法（$L1$正则化学习和K-SVD）将强加局部专业化和多任务的阻碍，其中单个体素中的总观察到的活动源自有限数量的可能的大脑网络。独立性，积极性和稀疏性的假设，以编码任务相关的大脑网络进行了比较，得到的大脑网络为不同的约束条件被用作基函数，在给定的时间点编码所观察到的功能活动。这些编码是使用机器学习解码的，以比较算法和它们的假设，使用时间序列权重来预测受试者是否正在观看视频，收听音频提示，或者在来自51名受试者的304次fMRI扫描中休息。对于认知活动分类，$L1$正则化学习的稀疏编码算法在不同数量的网络和噪声水平上始终优于ICA的4种变体（p $<$ 0.001）。抑制负BOLD信号的NMF算法精度最差。在每种算法中，使用稀疏空间网络（包含更多零值体素）的编码具有更高的分类准确度（p $<$ 0.001）。稀疏编码算法的成功可能表明，执行稀疏编码，不鼓励多任务处理，并促进本地专业化的算法可以更好地捕捉底层源过程比那些允许取之不尽的本地过程，如ICA。
2016-07-01 cs.LG q-bio.NC stat.ML
Automatic Hyperparameter Tuning in Sparse Matrix Factorization
Chuo University（中央大学）；Ibaraki University（茨城大学）
研究贝叶斯框架下稀疏矩阵分解的超参数调优问题，基于变分贝叶斯方法的解析解提出评估归一化因子零点的新型数值调优方法，并在真实稀疏矩阵重建中表现优异。
2023-05-17 cond-mat.dis-nn cs.IT cs.LG
On the Loss Landscape Geometry of Regularized Deep Matrix Factorization: Uniqueness and Sharpness
UC San Diego（加州大学圣地亚哥分校）
本文研究正则化深度矩阵分解的损失景观几何，证明在特定条件下存在唯一极小值点，并揭示Hessian谱的恒定性及正则化参数的临界阈值。
2026-03-28 cs.LG stat.ML
L1-Regularized ICA: A Novel Method for Analysis of Task-related fMRI Data
Ibaraki University（茨城大学）
本文提出L1正则化ICA方法，通过在ICA代价函数中加入稀疏约束并用凸函数差分算法优化，以提升高维数据特征可解释性，并在合成与真实fMRI数据上验证其有效性。
2024-10-17 cond-mat.dis-nn cs.LG q-bio.NC
Online Learning for Matrix Factorization and Sparse Coding
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院信息学实验室）；Ecole Normale Supérieure（巴黎高等师范学院）；University of Minnesota（明尼苏达大学）
稀疏编码--即将数据向量建模为基本元素的稀疏线性组合--广泛用于机器学习、神经科学、信号处理和统计学。本文主要研究大规模矩阵分解问题，包括学习基集，使其适应特定数据。这个问题的变体包括信号处理中的字典学习、非负矩阵分解和稀疏主成分分析。在本文中，我们提出了一个新的在线优化算法，基于随机逼近，它可以优雅地扩展到具有数百万训练样本的大型数据集，并自然扩展到各种矩阵分解公式，使其适用于广泛的学习问题。收敛的证明，以及自然图像和基因组数据的实验表明，它导致最先进的性能方面的速度和优化的小型和大型数据集。
2010-02-11 cs.LG math.OC stat.ML
Sample Complexity of Dictionary Learning and other Matrix Factorizations
机器学习和信号处理中的许多现代工具，例如稀疏字典学习、主成分分析（PCA）、非负矩阵分解（NMF）、$K$ -均值聚类等，依赖于通过连接来自训练集合的高维向量而获得的矩阵的因式分解。虽然理想化的任务是在训练向量的底层分布上优化因子的预期质量，但在实践中，它是通过最小化所考虑的集合的经验平均值来实现的。本文的重点是提供样本复杂性估计，以统一控制经验平均值偏离期望成本函数的程度。标准的论点意味着，经验预测的性能也表现出这样的保证。通用的方法的水平包括几个可能的因素（张量积结构，平移不变性，稀疏性\ldots）的限制，从而提供了一个统一的角度来看，几个广泛使用的矩阵分解方案的样本复杂性。导出的泛化界与$\sqrt{\log(n)/n}$ w.r.t.成比例。所考虑的矩阵分解技术的样本数$n$。
2015-04-09 cs.IT math.IT stat.ML
Regularized L21-Based Semi-NonNegative Matrix Factorization
Portland State University（波特兰州立大学）
提出了一种通用的数据压缩算法--正则化L21半非负矩阵分解（L21 SNF）。L21 SNF提供了强大的，基于部分的压缩适用于混合符号数据，高保真，个别数据点重建是至关重要的。我们给出了算法收敛性的严格证明。通过实验，我们展示了L21 SNF的用例优势，包括在许多一般机器学习过程中广泛遇到的高度超定系统的压缩应用。
2020-05-10 cs.LG cs.NA math.NA
Multi-scale graph principal component analysis for connectomics
在脑连接组学中，皮质表面在统计分析之前被包裹成不同的感兴趣区域（ROI）。每个个体的脑连接体然后可以被表示为图，其中节点对应于ROI，边对应于ROI之间的连接。这样的图可以被概括为邻接矩阵，其中每个单元包含一对ROI之间的连接强度。这些矩阵是对称的，对应于通常排除的自连接的对角元素。连接体的这种表示的主要缺点是它们对所选择的ROI的敏感性，包括关键的ROI的数量以及因此的图的规模。随着比例变得更细，使用更多的ROI，图形变得越来越稀疏。显然，下游统计分析的结果可能高度依赖于所选择的分装。为了解决这个问题，我们提出了一个多尺度图分解，它通过一组共同的个人特定的分数链接在一起的规模特定的分解。这些分数总结了一个人的大脑结构，结合了各个测量尺度的信息。我们获得了一个简单而有效的算法实现，并说明了在模拟和分析人类连接组计划数据集的单尺度方法的实质性优势。
2020-10-05 stat.AP stat.ME
Regularized and Smooth Double Core Tensor Factorization for Heterogeneous Data
University of Michigan（密歇根大学）；University of Florida（佛罗里达大学）；University of Florida Informatics Institute（佛罗里达大学信息学研究所）
我们介绍了一个通用的张量模型，适用于{ \em异构}数据集的数据分析任务，其中有联合低秩结构的观察组内，但也有歧视性的结构在不同的群体。为了捕捉这种复杂的结构，一个双核心张量（DCOT）因子分解模型引入了一个家庭的平滑损失函数。通过利用所提出的平滑函数，该模型准确地估计模型因子，即使在存在缺失条目的情况下。一个线性化的ADMM方法来解决正则化版本的DCOT分解，避免了大张量操作和大内存存储的要求。进一步，我们从理论上证明了它的全局收敛性，以及模型参数估计的相合性。DCOT模型的有效性说明了几个现实世界的例子，包括图像完成，推荐系统，子空间聚类和检测模块在异构组学多模态数据，因为它提供了更有见地的分解比传统的张量方法。
2022-10-03 cs.LG stat.ML
A Comparison of Functional Principal Component Analysis Methods with Accelerometry Applications
一个人的身体活动和各种健康结果之间的关联是一个活跃的研究领域。国家健康和营养检查调查（NHANES）数据为研究这些关联提供了宝贵的资源。NHANES加速度计数据已被许多人用来测量个人的活动水平。用于分析加速度测量数据的常用方法是函数主成分分析（FPCA）。本文的第一部分使用泊松FPCA（PFPCA），高斯FPCA（GFPCA），和非负和正则化函数分解（NARFD）从计数值NHANES加速度计数据中提取特征。论文的第二部分比较了逻辑斯谛回归、随机森林和基于GFPCA、NARFD或PFPCA分数的AdaBoost模型在死亡率预测方面的应用。结果表明，Poisson FPCA模型是加速度计数据推断的最佳FPCA模型，基于Poisson FPCA得分的AdaBoost模型给出了最佳的死亡率预测结果。
2021-05-30 stat.AP
Regularized linear autoencoders recover the principal components, eventually
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
近年来，我们对使用神经网络学习输入输出关系的理解得到了迅速提高，但对底层表示的收敛性知之甚少，即使是在线性自编码器（LAE）的简单情况下。我们表明，当使用适当的正则化进行训练时，LAEs可以直接学习最佳表示-有序，轴对齐的主成分。我们分析了两种这样的正则化方案：非均匀$\ell_2$正则化和嵌套dropout的确定性变体[Rippel et al，ICML' 2014]。虽然这两个正则化方案收敛到最佳表示，我们表明，这种收敛是缓慢的，由于病态，随着潜在的维数增加。我们表明，学习最佳表示的低效率是不可避免的-我们提出了一个简单的修改梯度下降更新，大大加快收敛经验。
2021-10-01 cs.LG stat.ML
A Group Norm Regularized Factorization Model for Subspace Segmentation
Soochow University（苏州大学）；University of Science and Technology of China（中国科学技术大学）；State Grid Corporation（国家电网公司）
子空间分割假设数据来自不同子空间的并集，分割的目的是将数据划分到相应的子空间中。低秩表示（Low-rank representation，LRR）是一种经典的谱型子空间分割方法，即首先通过求解LRR模型得到亲和矩阵，然后进行谱聚类进行分割。本文在LRR模型的基础上提出了一种用于子空间分割的群范数正则化因子分解模型（GNRFM），并设计了一种求解该模型的加速增广拉格朗日算法（AALM）。具体地说，我们采用群范数正则化使因子矩阵的列稀疏化，从而达到低秩的目的，这意味着不需要奇异值分解（SVD），大大降低了每一步的计算复杂性。我们通过使用不同的LRR模型获得亲和矩阵，然后分别对不同的合成噪声数据集和真实数据集进行聚类测试。与传统的模型和算法相比，该方法具有更快的速度和更强的抗噪声能力，从而得到更好的聚类结果。此外，数值结果表明，我们的算法收敛速度快，只需要大约10次迭代。
2020-07-14 cs.LG stat.ML
A Unified Convergence Analysis of the Multiplicative Update Algorithm for Regularized Nonnegative Matrix Factorization
乘性更新（MU）算法已被广泛地用于估计各种发散和正则化下的非负矩阵分解（NMF）问题中的基矩阵和系数矩阵。然而，理论上的收敛性保证只得到了一些特殊的分歧，没有正规化。在这项工作中，我们提供了一个概念上简单的，自包含的，和统一的证明适用于NMF的MU算法的收敛性与广泛的分歧和正则化。我们的主要结果显示了迭代序列（即，由MU算法产生的基和系数矩阵对）收敛到非凸NMF最优化问题的稳定点集合。我们的证明策略有可能为分析机器学习和信号处理中的类似问题开辟新的途径。
2017-06-07 cs.IT math.IT math.OC
A Flexible Optimization Framework for Regularized Matrix-Tensor Factorizations with Linear Couplings
Simula Metropolitan Center for Digital Engineering（Simula城市数字工程中心）；Oslo Metropolitan University（奥斯陆城市大学）；CNRS（法国国家科学研究中心）；Université de Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；IRISA（IRISA研究所）
耦合矩阵和张量分解（CMTF）经常用于联合分析来自多个源的数据，也称为数据融合。然而，多源数据集的不同特征给数据融合带来了许多挑战，需要采用各种正则化、约束、损失函数和不同类型的耦合结构。在本文中，我们提出了一个灵活的算法框架耦合矩阵和张量分解，利用交替优化（AO）和交替方向乘法（ADMM）。该框架便于使用各种约束，损失函数和耦合与线性变换在一个无缝的方式。模拟和真实数据集上的数值实验表明，该方法是准确的，计算效率与可比或更好的性能比现有的CMTF方法的Frobenius范数损失，同时更灵活。使用Kullback-Leibler发散计数数据，我们证明了该算法产生准确的结果，也为其他损失函数。
2020-07-19 cs.LG math.OC stat.ML
A Novel Regularized Principal Graph Learning Framework on Explicit Graph Representation
The State University of New York at Buffalo（纽约州立大学布法罗分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Technology, Sydney（悉尼科技大学）
许多科学数据集都是高维的，分析通常需要通过保留数据的最重要结构来进行可视化操作。主曲线是用于此目的的广泛使用的方法。然而，许多现有的方法仅适用于具有非自组织结构的数据，这对于实际应用来说是相当限制的。有一些方法可以克服上述问题，但它们要么需要复杂的人为制定的规则，缺乏收敛性保证和适应不同任务的灵活性，或不能获得显式的数据结构。为了解决这些问题，我们开发了一个新的正则化主图学习框架，该框架基于反向图嵌入捕获底层图结构的局部信息。作为展示，模型，可以学习生成树或加权无向$\ell_1$图提出了一种新的学习算法，学习一组主要的点和图结构的数据，同时。新算法简单，收敛性有保证。然后，我们扩展所提出的框架来处理大规模的数据。在各种合成数据集和六个真实世界数据集上的实验结果表明，该方法与基线相比，可以正确地揭示底层结构。
2016-01-17 cs.AI cs.LG stat.ML
Efficient Inverse-Free Algorithms for Extreme Learning Machine Based on the Recursive Matrix Inverse and the Inverse LDL' Factorization
Shenzhen University（深圳大学）
文献[4]中提出的无逆极端学习机（ELM）算法是基于无逆算法来计算正则化伪逆的，该正则化伪逆是从更新Hermitian矩阵的逆的无逆递归算法推导出来的。在文献[4]中应用递归算法之前，其改进版本已在以前的文献[9]，[10]中使用。相应地，从改进的递归算法[9]，[10]中，我们推导出一种更有效的无逆算法来更新正则化伪逆，由此我们发展了所提出的无逆ELM算法1。此外，所提出的ELM算法2进一步降低了计算复杂性，其直接从更新的逆计算输出权重，并且避免了计算正则化伪逆。最后，代替更新逆，所提出的ELM算法3通过逆LDLT因式分解[11]更新逆的LDLT因子，以避免在非常大量的迭代之后的数值不稳定性[12]。相对于现有的ELM算法，所提出的ELM算法1、2和3预计分别仅需要（8+3）/M、（8+1）/M和（8+1）/M的复杂度，其中M是输出节点数。在数值实验中，标准ELM、已有的无逆ELM算法和提出的ELM算法1、2和3在回归和分类方面取得了相同的性能，而所有提出的3种算法都显著地加速了已有的无逆ELM算法
2019-11-12 cs.LG stat.ML
High-dimensional Time Series Prediction with Missing Values
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Technicolor Research（特艺集团研究院）
高维时间序列预测在需求预测和气候学等多种应用中都是需要的。通常，这样的应用程序需要的方法都是高度可扩展的，并处理噪声数据的损坏或丢失的值。经典的时间序列方法通常无法处理这两个问题。在本文中，我们建议适应矩阵矩阵完成方法，以前已成功地应用于大规模的噪声数据，但由于时间依赖性，无法充分建模高维时间序列。我们提出了一种新的时间正则化矩阵分解（TRMF）框架，该框架支持数据驱动的时间依赖学习，并使我们的新矩阵分解方法具有预测能力。TRMF是高度通用的，并且包含许多现有的时间序列数据的矩阵分解方法。在学习依赖关系的背景下，我们对图正则化矩阵分解方法进行了有趣的连接。在真实数据和合成数据上的实验表明，TRMF优于现有的几种方法，用于常见的时间序列任务。
2016-02-17 cs.LG stat.ML
Understanding Urban Dynamics via Context-aware Tensor Factorization with Neighboring Regularization
Beihang University（北京航空航天大学）；Microsoft Research Asia（微软亚洲研究院）
近年来，世界范围内出现了人口众多的大都市。因此，了解居民的流动模式或城市动态对于建设现代智慧城市至关重要。在本文中，我们提出了一个邻居正则化和上下文感知的非负张量因子分解模型（NR-cNTF），以发现可解释的城市动态从城市异构数据。与现有的许多通过张量完成预测任务的研究不同，NR-cNTF专注于从空间，时间和时空模式中获得城市管理见解。这是通过基于POI的城市背景和地理相邻关系正则化的高质量塔克因子分解实现的。NR-cNTF还能够通过管道初始化方法揭示城市动态的长期演变。我们将NR-cNTF应用于包含北京丰富的出租车GPS轨迹和POI记录的真实数据集。结果表明：1）NR-cNTF准确捕捉到了四种城市节奏和十七个空间群落; 2）以CBD为代表的北京市的快速发展确实加剧了职住不平衡; 3）近期政府投资的南部地区表现出更健康的发展趋势。最后，NR-cNTF与一些基线的交通预测进行了比较，这进一步证明了城市环境意识和邻近法规的重要性。
2019-05-10 cs.LG stat.ML
Recovering Quantized Data with Missing Information Using Bilinear Factorization and Augmented Lagrangian Method
Sharif University of Technology（谢里夫理工大学）
在本文中，我们提出了一种新的方法，以恢复一个量化的矩阵与丢失的信息。我们提出了一个正则化的凸成本函数组成的对数似然项和跟踪范数项。采用双因子分解法和增广拉格朗日方法（ALM）来寻找代价函数的全局极小值，以恢复真实数据。我们提供了我们提出的算法的数学收敛性分析。在数值实验部分中，我们展示了我们的方法在精度上的优越性，以及与最先进的文献方法相比在计算复杂度上的鲁棒性。
2018-10-07 cs.LG stat.ML
Kernel Additive Principal Components
可加主成分（APC）是线性主成分的非线性推广。我们专注于最小的APC来描述数据近似满足的添加剂非线性约束。因此，APC用对称处理变量的隐式方程拟合数据，而回归分析用通过挑出响应变量不对称处理数据的显式方程拟合数据。我们提出了一个正则化的数据分析程序APC估计使用核方法。与现有的基于子空间约束正则化的APC方法相比，核方法通过收缩实现正则化，因此通过允许使用无限维函数空间来搜索APC变换，同时保留计算可行性，从而在APC估计中赋予独特的灵活性。为了连接人口APC和核化的有限样本APC，我们研究核化人口APC及其相关的特征问题，这最终导致建立的估计APC的一致性。最后，我们讨论了计算核化有限样本APC的迭代算法。
2015-11-21 stat.ME stat.ML
Distributed Differentially-Private Algorithms for Matrix and Tensor Factorization
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
在许多信号处理和机器学习应用中，包含隐私信息的数据集被保存在不同的位置，这需要开发分布式隐私保护算法。张量和矩阵分解是许多处理管道的关键组件。在分布式环境中，差分隐私算法受到影响，因为它们引入了噪声来保证隐私。针对两种常用的矩阵和张量分解方法：主成分分析（PCA）和正交张量分解（OTD），设计了新的改进的分布式差分隐私算法。新算法采用相关噪声设计方案来减轻噪声的影响，并可以实现与集中式方案相同的噪声水平。合成和真实数据上的实验说明了相关噪声允许与集中式设置相匹配的性能的制度，优于以前的方法，并证明有意义的效用是可能的，同时保证差分隐私。
2018-04-26 cs.LG stat.ML
Analyzing Single Cell RNA Sequencing with Topological Nonnegative Matrix Factorization
Michigan State University（密歇根州立大学）
针对单细胞RNA测序数据缺乏多尺度分析的问题，提出两种持久拉普拉斯正则化非负矩阵分解方法TNMF和rTNMF，在12个数据集上显著优于其他NMF方法并用于数据可视化。
2023-10-24 cs.LG math.AT stat.ML
Adaptive Graph via Multiple Kernel Learning for Nonnegative Matrix Factorization
非负矩阵分解（NMF）在模式识别和信息检索方法等领域不断发展。它将矩阵分解为2个低秩非负矩阵的乘积，这将定义非负数据的基于部分和线性表示。最近，图正则化NMF（GrNMF）被提出来寻找一种紧凑的表示，它揭示了隐藏的语义，同时尊重内在的几何结构。在GNMF中，从原始数据空间构造亲和图以编码几何信息。在本文中，我们提出了一个新的想法，该想法采用多核学习方法来细化反映矩阵和新数据空间的分解的图结构。利用核学习细化的图对GrNMF进行了改进，并在GrNMF框架下提出了一种新的核学习方法。我们的方法显示了令人鼓舞的结果相比，国家的最先进的聚类算法，如NMF，GrNMF，SVD等。
2013-04-03 cs.CV cs.LG stat.ML
