$β$-Divergence-Based Latent Factorization of Tensors model for QoS prediction
非负潜在因子分解张量（NLFT）模型可以很好地模拟隐藏在非负服务质量（QoS）数据中的时间模式，以预测不可观察的高精度。然而，现有的NLFT模型的目标函数是基于欧氏距离的，这只是$β$ -发散的一个特例。因此，我们是否可以通过采用$β$ -发散来建立一个广义的NLFT模型，以获得预测精度增益？针对这一问题，提出了一种基于$β$ -发散的非线性傅里叶变换模型（$β$ -NLFT）.其思想是双重的1）建立一个学习目标与$β$ -发散，以实现更高的预测精度，和2）实现自适应超参数，以提高实用性。在两个动态QoS数据集上的实证研究表明，与现有模型相比，所提出的$β$ -NLFT模型对未观测到的QoS数据具有更高的预测精度.
2022-08-14 cs.LG
Latent Space Factorization in LoRA
Idiap Research Institute（Idiap研究机构）；EPFL（苏黎世联邦理工学院）；BUT（布拉格技术大学）
提出FVAE-LoRA，通过VAE学习两个因子化潜在空间，分别捕捉任务显著特征与残差信息，在文本、音频、图像任务上优于标准LoRA，并提升分布偏移下的鲁棒性。
2025-10-22 cs.LG
Logistic Tensor Factorization for Multi-Relational Data
Ludwig Maximilian University（路德维希-马克西米利安大学）；Siemens AG（西门子股份公司）
张量因子分解已经成为结构化数据上各种学习任务的越来越流行的方法。在这项工作中，我们扩展了RESCAL张量因式分解，它已经显示了多关系学习的最先进的结果，以解释邻接张量的二进制性质。我们研究了通过这种方法在各种基准数据集上可以获得的改进，并表明逻辑扩展可以显着改善预测结果。
2013-06-10 cs.LG stat.ML
Water Quality Data Imputation via A Fast Latent Factorization of Tensors with PID-based Optimizer
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
本文针对水质数据缺失值插补中标准SGD张量隐因子分解收敛慢的问题，提出结合非线性PID控制器的快速张量隐因子分解模型FLFT，利用预测误差的历史、当前和未来信息加速收敛，并在真实数据集上验证了其更优的收敛速率和精度。
2025-03-10 cs.LG
Duality-Induced Regularizer for Tensor Factorization Based Knowledge Graph Completion
University of Science and Technology of China（中国科学技术大学）
基于张量分解的模型在知识图谱完备化（KGC）中显示出强大的功能。然而，它们的性能往往受到过拟合问题的严重影响。这激发了各种正则化器-例如平方Frobenius范数和张量核范数正则化器-而有限的适用性大大限制了它们的实际使用。为了解决这一挑战，我们提出了一种新的正则化器-即对偶诱导正则化器（DURA）-它不仅有效地提高了现有模型的性能，而且广泛适用于各种方法。DURA的主要新颖之处在于，对于现有的基于张量分解的KGC模型（原始），通常存在另一个与之密切相关的基于距离的KGC模型（对偶）。实验表明，DURA在基准测试上产生了一致且显著的改进。
2021-05-04 cs.LG
Clustering and Latent Semantic Indexing Aspects of the Nonnegative Matrix Factorization
Faculty of Computer Science and Information Systems, University of Technology Malaysia（马来西亚理工大学计算机科学与信息系统学院）
本文为非负矩阵分解（NMF）的聚类方面提供了理论支持。通过利用Karush-Kuhn-Tucker最优性条件，我们证明了NMF目标等价于图聚类目标，因此NMF的聚类方面具有坚实的理由。不同于以往的方法，通常放弃非负约束，我们的方法保证用于推导等价的驻点位于非负正交的可行域。此外，由于矩阵分解技术的聚类能力有时可能意味着其潜在的语义索引（LSI）方面，我们也将评估LSI方面的NMF显示其在解决合成数据集的同义词和多义词问题的能力。并通过使用一些标准数据集比较NMF和标准LSI方法奇异值分解（SVD）的LSI性能，进行更广泛的评估。
2011-12-17 cs.LG
Self-Supervised Annotation of Seismic Images using Latent Space Factorization
由于地震解释员需要多年的时间才能熟练地进行解释，因此对地震数据进行注释是昂贵的、费力的和主观的。在本文中，我们开发了一个框架，自动标注地震图像的像素，以描绘地质结构元素的图像级标签分配给每个图像。我们的框架通过将潜在空间投影到学习的子空间来分解深度编码器-解码器网络的潜在空间。使用像素空间中的约束，地震图像被进一步分解以揭示与感兴趣的地质元素相关联的像素上的置信度值。提供了注释图像的细节以供分析，并与类似的框架进行了定性比较。
2020-09-26 cs.LG eess.IV
Interpretable Multi-View Clustering Based on Anchor Graph Tensor Factorization
Xidian University（西安电子科技大学）；State Key Laboratory of Integrated Services Networks（综合业务网国家重点实验室）
针对现有基于锚图分解的多视图聚类方法可解释性不足、忽略视图间信息的问题，提出利用非负张量分解融合多视图锚图的方法，提升了聚类可解释性，经实验验证了有效性。
2024-10-30 cs.LG
Factorization Regret mediates compositional generalization in latent space
Edmond and Lily Safra Center for Brain Sciences（埃德蒙和莉莉·萨弗拉脑科学中心）
本文通过将组合泛化视为潜在变量的变分推断问题，探讨了在所有相关变量已知时泛化障碍的消除机制，提出因子化遗憾作为衡量潜在变量交互对任务性能影响的理论量，并通过认知网格世界验证了交互学习对泛化能力的提升。
2026-09-27 cs.LG
HyperNTF: A Hypergraph Regularized Nonnegative Tensor Factorization for Dimensionality Reduction
Southern University of Science and Technology（南方科技大学）；Sun Yat-sen University（中山大学）
张量分解是从高维数据中学习多向结构和异构特征的有效工具，如多视点图像和多通道脑电信号，通常用张量表示。然而，大多数张量分解方法都是线性特征提取技术，无法揭示高维数据中的非线性结构。为了解决这个问题，已经提出了许多算法来同时执行线性和非线性特征提取。一种代表性的算法是用于图像聚类的图正则化非负矩阵分解（GNMF）。然而，普通的二阶图只能模拟对象的两两相似性，不能充分利用样本的复杂结构。因此，我们提出了一种新的方法--超图正则化非负张量因子分解（Hypergraph Regularized Non-negative Tensor Factorization，HyperNTF），该方法利用超图对样本之间的复杂连接进行编码，并采用与典型多矢（CP）分解最后一个模式对应的因子矩阵作为低维表示。在合成流形、真实世界图像数据集和EEG信号上进行的大量实验表明，HyperNTF在降维、聚类和分类方面优于最先进的方法。
2022-06-28 cs.LG eess.IV eess.SP
STELAR: Spatio-temporal Tensor Factorization with Latent Epidemiological Regularization
University of Minnesota（明尼苏达大学）；IQVIA（艾昆纬）；University of Virginia（弗吉尼亚大学）；Temple University（天普大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
准确预测COVID-19等流行病的传播对实施有效的缓解措施至关重要。在这项工作中，我们开发了一个张量方法来预测多个地区同时流行趋势的演变。我们构造了一个3向时空张量（位置，属性，时间）的情况下计数，并提出了一个非负张量分解与潜在的流行病学模型正则化命名为STELAR。与标准的张量分解方法，不能预测板坯提前，STELAR使长期预测，通过一个系统的离散时间差分方程的广泛采用的流行病学模型，将潜在的时间正则化。我们使用潜在的而不是位置/属性级别的流行病学动态来捕获常见的流行病学特征子类型，并改善协作学习和预测。我们使用县级和州级COVID-19数据进行实验，并表明我们的模型可以识别流行病的有趣潜在模式。最后，我们评估了我们的方法的预测能力，与基线相比表现出优越的性能，县级预测的均方根误差降低了21%，平均绝对误差降低了25%。
2021-03-17 cs.LG q-bio.PE
Communication Efficient Generalized Tensor Factorization for Decentralized Healthcare Networks
Emory University（埃默里大学）；Xidian University（西安电子科技大学）
张量分解已被证明是一种用于健康数据分析的有效无监督学习方法，特别是用于计算表型，其中具有患者的医疗程序、药物、诊断、实验室测试等历史的高维电子健康记录（EHR），转化为有意义和可解释的医学概念。联合张量因式分解在中央服务器的协调下将张量计算分配给多个工作人员，这使得能够跨多个医院联合学习表型，同时保护患者信息的隐私。然而，现有的联邦张量分解算法在引入中央服务器的情况下会遇到单点失效问题，不仅容易受到外部攻击，而且在上行带宽受限的情况下，限制了与服务器共享信息的客户端数量。在本文中，我们提出了CiderTF，一个通信高效的分散广义张量因式分解，它降低了上行链路的通信成本，利用一个四个层次的通信减少策略设计的广义张量因式分解，它具有建模不同的张量分布与多种损失函数的灵活性。在两个真实世界的EHR数据集上的实验表明，CiderTF实现了相当的收敛性，通信减少高达99.99%。
2022-11-03 cs.DC cs.LG
Latent Tensor Factorization with Nonlinear PID Control for Missing Data Recovery in Non-Intrusive Load Monitoring
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
针对NILM缺失数据恢复中SGD-based LFT模型收敛慢的问题，提出结合非线性PID控制与PSO增益自适应的NPIL模型，在真实数据集上实现更快收敛和更高精度的缺失数据恢复。
2025-04-18 cs.LG
Recovering Linear Causal Models with Latent Variables via Cholesky Factorization of Covariance Matrix
Baidu Research（百度研究院）
本文提出基于协方差矩阵Cholesky分解的快速DAG恢复算法，并通过结合优化过程处理含潜变量的因果结构恢复，在合成与真实数据上取得最先进性能。
2023-11-01 cs.LG stat.ML
Visualizations Relevant to The User By Multi-View Latent Variable Factorization
University of Warwick（华威大学）；Helsinki Institute for Information Technology HIIT（赫尔辛基信息技术研究所（HIIT））；Aalto University（阿尔托大学）
数据可视化的主要目标是从所有可用的备选方案中找到与用户相关的到2D/3D显示器的映射。假设用户交互数据或关于项目或其关系的其他辅助数据，目标是识别主数据中的哪些方面支持用户的输入，以及同样重要的是，用户的潜在噪声输入的哪些方面在主数据中得到支持。为了解决这个问题，我们引入了一个多视图嵌入，其中一个潜在的因式分解识别两个数据视图（主数据和用户数据）中的哪些方面是相关的，哪些是特定于其中之一。因子分解是生成模型，其中显示器被参数化为因子分解的一部分，并且其他因子解释了二维显示器中不可表达的方面。该模型的功能在多个数据集上得到了演示。
2016-01-25 cs.IR cs.LG
On Identifiability of Nonnegative Matrix Factorization
University of Minnesota（明尼苏达大学）
在这封信中，我们提出了一个新的识别准则，保证恢复的低秩潜在因素的非负矩阵分解（NMF）模型，在温和的条件下。具体而言，使用所提出的标准，它足以识别潜在的因素，如果行的一个因素是\emph{sufficiently scattered}在非负正交，而没有结构的假设是强加在其他因素，除了满秩。这是迄今为止最温和的条件下，潜在的因素是证明可识别的NMF模型。
2017-09-02 cs.LG stat.ML
SWIFT: Scalable Wasserstein Factorization for Sparse Nonnegative Tensors
Georgia Institute of Technology（佐治亚理工学院）；Hong Kong Baptist University（香港浸会大学）；Sutter Health（萨特健康医疗集团）；IQVIA（艾昆纬公司）；Emory University（埃默里大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
现有的张量因式分解方法假设输入张量遵循某种特定分布（即泊松、伯努利和高斯），并且通过最小化基于相应分布定义的某些经验损失函数来求解因式分解。然而，它有几个缺点：1）在现实中，潜在的分布是复杂和未知的，使得它不可行的近似一个简单的分布。2)输入张量的维度之间的相关性没有得到很好的利用，导致次优性能。尽管在高斯分布下，提出了将这种相关性作为边信息的算法，但它们不能容易地推广到其他分布。因此，在张量分解模型中利用相关性的更原则的方式仍然是一个开放的挑战。在不假设任何显式分布的情况下，我们将张量分解公式化为具有Wasserstein距离的最优传输问题，该问题可以处理非负输入。我们引入SWIFT，它最小化Wasserstein距离，该距离测量输入张量和重建张量之间的距离。特别是，我们定义了广泛使用的张量CP分解的N阶张量Wasserstein损失，并推导出最小化它的优化算法。通过利用稀疏结构和不同的等价公式来优化计算效率，SWIFT与其他知名的CP算法一样具有可扩展性。使用因子矩阵作为功能，SWIFT在下游预测任务中实现了9.65%和11.31%的相对改进。在噪声条件下，SWIFT在预测任务方面比最佳竞争对手分别实现了高达15%和17%的相对改进。
2020-12-15 cs.LG
Simple and Efficient Parallelization for Probabilistic Temporal Tensor Factorization
The Chinese University of Hong Kong（香港中文大学）
概率时间张量分解（PTTF）是一种有效的时间张量数据建模算法。它利用时间约束来捕获张量数据的演化属性。如今爆炸的数据集需要大规模的PTTF分析，并行解决方案是至关重要的，以适应这一趋势。然而，PTTF的并行化仍然是未探索的。在本文中，我们提出了一个简单而有效的并行概率时间张量分解，简称为P $^2$ T $^2$ F，提供一个可扩展的PTTF解决方案。通过考虑张量数据的概率分解和时间效应，P $^2$ T $^2$ F从根本上不同于现有的并行张量因子分解。它采用了一种新的张量数据分割策略，将一个大的张量分割成多个独立的子张量，子张量的计算本质上是并行的。我们用随机交替方向乘子法的有效算法对P $^2$ T $^2$ F进行了训练，并证明了收敛性是有保证的.在多个实字张量数据集上的实验表明，P $^2$ T $^2$ F是一种高效、可扩展的大规模概率时间张量分析算法.
2016-11-11 cs.LG stat.ML
Neural Tensor Factorization
University of Notre Dame（圣母大学）；Microsoft Research（微软研究院）
神经协同过滤（NCF）和递归推荐系统（RRN）已经成功地建模用户项关系数据。然而，它们也局限于它们对关系数据的静态或顺序建模的假设，因为它们不考虑随着时间的推移而演变的用户偏好以及驱动用户-项目关系随着时间的推移而变化的潜在因素的变化。我们通过提出一个神经张量因子分解（NTF）模型来解决这些限制，用于动态关系数据的预测任务。NTF模型从两个方面推广了传统的张量分解：首先，它利用长短期记忆架构来表征关系数据上的多维时态交互。其次，它采用了多层感知器结构，用于学习不同潜在因素之间的非线性。我们的大量实验表明，显着改善评级预测和链接预测的动态关系数据，我们的NTF模型比基于神经网络的因子分解模型和其他传统的方法。
2018-02-13 cs.LG
A Probit Tensor Factorization Model For Relational Learning
North Carolina State University（北卡罗来纳州立大学）；Fudan University（复旦大学）
随着知识图谱的大量涌现，对具有复杂多关系结构的数据进行建模在统计关系学习领域得到了越来越多的关注。统计关系学习最重要的目标之一是链接预测，即，预测所述知识图谱中是否存在某些关系。已经提出了大量的模型和算法来执行链接预测，其中张量因子分解方法已被证明在计算效率和预测精度方面达到最先进的性能。然而，现有的张量分解模型的一个共同的缺点是，以相同的方式处理缺失的关系和不存在的关系，这导致信息的丢失。为了解决这个问题，我们提出了一个二进制张量因式分解模型与概率链接，它不仅继承了经典的张量因式分解模型的计算效率，但也占关系数据的二进制性质。我们提出的概率单位张量因子分解（PTF）模型在预测精度和可解释性方面都具有优势
2021-11-09 cs.LG stat.CO stat.ML
Columnwise Element Selection for Computationally Efficient Nonnegative Coupled Matrix Tensor Factorization
Queensland University of Technology（昆士兰科技大学）；Singapore University of Technology and Design（新加坡科技设计大学）
耦合矩阵张量分解（CMTF）有助于集成和分析多个数据源，并有助于发现有意义的信息。非负CMTF（N-CMTF）已在许多应用中用于识别潜在模式、预测和推荐。然而，由于张量和矩阵数据之间的耦合增加的复杂性，现有的N-CMTF算法表现出较差的计算效率。本文提出了一种基于列元素选择的N-CMTF分解算法，避免了频繁的梯度更新。理论和实证分析表明，与现有的因子分解算法相比，本文提出的N-CMTF因子分解算法不仅精度更高，而且计算效率更高.
2020-03-07 cs.LG stat.ML
Word Embeddings via Tensor Factorization
Tufts University（塔夫茨大学）
大多数流行的词嵌入技术涉及将基于词共现的矩阵隐式或显式分解为低秩因子。在本文中，我们的目标是推广这一趋势，使用数值方法的因素高阶词共现的数组，或\textit{tensors}。本文提出了四种基于张量分解的词嵌入方法，并分析了它们的优缺点。我们的主要贡献之一是一个新的联合对称张量因式分解技术相关的耦合张量因式分解的想法。我们表明，基于张量因式分解的嵌入可以用于识别多义词的各种含义，而无需明确训练，并激发了为什么这以一种与现有方法不同的方式工作的直觉。我们还修改了现有的词嵌入评估指标，称为离群值检测[Camacho-Collados和Navigli，2016]，以评估词嵌入捕获的顺序- $N$关系的质量，并表明基于张量的方法在此任务中优于现有的基于矩阵的方法。在实验中，我们表明，我们所有的词嵌入都优于目前在各种最新数据集上常用的最先进的基线，或者具有竞争力。给出了基于张量分解的词嵌入的建议应用，所有源代码和预训练向量都可以在线公开获得。
2017-09-15 cs.CL cs.LG stat.ML
Wasserstein Nonnegative Tensor Factorization with Manifold Regularization
Northwestern Polytechnical University（西北工业大学）
针对非负张量分解忽略特征边信息的问题，提出Wasserstein流形非负张量分解（WMNTF），通过最小化Wasserstein距离并引入图正则化项，有效利用特征相关性和样本流形信息，实验证明其优于现有NMF和NTF方法。
2024-01-03 cs.LG
Gaussian Process Latent Variable Model Factorization for Context-aware Recommender Systems
University of Technology Sydney（悉尼科技大学）
上下文感知推荐系统（CARS）由于其利用上下文信息的能力而受到越来越多的关注。与传统的推荐系统相比，CARS通常能够生成更准确的推荐。潜在因素法在CARS中占很大比例。最近，一种基于非线性高斯过程（GP）的因子分解方法被证明优于CARS中最先进的方法。尽管它的有效性，GP模型为基础的方法可能遭受过度拟合，可能无法确定每个上下文的影响自动。为了解决这样的缺点，我们提出了高斯过程潜在变量模型分解（GPLVMF）方法，在那里我们应用一个适当的前原GP模型。我们的工作主要受到高斯过程潜变量模型（GPLVM）的启发，这是一种非线性降维方法。因此，我们显著提高了真实数据集的性能，并捕捉到了每个上下文的重要性。除了一般的优点，我们的方法提供了两个主要贡献推荐系统设置：（1）解决偏见的影响，通过设置一个非零的均值函数，以及（2）利用实值上下文通过固定的潜在空间与实值。
2019-12-19 cs.IR cs.LG stat.ML
MULTIPAR: Supervised Irregular Tensor Factorization with Multi-task Learning
Microsoft（微软）；Xidian University（西安电子科技大学）；Emory University（埃默里大学）；Health Science Center of University of Texas（德克萨斯大学健康科学中心）；Emory School of Medicine（埃默里医学院）
张量因子分解由于其内在的能力，以捕捉潜在的因素，在多维数据与许多应用，如推荐系统和电子健康记录（EHR）挖掘，受到越来越多的关注。已经提出了PARAFAC 2及其变体来解决其中一个张量模式未对齐的不规则张量，例如，推荐系统中的不同用户或EHR中的患者可能具有不同的记录长度。PARAFAC2已成功应用于EHR，用于提取有意义的医学概念（表型）。尽管最近取得了进展，但目前的模型的可预测性和可解释性并不令人满意，这限制了其在下游分析中的实用性。在本文中，我们提出了MULTIPAR：一种具有多任务学习的监督不规则张量分解。MULTIPAR可以灵活地结合静态（例如住院死亡率预测）和连续或动态（例如需要通气）任务。通过用下游预测任务监督张量因子分解，并利用来自多个相关预测任务的信息，MULTIPAR不仅可以产生更有意义的表型，还可以为下游任务提供更好的预测性能。我们在两个真实世界的时间EHR数据集上进行了广泛的实验，以证明MULTIPAR是可扩展的，并且与现有的最先进的方法相比，具有更有意义的子组和更强的预测性能，实现了更好的张量拟合。
2022-08-09 cs.LG
Analysis of Large-scale Traffic Dynamics using Non-negative Tensor Factorization
INRIA Saclay（法国国家信息与自动化研究所萨克雷研究中心）；MINES-ParisTech（巴黎高科矿业学院）
在本文中，我们提出了我们的工作，在大规模的道路网络中的全球拥堵配置的时间动态的聚类和预测。我们不关注单个链路或小区域的时间交通状态变化，而是关注整个网络的空间拥堵配置。在我们的工作中，我们的目标是描述这种网络级的交通状态的典型的时间动态模式，并实现长期预测的大规模的交通动态，在一个统一的数据挖掘框架。为此，我们使用非负张量分解（NTF）来制定这个联合任务，NTF已被证明是多变量数据序列的有用分解工具。基于紧凑张量因子分解结果执行聚类和预测。大规模模拟数据的实验说明了我们的方法的兴趣与有前途的结果，长期预测的交通演变。
2012-12-18 cs.LG
MLCTR: A Fast Scalable Coupled Tensor Completion Based on Multi-Layer Non-Linear Matrix Factorization
New Jersey Institute of Technology（新泽西理工学院）；Central Michigan University（中密歇根大学）
公司盈余预测对公司投资决策、股利预期和股票价格都有着重要的影响。它通常涉及多个张量兼容的数据集，这些数据集具有非线性多路关系，时空结构和不同的稀疏度。目前的非线性张量补全算法往往会学习噪声嵌入并导致过拟合。针对张量完备化问题的嵌入学习问题，提出了一种新的多层神经网络结构的张量因式分解与完备化算法（MLCTR）。该网络架构具有多个优点：一系列低秩矩阵分解（MF）构建块，以最大限度地减少过拟合，非线性的每一层中的交错传递函数，以及旁路连接，以减少梯度衰减问题并增加神经网络的深度。此外，该模型采用基于随机梯度下降（SGD）的优化，以快速收敛的训练。我们的算法是非常有效的插补缺失值的EPS数据。实验证实，我们在因子矩阵中引入非线性的策略在嵌入学习和端到端张量模型中表现出令人印象深刻的性能，并且在从因子矩阵重建张量的阶段中优于非线性方法。
2021-09-04 cs.LG
Federated Knowledge Graph Completion via Latent Embedding Sharing and Tensor Factorization
City University of Hong Kong（香港城市大学）；UESTC（电子科技大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；ByteDance Research（字节跳动研究院）
针对现有联邦知识图谱补全框架的隐私泄露、优化失效和计算成本高等问题，提出FLEST方法，通过联邦张量分解和潜在字典嵌入共享，在性能与隐私间取得平衡。
2023-11-17 cs.AI cs.LG
Nonnegative Tensor Factorization for Directional Blind Audio Source Separation
Analog Devices（亚德诺半导体）
我们增加了非负矩阵分解方法的音频源分离与线索的声音传播的方向性。这大大提高了分离质量，并消除了对训练数据的需求，运行时间仅增加了两倍。这是第一种可以利用麦克风阵列的方向信息比声音的波长小得多的方法，在毫米级麦克风阵列的模拟和实践中都有效。
2017-05-26 cs.LG stat.ML
Constrained tensor factorization for computational phenotyping and mortality prediction in patients with cancer
Northwestern University Feinberg School of Medicine（西北大学范伯格医学院）
背景资料：美国各地越来越多地采用电子健康记录（EHR），创造了大量可计算数据，机器学习方法已被应用于提取有用的见解。EHR数据表示为矩阵（张量）的三维模拟，被分解为可以被解释为计算表型的二维因子。研究方法：我们应用约束张量因子分解来推导计算表型，并预测2000年至2015年西北医学企业数据仓库中乳腺癌、前列腺癌、结直肠癌或肺癌患者队列的死亡率。在我们的实验中，我们研究了在因子分解算法中使用监督项，通过医学指征过滤张量同现，并在因子分解过程中纳入额外的健康社会决定因素（SDOH）协变量。我们定性地评估了所得的计算表型，并通过使用曲线下面积（AUC）统计量评估其预测五年死亡率的能力。结果：通过医学适应症筛选导致更简洁和可解释的表型。死亡率预测性能（AUC）在不同的实验条件下和癌症类型（乳腺癌：0.623 - 0.694，前列腺癌：0.603 - 0.750，结直肠癌：0.523 - 0.641和肺癌：0.517 - 0.623）不同。一般来说，预测性能提高与使用的监督项和SDOH协变量的合并。结论：应用于癌症患者稀疏EHR数据的约束张量因子分解可以发现预测五年死亡率的计算表型。将SDOH变量引入到因子分解算法中是一种易于实现且有效的提高预测性能的方法。
2021-12-24 cs.LG
Streaming Probabilistic Deep Tensor Factorization
University of Utah（犹他大学）；Kwai Inc.（快手）
尽管现有的张量因式分解方法取得了成功，但它们中的大多数进行多线性分解，很少利用强大的建模框架，如深度神经网络，来捕获数据中的各种复杂交互。更重要的是，对于高表达性的深度因子分解，我们缺乏有效的方法来处理流数据，这在现实世界的应用中无处不在。为了解决这些问题，我们提出了SPIDER，流ProbabilistIc深度tEnsoR分解方法。我们首先使用贝叶斯神经网络（NN）构建一个深度张量分解模型。我们在NN权重上分配了一个尖峰和厚板先验，以鼓励稀疏性并防止过拟合。然后，我们使用泰勒展开和矩匹配近似后验的NN输出和计算运行模型的证据，在此基础上，我们开发了一个有效的流式后验推理算法的假设密度过滤和期望传播的框架。我们的算法在接收新的张量条目时为潜在因子和NN权重的后验提供响应性增量更新，同时选择和抑制冗余/无用的权重。我们展示了我们的方法在四个实际应用中的优势。
2020-07-14 cs.LG stat.ML
Latent Factorization of Tensors with Threshold Distance Weighted Loss for Traffic Data Estimation
Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对传统张量潜在分解模型对异常值敏感的问题，提出结合阈值距离加权损失的TDWLFT模型，通过为样本分配差异化权重降低异常值影响，在多个交通速度数据集上实现了准确性与计算效率的双重提升。
2025-06-11 cs.AI cs.LG
Federated Learning based Latent Factorization of Tensors for Privacy-Preserving QoS Prediction
Southwest University（西南大学）
本文提出一种基于张量潜在分解的联邦学习模型（FL-LFT），通过构建面向数据密度的联邦学习框架，使孤立用户在保护隐私的同时协作训练全局模型，实现高精度的Web服务QoS预测。
2024-07-29 cs.CR cs.LG
Dataset Condensation with Latent Space Knowledge Factorization and Sharing
KAIST（韩国科学技术院）；AITRICS
在本文中，我们介绍了一种新的方法，系统地解决数据集凝聚问题，在一个有效的方式，利用在一个给定的数据集的规律性。我们不是直接在原始输入空间中压缩数据集，而是假设数据集的生成过程，其中在紧凑的潜在空间中定义了一组可学习的代码，然后是一组微小的解码器，这些解码器将它们不同地映射到原始输入空间。通过互换地组合不同的代码和解码器，我们可以大大增加具有基本相同的参数计数的合成示例的数量，因为潜在空间的维数要低得多，并且因为我们可以假设尽可能多的解码器来捕获数据集中表示的不同风格，而成本可以忽略不计。这种知识分解允许以系统的方式在合成示例之间有效地共享信息，从而在压缩比和所生成的示例的质量之间提供更好的折衷。我们的实验表明，我们的方法在各种基准数据集（如SVHN，CIFAR10，CIFAR100和TinyImageNet）上实现了新的最先进的记录。
2022-08-21 cs.AI cs.LG
Non-negative Factorization of the Occurrence Tensor from Financial Contracts
University of Maryland（马里兰大学）；Microsoft Research（微软研究院）
我们提出了一个算法的非负因子分解的发生张量从异构网络。我们使用l0范数对离散值（事件）上的稀疏误差进行建模，并使用分解因子对嵌入的节点组进行建模。提出了一种有效的分裂方法来优化非凸非光滑目标。我们研究了合成问题和一个新的数据集建立从金融文件，resMBS。
2016-12-10 cs.CE cs.LG stat.ML
PIVETed-Granite: Computational Phenotypes through Constrained Tensor Factorization
University of Texas, Austin（得克萨斯大学奥斯汀分校）；Vanderbilt University（范德堡大学）；Emory University（埃默里大学）
最近已经表明，多模态电子健康记录数据的稀疏非负张量因子分解是高通量计算表型的一种有前途的方法。然而，这样的方法在提取表型时通常不利用可用的领域知识;因此，一些建议的表型可能不能很好地映射到临床概念，或者可能与其他建议的表型非常相似。为了解决这些问题，我们提出了一种新的，自动的方法，称为PIVETed-Granite，挖掘现有的生物医学文献（PubMed），以获得不能链接的约束，然后在基于张量因子分解的计算表型分析过程中作为边信息。在使用来自VUMC的大型数据集来鉴定高血压患者表型的实验中，清楚地观察到了由此产生的改善。
2018-08-08 cs.LG stat.ML
The FacT: Taming Latent Factor Models for Explainability with Factorization Trees
Peking University（北京大学）；University of Virginia（弗吉尼亚大学）
潜在因素模型在个性化推荐方面取得了巨大的成功，但它们也是出了名的难以解释。在这项工作中，我们整合回归树来指导潜在因素模型的学习，并使用学习的树结构来解释产生的潜在因素。具体来说，我们建立回归树上的用户和项目分别与用户生成的评论，并关联到树上的每个节点的潜在配置文件来表示用户和项目。随着回归树的生长，潜在的因子在树结构的正则化作用下逐渐细化。因此，我们能够通过查看回归树上每个因子的路径来跟踪潜在配置文件的创建，从而作为对所产生建议的解释。两个大集合的亚马逊和Yelp评论的广泛的实验证明了我们的模型的优势，几个有竞争力的基线算法。此外，我们广泛的用户研究也证实了我们的模型产生的可解释的建议的实用价值。
2019-06-03 cs.IR cs.LG stat.ML
An Efficient Algorithm for Computing Interventional Distributions in Latent Variable Causal Models
Harvard School of Public Health（哈佛公共卫生学院）；University of Washington（华盛顿大学）
图模型中的概率推理是从联合概率分布的因子分解表示计算感兴趣的边际和条件密度的任务。诸如变量消除和置信传播之类的推理算法利用嵌入在该因子分解中的约束来有效地计算这样的密度。在本文中，我们提出了一个算法，计算由无环有向混合图（ADMG）表示的潜在变量因果模型的干预分布。为了有效地计算这些分布，我们利用递归因式分解，它概括了通常的马尔可夫分解的DAG和最近的因式分解的ADMG。我们的算法可以被看作是一个推广的变量消除的混合图的情况下。我们表明，我们的算法是指数的混合图推广的树宽。
2012-02-14 cs.LG stat.ML
Implicit Regularization with Polynomial Growth in Deep Tensor Factorization
National Engineering School of Tunis, University of Tunis El Manar（突尼斯埃尔马纳尔大学突尼斯国立工程学院）；Aix Marseille University（艾克斯-马赛大学）；CNRS（法国国家科学研究中心）；Ecole Centrale de Marseille（马赛中央理工学院）
我们研究了张量因式分解中深度学习的隐式正则化效应。虽然通过线性和某些类型的非线性神经网络的深层矩阵和“浅层”张量因式分解的隐式正则化促进了最多二次增长的低秩解，但我们表明，其在深层张量因式分解中的效果随着网络的深度呈多项式增长。这为观察到的实验行为提供了非常忠实的描述。使用数值实验，我们证明了这种隐式正则化的好处，在产生一个更准确的估计和更好的收敛性能。
2022-07-25 cs.AI cs.LG cs.NE
A Momentum-Incorporated Non-Negative Latent Factorization of Tensors Model for Dynamic Network Representation
School of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）
针对基于SGD的张量潜在因子分解模型尾部收敛差的问题，提出融入动量的非负张量分解模型MNNL，提升了动态网络表示的预测精度与收敛速度。
2023-05-04 cs.LG cs.SI
Exploring Semantic Variations in GAN Latent Spaces via Matrix Factorization
Innopolis University（Innopolis大学）；University of Hull（赫尔大学）
本文通过矩阵分解探索GAN潜在空间的语义变化，发现GANSpace方法虽能生成高质量图像操作但存在高度纠缠，用ICA替换PCA可提升操作质量与分离度，且GAN规模影响图像质量但不改变基本控制方向的存在。
2023-05-23 cs.CV cs.LG
Robust Factorization of Real-world Tensor Streams with Patterns, Missing Values, and Outliers
KAIST（韩国科学技术院）
考虑以张量流的形式实时收集多个季节性时间序列。真实世界的张量流通常包括缺失的条目（例如，由于网络断开）和同时意外的异常值（例如，由于系统错误）。给定这样一个真实世界的张量流，我们如何才能实时准确地估计缺失的条目并预测未来的进化？在这项工作中，我们回答了这个问题，通过引入SOFIA，一个强大的因子分解方法为现实世界的张量流。简而言之，SOFIA平滑而紧密地集成了张量因子分解、离群值去除和时间模式检测，它们自然地相互加强。此外，SOFIA以在线方式在线性时间内将其整合，尽管存在缺失条目。我们的实验表明，SOFIA是（a）鲁棒性和准确性：产生高达76%的较低的插补误差和71%的较低的预测误差;（b）快速：高达935倍的速度比第二个最准确的竞争对手;和（c）可扩展性：与每个时间步的新条目的数量线性扩展。
2022-06-09 cs.DB cs.LG
Cross-Domain Latent Factors Sharing via Implicit Matrix Factorization
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）；AIRI；Sber AI Lab（Sber AI实验室）
针对推荐系统数据稀疏及现有跨域模型扩展性差的问题，提出CDIMF模型，通过乘子交替方向法在隐式矩阵分解中学习重叠用户的共享潜在因子，在双域冷启动和热启动实验中表现优异。
2024-09-23 cs.IR cs.LG
A Bayesian Tensor Factorization Model via Variational Inference for Link Prediction
本文提出基于变分贝叶斯推断的张量分解模型，用于解决链接预测问题，相比最大似然方法在大规模数据集上表现更优。
2014-09-29 cs.LG cs.NA math.NA
Latitude: A Model for Mixed Linear-Tropical Matrix Factorization
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Bath（巴斯大学）
非负矩阵分解（NMF）是数据分析中最常用的矩阵分解模型之一。NMF流行的一个重要原因是它的可解释性及其组成部分的“整体的部分”解释。最近，最大倍，或亚热带，矩阵分解（SMF）已被引入作为一个替代模型，同样可解释的“赢家通吃”的解释。在本文中，我们提出了一个新的混合线性-热带模式，和一个新的算法，称为纬度，结合NMF和SMF，能够顺利地在两者之间交替。在我们的模型中，使用潜在因子和潜在参数对数据进行建模，这些潜在因子和潜在参数控制因子是否被解释为NMF或SMF特征，或它们的混合物。我们提出了一个算法，我们的新的矩阵分解。我们的实验表明，我们的算法在两个基线上都有改进，并且可以产生可解释的结果，比单独的NMF或SMF揭示更多的潜在结构。
2018-01-18 cs.LG
Multi-View Clustering via Semi-non-negative Tensor Factorization
Xidian University（西安电子科技大学）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
基于非负矩阵分解（NMF）及其变体的多视图聚类（MVC）由于其在聚类可解释性方面的优势，近年来受到了广泛关注。然而，现有的基于NMF的多视图聚类方法分别对每个视图数据进行NMF，忽略了视图间的影响。因此，它们不能很好地利用视内空间结构和视间互补信息。为了解决这个问题，我们提出了半非负张量因子分解（Semi-NTF），并开发了一种新的多视图聚类的基础上半-NTF与单边正交约束。我们的模型直接在由视图的锚图组成的三阶张量上执行Semi-NTF。因此，我们的模型直接考虑视图之间的关系。此外，我们使用张量Schatten p-范数正则化作为三阶张量的秩近似，该三阶张量表征多视图数据的聚类结构，并利用视图间的互补信息。此外，我们提供了一个优化算法，所提出的方法和数学证明，该算法总是收敛到平稳KKT点。在各种基准数据集上的实验表明，我们提出的方法能够获得令人满意的聚类性能。
2023-03-29 cs.LG
Robust Low-tubal-rank Tensor Completion based on Tensor Factorization and Maximum Correntopy Criterion
University of Central Florida（中佛罗里达大学）
张量补全的目标是从其条目的子集中恢复张量，通常是通过利用其低秩属性。在张量秩的几个有用的定义中，低管秩给出了张量固有的低秩结构的一个有价值的特征。虽然最近已经提出了一些具有良好性能的低管秩张量补全算法，但这些算法利用二阶统计量来测量误差残差，当观察到的条目包含大的离群值时，这可能不能很好地工作。在本文中，我们提出了一个新的目标函数的低管秩张量完成，它使用相关熵作为误差测量，以减轻离群值的影响。为了有效地优化所提出的目标，我们利用半二次最小化技术，从而将优化转化为加权低管秩张量因式分解问题。随后，我们提出了两个简单而有效的算法来获得解决方案，并提供其收敛性和复杂性分析。模拟和实际数据的数值结果表明，所提出的算法的鲁棒性和优越的性能。
2022-10-14 cs.LG stat.ML
Knowledge-guided Pattern Discovery via Coupled Tensor Factorizations
本文提出知识引导方法，通过耦合张量分解联合分析真实与模拟数据，在代谢组学数据实验中提升了模式发现性能，还揭示了数据与计算模型的潜在差异。
2026-08-14 cs.LG
Hyperparameter Learning for Latent Factorization of Tensors for Representation Learning to Large-scale Dynamic Weighted Directed Network
College of Computer and Information Science（计算机与信息科学学院）
针对大规模动态加权有向网络，提出基于差分进化的张量潜在因子模型超参数自动优化框架，自动学习正则化参数，提升预测精度并减少人工调参。
2026-06-03 cs.LG
Hyper-Laplacian Regularized Concept Factorization in Low-rank Tensor Space for Multi-view Clustering
针对张量多视图聚类中自表示复杂度高且忽略非线性结构与奇异值差异的问题，提出HLRCF方法。该方法结合概念分解、超图拉普拉斯正则化与自加权张量Schatten p范数，在低秩张量空间中提取非线性局部结构并自适应分配权重，有效降低了计算复杂度并提升了聚类性能。
2023-08-01 cs.LG
Distributed Differentially-Private Algorithms for Matrix and Tensor Factorization
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）
在许多信号处理和机器学习应用中，包含隐私信息的数据集被保存在不同的位置，这需要开发分布式隐私保护算法。张量和矩阵分解是许多处理管道的关键组件。在分布式环境中，差分隐私算法受到影响，因为它们引入了噪声来保证隐私。针对两种常用的矩阵和张量分解方法：主成分分析（PCA）和正交张量分解（OTD），设计了新的改进的分布式差分隐私算法。新算法采用相关噪声设计方案来减轻噪声的影响，并可以实现与集中式方案相同的噪声水平。合成和真实数据上的实验说明了相关噪声允许与集中式设置相匹配的性能的制度，优于以前的方法，并证明有意义的效用是可能的，同时保证差分隐私。
2018-04-26 cs.LG stat.ML
Discovering Hidden Structure in High Dimensional Human Behavioral Data via Tensor Factorization
USC Information Sciences Institute（南加州大学信息科学研究所）
近年来，技术的快速发展增加了纵向人类行为研究的机会。可以在自然环境中收集来自Fitbit等可穿戴设备、在线社交网络、手机等的丰富多模态数据。在无监督环境下发现噪声多路数据的底层低维结构是一个具有挑战性的问题。张量分解在提取多路数据的低维描述方面取得了成功。在本文中，我们应用非负张量因式分解的真实字可穿戴传感器数据，学生生活，找到潜在的时间因素和组相似的个人。Meta数据可用于学期时间表，以及个人的表现和个性。我们证明，非负张量因子分解可以成功地发现集群的个人表现出较高的学术成绩，以及那些经常从事休闲活动。恢复的潜在的时间模式与这些群体进行验证地面实况数据，以证明我们的框架的准确性。
2019-05-21 cs.LG stat.ML
Dynamic Collaborative Filtering with Compound Poisson Factorization
Princeton University（普林斯顿大学）
基于模型的协同过滤分析用户-项目交互，以推断代表用户偏好和项目特征的潜在因素，从而预测未来的交互。大多数协同过滤算法假设这些潜在因素是静态的，尽管已经表明用户偏好和项目感知会随着时间的推移而漂移。在本文中，我们提出了一个共轭和数值稳定的动态矩阵分解（DCPF）的基础上复合泊松矩阵分解模型的平滑漂移的潜在因素，使用伽马马尔可夫链。我们提出了一个数值稳定的伽玛链结构，然后提出了一个随机变分推理方法来估计我们的模型的参数。我们将我们的模型应用于时间戳评级数据集：Netflix，Yelp和Last.fm，其中DCPF实现了比最先进的静态和动态因子分解模型更高的预测准确性。
2016-11-01 cs.AI cs.LG stat.ML
Regularized and Smooth Double Core Tensor Factorization for Heterogeneous Data
University of Michigan（密歇根大学）；University of Florida（佛罗里达大学）；University of Florida Informatics Institute（佛罗里达大学信息学研究所）
我们介绍了一个通用的张量模型，适用于{ \em异构}数据集的数据分析任务，其中有联合低秩结构的观察组内，但也有歧视性的结构在不同的群体。为了捕捉这种复杂的结构，一个双核心张量（DCOT）因子分解模型引入了一个家庭的平滑损失函数。通过利用所提出的平滑函数，该模型准确地估计模型因子，即使在存在缺失条目的情况下。一个线性化的ADMM方法来解决正则化版本的DCOT分解，避免了大张量操作和大内存存储的要求。进一步，我们从理论上证明了它的全局收敛性，以及模型参数估计的相合性。DCOT模型的有效性说明了几个现实世界的例子，包括图像完成，推荐系统，子空间聚类和检测模块在异构组学多模态数据，因为它提供了更有见地的分解比传统的张量方法。
2022-10-03 cs.LG stat.ML
