Variational Auto-encoder Based Bayesian Poisson Tensor Factorization for Sparse and Imbalanced Count Data
Monash University(莫纳什大学);Beijing Shandesitong Technology(北京山德斯通科技);Deakin University(迪肯大学)
非负张量因子分解模型能够对计数数据进行预测分析。其中,贝叶斯Poisson-Gamma模型可以推导出潜在因素的完整后验分布,并且对稀疏计数数据不太敏感。然而,目前的推理方法,这些贝叶斯模型采用限制更新规则的后验参数。它们也无法共享更新信息以更好地应对数据稀疏性。此外,这些模型没有被赋予处理计数数据值中的不平衡的组件。在本文中,我们提出了一种新的变分自动编码器框架称为VAE-BPTF,解决了上述问题。它使用多层感知器网络来编码和共享复杂的更新信息。然后对每个数据实例重新加权编码信息,以在聚合以计算潜在因素的后验参数之前惩罚公共数据值。在合成数据评估下,VAE-BPTF倾向于恢复正确数量的潜在因子和后验参数值。它在五个真实世界数据集的重建错误和潜在因素(语义)一致性方面也优于当前模型。此外,VAE-BPTF推断的潜在因素被认为是有意义的和一致的定性分析。
2020-12-14 cs.LG stat.ML
Analyzing Tensor Power Method Dynamics in Overcomplete Regime
University of California, Irvine(加州大学欧文分校);Duke University(杜克大学)
我们提出了一种新的分析动力学的张量幂迭代的过完备制度,张量CP秩大于输入尺寸。求过完备张量的CP分解一般是NP-困难的。我们考虑的情况下,张量分量是随机绘制的,并表明,简单的电源迭代恢复组件有界误差在温和的初始化条件下。我们将我们的分析应用于潜变量模型的无监督学习,如多视图混合模型和球形高斯混合模型。给定三阶矩张量,我们使用张量幂迭代来学习参数。我们证明了当隐元数$k$远大于数据维数$d$,直到$k = o(d^{1.5})$时,它可以正确地学习模型参数。我们用数据样本初始化幂迭代,并在样本信噪比的温和条件下证明了它的成功。我们的分析显着扩展了类的潜变量模型,谱方法是适用的。我们的分析还处理了输入张量中的噪声,导致样本复杂性,从而应用于学习潜变量模型。
2015-09-14 cs.LG stat.ML
Unfolding Tensors to Identify the Graph in Discrete Latent Bipartite Graphical Models
Columbia University(哥伦比亚大学)
本文通过张量展开技术,为离散二部图模型提出构造性可识别性证明,可同时输出潜在变量数与二部图,允许非线性依赖,条件仅需每个潜在变量连接至少两个纯观测变量。
2025-01-18 cs.LG math.ST stat.TH
Nested exemplar latent space models for dimension reduction in dynamic networks
针对动态网络潜属性张量规模过大带来的计算与统计挑战,提出嵌套样本潜空间模型,通过低秩表示实现大规模降维,开发高效贝叶斯推理算法,在仿真和生态网络应用中优势显著。
2024-12-12 stat.ME
Bayesian CP Factorization of Incomplete Tensors with Automatic Rank Determination
RIKEN Brain Science Institute(理化学研究所脑科学综合研究中心);Shanghai Jiao Tong University(上海交通大学)
不完全数据的CANDECOMP/PARAFAC(CP)张量因子分解是一种通过显式捕获多线性潜在因子来实现张量完备化的强大技术。现有的CP算法需要手动指定张量秩,然而,张量秩的确定仍然是一个具有挑战性的问题,特别是对于CP秩。此外,现有的方法没有考虑潜在因素的不确定性信息,以及缺失的条目。为了解决这些问题,我们使用分层概率模型来制定CP因子分解,并通过在多个潜在因素上引入稀疏诱导先验和在所有超参数上引入适当的超先验来采用完全贝叶斯处理,从而实现自动排名确定。为了学习模型,我们开发了一个有效的确定性贝叶斯推理算法,该算法随数据大小线性扩展。我们的方法的特点是作为一个调整参数的方法,它可以有效地推断潜在的多线性因素与低秩约束,同时也提供了预测分布缺失的条目。对合成数据的大量模拟说明了我们的方法的内在能力,以恢复CP秩的地面真相,并防止过拟合问题,即使大量的条目丢失。此外,从现实世界的应用,包括图像修补和面部图像合成的结果表明,我们的方法优于最先进的方法,张量因式分解和张量完成方面的预测性能。
2014-10-09 cs.CV cs.LG stat.ML
The Immersion of Directed Multi-graphs in Embedding Fields. Generalisations
Jiratech
本文的目的是概述了一个通用的模型,用于表示混合的关系分类,符号,感知感知和感知潜在的数据,从而体现,在同一个架构的数据层,表示的输入,输出和潜在的张量。这种表示的多样性目前被计算机视觉、NLP/NLU、强化学习中的各种机器学习模型所使用,这些模型允许直接应用跨域查询和函数。这是通过赋予有向张量类型多图至少一些表示来自各种潜在空间的嵌入的边属性来实现的,以便定义、构建和计算张量形式之间和跨张量形式的新的相似性和距离关系,包括视觉、语言、听觉潜在表示,从而将观察到的宇宙的逻辑分类视图缝合到贝叶斯/统计视图。
2020-04-28 cs.AI cs.CV cs.LG
A Spectral Algorithm for Latent Junction Trees
Carnegie Mellon University(卡内基梅隆大学);Georgia Tech(佐治亚理工学院);Gatsby Unit, UCL(伦敦大学学院盖茨比计算神经科学部)
潜变量模型是一个优雅的框架,用于在许多应用程序中捕获丰富的概率依赖关系。然而,目前的方法通常使用条件概率表来参数化这些模型,并且学习主要依赖于局部搜索算法,例如期望最大化。使用张量代数,我们提出了一种替代参数化的潜变量模型(模型结构是连接树),仍然允许计算观测变量之间的边际。虽然这种新的表示导致了适度增加的连接树的低树宽的参数的数量,它让我们设计一个本地最小的自由算法来学习这个参数化。该算法的主要计算仅涉及张量运算和SVD,对于大型数据集,其速度比EM算法快几个数量级。据我们所知,这是第一个可证明一致的参数学习技术的一大类低树宽潜在的图形模型超越树。我们证明了我们的方法在合成和真实数据集上的优势。
2012-10-16 cs.LG stat.ML
Tensor Variable Elimination for Plated Factor Graphs
Uber AI Labs(优步人工智能实验室);Harvard University(哈佛大学);Stanford University(斯坦福大学)
大量的机器学习算法可以归结为因子图上的变量消除。虽然因子图为这些算法提供了一个统一的符号,但与有向图形模型的板图相比,它们并没有提供一种紧凑的方式来表达重复的结构。为了利用有效的张量代数的图形与板的变量,我们推广无向因子图,以镀因子图和变量消除张量变量消除算法,直接在镀因子图。此外,我们推广的复杂性界的基础上树宽和刻画类的电镀因子图的推理是听话的。作为一个应用程序,我们将张量变量消除到Pyro概率编程语言中,以便在具有重复结构的离散潜变量模型中进行精确推理。我们验证我们的方法与实验有向和无向图形模型,包括应用程序的复调音乐建模,动物运动建模和潜在的情感分析。
2019-05-17 cs.LG stat.ML
Bayesian Poisson Tensor Factorization for Inferring Multilateral Relations from Sparse Dyadic Event Counts
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Columbia University(哥伦比亚大学);Microsoft Research(微软研究院)
我们提出了一个贝叶斯张量分解模型,用于从动态成对交互模式推断潜在组结构。几十年来,政治学家收集和分析了“国家$i$在时间$t$对国家$j$采取行动$a$“的记录-被称为二元事件-以形成和检验国际关系理论。我们将这些事件数据表示为计数张量,并开发贝叶斯泊松张量因子分解来推断其显着模式的低维,可解释的表示。我们证明了我们的模型的预测性能优于标准的非负张量因子分解方法。我们还提供了一个比较我们的变分更新,他们的极大似然同行。在这样做时,我们确定了一个更好的方式来形成点估计的潜在因素比通常使用的贝叶斯泊松矩阵分解。最后,我们展示了我们的模型作为政治科学家的探索性分析工具。我们发现,推断的潜在因素矩阵捕捉可解释的多边关系,既符合我们的知识,并告知国际事务。
2015-06-10 cs.AI cs.LG cs.SI
Tensor Gaussian Process with Contraction for Multi-Channel Imaging Analysis
本文针对多通道成像数据的高维张量回归问题,提出将张量收缩降维与张量高斯过程相结合的建模方法,并通过引入各向异性全变差正则化和交替近端梯度下降算法,在模拟和太阳耀斑预报中验证了其有效性。
2023-08-14 astro-ph.IM astro-ph.SR stat.AP
BaTFLED: Bayesian Tensor Factorization Linked to External Data
Koç University(科奇大学)
当前绝大多数的机器学习算法被设计为预测单个响应或响应向量,然而许多类型的响应更自然地被组织为矩阵或高阶张量对象,其中特征跨模式共享。我们提出了一种新的机器学习算法BaTFLED(贝叶斯张量因子分解链接到外部数据),预测值的三维响应张量使用输入功能的每个维度。BaTFLED使用概率贝叶斯框架来学习投影矩阵,将每个模式的输入特征映射到潜在表示中,这些潜在表示相乘以形成响应张量。通过利用Tucker分解,该模型可以在小的核心张量中捕获每个模式的潜在因素之间的相互作用的权重。在投影矩阵和核心张量中鼓励稀疏性的先验允许特征选择和模型正则化。这种方法被证明是远远优于弹性网和神经网络模型的“冷启动”的三模式结构中的模拟数据的任务。此外,我们应用该模型来预测一组用药物化合物处理的乳腺癌细胞系的剂量-反应曲线,该药物化合物被用作逆向工程评估和方法对话(DREAM)挑战。
2016-12-22 cs.LG q-bio.QM stat.ML
Spectral Experts for Estimating Mixtures of Linear Regressions
Stanford University(斯坦福大学)
判别潜变量模型通常使用EM或基于梯度的优化来学习,这会受到局部最优的影响。在本文中,我们开发了一个新的计算效率和可证明的一致性估计的混合线性回归,一个简单的例子,一个判别潜在变量模型。我们的方法依赖于低秩线性回归来恢复对称张量,可以使用张量幂方法将其分解为参数。我们证明了我们的估计的收敛速度,并提供了一个实证评估,说明其相对于局部优化(EM)的优势。
2013-06-17 cs.LG stat.ML
Implicit High-Order Moment Tensor Estimation and Learning Latent Variable Models
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对潜变量模型学习中矩量法因超常数阶矩张量无法多项式时间显式写出的问题,提出隐式高阶矩张量估计通用高效算法,推广相关聚类工作,并为线性回归混合等三类模型提供首个poly(d,k)时间学习算法。
2025-04-12 cs.DS cs.LG math.ST
Nearest Neighbors for Matrix Estimation Interpreted as Blind Regression for Latent Variable Model
我们考虑设置非参数{ \em盲回归}估计的条目的一个大的$m \times n$矩阵,当提供一个小的,随机分数的噪声测量。我们假设矩阵的所有行$u \in [m]$和列$i \in [n]$分别与潜在特征$x_{\text{row}}(u)$和$x_{\text{col}}(i)$相关联,并且矩阵的第$(u,i)$项$A(u, i)$等于潜在函数$f$的$f(x_{\text{row}}(u), x_{\text{col}}(i))$。给定噪声观测的一个小的,随机子集的矩阵项,我们的目标是估计未观察到的矩阵项,以及“去噪”观察到的条目。作为这项工作的主要结果,我们引入了一个最近邻估计算法,并建立其一致性时,潜在的功能$f$是Lipschitz,潜在的潜在空间是一个有界直径波兰空间,和观察到的元素在矩阵中的随机分数至少是$\max \left( m^{-1 + δ}, n^{-1/2 + δ} \right)$,任何$δ> 0$。作为一个重要的副产品,我们的分析揭示了经典的协同过滤算法的矩阵完成,这已被广泛应用于实践中的性能。MovieLens和Netflix数据集的实验表明,我们的算法提供了一个基本的协同过滤的原则性改进,并与矩阵分解方法的竞争力。我们的算法通过将张量平坦化为矩阵,对张量完备化的设置进行了自然的扩展。当应用到图像修复,这是一个$3$阶张量的设置,我们发现,我们的方法…
2019-10-31 math.ST stat.TH
Bayesian Adaptive Tucker Decompositions for Tensor Factorization
针对Tucker张量分解需预先选定潜在多秩的问题,提出带无限递增收缩先验的贝叶斯自适应模型,通过自适应Gibbs采样推断,支持多类型数据与缺失值插补,经仿真和实际数据验证优于现有方法。
2025-05-16 stat.ME
Dirichlet moment tensors and the correspondence between admixture and mixture of product models
University of Chicago(芝加哥大学);Duke University(杜克大学);University of Michigan(密歇根大学)
本文通过动量张量分解,建立了admixture模型与product mixture模型的等价性,从而在更弱的条件下推导了两类模型的可识别性和后验收缩率。
2025-12-19 math.ST stat.TH
Weighted Tensor Decomposition for Learning Latent Variables with Partial Data
张量分解方法是用于仅给定数据的低阶矩来学习潜变量的流行工具。然而,标准的假设是,我们有足够的数据来估计这些时刻的高精度。在这项工作中,我们考虑的情况下,在某些方面的数据并不总是观察-常见的应用设置,其中不是所有的测量可能采取的所有观测-导致不同质量的时刻估计。我们推导出一种加权张量分解方法,该方法在计算上与非加权方法一样有效,并证明它优于不适当利用这些较少观察到的维度的方法。
2017-10-18 stat.ML
Bayesian Sparse Tucker Models for Dimension Reduction and Tensor Completion
RIKEN Brain Science Institute(理化学研究所脑科学研究所);Shanghai Jiao Tong University(上海交通大学)
本文提出一种概率生成Tucker模型,通过结构稀疏性在多线性潜在空间中实现张量降维与补全,自动适应模型复杂度并提升泛化性能。
2015-05-10 cs.LG cs.NA math.NA
Bayesian Poisson-Randomized Gamma Tensor Factorization with Application to International Trade Flows
Data Science Institute, The University of Chicago(芝加哥大学数据科学研究所);Department of Statistics, The University of Chicago(芝加哥大学统计学系)
提出贝叶斯分层张量分解模型,结合低秩CP结构和条件伽马模型,处理稀疏半连续张量数据,并通过混合变分-蒙特卡洛算法实现大规模后验推断,应用于国际贸易流分析。
2026-06-17 cs.NA econ.EM math.NA
Flexible Bayesian Tensor Decomposition for Verbal Autopsy Data
针对口头尸检中潜在类别模型难以解释的问题,提出灵活贝叶斯张量分解框架,通过分组建模症状联合分布,在提升死因分配预测准确性的同时增强了潜在结构的可解释性。
2025-01-31 stat.AP stat.ME
A Ternary Non-Commutative Latent Factor Model for Scalable Three-Way Real Tensor Completion
受大规模协作过滤应用的启发,我们提出了一种非交换潜在因子(NCLF)张量完成方法,用于建模三路阵列,这是像标准PARAFAC一样的对角线,但其中不同的术语区分不同种类的三路关系的协同集群,由潜在因子的排列确定。代数表示的第一个关键组成部分是使用两个非交换实三线性运算作为近似的构建块。这些操作是标准的三维三重积和二维实向量空间上的三线积,这是实Clifford代数Cl(1,1)(某个Majorana旋量)的表示。这两个操作都是纯三元的,因为它们不能分解为相关空间上的两个群操作。该方法的第二个关键组成部分是使用保持置换对称的线性组合来组合这些操作。我们将该模型应用于MovieLens和Fannie Mae数据集,发现它优于PARAFAC模型。我们提出了一些未来的发展方向,如无监督学习。
2015-09-18 stat.ML
Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion
Saitama Institute of Technology(埼玉工业大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Imperial College London(帝国理工学院);Hangzhou Dianzi University(杭州电子科技大学);Guangdong University of Technology(广东工业大学)
传统的低秩张量分解模型在张量补全任务中,由于模型敏感性高,存在模型选择困难的问题。特别地,对于张量环(TR)分解,模型可能性的数量随着张量阶数呈指数增长,这使得找到最佳TR分解变得相当具有挑战性。在本文中,通过利用TR潜在空间的低秩结构,我们提出了一种新的张量完成方法,这是强大的模型选择。与对数据空间施加低秩约束不同,我们在潜在TR因子上引入核范数正则化,从而在更小的尺度上执行使用奇异值分解(SVD)的优化步骤。利用交替方向乘子法(ADMM)方案,可以同时获得具有最佳秩的潜在TR因子和恢复张量。我们提出的算法被证明可以有效地减轻TR秩选择的负担,从而大大降低了计算成本。在合成数据和真实数据上的大量实验结果表明,所提出的方法对最先进的算法具有优越的性能和效率。
2018-11-30 cs.CV cs.LG stat.ML
Unfolding Latent Tree Structures using 4th Order Tensors
Georgia Institute of Technology(佐治亚理工学院)
从许多观察到的变量中发现潜在的结构是一项重要而又具有挑战性的学习任务。现有的发现潜在结构的方法通常需要未知数量的隐藏状态作为输入。在本文中,我们提出了一种基于四元组的方法,这是\emph{agnostic}这个数字。的关键贡献是一个新的秩表征的张量与边缘分布的四重峰。这种特性使我们能够设计一个基于\emph{nuclear norm}的测试来解决四重关系。然后,我们使用四重测试作为一个子程序,在一个分而治之的算法恢复潜在的树结构。在较弱的条件下,该算法是相容的,其错误概率随样本量的增加呈指数衰减。我们证明,所提出的方法相比,有利的替代品。在真实世界的股票数据集中,它还发现有意义的变量分组,并生成更好地拟合数据的模型。
2012-10-03 cs.LG stat.ML
Low-rank Characteristic Tensor Density Estimation Part II: Compression and Latent Density Estimation
University of Virginia(弗吉尼亚大学);University of Minnesota(明尼苏达大学);Amazon(亚马逊)
生成概率模型的学习是机器学习的核心问题,由于维数灾难的存在,使得生成概率模型的学习面临着巨大的挑战。本文提出了一种联合降维和非参数密度估计框架,使用一种新的估计,可以显式地捕捉潜在的分布适当的降维表示的输入数据。其思想是联合设计一个非线性降维自动编码器,根据一组简约的潜在随机变量对训练数据进行建模,并学习傅立叶域中潜在变量的联合分布的规范低秩张量模型。所提出的潜在密度模型是非参数的和通用的,而不是预定义的前,假设在变分自动编码器。联合优化的自动编码器和潜在的密度估计追求通过制定学习的负对数似然在潜在域和自动编码器重建损失的组合最小化。我们证明了该模型在玩具,表格和图像数据集上回归任务,采样和异常检测方面取得了非常有前途的结果。
2021-06-20 cs.LG stat.ML
Beyond Unfolding: Exact Recovery of Latent Convex Tensor Decomposition under Reshuffling
RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Guangdong University of Technology(广东工业大学)
张量分解(TD)方法的精确恢复在无监督学习和科学数据分析中都是一个理想的性质。然而,TD方法的数值缺陷限制了它们在实际数据中的应用。作为替代方案,凸张量分解(CTD)被提出来缓解这些问题,但它的精确恢复属性没有得到适当的解决。为此,我们专注于潜在的凸张量分解(LCTD),一个实际上广泛使用的CTD模型,并严格证明了其精确恢复性质的充分条件。此外,我们表明,这样的属性也可以实现一个更一般的模型比LCTD。在新的模型中,我们将经典的张量折叠(反折叠)推广为重排操作,这是一种更灵活的映射,可以将矩阵的元素重新定位到张量中。利用重排操作和精确恢复特性,我们探索了(广义)LCTD的一个全新应用,即,图像隐写在合成数据上的实验结果验证了我们的理论,在图像隐写上的实验结果表明,我们的方法优于现有的方法。
2020-01-28 cs.LG stat.ML
A Latent-Variable Formulation of the Poisson Canonical Polyadic Tensor Model: Maximum Likelihood Estimation and Fisher Information
Sandia National Laboratories(桑迪亚国家实验室);Harbor Branch Oceanographic Institute, Florida Atlantic University(佛罗里达大西洋大学哈勃分支海洋学研究所)
本文提出通过隐变量 formulation 对泊松广义张量模型进行参数推断,并推导其 Fisher 信息矩阵,以提升张量计数数据的建模能力。
2025-11-25 cs.NA math.NA math.ST
Identifying and Alleviating Concept Drift in Streaming Tensor Decomposition
University of California Riverside(加州大学河滨分校)
张量分解用于从社交网络到医疗应用的各种数据采掘应用中,并且在发现数据中的潜在结构或概念方面非常有用。许多现实世界的应用程序本质上是动态的,它们的数据也是如此。为了处理数据的这种动态性质,存在各种在线张量分解算法。所有这些算法的一个核心假设是,潜在概念的数量在整个流中保持固定。然而,情况不必如此。流中的每个传入批次可能具有不同数量的潜在概念,并且从一个张量批次到另一个张量批次的潜在概念的差异可以提供对我们在特定应用中的发现如何随着时间的推移而表现和偏离的见解。在本文中,我们定义“概念”和“概念漂移”的上下文中的流张量分解,作为整个流的潜在概念的可变性的表现。此外,我们介绍了SeekAndDestroy,一种算法,检测流张量分解中的概念漂移,并能够产生对该漂移具有鲁棒性的结果。据我们所知,这是第一个研究流张量分解中概念漂移的工作。我们在合成数据集上广泛评估了SeekAndDestroy,这些数据集表现出各种各样的现实漂移。我们的实验证明了SeekAndDestroy在检测概念漂移和减轻其影响方面的有效性,产生的结果与一次性分解整个张量的质量相似。此外,在真实数据集中,SeekAndDestroy的性能优于其他流基线,同时发现了新的有用组件。
2018-11-10 cs.LG stat.ML
A Solution for Large Scale Nonlinear Regression with High Rank and Degree at Constant Memory Complexity via Latent Tensor Reconstruction
Aalto University(阿尔托大学);University of Turku(图尔库大学)
本文提出了一种新的方法来学习高度非线性,多元函数的例子。我们的方法利用了连续函数可以用多项式近似的性质,而多项式又可以用张量表示。因此,函数学习问题转化为张量重构问题,张量分解的逆问题。我们的方法从秩一项中逐步建立未知张量,这使我们能够控制学习模型的复杂性并减少过拟合的机会。为了学习模型,我们提出了一种有效的基于梯度的算法,可以在线性时间内实现的样本大小,顺序,张量的秩和输入的维数。除了回归之外,我们还提出了对分类,多视图学习和向量值输出的扩展以及多层公式。该方法可以通过处理具有恒定存储器复杂度的小批量数据以在线方式工作。因此,它可以适合仅配备有限资源的系统,如嵌入式系统或移动电话。我们的实验证明了有利的准确性和运行时间相比,竞争的方法。
2020-05-04 cs.LG stat.ML
Tensor Network for Anomaly Detection in the Latent Space of Proton Collision Events at the LHC
Barcelona Supercomputing Center(巴塞罗那超级计算中心);European Organization for Nuclear Research (CERN)(欧洲核子研究中心)
本文提出一种基于张量网络(参数化矩阵乘积态)的LHC异常检测策略,处理自编码器生成的潜在表示,其在识别新现象上优于现有量子方法,展现出增强新物理发现的潜力。
2025-05-30 cond-mat.stat-mech cs.LG hep-ex
Probabilistic Latent Tensor Factorization Model for Link Pattern Prediction in Multi-relational Networks
LIP6 - UPMC(LIP6实验室 - 皮埃尔和玛丽·居里大学)
本文针对多个关系类型连接的对象集合中的链接模式预测问题,其中每种类型都可能扮演不同的角色。虽然常见的链接分析模型仅限于单一类型的链接预测,我们试图在这里捕捉不同的关系类型之间的相关性,并揭示各种关系类型对性能质量的影响。为此,我们将对象对之间的整体关系定义为\textit{link pattern},它由网络中的交互模式和连接结构组成,然后使用张量形式化来联合建模和预测链接模式,我们称之为\textit{Link Pattern Prediction}(LPP)问题。为了解决这个问题,我们提出了一个概率潜在张量分解(PLTF)模型,通过引入另一个潜在的因素,多个关系类型,并提供层次贝叶斯处理所提出的概率模型,以避免过拟合解决LPP问题。为了学习所提出的模型,我们开发了一个有效的马尔可夫链蒙特卡罗抽样方法。在几个真实世界的数据集上进行了大量的实验,并证明了对现有的几种最先进的方法的显着改进。
2012-04-11 cs.LG cs.SI stat.ML
Coupled Support Tensor Machine Classification for Multimodal Neuroimaging Data
多模态数据出现在各种应用中,其中从多个传感器并且跨不同的成像模态获取关于相同现象的信息。从多模态数据中学习是机器学习和统计学研究中的一个热点,因为这提供了在模态之间捕获互补信息的可能性。多模态建模有助于解释异构数据源之间的相互依赖性,发现可能无法从单一模态获得的新见解,并改进决策。最近,耦合矩阵-张量因子分解已被引入多模态数据融合,以联合估计潜在的因素,并确定复杂的潜在因素之间的相互依赖性。然而,大多数关于耦合矩阵-张量因子的先前工作集中在无监督学习上,并且很少有关于使用联合估计的潜在因子的监督学习的工作。本文研究多模态张量数据分类问题。提出了一种基于高级耦合矩阵张量分解(ACMTF)的潜在因子联合估计的耦合支撑张量机(C-STM)。C-STM结合个人和共享的潜在因素与多个内核和估计耦合矩阵张量数据的最大间距分类。C-STM的分类风险收敛到最优的贝叶斯风险,使其成为一个统计上一致的规则。C-STM是通过模拟研究以及同步EEG-fMRI分析验证。实验结果表明,C-STM可以利用多个源的信息,并提供了一个更好的分类性能比传统的单模式分类器。
2022-01-19 cs.LG stat.ME stat.ML
Tensor State Space-based Dynamic Multilayer Network Modeling
Department of Industrial Engineering, Tsinghua University(清华大学工业工程系)
本文提出张量状态空间模型TSSDMN,利用对称Tucker分解和变分推断,捕捉动态多层网络的时间与跨层动态,并通过模拟和案例验证其有效性。
2025-09-25 cs.LG stat.ML
Theoretical and Experimental Analyses of Tensor-Based Regression and Classification
Tokyo Institute of Technology(东京工业大学);The Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);University of Tokyo(东京大学)
我们从理论和实验上研究基于张量的回归和分类。我们的重点是各种张量范数的正则化,包括重叠迹范数,潜在迹范数和缩放潜在迹范数。我们首先给出了使用交替方向乘法器的双重优化方法,当训练样本的数量适中时,该方法计算效率高。然后,我们从理论上推导出每个张量范数的超额风险界,并澄清它们的行为。最后,我们使用模拟和真实数据进行了大量的实验,并证明了基于张量的学习方法优于基于向量和矩阵的学习方法。
2015-09-06 cs.LG stat.ML
Multiresolution Tensor Learning for Efficient and Interpretable Spatial Analysis
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机科学学院);Salesforce AI Research(Salesforce 人工智能研究院);California Institute of Technology(加州理工学院);Department of Computing and Mathematical Sciences, California Institute of Technology(加州理工学院计算与数学科学系);Computer Science and Engineering, University of California, San Diego(加州大学圣迭戈分校计算机科学与工程系)
高效和可解释的空间分析在地质学、体育和气候科学等许多领域都至关重要。张量潜在因子模型可以描述空间数据的高阶相关性。然而,他们是计算昂贵的训练和敏感的初始化,导致空间不一致,不可解释的结果。我们开发了一种新的多分辨率张量学习(MRTL)算法,有效地学习可解释的空间模式。MRTL从近似满秩张量模型中提取潜在因子以提高可解释性,并从粗分辨率到细分辨率逐步学习以减少计算。我们还证明了MRTL的理论收敛性和计算复杂性。当应用于两个真实世界的数据集时,MRTL与固定分辨率的方法相比显示出4~ 5倍的加速,同时产生准确和可解释的潜在因子。
2020-08-14 cs.LG stat.ML
Statistical and computational rates in high rank tensor estimation
针对高阶张量估计问题,提出了包含高秩与低秩模型的生成式隐变量张量模型,揭示了高维张量呈对数秩的特性,并设计了多项式时间谱算法以实现计算最优速率。
2023-04-08 math.ST stat.ME stat.ML
Spectral Learning on Matrices and Tensors
Duke University(杜克大学);Imperial College London(伦敦帝国学院);NVIDIA(英伟达公司);California Institute of Technology(加州理工学院)
谱方法已经成为机器学习和科学计算等领域的主流。它们涉及找到某种谱分解,以获得可以捕获手头问题的重要结构的基函数。最常见的光谱方法是主成分分析(PCA)。它利用数据协方差矩阵的顶部特征向量,例如进行降维。该数据预处理步骤在将信号与噪声分离方面通常是有效的。应用于矩阵的PCA和其他谱技术具有若干限制。通过仅限制成对矩,它们有效地对底层数据进行高斯近似,并在具有导致非高斯性的隐变量的数据上失败。然而,在大多数数据集中,存在无法直接观察到的潜在影响,例如,文档语料库中的主题或疾病的根本原因。通过将谱分解方法扩展到高阶矩,我们证明了有效学习各种潜变量模型的能力。高阶矩可以用张量表示,直观地说,它们可以编码比成对矩矩阵更多的信息。更重要的是,张量分解可以提取矩阵方法遗漏的潜在效应,例如唯一识别非正交分量。利用这些方面是卓有成效的证明无监督学习的范围广泛的潜变量模型。我们还概述了设计高效的张量分解方法的计算技术。我们介绍Tensorly,它有一个简单的Python接口来表达张量操作。它具有灵活的后端系统,支持NumPy,PyTorch,TensorFlow和MXNet等,允许多GPU和CPU操作,并与深度学习功能进行无缝集成。
2020-04-16 cs.LG stat.ML
Learning From Hidden Traits: Joint Factor Analysis and Latent Clustering
University of Minnesota(明尼苏达大学)
先验性降低技术在数据分析、信号处理和机器学习中起着至关重要的作用。简化通常在预处理阶段执行,该预处理阶段与后续的数据分析(例如聚类或分类)分开。找到适合预期任务的降维表示更有吸引力。本文提出了一种联合因子分析和潜在聚类框架,旨在学习矩阵和张量数据的聚类感知低维表示。所提出的方法利用矩阵和张量因子分解模型,这些模型产生数据的基本上唯一的潜在表示,以解开潜在的集群结构-由于在潜在空间中应用倾斜变换的自由,否则会被掩盖。同时,利用潜在聚类结构作为先验信息,提高了分解的性能。具体的贡献包括几个定制的问题配方,相应的算法,并讨论相关的收敛性能。除了广泛的模拟,真实世界的数据集,如路透社的文档数据和MNIST图像数据也被用来展示所提出的方法的有效性。
2016-05-21 cs.LG stat.ML
On Recoverability of Randomly Compressed Tensors with Low CP Rank
我们的兴趣在于压缩张量在\textit{canonical polyadic decomposition}(CPD)模型下的可恢复性。所考虑的问题在许多应用中是有动机的,例如,高光谱图像和视频压缩。以前的工作在有些特殊的假设下研究了这个问题-例如,张量的潜在因子是稀疏的或从绝对连续的分布中提取。我们提供了一个替代的结果:我们表明,如果张量被压缩的亚高斯线性映射,那么张量是可恢复的,如果测量的数量是在相同的数量级的模型参数-没有强假设的潜在因素。我们的证明是基于推导一个\textit{restricted isometry property}(R. I. P.)在CPD模型下,通过集合覆盖技术,从而表现出经典的压缩感知的味道。新的可恢复性结果丰富了对压缩CP张量恢复问题的理解,为恢复元素不一定连续或稀疏的张量提供了理论保证。
2020-01-08 eess.SP stat.ML
A dual framework for low-rank tensor completion
Indian Institute of Science(印度科学学院);Microsoft(微软)
低秩张量完备化的一种流行方法是使用潜在迹范数正则化。然而,大多数现有的作品在这个方向上学习张量的稀疏组合。在这项工作中,我们填补了这一空白,提出了一个变种的潜在的跟踪规范,有助于学习张量的非稀疏组合。我们开发了一个对偶框架来解决低秩张量完备化问题。我们首先展示了一个新的特征的对偶解空间的最优解的一个有趣的分解。总的来说,最优解位于黎曼流形的笛卡尔积上。此外,我们利用多功能的黎曼优化框架,提出计算效率的信赖域算法。实验结果表明,该算法在几个真实世界的数据集跨应用程序的有效性。
2018-11-10 cs.LG stat.ML
Scoup-SMT: Scalable Coupled Sparse Matrix-Tensor Factorization
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
我们如何才能将人类大脑中的神经活动联系起来,因为它会对单词做出反应,而行为数据则表现为对这些单词的问题的回答?简而言之,我们想找到潜在的变量,既解释大脑活动,也解释行为反应。我们表明,这是耦合矩阵张量分解(CMTF)问题的一个实例。我们提出了侦察SMT,一种新颖的,快速的,并行算法,解决了CMTF问题,并产生一个稀疏的潜在的低秩子空间的数据。在我们的实验中,我们发现Scoup-SMT比最先进的CMTF算法快50-100倍,稀疏性增加了5倍。此外,我们扩展了Scoup-SMT处理缺失数据,而不会降低性能。我们将Scoup-SMT应用于BrainQ,这是一个由(名词,大脑体素,人类受试者)张量和(名词,属性)矩阵组成的数据集,沿着名词维度耦合。Scoup-SMT能够找到有意义的潜在变量,并以具有竞争力的准确性预测大脑活动。最后,我们展示了Scoup-SMT的一般性,通过将其应用于Facebook数据集(用户,朋友,墙上的帖子);在那里,Scoup-SMT发现垃圾邮件般的异常。
2013-02-28 cs.LG stat.ML
A Unified Framework for Coupled Tensor Completion
University of Electronic Science and Technology of China(中国电子科技大学)
耦合张量分解通过结合来自潜在耦合因子的先验知识来揭示联合数据结构。张量环(TR)分解在不同模态性质张量的排列下保持不变,保证了分解因子和模态属性的一致性。TR具有强大的表达能力,在多维数据处理中取得了成功。为了让耦合张量在缺失分量估计中相互帮助,本文利用TR来实现耦合补全,共享部分潜在因子。采用新的Frobenius范数建立了耦合TR完井优化模型。该算法采用块坐标下降法求解,有效地解决了由采样模式引起的一系列二次问题。与其他基于核范数的方法相比,该优化模型的超额风险界显示了理论性能的提高。在合成数据上的数值实验验证了该方法的有效性,在真实数据上的实验结果表明了该方法在恢复精度方面优于现有方法.
2020-11-08 cs.LG stat.ML
Non-Local Feature Aggregation on Graphs via Latent Fixed Data Structures
Baidu Research(百度研究院)
与图像/文本数据相比,其顺序可以用于使用池化层以直接的方式执行非局部特征聚合,图缺乏张量表示,并且大多数情况下使用逐元素的最大值/均值函数来聚合局部提取的特征向量。在本文中,我们提出了一种新的方法,在图神经网络(GNNs),利用潜在的固定数据结构(LFDS)的全局特征聚合提取的特征向量。局部提取的特征向量被排序/分布在LFDS上,并且利用潜在神经网络(CNN/GNN)来在LFDS上执行特征聚合。该方法被用来设计几种新的全局特征聚合方法的基础上选择的LFDS。我们介绍了多个LFDS,包括循环,三维张量(图像),序列,数据驱动图和一个算法,排序/分配的LFDS上提取的局部特征向量。虽然所提出的方法的计算复杂度是线性的输入图的顺序,他们取得竞争力或更好的结果。
2021-08-16 cs.LG stat.ML
Discovering Hidden Structure in High Dimensional Human Behavioral Data via Tensor Factorization
USC Information Sciences Institute(南加州大学信息科学研究所)
近年来,技术的快速发展增加了纵向人类行为研究的机会。可以在自然环境中收集来自Fitbit等可穿戴设备、在线社交网络、手机等的丰富多模态数据。在无监督环境下发现噪声多路数据的底层低维结构是一个具有挑战性的问题。张量分解在提取多路数据的低维描述方面取得了成功。在本文中,我们应用非负张量因式分解的真实字可穿戴传感器数据,学生生活,找到潜在的时间因素和组相似的个人。Meta数据可用于学期时间表,以及个人的表现和个性。我们证明,非负张量因子分解可以成功地发现集群的个人表现出较高的学术成绩,以及那些经常从事休闲活动。恢复的潜在的时间模式与这些群体进行验证地面实况数据,以证明我们的框架的准确性。
2019-05-21 cs.LG stat.ML
Determination of Latent Dimensionality in International Trade Flow
Theoretical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论部)
目前,高维数据在数据科学中无处不在,这就需要开发技术来分解和解释这种多维(又名张量)数据集。找到数据的低维表示,即其固有结构,是可以用来理解隐藏在数据中的低维潜在特征的动态的方法之一。非负RESCAL就是这样一种技术,特别适合于分析自相关数据,例如国际贸易流中的动态网络。非负RESCAL通过找到包含多个模态的潜在空间来计算低维张量表示。估计该潜在空间的维数对于提取有意义的潜在特征至关重要。在这里,要确定与非负RESCAL的潜在空间的维数,我们提出了一个潜在的维数确定方法,这是基于聚类的解决方案的多个实现的非负RESCAL分解。我们证明了我们的模型选择方法的性能上的合成数据,然后我们应用我们的方法来分解国际货币基金组织的国际贸易流量数据的网络,并验证所产生的功能对经济文献的经验事实。
2020-02-29 cs.IR cs.LG econ.GN
Convex Tensor Decomposition via Structured Schatten Norm Regularization
本文研究用于凸优化张量分解的结构化Schatten范数,从理论上证明“潜在”方法优于“重叠”方法,并建立对偶性、一致性和可识别性结果。
2013-03-26 cs.LG cs.NA math.NA
Curve Registered Coupled Low Rank Factorization
Université de Mons(蒙斯大学);Univ. Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心);I3S(索菲亚安提波利斯信息学、信号与系统研究所);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);Grenoble INP(格勒诺布尔国立理工学院);GIPSA-lab(格勒诺布尔图像、语音信号与自动化实验室)
我们提出了一个扩展的规范polyadic(CP)张量模型,其中一个潜在的因素是允许通过数据切片在一个约束的方式。我们希望从数据中检索的潜在因素的组成部分可以从一个切片到另一个切片变化,直到一个同构。我们假设这些映射也是未知的,因此将曲线配准和张量分解合并到一个模型中,我们称之为配准CP。我们提出了一个算法来检索潜在的因素和同构,这是假设为参数化的形式。在本文的最后,我们显示了模拟结果比较注册CP与其他模型从文献中。
2018-02-09 cs.LG stat.ML
The AL$\ell_0$CORE Tensor Decomposition for Sparse Count Data
University of Chicago(芝加哥大学)
本文提出AL$\ell_0$CORE,一种约束核心张量非零元素数量的概率非负Tucker分解,兼具CP分解的计算效率与Tucker的潜在结构,实验表明仅需约1%核心即可达到完整Tucker分解的效果。
2024-03-12 cs.LG stat.ML
Temporal Matrix Completion with Locally Linear Latent Factors for Medical Applications
Hong Kong Baptist University(香港浸会大学);The Chinese University of Hong Kong(香港中文大学)
定期医疗纪录有助医生分析及监察病人的健康状况,尤其是慢性病患者,但由于病人不准时及缺席,有关纪录通常并不完整。为了解决随时间推移的缺失数据问题,最近的论文中提出了基于张量的模型用于缺失数据填补,因为该方法对高度相关的数据使用低秩张量假设。然而,当记录之间的时间间隔较长时,数据相关性沿时间方向不高,这样的假设是不成立的。为了解决这个问题,我们建议将缺失数据的矩阵分解为其潜在因子。然后,本文对这些因子施加局部线性约束,使矩阵完备化。通过对一个公开数据集和两个医院采集的医学数据集的实验结果表明,与现有方法相比,该算法具有最佳的性能。
2016-10-31 cs.CV cs.LG stat.ML
Sample, computation vs storage tradeoffs for classification using tensor subspace models
Tufts University(塔夫茨大学)
在本文中,我们表现出(训练)样本,计算和存储复杂性的问题,使用信号子空间估计的监督分类之间的权衡。我们的主要工具是使用张量子空间,即具有Kronecker结构的子空间,用于将数据嵌入到较低的维度中。在具有克罗内克结构的子空间中,我们证明了使用具有层次结构的子空间来表示数据会导致改进的权衡。改进的主要原因之一是将数据嵌入到这些分层的Kronecker结构子空间中可以防止在更高的潜在维度上过拟合。
2017-06-27 cs.LG stat.ML
Tensor decomposition with generalized lasso penalties
我们提出了一种惩罚张量分解(PTD)的方法,估计多路数据中平滑变化的潜在因素。这概括了现有的工作稀疏张量分解和惩罚矩阵分解,在回归和平滑问题的广义套索平行的方式。我们的方法提出了许多不平凡的挑战,在建模和计算的交叉点,这是详细研究。提出了一种求解(PTD)问题的有效坐标优化算法,并给出了其收敛性质。该方法适用于模拟数据和真实数据在得克萨斯州的流感住院治疗。这些结果表明,我们的惩罚张量分解可以提供现有的方法进行分析,表现出平滑的空间或时间特征的多路数据的重大改进。
2016-05-13 stat.CO stat.ME stat.ML
When are Overcomplete Topic Models Identifiable? Uniqueness of Tensor Tucker Decompositions with Structured Sparsity
University of California, Irvine(加州大学欧文分校);Microsoft Research New England(微软新英格兰研究院)
本文研究了过完备主题模型在特定阶可观察矩下的可识别性,提出通过结构稀疏性约束实现张量Tucker分解的唯一性。
2013-08-13 cs.IR cs.LG cs.NA