Scaling and Scalability: Provable Nonconvex Low-Rank Tensor Estimation from Incomplete Measurements
Carnegie Mellon University(卡内基梅隆大学);University of Chicago(芝加哥大学);Air Force Research Laboratory(美国空军研究实验室)
张量为表示多属性数据和多方式交互提供了强大而灵活的模型,在科学和工程各个领域的现代数据科学中发挥着不可或缺的作用。一个基本的任务是忠实地恢复张量从高度不完整的测量在统计和计算效率的方式。利用Tucker分解中张量的低秩结构,本文提出了一种尺度梯度下降算法(ScaledGD)算法,以直接恢复张量因子与定制的频谱初始化,并表明,它可证明收敛在一个线性速率独立的地面真理张量的条件数的两个典型问题-张量完成和张量回归-只要样本大小高于$n^{3/2}$的数量级,忽略其他参数依赖性,其中$n$是张量的维数。与现有技术相比,这导致对低秩张量估计的极其可扩展的方法,现有技术遭受以下缺点中的至少一个:对病态的极端敏感性、在存储器和计算方面的高每次迭代成本、或差的样本复杂度保证。据我们所知,ScaledGD是第一个同时实现接近最佳统计和计算复杂性的低秩张量完成与塔克分解的算法。我们的算法突出了适当的预处理在加速非凸统计估计中的作用,其中迭代变化的预处理器促进了低秩张量因子分解中关于潜在对称性的轨迹的理想不变性。
2022-06-22 cs.IT cs.LG eess.SP
Improving Nonparametric Density Estimation with Tensor Decompositions
Technische Universität Berlin(柏林工业大学);Machine Learning Group(机器学习组)
虽然非参数密度估计通常在低维数据上表现良好,但当应用于高维数据时,它们的性能可能会受到影响,这可能是由于维数灾难。避免这种情况的一种技术是假设特征之间没有依赖性,并且数据是从可分离的密度中采样的。这允许独立地估计每个边缘分布,从而避免与估计全关节密度相关联的慢速率。这是朴素贝叶斯模型中采用的一种策略,类似于估计秩一张量。在本文中,我们研究这些改进是否可以扩展到其他简化的依赖性假设,我们通过非负张量分解模型。在我们的中心理论结果中,我们证明了将估计限制在低秩非负PARAFAC或Tucker分解中可以消除多维直方图的箱宽率的维数指数。这些结果通过直接应用现有的非负张量分解直方图估计实验验证具有较高的统计意义。
2020-10-06 cs.LG math.ST stat.ME
A Unified MDL-based Binning and Tensor Factorization Framework for PDF Estimation
Communications Research Laboratory(通信研究中心);Ilmenau University of Technology(伊门瑙技术大学);School of Electrical Engineering(电气工程学院);Tel Aviv University(特拉维夫大学)
针对混合密度与非均匀分布下直方图估计不连续、难捕捉局部变化的问题,提出结合MDL分位数分箱与联合概率张量CPD分解的非参数多元PDF估计框架,并在合成及干豆数据集上验证有效性。
2025-09-28 cs.IT cs.LG math.IT
Estimation and Inference for CP Tensor Factor Models
University of Rochester(罗切斯特大学);University of Notre Dame(圣母大学)
针对各维度均发散的高维CP张量因子模型,提出迭代同步投影估计方法,建立一致性与渐近正态推断理论及因子数估计,并通过模拟和投资组合实证验证。
2025-09-29 econ.EM math.ST stat.ME
Tensor SVD: Statistical and Computational Limits
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出了一个张量奇异值分解(tensor SVD)的一般框架,重点研究了从高维张量数据中提取隐藏的低秩结构的方法和理论。全面的结果开发的统计和计算限制张量SVD。根据信噪比(SNR),该问题表现出三个不同的阶段。特别地,在强信噪比下,我们证明了经典的高阶正交迭代在估计中达到了极小极大最优收敛速率;在弱信噪比下,信息论下界意味着一般情况下不可能有一致的估计;在中等信噪比下,我们证明了非凸的极大似然估计提供了最优解,但具有NP-难的计算代价;此外,在超图种植集团检测的硬度假设下,一般不存在执行一致的多项式时间算法。
2020-01-08 cs.LG math.ST stat.ME
Maximum likelihood estimation for tensor normal models via castling transforms
本文研究了张量正态模型极大似然估计的样本量阈值问题。给定模型参数和样本个数,我们几乎肯定地确定:(1)似然函数是否有界,(2)是否存在最大似然估计(MLE),以及(3)是否存在唯一的MLE。我们得到一个完整的答案,真实的和复杂的模型。我们的结果的一个后果是,几乎必然有界的对数似然函数保证几乎必然存在的MLE。我们的技术是基于不变量理论和易位变换。
2020-11-07 math.AG math.RT math.ST
Statistical and Computational Limits for Cumulant Tensor Inference: A Regime in Which Efficient Detection Is Harder Than Efficient Estimation
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of Notre Dame(圣母大学);Duke University(杜克大学)
研究高阶矩和累积量张量的估计与检测,发现估计率最优为√(p/n)∧1,而样本矩张量对d≥3不最优,提出达到最优的估计器。同时,检测累积量张量是否为零在计算上具有挑战性,揭示了计算与统计间的反向差距。
2026-11-04 cs.CC math.ST stat.TH
Permutation recovery of spikes in noisy high-dimensional tensor estimation
Courant Institute of Mathematical Sciences, New York University(纽约大学Courant数学科学研究所)
本文研究高维多尖峰张量估计中梯度流的恢复动力学,在不假设信噪比分离的条件下给出置换意义下恢复所有尖峰所需的样本复杂度。
2025-09-19 cs.LG math.PR stat.ML
Statistical Estimation in the Spiked Tensor Model via the Quantum Approximate Optimization Algorithm
Walter Burke Institute for Theoretical Physics, California Institute of Technology(加州理工学院沃尔特·伯克理论物理研究所);Institute for Quantum Information and Matter, California Institute of Technology(加州理工学院量子信息与物质研究所);Quantum Artificial Intelligence Lab (QuAIL), NASA Ames Research Center(NASA艾姆斯研究中心量子人工智能实验室);USRA Research Institute for Advanced Computer Science (RIACS)(美国大学空间研究协会先进计算机科学研究所);Department of Mathematics, University of California, Berkeley(加州大学伯克利分校数学系);Department of Statistics and Department of EECS, University of California, Berkeley(加州大学伯克利分校统计系与电气与计算机工程系)
本文通过量子近似优化算法在带噪张量模型中实现统计估计,证明了QAOA与张量幂迭代在弱恢复阈值上的匹配,并发现QAOA在某些情况下能获得更高的重叠性能。
2024-02-29 cs.DS math.PR math.ST
A Latent-Variable Formulation of the Poisson Canonical Polyadic Tensor Model: Maximum Likelihood Estimation and Fisher Information
Sandia National Laboratories(桑迪亚国家实验室);Harbor Branch Oceanographic Institute, Florida Atlantic University(佛罗里达大西洋大学哈勃分支海洋学研究所)
本文提出通过隐变量 formulation 对泊松广义张量模型进行参数推断,并推导其 Fisher 信息矩阵,以提升张量计数数据的建模能力。
2025-11-25 cs.NA math.NA math.ST
Tensor Graphical Model: Non-convex Optimization and Statistical Inference
我们考虑的估计和推理的图形模型,其特征在于高维张量值数据的依赖结构。为了便于估计与张量的每种方式相对应的精度矩阵,我们假设数据服从张量正态分布,其协方差具有Kronecker乘积结构。在这个模型的估计和推理的一个关键挑战是,它的惩罚极大似然估计涉及最小化非凸目标函数的事实。为了解决这个问题,本文做了两个贡献:(i)尽管这个估计问题的非凸性,我们证明了交替最小化算法,迭代估计每个稀疏精度矩阵,同时固定其他,达到一个最佳的统计收敛速度的估计。(ii)我们提出了一个去偏的统计推断程序来测试的真实支持的稀疏精度矩阵的假设,并采用它来测试越来越多的假设与错误发现率(FDR)的控制。建立了检验统计量的渐近正态性和FDR控制程序的一致性。我们的理论结果得到了全面的数值研究的支持,我们在自闭症谱系障碍的神经成像研究和用户广告点击分析方面的实际应用带来了新的科学发现和商业见解。所提出的方法被编码到一个公开可用的R包Tlasso。
2019-02-25 stat.ME stat.ML
Partially monotone tensor spline estimation of the joint distribution function with bivariate current status data
双变量事件时间数据的联合累积分布函数(CDF)分析在理论和数值上都是一个具有挑战性的问题。本文提出了一种基于张量样条的筛分极大似然估计方法来估计二元状态数据的联合CDF。为了简化约束极大似然估计问题的数值计算,用I样条逼近联合CDF。采用广义梯度投影算法求解约束最优化问题。基于B样条基函数的性质,证明了所提出的基于张量样条的非参数筛分极大似然估计在一定的正则性条件下具有比$n^{1/3}$更好收敛速率.在中等样本量下的模拟研究表明,所提出的估计器的有限样本性能是令人满意的。
2012-09-25 math.ST stat.TH
High-dimensional Tensor Response Regression using the t-Distribution
针对张量响应回归中非高斯数据问题,提出基于张量t分布的惩罚似然与一步估计方法,实现高维下的极小极大最优估计。
2023-06-21 stat.ME
Tensor Regression with Applications in Neuroimaging Data Analysis
经典回归方法将协变量视为向量,并估计回归系数的相应向量。医学成像中的现代应用产生更复杂形式的协变量,例如多维数组(张量)。传统的统计和计算方法被证明不足以分析这些高通量的数据,由于其复杂的结构和多维性。在这篇文章中,我们提出了一个新的家庭张量回归模型,有效地利用特殊结构的张量协变量。在此框架下,将数据的维数降低到可管理的水平,从而实现有效的估计和预测。本文提出了一种快速、高扩展性的极大似然估计算法,并研究了它的渐近性质。合成和真实的MRI成像数据的新方法的有效性证明。
2012-03-14 stat.ME
Nonparametric estimation of multivariate hidden Markov models using tensor-product B-splines
对于由潜在状态驱动的多变量时间序列,隐马尔可夫模型(HMRM)构成了一个强大的框架,可以灵活地适应手头的情况。然而,在实践中,为多变量观测向量选择适当的发射分布可能具有挑战性。例如,边缘数据分布可能不会立即揭示州内分布形式,而且不同的数据流可能在不同的支持下运行,使得使用多元正态分布的常见方法不充分。在这里,我们探讨了一个非参数估计的排放分布在一个多元HMM的张量积B样条的基础上。在两个模拟研究中,我们展示了我们的建模方法的可行性,并展示了参数分布的不适当选择的潜在陷阱。为了说明其实用性,我们提出了一个案例研究,在该案例中,我们使用HMM对2020年欧洲杯期间守门员传球的长度和角度组成的二元时间序列进行建模,研究比赛动态对球队战术的影响。
2023-02-13 stat.ME
Efficient Estimation in Tensor Ising Models
张量伊辛模型是一个离散指数族,用于对网络上的二进制数据进行建模,这些数据不仅具有成对依赖性,而且具有高阶依赖性。张量伊辛模型的一个特别重要的类别是张量居里-外斯模型,其中特定阶的所有节点元组以相同的强度相互作用。最大似然估计(MLE)在这个模型中并不明确,因为在似然中存在一个难以处理的归一化常数,一个计算效率高的替代方案是使用最大伪似然估计(MPLE)。在本文中,我们表明,MPLE实际上是有效的MLE(在Bahadur意义上)的$2$自旋模型,并为所有值的空参数以上$\log 2$在高阶张量模型。即使空参数恰好位于阈值和$\log 2$之间的非常小的窗口内,它们也同样有效,除非替代参数很大。因此,MPLE不仅在计算上优于MLE,而且在理论上在大多数参数空间上与MLE一样有效。我们的结果扩展到更一般的类Erdens-Rényi超图伊辛模型,在轻微的稀疏。
2022-12-20 math-ph math.MP math.PR
Bandable Cumulant Tensors: Optimal Estimation and Applications in Non-Gaussian Data Modeling
Columbia University(哥伦比亚大学);Duke University(杜克大学);University of Notre Dame(圣母大学);University of Chicago(芝加哥大学)
该研究针对高维非高斯数据,提出可分块累积量类与锥形样本累积量估计器,证明其最优性并将其应用于多种下游任务,经模拟和真实数据验证有效。
2026-08-12 stat.ME
Statistical thresholds for Tensor PCA
本研究确定了高斯随机张量秩一变形中检验与估计的相同尖锐阈值,并证明极大似然估计在阈值之上达到最大相关性,且呈现不连续的BBP型相变。
2019-08-08 math.PR math.ST stat.TH
Generalized Multi-Linear Models for Sufficient Dimension Reduction on Tensor Valued Predictors
本文针对张量值预测变量,基于二次指数族建模条件分布,提出广义多线性充分降维方法,并证明其理论性质与高效计算,在模拟和真实数据中表现优越。
2025-02-27 stat.ME
Low-rank Tensor Estimation via Riemannian Gauss-Newton: Statistical Optimality and Second-Order Convergence
University of Chicago(芝加哥大学);Duke University(杜克大学)
本文针对含噪线性测量下的低 Tucker 秩张量估计问题,提出黎曼高斯-牛顿方法,首次证明其在含噪环境下的局部二次收敛性,并给出匹配的误差上下界以证明统计最优性,通过张量回归和张量 SVD 应用及仿真验证了理论结果。
2023-07-09 cs.LG cs.NA math.NA
Robust Max Entrywise Error Bounds for Tensor Estimation from Sparse Observations via Similarity Based Collaborative Filtering
Massachusetts Institute of Technology(麻省理工学院);Cornell University(康奈尔大学)
考虑从稀疏区域中随机选择的条目的噪声观测估计3阶$n \times n \times n$张量的任务。我们介绍了一个基于相似性的协同过滤算法估计张量从稀疏的意见,并认为它实现了样本的复杂性,几乎匹配的设定低秩张量的样本复杂性的计算效率的下限。我们的算法使用从扁平张量获得的矩阵来计算相似性,并使用最近邻估计器来估计张量条目。我们证明,该算法恢复一个有限秩张量的最大条目的误差()和均方误差(MSE)衰减到$0$,只要每个条目被独立观察的概率$p = Ω(n^{-3/2 + κ})$任何任意小的$κ> 0$。更一般地说,我们建立鲁棒性的估计,表明当任意的噪声有界的$\varepsilon \geq 0$被添加到每个观察,估计误差相对于均方根和MSE下降$\text{poly}(\varepsilon)$。因此,即使张量可能不具有有限秩,但是可以在$\varepsilon \geq 0$内通过有限秩张量来近似,则估计误差收敛到$\text{poly}(\varepsilon)$。我们的分析揭示了样本复杂度的下限,表明它与我们用于估计坐标之间相似性的算法所使用的图的连通性阈值相匹配。
2023-01-17 cs.DS cs.LG stat.ML
Guaranteed Nonconvex Low-Rank Tensor Estimation via Scaled Gradient Descent
Beijing Institute for General Artificial Intelligence(北京通用人工智能研究院)
本文提出ScaledGD算法,通过缩放梯度下降法在t-SVD框架下实现低秩张量估计的线性收敛,克服了传统方法在条件数依赖上的限制。
2026-02-14 cs.IT cs.LG math.IT
A Novel Tensor Factorization-Based Method with Robustness to Inaccurate Rank Estimation
Wenzhou University(温州大学);Memorial University of Newfoundland(纽芬兰纪念大学)
本文提出一种具有双重低秩约束的新型张量范数,有效解决了张量恢复中过度依赖秩估计与计算成本大的问题,理论证明其对不准确的秩估计具有鲁棒性,且将每次迭代成本降至$\mathcal{O}(n^3\log n +kn^3)$。
2023-05-19 cs.LG
Stochastic trace estimation with tensor train random vectors
University of Zagreb, Faculty of Science, Department of Mathematics(Zagreb大学科学学院数学系);Institute of Mathematics, EPFL(EPFL数学研究所)
研究使用高斯随机张量列向量进行随机迹估计,证明适当秩下可恢复维度无关保证,并应用于Nyström++框架。
2026-06-16 cs.LG cs.NA math.NA
Diffusion Tensor Estimation with Transformer Neural Networks
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
扩散张量成像(DTI)是一种广泛应用于研究脑白质发育和变性的方法。然而,标准的DTI估计方法依赖于大量的高质量测量。这将需要较长的扫描时间,并且对于某些患者人群(例如新生儿)可能特别难以实现。在这里,我们提出了一种方法,可以准确地估计扩散张量,只有六个扩散加权测量。我们的方法通过学习利用相邻体素中的扩散信号和张量之间的关系来实现这一点。我们的模型是基于Transformer网络,它代表了最先进的建模序列中的信号之间的关系。特别是,我们的模型由两个这样的网络组成。第一网络基于体素的邻域中的扩散信号来估计扩散张量。第二网络通过学习扩散信号之间的关系以及由第一网络在相邻体素中估计的张量来提供更准确的张量估计。我们对三个数据集的实验表明,我们提出的方法实现了高精度的扩散张量估计,并显着优于三个竞争的方法。我们的方法与6个扩散加权测量产生的估计与30-88扩散加权测量的标准估计方法相媲美。因此,我们的方法承诺更短的扫描时间和更可靠的评估脑白质,特别是在不合作的患者,如新生儿和婴儿。
2022-11-14 cs.LG eess.IV q-bio.NC
Balancing Interpretability and Predictive Accuracy for Unsupervised Tensor Mining
University of California Riverside(加州大学河滨分校)
PARAFAC张量分解在探索性多方面数据挖掘场景中获得了越来越大的成功。一个主要的挑战仍然是估计潜在因素的数量(即,排名)的分解,这产生高质量的,可解释的结果。在此之前,我们已经提出了一种自动张量挖掘方法,该方法利用了化学计量学领域的一个众所周知的质量启发式算法,即核心一致性诊断(CORCONDIA),以自动确定PARAFAC分解的排名。在这项工作中,我们开始探索1)结果的可解释性/质量(如CORCONDIA所表示的)和2)结果的预测准确性之间的权衡,以进一步提高秩估计质量。我们的初步结果表明,在权衡利益排名估计中取得良好的平衡。
2017-09-04 cs.LG stat.ML
Tensor Kernel Recovery for Spatio-Temporal Hawkes Processes
Yale University(耶鲁大学);Princeton University(普林斯顿大学);Georgia Institute of Technology(佐治亚理工学院)
我们估计时空霍克斯过程的一般影响函数,使用张量恢复方法,制定的位置相关的影响函数,捕捉历史事件的影响作为张量核。我们假设张量核的低秩结构,并使用傅立叶变换核范数(TNN)将估计问题转换为凸优化问题。我们提供了理论上的性能保证,我们的方法,并提出了一个算法来解决优化问题。此外,我们证明了我们的估计与数值模拟的效率。
2022-11-29 cs.LG stat.ML
Tensor Completion via Leverage Sampling and Tensor QR Decomposition for Network Latency Estimation
Wenzhou University(温州大学)
针对大规模网络时延估计计算开销大的问题,提出融合改进张量杠杆率采样、CSVD-QR、L_{2,1} 范数与张量 QR 分解 ADMM 的张量补全方法,在保持精度的同时显著提升速度。
2023-06-27 cs.LG cs.NA cs.NI
Baseline Estimation of Commercial Building HVAC Fan Power Using Tensor Completion
University of Michigan(密歇根大学);University of Pennsylvania(宾夕法尼亚大学)
商业建筑供暖、通风和空调(HVAC)系统已经被研究用于经由需求响应(DR)向电网提供辅助服务。一个关键的问题是估计反事实的基线功耗,将占上风,没有DR。基线方法已经开发的基础上,整个建筑物的电力负载配置文件。需要新的方法来估计HVAC子组件的基线功耗(例如,送风机和回风风机),与整个建筑物的风机相比,它们具有不同的特性。张量完备化可以估计描述复杂数据集的多维张量的未观测项。它利用高维数据来捕获对问题的粒度洞察。本文提出了使用它的基准HVAC风扇功率,利用其能力,捕捉占主导地位的风扇功率模式。张量完成的方法进行评估,从几个建筑物在密歇根大学的HVAC风扇功率数据,并与现有的几种方法进行比较。张量完成方法通常优于基准测试。
2020-04-24 cs.LG eess.SP stat.ML
Diffusion Tensor Estimation with Uncertainty Calibration
Boston Children’s Hospital(波士顿儿童医院);Harvard Medical School(哈佛医学院)
提出一种基于深度学习的扩散张量估计及不确定性计算方法,利用损失衰减和Monte Carlo dropout分别量化数据与模型不确定性,在少量测量下精度更高且校准更好,能有效揭示偏差、检测领域偏移和反映噪声强度。
2024-08-27 cs.AI cs.LG eess.IV
Efficient Low-Tubal-Rank Tensor Estimation via Alternating Preconditioned Gradient Descent
Shenyang Institute of Automation, Chinese Academy of Sciences(中国科学院沈阳自动化研究所);Hong Kong Baptist University(香港浸会大学);Xi’an Jiaotong University(西安交通大学)
本文提出了一种交替预条件梯度下降算法,用于高效解决低管状秩张量估计问题,实现线性收敛并独立于张量条件数。
2025-12-23 cs.LG math.OC
Joint Probability Estimation Using Tensor Decomposition and Dictionaries
IIT Bombay(印度理工学院孟买分校);Amazon(亚马逊)
在这项工作中,我们研究了一组给定的离散和连续随机变量的联合概率的非参数估计,从他们的(经验估计)2D边际,假设联合概率可以分解和近似的混合产品密度/质量函数。利用高斯混合模型(GARCH)等半参数技术估计联合概率密度函数(PDF)的问题得到了广泛的研究。然而,当底层密度是各种其他分布族(诸如拉普拉斯或广义高斯、均匀、柯西等)的混合时,这样的技术产生差的结果。此外,高斯分布不是估计本质上是混合的联合分布的最佳选择,即,一些随机变量是离散的,而另一些是连续的。我们提出了一种新的方法来估计的PDF使用的想法,从字典表示在信号处理加上低秩张量分解。据我们所知,这是第一次使用字典和张量分解来估计联合PDF。我们通过检查数据来创建各种分布族的字典,并使用它来近似混合物中产品的每个分解因子。我们的方法可以自然地处理混合$N$维分布。我们在各种合成和真实数据集上测试我们的方法,以证明其在更好的分类率和更低的出错率方面的有效性,与最先进的估计相比。
2022-03-03 cs.LG stat.ML
Joint Bayesian Parameter and Model Order Estimation for Low-Rank Probability Mass Tensors
Communications Research Laboratory, Ilmenau University of Technology(伊门瑙技术大学通讯研究实验室);School of Electrical and Computer Engineering, Tel Aviv University(特拉维夫大学电气与计算机工程学院)
本文针对从观测数据估计联合PMF张量低秩分量及推断其秩的问题,提出贝叶斯框架,指定模型并采用先验分布,基于变分推断得出确定性解,经实验验证该方法在多方面具有优势。
2026-07-10 cs.LG eess.SP stat.ML
Latent Factorization of Tensors with Threshold Distance Weighted Loss for Traffic Data Estimation
Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对传统张量潜在分解模型对异常值敏感的问题,提出结合阈值距离加权损失的TDWLFT模型,通过为样本分配差异化权重降低异常值影响,在多个交通速度数据集上实现了准确性与计算效率的双重提升。
2025-06-11 cs.AI cs.LG
Weighted Tensor Completion for Time-Series Causal Inference
Columbia University(哥伦比亚大学);Harvard University(哈佛大学)
边际结构模型(MSM)是从时间序列观测数据进行因果推断的最流行的模型。然而,它们有两个主要缺点:(a)它们没有捕获受试者异质性,以及(b)它们只考虑固定的时间间隔,并且不能以更长的间隔优雅地扩展。在这项工作中,我们提出了一个新的家庭的MSM来解决这两个问题。我们将潜在的结果建模为低秩的三维张量,其中三个维度对应于代理,时间段和可能的历史集。与传统的MSM不同,我们允许张量的维度随着代理的数量和时间段的增加而增加。我们建立了一个加权张量完备化问题作为我们的估计过程,并证明了这个问题的解在适当的意义下收敛到真实模型。然后,我们展示了如何解决估计问题,提供条件下,我们可以近似和有效地解决估计问题。最后,我们提出了一个基于投影梯度下降的算法,这是易于实现的,并评估其性能的模拟数据集。
2020-10-16 cs.LG stat.ML
Statistical and Computational Efficiency for Smooth Tensor Estimation with Unknown Permutations
University of Wisconsin – Madison(威斯康星大学麦迪逊分校)
针对未知置换下的结构化张量去噪问题,提出通用光滑张量模型族,证明约束最小二乘估计达极小极大误差界并揭示相变现象,还提出高效Borda计数算法,经模拟和真实数据验证有效。
2025-01-11 cs.LG math.ST stat.ME
Recovery of Joint Probability Distribution from one-way marginals: Low rank Tensors and Random Projections
Amazon(亚马逊公司)
联合概率质量函数(PMF)估计是机器学习的一个基本问题。自由参数的数量与随机变量的数量成指数关系。因此,大多数非参数PMF估计的工作是基于一些结构性假设,如通过概率图形模型,联合概率张量和3路或2路边缘重建低秩的征收集团因子分解,等在目前的工作中,我们链接的随机投影数据的PMF估计问题,使用的想法从层析成像。我们将这个想法与低秩张量分解的想法相结合,以表明我们可以从变换空间中的单向边缘估计联合密度。我们提供了一种新的算法,用于从单向边缘恢复张量的因子,在各种合成和真实世界的数据集上进行测试,并对估计的分类模型进行MAP推理。
2021-03-24 cs.LG eess.SP stat.ML
Federated Low-Rank Tensor Estimation for Multimodal Image Reconstruction
Northwestern University(西北大学);Arizona State University(亚利桑那州立大学);Argonne National Laboratory(阿贡国家实验室)
本文提出一种基于Tucker分解与随机草图的联邦低秩张量估计方法,支持异构秩选择,在大规模多模态图像重建中同时提升重建质量与通信压缩效率。
2025-02-04 cs.CV cs.DC cs.LG
Tensor Network Estimation of Distribution Algorithms
Quantum Computing Initiative, Nasdaq Inc.(纳斯达克公司量子计算倡议)
本文研究了将张量网络整合到进化优化算法中的方法,发现生成模型的性能并不直接决定优化效果,并提出加入显式突变操作可提升性能。
2026-04-23 cs.LG quant-ph
Model-Free State Estimation Using Low-Rank Canonical Polyadic Decomposition
National Renewable Energy Laboratory(国家可再生能源实验室)
由于电网经历了可再生能源发电的高渗透水平,需要进行根本性的变革,以解决实时态势感知问题。本文利用张量的独特特性,设计了一个无模型的配电网态势感知和能量预测框架。这项工作将网络在多个时刻的状态表示为三向张量;因此,恢复网络的全部状态信息相当于估计张量的所有值。给定从$μ$相量测量单元和/或智能电表接收的测量值,使用状态张量的低秩规范多矢分解来进行未观测量的恢复-也就是说,状态估计任务被构成为利用测量量中的观测模式的张量插补问题。考虑了两种结构化抽样方案:平板抽样和纤维抽样。对于这两种方案,我们提出了充分的条件,保证可识别的状态张量的因素的采样板和纤维的数量。数值结果表明,所提出的框架,以实现高的估计精度在多个采样方案的能力。
2020-04-13 cs.LG cs.SY eess.SP
Low-Rank Hankel Tensor Completion for Traffic Speed Estimation
McGill University(麦吉尔大学)
研究了基于移动传感器稀疏观测的交通状态估计问题。大多数现有的TSE方法依赖于明确定义的物理交通流模型,或者需要大量的仿真数据作为训练机器学习模型的输入。与以往的研究不同,本文提出了一种纯数据驱动和无模型的解决方案。我们认为TSE作为一个时空矩阵完成/插值问题,并应用时空延迟嵌入将原来的不完整矩阵转换成一个四阶Hankel结构张量。通过对这个张量结构施加低秩假设,我们可以以数据驱动的方式近似和表征全局和局部时空模式。我们使用平衡时空展开的截断核范数-其中每列表示原始矩阵中的小块的矢量化-来近似张量秩。提出了一种基于乘子交替方向法(ADMM)的模型学习算法。所提出的框架只涉及两个超参数,空间和时间窗口长度,这是很容易设置给定的数据稀疏度。我们对真实世界的高分辨率弹道数据进行了数值实验,我们的结果证明了所提出的模型在一些具有挑战性的场景中的有效性和优越性。
2022-06-14 cs.LG eess.SP
Nonconvex Low-Rank Tensor Completion from Noisy Data
Princeton University(普林斯顿大学);Tsinghua University(清华大学)
我们研究了一个具有广泛实际意义的噪声张量完备化问题,即从其条目的高度不完整和随机损坏的观测中重建低秩张量。虽然各种先前的工作一直致力于这个问题,以前的算法要么是计算太昂贵的大规模应用程序,或与次优的统计保证。专注于“不连贯”和良好的条件张量的恒定CP秩,我们提出了一个两阶段的非凸算法-(香草)梯度下降后,粗略的初始化-实现两全其美。具体而言,所提出的非凸算法忠实地完成张量,并在几乎线性的时间内检索所有的个体张量因子,同时享受接近最佳的统计保证(即最小的样本复杂性和最佳的估计精度)。估计误差均匀地分布在所有条目上,从而实现最佳的$\ell_{\infty}$统计精度。我们还讨论了如何扩展我们的方法来适应非对称张量。通过我们对非凸优化的分析所传达的见解可能对其他张量估计问题有影响。
2021-06-03 cs.IT cs.LG math.IT
Tensor decompositions for learning latent variable models
University of California, Irvine(加州大学欧文分校);Microsoft Research(微软研究院);Columbia University(哥伦比亚大学);Rutgers University(罗格斯大学)
本文利用低阶可观测矩的张量结构,通过对称张量分解(类似矩阵SVD的推广)实现高斯混合模型、隐马尔可夫模型等潜变量模型的参数估计,并提供了鲁棒张量幂法的详细分析。
2014-11-13 cs.LG cs.NA math.NA
Deep importance sampling using tensor trains with application to a priori and a posteriori rare event estimation
Monash University(莫纳什大学);University of Bath(巴斯大学);Heidelberg University(海德堡大学)
本文提出基于平方张量列分解的保序变换复合来构建深度重要性采样方法,用于高维稀有事件概率估计,并通过比率估计器改进方差缩减,在微分方程约束问题上实现了此前无法达到的高维后验稀有事件概率计算。
2023-05-25 cs.LG stat.CO stat.ME
Quantized Radio Map Estimation Using Tensor and Deep Generative Models
Oregon State University(俄勒冈州立大学)
针对现有可证明频谱制图方法依赖全分辨率传感器测量的不现实假设,提出基于最大似然估计的量化频谱制图框架,推广了块项张量分解与深度生成模型方法,并通过仿真和真实数据实验验证了有效性。
2023-08-23 cs.LG eess.SP
Beyond the Signs: Nonparametric Tensor Completion via Sign Series
我们考虑的问题,张量估计噪声观测可能丢失的条目。基于一个新的模型,我们硬币作为符号表示张量的张量完成的非参数方法。该模型使用一系列结构化符号张量表示感兴趣的信号张量。与早期的方法不同,符号序列表示有效地解决了低秩和高秩信号,同时包含许多现有的张量模型-包括CP模型,Tucker模型,单索引模型,几个超图子模型-作为特殊情况。我们表明,符号张量系列的理论特征,计算估计,通过分类任务,仔细指定的权重。建立了超额风险界限、估计误差率和样本复杂度。我们在两个数据集上证明了我们的方法优于以前的方法,一个是人脑连接网络,另一个是主题数据挖掘。
2021-01-31 cs.LG math.ST stat.ME
Patch-CNN: Training data-efficient deep learning for high-fidelity diffusion tensor estimation from minimal diffusion protocols
University College London(伦敦大学学院);Institute of Neurology, UCL(伦敦大学学院神经学研究所)
Patch-CNN 提出一种使用最小 3×3×3 卷积核的神经网络,仅需单个受试者训练即可从六方向 DWI 中同时改善扩散张量标量参数和纤维方向估计,从而生成更优的纤维束图。
2023-07-03 cs.CV cs.LG eess.IV
Optimal High-order Tensor SVD via Tensor-Train Orthogonal Iteration
Duke University(杜克大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Rice University(莱斯大学)
本文研究了高阶张量奇异值分解的一般框架。我们提出了一种新的计算效率高的算法,张量列车正交迭代(TTOI),其目的是估计低张量列车秩结构的噪声高阶张量观测。所提出的TTOI包括通过TT-SVD(Oseledets,2011)进行的初始化和新的迭代后向/前向更新。我们开发的一般上界的估计误差TTOI的支持下,几个新的表示引理张量矩阵化。通过建立一个匹配的信息论下界,我们还证明了TTOI在尖峰张量模型下达到了极大极小最优性。建议TTOI的优点说明通过应用程序估计和降维的高阶马尔可夫过程,数值研究,并在纽约市出租车行驶记录的真实数据的例子。所提出的算法的软件是可在线$^6$。
2022-01-24 cs.LG cs.NA math.NA