Characterization of Deterministic and Probabilistic Sampling Patterns for Finite Completability of Low Tensor-Train Rank Tensor
Columbia University（哥伦比亚大学）
在本文中，我们分析了低秩张量完成给定的分离或张量列（TT）秩，即，一排排的展开。我们利用TT分解的代数结构来获得样本位置的确定性的充分必要条件，以确保有限的可完成性。具体来说，我们提出了一个代数几何分析TT流形，可以将整个秩向量同时在现有的方法的基础上的格拉斯曼流形，只能将一个秩分量。我们所提出的技术特征的代数独立性的一组多项式定义的基础上的采样模式和TT分解，这是有助于获得有限的可完成性的采样模式的确定性条件。此外，基于所提出的分析，假设张量的条目以概率$p$独立采样，我们推导出采样概率$p$的下限，或者等价地，确保具有高概率的有限可完成性的采样条目的数量。此外，我们还提供了唯一完备性的确定性和概率性条件。
2017-03-22 cs.IT cs.LG math.AG
Robust Low-Tubal-Rank Tensor Completion under Cross-Concentrated Sampling
University of Central Florida（中佛罗里达大学）；Michigan State University（密歇根州立大学）；University of Kentucky（肯塔基大学）；University of Texas MD Anderson Cancer Center（德克萨斯大学 MD 安德森癌症中心）
该研究针对受稀疏异常值污染的三阶低张量秩张量，提出鲁棒迭代t-CUR算法，在交叉集中采样下实现高效鲁棒补全，经多类数据验证其准确性与鲁棒性。
2026-08-06 cs.IT cs.LG cs.NA
Guaranteed Sampling Flexibility for Low-tubal-rank Tensor Completion
Michigan State University（密歇根州立大学）；Shenzhen University（深圳大学）；University of Central Florida（中佛罗里达大学）
本文提出 t-CCS 采样模型以连接 Bernoulli 与 t-CUR 采样，建立低管秩张量恢复的充分条件和采样复杂度理论，并设计非凸 ITCURTC 算法，在合成与真实数据集上验证有效。
2024-06-16 cs.LG cs.NA math.NA
TenIPS: Inverse Propensity Sampling for Tensor Completion
Cornell University（康奈尔大学）
张量广泛用于表示数据的多路数组。张量中缺失项的恢复已被广泛研究，通常假设项是完全随机缺失（MCAR）的。然而，在大多数实际情况下，观测值是非随机缺失（MNAR）：给定条目被观测到的概率（也称为倾向）可能取决于张量中的其他条目，甚至取决于缺失条目的值。在本文中，我们研究的问题，完成一个部分观测张量的MNAR观测，没有先验信息的倾向。为了完成张量，我们假设原始张量和倾向张量都具有低多线性秩。该算法首先使用凸松弛估计倾向，然后使用高阶SVD方法预测缺失值，通过逆倾向重新加权观察到的张量。我们提供有限样本的误差界所产生的完整的张量。数值实验证明了该方法的有效性。
2021-04-22 cs.LG math.OC stat.ML
Towards Sampling Data Structures for Tensor Products in Turnstile Streams
University of California, Berkeley（加州大学伯克利分校）；Texas A&M University（德克萨斯农工大学）
本文提出注意力采样器，在流式环境中利用重要性采样降低大规模注意力模型的计算负担，并从理论上分析其空间与更新时间，展现出可扩展性与广泛适用性。
2025-10-04 cs.LG stat.ML
Low-Rank Matrix and Tensor Completion via Adaptive Sampling
我们研究了低秩矩阵和张量完成，并提出了新的算法，采用自适应采样方案，以获得强大的性能保证。我们的算法利用自适应性来识别对于学习矩阵（张量）的列空间具有高度信息性的条目，因此，即使当行空间高度一致时，我们的结果也成立，与以前的分析相反。在没有噪声的情况下，我们表明，可以准确地恢复$n \times n$矩阵的秩$r$从仅仅$Ω(n r^{3/2}\log(r))$矩阵条目。我们还表明，可以恢复一个订单$T$张量使用$Ω(n r^{T-1/2}T^2 \log(r))$条目。对于有噪声的恢复，我们的算法始终估计一个低秩矩阵损坏的噪声使用$Ω(n r^{3/2} \textrm{polylog}(n))$条目。我们补充我们的研究与模拟，验证我们的理论，并证明我们的算法的可扩展性。
2013-11-09 stat.ML
Stochastic Gradients for Large-Scale Tensor Decomposition
Sandia National Laboratories（桑迪亚国家实验室）；University of Michigan（密歇根大学）
张量分解是一个著名的多路数据分析工具。这项工作提出了使用随机梯度有效的广义正则多元（GCP）张量分解的大规模张量。GCP张量分解是最近提出的张量分解的一个版本，它允许各种损失函数，例如用于二进制数据的Bernoulli损失或用于鲁棒估计的Huber损失。随机梯度由张量的随机采样元素形成，并且是有效的，因为它可以使用稀疏矩阵化张量乘以Khatri-Rao乘积（MTTKRP）张量核来计算。对于稠密张量，我们简单地使用均匀采样。对于稀疏张量，我们提出了两种类型的分层抽样，优先考虑采样非零。数值结果表明，所提出的方法和其可扩展性的大规模问题的优势。
2020-07-08 cs.LG cs.NA math.NA
Uniform Hypergraph Partitioning: Provable Tensor Methods and Sampling Techniques
Indian Institute of Science（印度科学理工学院）
在最近的一系列工作中，我们已经将随机块模型文献中的一致性结果推广到均匀和非均匀超图的情况。本论文继续相同的研究路线，我们专注于分区加权均匀超图-一个经常遇到的问题，在计算机视觉。这项工作的动机是由两个问题时出现的超图分割方法用于解决计算机视觉问题：（i）构造的高阶学习的均匀超图包含所有的边缘，但大多数具有可忽略的权重。因此，邻接张量几乎是稀疏的，但不是二进制的。(ii)更严重的问题是标准划分算法需要计算所有边权重，这对于超图来说计算成本很高。在实践中，这通常是通过将聚类算法与张量采样策略合并来解决的-这种方法还有待严格分析。我们建立在我们早期关于划分密集未加权均匀超图的工作（Ghoshdastidar和Dukkipati，ICML，2015）的基础上，并通过提出可证明和有效的划分算法来解决上述问题。我们的分析证明了实际抽样技术的经验成功。我们还补充了我们的理论研究结果，详细的经验比较各种超图分割方案。
2017-05-17 cs.LG stat.ML
High-Dimensional Uncertainty Quantification via Tensor Regression with Rank Determination and Adaptive Sampling
University of California, Santa Barbara（加州大学圣巴巴拉分校）
制造工艺的变化可以显著影响纳米级电子和光子电路的性能和产量。随机谱方法在量化过程变化的影响方面取得了巨大的成功，但它们受到维数灾难的影响。最近，低秩张量方法已经被开发出来，以减轻这个问题，但两个基本的挑战仍然存在：如何自动确定张量秩和如何自适应地选择信息的模拟样本。本文提出了一种新的张量回归方法来解决这两个挑战。我们使用$\ell_{q}/ \ell_{2}$组稀疏正则化来确定张量秩。由此产生的优化问题可以有效地解决通过交替最小化求解器。我们还提出了一个两阶段的自适应采样方法，以减少模拟成本。我们的方法通过估计Voronoi细胞体积和非线性测量分别考虑勘探和开发。仿真结果表明，该方法仅用100~600个仿真样本就能很好地捕捉到由19~100个随机变量引起的不确定性。
2021-06-27 cs.LG cs.NA math.NA
Deep importance sampling using tensor trains with application to a priori and a posteriori rare event estimation
Monash University（莫纳什大学）；University of Bath（巴斯大学）；Heidelberg University（海德堡大学）
本文提出基于平方张量列分解的保序变换复合来构建深度重要性采样方法，用于高维稀有事件概率估计，并通过比率估计器改进方差缩减，在微分方程约束问题上实现了此前无法达到的高维后验稀有事件概率计算。
2023-05-25 cs.LG stat.CO stat.ME
Tensor Train Diffusion: Leveraging Low-Rank Structures for High-Dimensional Score-Based Sampling
研究如何利用低秩结构进行高维基于分数的采样，提出基于函数张量列车格式求解HJB方程的方法，结合反向迭代方案，克服现有技术瓶颈，实现从复杂目标分布高效高保真采样。
2026-07-09 cs.LG stat.ML
SamBaTen: Sampling-based Batch Incremental Tensor Decomposition
University of California Riverside（加州大学河滨分校）
本文提出SaMbaTen，一种基于采样的批量增量张量分解算法，通过在缩减的摘要空间中执行计算，实现了对动态演化多模态数据集的增量维护，在保持与最先进技术相当准确度的同时速度快25-30倍，并能扩展至100K x 100K x 100K维的大规模张量。
2017-09-18 cs.AI cs.LG stat.ML
Wedge Sampling: Efficient Tensor Completion with Nearly-Linear Sample Complexity
Rice University（里士满大学）；University of California, Irvine（加州大学尔湾分校）；Univ Rennes, Ensai, CNRS, CREST-UMR 9194（里昂大学，Ensai，CNRS，CREST-UMR 9194）；University of Southern California（南加州大学）
提出楔形采样非自适应方案，通过结构化长度二模式（楔形）分配观测，在均匀采样稀疏时增强谱信号，实现近线性样本复杂度的张量补全。
2026-08-06 cs.LG cs.NA math.NA
Fundamental Conditions for Low-CP-Rank Tensor Completion
Columbia University（哥伦比亚大学）
本文研究了低正则多元（CP）秩张量完备化问题.完备化是一个张量，其条目与观察到的条目一致，并且其秩与给定的CP秩匹配。我们分析了给定秩的张量所对应的流形结构，并基于采样模式和CP分解定义了一组多项式。然后，我们证明了采样张量的有限完备性等价于在定义的多项式中有一定数量的代数独立多项式。我们所提出的方法的结果在一个简单的几何结构的采样模式的特征代数独立多项式的最大数量，因此，我们得到了确定性的必要和充分条件的采样模式有限的可完成性的采样张量。此外，假设张量的条目以概率$p$独立采样，并使用上述确定性分析，我们提出了一种组合方法来导出采样概率$p$的下限，或者等价地，保证有限的高概率完全性的采样条目的数量。我们还表明，现有的结果矩阵完成问题可以用来获得宽松的采样概率的下限$p$。此外，我们还得到了唯一完备性的确定性和概率性条件。可以看出，有限或唯一的完备性所需的样本数量的CP流形上所提出的分析是订单的数量级低于通过现有的分析格拉斯曼流形。
2017-03-31 cs.LG cs.NA math.NA
Adaptive Sampling of RF Fingerprints for Fine-grained Indoor Localization
室内定位是一种支持广泛普及的无线应用的技术。一种有前途的方法是用无线电频率指纹来定位用户。然而，它在现实世界的系统中的广泛采用受到了耗时耗力的现场调查过程的挑战，现场调查过程为本地化先验地建立了指纹数据库。为了解决这个问题，我们将3-D RF指纹数据可视化为接入点（指纹）的位置（x-y）和索引的函数，作为张量，并使用张量代数方法对该指纹空间进行自适应管状采样。特别地，使用最近在[1]中提出的张量代数框架，我们将指纹空间的复杂性捕获为低维张量列空间。在这个公式中，所提出的方案利用自适应性来识别参考点，这些参考点对于学习这个低维空间是非常有用的。此外，在一定的非相干条件下，我们证明了该方案实现有限的恢复误差和接近最佳的采样复杂度。在对比现有的几个工作，依赖于随机采样，本文表明，自适应采样可以导致显着提高定位精度。该方法是验证的光线跟踪室内模型，占平面图和墙壁和现实世界的数据的影响所产生的数据。仿真结果表明，在保持现有方法相同定位精度的前提下，高信噪比情况下样本量可减少71%，低信噪比情况下样本量可减少55%。
2015-12-01 cs.IT math.IT math.OC
Sampling and Identity-Testing Without Approximate Tensorization of Entropy
Carnegie Mellon University（卡内基梅隆大学）
本文研究了不满足近似熵张量化（ATE）的混合分布的采样与同一性测试问题，证明了其Glauber dynamics的快速混合性，并在坐标条件访问模型下提出了高效的同一性测试器。
2025-06-30 cs.DS cs.LG math.ST
Spectral gap-based deterministic tensor completion
Western Washington University（西华盛顿大学）；Harbor Branch Oceanographic Institute（港湾分支海洋学研究所）；Florida Atlantic University（佛罗里达大西洋大学）；University of California, Irvine（加州大学欧文分校）
该研究针对确定性采样下张量补全理论有限的问题，推导了Poisson损失与原子范数最小化方法的更紧泛化误差界，改进了秩依赖关系，验证了实用算法重构误差与谱间隙的关联，为张量算法研究提供新视角。
2023-06-09 cs.LG stat.ML
Simple and Nearly-Optimal Sampling for Rank-1 Tensor Completion via Gauss-Jordan
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Harbor Branch Oceanographic Institute, Florida Atlantic University（佛罗里达大西洋大学港岸海洋研究所）
本文提出一种基于 Gauss-Jordan 消元的简单算法，以近乎最优的 $O(d^2\log d)$ 样本和 $O(md^2)$ 时间补全秩一张量，并证明样本下界为 $Ω(d\log d)$，优于现有上界。
2024-08-19 cs.DS cs.LG math.ST
Tensor-Train Density Estimation
Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究所）
从样本中估计概率密度函数是统计学和机器学习的核心问题之一。基于现代神经网络的模型可以学习高维分布，但在超参数选择方面存在问题，并且在训练和推理过程中往往容易出现不稳定性。我们提出了一种新的有效的基于张量训练的密度估计模型（TTDE）。这样的密度参数化允许精确采样，计算累积和边缘密度函数，以及配分函数。它也有非常直观的超参数。我们开发了一个有效的非对抗性训练过程TTDE的基础上黎曼优化。实验结果表明，所提出的方法在密度估计和采样任务的竞争性能，而TTDE显着优于竞争对手的训练速度。
2022-02-25 cs.AI cs.LG stat.ML
Rank Determination for Low-Rank Data Completion
Columbia University（哥伦比亚大学）；Purdue University（普渡大学）
近年来，对于给定秩的低秩矩阵或张量的有限可完备性，得到了抽样模式的基本条件。在本文中，我们考虑的情况下，排名是不给定的，我们的目标是近似未知的排名的基础上采样条目的位置和一些给定的完成。我们考虑了一些数据模型，包括单视图矩阵，多视图矩阵，CP张量，张量训练张量和Tucker张量。对于这些数据模型中的每一个，我们提供了一个上界的秩时，一个任意的低秩完成。我们确定性地描述这些界限，即，假设采样模式满足某些组合性质，概率为1，并且概率上，即，假设采样概率高于某个阈值，则具有高概率。此外，对于单视图矩阵和CP张量，我们能够证明，如果最低秩完成给定，所获得的上界正好等于未知秩。此外，我们提供了数值实验的情况下，单视图矩阵，我们使用核范数最小化找到一个低秩完成的采样数据，我们观察到，在大多数情况下，建议的上限上的秩等于真正的秩。
2017-07-03 cs.LG stat.ML
Generative Modelling with Tensor Train approximations of Hamilton--Jacobi--Bellman equations
Freie Universität Berlin（柏林自由大学）
本文提出用张量列车格式压缩多项式直接时间积分求解HJB方程，实现无需采样、不受归一化常数限制且能避免维度灾难的生成建模采样方法，并在20维非线性任务中验证了其自适应积分性能。
2024-02-23 cs.LG math.ST stat.ML
Stochastic Mirror Descent for Low-Rank Tensor Decomposition Under Non-Euclidean Losses
Shenzhen Research Institute of Big Data（深圳大数据研究院）；Oregon State University（俄勒冈州立大学）；University of Minnesota（明尼苏达大学）
本文研究了统计机器学习和信号处理中经常出现的一类非欧几里德损失函数下的低秩正则多元分解（CPD）。这些损失函数通常用于某些类型的张量数据，例如，计数和二进制张量，其中最小二乘损失被认为是不自然的。与最小二乘损失相比，非欧几里德损失通常更具挑战性。非欧几里德CPD已经吸引了相当大的兴趣和一些现有的作品存在。然而，紧迫的计算和理论挑战，如可扩展性和收敛问题，仍然存在。这项工作提供了一个统一的随机算法框架下的各种非欧几里德损失函数的大规模CPD分解。我们的主要贡献在于基于张量纤维采样策略的灵活的随机镜像下降框架。利用采样方案和低秩张量的多线性代数结构，所提出的轻量级算法确保在合理的条件下全局收敛到一个稳定点。数值结果表明，我们的框架达到了有前途的非欧CPD性能。与最先进的方法相比，所提出的框架还显示出大量的计算节省。
2021-04-29 cs.LG eess.SP stat.ML
Sampling Techniques in Bayesian Target Encoding
Spok, Inc.（Spok公司）
目标编码是一种有效的分类变量编码技术，经常用于机器学习系统中，用于处理具有混合数值和分类变量的表格数据集。最近，一个增强版本的这种编码技术提出了使用共轭贝叶斯建模。本文提出了一种基于抽样技术的贝叶斯编码方法，该方法有助于从目标变量的类内分布中提取信息，提高泛化能力，减少目标泄漏。
2020-11-23 cs.DM cs.LG stat.ML
Exact tensor completion using t-SVD
Tufts University（塔夫茨大学）
本文基于t-SVD提出张量补全方法，通过凸优化最小化张量核范数以保证恢复概率，验证了在随机采样下张量补全的最优性。
2015-02-27 cs.LG cs.NA math.NA
Learning Good State and Action Representations via Tensor Decomposition
Princeton University（普林斯顿大学）；Massachusetts Institute of Technology（麻省理工学院）；Duke University（杜克大学）
连续状态作用马尔可夫决策过程（MDP）的转移核具有自然张量结构。本文提出了一种张量启发的无监督学习方法，从经验轨迹中识别有意义的低维状态和动作表示。该方法通过核化、重要性抽样和低Tucker秩近似来利用MDP的张量结构。该方法可以进一步用于状态和动作的聚类，并找到最佳的离散MDP抽象。我们提供了尖锐的统计误差范围张量浓度和保存后嵌入的扩散距离。我们进一步证明，学习的状态/动作抽象提供准确的近似潜在的块结构，如果它们存在，使功能近似在下游任务，如政策评估。
2023-02-19 cs.LG stat.ML
Faster Neural Network Training with Approximate Tensor Operations
Intel（英特尔）；Technion（以色列理工学院）
我们提出了一种用于更快的深度神经网络训练的新技术，该技术系统地将基于样本的近似应用于构成张量操作，即，矩阵乘法和卷积。我们介绍了新的采样技术，研究其理论性质，并证明它们提供相同的收敛保证时，适用于SGD训练。我们将近似张量运算应用于MNIST，CIFAR-10和ImageNet数据集上的MLP和CNN网络的单节点和多节点训练。我们证明了计算量和通信量减少了66%，训练时间加快了1.37倍，同时对最终测试精度的影响可以忽略不计或没有影响。
2021-10-25 cs.AI cs.LG cs.NE
Nonlocal Low-Rank Tensor Factor Analysis for Image Restoration
Duke University（杜克大学）；Nokia Bell Labs（诺基亚贝尔实验室）
在图像处理应用中，低秩信号建模已经被广泛地利用来捕获非局部相关性。我们提出了一种新的方法，采用低秩张量因子分析的张量所产生的分组图像补丁。低秩张量被送入交替方向乘子法（ADMM），以进一步改善图像重建。激励应用是压缩感知（CS），并且采用深度卷积架构来近似CS应用中昂贵的矩阵求逆。基于这种低秩张量分解策略，提出了一种迭代算法，称为NLR-TFA。无噪声和有噪声CS测量的实验结果表明，该方法的优越性，特别是在低CS采样率。
2018-03-19 cs.CV stat.ML
Tensor-on-tensor regression
我们提出了一个多路阵列的线性预测框架（即，张量）从任意维度的另一个多路阵列中提取。该框架概括了几种现有的方法，包括从张量预测标量结果的方法，从矩阵预测矩阵的方法，或从标量预测张量的方法。我们描述了一种方法，利用多路结构的预测和结果限制系数有降低CP秩。本文提出了一种通用而有效的惩罚最小二乘估计算法，该算法允许对系数进行岭（L_2）惩罚。其目的是给出贝叶斯后验模型，从而激发吉布斯抽样算法进行推理。我们说明了面部图像数据的应用程序的方法。R包可在https://github.com/lockEF/MultiwayRegression上获得。
2017-06-26 stat.ME stat.ML
