A Dictionary-Based Generalization of Robust PCA with Applications to Target Localization in Hyperspectral Imaging
University of Minnesota（明尼苏达大学）；Princeton University（普林斯顿大学）
我们认为分解的数据矩阵假设是一个低秩矩阵和一个组成部分，这是稀疏的，在一个已知的字典，使用凸分层方法的叠加。我们考虑两个稀疏结构的字典稀疏分量的稀疏因子，即条目和列稀疏，并提供了一个统一的分析，包括不完全和过完全字典的情况下，表明组成矩阵可以成功地恢复在一些相对温和的条件下的不一致性，稀疏性和秩。我们利用这些结果来定位目标的高光谱（HS）图像的基础上，他们的光谱签名（S）使用先验已知的特征光谱响应的目标。我们证实了我们的理论结果，并通过实验评估和相关技术的比较分析我们的方法的目标定位性能。
2020-06-30 cs.LG math.OC stat.ML
Robust Kronecker-Decomposable Component Analysis for Low-Rank Modeling
Imperial College London（帝国理工学院）；Middlesex University（密德萨斯大学）；University of Oulu（奥卢大学）
字典学习和分量分析是研究最充分和最活跃的研究领域之一的一部分，处于信号和图像处理、计算机视觉和统计机器学习的交叉点。在字典学习中，当前选择的方法可以说是K-SVD及其变体，它们学习字典（即，分解）以用于经由奇异值分解的稀疏编码。在鲁棒分量分析中，主要的方法来自主分量追踪（PCP），它从未知幅度和支持的稀疏损坏中恢复低秩矩阵。然而，K-SVD对训练集中噪声和离群值的存在很敏感。此外，PCP不提供尊重数据结构的字典（例如，图像），并且当通过凸松弛求解时需要昂贵的SVD计算。在本文中，我们介绍了一种新的鲁棒分解的图像结合稀疏字典学习和PCP的想法。我们提出了一种新的克罗内克可分解成分分析，它对严重腐败具有鲁棒性，可用于低秩建模，并利用可分性来解决显着较小的问题。我们设计了一个有效的学习算法，通过绘制与张量分解的限制形式的链接。所提出的方法的有效性证明了在现实世界中的应用，即背景减除和图像去噪，通过执行一个彻底的比较与当前的最先进的。
2017-07-26 cs.CV stat.ML
Dictionary-based Low-Rank Approximations and the Mixed Sparse Coding problem
Univ Lyon, INSA-Lyon, UCBL, UJM-Saint Etienne, CNRS, Inserm, CREATIS UMR 5220, U1206（里昂大学、里昂国立应用科学学院、里昂第一大学、圣埃蒂安让·莫内大学、法国国家科学研究中心、法国国家健康与医学研究院、CREATIS医学影像研究中心）
约束张量和矩阵分解模型允许从多路数据中提取可解释的模式。因此，约束低秩近似的可辨识性及其有效算法是当前重要的研究课题。本文研究了一个低秩近似的因子矩阵列在一个已知且可能过完备的基上是稀疏的，这个模型被称为基于字典的低秩近似（DLRA）.虽然早期的贡献集中在寻找候选列字典中的因子列，即一稀疏近似，但这项工作是第一个解决稀疏度大于一的DLRA。我建议把重点放在稀疏编码子问题创造混合稀疏编码（MSC），解决DLRA时出现的交替优化策略。提出了几种基于稀疏编码算法（贪婪法、凸松弛法）的MSC求解算法。模拟数据的性能进行评估，这些prosticistics。然后，我展示了如何适应一个高效的MSC求解器的基础上LASSO计算字典为基础的矩阵分解和规范的多元分解的背景下，高光谱图像处理和化学计量学。这些实验表明，DLRA扩展了低秩近似的建模能力，有助于减少估计方差，提高估计因子的可识别性和可解释性。
2022-01-21 cs.LG stat.ML
Understanding Deflation Process in Over-parametrized Tensor Decomposition
Duke University（杜克大学）；Shanghai Jiao Tong University（上海交通大学）
本文研究了过参数化张量分解问题上梯度流的训练动力学。从经验上讲，这种训练过程通常首先拟合较大的分量，然后发现较小的分量，这类似于张量分解算法中常用的张量收缩过程。我们证明，对于正交可分解的张量，稍微修改的版本的梯度流将遵循张量收缩过程，并恢复所有的张量分量。我们的证明表明，对于正交张量，梯度流动力学的工作原理类似于矩阵设置中的贪婪低秩学习，这是理解低秩张量过参数化模型的隐式正则化效应的第一步。
2021-10-24 cs.LG stat.ML
Estimating Joint Probability Distribution With Low-Rank Tensor Decomposition, Radon Transforms and Dictionaries
IIT Bombay（印度理工学院孟买分校）；Walmart Global Tech（沃尔玛全球科技）
本文提出一种结合字典表示一维密度与随机投影从一维边缘分布重建联合概率密度的方法，利用低秩张量分解假设，在合成数据上相比字典方法和GMM取得更优估计性能与样本复杂度。
2023-04-18 cs.LG eess.SP stat.ML
E-commerce Anomaly Detection: A Bayesian Semi-Supervised Tensor Decomposition Approach using Natural Gradients
India ML - Amazon.com（亚马逊印度机器学习部门）；Microsoft（微软）
异常检测有几个重要的应用。在本文中，我们的重点是使用张量分解检测异常的卖方审查数据。虽然张量分解大多是无监督的，但我们制定了贝叶斯半监督张量分解，以利用稀疏标记数据。此外，我们使用Polya-Gamma数据增强的半监督贝叶斯张量分解。最后，我们证明了Pólya-Gamma公式简化了部分自然梯度学习的Fisher信息矩阵的计算。我们的实验结果表明，我们的半监督方法优于最先进的无监督基线。部分自然梯度学习优于随机梯度学习和Online-EM，具有充分的统计量。
2018-05-29 cs.LG stat.ML
Tensor Decompositions in Deep Learning
University of Pisa（比萨大学）；Imperial College（帝国理工学院）
本文综述了张量分解在现代机器学习应用中的主题。它侧重于三个积极的研究课题，对社会具有重要意义。在简要回顾了多路数据分析的综合工作之后，我们考虑使用张量分解来压缩深度学习模型的参数空间。最后，我们将讨论如何利用张量方法来产生复杂数据（包括结构化信息）的更丰富的自适应表示。本文最后讨论了有趣的开放式研究的挑战。
2020-02-26 cs.LG stat.ML
Introduction to Tensor Decompositions and their Applications in Machine Learning
Technical University of Munich（慕尼黑工业大学）
张量是数值的多维数组，因此将矩阵推广到多维。虽然张量在$20^{\text{th}}$世纪首次出现在心理测量学社区，但从那时起，它们已经传播到许多其他学科，包括机器学习。张量及其分解在无监督学习环境中特别有益，但在其他子学科中也越来越受欢迎，如时态和多关系数据分析。本文的范围是对张量、它们的分解以及它们如何在机器学习中使用进行广泛的概述。作为其中的一部分，我们将介绍基本的张量概念，讨论为什么张量在分解的唯一性方面可以被认为比矩阵更严格，解释最重要的因式分解算法及其属性，提供张量分解在机器学习中应用的具体示例，对基于张量的混合模型估计进行案例研究，讨论研究现状，并提供对可用软件库的引用。
2017-11-29 cs.LG stat.ML
Exact nuclear norm, completion and decomposition for random overcomplete tensors via degree-4 SOS
The University of Chicago（芝加哥大学）
在本文中，我们表明，简单的半定程序的启发程度$4$ SOS可以精确地解决张量的核模，张量分解，张量完成问题的张量随机非对称组件。更确切地说，对于张量核范数和张量分解，我们证明了w. h. p.这些半定程序可以精确地找到具有$m\leq n^{3/2}/polylog(n)$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$的核范数和分量。与大多数以前的算法不同，我们的算法提供了一个证书的分解，不需要了解分解中的组件的数量，也不做任何假设的分解中的系数的大小。作为一个副产品，我们表明，w. h. p.核范数分解正好符合最低秩分解张量与$m\leq n^{3/2}/polylog(n)$随机不对称组件。对于张量完备化，我们证明了Potechin & Steurer（2017）为具有正交分量的张量引入的半定程序w. h. p.可以仅从$n^{3/2}m polylog(n)$随机观察到的条目中精确地恢复具有$m$随机非对称分量的$(n\times n\times n)$ -张量$\mathcal{T}$。对于非正交张量，这提高了依赖于$m$的条目的数量所需的精确恢复在所有以前已知的算法，并提供了第一个理论保证，在过完备制度的精确张量完成。
2021-10-28 cs.CC cs.DS cs.LG
Dictionary Learning for Massive Matrix Factorization
Inria（法国国家信息与自动化研究所）；CEA（法国原子能与替代能源委员会）；Paris-Saclay University（巴黎萨克雷大学）；Neurospin（Neurospin 神经影像研究中心）；Grenoble（格勒诺布尔）
稀疏矩阵分解是获得可解释数据分解的流行工具，其也有效地执行数据补全或去噪。它对大型数据集的适用性已经通过在线和随机方法得到了解决，这些方法降低了其中一个矩阵维度的复杂性，但并没有同时降低这两个维度的复杂性。在本文中，我们处理非常大的矩阵在两个维度。我们提出了一种新的因式分解方法，可以优雅地扩展到TB级的数据集，这是以前的算法在合理的时间内无法处理的。我们证明了我们的方法在大量功能性磁共振成像（fMRI）数据上的效率，以及推荐系统的矩阵完成问题，与最先进的坐标下降方法相比，我们获得了显着的速度提升。
2016-05-26 cs.LG q-bio.QM stat.ML
Sparse Coding and Dictionary Learning for Symmetric Positive Definite Matrices: A Kernel Approach
NICTA（澳大利亚国家信息与通信技术研究院）；University of Queensland（昆士兰大学）；Australian National University（澳大利亚国立大学）
最近的进展表明，广泛的计算机视觉问题可以更适当地解决考虑非欧几里德几何。本文研究了对称正定矩阵空间中的稀疏编码和字典学习问题，这些对称正定矩阵构成了一个黎曼流形。借助最近引入的Stein内核（与Bregman矩阵发散的对称版本有关），我们建议通过将黎曼流形嵌入到再生核Hilbert空间中来进行稀疏编码。这导致了Lasso问题的凸和核版本，可以有效地解决。此外，我们提出了一个算法学习黎曼字典（用于稀疏编码），紧密联系的斯坦内核。几个分类任务（人脸识别，纹理分类，人的重新识别）的实验表明，所提出的稀疏编码方法实现了显着的改善，在歧视的准确性，在比较国家的最先进的方法，如张量稀疏编码，黎曼局部保持投影，和局部特征的累积驱动。
2013-04-16 cs.CV cs.LG stat.ML
Stochastic Gradients for Large-Scale Tensor Decomposition
Sandia National Laboratories（桑迪亚国家实验室）；University of Michigan（密歇根大学）
张量分解是一个著名的多路数据分析工具。这项工作提出了使用随机梯度有效的广义正则多元（GCP）张量分解的大规模张量。GCP张量分解是最近提出的张量分解的一个版本，它允许各种损失函数，例如用于二进制数据的Bernoulli损失或用于鲁棒估计的Huber损失。随机梯度由张量的随机采样元素形成，并且是有效的，因为它可以使用稀疏矩阵化张量乘以Khatri-Rao乘积（MTTKRP）张量核来计算。对于稠密张量，我们简单地使用均匀采样。对于稀疏张量，我们提出了两种类型的分层抽样，优先考虑采样非零。数值结果表明，所提出的方法和其可扩展性的大规模问题的优势。
2020-07-08 cs.LG cs.NA math.NA
Upper Bound of Real Log Canonical Threshold of Tensor Decomposition and its Application to Bayesian Inference
Tokyo Institute of Technology（东京工业大学）
本文针对奇异学习机张量分解数学性质未明的问题，利用代数几何方法推导其实对数规范阈值上界，理论计算贝叶斯泛化误差，并通过数值实验探讨其数学性质。
2023-04-03 cs.LG math.ST stat.ML
Tensor Decomposition via Variational Auto-Encoder
张量分解是一种捕捉多路数据间高阶相互作用的重要技术。多线性张量合成方法，如Tucker分解和CANDECOMP/PARAFAC（CP），假设对象之间的复杂相互作用是多线性的，因此不足以表示数据中的非线性关系。这些方法的另一个假设是，预定义的排名应该是已知的。然而，张量的秩很难估计，特别是对于缺失值的情况。为了解决这些问题，我们设计了张量分解的贝叶斯生成模型。与传统的贝叶斯方法不同，本文采用变分自动编码器对张量项间的高阶相互作用进行建模。该模型综合了神经网络和非参数贝叶斯模型的优点，通过一个复杂的非线性函数（通过神经网络）代替传统贝叶斯张量分解中的多线性乘积，其参数可以从数据中学习。对合成数据和真实世界化学计量学张量数据的实验结果表明，我们的新模型可以实现比最先进的张量分解方法显着更高的预测性能。
2016-11-03 stat.ML
Compressed Online Dictionary Learning for Fast fMRI Decomposition
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Paris-Saclay University（巴黎萨克雷大学）
我们提出了一种快速静息状态fMRI空间分解的非常大的数据集，基于减少的时间维度之前，应用字典学习连接的个人记录从组的主题。介绍了一个措施的对应关系的空间分解休息功能磁共振成像，我们证明了时间减少字典学习产生的结果可靠的非减少分解。我们还表明，这种减少显着提高计算的可扩展性。
2016-02-08 cs.LG stat.ML
Tensor decomposition for learning Gaussian mixtures from moments
在数据处理和机器学习中，一个重要的挑战是恢复和利用能够准确表示数据的模型。我们考虑从数据集恢复高斯混合模型的问题。我们研究了对称张量分解方法来解决这个问题，其中张量是从数据分布的经验矩建立的。我们认为，可识别的张量，有一个独特的分解，表明时刻张量建立从球面高斯混合有这个属性。我们证明了插值度严格小于其阶数一半的对称张量是可识别的，并提出了一种基于简单线性代数运算的算法来计算其分解。说明性的实验表明，张量分解方法恢复高斯混合的影响，与其他国家的最先进的方法相比。
2022-06-21 math.AG stat.ML
Tensor decomposition with generalized lasso penalties
我们提出了一种惩罚张量分解（PTD）的方法，估计多路数据中平滑变化的潜在因素。这概括了现有的工作稀疏张量分解和惩罚矩阵分解，在回归和平滑问题的广义套索平行的方式。我们的方法提出了许多不平凡的挑战，在建模和计算的交叉点，这是详细研究。提出了一种求解（PTD）问题的有效坐标优化算法，并给出了其收敛性质。该方法适用于模拟数据和真实数据在得克萨斯州的流感住院治疗。这些结果表明，我们的惩罚张量分解可以提供现有的方法进行分析，表现出平滑的空间或时间特征的多路数据的重大改进。
2016-05-13 stat.CO stat.ME stat.ML
STARK: Structured Dictionary Learning Through Rank-one Tensor Recovery
Rutgers University（罗格斯大学）
近年来，已经提出了一类用于多维（张量）数据表示的字典，其通过在数据底层的字典上施加克罗内克结构来利用张量数据的结构。在这项工作中，一种新的算法称为“STARK”的学习克罗内克结构字典，可以表示任何顺序的张量。通过建立任何数量的矩阵的克罗内克积可以重新排列，以形成一个秩1张量，我们表明，克罗内克结构可以通过解决秩1张量恢复问题的字典。由于秩-1张量恢复是一个具有挑战性的非凸问题，我们求助于解决这个问题的凸松弛。对合成数据和真实数据的实验结果表明，我们所提出的算法是有前途的。
2017-11-13 cs.LG stat.ML
Convolutional Dictionary Learning through Tensor Factorization
University of California Irvine（加州大学欧文分校）
张量方法已经成为许多潜在变量模型（如主题模型，独立成分分析和字典学习）的一致性学习的强大范例。模型参数估计通过CP分解所观察到的高阶输入的时刻。然而，在许多领域中，存在额外的不变性，例如移位不变性，通过卷积字典学习等模型来实施。在本文中，我们开发了新的张量分解算法的卷积模型的参数估计。我们的算法是基于流行的交替最小二乘法，但有效的投影到堆叠循环矩阵的空间。我们的方法是并行的，由简单的操作，如快速傅立叶变换和矩阵乘法。我们的算法收敛到字典更快，更准确地相比，交替最小化过滤器和激活映射。
2015-06-18 cs.LG stat.ML
Sparse Logistic Tensor Decomposition for Binary Data
张量数据在许多应用领域中越来越可用。我们开发了几种张量分解方法的二进制张量数据。不同于经典的张量分解的连续值数据的平方误差损失，我们制定的逻辑张量分解的二进制数据与伯努利似然。为了提高估计因子的可解释性和进一步提高其稳定性，我们提出了考虑$\ell_{1}$ -范数和$\ell_{0}$ -范数正则似然的Logistic张量分解的稀疏公式。为了处理由此产生的优化问题，我们开发了计算算法，结合张量幂方法和优化最小化（MM）算法的优势。通过模拟研究，我们证明了我们的方法在分析二进制张量数据的效用。为了说明所提出的方法的有效性，我们分析了一个关于国家和他们的政治关系的数据集，并进行估计因素的共聚类，以找到国家和政治关系之间的关联。
2021-06-27 stat.AP stat.CO
Learning a collaborative multiscale dictionary based on robust empirical mode decomposition
Peking University（北京大学）
字典学习在图像处理的许多领域都是一个具有挑战性的课题。基本目标是从过完备基集中学习稀疏表示。由于结合了通用多尺度表示和基于学习的自适应性的优点，多尺度字典表示方法具有捕获自然图像结构特征的能力。然而，现有的多尺度学习方法仍然遭受三个主要的弱点：不适应不同尺度的图像数据，对噪声和离群值的敏感性，难以确定最佳的字典结构。在本文中，我们提出了一种新的多尺度字典学习模式的稀疏图像表示的基础上改进的经验模式分解。这个强大的数据驱动的多维信号分析工具可以根据数据本身的固有模式，完全自适应地将图像分解为多尺度振荡分量。这种处理可以获得一个强大的和有效的稀疏表示，同时产生一个原始的基字典在多个几何尺度和空间频带。该字典是通过基于频率聚类选择最佳振荡原子来改进的。为了进一步增强稀疏性和泛化能力，使用一致性正则化模型学习容差字典。一个快速的邻近计划，以优化这个模型。多尺度字典被认为是振荡字典和容差字典的产物。实验结果表明，所提出的学习方法具有优越的性能在稀疏图像表示相比，几个竞争的方法。我们也展示了有前途的结果在图像去噪应用。
2017-04-04 cs.CV cs.LG
Dictionary Learning Using Rank-One Atomic Decomposition (ROAD)
Imperial College London（帝国理工学院）
字典学习的目的是寻找一个能够稀疏表示训练数据的字典。文献中的方法通常将字典学习问题制定为优化w.r.t.两个变量，即，字典和稀疏系数，并通过在两个阶段之间交替来解决它：稀疏编码和字典更新。这项工作的主要贡献是一个秩一原子分解（ROAD）制定字典学习铸造作为一个优化w.r.t.一个单一的变量，它是一组秩一矩阵。因此，所得到的算法是单级的。与两阶段算法相比，ROAD算法在保持数据一致性约束的同时，最大限度地减少了系数的稀疏性。一个交替方向的乘数法（ADMM）的推导来解决优化问题，并计算罚参数的下界，以保证全局收敛，尽管非凸的优化配方。从实用的角度来看，ROAD减少了其他基准测试算法所需的调优参数的数量。数值试验表明，ROAD算法在模拟数据和真实数据下的性能都优于其他基准算法，尤其是在训练样本较少的情况下。
2021-10-26 cs.LG eess.SP
Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning
University of Southern California（南加州大学）；Princeton University（普林斯顿大学）；University of Minnesota（明尼苏达大学）
我们考虑的问题，分解成其组成的典型的Polyadic（CP）因子的结构3路张量。这种分解可以被视为张量奇异值分解（SVD）的推广，揭示了张量维度（特征）如何相互作用。然而，由于这些因素是先验未知的，相应的优化问题本质上是非凸的。现有的保证算法，处理这种非凸性产生不可约的错误（偏见），并只适用于所有因素具有相同的结构的情况下。为此，我们开发了一个在线结构张量因式分解的可证明算法，其中一个因子服从一些不相干条件，而其他因子是稀疏的。具体来说，我们表明，在一些相对温和的条件下的初始化，秩和稀疏性，我们的算法恢复的因素完全（缩放和置换）在一个线性速率。作为对我们理论结果的补充，我们的合成和真实世界数据评估与相关技术相比显示出卓越的性能。此外，它的可扩展性和动态学习能力使其适合现实世界的任务。
2020-06-30 cs.LG stat.ML
Joint Sensing Matrix and Sparsifying Dictionary Optimization for Tensor Compressive Sensing
University of Cambridge（剑桥大学）；Beijing Jiaotong University（北京交通大学）
张量压缩感知（TCS）是压缩感知（CS）的多维框架，并且与常规CS系统相比，它在减少存储量、简化硬件实现和保留信号的多维结构方面是有利的。在TCS系统中，代替使用随机感测矩阵和预定义字典，可以通过采用优化的多维感测矩阵和学习的多线性稀疏化字典来进一步提高平均情况性能。在本文中，我们提出了一种联合优化方法的传感矩阵和字典的TCS系统。对于TCS中的感知矩阵设计，在多线性字典固定的情况下，提出了一种具有封闭解的扩展可分方法和一种新的迭代不可分方法。此外，一个多维字典学习方法，利用多维结构的推导，并在学习过程中的传感矩阵的影响考虑。通过交替迭代优化传感矩阵和字典，实现了联合优化。使用合成数据和真实图像的数值实验表明，所提出的方法的优越性。
2016-01-28 cs.IT cs.LG math.IT
Minimax Lower Bounds for Kronecker-Structured Dictionary Learning
Rutgers University（罗格斯大学）
字典学习是估计提供测量/收集的信号或数据的稀疏表示的原子元素的集合的问题。本文通过证明极大极小风险的下界，发现了张量数据估计字典的样本复杂性的根本限制。这个下限取决于张量的维度和生成模型的参数。本文的重点是二阶张量数据，与基础的字典构造两个较小的字典和观测数据的字典原子通过高斯白噪声观察到的稀疏线性组合的克罗内克积。在这方面，本文提供了一个一般的最小最大风险的下限，并采用稀疏和高斯系数模型的等价结果的证明技术。报告的结果表明，张量数据的字典学习的样本复杂度可以显着低于非结构化数据。
2016-05-17 cs.IT cs.LG math.IT
Online Multilinear Dictionary Learning
Department of Electrical & Electronic Engineering, Imperial College London, United Kingdom（伦敦帝国理工学院电子与电气工程系）
提出了一种在线张量字典学习方法。在可分字典的假设下，利用张量收缩将$\mathcal{O}\left(L^N\right)$的$N$ -路模型简化为具有实时性的简单的$\mathcal{O}\left(NL^2\right)$矩阵方程。为了避免稀疏矩阵求逆引起的数值不稳定性，通过最小二乘解构造了一类具有记忆的随机梯度算法，以保证算法的收敛性和鲁棒性。讨论并实现了精确线搜索的梯度下降法和牛顿法。还详细解释了如何处理不良初始化和离群值的扩展。两个合成信号的实验证实了我们所提出的方法令人印象深刻的性能。
2020-03-10 cs.LG stat.ML
Denoising and Completion of 3D Data via Multidimensional Dictionary Learning
Tufts University（塔夫茨大学）
本文提出了一种新的多维数据字典学习算法。与大多数传统的用于处理向量或矩阵的字典学习方法不同，我们的算法名为KTSVD，通过[3，12，13]中提出的张量因子分解的新代数方法直接学习多维字典。使用这种方法可以定义一个张量SVD，我们建议扩展K-SVD算法用于1-D数据的K-TSVD算法处理2-D和3-D数据。我们的算法，基于稀疏编码的思想（使用组稀疏多维系数向量），估计一个紧凑的表示和字典学习之间的交替。我们分析了我们的KTSVD算法，并展示了其结果的视频完成和多光谱图像去噪。
2015-12-31 cs.CV cs.DS cs.LG
Generalizing Dynamic Mode Decomposition: Balancing Accuracy and Expressiveness in Koopman Approximations
University of California, San Diego（加州大学圣地亚哥分校）
利用Koopman算子方法研究未知动力系统的数据驱动逼近问题。给定一个函数字典，这些方法近似于算子作用在字典所张成的有限维子空间上的投影。我们提出了可调对称子空间分解算法来改进字典，平衡其表达能力和准确性。表达性对应于字典描述尽可能多的可观察量的演变的能力，准确性对应于正确预测其演变的能力。基于Koopman不变子空间产生精确预测的观察，我们推断预测精度是由字典生成的子空间的不变性程度的函数，并提供了一个数据驱动的度量来测量不变性接近度。所提出的算法迭代修剪的初始功能空间，以确定一个完善的字典的功能，满足所需的精度水平，同时保留尽可能多的原始表现力。我们提供了一个完整的表征的算法性能，并表明，它概括了扩展的动态模式分解和对称子空间分解。平面系统上的仿真表明，所提出的方法在生产可调精度的Koopman近似捕获有关的动力系统的相关信息的有效性。
2023-02-27 cs.LG cs.SY eess.SY
Multi-Dictionary Tensor Decomposition
University at Albany- SUNY（纽约州立大学奥尔巴尼分校）
本文提出多字典张量分解（MDTD）框架，利用模态先验字典获得稀疏编码因子，在重建、缺失值填补和秩估计上显著优于无字典方法，并能高效处理十亿级稀疏张量。
2023-09-18 cs.LG
Discrete Dictionary-based Decomposition Layer for Structured Representation Learning
Kyungpook National University（庆北国立大学）；ALI Co., Ltd.（ALI有限公司）
针对基于张量积表示（TPR）的神经网络难以分解未见数据的问题，提出基于离散可学习键值字典的D3即插即用层，利用训练先验生成结构化TPR表示，在更少额外参数下提升多种TPR模型的系统泛化能力，合成任务表现优于基线。
2024-11-01 cs.AI cs.LG
Structured Discriminative Tensor Dictionary Learning for Unsupervised Domain Adaptation
Nanjing University of Posts and Telecommunications（南京邮电大学）；Texas State University（得克萨斯州立大学）；University of Trento（特伦托大学）；Nanjing University of Science and Technology（南京理工大学）；University of Technology Sydney（悉尼科技大学）；Wuhan University（武汉大学）
无监督领域自适应（UDA）解决了在计算机视觉应用中常见的由于训练集和测试集之间的领域移位而导致的性能下降的问题。现有的UDA方法大多是基于矢量形式的数据，虽然在可视化应用中的数据或特征的典型格式是多维张量。此外，目前的方法，包括深度网络方法，假设提供了大量的标记源样本用于训练。然而，在实际应用中，标注源样本的数量总是有限的，由于昂贵的注释成本，使得次优性能被观察到。在本文中，我们提出了通过学习张量空间中的结构化字典来寻求多维数据的判别表示。该字典将领域信息和类信息分离，保证了表示对领域的鲁棒性。此外，为了避免外部分类器的设计，提出了一种伪标签估计方案，在算法迭代中结合判别分析。我们在有限的源样本的不同数据集上进行了广泛的结果。实验结果表明，该方法优于国家的最先进的方法。
2019-05-11 cs.CV cs.LG
Differentiable Dictionary Search: Integrating Linear Mixing with Deep Non-Linear Modelling for Audio Source Separation
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
本文介绍了几个改进的信号分解的新方法，我们最近制定的名称下的微分字典搜索（DDS）。DDS的基本思想是利用一类强大的深度可逆密度估计器（称为归一化流），以线性分解方法（如NMF）对字典进行建模，有效地在字典元素空间和相关概率空间之间创建双射，允许在估计密度的指导下通过字典空间进行可微搜索。由于最初的公式是一个概念证明，有一些实际的限制，我们将提出几个步骤，使其可扩展，希望提高计算复杂性的方法和信号分解能力。作为实验评估的测试平台，我们选择了框架级钢琴转录的任务，其中信号被分解为活动归因于单个钢琴音符的源。为了突出改进的非线性建模源的影响，我们比较我们的方法的变体的线性过完备NMF基线。实验结果将表明，即使在没有额外的约束，我们的模型产生越来越稀疏和精确的分解，根据两个相关的评估措施。
2022-11-28 cs.LG cs.SD eess.AS
Extended dynamic mode decomposition with dictionary learning using neural ordinary differential equations
Osaka University（大阪大学）
非线性现象可以通过使用算子理论方法的线性技术进行分析。数据驱动的方法称为扩展动态模式分解（EDMD）及其变体，它近似与非线性现象相关联的Koopman算子，通过结合机器学习方法得到了迅速发展。神经常微分方程（NODE）是一种具有连续层的神经网络，具有高的参数和存储效率。在本文中，我们提出了一种算法来执行EDMD使用NODE。NODE是用来找到一个参数有效的字典，它提供了一个很好的有限维近似的Koopman算子。通过数值实验，我们证明了该方法的参数效率的优越性。
2022-05-17 cs.LG cs.NA eess.SP
Online multidimensional dictionary learning
University Cadi Ayyad（卡迪·艾亚德大学）；Université du Littoral Côte d’Opale（滨海布洛涅大学）
本文提出基于 t-product 框架的在线多维字典学习方法，结合 Anderson 加速的 ISTA 算法提升稀疏求解效率，在数据补全等任务中优于现有加速技术。
2025-03-12 cs.LG cs.NA math.NA
Learning Mixtures of Separable Dictionaries for Tensor Data: Analysis and Algorithms
Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；Electronic Arts（美国艺电）
这项工作解决了使用结构化字典学习学习张量数据的稀疏表示的问题。它提出了通过推广可分离字典学习模型来学习可分离字典的混合，以更好地捕获张量数据的结构。两种不同的方法学习混合的可分离的字典进行了探讨，并在每种情况下的基础字典的局部可识别性的充分条件。此外，计算算法的开发，以解决学习混合的可分离字典在批处理和在线设置的问题。数值实验表明，所提出的模型和算法的有效性。
2020-06-14 cs.IT cs.LG eess.SP
Solving inverse problems with deep neural networks driven by sparse signal decomposition in a physics-based dictionary
ICTEAM Institute（ICTEAM研究所）；Université catholique de Louvain（鲁汶天主教大学）
深度神经网络（DNN）具有令人印象深刻的能力来反演非常复杂的模型，即从模型的输出中学习生成参数。一旦经过训练，DNN的前向传递通常比用于解决逆问题的传统基于优化的方法快得多。然而，这是以较低的可解释性为代价的，这是大多数医疗应用中的基本限制。我们提出了一种解决一般反问题的方法，它结合了DNN的效率和传统分析方法的可解释性。首先将测量值投影到基于模型的响应的密集字典上。然后将得到的稀疏表示馈送到DNN，该DNN具有由问题的物理驱动的架构，以进行快速参数学习。我们的方法可以处理生成的前向模型，这些模型的评估成本很高，并且在准确性和计算时间方面表现出与完全学习的DNN相似的性能，同时保持高度的可解释性，并且更容易训练。具体的结果示出了基于模型的脑参数估计的磁共振成像（MRI）的一个例子。
2021-07-16 cs.LG
Efficient and Parallel Separable Dictionary Learning
University Politehnica Bucharest（布加勒斯特理工大学）；University of Bucharest（布加勒斯特大学）
可分离或克罗内克积字典为2D信号（如图像）提供自然分解。在本文中，我们描述了一个高度并行化的算法，学习这样的字典，达到稀疏表示与以前的最先进的字典学习算法从文献中竞争，但在较低的计算成本。我们强调所提出的方法稀疏表示图像和高光谱数据，图像去噪的性能。
2021-12-01 cs.LG cs.NA eess.IV
Online nonnegative CP-dictionary learning for Markovian data
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加州大学洛杉矶分校）
在线张量分解（OTF）是从流多模态数据中学习低维可解释特征的基本工具。虽然各种算法和理论方面的OTF最近已经调查，一个一般的收敛保证不需要任何不相干或稀疏假设的目标函数的固定点仍然缺乏，即使是独立同分布。案子在这项工作中，我们介绍了一种新的算法，学习一个CANDECOMP/PARAFAC（CP）的基础上，从一个给定的流的张量值的数据下的一般约束，包括非负性约束，诱导学习CP基础的可解释性。我们证明了我们的算法几乎必然收敛到目标函数的平稳点集的假设下，数据张量的序列是由一个潜在的马尔可夫链。我们的设置涵盖了经典的i.i.d.案例以及广泛的应用环境，包括由独立或MCMC采样生成的数据流。我们的结果弥补了OTF和在线矩阵分解在全局收敛性分析\commHL{for CP-decompositions}中的不足。实验上，我们表明，我们的算法收敛速度比标准算法的非负张量因式分解任务的合成和真实世界的数据。此外，我们还展示了我们的算法在图像，视频和时间序列数据的不同示例集上的实用性，说明了如何通过多种方式利用张量结构从相同的张量数据中学习定性不同的CP字典。
2022-04-03 cs.LG math.OC stat.ML
Deep Tensor Encoding
University of Cambridge（剑桥大学）；Cortexica Vision Systems Limited（Cortexica视觉系统有限公司）
在统计信号处理和计算机视觉中，学习根据过完备字典或信息几何（Fisher向量）构造的特征向量的编码是广泛传播的。在使用深度学习分类器的基于内容的信息检索中，这种编码在扁平化的最后一层上学习，而不遵守底层特征张量的多线性结构。我们说明了各种功能编码，包括。稀疏字典编码和Fisher向量，以及提出结构化张量因子分解方案使我们能够执行检索，在平均精度方面，与Fisher向量编码的图像签名相当。简而言之，我们说明了结构约束如何提高检索保真度。
2017-11-12 cs.IR cs.LG stat.ML
Temporal Forward-Backward Consistency, Not Residual Error, Measures the Prediction Accuracy of Extended Dynamic Mode Decomposition
UC San Diego（加州大学圣地亚哥分校）
扩展动态模式分解（EDMD）是一种流行的数据驱动方法，用于近似Koopman算子在由函数字典所张成的线性函数空间上的作用。EDMD模型的准确性主要取决于特定字典跨度的质量，特别是在Koopman算子下它是多么接近不变。出于观察，EDMD的残留误差，通常用于字典学习，不编码的功能空间的质量和基础的选择是敏感的，我们引入了新的概念的一致性指数。我们表明，这种措施，基于使用EDMD向前和向后的时间，享有一些理想的品质，使其适合数据驱动的建模动力系统：它衡量函数空间的质量，它在基的选择下是不变的，可以从数据中以封闭形式计算，并且为字典的整个跨度上的所有函数预测的相对均方根误差提供了严格的上限。
2022-11-07 cs.LG cs.SY eess.SY
Feature Learning in Wide Neural Networks under $μ$P: Identifiability and Sparse-Dictionary Decomposition of the Mean-Field Limit
Independent Researcher（独立研究者）
本文在最大更新参数化（μP）下，针对宽两层神经网络，建立了特征学习的四个结构结果，包括平均场极限的全局存在唯一性、可辨识性刻画、稀疏字典分解以及总特征学习误差分解，并揭示了架构-数据对的自然学习单元。
2026-05-23 cs.LG math.PR math.ST
Legendre Decomposition for Tensors
National Institute of Informatics（国立信息学研究所）；JST, PRESTO（日本科学技术振兴机构先驱研究项目）；RIKEN Center for Brain Science（理化学研究所脑科学中心）；The University of Tokyo（东京大学）；NIMS（日本物质材料研究机构）；RIKEN AIP（理化学研究所先进智能项目中心）
我们提出了一种新的非负张量分解方法，称为勒让德分解，它将输入张量分解为参数的乘法组合。由于信息几何理论的发展，重建张量是唯一的，总是最小化输入张量的库尔贝克-莱布勒散度。我们的经验表明，勒让德分解可以更准确地重建张量比其他非负张量分解方法。
2018-10-29 cs.LG stat.ML
Latent Matrices for Tensor Network Decomposition and to Tensor Completion
Guangdong University of Technology（广东工业大学）；RIKEN（理化学研究所）
目前流行的全连接张量网络（FCTN）在数据压缩方面取得了很好的效果。然而，FCTN分解在面对高阶和大规模数据时存在计算速度慢的问题。很自然地，会出现一个有趣的问题：是否可以提出一个新的模型，将张量分解为更小的张量，并加快算法的计算速度？这项工作给出了一个积极的答案，制定了一个新的高阶张量分解模型，利用基于张量网络结构的潜在矩阵，它可以将张量分解成比FCTN分解更小规模的数据，因此我们将其命名为张量网络分解的潜在矩阵（LMTN）。此外，三个优化算法，LMTN-PAM，LMTN-SVD和LMTN-AR，已被开发并应用于张量完成任务。此外，我们提供了理论上的收敛性证明和复杂性分析这些算法。实验结果表明，该算法在深度学习数据集压缩和高阶张量补全方面均具有较好的效果，LMTN-SVD算法比FCTN-PAM算法快3-6倍，精度仅下降1.8点。
2022-10-19 cs.DS cs.LG
Optimal spectral transportation with application to music transcription
Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；OCA（蔚蓝海岸天文台）；IRIT（图卢兹计算机科学研究所）；Université de Bretagne Sud（南布列塔尼大学）；IRISA（法国国家信息与自动化研究所-雷恩第一大学联合研究中心）；Aix-Marseille Université（艾克斯-马赛大学）；LIF（计算机科学实验室）
许多光谱解混方法依赖于光谱数据到光谱模板字典上的非负分解。特别地，现有技术的音乐转录系统将输入信号的谱图分解到代表性音符谱的字典上。用于量化分解充分性的典型拟合度量是按频率比较数据和模板条目。因此，能量从一个频率箱到另一个频率箱的小位移以及木材的变化可能会损害拟合。我们解决这些问题，通过最佳的运输，并提出了一个新的措施，以适应整体的频率分布的能量，而不是频率明智的。基于声音的谐波性质，新的测量对于能量到谐波相关频率的移位以及能量的小的和局部的位移是不变的。配备了这种新的适应措施，笔记模板的字典可以大大简化为一组狄拉克向量位于目标基频（音高值）。这反过来又为一个非常快速和简单的分解算法提供了基础，该算法可以在真实的音乐数据上实现最先进的性能。
2016-10-10 cs.LG cs.SD stat.ML
Convex Sparse Matrix Factorizations
Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院计算机实验室）
我们提出了一个凸制定的字典学习稀疏信号分解。凸性是通过用一个类似于迹范数的凸秩减少项来替换字典大小的通常的显式上界来获得的。特别是，我们的配方引入了一个明确的权衡大小和稀疏性的矩形矩阵的分解。使用一个大的合成的例子，我们比较的凸和非凸的方法的估计能力，表明，虽然凸的制定有一个单一的局部最小值，这可能会导致在某些情况下，性能是劣于非凸的制定的局部最小值。
2008-12-10 cs.LG
Mitigating Heterogeneity among Factor Tensors via Lie Group Manifolds for Tensor Decomposition Based Temporal Knowledge Graph Embedding
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；National & Local Joint Engineering Research Center of Intelligent Information Processing Technology for Mongolian（蒙古智能信息处理技术国家地方联合工程研究中心）
针对时序知识图谱嵌入中因子张量异质性损害融合与链接预测的问题，本文提出将因子张量映射至统一光滑李群流形，给出理论证明并无额外参数地增强现有张量分解模型。
2025-02-19 cs.AI cs.CL cs.LG
A Multi-resolution Low-rank Tensor Decomposition
King Juan Carlos University（胡安·卡洛斯国王大学）
针对高阶张量分解的基础问题，受PARAFAC启发提出一种多分辨率低秩张量分解方法，通过将张量重塑为多个低维张量以分层利用不同分辨率结构，并讨论了交替最小二乘算法，初步仿真验证了其潜在实用性。
2024-05-27 cs.LG math.GM
Sampling-Based Decomposition Algorithms for Arbitrary Tensor Networks
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；UC Berkeley（加州大学伯克利分校）
我们将展示如何开发基于采样的交替最小二乘（ALS）算法，用于将张量分解为任何张量网络（TN）格式。如果TN格式满足某些温和的假设，则所得到的算法将具有输入次线性每次迭代成本。与以往大多数基于采样的张量分解ALS方法的工作不同，在我们的框架中的采样是根据ALS子问题中的设计矩阵的精确杠杆分数分布来完成的。我们实现和测试两个张量分解算法，使用我们的采样框架在特征提取实验中，我们将它们与其他一些分解算法进行比较。
2022-10-07 cs.LG cs.NA math.NA
Unsupervised Learning of Word-Sequence Representations from Scratch via Convolutional Tensor Decomposition
无监督文本嵌入提取是机器学习中文本理解的关键。Word 2 Vec及其变体在将具有相似句法或语义含义的词映射到彼此接近的向量方面取得了实质性的成功。然而，提取上下文感知的词序列嵌入仍然是一个具有挑战性的任务。在大型语料库上训练是困难的，因为标签很难获得。更重要的是，对于预训练的模型来说，要获得对所有下游任务或任何新数据集都通用的单词序列嵌入是一个挑战。我们提出了一个两阶段的ConvDic+DeconvDec框架来解决这个问题，通过结合词序列字典学习模型和词序列嵌入解码模型。我们提出了一种卷积张量分解机制，在学习阶段学习好的单词序列短语词典。它被证明是更准确，更有效地比流行的交替最小化方法。在解码阶段，我们引入了一个反卷积框架，它不受句子长度变化的影响。我们使用ConvDic+DeconvDec提取的单词序列嵌入对于我们测试的一些下游任务来说普遍很好。该框架既不需要预训练也不需要先验/外部信息。
2018-05-28 cs.CL cs.LG
Global Optimality in Separable Dictionary Learning with Applications to the Analysis of Diffusion MRI
Johns Hopkins University（约翰斯·霍普金斯大学）
稀疏字典学习是一种流行的方法，用于将信号表示为从数据中学习的字典中的几个元素的线性组合。在经典设置中，信号被表示为向量，并且字典学习问题被提出为矩阵分解问题，其中数据矩阵被近似分解为字典矩阵和系数的稀疏矩阵。然而，在计算机视觉和医学成像的许多应用中，信号更好地表示为矩阵或张量（例如图像或视频），其中利用数据的多维结构来学习更紧凑的表示可能是有益的。一种这样的方法是可分离字典学习，其中人们针对数据的不同维度学习单独的字典。然而，典型的公式涉及解决非凸优化问题，因此保证全局最优性仍然是一个挑战。在这项工作中，我们提出了一个框架，该框架建立在矩阵分解的最新发展基础上，为可分离字典学习提供了全局最优性的理论和数值保证。我们提出了一个算法来找到这样一个全球性的最优解，它交替以下本地下降步骤和检查证书的全局最优性。我们说明了我们的方法上的扩散磁共振成像（dMRI）数据，一种医学成像模式，测量水扩散沿多个角方向在每个体素的MRI体积。dMRI中的现有技术方法要么仅针对信号的角域学习字典，要么在某些情况下独立地学习空间和角字典。在这项工作中，我们应用所提出的可分离的字典学习框架来学习空间和角度的dMRI字典联合，并提供初步验证去噪幻影和真正的dMRI大脑数据。
2019-09-19 cs.LG math.OC
Mode-wise Tensor Decompositions: Multi-dimensional Generalizations of CUR Decompositions
University of California, Los Angeles（加州大学洛杉矶分校）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
低阶张量近似是现代机器学习和数据科学中的基本工具。在本文中，我们研究了两个主要的张量CUR近似，即Chidori和纤维CUR的特征，扰动分析，和一个有效的采样策略。我们刻画了低多线性秩张量的精确张量CUR分解。我们还提出了理论误差界的张量CUR近似（对抗或高斯）噪声出现时。此外，我们表明，低成本的均匀采样是足够的张量CUR近似，如果张量有一个不相干的结构。经验性能评估，与合成和真实世界的数据集，建立张量CUR近似的速度优势，比其他国家的最先进的低多线性秩张量近似。
2021-06-25 cs.IT cs.LG cs.NA
Empirical Evaluation of Four Tensor Decomposition Algorithms
Institute for Information Technology（信息技术研究所）；National Research Council of Canada（加拿大国家研究委员会）
高阶张量分解类似于熟悉的奇异值分解（SVD），但它们超越了矩阵（二阶张量）的限制。奇异值分解是一个强大的工具，在信息检索、协同过滤、计算语言学、计算视觉等领域取得了令人瞩目的成果。然而，SVD仅限于二维数据阵列（两种模式），许多潜在的应用程序具有三种或更多种模式，这需要高阶张量分解。本文评估了高阶张量分解的四种算法：高阶奇异值分解（HO-SVD），高阶正交迭代（HOOI），切片投影（SP）和多层投影（MP）。我们在各种条件下测量四种算法的时间（经过的运行时间）、空间（RAM和磁盘空间要求）和拟合（张量重建精度）。我们发现，HO-SVD和HOOI的标准实现不能扩展到更大的张量，由于RAM的要求越来越高。我们建议HOOI用于足够小的张量，以提供可用的RAM和MP用于较大的张量。
2007-11-13 cs.CL cs.IR cs.LG
More Efficient Sampling for Tensor Decomposition With Worst-Case Guarantees
Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
最近的论文已经开发了交替最小二乘（ALS）的CP和张量环分解的每次迭代的成本是次线性的低秩分解的输入张量条目的数量的方法。然而，这些方法的每次迭代的成本仍然具有指数依赖于张量模式的数量时，选择参数，以实现某些最坏情况下的保证。在本文中，我们提出了基于采样的ALS方法的CP和张量环分解，其成本不具有这种指数依赖性，从而显着提高了以前的国家的最先进的。我们提供了详细的理论分析，并在特征提取实验中应用的方法。
2022-06-17 cs.LG cs.NA math.NA
Towards Programmable Memory Controller for Tensor Decomposition
University of Southern California（南加州大学）；US Army Research Lab（美国陆军研究实验室）
张量分解已经成为许多数据科学应用中的重要工具。稀疏矩阵化张量乘Khatri-Rao积（MTTKRP）是张量分解算法的核心，它将高阶真实世界的大张量分解为多个矩阵。加速MTTKRP可以极大地加快张量分解过程。稀疏MTTKRP是一个具有挑战性的内核加速，由于其不规则的内存访问特性。由于FPGA的能量效率和固有的并行性，在现场可编程门阵列（FPGA）上实现用于诸如MTTKRP的内核的加速器是有吸引力的。本文探讨了机会，关键的挑战，并在FPGA上设计一个自定义的存储器控制器MTTKRP的方法，同时探索这样一个自定义的存储器控制器的参数空间。
2022-07-17 cs.AR cs.DC cs.LG
