On the uniqueness and stability of dictionaries for sparse representation of noisy signals

学习不连贯和过完备字典的新算法

New Algorithms for Learning Incoherent and Overcomplete Dictionaries

在稀疏恢复中，我们给出一个矩阵$A$（字典）和一个形式为$A X$的向量，其中$X$是稀疏的，目标是恢复$X$。这是信号处理、统计学和机器学习的核心概念。但在稀疏编码、边缘检测、压缩和超分辨率等应用中，字典$A$是未知的，必须从$Y = AX$形式的随机示例中学习，其中$X$是从适当的分布中提取的--这就是字典学习问题。在大多数设置中，$A$是过度完成的：它的列数多于行数。本文提出了一种用于学习过完备字典的多项式时间算法;之前已知的唯一具有可证明保证的算法是Spielman、Wang和Wright最近的工作，他们给出了满秩情况的算法，但在应用中很少出现这种情况。我们的算法适用于不连贯的字典，一直是一个中心的研究对象，因为他们介绍了Donoho和霍的开创性工作。特别地，如果每对列的内积至多为$μ/ \sqrt{n}$，则字典是$μ$ -不相干的。该算法对未知稀疏向量$X$进行自然随机假设，该未知稀疏向量$X$可以包含$k \leq c \min(\sqrt{n}/μ\log n, m^{1/2 -η})$非零条目（对于任何$η> 0$）。这接近于最佳稀疏恢复算法所允许的最佳$k$，即使人们确切地知道字典$A$。此外，运行时间和样本复杂度都取决于$\log 1/ε$，其中$ε$是目标精度，因此我们的算法非常快地收敛到真正的字典。我们的算法还可以容忍大量的噪声，只要它相对于字典是不相干的…

噪声环境下稀疏字典学习的局部稳定性和鲁棒性

Local stability and robustness of sparse dictionary learning in the presence of noise

在信号处理和机器学习社区中的一种流行方法包括将信号建模为从学习字典中选择的原子的稀疏线性组合。虽然这种范式在从图像到音频处理的各个领域取得了许多经验性的成功，但只有少数理论论据支持这些证据。特别是，稀疏编码，或稀疏字典学习，依赖于一个非凸的过程，其局部最小值尚未得到充分的分析。在本文中，我们考虑稀疏信号的概率模型，并表明，具有高概率，稀疏编码承认一个局部最小值周围的参考字典产生的信号。我们的研究考虑到的情况下，过完整的字典和嘈杂的信号，从而扩展以前的工作仅限于无噪声设置和/或不完整的字典。我们进行的分析是非渐近的，并且可以理解问题的关键量，例如相干性或噪声水平，如何可以相对于信号的维度，原子的数量，稀疏性和观察的数量进行缩放。

Geometric Sparse Coding in Wasserstein Space

Wasserstein dictionary learning is an unsupervised approach to learning a collection of probability distributions that generate observed distributions as Wasserstein barycentric combinations. Existing methods for Wasserstein dictionary learning optimize an objective that seeks a dictionary with sufficient representation capacity via barycentric interpolation to approximate the observed training data, but without imposing additional structural properties on the coefficients associated to the dictionary. This leads to dictionaries that densely represent the observed data, which makes interpretat…

低置换秩矩阵的结构性质与噪声完备化

Low Permutation-rank Matrices: Structural Properties and Noisy Completion

我们考虑的问题，噪声矩阵完成，其中的目标是重建一个结构化的矩阵，其条目部分观察到的噪音。这个欠定逆问题的标准方法是基于假设基础矩阵具有低秩，或者由低秩矩阵很好地近似。在本文中，我们提出了一个更丰富的模型的基础上，我们所谓的“置换秩”的矩阵。我们首先描述了经典的非负秩模型如何强制执行在实践中可能不受欢迎的限制，以及如何通过使用更丰富的置换秩模型来避免这些限制。其次，我们建立了新的置换为基础的模型下的最小最大估计率，并证明了令人惊讶的是，最小最大的估计率的对数因子下的典型的低秩模型。第三，我们分析了一个计算效率高的奇异值阈值算法，已知是最佳的低秩设置，并表明它也同时产生一个相合估计量的低排列秩设置。最后，我们提出了各种结构的结果，其特征的唯一性的置换秩分解，并表征凸近似的置换秩多面体。

Sparse and Spurious：带噪声和离群值的字典学习

Sparse and spurious: dictionary learning with noise and outliers

在信号处理和机器学习社区中的一种流行方法包括将信号建模为从学习字典中选择的原子的稀疏线性组合。虽然这种范式在从图像到音频处理的各个领域取得了许多经验性的成功，但只有少数理论论据支持这些证据。特别是，稀疏编码，或稀疏字典学习，依赖于一个非凸的过程，其局部最小值尚未得到充分的分析。在本文中，我们考虑稀疏信号的概率模型，并表明，具有高概率，稀疏编码承认一个局部最小值周围的参考字典产生的信号。我们的研究考虑了过完备字典，噪声信号和可能的离群值的情况下，从而扩展了以前的工作仅限于无噪声设置和/或不完备字典。我们进行的分析是非渐近的，并且可以理解问题的关键量，例如相干性或噪声水平，如何可以相对于信号的维度，原子的数量，稀疏性和观察的数量进行缩放。

利用Dantzig选择器与过完备字典分离欠采样复合信号

Separation of undersampled composite signals using the Dantzig selector with overcomplete dictionaries

本文提出利用Dantzig选择器与过完备字典分离欠采样复合信号，通过改进算法在压缩感知框架下实现信号分离，实验显示其在速度和质量上优于交替方向法。