Learning Hierarchical Sparse Representations using Iterative Dictionary Learning and Dimension Reduction
本文介绍了一个基本的积木，结合字典学习和降维（DRDL）。我们展示了如何使用这个基本元素来迭代构建一个层次稀疏表示（HSR）的感觉流。我们将我们的方法与现有的模型进行比较，显示我们简单处方的一般性。然后，我们使用这个框架进行初步的实验，说明与使用标准数据集的对象识别任务的例子。这项工作介绍了第一个步骤，为设计和分析各种计算任务的综合框架，从学习到注意力的行动。最终的目标是建立一个数学上严格的、综合的智力理论。
2011-06-02 cs.AI cs.CV cs.LG
Unsupervised Band Selection of Hyperspectral Images via Multi-dictionary Sparse Representation
Dalian University of Technology（大连理工大学）；Shenyang Aerospace University（沈阳航空航天大学）；University of Adelaide（阿德莱德大学）
高光谱图像具有比普通多光谱图像多得多的光谱波段。丰富的波段信息为海量应用提供了更为有利的条件。然而，光谱带维数的显著增加可能导致维数灾难，特别是对于分类应用。此外，由于水分蒸发、传感器噪声等因素的影响，原始图像立方体之间存在大量的冗余信息。波段选择是一种直接有效的去除冗余信息、降低谱维数的方法，可以降低计算复杂性，避免维数灾难。在本文中，我们提出了一种新的学习框架的基础上的思想稀疏表示的波段选择。更具体地，首先，每个带由其他带的线性组合近似地表示，然后原始带图像可以由多字典学习机制表示。因此，一组权重可以通过稀疏优化获得的所有波段。最后，如果特定波段在原始图像的表示中获得比其他波段更高的权重，则将选择特定波段。在三个广泛使用的高光谱数据集上的实验结果表明，该算法在高光谱图像分类中取得了较好的性能，与其他最先进的波段选择方法相比。
2018-02-20 cs.CV
Coupled Analysis Dictionary Learning to inductively learn inversion: Application to real-time reconstruction of Biomedical signals
TCS Research and Innovation（TCS研究与创新部）
这项工作解决了从低维投影重建生物医学信号的问题。传统上，基于压缩感知（CS）的技术已经被用于该任务。这些都是换能反演过程，这些方法的问题是反演是耗时的，因此不适合于实时的【形】应用。随着最近深度学习的出现，堆叠稀疏去噪自动编码器（SSDAE）已用于在归纳设置中学习反演。归纳学习的训练周期很长，但在应用过程中非常快-能够实现实时的【形】速度。本文提出了一种新的反演过程的归纳学习方法。它基于耦合分析字典学习。生物医学信号重建的结果表明，我们提出的方法是非常快的，产生的结果远远优于CS和SSDAE。
2018-12-24 cs.CV
Fast Low-rank Shared Dictionary Learning for Image Classification
The Pennsylvania State University（宾夕法尼亚州立大学）
尽管不同的对象具有不同的类特定特征，但它们通常也共享共同的模式。最近提出的一个词典学习框架通过分离特殊性和共同性（COPAR）部分利用了这一观察结果。受此启发，我们提出了一种新的方法来显式地同时学习一组常见模式以及具有更直观约束的分类类特定特征。因此，我们的字典学习框架的特点是共享字典和特定（类特定）字典。对于共享字典，我们强制执行低秩约束，即要求其生成子空间应该具有低维，并且对应于该字典的系数应该相似。对于特定的字典，我们对它们施加Fisher判别字典学习（FDDL）中所述的众所周知的约束。此外，我们开发了新的快速和准确的算法来解决学习步骤中的子问题，加速其收敛。上述算法也适用于FDDL及其扩展。这些算法的效率进行了理论和实验验证，通过比较其复杂性和运行时间与其他知名的字典学习方法。在广泛使用的图像数据集上的实验结果表明，我们的方法比最先进的字典学习方法具有优势。
2017-07-16 cs.AI cs.CV
Learning a collaborative multiscale dictionary based on robust empirical mode decomposition
Peking University（北京大学）
字典学习在图像处理的许多领域都是一个具有挑战性的课题。基本目标是从过完备基集中学习稀疏表示。由于结合了通用多尺度表示和基于学习的自适应性的优点，多尺度字典表示方法具有捕获自然图像结构特征的能力。然而，现有的多尺度学习方法仍然遭受三个主要的弱点：不适应不同尺度的图像数据，对噪声和离群值的敏感性，难以确定最佳的字典结构。在本文中，我们提出了一种新的多尺度字典学习模式的稀疏图像表示的基础上改进的经验模式分解。这个强大的数据驱动的多维信号分析工具可以根据数据本身的固有模式，完全自适应地将图像分解为多尺度振荡分量。这种处理可以获得一个强大的和有效的稀疏表示，同时产生一个原始的基字典在多个几何尺度和空间频带。该字典是通过基于频率聚类选择最佳振荡原子来改进的。为了进一步增强稀疏性和泛化能力，使用一致性正则化模型学习容差字典。一个快速的邻近计划，以优化这个模型。多尺度字典被认为是振荡字典和容差字典的产物。实验结果表明，所提出的学习方法具有优越的性能在稀疏图像表示相比，几个竞争的方法。我们也展示了有前途的结果在图像去噪应用。
2017-04-04 cs.CV cs.LG
Subsampled terahertz data reconstruction based on spatio-temporal dictionary learning
University of Shahrood（沙赫鲁德大学）；University of Liverpool（利物浦大学）；Brunel University（布鲁内尔大学）
本文研究了太赫兹脉冲成像与重建问题。假设已经获得了不完整的（二次采样的）三维THz数据集，并且目标是恢复所有丢失的样本。一个稀疏诱导的方法，提出了为此目的。首先，一个简单的插值应用于不完整的噪声数据。然后，我们提出了一个时空字典学习方法，以获得一个适当的稀疏表示的数据的联合稀疏恢复算法的基础上。然后，使用稀疏系数和学习字典，通过最小化简单的成本函数来有效地对3D数据进行去噪。我们考虑两种类型的太赫兹数据来评估所提出的方法的性能;对于具有清晰分层结构的模型样本获取的太赫兹数据（例如，埋在聚乙烯小球中的T形塑料片）和药片数据（空间分辨率低）。从仅5%的观察结果中，重建T形数据的信噪比为19 dB。此外，从10%的观察值重建后，获得的厚度和深度测量的准确性为药物片剂数据分别为98.8%和99.9%。这些结果，随着化学作图分析，在本文的最后，证实了所提出的方法的准确性。
2015-06-16 cs.CV
Compressive Sensing of Color Images Using Nonlocal Higher Order Dictionary
School of Electronic and Electrical Engineering, Sungkyunkwan University（成均馆大学电子与电气工程学院）
本文讨论了一个病态的问题，恢复彩色图像从其压缩感知的测量数据。从典型的1D矢量为基础的方法的最先进的方法，我们利用非局部的相似性固有的图像中存在的彩色图像的每个补丁作为一个3D张量，不仅包括水平和垂直，但也光谱尺寸。一组非局部相似块形成一个4D张量，通过高阶奇异值分解学习非局部高阶字典。高阶字典中包含的多个子字典在每个对应的维度上对组进行去相关，从而有助于更好地重建彩色图像的细节。此外，我们促进稀疏性的最终解决方案使用稀疏正则化的基础上的权重张量。它可以区分由高阶字典生成的稀疏表示的那些系数，这些系数预计将具有较大的幅度，从其他的优化。因此，在迭代解中，其作用类似于加权过程，其通过近似最小均方误差滤波器来设计以用于更忠实的恢复。实验结果证实了改进所提出的方法在国家的最先进的。
2017-11-26 cs.CV eess.IV
Learning Deep Analysis Dictionaries -- Part II: Convolutional Dictionaries
在本文中，我们通过学习卷积字典而不是非结构化字典来引入深度卷积分析字典模型（DeepCAM），就像在同伴论文中介绍的深度分析字典模型一样。卷积字典更适合处理高维信号，例如图像，并且只有少量的自由参数。通过利用卷积字典的特性，我们提出了一种有效的卷积分析字典学习方法。L层DeepCAM由L层卷积分析字典和逐元素软阈值对以及单层卷积合成字典组成。与DeepAM类似，每个卷积分析字典由卷积信息保持分析字典（iPad）和卷积聚类分析字典（CAD）组成。iPad和CAD的学习使用所提出的学习算法的变化。我们证明了DeepCAM是一种有效的多层卷积模型，并且在单图像超分辨率上，实现了与其他方法相当的性能，同时还显示出良好的泛化能力。
2020-01-31 cs.CV cs.LG stat.ML
Spectral Dictionary Learning for Generative Image Modeling
Department of Computer Science UC Berkeley, CA（计算机科学系加州大学伯克利分校）
本文提出一种基于谱字典学习的生成模型，通过频率、相位和幅度参数化的基函数重建图像，并拟合混合系数以采样生成新图像，在CIFAR-10上实现竞争性能并提升可解释性与训练稳定性。
2025-04-21 cs.CV
Structured Discriminative Tensor Dictionary Learning for Unsupervised Domain Adaptation
Nanjing University of Posts and Telecommunications（南京邮电大学）；Texas State University（得克萨斯州立大学）；University of Trento（特伦托大学）；Nanjing University of Science and Technology（南京理工大学）；University of Technology Sydney（悉尼科技大学）；Wuhan University（武汉大学）
无监督领域自适应（UDA）解决了在计算机视觉应用中常见的由于训练集和测试集之间的领域移位而导致的性能下降的问题。现有的UDA方法大多是基于矢量形式的数据，虽然在可视化应用中的数据或特征的典型格式是多维张量。此外，目前的方法，包括深度网络方法，假设提供了大量的标记源样本用于训练。然而，在实际应用中，标注源样本的数量总是有限的，由于昂贵的注释成本，使得次优性能被观察到。在本文中，我们提出了通过学习张量空间中的结构化字典来寻求多维数据的判别表示。该字典将领域信息和类信息分离，保证了表示对领域的鲁棒性。此外，为了避免外部分类器的设计，提出了一种伪标签估计方案，在算法迭代中结合判别分析。我们在有限的源样本的不同数据集上进行了广泛的结果。实验结果表明，该方法优于国家的最先进的方法。
2019-05-11 cs.CV cs.LG
Dictionary Learning for Adaptive GPR Landmine Classification
Fraunhofer Institute for High Frequency Physics and Radar Techniques（弗劳恩霍夫高频物理与雷达技术研究所）；The University of Iowa（爱荷华大学）；Weizmann Institute of Science（魏茨曼科学研究所）；University of Siegen（锡根大学）
探地雷达目标检测与分类是一项具有挑战性的工作。在这里，我们考虑在线字典学习（DL）的方法来获得稀疏表示（SR）的探地雷达数据，以提高目标分类通过支持向量机的特征提取。在线方法是首选的，因为传统的批量DL，如K-SVD，是不可扩展的高维训练集和不可行的实时操作。我们还开发了丢弃MINi-batch在线字典学习（DOMINODL），它利用了很多训练数据可能是相关的这一事实。DOMINODL算法以小批量迭代地考虑训练集的元素，并丢弃变得不太相关的样本。对于废弃的杀伤人员地雷分类的情况下，我们比较了K-SVD的性能与三个在线算法：经典的在线字典学习，其相关性为基础的变体，和DOMINODL。我们对L波段GPR的真实数据进行的实验表明，在线DL方法比K-SVD方法减少了36-93%的学习时间，并将地雷检测提高了4-28%。我们的DOMINODL是最快的，并保留了类似的分类性能作为其他两个在线DL方法。我们使用Kolmogorov-Smirnoff测试距离和Dvoretzky-Kiefer-Wolfowitz不等式来选择DL输入参数，从而增强分类结果。为了进一步与最先进的分类方法进行比较，我们评估了卷积神经网络（CNN）分类器，其性能比所提出的方法更差。此外，当所获取的样本被随机减少25%、50%和75%时，基于稀疏分解的分类与DL保持鲁棒性，而CNN的准确性被大大损害。
2019-06-12 cs.CV
Unbalanced Optimal Transport Dictionary Learning for Unsupervised Hyperspectral Image Clustering
本文提出利用不平衡最优传输字典学习方法，通过低维表示和光谱聚类实现超光谱图像的无监督聚类。
2026-03-10 cs.CV cs.LG math.ST
Analyzing Linear Dynamical Systems: From Modeling to Coding and Learning
Tsinghua University（清华大学）；Australian National University（澳大利亚国立大学）；Data61, CSIRO（澳大利亚联邦科学与工业研究组织 Data61）
用线性动态系统（LDSs）编码时间序列可以产生丰富的模型，其应用范围从动态纹理识别到视频分割等等。在本文中，我们提出了表示LDS与无限维子空间，并推导出一个解析解，以获得稳定的LDS。然后，我们设计了有效的算法来执行稀疏编码和字典学习的无限维子空间的空间。特别地，开发了两种解决方案来稀疏地编码LDS。在第一种方法中，我们将子空间映射到再生核希尔伯特空间（RKHS），并通过核稀疏编码来实现我们的目标。对于第二种解决方案，我们建议将无限维子空间嵌入到对称矩阵空间中，并在诱导空间中相应地制定稀疏编码。对于字典学习，我们通过引入一个新的概念，即双重LDS来编码时间序列。然后，我们利用双重LDS导出用于更新LDS字典的原子的解析形式，即，每个原子本身就是一个LDS。与几种基线和最先进的方法相比，所提出的方法在包括视频分类和触觉识别在内的各种分类任务中具有更高的精度。
2017-02-27 cs.CV
Dictionary learning for clustering on hyperspectral images
University of the Witwatersrand（金山大学）；School of Computer Science and Applied Mathematics（计算机科学与应用数学系）
字典学习和稀疏编码作为无监督特征学习的机制已被广泛研究。无监督学习可以给高光谱图像处理和其他遥感数据分析带来巨大的好处，因为在这一领域，标记数据往往是稀缺的。我们提出了一种方法，用于聚类的高光谱图像的像素使用稀疏系数计算从一个代表性的字典作为功能。我们的经验表明，所提出的方法比聚类的原始像素更有效。我们还表明，我们的方法，在某些情况下，优于使用主成分分析和非负矩阵分解提取的特征的聚类结果。此外，我们的方法适用于重复聚类不断增长的高维数据量的应用程序，这是与高光谱卫星图像工作时的情况。
2022-02-02 cs.CV cs.LG eess.IV
Regularized Residual Quantization: a multi-layer sparse dictionary learning approach
University of Geneva（日内瓦大学）
残差量化（RQ）框架被重新审视，其中量化失真在多层中被连续减少。受率失真理论中的反向注水范例的启发，引入了对码字方差的有效正则化，其允许针对非常大量的层以及针对高维数据扩展RQ，而不会过度训练。所提出的正则化残差量化（RRQ）导致额外稀疏的多层字典，这要归功于当应用于方差衰减数据时正则化的软阈值性质，方差衰减数据可以由应用于相关数据的去相关变换引起。此外，我们还提出了一个通用的预处理自然图像，使他们适合这样的量化。RRQ框架首先在合成方差衰减数据上进行测试，以显示其在高维数据量化方面的效率。接下来，我们在面部图像数据库的超分辨率中使用RRQ，其中示出了来自测试集的低分辨率面部图像，该测试集使用在来自训练集的高分辨率图像上训练的码本量化，当使用这些码本重建时，显示出相关的高频内容。
2017-05-01 cs.CV cs.LG
HSR: L1/2 Regularized Sparse Representation for Fast Face Recognition using Hierarchical Feature Selection
Ocean University of China（中国海洋大学）；The University of Iowa（爱荷华大学）
在本文中，我们提出了一种新的方法，用于快速人脸识别称为L1/2正则稀疏表示使用分层特征选择（HSR）。通过采用分层特征选择，可以压缩全局字典的规模和维数，这直接有助于减少稀疏表示的计算开销，而稀疏表示正是本文方法的基础。它由Gabor小波和极端学习机自动编码器（ELM-AE）分层。对于Gabor小波部分，可以在多个尺度和方向上提取局部特征，形成基于Gabor特征的图像，从而提高识别率。此外，当人脸图像被遮挡时，基于Gabor特征的遮挡字典存在冗余，可以相应地压缩全局字典的规模。对于ELM-AE部分，基于Gabor特征的全局字典的维数可以被压缩，因为高维的人脸图像可以被快速地表示为低维的特征。通过引入L1/2正则化，我们的方法可以产生更稀疏和更强大的表示相比，正则化稀疏表示基于分类（SRC），这也有助于减少稀疏表示的计算成本。在多种人脸数据库上的实验结果表明，与SRC和基于Gabor特征的SRC（GSRC）等相关工作相比，该方法在计算量方面具有很大的优势。此外，我们还实现了近似甚至更好的识别率。
2014-09-23 cs.CV cs.LG
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Sparse Coding on Cascaded Residuals
Australian National University（澳大利亚国立大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）
本文试图结合字典学习和分层图像表示的原则。为了使字典原子从扩展的感受野中捕获额外的信息，并获得更好的描述能力，我们提出了一个用于字典学习和稀疏编码的两遍多分辨率级联框架。级联允许使用相同维度的字典原子以不同分辨率进行协作重建。我们共同学习的字典包括适应粗层可用信息的原子，其中原子的支持达到其最大范围，以及补充细节逐渐细化重建目标的残留图像。通过先前层的聚合重建与该层的下采样原始图像之间的差异来计算层处的残差。我们的方法使用更少的系数生成更灵活和准确的表示。它的计算效率源于编码的粗分辨率，这是微不足道的，和编码的残差，这是相对稀疏。我们在多个数据集上进行的大量实验表明，这种新方法在图像编码、去噪、修复和伪影去除任务中的功能强大，优于最先进的技术。
2019-11-07 cs.CV cs.LG eess.IV
Wave-informed dictionary learning for high-resolution imaging in complex media
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Penn State University（宾夕法尼亚州立大学）；Stanford University（斯坦福大学）；University of California, Merced（加州大学默塞德分校）
提出一种基于字典学习和Multi-Dimensional Scaling的两步散射介质成像方法，利用大型阵列与子阵列数据恢复Green函数并排序传感矩阵列，实现复杂介质下的高分辨率成像。
2023-09-22 cs.CV cs.LG eess.SP
Cloud K-SVD for Image Denoising
Aarhus University（奥胡斯大学）
云K-SVD是一种字典学习算法，它可以在多个节点上进行训练，从而产生一个共同的字典来表示图像数据中的低维几何结构。我们提出了一种新的应用程序的算法，因为我们用它来恢复无噪和嘈杂的图像重叠补丁。我们使用Docker容器在Kubernetes中实现了一个节点网络，以促进Cloud K-SVD。实验结果表明，云K-SVD算法可以近似地恢复图像，并在不牺牲恢复精度的前提下，从基准灰度图像中去除可量化的噪声;我们实现了0.88，0.91和0.95之间的干净和恢复图像的噪声水平的SSIM指数（$μ$ = 0，$σ^{2}$ = 0.01，0.005，0.001），这与现场的SOTA类似。Cloud K-SVD显然能够学习跨多个节点的互字典，并从图像中去除AWGN。互字典可用于在网络中的任何节点处恢复特定图像。
2023-03-01 cs.AI cs.CV cs.DC
