Trainlets: Dictionary Learning in High Dimensions
Technion Israel Institute of Technology（以色列理工学院）
稀疏表示已被证明是真实世界信号的一个非常强大的模型，并使应用程序的开发具有显着的性能。结合从信号示例中学习字典的能力，稀疏启发算法通常在各种任务中实现最先进的结果。然而，这些方法传统上被限制到小尺寸，主要是由于字典学习问题所带来的计算约束。在图像处理的上下文中，这意味着处理小的图像块。在这项工作中，我们将展示如何有效地处理更大的尺寸，并超越小补丁的稀疏信号和图像处理方法。我们建立我们的方法的基础上，一个新的裁剪小波分解，这使得多尺度分析几乎没有边界效应。然后，我们将其用作双稀疏模型中的基础字典，以实现自适应字典的训练。为了应对训练数据的增加，同时提高训练性能，我们提出了一个在线稀疏字典学习（OSDL）算法来有效地训练这个模型，使它能够处理数以百万计的例子。这项工作表明，字典学习可以升级到一个新的水平的信号维度，获得大的适应性原子，我们称之为trainlets。
2016-05-12 cs.CV
Structured Dictionary Learning for Classification
The Johns Hopkins University（约翰斯·霍普金斯大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
稀疏驱动信号处理在过去十年中得到了极大的普及。其核心是假设感兴趣的信号相对于固定变换或信号相关字典是稀疏的。为了更好地捕捉数据特征，已经提出了各种字典学习方法用于重建和分类任务。特别是对于分类，到目前为止提出的大多数方法都集中在设计显式约束的稀疏代码，以提高分类精度，而简单地采用$l_0$-范数或$l_1$-范数的稀疏正则化。受结构化稀疏在压缩感知领域的成功的启发，我们提出了一个结构化字典学习框架（StructDL），它在学习过程中结合了组和任务级别的结构信息。它的好处是双重的：（i）字典原子和训练数据之间的标签一致性被隐含地实施;以及（ii）在小字典大小或有限训练数据的情况下，分类性能比其他技术更鲁棒。使用子空间模型，我们推导了StructDL的条件，以保证性能，并从理论上表明，StructDL是优于$l_0$-范数或$l_1$-范数正则化字典学习分类。大量的实验已经进行了合成模拟和现实世界中的应用，如人脸识别和对象分类，以证明所提出的DL框架的有效性。
2014-06-08 cs.CV
New explicit thresholding/shrinkage formulas for one class of regularization problems with overlapping group sparsity and their applications
University of Electronic Science and Technology of China（电子科技大学）；Nanjing Normal University（南京师范大学）
本文提出了一类具有重叠组稀疏性的正则化问题的新显式收缩公式，应用于TV去模糊和去噪，通过交替方向乘子法验证了其有效性。
2014-05-09 cs.CV cs.NA math.NA
Learning $\ell_1$-based analysis and synthesis sparsity priors using bi-level optimization
Graz University of Technology（格拉茨工业大学）
我们考虑了基于$\ell_1$正则化稀疏表示模型的分析算子和综合字典学习问题。揭示了基于$\ell_1$的分析模型与综合模型之间的内在联系。然后，我们介绍了一种方法，同时学习分析算子和综合字典使用一个统一的框架，双层优化。我们的目标是学习一个有意义的算子（字典），使得基于分析（综合）先验模型的最小能量解尽可能接近地面实况。我们使用隐式微分技术解决双层优化问题。此外，我们通过将学习的分析算子（字典）应用于图像去噪任务并将其性能与最先进的方法进行比较来证明我们的学习方法的有效性。在这个统一的框架下，我们可以比较两种类型的先验的性能。
2014-01-16 cs.CV
Sparsity-based Color Image Super Resolution via Exploiting Cross Channel Constraints
The Pennsylvania State University（宾夕法尼亚州立大学）
稀疏约束下的单图像超分辨率（SR）是近年来的研究热点。典型的方法涉及经由示例LR块的字典稀疏地表示低分辨率（LR）输入图像中的块，然后使用该表示的系数经由类似的HR字典生成高分辨率（HR）输出。然而，大多数现有的用于超分辨率的稀疏表示方法集中于亮度通道信息，并且不捕获颜色通道之间的交互。在这项工作中，我们扩展基于稀疏的超分辨率到多个颜色通道，考虑到颜色信息。利用RGB颜色带之间的边缘相似性作为交叉通道相关性约束。这些额外的约束导致一个新的优化问题，这是不容易解决的，但是，提出了一个易于处理的解决方案，有效地解决它。此外，为了充分利用颜色通道之间的互补信息，还专门提出了一种字典学习方法来学习鼓励边缘相似性的颜色字典。所提出的方法的优点超过国家的最先进的表现出视觉和定量使用图像质量指标。
2016-10-04 cs.CV
Blind Source Separation Based on Sparsity
Imperial College London Department of Electrical and Electronic Engineering（伦敦帝国学院电子与电气工程系）
本报告探讨了基于稀疏性的盲源分离方法，介绍了MCA理论及MMCA、GMCA等变体，提出了基于块稀疏字典学习的改进算法SAC+BK-SVD，实验证明其提升了盲图像分离质量。
2025-04-27 cs.CV
HALO: Learning to Prune Neural Networks with Shrinkage
Cornell University（康奈尔大学）
深度神经网络通过从非结构化数据中提取丰富的特征集，在各种任务中实现了最先进的性能，但这种性能与模型大小密切相关。用于诱导稀疏性和减小模型大小的现代技术是（1）网络修剪，（2）使用稀疏诱导惩罚进行训练，以及（3）与网络的权重联合训练二进制掩码。我们从贝叶斯分层模型的角度研究了不同的稀疏性诱导惩罚，并提出了一种新的惩罚称为分层自适应套索（HALO），它通过可训练的参数学习自适应地稀疏给定网络的权重。当用于训练过参数化网络时，我们的惩罚产生具有高精度的小子网络，而无需微调。从经验上讲，在图像识别任务中，我们发现HALO能够学习高度稀疏的网络（只有5%的参数），在相同稀疏度水平下，与最先进的幅度修剪方法相比，性能有显着提高。代码可在https://github.com/skyler120/sparsity-halo上获得。
2021-02-28 cs.CV cs.LG stat.ML
Structured Occlusion Coding for Robust Face Recognition
South China University of Technology（华南理工大学）；Peking University（北京大学）；Shenzhen University（深圳大学）
人脸识别中的遮挡问题是一个常见而又具有挑战性的问题。虽然基于稀疏表示的分类（SRC）已被证明在实验室条件下（即无噪声或随机像素损坏）有前途的性能，但它在实际情况下表现得更差。在本文中，我们考虑实际的人脸识别问题，其中的遮挡是可预测的，可用于采样。我们提出了结构化遮挡编码（SOC）来解决遮挡问题。这里的结构化编码有两个方面。一方面，我们采用结构化的字典进行识别。另一方面，我们建议在这个公式中使用结构稀疏性。具体而言，SOC同时分离遮挡和分类的图像。通过这种方法，将遮挡图像的识别问题转化为在附加遮挡的字典上寻找结构化稀疏解的问题。为了构造一个性能良好的遮挡字典，我们提出了一个遮挡掩模估计技术通过局部约束字典（LCD），显示在遮挡样本的显着改善。在一个特定类别的遮挡字典，我们取代规范稀疏与结构稀疏，这是更强大的，进一步提高我们的方法的鲁棒性。此外，SOC在处理现实世界中的大遮挡方面取得了显着改善。在公开数据集上进行了大量的实验，验证了该算法的优越性。
2015-07-25 cs.CV
Translation-Invariant Shrinkage/Thresholding of Group Sparse Signals
Polytechnic Institute of New York University（纽约大学理工学院）
本文讨论了大幅度系数形成簇（组）时的信号去噪。L1范数和其他可分离稀疏模型不能捕捉系数聚类的趋势（组稀疏）。这项工作开发了一种算法，称为“重叠组收缩”（OGS），基于最小化的凸成本函数，涉及组稀疏促进惩罚函数。这些组是完全重叠的，因此去噪方法是不变性的，并且避免了块效应。基于优化最小化（MM）原理，我们推导出一个简单的迭代最小化算法，使成本函数单调下降。还描述了基于将噪声衰减到指定水平来设置正则化参数的过程。所提出的方法说明语音增强，其中OGS方法应用在短时傅立叶变换（STFT）域。OGS产生的去噪语音不受音乐噪声的影响。
2013-03-29 cs.CV cs.LG cs.SD
Sparsity Based Poisson Denoising with Dictionary Learning
The Technion - Israel Institute of Technology（以色列理工学院）
泊松去噪问题出现在各种成像应用中，例如弱光摄影、医学成像和显微镜。在高SNR的情况下，存在几种变换，以便将泊松噪声转换为加性i.i.d.高斯噪声，其中许多有效的算法是可用的。然而，在低SNR状态下，这些变换的准确性明显降低，并且需要直接依赖于真实噪声统计的策略。Salmon等人最近的一项工作采取了这一路线，提出了一种基于GMM（高斯混合模型）的基于块的指数图像表示模型，导致了最先进的结果。在本文中，我们建议利用稀疏表示建模的图像补丁，采用相同的指数的想法。我们的方案使用了一个贪婪的追求与自举为基础的停止条件和字典学习的去噪过程。该方案的重建性能在高信噪比下与领先的方法竞争，并在低信噪比的情况下达到最先进的结果。
2014-10-14 cs.CV stat.ML
Kernel Task-Driven Dictionary Learning for Hyperspectral Image Classification
Pennsylvania State University（宾夕法尼亚州立大学）；Army Research Laboratory（陆军研究实验室）
字典学习算法已经成功地用于重建和判别任务，其中输入信号由几个字典原子的线性组合表示。虽然这些方法通常是在输入域中的$\ell_1$稀疏约束（先验）下开发的，但最近的研究已经证明了在核域中使用结构化稀疏先验的稀疏表示的优点。提出了一种核域有监督字典学习算法用于高光谱图像分类。在所提出的配方中，字典和分类器联合获得最佳的分类性能。监督配方是任务驱动的，并提供了学习功能的高光谱数据，非常适合分类任务。此外，该算法使用联合（$\ell_{12}$）稀疏性之前，强制相邻像素之间的合作。仿真结果表明了所提出的字典学习算法的有效性。
2015-02-10 cs.CV cs.LG stat.ML
Dictionary Learning and Sparse Coding on Statistical Manifolds
Department of Computer and Information Science and Engineering（计算机与信息科学与工程系）；University of Florida（佛罗里达大学）
在本文中，我们提出了一个新的信息理论框架的字典学习（DL）和稀疏编码（SC）的统计流形（流形的概率分布）。与传统的DL和SC框架不同，我们的新配方没有显式地将任何稀疏诱导规范的成本函数进行优化，但仍产生稀疏代码。我们的算法通过字典原子的加权Kullback-Leibeler中心/平均值（KL中心）来近似统计流形上的数据点（它们是概率分布）。KL-中心被定义为在其自身和其中心被寻找的集合的成员之间的最大KL-发散的最小化者。此外，我们证明了加权KL-中心是字典原子的稀疏组合。这个结果也适用于KL发散被著名的Hellinger距离所取代的情况。从应用的角度来看，我们提出了上述框架的对称正定矩阵的流形（可以确定与零均值高斯分布的流形），$\mathcal{P}_n$的扩展。我们目前的实验涉及各种基于字典的重建和分类问题，在计算机视觉。所提出的算法的性能证明，通过比较它的重建和分类精度以及所选表示的稀疏性方面的几个国家的最先进的方法。
2018-05-03 cs.CV
An information theoretic formulation of the Dictionary Learning and Sparse Coding Problems on Statistical Manifolds
在这项工作中，我们提出了一个新的信息理论框架的字典学习（DL）和稀疏编码（SC）的统计流形（概率分布的流形）。与传统的DL和SC框架不同，我们的新配方{ \it不显式地将任何稀疏诱导范数的成本函数，但仍产生SC}。此外，我们将这个框架扩展到对称正定矩阵流形，$\mathcal{P}_n$。我们的算法近似的数据点，这是概率分布，由加权Kullback-Leibeler中心（KL中心）的字典原子。KL-中心是未知中心和其中心被寻找的集合的成员之间的最大KL-发散的最小化者。进一步，{ \it我们证明了这个KL-中心是字典原子的稀疏组合}。由于数据驻留在统计流形上，因此数据保真度项不能像向量空间数据的情况那样简单。因此，我们采用的测地线之间的距离的数据和稀疏近似的数据元素。使用加速梯度下降算法来最小化该成本函数。一组广泛的实验结果表明，我们提出的框架的有效性。我们提出了几个实验，涉及各种分类问题，在计算机视觉的应用。此外，我们证明了我们的算法的性能，通过比较它的几个国家的最先进的方法在分类精度和稀疏性。
2017-02-03 cs.CV
Multimodal Image Denoising based on Coupled Dictionary Learning
University College London（伦敦大学学院）
在本文中，我们提出了一种新的多模态图像去噪方法，在一个给定的图像模态下的指导图像模态的援助下，衰减高斯白加性噪声。耦合图像去噪方法包括两个阶段：耦合稀疏编码和重构。第一阶段执行联合稀疏变换的多模态图像相对于一组学习耦合字典，其次是收缩操作的稀疏表示。然后，在第二阶段中，收缩表示，连同耦合字典，有助于通过逆变换的去噪图像的重建。所提出的去噪方案展示了捕获不同数据模态的共同和独特特征的能力。这种能力使我们的方法更强大的指导和目标图像之间的不一致，从而克服了缺点，如纹理复制文物。在真实多模态图像上的实验表明，该方法能够更好地利用指导信息，在图像去噪任务中带来显着的好处，相对于最先进的。
2018-06-26 cs.CV
Dictionary Integration using 3D Morphable Face Models for Pose-invariant Collaborative-representation-based Classification
Jiangnan University（江南大学）；University of Surrey（萨里大学）；Anyvision
本文提出了一种基于3DMM的字典集成算法，用于基于姿态不变协同表示的人脸分类。为此，我们首先将3DMM拟合到字典的2D人脸图像，以重建每个图像的3D形状和纹理。通过合并原始和渲染的虚拟样本以创建扩展字典，3D面部用于渲染具有任意姿态变化的多个虚拟2D面部图像以增强训练数据。其次，为了减少信息冗余的扩展字典和提高稀疏性的重建系数向量使用协作表示为基础的分类（CRC），我们利用一个在线消除计划，以优化扩展字典确定最具代表性的训练样本为给定的查询。最终的目标是执行姿态不变的人脸分类使用建议的字典集成方法和在线修剪策略下的CRC框架。一组著名的人脸数据集的实验结果表明，该方法的优点，特别是其鲁棒性的姿态变化。
2016-11-25 cs.CV
Compressed Sensing Parallel MRI with Adaptive Shrinkage TV Regularization
Indian Institute of Information Technology (IIITM-K)（印度信息技术学院（IIITM-K））
磁共振成像（MRI）中的压缩感知（CS）方法提供快速采集和改善的图像质量，但需要具有正则化的迭代重建方案来增强稀疏性。无论获得快速数值解的难度如何，总变分（TV）正则化由于其边缘保持和结构恢复能力而成为首选。虽然已经提出了许多方法来克服TV成本项的不可微性，但是基于迭代收缩的公式允许通过线性滤波和软阈值的递归应用来恢复图像。然而，提供正则化参数的最佳设置是至关重要的，因为它直接影响收敛速度以及稳态误差。本文提出了一种在导数空间自适应变化的正则化子，它遵循广义差异原理（GDP）。该实施方式通过自适应地降低表示为一致性误差和稀疏近似误差的TV范数之间的绝对差的差异水平来进行。一个标准的基础上的TV范数的一致性和稀疏逼近误差之间的绝对差异被用来更新阈值。应用自适应收缩TV正则化CS恢复的并行MRI（pMRI）和时间梯度适应动态MRI的结果，在加速收敛，提高图像质量。此外，自适应TV迭代收缩（ATVIS）提供了一个显着的速度优势，快速迭代收缩阈值算法（FISTA）。
2018-09-18 cs.CV
Localized Dictionary design for Geometrically Robust Sonar ATR
Pennsylvania State University（宾夕法尼亚州立大学）；U.S. Naval Research Laboratory（美国海军研究实验室）
声纳图像捕获的进步为自动目标识别（ATR）的强大分类方案打开了大门。最近的工作，特别是看到稀疏重建为基础的分类（SRC）声纳ATR，即使在噪声和模糊的存在下，它提供了令人信服的准确率的应用。然而，现有的基于稀疏性的声纳ATR技术假设测试图像表现出与训练集一致的几何姿态。这项工作解决了处理不一致的测试声纳图像相对于训练的突出的开放性挑战。我们开发了一个新的本地化的基于块的字典设计，可以使几何，即姿态鲁棒性。此外，结合字典学习方法以提高性能和效率。所提出的SRC与局部姿态管理（LPM），表现出优于最先进的SIFT功能和SVM的方法，由于其权力，以辨别声纳图像中的背景杂波。
2016-01-13 cs.CV
A Paired Sparse Representation Model for Robust Face Recognition from a Single Sample
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
基于稀疏表示的分类（SRC）已被证明在人脸识别（FR）中实现了高水平的准确性。然而，将在不受约束的视频中捕获的面部与每个个体具有单个参考面部静止的图库进行匹配通常产生低准确度。为了提高对类内变化的鲁棒性，FR的SRC技术最近被扩展到将来自外部通用集合的变化信息并入辅助字典中。尽管它们在处理线性变化方面取得了成功，但非线性变化（例如，姿势和表情）不能用图库和辅助字典中的图像的线性组合来精确地重建，因为它们不共享相同类型的变化。为了说明由于姿态的非线性变化，引入了成对的稀疏表示模型，允许联合使用变分信息和合成人脸图像。所提出的模型，称为合成加变分模型，重建探头图像，共同使用（1）变分字典和（2）画廊字典增强与一组合成图像产生的各种各样的姿态角。然后鼓励增强图库字典通过解决新制定的同时基于稀疏性的优化问题来将相同的稀疏性模式与用于类似姿态角的变分字典配对。在Chokepoint和COX-S2V数据集上使用不同的人脸表示获得的实验结果表明，所提出的方法可以在每人单个样本的情况下优于最先进的基于SRC的静止到视频FR方法。
2019-10-05 cs.CV
Neurogenesis-Inspired Dictionary Learning: Online Model Adaption in a Changing World
University of Southern California（南加州大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在本文中，我们专注于在线表示学习在非平稳环境中，可能需要不断适应的模型架构。我们提出了一种新的在线字典学习（稀疏编码）框架，它包含了添加和删除隐藏单元（字典元素），并受到海马齿状回中成人神经发生现象的启发，已知与改善认知功能和适应新环境有关。在在线学习设置中，新的输入实例分批顺序到达，神经元出生通过添加具有随机初始权重的新单元（随机字典元素）来实现;新单元的数量由字典的当前性能（表示误差）确定，较高的误差导致出生率增加。神经元死亡是通过在我们的在线交替最小化方案的每次迭代中对块坐标下降优化中的字典施加l1/l2正则化（组稀疏性）来实现的，该方案在代码和字典更新之间迭代。最后，通过在字典元素中引入稀疏性，便于隐藏单元连接自适应。我们对几个真实数据集（图像和语言）以及合成数据的经验评估表明，在非平稳数据的情况下，所提出的方法可以大大优于Mairal等人（2009）的最先进的固定大小（非自适应）在线稀疏编码。此外，我们识别数据的某些属性（例如，具有几乎不重叠的支持的稀疏输入）和模型（例如，字典稀疏性）与这样的改进相关联。
2017-02-19 cs.AI cs.CV cs.LG
Sar image despeckling based on nonlocal similarity sparse decomposition
Wuhan University（武汉大学）；Institut Telecom ParisTech（巴黎高等电信学院）
提出了一种在抑制相干斑噪声的同时保留细节信息的合成孔径雷达（SAR）图像去相干斑方法。该方法结合了非局部自相似划分和一种改进的稀疏分解。非局部划分方法将一系列结构相似性数据集分组。每个数据集都具有良好的稀疏性，可以在稀疏表示下学习过完备字典。在稀疏分解中，我们提出了一种新的方法来确定主原子从过完备字典，形成一个主字典。在具有主原子的主字典上对每个数据集执行去斑。实验结果表明，该方法在抑制相干斑噪声的同时，能较好地保持图像的结构细节。
2016-11-22 cs.CV
Low-dose spectral CT reconstruction using L0 image gradient and tensor dictionary
Chongqing University（重庆大学）；University of Massachusetts Lowell（马萨诸塞大学洛厄尔分校）
能谱计算机断层成像（CT）在病变检测、组织定征和材料分解方面具有很大的优势。为了进一步扩展其潜在的临床应用，在这项工作中，我们提出了一种改进的张量字典学习方法的低剂量谱CT重建与图像梯度L0范数的约束，这是命名为L0TDL。L0TDL方法通过利用谱CT图像的相似性来继承张量字典学习（TDL）的优点。另一方面，通过在梯度图像域引入L0范数约束，该方法强调了图像的空间稀疏性，克服了TDL在边缘信息保持方面的不足。采用交替方向最小化方法（ADMM）求解该方法。数值模拟和真实的小鼠研究进行评估所提出的方法。结果表明，所提出的L0TDL方法优于其他竞争方法，如总变差（TV）最小化，低秩TV（TV+LR），和TDL方法。
2018-07-24 cs.CV
Compressive Sensing of Color Images Using Nonlocal Higher Order Dictionary
School of Electronic and Electrical Engineering, Sungkyunkwan University（成均馆大学电子与电气工程学院）
本文讨论了一个病态的问题，恢复彩色图像从其压缩感知的测量数据。从典型的1D矢量为基础的方法的最先进的方法，我们利用非局部的相似性固有的图像中存在的彩色图像的每个补丁作为一个3D张量，不仅包括水平和垂直，但也光谱尺寸。一组非局部相似块形成一个4D张量，通过高阶奇异值分解学习非局部高阶字典。高阶字典中包含的多个子字典在每个对应的维度上对组进行去相关，从而有助于更好地重建彩色图像的细节。此外，我们促进稀疏性的最终解决方案使用稀疏正则化的基础上的权重张量。它可以区分由高阶字典生成的稀疏表示的那些系数，这些系数预计将具有较大的幅度，从其他的优化。因此，在迭代解中，其作用类似于加权过程，其通过近似最小均方误差滤波器来设计以用于更忠实的恢复。实验结果证实了改进所提出的方法在国家的最先进的。
2017-11-26 cs.CV eess.IV
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Multimodal Task-Driven Dictionary Learning for Image Classification
Pennsylvania State University（宾夕法尼亚州立大学）；Army Research Laboratory（美国陆军研究实验室）；Bosch Research and Technology Center（博世研究与技术中心）；West Virginia University（西弗吉尼亚大学）
字典学习算法已经成功地用于重建和判别任务，其中输入信号用字典原子的稀疏线性组合表示。虽然这些方法大多是针对单模态场景开发的，但最近的研究已经证明了基于多模态输入的联合稀疏表示的特征级融合的优势。在本文中，我们提出了一个多模态任务驱动的字典学习算法下的联合稀疏约束（先验），以加强多个同质/异构信息源之间的合作。在这个任务驱动的公式，多模态字典学习的同时，其相应的分类。由此产生的多模态字典可以从针对给定任务（例如二进制或多类分类）优化的数据中生成有区别的潜在特征（稀疏代码）。此外，我们提出了一个扩展的建议制定使用混合的联合和独立的稀疏先验，有利于更灵活的融合的方式在特征级。所提出的多模态分类算法的功效说明了四个不同的应用程序-多模态人脸识别，多视图人脸识别，多视图动作识别，和多模态生物识别。它还表明，与对应的基于重构的字典学习算法相比，任务驱动的配方在这个意义上，它们可以配备更紧凑的字典，仍然实现卓越的性能是更有效的计算。
2015-10-27 cs.CV cs.LG stat.ML
A Tensor-Based Dictionary Learning Approach to Tomographic Image Reconstruction
Technical University of Denmark（丹麦技术大学）；Tufts University（塔夫茨大学）
我们考虑使用先验的形式，从训练图像学习字典的断层重建。重建有两个阶段：首先，我们构建一个张量字典之前，从我们的训练数据，然后我们提出的重建问题，在该字典中恢复的展开系数。我们的方法与过去的方法不同之处在于：a）我们对图像使用三阶张量表示，b）我们使用张量公式重新构建重建问题。字典学习问题是一个具有稀疏约束的非负张量分解问题。重建问题是制定在凸优化框架中寻找一个解决方案与稀疏表示的张量字典。数值结果表明，我们的张量公式导致非常稀疏的表示的训练图像和重建由于在字典中表示重复的功能compatibility的能力。
2015-06-08 cs.CV cs.NA math.NA
Spatial-Aware Dictionary Learning for Hyperspectral Image Classification
Sharif University of Technology（谢里夫理工大学）
本文提出了一种结构化的字典为基础的高光谱数据模型，结合了光谱样本的光谱和上下文特征，高光谱图像分类的目标。其思想是将高光谱图像的像素划分为多个称为上下文组的空间邻域，并使用从数据中学习的几个字典元素的线性组合来对每个像素进行建模。由于上下文组中的像素通常由相同的材料组成，因此它们的线性组合被限制为使用字典中的公共元素。为此，字典学习进行联合稀疏正则化，以诱导一个共同的稀疏模式中的稀疏系数的每个上下文组。然后，稀疏系数用于使用线性SVM的分类。对多幅真实高光谱图像的实验结果证实了该方法在高光谱图像分类中的有效性。此外，模拟多光谱数据的实验表明，该模型能够找到表示，可有效地用于多光谱分辨率样本的分类。
2013-08-06 cs.CV cs.LG
Learning a collaborative multiscale dictionary based on robust empirical mode decomposition
Peking University（北京大学）
字典学习在图像处理的许多领域都是一个具有挑战性的课题。基本目标是从过完备基集中学习稀疏表示。由于结合了通用多尺度表示和基于学习的自适应性的优点，多尺度字典表示方法具有捕获自然图像结构特征的能力。然而，现有的多尺度学习方法仍然遭受三个主要的弱点：不适应不同尺度的图像数据，对噪声和离群值的敏感性，难以确定最佳的字典结构。在本文中，我们提出了一种新的多尺度字典学习模式的稀疏图像表示的基础上改进的经验模式分解。这个强大的数据驱动的多维信号分析工具可以根据数据本身的固有模式，完全自适应地将图像分解为多尺度振荡分量。这种处理可以获得一个强大的和有效的稀疏表示，同时产生一个原始的基字典在多个几何尺度和空间频带。该字典是通过基于频率聚类选择最佳振荡原子来改进的。为了进一步增强稀疏性和泛化能力，使用一致性正则化模型学习容差字典。一个快速的邻近计划，以优化这个模型。多尺度字典被认为是振荡字典和容差字典的产物。实验结果表明，所提出的学习方法具有优越的性能在稀疏图像表示相比，几个竞争的方法。我们也展示了有前途的结果在图像去噪应用。
2017-04-04 cs.CV cs.LG
Bayesian Nonparametric Dictionary Learning for Compressed Sensing MRI
Xiamen University（厦门大学）；Columbia University（哥伦比亚大学）；Ryerson University（瑞尔森大学）
我们开发了一种贝叶斯非参数模型，用于从高度欠采样的k空间数据重建磁共振图像（MRI）。我们将字典学习作为图像重建过程的一部分。为此，我们使用beta过程作为非参数字典学习先验，用于将图像补丁表示为字典元素的稀疏组合。除了其他字典学习变量之外，还可以从数据中推断字典的大小和特定于补丁的稀疏模式。字典学习直接在压缩图像上执行，因此适合于所考虑的MRI。此外，我们研究了与字典学习模型相结合的总变差惩罚项，并展示了字典学习的去噪特性如何消除对噪声环境中正则化参数的依赖。我们推导出一个随机优化算法的基础上马尔可夫链蒙特卡罗（MCMC）的贝叶斯模型，并使用交替方向的乘数法（ADMM）有效地执行总变差最小化。我们提出了几个MRI上的经验结果，这表明所提出的正则化框架可以提高重建精度比其他方法。
2014-07-26 cs.CV physics.med-ph stat.AP
LASERS: LAtent Space Encoding for Representations with Sparsity for Generative Modeling
Rutgers, the State University of New Jersey（罗格斯大学（新泽西州立大学））
该研究提出LASERS稀疏潜在空间编码方法，构建基于字典学习的DL-VAE与DL-GAN模型，在重建质量上优于VQ类方法，同时解决码本崩溃问题，揭示VQ的核心优势源于有损压缩而非离散化。
2024-09-16 cs.CV cs.LG
Learning spatially adaptive sparsity level maps for arbitrary convolutional dictionaries
Physikalisch-Technische Bundesanstalt (PTB), Braunschweig and Berlin, Germany（物理技术联邦机构（PTB），柏林和不莱梅，德国）；School of Mathematical Sciences, Queen Mary University of London, UK（伦敦女王学院数学科学学院，英国）
本文提出了一种学习方法，通过改进的网络设计和专门的训练策略，扩展了基于神经网络推断的时空自适应稀疏性水平图的图像重建方法，实现了滤波器排列不变性，并在低场MRI中展示了使用不同字典的优势。
2026-05-18 cs.CV cs.LG eess.IV
Classification of Chinese Handwritten Numbers with Labeled Projective Dictionary Pair Learning
Shahrood University of Technology（沙赫鲁德理工大学）；Queen’s University Belfast（贝尔法斯特女王大学）；University of Essex（埃塞克斯大学）；University of Edinburgh（爱丁堡大学）
字典学习是图像分类的基石。我们着手解决使用字典学习进行分类的长期挑战;即同时最大限度地提高学习字典的可辨别性和稀疏表示能力。在此前提下，我们设计了类特定的字典，结合三个因素：可辨别性，稀疏性和分类错误。我们将这些度量集成到统一的成本函数中，并采用了新的特征空间，即，方向梯度直方图（HOG），以生成字典原子。使用HOG特征设计字典的基本原理是它们在描述拥挤图像的细节方面的优势。将所提出的方法应用于中文手写数字分类的结果表明，与最先进的深度学习技术（即，SqueezeNet、GoogLeNet和MobileNetV 2），但只有一小部分参数。此外，与仅使用像素域数据的情况相比，HOG特征与字典学习的组合将精度提高了$11\%$。当所提出的方法应用于阿拉伯语和英语手写数字数据库时，这些结果得到了支持。
2020-12-07 cs.CV cs.LG
Efficient Dictionary Learning with Sparseness-Enforcing Projections
Ulm University（乌尔姆大学）
学习字典适合稀疏编码，而不是使用工程基地已被证明是有效的各种图像处理任务。本文研究了优化字典的图像数据的表示是强制显式稀疏相对于一个光滑的，归一化的稀疏性措施。这涉及到计算欧几里德投影到稀疏度量的水平集上。而以前的算法，这个优化问题至少有准线性的时间复杂度，在这里提出的第一个算法具有线性时间复杂度和恒定的空间复杂度。其关键是基于软收缩函数的投影结果的表征的数学上严格的推导。这一理论被应用于一种名为Easy Dictionary Learning（EZDL）的原始算法中，该算法使用简单且快速计算的Hebbian-like学习规则来学习词典。新算法是有效的，表达和特别简单的实现。它表明，尽管它的简单性，所提出的学习算法是能够产生各种各样的字典，特别是拓扑组织的原子或可分离的原子。此外，字典的表现力作为基准学习算法在整个图像的再现质量方面，并导致等效的去噪性能。EZDL的学习速度比已经非常高效的在线词典学习算法快大约30%，因此有资格进行快速数据集分析和处理大量学习样本的问题。
2016-04-16 cs.CV cs.LG cs.NE
Finding a sparse vector in a subspace: Linear sparsity using alternating directions
Columbia University（哥伦比亚大学）
用$\mathrm{dim}(\mathcal{S})= n < p$在通用子空间$\mathcal{S} \subseteq \mathbb{R}^p$中找到稀疏向量（方向）是否可能？这个问题可以被认为是稀疏恢复问题的同质变体，并发现与稀疏字典学习，稀疏PCA以及信号处理和机器学习中的许多其他问题的联系。在本文中，我们专注于一个 ** 种植稀疏模型 ** 的子空间：目标稀疏向量嵌入在一个随机的子空间。当目标稀疏向量中的非零条目的分数大大超过$O(1/\sqrt{n})$时，用于该种植恢复问题的简单凸算法可证明地失效。相比之下，我们展示了一个相对简单的非凸方法的基础上交替的方向，证明成功，即使当非零条目的分数是$Ω(1)$。据我们所知，这是第一个在种植稀疏模型下实现线性缩放的实用算法。从经验上讲，我们提出的算法在更具有挑战性的数据模型中也取得了成功，例如，稀疏字典学习
2016-07-20 cs.CV cs.IT cs.LG
