Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Structured Dictionary Learning for Classification
The Johns Hopkins University（约翰斯·霍普金斯大学）；The Pennsylvania State University（宾夕法尼亚州立大学）
稀疏驱动信号处理在过去十年中得到了极大的普及。其核心是假设感兴趣的信号相对于固定变换或信号相关字典是稀疏的。为了更好地捕捉数据特征，已经提出了各种字典学习方法用于重建和分类任务。特别是对于分类，到目前为止提出的大多数方法都集中在设计显式约束的稀疏代码，以提高分类精度，而简单地采用$l_0$-范数或$l_1$-范数的稀疏正则化。受结构化稀疏在压缩感知领域的成功的启发，我们提出了一个结构化字典学习框架（StructDL），它在学习过程中结合了组和任务级别的结构信息。它的好处是双重的：（i）字典原子和训练数据之间的标签一致性被隐含地实施;以及（ii）在小字典大小或有限训练数据的情况下，分类性能比其他技术更鲁棒。使用子空间模型，我们推导了StructDL的条件，以保证性能，并从理论上表明，StructDL是优于$l_0$-范数或$l_1$-范数正则化字典学习分类。大量的实验已经进行了合成模拟和现实世界中的应用，如人脸识别和对象分类，以证明所提出的DL框架的有效性。
2014-06-08 cs.CV
Unsupervised domain adaption dictionary learning for visual recognition
China University of Petroleum（中国石油大学）
在过去的几年中，字典学习方法已被广泛应用于处理各种计算机视觉识别应用，并产生了最先进的结果。然而，当目标域的数据实例具有与源域的数据实例不同的分布时，字典学习方法可能无法很好地执行。本文针对跨域视觉识别问题，提出了一种简单有效的无监督域自适应方法，其中标记数据仅来自源域。为了使源域和目标域中的原始数据分布一致，该方法在对源域和目标域中最近耦合的数据进行联合字典学习的同时，强制源域和目标域中最近耦合的数据具有相同的稀疏表示，学习后的字典可以分别重构源域和目标域中的原始数据。因此原始数据的稀疏表示可以用于执行视觉识别任务。我们证明了我们的方法在标准数据集上的有效性。我们的方法与竞争对手的最先进的方法相比，表现相当或更好。
2015-06-03 cs.CV
Disentangling Latent Embeddings with Sparse Linear Concept Cones (SLiCC)
Department of Electrical & Computer Engineering, University of Delaware, USA（电气与计算机工程系，德雷克塞尔大学）；Naval Surface Warfare Center, Panama City Division, Panama City, Florida, USA（Panama City 分部，海军水面 warfare 中心）；Department of Navy award N00014-24-1-2259 issued by the Office of Naval Research（海军部奖项 N00014-24-1-2259，由海军研究办公室颁发）；Department of Computer & Information Sciences, University of Delaware, USA（计算机与信息科学系，德雷克塞尔大学）
本文提出 SLiCS，通过有监督组结构化稀疏字典学习将视觉-语言嵌入解耦为概念子空间，并支持零样本多标签，提升概念过滤检索与条件生成精度。
2026-10-30 cs.CV
Learning efficient structured dictionary for image classification
Jiangnan University（江南大学）
近年来，基于字典学习的方法在模式分类领域取得了成功。在本文中，我们提出了一种有效的结构化字典学习（ESDL）方法，该方法同时考虑了训练样本的多样性和标签信息。具体而言，ESDL将替代训练样本引入字典学习过程。为了提高分类的代表系数的鉴别能力，一个理想的正则化项被纳入ESDL的目标函数。此外，与传统的DL方法施加计算昂贵的L1范数约束的系数矩阵，ESDL采用L2范数正则化项。在基准数据库（包括四个人脸数据库和一个场景数据集）上的实验结果表明，ESDL优于以前的DL方法。更重要的是，ESDL可以应用于广泛的模式分类任务。
2020-05-08 cs.CV eess.IV
Toward Real-Time Image Annotation Using Marginalized Coupled Dictionary Learning
Sharif University of Technology（谢里夫理工大学）；Shahid Rajaee Teacher Training University（沙希德拉贾伊教师培训大学）
针对现有不平衡标签图像标注方法耗时的问题，提出带边缘化损失与ℓ₁正则化的耦合字典学习方法，同步学习视觉原型与语义，实现实时高精度标注，且代码已开源。
2023-04-17 cs.CV cs.LG
DLDL: Dynamic Label Dictionary Learning via Hypergraph Regularization
College of Control Science and Engineering, China University of Petroleum (East China)（中国石油大学（华东）控制科学与工程学院）
对于分类任务，基于字典学习的方法近年来引起了广泛的关注。一种流行的方法来实现这一目的是引入标签信息来生成一个判别字典来表示样本。然而，与传统的字典学习相比，这类方法只在监督学习方面取得了显著的改进，对半监督或无监督学习的积极影响不大。为了解决这个问题，我们提出了一个动态标签字典学习（DLDL）算法来生成未标记数据的软标签矩阵。具体来说，我们采用超图流形正则化来保持原始数据，转换数据和软标签之间的关系一致。我们证明了所提出的DLDL方法的效率在两个遥感数据集。
2020-10-23 cs.CV
Optimal Projections for Discriminative Dictionary Learning using the JL-lemma
本文提出基于JL引理的构造方法，通过改进的监督PCA分析生成投影矩阵，提升特征-标签一致性并保持数据几何结构，实验表明在OCR和人脸识别数据集上具有更好的分类性能。
2024-10-03 cs.CV cs.ET cs.LG
Zero-Shot Image Classification Using Coupled Dictionary Embedding
USC Information Sciences Institute（南加州大学信息科学研究所）；Vanderbilt University（范德堡大学）；Wayve；HRL Laboratories（HRL实验室）；University of Pennsylvania（宾夕法尼亚大学）；SK Telecom（SK电信）
零样本学习（Zero-shot learning，缩写为ZRL）是一种基于语义信息对图像进行分类的框架。在本文中，我们提出了一种新的基于耦合字典学习的CNOL算法。其核心思想是图像的视觉特征和语义属性可以在一个中间空间中共享相同的稀疏表示。我们使用的图像从看到的类和语义属性从看到的和看不见的类来学习两个字典，可以稀疏地表示图像的视觉和语义特征向量。在CPDL测试阶段，在没有标记数据的情况下，可以通过仅使用视觉数据找到联合稀疏表示来将来自未见过的类的图像映射到属性空间。然后在属性空间中对图像进行分类，给出看不见的类的语义描述。我们还提供了一个属性感知的配方，以解决域转移和hubness的问题，在CNOL。提供了大量的实验，以证明我们的方法对最先进的BLOG算法在基准BLOG数据集上的优越性能。
2021-10-23 cs.CV cs.LG stat.ML
Towards Privacy-Preserving Fine-Grained Visual Classification via Hierarchical Learning from Label Proportions
PRIS, Beijing University of Posts and Telecommunications（北京邮电大学）；Tsinghua University（清华大学）
针对隐私敏感场景下细粒度视觉分类依赖实例标签的问题，提出LHFGLP框架，利用标签比例学习范式并结合分层稀疏字典学习与分层比例损失，在三个数据集上显著提升了分类性能。
2025-05-29 cs.CV
Geometrically Adaptive Dictionary Attack on Face Recognition
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
基于CNN的人脸识别模型带来了显着的性能改善，但它们容易受到对抗性扰动的影响。最近的研究表明，即使对手只能访问模型的硬标签输出，他们也可以欺骗模型。然而，由于需要许多查询来发现不可感知的对抗性噪声，因此减少查询的数量对于这些攻击至关重要。在本文中，我们指出了现有的基于决策的黑盒攻击的两个局限性。我们观察到它们浪费了背景噪声优化的查询，并且它们没有利用为其他图像生成的对抗性扰动。我们利用三维人脸对齐来克服这些限制，并提出了一个通用的策略，查询效率的黑盒攻击的人脸识别命名为几何自适应字典式攻击（GADA）。我们的核心思想是在UV纹理贴图中创建一个对抗性扰动，并将其投影到图像中的人脸上。该算法通过将扰动搜索空间限制在人脸区域内，并有效地回收以前的扰动，极大地提高了查询效率。我们将GADA策略应用于两种现有的攻击方法，并在LFW和CPLFW数据集上的实验中显示出压倒性的性能改善。此外，我们还提出了一种新的攻击策略，可以规避查询相似性为基础的状态检测，确定基于查询的黑盒攻击的过程。
2021-11-08 cs.CR cs.CV cs.LG
Semi-supervised Dictionary Learning Based on Hilbert-Schmidt Independence Criterion
University of Toronto（多伦多大学）；University of Waterloo（滑铁卢大学）
本文提出了一种新的半监督字典学习和稀疏表示（SS-DLSR）。该方法通过在数据和类标签之间的依赖性最大化的空间中学习字典来受益于监督信息。该最大化使用希尔伯特-施密特独立准则（HSIC）来执行。另一方面，通过最小化未标记数据与学习到的字典空间中对应的最近标记数据之间的距离，从未标记数据学习底层流形的全局分布。所提出的SS-DLSR算法具有字典和稀疏系数的封闭形式的解决方案，因此不必像DLSR文献中常见的那样迭代和交替地学习两者。这使得所提出的算法的解决方案非常快。实验证实，通过包含来自标记和未标记数据的信息，特别是当有许多未标记数据时，在基准数据集上的分类性能得到了改善。
2016-04-25 cs.CV
Semantic Embedded Deep Neural Network: A Generic Approach to Boost Multi-Label Image Classification Performance
针对真实场景背景干扰多标签图像分类的问题，本文提出融合空间感知语义特征与通道注意力的通用语义嵌入深度神经网络，在 Instagram 时尚图像上实现 AUC 平均相对提升 15.27%。
2023-06-05 cs.AI cs.CV cs.RO
SSDL: Self-Supervised Dictionary Learning
China University of Petroleum (East China)（中国石油大学（华东））；Harbin Institute of Technology（哈尔滨工业大学）
标签嵌入式词典学习（DL）算法通过引入判别信息来生成有影响力的词典。然而，存在一个局限性：所有的标签嵌入DL方法依赖于标签，因为这种方式只能达到理想的性能在监督学习。而在半监督和无监督学习中，它不再足以有效。受自监督学习概念的启发（例如，设置借口任务以生成下游任务的通用模型），我们提出了一个自监督字典学习（SSDL）框架来解决这一挑战。具体来说，我们首先设计了一个$p$ -Laplacian注意超图学习（pAHL）块作为借口任务来生成DL的伪软标签。然后，我们采用伪标签训练一个字典从一个主要的标签嵌入DL方法。我们在两个人类活动识别数据集上评估我们的SSDL。与其他国家的最先进的方法的比较结果表明，SSDL的效率。
2021-12-03 cs.CV cs.LG
Learning a Pedestrian Social Behavior Dictionary
Rutgers University（罗格斯大学）
本文提出一种无监督框架学习行人行为字典，通过轨迹潜空间聚类生成可解释的行为分类法，并利用该字典进行行为地图可视化和轨迹预测，在ETH和UCY数据集上达到与SOTA相当的效果。
2022-12-02 cs.CV
Semi-supervised dictionary learning with graph regularization and active points
Institut LIST, CEA（法国原子能与替代能源委员会 LIST 研究所）；Université Paris-Saclay（巴黎-萨克雷大学）；Astrophysics Department, CEA（法国原子能与替代能源委员会天体物理部）
监督字典学习在近十年来获得了很大的兴趣，并在图像分类中表现出显着的性能改善。然而，一般来说，监督学习需要每个类大量的标记样本来实现可接受的结果。为了处理每类只有少量标记样本的数据库，使用了半监督学习，该学习在训练阶段也利用了未标记样本。事实上，未标记的样本可以帮助正则化学习模型，从而提高分类精度。本文提出了一种新的基于两个支柱的半监督字典学习方法：一方面，我们使用局部线性嵌入将原始数据的流形结构保持到稀疏代码空间中，这可以被认为是稀疏代码的正则化;另一方面，我们在稀疏代码空间中训练半监督分类器。我们表明，我们的方法提供了一个最先进的半监督字典学习方法的改进。
2020-09-13 cs.CV
Classification of Chinese Handwritten Numbers with Labeled Projective Dictionary Pair Learning
Shahrood University of Technology（沙赫鲁德理工大学）；Queen’s University Belfast（贝尔法斯特女王大学）；University of Essex（埃塞克斯大学）；University of Edinburgh（爱丁堡大学）
字典学习是图像分类的基石。我们着手解决使用字典学习进行分类的长期挑战;即同时最大限度地提高学习字典的可辨别性和稀疏表示能力。在此前提下，我们设计了类特定的字典，结合三个因素：可辨别性，稀疏性和分类错误。我们将这些度量集成到统一的成本函数中，并采用了新的特征空间，即，方向梯度直方图（HOG），以生成字典原子。使用HOG特征设计字典的基本原理是它们在描述拥挤图像的细节方面的优势。将所提出的方法应用于中文手写数字分类的结果表明，与最先进的深度学习技术（即，SqueezeNet、GoogLeNet和MobileNetV 2），但只有一小部分参数。此外，与仅使用像素域数据的情况相比，HOG特征与字典学习的组合将精度提高了$11\%$。当所提出的方法应用于阿拉伯语和英语手写数字数据库时，这些结果得到了支持。
2020-12-07 cs.CV cs.LG
Structure-Aware Classification using Supervised Dictionary Learning
Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们提出了一个监督字典学习算法，旨在保持局部几何在两个维度的数据。基于图的正则化明确考虑了数据点的局部流形结构。第二个图正则化对特征域进行了类似的处理，并有助于学习更强大的字典。这两个图都可以从训练数据构建，或者沿着字典学习过程学习和调整。这两个术语的组合促进了学习的稀疏表示的区分能力，并导致改进的分类精度。该方法在几个不同的数据集上进行了评估，代表单标签和多标签分类问题，与其他基于字典的方法相比，表现出更好的性能。
2016-09-29 cs.CV cs.LG
Buried object detection using handheld WEMI with task-driven extended functions of multiple instances
University of Missouri（密苏里大学）
许多有效的监督判别字典学习方法已经在文献中开发。然而，当训练这些算法时，需要训练数据的精确地面实况以提供非常准确的逐点标签。然而，在许多应用中，准确的标签并不总是可行的。这在其中物体的尺寸不一致的掩埋目标检测的情况下尤其如此。在本文中，一个新的多实例字典学习算法检测埋地物体使用手持WEMI传感器的详细说明。新算法，任务驱动的扩展函数的多个变量，可以克服数据，没有非常精确的逐点标签，仍然学习一个高度判别字典。测量的WEMI数据的结果进行了介绍和讨论。
2016-03-19 cs.CV
Kernelized Supervised Dictionary Learning
在本文中，我们提出了监督字典学习（SDL），将信息的类标签到学习的字典。为此，我们建议在信号与其相应标签之间的依赖性最大化的空间中学习字典。为了最大限度地提高这种依赖性，最近推出的希尔伯特施密特独立准则（HSIC）。SDL的这种新方法的主要优点之一是，它可以很容易地通过将一个内核，特别是一个数据派生的内核，如归一化压缩距离，到制定内核化。学习的字典是紧凑的，所提出的方法是快速的。我们使用真实世界的数据表明，它优于文献中的其他无监督和监督字典学习方法。
2013-11-26 cs.CV cs.LG
Transductive Zero-Shot Learning with a Self-training dictionary approach
零样本学习（zero-shot learning，简称ZOL）是计算机视觉中一个重要而又具有挑战性的问题，其目标是在没有训练数据的情况下，从未知的目标类别中自动识别出目标实例。为了解决这一问题，通常从以下两个方面来进行语义标注：1）捕获可见类数据和不可见类数据之间的域分布连接; 2）对图像特征空间和标签嵌入空间之间的语义交互进行建模。出于这些观察，我们提出了一个双向映射为基础的语义关系建模方案，寻求跨模态的知识转移，同时投影到一个共同的潜在空间的图像特征和标签嵌入。即，我们具有从图像特征空间到潜在空间以及从标签嵌入空间到潜在空间的双向连接关系。为了处理域转移问题，我们进一步提出了一种转导学习方法，该方法在迭代精炼过程中制定类预测问题，其中对象分类能力通过基于引导的模型更新高度可靠的实例逐步加强。在三个基准数据集（AwA、CUB和SUN）上的实验结果表明了该方法的有效性。
2017-03-27 cs.CV
Multiple Instance Dictionary Learning using Functions of Multiple Instances
University of Missouri（密苏里大学）
提出了一种基于多实例函数的多实例字典学习方法（DL-FUMI），用于解决训练标签不准确的目标检测和两类分类问题。给定不准确的训练标签，DL-FUMI学习一组目标字典原子，这些原子描述了真阳性类的最独特和最具代表性的特征，以及一组非目标字典原子，这些原子解释了在阳性和阴性实例中发现的共享信息。实验结果表明，DL-FUMI发现的估计目标字典原子是更有代表性的原型，并确定更好的判别功能的真阳性类比现有的方法在文献中。DL-FUMI被证明有显着更好的性能在几个目标检测和分类问题相比，其他多实例学习（MIL）字典学习算法的各种MIL问题。
2016-08-03 cs.CV cs.LG stat.ML
Joint Subspace Recovery and Enhanced Locality Driven Robust Flexible Discriminative Dictionary Learning
Hefei University of Technology（合肥工业大学）；Soochow University（苏州大学）；Harbin Institute of Technology（哈尔滨工业大学）；University of Queensland（昆士兰大学）
我们提出了一种基于子空间恢复和增强局部性的鲁棒柔性标签一致性字典学习方法，称为鲁棒柔性判别字典学习（RFOLD）。该算法主要通过增强对稀疏错误的鲁棒性，对局部性、重构错误和标签一致性进行更精确的编码，来提高数据的表示和分类能力。首先，为了对数据和原子中的噪声和稀疏错误具有鲁棒性，RFRST旨在联合恢复底层的干净数据和干净原子子空间，然后在恢复的子空间中执行DL并编码局部性。其次，为了使从非线性流形采样的数据能够潜在地处理，并通过避免过拟合来获得准确的重建，RFFLOW以灵活的方式最小化重建误差。第三，为了对标签一致性进行准确编码，RFRST涉及有区别的灵活稀疏码错误以鼓励系数变软。第四，为了更好地编码局部性，RFFNN定义了恢复原子上的拉普拉斯矩阵，包括原子在类内紧凑性和类间分离方面的标签信息，并与组稀疏码和分类器相关联，以获得准确的区分性局部约束系数和分类器。在公共数据库上的大量结果表明了我们的RFESTs的有效性。
2019-06-11 cs.CV cs.LG
A High-Performance Accelerator for Super-Resolution Processing on Embedded GPU
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
本文提出一种面向嵌入式GPU的全栈超分辨率加速框架，通过字典选择策略与计算核优化设计解决通信与计算瓶颈，在边缘设备上显著优于NVIDIA TensorRT并实现实时推理。
2023-03-16 cs.AR cs.CV eess.IV
A Lightweight Randomized Nonlinear Dictionary Learning Method using Random Vector Functional Link
University of Hyderabad（海得拉巴大学）；School of Computer and Information Sciences（计算机与信息科学学院）
提出一种基于RVFL的无SVD轻量级非线性字典学习方法RVFLDL，通过非线性变换引入高阶依赖，在图像分类与重建中表现优于其他方法。
2024-04-24 cs.CV
Hybrid CNN and Dictionary-Based Models for Scene Recognition and Domain Adaptation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）；National University of Singapore（新加坡国立大学）
卷积神经网络（CNN）在许多不同的视觉任务中取得了最先进的性能。从大规模训练数据集中学习，CNN特征比手工制作的特征更具区分力和准确性。此外，CNN特征也可以在不同的域之间转移。另一方面，传统的基于字典的特征（如BoW和SPM）包含更多的局部判别和结构信息，这些信息被隐式地嵌入到图像中。为了进一步提高性能，在本文中，我们提出了结合CNN与基于字典的模型的场景识别和视觉领域自适应。具体地，基于良好调整的CNN模型（例如，AlexNet和VGG Net），进一步构建了两种基于字典的表示，即中层局部表示（MLR）和卷积Fisher向量表示（CFV）。在MLR中，一种有效的两阶段聚类方法，即，对单个图像的部分进行加权空间和特征空间谱聚类，然后对所有图像的所有代表部分进行聚类，用于生成类混合或类特定部分字典。之后，部分字典用于与多尺度图像输入一起操作以生成中级表示。在CFV中，利用多尺度和尺度比例GMM训练策略来基于CNN的最后一个卷积层生成Fisher向量。通过融合MLR、CFV和全连通层的CNN特征的互补信息，在场景识别和领域自适应问题上可以达到最先进的性能。一个有趣的发现是，我们提出的混合表示（来自ImageNet上训练的VGG网络）也与GoogLeNet和/或VGG-11（在Place 205上训练）有很大的互补性。
2016-01-29 cs.CV
Discriminative Dictionary Design for Action Classification in Still Images and Videos
Nanyang Technological University（南洋理工大学）；Indian Institute of Technology, Bombay（印度理工学院孟买分校）；Edinburgh Napier University（爱丁堡龙比亚大学）；Singapore University of Technology and Design（新加坡科技设计大学）
在本文中，我们解决的问题，从静止图像和视频的动作识别。传统的局部特征，如SIFT、STIP等，总是会带来两个潜在的问题：1）它们在给定类别的不同实体中的分布不均匀; 2）许多这样的特征并不排斥实体所表示的视觉概念。为了生成一个字典考虑到上述问题，我们提出了一种新的判别方法，用于识别鲁棒性和类别特定的局部特征，最大限度地提高类可分性在更大程度上。具体来说，我们提出的过滤为基础的特征选择问题，排名的基础上，一个新的独特性措施的每类本地功能的有效本地描述符的选择。随后基于学习的字典表示底层视觉实体，并且该阶段之后是使用随机森林模型的动作分类，之后是标签传播细化。该框架在基于静态图像（Stanford-40）和视频（UCF-50）的动作识别数据集上进行了验证，并表现出比文献中的代表性方法更优越的性能。
2020-06-06 cs.CV
Discriminative Dictionary Learning based on Statistical Methods
School of Computer and Information Sciences, University of Hyderabad（海得拉巴大学计算机与信息科学学院）
本文探讨了利用统计方法改进字典学习以提升分类性能，提出混合方法结合稀疏系数与多层感知机，实现判别字典学习。
2021-11-17 cs.CV
Supervised Dictionary Learning and Sparse Representation-A Review
University of Toronto（多伦多大学）；Sunnybrook Health Sciences Center（桑尼布鲁克健康科学中心）；University of Waterloo（滑铁卢大学）
字典学习和稀疏表示（DLSR）是最近成功的用于数据表示的数学模型，其在诸如模式识别、机器学习、计算机视觉和医学成像的各种领域中实现最先进的性能。DLSR的原始公式是基于原始信号和其在学习字典空间中的稀疏表示之间的重建误差最小化。虽然这种公式对于解决去噪、修复和编码等问题是最佳的，但它可能不会导致分类任务中的最佳解决方案，其中最终目标是使学习的字典和相应的稀疏表示尽可能具有区分性。这促使了一类新技术的出现，这类技术被恰当地称为监督字典学习和稀疏表示（S-DLSR），从而在分类任务中实现了更优化的字典和稀疏表示。尽管许多研究工作的S-DLSR，文献缺乏一个全面的看法，这些技术，它们的连接，优点和缺点。在本文中，我们解决这个差距，并提供了一个审查最近提出的算法S-DLSR。我们首先提出了一个分类法，这些算法分为六个类别的基础上采取的方法，包括标签信息到字典和/或稀疏表示的学习。对于每一个类别，我们绘制了这一类别中的算法之间的连接，并为它们提供了一个统一的框架。然后，我们为应用研究人员提供了如何根据手头的问题表示和学习S-DLSR解决方案的构建块的指导方针。本文综述了S-DLSR的最新方法，并对这一新兴研究领域的研究和开发进行了深入的探讨。
2015-02-20 cs.CV
Discriminative Bayesian Dictionary Learning for Classification
The University of Western Australia（西澳大学）
我们提出了一种贝叶斯方法来学习数据稀疏表示的判别字典。所提出的方法推断概率分布的判别字典的原子使用贝塔过程。它还计算将类标签与学习的字典原子相关联的伯努利分布集。这种关联表示在类特定数据的扩展中字典原子的选择概率。此外，所提出的方法的非参数字符允许它推断字典的正确大小。我们利用上述伯努利分布分别学习线性分类器。分类器使用相同的分层贝叶斯模型的字典，我们沿着吉布斯抽样的分析推理解决方案。对于分类，首先在学习的字典上对测试实例进行稀疏编码，然后将代码馈送到分类器。我们使用五个公共数据集进行了人脸和动作识别以及对象和场景类别分类的实验，并将结果与最先进的判别稀疏表示方法进行了比较。实验表明，所提出的贝叶斯方法始终优于现有的方法。
2015-03-27 cs.CV cs.LG
ATD: Improved Transformer with Adaptive Token Dictionary for Image Restoration
School of Computer Science and Engineering (School of Cyber Security), University of Electronic Science and Technology of China (UESTC)（计算机科学与工程学院（网络安全学院），电子科学与技术大学（UESTC））
ATD通过自适应令牌词典实现图像恢复中的全局依赖建模，提升性能并降低计算复杂度。
2026-03-03 cs.CV
Unbalanced Optimal Transport Dictionary Learning for Unsupervised Hyperspectral Image Clustering
本文提出利用不平衡最优传输字典学习方法，通过低维表示和光谱聚类实现超光谱图像的无监督聚类。
2026-03-10 cs.CV cs.LG math.ST
Human-machine Interactive Tissue Prototype Learning for Label-efficient Histopathology Image Segmentation
Tsinghua Shenzhen International Graduate School（清华深圳国际研究生院）；Tsinghua University（清华大学）；Tencent AI Lab（腾讯人工智能实验室）；University of California, Los Angeles（加州大学洛杉矶分校）；The Chinese University of Hong Kong（香港中文大学）
最近，深度神经网络极大地改进了组织病理学图像分割，但通常需要大量的注释数据。然而，由于整个载玻片图像的千兆像素规模和病理学家繁重的日常工作量，在临床实践中获得用于监督学习的像素级标签通常是不可行的。或者，弱监督分割方法已经被探索，具有较少费力的图像级标签，但由于缺乏密集监督，它们的性能不令人满意。受最近成功的自监督学习方法的启发，我们提出了一个标签高效的组织原型字典建设管道，并建议使用获得的原型来指导组织病理学图像分割。特别地，利用自监督对比学习，训练编码器以将未标记的组织病理学图像块投影到有区别的嵌入空间中，其中这些块被聚类以通过有效的病理学家的视觉检查来识别组织原型。然后，编码器被用来映射到嵌入空间的图像，并产生像素级的伪组织掩模通过查询组织原型字典。最后，使用伪掩码训练具有密集监督的分割网络，以获得更好的性能。在两个公开数据集上的实验表明，我们的人机交互组织原型学习方法可以实现与全监督基线相当的分割性能，并且注释负担更少，并且优于其他弱监督方法。代码将在发布时提供。
2023-03-10 cs.CV
The Interpretable Dictionary in Sparse Coding
Drexel University（德雷塞尔大学）；University of Delaware（特拉华大学）
人工神经网络（ANN），特别是深度学习网络，由于数据的内部表示不容易解释，因此经常被标记为黑盒。在我们的工作中，我们说明了在特定稀疏约束下使用稀疏编码训练的ANN，产生了比标准深度学习模型更可解释的模型。通过稀疏编码学习的字典可以更容易理解，并且这些元素的激活创建了选择性特征输出。我们将稀疏编码模型与在相同数据上训练的等效前馈卷积自动编码器进行比较和对比。我们的研究结果表明，定性和定量的好处，在解释学习稀疏编码字典以及内部激活表示。
2020-11-24 cs.AI cs.CV cs.LG
Dictionary learning for clustering on hyperspectral images
University of the Witwatersrand（金山大学）；School of Computer Science and Applied Mathematics（计算机科学与应用数学系）
字典学习和稀疏编码作为无监督特征学习的机制已被广泛研究。无监督学习可以给高光谱图像处理和其他遥感数据分析带来巨大的好处，因为在这一领域，标记数据往往是稀缺的。我们提出了一种方法，用于聚类的高光谱图像的像素使用稀疏系数计算从一个代表性的字典作为功能。我们的经验表明，所提出的方法比聚类的原始像素更有效。我们还表明，我们的方法，在某些情况下，优于使用主成分分析和非负矩阵分解提取的特征的聚类结果。此外，我们的方法适用于重复聚类不断增长的高维数据量的应用程序，这是与高光谱卫星图像工作时的情况。
2022-02-02 cs.CV cs.LG eess.IV
Embedded Multi-label Feature Selection via Orthogonal Regression
Faculty of Information Technology, Beijing University of Technology（北京工业大学信息学部）；School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院）；Guangdong Artificial Intelligence and Digital Economy Laboratory（广东省人工智能与数字经济实验室）
针对最小二乘回归嵌入式多标签特征选择判别信息保留不足的问题，提出GRROOR，利用带特征加权的正交回归并联合优化全局冗余与标签相关性。
2024-03-01 cs.AI cs.CV
Multi-task Dictionary Learning based Convolutional Neural Network for Computer aided Diagnosis with Longitudinal Images
Arizona State University（亚利桑那州立大学）；University of Michigan（密歇根大学）；Mayo Clinic（梅奥诊所）
基于纵向数据的神经退行性疾病的医学图像诊断和预后引起了计算机视觉研究者的极大兴趣。当前用于许多图像分类任务的最先进的模型是基于卷积神经网络（CNN）。然而，将CNN应用于生物问题的一个关键挑战是可用的标记训练样本非常有限。CNN在计算机辅助诊断应用中应用的另一个问题是，为了实现更好的诊断和预后准确性，通常必须处理纵向数据集，即，在不同时间点扫描的图像数据集。在这里，我们认为，一个增强的CNN模型与迁移学习的联合分析的任务，从多个时间点或区域的利益可能有潜力，以提高计算机辅助诊断的准确性。为了实现这一目标，我们创新了一个基于CNN的深度学习多任务字典学习框架来解决上述挑战。首先，我们在ImageNet数据集上预训练CNN，并将知识从预训练的模型转移到医学成像进展表示中，为不同的任务生成特征。然后，我们提出了一种新的无监督学习方法，称为多任务随机坐标编码（MSCC），学习不同的任务，通过使用共享和个人字典和生成预测未来的认知临床分数所需的稀疏特征。我们将我们的新模型应用于一个公开的神经影像学队列，以预测具有两种不同特征集的临床指标，并将其与其他七种最先进的方法进行比较。实验结果表明，我们提出的方法取得了优越的效果。
2017-08-31 cs.CV
Automatic 3D Liver Segmentation Using Sparse Representation of Global and Local Image Information via Level Set Formulation
Leibniz University Hannover（汉诺威莱布尼茨大学）；TU Dresden（德累斯顿工业大学）
在本文中，提出了一种新的框架自动肝脏分割通过水平集制定。一个稀疏表示的全球（区域为基础的）和本地（体素明智的）图像信息嵌入在水平集制定创新的新的成本函数。建立了两个字典：基于区域的特征字典和体素字典。这些字典是使用K-SVD方法从肝脏分割挑战的公共数据库（MICCAI-SLiver07）中学习的。学习的字典提供先验知识的水平集制定。在定量评价方面，利用MICCAI-Sliver07数据库的测试数据对所提出的方法进行了评价。使用由挑战组织者计算的不同度量分数来评估结果。实验结果表明，所提出的框架的优越性，实现最高的分割精度（79.6%）相比，国家的最先进的方法。
2015-10-04 cs.CV
HiDE: Hierarchical Dictionary-Based Entropy Modeling for Learned Image Compression
Hohai University（河海大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Nanjing Audit University（南京审计大学）；Nanjing University（南京大学）
HiDE通过层次字典结构和上下文感知参数估计器，提升学习图像压缩的压缩效率与性能。
2026-03-06 cs.CV cs.MM eess.IV
Semi-supervised deep learning based on label propagation in a 2D embedded space
University of Campinas（坎皮纳斯大学）
虽然卷积神经网络需要大的标记集来训练图像，但对此类数据集的专家人工监督可能非常费力。所提出的解决方案将标签从监督图像的小集合传播到非监督图像的大集合，以获得足够的真实和人工标记的样本来训练深度神经网络模型。然而，这样的解决方案需要许多监督图像进行验证。我们提出了一个循环，其中深度神经网络（VGG-16）是从一组具有更正确标记的样本中训练出来的，这些样本是通过使用t-SNE将其最后一个最大池化层的特征投影到一个2D嵌入空间中来创建的，在这个嵌入空间中，使用最优路径森林半监督分类器来传播标签。随着标记集随着迭代而改进，它改进了神经网络的特征。我们表明，这可以显着提高分类结果的测试数据（仅使用1\%至5\%的监督样本）的三个私人挑战数据集和两个公共的。
2021-01-15 cs.CV cs.LG
Polymorph: Energy-Efficient Multi-Label Classification for Video Streams on Embedded Devices
Queen’s University Belfast（女王大学贝尔法斯特分校）；Microsoft（微软）；Virginia Tech（弗吉尼亚理工大学）；University College Dublin（都柏林大学）
Polymorph通过模块化轻量级LoRA适配器实现嵌入式设备上视频流的高效多标签分类，降低能耗并提升mAP性能。
2026-01-11 cs.CV cs.PF
Learning Structured Twin-Incoherent Twin-Projective Latent Dictionary Pairs for Classification
Soochow University（苏州大学）；Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Nanjing University of Information Science and Technology（南京信息工程大学）
在本文中，我们扩展流行的字典对学习（DPL）的情况下，双投射潜在灵活的DPL下的结构化双不一致。在技术上，提出了一种新的框架称为双投影潜在灵活DPL（TP-DPL），它最大限度地减少了双非相干约束灵活放松重建误差，以避免可能的过拟合问题，并产生准确的重建。在这种情况下，我们的TP-DPL集成了基于双不相干的潜在灵活的DPL和联合嵌入的代码，以及显着特征的双投影到一个统一的模型中的自适应邻域保持的方式。因此，TP-DPL统一了显著特征提取，表示和分类。对代码和特征的孪生非相干约束可以显式地确保它们的高类内紧致性和类间分离性。TP-DPL还集成了自适应加权，以显式地保留每个类中系数和显著特征的局部邻域。为了提高效率，TP-DPL使用Frobenius范数，并放弃了昂贵的l0/l1范数用于组稀疏表示。另一个副产品是TP-DPL可以直接应用类特定的双投影重建残差来计算数据的标签。公共数据库上的大量结果表明，TP-DPL可以提供最先进的性能。
2019-08-21 cs.CV cs.LG
A deep dictionary network-based foundation model for ultra-low-dose CT denoising
Yanshan University（燕山大学）；Capital Medical University（首都医科大学）；Beijing Friendship Hospital（北京友谊医院）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
针对超低剂量CT去噪中器官特异性方法泛化差的问题，提出基于深度字典网络的可解释基础模型，通过级联稀疏编码与动态字典实现统一多器官去噪，性能超越现有方法。
2026-09-16 cs.CV cs.LG eess.IV
Deep Neural Ensemble for Retinal Vessel Segmentation in Fundus Images towards Achieving Label-free Angiography
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）
无标记眼底图像中视网膜血管的自动分割在眼科病理学的计算机辅助诊断中具有关键作用，即，糖尿病视网膜病、高血压疾病和心血管疾病。由于血管的不同分布，在嘈杂的背景下，血管的物理外观尺寸会发生变化，因此在医学图像分析研究中仍然存在挑战。在本文中，我们制定了分割的挑战作为一个分类任务。具体来说，我们采用无监督的分层特征学习，使用两级稀疏训练的去噪堆叠自动编码器的集成。使用引导样本的第一级训练确保解耦，由不同网络架构形成的第二级集成确保架构修正。我们表明，集成训练的自动编码器促进多样性的学习字典的视觉内核血管分割。SoftMax分类器用于微调每个成员的自动编码器，并探索多种策略用于集成成员的2级融合。在DRIVE数据集上，我们实现了95.33%的最大平均准确率，令人印象深刻的低标准差为0.003，Kappa一致系数为0.708。与其他主要算法的比较证实了我们的模型的高效率。
2016-09-19 cs.CV
Sparse Factorization Layers for Neural Networks with Limited Supervision
University of Michigan（密歇根大学）
虽然CNN在许多视觉问题上已经取得了巨大的进步，但它们依赖于大量的标记训练数据。另一方面，字典学习并不能扩展到CNN可以处理的问题的大小，尽管它在去噪和修复等低级视觉任务中非常有效。最近，人们越来越关注将字典学习方法用于监督任务，如分类和逆问题。我们提出了两个基于字典学习的新网络层：稀疏因子分解层和卷积稀疏因子分解层，分别类似于全连接层和卷积层。使用我们的推导，这些层可以被放入现有的CNN中，以端到端的方式与反向传播一起训练，并以经典CNN无法实现的方式利用半监督。我们通过实验将具有这两个新层的网络与基线CNN进行比较。我们的研究结果表明，当监督数据很少时，具有稀疏分解层的网络能够优于经典CNN。与没有稀疏因子分解层的CNN相比，它们在某些任务中的性能也有所提高。
2016-12-14 cs.AI cs.CV stat.ML
Label-Attention Transformer with Geometrically Coherent Objects for Image Captioning
Gwangju Institute of Science and Technology (GIST)（光州科学技术院）；Monitorapp（Monitorapp公司）；Dankook University（檀国大学）
图像和视频中场景理解的自动转录是迈向人工通用智能的一步。图像描述是使用计算机视觉技术描述图像中有意义信息的术语。自动化图像描述技术利用编码器和解码器架构，其中编码器从图像提取特征并且解码器生成转录本。在这项工作中，我们调查了两个未开发的想法图像描述使用Transformers：首先，我们证明了使用对象的相关性在周围环境中的执法。第二，学习标签和语言结构之间的明确关联。我们提出了标记注意力Transformer与几何相干对象（LATGeO）。所提出的技术获得了一个建议的几何连贯的对象，使用深度神经网络（DNN）和生成字幕，通过调查他们的关系，使用标签注意模块。使用提案的几何特性的局部化比率来定义对象相干性。标签关注模块使用自关注层将提取的对象类与可用字典相关联。实验结果表明，对象在周围环境中的相关性和结合他们的视觉特征与他们的几何定位率结合其相关的标签有助于定义有意义的字幕。所提出的框架进行了测试的MSCOCO数据集，并在整体上更好的定量分数的全面评估，宣布其优越性。
2021-09-16 cs.AI cs.CV
An embedded system for the automated generation of labeled plant images to enable machine learning applications in agriculture
缺乏足够的训练数据，无论是在种类还是数量上，通常都是任何领域机器学习（ML）应用开发的瓶颈。对于农业应用，设计用于执行诸如自主植物分类之类的任务的基于ML的模型通常将仅耦合到一个或几个植物物种。因此，每种作物特定的任务很可能需要自己的专门训练数据，而如何满足这种数据需求的问题现在往往掩盖了实际训练这种模型的更常规的练习。为了解决这个问题，我们开发了一个嵌入式机器人系统，可以自动生成和标记大型植物图像数据集，用于农业中的ML应用。该系统可以从几乎任何角度对植物进行成像，从而确保各种各样的数据;并且成像速率高达每秒一张图像，它可以每天产生数千到数万张图像的标记数据集。因此，该系统提供了一个重要的替代时间和成本密集型方法的手动生成和标记。此外，使用由蓝色键控织物制成的均匀背景使得能够实现附加的图像处理技术，诸如背景替换和植物分割。它还有助于训练过程，基本上迫使模型专注于植物特征并消除随机相关性。为了展示我们系统的能力，我们生成了一个包含34，000多个标记图像的数据集，并使用该数据集训练了一个ML模型，以区分来自各种来源的测试数据中的草和非草。我们现在计划生成更大的加拿大农作物和杂草数据集，这些数据集将公开提供，希望进一步实现农业领域的机器学习应用。
2021-04-01 cs.CV cs.LG cs.RO
End-to-End Supervised Product Quantization for Image Search and Retrieval
Tel Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
乘积量化是一种基于字典的哈希方法，是领先的无监督哈希技术之一。虽然它忽略了标签，但它利用特征来构造可以近似特征空间的查找表。近年来，一些作品通过以监督的方式学习二进制表示，在哈希基准上取得了最先进的结果。这项工作提出了深度产品量化（DPQ），一种技术，导致更准确的检索和分类比最新的最先进的方法，同时具有类似的计算复杂性和产品量化方法的内存占用。据我们所知，这是引入基于字典的表示的第一项工作，该表示受到乘积量化的启发，并且是端到端学习的，因此受益于监督信号。DPQ通过使用直通估计器显式地学习软表示和硬表示，以实现高效和准确的非对称搜索。我们的方法获得了广泛的检索和分类实验的最先进的结果。
2020-01-17 cs.CV cs.LG
AMD Severity Prediction And Explainability Using Image Registration And Deep Embedded Clustering
IBM Research Australia（IBM澳大利亚研究院）
我们提出了一种方法来预测严重程度的年龄相关性黄斑变性（AMD）的输入光学相干断层扫描（OCT）图像。虽然AMD没有标准的临床严重程度量表，但我们利用基于深度学习（DL）的图像配准和聚类方法来识别患病病例并预测其严重程度。实验表明，我们的方法的疾病分类性能匹配的最先进的方法。预测的疾病严重程度在以前看不见的数据上表现良好。关于标签和严重度决策，配准输出比类激活图提供更好的解释性
2019-07-06 cs.CV eess.IV
Active Deep Learning for Classification of Hyperspectral Images
研究了高光谱图像的主动深度学习分类问题。深度学习在许多应用中取得了成功，但需要高质量的标记样本来构建深度学习网络。在高光谱遥感图像中获取高质量的标记样本是一项昂贵的工作。提出了一种基于加权增量字典学习的主动学习算法。该算法选择训练样本，最大限度地提高两个选择标准，即代表性和不确定性。该算法通过在每次迭代中主动选择训练样本来有效地训练深度网络。将该算法应用于高光谱图像的分类，并与其他采用主动学习的分类算法进行了比较。实验结果表明，该算法在高光谱图像分类中是有效的。
2016-11-30 cs.CV cs.LG stat.ML
Unsupervised Video Class-Incremental Learning via Deep Embedded Clustering Management
Department of Computer Science, University of York, York YO10 5GH, UK（计算机科学系，约克大学，约克 YO10 5GH，英国）
本文提出了一种无监督视频类增量学习方法，通过深度嵌入聚类管理实现高效学习，优于现有基线方法。
2026-01-20 cs.AI cs.CV cs.LG
Unsupervised Video Continual Learning via Non-Parametric Deep Embedded Clustering
Department of Computer Science, University of York（约克大学计算机科学系）
针对无任务边界与标签的无监督视频持续学习，提出基于深度嵌入特征 KDE、新颖性检测和任务间迁移学习的非参数聚类方法。
2025-08-29 cs.AI cs.CV cs.LG
Finding a sparse vector in a subspace: Linear sparsity using alternating directions
Columbia University（哥伦比亚大学）
用$\mathrm{dim}(\mathcal{S})= n < p$在通用子空间$\mathcal{S} \subseteq \mathbb{R}^p$中找到稀疏向量（方向）是否可能？这个问题可以被认为是稀疏恢复问题的同质变体，并发现与稀疏字典学习，稀疏PCA以及信号处理和机器学习中的许多其他问题的联系。在本文中，我们专注于一个 ** 种植稀疏模型 ** 的子空间：目标稀疏向量嵌入在一个随机的子空间。当目标稀疏向量中的非零条目的分数大大超过$O(1/\sqrt{n})$时，用于该种植恢复问题的简单凸算法可证明地失效。相比之下，我们展示了一个相对简单的非凸方法的基础上交替的方向，证明成功，即使当非零条目的分数是$Ω(1)$。据我们所知，这是第一个在种植稀疏模型下实现线性缩放的实用算法。从经验上讲，我们提出的算法在更具有挑战性的数据模型中也取得了成功，例如，稀疏字典学习
2016-07-20 cs.CV cs.IT cs.LG
