Cross-label Suppression: A Discriminative and Fast Dictionary Learning with Group Regularization
Tsinghua University（清华大学）
本文通过有效地学习一个紧凑的和有区别的字典来解决图像分类问题。给定一个结构化字典，每个原子（字典矩阵中的列）与一些标签相关，我们提出了交叉标签抑制约束，以扩大不同类别的表示之间的差异。同时，我们引入群正则化来强制表示以保持原始样本的标签属性，这意味着鼓励同一类的表示是相似的。在交叉标记抑制时，我们不求助于常用的$\ell_0$ -范数或$\ell_1$ -范数进行编码，并且在不损失分类的区分能力的情况下获得计算效率。此外，两个简单的分类方案也开发，以充分利用学习字典。在人脸识别、物体分类、场景分类、纹理识别和运动动作分类等6个数据集上进行了大量的实验，结果表明，该方法在识别精度和计算效率上均优于目前提出的许多字典算法。
2017-05-08 cs.CV cs.LG stat.ML
Kernelized Supervised Dictionary Learning
在本文中，我们提出了监督字典学习（SDL），将信息的类标签到学习的字典。为此，我们建议在信号与其相应标签之间的依赖性最大化的空间中学习字典。为了最大限度地提高这种依赖性，最近推出的希尔伯特施密特独立准则（HSIC）。SDL的这种新方法的主要优点之一是，它可以很容易地通过将一个内核，特别是一个数据派生的内核，如归一化压缩距离，到制定内核化。学习的字典是紧凑的，所提出的方法是快速的。我们使用真实世界的数据表明，它优于文献中的其他无监督和监督字典学习方法。
2013-11-26 cs.CV cs.LG
Robust Surface Reconstruction from Gradients via Adaptive Dictionary Regularization
University of Michigan（密歇根大学）
本文介绍了一种新的方法，强大的表面重建光度立体法向量地图，特别适合于重建表面从噪声梯度。具体而言，我们提出了一种自适应字典学习的方法，试图同时整合的梯度场，而稀疏表示的空间补丁的重建表面在自适应字典域。我们表明，我们的配方学习的表面的底层结构，有效地作为一个自适应正则化，执行重建表面上的平滑约束。我们的方法是通用的，可以与文献中的许多现有的方法，以提高重建表面的完整性。我们证明了我们的方法对合成数据以及真实的光度立体数据的性能，并评估其对噪声的鲁棒性。
2017-09-30 cs.CV stat.ML
DP-TTA: Test-time Adaptation for Transient Electromagnetic Signal Denoising via Dictionary-driven Prior Regularization
College of Mechanical and Electrical Engineering, Chengdu University of Technology（成都理工大学机械与电子工程学院）；City University of Hong Kong, Department of Electrical Engineering（香港城市大学电子工程系）；Sichuan Provincial Natural Resources Survey and Design Group Co., Ltd.（四川省自然资源调查设计集团有限公司）；Massey University, School of Mathematical and Computational Sciences（马斯利大学数学与计算科学学院）
针对跨区域瞬变电磁信号去噪性能下降问题，提出DP-TTA方法，利用字典驱动先验正则化引导测试时自适应，显著提升新场景去噪效果。
2025-10-15 cs.CV
Supervised Dictionary Learning and Sparse Representation-A Review
University of Toronto（多伦多大学）；Sunnybrook Health Sciences Center（桑尼布鲁克健康科学中心）；University of Waterloo（滑铁卢大学）
字典学习和稀疏表示（DLSR）是最近成功的用于数据表示的数学模型，其在诸如模式识别、机器学习、计算机视觉和医学成像的各种领域中实现最先进的性能。DLSR的原始公式是基于原始信号和其在学习字典空间中的稀疏表示之间的重建误差最小化。虽然这种公式对于解决去噪、修复和编码等问题是最佳的，但它可能不会导致分类任务中的最佳解决方案，其中最终目标是使学习的字典和相应的稀疏表示尽可能具有区分性。这促使了一类新技术的出现，这类技术被恰当地称为监督字典学习和稀疏表示（S-DLSR），从而在分类任务中实现了更优化的字典和稀疏表示。尽管许多研究工作的S-DLSR，文献缺乏一个全面的看法，这些技术，它们的连接，优点和缺点。在本文中，我们解决这个差距，并提供了一个审查最近提出的算法S-DLSR。我们首先提出了一个分类法，这些算法分为六个类别的基础上采取的方法，包括标签信息到字典和/或稀疏表示的学习。对于每一个类别，我们绘制了这一类别中的算法之间的连接，并为它们提供了一个统一的框架。然后，我们为应用研究人员提供了如何根据手头的问题表示和学习S-DLSR解决方案的构建块的指导方针。本文综述了S-DLSR的最新方法，并对这一新兴研究领域的研究和开发进行了深入的探讨。
2015-02-20 cs.CV
Structure-Aware Classification using Supervised Dictionary Learning
Technion - Israel Institute of Technology（以色列理工学院）
在本文中，我们提出了一个监督字典学习算法，旨在保持局部几何在两个维度的数据。基于图的正则化明确考虑了数据点的局部流形结构。第二个图正则化对特征域进行了类似的处理，并有助于学习更强大的字典。这两个图都可以从训练数据构建，或者沿着字典学习过程学习和调整。这两个术语的组合促进了学习的稀疏表示的区分能力，并导致改进的分类精度。该方法在几个不同的数据集上进行了评估，代表单标签和多标签分类问题，与其他基于字典的方法相比，表现出更好的性能。
2016-09-29 cs.CV cs.LG
Pix2Key: Controllable Open-Vocabulary Retrieval with Semantic Decomposition and Self-Supervised Visual Dictionary Learning
Johns Hopkins University, Baltimore, US（约翰霍普金斯大学）；Amazon.com, Seattle, US（亚马逊公司）
Pix2Key通过语义分解和自监督视觉字典学习，实现可控的开放词汇检索，提升检索精度和多样性。
2026-02-26 cs.CV
Group-based Sparse Representation for Image Compressive Sensing Reconstruction with Non-Convex Regularization
School of Electronic Science and Engineering, Nanjing University（南京大学电子科学与工程学院）；Center for Machine Vision and Signal Analysis, University of Oulu（奥卢大学机器视觉与信号分析中心）
基于块的稀疏表示建模在图像压缩感知（CS）重建中显示出巨大的潜力。然而，该模型通常受到一些限制，如字典学习具有很大的计算复杂性，忽略了相似补丁之间的关系。提出了一种基于组的非凸正则化稀疏表示方法（GSR-NCR）用于图像CS重建。在GSR-NCR中，图像的局部稀疏性和非局部自相似性被同时考虑在一个统一的框架。与以往的基于稀疏性提升的凸正则化方法不同，本文将非凸加权Lp（0 < p < 1）罚函数扩展到数据矩阵的组稀疏系数上，而不是传统的基于L1的正则化方法。为了降低计算复杂性，而不是学习字典与高计算复杂性从自然图像，我们学习的主成分分析（PCA）为每组的字典。此外，为了使所提出的计划易于处理和强大的，我们已经开发了一个有效的迭代收缩/阈值算法来解决非凸优化问题。实验结果表明，所提出的方法优于许多国家的最先进的图像CS重建技术。
2017-08-17 cs.CV
SSDL: Self-Supervised Dictionary Learning
China University of Petroleum (East China)（中国石油大学（华东））；Harbin Institute of Technology（哈尔滨工业大学）
标签嵌入式词典学习（DL）算法通过引入判别信息来生成有影响力的词典。然而，存在一个局限性：所有的标签嵌入DL方法依赖于标签，因为这种方式只能达到理想的性能在监督学习。而在半监督和无监督学习中，它不再足以有效。受自监督学习概念的启发（例如，设置借口任务以生成下游任务的通用模型），我们提出了一个自监督字典学习（SSDL）框架来解决这一挑战。具体来说，我们首先设计了一个$p$ -Laplacian注意超图学习（pAHL）块作为借口任务来生成DL的伪软标签。然后，我们采用伪标签训练一个字典从一个主要的标签嵌入DL方法。我们在两个人类活动识别数据集上评估我们的SSDL。与其他国家的最先进的方法的比较结果表明，SSDL的效率。
2021-12-03 cs.CV cs.LG
Label Embedded Dictionary Learning for Image Classification
China University of Petroleum（中国石油大学）
近年来，标签一致性k-svd（LC-KSVD）算法在图像分类中得到了成功的应用。LC-KSVD的目标函数由重构误差、分类误差和稀疏码鉴别误差组成，稀疏码鉴别误差带有L0范数稀疏正则项。然而，L0-范数导致NP-困难问题。尽管正交匹配追踪等方法可以在一定程度上解决这一问题，但要找到最优稀疏解是相当困难的。为了克服这一局限性，我们提出了一种标签嵌入字典学习（LEDL）方法，利用L1范数作为稀疏正则化项，这样我们就可以通过求解凸优化问题来避免难以优化的问题。然后利用乘子交替方向法和分块坐标下降算法对相应的目标函数进行优化。在6个基准数据集上的实验结果表明，与传统的分类算法相比，该算法具有更好的性能.
2019-04-17 cs.CV
Supervised Convolutional Sparse Coding
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学（KAUST））
卷积稀疏编码（CSC）是一种成熟的图像表示模型，特别适用于图像复原任务。在这项工作中，我们通过提出一种有监督的卷积稀疏编码方法来扩展该模型的适用性，该方法旨在学习判别字典而不是纯粹的重建字典。我们将监督正则化项纳入传统的无监督CSC目标，以鼓励最终的字典元素是有区别的。实验结果表明，使用监督卷积学习有两个关键优势。首先，我们在字典中学习更多语义相关的过滤器，其次，我们在看不见的数据上实现了改进的图像重建。
2018-04-08 cs.CV
An efficient supervised dictionary learning method for audio signal recognition
Normandie Université（诺曼底大学）；INSA Rouen Normandie（鲁昂诺曼底国立应用科学学院）
机器听觉或倾听代表了一个新兴领域。传统的方法依赖于专门针对特定音频任务的手工特征的设计，并且很难推广到其他音频领域。例如，梅尔频率倒谱系数（MFCC）及其变体被成功地应用于计算听觉场景识别，而色度向量则擅长于音乐和弦识别。不幸的是，这些预定义的特征可能具有可变的辨别力，同时由于剪辑的不同性质而扩展到其他任务或甚至在同一任务内。出于这种需要一个原则性的框架，跨域应用程序的机器监听，我们提出了一个通用的和数据驱动的表示学习方法。为此，提出了一种新颖、高效的监督字典学习方法。该方法学习不同的字典，每个类一个，以提取用于分类的异构信息。换句话说，我们正在寻求最小化类内同质性和最大化类可分性。这通过促进类特定字典之间的成对正交性并控制音频剪辑在这些字典上的分解的稀疏结构而成为可能。由此产生的优化问题是非凸的，并使用近端梯度下降方法求解。实验进行计算听觉场景（东安格利亚和鲁昂）和合成音乐和弦识别数据集。获得的结果表明，我们的方法是能够达到国家的最先进的手工制作的功能，这两个应用程序。
2018-12-12 cs.CV
Task-Driven Dictionary Learning for Hyperspectral Image Classification with Structured Sparsity Constraints
The Johns Hopkins University（约翰斯·霍普金斯大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
稀疏表示将信号建模为少量字典原子的线性组合。作为一种生成模型，它要求字典是高度冗余的，以确保信号的稳定的高稀疏水平和低重构误差。然而，在实践中，这一要求通常是削弱了缺乏标记的训练样本。幸运的是，以前的研究表明，冗余字典的要求可以不那么严格，如果采用同时稀疏近似，这可以通过对相邻像素的稀疏代码执行各种结构化稀疏约束来进行。此外，大量的工作表明，应用各种字典学习方法的稀疏表示模型也可以提高分类性能。在本文中，我们强调任务驱动的字典学习算法，这是一个一般的框架监督字典学习方法。我们建议在任务驱动的字典学习方法中加入结构化稀疏先验，以提高高光谱分类的性能。我们的方法能够受益于同时稀疏表示和监督字典学习的优点。我们执行两个不同的结构稀疏先验，联合和拉普拉斯稀疏，任务驱动的字典学习方法，并提供相应的优化算法的细节。大量流行的高光谱图像上的实验表明，我们的方法的分类性能优于稀疏表示分类器与结构化先验或任务驱动的字典学习方法。
2015-02-03 cs.CV
Unsupervised Vehicle Re-Identification via Self-supervised Metric Learning using Feature Dictionary
Institute for IT Convergence, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院信息技术融合研究所）
无监督车辆再识别（Re-ID）的关键挑战是从未标记的车辆图像中学习区分特征。许多使用领域自适应的方法已经取得了出色的性能，但这些方法仍然需要标记的数据集作为源域。提出了一种基于特征字典的自监督度量学习（SSML）的无监督车辆Re-ID方法，该方法不需要任何类型的标记数据集。我们的方法首先从车辆图像中提取特征，并将其存储在字典中。然后，基于该字典，该方法进行基于字典的正标签挖掘（DPLM），以搜索正标签。成对相似性、相对秩一致性和相邻特征分布相似性被联合考虑，以找到可能属于给定探测图像的相同车辆的图像。DPLM的结果被应用到基于字典的三重丢失（DTL），以提高学习特征的区分度，并逐步细化DPLM结果的质量。DPLM和DTL的迭代过程提高了无监督车辆Re-ID的性能。实验结果表明，该方法的有效性，通过产生有前途的车辆Re-ID性能，而无需预先标记的数据集。本文的源代码可在`https：//github.com/andreYoo/VeRI_SSML_FD.git '上公开获取。
2021-03-03 cs.AI cs.CV
Learning efficient structured dictionary for image classification
Jiangnan University（江南大学）
近年来，基于字典学习的方法在模式分类领域取得了成功。在本文中，我们提出了一种有效的结构化字典学习（ESDL）方法，该方法同时考虑了训练样本的多样性和标签信息。具体而言，ESDL将替代训练样本引入字典学习过程。为了提高分类的代表系数的鉴别能力，一个理想的正则化项被纳入ESDL的目标函数。此外，与传统的DL方法施加计算昂贵的L1范数约束的系数矩阵，ESDL采用L2范数正则化项。在基准数据库（包括四个人脸数据库和一个场景数据集）上的实验结果表明，ESDL优于以前的DL方法。更重要的是，ESDL可以应用于广泛的模式分类任务。
2020-05-08 cs.CV eess.IV
On the Invariance of Dictionary Learning and Sparse Representation to Projecting Data to a Discriminative Space
本文证明了字典学习和稀疏表示对线性变换是不变的。它包含了将数据转换/投影到判别空间的特殊情况。这是很重要的，因为最近，监督字典学习算法已被提出，建议包括类别信息到字典的学习，以提高其区分能力。其中，有一些方法提出在判别投影空间中学习词典。为此，已经提出了两种方法：第一，分配的判别基础的字典和第二，在投影空间中进行字典学习。基于字典学习对任何变换的不变性，特别是对判别空间的不变性，我们提倡第一种方法。
2015-06-11 cs.CV
Locality Constrained Analysis Dictionary Learning via K-SVD Algorithm
School of Computer Science（计算机学院）
近年来，分析字典学习（ADL）及其分类应用得到了很好的发展，由于其灵活的投影能力和低分类复杂度。通过学习得到的分析字典，可以将测试样本转化为稀疏子空间，从而有效地进行分类。然而，在分析字典中，样本数据的潜在局部性很少被探索，以提高分类器的区分能力。本文提出了一种新的局部约束分析字典学习模型和综合K-SVD算法（SK-LADL）。它考虑了内在的几何属性，通过施加图正则化来揭示图像数据的几何结构。通过学习的分析字典，我们将图像转换到一个新的，紧凑的空间，其中流形假设可以进一步保证。这样，图像的局部几何结构可以在稀疏表示系数中得到保持。此外，SK-LADL模型迭代求解的综合K-SVD和梯度技术。图像分类的实验结果验证了我们的SK-LADL模型的性能优越性。
2021-04-29 cs.CV
Semi-Supervised Sparse Representation Based Classification for Face Recognition with Insufficient Labeled Samples
Wuhan University（武汉大学）；Tencent AI Laboratory（腾讯AI实验室）；University of California at Los Angeles（加利福尼亚大学洛杉矶分校）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文讨论的问题，人脸识别时，只有很少的，甚至只有一个单一的，标记的例子，我们希望认识到的脸。此外，这些示例通常被滋扰变量破坏，无论是线性的（即，附加的干扰变量（例如不良照明，戴眼镜）和非线性（即，非加性的逐像素干扰变量，例如表情变化）。少量的标记样本意味着很难在训练和测试人脸之间去除这些讨厌的变量以获得良好的识别性能。为了解决这个问题，我们提出了一种方法称为半监督稀疏表示基于分类（S $^3$ RC）。这是基于最近关于稀疏性的工作，其中面部用两个字典表示：由每个人的一个或多个示例组成的图库字典，以及表示线性滋扰变量（例如，不同的照明条件，不同的眼镜）。其主要思想是：（i）我们使用变异字典通过稀疏性框架来表征线性滋扰变量，然后（ii）通过高斯混合模型（GMM）将原型人脸图像估计为图库字典，以半监督的方式混合标记和未标记样本，以处理标记和未标记样本之间的非线性滋扰变化。我们已经做了实验，没有足够的标记样本，即使每个人只有一个标记样本。我们在AR，Multi-PIE，CAS-PEAL和LFW数据库上的结果表明，所提出的方法能够显着提高现有方法的性能。
2017-03-24 cs.CV
Sparse Coding with Multi-Layer Decoders using Variance Regularization
Center for Data Science（数据科学中心）；New York University（纽约大学）；Courant Institute（库朗研究所）；Meta AI - FAIR（Meta人工智能实验室——基础人工智能研究团队）
图像的稀疏表示在许多计算机视觉应用中是有用的。具有$l_1$惩罚和学习的线性字典的稀疏编码需要字典的正则化以防止代码的$l_1$范数的崩溃。通常，这种正则化需要约束字典元素的欧几里德范数。在这项工作中，我们提出了一种新的稀疏编码协议，它可以防止崩溃的代码，而不需要正则化的解码器。我们的方法直接正则化的代码，使每个潜在的代码组件的方差大于一个固定的阈值在一组稀疏表示为一组给定的输入。此外，我们探索的方法，有效地训练稀疏编码系统与多层解码器，因为他们可以模拟更复杂的关系比线性字典。在我们的实验与MNIST和自然图像补丁，我们表明，解码器学习与我们的方法在线性和多层的情况下具有可解释的功能。此外，我们表明，与具有线性字典的自编码器相比，使用我们的方差正则化方法训练的具有多层解码器的稀疏自编码器可以产生具有更稀疏表示的更高质量的重建。此外，用我们的方差正则化方法获得的稀疏表示在低数据状态下的去噪和分类的下游任务中是有用的。
2022-09-07 cs.CV cs.LG
Hyperspectral Target Detection Based on Low-Rank Background Subspace Learning and Graph Laplacian Regularization
Dalian University of Technology（大连理工大学）
针对高光谱目标检测中背景字典未知和空间信息利用不足的问题，提出融合LRR背景子空间学习与局部GLR系数约束的检测方法，并在两个基准数据集上验证了优越性。
2023-06-01 cs.CV
Momentum Contrast for Unsupervised Visual Representation Learning
Facebook AI Research (FAIR)（Facebook人工智能研究院(FAIR)）
我们提出了用于无监督视觉表示学习的动量对比（MoCo）。从对比学习作为字典查找的角度，我们建立了一个动态字典与队列和移动平均编码器。这使得能够在运行中构建一个大而一致的字典，从而促进对比无监督学习。MoCo在ImageNet分类的通用线性协议下提供了有竞争力的结果。更重要的是，MoCo学习到的表示可以很好地转移到下游任务中。MoCo可以在PASCAL VOC，COCO和其他数据集上的7个检测/分割任务中优于其监督的预训练对手，有时甚至远远超过它。这表明，在许多视觉任务中，无监督和有监督的表示学习之间的差距已经很大程度上缩小了。
2020-03-23 cs.CV
SAHDL: Sparse Attention Hypergraph Regularized Dictionary Learning
China University of Petroleum (East China)（中国石油大学（华东））
近年来，注意力机制对基于超图的神经网络有着重要的贡献。然而，这些方法随着网络传播而更新注意力权重。也就是说，这种类型的注意力机制只适用于基于深度学习的方法，而不适用于传统的机器学习方法。本文提出了一种基于超图的稀疏注意力机制来解决这个问题，并将其嵌入到字典学习中。更具体地说，我们首先构建一个稀疏的注意力超图，资产注意力权重的样本采用$\ell_1$ -范数稀疏正则化挖掘样本特征之间的高阶关系。然后，我们引入了超图拉普拉斯算子来保持字典学习中子空间变换的局部结构。此外，我们将判别信息融入到超图中，作为样本聚集的指导。与以前的工作不同，我们的方法独立更新注意力权重，不依赖于深度网络。我们证明了我们的方法在四个基准数据集上的有效性。
2020-10-23 cs.CV
Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization
Rudjer Boskovic Institute（鲁杰尔·博什科维奇研究所）
非负矩阵分解（NMF）与组稀疏约束的概率图形模型，并制定，假设一些观察数据已产生的模型，一个可行的变分贝叶斯算法的学习模型参数。当在监督学习场景中使用时，NMF最常用作无监督特征提取器，然后在所获得的特征子空间中进行分类。在将类标签映射到更一般的组概念（其是系数的稀疏性的基础）之后，所提出的组稀疏NMF模型允许的是将类标签信息并入以找到低维标签驱动的字典，其不仅旨在忠实地表示数据，而且还适合于类判别。在面部识别和面部表情识别领域进行的实验表明，在这种标签驱动的特征子空间中进行分类比在无监督方式下获得的特征子空间中进行分类具有优势。
2014-05-27 cs.CV cs.LG stat.ML
Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning
European Molecular Biology Laboratory (EMBL)（欧洲分子生物学实验室）
该研究针对联合嵌入自监督学习提出小批量外数据集级正则化，在SimCLR、SIGReg等方法上提升了小批量下多任务性能，且使批量大小不再影响正则化器几何结构。
2026-10-14 cs.CV
Linearized Kernel Dictionary Learning
在本文中，我们提出了一种新的方法，将内核到字典学习。最近提出的核K-SVD算法（KKSVD）与线性K-SVD算法相比，在分类性能上有了很大的提高。然而，该算法需要存储和处理一个非常大的核矩阵，这导致了高的计算成本，同时也限制了其使用的设置与少量的训练样本。我们通过结合两种思想来解决这些问题：首先，我们使用Nyström方法使用其列的巧妙采样子集来近似核矩阵;其次，由于我们希望完全避免使用这个矩阵，我们通过SVD分解它以形成新的“虚拟样本”，可以使用任何线性字典学习。我们的方法，被称为“线性化核字典学习”（LKDL）可以无缝地应用于任何有效的现成的字典学习计划的顶部作为预处理阶段，有效地“核化”它。我们证明了我们的方法在监督和无监督分类的几个任务的有效性，并显示所提出的计划的效率，其易于集成和性能提升属性。
2015-09-18 cs.CV
Transformation Consistency Regularization- A Semi-Supervised Paradigm for Image-to-Image Translation
University of Cambridge（剑桥大学）
标记数据的稀缺性促使半监督学习方法的发展，该方法从大部分未标记数据以及少量标记样本中学习。一致性在不同输入扰动下模型预测之间的正则化，特别是已经证明可以在半监督框架中提供最先进的结果。然而，这些方法中的大多数已被限制在分类和分割应用。我们提出了变换一致性正则化，它深入研究了更具挑战性的图像到图像的翻译设置，这仍然是半监督算法尚未探索的。该方法引入了一组不同的几何变换，并强制模型对未标记数据的预测对这些变换保持不变。我们评估了我们的算法在三个不同的应用程序：图像着色，去噪和超分辨率的功效。我们的方法具有显著的数据效率，只需要大约10 - 20%的标记样本就可以实现与完全监督对应的图像重建。此外，我们展示了我们的方法在视频处理应用中的有效性，其中可以利用来自几帧的知识来提高电影其余部分的质量。
2020-07-15 cs.CV
Online Discriminative Dictionary Learning for Image Classification Based on Block-Coordinate Descent Method
Zhejiang University（浙江大学）
先前的研究已经证明，具有稀疏编码的字典学习框架（其中信号被分解为已学习字典的几个原子的线性组合）非常适合重建问题。该框架还被用于诸如图像分类的辨别任务。为了实现更好的分类性能，专家们开发了几种方法来以监督的方式学习判别字典。然而，另一个问题是，当数据规模变得非常大时，这些方法将不再有效，因为它们都是面向批处理的方法。为此，我们提出了一种新的在线判别式词典学习算法，在本文中被称为\textbf{ODDL}。首先，我们将线性分类器引入到传统的字典学习公式中，并导出一个判别式字典学习问题。然后，我们利用一个在线算法来解决衍生问题。与大多数现有的方法，更新字典和分类器交替通过迭代求解子问题，我们的方法直接探索他们联合。同时，它可以大大缩短训练的运行时间，也特别适合于大规模的分类问题。为了评估所提出的ODDL方法在图像识别中的性能，我们在三个著名的基准上进行了一些实验，实验结果表明ODDL对于图像分类任务是相当有前途的。
2012-03-05 cs.CV
Continually Learning Self-Supervised Representations with Projected Functional Regularization
Computer Vision Center (CVC)（计算机视觉中心）；Universitat Autonoma of Barcelona (UAB)（巴塞罗那自治大学）；Media Integration and Communication Center（媒体整合与传播中心）
最近的自监督学习方法能够学习高质量的图像表示，并正在缩小与监督方法的差距。然而，这些方法无法增量地获取新知识-事实上，它们大多仅用作IID数据的预训练阶段。在这项工作中，我们研究自我监督的方法在持续学习制度没有任何重放机制。我们表明，朴素的功能正则化，也被称为功能蒸馏，导致较低的可塑性和限制持续学习性能。相反，我们提出了投影函数正则化，其中一个单独的时间投影网络确保新学习的特征空间保留了前一个的信息，同时允许学习新特征。这可以防止遗忘，同时保持学习者的可塑性。与其他应用于自我监督的增量学习方法的比较表明，我们的方法在不同的场景和多个数据集上获得了有竞争力的性能。
2022-05-02 cs.CV
Revisiting Consistency Regularization for Semi-Supervised Learning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
一致性正则化是半监督学习（SSL）中最广泛使用的技术之一。通常，目标是训练对各种数据增强不变的模型。在本文中，我们重新审视了这一想法，并发现通过减少不同增强图像的特征之间的距离来增强不变性，从而提高了性能。然而，通过增加特征距离来鼓励等方差，进一步提高了性能。为此，我们提出了一个改进的一致性正则化框架，通过一个简单而有效的技术，EQUISDistLoss，分别对分类器和特征级施加一致性和等方差。实验结果表明，我们的模型为各种数据集和设置定义了一个新的最先进的状态，并且比以前的工作有很大的优势，特别是在低数据的情况下。对该方法进行了大量的实验分析，并将代码发布。
2021-12-10 cs.CV
Sparse Coding with Fast Image Alignment via Large Displacement Optical Flow
Johns Hopkins University（约翰斯·霍普金斯大学）；West Virginia University（西弗吉尼亚大学）
基于稀疏表示的分类器在图像分类任务中表现出出色的准确性和鲁棒性，即使存在强烈的噪声和遮挡。然而，已经发现，当测试图像不与字典原子对齐或字典原子本身不彼此对齐时，性能显著降低，在这种情况下，稀疏线性表示假设失败。在本文中，有训练和测试图像错位，我们引入了一种新的稀疏编码框架，能够有效地适应字典原子的测试图像通过大位移光流。在该算法中，每个字典原子自动对齐输入图像，然后使用自适应字典原子恢复稀疏代码。一个相应的监督字典学习算法也提出了框架。数字识别实验结果验证了该算法的有效性和鲁棒性。
2015-12-21 cs.CV
Self-supervised learning using consistency regularization of spatio-temporal data augmentation for action recognition
Sun Yat-sen University（中山大学）
自监督学习通过直接从未标记的数据中构造代理监督信号，在以无监督的方式改进深度学习模型方面显示出巨大的潜力。与现有的工作不同，我们提出了一种新的方法来获得代理监督信号的基础上一致性正则化的高层次的特征映射。在本文中，我们提出了一种时空一致性正则化从连体网络生成的不同输出功能之间，包括一个干净的路径与原始视频和噪声路径与相应的增强视频馈送。基于视频的时空特性，本文提出了两种基于视频的数据增强方法，时空变换与视频帧内混叠前者的一致性模型的特征的转换一致性，而后者的目的是保持空间不变性，以提取动作相关的功能。大量的实验表明，我们的方法实现了实质性的改进相比，国家的最先进的自监督学习方法的动作识别。当使用我们的方法作为额外的正则化项并结合当前的替代监督信号时，我们在HMDB 51上实现了22%的相对改进，在UCF 101上实现了7%的相对改进。
2020-08-05 cs.CV
MinMaxCAM: Improving object coverage for CAM-basedWeakly Supervised Object Localization
KU Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）；imec-IDLab
弱监督目标定位最常见的问题之一是目标覆盖不准确。在基于类激活映射的现有技术方法的背景下，这是由专门聚焦于感兴趣对象的最有区别的区域的定位图或由在背景区域中发生的激活引起的。为了解决这两个问题，我们提出了两种表示正则化机制：全区域正则化，它试图最大限度地提高目标区域内的本地化地图的覆盖率，和公共区域正则化，它最大限度地减少背景区域中发生的激活。我们在ImageNet、CUB-200-2011和OpenImages-segmentation数据集上评估了这两种正则化，并表明所提出的正则化解决了这两个问题，显著优于现有技术。
2021-04-29 cs.CV
SegSALSA-STR: A convex formulation to supervised hyperspectral image segmentation using hidden fields and structure tensor regularization
Carnegie Mellon University（卡内基梅隆大学）
我们提出了一个监督的高光谱图像分割算法的基础上的凸制定的边缘最大后验分割与隐藏字段和结构张量正则化：分割通过约束分裂增广拉格朗日收缩结构张量正则化（SegSALSA STR）。该公式避免了分割问题的一般离散性质和相关整数优化的固有NP-困难。我们通过约束分裂增广拉格朗日收缩（SegSALSA）算法扩展分割，通过使用从基于块的雅可比矩阵构建的结构张量先验来概括矢量全变分先验。所得到的算法是凸的，时间效率和高度并行化。这显示了通过包含不同的正则化器将隐藏字段与凸优化相结合的潜力。在实际高光谱图像分割中验证了SegSALSA-STR算法的有效性。
2015-04-27 cs.CV
ConMatch: Semi-Supervised Learning with Confidence-Guided Consistency Regularization
Korea University（高丽大学）；NAVER AI Lab（NAVER人工智能实验室）；Samsung Electro-Mechanics（三星电机）
我们提出了一个新的半监督学习框架，智能地利用模型的预测之间的一致性正则化从两个强增强的图像视图，加权的伪标签，称为ConMatch的信心。虽然最新的半监督学习方法使用图像的弱增强视图和强增强视图来定义方向一致性损失，但如何定义两个强增强视图之间的一致性正则化的方向仍然未被探索。为了解释这一点，我们提出了新的信心措施的伪标签从强增强视图通过弱增强视图作为锚在非参数和参数的方法。特别是，在参数化方法中，我们首次提出了学习网络内伪标签的置信度，这是以端到端的方式使用骨干模型学习的。此外，我们还提出了一个阶段式的训练，以提高训练的收敛性。当与现有的半监督学习器结合时，ConMatch始终如一地提高了性能。我们进行实验，以证明我们的ConMatch的最新方法的有效性，并提供广泛的消融研究。代码已在https://github.com/JiwonCocoder/ConMatch上公开发布。
2022-09-19 cs.CV
Cross-pyramid consistency regularization for semi-supervised medical image segmentation
Faculty of Informatics and Information Technologies, Slovak University of Technology in Bratislava（信息与信息技术学院，斯洛伐克技术大学）
针对半监督医学图像分割，本文提出结合跨金字塔一致性正则化（CPCR）的混合双分支金字塔网络（DBPNet），通过跨解码器金字塔预测的知识蒸馏利用未标记数据，在公共基准上性能优于五种先进自监督方法且与最新方法相当。
2025-11-11 cs.CV
OpenMatch: Open-set Consistency Regularization for Semi-supervised Learning with Outliers
Boston University（波士顿大学）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
半监督学习（Semi-supervised learning，SSL）是一种利用未标记数据提高模型性能的有效方法。典型的SSL方法（如FixMatch）假设标记和未标记的数据共享相同的标签空间。然而，在实践中，未标记的数据可以包含在标记的集合中看不到的类别，即，离群值，这可能会严重损害SSL算法的性能。为了解决这个问题，我们提出了一种新的开放集半监督学习（OSSL）的方法，称为OpenMatch。学习内点的表示，同时拒绝离群值是OSSL成功的关键。为此，OpenMatch将FixMatch与基于One-vs-All（OVA）分类器的新颖性检测相结合。OVA分类器输出样本的置信度分数是内点，提供检测离群值的阈值。另一个关键贡献是开集软一致性正则化损失，它增强了OVA分类器在输入变换方面的平滑性，并大大提高了离群值检测。OpenMatch在三个数据集上实现了最先进的性能，甚至在检测CIFAR 10上未标记数据中看不到的离群值方面优于完全监督模型。
2021-08-24 cs.CV
Unbiased Subclass Regularization for Semi-Supervised Semantic Segmentation
Singtel Cognitive and Artificial Intelligence Lab for Enterprises, Nanyang Technological University（新加坡南洋理工大学新电信企业认知与人工智能实验室）
半监督语义分割从少量标记图像和大量未标记图像中学习，随着深度神经网络的最新进展，它已经取得了令人印象深刻的进展。然而，它经常遭受严重的类偏差问题，而探索未标记的图像，主要是由于在标记的图像中的清晰的像素级的类不平衡。本文提出了一种无偏子类正则化网络（USRN），通过从平衡子类分布中学习类无偏分割来解决类不平衡问题。我们通过将每个原始类的像素聚类成多个大小相似的子类来构建平衡的子类分布，这提供了类平衡的伪监督来正则化类偏置分割。此外，我们设计了一个基于熵的门机制来协调原始类和聚类子类之间的学习，通过抑制不自信的子类预测来有效地促进子类正则化。在多个公共基准上的大量实验表明，USRN实现了优越的性能相比，国家的最先进的。
2022-03-26 cs.CV
Self-supervised Deep Unrolled Model with Implicit Neural Representation Regularization for Accelerating MRI Reconstruction
Paul C. Lauterbur Research Center for Biomedical Imaging, Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（深圳先进技术研究院生物医学成像中心）
本文提出零样本自监督MRI重建方法UnrollINR，将物理引导的深度展开架构与隐式神经表示正则化相结合，无需外部训练数据即可在高加速倍率下实现优于监督和自监督方法的扫描特定重建性能。
2025-11-07 cs.CV
Discretely-constrained deep network for weakly supervised segmentation
ETS Montreal（蒙特利尔高等技术学院）
弱监督分割的一种有效策略是对目标区域施加约束或正则化先验。最近的努力集中在将这种约束纳入卷积神经网络（CNN）的训练中，然而，到目前为止，这是在连续优化框架内完成的。然而，各种分割约束和正则化可以在离散公式中更有效地建模和优化。提出了一种基于交替方向乘子法（ADMM）的训练具有离散约束和正则化先验的CNN的方法。该方法被应用到医学图像的分割与弱注释，其中的大小约束和边界长度正则化。在基准心脏分割数据集上的实验表明，我们的方法可以产生接近全面监督的性能。
2019-08-15 cs.CV
Reliability-Adaptive Consistency Regularization for Weakly-Supervised Point Cloud Segmentation
Nanyang Technological University（南洋理工大学）；Monash University（莫纳什大学）
针对弱监督点云分割中直接应用一致性正则化存在的伪标签含噪、约束不足问题，提出结合置信度与不确定性的RAC-Net，实现自适应一致性训练，在基准数据集上取得更优性能。
2023-12-14 cs.CV
Scribble-supervised Cell Segmentation Using Multiscale Contrastive Regularization
Korea University（高丽大学）；UNIST（蔚山科学技术院）
针对涂鸦监督细胞分割易过拟合的问题，提出多尺度对比正则化方法，通过提取网络中间层特征计算对比损失以分离不同尺度结构，有效提升了S2L的分割性能并达到监督学习水平。
2023-06-25 cs.CV
Self-supervised asymmetric deep hashing with margin-scalable constraint
Southwest University（西南大学）；Leiden University（莱顿大学）
深度哈希算法由于其高效性和实用性，被广泛应用于大规模视觉搜索。然而，由于两个主要原因，为与多个语义相关联的图像产生紧凑且有区别的散列码仍然是具有挑战性的，1）在大多数现有方法中设计的相似性约束是基于过度简化的相似性分配（即，0表示没有共享标签的对，1表示共享至少1个标签的对），2）在许多现有方法中，对多语义相关性的探索是不足的，甚至被忽视。这些问题极大地限制了对所生成的散列码的区分。在本文中，我们提出了一种新的自监督非对称深度哈希方法，采用边缘可扩展约束（SADH）方法来解决这些问题。SADH实现了一个自监督网络，以充分保留给定数据集的语义的语义特征字典和语义代码字典中的语义信息，这有效地和精确地指导特征学习网络使用非对称学习策略来保留多标签语义信息。通过进一步利用语义字典，一个新的边缘可扩展的约束，采用精确的相似性搜索和鲁棒的哈希代码生成。四个流行的基准测试的广泛的实证研究验证了所提出的方法，并显示它优于几个国家的最先进的方法。
2021-07-23 cs.CV
Regularization With Stochastic Transformations and Perturbations for Deep Semi-Supervised Learning
University of Utah（犹他大学）
有效的卷积神经网络是在大量标记数据集上训练的。然而，创建大型标记数据集是一项非常昂贵且耗时的任务。半监督学习使用未标记的数据来训练具有更高准确度的模型，当有一组有限的标记数据可用时。在本文中，我们考虑的问题，半监督学习与卷积神经网络。诸如随机数据增强、丢弃和随机最大池化等技术为使用梯度下降训练的分类器提供了更好的泛化和稳定性。由于这些技术的不确定性行为，单个样本多次通过网络可能会导致不同的预测。我们提出了一个无监督的损失函数，它利用了这些方法的随机性，并最小化训练样本多次通过网络的预测之间的差异。我们在几个基准数据集上评估了所提出的方法。
2016-06-14 cs.CV
Instance Consistency Regularization for Semi-Supervised 3D Instance Segmentation
Huazhong University of Science and Technology（华中科技大学）；Nanyang Technological University（南洋理工大学）
针对半监督3D实例分割中语义伪标签噪声导致自训练崩溃的问题，提出基于纯实例知识的InsTeacher3D网络与DKNet模型，通过实例一致性正则化生成高质量伪标签，性能显著超越现有半监督最优方法。
2024-06-24 cs.CV
SemiSAM: Enhancing Semi-Supervised Medical Image Segmentation via SAM-Assisted Consistency Regularization
Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化研究院）；Shanghai Academy of Artificial Intelligence for Science（上海人工智能科学研究院）
本文提出SemiSAM策略，利用SAM生成的伪标签作为额外监督，在标注极少时显著提升半监督医学图像分割性能，并具备即插即用效率。
2024-10-23 cs.CV
Region-level Contrastive and Consistency Learning for Semi-Supervised Semantic Segmentation
Jilin University（吉林大学）；Baidu Research（百度研究院）；National Engineering Laboratory for Deep Learning Technology and Application（深度学习技术及应用国家工程实验室）
目前的半监督语义分割方法主要集中在设计像素级一致性和对比正则化。然而，像素级正则化对来自具有不正确预测的像素的噪声敏感，并且像素级对比正则化具有O（pixel_num^2）的内存和计算成本。为了解决这些问题，我们提出了一种新的区域级对比和一致性学习框架（RC ^2L）的半监督语义分割。具体来说，我们首先提出了一个区域掩码对比（RMC）损失和区域特征对比（RFC）损失，以实现区域级的对比属性。此外，区域类一致性（RCC）损失和语义掩码一致性（SMC）损失提出了实现区域级的一致性。基于提出的区域级对比和一致性正则化，我们开发了一个用于半监督语义分割的区域级对比和一致性学习框架（RC ^2L），并在两个具有挑战性的基准测试（PASCAL VOC 2012和Cityscapes）上评估了我们的RC $^2$ L，性能优于最先进的。
2022-04-28 cs.CV
Regularized Residual Quantization: a multi-layer sparse dictionary learning approach
University of Geneva（日内瓦大学）
残差量化（RQ）框架被重新审视，其中量化失真在多层中被连续减少。受率失真理论中的反向注水范例的启发，引入了对码字方差的有效正则化，其允许针对非常大量的层以及针对高维数据扩展RQ，而不会过度训练。所提出的正则化残差量化（RRQ）导致额外稀疏的多层字典，这要归功于当应用于方差衰减数据时正则化的软阈值性质，方差衰减数据可以由应用于相关数据的去相关变换引起。此外，我们还提出了一个通用的预处理自然图像，使他们适合这样的量化。RRQ框架首先在合成方差衰减数据上进行测试，以显示其在高维数据量化方面的效率。接下来，我们在面部图像数据库的超分辨率中使用RRQ，其中示出了来自测试集的低分辨率面部图像，该测试集使用在来自训练集的高分辨率图像上训练的码本量化，当使用这些码本重建时，显示出相关的高频内容。
2017-05-01 cs.CV cs.LG
Exploring Self-Supervised Regularization for Supervised and Semi-Supervised Learning
Flyreel AI Research（Flyreel人工智能研究院）
半监督学习的最新进展在克服现代机器学习算法成功的主要障碍方面显示出巨大的潜力：访问大量人类标记的训练数据。基于一致性正则化的先前算法可以利用大量未标记数据在许多半监督基准上产生令人印象深刻的结果，仅使用一小部分可用标记数据就接近强监督基线的性能。在这项工作中，我们通过引入自监督正则化作为组合来自未标记数据的语义特征表示的基础，挑战了一致性正则化的长期成功。我们进行了广泛的比较实验，以证明自监督正则化的有效性，监督和半监督图像分类SVHN，CIFAR-10和CIFAR-100基准数据集。我们提出了两个主要结果：（1）使用自监督正则化增强的模型显着改进了传统的监督分类器，而不需要未标记的数据;（2）与未标记的数据一起，我们的模型产生了半监督性能，与现有的最先进的一致性基线竞争，并且在许多情况下超过了它。最后，我们的模型具有端到端有效训练的实用性，并且不需要额外的超参数来调整训练神经网络的标准集之外的最佳性能。参考代码和数据可在https://github.com/vuptran/sesemi上获得
2019-11-21 cs.CV cs.LG stat.ML
End-to-End Supervised Product Quantization for Image Search and Retrieval
Tel Aviv University（特拉维夫大学）；Facebook AI Research（Facebook人工智能研究院）
乘积量化是一种基于字典的哈希方法，是领先的无监督哈希技术之一。虽然它忽略了标签，但它利用特征来构造可以近似特征空间的查找表。近年来，一些作品通过以监督的方式学习二进制表示，在哈希基准上取得了最先进的结果。这项工作提出了深度产品量化（DPQ），一种技术，导致更准确的检索和分类比最新的最先进的方法，同时具有类似的计算复杂性和产品量化方法的内存占用。据我们所知，这是引入基于字典的表示的第一项工作，该表示受到乘积量化的启发，并且是端到端学习的，因此受益于监督信号。DPQ通过使用直通估计器显式地学习软表示和硬表示，以实现高效和准确的非对称搜索。我们的方法获得了广泛的检索和分类实验的最先进的结果。
2020-01-17 cs.CV cs.LG
Alternative Learning Paradigms for Image Quality Transfer
University College London（伦敦大学学院）；University of Exeter（埃克塞特大学）
本文提出两种图像质量迁移（IQT）的新学习范式：无监督的IQT-SRep和结合监督与无监督的IQT-DDL，以在分布外数据上避免监督方法的偏差，提升低场MRI图像质量。
2024-11-08 cs.CV cs.LG eess.IV
Compressive Sensing of Color Images Using Nonlocal Higher Order Dictionary
School of Electronic and Electrical Engineering, Sungkyunkwan University（成均馆大学电子与电气工程学院）
本文讨论了一个病态的问题，恢复彩色图像从其压缩感知的测量数据。从典型的1D矢量为基础的方法的最先进的方法，我们利用非局部的相似性固有的图像中存在的彩色图像的每个补丁作为一个3D张量，不仅包括水平和垂直，但也光谱尺寸。一组非局部相似块形成一个4D张量，通过高阶奇异值分解学习非局部高阶字典。高阶字典中包含的多个子字典在每个对应的维度上对组进行去相关，从而有助于更好地重建彩色图像的细节。此外，我们促进稀疏性的最终解决方案使用稀疏正则化的基础上的权重张量。它可以区分由高阶字典生成的稀疏表示的那些系数，这些系数预计将具有较大的幅度，从其他的优化。因此，在迭代解中，其作用类似于加权过程，其通过近似最小均方误差滤波器来设计以用于更忠实的恢复。实验结果证实了改进所提出的方法在国家的最先进的。
2017-11-26 cs.CV eess.IV
Decay2Distill: Leveraging spatial perturbation and regularization for self-supervised image denoising
Rochester Institute of Technology（罗切斯特理工学院）；Chosun University（朝鲜大学）
非成对图像去噪在过去几年中取得了可喜的发展。无论性能如何，方法往往严重依赖于潜在的噪声属性或任何不总是实用的假设。或者，如果我们可以从结构的角度而不是噪声统计的角度来解决问题，我们可以实现更强大的解决方案。有了这样的动机，我们提出了一个自我监督的去噪方案，它是不成对的，依赖于空间退化，然后是正则化的细化。我们的方法比以前的方法有很大的改进，并在不同的数据域表现出一致的性能。
2022-08-04 cs.CV eess.IV
Cross-adversarial local distribution regularization for semi-supervised medical image segmentation
Monash University（莫纳什大学）；CSIRO’s Data61（联邦科学与工业研究组织Data61研究所）
针对医学半监督分割标注数据有限的问题，提出交叉对抗局部分布正则化方法增强平滑性假设，在LA和ACDC公开数据集上取得当前最优性能。
2023-10-02 cs.CV eess.IV
Adaptive Consistency Regularization for Semi-Supervised Transfer Learning
Baidu Research（百度研究院）；University of Oregon（俄勒冈大学）；University of Macau（澳门大学）
虽然最近关于半监督学习的研究在利用标记和未标记数据方面取得了显着进展，但大多数研究都假设模型的基本设置是随机初始化的。在这项工作中，我们联合考虑半监督学习和迁移学习，从而产生一种更实用和更有竞争力的范式，可以利用来自源域的强大的预训练模型以及目标域中的标记/未标记数据。为了更好地利用预训练权重和未标记目标示例的价值，我们引入了自适应一致性正则化，它由两个互补的组件组成：源模型和目标模型之间示例的自适应知识一致性（AKC），以及标记和未标记示例之间目标模型的自适应表示一致性（ARC）。根据样本对目标任务的潜在贡献，自适应地选择参与一致性正则化的样本。我们通过微调ImageNet预训练的ResNet-50模型，在CIFAR-10、CUB-200和MURA等流行基准上进行了广泛的实验。结果表明，我们提出的自适应一致性正则化优于最先进的半监督学习技术，如伪标签，平均教师和FixMatch。此外，我们的算法与现有方法正交，因此能够在MixMatch和FixMatch的基础上获得额外的改进。我们的代码可在https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning上获得。
2021-08-08 cs.CV cs.LG
