Discriminative Dictionary Learning based on Statistical Methods
School of Computer and Information Sciences, University of Hyderabad（海得拉巴大学计算机与信息科学学院）
本文探讨了利用统计方法改进字典学习以提升分类性能，提出混合方法结合稀疏系数与多层感知机，实现判别字典学习。
2021-11-17 cs.CV
Multimodal Image Super-resolution via Joint Sparse Representations induced by Coupled Dictionaries
University College London（伦敦大学学院）；Imperial College London（帝国理工学院）；Heriot-Watt University（赫瑞瓦特大学）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；imec（校际微电子中心）
现实世界的数据处理问题通常涉及与特定场景相关联的各种图像模态，包括RGB图像、红外图像或多光谱图像。不同的图像模态通常共享某些属性（诸如某些边缘、纹理和其他结构基元）的事实代表了增强各种图像处理任务的机会。本文提出了一种新的方法来构建一个高分辨率（HR）版本的低分辨率（LR）图像给定另一个HR图像模态作为参考，基于联合稀疏表示诱导耦合字典。我们的方法，它捕获的相似性和差异，不同的图像模态在学习稀疏特征域中的原始图像域的\emph{lieu}，由两个阶段组成。耦合字典学习阶段用于在给定一组训练数据的情况下学习在稀疏特征域中耦合不同图像模态的一组字典。进而，耦合的超分辨率阶段利用这种耦合的字典来构造给定另一相关图像模态的LR目标图像的HR版本。我们的稀疏驱动的方法的优点之一涉及到这样一个事实，即它克服了缺点，如纹理复制文物通常导致的指导和目标图像之间的不一致。在真实多模态图像上的实验表明，通过耦合字典学习诱导的联合稀疏表示结合适当的指导信息，在超分辨率任务中带来了显着的好处。特别相关的是，在存在噪声的情况下，所提出的方法还表现出比竞争的基于深度学习的方法更好的鲁棒性。
2018-03-08 cs.CV
Optimization of Clustering for Clustering-based Image Denoising
研究了加性高斯白噪声（AWGN）污染图像的去噪问题。这一问题在信号处理领域已经持续了50多年。本文提出了一种基于图像构造块全局聚类的方法。注意到聚类类型在基于聚类的去噪方法中起着重要作用，我们解决了两个关于聚类的问题。首先，应该考虑哪些数据部分进行聚类？第二，什么样的数据聚类方法适合去噪？利用聚类来学习过完备字典。通过获得稀疏分解的噪声图像块的字典原子，实现去噪版本。实验结果表明，我们的字典学习框架优于传统的字典学习方法，如K-SVD。
2013-10-28 cs.CV
CD-DPE: Dual-Prompt Expert Network Based on Convolutional Dictionary Feature Decoupling for Multi-Contrast MRI Super-Resolution
CD-DPE通过双提示专家网络和卷积字典特征解耦策略，提升多对比MRI超分辨率的重建质量与泛化能力。
2025-12-19 cs.CV
Image Super-Resolution with Deep Dictionary
Navier Inc.（Navier公司）
自从Dong等人的首次成功以来，基于深度学习的方法已经在单图像超分辨率领域中占据主导地位。这用深度神经网络取代了传统的基于稀疏编码的方法的所有手工图像处理步骤。与显式创建高/低分辨率字典的基于稀疏编码的方法相比，基于深度学习的方法中的字典是隐式获取的，作为多个卷积的非线性组合。基于深度学习的方法的一个缺点是，对于与训练数据集不同的图像（域外图像），它们的性能会降低。我们提出了一个端到端的具有深度字典的超分辨率网络（SRDD），其中高分辨率字典被显式地学习，而不牺牲深度学习的优势。大量的实验表明，高分辨率字典的显式学习使网络对域外测试图像更具鲁棒性，同时保持域内测试图像的性能。
2022-07-19 cs.CV eess.IV
Gabor is Enough: Interpretable Deep Denoising with a Gabor Synthesis Dictionary Prior
New York University, Tandon School of Engineering（纽约大学坦登工程学院）
本研究将去噪CNN的滤波器约束为可学习二维实Gabor滤波器，提出GDLNet，以极少参数取得接近SOTA的去噪性能，保留噪声泛化性，验证了低层视觉CNN表征可如Gabor滤波器组般简单可解释。
2022-04-23 cs.CV eess.IV eess.SP
Learning a collaborative multiscale dictionary based on robust empirical mode decomposition
Peking University（北京大学）
字典学习在图像处理的许多领域都是一个具有挑战性的课题。基本目标是从过完备基集中学习稀疏表示。由于结合了通用多尺度表示和基于学习的自适应性的优点，多尺度字典表示方法具有捕获自然图像结构特征的能力。然而，现有的多尺度学习方法仍然遭受三个主要的弱点：不适应不同尺度的图像数据，对噪声和离群值的敏感性，难以确定最佳的字典结构。在本文中，我们提出了一种新的多尺度字典学习模式的稀疏图像表示的基础上改进的经验模式分解。这个强大的数据驱动的多维信号分析工具可以根据数据本身的固有模式，完全自适应地将图像分解为多尺度振荡分量。这种处理可以获得一个强大的和有效的稀疏表示，同时产生一个原始的基字典在多个几何尺度和空间频带。该字典是通过基于频率聚类选择最佳振荡原子来改进的。为了进一步增强稀疏性和泛化能力，使用一致性正则化模型学习容差字典。一个快速的邻近计划，以优化这个模型。多尺度字典被认为是振荡字典和容差字典的产物。实验结果表明，所提出的学习方法具有优越的性能在稀疏图像表示相比，几个竞争的方法。我们也展示了有前途的结果在图像去噪应用。
2017-04-04 cs.CV cs.LG
Learning Deep Analysis Dictionaries -- Part II: Convolutional Dictionaries
在本文中，我们通过学习卷积字典而不是非结构化字典来引入深度卷积分析字典模型（DeepCAM），就像在同伴论文中介绍的深度分析字典模型一样。卷积字典更适合处理高维信号，例如图像，并且只有少量的自由参数。通过利用卷积字典的特性，我们提出了一种有效的卷积分析字典学习方法。L层DeepCAM由L层卷积分析字典和逐元素软阈值对以及单层卷积合成字典组成。与DeepAM类似，每个卷积分析字典由卷积信息保持分析字典（iPad）和卷积聚类分析字典（CAD）组成。iPad和CAD的学习使用所提出的学习算法的变化。我们证明了DeepCAM是一种有效的多层卷积模型，并且在单图像超分辨率上，实现了与其他方法相当的性能，同时还显示出良好的泛化能力。
2020-01-31 cs.CV cs.LG stat.ML
Face Recognition using Multi-Modal Low-Rank Dictionary Learning
University of Alberta（阿尔伯塔大学）
人脸识别由于其在不同应用中的重要性而得到了广泛的研究，然而，大多数提出的方法在人脸图像被遮挡或在光照和姿态变化下捕获时失败。最近，一些低秩字典学习方法已被提出，并取得了可喜的成果，噪声观测。虽然这些方法大多是针对单模态场景开发的，但最近的研究表明了多输入特征融合的优势。我们提出了一种多模态结构化的低秩字典学习方法，用于鲁棒的人脸识别，利用人脸图像的原始像素及其光照不变表示。所提出的方法学习鲁棒性和歧视性表示污染的人脸图像，即使有几个训练样本与大类内变化。在不同数据集上的大量实验验证了我们的方法对严重光照变化和遮挡的优越性能和鲁棒性。
2017-03-15 cs.CV
A High-Performance Accelerator for Super-Resolution Processing on Embedded GPU
The Chinese University of Hong Kong（香港中文大学）；SmartMore（思谋科技）
本文提出一种面向嵌入式GPU的全栈超分辨率加速框架，通过字典选择策略与计算核优化设计解决通信与计算瓶颈，在边缘设备上显著优于NVIDIA TensorRT并实现实时推理。
2023-03-16 cs.AR cs.CV eess.IV
Combined Dictionary Unfolding Network with Gradient-Adaptive Fidelity for Transferable Multi-Source Fusion
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院）；College of Surveying and Geoinformatics, Tongji University（同济大学测绘与地理信息学院）；School of Computer and Information, Hefei University of Technology（合肥工业大学计算机与信息学院）
本文提出CDNet，通过结合字典学习的共同-特定表示先验，设计轻量级结构约束联合展开架构，提升多源图像融合效率与性能。
2026-05-01 cs.CV eess.IV
A fast patch-dictionary method for whole image recovery
Rice University（莱斯大学）；University of California（加利福尼亚大学）
已经提出了用于字典学习的各种算法。在那些用于图像处理的方法中，许多使用图像块来形成字典。本文主要研究从受损的线性测量中恢复整幅图像。我们解决了一个开放的问题，表示图像重叠补丁：重叠导致过多的字典系数来确定。除了极少数例外，这个问题限制了图像补丁方法的应用程序的本地类型的任务，如去噪，修复，卡通纹理分解，超分辨率和图像去模糊，其中一个可以处理几个补丁的时间。我们的重点是全局成像任务，如压缩感知和医学图像恢复，其中整个图像被编码在一起，使得一次更新几个补丁变得不可能或非常无效。我们的策略是将稀疏恢复划分为多个子问题，每个子问题处理一个不重叠的补丁的子集，然后将子问题的结果平均以产生最终的恢复。这个简单的策略在质量和速度方面都非常有效。此外，我们加速计算的学习字典应用最近的块近似梯度方法，它不仅具有较低的每次迭代的复杂性，但也需要较少的迭代收敛，相比目前的最先进的。我们还建立了我们的算法全局收敛到一个稳定点。在合成数据上的数值实验结果表明，该算法比现有的两种方法能够恢复出更忠实的字典。结合我们的整体图像恢复和字典学习的方法，我们数值模拟图像修补，压缩感知恢复，去模糊。我们的恢复比全变分方法和基于重叠补丁的方法更忠实。
2014-08-16 cs.CV math.OC
Multi-modal dictionary learning for image separation with application in art investigation
Vrije Universiteit Brussel（布鲁塞尔自由大学）；iMinds；Duke University（杜克大学）；University College London（伦敦大学学院）
在艺术调查的支持下，我们提出了一种新的声源分离方法，该方法将从双面绘画中获得的单个X射线扫描解混。在这个问题中，待分离的X射线信号具有相似的形态特征，这使得以前的声源分离方法受到限制。我们的解决方案是使用从面板正面和背面拍摄的照片来驱动分离过程。我们的方法的关键依赖于耦合的两种成像方式（照片和X射线）使用一种新的耦合字典学习框架，能够捕获共同的和不同的功能，跨模态使用简约的表示;共同的组件模型功能共享的多模态图像，而创新组件捕获模态特定的信息。因此，我们的模型能够制定适当的正则化凸优化程序，导致X射线的准确分离。我们的字典学习框架可以定制为一个单一的和多尺度的框架，后者导致显着的性能改善。此外，为了进一步提高分离图像的视觉质量，我们建议训练耦合字典，忽略对应于裂纹的绘画的某些部分。合成和真实数据的实验-从数字采集的根特祭坛画（1432）-证实了我们的方法对国家的最先进的形态成分分析技术，使用固定或训练字典进行图像分离的优越性。
2016-07-14 cs.CV
Robust Kronecker-Decomposable Component Analysis for Low-Rank Modeling
Imperial College London（帝国理工学院）；Middlesex University（密德萨斯大学）；University of Oulu（奥卢大学）
字典学习和分量分析是研究最充分和最活跃的研究领域之一的一部分，处于信号和图像处理、计算机视觉和统计机器学习的交叉点。在字典学习中，当前选择的方法可以说是K-SVD及其变体，它们学习字典（即，分解）以用于经由奇异值分解的稀疏编码。在鲁棒分量分析中，主要的方法来自主分量追踪（PCP），它从未知幅度和支持的稀疏损坏中恢复低秩矩阵。然而，K-SVD对训练集中噪声和离群值的存在很敏感。此外，PCP不提供尊重数据结构的字典（例如，图像），并且当通过凸松弛求解时需要昂贵的SVD计算。在本文中，我们介绍了一种新的鲁棒分解的图像结合稀疏字典学习和PCP的想法。我们提出了一种新的克罗内克可分解成分分析，它对严重腐败具有鲁棒性，可用于低秩建模，并利用可分性来解决显着较小的问题。我们设计了一个有效的学习算法，通过绘制与张量分解的限制形式的链接。所提出的方法的有效性证明了在现实世界中的应用，即背景减除和图像去噪，通过执行一个彻底的比较与当前的最先进的。
2017-07-26 cs.CV stat.ML
Regularized Residual Quantization: a multi-layer sparse dictionary learning approach
University of Geneva（日内瓦大学）
残差量化（RQ）框架被重新审视，其中量化失真在多层中被连续减少。受率失真理论中的反向注水范例的启发，引入了对码字方差的有效正则化，其允许针对非常大量的层以及针对高维数据扩展RQ，而不会过度训练。所提出的正则化残差量化（RRQ）导致额外稀疏的多层字典，这要归功于当应用于方差衰减数据时正则化的软阈值性质，方差衰减数据可以由应用于相关数据的去相关变换引起。此外，我们还提出了一个通用的预处理自然图像，使他们适合这样的量化。RRQ框架首先在合成方差衰减数据上进行测试，以显示其在高维数据量化方面的效率。接下来，我们在面部图像数据库的超分辨率中使用RRQ，其中示出了来自测试集的低分辨率面部图像，该测试集使用在来自训练集的高分辨率图像上训练的码本量化，当使用这些码本重建时，显示出相关的高频内容。
2017-05-01 cs.CV cs.LG
A Survey of Super-Resolution in Iris Biometrics with Evaluation of Dictionary-Learning
Halmstad University（哈尔姆斯塔德大学）；University of Malta（马耳他大学）；Universidad Autonoma de Madrid（马德里自治大学）；Nokia Bell-Labs（诺基亚贝尔实验室）
分辨率的不足对基于图像的生物识别的性能有负面影响。虽然已经提出了许多通用的超分辨率方法来恢复低分辨率图像，但它们通常旨在增强其视觉外观。然而，生物特征图像的视觉增强不一定与更好的识别性能相关。因此，重建方法需要结合来自目标生物特征模态的特定信息，以有效地提高识别。本文提出了一个全面的调查虹膜超分辨率的方法提出的文献。我们还采用了基于局部图像块PCA特征变换的特征块重建方法。虹膜的结构是利用建立一个补丁的位置相关的字典。此外，图像块被单独恢复，具有它们自己的重建权重。这使得解决方案可以在本地进行优化，有助于保留本地信息。为了评估该算法，我们从CASIA Interval V3数据库中降级了高分辨率图像。考虑了不同的分辨率，15 x15像素是最小的分辨率。据我们所知，这是文献中采用的最小分辨率之一。该框架与六个公共虹膜比较器相补充，用于进行生物特征验证和识别实验。实验结果表明，该方法显着优于双线性和双三次插值在非常低的分辨率。许多比较器的性能达到了令人印象深刻的相等出错率低至5%，并在考虑虹膜图像只有15 x15像素时，前1级精度为77-84%。这些结果清楚地证明了在匹配之前使用训练的超分辨率技术来提高虹膜图像的质量的益处。
2022-03-27 cs.CV eess.IV
Sparse Image Representation with Epitomes
École Normale Supérieure（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）
稀疏编码是仅使用几个基本元素对矢量进行分解，广泛用于机器学习和图像处理。基集，也称为字典，被学习以适应特定的数据。这种方法在许多图像处理任务中被证明是非常有效的。传统上，字典是一个非结构化的“平面”原子集。在本文中，我们研究的结构化词典，这是从一个摘要，或一组摘要。缩影本身就是一个小图像，原子是这个图像中选定大小的所有补丁。这大大减少了要学习的参数的数量，并提供了具有shiftinvariance属性的稀疏图像分解。我们提出了一种新的配方和学习与摘要相关的结构化字典的算法，并说明其在图像去噪任务中的使用。
2011-10-13 cs.CV cs.LG stat.ML
Multimodal sparse representation learning and applications
John A. Paulson School of Engineering and Applied Sciences（约翰·A·保尔森工程与应用科学学院）；Harvard University（哈佛大学）
无监督的方法已被证明是有效的，在一个单一的模式的情况下，区分任务。在本文中，我们提出了一个多模态框架学习稀疏表示，可以捕捉模态之间的语义相关性。该框架可以通过强制共享稀疏表示来在更高级别上对关系进行建模。特别是，我们提出了使用联合字典学习技术进行稀疏编码，并制定了简洁的联合表示，跨模态表示（在缺少模态的情况下），以及跨模态表示的联合。鉴于YouTube、Wikipedia和Twitter等Web上发布的多模态数据的加速增长，学习良好的多模态特征变得越来越重要。我们表明，我们的框架启用的共享表示大大提高了单峰和多峰设置下的分类性能。我们进一步展示了建立在所提出的框架上的深度架构对于模态之间高度非线性相关的情况是如何有效的。我们的方法的有效性实验证明，在图像去噪，多媒体事件检测和检索的TRECVID数据集（音频-视频），类别分类的维基百科数据集（图像-文本），和情感分类的PhotoTweet（图像-文本）。
2016-03-02 cs.CV cs.LG stat.ML
Dictionary based Approach to Edge Detection
Indian Institute of Technology（印度理工学院）
边缘检测是图像处理中非常重要的一部分，因为检测的质量和准确性决定了进一步处理的成功。我们已经开发出一种新的自学习技术的边缘检测使用字典组成的特征滤波器构造使用输入图像的功能。基于字典的方法消除了对图像的预处理或后处理的需要，并且在检测过程本身期间考虑了噪声、模糊、图像类别和照明变化。由于该方法依赖于图像的特征，因此与使用通用滤波器和算子的现有算法如Sobel、Prewitt Laplacian of Gaussian、Canny方法等相比，新技术可以更准确地检测边缘并捕获更多细节。我们已经展示了它在各种图像类别上的应用，如文本，人脸，条形码，交通和细胞图像。这种技术的应用，细胞计数在显微图像中也提出。
2015-09-02 cs.CV
Convolutional Dictionary Learning via Local Processing
Technion - Israel Institute of Technology（以色列理工学院）
卷积稀疏编码（Convolutional Sparse Coding，CSC）是信号和图像处理领域中越来越流行的模型，它解决了传统的基于块的稀疏表示的一些局限性。虽然有几个作品已经解决了这个模型下的字典学习问题，这些依赖于ADMM制定在傅立叶域中，失去了地方感和传统的基于补丁的稀疏追求的关系。最近的一项工作提出了一种新的理论分析这个全球模型，提供保证，依赖于本地化的稀疏性措施。在这里，我们扩展了这种局部-全局关系，展示了如何有效地解决卷积稀疏追踪问题和训练所涉及的滤波器，同时在图像补丁上进行局部操作。我们的方法提供了一个直观的算法，可以利用标准的稀疏表示领域的技术。所提出的方法是快速训练，简单的实施，并足够灵活，它可以很容易地部署在各种应用。我们证明了所提出的训练计划的图像修补和图像分离，同时达到国家的最先进的结果。
2017-05-09 cs.CV
VIS-DICT: A Visual Dictionary for Missing Modality Imputation in Social Network Depression Detection
University of Tehran（德黑兰大学）；University of Sistan and Baluchestan（锡斯坦和俾路支斯坦大学）
本文提出Vis-Dict，一种基于词典的零参数方法，通过词语与平均图像向量的关联填补缺失视觉特征，在抑郁症检测中达到与生成网络相当的性能（F1=0.9454，ROC-AUC=0.9890）。
2026-09-09 cs.CV
Trainlets: Dictionary Learning in High Dimensions
Technion Israel Institute of Technology（以色列理工学院）
稀疏表示已被证明是真实世界信号的一个非常强大的模型，并使应用程序的开发具有显着的性能。结合从信号示例中学习字典的能力，稀疏启发算法通常在各种任务中实现最先进的结果。然而，这些方法传统上被限制到小尺寸，主要是由于字典学习问题所带来的计算约束。在图像处理的上下文中，这意味着处理小的图像块。在这项工作中，我们将展示如何有效地处理更大的尺寸，并超越小补丁的稀疏信号和图像处理方法。我们建立我们的方法的基础上，一个新的裁剪小波分解，这使得多尺度分析几乎没有边界效应。然后，我们将其用作双稀疏模型中的基础字典，以实现自适应字典的训练。为了应对训练数据的增加，同时提高训练性能，我们提出了一个在线稀疏字典学习（OSDL）算法来有效地训练这个模型，使它能够处理数以百万计的例子。这项工作表明，字典学习可以升级到一个新的水平的信号维度，获得大的适应性原子，我们称之为trainlets。
2016-05-12 cs.CV
X-ray image separation via coupled dictionary learning
Vrije Universiteit Brussel（布鲁塞尔自由大学）；iMinds vzw（iMinds 研究机构）；University College London（伦敦大学学院）；Duke University（杜克大学）
为了支持艺术调查，我们提出了一种新的源分离方法，该方法可以将从双面绘画中获得的单个X射线扫描进行解混。与基于源的统计或结构不相干性的现有声源分离方法不同，我们使用从面板的正面和背面拍摄的视觉图像来驱动分离过程。通过一种新的多尺度字典学习方法实现了两种成像模式的耦合。实验结果表明，我们的方法成功地在歧视的来源，而国家的最先进的方法不能做到这一点。
2016-05-20 cs.CV
Quality Versus Sparsity in Image Recovery by Dictionary Learning Using Iterative Shrinkage
Institute for Mathematics Brandenburg University of Technology Cottbus, Germany（数学研究所 柏林技术大学 科特布斯 德国）
本文研究稀疏字典学习在图像恢复中的稀疏性与质量权衡，发现高稀疏性通常不损害恢复质量，即使恢复图像与学习数据库差异较大。
2025-08-05 cs.CV
Learning Granularity-Unified Representations for Text-to-Image Person Re-identification
South China University of Technology（华南理工大学）；Baidu VIS（百度视觉技术部）；University of Liverpool（利物浦大学）
文本到图像的人重新识别（ReID）的目的是通过文本描述搜索感兴趣的身份的行人图像。这是具有挑战性的，因为丰富的内部模式的变化和显着的模式间的差距。现有的工作通常忽略了两种模态之间的特征粒度的差异，即，视觉特征通常是细粒度的，而文本特征是粗粒度的，这是造成大的模态间间隙的主要原因。在本文中，我们提出了一个端到端的框架的基础上Transformers学习粒度统一表示为两种形式，表示为LGUR。LGUR框架包含两个模块：基于词典的粒度对齐（DGA）模块和基于原型的粒度统一（PGU）模块。在DGA中，为了调整两种模态的粒度，我们引入了多模态共享字典（MSD）来重建视觉和文本特征。此外，DGA有两个重要因素，即，跨模态引导和以前景为中心的重建，以促进MSD的优化。在PGU中，我们采用一组共享和可学习的原型作为查询，以在粒度统一的特征空间中为两种模态提取多样化和语义一致的特征，这进一步提高了ReID的性能。综合实验表明，我们的LGUR始终优于国家的最先进的大幅度CUHK-PEDES和ICFG-PEDES数据集。代码将在https://github.com/ZhiyinShao-H/LGUR上发布。
2022-07-16 cs.CV
Sparse Modeling for Image and Vision Processing
Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Ecole Normale Supérieure（巴黎高等师范学院）
近年来，人们对稀疏模型及其应用进行了大量的多学科研究。在统计学和机器学习中，稀疏性原理用于执行模型选择-即在大量模型中自动选择一个简单的模型。在信号处理中，稀疏编码包括用几个字典元素的线性组合来表示数据。随后，相应的工具被神经科学、生物信息学或计算机视觉等多个科学团体广泛采用。这本专著的目标是提供一个独立的观点稀疏建模的视觉识别和图像处理。更具体地说，我们专注于字典学习和适应数据的应用程序，产生一个紧凑的表示，在各种情况下都是成功的。
2014-12-06 cs.CV
Contrast-weighted Dictionary Learning Based Saliency Detection for Remote Sensing Images
University of Electronic Science and Technology of China（电子科技大学）；Inception Institute of Artificial Intelligence (IIAI)（起源人工智能研究院）；CETC Special Mission Aircraft System Engineering Co.Ltd（中国电子科技集团特种任务飞机系统工程技术有限公司）
目标检测是遥感图像分析中的一项重要任务。为了减少冗余信息的计算复杂性，提高图像处理的效率，视觉显著性模型在该领域得到了广泛的应用。提出了一种基于对比度加权字典学习（CDL）的遥感图像显著性检测模型。具体而言，建议的CDL学习显着和非显着原子从积极和消极的样本，以构建一个判别字典，其中提出了一个对比度加权的术语，以鼓励对比度加权的模式是存在于学习的显着字典，而不鼓励他们从存在于非显着字典。然后，我们通过结合稀疏表示（SR）和重建误差的系数来测量显着性。此外，通过使用所提出的联合显著性度量，各种显著性图的基础上的判别字典生成。最后，提出了一种基于全局梯度优化的多显著图融合方法。在四个数据集上的实验结果表明，该模型优于其他国家的最先进的方法。
2020-05-10 cs.CV
Multimodal Task-Driven Dictionary Learning for Image Classification
Pennsylvania State University（宾夕法尼亚州立大学）；Army Research Laboratory（美国陆军研究实验室）；Bosch Research and Technology Center（博世研究与技术中心）；West Virginia University（西弗吉尼亚大学）
字典学习算法已经成功地用于重建和判别任务，其中输入信号用字典原子的稀疏线性组合表示。虽然这些方法大多是针对单模态场景开发的，但最近的研究已经证明了基于多模态输入的联合稀疏表示的特征级融合的优势。在本文中，我们提出了一个多模态任务驱动的字典学习算法下的联合稀疏约束（先验），以加强多个同质/异构信息源之间的合作。在这个任务驱动的公式，多模态字典学习的同时，其相应的分类。由此产生的多模态字典可以从针对给定任务（例如二进制或多类分类）优化的数据中生成有区别的潜在特征（稀疏代码）。此外，我们提出了一个扩展的建议制定使用混合的联合和独立的稀疏先验，有利于更灵活的融合的方式在特征级。所提出的多模态分类算法的功效说明了四个不同的应用程序-多模态人脸识别，多视图人脸识别，多视图动作识别，和多模态生物识别。它还表明，与对应的基于重构的字典学习算法相比，任务驱动的配方在这个意义上，它们可以配备更紧凑的字典，仍然实现卓越的性能是更有效的计算。
2015-10-27 cs.CV cs.LG stat.ML
From Pixels and Words to Waves: A Unified Framework for Spectral Dictionary vLLMs
提出SDict-VLM，通过谱字典令牌混合器替代卷积和自注意力，以更少参数和内存实现接近BLIP-2的性能，并支持可解释的跨模态对齐。
2025-06-22 cs.CV
Accommodating Audio Modality in CLIP for Multimodal Processing
Renmin University of China（中国人民大学）
多通道处理最近引起了人们的广泛关注，特别是随着预训练的成功。然而，探索主要集中在视觉语言预训练上，因为引入更多的模态会使模型设计和优化变得非常复杂。在本文中，我们扩展了最先进的视觉语言模型CLIP，以适应视觉语言音频多模态处理的音频模态。具体而言，我们应用模态间和模态内对比学习来探索音频与其他模态之间的相关性以及音频模态的内部特征。此外，我们进一步设计了一个音频类型令牌，动态学习不同的音频信息类型，为不同的场景，因为语言和非语言的异构信息在一般的音频传达。我们提出的CLIP 4VLA模型在不同的下游任务中进行了验证，包括视频检索和视频描述，并在MSR-VTT，VATEX和Audiocaps的基准数据集上实现了最先进的性能。
2023-03-12 cs.CV
Decoupled Hierarchical Distillation for Multimodal Emotion Recognition
School of Computer Science and Engineering, and the Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Southeast University（计算机科学与工程学院，新一代人工智能技术及跨学科应用重点实验室，东南大学）；School of Computer Science and Engineering, Nanjing University of Science and Technology（计算机科学与工程学院，南京理工大学）；Institute of Intelligent Information Processing, Taizhou University（智能信息处理研究院，台州大学）；School of Engineering Science, University of Chinese Academy of Sciences（工程科学学院，中国科学院大学）；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science and Engineering, Nanyang Technological University（计算机科学与工程学院，南洋理工大学）
本文提出解耦层次多模态蒸馏框架，通过两阶段知识蒸馏提升跨模态特征对齐，有效提高多模态情感识别性能。
2026-02-04 cs.CV
Revisiting Integration of Image and Metadata for DICOM Series Classification: Cross-Attention and Dictionary Learning
Bayer AG（勃林格殷曼公司）
本文提出了一种端到端的多模态框架，用于DICOM系列分类，通过联合建模图像内容和获取元数据，显式考虑异质切片内容、可变系列长度和完全缺失、不完整或不一致的DICOM元数据等挑战。
2026-10-09 cs.CV eess.IV
Coupled dictionary learning for unsupervised change detection between multi-sensor remote sensing images
University of Toulouse（图卢兹大学）
用于变化检测的原型场景通常考虑通过相同模态的传感器获取的两个图像。然而，在某些特定情况下，例如紧急情况，唯一可用的图像可能是通过不同模式的传感器获取的图像。本文讨论了无监督地检测两个观察到的图像之间的变化，可能不同的分辨率不同的方式的传感器采集的问题。这些传感器的不同之处在操作变化检测的上下文中引入了大多数经典方法都没有解决的额外问题。本文介绍了一种新的框架，有效地利用现有的信息，通过建模的两个观察到的图像作为一个稀疏的线性组合的原子属于一对耦合的过完备字典从每个观察到的图像。由于它们覆盖相同的地理位置，代码预计将在全球范围内相似，除了稀疏的空间位置可能发生变化。因此，通过双码估计来设想变化检测任务，该双码估计在与每个图像相关联的估计码之间的差中强制空间稀疏性。这个问题被制定为一个反问题，这是迭代求解，使用一个有效的近端交替最小化算法占非光滑和非凸函数。所提出的方法被应用到真实的图像与模拟尚未现实和真实的变化。与最先进的变化检测方法的比较证明了所提出的策略的准确性。
2019-09-02 cs.CV eess.IV physics.data-an
SpectralGCD: Spectral Concept Selection and Cross-modal Representation Learning for Generalized Category Discovery
University of Florence, Media Integration and Communication Center (MICC)（佛罗伦萨大学，媒体整合与通信中心（MICC））
研究广义类别发现问题，提出SpectralGCD方法，利用CLIP跨模态相似性统一表示，通过光谱滤波和知识蒸馏提升性能，相比现有方法计算成本低且精度高。
2026-07-07 cs.AI cs.CV cs.LG
Knowledge-Enhanced Hierarchical Information Correlation Learning for Multi-Modal Rumor Detection
University of Science and Technology of China（中国科学技术大学）
针对多模态谣言检测中跨模态复杂语义关联探索不足的问题，提出知识增强层次信息关联学习方法KhiCL，通过跨模态联合字典与融合层建模基本语义关联，并利用知识图谱推理实体最短路径与带符号注意力机制学习高阶实体关联，有效提升了检测性能。
2023-06-28 cs.CV
Dictionary learning for clustering on hyperspectral images
University of the Witwatersrand（金山大学）；School of Computer Science and Applied Mathematics（计算机科学与应用数学系）
字典学习和稀疏编码作为无监督特征学习的机制已被广泛研究。无监督学习可以给高光谱图像处理和其他遥感数据分析带来巨大的好处，因为在这一领域，标记数据往往是稀缺的。我们提出了一种方法，用于聚类的高光谱图像的像素使用稀疏系数计算从一个代表性的字典作为功能。我们的经验表明，所提出的方法比聚类的原始像素更有效。我们还表明，我们的方法，在某些情况下，优于使用主成分分析和非负矩阵分解提取的特征的聚类结果。此外，我们的方法适用于重复聚类不断增长的高维数据量的应用程序，这是与高光谱卫星图像工作时的情况。
2022-02-02 cs.CV cs.LG eess.IV
Binary Matrix Factorization via Dictionary Learning
Departamento de Procesamiento de Señales, Instituto de Ingeniería Eléctrica, Facultad de Ingeniería, Universidad de la República（共和国大学工程学院电气工程研究所信号处理系（Departamento de Procesamiento de Señales, Instituto de Ingeniería Eléctrica, Facultad de Ingeniería, Universidad de la República））
矩阵分解是数据分析中的一个关键工具;它的应用包括推荐系统，相关性分析，信号处理等。二进制矩阵是一个特殊的情况下，已收到显着的关注超过三十年，特别是在数据挖掘领域。字典学习是指一系列用于学习过完备基（也称为帧）的方法，以有效地编码给定类型的样本;这个领域现在也有大约20年的历史，主要是在信号处理领域中发展起来的。在这项工作中，我们提出了两个二进制矩阵分解方法的基础上的二进制适应的字典学习范式的二进制矩阵。所提出的算法专注于速度和可扩展性，他们的工作与二进制因子结合位操作和一些辅助整数。此外，该方法很容易适用于在线二进制矩阵分解。在矩阵分解的另一个重要问题是秩的因素的选择，我们解决这个模型选择问题的最小描述长度原则的基础上，一个有效的方法。我们的初步结果表明，所提出的方法是有效的，在生产不同性质的各种数据类型的可解释的因子分解。
2018-07-26 cs.CV cs.IR cs.IT
Rethinking the CSC Model for Natural Images
Technion（以色列理工学院）
当正则化信号和图像处理中的逆问题时，经常使用相对于过完备字典的稀疏表示。近年来，卷积稀疏编码（CSC）模型，其中的字典由移位不变的过滤器，得到了新的兴趣。虽然该模型已成功地应用于一些图像处理问题，但在去噪等简单任务上仍落后于传统的基于块的方法。在这项工作中，我们提供了新的见解CSC模型和它的能力，以代表自然图像，并建议贝叶斯连接这个模型和它的补丁为基础的祖先。有了这些观察，我们提出了一种新的前馈网络，遵循MMSE近似过程的CSC模型，使用跨步卷积。这种监督架构的性能被证明是与最先进的方法，同时使用少得多的参数。
2019-09-12 cs.CV eess.IV
Multi-modal Alignment using Representation Codebook
Amazon（亚马逊公司）；University of Texas at Arlington（德克萨斯大学阿灵顿分校）
对齐来自不同模态的信号是视觉语言表示学习中的重要步骤，因为它影响诸如跨模态融合的后续阶段的性能。由于图像和文本通常位于特征空间的不同区域，因此在实例级别直接对齐它们具有挑战性，特别是当特征在训练期间仍在演变时。在本文中，我们建议使用聚类表示在更高和更稳定的水平上对齐。具体来说，我们把图像和文本作为同一个实体的两个“视图”，并将它们编码到一个由聚类中心字典（码本）构成的联合视觉语言编码空间中。我们通过它们的聚类分配来对比阳性和阴性样本，同时优化聚类中心。为了进一步理顺学习过程，我们采用了师生蒸馏范式，其中一个观点的动力教师指导学生学习其他观点。我们在常见的视觉语言基准上评估了我们的方法，并在zero-shot跨模态检索上获得了新的SoTA，同时在各种其他传输任务上具有竞争力。
2022-03-28 cs.AI cs.CV
Deep learning based dictionary learning and tomographic image reconstruction
KTH Royal Institute of Technology（瑞典皇家理工学院）；Philips Research（飞利浦研究院）
本文提出一种结合稀疏信号处理与深度学习的临床低剂量层析图像重建方法，将字典学习解释为分布对齐过程并证明其类似变分自编码器，在CT重建中取得与先进方法相当的竞争力。
2021-08-26 cs.CV cs.LG cs.NE
Region-specific Dictionary Learning-based Low-dose Thoracic CT Reconstruction
Stanford University（斯坦福大学）；Hokkaido University（北海道大学）；Global Institution for Collaborative Research and Education (GI-CoRE)（全球合作研究与教育机构（GI-CoRE））
本文提出了一种基于字典学习的方法与区域特定的图像补丁，以最大限度地利用强大的稀疏数据处理技术的CT图像重建。考虑到CT图像特征和噪声的非均匀分布，在迭代重建中采用了区域定制字典。根据胸部CT图像的结构和噪声特征，将其划分为若干区域。然后从分割的胸部CT图像中学习特定于每个区域的字典，并将其应用于该区域的后续图像重建。根据每个区域的结构和噪声特性确定字典学习和稀疏表示的参数。该方法的结果优于传统的重建基于一个单一的字典在恢复结构和抑制噪声在模拟和人体CT成像的性能。定量地，仿真研究表明，整个胸部的图像质量的最大改善，可以达到4.88%和11.1%的结构相似性（SSIM）和均方根误差（RMSE）指标，分别。对于人体成像数据，发现可以更好地恢复肺部和心脏中的结构，同时有效地降低椎骨周围的噪声。所提出的策略考虑到重建对象内部的固有区域差异，并导致改进的图像。该方法可以容易地扩展到其他解剖区域的CT成像和其他应用。
2020-10-20 cs.CV eess.IV physics.med-ph
Multi-modal Deep Guided Filtering for Comprehensible Medical Image Processing
University Hospital Erlangen（埃尔朗根大学医院）
基于深度学习的图像处理能够创建非常吸引人的结果。然而，它仍然被广泛认为是一个“黑箱”的转变。在医学成像中，这种结果缺乏可理解性是一个敏感的问题。将已知运算符集成到深度学习环境中已被证明有利于计算的可理解性和可靠性。因此，我们提出了使用局部线性引导滤波器结合学习的指导图用于通用医学图像处理。输出图像仅由引导滤波器处理，而引导图可以以端到端的方式被训练为任务最优。我们研究了基于两个流行的任务：图像超分辨率和去噪的性能。基于多模态磁共振成像和交叉模态计算机断层扫描和磁共振成像数据集对进行评价。对于这两项任务，所提出的方法与最先进的方法不相上下。此外，我们可以证明，输入图像的内容在处理后几乎没有变化，这与传统的深度学习方法不同。最重要的是，所提出的管道提供了对降级输入以及对抗性攻击的增强鲁棒性。
2020-05-28 cs.CV eess.IV
TMT: Tri-Modal Translation between Speech, Image, and Text by Processing Different Modalities as Different Languages
Integrated Vision and Language Lab., School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（整合视觉与语言实验室，电气工程学院，韩国科学技术院（KAIST））；Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
本文提出三模态翻译模型 TMT，将语音、图像和文本视为不同语言，通过离散 token 化统一接口，以多模态编码器-解码器实现任意模态间翻译，在六个翻译任务上一致优于单模型方法。
2025-06-06 cs.AI cs.CL cs.CV
Efficient Dictionary Learning with Sparseness-Enforcing Projections
Ulm University（乌尔姆大学）
学习字典适合稀疏编码，而不是使用工程基地已被证明是有效的各种图像处理任务。本文研究了优化字典的图像数据的表示是强制显式稀疏相对于一个光滑的，归一化的稀疏性措施。这涉及到计算欧几里德投影到稀疏度量的水平集上。而以前的算法，这个优化问题至少有准线性的时间复杂度，在这里提出的第一个算法具有线性时间复杂度和恒定的空间复杂度。其关键是基于软收缩函数的投影结果的表征的数学上严格的推导。这一理论被应用于一种名为Easy Dictionary Learning（EZDL）的原始算法中，该算法使用简单且快速计算的Hebbian-like学习规则来学习词典。新算法是有效的，表达和特别简单的实现。它表明，尽管它的简单性，所提出的学习算法是能够产生各种各样的字典，特别是拓扑组织的原子或可分离的原子。此外，字典的表现力作为基准学习算法在整个图像的再现质量方面，并导致等效的去噪性能。EZDL的学习速度比已经非常高效的在线词典学习算法快大约30%，因此有资格进行快速数据集分析和处理大量学习样本的问题。
2016-04-16 cs.CV cs.LG cs.NE
Dual Thinking and Logical Processing -- Are Multi-modal Large Language Models Closing the Gap with Human Vision ?
Indian Institute of Technology Delhi（印度理工学院德里）
本研究通过对抗性数据集和心理物理学实验揭示人类视觉的双重思维，发现多模态大语言模型在逻辑处理上进步滞后于直觉处理，并强调整合逻辑处理能力对安全关键领域的重要性。
2025-06-19 cs.AI cs.CV eess.IV
