Rain Removal via Shrinkage-Based Sparse Coding and Learned Rain Dictionary
Ryerson University(瑞尔森大学)
本文提出了一种新的基于稀疏编码收缩的单幅图像去雨模型。最近,字典学习和稀疏编码已被广泛用于图像复原问题。这些方法也可以应用于雨去除,通过学习两种类型的雨和非雨字典,并迫使雨字典的稀疏码为零向量。然而,这种方法会在非雨区域中产生不需要的边缘伪影和细节损失。基于此,本文提出了一种新的压缩稀疏码的方法。为了有效地收缩稀疏码在雨和非雨区域,输入雨图像和重建雨图像之间的误差映射生成通过使用学习的雨字典。在此误差映射的基础上,结合雨字典和非雨字典的稀疏编码来表示目标的图像结构,避免非雨区域的边缘伪影。在雨区域,雨和非雨字典之间的相关矩阵的计算。然后,稀疏码对应的高度相关的信号原子在雨和非雨字典的联合收缩,以提高雨结构的去除。实验结果表明,基于收缩的稀疏编码在非雨区能较好地保留图像结构,避免边缘伪影,在雨区能较好地去除雨结构。视觉质量评价证实,该方法优于传统的纹理和雨水去除方法。
2016-10-03 cs.CV
Task-Driven Dictionary Learning for Hyperspectral Image Classification with Structured Sparsity Constraints
The Johns Hopkins University(约翰斯·霍普金斯大学);U.S. Army Research Laboratory(美国陆军研究实验室)
稀疏表示将信号建模为少量字典原子的线性组合。作为一种生成模型,它要求字典是高度冗余的,以确保信号的稳定的高稀疏水平和低重构误差。然而,在实践中,这一要求通常是削弱了缺乏标记的训练样本。幸运的是,以前的研究表明,冗余字典的要求可以不那么严格,如果采用同时稀疏近似,这可以通过对相邻像素的稀疏代码执行各种结构化稀疏约束来进行。此外,大量的工作表明,应用各种字典学习方法的稀疏表示模型也可以提高分类性能。在本文中,我们强调任务驱动的字典学习算法,这是一个一般的框架监督字典学习方法。我们建议在任务驱动的字典学习方法中加入结构化稀疏先验,以提高高光谱分类的性能。我们的方法能够受益于同时稀疏表示和监督字典学习的优点。我们执行两个不同的结构稀疏先验,联合和拉普拉斯稀疏,任务驱动的字典学习方法,并提供相应的优化算法的细节。大量流行的高光谱图像上的实验表明,我们的方法的分类性能优于稀疏表示分类器与结构化先验或任务驱动的字典学习方法。
2015-02-03 cs.CV
A comprehensive study of sparse codes on abnormality detection
Aalborg University(奥尔堡大学);University of Copenhagen(哥本哈根大学)
稀疏表示已经成功地应用于异常事件检测,其中的基线是学习伴随稀疏代码的字典。虽然重点放在判别字典的建设,有没有稀疏码异常检测方面的比较研究。我们全面研究了两种类型的稀疏码的解决方案-贪心算法和凸L1范数的解决方案-和它们对异常检测性能的影响。我们还提出了我们的框架结合稀疏码与不同的检测方法。我们从不同的角度进行了比较实验,以更好地了解稀疏码的适用性,包括计算时间,重建误差,稀疏性,检测精度,以及它们结合各种检测方法的性能。实验表明,将OMP代码与最大坐标检测相结合可以在UCSD数据集上实现最先进的性能[14]。
2016-03-13 cs.CV
Sparse Coding with Fast Image Alignment via Large Displacement Optical Flow
Johns Hopkins University(约翰斯·霍普金斯大学);West Virginia University(西弗吉尼亚大学)
基于稀疏表示的分类器在图像分类任务中表现出出色的准确性和鲁棒性,即使存在强烈的噪声和遮挡。然而,已经发现,当测试图像不与字典原子对齐或字典原子本身不彼此对齐时,性能显著降低,在这种情况下,稀疏线性表示假设失败。在本文中,有训练和测试图像错位,我们引入了一种新的稀疏编码框架,能够有效地适应字典原子的测试图像通过大位移光流。在该算法中,每个字典原子自动对齐输入图像,然后使用自适应字典原子恢复稀疏代码。一个相应的监督字典学习算法也提出了框架。数字识别实验结果验证了该算法的有效性和鲁棒性。
2015-12-21 cs.CV
Label Embedded Dictionary Learning for Image Classification
China University of Petroleum(中国石油大学)
近年来,标签一致性k-svd(LC-KSVD)算法在图像分类中得到了成功的应用。LC-KSVD的目标函数由重构误差、分类误差和稀疏码鉴别误差组成,稀疏码鉴别误差带有L0范数稀疏正则项。然而,L0-范数导致NP-困难问题。尽管正交匹配追踪等方法可以在一定程度上解决这一问题,但要找到最优稀疏解是相当困难的。为了克服这一局限性,我们提出了一种标签嵌入字典学习(LEDL)方法,利用L1范数作为稀疏正则化项,这样我们就可以通过求解凸优化问题来避免难以优化的问题。然后利用乘子交替方向法和分块坐标下降算法对相应的目标函数进行优化。在6个基准数据集上的实验结果表明,与传统的分类算法相比,该算法具有更好的性能.
2019-04-17 cs.CV
Dictionary Learning and Sparse Coding on Statistical Manifolds
Department of Computer and Information Science and Engineering(计算机与信息科学与工程系);University of Florida(佛罗里达大学)
在本文中,我们提出了一个新的信息理论框架的字典学习(DL)和稀疏编码(SC)的统计流形(流形的概率分布)。与传统的DL和SC框架不同,我们的新配方没有显式地将任何稀疏诱导规范的成本函数进行优化,但仍产生稀疏代码。我们的算法通过字典原子的加权Kullback-Leibeler中心/平均值(KL中心)来近似统计流形上的数据点(它们是概率分布)。KL-中心被定义为在其自身和其中心被寻找的集合的成员之间的最大KL-发散的最小化者。此外,我们证明了加权KL-中心是字典原子的稀疏组合。这个结果也适用于KL发散被著名的Hellinger距离所取代的情况。从应用的角度来看,我们提出了上述框架的对称正定矩阵的流形(可以确定与零均值高斯分布的流形),$\mathcal{P}_n$的扩展。我们目前的实验涉及各种基于字典的重建和分类问题,在计算机视觉。所提出的算法的性能证明,通过比较它的重建和分类精度以及所选表示的稀疏性方面的几个国家的最先进的方法。
2018-05-03 cs.CV
Discriminative Dictionary Learning based on Statistical Methods
School of Computer and Information Sciences, University of Hyderabad(海得拉巴大学计算机与信息科学学院)
本文探讨了利用统计方法改进字典学习以提升分类性能,提出混合方法结合稀疏系数与多层感知机,实现判别字典学习。
2021-11-17 cs.CV
Discriminative Local Sparse Representation by Robust Adaptive Dictionary Pair Learning
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);YITU Technology(依图科技)
本文提出了一种结构化的Robust Adaptive Dictionary Pair Learning(RA-DPL)框架,用于离散稀疏表示学习。为了实现可用样本的强大表示能力,RA-DPL的设置无缝集成了鲁棒的投影字典对学习,局部自适应稀疏表示和判别编码系数学习到一个统一的学习框架。具体来说,RA-DPL在四个方面改进了现有的投射词典对学习。首先,采用稀疏l2,1-范数度量对重构误差进行编码,得到鲁棒的投影字典对,并且l2,1-范数具有最小化误差的潜力.其次,该算法在分析字典中明确地引入了鲁棒的l2,1范数,以保证编码系数的稀疏性,而不是使用代价高昂的l0/l1范数。因此,数据表示的鲁棒性和学习过程的效率被共同考虑,以保证我们的RA-DPL的效率。第三,RA-DPL构思了一个结构化的重构权重学习范例,以自适应的方式清晰地保持每个类内编码系数的局部结构,这鼓励产生局部保持表示。第四,它还考虑通过引入鉴别函数来提高编码系数和字典的鉴别能力,这可以确保代码空间中的高类内紧凑性和类间分离。大量的实验表明,我们的RA-DPL可以获得优于其他国家的最先进的性能。
2019-11-20 cs.CV
Direct Inversion: Boosting Diffusion-based Editing with 3 Lines of Code
The Chinese University of Hong Kong (CUHK)(香港中文大学);International Digital Economy Academy (IDEA)(国际数字经济研究院)
本文提出Direct Inversion技术,通过解耦源和目标扩散分支仅需3行代码提升编辑效果,并发布PIE-Bench基准,在8种编辑方法上实现更优性能与近一个数量级加速。
2023-10-19 cs.CV
Discriminative Bayesian Dictionary Learning for Classification
The University of Western Australia(西澳大学)
我们提出了一种贝叶斯方法来学习数据稀疏表示的判别字典。所提出的方法推断概率分布的判别字典的原子使用贝塔过程。它还计算将类标签与学习的字典原子相关联的伯努利分布集。这种关联表示在类特定数据的扩展中字典原子的选择概率。此外,所提出的方法的非参数字符允许它推断字典的正确大小。我们利用上述伯努利分布分别学习线性分类器。分类器使用相同的分层贝叶斯模型的字典,我们沿着吉布斯抽样的分析推理解决方案。对于分类,首先在学习的字典上对测试实例进行稀疏编码,然后将代码馈送到分类器。我们使用五个公共数据集进行了人脸和动作识别以及对象和场景类别分类的实验,并将结果与最先进的判别稀疏表示方法进行了比较。实验表明,所提出的贝叶斯方法始终优于现有的方法。
2015-03-27 cs.CV cs.LG
Compositional Dictionaries for Domain Adaptive Face Recognition
Duke University(杜克大学);University of Maryland(马里兰大学)
我们提出了一种字典学习方法来补偿由于视点,光照,分辨率等变化而引起的人脸变换。我们方法的关键思想是强制域不变稀疏编码,即,在不同的域中设计同一张脸的一致稀疏表示。以这种方式,在例如由正面人脸组成的源域中的稀疏代码上训练的分类器可以应用于目标域(由不同姿势、照明条件等的人脸组成),而不会损失太多的识别精度。该方法是首先学习域基字典,然后使用基字典上的稀疏表示来描述每个域移位(身份、姿态、照明)。适应于每个域的字典被表示为基字典的稀疏线性组合。在人脸识别的背景下,与建议的组合字典的方法,人脸图像可以分解成稀疏表示为一个给定的主题,姿势和照明分别。这种方法有三个优点:第一,提取的稀疏表示的主题是一致的跨域,使姿势和照明不敏感的人脸识别。其次,姿态和照明的稀疏表示可以随后用于估计面部图像的姿态和照明条件。最后,通过组成主题和不同领域的稀疏表示,我们还可以执行姿势对齐和照明归一化。使用两个公开的人脸数据集进行了大量的实验,以证明我们的方法的有效性人脸识别。
2015-09-12 cs.CV
Source Prompt Disentangled Inversion for Boosting Image Editability with Diffusion Models
The Hong Kong Polytechnic University(香港理工大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出源提示解耦反演方法SPDInv,通过不动点约束将反演问题转化为搜索问题,降低源提示对潜在噪声编码的耦合,从而减少编辑伪影并提升文本驱动图像编辑性能。
2024-07-05 cs.CV
Joint Subspace Recovery and Enhanced Locality Driven Robust Flexible Discriminative Dictionary Learning
Hefei University of Technology(合肥工业大学);Soochow University(苏州大学);Harbin Institute of Technology(哈尔滨工业大学);University of Queensland(昆士兰大学)
我们提出了一种基于子空间恢复和增强局部性的鲁棒柔性标签一致性字典学习方法,称为鲁棒柔性判别字典学习(RFOLD)。该算法主要通过增强对稀疏错误的鲁棒性,对局部性、重构错误和标签一致性进行更精确的编码,来提高数据的表示和分类能力。首先,为了对数据和原子中的噪声和稀疏错误具有鲁棒性,RFRST旨在联合恢复底层的干净数据和干净原子子空间,然后在恢复的子空间中执行DL并编码局部性。其次,为了使从非线性流形采样的数据能够潜在地处理,并通过避免过拟合来获得准确的重建,RFFLOW以灵活的方式最小化重建误差。第三,为了对标签一致性进行准确编码,RFRST涉及有区别的灵活稀疏码错误以鼓励系数变软。第四,为了更好地编码局部性,RFFNN定义了恢复原子上的拉普拉斯矩阵,包括原子在类内紧凑性和类间分离方面的标签信息,并与组稀疏码和分类器相关联,以获得准确的区分性局部约束系数和分类器。在公共数据库上的大量结果表明了我们的RFESTs的有效性。
2019-06-11 cs.CV cs.LG
Regularized Residual Quantization: a multi-layer sparse dictionary learning approach
University of Geneva(日内瓦大学)
残差量化(RQ)框架被重新审视,其中量化失真在多层中被连续减少。受率失真理论中的反向注水范例的启发,引入了对码字方差的有效正则化,其允许针对非常大量的层以及针对高维数据扩展RQ,而不会过度训练。所提出的正则化残差量化(RRQ)导致额外稀疏的多层字典,这要归功于当应用于方差衰减数据时正则化的软阈值性质,方差衰减数据可以由应用于相关数据的去相关变换引起。此外,我们还提出了一个通用的预处理自然图像,使他们适合这样的量化。RRQ框架首先在合成方差衰减数据上进行测试,以显示其在高维数据量化方面的效率。接下来,我们在面部图像数据库的超分辨率中使用RRQ,其中示出了来自测试集的低分辨率面部图像,该测试集使用在来自训练集的高分辨率图像上训练的码本量化,当使用这些码本重建时,显示出相关的高频内容。
2017-05-01 cs.CV cs.LG
Sparse Coding with Multi-Layer Decoders using Variance Regularization
Center for Data Science(数据科学中心);New York University(纽约大学);Courant Institute(库朗研究所);Meta AI - FAIR(Meta人工智能实验室——基础人工智能研究团队)
图像的稀疏表示在许多计算机视觉应用中是有用的。具有$l_1$惩罚和学习的线性字典的稀疏编码需要字典的正则化以防止代码的$l_1$范数的崩溃。通常,这种正则化需要约束字典元素的欧几里德范数。在这项工作中,我们提出了一种新的稀疏编码协议,它可以防止崩溃的代码,而不需要正则化的解码器。我们的方法直接正则化的代码,使每个潜在的代码组件的方差大于一个固定的阈值在一组稀疏表示为一组给定的输入。此外,我们探索的方法,有效地训练稀疏编码系统与多层解码器,因为他们可以模拟更复杂的关系比线性字典。在我们的实验与MNIST和自然图像补丁,我们表明,解码器学习与我们的方法在线性和多层的情况下具有可解释的功能。此外,我们表明,与具有线性字典的自编码器相比,使用我们的方差正则化方法训练的具有多层解码器的稀疏自编码器可以产生具有更稀疏表示的更高质量的重建。此外,用我们的方差正则化方法获得的稀疏表示在低数据状态下的去噪和分类的下游任务中是有用的。
2022-09-07 cs.CV cs.LG
Neurogenesis-Inspired Dictionary Learning: Online Model Adaption in a Changing World
University of Southern California(南加州大学);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心)
在本文中,我们专注于在线表示学习在非平稳环境中,可能需要不断适应的模型架构。我们提出了一种新的在线字典学习(稀疏编码)框架,它包含了添加和删除隐藏单元(字典元素),并受到海马齿状回中成人神经发生现象的启发,已知与改善认知功能和适应新环境有关。在在线学习设置中,新的输入实例分批顺序到达,神经元出生通过添加具有随机初始权重的新单元(随机字典元素)来实现;新单元的数量由字典的当前性能(表示误差)确定,较高的误差导致出生率增加。神经元死亡是通过在我们的在线交替最小化方案的每次迭代中对块坐标下降优化中的字典施加l1/l2正则化(组稀疏性)来实现的,该方案在代码和字典更新之间迭代。最后,通过在字典元素中引入稀疏性,便于隐藏单元连接自适应。我们对几个真实数据集(图像和语言)以及合成数据的经验评估表明,在非平稳数据的情况下,所提出的方法可以大大优于Mairal等人(2009)的最先进的固定大小(非自适应)在线稀疏编码。此外,我们识别数据的某些属性(例如,具有几乎不重叠的支持的稀疏输入)和模型(例如,字典稀疏性)与这样的改进相关联。
2017-02-19 cs.AI cs.CV cs.LG
Multimodal Task-Driven Dictionary Learning for Image Classification
Pennsylvania State University(宾夕法尼亚州立大学);Army Research Laboratory(美国陆军研究实验室);Bosch Research and Technology Center(博世研究与技术中心);West Virginia University(西弗吉尼亚大学)
字典学习算法已经成功地用于重建和判别任务,其中输入信号用字典原子的稀疏线性组合表示。虽然这些方法大多是针对单模态场景开发的,但最近的研究已经证明了基于多模态输入的联合稀疏表示的特征级融合的优势。在本文中,我们提出了一个多模态任务驱动的字典学习算法下的联合稀疏约束(先验),以加强多个同质/异构信息源之间的合作。在这个任务驱动的公式,多模态字典学习的同时,其相应的分类。由此产生的多模态字典可以从针对给定任务(例如二进制或多类分类)优化的数据中生成有区别的潜在特征(稀疏代码)。此外,我们提出了一个扩展的建议制定使用混合的联合和独立的稀疏先验,有利于更灵活的融合的方式在特征级。所提出的多模态分类算法的功效说明了四个不同的应用程序-多模态人脸识别,多视图人脸识别,多视图动作识别,和多模态生物识别。它还表明,与对应的基于重构的字典学习算法相比,任务驱动的配方在这个意义上,它们可以配备更紧凑的字典,仍然实现卓越的性能是更有效的计算。
2015-10-27 cs.CV cs.LG stat.ML
Boosting Flow-based Generative Super-Resolution Models via Learned Prior
National Tsing Hua University(国立清华大学);MediaTek Inc.(联发科股份有限公司)
针对基于流的超分辨率模型存在的网格伪影、逆变换爆炸和固定采样温度次优问题,提出一种无需修改模型架构与预训练权重的条件学习先验框架,有效提升了各类超分辨率场景的生成性能。
2024-05-29 cs.AI cs.CV
Towards scientific discovery with dictionary learning: Extracting biological concepts from microscopy foundation models
Valence Labs(Valence实验室);Rutgers University(罗格斯大学);University of Cambridge(剑桥大学);University of Manchester(曼彻斯特大学)
本文提出将迭代码本特征学习与PCA白化预处理相结合,从细胞显微镜视觉基础模型中提取细胞类型、遗传扰动等生物学概念,并揭示细微形态变化,为生物成像中的机制可解释性科学发现开辟新路径。
2025-07-18 cs.AI cs.CV cs.LG
SC-MIL: Sparsely Coded Multiple Instance Learning for Whole Slide Image Classification
Mallinckrodt Institute of Radiology, Washington University School of Medicine(华盛顿大学医学院马林克罗特放射学研究所);School of Computing and Augmented Intelligence, Arizona State University(亚利桑那州立大学计算与增强智能学院);Institute for Informatics, Data Science and Biostatistics, Washington University School of Medicine(华盛顿大学医学院信息学、数据科学与生物统计学研究所)
本文提出SC-MIL方法,通过深度展开稀疏字典学习同时优化实例特征嵌入与相关性建模,以即插即用模块显著提升现有MIL方法在全切片图像分类中的性能。
2024-08-01 cs.AI cs.CV cs.LG