Double Sparse Multi-Frame Image Super Resolution
Waseda University(早稻田大学);University of Tsukuba(筑波大学)
基于稀疏编码的图像超分辨率算法被大量提出,其中一些算法实现了多帧超分辨率。在基于稀疏编码的多帧超分辨率图像处理中,既需要精确的图像配准,又需要稀疏编码。以往基于稀疏编码的多帧超分辨率研究首先采用块匹配进行图像配准,然后通过稀疏编码提高图像分辨率。在本文中,这两个问题是通过优化一个单一的目标函数。数值实验结果表明了该方法的有效性。
2015-12-02 cs.CV
Sparse Coding on Stereo Video for Object Detection
Portland State University(波特兰州立大学);New Mexico Consortium(新墨西哥联盟);Santa Fe Institute(圣菲研究所);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
深度卷积神经网络(DCNN)需要数百万个标记的训练样本来进行图像分类和目标检测任务,这将这些模型限制在可以使用此类数据集的领域。在本文中,我们探讨了使用无监督稀疏编码应用于立体视频数据,以帮助减轻需要大量的标记数据。我们表明,当只有有限数量的标记训练样本可用时,用DCNN中的无监督稀疏编码层替换典型的监督卷积层可以在汽车检测任务上获得更好的性能。此外,与完全监督的DCNN相比,结合稀疏编码的网络允许在训练样本的不同初始化和排序上具有更一致的性能。最后,我们比较了无监督稀疏编码层和有监督卷积层之间的激活,并表明稀疏表示表现出深度选择性的编码,而卷积层的编码则没有表现出这种选择性。这些结果表明,在具有有限标记训练数据的领域中,在现实世界的计算机视觉任务中使用无监督稀疏编码方法是有希望的。
2017-11-30 cs.CV
Sparse Coding on Symmetric Positive Definite Manifolds using Bregman Divergences
College of Engineering and Computer Science, Australian National University(澳大利亚国立大学工程与计算机科学学院);NICTA(澳大利亚国家信息与通信技术研究院);University of Queensland(昆士兰大学);Queensland University of Technology(昆士兰科技大学)
介绍了对称正定矩阵的稀疏编码和字典学习,这两种方法在机器学习、计算机视觉等领域有着广泛的应用。与传统的稀疏编码方案,工作在向量空间中,在本文中,我们讨论如何SPD矩阵可以描述的字典原子,其中的原子也是SPD矩阵的稀疏组合。我们建议通过两种类型的Bregman矩阵发散将SPD矩阵的空间嵌入到Hilbert空间中来寻求稀疏编码。这不仅导致执行稀疏编码的有效方式,而且还导致用于字典学习的在线和迭代方案。我们将所提出的方法应用到几个计算机视觉任务中,图像由区域协方差矩阵表示。我们提出的算法优于国家的最先进的方法在广泛的分类任务,包括人脸识别,动作识别,材料分类和纹理分类。
2014-08-30 cs.CV
Supervised Deep Sparse Coding Networks
The Johns Hopkins University(约翰霍普金斯大学);West Virginia University(西弗吉尼亚大学)
在本文中,我们描述了深度稀疏编码网络(SCN),这是一种新型的深度网络,它使用非负稀疏编码对中间表示进行编码。SCN建立在多个级联瓶颈模块上,其中每个模块由两个稀疏编码层组成,所述两个稀疏编码层具有相对宽和窄的字典,所述字典分别专门用于产生用于聚类的高维判别特征和低维表示。在训练过程中,使用基于多级优化的端到端监督学习算法优化字典和正则化参数。在几个流行的基准测试数据集上验证了具有七个瓶颈模块的SCN的有效性。值得注意的是,我们的SCN在CIFAR-10和CIFAR-100上分别达到了5.81%和19.93%的分类出错率。
2017-05-23 cs.CV
Supervised Convolutional Sparse Coding
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST))
卷积稀疏编码(CSC)是一种成熟的图像表示模型,特别适用于图像复原任务。在这项工作中,我们通过提出一种有监督的卷积稀疏编码方法来扩展该模型的适用性,该方法旨在学习判别字典而不是纯粹的重建字典。我们将监督正则化项纳入传统的无监督CSC目标,以鼓励最终的字典元素是有区别的。实验结果表明,使用监督卷积学习有两个关键优势。首先,我们在字典中学习更多语义相关的过滤器,其次,我们在看不见的数据上实现了改进的图像重建。
2018-04-08 cs.CV
Optimization Methods for Convolutional Sparse Coding
The Queensland University of Technology(昆士兰科技大学);Carnegie Mellon University(卡内基梅隆大学)
稀疏和卷积约束形成了物理过程中产生的许多优化问题的自然先验。检测语音和音乐段落中的主题,超分辨率图像,压缩视频和重建谐波运动都可以利用卷积引入的冗余。然而,解决涉及稀疏和卷积约束的问题仍然是一个困难的计算问题。在本文中,我们提出了一个一致的框架中的卷积稀疏编码的概述。该目标涉及迭代优化基函数的卷积最小二乘项,然后是稀疏系数的L1正则化最小二乘项。我们讨论了一系列用于解决卷积稀疏编码目标的优化方法,以及使每种方法适用于不同应用的属性。特别是,我们集中在计算复杂性,速度ε收敛,内存使用,和隐含的边界条件的影响。我们提出了一系列涵盖不同信号和应用领域的示例,以说明卷积稀疏编码的普遍适用性以及可用优化方法的有效性。
2014-06-10 cs.CV
Image Compression: Sparse Coding vs. Bottleneck Autoencoders
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);New Mexico Consortium(新墨西哥联盟);Southern Illinois University Carbondale(南伊利诺伊大学卡本代尔分校)
瓶颈自动编码器作为图像压缩任务的解决方案已经被积极研究。然而,我们观察到瓶颈自动编码器产生主观低质量的重建图像。在这项工作中,我们探讨了稀疏编码的能力,以提高重建图像的质量相同程度的压缩。我们观察到,稀疏图像压缩产生视觉上优越的重建图像,并产生更高的值的像素重建质量的措施(PSNR和SSIM)相比,瓶颈自动编码器。此外,我们发现,使用与人类感知更好相关的替代度量,例如特征感知损失和分类准确性,稀疏图像压缩分数分别比瓶颈自动编码器高出18.06%和2.7%。虽然计算更密集,我们发现,稀疏编码是优于瓶颈自动编码器相同程度的压缩。
2018-01-23 cs.CV
PolSAR Image Classification based on Polarimetric Scattering Coding and Sparse Support Matrix Machine
Xidian University(西安电子科技大学)
POLSAR图像比光学图像具有优势,因为它可以独立于云层覆盖和太阳光照获得。极化SAR图像分类是极化SAR图像解译的一个热点和有价值的研究课题。提出了一种基于极化散射编码和稀疏支持矩阵机的POLSAR图像分类方法。首先对原始极化SAR数据进行极化散射编码,得到一个实值矩阵,称为极化散射矩阵,它是一个稀疏矩阵。其次,利用稀疏支持矩阵机对稀疏极化散射矩阵进行分类,得到分类图。这两个步骤的结合充分考虑了POLSAR的特点。实验结果表明,该方法能取得较好的分类效果,是一种有效的分类方法。
2019-06-17 cs.CV
Graph Regularized Tensor Sparse Coding for Image Representation
Shanghai Jiao Tong University(上海交通大学);Columbia University(哥伦比亚大学)
稀疏编码是一种无监督学习方法,近年来受到越来越多的关注。然而,传统的SC矢量化的输入图像,这破坏了固有的空间结构的图像。在本文中,我们提出了一种新的图正则化张量稀疏编码(GTSC)的图像表示。GTSC通过采用新提出的管张量表示来保持图像中基本结构的局部邻近性。同时,它考虑了固有的几何特性,通过施加图正则化,已成功地应用于揭示图像数据的几何分布。此外,GTSC返回的稀疏表示具有更好的物理解释作为关键操作(即,循环卷积)保持了移位不变性。图像聚类实验结果表明了该方法的有效性。
2017-03-27 cs.CV
Riemannian Dictionary Learning and Sparse Coding for Positive Definite Matrices
ARC Centre of Excellence for Robotic Vision, Australian National University(澳大利亚国立大学ARC机器人视觉卓越中心);Massachusetts Institute of Technology(麻省理工学院)
编码为对称正定(SPD)矩阵的数据经常出现在计算机视觉和机器学习的许多领域。虽然这些矩阵形成了对称矩阵的欧几里得空间的一个开子集,但通过非欧几里得黎曼几何的镜头来观察它们往往更适合于捕捉几个理想的数据属性。然而,在这样的几何结构内制定经典的机器学习算法通常是不平凡的并且计算上昂贵。受字典学习和向量值数据稀疏编码的巨大成功的启发,本文的目标是通过黎曼几何方法将SPD矩阵形式的数据表示为来自学习字典的SPD原子的稀疏圆锥组合。为此,我们制定了一个新的黎曼优化目标的字典学习和稀疏编码的表示损失的特点是通过仿射不变黎曼度量。我们还提出了一个计算简单的算法来优化我们的模型。几个计算机视觉数据集上的实验表明,使用我们的方法相比,稀疏编码通过替代非黎曼公式具有优异的分类和检索性能。
2015-12-17 cs.CV
Fast Convolutional Sparse Coding in the Dual Domain
King Abdullah University of Science and Technology (KAUST)(沙特国王 Abdullah 科技大学(KAUST))
卷积稀疏编码(CSC)是从图像和视频压缩到深度学习的许多计算机视觉应用的重要构建块。我们提出了两个贡献的国家的最先进的CSC。首先,我们提出了一个新的优化框架,在对偶域中解决问题,从而大大加快了计算速度。其次,我们将原始公式扩展到更高的维度,以便处理更广泛的输入,例如RGB图像和视频。我们的研究结果显示,与当前最先进的CSC求解器相比,速度提高了20倍。
2018-04-08 cs.CV
Restoring STM images via Sparse Coding: noise and artifact removal
在这篇文章中,我们提出了一种去噪算法,以提高扫描隧道显微镜(STM)图像的解释和质量。鉴于STM图像的高水平的自相似性,我们提出了一个去噪算法,通过重新制定的真实估计问题作为一个稀疏回归,通常被称为稀疏编码。我们引入修改的算法,以应付存在的文物,主要是辍学,出现在一个结构化的方式作为连续的线段上的扫描方向。由此产生的算法将伪影视为缺失数据,并且估计值优于通过局部滤波来替换离群值的那些算法。我们提供Matlab和Gwendion的代码实现。
2016-10-11 cs.CV
Efficient Two-Dimensional Sparse Coding Using Tensor-Linear Combination
Shanghai Jiao Tong University(上海交通大学);Columbia University(哥伦比亚大学)
稀疏编码(SC)是一种自动特征提取和选择技术,广泛应用于无监督学习。然而,传统的SC矢量化的输入图像,这打破了局部邻近的像素和破坏的基本对象结构的图像。在本文中,我们提出了一种新的二维的【形】稀疏编码(2DSC)计划,表示输入图像的张量线性组合下的一种新的代数框架。2DSC学习更简洁的字典,因为它使用循环卷积算子,因为传统SC学习的原子的移位版本被视为相同的版本。我们应用2DSC自然图像,并证明2DSC返回有意义的字典大补丁。此外,对于多光谱图像去噪,所提出的2DSC降低了计算成本,与最先进的算法相比,具有竞争力的性能。
2017-03-28 cs.CV
A Two-Layer Local Constrained Sparse Coding Method for Fine-Grained Visual Categorization
South China University of Technology(华南理工大学)
细粒度类别由于类间的相似性和类内的多样性,比一般类别更难区分。因此,细粒度视觉分类(FGVC)被认为是计算机视觉的挑战性问题之一。本文提出了一种新的基于两层局部约束稀疏编码结构的特征学习框架。该算法采用两层结构学习中间层特征,并引入局部约束项保证编码系数的局部光滑性。为了提取更多的鉴别信息,局部方向直方图代替原始像素作为稀疏编码的输入。此外,一个快速的字典更新过程,推导出进一步提高训练速度。两个实验结果表明,我们的方法达到85.29%的准确率在牛津102花数据集和67.8%的准确率在CUB-200-2011鸟数据集,我们的框架的性能是具有很强的竞争力,与现有的文献。
2015-05-11 cs.CV
Regularized Robust Coding for Face Recognition
The Hong Kong Polytechnic University(香港理工大学)
近年来,基于稀疏表示的分类方法(SRC)被提出用于鲁棒的人脸识别。在SRC中,测试图像被编码为训练样本的稀疏线性组合,并且表示保真度由编码残差的l2范数或l1范数来度量。这种稀疏编码模型假设编码残差服从高斯或拉普拉斯分布,这可能不足以有效地描述实际FR系统中的编码残差。同时,编码系数的稀疏性限制使得SRC算法的计算量非常大。本文提出了一种新的人脸编码模型,即正则化鲁棒编码(RRC),它可以用正则化的回归系数鲁棒地回归给定的信号。通过假设编码残差和编码系数分别独立且同分布,RRC寻求编码问题的最大后验解。提出了一种迭代重加权正则化鲁棒编码(IR3C)算法来有效求解RRC模型。在具有代表性的人脸数据库上进行的大量实验表明,与现有的基于稀疏表示的方法相比,该方法在处理人脸遮挡、腐败、光照和表情变化等问题上具有更好的效果和效率。
2012-02-21 cs.CV
Correlation Preserving Sparse Coding Over Multi-level Dictionaries for Image Denoising
National Engineering Laboratory for Video Technology, Peking University(北京大学视频技术国家工程实验室)
本文提出了一种基于相关保持稀疏编码的图像去噪方法。由于基集之间的不稳定和不可靠的相关性会限制字典驱动去噪方法的性能,因此在编码过程中采用了两种有效的正则化策略。具体地说,基于图的正则化器是建立在保持全局相似性相关,它可以自适应地捕获的几何结构和区别性特征的纹理补丁。特别地,图中的边权重通过寻求非负低秩构造来获得。此外,鲁棒的局部约束编码不仅可以自动保持空间邻域信息,而且可以在学习过完备字典时保持噪声块中存在的内部一致性。实验结果表明,我们提出的方法达到了最先进的去噪性能的PSNR和主观视觉质量。
2016-12-23 cs.CV
Group Sparse Coding for Image Denoising
The Australian National University(澳大利亚国立大学)
GSR [3]中的组稀疏表示在图像去模糊和图像修补方面取得了很好的效果,其成功的主要原因是利用了自然图像块之间的稀疏性和非局部自相似性(NSS),并解决了正则化优化问题。然而,直接自适应GSR[3]的图像去噪方法效果不稳定且不令人满意,为了克服这些问题,本文提出了一种渐进式的自适应GSR [3]模型的图像去噪算法,实验表明该算法的性能优于一些现有的方法。
2022-12-22 cs.CV
Joint group and residual sparse coding for image compressive sensing
Xidian University(西安电子科技大学)
非局部自相似性和群稀疏性在图像压缩感知中得到了广泛的应用。然而,当采样率较低时,退化图像的内部先验信息可能不足以进行精确恢复,导致图像边缘和细节的丢失。本文提出了一种用于压缩感知图像恢复的联合分组和残差稀疏编码方法(JGRSC-CS)。在JGRSC-CS算法中,将面片组作为稀疏编码的基本单元,同时使用两个字典(即内部字典和外部字典)对每个面片组进行稀疏表示。内部自适应字典用于去除伪影,外部高斯混合模型(GMM)字典,从干净的训练图像中学习,用于增强细节和纹理。为了提高算法的有效性和鲁棒性,采用分裂Bregman方法重建整幅图像。实验结果表明,JGRSC-CS算法在峰值信噪比(PSNR)和视觉质量上都优于现有的最先进的方法。
2019-01-23 cs.CV
From biological vision to unsupervised hierarchical sparse coding
Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);Inst Neurosci Timone(蒂莫内神经科学研究所);ISM(马赛运动科学研究所)
神经细胞之间连接的形成基本上是从无监督学习过程中出现的。例如,在哺乳动物初级视觉皮层(V1)的发育过程中,我们观察到对局部和定向特征有选择性的细胞的出现。这导致区域V1中视网膜图像的基于粗略轮廓的表示的发展。我们提出了一个生物模型的形成沿丘脑-皮质通路的这种表示。为了实现这一目标,我们复制了由Michael Elad小组开发的多层卷积稀疏编码(ML-CSC)算法。
2018-12-04 cs.CV
Sparse Coding with Fast Image Alignment via Large Displacement Optical Flow
Johns Hopkins University(约翰斯·霍普金斯大学);West Virginia University(西弗吉尼亚大学)
基于稀疏表示的分类器在图像分类任务中表现出出色的准确性和鲁棒性,即使存在强烈的噪声和遮挡。然而,已经发现,当测试图像不与字典原子对齐或字典原子本身不彼此对齐时,性能显著降低,在这种情况下,稀疏线性表示假设失败。在本文中,有训练和测试图像错位,我们引入了一种新的稀疏编码框架,能够有效地适应字典原子的测试图像通过大位移光流。在该算法中,每个字典原子自动对齐输入图像,然后使用自适应字典原子恢复稀疏代码。一个相应的监督字典学习算法也提出了框架。数字识别实验结果验证了该算法的有效性和鲁棒性。
2015-12-21 cs.CV
Dictionary Learning and Sparse Coding for Third-order Super-symmetric Tensors
Inria(法国国家信息与自动化研究所);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Australian National University(澳大利亚国立大学)
超对称张量--散布矩阵的高阶扩展--在机器学习和计算机视觉中越来越受欢迎,用于建模数据统计、同现,甚至作为视觉描述符。然而,这些张量的大小在数据维度上是指数级的,这是一个值得关注的问题。本文在字典学习和稀疏编码的背景下研究了三阶超对称张量描述子。我们的目标是近似这些张量作为稀疏圆锥组合的原子从一个学习的字典,其中每个原子是一个对称的半正定矩阵。除了这个框架提供的张量压缩的显着好处,我们的实验表明,该方案产生的稀疏系数导致更好的高维数据的聚合,并展示了两个常见的计算机视觉任务相比,最先进的优越性能。
2015-09-09 cs.CV
Robust Scene Text Recognition Using Sparse Coding based Features
Xiamen University(厦门大学);University of Waterloo(滑铁卢大学);The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们提出了一种有效的场景文本识别方法,使用稀疏编码的基础上的功能,称为稀疏编码直方图(HSC)功能。对于字符检测,我们使用的HSC功能,而不是使用直方图的方向一致性(HOG)功能。HSC特征是通过使用K-SVD从数据中学习的字典计算稀疏代码,并聚合每个像素的稀疏代码以形成局部直方图来提取的。对于单词识别,我们整合了多个线索,包括字符检测分数和几何背景中的目标函数。通过搜索目标函数最大值所对应的词来获得最终的识别结果。目标函数中的参数使用最小分类误差(MCE)训练方法来学习。在几个具有挑战性的数据集上的实验表明,所提出的基于HSC的场景文本识别方法明显优于基于HOG的方法,并且优于大多数最先进的方法。
2015-12-29 cs.CV
Scalable Online Convolutional Sparse Coding
Hong Kong University of Science and Technology(香港科技大学);University of Macau(澳门大学)
卷积稀疏编码(CSC)通过从数据中学习平移不变字典来改进稀疏编码。然而,现有的CSC算法在批处理模式下操作,并且在大型数据集上在空间和时间方面都是昂贵的。在本文中,我们通过使用在线学习来缓解这些问题。关键是重新制定的CSC目标,使卷积可以很容易地处理在频域和更小的历史矩阵是必要的。我们使用交替方向的乘法器(ADMM)来解决由此产生的优化问题和ADMM子问题有效率的封闭形式的解决方案。理论分析表明,学习字典收敛到一个稳定点的优化问题。大量的实验表明,该方法收敛速度快,重建效果好。此外,虽然现有的CSC算法只能在少量图像上运行,但所提出的方法可以处理至少十倍以上的图像。
2017-11-02 cs.CV
Image Super-Resolution via RL-CSC: When Residual Learning Meets Convolutional Sparse Coding
School of Electronic and Information, Wuhan University(武汉大学电子信息学院)
结合残差学习和卷积稀疏编码的优点,提出了一种简单有效的单幅图像超分辨率(SISR)模型。我们的模型的灵感来自学习迭代收缩阈值算法(LISTA)。我们将LISTA扩展到其卷积版本,并通过严格遵循卷积形式构建模型的主要部分,这提高了网络的可解释性。具体而言,输入特征图的卷积稀疏编码以递归方式学习,并且可以从这些CSC中恢复高频信息。更重要的是,当网络深入时,应用残差学习来减轻训练难度。在基准数据集上进行的大量实验证明了我们方法的有效性。RL-CSC(30层)优于几种最新的最先进技术,例如,DRRN(52层)和MemNet(80层)在准确性和视觉质量方面都有很大的提高。代码和更多结果可在https://github.com/axzml/RL-CSC上获得。
2018-12-31 cs.CV
Fast approximations to structured sparse coding and applications to object classification
我们描述了一种快速近似稀疏编码的方法。输入空间被二进制决策树细分,并且我们同时学习字典并为树的每个叶子分配允许的字典元素。我们存储一个查找表,其中包含每个节点的赋值和伪逆,允许非常快速的推理。本文给出了一个学习树、字典和字典元素赋值的算法,并在描述这个算法的过程中,讨论了群结构稀疏建模中更一般的群学习问题。我们表明,我们的方法通过在\cite{lazebnik06,yang-cvpr-09}的对象识别框架中使用它来创建良好的稀疏表示。实现我们自己的SIFT描述符的快速版本,整个系统在具有四核CPU的笔记本电脑上以每秒20帧的速度运行$321 \times 481$大小的图像,同时在加州理工学院101和15场景基准测试中牺牲很少的准确性。
2012-02-28 cs.CV
Approximate search with quantized sparse representations
Inria Rennes(法国国家信息与自动化研究所雷恩研究中心);Technicolor(特艺集团)
本文解决了存储大量向量(如视觉描述符)和在其中搜索的任务,为此,我们提出了通过约束稀疏编码来近似数据库向量,其中可能的原子权重被限制为属于有限子集。作为特定情况,该公式包括先前的最先进的方法,例如乘积或残差量化。与传统的稀疏编码方法相反,量化稀疏编码包括内存使用作为设计约束,从而使我们能够索引大型集合,如BIGANN十亿级基准。我们的实验,进行标准的基准测试,表明我们的配方导致竞争力的解决方案时,考虑不同的权衡学习/编码时间,索引大小和搜索质量。
2016-08-10 cs.CV
Transformational Sparse Coding
University of Washington(华盛顿大学)
物体识别系统面临的一个基本问题是物体及其特征可能出现在不同的位置、尺度和方向上。当前的深度学习方法试图通过池化来实现对局部翻译的不变性,从而在该过程中丢弃特征的位置。其他方法显式地学习同一特征的转换版本,导致表示的大小迅速爆炸。我们认为,模型应该学习对象的功能与他们的转换,以实现等变性,而不是放弃丰富和有用的信息,功能转换,以实现不变性。我们提出了一种新的无监督学习模型的基础上稀疏编码,可以学习对象的功能与他们的仿射变换直接从图像。从自然图像学习的基础上的结果表明,我们的方法匹配传统的稀疏编码的重建质量,但具有显着更少的自由度,同时学习从数据的转换。这些结果为扩大无监督学习的规模打开了大门,从而允许以与灵长类视觉皮层的腹侧+背侧流结构一致的方式进行深度特征+转换学习。
2017-12-08 cs.CV
Online Convolutional Sparse Coding with Sample-Dependent Dictionary
Hong Kong University of Science and Technology University(香港科技大学);Paradigm Inc(第四范式有限公司);University of Macau(澳门大学)
卷积稀疏编码(CSC)已广泛用于图像和信号处理中平移不变字典的学习。然而,现有的方法具有有限的可扩展性。在本文中,而不是卷积与所有样本共享的字典,我们提出了使用一个样本相关的字典,其中过滤器获得的线性组合的一个小的一组基础过滤器从数据中学习。这种增加的灵活性允许捕获大量依赖于样本的模式,同时仍然可以通过在线学习有效地学习所得模型。大量的实验结果表明,该方法优于现有的CSC算法,显着降低了时间和空间的要求。
2018-06-07 cs.CV
Anomaly Detection in Retinal Images using Multi-Scale Deep Feature Sparse Coding
Jadavpur University(贾达布尔大学);IIT Madras(印度理工学院马德拉斯分校);IIT Jodhpur(印度理工学院焦特布尔分校);Inception Institute of AI(Inception人工智能研究院);Monash University(莫纳什大学);Airdoc-Monash Research(Airdoc-莫纳什研究中心)
卷积神经网络模型已经成功地从光学相干断层扫描(OCT)和眼底图像中检测出视网膜疾病。这些CNN模型经常依赖于大量的标记数据进行训练,很难获得,特别是对于罕见疾病。此外,在只有一种或几种疾病的数据集上训练的深度学习系统无法检测其他疾病,限制了系统在疾病识别中的实际应用。我们引入了一种无监督的方法来检测视网膜图像中的异常,以克服这个问题。我们提出了一种简单、内存高效、易于训练的方法,该方法遵循多步训练技术,该技术结合了自动编码器训练和多尺度深度特征稀疏编码(MDFSC),MDFSC是普通稀疏编码的扩展版本,以适应不同类型的视网膜数据集。在Eye-Q、IDRiD和OCTID数据集上,与最先进的SPADE相比,我们分别实现了7.8%、6.7%和12.1%的相对AUC评分改善。
2022-01-27 cs.CV
Sparse Coding and Counting for Robust Visual Tracking
Dalian University of Technology(大连理工大学)
本文提出了一种新的稀疏编码和计数方法下的贝叶斯框架下的视觉跟踪。与现有方法相比,该方法采用L0和L1范数的组合来正则化增量更新线性基的线性系数。稀疏性约束使跟踪器能够有效地处理困难的挑战,例如遮挡或图像损坏。为了实现实时处理,我们提出了一个快速有效的数值算法求解所提出的模型。虽然这是一个NP难问题,建议加速邻近梯度(APG)的方法是保证快速收敛到一个解决方案。此外,我们提供了一个封闭的解决方案,结合L0和L1正则化表示,以获得更好的稀疏性。在具有挑战性的视频序列上的实验结果表明,该方法在准确性和速度上都达到了最先进的结果。
2016-05-28 cs.CV
Encoding High Dimensional Local Features by Sparse Coding Based Fisher Vectors
University of Adelaide(阿德莱德大学);ARC Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心);University of Wollongong(伍伦贡大学)
Fisher矢量编码(Fisher vector coding,FVC)是一种基于局部特征生成模型的梯度矢量编码方法,被认为是图像分类的有效编码方法。大多数(如果不是全部的话)% FVC实现采用高斯混合模型(GMM)来表征局部特征的生成过程。这种选择已经证明对于传统的低维局部特征是足够的,例如,SIFT;并且通常,仅用几百个高斯分布就可以实现良好的性能。然而,相同数量的高斯是不够的模型的特征空间跨越更高的维度的本地功能,这已经成为最近流行的。为了提高对高维特征的建模能力,简单地增加高斯的数量被证明是低效的并且在计算上是不切实际的。在本文中,我们提出了一个模型,其中每个局部特征是从高斯分布,其平均向量是从一个子空间采样。在一定的近似下,该模型可以转化为稀疏编码过程,学习/推理问题可以很容易地通过标准的稀疏编码方法来解决。通过计算该模型的梯度矢量,我们得到了一个新的Fisher矢量编码策略,称为稀疏编码基于Fisher矢量编码(SCFVC)。此外,我们采用最近开发的深度卷积神经网络(CNN)描述符作为高维局部特征,并使用所提出的SCFVC实现图像分类。我们的实验评估表明,我们的方法不仅显着优于传统的基于GMM的Fisher矢量编码,但也达到了国家的最先进的性能,在一般的目标识别,室内场景,细粒度的图像分类问题。
2014-11-24 cs.CV
Color Constancy based on Image Similarity via Bilayer Sparse Coding
计算颜色恒常性是计算机视觉中一个非常重要的课题,引起了许多研究者的关注。近年来,大量的研究表明,高层次的视觉内容信息的照明估计的影响。然而,所有这些现有的方法本质上是组合策略,其中图像的内容分析仅用于指导各种单独的照度估计方法的组合或选择。在本文中,我们提出了一种新的双层稀疏编码模型的照明估计,同时考虑图像的相似性在低层次的颜色分布和高层次的图像场景内容。为此,将图像的场景内容信息与其颜色分布相结合,以获得最佳的光照估计模型。在两组真实图像上的实验结果表明,该算法优于其他主流的光照估计方法,甚至优于组合方法。
2012-11-08 cs.CV
Structured Sparse Ternary Weight Coding of Deep Neural Networks for Efficient Hardware Implementations
Seoul National University(首尔大学)
深度神经网络(DNN)通常需要大量的实时推理操作。特别是,全连接层包含大量的权重,因此它们通常需要许多片外存储器访问来进行推理。我们提出了一种用于深度神经网络的权重压缩方法,该方法仅在权重的预定位置处允许+1或-1的值,使得可以容易地进行使用表的解码。例如,结构化稀疏(8,2)编码允许八个权重中最多两个非零值。这种方法不仅可以实现无乘法DNN实现,而且与浮点网络相比,还可以将权重存储压缩高达x32。权值分布归一化和逐步剪枝技术被应用于减轻性能下降。实验使用完全连接的深度神经网络和卷积神经网络进行。
2017-07-01 cs.CV
Rain Removal via Shrinkage-Based Sparse Coding and Learned Rain Dictionary
Ryerson University(瑞尔森大学)
本文提出了一种新的基于稀疏编码收缩的单幅图像去雨模型。最近,字典学习和稀疏编码已被广泛用于图像复原问题。这些方法也可以应用于雨去除,通过学习两种类型的雨和非雨字典,并迫使雨字典的稀疏码为零向量。然而,这种方法会在非雨区域中产生不需要的边缘伪影和细节损失。基于此,本文提出了一种新的压缩稀疏码的方法。为了有效地收缩稀疏码在雨和非雨区域,输入雨图像和重建雨图像之间的误差映射生成通过使用学习的雨字典。在此误差映射的基础上,结合雨字典和非雨字典的稀疏编码来表示目标的图像结构,避免非雨区域的边缘伪影。在雨区域,雨和非雨字典之间的相关矩阵的计算。然后,稀疏码对应的高度相关的信号原子在雨和非雨字典的联合收缩,以提高雨结构的去除。实验结果表明,基于收缩的稀疏编码在非雨区能较好地保留图像结构,避免边缘伪影,在雨区能较好地去除雨结构。视觉质量评价证实,该方法优于传统的纹理和雨水去除方法。
2016-10-03 cs.CV
A Trilateral Weighted Sparse Coding Scheme for Real-World Image Denoising
The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳));The Hong Kong Polytechnic University(香港理工大学)
现有的图像去噪方法大多假设噪声为加性高斯白噪声。然而,现实世界的噪声图像中的现实噪声比AWGN复杂得多,很难用简单的解析分布来建模。因此,文献中的许多最先进的去噪方法在应用于由CCD或CMOS相机捕获的真实世界的噪声图像时变得不那么有效。在本文中,我们开发了一个三边加权稀疏编码(TWSC)方案的鲁棒性真实世界的图像去噪。具体来说,我们引入三个权重矩阵的数据和正则化条款的稀疏编码框架,以消除现实的噪声和图像先验的统计。TWSC可以转化为一个线性等式约束问题,可以用交替方向乘子法求解。分析了算法解的存在唯一性和收敛性。大量的实验表明,所提出的TWSC计划优于国家的最先进的去噪方法去除现实噪声。
2018-07-11 cs.CV
Closed-Loop Transcription via Convolutional Sparse Coding
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of California, Berkeley(加州大学伯克利分校);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院);International Digital Economy Academy(国际数字经济研究院);University of Electronic Science and Technology of China(电子科技大学)
自动编码作为学习自然图像生成模型的框架已经取得了巨大的经验成功。自动编码器通常使用通用深度网络作为编码器或解码器,这很难解释,并且学习的表示缺乏清晰的结构。在这项工作中,我们作出明确的假设,图像分布是从一个多阶段的稀疏反卷积。相应的逆映射,我们使用作为编码器,是一个多阶段的卷积稀疏编码(CSC),与每个阶段获得从展开的优化算法求解相应的(凸)稀疏编码程序。为了避免在最小化真实图像和生成图像之间的分布距离方面的计算困难,我们利用了最近的闭环转录(CTRL)框架,该框架优化了所学习的稀疏表示的速率降低。从概念上讲,我们的方法与分数匹配方法(如扩散模型)有着高层次的联系。从经验上讲,我们的框架在大规模数据集(如ImageNet-1 K)上展示了与公平条件下现有的自动编码和生成方法相比具有竞争力的性能。即使使用更简单的网络和更少的计算资源,我们的方法在再生图像中也表现出高的视觉质量。更令人惊讶的是,学习的自动编码器在看不见的数据集上表现良好。我们的方法有几个附带的好处,包括更结构化和可解释的表示,更稳定的收敛性,以及对大型数据集的可扩展性。我们的方法可以说是第一个证明多个卷积稀疏编码/解码层的级联导致可解释和有效的自动编码器,用于对大规模自然图像数据集的分布进行建模。
2023-02-18 cs.CV
Linear Spatial Pyramid Matching Using Non-convex and non-negative Sparse Coding for Image Classification
Center for Information in BioMedicine(生物医学信息中心);China Center for Applied Mathematics(中国应用数学中心)
近年来,稀疏编码在图像分类中取得了巨大的成功,这主要是由于它能够结合图像表示的稀疏性。本文提出了一种基于线性空间金字塔匹配(SPM)和尺度不变特征变换(SIFT)描述子的稀疏编码模型。新颖之处在于同时将非凸和非负特征加入到稀疏编码模型中。我们的数值实验表明,使用非凸和非负稀疏编码的改进方法优于原始的ScSPM[1]在几个典型的数据库。
2015-04-27 cs.CV cs.LG
Non-negative sparse coding
非负稀疏编码是一种将多变量数据分解为非负稀疏分量的方法。在本文中,我们简要地描述了这种类型的数据表示背后的动机及其与标准稀疏编码和非负矩阵分解的关系。然后,我们给出了一个简单而有效的乘法算法找到最佳值的隐藏组件。此外,我们还展示了如何从观测数据中学习基向量。仿真结果表明了该方法的有效性。
2002-02-11 cs.CV cs.NE
Efficient ADMM-based Algorithms for Convolutional Sparse Coding
Aalto University(阿尔托大学)
卷积稀疏编码通过引入全局平移不变模型来改进标准稀疏近似。最有效的卷积稀疏编码方法是基于乘法器的交替方向方法和卷积定理。这些方法之间唯一的主要区别是它们如何处理卷积最小二乘拟合子问题。这封信提出了一个解决这个子问题,提高了效率的国家的最先进的算法。我们还使用相同的方法来开发一种有效的卷积字典学习方法。此外,我们提出了一种新的卷积稀疏编码算法的近似误差的约束。
2021-09-07 cs.CV cs.LG
Cross-Domain Sparse Coding
University at Buffalo, The State University of New York(纽约州立大学布法罗分校);Nanjing University(南京大学)
稀疏编码作为一种有效的数据表示方法已经显示出其强大的功能。然而,到目前为止,所有的稀疏编码方法都局限于单域学习问题。本文将稀疏编码扩展到跨域学习问题,试图从一个源域学习到一个分布显著不同的目标域。我们采用最大平均离散度(MMD)准则来减少稀疏码的跨域分布差异,并通过来自两个域的样本的类标签来正则化稀疏码,以增加区分能力。在照片和油画领域的图像分类和多用户垃圾邮件检测这两个具有挑战性的任务上,所提出的跨域稀疏编码算法取得了令人鼓舞的实验结果,显示了该方法相对于其他跨域数据表示方法的优势。
2013-11-27 cs.CV stat.ML
Fast Rotational Sparse Coding
Michigan State University(密歇根州立大学);EPFL(洛桑联邦理工学院);University of Applied Sciences Western Switzerland (HES-SO)(瑞士西部应用科学大学)
我们提出了一种旋转稀疏编码算法,以及一个有效的实现,使用可操纵性。稀疏编码(也称为字典学习)是图像处理中的一种重要技术,在逆问题、压缩和分析中很有用;然而,通常的公式未能捕获图像结构的一个重要方面:图像由构建块形成,例如,出现在不同位置、方向和比例上的边、线或点。稀疏编码问题可以重新表述,以显式地考虑这些变换,但代价是增加计算。在这项工作中,我们提出了一种算法的旋转版本的稀疏编码,是基于K-SVD与额外的旋转操作。然后,我们提出了一种方法来加速这些旋转通过学习字典在一个可操纵的基础。我们的实验上的补丁编码和纹理分类表明,所提出的算法是足够快的实际使用和媲美标准稀疏编码。
2020-01-29 cs.CV eess.IV
Inference via Sparse Coding in a Hierarchical Vision Model
University of Miami(迈阿密大学);University of Kentucky(肯塔基大学)
稀疏编码由于其计算优势和与生物学的联系而被纳入视觉皮层模型。但是稀疏度水平如何有助于视觉任务的性能还没有得到很好的理解。在这项工作中,稀疏编码已被集成到现有的分层V2模型中(Hosoya和Hyvärinen,2015),但用显式稀疏编码取代其独立分量分析(ICA),其中稀疏度可以控制。经过训练后,具有较高稀疏度的稀疏编码基函数类似于不同的结构,如曲线和角点。通过图像分类任务评估模型的贡献,特别是与中级视觉相关的任务,包括图形-背景分类、纹理分类和两条线刺激之间的角度预测。此外,与已经在V2中报道的纹理敏感性测量(Freeman等人,2013),以及删除区域推断任务。实验结果表明,虽然稀疏编码在图像分类方面的表现不如ICA,但只有稀疏编码能够更好地匹配V2的纹理敏感度水平并推断删除的图像区域,这两者都是通过增加稀疏编码中的稀疏度来实现的。更高程度的稀疏性允许在更大的删除图像区域上进行推断。这里描述了在稀疏编码中允许这种推理能力的机制。
2022-01-16 cs.CV cs.LG
Tree structured sparse coding on cubes
City College of New York(纽约城市学院)
二进制立方体上的树结构稀疏编码的简要描述。
2013-01-16 cs.CV cs.IT math.IT
Exploitation of Image Statistics with Sparse Coding in the Case of Stereo Vision
University of Tübingen(图宾根大学);Mercedes-Benz AG(梅赛德斯-奔驰股份公司)
稀疏编码算法已被用作哺乳动物视觉早期处理的模型。它已被假设,大脑使用稀疏编码,以利用感官流的统计特性。我们假设稀疏编码从数据集中发现模式,其可用于通过简单读出来估计一组刺激参数。在这项研究中,我们选择了一个立体视觉模型来验证我们的假设。我们使用局部竞争算法(LCA),然后使用朴素贝叶斯分类器来推断立体视差。从结果中,我们报告了三个观察结果。首先,视差推理是成功的,这种自然主义的处理管道。其次,需要一个扩展的,高度冗余的表示来鲁棒地识别输入模式。第三,可以从LCA表示中的有效系数的数量预测推断误差。我们的结论是,稀疏编码可以产生一个合适的一般表示为后续的推理任务。关键词:稀疏编码;局部竞争算法;高效编码;紧凑编码;概率推理;立体视觉
2021-01-26 cs.CV q-bio.NC
Robust Sparse Coding via Self-Paced Learning
University of Electronic Science and Technology of China(电子科技大学)
稀疏编码由于其广泛的理论研究和在许多信号处理应用中的优异性能而受到越来越多的关注。然而,大多数现有的稀疏编码算法是非凸的,因此容易陷入坏的局部极小值,特别是当有离群值和噪声数据。为了提高学习的鲁棒性,本文提出了一个统一的框架称为自步调稀疏编码(SPSC),它逐渐包括矩阵元素到SC学习从简单到复杂。我们还将自定进度学习图式分别概括为样本、特征和元素的不同层次的动态选择。在真实数据集上的实验结果表明了该算法的有效性。
2017-09-10 cs.CV cs.LG
The Statistical Inefficiency of Sparse Coding for Images (or, One Gabor to Rule them All)
稀疏编码是学习图像的紧凑表示的一个行之有效的原则。然而,稀疏编码本身往往会导致非常冗余的字典。对于图像,这通常采取类似的边缘检测器的形式,其在不同的位置、尺度和方向上被多次复制。这种观察的直接后果是,字典组件的估计在统计上是不有效的。我们提出了一个因子化模型,其中的变化因素(如位置,规模和方向)从底层的Gabor样过滤器解开。自然图像的稀疏编码中有太多的冗余,以至于我们的模型只需要一个字典元素(类似于Gabor的边缘检测器)就可以优于标准稀疏编码。我们的模型可以自然地扩展到任意大小的图像,同时在学习过程中实现更高的统计效率。我们验证了这一说法与一些实验显示,在一定程度上,优秀的压缩样本外的数据使用稀疏编码字典学习,只有一个单一的图像。
2011-09-30 cs.AI cs.CV
Fast Inference in Sparse Coding Algorithms with Applications to Object Recognition
Courant Institute of Mathematical Sciences(柯朗数学科学研究所);New York University(纽约大学)
自适应稀疏编码方法学习一组可能过完备的基函数,从而可以通过线性组合这些基函数的一个小子集来重建自然图像块。由于计算稀疏表示所需的优化算法的高昂成本,这些方法对视觉对象识别任务的适用性受到限制。在这项工作中,我们提出了一个简单而有效的算法来学习基函数。经过训练后,该模型还提供了一个快速平滑的近似器来实现最佳表示,在视觉对象识别任务中实现了比精确稀疏编码算法更好的准确性。
2010-10-18 cs.CV cs.LG
MLF-SC: Incorporating multi-layer features to sparse coding for anomaly detection
LeapMind Inc.(LeapMind公司)
图像中的异常发生在各种尺度上,从地毯上的一个小洞到一个大污点。然而,基于稀疏编码的异常检测是广泛使用的异常检测方法之一,在处理超出用于稀疏表示图像的补丁大小的异常时存在问题。如果在小尺度下观察到大的异常,则可以认为是正常的,但是不容易确定适用于所有图像的单个尺度(斑块大小)。然后,我们提出将多尺度特征结合到稀疏编码中,提高异常检测的性能。多层特征稀疏编码(MLF-SC)方法采用神经网络进行特征提取,并对网络中间层的特征图进行稀疏编码,而标准的基于稀疏编码的异常检测方法直接对给定图像进行检测。我们表明,MLF-SC优于最先进的异常检测方法,包括采用深度学习的方法。我们的目标数据是MVTec异常检测(MVTec AD)数据集的纹理类别,该数据集是由来自真实世界的图像组成的现代基准数据集。我们的想法可以是处理实际数据的简单而实用的选择。
2021-04-09 cs.CV cs.LG
Convolutional Sparse Coding: Boundary Handling Revisited
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Pontificia Universidad Católica del Perú(秘鲁天主教大学)
最近已经提出了两种不同的方法用于卷积稀疏表示中的边界处理,通过将空间掩码引入卷积稀疏编码问题中来避免由使用频域解算方法所隐含的圆形边界条件引起的潜在边界伪影。在本文中,我们表明,在某些情况下,这些方法失败的设计目标,避免边界文物。这种失败的原因进行了讨论,提出了一种解决方案,并说明了在图像去模糊问题的实际影响。
2017-07-20 cs.CV eess.IV
Sparse-View CT Reconstruction via Convolutional Sparse Coding
Sichuan University(四川大学)
传统的基于字典学习的CT重建方法是基于块的,并且用这些方法学习的特征通常包含相同特征的移位版本。为了解决这些问题,卷积稀疏编码(CSC)已被提出并引入各种应用。受CSC在信号处理领域的成功应用的启发,本文提出了一种基于CSC的稀疏CT重建方法。该方法直接对整幅图像进行处理,不需要像基于字典学习的方法那样将图像分割成重叠的小块,能够保持更多的细节信息,避免小块聚集带来的伪影。实验结果表明,该方法在定性和定量方面都优于现有的几种算法。
2018-10-15 cs.CV physics.med-ph
Multimodal Sparse Coding for Event Detection
MIT Lincoln Laboratory(麻省理工学院林肯实验室);Harvard University(哈佛大学)
无监督特征学习方法已被证明对基于单一模态的分类任务是有效的。我们提出了多模态稀疏编码学习跨多模态共享的特征表示。共享表示应用于多媒体事件检测(MED)和评估相比,单峰同行,以及其他功能学习方法,如GMM超向量和稀疏RBM。我们报告了MED系统的交叉验证分类准确度和平均精度,该系统是在从TRECVID MED 2014数据集的一个子集的单峰和多峰设置中学习到的特征上训练的。
2016-05-17 cs.CV cs.LG
Sparse Coding with Multi-Layer Decoders using Variance Regularization
Center for Data Science(数据科学中心);New York University(纽约大学);Courant Institute(库朗研究所);Meta AI - FAIR(Meta人工智能实验室——基础人工智能研究团队)
图像的稀疏表示在许多计算机视觉应用中是有用的。具有$l_1$惩罚和学习的线性字典的稀疏编码需要字典的正则化以防止代码的$l_1$范数的崩溃。通常,这种正则化需要约束字典元素的欧几里德范数。在这项工作中,我们提出了一种新的稀疏编码协议,它可以防止崩溃的代码,而不需要正则化的解码器。我们的方法直接正则化的代码,使每个潜在的代码组件的方差大于一个固定的阈值在一组稀疏表示为一组给定的输入。此外,我们探索的方法,有效地训练稀疏编码系统与多层解码器,因为他们可以模拟更复杂的关系比线性字典。在我们的实验与MNIST和自然图像补丁,我们表明,解码器学习与我们的方法在线性和多层的情况下具有可解释的功能。此外,我们表明,与具有线性字典的自编码器相比,使用我们的方差正则化方法训练的具有多层解码器的稀疏自编码器可以产生具有更稀疏表示的更高质量的重建。此外,用我们的方差正则化方法获得的稀疏表示在低数据状态下的去噪和分类的下游任务中是有用的。
2022-09-07 cs.CV cs.LG
Discriminative Sparse Coding on Multi-Manifold for Data Representation and Classification
稀疏编码作为一种有效的数据表示方法在计算机视觉、医学成像和生物信息学等领域得到了广泛的应用。然而,传统的稀疏编码算法及其多种正则化变体(图稀疏编码和拉普拉斯稀疏编码)都是以无监督的方式学习码书和编码,忽略了训练集中可用的类信息。为了解决这个问题,本文提出了一种新的歧视性稀疏编码方法的基础上多流形,通过学习歧视性的类条件码书和稀疏码的数据特征空间和类标签。首先,根据类标签将整个训练集划分为多个流形。然后,我们将稀疏编码公式化为流形-流形匹配问题,并学习类条件码本和代码,以最大化不同类的流形边缘。最后,我们提出了一个基于数据点流形匹配误差的策略来分类未标记的数据点。体细胞突变识别和乳腺肿瘤超声图像分类任务的实验结果表明,所提出的数据表示分类方法的有效性。
2013-04-03 cs.CV cs.LG stat.ML
The Interpretable Dictionary in Sparse Coding
Drexel University(德雷塞尔大学);University of Delaware(特拉华大学)
人工神经网络(ANN),特别是深度学习网络,由于数据的内部表示不容易解释,因此经常被标记为黑盒。在我们的工作中,我们说明了在特定稀疏约束下使用稀疏编码训练的ANN,产生了比标准深度学习模型更可解释的模型。通过稀疏编码学习的字典可以更容易理解,并且这些元素的激活创建了选择性特征输出。我们将稀疏编码模型与在相同数据上训练的等效前馈卷积自动编码器进行比较和对比。我们的研究结果表明,定性和定量的好处,在解释学习稀疏编码字典以及内部激活表示。
2020-11-24 cs.AI cs.CV cs.LG