Deep Network Classification by Scattering and Homotopy Dictionary Learning
PSL University(巴黎文理研究大学);Collège de France(法兰西公学院);Flatiron Institute(弗莱德森研究所)
我们介绍了一个稀疏散射深度卷积神经网络,它提供了一个简单的模型来分析深度表示学习的分类属性。在ImageNet 2012数据集上,使用分类器学习单个字典矩阵可以产生比AlexNet更高的分类准确率。该网络首先应用散射变换,该变换线性化由于几何变换(例如平移和小变形)而引起的可变性。稀疏$\ell^1$字典编码减少类内变化,同时通过线性空间的并集上的投影来保持类分离。它在深度卷积网络中实现,具有指数收敛的同伦算法。一个收敛性证明给出了一个一般的框架,包括ALISTA。分类结果在ImageNet上进行分析。
2020-02-20 cs.CV cs.LG stat.ML
Convolutional Dictionary Learning: A Comparative Review and New Algorithms
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
卷积稀疏表示是具有字典的稀疏表示的一种形式,其结构等效于具有一组线性滤波器的卷积。虽然最近已经为卷积稀疏编码问题开发了有效的算法,但相应的字典学习问题实质上更具挑战性。此外,虽然已经提出了一些不同的方法,它们之间的彻底比较的情况下,很难确定它们中的哪一个代表了目前的最新技术水平。目前的工作既解决了这一缺陷,并提出了一些新的方法,在某些情况下优于现有的。一组全面的性能比较表明,现有的和拟议的方法之间的性能差异非常广泛,并清楚地确定那些是最有效的。
2018-09-05 cs.LG eess.IV stat.ML
Tensor-Dictionary Learning with Deep Kruskal-Factor Analysis
PNNL(太平洋西北国家实验室)
本文提出了一种适用于任意阶张量变量数据的多因子分析模型。每个数据项表示为Kruskal分解的(稀疏)和,即Kruskal因子分析(KFA)。KFA是非参数的,并且可以推断每个字典原子的张量秩和字典原子的数量。该模型适用于在线学习,允许在大数据集上进行字典学习。在引入KFA之后,该模型被扩展到由贝叶斯SVM监督的深度卷积张量因子分析。实验部分展示了KFA相对于向量化方法的改进(例如,BPFA)、张量分解和卷积神经网络(CNN)在多路去噪、盲修复和图像分类中的应用。与其他方法相比,修复结果的PSNR改善在几种情况下超过1dB,我们在Caltech 101图像分类上取得了最先进的结果。
2017-03-05 cs.LG stat.ML
Convolutional Dictionary Learning in Hierarchical Networks
Harvard University(哈佛大学)
滤波器组是分析分段平滑信号(如自然图像)的常用工具。基于小波域图像尺度系数和细节系数的经验观测特性,提出了一种分段平滑信号的分层深度生成模型,该模型是一种跨尺度递归:通过对下一层的尺度系数进行滤波得到一层的低通尺度系数,并添加通过对稀疏向量进行滤波得到的高通细节新息.这种递归描述了一个线性动态系统,它是一个跨尺度的非高斯马尔可夫过程,与深度网络的多层卷积稀疏编码(ML-CSC)生成模型密切相关,除了我们的模型允许更深的架构,并结合了稀疏和非稀疏信号表示。我们提出了一种交替最小化算法,用于在给定零层观测的情况下学习该分层模型中的滤波器,例如,自然图像。该算法在系数估计步骤和滤波器更新步骤之间交替。系数更新步骤执行稀疏(细节)和平滑(尺度)编码,并且当展开时,导致深度神经网络。我们使用MNIST来展示模型的表示能力,以及其派生的分类特征(系数)。
2019-07-23 cs.LG stat.ML
Memory-Efficient Convex Optimization for Self-Dictionary Separable Nonnegative Matrix Factorization: A Frank-Wolfe Approach
Oregon State University(俄勒冈州立大学);The Chinese University of Hong Kong(香港中文大学)
非负矩阵分解(NMF)算法的设计往往依赖于可分离性条件。基于分离性的NMF主要有两类方法,即贪婪追踪和凸规划。一个值得注意的凸NMF公式是所谓的自字典多测量向量(SD-MMV),它可以在不知道矩阵秩先验的情况下工作,并且可以说相对于贪婪追求更能适应错误传播。然而,凸SD-MMV呈现出与问题大小成二次方的大内存成本。这种内存挑战已经存在了十年,并且是将凸SD-MMV应用于大数据分析的主要障碍。本文提出了一种内存有效的凸SD-MMV算法。我们的算法利用了20世纪50年代经典算法(即Frank-Wolfe(FW)算法)的特殊更新规则。结果表明,在合理的条件下,FW算法解决了嘈杂的SD-MMV问题的内存成本与数据量线性增长。为了处理噪声较大的情况下,平滑组稀疏正则化提出了提高鲁棒性,同时保持低内存占用的保证。所提出的方法提出了第一个线性记忆复杂度算法框架,凸SD-MMV基于NMF。该方法在几个无监督学习任务上进行了测试,即,文本挖掘和社区检测,以展示其有效性和内存效率。
2022-05-09 cs.LG eess.SP
CNN inference acceleration using dictionary of centroids
Faculty of Mechanics and Mathematics, Moscow State University(莫斯科国立大学力学与数学系)
众所周知,常见CNN的卷积层中的乘法运算在推理阶段消耗大量时间。在这篇文章中,我们提出了一种灵活的方法来降低推理中卷积层的计算复杂性以及存储它们的空间量。该方法是基于质心滤波器量化和优于方法的基础上张量分解的大幅度。我们在ImageNet基准测试中对所提出的方法和CP张量分解系列进行了比较分析,发现我们的方法提供了近2.9倍的计算增益。尽管我们的方法很简单,但它不能直接应用于现代框架中的推理阶段,但对于计算流程可能会改变的情况可能很有用,例如CNN芯片设计师。
2018-10-19 cs.LG stat.ML
Spike Sorting by Convolutional Dictionary Learning
尖峰分选是指将在神经活动的细胞外记录中观察到的动作电位分配给它们起源的神经元的问题。我们将这个问题视为从原始多电极波形数据中学习卷积字典的问题之一,受到稀疏性约束。在这种情况下,稀疏性是指允许同时发放尖峰的神经元的数量。卷积字典设置,以及由尖峰排序问题激发的假设(例如,不应性),让我们给出尖峰排序的样本复杂度的理论界限,作为底层神经元数量的函数,同时尖峰的发生率,以及神经元的发射率。我们得到内存/计算效率的卷积版本的OMP(cOMP)和KSVD(cKSVD),流行的算法稀疏编码和字典学习。我们通过模拟证明,cOMP和cKSVD之间交替的算法可以成功地恢复潜在的尖峰波形,假设同时有几个神经元尖峰,并且在噪声存在下是稳定的。我们还将该算法应用于大鼠海马四极的细胞外记录。
2018-06-06 eess.SP q-bio.NC stat.ME
Convolutional Matching Pursuit and Dictionary Training
在平移不变的情况下,对匹配追踪和K-SVD进行了验证
2010-10-03 cs.CV
Convolutional Neural Networks Analyzed via Convolutional Sparse Coding
Technion -– Israel Institute of Technology(以色列理工学院)
卷积神经网络(CNN)已经导致了许多跨越各个领域的最先进的结果。然而,对于CNN的核心算法--前向传递,目前还缺乏清晰而深刻的理论理解。同时,在稀疏近似的广泛领域中,卷积稀疏编码(CSC)近年来获得了越来越多的关注。最近对该模型进行了理论研究,将其建立为通常实践的基于补丁的处理的可靠且稳定的替代方案。在这里,我们提出了一种新的多层模型,ML-CSC,其中信号被假定为出现从级联的CSC层。这被证明与CNN紧密相连,以至于CNN的前向传递实际上是服务于ML-CSC模型的阈值追踪。这种连接为CNN带来了一个新的视角,因为我们能够将这种架构的理论主张归因于整个网络中表示的唯一性及其稳定估计,所有这些都在简单的局部稀疏条件下得到保证。最后,识别上述追踪方案中的弱点,我们提出了一种替代前向通的方案,该方案连接到去卷积、递归和残差网络,并且具有更好的理论保证。
2016-10-10 cs.LG stat.ML
Robust Kronecker-Decomposable Component Analysis for Low-Rank Modeling
Imperial College London(帝国理工学院);Middlesex University(密德萨斯大学);University of Oulu(奥卢大学)
字典学习和分量分析是研究最充分和最活跃的研究领域之一的一部分,处于信号和图像处理、计算机视觉和统计机器学习的交叉点。在字典学习中,当前选择的方法可以说是K-SVD及其变体,它们学习字典(即,分解)以用于经由奇异值分解的稀疏编码。在鲁棒分量分析中,主要的方法来自主分量追踪(PCP),它从未知幅度和支持的稀疏损坏中恢复低秩矩阵。然而,K-SVD对训练集中噪声和离群值的存在很敏感。此外,PCP不提供尊重数据结构的字典(例如,图像),并且当通过凸松弛求解时需要昂贵的SVD计算。在本文中,我们介绍了一种新的鲁棒分解的图像结合稀疏字典学习和PCP的想法。我们提出了一种新的克罗内克可分解成分分析,它对严重腐败具有鲁棒性,可用于低秩建模,并利用可分性来解决显着较小的问题。我们设计了一个有效的学习算法,通过绘制与张量分解的限制形式的链接。所提出的方法的有效性证明了在现实世界中的应用,即背景减除和图像去噪,通过执行一个彻底的比较与当前的最先进的。
2017-07-26 cs.CV stat.ML
Multi-task additive models with shared transfer functions based on dictionary learning
Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院);IBM Research(IBM研究院)
加法模型是一类广泛流行的回归模型,它将协变量和响应变量之间的关系表示为低维传递函数之和。除了灵活性和准确性之外,这些模型的一个主要优点是它们的可解释性:传递函数提供了检查模型和识别输入和输出之间特定领域关系的可视化手段。然而,在涉及许多相关任务预测的大规模问题中,独立学习加性模型会导致模型可解释性的丧失,并且在训练数据稀缺时可能导致过拟合。我们介绍了一种新的多任务学习方法,该方法为大量相关的预测任务提供了准确和可解释的添加剂模型。我们的核心思想是在模型之间共享传递函数,以降低模型的复杂性和简化语料库的探索。我们建立了与稀疏字典学习的连接,并提出了一种新的高效拟合算法,该算法在稀疏编码和传递函数更新之间交替进行。前一步是解决通过正交匹配追踪,其性质进行了分析,使用一种新的恢复条件,扩展现有的文献中的结果的扩展。后一步使用传统的字典更新规则来解决。在真实数据上的实验表明,我们的方法与基线方法相比毫不逊色,同时产生了可解释的模型语料库,揭示了各个任务之间的结构,并且在训练数据稀缺时更加鲁棒。因此,我们的框架将添加剂模型的众所周知的好处扩展到可能涉及数千个任务的常见回归设置。
2015-05-19 cs.LG stat.ML
The Unreasonable Effectiveness of Patches in Deep Convolutional Kernels Methods
Département d’Informatique de l’ENS(巴黎高等师范学院计算机系);ENS(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL University(巴黎文理研究大学);Gatsby Computational Neuroscience Unit(盖茨比计算神经科学中心);University College London(伦敦大学学院);Concordia University(康考迪亚大学);Mila(米拉人工智能研究所);LIP6(巴黎第六大学计算机实验室);Sorbonne University(索邦大学)
最近的一系列工作表明,各种形式的卷积核方法可以与CIFAR-10等数据集上的标准监督深度卷积网络竞争,获得87-90%的准确率,同时更适合理论分析。在这项工作中,我们强调了依赖于数据的特征提取步骤的重要性,这是卷积核方法获得良好性能的关键。这个步骤通常对应于一个白化的补丁字典,并产生一个数据驱动的卷积核方法。我们广泛研究了它的效果,证明它是这些方法高性能的关键因素。具体来说,我们证明了这种内核方法的最简单实例之一,基于单层图像补丁,然后是线性分类器,已经在CIFAR-10上获得了与以前更复杂的卷积内核方法相同的分类精度。我们将这种方法扩展到具有挑战性的ImageNet数据集,表明这种简单的方法可以超过所有现有的非学习表示方法。这是一个没有表示学习方法的对象识别的新基线,它启动了对ImageNet上卷积核模型的研究。我们进行实验来分析我们使用的字典,我们的烧蚀显示它们具有低维特性。
2021-01-19 cs.CV cs.LG
A Greedy Approach to $\ell_{0,\infty}$ Based Convolutional Sparse Coding
Tel Aviv University(特拉维夫大学)
用于图像处理的稀疏编码技术传统上依赖于分别处理小的重叠块,然后进行平均。这具有的缺点是,重建的图像不再服从在处理中使用的稀疏先验。为了这个目的,卷积稀疏编码已经被引入,其中使用移位不变字典并且保持恢复图像的稀疏性。大多数这样的策略以整个图像的$\ell_0$“范数”或$\ell_1$范数为目标,这可能在图像中的各个区域之间产生不平衡的稀疏性。为了应对这一挑战,有人提出了$\ell_{0,\infty}$“规范”,作为“在当地运作,在全球思考”的替代方案。解决这些优化问题的非凸性所采取的方法是使用凸松弛或局部追踪算法。在本文中,我们提出了一个有效的贪婪方法稀疏编码和字典学习,这是专门为$\ell_{0,\infty}$,是基于匹配追踪。我们展示了我们的方法在椒盐噪声去除和图像修复中的使用。在https://web.eng.tau.ac.il/~raja上可以找到一个代码包,它再现了本文中提出的实验。
2018-12-26 cs.LG eess.IV eess.SP
Compressed Sensing with Probability-based Prior Information
Zhejiang University of Technology(浙江工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);Hangzhou Normal University(杭州师范大学);University of York(约克大学);PUC-Rio(里约热内卢天主教大学)
针对压缩感知系统,利用基于概率的先验信息设计了一种感知矩阵,并给出了一种稀疏恢复算法。利用字典中每个原子被使用的概率,得到一个对角加权矩阵,然后通过最小化一个加权函数来设计传感矩阵,使得等价字典的Gram尽可能接近字典的Gram.推导了相应传感矩阵的解析解,从而降低了计算复杂性。我们还利用这一先验信息,通过稀疏恢复阶段,并提出了一个概率驱动的正交匹配追踪算法,提高了恢复的准确性。通过对合成数据和监控视频应用场景的仿真,比较了所提方法与现有算法的性能。结果表明,建议CS系统优于现有的CS系统。
2019-10-27 cs.LG eess.SP stat.ML
Basis Pursuit and Orthogonal Matching Pursuit for Subspace-preserving Recovery: Theoretical Analysis
Lehigh University(利哈伊大学);The Johns Hopkins University(约翰斯·霍普金斯大学)
给定一个过完备字典$A$和一个信号$b = Ac^*$,其中某个稀疏向量$c^*$的非零元素对应于$A$的线性无关列,经典稀疏信号恢复理论考虑$c^*$是否可以恢复为$b = A c$的唯一稀疏解的问题.现在很好地理解,当字典$A$是不相干的或受限制的等距的时,这种恢复通过实用算法是可能的。在本文中,我们考虑更一般的情况下,$b$位于一个子空间$\mathcal{S}_0$由一个子集的线性相关列的$A$,其余列的子空间之外。在这种情况下,稀疏表示可能不是唯一的,并且字典可能不是不连贯的或受限制的等距的。目标是使表示$c$正确地标识子空间,即,$c$的非零条目应当对应于子空间$\mathcal{S}_0$中的$A$的列。这种表示$c$被称为子空间保持,这是一个关键概念,在高维数据中学习低维结构时有重要应用。我们提出了各种几何条件,保证子空间保持恢复。其中,覆盖半径和角距离分别刻画了子空间中点的分布以及子空间中点与子空间外点的相似性.重要的是,这些条件并不要求字典是不连贯的或受限制的等距。通过建立子空间保持恢复问题和经典的稀疏信号恢复问题在后者的共同假设下是等价的,我们证明了我们提出的几个条件是稀疏信号恢复文献中一些众所周知的条件的推广。
2019-12-30 cs.CV cs.LG stat.ML
Subspace-Sparse Representation
给定过完备字典$A$和作为$A$的几个线性独立列的线性组合的信号$b$,经典稀疏恢复理论处理恢复唯一稀疏表示$x$使得$b = A x$的问题。已知在一定条件下,$A$上的$x$可以通过基追踪(BP)和正交匹配追踪(OMP)算法恢复。在这项工作中,我们考虑更一般的情况下,$b$在于一个低维子空间跨越的$A$,这可能是线性相关的一些列。在这种情况下,稀疏解$x$一般是不唯一的,我们研究的问题,表示$x$确定的子空间,即非零条目的$x$对应的字典原子的子空间。这样的表示$x$称为子空间稀疏。我们提出了保证子空间稀疏恢复的充分条件,这些条件具有清晰的几何解释,并解释了子空间稀疏恢复的性质。我们还证明了在随机化模型下,充分条件可以满足。我们的结果是适用于传统的稀疏恢复问题,我们得到的条件稀疏恢复的限制比规范的相互相干条件。我们还利用这些结果对基于稀疏表示的分类方法进行了分析,得到了证明其正确性的条件。
2015-07-06 cs.IT math.IT stat.ML
Learning Deep Analysis Dictionaries -- Part II: Convolutional Dictionaries
在本文中,我们通过学习卷积字典而不是非结构化字典来引入深度卷积分析字典模型(DeepCAM),就像在同伴论文中介绍的深度分析字典模型一样。卷积字典更适合处理高维信号,例如图像,并且只有少量的自由参数。通过利用卷积字典的特性,我们提出了一种有效的卷积分析字典学习方法。L层DeepCAM由L层卷积分析字典和逐元素软阈值对以及单层卷积合成字典组成。与DeepAM类似,每个卷积分析字典由卷积信息保持分析字典(iPad)和卷积聚类分析字典(CAD)组成。iPad和CAD的学习使用所提出的学习算法的变化。我们证明了DeepCAM是一种有效的多层卷积模型,并且在单图像超分辨率上,实现了与其他方法相当的性能,同时还显示出良好的泛化能力。
2020-01-31 cs.CV cs.LG stat.ML
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University(特拉维夫大学)
为了解释深度学习中的隐式正则化,重点关注了矩阵和张量分解,它们对应于简化的神经网络。结果表明,这些模型表现出一个隐含的倾向,低矩阵和张量秩,分别。为了更接近实际的深度学习,本文从理论上分析了分层张量分解中的隐式正则化,这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头,我们克服了与层次结构相关的挑战,并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发,我们设计了显式正则化来抑制局部性,并证明了它能够提高现代卷积网络在非局部任务上的性能,这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Coherence-Based Performance Guarantees for Estimating a Sparse Vector Under Random Noise
我们考虑从欠定测量Ax+w估计确定性稀疏向量x的问题,其中w表示高斯白噪声,A是给定的确定性字典。我们分析了三种稀疏估计算法的性能:基追踪去噪(BPDN),正交匹配追踪(OMP)和阈值。这些算法被证明可以以很高的概率实现接近预言机的性能,假设x是足够稀疏的。我们的结果是非渐近的,并且仅基于A的相干性,因此它们适用于任意字典。在高和低信噪比下观察到的性能表明了每种算法的性能保证所需的精确条件的差异。这提供了对凸松弛技术(如BPDN)的优点和缺点的见解,而不是贪婪的方法,如OMP和阈值。
2009-12-02 math.ST stat.TH
Manifold Proximal Point Algorithms for Dual Principal Component Pursuit and Orthogonal Dictionary Learning
Texas A&M University(德克萨斯A&M大学);Cainiao Network(菜鸟网络);University of California, Davis(加州大学戴维斯分校);The Chinese University of Hong Kong(香港中文大学)
我们考虑的问题,最大化的线性映射的$\ell_1$范数的球,这出现在各种机器学习应用,如正交字典学习(ODL)和鲁棒子空间恢复(RSR)。该问题是数值上的挑战,由于其非光滑的目标和非凸约束,其算法方面还没有得到很好的探索。在本文中,我们将展示如何利用球的流形结构来设计快速算法来解决这个问题。具体而言,我们的贡献是三方面的。首先,我们提出了一个流形邻近点法(ManPPA)的问题,并表明它以次线性速度收敛。此外,我们表明,ManPPA可以实现平方收敛速率时,适用于ODL和RSR问题。其次,我们提出了一种称为StManPPA,这是非常适合于大规模计算的ManPPA的随机变体,并建立其次线性收敛速度。ManPPA和StManPPA都具有比现有的子梯度型方法更快的收敛速度。第三,使用ManPPA作为构建块,我们提出了一种新的方法来解决矩阵模拟的问题,其中球被替换为Stiefel流形。通过对ODL和RSR问题的大量数值实验,验证了所提方法的有效性。
2021-07-21 cs.CV cs.LG eess.SP
Anticancer Peptides Classification using Kernel Sparse Representation Classifier
Lambda Theta;Zhejiang University(浙江大学);Asan Medical Center(峨山医学中心);The University of Western Australia(西澳大学);Karachi Institute of Economics and Technology(卡拉奇经济技术学院);Love for Data;Nazarbayev University(纳扎尔巴耶夫大学)
癌症是最具挑战性的疾病之一,因为它的复杂性,可变性和多样性的原因。在过去的几十年里,它一直是主要的研究课题之一,但它仍然是知之甚少。为此,多方面的治疗框架是必不可少的。\emph{Anticancer peptides}(ACP)是最有前途的治疗选择,但其大规模识别和合成需要可靠的预测方法,这仍然是一个问题。在本文中,我们提出了一个直观的分类策略,不同于传统的\emph{black box}方法,是基于著名的统计理论的\emph{sparse-representation classification}(SRC)。具体来说,我们通过嵌入\emph{composition of the K-spaced amino acid pairs}(CKSAAP)来创建过完备字典矩阵。与传统的SRC框架,我们使用一个有效的\emph{matching pursuit}求解器,而不是计算昂贵的\emph{basis pursuit}求解器在这个策略。此外,\emph{kernel principal component analysis}(KPCA)是用来应付非线性和降维的特征空间,而\emph{synthetic minority oversampling technique}(SMOTE)是用来平衡字典。该方法是在两个基准数据集上进行评估的知名的统计参数,并发现优于现有的方法。结果表明,最高…
2022-12-19 cs.LG eess.SP q-bio.QM
Learning Interpretable Queries for Explainable Image Classification with Information Pursuit
LMU Munich(慕尼黑大学);AWS AI Labs(AWS人工智能实验室);University of Pennsylvania(宾夕法尼亚大学);Technical University of Munich(慕尼黑技术大学);Munich Center of Machine Learning(慕尼黑机器学习中心)
本文提出从数据集中直接学习可解释查询字典,替代手工构建,利用CLIP潜在空间和稀疏字典学习算法,显著提升可解释图像分类性能。
2025-08-05 cs.CV
Signal Recovery in Uncorrelated and Correlated Dictionaries Using Orthogonal Least Squares
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
本文研究了正交最小二乘法在压缩测量信号恢复中的性能,证明其在不相关和相关字典中具有竞争力,优于OMP等贪心算法,尤其在相关字典中表现更优。
2016-07-29 cs.IT cs.NA math.IT
A Dictionary Approach to Domain-Invariant Learning in Deep Networks
Purdue University(普渡大学);Duke University(杜克大学)
在本文中,我们通过在卷积神经网络(CNN)中仅使用少量特定于域的参数来显式建模域偏移,来考虑域不变深度学习。通过利用卷积滤波器可以很好地近似为一小组字典原子的线性组合的观察结果,我们首次从经验和理论上证明,通过将卷积层分解为特定于域的原子层和域共享系数层,可以有效地处理域移位,同时两者都保持卷积。输入通道现在将首先仅与每个相应的域特定字典原子进行空间卷积以“吸收”域变化,然后使用训练的公共分解系数线性组合输出通道以促进跨域的共享语义。我们使用玩具的例子,严格的分析,并与不同的数据集和架构的真实世界的例子,以显示所提出的插件框架的有效性,在交叉和联合域的性能和领域自适应。使用所提出的架构,我们只需要一小组字典原子来建模每个额外的域,这带来了可以忽略不计的额外参数,通常是几百个。
2020-09-28 cs.CV cs.LG stat.ML
First and Second Order Methods for Online Convolutional Dictionary Learning
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
卷积稀疏表示是一种具有结构化的、平移不变字典的稀疏表示形式。迄今为止,大多数卷积字典学习算法都以批处理模式操作,需要在学习过程中同时访问所有训练图像,这导致非常高的存储器使用率,并严重限制了可以使用的训练数据。然而,最近,许多作者已经考虑了在线卷积字典学习算法的设计,该算法提供了比批处理方法更好的存储器和计算成本与训练集大小的缩放。本文扩展了我们以前的工作,改进了我们以前算法的一些方面;提出了一个全新的算法,具有更好的性能,并且支持包含空间掩码以从不完整数据中学习;并对这些方法进行了严格的理论分析。
2018-06-16 cs.CV cs.LG eess.IV
Online Convolutional Dictionary Learning
UCLA(加州大学洛杉矶分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
虽然最近已经提出了许多不同的算法用于卷积字典学习,但这仍然是一个昂贵的问题。从大型训练集学习的最大障碍是内存需求,由于所有现有方法都是批处理算法,内存需求至少与训练集的大小呈线性增长。本文报告的工作通过将在线词典学习思想扩展到卷积上下文来解决这一限制。
2017-08-30 cs.CV cs.LG eess.IV
Convolutional Dictionary Learning via Local Processing
Technion - Israel Institute of Technology(以色列理工学院)
卷积稀疏编码(Convolutional Sparse Coding,CSC)是信号和图像处理领域中越来越流行的模型,它解决了传统的基于块的稀疏表示的一些局限性。虽然有几个作品已经解决了这个模型下的字典学习问题,这些依赖于ADMM制定在傅立叶域中,失去了地方感和传统的基于补丁的稀疏追求的关系。最近的一项工作提出了一种新的理论分析这个全球模型,提供保证,依赖于本地化的稀疏性措施。在这里,我们扩展了这种局部-全局关系,展示了如何有效地解决卷积稀疏追踪问题和训练所涉及的滤波器,同时在图像补丁上进行局部操作。我们的方法提供了一个直观的算法,可以利用标准的稀疏表示领域的技术。所提出的方法是快速训练,简单的实施,并足够灵活,它可以很容易地部署在各种应用。我们证明了所提出的训练计划的图像修补和图像分离,同时达到国家的最先进的结果。
2017-05-09 cs.CV
WSEBP: A Novel Width-depth Synchronous Extension-based Basis Pursuit Algorithm for Multi-Layer Convolutional Sparse Coding
ShanghaiTech University(上海科技大学)
多层卷积稀疏编码(ML-CSC)中的追踪算法可以解释卷积神经网络(CNN)。然而,许多当前最先进的(SOTA)追踪算法需要多次迭代来优化ML-CSC的解决方案,由于计算成本高和大量资源用于获得非常微小的性能增益,这限制了它们在更深CNN中的应用。在本研究中,我们针对追踪演算法中的第0次迭代,在每一层中引入一个有效的初始化策略,以改善多层-连续供应链的解。具体来说,我们首先提出了一种新的宽度深度同步扩展基追踪(WSEBP)算法,解决了ML-CSC问题,没有限制的迭代次数相比,SOTA算法,并最大限度地提高了性能的有效初始化在每一层。然后,我们提出了一个简单而统一的ML-CSC-based分类网络(ML-CSC-Net),它包括一个基于ML-CSC的特征编码器和一个全连接层,以验证性能的WSEBP图像分类任务。实验结果表明,我们提出的WSEBP优于SOTA算法的准确性和消耗的资源。此外,集成在CNN中的WSEBP可以提高更深层次CNN的性能,并使其可解释。最后,以VGG为例,我们提出了WSEBP-VGG 13来增强VGG 13的性能,在四个公共数据集上取得了有竞争力的结果,在Cifar-10数据集上分别为87.79%和86.83%,在Cifar-100数据集上分别为58.01%和54.60%,在COVID-19数据集上分别为91.52%和89.58%,在Crack数据集上分别为99.8…
2022-03-30 cs.CV cs.LG
Nonparametric Basis Pursuit via Sparse Kernel-based Learning
信号处理的基本任务,如采样,重建,最小均方误差插值和预测,可以被视为再生核希尔伯特空间的棱镜下。赋予这一优势与当代稀疏感知建模和处理的进步,促进了本文所倡导的非参数基追求,作为基于核的学习(KBL)方法融合的总体框架,利用稀疏线性回归,核范数正则化和字典学习。新的稀疏KBL工具箱超越了将稀疏参数方法转化为非参数方法,并结合了多核选择和矩阵平滑等新的可能性。稀疏KBL信号处理应用的影响,说明通过测试案例,从认知无线电传感,微阵列数据填补,网络流量预测。
2013-02-21 cs.CV cs.IT cs.LG
Convolutional Nonlinear Dictionary with Cascaded Structure Filter Banks
Niigata Univ.(新潟大学)
本研究提出一种卷积非线性字典(CNLD)的图像复原使用级联滤波器组。通常,卷积神经网络(CNN)在图像复原应用中展示了它们的实用性;然而,现有的CNN在构造时没有考虑原子图像(卷积核)之间的关系。因此,仍然有讨论设计空间的作用的空间。为了提供一个构建有效的结构化卷积网络的框架,本研究提出了CNLD。通过一定的图像复原实验,推导出了反向传播学习过程,从而验证了CNLD的重要性。它表明,参数的数量减少,同时保持恢复性能。
2020-09-02 cs.CV
An Efficient Approximate Method for Online Convolutional Dictionary Learning
Aalto University(阿尔托大学)
大多数现有的卷积字典学习(CDL)算法都是基于批处理学习的,其中字典滤波器和卷积稀疏表示使用训练数据集以交替的方式进行优化。当使用大型训练数据集时,批量CDL算法变得非常内存密集。在线学习技术是用来减少CDL的内存需求,通过优化字典增量后,找到每个训练样本的稀疏表示。然而,使用现有的在线CDL(OCDL)算法学习大型字典仍然是非常昂贵的计算。在本文中,我们提出了一种新的近似OCDL方法,结合稀疏分解的训练样本。由此产生的优化问题,使用交替方向的乘法器。使用几个图像数据集的广泛的实验评估表明,该方法大大降低了计算成本,同时保持了最先进的OCDL算法的有效性。
2023-01-25 cs.CV
Online Convolutional Sparse Coding with Sample-Dependent Dictionary
Hong Kong University of Science and Technology University(香港科技大学);Paradigm Inc(第四范式有限公司);University of Macau(澳门大学)
卷积稀疏编码(CSC)已广泛用于图像和信号处理中平移不变字典的学习。然而,现有的方法具有有限的可扩展性。在本文中,而不是卷积与所有样本共享的字典,我们提出了使用一个样本相关的字典,其中过滤器获得的线性组合的一个小的一组基础过滤器从数据中学习。这种增加的灵活性允许捕获大量依赖于样本的模式,同时仍然可以通过在线学习有效地学习所得模型。大量的实验结果表明,该方法优于现有的CSC算法,显着降低了时间和空间的要求。
2018-06-07 cs.CV
Online Convolutional Dictionary Learning for Multimodal Imaging
Université catholique de Louvain(鲁汶天主教大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
可以利用多种模态的计算成像方法具有增强传统传感系统的能力的潜力。在本文中,我们提出了一种新的方法,重建多模态图像从他们的线性测量,通过利用不同的方式冗余。我们的方法将图像的卷积组稀疏表示与全变差(TV)正则化相结合,以实现高质量的多模态成像。我们开发了一种在线算法,该算法能够在此类应用中典型的大规模数据集上对卷积字典进行无监督学习。我们说明了我们的方法在联合强度-深度成像的背景下的好处。
2017-06-13 cs.CV
Sparse Representation and Non-Negative Matrix Factorization for image denoise
Zagazig University(宰加济格大学)
近年来,图像盲分离问题得到了广泛的研究,尤其是医学图像去噪,它是医学诊断的重要环节。去除噪声而不影响图像的相关特征是主要目标。冗余字典上的稀疏分解成为解决这一问题的常用方法。NMF代码自然倾向于稀疏的、基于部分的表示。在稀疏表示中,信号表示为冗余字典原子的线性组合。本文提出了一种基于冗余字典上稀疏表示和非负矩阵分解(N-NMF)的算法。该算法首先对含噪图像构造训练样本进行字典运算,然后利用近似匹配追踪算法(AMP)寻找最佳的信源表示。建议的N-NMF给出了一个更好的重建图像去噪之一。我们比较了我们的数值结果与不同的图像去噪技术,我们发现所提出的技术的性能是有前途的。关键词:图像去噪,稀疏表示,字典学习,匹配追踪,非负矩阵分解。
2018-07-05 cs.CV
Learning Multiscale Convolutional Dictionaries for Image Reconstruction
University of Basel(巴塞尔大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
卷积神经网络(CNN)在解决成像逆问题方面取得了巨大的成功。为了理解它们的成功,一个有效的策略是构建更简单,数学上更易于处理的卷积稀疏编码(CSC)模型,这些模型与CNN共享基本成分。然而,现有的CSC方法在具有挑战性的逆问题中表现不佳。我们假设性能差距可能部分归因于它们如何在不同的空间尺度上处理图像:虽然许多CNN使用多尺度特征表示,但现有的CSC模型主要依赖于单尺度字典。为了缩小性能差距,我们提出了一种多尺度卷积字典结构。所提出的字典结构来自U-Net,可以说是图像到图像学习问题中最通用和最广泛使用的CNN。我们表明,将所提出的多尺度字典纳入标准CSC框架中,在包括CT和MRI重建在内的一系列具有挑战性的逆问题中,与最先进的CNN相比,其性能具有竞争力。因此,我们的工作证明了多尺度CSC方法在解决具有挑战性的逆问题的有效性和可扩展性。
2022-05-19 cs.CV cs.LG eess.IV
CD-DPE: Dual-Prompt Expert Network Based on Convolutional Dictionary Feature Decoupling for Multi-Contrast MRI Super-Resolution
CD-DPE通过双提示专家网络和卷积字典特征解耦策略,提升多对比MRI超分辨率的重建质量与泛化能力。
2025-12-19 cs.CV
Sparse Dictionary Learning for Image Recovery by Iterative Shrinkage
Institute for Mathematics, Brandenburg Technical University(勃兰登堡工业大学数学研究所)
本文研究图像恢复中的稀疏字典学习问题,比较多种基于收缩操作的稀疏优化方法,发现优化方法的选择在训练数据可用性和计算效率方面具有重要实际意义。
2025-04-02 cs.CV
Label Embedded Dictionary Learning for Image Classification
China University of Petroleum(中国石油大学)
近年来,标签一致性k-svd(LC-KSVD)算法在图像分类中得到了成功的应用。LC-KSVD的目标函数由重构误差、分类误差和稀疏码鉴别误差组成,稀疏码鉴别误差带有L0范数稀疏正则项。然而,L0-范数导致NP-困难问题。尽管正交匹配追踪等方法可以在一定程度上解决这一问题,但要找到最优稀疏解是相当困难的。为了克服这一局限性,我们提出了一种标签嵌入字典学习(LEDL)方法,利用L1范数作为稀疏正则化项,这样我们就可以通过求解凸优化问题来避免难以优化的问题。然后利用乘子交替方向法和分块坐标下降算法对相应的目标函数进行优化。在6个基准数据集上的实验结果表明,与传统的分类算法相比,该算法具有更好的性能.
2019-04-17 cs.CV
Supervised Convolutional Sparse Coding
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学(KAUST))
卷积稀疏编码(CSC)是一种成熟的图像表示模型,特别适用于图像复原任务。在这项工作中,我们通过提出一种有监督的卷积稀疏编码方法来扩展该模型的适用性,该方法旨在学习判别字典而不是纯粹的重建字典。我们将监督正则化项纳入传统的无监督CSC目标,以鼓励最终的字典元素是有区别的。实验结果表明,使用监督卷积学习有两个关键优势。首先,我们在字典中学习更多语义相关的过滤器,其次,我们在看不见的数据上实现了改进的图像重建。
2018-04-08 cs.CV
CDLNet: Noise-Adaptive Convolutional Dictionary Learning Network for Blind Denoising and Demosaicing
New York University Tandon School of Engineering(纽约大学坦登工程学院)
针对现有底层图像处理深度学习模型可解释性差的问题,提出可解释展开式卷积字典学习网络CDLNet,实现参数量可比下更优的去噪、联合去噪去马赛克性能,及强噪声自适应盲去噪泛化能力。
2022-04-26 cs.CV eess.IV
Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction
Tencent Jarvis Lab(腾讯嘉里斯实验室);Xi’an Jiaotong University(西安交通大学);Peng Cheng Laboratory(鹏城实验室)
针对现有CT金属伪影减少方法未充分嵌入任务先验的问题,提出结合模型与学习方法的ACDNet,通过算法展开嵌入伪影先验并具备自适应表征能力,在合成与临床数据上均展现出更优的效果与泛化性。
2022-06-16 cs.CV eess.IV
Fast Sublinear Sparse Representation using Shallow Tree Matching Pursuit
Rice University(莱斯大学)
使用高度过完备字典的稀疏近似是许多成像应用的最先进工具,包括去噪、超分辨率、压缩传感、光场分析和对象识别。不幸的是,这种方法的适用性是严重阻碍了稀疏近似的计算负担:这些算法是线性或超线性的数据维数和字典的大小。我们提出了一个框架,学习的层次结构的过完备字典,使稀疏表示的快速计算。我们的方法建立在基于树的最近邻匹配策略,并提出了特定领域的增强,是非常有效的图像补丁的分析。与大多数构建空间数据结构的流行方法相反,我们的方法依赖于层相对较少的浅平衡树。我们在几个应用程序上进行了大量的实验,例如图像去噪/超分辨率,压缩视频/光场传感,我们实际上实现了100- 1000倍的加速(准确度损失小于1dB)。
2014-12-01 cs.CV
Fully Convolutional Networks for Handwriting Recognition
Rochester Institute of Technology(罗切斯特理工学院);Kodak Alaris(柯达乐芮)
手写文本识别具有挑战性,因为人类可以用几乎无限的方式编写相同的消息。我们的完全卷积手写模型接受未知长度的手写样本,并输出任意符号流。我们的双流架构使用本地和全球的背景下,减轻了繁重的预处理步骤,如符号对齐校正以及复杂的后处理步骤,如连接主义的时间分类,字典匹配或语言模型的需要。使用超过100个独特的符号,我们的模型是不可知的拉丁语为基础的语言,并被证明是相当有竞争力的最先进的字典为基础的方法在流行的IAM和RIMES数据集。当一个字典是已知的,我们进一步允许一个概率字符出错率,以纠正错误的字块。最后,我们介绍了一种基于注意力的机制,它可以自动定位手写体的变体,如倾斜,笔画宽度或噪音。
2019-07-10 cs.CV
LCNN: Lookup-based Convolutional Neural Network
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
将最先进的深度学习算法移植到资源受限的计算平台(例如VR、AR、可穿戴设备)是极具挑战性的。我们提出了一个快速,紧凑,准确的卷积神经网络,使有效的学习和推理模型。我们介绍了LCNN,这是一种基于查找的卷积神经网络,它通过对字典的少量查找来对卷积进行编码,该字典经过训练以覆盖CNN中的权重空间。训练LCNN涉及联合学习字典和一小组线性组合。字典的大小自然会在效率和准确性之间进行权衡。我们在ImageNet Challenge上的实验结果表明,LCNN可以提供3.2倍的加速,同时使用AlexNet架构实现55.1%的top-1准确率。我们最快的LCNN比AlexNet提供37.6倍的速度,同时保持44.3%的前1准确率。LCNN不仅在推理方面提供了显着的速度,而且还实现了有效的训练。在本文中,我们展示了LCNN在少样本学习和少迭代学习方面的优势,这是深度学习模型的设备上训练的两个关键方面。
2017-06-13 cs.CV
Hybrid CNN and Dictionary-Based Models for Scene Recognition and Domain Adaptation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);CAS Center for Excellence in Brain Science and Intelligence Technology(中国科学院脑科学与智能技术卓越创新中心);National University of Singapore(新加坡国立大学)
卷积神经网络(CNN)在许多不同的视觉任务中取得了最先进的性能。从大规模训练数据集中学习,CNN特征比手工制作的特征更具区分力和准确性。此外,CNN特征也可以在不同的域之间转移。另一方面,传统的基于字典的特征(如BoW和SPM)包含更多的局部判别和结构信息,这些信息被隐式地嵌入到图像中。为了进一步提高性能,在本文中,我们提出了结合CNN与基于字典的模型的场景识别和视觉领域自适应。具体地,基于良好调整的CNN模型(例如,AlexNet和VGG Net),进一步构建了两种基于字典的表示,即中层局部表示(MLR)和卷积Fisher向量表示(CFV)。在MLR中,一种有效的两阶段聚类方法,即,对单个图像的部分进行加权空间和特征空间谱聚类,然后对所有图像的所有代表部分进行聚类,用于生成类混合或类特定部分字典。之后,部分字典用于与多尺度图像输入一起操作以生成中级表示。在CFV中,利用多尺度和尺度比例GMM训练策略来基于CNN的最后一个卷积层生成Fisher向量。通过融合MLR、CFV和全连通层的CNN特征的互补信息,在场景识别和领域自适应问题上可以达到最先进的性能。一个有趣的发现是,我们提出的混合表示(来自ImageNet上训练的VGG网络)也与GoogLeNet和/或VGG-11(在Place 205上训练)有很大的互补性。
2016-01-29 cs.CV
Magnetic Resonance Fingerprinting Reconstruction via Spatiotemporal Convolutional Neural Networks
Institute for Surgical Technology and Biomechanics, University of Bern(伯尔尼大学外科技术与生物力学研究所);Medical Imaging Research Center, Dayananda Sagar Institutions(达亚南达·萨加尔机构医学成像研究中心);Support Center for Advanced Neuroimaging (SCAN), Institute for Diagnostic and Interventional Neuroradiology, Inselspital, Bern University Hospital, University of Bern(伯尔尼大学伯尔尼大学医院因塞尔医院诊断与介入神经放射学研究所高级神经影像支持中心(SCAN))
磁共振指纹(MRF)在单次快速采集中量化多个核磁共振参数。标准MRF使用字典匹配来重建参数化映射,由于计算效率低而缺乏可扩展性。我们建议使用时空卷积神经网络进行MRF地图重建,该网络利用相邻MRF信号演变之间的关系来代替字典匹配。我们评估我们的多参数脑扫描方法,并将其与最近的三种MRF重建方法进行比较。我们的方法实现了国家的最先进的重建精度,并产生定性更有吸引力的地图相比,其他重建方法。此外,与基于字典的方法相比,重建时间显著减少。
2018-07-24 cs.CV
Multi-task Dictionary Learning based Convolutional Neural Network for Computer aided Diagnosis with Longitudinal Images
Arizona State University(亚利桑那州立大学);University of Michigan(密歇根大学);Mayo Clinic(梅奥诊所)
基于纵向数据的神经退行性疾病的医学图像诊断和预后引起了计算机视觉研究者的极大兴趣。当前用于许多图像分类任务的最先进的模型是基于卷积神经网络(CNN)。然而,将CNN应用于生物问题的一个关键挑战是可用的标记训练样本非常有限。CNN在计算机辅助诊断应用中应用的另一个问题是,为了实现更好的诊断和预后准确性,通常必须处理纵向数据集,即,在不同时间点扫描的图像数据集。在这里,我们认为,一个增强的CNN模型与迁移学习的联合分析的任务,从多个时间点或区域的利益可能有潜力,以提高计算机辅助诊断的准确性。为了实现这一目标,我们创新了一个基于CNN的深度学习多任务字典学习框架来解决上述挑战。首先,我们在ImageNet数据集上预训练CNN,并将知识从预训练的模型转移到医学成像进展表示中,为不同的任务生成特征。然后,我们提出了一种新的无监督学习方法,称为多任务随机坐标编码(MSCC),学习不同的任务,通过使用共享和个人字典和生成预测未来的认知临床分数所需的稀疏特征。我们将我们的新模型应用于一个公开的神经影像学队列,以预测具有两种不同特征集的临床指标,并将其与其他七种最先进的方法进行比较。实验结果表明,我们提出的方法取得了优越的效果。
2017-08-31 cs.CV
The Interpretable Dictionary in Sparse Coding
Drexel University(德雷塞尔大学);University of Delaware(特拉华大学)
人工神经网络(ANN),特别是深度学习网络,由于数据的内部表示不容易解释,因此经常被标记为黑盒。在我们的工作中,我们说明了在特定稀疏约束下使用稀疏编码训练的ANN,产生了比标准深度学习模型更可解释的模型。通过稀疏编码学习的字典可以更容易理解,并且这些元素的激活创建了选择性特征输出。我们将稀疏编码模型与在相同数据上训练的等效前馈卷积自动编码器进行比较和对比。我们的研究结果表明,定性和定量的好处,在解释学习稀疏编码字典以及内部激活表示。
2020-11-24 cs.AI cs.CV cs.LG
Learning Stable Multilevel Dictionaries for Sparse Representations
Arizona State University(亚利桑那州立大学)
使用学习字典的稀疏表示越来越多地被成功地用于若干数据处理和机器学习应用中。丰富的训练数据的可用性需要开发有效的,鲁棒的和可证明良好的字典学习算法。字典学习算法的目标是建立全局字典,该全局字典可以有效地对与训练样本相似的任何测试数据进行建模。本文提出了一种从大规模数据中学习稀疏表示字典的算法,并证明了所提出的学习算法是稳定的和渐近可推广的。该算法采用了1-D子空间聚类过程,K-超线聚类,以学习一个多层次的字典。我们还提出了一个信息理论的计划,估计在每个级别的学习所需的原子数,并开发一个集成的方法来学习强大的字典。使用所提出的字典,新的测试数据的稀疏代码可以使用低复杂度的追求过程计算。我们证明了所提出的算法的稳定性和泛化特性,使用模拟。我们还评估了多级字典在压缩恢复和子空间学习应用中的实用性。
2013-09-25 cs.CV stat.ML
Efficient ADMM-based Algorithms for Convolutional Sparse Coding
Aalto University(阿尔托大学)
卷积稀疏编码通过引入全局平移不变模型来改进标准稀疏近似。最有效的卷积稀疏编码方法是基于乘法器的交替方向方法和卷积定理。这些方法之间唯一的主要区别是它们如何处理卷积最小二乘拟合子问题。这封信提出了一个解决这个子问题,提高了效率的国家的最先进的算法。我们还使用相同的方法来开发一种有效的卷积字典学习方法。此外,我们提出了一种新的卷积稀疏编码算法的近似误差的约束。
2021-09-07 cs.CV cs.LG
When Dictionary Learning Meets Deep Learning: Deep Dictionary Learning and Coding Network for Image Recognition with Limited Data
University of Trento(特伦托大学);Peking University(北京大学);Shenzhen Lingxi Artificial Intelligence Co., Ltd(深圳灵犀人工智能有限公司)
我们提出了一种新的深度字典学习和编码网络(DDLCN),用于有限数据的图像识别任务。所提出的DDLCN具有大多数标准深度学习层(例如,输入/输出、池化、完全连接等),但是基本卷积层被我们提出的复合字典学习和编码层所取代。字典学习为输入训练数据学习过完备字典。在深层编码层,增加了局部性约束,以保证激活的字典基彼此接近。然后,激活的字典原子被组装并传递到复合字典学习和编码层。以这种方式,第一层中的激活原子可以由第二字典中更深的原子表示。直观地,第二字典被设计为学习输入字典原子之间共享的细粒度组件,从而可以获得字典原子的更有信息性和区分性的低级表示。我们将DDLCN与几种领先的字典学习方法和深度学习模型进行了实证比较。在5个流行数据集上的实验结果表明,在训练数据有限的情况下,DDLCN与现有方法相比具有很好的性能.代码可在https://github.com/Ha0Tang/DDLCN上获得。
2020-05-21 cs.CV cs.LG eess.IV
Deep Unfolding Convolutional Dictionary Model for Multi-Contrast MRI Super-resolution and Reconstruction
East China Normal University(华东师范大学)
针对多对比度MRI超分辨率与重建中相关性建模不足及可解释性欠缺的问题,提出由近端梯度展开、ResNet实现近端算子并引入多尺度字典的MC-CDic模型,性能优于现有SOTA方法。
2024-01-24 cs.CV eess.IV
Learning spatially adaptive sparsity level maps for arbitrary convolutional dictionaries
Physikalisch-Technische Bundesanstalt (PTB), Braunschweig and Berlin, Germany(物理技术联邦机构(PTB),柏林和不莱梅,德国);School of Mathematical Sciences, Queen Mary University of London, UK(伦敦女王学院数学科学学院,英国)
本文提出了一种学习方法,通过改进的网络设计和专门的训练策略,扩展了基于神经网络推断的时空自适应稀疏性水平图的图像重建方法,实现了滤波器排列不变性,并在低场MRI中展示了使用不同字典的优势。
2026-05-18 cs.CV cs.LG eess.IV
Sparse-View CT Reconstruction via Convolutional Sparse Coding
Sichuan University(四川大学)
传统的基于字典学习的CT重建方法是基于块的,并且用这些方法学习的特征通常包含相同特征的移位版本。为了解决这些问题,卷积稀疏编码(CSC)已被提出并引入各种应用。受CSC在信号处理领域的成功应用的启发,本文提出了一种基于CSC的稀疏CT重建方法。该方法直接对整幅图像进行处理,不需要像基于字典学习的方法那样将图像分割成重叠的小块,能够保持更多的细节信息,避免小块聚集带来的伪影。实验结果表明,该方法在定性和定量方面都优于现有的几种算法。
2018-10-15 cs.CV physics.med-ph