Learning Deep Analysis Dictionaries -- Part II: Convolutional Dictionaries
在本文中，我们通过学习卷积字典而不是非结构化字典来引入深度卷积分析字典模型（DeepCAM），就像在同伴论文中介绍的深度分析字典模型一样。卷积字典更适合处理高维信号，例如图像，并且只有少量的自由参数。通过利用卷积字典的特性，我们提出了一种有效的卷积分析字典学习方法。L层DeepCAM由L层卷积分析字典和逐元素软阈值对以及单层卷积合成字典组成。与DeepAM类似，每个卷积分析字典由卷积信息保持分析字典（iPad）和卷积聚类分析字典（CAD）组成。iPad和CAD的学习使用所提出的学习算法的变化。我们证明了DeepCAM是一种有效的多层卷积模型，并且在单图像超分辨率上，实现了与其他方法相当的性能，同时还显示出良好的泛化能力。
2020-01-31 cs.CV cs.LG stat.ML
Deep Face Image Retrieval: a Comparative Study with Dictionary Learning
Eötvös Loránd University（厄特沃什·罗兰大学）；Mutah University（穆塔大学）；Gazi University（加齐大学）；BUET（孟加拉国工程技术大学）
人脸图像检索是一项具有挑战性的任务，因为人脸具有许多相似的特征（区域），这使得检索系统很难区分不同的人。随着深度学习的出现，深度网络通常被应用于提取在计算机视觉的许多领域中使用的强大特征。本文研究了不同深度学习模型在人脸图像检索中的应用，即Alexlayer 6，Alexlayer 7，VGG 16 layer 6，VGG 16 layer 7，VGG 19 layer 6和VGG 19 layer 7，以及两种类型的字典学习技术，即$K$ -means和$K$ -SVD。我们还研究了一些系数学习技术，如同伦，Lasso，弹性网络和SSF的人脸检索系统的效果。在三个标准人脸图像数据集上进行的实验比较结果表明，性能最好的人脸图像检索算法是采用$K$ -means和SSF的Alexlayer 7，采用$K$ -SVD和SSF的Alexlayer 6，以及采用$K$ -means和SSF的Alexlayer 6.进一步将这些方法的APR和ARR与基于局部描述符的一些现有技术方法进行比较。实验结果表明，深度学习优于大多数方法，因此可以推荐用于人脸图像检索的实践
2018-12-13 cs.CV
Fiber Orientation Estimation Guided by a Deep Network
Johns Hopkins University（约翰霍普金斯大学）；National Laboratory of Pattern Recognition & Brainnetome Center, Institute of Automation, Chinese Academy of Sciences（模式识别国家重点实验室与脑网络组研究中心，中国科学院自动化研究所）
扩散磁共振成像（dMRI）是目前唯一的工具，非侵入性成像大脑的白质束。纤维方向（FO）是从dMRI计算的用于纤维束重建的关键特征。由于体素中的FO的数量通常很小，因此基于字典的稀疏重建已被用于估计具有相对较少数量的扩散梯度的FO。然而，在存在噪声的情况下，在具有复杂FO配置的区域中准确的FO估计仍然具有挑战性。在这项工作中，我们探索了在基于字典的框架中使用深度网络进行FO估计，并提出了一种名为深度网络引导的纤维方向重建（FORDN）的算法。FORDN包括两个步骤。首先，我们使用一个较小的字典编码粗基FO来表示扩散信号。为了估计字典原子的混合分数（以及因此粗FO），专门设计了一个深度网络来解决稀疏重建问题。在这里，较小的字典用于减少训练的计算成本。其次，粗略的FO通知最终的FO估计，其中使用较大的字典编码密集基FO，并解决加权l1范数正则化最小二乘问题以鼓励与网络输出一致的FO。对FORDN进行了评估，并与使用模拟和真实dMRI数据的稀疏重建估计FO的最新算法进行了比较，结果证明了使用深度网络进行FO估计的好处。
2017-05-19 cs.CV
Deep Dictionary Learning with An Intra-class Constraint
Jiangsu University（江苏大学）；The University of Sydney（悉尼大学）；University of Electronic Science and Technology of China（电子科技大学）；Sichuan University（四川大学）
近年来，深度字典学习（Deep Dictionary Learning，简称DCL）由于其在表示学习和视觉识别方面的有效性而引起了人们的极大关注。然而，大多数现有的方法都集中在无监督的深度字典学习上，未能进一步探索类别信息。为了充分利用不同样本的类别信息，我们提出了一种新的具有类内约束的深度字典学习模型（DDLC）用于视觉分类。具体来说，我们在不同层次上对中间表示设计了类内紧凑性约束，以鼓励类内表示彼此更接近，最终学习的表示变得更具区分性。与传统的递归方法不同，在分类阶段，我们的DDLIC以类似于训练阶段的方式执行逐层贪婪优化。在四个图像数据集上的实验结果表明，该方法优于现有的方法。
2022-07-14 cs.CV cs.LG
Learning Deep Analysis Dictionaries for Image Super-Resolution
Imperial College London（帝国理工学院）
受深度神经网络最近的成功以及最近开发多层字典模型的努力的启发，我们提出了一种深度分析字典模型（DeepAM），该模型经过优化，可解决称为单图像超分辨率的特定回归任务。与其他多层字典模型相反，我们的架构包含L层分析字典和软阈值算子，以逐步提取高级特征，以及一层合成字典，旨在优化手头的回归任务。在我们的方法中，每个分析字典被划分成两个子字典：信息保持分析字典（iPad）和聚类分析字典（CAD）。iPad与相应的软阈值一起被设计为将关键信息从前一层传递到下一层，而CAD与相应的软阈值算子一起被设计为产生其输入数据的稀疏特征表示，以便于区分关键特征。DeepAM使用监督和无监督设置。仿真结果表明，与具有相同结构并在训练数据集较小时使用反向传播进行优化的深度神经网络相比，所提出的深度分析字典模型实现了更好的性能。
2020-11-10 cs.CV cs.LG stat.ML
Discriminative Bayesian Dictionary Learning for Classification
The University of Western Australia（西澳大学）
我们提出了一种贝叶斯方法来学习数据稀疏表示的判别字典。所提出的方法推断概率分布的判别字典的原子使用贝塔过程。它还计算将类标签与学习的字典原子相关联的伯努利分布集。这种关联表示在类特定数据的扩展中字典原子的选择概率。此外，所提出的方法的非参数字符允许它推断字典的正确大小。我们利用上述伯努利分布分别学习线性分类器。分类器使用相同的分层贝叶斯模型的字典，我们沿着吉布斯抽样的分析推理解决方案。对于分类，首先在学习的字典上对测试实例进行稀疏编码，然后将代码馈送到分类器。我们使用五个公共数据集进行了人脸和动作识别以及对象和场景类别分类的实验，并将结果与最先进的判别稀疏表示方法进行了比较。实验表明，所提出的贝叶斯方法始终优于现有的方法。
2015-03-27 cs.CV cs.LG
Deep Network Classification by Scattering and Homotopy Dictionary Learning
PSL University（巴黎文理研究大学）；Collège de France（法兰西公学院）；Flatiron Institute（弗莱德森研究所）
我们介绍了一个稀疏散射深度卷积神经网络，它提供了一个简单的模型来分析深度表示学习的分类属性。在ImageNet 2012数据集上，使用分类器学习单个字典矩阵可以产生比AlexNet更高的分类准确率。该网络首先应用散射变换，该变换线性化由于几何变换（例如平移和小变形）而引起的可变性。稀疏$\ell^1$字典编码减少类内变化，同时通过线性空间的并集上的投影来保持类分离。它在深度卷积网络中实现，具有指数收敛的同伦算法。一个收敛性证明给出了一个一般的框架，包括ALISTA。分类结果在ImageNet上进行分析。
2020-02-20 cs.CV cs.LG stat.ML
SAHDL: Sparse Attention Hypergraph Regularized Dictionary Learning
China University of Petroleum (East China)（中国石油大学（华东））
近年来，注意力机制对基于超图的神经网络有着重要的贡献。然而，这些方法随着网络传播而更新注意力权重。也就是说，这种类型的注意力机制只适用于基于深度学习的方法，而不适用于传统的机器学习方法。本文提出了一种基于超图的稀疏注意力机制来解决这个问题，并将其嵌入到字典学习中。更具体地说，我们首先构建一个稀疏的注意力超图，资产注意力权重的样本采用$\ell_1$ -范数稀疏正则化挖掘样本特征之间的高阶关系。然后，我们引入了超图拉普拉斯算子来保持字典学习中子空间变换的局部结构。此外，我们将判别信息融入到超图中，作为样本聚集的指导。与以前的工作不同，我们的方法独立更新注意力权重，不依赖于深度网络。我们证明了我们的方法在四个基准数据集上的有效性。
2020-10-23 cs.CV
Deep Multi-Resolution Dictionary Learning for Histopathology Image Analysis
University of Warwick（华威大学）；Tissue Image Analytics (TIA) Centre, University of Warwick（华威大学组织图像分析中心）
识别存在于多千兆像素组织学图像中的各种类型的组织的问题是用于计算病理学的自下而上分析范例中的肿瘤微环境的下游分析的重要基本先决条件。在本文中，我们提出了一种深度字典学习方法来解决组织学图像中的组织表型问题。我们提出了深度多分辨率字典学习（deepMRDL），以便从多个不同空间分辨率的深度纹理描述符中受益。我们通过对来自不同器官（结直肠癌，乳腺癌和乳腺淋巴结）和任务（即癌症分级，组织表型，肿瘤检测和组织类型分类）的四个基准组织学图像数据集进行广泛的实验，显示了所提出的方法的有效性。我们还表明，该框架可以采用大多数现成的CNN模型来生成有效的深度纹理描述符。
2021-04-01 cs.CV cs.LG eess.IV
Deep Roto-Translation Scattering for Object Classification
Ecole Normale Supérieure（巴黎高等师范学院）
字典学习算法或有监督的深度卷积网络已经大大提高了预定义特征表示（如SIFT）的效率。我们介绍了一个深散射卷积网络，预定义的小波滤波器的空间和角度变量。这种表示带来了一个重要的改进，以前获得的结果与预定义的功能，如加州理工学院和CIFAR的对象图像数据库。由此产生的准确性与无监督深度学习和基于字典的表示获得的结果相当。这表明，通过使用几何先验细化图像表示是一个有前途的方向，以改善图像分类和它的理解。
2015-05-30 cs.CV
Deep Boosting: Joint Feature Selection and Analysis Dictionary Learning in Hierarchy
Sun Yat-sen University（中山大学）；Huizhou University（惠州学院）
受深度神经网络最近成功的启发，这项工作研究了如何将传统的图像分类管道扩展到深度架构中。我们提出了一个基于逐层联合特征提升和字典学习的深度提升框架。在每一层中，我们通过组合下层的过滤器来构建过滤器字典，并使用联合判别生成公式迭代优化图像表示，即最小化经验分类误差加上训练图像上分析图像生成的正则化。为了优化，我们执行两个迭代步骤：i）为了最小化分类误差，使用温和的adaboost算法选择最具鉴别力的特征; ii）根据特征选择，使用梯度下降方法更新滤波器以最小化分析图像表示的正则化。一旦优化收敛，我们就以同样的方式学习更高层的表示。我们的模式提供了几个明显的优势。首先，我们的逐层优化提供了构建非常深入的架构的可能性。第二，生成的图像表示是紧凑和有意义的。在几个视觉识别任务中，我们的框架优于现有的最先进的方法。
2015-08-11 cs.CV cs.LG cs.NE
Discriminative Robust Deep Dictionary Learning for Hyperspectral Image Classification
Indraprastha Institute of Information Technology, Delhi（因德拉普拉斯信息技术学院（德里））
这项工作提出了一个新的深度学习框架，特别适合高光谱图像分类。我们以一种健壮的方式学习多级字典。最后一层是判别式的，它学习线性分类器。训练过程是渐进式的，每次只学习一级字典，而系数用于训练下一级。最后一级的系数用于分类。鲁棒性通过最小化绝对偏差而不是更流行的欧几里德范数来实现。内置的鲁棒性有助于对抗高光谱图像中存在的混合噪声（高斯和稀疏）。结果表明，我们提出的技术优于所有其他深度学习方法深度信念网络（DBN），堆叠自动编码器（SAE）和卷积神经网络（CNN）。在基准高光谱成像数据集上进行了实验。
2019-12-11 cs.CV cs.LG eess.IV
Learning Transferable Kinematic Dictionary for 3D Human Pose and Shape Reconstruction
Shanghai Jiao Tong University（上海交通大学）；OPPO US Research Center（OPPO美国研究中心）
从单个图像估计3D人体姿势和形状是高度欠约束的。为了解决这种模糊性，我们提出了一种新的先验知识，即运动字典，它明确地正则化了运动树中人体关节的相对3D旋转的解空间。结合统计人体模型和深度神经网络，我们的方法实现了端到端的3D重建，而无需在神经网络的训练过程中使用任何形状注释。运动学字典弥合了野外图像和3D数据集之间的差距，从而促进了所有类型数据集的端到端训练。该方法在包括Human3.6M，MPI-INF-3DHP和LSP在内的大规模数据集上取得了有竞争力的结果，同时在给定人体边界框的情况下实时运行。
2021-04-21 cs.CV
Sparse Subspace Clustering Friendly Deep Dictionary Learning for Hyperspectral Image Classification
Delhi Technical University（德里技术大学）；Indraprastha Institute of Information Technology Delhi（德里因陀罗普拉斯塔信息技术学院）
子空间聚类技术在高光谱图像分割中显示出良好的应用前景。子空间聚类的基本假设是属于不同聚类/段的样本位于可分离的子空间中。如果这个条件不成立呢？我们推测，即使该条件在原始空间中不成立，数据也可以被非线性地变换到一个空间，在该空间中它将可分离成子空间。在这项工作中，我们提出了一种基于深度字典学习（Deep Dictionary Learning，简称DCL）原则的转换。特别是，我们将稀疏子空间聚类（SSC）的损失，在numerical制定。在这里，非线性变换数据，使得变换后的表示（数据的）可分离为子空间。我们表明，所提出的配方提高了最先进的深度学习技术在高光谱图像聚类。
2021-11-27 cs.CV cs.LG eess.IV
Locality Constraint Dictionary Learning with Support Vector for Pattern Classification
Jiangnan University（江南大学）；Anqing Normal University（安庆师范大学）
判别式字典学习（Discriminative Dictionary Learning，缩写为Dictionary）由于其在各种模式分类任务中令人印象深刻的性能，最近受到了极大的关注。然而，原子的局部性并没有充分探讨在传统的分类方法，阻碍了他们的分类性能。在本文中，我们提出了一个局部约束字典学习与支持向量判别项（LCDL-SV），其中的局部信息是通过使用学习字典的图拉普拉斯矩阵来保持。为了在训练阶段共同学习分类器，将支持向量判别项并入所提出的目标函数中。此外，在分类阶段，测试数据的身份是由正则化的残差和学习的多类支持向量机。最后，利用替代策略解决由此产生的优化问题。基准数据库上的实验结果表明，我们提出的方法优于以前的字典学习方法的手工制作和深度功能。我们提出的LCDL-SV的源代码可以在https://github.com/yinhefeng/LCDL-SV上访问
2019-11-22 cs.CV
A Dictionary Approach to Domain-Invariant Learning in Deep Networks
Purdue University（普渡大学）；Duke University（杜克大学）
在本文中，我们通过在卷积神经网络（CNN）中仅使用少量特定于域的参数来显式建模域偏移，来考虑域不变深度学习。通过利用卷积滤波器可以很好地近似为一小组字典原子的线性组合的观察结果，我们首次从经验和理论上证明，通过将卷积层分解为特定于域的原子层和域共享系数层，可以有效地处理域移位，同时两者都保持卷积。输入通道现在将首先仅与每个相应的域特定字典原子进行空间卷积以“吸收”域变化，然后使用训练的公共分解系数线性组合输出通道以促进跨域的共享语义。我们使用玩具的例子，严格的分析，并与不同的数据集和架构的真实世界的例子，以显示所提出的插件框架的有效性，在交叉和联合域的性能和领域自适应。使用所提出的架构，我们只需要一小组字典原子来建模每个额外的域，这带来了可以忽略不计的额外参数，通常是几百个。
2020-09-28 cs.CV cs.LG stat.ML
Image registration with sparse approximations in parametric dictionaries
Ecole Polytechnique Federale de Lausanne (EPFL)（洛桑联邦理工学院）
我们在本文中研究的问题，图像配准从新的角度来看，图像稀疏近似的几何函数的参数字典。我们提出了一个注册算法，寻找一个估计的全局变换之间的稀疏图像通过检查一组相对的几何变换之间的各个功能。我们提出了一个理论分析，我们的注册算法，我们得到性能保证的基础上的两个新的重要属性的冗余字典，即强大的线性独立性和变换不一致。我们提出了一些插图和见解的重要性，这些字典属性，并表明，常见的属性，如一致性或限制等距属性无法提供足够的信息，在注册问题。最后，我们用简单的视觉对象和手写数字图像的说明性实验表明，我们的算法在变换不变距离计算和分类方面优于基线竞争对手的方法。
2013-07-04 cs.CV
Self-Supervised Texture Image Anomaly Detection By Fusing Normalizing Flow and Dictionary Learning
Ningxia University（宁夏大学）；Collaborative Innovation Center for Ningxia Big Data and Artificial Intelligence Co-founded by Ningxia Municipality and Ministry of Education（宁夏回族自治区与教育部共建宁夏大数据与人工智能协同创新中心）
基于纹理背景的工业图像异常检测是异常识别中的一个常用研究领域。纹理图像的干扰和纹理异常的微小性是许多现有模型无法检测到异常的主要原因。基于上述问题，我们提出了一种结合字典学习和规范化流的异常检测策略。我们的方法增强了已经在使用的两阶段异常检测方法。为了改进基线方法，在表示学习中加入归一化流程，并将深度学习和字典学习相结合。经过实验验证，改进的算法在所有MVTec AD纹理类型数据上的$\%$检测准确率超过95。它表现出很强的鲁棒性。基线方法对地毯数据的检测准确率为67.9%。文章进行了升级，检测准确率提高到99.7%。
2022-09-19 cs.CV
Blind Face Restoration via Deep Multi-scale Component Dictionaries
Faculty of Computing, Harbin Institute of Technology（哈尔滨工业大学计算学部）；DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）；Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系）；Department of Computer Science, The University of Hong Kong（香港大学计算机科学系）；School of Computer Science and Engineering, Nanyang Technological University（南洋理工大学计算机科学与工程学院）；Peng Cheng Lab, Shenzhen（鹏城实验室）
近年来，基于参考的人脸恢复方法因其在真实低质量图像上恢复高频细节的能力而受到广泛关注。然而，这些方法中的大多数需要相同身份的高质量参考图像，使得它们仅适用于有限的场景。为了解决这个问题，本文提出了一种深度人脸字典网络（称为DFDNet）来指导退化观测的恢复过程。首先，我们使用K-means从高质量图像中为感知上重要的面部组件（\ie，左/右眼，鼻子和嘴巴）生成深度字典。接下来，对于降级的输入，我们从相应的字典中匹配并选择最相似的组件特征，并通过建议的字典特征传输（DFT）块将高质量的细节传输到输入。特别是，组件AdaIN被用来消除输入和字典特征（\eg，照明）之间的风格多样性，并提出了一个置信度分数，自适应地融合输入的字典特征。最后，多尺度字典采用渐进的方式，使粗到精的恢复。实验表明，我们提出的方法可以实现合理的性能在定量和定性评价，更重要的是，可以产生真实的和有前途的结果，而不需要一个身份归属参考的真实退化图像。源代码和模型可在\url{https://github.com/csxmli2016/DFDNet}上获得。
2020-08-02 cs.CV
Magnetic Resonance Fingerprinting Reconstruction via Spatiotemporal Convolutional Neural Networks
Institute for Surgical Technology and Biomechanics, University of Bern（伯尔尼大学外科技术与生物力学研究所）；Medical Imaging Research Center, Dayananda Sagar Institutions（达亚南达·萨加尔机构医学成像研究中心）；Support Center for Advanced Neuroimaging (SCAN), Institute for Diagnostic and Interventional Neuroradiology, Inselspital, Bern University Hospital, University of Bern（伯尔尼大学伯尔尼大学医院因塞尔医院诊断与介入神经放射学研究所高级神经影像支持中心（SCAN））
磁共振指纹（MRF）在单次快速采集中量化多个核磁共振参数。标准MRF使用字典匹配来重建参数化映射，由于计算效率低而缺乏可扩展性。我们建议使用时空卷积神经网络进行MRF地图重建，该网络利用相邻MRF信号演变之间的关系来代替字典匹配。我们评估我们的多参数脑扫描方法，并将其与最近的三种MRF重建方法进行比较。我们的方法实现了国家的最先进的重建精度，并产生定性更有吸引力的地图相比，其他重建方法。此外，与基于字典的方法相比，重建时间显著减少。
2018-07-24 cs.CV
Deep MR Fingerprinting with total-variation and low-rank subspace priors
University of Bath（巴斯大学）；Technische Universität München（慕尼黑工业大学）；GE Healthcare（通用电气医疗集团）
最近出现了深度学习（DL），以解决用于磁共振指纹（MRF）重建的基线字典匹配（DM）的繁重存储和计算需求。由于采用了非迭代反投影图像，网络无法完全解决由欠采样伪影引起的空间相关损坏。我们提出了一个加速迭代重建，以尽量减少这些文物之前，送入网络。这是通过一个凸正则化，共同促进MRF时间序列的时空离散化。除了训练之外，参数估计管道的其余部分是无字典的。我们在合成和体内数据集上验证了所提出的方法。
2019-02-26 cs.CV
Coupled Analysis Dictionary Learning to inductively learn inversion: Application to real-time reconstruction of Biomedical signals
TCS Research and Innovation（TCS研究与创新部）
这项工作解决了从低维投影重建生物医学信号的问题。传统上，基于压缩感知（CS）的技术已经被用于该任务。这些都是换能反演过程，这些方法的问题是反演是耗时的，因此不适合于实时的【形】应用。随着最近深度学习的出现，堆叠稀疏去噪自动编码器（SSDAE）已用于在归纳设置中学习反演。归纳学习的训练周期很长，但在应用过程中非常快-能够实现实时的【形】速度。本文提出了一种新的反演过程的归纳学习方法。它基于耦合分析字典学习。生物医学信号重建的结果表明，我们提出的方法是非常快的，产生的结果远远优于CS和SSDAE。
2018-12-24 cs.CV
Deep learning based dictionary learning and tomographic image reconstruction
KTH Royal Institute of Technology（瑞典皇家理工学院）；Philips Research（飞利浦研究院）
本文提出一种结合稀疏信号处理与深度学习的临床低剂量层析图像重建方法，将字典学习解释为分布对齐过程并证明其类似变分自编码器，在CT重建中取得与先进方法相当的竞争力。
2021-08-26 cs.CV cs.LG cs.NE
The Interpretable Dictionary in Sparse Coding
Drexel University（德雷塞尔大学）；University of Delaware（特拉华大学）
人工神经网络（ANN），特别是深度学习网络，由于数据的内部表示不容易解释，因此经常被标记为黑盒。在我们的工作中，我们说明了在特定稀疏约束下使用稀疏编码训练的ANN，产生了比标准深度学习模型更可解释的模型。通过稀疏编码学习的字典可以更容易理解，并且这些元素的激活创建了选择性特征输出。我们将稀疏编码模型与在相同数据上训练的等效前馈卷积自动编码器进行比较和对比。我们的研究结果表明，定性和定量的好处，在解释学习稀疏编码字典以及内部激活表示。
2020-11-24 cs.AI cs.CV cs.LG
Magnetic Resonance Fingerprinting using Recurrent Neural Networks
Guys & St Thomas NHS Foundation Trust（盖伊和圣托马斯国民保健服务基金会信托）；Kings College Hospital NHS Foundation Trust（国王学院医院国民保健服务基金会信托）
磁共振指纹（MRF）是一种新的定量磁共振成像方法，允许在一个单一的，时间效率高的采集同时测量多种组织特性。标准MRF使用字典匹配来重建参数映射，并且由于计算效率低而缺乏可扩展性。我们建议使用递归神经网络进行MRF映射重建，该网络利用MRF信号演化的时间相关信息。我们评估我们的方法多参数合成信号，并将其与现有的MRF地图重建方法，包括那些基于神经网络。我们的方法实现了T1和T2值的最新估计。此外，与基于字典匹配的方法相比，重建时间显著减少。
2018-12-19 cs.CV
Deep Unfolding Convolutional Dictionary Model for Multi-Contrast MRI Super-resolution and Reconstruction
East China Normal University（华东师范大学）
针对多对比度MRI超分辨率与重建中相关性建模不足及可解释性欠缺的问题，提出由近端梯度展开、ResNet实现近端算子并引入多尺度字典的MC-CDic模型，性能优于现有SOTA方法。
2024-01-24 cs.CV eess.IV
Spatially Regularized Parametric Map Reconstruction for Fast Magnetic Resonance Fingerprinting
University of Bern（伯尔尼大学）；Bern University Hospital（伯尔尼大学医院）；Institute of Myology（肌学研究所）；CEA（法国原子能与替代能源委员会）
磁共振指纹（MRF）提供了一个独特的概念，同时和快速采集多个定量MR参数。尽管采集效率高，但MRF在临床中的采用受到其基于字典匹配的重建的阻碍，该重建在计算上要求很高并且缺乏可扩展性。在这里，我们提出了一种基于卷积神经网络的重建，它可以准确和快速地重建参数化映射，并且可以根据空间正则化的需求和重建的能力进行调整。我们使用MRF T1-FF（用于水（T1 H2O）和脂肪分数（FF）映射的T1弛豫时间的MRF序列）评估了该方法。我们证明了该方法的性能在一个高度异质性的数据集，包括164例各种神经肌肉疾病的大腿和腿部成像。我们经验性地展示了在重建过程中结合空间正则化的好处，并证明该方法从MR物理学的角度学习有意义的特征。此外，我们调查的方法来处理高度异质性的形态变化和它的泛化训练过程中看不见的解剖区域的能力。所获得的结果优于基于深度学习的MRF重建的最新技术。在50例患者的测试集中，与字典匹配相比，该方法实现了T1 H2O图的归一化均方误差为0.048 $\pm$ 0.011，FF图的归一化均方根误差为0.027 $\pm$ 0.004。结合快速MRF序列，所提出的方法具有在临床可行的时间内实现多参数MR成像的潜力。
2020-08-10 cs.CV eess.IV
Neural Implicit Dictionary via Mixture-of-Expert Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过基于坐标的深度全连接网络表示视觉信号已被证明在拟合复杂细节和解决逆问题方面比基于离散网格的表示具有优势。然而，获取这样一个连续的隐式神经表示（INR）需要对大量信号测量进行繁琐的逐场景训练，这限制了它的实用性。在本文中，我们提出了一个通用的INR框架，通过从数据汇集中学习神经隐式字典（NID）并将INR表示为从字典中采样的基础的函数组合来实现数据和训练效率。我们的NID集合了一组基于坐标的子网络，这些子网络被调整以跨越所需的函数空间。在训练之后，通过求解编码系数，可以立即且鲁棒地获得不可见的场景表示。为了对大量的网络进行优化，我们借鉴了混合专家（MoE）的思想，采用稀疏门控机制来设计和训练我们的网络。我们的实验表明，NID可以提高重建的2D图像或3D场景的2个数量级的速度高达98%的输入数据减少。我们进一步展示了NID在图像修补和遮挡去除中的各种应用，这些应用被认为是具有挑战性的。我们的代码可在https://github.com/VITA-Group/Neural-Implicit-Dict上找到。
2022-07-08 cs.CV
Transcending the Limit of Local Window: Advanced Super-Resolution Transformer with Adaptive Token Dictionary
University of Electronic Science and Technology of China（电子科技大学）；Computer Vision Lab, ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）；Integrated Systems Laboratory, ETH Zürich（苏黎世联邦理工学院集成系统实验室）
本文提出ATD-SR方法，通过引入自适应令牌字典和基于类别的自注意力机制，突破窗口自注意力的感受野限制，在多个单图像超分辨率基准上取得最佳性能。
2024-01-18 cs.CV
A deep dictionary network-based foundation model for ultra-low-dose CT denoising
Yanshan University（燕山大学）；Capital Medical University（首都医科大学）；Beijing Friendship Hospital（北京友谊医院）；Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
针对超低剂量CT去噪中器官特异性方法泛化差的问题，提出基于深度字典网络的可解释基础模型，通过级联稀疏编码与动态字典实现统一多器官去噪，性能超越现有方法。
2026-09-16 cs.CV cs.LG eess.IV
Gabor is Enough: Interpretable Deep Denoising with a Gabor Synthesis Dictionary Prior
New York University, Tandon School of Engineering（纽约大学坦登工程学院）
本研究将去噪CNN的滤波器约束为可学习二维实Gabor滤波器，提出GDLNet，以极少参数取得接近SOTA的去噪性能，保留噪声泛化性，验证了低层视觉CNN表征可如Gabor滤波器组般简单可解释。
2022-04-23 cs.CV eess.IV eess.SP
Conditional Latent Coding with Learnable Synthesized Reference for Deep Image Compression
Southern University of Science and Technology（南方科技大学）
提出CLC深度图像压缩方法，通过外部特征字典端到端学习并合成条件潜变量以指导编码，理论鲁棒且仅增约0.5%比特开销，BD性能最高提升1.2 dB。
2025-02-14 cs.AI cs.CV
LCNN: Lookup-based Convolutional Neural Network
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
将最先进的深度学习算法移植到资源受限的计算平台（例如VR、AR、可穿戴设备）是极具挑战性的。我们提出了一个快速，紧凑，准确的卷积神经网络，使有效的学习和推理模型。我们介绍了LCNN，这是一种基于查找的卷积神经网络，它通过对字典的少量查找来对卷积进行编码，该字典经过训练以覆盖CNN中的权重空间。训练LCNN涉及联合学习字典和一小组线性组合。字典的大小自然会在效率和准确性之间进行权衡。我们在ImageNet Challenge上的实验结果表明，LCNN可以提供3.2倍的加速，同时使用AlexNet架构实现55.1%的top-1准确率。我们最快的LCNN比AlexNet提供37.6倍的速度，同时保持44.3%的前1准确率。LCNN不仅在推理方面提供了显着的速度，而且还实现了有效的训练。在本文中，我们展示了LCNN在少样本学习和少迭代学习方面的优势，这是深度学习模型的设备上训练的两个关键方面。
2017-06-13 cs.CV
DeepCoder: Semi-parametric Variational Autoencoders for Automatic Facial Action Coding
人脸在其表示中表现出固有的层次结构（即，整体面部表情可以通过一组面部动作单元（AU）及其强度来编码）。变分（深度）自动编码器（VAE）在从大量图像数据中无监督地提取分层潜在表示方面表现出很好的效果，同时对噪声和其他不期望的伪影具有鲁棒性。潜在地，这使得VAE成为学习用于AU强度估计的面部特征的合适方法。然而，大多数现有的基于VAE的方法应用从编码特征中单独学习的分类器。相比之下，非参数（概率）方法，如高斯过程（GP），通常优于其参数对应物，但不能轻松处理大量数据。为此，我们提出了一种新的VAE半参数建模框架，名为DeepCoder，它结合了参数（卷积）和非参数（序数GP）VAE的建模能力，用于联合学习（1）任务层次结构中多个级别的潜在表示1，以及（2）多个序数输出的分类。我们在AU强度估计的基准数据集上显示，所提出的DeepCoder优于最先进的方法以及相关的VAE和深度学习模型。
2017-08-05 cs.CV
CDLNet: Noise-Adaptive Convolutional Dictionary Learning Network for Blind Denoising and Demosaicing
New York University Tandon School of Engineering（纽约大学坦登工程学院）
针对现有底层图像处理深度学习模型可解释性差的问题，提出可解释展开式卷积字典学习网络CDLNet，实现参数量可比下更优的去噪、联合去噪去马赛克性能，及强噪声自适应盲去噪泛化能力。
2022-04-26 cs.CV eess.IV
Face Alignment with Cascaded Semi-Parametric Deep Greedy Neural Forests
Sorbonne Universités（索邦大学）；UPMC Univ Paris 06（皮埃尔和玛丽·居里大学（巴黎第六大学））；CNRS（法国国家科学研究中心）
人脸对齐是计算机视觉中的一个活跃的话题，包括在人脸上对齐形状模型。为此，大多数现代方法从最初的猜测开始，以级联的方式细化形状。这些形状更新可以应用于特征点空间（\textit{i.e.}显式更新）或低维参数空间。在本文中，我们提出了一个半参数级联，首先对齐参数形状，然后捕捉更细粒度的变形的显式形状。为了在每个级联阶段学习形状更新，我们引入了深度贪婪神经森林（GNF）模型，这是深度神经森林（NF）的改进版本。GNF似乎是人脸对齐的理想回归因子，因为它结合了可区分性，高表达性和快速评估运行时间。所提出的框架是非常快的，并在多个具有挑战性的基准测试，包括小型，中型和大型姿势实验，实现了高精度。
2017-03-05 cs.CV
Designing to Forget: Deep Semi-parametric Models for Unlearning
Department of Computer Science, Purdue University（普渡大学计算机科学系）
本文提出深度半参数模型，通过融合模块实现测试时删除训练样本，无需改变模型参数，在图像分类和生成任务中表现优异，且去学习效率显著提升。
2026-03-24 cs.CV
DeepLPF: Deep Local Parametric Filters for Image Enhancement
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；INSA Lyon（里昂国立应用科学学院）；Mila Montréal（蒙特利尔学习算法研究所）
数字艺术家经常通过手工修饰来提高数字照片的美学质量。除了全局调整之外，专业图像编辑程序还提供对图像的特定部分进行操作的局部调整工具。选项包括参数（分级、径向过滤器）和无约束笔刷工具。这些极具表现力的工具可以实现各种局部图像增强。然而，它们的使用可能是耗时的，并且需要艺术能力。最先进的自动化图像增强方法通常专注于学习像素级或全局增强。前者可能是嘈杂的，缺乏可解释性，而后者可能无法捕获细粒度的调整。在本文中，我们介绍了一种新的方法来自动增强图像使用学习空间局部滤波器的三种不同类型（椭圆滤波器，渐变滤波器，多项式滤波器）。我们引入了一个深度神经网络，称为深度局部参数滤波器（DeepLPF），它回归这些空间局部滤波器的参数，然后自动应用于增强图像。DeepLPF提供了一种自然形式的模型正则化，并实现了可解释的、直观的调整，从而获得视觉上令人愉悦的结果。我们报告了多个基准测试，并表明DeepLPF在MIT-Adobe-5 K数据集的两个变体上产生了最先进的性能，通常使用竞争方法所需的一小部分参数。
2020-03-31 cs.CV
Classification of Chinese Handwritten Numbers with Labeled Projective Dictionary Pair Learning
Shahrood University of Technology（沙赫鲁德理工大学）；Queen’s University Belfast（贝尔法斯特女王大学）；University of Essex（埃塞克斯大学）；University of Edinburgh（爱丁堡大学）
字典学习是图像分类的基石。我们着手解决使用字典学习进行分类的长期挑战;即同时最大限度地提高学习字典的可辨别性和稀疏表示能力。在此前提下，我们设计了类特定的字典，结合三个因素：可辨别性，稀疏性和分类错误。我们将这些度量集成到统一的成本函数中，并采用了新的特征空间，即，方向梯度直方图（HOG），以生成字典原子。使用HOG特征设计字典的基本原理是它们在描述拥挤图像的细节方面的优势。将所提出的方法应用于中文手写数字分类的结果表明，与最先进的深度学习技术（即，SqueezeNet、GoogLeNet和MobileNetV 2），但只有一小部分参数。此外，与仅使用像素域数据的情况相比，HOG特征与字典学习的组合将精度提高了$11\%$。当所提出的方法应用于阿拉伯语和英语手写数字数据库时，这些结果得到了支持。
2020-12-07 cs.CV cs.LG
HYDRA: Hybrid Deep Magnetic Resonance Fingerprinting
Imperial College London（帝国理工学院）；Weizmann Institute of Science（魏茨曼科学研究所）；Technion – Israel Institute of Technology（以色列理工学院）；University College London（伦敦大学学院）
目的：磁共振指纹（MRF）方法通常依赖于字典匹配来将时间MRF信号映射到定量组织参数。这样的方法遭受固有的离散化错误，以及随着字典大小的增长的高计算复杂度。为了缓解这些问题，我们提出了一种混合深磁共振指纹识别方法，简称HYBRID。方法：HYBRID包括两个阶段：基于模型的签名恢复阶段和基于学习的参数恢复阶段。信号恢复使用基于低秩的去混叠技术来实现，而参数恢复使用深度非局部残差卷积神经网络来执行。所设计的网络进行训练合成MRF数据模拟与布洛赫方程和快速成像与稳态进动（FISP）序列。在测试模式下，它将时间MRF信号作为输入并产生相应的组织参数。结果：我们验证了我们的方法的合成数据和解剖数据生成的健康受试者。实验结果表明，与传统的基于字典匹配的MRF方法相比，该方法通过消除耗时的字典匹配操作，显著提高了推理速度，并通过输出连续值参数来消除离散化误差.我们进一步避免了存储大型字典的需要，从而降低了内存需求。结论：我们的方法在推理速度、准确性和存储要求方面优于竞争的MRF方法
2019-08-01 cs.CV eess.IV physics.med-ph
Improving Deep Neural Network with Multiple Parametric Exponential Linear Units
Beijing University of Posts and Telecommunications（北京邮电大学）
激活函数对于深度神经网络最近的成功至关重要。本文首先提出了一种新的激活函数--多参数指数线性单元（MPELU），旨在推广和统一整流和指数线性单元。MPELU作为广义形式，具有参数化线性单元（PReLU）和指数线性单元（ELU）的优点，具有更好的分类性能和收敛性。此外，权值初始化对于训练非常深的网络非常重要。现有的方法为使用整流线性单元的网络打下了坚实的基础，而不是指数线性单元。本文是对现有理论的补充和拓展。具体来说，我们提出了一种初始化的方法，可以使用指数线性单元来训练非常深的网络。实验表明，所提出的初始化不仅有助于训练过程，但导致更好的泛化性能。最后，利用所提出的激活函数和初始化，我们提出了一种深度MPELU残差架构，该架构在CIFAR-10/100数据集上实现了最先进的性能。该代码可在www.example.com上获得。
2017-01-17 cs.CV
Deep Siamese Networks with Bayesian non-Parametrics for Video Object Tracking
Portland State University（波特兰州立大学）；Intel Corporation（英特尔公司）
我们提出了一种新的算法，利用深连体神经网络作为一个通用的对象相似性函数结合贝叶斯优化（BO）框架编码的时空信息，有效的视频对象跟踪。特别是，我们把视频跟踪问题作为一个动态（即时间演变）优化问题。使用高斯过程先验，我们建模一个动态的目标函数，表示跟踪对象在每帧中的位置。通过利用时间相关性，所提出的方法以统计原则和有效的方式查询搜索空间，提供了优于当前技术视频跟踪方法的几个优点。
2018-11-18 cs.CV
Combined Dictionary Unfolding Network with Gradient-Adaptive Fidelity for Transferable Multi-Source Fusion
College of Computer Science and Technology, National University of Defense Technology（国防科技大学计算机科学与技术学院）；College of Surveying and Geoinformatics, Tongji University（同济大学测绘与地理信息学院）；School of Computer and Information, Hefei University of Technology（合肥工业大学计算机与信息学院）
本文提出CDNet，通过结合字典学习的共同-特定表示先验，设计轻量级结构约束联合展开架构，提升多源图像融合效率与性能。
2026-05-01 cs.CV eess.IV
AgileNet: Lightweight Dictionary-based Few-shot Learning
UC San Diego（加州大学圣地亚哥分校）；SDSU（圣地亚哥州立大学）
深度学习模型的成功与使用大量标记数据和过长的训练时间密切相关。随着使用这些模型的智能边缘应用的出现，关键的挑战是在资源受限的设备上获得相同的推理能力，同时提供适应性以应对数据的动态变化。我们提出了AgileNet，这是一种新的轻量级基于字典的少样本学习方法，它提供了降低复杂性的深度神经网络，用于在边缘高效执行，同时实现低成本更新以捕获新数据的动态。对最先进的少样本学习基准的评估表明，与现有技术相比，AgileNet具有更高的准确性。此外，AgileNet是第一个少样本学习方法，通过消除从主要训练中获得的知识来防止模型更新。通过我们新颖的端到端结构化分解学习的字典来确保此属性，这也降低了内存占用和计算复杂性，以匹配边缘设备约束。
2018-05-21 cs.AI cs.CV cs.LG
Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction
Tencent Jarvis Lab（腾讯嘉里斯实验室）；Xi’an Jiaotong University（西安交通大学）；Peng Cheng Laboratory（鹏城实验室）
针对现有CT金属伪影减少方法未充分嵌入任务先验的问题，提出结合模型与学习方法的ACDNet，通过算法展开嵌入伪影先验并具备自适应表征能力，在合成与临床数据上均展现出更优的效果与泛化性。
2022-06-16 cs.CV eess.IV
A Dictionary Based Approach for Removing Out-of-Focus Blur
Trinity College Dublin（都柏林圣三一学院）；Sigmedia Group（西格媒体集团）
本文扩展 RAISR 字典学习算法以去除离焦模糊，结合清晰度度量与资产配置式融合策略，在 PSNR 和 SSIM 上分别提升约 13% 和 10%，并抑制振铃伪影。
2024-06-17 cs.CV eess.IV
Compressive MRI quantification using convex spatiotemporal priors and deep auto-encoders
University of Bath（巴斯大学）；Imago7 foundation（Imago7基金会）；University of Edinburgh（爱丁堡大学）；GE Healthcare（GE医疗）；Technical University of Munich（慕尼黑工业大学）
我们提出了一个字典匹配的多参数定量MRI图像计算的自由管道。我们的方法有两个阶段，基于压缩感知重构和深度学习的定量推理。重建阶段是凸的，并在加速迭代收缩算法中包含有效的时空调节。这最大限度地减少了来自极短扫描时间的欠采样（混叠）伪影。学习的定量推理阶段纯粹是在物理模拟（Bloch方程）上训练的，这些模拟可以灵活地产生丰富的训练样本。我们提出了一个深度和紧凑的自动编码器网络与残留块，以嵌入布洛赫流形投影通过多尺度分段仿射近似，并取代不可扩展的字典匹配基线。在一些数据集上进行测试，我们证明了所提出的方案的有效性，用于从新颖的和积极的二次采样的2D/3D定量MRI采集协议中恢复准确和一致的定量信息。
2020-04-21 cs.CV cs.LG physics.med-ph
Alternative Learning Paradigms for Image Quality Transfer
University College London（伦敦大学学院）；University of Exeter（埃克塞特大学）
本文提出两种图像质量迁移（IQT）的新学习范式：无监督的IQT-SRep和结合监督与无监督的IQT-DDL，以在分布外数据上避免监督方法的偏差，提升低场MRI图像质量。
2024-11-08 cs.CV cs.LG eess.IV
Generating Master Faces for Dictionary Attacks with a Network-Assisted Latent Space Evolution
Tel Aviv University（特拉维夫大学）
主人脸是针对大部分人群通过基于人脸的身份认证的人脸图像。这些面孔可以用来模仿任何用户，成功的可能性很高，而无需访问任何用户信息。我们通过在StyleGAN人脸生成器的潜在嵌入空间中使用进化算法来优化这些人脸。多个进化策略进行了比较，我们提出了一种新的方法，采用了神经网络，以直接搜索有前途的样本的方向，而不增加健身评估。我们提出的结果表明，对于三个领先的深度人脸识别系统，使用不到10个主面孔可以获得LFW身份的高覆盖率（超过40%）。
2021-08-19 cs.CR cs.CV cs.LG
Deep Parametric Shape Predictions using Distance Fields
Massachusetts Institute of Technology（麻省理工学院）；Adobe Research（奥多比研究院）
图形和视觉中的许多任务需要将形状转换为具有稀疏参数集的一致表示的机器;这些表示有助于渲染，编辑和存储。然而，当源数据有噪声或模糊时，艺术家和工程师通常手动构建这种表示，这是一个繁琐且可能耗时的过程。虽然深度学习的进步已经成功地应用于有噪声的几何数据，但到目前为止，生成参数化形状的任务对于这些方法来说是困难的。因此，我们提出了一个新的框架，用于预测参数化形状基元使用深度学习。我们使用距离场来在形状参数（如像素网格上的控制点和输入数据）之间转换。我们证明了2D和3D任务的有效性，包括字体矢量化和表面抽象。
2020-03-19 cs.CV cs.GR
Generating 2D and 3D Master Faces for Dictionary Attacks with a Network-Assisted Latent Space Evolution
Tel Aviv University（特拉维夫大学）
主人脸是针对高比例的人群通过基于人脸的身份认证的人脸图像。这些面孔可以用来模仿任何用户，成功的可能性很高，而无需访问任何用户信息。我们通过在StyleGAN人脸生成器的潜在嵌入空间中使用进化算法来优化这些人脸的2D和3D人脸验证模型。对于二维人脸验证，多个进化策略进行了比较，我们提出了一种新的方法，采用神经网络直接搜索有前途的样本，而不增加健身评估。我们提出的结果表明，对于六个领先的深度人脸识别系统，使用不到10个主面孔就可以在LFW或RFW数据集中获得相当大的身份覆盖率。在3D中，我们使用2D StyleGAN 2生成器生成人脸，并使用深度3D人脸重建网络预测3D结构。当使用两个不同的3D人脸识别系统时，我们能够获得40%-50%的覆盖率。此外，我们提出了生成成对的2D RGB和3D主面，同时匹配2D和3D模型具有高的模仿率。
2022-11-28 cs.CR cs.CV cs.LG
Deep Estimation of Speckle Statistics Parametric Images
Concordia University（康考迪亚大学）；University of Wisconsin（威斯康星大学）
定量超声（QUS）提供了有关组织特性的重要信息。QUS参数图像可以通过将包络数据划分为小的重叠块并计算不同的散斑统计（诸如Nakagami和Homodyned K分布（HK分布）的参数）来形成。计算的QUS参数图像可能是错误的，因为在补丁内只有少数独立样本可用。另一个挑战是假设贴片内的包络样本来自相同的分布，考虑到组织通常不是均匀的，这一假设经常被违反。在本文中，我们提出了一种基于卷积神经网络（CNN）的方法来估计QUS参数图像没有修补。我们构建了一个从HK分布中采样的大型数据集，该数据集具有随机形状和QUS参数值的区域。然后，我们使用一个众所周知的网络来估计QUS参数在多任务学习的方式。我们的结果证实，该方法是能够减少错误，提高边界清晰度在QUS参数图像。
2022-06-08 cs.AI cs.CV eess.IV
Pillar Networks++: Distributed non-parametric deep and wide networks
Imperial College London（帝国理工学院）；Cortexica Vision Systems Limited（Cortexica视觉系统有限公司）
在最近的工作中，它被证明，结合基于多核的支持向量机（SVM）可以导致在动作识别数据集（HMDB-51数据集）上接近最先进的性能。这比除了深度卷积特征提取器之外还使用手工特征的框架低0.4%。在目前的工作中，我们表明，将分布式高斯过程与多流深度卷积神经网络（CNN）相结合，可以减轻用手工特征增强神经网络的需求。与之前的工作相比，我们将每个深度神经卷积网络视为专家，其中各个预测（及其各自的不确定性）被组合到专家产品（PoE）框架中。
2017-08-18 cs.CV cs.NE stat.CO
