Online Orthogonal Dictionary Learning Based on Frank-Wolfe Method
Hong Kong University of Science and Technology（香港科技大学）
字典学习是信号处理和机器学习中广泛使用的一种无监督学习方法。现有的大多数词典学习工作都是以离线方式进行的。词典学习主要有两种离线方式。一种是对字典和稀疏代码进行替代优化;另一种方法是通过将字典限制在正交组上来优化字典。后者被称为正交字典学习，其具有较低的复杂度实现，因此，它更有利于低成本设备。然而，现有的正交字典学习方案只能处理批量数据，不能在线实现，不适用于实时应用。本文提出了一种新的在线正交字典计划，动态学习的字典从流数据，而无需存储的历史数据。该方案包括一个新的问题制定和有效的在线算法设计与收敛性分析。在问题的制定，我们放松正交约束，使一个有效的在线算法。在算法设计中，我们提出了一种新的基于Frank-Wolfe的在线算法，其收敛速度为O（lnt/t^（1/4））。的收敛速度的关键系统参数也来自。合成数据和真实世界的传感器读数的实验证明了所提出的在线正交字典学习方案的有效性和效率。
2021-11-25 cs.LG eess.SP math.OC
Neurogenesis-Inspired Dictionary Learning: Online Model Adaption in a Changing World
University of Southern California（南加州大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在本文中，我们专注于在线表示学习在非平稳环境中，可能需要不断适应的模型架构。我们提出了一种新的在线字典学习（稀疏编码）框架，它包含了添加和删除隐藏单元（字典元素），并受到海马齿状回中成人神经发生现象的启发，已知与改善认知功能和适应新环境有关。在在线学习设置中，新的输入实例分批顺序到达，神经元出生通过添加具有随机初始权重的新单元（随机字典元素）来实现;新单元的数量由字典的当前性能（表示误差）确定，较高的误差导致出生率增加。神经元死亡是通过在我们的在线交替最小化方案的每次迭代中对块坐标下降优化中的字典施加l1/l2正则化（组稀疏性）来实现的，该方案在代码和字典更新之间迭代。最后，通过在字典元素中引入稀疏性，便于隐藏单元连接自适应。我们对几个真实数据集（图像和语言）以及合成数据的经验评估表明，在非平稳数据的情况下，所提出的方法可以大大优于Mairal等人（2009）的最先进的固定大小（非自适应）在线稀疏编码。此外，我们识别数据的某些属性（例如，具有几乎不重叠的支持的稀疏输入）和模型（例如，字典稀疏性）与这样的改进相关联。
2017-02-19 cs.AI cs.CV cs.LG
Scalable Convolutional Dictionary Learning with Constrained Recurrent Sparse Auto-encoders
Harvard University（哈佛大学）；Manifold AI（Manifold人工智能公司）
给定一组观测信号的卷积字典，精心设计的自动编码器能否在存在噪声的情况下恢复字典？我们引入了一个自动编码器架构，称为约束循环稀疏自动编码器（CRsAE），回答这个问题的肯定。给定输入信号和近似字典，编码器使用FISTA找到稀疏近似。解码器通过将字典应用于编码器的输出来重构信号。CRsAE中的编码器和解码器在用于字典学习的基于优化的交替最小化方案中并行稀疏编码和字典更新步骤。因此，编码器和解码器的参数不是独立的，这是我们第一次强制执行的约束。我们推导出反向传播算法CRsAE。CRsAE是一个盲声源分离的框架，只有知道源（字典元素）的数量，并假设稀疏-许多可以重叠，是能够分离它们。我们证明了它的实用程序的背景下，尖峰排序，计算神经科学中的声源分离问题。我们证明了CRsAE的能力，以恢复潜在的字典，并表征其灵敏度作为SNR的函数。
2018-07-12 cs.LG stat.ML
Online Learning Sensing Matrix and Sparsifying Dictionary Simultaneously for Compressive Sensing
Technion - Israel Institute of Technology（以色列理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究了在大规模训练数据集上同时学习感知矩阵和稀疏化字典的问题。为了解决制定的联合学习问题，我们提出了一个在线算法，包括一个封闭的形式的解决方案，用于优化传感矩阵与固定的稀疏化字典和随机方法学习稀疏化字典的大数据集时，传感矩阵给定的传感矩阵。受益于在大数据集上的训练，通过所提出的算法获得的压缩感知（CS）系统在信号恢复精度方面比现有的系统产生更好的性能。对自然图像的仿真结果表明，与现有的方法相比，所提出的在线算法是有效的。
2018-06-02 cs.LG
HYDRA: Competing convolutional kernels for fast and accurate time series classification
Monash University（莫纳什大学）
我们演示了用于时间序列分类的字典方法之间的简单连接，该方法涉及提取和计算时间序列中的符号模式，以及基于使用卷积核（即ROCKET及其变体）转换输入时间序列的方法。我们表明，通过调整一个单一的超参数，它是可以移动的程度之间的模型类似字典的方法和模型类似火箭。我们提出了HYPERT，一个简单，快速，准确的字典方法的时间序列分类使用竞争卷积核，结合火箭和传统的字典方法的关键方面。HYDRONIC比现有的最精确的字典方法更快，更准确，并且可以与ROCKET及其变体相结合，以进一步提高这些方法的准确性。
2022-03-25 cs.LG
CDLNet: Robust and Interpretable Denoising Through Deep Convolutional Dictionary Learning
New York University（纽约大学）
基于深度学习的方法在图像去噪方面拥有最先进的结果，但由于它们是从不太了解的构建块（如批量归一化，残差学习和特征域处理）构建的，因此仍然难以解释。展开优化网络提出了一种可解释的替代方案，通过从经典的迭代优化方法中导出其架构来构建深度神经网络，而不使用标准深度学习工具箱中的技巧。到目前为止，这些方法已经证明了性能接近最先进的模型，同时使用其可解释的结构来实现低学习参数计数。在这项工作中，我们提出了一个展开的卷积字典学习网络（CDLNet），并在低参数和高参数计数机制中展示了其具有竞争力的去噪性能。具体来说，我们表明，该模型优于国家的最先进的去噪模型时，缩放到类似的参数计数。此外，我们利用模型的可解释结构来增强网络的阈值，从而实现最先进的盲去噪性能，并对训练期间看不到的噪声水平进行近乎完美的泛化。
2021-03-05 cs.LG eess.IV
Online Adaptive Image Reconstruction (OnAIR) Using Dictionary Models
University of Michigan（密歇根大学）
稀疏模型和低秩模型在从有限的或损坏的测量值重建图像和视频中很受欢迎。字典或变换学习方法在去噪、修复和医学图像重建等应用中非常有用。本文提出了一个框架，在线（或时序）自适应重建的动态图像序列的线性（通常欠采样）测量。我们模型的时空补丁的基础动态图像序列稀疏的字典，我们同时估计字典和图像顺序从流测量。还考虑了对适应字典的多个约束，例如酉矩阵或提供额外效率或鲁棒性的低秩字典原子。所提出的在线算法具有内存效率，并且涉及字典原子、稀疏系数和图像的简单更新。数值实验表明，所提出的方法在逆问题，如视频重建或修复噪声，亚采样像素，和动态磁共振图像重建从非常有限的测量的有用性。
2019-07-22 cs.LG stat.ML
Compressed Online Dictionary Learning for Fast fMRI Decomposition
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Paris-Saclay University（巴黎萨克雷大学）
我们提出了一种快速静息状态fMRI空间分解的非常大的数据集，基于减少的时间维度之前，应用字典学习连接的个人记录从组的主题。介绍了一个措施的对应关系的空间分解休息功能磁共振成像，我们证明了时间减少字典学习产生的结果可靠的非减少分解。我们还表明，这种减少显着提高计算的可扩展性。
2016-02-08 cs.LG stat.ML
Fast Convolutional Dictionary Learning off the Grid
Massachusetts Institute of Technology (MIT)（麻省理工学院）；Massachusetts General Hospital (MGH)（麻省总医院）；Harvard Medical School（哈佛医学院）；Harvard University（哈佛大学）
给定一个连续时间信号，它可以被建模为来自多个源的局部时移事件的叠加，卷积字典学习（CDL）的目标是通过卷积稀疏编码（CSC）识别事件的位置，并通过卷积字典更新（CDU）学习每个源的模板。在实践中，因为我们在离散时间的均匀采样网格上观察连续时间信号的样本，所以经典的CSC方法只能产生事件发生在该网格上的时间的估计，这降低了CDU的性能。我们引入了一个CDL框架，显着减少了在离散时间进行估计所产生的错误。具体而言，我们构建了一个扩展的字典，不仅包括离散时间的模板移位，但也插值的变体，通过带限插值，占连续时间的移位。对于CSC，我们开发了一种新的计算效率的CSC算法，称为卷积正交匹配追踪与插值字典（COMP-INTERP）。我们将COMP-INTERP与连续基追踪（CBP）进行了基准测试，CBP是最先进的CSC算法，用于估计离网事件，并在模拟数据上证明：1）COMP-INTERP达到了类似的准确度水平，2）快了两个数量级。对于CDU，我们推导出一个新的程序来更新给定的稀疏代码，可以发生在离散时间网格上和关闭的模板。我们还表明，3）字典更新与过完备字典产生更准确的模板。最后，我们将这些算法应用于电生理记录中的锋电位排序问题，并展示了它们的竞争性能。
2019-07-22 cs.LG eess.SP
Online Graph Dictionary Learning
Univ.Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）；Ecole Polytechnique（巴黎综合理工学院）；IRISA（布列塔尼大西洋信息技术与系统研究所）
字典学习是表示学习的一个重要工具，它将数据解释为几个基本元素的线性组合。然而，这种分析在图学习的背景下不适用，因为图通常属于不同的度量空间。我们通过提出一种新的在线图字典学习方法来填补这一空白，该方法使用Gromov Wasserstein分歧作为数据拟合项。在我们的工作中，图通过其节点的成对关系进行编码，并建模为图原子的凸组合，即字典元素，通过在线随机算法进行估计，该算法在具有潜在不同节点数的未注册图的数据集上进行操作。我们的方法自然地扩展到标记图，并完成了一个新的上限，可以作为一个快速近似的Gromov Wasserstein在嵌入空间。我们提供的数字证据表明，我们的方法的兴趣，无监督嵌入的图形数据集和在线图子空间估计和跟踪。
2021-07-12 cs.LG
A Dictionary Approach to Domain-Invariant Learning in Deep Networks
Purdue University（普渡大学）；Duke University（杜克大学）
在本文中，我们通过在卷积神经网络（CNN）中仅使用少量特定于域的参数来显式建模域偏移，来考虑域不变深度学习。通过利用卷积滤波器可以很好地近似为一小组字典原子的线性组合的观察结果，我们首次从经验和理论上证明，通过将卷积层分解为特定于域的原子层和域共享系数层，可以有效地处理域移位，同时两者都保持卷积。输入通道现在将首先仅与每个相应的域特定字典原子进行空间卷积以“吸收”域变化，然后使用训练的公共分解系数线性组合输出通道以促进跨域的共享语义。我们使用玩具的例子，严格的分析，并与不同的数据集和架构的真实世界的例子，以显示所提出的插件框架的有效性，在交叉和联合域的性能和领域自适应。使用所提出的架构，我们只需要一小组字典原子来建模每个额外的域，这带来了可以忽略不计的额外参数，通常是几百个。
2020-09-28 cs.CV cs.LG stat.ML
Distributed Convolutional Dictionary Learning (DiCoDiLe): Pattern Discovery in Large Images and Signals
INRIA（法国国家信息与自动化研究所）；Université Paris Saclay（巴黎萨克雷大学）
卷积字典学习（CDL）估计适合多维数据的移位不变基。CDL已被证明可用于图像去噪或修复，以及多元信号的模式发现。由于估计的模式可以定位在信号或图像中的任何地方，优化技术面临着在具有数百万像素或时间样本的极高维度上工作的困难，这与标准的基于块的字典学习相反。为了解决这个优化问题，这项工作提出了一个分布式和异步算法，采用本地贪婪坐标下降和异步锁定机制，不需要一个中央服务器。该算法可用于将计算分布在与编码信号的大小成线性比例的多个工作器上。实验证实了缩放特性，这使我们能够学习模式的大尺度图像从哈勃太空望远镜。
2019-01-26 cs.DC cs.LG stat.ML
NOODL: Provable Online Dictionary Learning and Sparse Coding
University of Minnesota – Twin Cities（明尼苏达大学双城分校）；Princeton University（普林斯顿大学）
我们考虑字典学习问题，其目的是将给定数据建模为称为字典的矩阵的几列的线性组合，其中形成线性组合的稀疏权重称为系数。由于字典和系数，参数化的线性模型是未知的，相应的优化是固有的非凸。这是一个重大的挑战，直到最近，当字典学习的可证明算法被提出。然而，这些仅提供对字典的恢复的保证，而没有对系数的显式恢复保证。此外，字典中的任何估计误差不利地影响成功定位和估计系数的能力。这潜在地限制了现有可证明字典学习方法在系数恢复感兴趣的应用中的效用。为此，我们开发NOODL：一个简单的神经合理的交替基于优化的在线字典学习算法，恢复字典和系数正好在几何速率，当适当初始化。我们的算法，NOODL，也是可扩展的，适合大规模分布式实现的神经架构，我们的意思是，它只涉及简单的线性和非线性操作。最后，我们证实了这些理论结果，通过实验评估所提出的算法与目前最先进的技术。保留字：字典学习、可证明字典学习、在线字典学习、非凸、稀疏编码、支持恢复、迭代硬阈值、矩阵分解、神经架构、神经网络、noodl、稀疏表示、稀疏信号处理。
2019-08-27 cs.LG cs.NE stat.ML
Gaussian Process Convolutional Dictionary Learning
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
卷积字典学习（CDL），从数据中估计平移不变模板的问题，通常在模板上没有先验/结构的情况下进行。在数据稀缺或低信噪比（SNR）的情况下，学习的模板过拟合数据，缺乏平滑性，这可能会影响下游任务的预测性能。为了解决这个限制，我们提出了GPCDL，这是一个卷积字典学习框架，使用高斯过程（GP）在模板上强制先验。随着对平滑度的关注，我们从理论上证明了施加GP先验相当于维纳滤波学习的模板，从而抑制高频分量并促进平滑度。我们表明，该算法是一个简单的扩展经典的迭代加权最小二乘算法，独立的GP内核的选择。这个属性允许人们灵活地使用不同的平滑假设进行实验。通过模拟，我们表明，GPCDL学习平滑字典更好的准确性比非正规化的替代方案在一系列的SNR。通过对神经尖峰数据的应用，我们证明了GPCDL学习了一个更准确和视觉上可解释的平滑字典，与非正则化CDL以及参数化替代方案相比，具有更好的预测性能。
2021-11-25 cs.LG stat.AP stat.ML
Online Multilinear Dictionary Learning
Department of Electrical & Electronic Engineering, Imperial College London, United Kingdom（伦敦帝国理工学院电子与电气工程系）
提出了一种在线张量字典学习方法。在可分字典的假设下，利用张量收缩将$\mathcal{O}\left(L^N\right)$的$N$ -路模型简化为具有实时性的简单的$\mathcal{O}\left(NL^2\right)$矩阵方程。为了避免稀疏矩阵求逆引起的数值不稳定性，通过最小二乘解构造了一类具有记忆的随机梯度算法，以保证算法的收敛性和鲁棒性。讨论并实现了精确线搜索的梯度下降法和牛顿法。还详细解释了如何处理不良初始化和离群值的扩展。两个合成信号的实验证实了我们所提出的方法令人印象深刻的性能。
2020-03-10 cs.LG stat.ML
Online multidimensional dictionary learning
University Cadi Ayyad（卡迪·艾亚德大学）；Université du Littoral Côte d’Opale（滨海布洛涅大学）
本文提出基于 t-product 框架的在线多维字典学习方法，结合 Anderson 加速的 ISTA 算法提升稀疏求解效率，在数据补全等任务中优于现有加速技术。
2025-03-12 cs.LG cs.NA math.NA
COVID-19 Time-series Prediction by Joint Dictionary Learning and Online NMF
University of California, Los Angeles（加州大学洛杉矶分校）
预测COVID-19的传播和遏制是更广泛的科学界目前面临的最重要的挑战。困难的主要来源之一是每天可获得的COVID-19病例数据非常有限，除少数例外，大多数国家目前处于“指数传播阶段”，因此缺乏可用于预测传播和遏制之间的阶段性转变的信息。在本文中，我们提出了一种新的方法来预测COVID-19的传播基于字典学习和在线非负矩阵分解（在线NMF）。其核心思想是同时学习多个国家新的日常病例的短进化实例的字典模式，以便在字典模式中捕获它们的潜在相关结构。我们首先从整个时间序列中通过小批量学习来学习这样的模式，然后通过在线NMF进一步使它们适应时间序列。随着我们逐步适应和改进学习的字典模式以适应最近的观察结果，我们还使用它们通过部分拟合进行一步预测。最后，通过递归地应用一步预测，我们可以将我们的预测外推到不久的将来。我们的预测结果可以直接归因于学习的字典模式，因为它们的可解释性。
2020-04-20 cs.LG math.OC stat.ML
Personalized Convolutional Dictionary Learning of Physiological Time Series
Centre Borelli（博雷利中心）；Thales AVS（泰雷兹AVS公司）；ENS Paris-Saclay（巴黎萨克雷高等师范学校）；University of Pennsylvania（宾夕法尼亚大学）；CMAP（应用数学与计算机科学中心）；CNRS（法国国家科学研究中心）；Ecole polytechnique（巴黎综合理工学院）
本文提出个性化卷积字典学习（PerCDL），通过可学习的时空变换将全局字典适配为个体局部字典，并给出理论与实验验证。
2025-03-10 cs.LG math.ST stat.ML
Deep Network Classification by Scattering and Homotopy Dictionary Learning
PSL University（巴黎文理研究大学）；Collège de France（法兰西公学院）；Flatiron Institute（弗莱德森研究所）
我们介绍了一个稀疏散射深度卷积神经网络，它提供了一个简单的模型来分析深度表示学习的分类属性。在ImageNet 2012数据集上，使用分类器学习单个字典矩阵可以产生比AlexNet更高的分类准确率。该网络首先应用散射变换，该变换线性化由于几何变换（例如平移和小变形）而引起的可变性。稀疏$\ell^1$字典编码减少类内变化，同时通过线性空间的并集上的投影来保持类分离。它在深度卷积网络中实现，具有指数收敛的同伦算法。一个收敛性证明给出了一个一般的框架，包括ALISTA。分类结果在ImageNet上进行分析。
2020-02-20 cs.CV cs.LG stat.ML
ECG beats classification via online sparse dictionary and time pyramid matching
Zhuhai College of Jilin University（吉林大学珠海学院）；College of Communication Engineering（通信工程学院）；Jilin University（吉林大学）
最近，词袋（BOW）算法提供了有效的功能，并提高了ECG分类系统的准确性。然而，BOW算法有两个缺点：（1）。量化误差大，重构性能差;它丢失了心跳的时间信息，并且可能为不同种类的心跳提供混淆的特征。此外，心电分类系统可用于心血管病人的长时间监测和分析，同时会产生大量的数据，因此迫切需要一种高效的压缩算法。针对上述问题，本文利用小波特征构造稀疏字典，将量化误差降到最小。为了降低算法的复杂度，适应大规模的心跳运算，我们将在线字典学习与符号学习算法相结合，对字典和系数进行更新。采用系数矩阵表示心拍，大大减少了内存消耗，同时解决了量化误差问题。最后，我们构造金字塔来匹配每个ECG搏动的系数。因此，我们通过时间随机池化来获得包含节拍时间信息的特征。有效地解决了时间信息丢失的问题。实验结果表明：一方面，该算法对BOW具有较高的重构性能，存储方式具有高保真度和低内存消耗的优点;另一方面，该算法对心拍分类的准确率最高，更适合于大规模心拍数据的存储和分类。
2020-08-15 cs.CV cs.LG
Multi-Layer Convolutional Sparse Modeling: Pursuit and Dictionary Learning
Technion-Israel Institute of Technology（以色列理工学院）；Stanford University（斯坦福大学）
最近提出的多层卷积稀疏编码（ML-CSC）模型，由级联的卷积稀疏层，提供了一个新的解释卷积神经网络（CNN）。在这个框架下，CNN中的前向传递的计算相当于一个追踪算法，旨在从给定的输入信号中估计嵌套的稀疏表示向量（或特征图）。尽管已经成为CNN和稀疏建模之间的关键联系，但仍然缺乏对ML-CSC的更深入理解：没有追踪算法可以精确地服务于这个模型，也没有条件保证非空模型。虽然可以容易地获得近似满足ML-CSC约束的信号，但仍然不清楚如何简单地从模型中采样，更重要的是，如何从真实数据中训练卷积滤波器。在这项工作中，我们提出了一个健全的追求算法的ML-CSC模型，采用投影方法。我们提供了新的和改进的边界上的稳定性的解决方案，这样的追求，我们分析了不同的实际替代方案，以实现这在实践中。我们证明了滤波器的训练对于模型中的非平凡信号至关重要，并且我们推导出一种在线算法来从真实数据中学习字典，有效地产生级联稀疏卷积层。最后，但并非最不重要的是，我们证明了ML-CSC模型在无监督环境中的几个应用程序的适用性，提供了有竞争力的结果。我们的工作代表了矩阵分解，稀疏字典学习和稀疏自动编码器之间的桥梁，我们详细分析了这些连接。
2018-06-30 cs.CV cs.LG stat.ML
Online Multi-Source Domain Adaptation through Gaussian Mixtures and Dataset Dictionary Learning
Université Paris-Saclay（巴黎-萨克雷大学）；CEA, List（法国原子能和替代能源委员会List研究所）；Ecole Centrale de Lyon（里昂中央理工学院）
针对流式目标域的在线多源域适应问题，提出基于Wasserstein几何的在线高斯混合模型与数据集字典学习新方法，在Tennessee Eastman Process基准上实现实时适应并作为数据流记忆。
2024-07-29 cs.LG stat.ML
Convolutional Dictionary Learning by End-To-End Training of Iterative Neural Networks
Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）；Charité - Universitätsmedizin Berlin（柏林夏里特医学院）；University of Innsbruck（因斯布鲁克大学）
基于稀疏性的方法在信号处理领域有着悠久的历史，并已成功地应用于各种图像重建问题。所涉及的稀疏化变换或字典通常使用反映信号的假定属性的模型来预先训练，或者在重构期间自适应地学习，从而产生所谓的盲压缩感知方法。然而，通过这样做，变换从未结合生成信号的物理模型进行显式训练。此外，适当地选择所涉及的正则化参数仍然是一项具有挑战性的任务。另一个最近出现的正则化方法的训练范例是使用迭代神经网络（INN）-也称为展开网络-它包含物理模型。在这项工作中，我们构建了一个INN，它可以用作监督和物理信息的在线卷积字典学习算法。我们评估了所提出的方法，将其应用到一个现实的大规模动态MR重建问题，并将其与其他几个最近发表的作品。我们表明，所提出的INN改进了两种传统的模型不可知的训练方法，并且与深度INN相比也产生了有竞争力的结果。此外，它不需要选择正则化参数，并且与深度INN相比，每个网络组件都是完全可解释的。
2022-06-09 cs.LG eess.IV eess.SP
RoseCDL: Robust and Scalable Convolutional Dictionary Learning for Rare event and Anomaly Detection
Université Paris-Saclay, Inria, CEA（巴黎-萨克雷大学，法国国家信息与自动化研究所，法国国家科学研究中心）；Université Paris-Saclay, Inria, CNRS, Laboratoire Interdisciplinaire des Sciences du Numériques（巴黎-萨克雷大学，法国国家信息与自动化研究所，法国国家科学研究中心，跨学科数字科学实验室）
RoseCDL通过高效训练和在线异常检测方法，提升大规模信号中稀有事件和异常检测的鲁棒性和效率。
2026-04-28 cs.LG
On the Reconstruction Risk of Convolutional Sparse Dictionary Learning
Carnegie Mellon University（卡内基梅隆大学）
稀疏字典学习（SDL）已经成为一种流行的方法，用于自适应地识别数据集的简约表示，这是机器学习和信号处理中的一个基本问题。虽然SDL的大多数工作都假设独立和相同分布的样本的训练数据集，但称为卷积稀疏字典学习（CSDL）的变体放宽了这一假设，允许更一般的顺序数据源，如时间序列或其他相关数据。虽然最近的工作已经探讨了经典SDL的统计特性，CSDL的统计特性仍然没有得到研究。本文开始研究这一点，确定极小极大收敛速度的CSDL重建风险方面，既上限的风险建立CSDL估计和证明匹配的信息理论下界。我们的研究结果表明，重建风险的一致性在“超稀疏”设置中是可能的，其中稀疏性（即，特征出现的次数）在$o(N)$中，就训练序列的长度N而言。值得注意的是，我们的结果做出了非常弱的假设，允许任意字典和相关测量噪声。最后，我们验证了我们的理论结果与数值实验的合成数据。
2018-02-24 cs.IT cs.LG math.IT
Analysis Dictionary Learning: An Efficient and Discriminative Solution
North Carolina State University（北卡罗来纳州立大学）；Raytheon Integrated Defense Systems（雷神综合防御系统公司）
判别式字典学习（DL）方法已被广泛提倡用于图像分类问题。为了进一步提高它们的辨别能力，大多数最先进的DL方法在学习阶段中都有额外的约束。然而，这些各种约束导致额外的计算复杂性。因此，我们提出了一种有效的判别卷积分析字典学习（DCADL）方法，作为一个低成本的判别DL框架，既表征图像结构，又细化类间结构表示。DCADL联合学习卷积分析字典和通用分类器，同时大大降低了训练和测试阶段的时间复杂度，并实现了有竞争力的准确性，从而在许多标准数据库的实验中表现出很好的性能。
2019-03-07 cs.LG stat.ML
Online matrix factorization for Markovian data and applications to Network Dictionary Learning
University of California, Los Angeles（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
在线矩阵分解（OMF）是字典学习问题的基本工具，它通过减少提取特征的数量来近似表示复杂数据集。在文献中，大多数OMF算法的收敛保证假设数据矩阵之间的独立性，并且依赖数据流的情况在很大程度上仍未被探索。在本文中，我们证明了一个非凸推广的著名的OMF算法的i.i.d. \citep{mairal2010online}中的数据流几乎必然收敛到期望损失函数的临界点集，即使数据矩阵是满足温和混合条件的某个底层马尔可夫链的函数。这使得人们可以更有效地从相关数据流中提取特征，因为不需要对数据序列进行二次采样来近似满足独立性假设。作为主要的应用，通过结合在线非负矩阵分解和最近的MCMC算法从网络中采样图案，我们提出了一种新的网络字典学习框架，它以在线方式从给定的网络中提取“网络字典补丁”，对网络的主要特征进行编码。我们展示了这种技术及其在真实网络数据上的网络去噪问题中的应用。
2020-11-07 cs.DS cs.LG math.OC
Applications of Online Nonnegative Matrix Factorization to Image and Time-Series Data
University of California Los Angeles（加州大学洛杉矶分校）
在线非负矩阵分解（ONMF）是一种在线环境中的矩阵分解技术，其中数据以流式方式获取，并且每次更新矩阵因子。这使得因子分析能够与新数据样本的到达同时进行。在这篇文章中，我们演示了如何使用在线非负矩阵分解算法从相关数据集的集合中学习联合字典原子。我们提出了一种基于ONMF算法的时间序列数据集的时态字典学习方案。我们在历史温度数据、视频帧和彩色图像的应用环境中展示了我们的字典学习技术。
2020-11-10 cs.LG
Fault Handling in Large Water Networks with Online Dictionary Learning
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial（工业机器人与信息技术研究所）
供水管网的故障检测和隔离是一个活跃的话题，由于其模型的数学复杂性和增加的数据可用性，通过传感器的位置。在这里，我们简化了模型，提供了一个数据驱动的替代方案，考虑到网络拓扑进行传感器放置时，然后继续通过在线字典学习的基础上传入的传感器数据来构建一个网络模型。在线学习速度很快，可以处理大型网络，因为它一次处理小批量信号，并且可以将新数据不断集成到现有网络模型中，无论是在开始训练时还是在遇到新数据样本时的生产中。该算法在小型和大型网络上进行测试时表现出良好的性能。
2020-09-07 cs.LG cs.NA cs.SY
Unsupervised Dictionary Learning for Anomaly Detection
University of Bucharest（布加勒斯特大学）；The Research Institute of the University of Bucharest (ICUB)（布加勒斯特大学研究院（ICUB））
我们研究了采用字典学习来解决大多数异常检测应用程序的要求的可能性，例如缺乏监督，在线配方，低误报率。我们提出了新的结果，我们最近的半监督在线算法，TODDLeR，反洗钱的应用。我们还介绍了一种新的无监督的方法，使用性能的学习算法的样本的性质的指示。
2020-09-07 cs.CR cs.CV cs.LG
A Method for Robust Online Classification using Dictionary Learning: Development and Assessment for Monitoring Manual Material Handling Activities Using Wearable Sensors
University of Southern California（南加州大学）；Texas A&M University（得克萨斯农工大学）；Virginia Tech（弗吉尼亚理工大学）
基于稀疏估计的分类方法在处理图像等高维数据方面具有很好的效果，近年来受到了广泛的关注。在本文中，提出了一种方法，以提高性能的稀疏表示分类（SRC）的方法，然后将其应用到人类工人的在线过程监控的问题，特别是手动材料处理（MMH）操作使用可穿戴传感器（涉及111个传感器通道）监测。我们提出的方法优化的设计矩阵（又名字典）的线性模型用于SRC，最大限度地减少其不适定性，以实现稀疏的解决方案。这个过程基于字典学习（DL）的思想：我们优化由训练数据集形成的设计矩阵，以最大限度地减少冗余和一致性，并减少这些数据集的大小。使用这种优化的训练数据可以随后提高分类精度，并有助于减少SRC所需的计算时间;因此，它更适用于在线过程监控。所提出的方法的性能证明使用可穿戴传感器从手动材料处理实验获得的数据，并被发现优于基准方法的准确性，同时也需要适当的MMH在线监测的计算时间。
2018-10-22 cs.LG stat.ME stat.ML
Convolutional dictionary learning based auto-encoders for natural exponential-family distributions
Harvard University（哈佛大学）；Massachusetts Institute of Technology（麻省理工学院）；Brown University（布朗大学）
我们介绍了一类自编码器神经网络，它是为来自自然指数族的数据定制的（例如，计数数据）。这些架构的灵感来自于在具有稀疏约束的卷积生成模型中学习滤波器的问题，通常被称为卷积字典学习（CDL）。我们的工作是第一个结合卷积生成模型和深度学习的想法，用于自然建模的非高斯分布数据（例如，二项式和泊松）。这种观点为我们提供了一个可扩展的和灵活的框架，可以重新用于生成模型上的各种任务和假设。具体而言，用于求解CDL（无监督任务）的迭代优化过程被映射到展开和约束的神经网络，对输入进行迭代调整以考虑生成分布。我们还表明，该框架可以很容易地扩展到判别训练，适合监督任务。我们证明了1）以无监督的方式拟合生成模型来学习神经尖峰数据背后的潜在刺激，与其他基线相比，可以获得更好的拟合优度，2）与最先进的监督泊松图像去噪算法相比，具有竞争力的性能，参数明显较少，以及3）浅二项式自动编码器的梯度动态。
2020-06-28 cs.LG stat.AP stat.ML
Online Dictionary Learning Based Fault and Cyber Attack Detection for Power Systems
University of California, Santa Cruz（加州大学圣克鲁兹分校）
新兴的广域监测系统（WAMS）带来了电网的态势感知的显着改善。然而，新引入的系统可能会增加网络攻击的风险，这些攻击可能会伪装成正常的物理干扰。本文利用流数据采掘分类器（Hoeffding adaptive tree）和半监督学习技术来处理事件和入侵检测问题，以准确区分网络攻击和常规系统扰动。首先，我们提出的方法通过从未标记的数据中学习更高级别的特征来构建字典。然后，标记的数据表示为学习的字典原子的稀疏线性组合。我们利用这些稀疏代码来训练在线分类器以及有效的变化检测器。我们用工业控制系统网络攻击数据集进行数值实验。我们考虑五种不同的情况：短路故障，线路维护，远程跳闸命令注入，继电器设置的变化，以及错误的数据注入。数据是基于修改后的IEEE 9总线系统生成的。仿真结果表明，我们提出的方法优于国家的最先进的方法。
2021-08-24 cs.CR cs.LG cs.SY
Learning spatially adaptive sparsity level maps for arbitrary convolutional dictionaries
Physikalisch-Technische Bundesanstalt (PTB), Braunschweig and Berlin, Germany（物理技术联邦机构（PTB），柏林和不莱梅，德国）；School of Mathematical Sciences, Queen Mary University of London, UK（伦敦女王学院数学科学学院，英国）
本文提出了一种学习方法，通过改进的网络设计和专门的训练策略，扩展了基于神经网络推断的时空自适应稀疏性水平图的图像重建方法，实现了滤波器排列不变性，并在低场MRI中展示了使用不同字典的优势。
2026-05-18 cs.CV cs.LG eess.IV
Convolutional Dictionary Learning in Hierarchical Networks
Harvard University（哈佛大学）
滤波器组是分析分段平滑信号（如自然图像）的常用工具。基于小波域图像尺度系数和细节系数的经验观测特性，提出了一种分段平滑信号的分层深度生成模型，该模型是一种跨尺度递归：通过对下一层的尺度系数进行滤波得到一层的低通尺度系数，并添加通过对稀疏向量进行滤波得到的高通细节新息.这种递归描述了一个线性动态系统，它是一个跨尺度的非高斯马尔可夫过程，与深度网络的多层卷积稀疏编码（ML-CSC）生成模型密切相关，除了我们的模型允许更深的架构，并结合了稀疏和非稀疏信号表示。我们提出了一种交替最小化算法，用于在给定零层观测的情况下学习该分层模型中的滤波器，例如，自然图像。该算法在系数估计步骤和滤波器更新步骤之间交替。系数更新步骤执行稀疏（细节）和平滑（尺度）编码，并且当展开时，导致深度神经网络。我们使用MNIST来展示模型的表示能力，以及其派生的分类特征（系数）。
2019-07-23 cs.LG stat.ML
Sparse-promoting Full Waveform Inversion based on Online Orthonormal Dictionary Learning
Center for Energy and Geo Processing (CeGP) at Georgia Tech and KFUPM（乔治亚理工学院与法赫德国国石油矿物大学能源与地球处理中心）
全波形反演（FWI）通过迭代地最小化记录的和计算的地震资料之间的失配来提供地下的高分辨率图像。它已经成功地攻击高斯-牛顿方法和稀疏促进正则化的基础上固定的多尺度变换，允许显着的子采样的地震资料时，在每个FWI数据拟合迭代的模型扰动可以表示与稀疏系数。而不是使用分析变换与预定义的字典，以实现稀疏表示，我们引入了一个自适应变换称为稀疏正交变换（SOT），其字典是从许多小的训练补丁从模型扰动在以前的迭代学习。基于补丁的字典被约束为正交规范，并使用在线方法进行训练，以提供整个模型扰动的复杂特征和变化的最佳稀疏表示。训练方法的复杂度与一个小块中样本数量的立方成正比。通过将压缩子采样和基于自适应SOT的表示结合到每个FWI迭代的高斯-牛顿最小二乘问题中，可以在对SOT系数应用l1范数稀疏约束之后恢复模型扰动。合成模型的数值实验表明，基于SOT的稀疏促进正则化可以提供强大的FWI结果，减少计算。
2016-11-04 cs.LG cs.NA math.NA
Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning
University of Southern California（南加州大学）；Princeton University（普林斯顿大学）；University of Minnesota（明尼苏达大学）
我们考虑的问题，分解成其组成的典型的Polyadic（CP）因子的结构3路张量。这种分解可以被视为张量奇异值分解（SVD）的推广，揭示了张量维度（特征）如何相互作用。然而，由于这些因素是先验未知的，相应的优化问题本质上是非凸的。现有的保证算法，处理这种非凸性产生不可约的错误（偏见），并只适用于所有因素具有相同的结构的情况下。为此，我们开发了一个在线结构张量因式分解的可证明算法，其中一个因子服从一些不相干条件，而其他因子是稀疏的。具体来说，我们表明，在一些相对温和的条件下的初始化，秩和稀疏性，我们的算法恢复的因素完全（缩放和置换）在一个线性速率。作为对我们理论结果的补充，我们的合成和真实世界数据评估与相关技术相比显示出卓越的性能。此外，它的可扩展性和动态学习能力使其适合现实世界的任务。
2020-06-30 cs.LG stat.ML
Kernel Recursive Least Squares Dictionary Learning Algorithm
Electrical Engineering Department, Hamedan University of Technology（哈马丹技术大学电子工程系）；Department of Electrical and Computer Engineering, IDE, University of Stavanger（斯塔万格大学电子与计算机工程系）
本文提出一种基于递归最小二乘的在线核字典学习算法，以低计算复杂度实现接近批量训练的稀疏表示分类性能。
2025-07-02 cs.LG eess.SP
Graph-Aided Online Multi-Kernel Learning
University of California, Irvine（加州大学欧文分校）
多核学习（MKL）已广泛应用于函数逼近任务。MKL的关键问题是将内核组合到指定的字典中。字典中包含不相关的核会降低MKL的准确性，并增加计算复杂性。为了提高函数逼近的精度，降低计算复杂性，研究了数据驱动的核函数选择方法.具体地说，基于内核之间的相似性，新的框架构造和细化一个图，以帮助选择一个子集的内核。此外，随机特征近似被用来使连续获得的数据的在线实施。理论分析表明，我们提出的算法享有更严格的次线性遗憾界相比，最先进的基于图的在线MKL替代品。在一些真实数据集上的实验也展示了我们新的图形辅助框架的优势。
2021-02-09 cs.LG
Efficient ADMM-based Algorithms for Convolutional Sparse Coding
Aalto University（阿尔托大学）
卷积稀疏编码通过引入全局平移不变模型来改进标准稀疏近似。最有效的卷积稀疏编码方法是基于乘法器的交替方向方法和卷积定理。这些方法之间唯一的主要区别是它们如何处理卷积最小二乘拟合子问题。这封信提出了一个解决这个子问题，提高了效率的国家的最先进的算法。我们还使用相同的方法来开发一种有效的卷积字典学习方法。此外，我们提出了一种新的卷积稀疏编码算法的近似误差的约束。
2021-09-07 cs.CV cs.LG
CNN inference acceleration using dictionary of centroids
Faculty of Mechanics and Mathematics, Moscow State University（莫斯科国立大学力学与数学系）
众所周知，常见CNN的卷积层中的乘法运算在推理阶段消耗大量时间。在这篇文章中，我们提出了一种灵活的方法来降低推理中卷积层的计算复杂性以及存储它们的空间量。该方法是基于质心滤波器量化和优于方法的基础上张量分解的大幅度。我们在ImageNet基准测试中对所提出的方法和CP张量分解系列进行了比较分析，发现我们的方法提供了近2.9倍的计算增益。尽管我们的方法很简单，但它不能直接应用于现代框架中的推理阶段，但对于计算流程可能会改变的情况可能很有用，例如CNN芯片设计师。
2018-10-19 cs.LG stat.ML
Generative Deep Deconvolutional Learning
Duke University（杜克大学）
生成贝叶斯模型被开发用于深度（多层）卷积字典学习。一种新的概率池化操作被集成到深度模型中，从而产生高效的自下而上和自上而下的概率学习。在学习深度卷积字典之后，通过解卷积推理来实现测试。为了加快这种推理，提出了一种新的统计方法，将顶层字典元素投影到数据级。在此之后，在测试期间仅需要一层去卷积。实验结果表明，该模型具有强大的能力，从图像中学习多层特征。在MNIST和Caltech 101数据集上都获得了很好的分类结果。
2015-02-22 cs.LG stat.ML
Online nonnegative CP-dictionary learning for Markovian data
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加州大学洛杉矶分校）
在线张量分解（OTF）是从流多模态数据中学习低维可解释特征的基本工具。虽然各种算法和理论方面的OTF最近已经调查，一个一般的收敛保证不需要任何不相干或稀疏假设的目标函数的固定点仍然缺乏，即使是独立同分布。案子在这项工作中，我们介绍了一种新的算法，学习一个CANDECOMP/PARAFAC（CP）的基础上，从一个给定的流的张量值的数据下的一般约束，包括非负性约束，诱导学习CP基础的可解释性。我们证明了我们的算法几乎必然收敛到目标函数的平稳点集的假设下，数据张量的序列是由一个潜在的马尔可夫链。我们的设置涵盖了经典的i.i.d.案例以及广泛的应用环境，包括由独立或MCMC采样生成的数据流。我们的结果弥补了OTF和在线矩阵分解在全局收敛性分析\commHL{for CP-decompositions}中的不足。实验上，我们表明，我们的算法收敛速度比标准算法的非负张量因式分解任务的合成和真实世界的数据。此外，我们还展示了我们的算法在图像，视频和时间序列数据的不同示例集上的实用性，说明了如何通过多种方式利用张量结构从相同的张量数据中学习定性不同的CP字典。
2022-04-03 cs.LG math.OC stat.ML
Decentralized Dynamic Discriminative Dictionary Learning
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
我们考虑在分布式在线环境中的判别式字典学习，其中代理网络的目标是在顺序接收观察结果的同时学习特征空间和模型参数的一组公共字典元素。我们将该问题描述为具有非凸目标的分布式随机规划，并提出了Arrow-Hurwicz鞍点算法的块变体来求解该问题。使用拉格朗日乘子来惩罚它们之间的差异，只有相邻节点交换模型信息。我们表明，这个鞍点算法的决策渐近平均达到一阶平稳条件。
2016-05-03 cs.LG stat.ML
Convolutional Dictionary Learning: Acceleration and Convergence
The University of Michigan（密歇根大学）
本文提出一种无需参数调整的块近端梯度方法（BPG-M）用于卷积字典学习，通过多块更新和加速技术，实现比ADMM更稳定收敛且更低内存消耗，并在图像去噪中表现更优。
2017-08-25 cs.LG math.OC
Structure Parameter Optimized Kernel Based Online Prediction with a Generalized Optimization Strategy for Nonstationary Time Series
Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences（中国科学院福建物质结构研究所）；Tsinghua University（清华大学）
本文研究了再生核Hilbert空间中非平稳时间序列的稀疏化辅助在线预测算法。通常的在线预测算法包括核结构参数的选择和核权向量的更新。对于结构参数，采用稀疏化技术和在线选择性建模准则选择核字典，并根据协方差矩阵自适应进化策略（CMA-ES）间歇优化核协方差矩阵。对实对称协方差矩阵进行优化，不仅可以利用输入变量的互相关性提高核结构的灵活性，而且可以部分缓解非平稳时间序列核字典选择带来的预测不确定性。为了充分捕捉预测误差时间序列的潜在动态特征，设计了一种广义优化策略，在多核连接模式下依次构造核字典.广义优化策略提供了一种更独立的方式来构建整个内核连接，这增强了自适应跟踪动态特性变化的能力。数值模拟表明，该方法对非平稳时间序列具有较好的预测性能。
2021-08-18 cs.LG eess.SP
Convergence of alternating minimisation algorithms for dictionary learning
Universität Innsbruck（因斯布鲁克大学）
本文为字典学习中的 MOD 和 ODL 算法推导了收敛的充分条件，证明在良好初始化下二者均以几何速率收敛到生成字典，并适用于支撑集非均匀分布的更真实数据模型。
2023-05-26 cs.LG math.OC stat.ML
A Generative Model for Deep Convolutional Learning
Duke University（杜克大学）
为深度（多层）卷积字典学习开发了一个生成模型。一种新的概率池化操作被集成到深度模型中，产生了高效的自底向上（预训练）和自顶向下（细化）的概率学习。实验结果表明，该模型具有强大的能力，从图像中学习多层特征，并在MNIST和Caltech 101数据集上获得了良好的分类结果。
2015-04-15 cs.LG cs.NE stat.ML
Semi-supervised Learning for Convolutional Neural Networks via Online Graph Construction
深度学习最近取得的有希望的成就依赖于大量的标记数据。考虑到网络上丰富的数据，其中大多数根本没有标签。因此，重要的是要提高泛化性能，使用未标记的数据在监督任务与少数标记的实例。在这项工作中，我们重新审视了基于图的半监督学习算法，并提出了一种更适合深度卷积神经网络的在线图构造技术。我们考虑一种用于深度神经网络上的半监督学习的类EM算法：在前向传递中，基于网络输出构建图，然后将图用于损失计算，以帮助在后向传递中通过反向传播更新网络。我们证明了我们的在线方法的强度相比，传统的，其图形是静态的，但不够强大的功能表示事先。
2016-01-19 cs.CV cs.LG cs.NE
Convolutional Sparse Coding Fast Approximation with Application to Seismic Reflectivity Estimation
Technion – Israel Institute of Technology（以色列理工学院）；GeoEnergy, Inc.（GeoEnergy公司）
在稀疏编码中，我们试图提取输入向量的特征，假设数据本质上是基本构建块的稀疏叠加。类似地，神经网络通过学习训练数据集的特征来执行给定任务。近年来，数据驱动和模型驱动的特征提取方法都得到了广泛的应用，并取得了显著的效果。然而，实际的实现往往太慢，无法在现实生活中使用，特别是对于实时应用程序。我们提出了一个加速升级版本的经典迭代阈值算法，产生一个很好的近似卷积稀疏码在2-5次迭代。速度优势主要来自于观察到大多数求解器由于低效的全局阈值处理而减慢。其主要思想是在应用阈值之前，通过局部感受野能量对每个数据点进行归一化。通过这种方式，抑制了对强特征表达式的自然倾向，因此可以依赖于可以容易地近似或在训练期间学习的全局阈值。所提出的算法可以与已知的预定字典一起使用，或者与训练的字典一起使用。训练后的版本被实现为一个神经网络，设计为所提出的求解器的展开。所提出的解决方案的性能证明通过地震反演问题在合成和真实数据的情况下。我们还为稳定的支持恢复提供了理论保证。也就是说，我们证明了在一定的条件下，真正的支持是完美的第一次迭代内恢复。
2021-06-29 cs.CE cs.CV cs.LG
Unsupervised Learning of Word-Sequence Representations from Scratch via Convolutional Tensor Decomposition
无监督文本嵌入提取是机器学习中文本理解的关键。Word 2 Vec及其变体在将具有相似句法或语义含义的词映射到彼此接近的向量方面取得了实质性的成功。然而，提取上下文感知的词序列嵌入仍然是一个具有挑战性的任务。在大型语料库上训练是困难的，因为标签很难获得。更重要的是，对于预训练的模型来说，要获得对所有下游任务或任何新数据集都通用的单词序列嵌入是一个挑战。我们提出了一个两阶段的ConvDic+DeconvDec框架来解决这个问题，通过结合词序列字典学习模型和词序列嵌入解码模型。我们提出了一种卷积张量分解机制，在学习阶段学习好的单词序列短语词典。它被证明是更准确，更有效地比流行的交替最小化方法。在解码阶段，我们引入了一个反卷积框架，它不受句子长度变化的影响。我们使用ConvDic+DeconvDec提取的单词序列嵌入对于我们测试的一些下游任务来说普遍很好。该框架既不需要预训练也不需要先验/外部信息。
2018-05-28 cs.CL cs.LG
Deep Residual Autoencoders for Expectation Maximization-inspired Dictionary Learning
Harvard University（哈佛大学）；Manifold AI（流形人工智能）
我们引入了一种神经网络架构，称为约束递归稀疏自动编码器（CRsAE），解决了卷积字典学习问题，从而建立了字典学习和神经网络之间的联系。具体来说，我们利用字典学习的交替最小化算法的解释作为近似期望最大化算法来开发自动编码器，从而实现字典和正则化参数（ReLU偏差）的同时训练。编码器的前向通过使用称为FISTA的迭代近端梯度算法来近似E步骤的足够统计作为稀疏编码问题的解决方案。编码器可以被解释为递归神经网络或深度残差网络，在这两种情况下都具有双侧ReLU非线性。通过两阶段反向传播实现M步骤。第一阶段依赖于应用于编码器的线性解码器和范数平方损失。它与字典学习中的字典更新步骤并行。第二阶段通过将损失函数应用于编码器来更新正则化参数，该编码器包括由贝叶斯统计激励的参数的先验。我们在一个图像去噪任务中证明了CRsAE学习类似于Gabor的滤波器，并且EM启发的学习偏差方法优于传统方法。在记录大脑电活动的应用中，我们证明了CRsAE学习真实的尖峰模板，并将识别尖峰时间的过程加快了900倍，而不是基于凸优化的算法。
2020-10-18 cs.LG stat.ML
Real-Time Detection of Dictionary DGA Network Traffic using Deep Learning
Imperial College London（帝国理工学院）；Kensho Technologies（Kensho科技公司）；Tencent（腾讯）
僵尸网络和恶意软件在使用域生成算法（DGAs）标注到唯一的动态生成的Web地址时继续避免被静态规则引擎检测到。常见的DGA检测技术不能可靠地检测组合随机字典单词以创建紧密地反映合法域的域名的DGA变体。为了解决这个问题，我们创建了一个新的混合神经网络，比尔博的"装袋"模型，分析域和评分的可能性，他们产生的这种算法，因此是潜在的恶意。Bilbo是卷积神经网络（CNN）和长短期记忆（LSTM）网络用于DGA检测的第一个并行使用。我们发现，与当前最先进的深度学习架构相比，我们独特的架构在AUC、F1得分和准确性方面的性能最一致。我们使用逆向工程字典DGA域进行验证，并详细介绍了我们的实时的【形】实施策略，用于在大型金融企业中对真实世界的网络日志进行评分。在四个小时的实际网络流量中，该模型发现了至少五个商业供应商工具没有标记的潜在命令和控制网络。
2020-03-28 cs.CR cs.LG
Dictionary Learning over Distributed Models
Microsoft Research（微软研究院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们考虑在代理网络上学习字典模型，其中每个代理只负责字典元素的一部分。这种表述在大数据场景中是相关的，其中大型字典模型可能分布在不同的空间位置，并且由于通信和隐私考虑，将所有字典聚合在一个位置是不可行的。我们首先证明了推理问题的对偶函数是与不同代理相关的个体成本函数的集合，然后可以通过扩散策略有效地最小化。协作推理步骤生成代理用来更新它们的字典的双变量，而不需要共享这些字典或甚至训练数据的系数模型。这是一个强大的属性，它导致了一个有效的分布式过程，用于在大型网络上学习字典（例如，在我们的实验中有数百个代理）。此外，所提出的学习策略以在线方式操作，并且能够响应流数据，其中每个数据样本被呈现给网络一次。
2014-12-07 cs.DC cs.LG
