Joint Sensing Matrix and Sparsifying Dictionary Optimization for Tensor Compressive Sensing
University of Cambridge（剑桥大学）；Beijing Jiaotong University（北京交通大学）
张量压缩感知（TCS）是压缩感知（CS）的多维框架，并且与常规CS系统相比，它在减少存储量、简化硬件实现和保留信号的多维结构方面是有利的。在TCS系统中，代替使用随机感测矩阵和预定义字典，可以通过采用优化的多维感测矩阵和学习的多线性稀疏化字典来进一步提高平均情况性能。在本文中，我们提出了一种联合优化方法的传感矩阵和字典的TCS系统。对于TCS中的感知矩阵设计，在多线性字典固定的情况下，提出了一种具有封闭解的扩展可分方法和一种新的迭代不可分方法。此外，一个多维字典学习方法，利用多维结构的推导，并在学习过程中的传感矩阵的影响考虑。通过交替迭代优化传感矩阵和字典，实现了联合优化。使用合成数据和真实图像的数值实验表明，所提出的方法的优越性。
2016-01-28 cs.IT cs.LG math.IT
Compressed Online Dictionary Learning for Fast fMRI Decomposition
Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Paris-Saclay University（巴黎萨克雷大学）
我们提出了一种快速静息状态fMRI空间分解的非常大的数据集，基于减少的时间维度之前，应用字典学习连接的个人记录从组的主题。介绍了一个措施的对应关系的空间分解休息功能磁共振成像，我们证明了时间减少字典学习产生的结果可靠的非减少分解。我们还表明，这种减少显着提高计算的可扩展性。
2016-02-08 cs.LG stat.ML
Online Continuous Submodular Maximization
Yale Institute for Network Science（耶鲁大学网络科学研究所）；Department of Electrical Engineering, Yale University（耶鲁大学电气工程系）；Department of Electrical and Systems Engineering, University of Pennsylvania（宾夕法尼亚大学电气与系统工程系）
在本文中，我们考虑一个在线优化过程，其中的目标函数不是凸（也不是凹），而是属于一个广泛的连续子模函数类。首先，我们提出了一个变体的弗兰克-沃尔夫算法，可以访问的目标函数的全梯度。我们表明，它实现了遗憾界的$O(\sqrt{T})$（$T$是地平线的在线优化问题）对$(1-1/e)$ -近似的最佳可行的解决方案在事后。然而，在许多情况下，只有梯度的无偏估计可用。对于这样的设置，然后，我们提出了一个在线的随机梯度上升算法，也实现了遗憾界的$O(\sqrt{T})$遗憾，虽然对一个较弱的$1/2$ -近似的最佳可行的解决方案在事后。我们还将所得结果推广到$γ$ -弱次模函数，并证明了相同的次线性后悔界。最后，我们证明了我们的算法的效率在一些问题的情况下，包括非凸/非凹二次规划，子模集函数的多线性扩展，和D-最优设计。
2018-02-16 cs.AI cs.DS cs.LG
Online Multi-Source Domain Adaptation through Gaussian Mixtures and Dataset Dictionary Learning
Université Paris-Saclay（巴黎-萨克雷大学）；CEA, List（法国原子能和替代能源委员会List研究所）；Ecole Centrale de Lyon（里昂中央理工学院）
针对流式目标域的在线多源域适应问题，提出基于Wasserstein几何的在线高斯混合模型与数据集字典学习新方法，在Tennessee Eastman Process基准上实现实时适应并作为数据流记忆。
2024-07-29 cs.LG stat.ML
Online Tensor Methods for Learning Latent Variable Models
University of California, Irvine（加州大学欧文分校）
我们介绍了一个在线张量分解为基础的方法为两个潜在的变量建模问题，即（1）社区发现，其中我们学习的潜在社区，社会行动者在社交网络属于，和（2）主题建模，其中我们推断隐藏的主题的文本文章。我们考虑使用随机梯度下降矩张量的分解。我们在SGD中进行多线性运算的优化，避免直接形成张量，以节省计算和存储成本。我们提出了两个平台上的优化算法。我们基于GPU的实现利用SIMD架构的并行性，通过仔细优化存储和数据传输来实现最大的加速，而我们基于CPU的实现使用高效的稀疏矩阵计算，适合于大型稀疏数据集。对于社区发现问题，我们在Facebook，Yelp和DBLP数据集上展示了准确性和计算效率，对于主题建模问题，我们在纽约时报数据集上也展示了良好的性能。我们比较我们的结果的国家的最先进的算法，如变分法，并报告增益的准确性和增益的几个数量级的执行时间。
2015-10-03 cs.DC cs.LG cs.SI
NOODL: Provable Online Dictionary Learning and Sparse Coding
University of Minnesota – Twin Cities（明尼苏达大学双城分校）；Princeton University（普林斯顿大学）
我们考虑字典学习问题，其目的是将给定数据建模为称为字典的矩阵的几列的线性组合，其中形成线性组合的稀疏权重称为系数。由于字典和系数，参数化的线性模型是未知的，相应的优化是固有的非凸。这是一个重大的挑战，直到最近，当字典学习的可证明算法被提出。然而，这些仅提供对字典的恢复的保证，而没有对系数的显式恢复保证。此外，字典中的任何估计误差不利地影响成功定位和估计系数的能力。这潜在地限制了现有可证明字典学习方法在系数恢复感兴趣的应用中的效用。为此，我们开发NOODL：一个简单的神经合理的交替基于优化的在线字典学习算法，恢复字典和系数正好在几何速率，当适当初始化。我们的算法，NOODL，也是可扩展的，适合大规模分布式实现的神经架构，我们的意思是，它只涉及简单的线性和非线性操作。最后，我们证实了这些理论结果，通过实验评估所提出的算法与目前最先进的技术。保留字：字典学习、可证明字典学习、在线字典学习、非凸、稀疏编码、支持恢复、迭代硬阈值、矩阵分解、神经架构、神经网络、noodl、稀疏表示、稀疏信号处理。
2019-08-27 cs.LG cs.NE stat.ML
COVID-19 Time-series Prediction by Joint Dictionary Learning and Online NMF
University of California, Los Angeles（加州大学洛杉矶分校）
预测COVID-19的传播和遏制是更广泛的科学界目前面临的最重要的挑战。困难的主要来源之一是每天可获得的COVID-19病例数据非常有限，除少数例外，大多数国家目前处于“指数传播阶段”，因此缺乏可用于预测传播和遏制之间的阶段性转变的信息。在本文中，我们提出了一种新的方法来预测COVID-19的传播基于字典学习和在线非负矩阵分解（在线NMF）。其核心思想是同时学习多个国家新的日常病例的短进化实例的字典模式，以便在字典模式中捕获它们的潜在相关结构。我们首先从整个时间序列中通过小批量学习来学习这样的模式，然后通过在线NMF进一步使它们适应时间序列。随着我们逐步适应和改进学习的字典模式以适应最近的观察结果，我们还使用它们通过部分拟合进行一步预测。最后，通过递归地应用一步预测，我们可以将我们的预测外推到不久的将来。我们的预测结果可以直接归因于学习的字典模式，因为它们的可解释性。
2020-04-20 cs.LG math.OC stat.ML
Online Learning Sensing Matrix and Sparsifying Dictionary Simultaneously for Compressive Sensing
Technion - Israel Institute of Technology（以色列理工学院）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究了在大规模训练数据集上同时学习感知矩阵和稀疏化字典的问题。为了解决制定的联合学习问题，我们提出了一个在线算法，包括一个封闭的形式的解决方案，用于优化传感矩阵与固定的稀疏化字典和随机方法学习稀疏化字典的大数据集时，传感矩阵给定的传感矩阵。受益于在大数据集上的训练，通过所提出的算法获得的压缩感知（CS）系统在信号恢复精度方面比现有的系统产生更好的性能。对自然图像的仿真结果表明，与现有的方法相比，所提出的在线算法是有效的。
2018-06-02 cs.LG
Neurogenesis-Inspired Dictionary Learning: Online Model Adaption in a Changing World
University of Southern California（南加州大学）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在本文中，我们专注于在线表示学习在非平稳环境中，可能需要不断适应的模型架构。我们提出了一种新的在线字典学习（稀疏编码）框架，它包含了添加和删除隐藏单元（字典元素），并受到海马齿状回中成人神经发生现象的启发，已知与改善认知功能和适应新环境有关。在在线学习设置中，新的输入实例分批顺序到达，神经元出生通过添加具有随机初始权重的新单元（随机字典元素）来实现;新单元的数量由字典的当前性能（表示误差）确定，较高的误差导致出生率增加。神经元死亡是通过在我们的在线交替最小化方案的每次迭代中对块坐标下降优化中的字典施加l1/l2正则化（组稀疏性）来实现的，该方案在代码和字典更新之间迭代。最后，通过在字典元素中引入稀疏性，便于隐藏单元连接自适应。我们对几个真实数据集（图像和语言）以及合成数据的经验评估表明，在非平稳数据的情况下，所提出的方法可以大大优于Mairal等人（2009）的最先进的固定大小（非自适应）在线稀疏编码。此外，我们识别数据的某些属性（例如，具有几乎不重叠的支持的稀疏输入）和模型（例如，字典稀疏性）与这样的改进相关联。
2017-02-19 cs.AI cs.CV cs.LG
Online Graph Dictionary Learning
Univ.Côte d’Azur（蔚蓝海岸大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）；Ecole Polytechnique（巴黎综合理工学院）；IRISA（布列塔尼大西洋信息技术与系统研究所）
字典学习是表示学习的一个重要工具，它将数据解释为几个基本元素的线性组合。然而，这种分析在图学习的背景下不适用，因为图通常属于不同的度量空间。我们通过提出一种新的在线图字典学习方法来填补这一空白，该方法使用Gromov Wasserstein分歧作为数据拟合项。在我们的工作中，图通过其节点的成对关系进行编码，并建模为图原子的凸组合，即字典元素，通过在线随机算法进行估计，该算法在具有潜在不同节点数的未注册图的数据集上进行操作。我们的方法自然地扩展到标记图，并完成了一个新的上限，可以作为一个快速近似的Gromov Wasserstein在嵌入空间。我们提供的数字证据表明，我们的方法的兴趣，无监督嵌入的图形数据集和在线图子空间估计和跟踪。
2021-07-12 cs.LG
Provable Online CP/PARAFAC Decomposition of a Structured Tensor via Dictionary Learning
University of Southern California（南加州大学）；Princeton University（普林斯顿大学）；University of Minnesota（明尼苏达大学）
我们考虑的问题，分解成其组成的典型的Polyadic（CP）因子的结构3路张量。这种分解可以被视为张量奇异值分解（SVD）的推广，揭示了张量维度（特征）如何相互作用。然而，由于这些因素是先验未知的，相应的优化问题本质上是非凸的。现有的保证算法，处理这种非凸性产生不可约的错误（偏见），并只适用于所有因素具有相同的结构的情况下。为此，我们开发了一个在线结构张量因式分解的可证明算法，其中一个因子服从一些不相干条件，而其他因子是稀疏的。具体来说，我们表明，在一些相对温和的条件下的初始化，秩和稀疏性，我们的算法恢复的因素完全（缩放和置换）在一个线性速率。作为对我们理论结果的补充，我们的合成和真实世界数据评估与相关技术相比显示出卓越的性能。此外，它的可扩展性和动态学习能力使其适合现实世界的任务。
2020-06-30 cs.LG stat.ML
A Method for Robust Online Classification using Dictionary Learning: Development and Assessment for Monitoring Manual Material Handling Activities Using Wearable Sensors
University of Southern California（南加州大学）；Texas A&M University（得克萨斯农工大学）；Virginia Tech（弗吉尼亚理工大学）
基于稀疏估计的分类方法在处理图像等高维数据方面具有很好的效果，近年来受到了广泛的关注。在本文中，提出了一种方法，以提高性能的稀疏表示分类（SRC）的方法，然后将其应用到人类工人的在线过程监控的问题，特别是手动材料处理（MMH）操作使用可穿戴传感器（涉及111个传感器通道）监测。我们提出的方法优化的设计矩阵（又名字典）的线性模型用于SRC，最大限度地减少其不适定性，以实现稀疏的解决方案。这个过程基于字典学习（DL）的思想：我们优化由训练数据集形成的设计矩阵，以最大限度地减少冗余和一致性，并减少这些数据集的大小。使用这种优化的训练数据可以随后提高分类精度，并有助于减少SRC所需的计算时间;因此，它更适用于在线过程监控。所提出的方法的性能证明使用可穿戴传感器从手动材料处理实验获得的数据，并被发现优于基准方法的准确性，同时也需要适当的MMH在线监测的计算时间。
2018-10-22 cs.LG stat.ME stat.ML
Online Convolutional Dictionary Learning
UCLA（加州大学洛杉矶分校）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
虽然最近已经提出了许多不同的算法用于卷积字典学习，但这仍然是一个昂贵的问题。从大型训练集学习的最大障碍是内存需求，由于所有现有方法都是批处理算法，内存需求至少与训练集的大小呈线性增长。本文报告的工作通过将在线词典学习思想扩展到卷积上下文来解决这一限制。
2017-08-30 cs.CV cs.LG eess.IV
First and Second Order Methods for Online Convolutional Dictionary Learning
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
卷积稀疏表示是一种具有结构化的、平移不变字典的稀疏表示形式。迄今为止，大多数卷积字典学习算法都以批处理模式操作，需要在学习过程中同时访问所有训练图像，这导致非常高的存储器使用率，并严重限制了可以使用的训练数据。然而，最近，许多作者已经考虑了在线卷积字典学习算法的设计，该算法提供了比批处理方法更好的存储器和计算成本与训练集大小的缩放。本文扩展了我们以前的工作，改进了我们以前算法的一些方面;提出了一个全新的算法，具有更好的性能，并且支持包含空间掩码以从不完整数据中学习;并对这些方法进行了严格的理论分析。
2018-06-16 cs.CV cs.LG eess.IV
Online matrix factorization for Markovian data and applications to Network Dictionary Learning
University of California, Los Angeles（加州大学洛杉矶分校）；University of Michigan（密歇根大学）
在线矩阵分解（OMF）是字典学习问题的基本工具，它通过减少提取特征的数量来近似表示复杂数据集。在文献中，大多数OMF算法的收敛保证假设数据矩阵之间的独立性，并且依赖数据流的情况在很大程度上仍未被探索。在本文中，我们证明了一个非凸推广的著名的OMF算法的i.i.d. \citep{mairal2010online}中的数据流几乎必然收敛到期望损失函数的临界点集，即使数据矩阵是满足温和混合条件的某个底层马尔可夫链的函数。这使得人们可以更有效地从相关数据流中提取特征，因为不需要对数据序列进行二次采样来近似满足独立性假设。作为主要的应用，通过结合在线非负矩阵分解和最近的MCMC算法从网络中采样图案，我们提出了一种新的网络字典学习框架，它以在线方式从给定的网络中提取“网络字典补丁”，对网络的主要特征进行编码。我们展示了这种技术及其在真实网络数据上的网络去噪问题中的应用。
2020-11-07 cs.DS cs.LG math.OC
Decentralized Dynamic Discriminative Dictionary Learning
University of Pennsylvania（宾夕法尼亚大学）；U.S. Army Research Laboratory（美国陆军研究实验室）
我们考虑在分布式在线环境中的判别式字典学习，其中代理网络的目标是在顺序接收观察结果的同时学习特征空间和模型参数的一组公共字典元素。我们将该问题描述为具有非凸目标的分布式随机规划，并提出了Arrow-Hurwicz鞍点算法的块变体来求解该问题。使用拉格朗日乘子来惩罚它们之间的差异，只有相邻节点交换模型信息。我们表明，这个鞍点算法的决策渐近平均达到一阶平稳条件。
2016-05-03 cs.LG stat.ML
Online multidimensional dictionary learning
University Cadi Ayyad（卡迪·艾亚德大学）；Université du Littoral Côte d’Opale（滨海布洛涅大学）
本文提出基于 t-product 框架的在线多维字典学习方法，结合 Anderson 加速的 ISTA 算法提升稀疏求解效率，在数据补全等任务中优于现有加速技术。
2025-03-12 cs.LG cs.NA math.NA
Applications of Online Nonnegative Matrix Factorization to Image and Time-Series Data
University of California Los Angeles（加州大学洛杉矶分校）
在线非负矩阵分解（ONMF）是一种在线环境中的矩阵分解技术，其中数据以流式方式获取，并且每次更新矩阵因子。这使得因子分析能够与新数据样本的到达同时进行。在这篇文章中，我们演示了如何使用在线非负矩阵分解算法从相关数据集的集合中学习联合字典原子。我们提出了一种基于ONMF算法的时间序列数据集的时态字典学习方案。我们在历史温度数据、视频帧和彩色图像的应用环境中展示了我们的字典学习技术。
2020-11-10 cs.LG
Unconstrained Dynamic Regret via Sparse Coding
Harvard University（哈佛大学）；Boston University（波士顿大学）
本文针对无界域上任意时变比较序列的在线凸优化问题，提出基于稀疏编码框架的自适应遗憾界，通过比较器在用户指定字典上的能量和稀疏性度量复杂度，并利用小波字典改进了现有最优界。
2023-10-25 cs.LG math.OC stat.ML
Tensor-Dictionary Learning with Deep Kruskal-Factor Analysis
PNNL（太平洋西北国家实验室）
本文提出了一种适用于任意阶张量变量数据的多因子分析模型。每个数据项表示为Kruskal分解的（稀疏）和，即Kruskal因子分析（KFA）。KFA是非参数的，并且可以推断每个字典原子的张量秩和字典原子的数量。该模型适用于在线学习，允许在大数据集上进行字典学习。在引入KFA之后，该模型被扩展到由贝叶斯SVM监督的深度卷积张量因子分析。实验部分展示了KFA相对于向量化方法的改进（例如，BPFA）、张量分解和卷积神经网络（CNN）在多路去噪、盲修复和图像分类中的应用。与其他方法相比，修复结果的PSNR改善在几种情况下超过1dB，我们在Caltech 101图像分类上取得了最先进的结果。
2017-03-05 cs.LG stat.ML
Fault Handling in Large Water Networks with Online Dictionary Learning
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Institut de Robòtica i Informàtica Industrial（工业机器人与信息技术研究所）
供水管网的故障检测和隔离是一个活跃的话题，由于其模型的数学复杂性和增加的数据可用性，通过传感器的位置。在这里，我们简化了模型，提供了一个数据驱动的替代方案，考虑到网络拓扑进行传感器放置时，然后继续通过在线字典学习的基础上传入的传感器数据来构建一个网络模型。在线学习速度很快，可以处理大型网络，因为它一次处理小批量信号，并且可以将新数据不断集成到现有网络模型中，无论是在开始训练时还是在遇到新数据样本时的生产中。该算法在小型和大型网络上进行测试时表现出良好的性能。
2020-09-07 cs.LG cs.NA cs.SY
Online nonnegative CP-dictionary learning for Markovian data
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）；University of California, Los Angeles（加州大学洛杉矶分校）
在线张量分解（OTF）是从流多模态数据中学习低维可解释特征的基本工具。虽然各种算法和理论方面的OTF最近已经调查，一个一般的收敛保证不需要任何不相干或稀疏假设的目标函数的固定点仍然缺乏，即使是独立同分布。案子在这项工作中，我们介绍了一种新的算法，学习一个CANDECOMP/PARAFAC（CP）的基础上，从一个给定的流的张量值的数据下的一般约束，包括非负性约束，诱导学习CP基础的可解释性。我们证明了我们的算法几乎必然收敛到目标函数的平稳点集的假设下，数据张量的序列是由一个潜在的马尔可夫链。我们的设置涵盖了经典的i.i.d.案例以及广泛的应用环境，包括由独立或MCMC采样生成的数据流。我们的结果弥补了OTF和在线矩阵分解在全局收敛性分析\commHL{for CP-decompositions}中的不足。实验上，我们表明，我们的算法收敛速度比标准算法的非负张量因式分解任务的合成和真实世界的数据。此外，我们还展示了我们的算法在图像，视频和时间序列数据的不同示例集上的实用性，说明了如何通过多种方式利用张量结构从相同的张量数据中学习定性不同的CP字典。
2022-04-03 cs.LG math.OC stat.ML
Online Dictionary Learning Based Fault and Cyber Attack Detection for Power Systems
University of California, Santa Cruz（加州大学圣克鲁兹分校）
新兴的广域监测系统（WAMS）带来了电网的态势感知的显着改善。然而，新引入的系统可能会增加网络攻击的风险，这些攻击可能会伪装成正常的物理干扰。本文利用流数据采掘分类器（Hoeffding adaptive tree）和半监督学习技术来处理事件和入侵检测问题，以准确区分网络攻击和常规系统扰动。首先，我们提出的方法通过从未标记的数据中学习更高级别的特征来构建字典。然后，标记的数据表示为学习的字典原子的稀疏线性组合。我们利用这些稀疏代码来训练在线分类器以及有效的变化检测器。我们用工业控制系统网络攻击数据集进行数值实验。我们考虑五种不同的情况：短路故障，线路维护，远程跳闸命令注入，继电器设置的变化，以及错误的数据注入。数据是基于修改后的IEEE 9总线系统生成的。仿真结果表明，我们提出的方法优于国家的最先进的方法。
2021-08-24 cs.CR cs.LG cs.SY
ECG beats classification via online sparse dictionary and time pyramid matching
Zhuhai College of Jilin University（吉林大学珠海学院）；College of Communication Engineering（通信工程学院）；Jilin University（吉林大学）
最近，词袋（BOW）算法提供了有效的功能，并提高了ECG分类系统的准确性。然而，BOW算法有两个缺点：（1）。量化误差大，重构性能差;它丢失了心跳的时间信息，并且可能为不同种类的心跳提供混淆的特征。此外，心电分类系统可用于心血管病人的长时间监测和分析，同时会产生大量的数据，因此迫切需要一种高效的压缩算法。针对上述问题，本文利用小波特征构造稀疏字典，将量化误差降到最小。为了降低算法的复杂度，适应大规模的心跳运算，我们将在线字典学习与符号学习算法相结合，对字典和系数进行更新。采用系数矩阵表示心拍，大大减少了内存消耗，同时解决了量化误差问题。最后，我们构造金字塔来匹配每个ECG搏动的系数。因此，我们通过时间随机池化来获得包含节拍时间信息的特征。有效地解决了时间信息丢失的问题。实验结果表明：一方面，该算法对BOW具有较高的重构性能，存储方式具有高保真度和低内存消耗的优点;另一方面，该算法对心拍分类的准确率最高，更适合于大规模心拍数据的存储和分类。
2020-08-15 cs.CV cs.LG
Unsupervised Dictionary Learning for Anomaly Detection
University of Bucharest（布加勒斯特大学）；The Research Institute of the University of Bucharest (ICUB)（布加勒斯特大学研究院（ICUB））
我们研究了采用字典学习来解决大多数异常检测应用程序的要求的可能性，例如缺乏监督，在线配方，低误报率。我们提出了新的结果，我们最近的半监督在线算法，TODDLeR，反洗钱的应用。我们还介绍了一种新的无监督的方法，使用性能的学习算法的样本的性质的指示。
2020-09-07 cs.CR cs.CV cs.LG
Kernel Recursive Least Squares Dictionary Learning Algorithm
Electrical Engineering Department, Hamedan University of Technology（哈马丹技术大学电子工程系）；Department of Electrical and Computer Engineering, IDE, University of Stavanger（斯塔万格大学电子与计算机工程系）
本文提出一种基于递归最小二乘的在线核字典学习算法，以低计算复杂度实现接近批量训练的稀疏表示分类性能。
2025-07-02 cs.LG eess.SP
Sparse-promoting Full Waveform Inversion based on Online Orthonormal Dictionary Learning
Center for Energy and Geo Processing (CeGP) at Georgia Tech and KFUPM（乔治亚理工学院与法赫德国国石油矿物大学能源与地球处理中心）
全波形反演（FWI）通过迭代地最小化记录的和计算的地震资料之间的失配来提供地下的高分辨率图像。它已经成功地攻击高斯-牛顿方法和稀疏促进正则化的基础上固定的多尺度变换，允许显着的子采样的地震资料时，在每个FWI数据拟合迭代的模型扰动可以表示与稀疏系数。而不是使用分析变换与预定义的字典，以实现稀疏表示，我们引入了一个自适应变换称为稀疏正交变换（SOT），其字典是从许多小的训练补丁从模型扰动在以前的迭代学习。基于补丁的字典被约束为正交规范，并使用在线方法进行训练，以提供整个模型扰动的复杂特征和变化的最佳稀疏表示。训练方法的复杂度与一个小块中样本数量的立方成正比。通过将压缩子采样和基于自适应SOT的表示结合到每个FWI迭代的高斯-牛顿最小二乘问题中，可以在对SOT系数应用l1范数稀疏约束之后恢复模型扰动。合成模型的数值实验表明，基于SOT的稀疏促进正则化可以提供强大的FWI结果，减少计算。
2016-11-04 cs.LG cs.NA math.NA
Structure Parameter Optimized Kernel Based Online Prediction with a Generalized Optimization Strategy for Nonstationary Time Series
Fujian Institute of Research on the Structure of Matter, Chinese Academy of Sciences（中国科学院福建物质结构研究所）；Tsinghua University（清华大学）
本文研究了再生核Hilbert空间中非平稳时间序列的稀疏化辅助在线预测算法。通常的在线预测算法包括核结构参数的选择和核权向量的更新。对于结构参数，采用稀疏化技术和在线选择性建模准则选择核字典，并根据协方差矩阵自适应进化策略（CMA-ES）间歇优化核协方差矩阵。对实对称协方差矩阵进行优化，不仅可以利用输入变量的互相关性提高核结构的灵活性，而且可以部分缓解非平稳时间序列核字典选择带来的预测不确定性。为了充分捕捉预测误差时间序列的潜在动态特征，设计了一种广义优化策略，在多核连接模式下依次构造核字典.广义优化策略提供了一种更独立的方式来构建整个内核连接，这增强了自适应跟踪动态特性变化的能力。数值模拟表明，该方法对非平稳时间序列具有较好的预测性能。
2021-08-18 cs.LG eess.SP
Dictionary Learning for Massive Matrix Factorization
Inria（法国国家信息与自动化研究所）；CEA（法国原子能与替代能源委员会）；Paris-Saclay University（巴黎萨克雷大学）；Neurospin（Neurospin 神经影像研究中心）；Grenoble（格勒诺布尔）
稀疏矩阵分解是获得可解释数据分解的流行工具，其也有效地执行数据补全或去噪。它对大型数据集的适用性已经通过在线和随机方法得到了解决，这些方法降低了其中一个矩阵维度的复杂性，但并没有同时降低这两个维度的复杂性。在本文中，我们处理非常大的矩阵在两个维度。我们提出了一种新的因式分解方法，可以优雅地扩展到TB级的数据集，这是以前的算法在合理的时间内无法处理的。我们证明了我们的方法在大量功能性磁共振成像（fMRI）数据上的效率，以及推荐系统的矩阵完成问题，与最先进的坐标下降方法相比，我们获得了显着的速度提升。
2016-05-26 cs.LG q-bio.QM stat.ML
Learning Mixtures of Separable Dictionaries for Tensor Data: Analysis and Algorithms
Rutgers, The State University of New Jersey（罗格斯大学新泽西州立大学）；Electronic Arts（美国艺电）
这项工作解决了使用结构化字典学习学习张量数据的稀疏表示的问题。它提出了通过推广可分离字典学习模型来学习可分离字典的混合，以更好地捕获张量数据的结构。两种不同的方法学习混合的可分离的字典进行了探讨，并在每种情况下的基础字典的局部可识别性的充分条件。此外，计算算法的开发，以解决学习混合的可分离字典在批处理和在线设置的问题。数值实验表明，所提出的模型和算法的有效性。
2020-06-14 cs.IT cs.LG eess.SP
Binary Matrix Factorization via Dictionary Learning
Departamento de Procesamiento de Señales, Instituto de Ingeniería Eléctrica, Facultad de Ingeniería, Universidad de la República（共和国大学工程学院电气工程研究所信号处理系（Departamento de Procesamiento de Señales, Instituto de Ingeniería Eléctrica, Facultad de Ingeniería, Universidad de la República））
矩阵分解是数据分析中的一个关键工具;它的应用包括推荐系统，相关性分析，信号处理等。二进制矩阵是一个特殊的情况下，已收到显着的关注超过三十年，特别是在数据挖掘领域。字典学习是指一系列用于学习过完备基（也称为帧）的方法，以有效地编码给定类型的样本;这个领域现在也有大约20年的历史，主要是在信号处理领域中发展起来的。在这项工作中，我们提出了两个二进制矩阵分解方法的基础上的二进制适应的字典学习范式的二进制矩阵。所提出的算法专注于速度和可扩展性，他们的工作与二进制因子结合位操作和一些辅助整数。此外，该方法很容易适用于在线二进制矩阵分解。在矩阵分解的另一个重要问题是秩的因素的选择，我们解决这个模型选择问题的最小描述长度原则的基础上，一个有效的方法。我们的初步结果表明，所提出的方法是有效的，在生产不同性质的各种数据类型的可解释的因子分解。
2018-07-26 cs.CV cs.IR cs.IT
Online Learning for Matrix Factorization and Sparse Coding
INRIA（法国国家信息与自动化研究所）；Laboratoire d’Informatique de l’Ecole Normale Supérieure（巴黎高等师范学院信息学实验室）；Ecole Normale Supérieure（巴黎高等师范学院）；University of Minnesota（明尼苏达大学）
稀疏编码--即将数据向量建模为基本元素的稀疏线性组合--广泛用于机器学习、神经科学、信号处理和统计学。本文主要研究大规模矩阵分解问题，包括学习基集，使其适应特定数据。这个问题的变体包括信号处理中的字典学习、非负矩阵分解和稀疏主成分分析。在本文中，我们提出了一个新的在线优化算法，基于随机逼近，它可以优雅地扩展到具有数百万训练样本的大型数据集，并自然扩展到各种矩阵分解公式，使其适用于广泛的学习问题。收敛的证明，以及自然图像和基因组数据的实验表明，它导致最先进的性能方面的速度和优化的小型和大型数据集。
2010-02-11 cs.LG math.OC stat.ML
Streaming data preprocessing via online tensor recovery for large environmental sensor networks
Vanderbilt University（范德堡大学）
现在，通过低成本的城市环境传感器网络，可以在细粒度的范围内测量建筑和自然环境。然而，细粒度的城市规模的数据分析是复杂的繁琐的数据清理，包括删除离群值和填补缺失数据。虽然有许多方法可以自动纠正异常情况和估算缺失条目，但在大时空尺度和变化模式的数据方面仍然存在挑战。为了应对这些挑战，我们提出了一种在线鲁棒张量恢复（OLRTR）方法来预处理流高维城市环境数据集。一个小规模的字典，捕捉数据的基础模式进行计算，并不断更新新的数据。OLRTR能够为提供连续数据流的大规模传感器网络实现在线恢复，与离线批处理相比，其计算内存使用量更低。此外，我们制定的目标函数，使OLRTR可以检测结构化的离群值，如错误的读数在很长一段时间。我们验证OLRTR的综合退化的国家海洋和大气管理局温度数据集，恢复误差为0.05，并将其应用到物联网的城市规模的传感器网络在芝加哥，IL的阵列，显示优越的结果相比，几个建立在线和批量为基础的低秩分解方法。
2021-09-01 cs.LG
