Deep sr-DDL: Deep Structurally Regularized Dynamic Dictionary Learning to Integrate Multimodal and Dynamic Functional Connectomics data for Multidimensional Clinical Characterizations
Johns Hopkins University(约翰斯·霍普金斯大学);Kennedy Krieger Institute(肯尼迪·克里格研究所);Johns Hopkins School of Medicine(约翰斯·霍普金斯医学院)
本文提出深度 sr-DDL 框架,将结构正则化动态字典学习与 LSTM-ANN 深度网络联合优化,整合 rs-fMRI 和 DTI 多模态数据,用于预测认知及自闭症谱系障碍的多维临床评分,并在多个基准上优于现有方法。
2024-11-22 cs.LG eess.SP stat.ML
How to Train Your Deep Neural Network with Dictionary Learning
IIIT Delhi(印度德里信息技术学院)
目前有两种主要的方法来训练深度神经网络。第一个使用限制玻尔兹曼机(RBM)和第二个自动编码器。RBM层层堆叠形成深度信念网络(DBN);最终的表示层附着在目标上,完成深度神经网络。自动编码器一个嵌套在另一个内部以形成堆叠的自动编码器;一旦堆叠的自动编码器被学习,解码器部分被分离,并且目标被附着到编码器的最深层以形成深度神经网络。这项工作提出了一种新的方法来训练深度神经网络使用字典学习作为基本的构建块;其思想是使用来自较浅层的特征作为训练下一个更深层的输入。可以使用任何类型的字典学习(无监督,监督,判别等)。作为基本单元直到最后一层。在最后一层,需要使用标签一致的字典学习公式进行分类。我们将我们提出的框架与现有的最先进的深度学习技术在基准问题上进行比较;我们总是在前10名的结果之内。在年龄和性别分类的实际问题中,我们比最好的已知技术更好。
2016-12-22 cs.LG stat.ML
Geometric Dictionary Learning of Dynamical Systems with Optimal Transport
CMAP, Ecole Polytechnique(CMAP,巴黎高等学院);Istituto Italiano di Tecnologia & University of Novi Sad(意大利技术研究院 & 新萨大学)
本文提出DOODL框架,通过几何字典学习方法在谱算子空间中学习低维流形,从而实现对复杂动力系统的高效表征和可解释的算子估计。
2026-09-09 cs.LG stat.ML
Neural Chinese Word Segmentation with Dictionary Knowledge
Tsinghua University(清华大学)
中文分词是中文自然语言处理的一项重要任务。近年来,许多基于神经网络的方法被提出用于CWS。然而,这些方法需要大量的标注句子进行模型训练,并且通常不能利用汉语词典中的有用信息。在本文中,我们提出了两种方法来利用字典信息的CWS。第一个是基于伪标记数据生成,第二个是基于多任务学习。在两个基准数据集上的实验结果表明,该方法能够有效地提高中文分词的性能,尤其是在训练数据不足的情况下。
2018-07-11 cs.CL cs.LG stat.ML
Matrix factorization with neural networks
University of Bologna(博洛尼亚大学);École normale supérieure(巴黎高等师范学院);Bocconi University(博科尼大学)
本文提出将矩阵分解映射为联想记忆神经网络模型,通过新的抽取方案和基态搜索算法,实现对大规模秩矩阵的高效分解与去噪,且实验性能与理论预测一致。
2022-12-05 cond-mat.dis-nn cs.LG
Deep Residual Autoencoders for Expectation Maximization-inspired Dictionary Learning
Harvard University(哈佛大学);Manifold AI(流形人工智能)
我们引入了一种神经网络架构,称为约束递归稀疏自动编码器(CRsAE),解决了卷积字典学习问题,从而建立了字典学习和神经网络之间的联系。具体来说,我们利用字典学习的交替最小化算法的解释作为近似期望最大化算法来开发自动编码器,从而实现字典和正则化参数(ReLU偏差)的同时训练。编码器的前向通过使用称为FISTA的迭代近端梯度算法来近似E步骤的足够统计作为稀疏编码问题的解决方案。编码器可以被解释为递归神经网络或深度残差网络,在这两种情况下都具有双侧ReLU非线性。通过两阶段反向传播实现M步骤。第一阶段依赖于应用于编码器的线性解码器和范数平方损失。它与字典学习中的字典更新步骤并行。第二阶段通过将损失函数应用于编码器来更新正则化参数,该编码器包括由贝叶斯统计激励的参数的先验。我们在一个图像去噪任务中证明了CRsAE学习类似于Gabor的滤波器,并且EM启发的学习偏差方法优于传统方法。在记录大脑电活动的应用中,我们证明了CRsAE学习真实的尖峰模板,并将识别尖峰时间的过程加快了900倍,而不是基于凸优化的算法。
2020-10-18 cs.LG stat.ML
Learning dynamical systems from data: Gradient-based dictionary optimization
Maxwell Institute for Mathematical Sciences, University of Edinburgh and Heriot–Watt University(麦克斯韦数学科学研究所,爱丁堡大学和赫瑞斯泰学院);Department of Mathematics, City University of Hong Kong(香港城市大学数学系);School of Mathematical and Computer Sciences, Heriot–Watt University(赫瑞斯泰大学数学与计算机科学学院)
针对数据驱动逼近Koopman算子时基函数选择依赖先验知识的问题,提出一种基于梯度下降的字典优化框架,可结合EDMD等方法从数据中学习可解释基函数,在多个基准问题上验证了有效性。
2025-07-01 cs.LG math.DS stat.ML
Dynamically Hierarchy Revolution: DirNet for Compressing Recurrent Neural Network on Mobile Devices
Arizona State University(亚利桑那州立大学);Samsung Research America(三星美国研究院)
递归神经网络(RNN)在各种问题上实现了尖端性能。然而,由于其高计算和内存需求,在资源受限的移动设备上部署RNN是一项具有挑战性的任务。为了在保证较高压缩率的同时保证最小的精度损失,并满足移动资源需求,提出了一种基于优化快速字典学习算法的模型压缩方法DirNet,该算法1)动态挖掘层内投影字典矩阵的字典原子以调整压缩率2)自适应地改变稀疏码的稀疏度.在语言模型和使用1000 h语音数据集训练的ASR模型上的实验结果表明,该方法的性能明显优于现有方法。在现成的移动设备上进行评估,我们能够将原始模型的大小减少八倍,同时具有实时模型推理和可忽略的准确性损失。
2018-06-08 cs.LG stat.ML
Local Information with Feedback Perturbation Suffices for Dictionary Learning in Neural Circuits
Intel Labs(英特尔实验室)
虽然稀疏编码原理可以成功地模拟感觉神经系统中的信息处理,但仍然不清楚如何在神经结构约束下完成学习。可行的学习规则必须完全依赖于突触局部信息,以便在空间分布的神经元上实现。我们描述了一个具有尖峰神经元的神经网络,它可以解决上述基本挑战并解决L1最小化字典学习问题,这是第一个能够做到这一点的模型。我们的主要创新是引入反馈突触,以创建一个路径,将看似非本地的信息转化为本地信息。所得到的网络将学习所需的误差信号编码为反馈引起的网络稳态的变化,并且类似于经典的随机梯度下降方法。
2017-05-19 cs.LG cs.NE
Discovery of Nonlinear Dynamical Systems using a Runge-Kutta Inspired Dictionary-based Sparse Regression Approach
Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所)
发现动力学模型来描述潜在的动力学行为对于得出决定性的结论和工程研究是必不可少的,例如,优化一个过程尽管实验数据的可用性显着增加,但科学和工程中可解释和可解释的模型仍然难以理解。在这项工作中,我们将机器学习和基于字典的学习与数值分析工具相结合,从噪声和稀疏采样的测量数据中发现控制微分方程。我们利用这样一个事实,即给定一个包含大量候选非线性函数的字典,动力学模型通常可以由几个适当选择的候选函数来描述。其结果是,我们得到的解释和简约的模型,易于推广更好地超越抽样制度。此外,我们将数值积分框架与字典学习相结合,在任何阶段都不需要或近似导数信息即可生成微分方程。因此,它在损坏和稀疏采样的数据中是完全有效的。我们讨论其扩展到控制方程,包含理性的非线性,通常出现在生物网络。此外,我们推广的方法,受到参数变化和外部控制输入的控制方程。我们证明了该方法的效率,发现了一些不同的微分方程,使用噪声测量,包括描述神经动力学,混沌洛伦兹模型,米氏动力学模型,和参数化的霍普夫范式。
2021-05-11 cs.CE cs.LG
Multiscale sequence modeling with a learned dictionary
MILA(蒙特利尔学习算法研究所);IIT Kanpur(印度理工学院坎普尔分校);Google Brain(谷歌大脑)
我们提出了一个推广的神经网络序列模型。我们的多尺度模型不是一次预测一个符号,而是对多个可能重叠的多符号令牌进行预测。使用字节对编码(BPE)压缩算法的变体来学习用于训练模型的令牌字典。当应用于语言建模时,我们的模型具有字符级模型的灵活性,同时保持了单词级模型的许多性能优势。我们的实验表明,该模型在语言建模任务上的表现优于常规LSTM,特别是对于较小的模型。
2017-07-05 cs.LG stat.ML
Approximation Rates for Metaplectic Neural Networks
Johann Radon Institute of Computational and Applied Mathematics (RICAM)(约翰·拉东计算与应用数学研究所(RICAM));Austrian Academy of Sciences(奥地利科学院);University of Twente(特温特大学);Università degli Studi di Torino(都灵大学)
该研究扩展巴伦空间概念并引入神经元坡涅特字典,证明其逼近界,构建对应深度网络架构,在含时薛定谔方程解的逼近任务中性能优于经典物理信息神经网络。
2026-08-11 cs.LG math.FA
Learning Deep Analysis Dictionaries for Image Super-Resolution
Imperial College London(帝国理工学院)
受深度神经网络最近的成功以及最近开发多层字典模型的努力的启发,我们提出了一种深度分析字典模型(DeepAM),该模型经过优化,可解决称为单图像超分辨率的特定回归任务。与其他多层字典模型相反,我们的架构包含L层分析字典和软阈值算子,以逐步提取高级特征,以及一层合成字典,旨在优化手头的回归任务。在我们的方法中,每个分析字典被划分成两个子字典:信息保持分析字典(iPad)和聚类分析字典(CAD)。iPad与相应的软阈值一起被设计为将关键信息从前一层传递到下一层,而CAD与相应的软阈值算子一起被设计为产生其输入数据的稀疏特征表示,以便于区分关键特征。DeepAM使用监督和无监督设置。仿真结果表明,与具有相同结构并在训练数据集较小时使用反向传播进行优化的深度神经网络相比,所提出的深度分析字典模型实现了更好的性能。
2020-11-10 cs.CV cs.LG stat.ML
A Structured Dictionary Perspective on Implicit Neural Representations
ETH Zurich(苏黎世联邦理工学院);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
内隐神经表征(INRs)最近出现作为一个有前途的替代经典的离散表示的信号。然而,尽管它们在实践中取得了成功,我们仍然不理解INR如何代表信号。我们提出了一个新的统一的角度从理论上分析INR。利用谐波分析和深度学习理论的结果,我们表明大多数INR家族类似于结构化信号字典,其原子是初始映射频率集的整数谐波。这种结构允许INR使用仅随深度线性增长的多个参数来表达具有指数增加的频率支持的信号。我们还探讨了感应偏置INR利用最近的结果有关的经验神经切线核(NTK)。具体来说,我们表明,NTK的本征函数可以被看作是字典原子,其与目标信号的内积决定了其重建的最终性能。在这方面,我们揭示了元学习对NTK的重塑效果类似于字典学习,将字典原子构建为元训练期间看到的示例的组合。我们的研究结果允许设计和调整新的INR架构,但也可能对更广泛的深度学习理论社区感兴趣。
2022-03-25 cs.CV cs.LG
Associative Memory using Dictionary Learning and Expander Decoding
Carnegie Mellon University(卡内基梅隆大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Massachusetts Institute of Technology(麻省理工学院)
关联存储器是一种内容可寻址存储器的框架,它通过神经网络存储消息向量(或数据集)的集合,同时使神经可行的机制能够从其噪声版本中恢复数据集中的任何消息。设计关联记忆需要解决两个主要任务:1)学习阶段:给定一个数据集,以图形模型(或神经网络)的形式学习数据集的简洁表示,2)回忆阶段:给定来自数据集的消息向量的噪声版本,通过在学习阶段学习的网络上的神经可行算法输出正确的消息向量。本文研究了设计一类神经联想记忆的问题,它学习一个大数据集的网络表示,确保在回忆阶段纠正大量的对抗性错误。具体地说,本文设计的联想存储器可以在具有$O(n)$节点的网络上存储包含$\exp(n)$ $n$长度消息向量的数据集,并且可以容忍$Ω(\frac{n}{{\rm polylog} n})$对抗性错误。本文通过将学习阶段和回忆阶段分别映射到具有方形字典的字典学习任务和扩展码中的迭代纠错任务来实现这种存储器设计。
2016-11-29 cs.IT cs.LG math.IT
Bilingual Dictionary-based Language Model Pretraining for Neural Machine Translation
Univ. of Maryland(马里兰大学)
最近的研究表明,通过应用跨语言语言模型预训练(Lample和Conneau,2019),特别是翻译语言模型(TLM),神经机器翻译的性能得到了明显的改善。为了减轻TLM对昂贵的并行语料库的需求,在这项工作中,我们将词典中的翻译信息纳入预训练过程,并提出了一种新的基于双语词典的语言模型(BDLM)。我们评估我们的BDLM中文,英语和罗马尼亚语。对于中文-英文,我们在WMT-News 19(Tiedemann,2012)上获得了55.0 BLEU,在WMT 20新闻评论上获得了24.3 BLEU,优于Vanilla Transformer(Vaswani et al.,2017年)分别超过8.4 BLEU和2.3 BLEU。根据我们的实验结果,BDLM在收敛速度和预测生僻字方面也有优势。WMT 16罗马尼亚语-英语BLEU的增加也表明了其在低资源语言翻译中的有效性。
2021-03-12 cs.AI cs.CL cs.LG
Solving inverse problems with deep neural networks driven by sparse signal decomposition in a physics-based dictionary
ICTEAM Institute(ICTEAM研究所);Université catholique de Louvain(鲁汶天主教大学)
深度神经网络(DNN)具有令人印象深刻的能力来反演非常复杂的模型,即从模型的输出中学习生成参数。一旦经过训练,DNN的前向传递通常比用于解决逆问题的传统基于优化的方法快得多。然而,这是以较低的可解释性为代价的,这是大多数医疗应用中的基本限制。我们提出了一种解决一般反问题的方法,它结合了DNN的效率和传统分析方法的可解释性。首先将测量值投影到基于模型的响应的密集字典上。然后将得到的稀疏表示馈送到DNN,该DNN具有由问题的物理驱动的架构,以进行快速参数学习。我们的方法可以处理生成的前向模型,这些模型的评估成本很高,并且在准确性和计算时间方面表现出与完全学习的DNN相似的性能,同时保持高度的可解释性,并且更容易训练。具体的结果示出了基于模型的脑参数估计的磁共振成像(MRI)的一个例子。
2021-07-16 cs.LG
Extended dynamic mode decomposition with dictionary learning using neural ordinary differential equations
Osaka University(大阪大学)
非线性现象可以通过使用算子理论方法的线性技术进行分析。数据驱动的方法称为扩展动态模式分解(EDMD)及其变体,它近似与非线性现象相关联的Koopman算子,通过结合机器学习方法得到了迅速发展。神经常微分方程(NODE)是一种具有连续层的神经网络,具有高的参数和存储效率。在本文中,我们提出了一种算法来执行EDMD使用NODE。NODE是用来找到一个参数有效的字典,它提供了一个很好的有限维近似的Koopman算子。通过数值实验,我们证明了该方法的参数效率的优越性。
2022-05-17 cs.LG cs.NA eess.SP
Task-Aware Neural Architecture Search
Duke University(杜克大学)
手工制作的神经网络的设计需要大量的时间和资源。神经结构搜索(NAS)中的最新技术已被证明是有竞争力的或优于传统的手工设计,尽管它们需要领域知识,并且通常使用有限的搜索空间。在本文中,我们提出了一种新的框架神经架构搜索,利用字典的基本任务和目标任务和原子之间的相似性的模型字典,因此,产生一个自适应的搜索空间的基础上的字典的基本模型。通过引入基于梯度的搜索算法,我们可以在搜索空间中评估和发现最佳架构,而无需完全训练网络。实验结果表明,我们提出的任务感知方法的有效性。
2021-03-15 cs.AI cs.LG
Continual Learning using a Bayesian Nonparametric Dictionary of Weight Factors
Duke University(杜克大学);Facebook AI
经过简单训练的神经网络往往会在顺序任务设置中经历灾难性遗忘,其中先前任务的数据不可用。一些方法,使用各种模型扩展策略,最近已经提出了可能的解决方案。然而,确定扩展模型的程度是留给实践者的,并且通常为了简单而选择恒定的时间表,而不管传入的任务有多复杂。相反,我们提出了一种基于印度自助过程(IBP)先验的原则性贝叶斯非参数方法,让数据决定模型复杂性的扩展程度。我们将其与神经网络权重矩阵的因子分解配对。这种方法允许每个权重矩阵的因子数量随任务的复杂性而缩放,而IBP先验鼓励稀疏权重因子选择和因子重用,促进任务之间的积极知识转移。我们在一些持续学习基准测试中证明了我们的方法的有效性,并分析了在整个训练过程中如何分配和重用权重因子。
2021-04-27 cs.LG stat.ML
Energy Disaggregation via Deep Temporal Dictionary Learning
Southern Methodist University(南卫理公会大学);Iowa State University(爱荷华州立大学)
本文讨论了能量分解问题,即将整个家庭的电信号分解到其操作设备。首先,我们将问题转化为字典学习(DL)问题,其中为每个设备提取代表消费行为的关键电力模式并存储在字典矩阵中。然后,通过具有稀疏系数的这种模式的线性组合来对每个设备的电信号进行建模,所述稀疏系数确定每个设备在总电力中的贡献。虽然流行,但经典的DL方法在现实世界的应用中(包括能量分解)容易出现高错误,因为它只能找到线性字典。此外,该方法缺乏循环结构;因此,它无法利用能量信号的时间结构。受这些缺点的启发,我们提出了一种新的优化程序,其中字典及其稀疏系数与从能量信号中提取强大的非线性特征的深度神经模型同时优化。提出了一种具有可调时间相关状态的长短期记忆自动编码器(LSTM-AE),用于捕获每个设备的能量信号的时间行为。我们在LSTM-AE捕获的时间特征空间而不是能量信号的原始空间中学习字典;因此,与传统的DL相反,这里使用从我们的深度模型中提取的强大时间特征来学习非线性字典。在公开的参考能源分解数据集(REDD)上进行的真实实验表明,与最先进的方法相比,在分解精度和F分数指标方面有显着改善。
2018-09-10 cs.LG stat.ML
Convolutional dictionary learning based auto-encoders for natural exponential-family distributions
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院);Brown University(布朗大学)
我们介绍了一类自编码器神经网络,它是为来自自然指数族的数据定制的(例如,计数数据)。这些架构的灵感来自于在具有稀疏约束的卷积生成模型中学习滤波器的问题,通常被称为卷积字典学习(CDL)。我们的工作是第一个结合卷积生成模型和深度学习的想法,用于自然建模的非高斯分布数据(例如,二项式和泊松)。这种观点为我们提供了一个可扩展的和灵活的框架,可以重新用于生成模型上的各种任务和假设。具体而言,用于求解CDL(无监督任务)的迭代优化过程被映射到展开和约束的神经网络,对输入进行迭代调整以考虑生成分布。我们还表明,该框架可以很容易地扩展到判别训练,适合监督任务。我们证明了1)以无监督的方式拟合生成模型来学习神经尖峰数据背后的潜在刺激,与其他基线相比,可以获得更好的拟合优度,2)与最先进的监督泊松图像去噪算法相比,具有竞争力的性能,参数明显较少,以及3)浅二项式自动编码器的梯度动态。
2020-06-28 cs.LG stat.AP stat.ML
Greedy Shallow Networks: An Approach for Constructing and Training Neural Networks
Oak Ridge National Laboratory(橡树岭国家实验室);University of Tennessee at Knoxville(田纳西大学诺克斯维尔分校)
我们提出了一种基于贪婪的方法来构建一个高效的单隐藏层神经网络,其ReLU激活近似于目标函数。在我们的方法中,我们得到一个浅层网络,利用贪心算法与规定的字典提供的可用训练数据和一组可能的内部权重。为了方便贪婪的选择过程中,我们采用了一个整体表示的网络,脊波变换的基础上,显着降低字典的基数,从而促进贪婪的选择的可行性。我们的方法允许构建高效的架构,这些架构可以被视为改进的初始化,以代替基于随机的替代方案,或者在某些情况下作为完全训练的网络,从而可能消除对反向传播训练的需求。数值实验证明了所提出的概念的可行性和它的优势相比,传统的技术选择结构和初始化的神经网络。
2021-09-30 cs.LG stat.ML
Convolutional Dictionary Learning by End-To-End Training of Iterative Neural Networks
Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院);Charité - Universitätsmedizin Berlin(柏林夏里特医学院);University of Innsbruck(因斯布鲁克大学)
基于稀疏性的方法在信号处理领域有着悠久的历史,并已成功地应用于各种图像重建问题。所涉及的稀疏化变换或字典通常使用反映信号的假定属性的模型来预先训练,或者在重构期间自适应地学习,从而产生所谓的盲压缩感知方法。然而,通过这样做,变换从未结合生成信号的物理模型进行显式训练。此外,适当地选择所涉及的正则化参数仍然是一项具有挑战性的任务。另一个最近出现的正则化方法的训练范例是使用迭代神经网络(INN)-也称为展开网络-它包含物理模型。在这项工作中,我们构建了一个INN,它可以用作监督和物理信息的在线卷积字典学习算法。我们评估了所提出的方法,将其应用到一个现实的大规模动态MR重建问题,并将其与其他几个最近发表的作品。我们表明,所提出的INN改进了两种传统的模型不可知的训练方法,并且与深度INN相比也产生了有竞争力的结果。此外,它不需要选择正则化参数,并且与深度INN相比,每个网络组件都是完全可解释的。
2022-06-09 cs.LG eess.IV eess.SP
Iteratively Training Look-Up Tables for Network Quantization
Sony Europe Ltd(索尼欧洲有限公司);Sony Corporation(索尼公司)
在资源有限的设备上操作深度神经网络需要减少其内存占用和计算需求。在本文中,我们介绍了一种训练方法,称为查找表量化,LUT-Q,它学习字典,并将每个权重分配给字典的值之一。我们表明,这种方法是非常灵活的,许多其他技术可以被视为特殊情况下的LUT-Q。例如,我们可以约束使用LUT-Q训练的字典,以生成具有修剪权重矩阵的网络,或者将字典限制为2的幂,以避免乘法的需要。为了获得完全无乘数网络,我们还介绍了一个无乘数版本的批量归一化。在图像识别和目标检测任务上的大量实验表明,LUT-Q在相同的量化位宽下始终比其他方法获得更好的性能。
2018-11-13 cs.LG stat.ML
Bridging Neural and Symbolic Representations with Transitional Dictionary Learning
Thayer School of Engineering(塞耶工程学院);Dartmouth College(达特茅斯学院)
本文提出TDL框架,通过博弈论扩散模型与EM在线原型聚类隐式学习视觉部件和关系,在组合视觉数据集上显著优于无监督部件分割方法。
2025-03-17 cs.AI cs.CV cs.LG
Geometric Considerations of a Good Dictionary for Koopman Analysis of Dynamical Systems: Cardinality, 'Primary Eigenfunction,' and Efficient Representation
Clarkson University(克拉克森大学);Clarkson Center for Complex Systems Science(克拉克森复杂系统科学中心)
用简化模态表示动力系统是降阶建模的核心前提,也是日益流行的Koopman算子分析的DMD(动态模态分解)经验解释的主要关注点。在最优逼近和降阶建模的精神下,DMD方法和变体的目标是尽可能最好地将动态演化描述为适当变换的低秩空间中的线性演化。库普曼本征函数遵循可通过特征线法求解的线性偏微分方程,产生了几何和代数性质之间的几种有趣关系。对应于在数据表面上任意定义函数的自由,对于每个特征值,存在沿着特征发出的无限多个特征函数。我们专注于对比基数和等价性。特别是,我们引入了一个等价类,“主本征函数”,由那些本征函数相同的水平集,这有助于对比代数多重性从其他几何方面。通常,Koopman方法,特别是动态模式分解(DMD)和变体,允许数据驱动的研究如何可测函数沿轨道演变。据我们所知,还没有一个深入的研究有关的基础几何结构,一个有效的表示。我们提出了一个建设,导致功能的数据表面上,其相应的特征函数是有效的最小二乘意义上。我们称这种构造为最优库普曼本征函数DMD,(oKEEDMD),我们强调的例子。
2021-03-24 cs.LG math.DS
Real-Time Detection of Dictionary DGA Network Traffic using Deep Learning
Imperial College London(帝国理工学院);Kensho Technologies(Kensho科技公司);Tencent(腾讯)
僵尸网络和恶意软件在使用域生成算法(DGAs)标注到唯一的动态生成的Web地址时继续避免被静态规则引擎检测到。常见的DGA检测技术不能可靠地检测组合随机字典单词以创建紧密地反映合法域的域名的DGA变体。为了解决这个问题,我们创建了一个新的混合神经网络,比尔博的"装袋"模型,分析域和评分的可能性,他们产生的这种算法,因此是潜在的恶意。Bilbo是卷积神经网络(CNN)和长短期记忆(LSTM)网络用于DGA检测的第一个并行使用。我们发现,与当前最先进的深度学习架构相比,我们独特的架构在AUC、F1得分和准确性方面的性能最一致。我们使用逆向工程字典DGA域进行验证,并详细介绍了我们的实时的【形】实施策略,用于在大型金融企业中对真实世界的网络日志进行评分。在四个小时的实际网络流量中,该模型发现了至少五个商业供应商工具没有标记的潜在命令和控制网络。
2020-03-28 cs.CR cs.LG
A Dictionary Approach to Domain-Invariant Learning in Deep Networks
Purdue University(普渡大学);Duke University(杜克大学)
在本文中,我们通过在卷积神经网络(CNN)中仅使用少量特定于域的参数来显式建模域偏移,来考虑域不变深度学习。通过利用卷积滤波器可以很好地近似为一小组字典原子的线性组合的观察结果,我们首次从经验和理论上证明,通过将卷积层分解为特定于域的原子层和域共享系数层,可以有效地处理域移位,同时两者都保持卷积。输入通道现在将首先仅与每个相应的域特定字典原子进行空间卷积以“吸收”域变化,然后使用训练的公共分解系数线性组合输出通道以促进跨域的共享语义。我们使用玩具的例子,严格的分析,并与不同的数据集和架构的真实世界的例子,以显示所提出的插件框架的有效性,在交叉和联合域的性能和领域自适应。使用所提出的架构,我们只需要一小组字典原子来建模每个额外的域,这带来了可以忽略不计的额外参数,通常是几百个。
2020-09-28 cs.CV cs.LG stat.ML
Feature Learning in Wide Neural Networks under $μ$P: Identifiability and Sparse-Dictionary Decomposition of the Mean-Field Limit
Independent Researcher(独立研究者)
本文在最大更新参数化(μP)下,针对宽两层神经网络,建立了特征学习的四个结构结果,包括平均场极限的全局存在唯一性、可辨识性刻画、稀疏字典分解以及总特征学习误差分解,并揭示了架构-数据对的自然学习单元。
2026-05-23 cs.LG math.PR math.ST
The Interpretable Dictionary in Sparse Coding
Drexel University(德雷塞尔大学);University of Delaware(特拉华大学)
人工神经网络(ANN),特别是深度学习网络,由于数据的内部表示不容易解释,因此经常被标记为黑盒。在我们的工作中,我们说明了在特定稀疏约束下使用稀疏编码训练的ANN,产生了比标准深度学习模型更可解释的模型。通过稀疏编码学习的字典可以更容易理解,并且这些元素的激活创建了选择性特征输出。我们将稀疏编码模型与在相同数据上训练的等效前馈卷积自动编码器进行比较和对比。我们的研究结果表明,定性和定量的好处,在解释学习稀疏编码字典以及内部激活表示。
2020-11-24 cs.AI cs.CV cs.LG
Characterization of the Variation Spaces Corresponding to Shallow Neural Networks
Pennsylvania State University(宾夕法尼亚州立大学)
研究了有界域$Ω\subset \mathbb{R}^d$上$L^2(Ω)$中函数字典对应的变差空间。具体来说,我们比较的变化空间,这是定义在一个凸壳与相关概念的基础上积分表示。这使我们能够表明,与浅层神经网络近似理论相关的三个重要概念,Barron空间,谱Barron空间和Radon BV空间,实际上是相对于某些自然字典的变化空间。
2022-04-09 cs.LG stat.ML
Convolutional Dictionary Learning in Hierarchical Networks
Harvard University(哈佛大学)
滤波器组是分析分段平滑信号(如自然图像)的常用工具。基于小波域图像尺度系数和细节系数的经验观测特性,提出了一种分段平滑信号的分层深度生成模型,该模型是一种跨尺度递归:通过对下一层的尺度系数进行滤波得到一层的低通尺度系数,并添加通过对稀疏向量进行滤波得到的高通细节新息.这种递归描述了一个线性动态系统,它是一个跨尺度的非高斯马尔可夫过程,与深度网络的多层卷积稀疏编码(ML-CSC)生成模型密切相关,除了我们的模型允许更深的架构,并结合了稀疏和非稀疏信号表示。我们提出了一种交替最小化算法,用于在给定零层观测的情况下学习该分层模型中的滤波器,例如,自然图像。该算法在系数估计步骤和滤波器更新步骤之间交替。系数更新步骤执行稀疏(细节)和平滑(尺度)编码,并且当展开时,导致深度神经网络。我们使用MNIST来展示模型的表示能力,以及其派生的分类特征(系数)。
2019-07-23 cs.LG stat.ML
Boosting Adversarial Robustness and Generalization with Dictionary Structure
North Carolina State University(北卡罗来纳州立大学)
本文提出弹性字典学习网络(EDLNets),通过引入结构先验显著提升深度学习模型的对抗鲁棒性与泛化能力,并在RobustBench上超越现有最先进方法。
2026-09-30 cs.CR cs.LG cs.NE
Dynamic Screening: Accelerating First-Order Algorithms for the Lasso and Group-Lasso
最近的计算策略的基础上筛选测试已被提出来加速算法解决惩罚稀疏回归问题,如套索。这种方法建立在这样的想法上,即值得投入一些小的计算工作来定位不活跃的原子并在预处理阶段将它们从字典中移除,使得与较小的字典一起工作的回归算法随后将更快地收敛到初始问题的解决方案。我们相信有一种更有效的方法来筛选字典并获得更大的加速:在回归算法的每次迭代中,可以利用算法计算来免费获得新的筛选测试,并在迭代过程中增加筛选效果。从此以后,在第一次迭代之前,字典被动态地筛选,而不是被静态地、一劳永逸地筛选。我们正式这个动态筛选原则,在一个通用的算法方案,并应用它通过嵌入在一些一阶算法适应现有的筛选测试,以解决套索或新的筛选测试,以解决组套索。在大量的合成数据以及真实世界的声音和图像实验中评估了计算增益。它们显示了筛选效率和运行时间方面的增益。
2014-12-12 cs.LG stat.ML
Dictionary-Transform Generative Adversarial Networks
字典-变换生成对抗网络通过稀疏合成结构实现对抗学习的可解释性和理论稳定性。
2025-12-25 cs.LG
Automatic Pronunciation Generation by Utilizing a Semi-supervised Deep Neural Networks
Sony Corporation(索尼公司);ETH Zurich(苏黎世联邦理工学院)
音素或语音子词单元是现代自动语音识别系统中最常用的表示语音信号的原子单元。然而,由于以下几个原因,它们不是最佳选择:手工制作发音词典需要大量的努力,发音变化,人为错误以及方言和语言资源不足。本文提出了一种数据驱动的发音估计和声学建模方法,该方法仅利用正字法来联合估计一组子词单元和一个可靠的词典。实验结果表明,该方法基于半监督训练的深度神经网络,在TIMIT数据集上的识别性能大大优于基于音素的连续语音识别。
2016-06-15 cs.CL cs.LG cs.SD
Blind Source Separation in Polyphonic Music Recordings Using Deep Neural Networks Trained via Policy Gradients
Center for Industrial Mathematics, University of Bremen(不来梅大学工业数学中心);Mathematics Department, Colorado State University(科罗拉多州立大学数学系)
提出了一种对音频信号中乐器声音进行盲分离的方法。我们通过一个参数模型来描述各个音调,训练一个字典来捕获谐波的相对幅度。模型参数通过U-Net进行预测,U-Net是一种深度神经网络。基于模型预测与短时傅里叶变换的各个时间帧之间的差异,在没有地面实况信息的情况下训练网络。由于一些模型参数不产生有用的反向传播梯度,我们随机建模,并采用策略梯度。为了提供相位信息并解释基于词典的表示中的不准确性,我们还让网络输出直接预测,然后我们使用它来重新合成各个乐器的音频信号。由于神经网络的灵活性,非谐波可以无缝地合并,不需要对输入光谱进行预处理。我们的算法产生高质量的分离结果,特别是低干扰的各种不同的音频样本,无论是声学和合成,提供的样本包含足够的数据的训练和乐器的频谱特性是足够稳定的字典近似。
2021-08-09 cs.LG cs.SD eess.AS
Inference and learning in sparse autoencoders as natural gradient flow
Astera Institute(Astera研究所);UC Berkeley(加州大学伯克利分校);UCL(伦敦大学学院);Goodfire AI(Goodfire AI公司);CSHL(冷泉港实验室)
本文提出BeFOND,一种无编码器的稀疏编码模型,将推理与字典学习统一为自然梯度流,通过循环解释消除和Fisher预条件减少特征干扰并加速稀有特征学习,在合成数据和语言模型激活上显著提升字典恢复、稀有特征检测及概念干预效果。
2026-10-07 cs.AI cs.LG
Discriminative Robust Deep Dictionary Learning for Hyperspectral Image Classification
Indraprastha Institute of Information Technology, Delhi(因德拉普拉斯信息技术学院(德里))
这项工作提出了一个新的深度学习框架,特别适合高光谱图像分类。我们以一种健壮的方式学习多级字典。最后一层是判别式的,它学习线性分类器。训练过程是渐进式的,每次只学习一级字典,而系数用于训练下一级。最后一级的系数用于分类。鲁棒性通过最小化绝对偏差而不是更流行的欧几里德范数来实现。内置的鲁棒性有助于对抗高光谱图像中存在的混合噪声(高斯和稀疏)。结果表明,我们提出的技术优于所有其他深度学习方法深度信念网络(DBN),堆叠自动编码器(SAE)和卷积神经网络(CNN)。在基准高光谱成像数据集上进行了实验。
2019-12-11 cs.CV cs.LG eess.IV
A non-autonomous equation discovery method for time signal classification
University of Utah(犹他大学);University of California, Merced(加州大学默塞德分校)
某些神经网络架构,在无限层的限制,导致系统的非线性微分方程。基于这一思想,我们开发了一个基于非自治动力学方程的时间信号分析框架。我们认为,时间信号作为一个强制功能的动力系统,管理一个随时间变化的隐藏变量。与方程发现一样,动力系统使用函数字典表示,系数从数据中学习。该框架被应用到时间信号分类问题。我们展示了如何梯度可以有效地使用伴随方法计算,我们从动态系统的方法来建立稳定的分类器。通过各种实验,在合成和真实数据集上,我们表明,所提出的方法使用的参数比竞争方法少几个数量级,同时达到相当的精度。我们使用越来越复杂的动力系统创建了合成数据集;虽然地面真实向量场通常是多项式,但我们始终发现傅立叶字典产生最佳结果。我们还演示了所提出的方法如何产生图形的可解释性的形式的相图。
2020-11-22 cs.LG math.DS math.OC
CDLNet: Robust and Interpretable Denoising Through Deep Convolutional Dictionary Learning
New York University(纽约大学)
基于深度学习的方法在图像去噪方面拥有最先进的结果,但由于它们是从不太了解的构建块(如批量归一化,残差学习和特征域处理)构建的,因此仍然难以解释。展开优化网络提出了一种可解释的替代方案,通过从经典的迭代优化方法中导出其架构来构建深度神经网络,而不使用标准深度学习工具箱中的技巧。到目前为止,这些方法已经证明了性能接近最先进的模型,同时使用其可解释的结构来实现低学习参数计数。在这项工作中,我们提出了一个展开的卷积字典学习网络(CDLNet),并在低参数和高参数计数机制中展示了其具有竞争力的去噪性能。具体来说,我们表明,该模型优于国家的最先进的去噪模型时,缩放到类似的参数计数。此外,我们利用模型的可解释结构来增强网络的阈值,从而实现最先进的盲去噪性能,并对训练期间看不到的噪声水平进行近乎完美的泛化。
2021-03-05 cs.LG eess.IV
Identifying Functionally Important Features with End-to-End Sparse Dictionary Learning
Apollo Research(阿波罗研究中心);University of Queensland(昆士兰大学)
本文提出端到端稀疏字典学习方法,通过最小化KL散度确保学习特征的功能重要性,相比标准SAEs实现帕累托改进,更准确简洁地解释网络行为。
2024-05-24 cs.AI cs.LG
Understanding Sinusoidal Neural Networks
IMPA(纯数学与应用数学国家研究所)
本文研究了正弦MLP的结构与表示能力,通过将其展开为谐波和揭示了其产生新频率的机制,并提供了振幅控制与截断方法,为网络的紧凑性提供了理论证明及训练和初始化的应用。
2023-09-11 cs.LG
A Library of Mirrors: Deep Neural Nets in Low Dimensions are Convex Lasso Models with Reflection Features
Stanford University(斯坦福大学)
本文证明在1-D数据上训练深度神经网络等价于求解具有离散字典矩阵的凸Lasso问题,发现深层网络会产生训练数据的反射特征,为全局最优网络的解景观和闭式解提供了理论见解。
2024-07-24 cs.AI cs.LG cs.NE
Variable Bitrate Neural Fields
NVIDIA(英伟达);University of Toronto(多伦多大学);ROBLOX(罗布乐思);University of Waterloo(滑铁卢大学);Adobe Research(奥多比研究院)
标量场和矢量场的神经近似,如符号距离函数和辐射场,已经成为准确,高质量的表示。通过从可训练特征网格中查找来调节神经逼近,获得最先进的结果,这些特征网格承担部分学习任务并允许更小、更高效的神经网络。不幸的是,与独立的神经网络模型相比,这些特征网格通常以显著增加的内存消耗为代价。我们提出了一个字典的方法来压缩这样的功能网格,减少他们的内存消耗高达100倍,并允许多分辨率表示,这可能是有用的核心外流。我们将字典优化公式化为一个矢量量化的自动解码器问题,它让我们在一个没有直接监督的空间中学习端到端的离散神经表示,并且具有动态拓扑和结构。我们的源代码将在https://github.com/nv-tlabs/vqad上提供。
2022-06-15 cs.CV cs.GR cs.LG
Generating Master Faces for Dictionary Attacks with a Network-Assisted Latent Space Evolution
Tel Aviv University(特拉维夫大学)
主人脸是针对大部分人群通过基于人脸的身份认证的人脸图像。这些面孔可以用来模仿任何用户,成功的可能性很高,而无需访问任何用户信息。我们通过在StyleGAN人脸生成器的潜在嵌入空间中使用进化算法来优化这些人脸。多个进化策略进行了比较,我们提出了一种新的方法,采用了神经网络,以直接搜索有前途的样本的方向,而不增加健身评估。我们提出的结果表明,对于三个领先的深度人脸识别系统,使用不到10个主面孔可以获得LFW身份的高覆盖率(超过40%)。
2021-08-19 cs.CR cs.CV cs.LG
Playing Atari with Six Neurons
eXascale Infolab(eXascale信息实验室);University of Fribourg, Switzerland(瑞士弗里堡大学);Game Innovation Lab(游戏创新实验室);Tandon School of Engineering(坦登工程学院);New York University, NY, USA(美国纽约大学)
深度强化学习应用于Atari游戏等基于视觉的问题,将像素直接映射到动作;在内部,深度神经网络承担着提取有用信息和基于信息做出决策的责任。通过将图像处理与决策分离,人们可以更好地理解每个任务的复杂性,以及潜在地找到更小的策略表示,更容易被人类理解并且可以更好地概括。为此,我们提出了一种新的方法,分别学习政策和紧凑的状态表示,但同时在强化学习的政策近似。状态表示由编码器基于两种新算法生成:增加字典矢量量化使编码器能够随着时间的推移增加其字典大小,以解决出现在开放式在线学习上下文中的新观测;直接残差稀疏编码通过忽略重建误差最小化来编码观测,并以最高的信息包含为目标。编码器自动选择在线观测值进行训练,以最大化代码稀疏性。随着字典大小的增加,编码器为神经网络产生越来越大的输入:这是通过指数自然演化策略算法的变体来解决的,该算法沿着运行调整其概率分布维度。我们使用只有6到18个神经元的小型神经网络(取决于游戏的控制)在一系列Atari游戏上测试我们的系统。这些仍然能够达到与使用两个数量级以上神经元的最先进技术相当的结果,有时甚至更好。
2019-03-03 cs.AI cs.LG cs.NE
A Resolution Independent Neural Operator
Hopkins Extreme Materials Institute(霍普金斯极端材料研究所);Dept. of Civil and Systems Engineering(土木与系统工程系);Johns Hopkins University(约翰·霍普金斯大学);Dept. of Chemical and Biomolecular Engineering(化学与生物分子工程系);Dept. of Applied Mathematics and Statistics(应用数学与统计学系)
本文提出了一种独立于分辨率的神经算子架构RINO,通过自适应学习连续基函数,实现对任意采样输入输出函数的高效处理。
2024-12-10 cs.CE cs.LG physics.comp-ph
Features that Make a Difference: Leveraging Gradients for Improved Dictionary Learning
Brigham Young University(杨百翰大学)
针对传统稀疏自编码器仅考虑激活值而忽略下游影响的问题,提出g-SAEs,通过在TopK激活函数中引入输入激活的梯度来改进架构,使重构更忠实于原始网络性能,并能更有效地引导模型。
2025-03-31 cs.AI cs.CL cs.LG
How Optimality Structures Sparse Dictionaries: Theory for Interpreting SAE Representations
Kempner Institute, Harvard University(哈佛大学肯普纳研究所)
本文通过扩展局部最优性分析到非负联合优化问题,推导出稀疏自编码器(SAE)最优特征与数据分布之间的约束,解释了层级分裂与吸收、残差结构和密集对映特征等行为,并构建了新型大字典凸问题以探索宽原子-数据点极限。
2026-09-30 cs.LG q-bio.NC
A zero-one law for one-shot system identification
Imperial College London(帝国理工学院);New York University(纽约大学);Cornell University(康奈尔大学)
研究一次性系统识别问题,通过规定字典项线性参数化解析系统,证明零一律,将问题简化为关于退化输入的问题,能从单轨迹数据恢复多种系统并检测额外探测需求。
2026-07-20 cs.LG cs.NA math.DS