Finding GEMS: Multi-Scale Dictionaries for High-Dimensional Graph Signals
现代数据对传统的信号处理方法提出了新的挑战,导致人们对图形信号处理领域的兴趣日益浓厚。一个强大的和良好建立的模型,为现实世界的信号在各个领域是稀疏表示字典,结合训练的能力,从信号的例子字典。该模型已成功地应用于图形信号,以及通过将底层图形拓扑结构集成到学习的字典。尽管如此,由于字典学习问题所需要的计算约束,以及由于直接使用图拉普拉斯矩阵,用于图信号的字典学习方法通常限于小维度。在本文中,我们提出了一个字典学习算法,适用于更广泛的一类图形信号,并能够处理更高维的数据。我们将潜在的图形拓扑结构隐式地,通过迫使学习字典原子是图小波函数的稀疏组合,并明确地,通过添加直接图约束,以促进在特征和流形域的平滑度。因此,所得到的原子适应于感兴趣的数据,同时粘附到底层的图形结构,并拥有所需的多尺度属性。在不同性质的合成和真实网络数据集上的实验结果表明,该算法在高维情况下也能有效地处理图形信号.
2018-06-14 cs.LG stat.ML
Separable Dictionary Learning
Technische Universität München(慕尼黑工业大学)
计算机视觉、机器学习和统计学中的许多技术都依赖于这样一个事实,即感兴趣的信号允许在某个字典上进行稀疏表示。字典可以通过分析获得,也可以从合适的训练集中学习。虽然分析字典允许捕获信号的全局结构并允许快速实现,但学习字典通常在应用中表现更好,因为它们更适合所考虑的信号类别。不幸的是,在图像中,(i)学习字典和(ii)将字典用于重建任务的数值负担仅允许处理仅捕获局部图像信息的相对较小的图像块。本文提出的方法旨在克服这些缺点,允许在整个学习过程中的字典上的可分离的结构。一方面,这允许较大的补丁大小的学习阶段,另一方面,字典有效地应用于重建任务。学习过程是基于优化的产品领域更新的字典作为一个整体,从而强制执行基本的字典属性,如相互一致性明确在学习过程中。在没有可分离结构的特殊情况下,我们的方法与最先进的字典学习方法(如K-SVD)竞争。
2013-03-21 cs.CV cs.LG stat.ML
Simultaneous Sparse Dictionary Learning and Pruning
字典学习是图像处理的前沿领域,最近在许多信号处理任务中取得了最先进的成果。这个想法是使用学习的几个原子对信号进行线性分解,通常是过度完成的字典,而不是预定义的基础。确定合适的待学习字典的大小对于该过程的精度和效率都是至关重要的,而大多数现有的字典学习算法选择的大小相当任意。在本文中,一种新的正则化方法称为分组平滑裁剪绝对偏差(GSCAD)的学习字典。该方法可以同时学习稀疏字典和选择合适的字典大小。基于交替方向乘子法(ADMM)将带非凸罚函数的联合非凸优化问题分解为两个凸优化问题,设计了一种高效的求解算法。给出了几个图像去噪的例子,并将实验结果与其他最先进的方法进行了比较。
2016-05-25 stat.ML
Ada-LISTA: Learned Solvers Adaptive to Varying Models
Technion Institute of Technology(以色列理工学院)
基于迭代求解器的展开的神经网络(诸如LISTA(学习迭代软阈值算法))由于其加速性能而被广泛使用。然而,与非学习的求解器相反,这些网络是在特定的字典上训练的,因此它们不适用于不同的模型场景。这项工作引入了一个自适应学习求解器,称为Ada-LISTA,它接收成对的信号及其相应的字典作为输入,并学习一个通用的架构来为它们服务。我们证明了该方案是保证解决稀疏编码的线性速率为变化的模型,包括字典扰动和置换。我们还提供了一个广泛的数值研究,证明其实际的适应能力。最后,我们部署Ada-LISTA自然图像修补,补丁掩模在空间上变化,因此需要这样的适应。
2020-02-19 cs.CV cs.LG stat.ML
Learning parametric dictionaries for graph signals
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院)
在稀疏信号表示中,字典的选择通常涉及两个期望属性之间的权衡-适应特定信号数据的能力和字典的快速实现。为了稀疏地表示驻留在加权图上的信号,额外的设计挑战是将不规则数据域的固有几何结构并入字典的原子中。在这项工作中,我们提出了一个参数字典学习算法设计数据适应,结构化的字典,稀疏表示图形信号。特别是,我们将图形信号建模为重叠的局部模式的组合。我们施加的约束,每个字典是一个串联的subdictionaries,每个subdictionary是一个多项式的图形拉普拉斯矩阵,表示一个单一的模式翻译到不同的领域的图形。学习算法使模式适应于图形信号的训练集。实验结果表明,该算法学习到的字典在稀疏逼近图信号方面与最新数值学习算法学习到的非结构化字典相比,具有很强的竞争力,并且往往优于后者.然而,与非结构化字典相比,通过所提出的算法学习的字典具有局部原子的特征,并且可以在信号处理任务(例如压缩、去噪和分类)中以计算高效的方式实现。
2014-01-05 cs.LG cs.SI stat.ML
Robust Photometric Stereo Using Learned Image and Gradient Dictionaries
University of Michigan(密歇根大学)
光度立体是一种用于在变化的照明条件下从物体的图像估计物体的法向量的方法。最近的几个作品,扩展光度立体更一般的对象和照明条件的动机,我们研究了一个新的强大的方法,利用字典学习光度立体。具体来说,我们提出并分析了两种方法,自适应字典正则化的光度立体问题。首先,我们提出了一个图像预处理步骤,利用自适应字典学习模型,以消除噪声和其他非理想的图像数据集之前,估计法向量。我们还提出了一种替代模型,在该模型中,我们在估计过程中直接将自适应字典正则化应用于法向量本身。我们研究了这两种方法的实际性能,通过广泛的模拟,这表明这两种方法在噪声的存在下的最先进的性能。
2017-09-30 cs.CV stat.ML
Deep Transform and Metric Learning Network: Wedding Deep Dictionary Learning and Neural Networks
North Carolina State University(北卡罗来纳州立大学);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(巴黎中央理工-高等电力学院);Inria(法国国家信息与自动化研究所)
由于其在推理任务和去噪应用中的许多成功,字典学习(DL)及其相关的稀疏优化问题已经引起了很多研究兴趣。虽然大多数解决方案都集中在单层字典上,但最近提出的改进的Deep DL(深度学习)方法在许多问题上也存在不足。我们在此提出了一种新的递归方法,其中每个DL层可以被公式化为一个线性层和递归神经网络(RNN)的组合。RNN灵活地考虑了层关联和学习的度量。我们提出的工作揭示了对神经网络和神经网络的新见解,并提供了一种新的,有效的和有竞争力的方法来联合学习深度变换和推理应用的度量。进行了大量的实验,以证明所提出的方法不仅可以优于现有的卷积神经网络,而且最先进的通用CNN。
2020-10-21 cs.LG stat.ML
Multi-Source Domain Adaptation through Dataset Dictionary Learning in Wasserstein Space
CEA, List(法国原子能委员会电子与信息技术实验室);Université Paris-Saclay(巴黎-萨克雷大学)
针对多源域适应的分布偏移问题,提出基于Wasserstein空间字典学习的DaDiL框架及两种变体方法,在三个基准上分类性能均超现有最优水平,且原子凸包插值数据可泛化到目标域。
2023-11-08 cs.AI cs.LG stat.ML
Computational Cost Reduction in Learned Transform Classifications
University of Brasilia(巴西利亚大学);University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
我们提出了一套新的技术的理论分析和实证评估的计算成本降低的分类器,是基于学习变换和软阈值。通过修改字典和分类器训练的优化过程,以及由此产生的字典条目,我们的技术允许降低位精度,并通过单个整数位移位来替换每个浮点乘法。我们还展示了如何修改某些字典训练方法中的优化算法以惩罚高能量字典。我们将我们的技术与分类器学习算法应用于软存储,并在其原始论文中使用的数据集上进行测试。我们的研究结果表明,它是可行的,单独使用整数的总和和比特移位分类在测试时间与有限的减少分类精度。这些低功耗操作在FPGA实现中是有价值的权衡,因为它们增加了分类吞吐量,同时降低了能耗和制造成本。
2016-04-30 cs.CV stat.ML
Dictionary Learning: The Complexity of Learning Sparse Superposed Features with Feedback
Department of Computer Science \& Engineering, University of California, San Diego, USA
通过反馈机制,研究在稀疏设置下学习字典特征的复杂性,并验证了理论结果在特征恢复和字典提取中的有效性。
2025-12-28 cs.AI cs.LG stat.ML
Dynamic Multiscale Graph Neural Networks for 3D Skeleton-Based Human Motion Prediction
Cooperative Medianet Innovation Center, Shanghai Jiao Tong University(上海交通大学协同媒体网络创新中心);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
我们提出了一种新的动态多尺度图神经网络(DMGNN)来预测三维人体运动。DMGNN的核心思想是使用多尺度图来全面建模人体的内部关系,以进行运动特征学习。这种多尺度图在训练期间是自适应的,并且在网络层之间是动态的。基于此图,我们提出了一个多尺度图计算单元(MGCU),在各个尺度上提取特征和跨尺度融合特征。整个模型是动作类别不可知的,并遵循编码器-解码器框架。编码器由一系列MGCU组成,用于学习运动特征。解码器使用一个建议的基于图的门递归单元来生成未来的姿态。大量的实验表明,所提出的DMGNN在人类3.6M和CMU Mocap数据集上的短期和长期预测方面都优于最先进的方法。我们进一步研究了学习的多尺度图的可解释性。代码可以从https://github.com/limaosen0/DMGNN下载。
2020-03-17 cs.CV cs.LG stat.ML
Overcoming critical slowing down in frustrated spin systems by learned multiscale sampling
SISSA — International School for Advanced Studies and INFN(国际高等研究学院和意大利国家核物理研究所);Laboratoire de Physique Statistique, École normale supérieure, PSL Research University(巴黎高等师范学院统计物理实验室,PSL研究大学);Department of Physics, Duke University(杜克大学物理系);Department of Chemistry, Duke University(杜克大学化学系)
该研究采用小波条件重整化群(WCRG)采样方法学习多尺度采样,克服了传统集团算法失效的阻挫自旋系统临界慢化问题,采样复杂度达O(log₂L),精度取决于能量基模型的表达能力。
2026-09-01 cond-mat.stat-mech stat.ML
Sampling by averaging: A multiscale approach to score estimation
Imperial College London(帝国理工学院)
提出一种利用随机微分方程慢-快系统随机平均化估计扩散路径中间得分的新颖采样框架,开发了MultALMC和MultCDiff算法,无需训练或内循环MCMC即可高效准确地从未归一化分布中采样。
2025-11-03 stat.CO stat.ME stat.ML
Deep Micro Solvers for Rough-Wall Stokes Flow in a Heterogeneous Multiscale Method
本文提出用Fourier神经算子为粗糙壁Stokes流的非均匀多尺度方法学习局部平均预计算,理论证明训练损失有界可保证宏观误差有界,并在保持精度相当的同时显著降低微观问题计算成本。
2025-07-18 cs.NA math.NA stat.ML
Multiscale Hodge Scattering Networks for Data Analysis
Department of Mathematics, University of California, Davis(加州大学戴维斯分校数学系)
本文提出多尺度霍奇散射网络,利用多尺度基字典进行信号分析,具备抗重排性和多尺度池化能力,适用于信号分类、领域分类和分子动力学预测。
2025-09-23 cs.LG cs.NA cs.SI
An MDL framework for sparse coding and dictionary learning
从信号处理到统计推断和机器学习,稀疏信号建模与学习过完备字典的能力已经在各种应用和领域中得到了证明。然而,这些模型的统计特性,如欠拟合或过拟合给定的数据集,仍然没有很好地表征在文献中。因此,稀疏建模的成功取决于为每个数据和应用程序手动调整关键参数。这项工作的目的是解决这一问题,通过提供一个实际和客观的表征稀疏模型的最小描述长度(MDL)的原则-一个完善的信息理论的方法来选择模型的统计推断。由此产生的框架派生出一个家庭的有效稀疏编码和字典学习算法,凭借MDL原则,是完全无参数。此外,这种框架允许将额外的先验信息纳入现有模型,例如马尔可夫依赖关系,或者以自然的方式定义全新的问题公式,包括矩阵分析领域。这些优点将被证明与经典的图像去噪和分类问题的无参数算法,并在视频应用中的低秩矩阵恢复。
2011-10-11 cs.IT math.IT stat.ML