低秩动态模式分解的最新算法

State-Of-The-Art Algorithms For Low-Rank Dynamic Mode Decomposition

INRIA Centre Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋研究中心）；IRMAR - UMR CNRS 6625（雷恩数学研究所（CNRS UMR 6625））

Patrick Heas, Cedric Herzet

备注：: arXiv admin note: substantial text overlap with arXiv:1610.02962

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

本技术说明回顾了使用低秩动态模式分解（DMD）对高维动态系统进行线性近似的最先进算法。在重复我们的文章“低秩动态模式分解：一个精确和易于处理的解决方案”的几个部分时，这项工作提供了更多的细节，有助于构建最先进方法的全面图景。

英文摘要：

This technical note reviews sate-of-the-art algorithms for linear approximation of high-dimensional dynamical systems using low-rank dynamic mode decomposition (DMD). While repeating several parts of our article "low-rank dynamic mode decomposition: an exact and tractable solution", this work provides additional details useful for building a comprehensive picture of state-of-the-art methods.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

MARS：张量分解中的掩码自动秩选择

MARS: Masked Automatic Ranks Selection in Tensor Decompositions

HSE University（高等经济大学）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）；AIRI

针对张量分解中确定最优秩的难题，提出MARS方法，通过在贝叶斯模型中进行松弛MAP估计来学习分解核心上的二进制掩码以自动选择最优秩，可无缝嵌入标准神经网络训练，在多种任务上优于以往工作。

2023-04-04cs.LGstat.ML

低秩张量分解的统计力学

Statistical mechanics of low-rank tensor decomposition

Stanford University（斯坦福大学）；Google Brain（谷歌大脑）

通常，跨多个模式收集的大型高维数据集可以组织为更高阶张量。低秩张量分解作为一种强大而广泛使用的工具，可以发现这些数据背后的简单低维结构。然而，我们目前缺乏对低秩张量分解的算法行为的理论理解。我们推导出贝叶斯近似消息传递（AMP）算法恢复任意形状的低秩张量埋在噪声中，我们采用动态平均场理论来精确地表征其性能。我们的理论揭示了容易，困难和不可能的推理制度之间的相变的存在，并显示出良好的匹配与模拟。此外，它揭示了几个定性的惊喜相比，对称，立方张量分解的行为。最后，我们比较我们的AMP算法最常用的算法，交替最小二乘（ALS），并证明AMP显着优于ALS的存在噪声。

2018-10-23cs.LGq-bio.NCstat.ML

潜空间上秩最小化的张量环分解：一种有效的张量完备化方法

Tensor Ring Decomposition with Rank Minimization on Latent Space: An Efficient Approach for Tensor Completion

Saitama Institute of Technology（埼玉工业大学）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；Imperial College London（帝国理工学院）；Hangzhou Dianzi University（杭州电子科技大学）；Guangdong University of Technology（广东工业大学）

传统的低秩张量分解模型在张量补全任务中，由于模型敏感性高，存在模型选择困难的问题。特别地，对于张量环（TR）分解，模型可能性的数量随着张量阶数呈指数增长，这使得找到最佳TR分解变得相当具有挑战性。在本文中，通过利用TR潜在空间的低秩结构，我们提出了一种新的张量完成方法，这是强大的模型选择。与对数据空间施加低秩约束不同，我们在潜在TR因子上引入核范数正则化，从而在更小的尺度上执行使用奇异值分解（SVD）的优化步骤。利用交替方向乘子法（ADMM）方案，可以同时获得具有最佳秩的潜在TR因子和恢复张量。我们提出的算法被证明可以有效地减轻TR秩选择的负担，从而大大降低了计算成本。在合成数据和真实数据上的大量实验结果表明，所提出的方法对最先进的算法具有优越的性能和效率。

2018-11-30cs.CVcs.LGstat.ML

低秩正则化的卷积神经网络

Convolutional neural networks with low-rank regularization

Princeton University（普林斯顿大学）；The Chinese University of Hong Kong（香港中文大学）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）

大型CNN在各种计算机视觉应用中提供了令人印象深刻的性能。但是存储和计算需求使得在移动设备上部署这些模型成为问题。最近，张量分解已被用于加速CNN。在本文中，我们进一步发展了张量分解技术。我们提出了一种新的算法来计算低秩张量分解，以消除卷积核中的冗余。该算法找到了分解的精确全局最优解，比迭代法更有效。基于分解，我们进一步提出了一种从头开始训练低秩约束CNN的新方法。有趣的是，虽然实现了显着的加速，但有时低秩约束CNN的性能明显优于非约束CNN。在CIFAR-10数据集上，所提出的低秩NIN模型达到了$91.31\%$精度（没有数据增强），这也改善了最先进的结果。我们在CIFAR-10和ILSVRC 12数据集上评估了所提出的方法，用于各种现代CNN，包括AlexNet，NIN，VGG和GoogleNet。例如，VGG-16的转发时间减少了一半，而性能仍然相当。经验上的成功表明，低秩张量分解可以成为加速大型CNN的非常有用的工具。

2016-02-14cs.CVcs.LGstat.ML

多项式映射X-秩分解的可识别性

Identifiability of an X-rank decomposition of polynomial maps

Gipsa-Lab（吉普萨实验室）

研究多项式分解模型的可识别性，证明其为X-秩分解的特例，并探讨其通用秩和可识别性。

2017-04-05cs.ITcs.NAmath.IT

最优低秩动态模式分解

Optimal Low-Rank Dynamic Mode Decomposition

动态模式分解（DMD）已成为一个强大的工具，从实验数据分析非线性系统的动力学。最近，一些尝试已经将DMD扩展到低秩近似的上下文中。这种扩展是特别感兴趣的降阶建模在各种应用领域，例如气候预测，研究分子动力学或微机电设备。这种低秩扩展采用非凸优化问题的形式。据我们所知，只有次优算法已被提出在文献中计算这个问题的解决方案。在本文中，我们证明了存在一个封闭形式的最优解的问题，并设计了一个有效的算法来计算它的基础上奇异值分解（SVD）。一个玩具的例子说明了所提出的算法相比，国家的最先进的技术的性能增益。

2018-05-17stat.ML

更多相关论文收起更多论文