首页/论文/2202.01858

arXiv 2202.018582022-02-03stat.MLcs.LG

含隐参数的未知动力系统建模

Modeling unknown dynamical systems with hidden parameters

The Ohio State University（俄亥俄州立大学）

Xiaohan Fu, Weize Mao, Lo-Bin Chang, Dongbin Xiu

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们提出了一个数据驱动的数值方法建模未知的动力系统与丢失/隐藏参数。该方法基于使用未知系统的轨迹数据来训练未知系统的深度神经网络（DNN）模型。一个关键特征是未知动力系统包含完全隐藏的系统参数，在这个意义上，通过测量轨迹数据或我们对系统的先验知识，无法获得有关参数的信息。我们证明，通过使用具有足够时间历史的轨迹数据训练DNN，所得到的DNN模型可以准确地对未知的动力系统进行建模。对于与新的和未知的系统参数相关联的新的初始条件，DNN模型可以在更长的时间内产生准确的系统预测。

英文摘要：

We present a data-driven numerical approach for modeling unknown dynamical systems with missing/hidden parameters. The method is based on training a deep neural network (DNN) model for the unknown system using its trajectory data. A key feature is that the unknown dynamical system contains system parameters that are completely hidden, in the sense that no information about the parameters is available through either the measurement trajectory data or our prior knowledge of the system. We demonstrate that by training a DNN using the trajectory data with sufficient time history, the resulting DNN model can accurately model the unknown dynamical system. For new initial conditions associated with new, and unknown, system parameters, the DNN model can produce accurate system predictions over longer time.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

未知参数隐随机过程的变分贝叶斯推断

Variational Bayesian inference of hidden stochastic processes with unknown parameters

Swansea University（斯旺西大学）；University of Sheffield（谢菲尔德大学）

估计隐藏的过程从非线性噪声观测是特别困难的，当这些过程的参数是未知的。本文采用了机器学习的方法来设计变分贝叶斯推理这样的场景。特别地，由自回归移动平均（ARMA）线性模型生成的随机过程是从非线性噪声观测推断的。隐藏状态的后验分布近似的一组加权粒子产生的序贯蒙特卡罗（SMC）算法涉及采样与重要性采样响应（SISR）。通过计算机模拟对所提出的推理方法的数值效率和估计精度进行了评估。最后，以基因表达时间序列中缺失值的估计为例，证明了该方法在向量自回归（VAR）数据模型下的有效性。

2019-11-02cs.LGstat.COstat.ML

具有未知数的分数阶潜动力学学习

Learning Latent Fractional dynamics with Unknown Unknowns

University of Southern California（南加利福尼亚大学）；Rensselaer Polytechnic Institute（伦斯勒理工学院）

尽管在理解复杂系统（CS）方面做出了巨大努力，但我们缺乏在不确定环境中对时变复杂网络（TVCN）进行建模、推理、分析和有效控制的理论。从大脑活动动力学到微生物组，甚至是基因组架构内的染色质相互作用，许多这样的TVCN表现出明显的时空分形。此外，对于许多TVCN，仅有限的信息（例如，很少的变量）可用于建模，这妨碍了分析工具揭示真实的自由度并推断CS模型、隐藏状态及其参数的能力。另一个基本的限制是理解和揭示未知的动态驱动因素，这些驱动因素可能会以简单的建模方式偶尔激发网络，因为我们无法对非平稳过程进行建模。为了解决这些挑战，在本文中，我们考虑了在未知未知数（即，隐藏驱动器）和部分可观测性（即，只有部分数据可用）。更确切地说，我们认为一个广义的建模方法TVCNs组成的离散时间分数动力学方程，并提出了一个迭代的框架来确定网络参数化和预测系统的状态。我们展示了所提出的框架中的任务分类使用真正的脑电图数据的情况下的性能。

2019-03-21cs.LGstat.ML

当缺失观测的位置未知时学习隐马尔可夫模型

Learning Hidden Markov Models When the Locations of Missing Observations are Unknown

Technion Israel Institute of Technology（以色列理工学院）

本文研究了缺失观测位置未知时的HMM学习问题，提出无需底层链结构假设且能在有限先验知识下工作的重构算法，在适当设定下可达到与已知缺失位置相当的重构效果。

2023-07-02cs.AIcs.LGstat.ML

含隐变量贝叶斯图模型的几何性质

On the Geometry of Bayesian Graphical Models with Hidden Variables

University of Warwick（华威大学）

在本文中，我们研究的几何形状的未知参数的可能性在一类简单的贝叶斯有向图的隐变量。这使我们能够在采用任何数值算法之前，获得对此类模型中固有的不可识别性的性质的某些见解，后验密度对先验密度敏感的方式以及这些后验密度可能采取的典型几何形式。这些见解中的许多都适用于具有系统性缺失数据的更复杂的贝叶斯网络。

2013-01-30cs.LGstat.ML

阶数未知的隐状态LTI状态空间模型的有效学习

Efficient learning of hidden state LTI state space models of unknown order

本文的目的是解决两个相关的隐藏状态线性时不变（LTI）的状态空间系统的设置时，隐藏状态的维数是未知的估计问题。也就是说，任何有限数量的系统的马尔可夫参数的估计和系统的最小实现的估计，两者都来自单个轨迹的部分观测。对于这两个问题，我们提供了各种形式的估计误差上界，$\rank$恢复条件，和样本复杂性估计的统计保证。具体而言，我们首先表明，低$\rank$解决方案的汉克尔惩罚最小二乘估计满足估计误差$S_p$ -规范的$p \in [1,2]$，捕获的效果比现有的运营商规范上界的简单的最小二乘的系统顺序。然后，我们提供了一个稳定性分析的估计过程的基础上的一个变体的Ho-Kalman算法，提高了对维数和马尔可夫参数的汉克尔矩阵的最小奇异值的依赖。最后，我们提出了一个估计算法的最小实现，使用汉克尔惩罚最小二乘估计和Ho-Kalman估计过程，并保证与高概率，我们恢复正确的顺序的系统，并满足一个新的快速率在$S_2$ -范数多项式减少的依赖的尺寸和其他参数的问题。

2022-02-03math.PRmath.STstat.ML

动态系统树

Dynamical Systems Trees

Columbia University（哥伦比亚大学）

我们提出了动态系统树（DST）作为一个灵活的一类模型，用于描述多个过程，通过层次结构的聚合父链相互作用。DST将卡尔曼滤波器、隐马尔可夫模型和非线性动力系统扩展到交互式群体场景。各种单独的进程作为社区和子社区在时间上展开的树结构中进行交互。为了适应非线性的时间活动，每个单独的叶过程被建模为一个动态系统，包含离散和/或连续的隐藏状态与离散和/或高斯发射。随后的更高级别的父进程就像隐马尔可夫模型一样，并调解叶进程之间或层次结构中其他父进程之间的交互。聚合器链是子进程的父进程，它们组合和调解子进程，产生紧凑的整体参数化。我们提供了一个有效的结构化平均场算法的任意DST拓扑结构的易处理的推理和学习算法。通过对基因表达数据的实验和对美式足球比赛中的群体行为进行建模，证明了DST的多种适用性。

2012-07-11cs.LGstat.ML

更多相关论文收起更多论文

具有矩阵值未知数的多层网络中的推理

Inference in Multi-Layer Networks with Matrix-Valued Unknowns

University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；New York University（纽约大学）；The Ohio State University（俄亥俄州立大学）

本文研究了从输出的观测值推断随机多层神经网络的输入和隐变量的问题。每一层中的隐变量被表示为矩阵。这个问题适用于通过深度生成先验模型、多任务和混合回归以及学习某些类的双层神经网络进行信号恢复。通过扩展多层向量近似消息传递（ML-VAMP）算法，提出了一种统一的MAP和MMSE推理的近似算法。结果表明，在未知量的维数$N\times d$按$N\rightarrow\infty$增长，且$d$固定的情况下，多层矩阵VAMP（ML-Mat-VAMP）算法的性能在一定的随机大系统极限下可以准确预测.在双层神经网络学习问题中，这种缩放对应于输入特征和训练样本的数量增长到无穷大但隐藏节点的数量保持固定的情况。该分析能够精确预测学习的参数和测试误差。

2020-01-26cs.ITcs.LGcs.NE

面向未知动力系统的流映射学习：概述、实现与基准测试

Flow Map Learning for Unknown Dynamical Systems: Overview, Implementation, and Benchmarks

Trinity College（三一学院）；The Ohio State University（俄亥俄州立大学）

本文介绍结合DNN的流映射学习（FML）框架及其实现细节，提出未知动力系统学习基准问题并给出数值细节与FML结果，保障问题可交叉验证、结果可复现。

2023-07-20cs.LGmath.DSstat.ML

稀疏线性动力系统及其在多变量临床时间序列中的应用

Sparse Linear Dynamical System with Its Application in Multivariate Clinical Time Series

University of Pittsburgh（匹兹堡大学）

线性动态系统（LDS）是一个优雅的建模和学习多变量时间序列的数学框架。然而，一般来说，很难设置其隐藏状态空间的维数。少量的隐藏状态可能无法模拟时间序列的复杂性，而大量的隐藏状态可能导致过拟合。在本文中，我们研究的方法，施加一个$\ell_1$正则化的LDS模型的转移矩阵，以减轻选择最佳数量的隐藏状态的问题。我们将一个广义的梯度下降方法到最大后验概率（MAP）的框架，并使用期望最大化（EM）迭代实现稀疏的LDS模型的过渡矩阵。我们表明，我们的稀疏线性动态系统（SLDS）提高了预测性能相比，普通LDS的多变量临床时间序列数据集。

2013-12-03cs.AIcs.LGstat.ML

具有未知观测函数的动力系统的核参数估计

Kernel-based parameter estimation of dynamical systems with unknown observation functions

Yale University（耶鲁大学）；Columbia University（哥伦比亚大学）；UC San Diego（加州大学圣地亚哥分校）；Technion - Israel Institute of Technology（以色列理工学院）

在实验中，低维动力系统被观察为高维信号;例如，混沌混沌系统的视频。假设我们知道一些未知参数的动力学模型，我们可以通过测量其时间演化来估计潜在系统的参数吗？用于执行该估计的关键信息在于信号和模型之间的时间相互依赖性。我们提出了一个基于内核的分数来比较这些依赖关系。我们的分数推广了线性模型的极大似然估计到未知特征空间中的一般非线性设置。我们估计系统的基本参数最大化建议的分数。我们使用两个混沌动力系统-双摆和Lorenz '63模型证明了该方法的准确性和效率。

2021-04-04cs.LGmath.DSphysics.comp-ph

通过自编码器建模未知随机动力系统

Modeling Unknown Stochastic Dynamical System via Autoencoder

The Ohio State University（俄亥俄州立大学）

提出一种基于自编码器的数值方法，通过设计深度神经网络编码器和解码器发现潜在变量并重构系统状态，从未知随机动力系统的短时轨迹数据中学习预测模型，实现长期预测且适用于非高斯噪声系统。

2024-12-22cs.LGcs.NAmath.NA

存在未知未知数的探索式机器学习

Exploratory Machine Learning with Unknown Unknowns

Nanjing University（南京大学）

本文针对训练数据中存在被误认为已知标签的未知类别问题，提出探索式机器学习方法，通过主动扩展特征空间发现隐藏类别，包含拒绝模型、特征探索和模型级联三个要素，并从理论和实验上验证了其有效性。

2024-05-31cs.AIcs.LGstat.ML

隐马尔可夫模型参数学习的基本极限

Fundamental limits for learning hidden Markov model parameters

我们研究了可学习和不可学习的隐马尔可夫模型（HMM）之间的边界。Hysteresis是一种灵活的工具，用于聚类来自未知群体的相关数据。模型参数被称为是完全可识别的（标签切换），没有任何建模假设的人口的分布，只要集群是不同的，隐藏的链是遍历满秩的过渡矩阵。在这些条件中的任何一个都失败的极限中，通常不可能识别参数。对于一个有两个隐藏状态的链，我们证明了非渐近极大极小的上界和下界，匹配常数，表现出阈值的参数变得可学习。我们还提供了一个上限的相对熵率的参数在附近的不可学习的区域，可能有兴趣在自己。

2022-10-24cs.LGmath.STstat.ML

隐线性动态的时变回归

Time varying regression with hidden linear dynamics

我们重新审视时变线性回归模型，假设未知参数根据线性动力系统演变。反直觉地，我们表明，当基本的动态是稳定的，这个模型的参数可以估计从数据相结合的只是两个普通的最小二乘估计。我们提供了一个有限的样本保证我们的方法的估计误差，并讨论了一定的优势，它比期望最大化（EM），这是以前的工作提出的主要方法。

2021-12-29math.OCmath.STstat.ML

基于广义剩余网络的未知动力系统深度学习

On generalized residue network for deep learning of unknown dynamical systems

The Ohio State University（俄亥俄州立大学）

我们提出了一种使用深度神经网络（DNN）学习未知动力系统的通用数值方法。我们的方法建立在最近的研究基础上，这些研究将残差网络（ResNet）确定为有效的神经网络结构。在本文中，我们提出了一个广义的ResNet框架，并广义地将残差定义为观测数据与另一个模型（可以是现有的粗模型或降阶模型降阶模型）预测之间的差异。在这种情况下，广义ResNet作为对现有模型的模型校正，并恢复未解决的动态。当现有的粗模型不可用时，我们提出了快速创建粗模型的数值策略，与广义ResNet结合使用。这些粗略模型使用相同的数据集构建，因此不需要额外的资源。广义ResNet能够学习潜在的未知方程，并产生比标准ResNet结构更高精度的预测。这是通过几个数值例子，包括混沌系统的长期预测证明。

2020-01-23cs.LGcs.NAmath.DS

SLIP：在具有长期记忆的未知动态系统中学习预测

SLIP: Learning to Predict in Unknown Dynamical Systems with Long-Term Memory

University of California, Berkeley（加州大学伯克利分校）

针对随机噪声下的未知部分观测线性动力系统，提出了一种有效实用的在线预测算法（多项式时间）。当系统参数已知时，最优线性预测器是卡尔曼滤波器。然而，现有的预测模型的性能是穷人在重要的LDS类，只是勉强稳定，并表现出长期的预测记忆。我们解决这个问题，通过界定广义Kolmogorov宽度的卡尔曼滤波器模型的谱方法和进行紧凸松弛。我们提供了一个有限样本的分析，表明我们的算法竞争与卡尔曼滤波器在事后只有对数遗憾。我们的遗憾分析依赖于门德尔松的小球方法，提供尖锐的误差范围没有浓度，有界性，或指数遗忘的假设。我们还给出了实验结果表明，我们的算法优于国家的最先进的方法。我们的理论和实验结果揭示了有效的可能近似正确（PAC）学习的卡尔曼滤波器从部分观测数据所需的条件。

2020-10-12cs.LGcs.SYeess.SY