Contracting Implicit Recurrent Neural Networks: Stable Models with Improved Trainability
Australian Center for Field Robotics(澳大利亚现场机器人中心);Sydney Institute for Robotics and Intelligent Systems(悉尼机器人与智能系统研究所);The University of Sydney(悉尼大学)
递归模型的稳定性与可训练性、可推广性以及某些应用中的安全性密切相关。然而,训练稳定的循环神经网络的方法是以显著的可表达性为代价的。我们提出了一个隐式的模型结构,允许使用非线性系统的收缩分析的稳定模型的凸参数化。使用这些稳定性条件,我们提出了一种新的模型初始化方法,然后提供了一些经验结果,将我们提出的模型集的性能与以前的稳定RNN和vanilla RNN进行比较。通过仔细控制模型的稳定性,我们观察到训练速度和模型性能的显着提高。
2019-12-22 cs.LG cs.SY eess.SY
Recurrent Equilibrium Networks: Flexible Dynamic Models with Guaranteed Stability and Robustness
Australian Centre for Robotics(澳大利亚机器人中心);The University of Sydney(悉尼大学)
提出循环平衡网络(RENs),通过无约束参数化内置收缩稳定性、IQC、Lipschitz 与增量无源性保证,并在系统辨识、观测器和控制中验证其灵活建模能力。
2023-07-12 cs.LG cs.SY eess.SY
Realization theory of recurrent neural networks and rational systems
在本文中,我们表明,在温和的假设下,输入输出行为的连续时间递归神经网络(RNN)可以表示为一个有理或多项式非线性系统。这些假设涉及RNN的激活函数,并且许多经典的激活函数(如双曲正切)都满足这些假设。给出了构造多项式有理系统的算法。将RNN嵌入到有理系统中对于RNN的稳定性、可识别性和实现理论是有用的,因为这些问题已经针对多项式/有理系统进行了研究。特别是,我们使用这种嵌入的RNN的输入输出映射的可实现性推导出必要条件,并推导出充分条件的RNN的极小。
2019-03-18 math.OC
Modulus consensus in discrete-time signed networks and properties of special recurrent inequalities
Delft University of Technology(代尔夫特理工大学);ITMO University(ITMO大学);Institute for Problems of Mechanical Engineering of Russian Academy of Sciences (IPME RAS)(俄罗斯科学院机械问题研究所);University of Groningen(格罗宁根大学)
本文研究了离散时间带符号网络中模数一致性的现象,揭示其与特殊递归不等式解的收敛性之间的关系,并探讨了其在分布式优化算法和子随机矩阵Schur稳定性中的应用。
2017-03-20 cs.MA cs.SY eess.SY
Multiple summation inequalities and their application to stability analysis of discrete-time delay systems
基于一组Lyapunov-Krasovskii泛函,研究了离散时滞系统的稳定性。导出了新的多重求和不等式,其中包括著名的离散Jensen不等式和Wirtinger不等式,以及最近提出的P.T. Nam,H. Trinh,P.N. Pathirana,基于多个辅助函数的离散不等式及其在时滞系统稳定性分析中的应用,富兰克林研究所杂志,(2015)。本论文的目的是表明,所提出的一套充分的稳定性条件,可以安排成一个双向层次的LMI建立一个严格的理论基础比较保守性的研究方法。数值例子说明了该方法的有效性。
2015-12-07 math.OC
Differential Stability of Convex Discrete Optimal Control Problems
研究了巴拿赫空间中凸离散最优控制问题的微分稳定性。利用An和Yen [Appl.Anal. 94,108- 128(2015)]关于包含约束下参数凸优化问题的微分稳定性,我们得到了参数凸离散最优控制问题的最优值函数的次微分的上估计,其中目标函数可以是不可微的.如果目标函数是可微的,则所获得的上估计变为等式。证明了上述最优值函数的奇异次微分总是由对偶空间的原点组成。
2017-07-11 math.OC
A Convex Parameterization of Robust Recurrent Neural Networks
Australian Centre for Field Robotics(澳大利亚野外机器人中心);The University of Sydney(悉尼大学)
循环神经网络(RNN)是一类非线性动态系统,常用于序列到序列映射的建模。RNN具有出色的表达能力,但缺乏许多应用所需的稳定性或鲁棒性保证。在本文中,我们制定了具有稳定性和鲁棒性保证的RNN凸集。使用增量二次约束导出保证,并且可以确保所有解的全局指数稳定性,以及增量$ \ell_2 $增益(学习序列到序列映射的Lipschitz常数)的界限。使用隐式模型结构,我们构造了一个参数化的RNN,它在模型参数和稳定性证书中是联合凸的。我们证明了这个模型结构包括所有以前提出的稳定RNN的凸集作为特殊情况,也包括所有稳定的线性动力系统。我们说明了在非线性系统辨识的背景下,所提出的模型类的效用。
2020-10-03 cs.LG cs.SY eess.SY
Stability Preserving Data-driven Models With Latent Dynamics
本文提出含人工潜变量的保稳定性数据驱动动力学建模框架,用循环单元实现并经时间反向传播训练,通过基准测试验证稳定性与效率,还在流固耦合问题中展现了良好准确性与预测能力。
2022-04-20 cs.LG cs.NA math.NA
Non-Uniform in Time Robust Global Asymptotic Output Stability for Discrete-Time Systems
本文研究了离散时间系统在时间上的非一致鲁棒渐近输出稳定性(RGAOS)和输入输出稳定性(IOS)的概念。提供了这些概念之间的特征以及联系。特别地,它表明,一个离散时间系统的连续动力学满足非均匀时间IOS属性当且仅当相应的非受迫系统是非均匀时间RGAOS。给出了鲁棒输出反馈镇定(ROFS)问题可解的充要条件。
2005-05-17 math.DS math.OC
Quantitative stability in the geometry of semi-discrete optimal transport
我们展示了半离散最优输运问题中产生的几何“细胞”的定量稳定性结果。我们的结果显示了两种类型的稳定性,第一种是相关的Laguerre细胞的测量稳定性,没有任何连通性或正则性假设的源措施。第二类是在Poincar{è}-Wirtinger不等式和等价于Monge-Wirtinger {è}re正则性的Ma-Trudinger-Wang条件的正则性假设下的Hausdorff测度稳定性。这最后一个结果也产生稳定的一致范数的对偶势函数,所有三个稳定性的结果来明确的定量界。我们的方法利用了图论,凸几何,和蒙格-朗厄正则性理论的组合。
2021-02-10 math.AP math.OC
On the Stability of Linear Discrete-Time Fuzzy Systems
University Roma Tre of Rome(罗马三大学);University Campus Bio-Medico of Rome(罗马生物医学大学)
本文研究了状态变量和动态系数由模糊数表示的线性定常离散时间系统,给出了稳定性判据,并刻画了正系统解集的界限。
2011-08-29 cs.SY eess.SY math.OC
Stability Criteria via Common Non-strict Lyapunov Matrix for Discrete-time Linear Switched Systems
Nanjing University(南京大学);Zhongshan (Sun Yat-Sen) University(中山大学);Southern Illinois University(南伊利诺伊大学)
本文针对离散时间线性切换系统,利用公共非严格Lyapunov矩阵,提出了新的稳定性判据,放宽了传统严格正定条件。
2011-08-01 cs.SY eess.SY math.DS
Chaos-Free Networks are Stable Recurrent Neural Networks
University of Bergamo(贝加莫大学)
本文研究了无混沌网络的系统特性,证明其满足输入到状态稳定性,但指出其不保证增量稳定性,提出解耦门网络以实现无条件增量稳定性。
2026-06-08 cs.SY eess.SY math.OC
Necessary and Sufficient Conditions for Stability of Discrete-Time Switched Linear Systems with Ranged Dwell Time
本文研究具有一定驻留时间的离散切换线性系的稳定性分析问题。提出了一个新的概念,称为L-开关周期,它包含多个激活周期序列满足规定的范围停留时间约束。基于L-切换环,给出了离散时间切换线性系全局一致渐近稳定性的两个充分条件。注意,在具有相同的$L$开关周期的稳定性分析中,两个条件是等效的。这两个充分条件分别可以看作是钟相关李雅普诺夫函数法和多李雅普诺夫函数法的推广。此外,它已被证明,建议的L-开关周期可以最终实现稳定性分析的非保守性,只要采用足够长的L-开关周期。最后给出了一个数值例子来说明我们的理论结果。
2021-05-28 cs.SY eess.SY math.OC