Local Information with Feedback Perturbation Suffices for Dictionary Learning in Neural Circuits
Intel Labs(英特尔实验室)
虽然稀疏编码原理可以成功地模拟感觉神经系统中的信息处理,但仍然不清楚如何在神经结构约束下完成学习。可行的学习规则必须完全依赖于突触局部信息,以便在空间分布的神经元上实现。我们描述了一个具有尖峰神经元的神经网络,它可以解决上述基本挑战并解决L1最小化字典学习问题,这是第一个能够做到这一点的模型。我们的主要创新是引入反馈突触,以创建一个路径,将看似非本地的信息转化为本地信息。所得到的网络将学习所需的误差信号编码为反馈引起的网络稳态的变化,并且类似于经典的随机梯度下降方法。
2017-05-19 cs.LG cs.NE
A stochastic behavior analysis of stochastic restricted-gradient descent algorithm in reproducing kernel Hilbert spaces
Keio University(庆应义塾大学);CNRS(法国国家科学研究中心)
本文提出了一种基于核的随机约束梯度下降方法的随机行为分析。限制梯度在所谓的字典子空间内给出最陡的上升方向。分析提供了均方误差准则下的瞬态和稳态性能。它还包括平均值和均方意义上的稳定性条件。本研究是基于分析核归一化最小均方(KNLMS)算法最初提出的Chen等人。仿真结果验证了分析。
2014-10-14 cs.LG stat.ML
Reduced Kernel Dictionary Learning
University Politehnica of Bucharest(布加勒斯特理工大学)
针对标准核字典学习(KDL)在大数据集下核矩阵过大的问题,提出基于输入信号稀疏表示生成核向量、梯度下降直接优化的约化KDL算法,在三个数据集上实现更优表示且耗时更短。
2023-07-17 cs.LG eess.SP
Identifying global optimality for dictionary learning
Indiana University(印第安纳大学)
在机器学习中,学习输入观测的新表示通常使用数据的因子分解来解决。对于许多这样的问题,包括稀疏编码和矩阵完成,学习这些因子分解在效率和保证解决方案是全局最小值方面可能是困难的。最近,一般类的目标已被引入-我们的术语诱导字典学习模型(DLMs)-有一个诱导凸的形式,使全局优化。虽然理论上很有吸引力,但这种诱导形式是不切实际的,特别是对于大型或不断增长的数据集。在这项工作中,我们研究了使用实际的交替最小化算法诱导DLMs,确保收敛到全局最优。我们描述了这些模型的稳定点,并利用这些见解,突出了目标的实际选择。然后,我们提供的理论和经验证据表明,交替最小化,从一个随机初始化,收敛到全球最小的一个大的子类诱导DLMs。特别是,我们利用(潜在未知的)凸诱导形式的存在,以确定何时驻点是字典学习目标的全局最小值。然后,我们提供了一个实证调查实际的优化选择使用交替最小化诱导DLMs,批量和随机梯度下降。
2017-08-07 cs.LG stat.ML
Distributed Dictionary Learning
Purdue University(普渡大学)
本文研究了分布式字典学习(DL)问题,其中学习任务分布在一个多智能体网络与时变(非对称)连接。例如,在大数据场景中,大量数据被收集/存储在不同的空间位置,并且由于资源限制、通信开销或隐私考虑,在融合中心中聚合和/或处理所有数据是不可行的。我们开发了一个通用的分布式算法框架(非凸)DL问题,并建立其渐近收敛。新方法依赖于连续凸近似(SCA)技术,再加上i)梯度跟踪机制,有助于局部估计缺失的全局信息; ii)共识步骤,作为在代理之间分配计算的机制。据我们所知,这是第一个分布式算法与证明收敛的DL问题,更一般地说,双凸优化问题(时变)有向图。
2016-12-21 cs.LG math.OC
Online Orthogonal Dictionary Learning Based on Frank-Wolfe Method
Hong Kong University of Science and Technology(香港科技大学)
字典学习是信号处理和机器学习中广泛使用的一种无监督学习方法。现有的大多数词典学习工作都是以离线方式进行的。词典学习主要有两种离线方式。一种是对字典和稀疏代码进行替代优化;另一种方法是通过将字典限制在正交组上来优化字典。后者被称为正交字典学习,其具有较低的复杂度实现,因此,它更有利于低成本设备。然而,现有的正交字典学习方案只能处理批量数据,不能在线实现,不适用于实时应用。本文提出了一种新的在线正交字典计划,动态学习的字典从流数据,而无需存储的历史数据。该方案包括一个新的问题制定和有效的在线算法设计与收敛性分析。在问题的制定,我们放松正交约束,使一个有效的在线算法。在算法设计中,我们提出了一种新的基于Frank-Wolfe的在线算法,其收敛速度为O(lnt/t^(1/4))。的收敛速度的关键系统参数也来自。合成数据和真实世界的传感器读数的实验证明了所提出的在线正交字典学习方案的有效性和效率。
2021-11-25 cs.LG eess.SP math.OC
Wasserstein Dictionaries of Persistence Diagrams
本文提出一种基于加权Wasserstein重心的持续图字典计算框架,通过多尺度梯度下降交替优化权重与原子图,实现高效的数据压缩与降维,并在公开数据集上验证了其效率与实用性。
2023-09-15 cs.CG cs.CV cs.GR
Deep Boosting: Joint Feature Selection and Analysis Dictionary Learning in Hierarchy
Sun Yat-sen University(中山大学);Huizhou University(惠州学院)
受深度神经网络最近成功的启发,这项工作研究了如何将传统的图像分类管道扩展到深度架构中。我们提出了一个基于逐层联合特征提升和字典学习的深度提升框架。在每一层中,我们通过组合下层的过滤器来构建过滤器字典,并使用联合判别生成公式迭代优化图像表示,即最小化经验分类误差加上训练图像上分析图像生成的正则化。为了优化,我们执行两个迭代步骤:i)为了最小化分类误差,使用温和的adaboost算法选择最具鉴别力的特征; ii)根据特征选择,使用梯度下降方法更新滤波器以最小化分析图像表示的正则化。一旦优化收敛,我们就以同样的方式学习更高层的表示。我们的模式提供了几个明显的优势。首先,我们的逐层优化提供了构建非常深入的架构的可能性。第二,生成的图像表示是紧凑和有意义的。在几个视觉识别任务中,我们的框架优于现有的最先进的方法。
2015-08-11 cs.CV cs.LG cs.NE
Optimal Projections for Discriminative Dictionary Learning using the JL-lemma
本文提出基于JL引理的构造方法,通过改进的监督PCA分析生成投影矩阵,提升特征-标签一致性并保持数据几何结构,实验表明在OCR和人脸识别数据集上具有更好的分类性能。
2024-10-03 cs.CV cs.ET cs.LG
Supervised Dictionary Learning with Auxiliary Covariates
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);University of California, Riverside(加州大学河滨分校)
有监督字典学习(SDL)是一种经典的机器学习方法,它同时寻找特征提取和分类任务,这些任务不一定是先验对齐的目标。SDL的目标是学习一个类判别字典,它是一组潜在的特征向量,可以很好地解释观察到的数据的特征和标签。本文对SDL进行了系统的研究,包括SDL的理论、算法和应用。首先,我们提供了一个新的框架,“升降机”SDL作为一个凸问题,在一个组合的因素空间,并提出了一个低秩投影梯度下降算法,指数收敛到全局最小的目标。我们还制定生成模型的SDL和提供全球估计保证的真实参数取决于超参数制度。其次,作为一个非凸约束优化问题,我们提供了一个有效的块坐标下降算法的SDL是保证找到一个$\varepsilon$ -平稳点的目标在$O(\varepsilon^{-1}(\log \varepsilon^{-1})^{2})$迭代。对于相应的生成模型,我们建立了一个新的约束和正则化极大似然估计问题的非渐近局部一致性结果,这可能是独立的利益。第三,我们将SDL应用于通过监督主题建模的不平衡文档分类,以及从胸部X射线图像中检测肺炎。我们还提供了模拟研究表明,SDL变得更有效时,有一个最好的重建和最好的歧视字典之间的差异。
2022-06-14 cs.LG math.ST stat.ML
Dictionary Learning for Deblurring and Digital Zoom
Laboratoire d’Informatique de l’École Normale Supérieure(巴黎高等师范学院计算机实验室);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);University of California, Berkeley(加州大学伯克利分校)
本文提出了一种新的方法,图像去模糊和数字缩放使用稀疏局部模型的图像外观。这些模型,其中小的图像补丁表示为从一些大的候选集(字典)的几个元素的线性组合,已被证明很好地适应几个图像复原任务。他们成功的一个关键是学习适应小图像块重建的字典。相比之下,最近的作品提出,而不是学习字典,不仅适合数据重建,但也调整为一个特定的任务。我们在这里介绍这样一种去模糊和数字变焦的方法,使用成对的模糊/清晰(或低/高分辨率)图像进行训练,以及一种有效的随机梯度算法来解决相应的优化任务。虽然这个学习问题不是凸的,但一旦学习了字典,就可以在测试时通过凸优化来恢复清晰/高分辨率图像。合成数据和真实数据的实验证明了所提出方法的有效性,从而为非盲图像去模糊和数字变焦带来了最先进的性能。
2011-10-05 cs.CV cs.LG
Simultaneous Codeword Optimization (SimCO) for Dictionary Update and Learning
Imperial College London(帝国理工学院);University of Surrey(萨里大学)
我们考虑数据驱动的字典学习问题。我们的目标是寻求一个过完备的字典,每个训练信号可以最好地近似只有几个码字的线性组合。这个任务通常通过迭代地执行两个操作来实现:稀疏编码和字典更新。在文献中,有两种基准机制来更新字典。第一种方法,如MOD算法,其特征在于在固定稀疏系数的同时搜索最佳码字。在第二种方法中,由K-SVD方法表示,一个码字和相关的稀疏系数同时更新,而所有其他码字和系数保持不变。我们提出了一个新的框架,概括了上述两种方法。该算法的特点是可以同时更新任意码字集和相应的稀疏系数:当稀疏系数固定时,其优化问题与MOD算法类似,当只选择一个码字进行更新时,可以证明该算法与K-SVD方法等价;更重要的是,我们的方法允许我们同时更新所有码字和所有稀疏系数,因此称为同时码字优化(SimCO)。在该框架下,我们设计了两种算法,即原始SimCO算法和正则化SimCO算法.我们基于一个简单的梯度下降机制来实现这两个算法。仿真结果表明,所提出的算法的性能相比,两个基线算法MOD和K-SVD。结果表明,正则化SimCO在学习性能和运行速度方面都特别吸引人。
2012-04-18 cs.IT cs.LG math.IT
The mpEDMD Algorithm for Data-Driven Computations of Measure-Preserving Dynamical Systems
University of Cambridge(剑桥大学)
Koopman算子使非线性动力系统全局线性化,其谱信息是分析和分解非线性动力系统的有力工具。然而,Koopman算子是无限维的,计算它们的谱信息是一个相当大的挑战。本文介绍了保测扩展动态模式分解($\texttt{mpEDMD}$),它是第一种截断方法,其特征分解收敛于一般保测动力系统的Koopman算子的谱量。$\texttt{mpEDMD}$是一种基于正交Procrustes问题的数据驱动算法,该算法使用可观测量的通用字典强制执行Koopman算子的测量保持截断。它灵活且易于与任何预先存在的DMD类型方法以及不同类型的数据一起使用。我们证明了收敛的$\texttt{mpEDMD}$的投影值和标量值的谱测度,频谱和Koopman模式分解。对于延迟嵌入(Krylov子空间)的情况下,我们的结果包括第一收敛速度的近似谱测度的字典的大小增加。我们证明了$\texttt{mpEDMD}$在一系列具有挑战性的例子,其增加的鲁棒性噪声相比,其他DMD型的方法,它能够捕捉能量守恒和级联的实验测量的湍流边界层流动的雷诺数$> 6\times 10^4$和状态空间维度$>10^5$。
2022-09-06 cs.LG cs.NA math.DS
Feature Learning in Wide Neural Networks under $μ$P: Identifiability and Sparse-Dictionary Decomposition of the Mean-Field Limit
Independent Researcher(独立研究者)
本文在最大更新参数化(μP)下,针对宽两层神经网络,建立了特征学习的四个结构结果,包括平均场极限的全局存在唯一性、可辨识性刻画、稀疏字典分解以及总特征学习误差分解,并揭示了架构-数据对的自然学习单元。
2026-05-23 cs.LG math.PR math.ST
Sparse Coding and Autoencoders
Johns Hopkins University(约翰霍普金斯大学);Salesforce(Salesforce公司);Boston University(波士顿大学)
在“字典学习”中,人们试图恢复不相干矩阵$A^* \in \mathbb{R}^{n \times h}$(通常是过完备的,并且其列被假设为归一化的)和稀疏向量$x^* \in \mathbb{R}^h$,其中对于某些$0 <p < 1$具有大小为$h^p$的小支持,同时可以访问观测值$y \in \mathbb{R}^n$,其中$y = A^*x^*$。在这项工作中,我们进行了严格的分析,是否梯度下降的平方损失的自动编码器可以解决字典学习问题。我们考虑的“自动编码器”架构是一个$\mathbb{R}^n \rightarrow \mathbb{R}^n$映射,具有大小为$h$的单个ReLU激活层。根据非常温和的分布假设$x^*$,我们证明了标准平方损失函数的期望梯度的范数是渐近(稀疏码维)可忽略的$A^*$的小邻域中的所有点。这是支持使用合成数据的实验证据。我们还进行实验,表明$A^*$是一个局部最小值。在此过程中,我们证明了可以设置一层ReLU门来自动恢复稀疏代码的支持。这个性质独立于损失函数。我们认为,这可能是独立的利益。
2017-10-20 cs.LG math.OC stat.ML
Gradient Descent Learns Linear Dynamical Systems
University of California, Berkeley(加利福尼亚大学伯克利分校);Facebook AI Research(Facebook人工智能研究(Facebook AI Research))
我们证明了随机梯度下降有效地收敛到全局优化的最大似然目标的一个未知的线性时不变动力系统从一个序列的噪声观测系统所产生的。即使目标函数是非凸的,我们提供了多项式的运行时间和样本的复杂性界限下强,但自然的假设。线性系统辨识已经研究了几十年,然而,据我们所知,这些是我们考虑的问题的第一个多项式保证。
2019-02-11 cs.DS cs.LG math.OC
Enhancing Predictive Capabilities in Data-Driven Dynamical Modeling with Automatic Differentiation: Koopman and Neural ODE Approaches
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出一种利用自动微分改进EDMD-DL的Koopman算子学习框架,同时学习字典和算子,并在多种ODE/PDE系统上验证其优于现有方法,且与神经ODE性能相当。
2024-03-17 cs.LG
Dynamical mean-field theory for stochastic gradient descent in Gaussian mixture classification
Institut de physique théorique, Université Paris-Saclay(巴黎萨克雷大学理论物理研究所);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);IdePHICS Laboratory, EPFL(洛桑联邦理工学院IdePHICS实验室);SPOC Laboratory, EPFL(洛桑联邦理工学院SPOC实验室)
我们在一个封闭的形式分析的学习动态随机梯度下降(SGD)的单层神经网络分类的高维高斯混合,其中每个集群被分配两个标签之一。这个问题提供了一个原型的非凸损失景观插值制度和一个大的推广差距。我们定义了一个特殊的随机过程,SGD可以扩展到一个连续的时间限制,我们称之为随机梯度流。在全批限制下,我们恢复了标准梯度流。我们应用统计物理学中的动态平均场理论,通过自洽随机过程来跟踪高维极限中算法的动态。我们探讨了该算法的性能作为控制参数的函数,揭示了它如何导航的损失景观。
2021-11-09 cond-mat.dis-nn cs.LG math.ST
Greedy metrics in orthogonal greedy learning
Xi’an Jiaotong University(西安交通大学);Wenzhou University(温州大学)
正交贪婪学习(OGL)是一种逐步学习方案,其通过最陡梯度下降从字典中添加新原子,并通过将目标函数正交投影到每个贪婪步骤中所选原子所跨越的空间来构建估计器。在这里,“贪婪”意味着根据最陡梯度下降原理选择一个新的原子。OGL然后通过选择适当的迭代次数来避免过拟合/欠拟合。在本文中,我们指出过拟合/欠拟合也可以通过重新定义OGL中的“贪婪”来避免。为此,我们引入了一个新的贪婪度量,称为$δ$ -贪婪阈值,细化“贪婪”,并从理论上验证了其可行性。此外,我们发现,这样的贪婪度量可以带来一个自适应的终止规则的前提下,保持突出的学习性能的OGL。我们的研究结果表明,最陡梯度下降不是唯一的贪婪度量的OGL和其他更合适的度量可能会减少麻烦的模型选择的OGL。
2014-11-13 cs.LG
Rigorous dynamical mean field theory for stochastic gradient descent methods
本文通过严格动力学平均场理论推导了随机梯度下降方法的闭式方程,揭示了记忆核的形成机制并实现了非分离更新函数的处理。
2023-11-29 cs.IT cs.LG math-ph
Online Stochastic Gradient Descent Learns Linear Dynamical Systems from A Single Trajectory
University of Minnesota(明尼苏达大学)
本文研究了从一个噪声测量序列中估计一个稳定的时不变线性动力系统的权矩阵的问题。我们表明,如果未知的权重矩阵描述的系统是Brunovsky标准形式,我们可以有效地估计地面真理未知矩阵的系统从一个线性方程组的基础上制定的系统的传递函数,使用在线和离线随机梯度下降(SGD)的方法。具体来说,通过推导具体的复杂性界限,我们表明,SGD线性收敛于期望任何任意小的Frobenius范数距离地面真理的权重。据我们所知,我们是第一个工作,建立线性收敛特性的在线和离线基于梯度的迭代法的权重矩阵估计线性动力系统从一个单一的轨迹。大量的数值试验验证了所提出的方法的性能与我们的理论是一致的,并显示其优越的性能相对于现有的最先进的方法。
2021-02-23 cs.LG cs.SY eess.SP
Convergence of gradient descent-ascent analyzed as a Newtonian dynamical system with dissipation
Howard Hughes Medical Institute(霍华德·休斯医学研究所);MIT(麻省理工学院);Princeton University(普林斯顿大学)
一个动力系统被定义为一个支付函数的梯度。动力学变量有两种类型,上升和下降。上升变量沿梯度方向移动,而下降变量沿相反方向移动。这种形式的动力系统或非常相似的形式已经在不同的领域,如对策论,优化,神经网络和人口生物学进行了研究。梯度下降-上升被近似为保持总能量的牛顿动力系统,总能量被定义为动能和与支付函数成比例的势能的总和。近似的误差是违反能量守恒的残余力。如果剩余力是纯粹耗散的,那么能量作为李雅普诺夫函数,有界轨迹收敛到稳定状态是有保证的。由于Kose和Uzawa以前的收敛定理要求支付函数在下降变量中是凸的,在上升变量中是凹的。这里的假设是放松的,所以支付函数只需要在上升变量中比在下降变量中全局地“更不凸”或“更凹”。这样的相对凸性条件允许存在多个稳态,不同于凹凸假设。当结合充分条件,意味着存在一个极大极小均衡,有界的轨迹也保证。
2019-03-05 cs.GT cs.LG cs.NE
Geometric Considerations of a Good Dictionary for Koopman Analysis of Dynamical Systems: Cardinality, 'Primary Eigenfunction,' and Efficient Representation
Clarkson University(克拉克森大学);Clarkson Center for Complex Systems Science(克拉克森复杂系统科学中心)
用简化模态表示动力系统是降阶建模的核心前提,也是日益流行的Koopman算子分析的DMD(动态模态分解)经验解释的主要关注点。在最优逼近和降阶建模的精神下,DMD方法和变体的目标是尽可能最好地将动态演化描述为适当变换的低秩空间中的线性演化。库普曼本征函数遵循可通过特征线法求解的线性偏微分方程,产生了几何和代数性质之间的几种有趣关系。对应于在数据表面上任意定义函数的自由,对于每个特征值,存在沿着特征发出的无限多个特征函数。我们专注于对比基数和等价性。特别是,我们引入了一个等价类,“主本征函数”,由那些本征函数相同的水平集,这有助于对比代数多重性从其他几何方面。通常,Koopman方法,特别是动态模式分解(DMD)和变体,允许数据驱动的研究如何可测函数沿轨道演变。据我们所知,还没有一个深入的研究有关的基础几何结构,一个有效的表示。我们提出了一个建设,导致功能的数据表面上,其相应的特征函数是有效的最小二乘意义上。我们称这种构造为最优库普曼本征函数DMD,(oKEEDMD),我们强调的例子。
2021-03-24 cs.LG math.DS
Shaping the Koopman dictionary by learning on the Grassmannian
University of Twente(特文特大学)
本文提出在格拉斯曼流形上利用微分几何优化方法系统性塑造库普曼字典,以减少投影误差并实现近似不变子空间,从而提升非线性动力系统数据驱动预测的精度与效率。
2025-11-10 math.DS
Generalizing Dynamic Mode Decomposition: Balancing Accuracy and Expressiveness in Koopman Approximations
University of California, San Diego(加州大学圣地亚哥分校)
利用Koopman算子方法研究未知动力系统的数据驱动逼近问题。给定一个函数字典,这些方法近似于算子作用在字典所张成的有限维子空间上的投影。我们提出了可调对称子空间分解算法来改进字典,平衡其表达能力和准确性。表达性对应于字典描述尽可能多的可观察量的演变的能力,准确性对应于正确预测其演变的能力。基于Koopman不变子空间产生精确预测的观察,我们推断预测精度是由字典生成的子空间的不变性程度的函数,并提供了一个数据驱动的度量来测量不变性接近度。所提出的算法迭代修剪的初始功能空间,以确定一个完善的字典的功能,满足所需的精度水平,同时保留尽可能多的原始表现力。我们提供了一个完整的表征的算法性能,并表明,它概括了扩展的动态模式分解和对称子空间分解。平面系统上的仿真表明,所提出的方法在生产可调精度的Koopman近似捕获有关的动力系统的相关信息的有效性。
2023-02-27 cs.LG cs.SY eess.SY
Autoencoding for the 'Good Dictionary' of eigen pairs of the Koopman Operator
本文针对高维可观测数据下 Koopman 特征对计算低效的问题,结合深度自编码器与 Takens 时间延迟嵌入实现非线性降维预处理,以构建 Koopman 算子的良好特征字典。
2023-06-08 cs.NE math.DS
A non-autonomous equation discovery method for time signal classification
University of Utah(犹他大学);University of California, Merced(加州大学默塞德分校)
某些神经网络架构,在无限层的限制,导致系统的非线性微分方程。基于这一思想,我们开发了一个基于非自治动力学方程的时间信号分析框架。我们认为,时间信号作为一个强制功能的动力系统,管理一个随时间变化的隐藏变量。与方程发现一样,动力系统使用函数字典表示,系数从数据中学习。该框架被应用到时间信号分类问题。我们展示了如何梯度可以有效地使用伴随方法计算,我们从动态系统的方法来建立稳定的分类器。通过各种实验,在合成和真实数据集上,我们表明,所提出的方法使用的参数比竞争方法少几个数量级,同时达到相当的精度。我们使用越来越复杂的动力系统创建了合成数据集;虽然地面真实向量场通常是多项式,但我们始终发现傅立叶字典产生最佳结果。我们还演示了所提出的方法如何产生图形的可解释性的形式的相图。
2020-11-22 cs.LG math.DS math.OC
Dynamical Green Functions and Discrete Schrödinger Operators with Potentials Generated by Primitive Invertible Substitution
在本文中,我们建立了一个“字典”之间的离散薛定谔算子和某些仿射三次曲面上的全纯动力学,以前的工作由Cantat,Damanik和Gorodetski。第3.2.2和3.2.3段由Serge Cantat编写,作为附录。
2014-02-25 math.DS math.SP
On density of horospheres in dynamical laminations
在1985年沙利文介绍了字典之间的两个领域的复杂动力学:迭代的有理函数的黎曼领域和克莱因集团。后者是黎曼球面的共形自同构群的离散子群。这本字典动机许多显着的成果,在这两个领域,从著名的沙利文的无游荡域定理理论的迭代有理函数。在克莱因群的研究中使用的主要对象之一是与克莱因群相关联的双曲3-流形,它是其提升作用对双曲3-空间的商。M. Lyubich和Y. Minsky建议扩展Sullivan的字典,为有理函数的迭代提供类似的构造。也就是说,他们已经构建了一个分层的三维流形配备了一个连续的家庭与双曲度量对他们(可能与奇点)。球面上的有理映射的作用自然地提升为沿叶等距的双曲迭上的同胚作用。双曲叠层上的作用有一个定义明确的商,称为{\it商双曲叠层}。本文研究了商双曲层合中半球的排列。主要结果表明,如果一个有理函数不属于一个小的例外列表(权力,Chebyshev和Lattès),那么有许多密集的horospheres,即,电离层纹层是拓扑传递的。我们表明,"许多"有理函数(双曲或临界非递归非抛物)的商horospheric层是最小的:每个horospheric是密集的。
2010-02-11 math.DG math.DS
Temporal Forward-Backward Consistency, Not Residual Error, Measures the Prediction Accuracy of Extended Dynamic Mode Decomposition
UC San Diego(加州大学圣地亚哥分校)
扩展动态模式分解(EDMD)是一种流行的数据驱动方法,用于近似Koopman算子在由函数字典所张成的线性函数空间上的作用。EDMD模型的准确性主要取决于特定字典跨度的质量,特别是在Koopman算子下它是多么接近不变。出于观察,EDMD的残留误差,通常用于字典学习,不编码的功能空间的质量和基础的选择是敏感的,我们引入了新的概念的一致性指数。我们表明,这种措施,基于使用EDMD向前和向后的时间,享有一些理想的品质,使其适合数据驱动的建模动力系统:它衡量函数空间的质量,它在基的选择下是不变的,可以从数据中以封闭形式计算,并且为字典的整个跨度上的所有函数预测的相对均方根误差提供了严格的上限。
2022-11-07 cs.LG cs.SY eess.SY
Deep-Koopman-KANDy: Dictionary Discovery for Deep-Koopman Operators with Kolmogorov-Arnold Networks for Dynamics
Clarkson Center for Complex Systems Science(克拉克森复杂系统科学中心)
本文提出深度-库普曼-克里洛夫网络,结合深度-库普曼建模与克里洛夫-阿诺尔德网络,通过后处理符号字典读取方法,解决数据驱动动力学系统中符号库选择问题,验证了在洛伦兹系统、标准映射、伊基达映射和阿诺尔德猫映射上的有效性。
2026-05-07 math.DS
Parallel Learning of Koopman Eigenfunctions and Invariant Subspaces For Accurate Long-Term Prediction
我们提出了一个并行的数据驱动的策略,以确定有限维的功能空间不变下的Koopman运营商与一个未知的动力系统。我们建立在对称子空间分解(SSD)算法,集中的方法,在温和的条件下,数据采样可证明发现最大的Koopman不变的子空间和所有Koopman特征函数在任意有限维的功能空间。一个处理器网络,每个都知道一个共同的字典的功能,并配备了一组本地的数据快照,反复互动的有向通信图。每个处理器接收其邻居对不变字典的估计,并通过将SSD与其本地数据应用于由其自己的字典和邻居的字典跨越的子空间的交集来细化其估计。我们确定条件的网络拓扑,以确保该算法确定的最大Koopman不变子空间的跨度的原始字典,其时间,计算和通信的复杂性,并建立其对通信故障的鲁棒性。
2021-03-29 cs.SY eess.SY math.DS
Bilevel optimization for data-driven learning of Koopman embeddings using kernel-based autoencoders
Maxwell Institute for Mathematical Sciences, The University of Edinburgh(爱丁堡大学麦克斯韦数学研究所);Heriot–Watt University(赫瑞瓦特大学);Max Planck Institute for Dynamics of Complex Technical Systems(马克斯·普朗克复杂技术系统动力学研究所);LAAS-CNRS(法国国家科学研究中心自动控制与系统分析实验室);Université de Toulouse(图卢兹大学);School of Mathematical & Computer Sciences, Heriot–Watt University(赫瑞瓦特大学数学与计算机科学学院)
该研究提出EDMD-kDL方法,结合配置法与双层优化,通过核字典学习从数据中学习Koopman嵌入,在海温预测、视频学习等实验中性能优于或相当ANN方法,且可扩展至大数据集。
2026-10-09 cs.LG math.DS stat.ML
Dictionary learning for Kernel EDMD
School of Computation, Information and Technology, Munich Data Science Institute, Munich Center for Machine Learning, Technical University of Munich, Germany(慕尼黑计算、信息与技术学院,慕尼黑数据科学研究所,慕尼黑机器学习中心,技术大学慕尼黑,德国);Department of Computing and Mathematical Sciences, Caltech, USA(计算与数学科学部,加州理工学院,美国);The Alan Turing Institute, UK(艾伦·图灵研究所,英国);Departments of Chemical and Biomolecular Engineering and of Applied Mathematics and Statistics, Johns Hopkins University, USA(化学与生物分子工程系和应用数学与统计学系,约翰霍普金斯大学,美国)
本文提出通过字典学习优化核参数,改进核扩展动态模式分解以更高效逼近Koopman算子,通过去除不重要核函数提升性能。
2026-10-15 cs.LG math.DS
A zero-one law for one-shot system identification
Imperial College London(帝国理工学院);New York University(纽约大学);Cornell University(康奈尔大学)
研究一次性系统识别问题,通过规定字典项线性参数化解析系统,证明零一律,将问题简化为关于退化输入的问题,能从单轨迹数据恢复多种系统并检测额外探测需求。
2026-07-20 cs.LG cs.NA math.DS
Another look at Residual Dynamic Mode Decomposition in the regime of fewer Snapshots than Dictionary Size
该研究针对快照数少于字典规模的场景,提出通过求解对偶最小二乘问题的新方法,消除了传统ResDMD对训练集与求积集两个数据集的需求,验证了其在多类动力系统的适用性,简化了应用并拓展了复杂系统动力学研究的潜力。
2024-03-09 cs.NA math.DS math.NA
Two methods to approximate the Koopman operator with a reservoir computer
Koopman算子为动力系统的数据驱动分析提供了一个强大的框架。在过去的几年中,丰富的数值方法提供有限维近似的运营商已被提出(如扩展动态模式分解(EDMD)及其变种)。虽然EDMD的收敛结果需要无限数量的字典元素,但最近的研究表明,只要通过适当的训练过程精心选择,只有少数字典元素可以产生Koopman算子的有效近似。然而,该训练过程通常依赖于非线性最优化技术。在本文中,我们提出了两种新的方法的基础上水库计算机训练字典。这些方法仅依赖于线性凸优化。我们说明了几个数值例子的背景下,数据重建,预测和计算的Koopman算子谱的方法的效率。这些结果为库普曼算子框架下油藏计算机的使用铺平了道路。
2020-09-01 eess.SP math.DS
Learning Koopman Eigenfunctions and Invariant Subspaces from Data: Symmetric Subspace Decomposition
本文开发了数据驱动的方法来识别与动力系统相关的Koopman算子的本征函数和在该算子下不变的子空间。我们建立在扩展的动态模式分解(EDMD),数据驱动的方法,找到一个有限维近似的Koopman算子的跨度上的预定义的字典的功能。我们提出了一个必要和充分条件,确定Koopman特征函数的基础上应用EDMD的向前和向后的时间。此外,我们提出了对称子空间分解(SSD)算法,迭代方法,可证明确定的最大Koopman不变的子空间和Koopman特征函数的字典的跨度。我们还介绍了流对称子空间分解(SSSD)算法,SSD的在线扩展,只需要一个小的,固定的内存,并纳入新的数据,因为收到。最后,我们提出了一个扩展的SSD近似库普曼特征函数和不变子空间时,字典不包含足够的信息特征函数。
2021-02-25 cs.SY eess.SY math.DS
Robustness of dynamically gradient multivalued dynamical systems
Universidad de Sevilla(塞维利亚大学)
本文研究动态梯度多值动力系统的鲁棒性,并通过Chafee-Infante问题证明弱解生成动态梯度多值半流。
2025-11-17 math.AP math.DS
Beyond Invariant Dictionary: Data-Driven Koopman Spectral Recovery with Filtered Extended Dynamic Mode Decomposition
Princeton University(普林斯顿大学);University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
针对EDMD中非不变字典易引入伪特征值的问题,提出投影Koopman算子逼近框架构建滤波EDMD算子,分析两种投影几何并开发相关算法,实验验证其能有效减少谱污染。
2026-08-05 cs.IT cs.NA math.DS
A Data-Driven Koopman-Behavioral Distance for Nonlinear Dynamical Systems
Clemson University(克莱姆森大学)
本文提出一种基于Koopman算子和行为子空间的非线性随机系统距离度量,利用轨迹数据提升并比较子空间,实现坐标不变性和参数判别。
2026-09-09 cs.SY eess.SY math.DS
Gradient like Morse-Smale dynamical systems on 4-manifolds
构造了闭四维流形上类梯度Morse-Smale动力系统(向量场和类梯度同态)的完全不变量.它与极向量场无指数为3的不动点时的Kirby图相同。
1999-04-02 math.DS math.GT
DySMHO: Data-Driven Discovery of Governing Equations for Dynamical Systems via Moving Horizon Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
发现物理和化学现象背后的支配定律是理解并最终控制科学和工程系统的关键一步。我们介绍了通过移动地平线优化(DySMHO)发现动力系统,这是一个可扩展的机器学习框架,用于从大规模噪声实验数据集中识别微分方程形式的控制律。DySMHO由一种新的移动时域动态最优化策略组成,该策略从大型基函数字典中顺序学习底层控制方程。DySMHO的顺序性质允许利用统计参数来消除不相关的基函数,避免过拟合以恢复控制方程的精确和简约形式。典型的非线性动力系统的例子来证明,DySMHO可以准确地恢复的统治法律,是强大的高水平的测量噪声,它可以处理的挑战,如多个时间尺度动态。
2021-07-30 cs.LG math.DS math.OC
Dynamical Behaviors of the Gradient Flows for In-Context Learning
本文推导了最一般情形下线性上下文学习梯度流的微分方程组,通过在两个实例中分析其不变量、最优解与鞍点等几何结构,量化了参数与数据完全一般条件下梯度流的动力学行为。
2024-12-21 math.DS
Understanding Latent-Dimension Scaling in Dynamical-System Learning through Spectral Reliability
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Graduate School of Information Science and Technology, The University of Osaka(大阪大学信息科学与技术研究生院)
该研究通过分析Koopman算子的谱可靠性,对比两种损失训练的Koopman自编码器在六个混沌系统上的滚动误差等指标,发现谱残差模型性能更优,验证了谱可靠性对潜维缩放的解释作用。
2026-10-09 cs.LG math.DS nlin.CD
Poisson-Gradient Dynamical Systems with Bounded Non-Linearity
研究了一类具有有界非线性项的Poisson梯度偏微分方程组的周期解。第一节介绍基本空间和泛函。第二节研究了函数的弱可微性,建立了一个不等式。第三节给出了作用泛函连续可微的条件。第四节分析了Poisson梯度系统的周期解及周期解存在的条件。
2005-10-20 math.AP math.DS
Gradient dynamical systems on open surfaces and critical points of Green's functions
研究了由格林函数梯度给出的开曲面上的向量场的动力学。这种动力学方法使我们能够表明,这个字段诱导的表面不变的分解为一个磁盘和1-骨架,编码的拓扑结构的表面的工会。我们分析的结构,这1骨架,从而获得,特别是,一个格林函数的临界点的数量的拓扑上界。梯度场的动力学性质和表面的共形结构之间的连接也进行了讨论。
2013-04-05 math.DG math.DS
Holomorphic dynamics, Painlevé VI equation and Character Varieties
从动力学的角度研究了Painlevé VI方程的单值性.这适用于有界轨道的描述,并证明了Painlevé VI方程在Casale和Malgrange意义下的不可约性。在我们的方法中,我们计算monodromy群的每个元素的熵,我们精确的字符簇和Painlevé方程之间的字典。
2007-12-05 math.AG math.CA math.DS
Approaching nonsmooth nonconvex minimization through second order proximal-gradient dynamical systems
研究了一类近似梯度型二阶动力系统在非光滑凸函数和(可能非凸)光滑函数之和最小化时所产生的轨迹的渐近性质.如果目标函数的正则化满足Kurdyka-Schojasiewicz性质,则确保所生成的轨迹收敛到目标的临界点。我们还提供了收敛速度的轨迹制定的Chaojasiewicz指数。
2017-11-16 math.DS math.OC
A Data-Driven Framework for Koopman Semigroup Estimation in Stochastic Dynamical Systems
本文提出随机动态模式分解(SDMD)框架,通过直接逼近Koopman半群并显式纳入采样时间,结合神经网络自动选择基函数,在理论保证下高效、稳定地分析随机动力系统。
2025-08-19 math.DS
The Effect of Sensor Fusion on Data-Driven Learning of Koopman Operators
用于系统辨识的字典方法通常依赖于一组测量来学习系统的支配动态。在本文中,我们研究如何融合输出测量与状态测量影响库普曼算子学习问题的字典选择过程。虽然以前的方法使用动态共轭显示在两个不同的数据空间(测量通道)的库普曼本征函数之间的直接联系,我们探讨的具体情况下,输出测量是非线性的,不可逆的系统状态的函数。这种设置反映了许多种类的物理系统的测量约束,例如,生物测量数据,其中一种类型的测量不直接转换为另一种。我们提出了输出约束Koopman算子(OC-KOs)作为一个新的框架来融合两个测量集。我们表明,OC-KO是有效的传感器融合证明,当学习一个Koopman算子,输出测量函数用于约束空间的潜在Koopman可观的和他们的特征函数。此外,可以嵌入低维输出测量,以通知高维模型的Koopman字典函数的选择。我们提出了两种算法,以确定直接从数据的OC-KO表示:直接最优化方法,同时使用状态和输出数据和顺序最优化方法。证明了两个最优化问题的解空间是等价的。我们用一个理论例子和两个数值模拟来说明这些发现。
2021-06-29 cs.SY eess.SY math.DS