Neural Dynamical Systems: Balancing Structure and Flexibility in Physical Prediction
Carnegie Mellon University(卡内基梅隆大学);Princeton Plasma Physics Laboratory(普林斯顿等离子体物理实验室)
我们介绍神经动力系统(NDS),学习动态模型的方法,在各种灰箱设置,其中包括先验知识的形式系统的常微分方程。NDS使用神经网络来估计系统的自由参数,预测残差项,并随时间进行数值积分以预测未来状态。一个关键的见解是,许多感兴趣的真实动态系统很难建模,因为动态可能会因部署而异。我们缓解这个问题,采取的轨迹先验状态作为输入NDS和训练它动态估计系统参数使用前的轨迹。我们发现,NDS学习动态具有更高的准确性和更少的样本比各种深度学习方法,不结合先验知识和方法从系统辨识文献。我们证明了这些优势,首先在合成动力系统,然后从氘枪从核聚变反应堆捕获的真实数据。最后,我们证明,这些好处可以用于控制在小规模的实验。
2021-04-27 cs.LG stat.ML
Neural Koopman prior for data assimilation
IMT Atlantique(大西洋电信学院);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院);Institut Universitaire de France(法国大学研究院);LRE Epita(Epita实验室)
该研究提出结合Koopman算子理论的神经网络架构,通过对应方法实现不规则采样时间序列下的长期连续重建,并验证其作为变分数据同化先验在时间序列任务中的自监督学习潜力。
2024-06-21 cs.LG
PAC-Bayesian Meta-Learning for Few-Shot Identification of Linear Dynamical Systems
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对短轨迹、噪声大的LTI系统识别,提出PBML-LTI元学习框架,学习可迁移先验并进行贝叶斯自适应,通过鞅PAC-Bayes分析提供有限样本保证。
2026-09-22 cs.LG
Nested Mixture of Experts: Cooperative and Competitive Learning of Hybrid Dynamical System
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
基于模型的强化学习(MBRL)算法可以获得显著的样本效率,但需要适当的网络结构来表示系统动态。当前的方法包括使用分析参数化的白盒建模和使用深度神经网络的黑盒建模。然而,两者都可能在学习过程中遭受偏差-方差权衡,并且都没有提供将领域知识注入网络的结构化方法。作为替代方案,灰箱建模利用神经网络训练中的先验知识,但仅用于简单系统。在本文中,我们设计了一个嵌套的混合专家模型(NMOE)表示和学习混合动力系统。NMOE结合了白盒和黑盒模型,同时优化了偏差-方差权衡。此外,NMOE提供了一种结构化的方法,用于通过合作或竞争地训练联想专家来整合各种类型的先验知识。先验知识包括机器人与环境的物理接触以及它们的运动学和动力学特性的信息。在本文中,我们演示了如何将先验知识到我们的NMOE在各种连续控制域,包括混合动力系统。我们还展示了我们的方法在数据效率,推广到看不见的数据,偏差方差权衡方面的有效性。最后,我们使用MBRL设置评估我们的NMOE,其中模型与基于模型的控制器集成并在线训练。
2021-04-29 cs.LG cs.RO
Supervised Learning for Dynamical System Learning
Carnegie Mellon University(卡内基梅隆大学)
最近有大量的兴趣在学习动力系统的谱方法。这些方法很受欢迎,因为它们通常在计算和统计效率之间提供良好的权衡。不幸的是,它们在实践中可能难以使用和扩展:例如,它们可能使得难以合并诸如稀疏性或结构的先验信息。为了解决这个问题,我们提出了一个新的动态系统学习的观点:我们展示了如何通过解决一系列普通的监督学习问题来学习动态系统,从而允许用户通过L1正则化等标准技术来整合先验知识。许多现有的谱方法是这种新框架的特例,使用线性回归作为监督学习器。我们证明了我们的框架的有效性,通过展示的例子,非线性回归或套索让我们学习更好的状态表示比普通的线性回归,这些实例的正确性直接从我们的一般分析。
2015-11-04 cs.LG stat.ML
Neural Networks with Physics-Informed Architectures and Constraints for Dynamical Systems Modeling
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
将基于物理的知识有效地包含到动力系统的深度神经网络模型中可以大大提高数据效率和泛化能力。这种先验知识可能来自物理原理(例如,守恒定律)或来自系统的设计(例如,机器人的雅可比矩阵),即使大部分的系统动态仍然未知。我们开发了一个框架,从轨迹数据中学习动力学模型,同时将先验系统知识作为归纳偏差。更具体地说,所提出的框架使用基于物理的边信息来通知神经网络本身的结构,并对模型的输出值和内部状态进行约束。它将系统的向量场表示为已知函数和未知函数的组合,后者由神经网络参数化。在模型的训练过程中,通过增广拉格朗日方法强制执行物理信息约束。我们通过实验证明了所提出的方法对各种动力系统的好处-包括具有大状态空间,非线性动力学,外力,接触力和控制输入的机器人环境的基准套件。通过在训练期间利用先验系统知识,所提出的方法学习预测系统动态比不包括先验知识的基线方法更准确两个数量级,给定相同的训练数据集。
2022-12-12 cs.LG cs.RO
Beyond Prior Limits: Addressing Distribution Misalignment in Particle Filtering
School of Engineering Mathematics and Technology, University of Bristol(布里斯托大学工程数学与技术学院);School of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院);Department of Computer Science & Engineering, Shanghai Jiao Tong University(上海交通大学计算机科学与工程学院);Department of Aeronautical and Automotive Engineering, Loughborough University(拉夫堡大学航空与汽车工程学院)
针对粒子滤波受初始先验分布支持域限制的问题,提出扩散增强粒子滤波框架,通过自适应扩散、熵正则化和核扰动扩展支持域,显著提升了高维和非凸场景下的状态估计精度与成功率。
2025-01-30 cs.AI cs.LG stat.ML
Current Source Localization Using Deep Prior with Depth Weighting
Kobe University(神户大学);Chiba University(千叶大学)
提出了一种基于深度先验的神经元电流源定位方法,该方法利用卷积网络表示电流源的更复杂的先验分布。深度先验被认为是一种不需要使用训练数据进行学习的无监督学习方法,并且随机初始化的神经网络用于使用单个观察来更新源位置。在我们以前的工作中,已经提出了一种基于深度先验的大脑中的电流源定位方法,但性能与传统方法(如sLORETA)的性能几乎不一样。为了改进基于Deep-Prior的方法,本文在Deep-Prior中引入了电流源的深度权值,深度权值相当于给表面电流分配更多的惩罚。对模拟脑磁图数据进行的电流源估计实验证实了该方法的有效性。
2022-03-26 cs.CV cs.LG eess.SP
Iterated INLA for State and Parameter Estimation in Nonlinear Dynamical Systems
Centre for Artificial Intelligence(人工智能中心);University College London(伦敦大学学院);Department of Computing and Mathematical Sciences(计算与数学科学系);California Institute of Technology(加州理工学院)
本文提出一种基于迭代线性化动力模型并结合INLA方法的数据同化新方法,用于非线性动力系统的状态与参数估计,在保持可解释性的同时提升了预测准确性与鲁棒性。
2024-06-03 cs.LG stat.ML
Do Coverage and Mutation Scores of LLM-Generated Test Suites Correlate with Their Effectiveness? (Replicability Study)
University of Toronto(多伦多大学)
研究大语言模型生成测试套件时,覆盖度和变异分数与有效性的关系。通过重复研究发现其有用性依赖上下文,在不同场景表现不同,且测试套件大小非主要混杂因素,为评估此类测试生成提供指导。
2026-07-28 cs.AI cs.LG cs.SE
Bayesian neural network priors for edge-preserving inversion
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
我们考虑贝叶斯逆问题,其中的未知状态被假定为一个函数与不连续结构的先验。基于已有的关于具有重尾权值的神经网络的无限宽极限的结果,引入了一类基于输出的先验分布.我们从理论上表明,这样的先验样本具有理想的不连续性,即使当网络宽度是有限的,使它们适合边缘保持反演。在数值上,我们考虑定义在一维和二维空间域上的反卷积问题,以说明这些先验的有效性; MAP估计,维鲁棒MCMC采样和基于集合的近似被用来探测后验分布。点估计的准确性,以超过那些从非重尾先验,和不确定性估计,以提供更有用的定性信息。
2021-12-20 cs.LG math.OC
DDIPNet and DDIPNet+: Discriminant Deep Image Prior Networks for Remote Sensing Image Classification
S\ a o Paulo State University - UNESP Department of Computing Bauru, SP - Brazil
遥感图像分类的研究对城市规划和农业等人类日常工作具有重要影响。如今,技术的快速进步和许多高质量的遥感图像的可用性创造了可靠的自动化方法的需求。当前的论文提出了两种用于图像分类目的的基于深度学习的新架构,即,Discriminant Deep Image Prior Network和Discriminant Deep Image Prior Network+,结合了Deep Image Prior和Triplet Networks学习策略。在三个著名的遥感图像数据集上进行的实验取得了最先进的结果,证明了使用深度图像先验进行遥感图像分类的有效性。
2022-12-20 cs.CV cs.LG
Fine-Grain Few-Shot Vision via Domain Knowledge as Hyperspherical Priors
Augustus Intelligence(奥古斯都智能公司)
原型网络已被证明在计算机视觉中的少样本学习任务中表现良好。然而,当类别彼此非常相似(细粒度分类)并且目前无法考虑先验知识(通过使用表格数据)时,这些网络就会陷入困境。使用一个球形的潜在空间编码的原型,我们可以实现Few-Shot细粒度分类最大限度地分离类,同时将领域知识作为信息先验。我们描述了如何构建一个嵌入先验域信息的原型超球体,并展示了该方法在挑战细粒度分类基准数据集上的有效性,最佳结果是一次性分类和5倍的训练时间加速。
2020-05-23 cs.CV cs.LG eess.IV
Generalized Latent Variable Recovery for Generative Adversarial Networks
Massachusetts Institute of Technology(麻省理工学院)
生成对抗网络(GAN)的生成器经过训练,可以将从先验分布中提取的潜在向量转换为逼真的照片。这些潜在向量已经被证明可以对关于其对应图像的内容的信息进行编码。将输入图像投影到GAN的潜在空间上是不平凡的,但是以前的工作已经成功地执行了具有均匀先验的潜在空间的任务。我们将这些技术扩展到高斯先验的潜在空间,并证明了我们的技术的有效性。
2018-10-09 cs.LG stat.ML
Input Prioritization for Testing Neural Networks
University of Minnesota(明尼苏达大学);Collins Aerospace, Inc.(柯林斯航空航天公司)
深度神经网络(DNN)越来越多地被用于各种安全和关键任务系统的传感和控制功能,如自动驾驶汽车、自动驾驶飞机、医疗诊断和工业机器人。这些系统的故障可能导致生命或财产损失,这需要严格的验证和确认以提供高保证。虽然形式化验证方法正在研究中,但测试仍然是评估此类系统可靠性的主要技术。由于DNN处理的任务的性质,获得测试Oracle数据的成本--预期输出,也就是标签,对于一个给定的输入-是高的,这显著地影响了可以执行的测试的数量和质量。因此,以有意义的方式对用于测试DNN的输入数据进行优先级排序以降低标记成本可以大大提高测试效率。本文建议使用从模型执行的计算中得出的DNN情绪的衡量标准,作为识别可能揭示弱点的输入的一种手段。我们实证评估了三个这样的情绪措施的优先级-信心,不确定性和惊喜-的有效性,并比较他们的故障揭示能力和再培训的有效性。结果表明,情感度量可以有效地标记暴露不可接受的DNN行为的输入。对于MNIST模型,正确标记的输入的平均百分比范围为88%至94.8%。
2019-01-11 cs.LG cs.SE stat.ML
Neural Human Pose Prior
Yoom
该研究提出用归一化流对人体姿态神经先验建模的方法,利用RealNVP学习6D旋转格式姿态密度,通过反转Gram - Schmidt过程应对建模挑战,架构和训练管道无关且易重现,经评估证明有效性,为姿态先验集成提供概率基础。
2026-07-14 cs.CV cs.LG
Topology Learning of unknown Networked Linear Dynamical System excited by Cyclostationary inputs
University of Minnesota Twin Cities(明尼苏达大学双城分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
提出一种基于 group lasso 正则化的算法,解决复值线性动力系统在循环平稳输入激励下的拓扑学习问题,并分析了部分节点不可观测时双向树网络的一致性拓扑恢复条件。
2024-10-12 cs.LG math.OC
On the Effectiveness of Iterative Learning Control
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);Department of Computer Science, Cornell University(康奈尔大学计算机科学系);Aurora Innovation
迭代学习控制(ILC)是一种在存在建模误差的情况下进行高性能跟踪的强大技术,适用于最优控制应用。有大量的先前工作表明其在化学反应器,工业机器人和四轴飞行器等应用中的经验有效性。然而,很少有以前的理论工作,解释的有效性ILC即使在存在大的建模误差,其中最优控制方法使用的误指定模型(MM)往往表现不佳。我们的工作提出了这样一个理论研究的性能ILC和MM的线性二次型调节器(LQR)的问题与未知的过渡动态。我们表明,次优差距,作为测量相对于最优的LQR控制器,ILC是低于MM的高阶项,成为显着的制度中的高建模误差。我们分析的一个关键部分是离散Ricatti方程在有限时域设置,其中的解决方案是不是一个固定点,并需要跟踪使用递归边界的错误的扰动界。我们回到我们的理论研究结果与经验实验的玩具线性动力系统的近似模型,非线性倒立摆系统与错误指定的质量,和非线性平面四旋翼系统在风的存在下。实验表明,ILC优于MM显着,在计算轨迹的成本方面,当建模误差高。
2021-12-08 cs.LG cs.RO cs.SY
Uncertainty Calibration in Bayesian Neural Networks via Distance-Aware Priors
AWS(亚马逊云科技);Amazon(亚马逊)
当我们远离数据时,预测的不确定性应该增加,因为各种各样的解释与很少的可用信息是一致的。我们引入了距离感知先验(DAP)校准,这是一种在训练域之外纠正贝叶斯深度学习模型过度自信的方法。我们将DAP定义为模型参数的先验分布,这些参数通过测量输入与训练集的距离来依赖于输入。DAP校准对于后验推断方法是不可知的,并且它可以作为后处理步骤来执行。我们在各种分类和回归问题中证明了它对几个基线的有效性,包括旨在测试远离数据的预测分布质量的基准。
2022-07-17 cs.AI cs.LG stat.ML
Probabilistic Forecasting for Dynamical Systems with Missing or Imperfect Data
Institute of Applied Mathematics(应用数学研究所);University of British Columbia(不列颠哥伦比亚大学);Recherche en prévision numérique atmosphérique(大气数值预报研究中心);Environnement et Changement climatique Canada(加拿大环境与气候变化部)
针对不完整或含噪数据下的动力系统建模难题,提出一种随机插值(SI)变体进行概率预测,并通过多类系统及 WeatherBench 验证其有效性。
2025-03-15 cs.LG math.DS physics.ao-ph
Exploring Generative Physics Models with Scientific Priors in Inertial Confinement Fusion
Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
由于现代神经网络在以数据驱动的方式建模高度复杂的非线性问题方面的有效性,人们对将现代神经网络用于科学应用非常感兴趣。然而,一个共同的挑战是验证神经网络预测的输出的科学可行性或有效性。这项工作提倡使用已知的科学约束作为一个镜头,以评估,探索和理解这种预测的问题,惯性约束聚变。
2019-10-03 cs.CV cs.LG physics.comp-ph
Physics-Informed Regularization for Domain-Agnostic Dynamical System Modeling
University of California Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学);California Institute of Technology(加州理工学院)
针对现有物理信息先验方法难以适配不同特性动力系统的问题,提出基于时间反演对称性正则化的TREAT模型,从理论证明其普适性,实验验证其在多类系统尤其是混沌三摆场景下的精度提升效果。
2024-10-08 cs.AI cs.LG
Using Machine Learning to Assess Short Term Causal Dependence and Infer Network Links
University of Maryland, College Park(马里兰大学帕克分校);University of Colorado, Boulder(科罗拉多大学博尔德分校)
我们介绍并测试了一个通用的基于机器学习的技术,用于从其状态变量的时间序列测量中推断未知动态系统的状态变量之间的短期因果关系。我们的技术利用机器学习过程的结果进行短时间预测,以实现我们的目标。其基本思想是使用机器学习来估计沿轨道的动力流的雅可比矩阵的元素。我们采用的机器学习类型是水库计算。我们提出了一个相互作用的动态节点的网络链接推理的数值测试。可以看出,动态噪声可以大大提高我们的技术的有效性,而观测噪声降低的有效性。我们相信,这两种相反类型的噪声之间的竞争将是决定因果推理在许多最重要的应用场合中成功的关键因素。
2019-12-05 cond-mat.dis-nn cs.LG nlin.AO
The Effectiveness of Instance Normalization: a Strong Baseline for Single Image Dehazing
University of Maryland, College Park(马里兰大学帕克分校);Facebook(脸书);Harbin Institute of Technology(哈尔滨工业大学)
我们提出了一种新的深度神经网络架构的挑战性问题的单一图像去雾,其目的是恢复清晰的图像从退化的模糊图像。我们的端到端系统不依赖于手工制作的图像先验或明确估计广泛使用的大气散射模型的组件,而是直接从输入的模糊图像生成清晰的图像。所提出的网络具有编码器-解码器架构,具有跳过连接和实例归一化。我们采用预训练的VGG网络的卷积层作为编码器,以利用深度特征的表示能力,并证明实例归一化对图像去雾的有效性。我们简单而有效的网络在基准数据集上的表现远远优于最先进的方法。
2018-05-08 cs.CV cs.LG
On the Effectiveness of Adversarial Training on Malware Classifiers
University of Luxembourg(卢森堡大学);King’s College London(伦敦大学国王学院);TU Wien(维也纳技术大学);University College London(伦敦大学学院);Ruhr University Bochum(波鸿鲁尔大学)
本文提出Rubik框架系统评估对抗训练在恶意软件分类中的有效性,揭示模型架构和特征空间结构对鲁棒性的影响,并提出实践建议。
2025-11-26 cs.CR cs.LG
Learning Expressive Priors for Generalization and Uncertainty Estimation in Neural Networks
本文提出一种新颖的先验学习方法,通过可扩展和结构化的神经网络后验作为信息性先验,提升泛化能力和不确定性估计,并在持续学习框架中进一步扩展。
2026-03-30 cs.AI cs.LG stat.ML
The Surprising Effectiveness of Representation Learning for Visual Imitation
New York University(纽约大学)
虽然视觉模仿学习提供了从视觉演示中学习的最有效方法之一,但从它们中概括需要数百个不同的演示,特定于任务的先验,或大型的难以训练的参数模型。出现这种复杂性的一个原因是因为标准的视觉模仿框架试图同时解决两个耦合的问题:从不同的视觉数据中学习简洁但良好的表示,同时学习将演示的动作与这些表示相关联。这种联合学习导致这两个问题之间的相互依赖性,这往往导致需要大量的学习示范。为了解决这一挑战,我们建议将表示学习与视觉模仿的行为学习解耦。首先,我们使用标准的监督和自监督学习方法从离线数据中学习视觉表示编码器。一旦表示被训练,我们使用非参数局部加权回归来预测动作。我们的实验表明,这种简单的解耦提高了离线演示数据集和真实机器人开门视觉模仿模型的性能相比,以前的工作在视觉模仿。我们生成的所有数据、代码和机器人视频都可在https://jyopari.github.io/VINN/上公开获取。
2021-12-06 cs.AI cs.CV cs.LG