Amortized Filtering and Smoothing with Conditional Normalizing Flows
School of Mathematics and Statistics(数学与统计学学院);The University of Sydney(悉尼大学);Faculty of Science and Technology(科学与技术学院);Beijing Normal-Hong Kong Baptist University(北京师范大学-香港 Baptist大学);Institute of Computational Mathematics and Scientific/Engineering Computing(计算数学与科学/工程计算研究所);Academy of Mathematics and Systems Science(数学与系统科学学院);Chinese Academy of Sciences(中国科学院);Department of Mathematics and Center for Computation and Technology(数学系与计算技术中心);Louisiana State University(路易斯安那州立大学)
FLUID提出一种基于流的统一近似推断框架,通过共享摘要统计量学习正向和反向流,实现高维非线性动态系统的滤波与平滑,并支持轨迹外推与隐式正则化。
2026-09-21 cs.LG cs.NA math.NA
Order-based Structure Learning with Normalizing Flows
University of Toronto(多伦多大学);Vector Institute(矢量研究院)
提出OSLow框架,利用自回归归一化流和可微置换学习放宽加性噪声模型假设,在拓扑排序上搜索以强制无环性,在合成和真实数据上优于基线方法。
2024-02-17 cs.LG stat.ME
Gradient Boosted Normalizing Flows
University of Minnesota, Twin Cities(明尼苏达大学双城分校)
通过链接一系列可微可逆变换,规范化流(NF)提供了一种后验近似,精确密度估计和采样的表达方法。规范化流文献的趋势是设计更深入、更复杂的转换,以实现更大的灵活性。我们提出了一种替代方案:梯度提升归一化流(GBNF)模型的密度连续添加新的NF组件与梯度提升。在boosting框架下,每个新的NF分量优化样本加权似然目标,从而产生与先前训练的分量的残差拟合的新分量。GBNF公式导致混合模型结构,其灵活性随着添加更多组件而增加。此外,GBNF提供了一个更广泛的,而不是严格的更深入的方法,以额外的培训为代价改进现有的NF-而不是更复杂的转换。我们证明了这种技术的有效性,密度估计,并通过耦合GBNF与变分自编码器,生成的图像建模。我们的研究结果表明,GBNF优于其非增强模拟,并且在某些情况下,用更小、更简单的流产生更好的结果。
2020-10-17 cs.CV cs.LG stat.ML
Differentiable Matrix Elements with MadJax
Technical University of Munich(慕尼黑工业大学);SLAC National Accelerator Laboratory(SLAC国家加速器实验室)
MadJax是一个用于生成和计算高能散射过程的可微矩阵元的工具。因此,这是迈向高能物理学中的可微分编程范例的一步,其促进将在模拟软件中编码的高能物理领域知识并入基于梯度的学习和优化管道中。MadJax包含两个组件:(a)通用矩阵元素生成器MadGraph的插件,其将矩阵元素和相空间采样代码与JAX可微分编程框架集成在一起,以及(b)用于访问矩阵元素代码及其梯度的独立包装API,其利用自动微分来计算。MadJax的实现和基于仿真的推理和规范化流的矩阵元素建模的示例应用,具有独特的可微矩阵元素的能力。
2022-02-28 cs.LG hep-ph physics.comp-ph
Neural Diffeomorphic Non-uniform B-spline Flows
Seoul National University(首尔大学)
本文提出至少二次连续可微且双Lipschitz连续的微分同胚非均匀B样条流,推导其解析逆变换,并在Boltzmann生成器力匹配任务中取得优于已有样条流且快于光滑归一化流的结果。
2023-04-11 cs.AI cs.LG
Learning Non-linear Wavelet Transformation via Normalizing Flow
Department of Physics(物理系);The Hong Kong University of Science and Technology(香港科技大学)
小波变换是现代数据分析和信号处理的基石。它的数学本质是一个可逆的变换,在频域中从快速模式中分辨出慢模式。这种可逆变换可以通过设计的归一化流模型来学习。通过将广义提升方案作为耦合层、类似于下采样的因子输出层以及在模型的不同级别上共享参数,可以训练归一化流程以过滤不同级别上的高频元素,从而将传统的线性小波变换扩展到可学习的非线性深度学习模型。在本文中,提出了一种方法来建立这样的流,随着数值分析的学习转换。然后,我们证明了该模型的图像无损压缩的能力,显示它可以实现SOTA压缩分数,同时实现了一个小的模型大小,大量的泛化能力,并能够处理高维数据。
2022-01-27 cs.AI cs.CV cs.LG
Flow Annealed Importance Sampling Bootstrap meets Differentiable Particle Physics
Max Planck Institute for Intelligent Systems Tübingen(马克斯·普朗克智能系统研究所图宾根);Max Planck Institute for Gravitational Physics (Albert Einstein Institute)(马克斯·普朗克引力物理研究所(爱因斯坦研究所));Technical University of Munich(慕尼黑技术大学);Isomorphic Labs(同构实验室);University of Cambridge(剑桥大学);University of Bochum(博德姆大学)
本文提出一种基于流退火重要性采样Bootstrap的方法,用于高效生成复杂分布下的样本,减少训练数据生成成本。
2025-05-25 cs.LG hep-ph physics.comp-ph
Differentiable Gaussianization Layers for Inverse Problems Regularized by Deep Generative Models
ExxonMobil Technology & Engineering Company(埃克森美孚技术与工程公司)
针对深度生成模型在反演中潜在张量偏离高斯分布导致低保真度的问题,提出可微数据相关层进行重新参数化和高斯化,在MRI等任务上实现最先进性能。
2024-07-29 cs.CV cs.LG
Differentiable Causal Discovery from Interventional Data
Mila, Université de Montréal(蒙特利尔大学Mila);Element AI;Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
从数据中学习因果有向无环图是一项具有挑战性的任务,涉及解决组合问题,其解决方案并不总是可识别的。一个新的工作路线重新制定这个问题作为一个连续的约束优化,这是通过增广拉格朗日方法来解决。然而,大多数基于这种想法的方法不使用介入数据,这可以显着缓解可识别性问题。这项工作构成了一个新的一步,在这个方向上提出了一个理论基础的方法,基于神经网络,可以利用介入数据。我们说明了连续约束框架的灵活性,利用表达神经架构,如规范化流程。我们表明,我们的方法相比,在各种设置,包括完美和不完美的干预,目标节点甚至可能是未知的最先进的。
2020-11-03 cs.LG stat.ML
Diffusion differentiable resampling
Department of Information Technology, Uppsala University, Sweden(乌普萨拉大学信息科技系,瑞典)
针对序贯蒙特卡洛中的可微重采样问题,提出一种基于无训练扩散模型代理的信息性且即时可微的重采样方法,理论证明其一致性,并在多个滤波和参数估计基准上优于现有方法。
2026-05-28 cs.LG math.ST stat.ML
Normalizing flow sampling with Langevin dynamics in the latent space
IRIT/INP-ENSEEIHT(IRIT/法国国立图卢兹高等电子工程、电子、计算机、水力与电信学院);University of Toulouse(图卢兹大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);University of Lille(里尔大学)
针对标准 Normalizing flows 在复杂多峰分布上因 Jacobian 范数爆炸导致的病态行为,提出一种基于 MALA 的 MCMC 算法,在潜空间采样后映射回目标域,无需特定训练即可兼容任何预训练 NF 网络。
2023-05-20 cs.LG stat.ML
Differentiable Dictionary Search: Integrating Linear Mixing with Deep Non-Linear Modelling for Audio Source Separation
Johannes Kepler University Linz(约翰内斯·开普勒大学林茨分校)
本文介绍了几个改进的信号分解的新方法,我们最近制定的名称下的微分字典搜索(DDS)。DDS的基本思想是利用一类强大的深度可逆密度估计器(称为归一化流),以线性分解方法(如NMF)对字典进行建模,有效地在字典元素空间和相关概率空间之间创建双射,允许在估计密度的指导下通过字典空间进行可微搜索。由于最初的公式是一个概念证明,有一些实际的限制,我们将提出几个步骤,使其可扩展,希望提高计算复杂性的方法和信号分解能力。作为实验评估的测试平台,我们选择了框架级钢琴转录的任务,其中信号被分解为活动归因于单个钢琴音符的源。为了突出改进的非线性建模源的影响,我们比较我们的方法的变体的线性过完备NMF基线。实验结果将表明,即使在没有额外的约束,我们的模型产生越来越稀疏和精确的分解,根据两个相关的评估措施。
2022-11-28 cs.LG cs.SD eess.AS
MolHF: A Hierarchical Normalizing Flow for Molecular Graph Generation
Zhejiang University(浙江大学);Tencent Quantum Laboratory, Tencent(腾讯量子实验室);Second Affiliated Hospital School of Medicine, Zhejiang University(浙江大学医学院附属第二医院)
MolHF提出一种分层归一化流模型,以从粗到细方式生成分子图,解决离散分层生成不可微问题,实现随机生成和性质优化最先进性能,并首次适用于超过100个重原子的大分子。
2023-05-15 cs.LG stat.ML
Comparing Normalizing Flows with Kernel Density Estimation in Estimating Risk of Automated Driving Systems
TNO, Integrated Vehicle Safety(TNO综合车辆安全)
针对自动驾驶系统基于场景的安全验证中概率密度函数估计的难题,提出用归一化流进行高维密度估计,对比核密度估计验证其能更精准评估风险不确定性,展现了应用潜力。
2025-07-30 cs.LG cs.RO
Embedded-model flows: Combining the inductive biases of model-free deep learning and explicit probabilistic modeling
OnePlanet Research Center(OnePlanet研究中心);imec-the Netherlands(荷兰微电子研究中心(imec荷兰分部));Google Research(谷歌研究院);Donders Institute for Brain, Cognition and Behaviour(唐德斯大脑、认知与行为研究所);Radboud University(拉德堡德大学)
规范化流作为通用密度估计器已经显示出巨大的成功。然而,许多现实世界的应用程序需要使用特定于领域的知识,规范化流不能很容易地将其合并。我们提出了嵌入式模型流(EMF),它交替通用转换与结构化层,嵌入特定领域的归纳偏见。这些层是通过将用户指定的可微概率模型转换为等效的双射变换来自动构建的。我们还引入了门控结构层,它允许绕过模型中无法捕获数据统计信息的部分。我们证明,电磁场可以用来诱导理想的属性,如多模态,层次耦合和连续性。此外,我们表明,电动势使一个高性能的变分推断的形式,在变分架构中嵌入的结构的先验模型。在我们的实验中,我们表明,这种方法优于国家的最先进的方法在常见的结构化推理问题。
2022-03-15 cs.LG stat.ML
Neural Spline Flows
University of Edinburgh(爱丁堡大学)
归一化流将复杂的概率密度建模为简单基础密度的可逆变换。基于耦合或自回归变换的流都提供精确的密度评估和采样,但依赖于一个容易可逆的元素级变换的参数化,其选择决定了这些模型的灵活性。基于最近的工作,我们提出了一个基于单调有理二次样条的完全可微模块,它增强了耦合和自回归变换的灵活性,同时保留了分析可逆性。我们证明,神经样条流提高密度估计,变分推断,并生成图像建模。
2019-12-02 cs.LG stat.ML
Regime Learning for Differentiable Particle Filters
National Physical Laboratory(国家物理实验室)
针对系统在有限状态空间模型间切换且难以同时学习状态域与切换过程的问题,提出基于神经网络的状态域学习可微粒子滤波器(RLPF)及训练流程,在数值实验中表现出竞争力。
2024-06-12 cs.LG eess.SP
Differentiable Bootstrap Particle Filters for Regime-Switching Models
University of Surrey(萨里大学);University of Edinburgh(爱丁堡大学)
针对实际场景中状态动力学与测量值存在多模型切换的问题,提出一种面向体制切换状态空间模型的可微粒子滤波方法,可学习未知候选模型并跟踪状态后验,实验验证其性能优于同类竞争算法。
2023-05-03 cs.LG eess.SP
PyDPF: A Python Package for Differentiable Particle Filtering
Max-Planck(马克斯·普朗克);University of London(伦敦大学)
PyDPF是基于PyTorch的Python包,实现了统一API的可微分粒子滤波器,可复现相关实验,用于解决状态空间建模的常见挑战,便于算法使用与比较。
2026-10-07 cs.LG eess.SP
An overview of differentiable particle filters for data-adaptive sequential Bayesian inference
University of Surrey(萨里大学)
本文综述了可微粒子滤波器的最新进展与应用,重点梳理其动态模型、测量模型、提议分布等关键组件的不同设计选择,这类方法用神经网络构建PF组件并梯度优化,可适配复杂高维序列推理任务。
2023-12-14 cs.AI cs.LG
Differentiable Interacting Multiple Model Particle Filtering
University of Surrey(萨里大学);National Physical Laboratory(英国国家物理实验室);University of Edinburgh(爱丁堡大学);King’s College London(伦敦国王学院)
提出一种可微交互多模型粒子滤波算法,通过梯度下降学习行为跳变模型的高维参数,同时开发低方差梯度估计器,在理论与数值实验中均优于现有方法。
2024-12-18 cs.LG eess.SP stat.ML
Revisiting semi-supervised training objectives for differentiable particle filters
Computer Science Research Centre, University of Surrey(萨里大学计算机科学研究中心)
本文针对有标签数据稀缺问题,比较了两种可微分粒子滤波器半监督训练目标,并在两个模拟环境中验证其有效性。
2024-05-02 cs.LG stat.ML
Learning Differentiable Particle Filter on the Fly
University of Surrey(萨里大学)
针对可微粒子滤波器现有离线监督训练存在部署延迟、易受分布偏移影响的问题,提出基于无监督损失的在线学习框架,在无真实状态的在线场景下通过滤波操作实现最大似然参数更新,仿真实验验证了其有效性。
2023-12-16 cs.LG
How to Train Your Differentiable Filter
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Stanford University(斯坦福大学)
在许多机器人应用中,保持对系统状态的信念是至关重要的,它作为规划和决策的输入,并在任务执行期间提供反馈。贝叶斯滤波算法解决了这个状态估计问题,但是它们需要过程动态和传感器观测的模型以及这些模型的相应噪声特性。最近,多项研究表明,这些模型可以通过递归过滤算法的可微版本进行端到端训练来学习。在这项工作中,我们研究了可微滤波器(DF)在非结构化学习方法和手动调整的滤波算法上的优势,并为有兴趣应用这种可微滤波器的研究人员提供了实际指导。为此,我们实现了DF与四种不同的底层滤波算法,并在广泛的实验中比较它们。具体来说,我们(i)评估不同的实现选择和训练方法,(ii)研究在DF中学习复杂的不确定性模型的效果,(iii)评估通过DF进行端到端训练的效果,以及(iv)比较DF之间以及非结构化LSTM模型。
2021-06-10 cs.LG cs.RO
Differentiable Attenuation Filters for Feedback Delay Networks
本文提出了一种基于反馈延迟网络的可微衰减滤波器设计方法,通过参数均衡器实现对频率依赖回声衰减的精细控制,提升了回声系统的性能并降低了计算成本。
2025-11-25 cs.LG cs.SD
Differentiable Particle Filtering via Entropy-Regularized Optimal Transport
Aalto University(阿尔托大学);University of Oxford(牛津大学)
粒子滤波(PF)方法是一种用于在非线性状态空间模型中执行推理的既定程序。恢复是PF的关键成分,对于获得低方差似然和状态估计是必要的。然而,传统的恢复方法导致基于PF的损失函数关于模型和PF参数不可微。在变分推断的背景下,rescue也产生高方差梯度估计的PF为基础的证据下界。通过利用最优传输的思想,我们引入了一个原则性的可微粒子滤波器,并提供收敛结果。我们证明了这种新的方法在各种应用程序。
2021-06-30 cs.LG stat.CO stat.ML
End-To-End Semi-supervised Learning for Differentiable Particle Filters
University of Surrey(萨里大学)
将神经网络结合到粒子滤波器中的最新进展提供了在大规模现实世界应用中应用粒子滤波器所需的灵活性。在这个框架中的动态和测量模型是通过粒子滤波器的微分实现学习。过去在优化这种模型方面的努力通常需要了解真实状态,这可能是昂贵的,甚至在实践中无法获得。在本文中,为了减少对注释数据的需求,我们提出了一个端到端的学习目标的基础上最大化的伪似然函数,可以提高估计的状态时,大部分的真实状态是未知的。我们评估所提出的方法在机器人状态估计任务与模拟和真实世界的数据集的性能。
2021-03-28 cs.LG stat.ML
Differentiable Particle Filters: End-to-End Learning with Algorithmic Priors
Robotics and Biology Laboratory, Technische Universität Berlin, Germany(德国柏林工业大学机器人与生物实验室)
我们提出了可微粒子滤波器(DPFs):一个可微的实现粒子滤波算法与可学习的运动和测量模型。由于DPF是端到端可微分的,因此我们可以通过优化端到端状态估计性能而不是代理目标(如模型精度)来有效地训练它们的模型。DPF对递归状态估计的结构进行编码,其中预测和测量更新对状态上的概率分布进行操作。该结构表示一种算法先验,其提高了状态估计问题中的学习性能,同时使学习模型具有可解释性。我们在模拟和真实数据上的实验表明,使用算法先验进行端到端学习具有很大的好处,例如,将出错率降低了约80%。我们的实验还表明,与长短期记忆网络不同,DPF以一种与策略无关的方式学习本地化,从而大大提高了泛化能力。源代码可在https://github.com/tu-rbo/differentiable-particle-filters上获得。
2018-05-30 cs.AI cs.LG cs.RO
Differentiable Particle Filtering using Optimal Placement Resampling
1 Department of Control for Transportation;Vehicle Systems, Faculty of Transportation Engineering;Vehicle Engineering, Budapest University of Technology
本文提出了一种基于经验累积分布函数的可微重采样方法,用于解决传统粒子滤波中因非可微性导致的参数估计问题。
2024-02-26 cs.LG stat.CO
Fully differentiable model discovery
Université de Paris(巴黎大学);INSERM U1284(法国国家健康与医学研究院U1284);Center for Research and Interdisciplinarity (CRI)(跨学科研究中心)
模型发现的目的是自主地发现数据集下的微分方程。基于物理信息神经网络(PINN)的方法已经显示出很大的前景,但显式学习方程的完全可微模型仍然难以捉摸。在本文中,我们提出了这样一种方法,通过集成神经网络为基础的代理与稀疏贝叶斯学习(SBL)。这种组合产生了一个强大的模型发现算法,我们在各种数据集上展示了它。然后,我们确定与多任务学习的连接,并在此基础上构建物理信息规范化流程(PINF)。我们提出了一个使用PINF直接从单粒子数据学习密度模型的概念验证。我们的工作将PINN扩展到各种类型的神经网络架构,并将基于神经网络的代理连接到贝叶斯参数推断的丰富领域。
2021-10-05 cs.LG stat.ML
Differentiable Particle Filtering without Modifying the Forward Pass
University of British Columbia(不列颠哥伦比亚大学);Inverted AI;Mila
粒子滤波器与自动微分不兼容,这是由于存在离散的再分解步骤。虽然基于Fisher恒等式的得分函数的已知估计量可以使用粒子滤波器来计算,但到目前为止,它们需要手动实现。在本文中,我们表明,这样的估计可以使用自动微分计算,引入一个简单的修正粒子权重后。该校正利用停止梯度算子,并且不修改前向传递上的粒子滤波器操作,同时还便宜且易于计算。令人惊讶的是,在相同的校正下,自动微分也可以为后验期望的梯度产生良好的估计。因此,我们可以把我们的方法看作是使粒子滤波器可微的一般方法。我们还表明,它产生所需的估计二阶导数,以及如何扩展它,以进一步减少额外的计算费用的方差。
2021-10-19 cs.LG stat.ML
Towards Differentiable Resampling
Stanford(斯坦福大学);Google AI(谷歌人工智能);Robotics at Google(谷歌机器人)
在粒子滤波器中,基于样本的递归状态估计的一个关键组成部分是恢复。最近的工作探索了用于端到端学习的可微粒子过滤器。然而,在这些工作中,再分配仍然是一个挑战,因为它本质上是不可微的。我们通过用一个学习过的神经网络重采样器代替传统的重采样器来解决这个挑战。我们提出了一种新的网络架构,粒子Transformer,并训练它的粒子resception使用一个基于似然的损失函数的粒子集。结合到一个可微粒子滤波器,我们的模型可以端到端的优化与其他粒子滤波组件通过梯度下降。我们的研究结果表明,我们学习的重采样器优于传统的重采样技术的合成数据和模拟机器人定位任务。
2020-04-24 cs.LG cs.RO stat.ML
Auto-differentiable Ensemble Kalman Filters
University of Chicago(芝加哥大学)
数据同化是关于连续估计时间演变状态。这个任务,这在广泛的科学和工程应用中出现,是特别具有挑战性的状态时,是高维的状态空间动态是未知的。本文介绍了一个用于数据同化中动力系统学习的机器学习框架。我们的自微分集合卡尔曼滤波器(AD-EnKFs)将用于状态恢复的集合卡尔曼滤波器与用于学习动态的机器学习工具相结合。在这样做时,AD-EnKF利用集合卡尔曼滤波器缩放到高维状态的能力和自动微分的能力来训练动态的高维代理模型。使用Lorenz-96模型的数值结果表明,AD-EnKF优于使用期望最大化或粒子滤波器合并数据同化和机器学习的现有方法。此外,AD-EnKF易于实现,并且需要最少的调谐。
2021-07-19 cs.LG stat.CO stat.ML
Differentiable Systematic Resampling for Variational Sequential Monte Carlo
KTH Royal Institute of Technology(瑞典皇家理工学院)
针对粒子滤波器重采样步骤离散阻碍变分序列蒙特卡洛梯度学习的问题,提出可微系统重采样DSR,其计算开销低且性能相当或更优,可用于滤波与动力学学习。
2026-10-30 cs.LG eess.SP stat.ML
FlowPG: Action-constrained Policy Gradient with Normalizing Flows
School of Computing and Information Systems(计算与信息系统学院);Singapore Management University(新加坡管理大学)
本文提出 FlowPG,利用归一化流学习可行动作空间与简单分布间的可逆映射,并与 DDPG 集成,避免投影层优化,显著减少约束违反并加速连续控制任务训练。
2024-02-07 cs.AI cs.LG
Efficient Learning of the Parameters of Non-Linear Models using Differentiable Resampling in Particle Filters
University of Liverpool(利物浦大学);Uppsala University(乌普萨拉大学)
已经有大量文献证明,粒子滤波器中的采样和重新采样步骤不能区分。引入了{ \itshape重新参数化技巧},以允许将采样步骤重新公式化为可微函数。我们扩展了{ \itshape reparameterisation技巧},以包括随机输入,从而限制在这一步之后的梯度计算的不连续性。知道先验和似然的梯度允许我们运行粒子马尔可夫链蒙特卡罗(p-MCMC),并在估计参数时使用无U形转弯采样器(NUTS)作为建议。我们比较了Metropolis调整的Langevin算法(MALA),哈密顿蒙特卡罗与不同的步骤和NUTS。我们考虑两个状态空间模型,并表明NUTS提高了混合的马尔可夫链,可以产生更准确的结果,在更少的计算时间。
2022-04-27 cs.LG stat.ML
Flow-based Bayesian filtering for high-dimensional nonlinear stochastic dynamical systems
School of Mathematical Sciences, Tongji University(同济大学数学科学学院);Department of Mathematics, Shanghai Normal University(上海师范大学数学系)
针对高维非线性随机动力系统的贝叶斯滤波问题,提出基于流的贝叶斯滤波器(FBF),利用归一化流构建具有高斯滤波分布的潜在线性状态空间模型,实现高效数据驱动的滤波。
2025-03-05 cs.LG cs.NA math.NA
Learning state and proposal dynamics in state-space models using differentiable particle filters and neural networks
School of Mathematics, University of Edinburgh(爱丁堡大学数学学院);Electrical and Computing Engineering, Rice University(莱斯大学电气与计算机工程学院)
提出StateMixNN方法,用神经网络学习粒子滤波的提议与转移分布,以对数似然训练,仅需观测序列,在非线性场景中显著提升隐藏状态恢复。
2025-03-26 cs.LG stat.CO stat.ML
Differentiable All-pole Filters for Time-varying Audio Systems
Chin-Yun Yu Equal contribution. ,\, Christopher Mitcheltree ,\, Alistair Carson ,\, Stefan Bilbao ,\, Joshua D. Reiss ,\
本文提出一种可微时变全极点滤波器实现,使递归滤波器梯度能通过自身反向传播,从而突破自动微分框架限制,实现含极点滤波器的音频系统端到端训练,并在移相器、合成器和压缩器上验证了其训练效率与建模能力。
2024-10-19 cs.LG cs.SD eess.AS
Rethinking Differentiable Search for Mixed-Precision Neural Networks
UC San Diego(加州大学圣地亚哥分校)
低精度网络,权重和激活量化到低位宽,被广泛用于加速边缘设备上的推理。然而,目前的解决方案是统一的,使用相同的位宽的所有过滤器。这不能考虑不同滤波器的不同灵敏度,并且是次优的。混合精度网络通过根据各个滤波器的要求调整位宽来解决这个问题。在这项工作中,最优的混合精度网络搜索(MPS)的问题被认为是。为了克服其离散搜索空间和组合优化的困难,提出了一种新的可微搜索结构,通过利用MPS问题的独特性质来提高效率。由此产生的高效可微混合精度网络搜索(EdMIPS)方法可以有效地为多个流行网络找到最佳比特分配,并且可以在合理的时间内直接在ImageNet上搜索大型模型,例如Inception-V3,而无需代理任务。学习的混合精度网络明显优于其统一的同行。
2020-04-13 cs.CV cs.LG cs.NE
PF-GNN: Differentiable particle filtering based approximation of universal graph representations
School of Computing, National University of Singapore(新加坡国立大学计算机学院);PayPal Innovation Lab(PayPal创新实验室)
针对消息传递GNN表达能力受1-WL测试限制的问题,提出基于可微粒子滤波的PF-GNN,通过采样IR范式的着色搜索树近似通用图表示,端到端可微且仅线性增加耗时,在合成与真实数据集上性能优于主流GNN。
2024-01-31 cs.AI cs.LG
Enhanced SMC$^2$: Leveraging Gradient Information from Differentiable Particle Filters Within Langevin Proposals
University of Liverpool(利物浦大学)
本研究提出在SMC$^2$的Langevin提议中利用CRN-PF的一阶梯度信息,有效解决了高维参数空间下随机游走提议的挑战,提高了参数估计准确性和有效样本量,并通过MPI并行化实现了51倍加速。
2024-07-24 cs.LG stat.AP stat.ML
Differentiable Safe Controller Design through Control Barrier Functions
University of Pennsylvania(宾夕法尼亚大学)
基于学习的控制器,如神经网络(NN)控制器,可以表现出很高的经验性能,但缺乏正式的安全保证。为了解决这个问题,控制障碍函数(CBF)已被应用作为一个安全过滤器,以监测和修改基于学习的控制器的输出,以保证闭环系统的安全。然而,这种修改可能是短视的,具有不可预测的长期影响。在这项工作中,我们提出了一个安全的结构神经网络控制器,它采用可微CBF为基础的安全层,并研究安全的结构神经网络控制器在基于学习的控制性能。具体来说,两个配方的控制器进行比较:一个是基于投影和其他依赖于我们提出的集理论参数化。在数值实验中,这两种方法都证明了使用CBF作为单独的安全滤波器的闭环性能得到了改善。
2023-01-09 cs.LG cs.SY eess.SY
A Differentiable Framework for End-to-End Learning of Hybrid Structured Compression
Seoul National University(首尔国立大学);AI Institute at Seoul National University(首尔国立大学人工智能研究所)
本文提出可微分框架 DF,将滤波器选择、秩选择与预算约束统一为单一解析形式,并通过 DML-S 和 DTL-S 实现端到端混合结构化压缩,实验证明其性能超越现有最先进方法。
2023-09-21 cs.AI cs.LG eess.IV
Learning to be Smooth: An End-to-End Differentiable Particle Smoother
University of California, Irvine(加利福尼亚大学欧文分校)
本文提出端到端可微的“双滤波器”混合密度粒子平滑器,通过分层与重要性加权重采样实现跨长时序的低方差梯度传播,并在城市规模车辆定位中显著优于现有粒子滤波与搜索基线。
2025-02-14 cs.AI cs.LG cs.RO
Differentiable and Stable Long-Range Tracking of Multiple Posterior Modes
University of California, Irvine(加利福尼亚大学欧文分校)
针对传统粒子滤波器依赖已知生成模型、现有判别式粒子滤波器梯度有偏或高方差的问题,提出基于连续混合密度的混合密度粒子滤波器,通过重要性采样梯度估计器实现无偏低方差梯度,在跟踪与机器人定位任务上提升了准确性与训练稳定性。
2024-04-12 cs.AI cs.LG cs.RO
Differentiable Mask for Pruning Convolutional and Recurrent Networks
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
剪枝是最有效的模型降阶技术之一。深度网络需要大量的计算,这些模型需要压缩才能在边缘设备上使用。大多数现有的修剪技术都集中在基于视觉的模型上,如卷积网络,而基于文本的模型仍在不断发展。多模态多任务学习的出现需要一种通用的方法,同时适用于视觉和文本架构。我们引入了一个\emph{differentiable mask},诱导稀疏的各种粒度,以填补这一空白。我们成功地将我们的方法应用于修剪权重,滤波器,卷积架构的子网络以及递归网络的节点。
2020-04-29 cs.LG stat.ML
Probabilistic Energy Forecasting using Quantile Regressions based on a new Nearest Neighbors Quantile Filter
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
参数分位数回归是创建概率能源预测的有用工具。尽管如此,由于经典分位数回归是使用不可微的成本函数训练的,因此使用复杂的数据采掘技术(例如,人工神经网络)可能是复杂的。本文提出了一种方法,使用一个新的最近邻分位数过滤器,以获得独立的分位数回归所利用的数据采掘技术,没有不可微的成本函数。此后,使用2014年全球能源预测竞赛的数据集进行验证所提出的方法。结果表明,所提出的方法是能够解决类似的准确性,在类似的时间竞争的冠军的竞争任务,但需要一个强大得多的计算机。该属性可能与在线预测服务相关,对于该在线预测服务,需要使用不那么强大的机器来快速计算概率预测。
2019-03-18 cs.LG stat.ML
Fantastic Four: Differentiable Bounds on Singular Values of Convolution Layers
University of Maryland(马里兰大学)
在深度神经网络中,层的雅可比矩阵的谱范数限制了信号的范数在前向/后向传播期间改变的因子。谱范数正则化已被证明可以提高深度学习方法的泛化、鲁棒性和优化。计算卷积层的谱范数的现有方法要么依赖于计算效率高但缺乏保证的算法,要么理论上合理但计算昂贵。在这项工作中,我们获得了最好的两个世界推导{ \it four}可证明的上界的频谱范数的标准2D多通道卷积层。这些边界是可微的,并且可以在训练期间以可忽略的开销有效地计算。这些界限之一实际上是Miyato等人的流行的探试法(乘以取决于过滤器大小的常数因子)。这四个边界中的每一个都可以根据卷积滤波器实现最紧的间隙。因此,我们建议使用这四个边界的最小值作为卷积层的谱范数的紧的、可微的和有效的上界。我们表明,我们的谱界是一个有效的正则化,可以用来绑定的Lipschitz常数或曲率值(Hessian的特征值)的神经网络。通过在MNIST和CIFAR-10上的实验,我们证明了我们的谱界在提高深度网络的泛化能力和可证明的鲁棒性方面的有效性。
2021-06-12 cs.LG stat.ML
Differentiable reservoir computing
Department of Mathematics and Statistics(数学与统计学系);Centre National de la Recherche Scientifique (CNRS)(国家科学研究中心(CNRS))
本文研究了 reservoir 计算系统在不同可微性条件下的特性,提出了一种新的方法来分析 reservoir 过滤器的可微性,并展示了其在混沌动力系统学习中的应用。
2019-03-22 cs.LG cs.NE cs.SY
FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary
Arizona State University(亚利桑那州立大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Microsoft Research(微软研究院);StylingAI Inc.(StylingAI公司)
我们提出了一种通过卷积滤波器的新表示进行权重共享来压缩深度卷积神经网络(CNN)的新方法。所提出的方法通过学习称为滤波器摘要(FS)的1D向量来减少每个卷积层的参数数量。卷积滤波器位于FS中作为重叠的1D段,FS中的邻近滤波器以自然的方式在其重叠区域中共享权重。基于这种权重共享方案的所得神经网络(称为滤波器摘要CNN或FSNet)在每个卷积层中具有FS,而不是常规卷积层中的一组独立滤波器。FSNet具有与待压缩的基线CNN相同的架构,并且FSNet的每个卷积层在前向过程中具有与基线CNN相同数量的来自FS的滤波器。FSNet的参数空间远小于基线CNN的参数空间,具有令人信服的计算加速比。此外,FSNet是量化友好的。具有权重量化的FSNet导致甚至更高的压缩比,而没有明显的性能损失。我们进一步提出了可微分FSNet,其中过滤器共享权重的方式是以可微分和端到端的方式学习的。实验证明了FSNet在压缩CNN用于计算机视觉任务(包括图像分类和目标检测)中的有效性,并且DFSNet的有效性通过神经结构搜索任务得到了证明。
2020-04-10 cs.AI cs.LG stat.ML
Variational Marginal Particle Filters
Manning College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院)
状态空间模型的变分推断是一个困难的问题。最近的工作集中于从无偏的序贯蒙特卡罗估计量推导变分目标。我们发现,边缘粒子滤波器是从序贯蒙特卡罗通过应用Rao-Blackwellization操作,牺牲了减少方差和可微的轨迹信息。我们提出了变分边缘粒子滤波器(VMPF),这是一个可微的和重新参数化的变分滤波目标的SSM的基础上的无偏估计量。我们发现,VMPF有偏梯度提供更紧密的界限比以前的目标,和无偏的重新参数化梯度有时是有益的。
2022-03-14 cs.LG stat.ML
Differentiable Mapping Networks: Learning Structured Map Representations for Sparse Visual Localization
Google(谷歌);National University of Singapore(新加坡国立大学)
映射和定位,最好是从少量的观察,是机器人的基本任务。我们通过将空间结构(可微映射)和端到端学习结合在一个新的神经网络架构中来解决这些任务:可微映射网络(DMN)。DMN构造了一个空间结构化的视图嵌入图,并使用它进行后续的视觉定位与粒子滤波。由于DMN架构是端到端可微的,因此我们可以使用梯度下降来联合学习地图表示和定位。我们将DMN应用于稀疏视觉定位,其中机器人需要在新的环境中相对于来自已知视点的少量图像进行定位。我们使用模拟环境和具有挑战性的现实世界街景数据集来评估DMN。我们发现,DMN学习有效的地图表示视觉定位。空间结构的好处随着较大的环境、用于映射的更多视点以及当训练数据稀缺时而增加。项目网址:http://sites.google.com/view/differentiable-mapping
2020-05-19 cs.CV cs.LG cs.RO
CWP: Instance complexity weighted channel-wise soft masks for network pruning
Ningxia University(宁夏大学);Collaborative Innovation Center for Ningxia Big Data and Artificial Intelligence co-founded by Ningxia Municipality and Ministry of Education(宁夏大数据与人工智能省部共建协同创新中心)
现有的可微通道修剪方法通常在通道后附加缩放因子或掩码来修剪重要性较低的滤波器,并隐含地假设输入样本对滤波器重要性的贡献是均匀的。具体而言,实例复杂性对剪枝性能的影响尚未在静态网络剪枝中得到充分研究。本文提出了一种简单有效的基于实例复杂度加权过滤器重要性得分的可微网络剪枝方法CWP。我们定义实例复杂度相关的权重为每个实例,通过赋予更高的权重,硬实例,并衡量加权和的实例特定的软掩模模型的非均匀贡献的不同的输入,这鼓励硬实例占主导地位的修剪过程和模型的性能得到很好的保留。此外,我们引入了一个正则化最大化偏振的面具,这样一个甜蜜点可以很容易地找到识别过滤器修剪。对各种网络架构和数据集的性能评估表明,CWP在修剪大型网络方面优于现有技术。例如,CWP在CIFAR-10数据集上删除了64.11%的FLOP后,将ResNet 56的准确性提高了0.32%,并在ImageNet数据集上修剪了ResNet 50的87.75%的FLOP,仅损失了0.93%的Top-1准确性。
2022-10-11 cs.LG