Enhanced SMC$^2$: Leveraging Gradient Information from Differentiable Particle Filters Within Langevin Proposals
University of Liverpool（利物浦大学）
本研究提出在SMC$^2$的Langevin提议中利用CRN-PF的一阶梯度信息，有效解决了高维参数空间下随机游走提议的挑战，提高了参数估计准确性和有效样本量，并通过MPI并行化实现了51倍加速。
2024-07-24 cs.LG stat.AP stat.ML
Normalizing Flow-based Differentiable Particle Filters
针对现有可微粒子滤波器受限于普通神经网络和预定义分布的问题，本文提出用条件归一化流构建动态、提议和测量模型，并给出理论性质与数值实验验证。
2025-01-03 cs.LG eess.SP
Differentiable reservoir computing
Department of Mathematics and Statistics（数学与统计学系）；Centre National de la Recherche Scientifique (CNRS)（国家科学研究中心（CNRS））
本文研究了 reservoir 计算系统在不同可微性条件下的特性，提出了一种新的方法来分析 reservoir 过滤器的可微性，并展示了其在混沌动力系统学习中的应用。
2019-03-22 cs.LG cs.NE cs.SY
FSNet: Compression of Deep Convolutional Neural Networks by Filter Summary
Arizona State University（亚利桑那州立大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Microsoft Research（微软研究院）；StylingAI Inc.（StylingAI公司）
我们提出了一种通过卷积滤波器的新表示进行权重共享来压缩深度卷积神经网络（CNN）的新方法。所提出的方法通过学习称为滤波器摘要（FS）的1D向量来减少每个卷积层的参数数量。卷积滤波器位于FS中作为重叠的1D段，FS中的邻近滤波器以自然的方式在其重叠区域中共享权重。基于这种权重共享方案的所得神经网络（称为滤波器摘要CNN或FSNet）在每个卷积层中具有FS，而不是常规卷积层中的一组独立滤波器。FSNet具有与待压缩的基线CNN相同的架构，并且FSNet的每个卷积层在前向过程中具有与基线CNN相同数量的来自FS的滤波器。FSNet的参数空间远小于基线CNN的参数空间，具有令人信服的计算加速比。此外，FSNet是量化友好的。具有权重量化的FSNet导致甚至更高的压缩比，而没有明显的性能损失。我们进一步提出了可微分FSNet，其中过滤器共享权重的方式是以可微分和端到端的方式学习的。实验证明了FSNet在压缩CNN用于计算机视觉任务（包括图像分类和目标检测）中的有效性，并且DFSNet的有效性通过神经结构搜索任务得到了证明。
2020-04-10 cs.AI cs.LG stat.ML
Variational Marginal Particle Filters
Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院）
状态空间模型的变分推断是一个困难的问题。最近的工作集中于从无偏的序贯蒙特卡罗估计量推导变分目标。我们发现，边缘粒子滤波器是从序贯蒙特卡罗通过应用Rao-Blackwellization操作，牺牲了减少方差和可微的轨迹信息。我们提出了变分边缘粒子滤波器（VMPF），这是一个可微的和重新参数化的变分滤波目标的SSM的基础上的无偏估计量。我们发现，VMPF有偏梯度提供更紧密的界限比以前的目标，和无偏的重新参数化梯度有时是有益的。
2022-03-14 cs.LG stat.ML
Differentiable Particle Filters through Conditional Normalizing Flow
University of Surrey（萨里大学）
微分粒子滤波器提供了一种灵活的机制，通过从观测数据中学习，自适应地训练动态和测量模型。然而，大多数现有的可微粒子滤波器是在自举粒子滤波框架内，并未能纳入最新的观测信息，以构建更好的建议。在本文中，我们利用条件规范化流构造建议分布的可微粒子滤波器，丰富的分布族，建议分布可以表示。此外，规范化流被纳入动态模型的构造中，从而产生更具表达力的动态模型。我们证明了所提出的条件归一化流为基础的可微粒子滤波器在视觉跟踪任务的性能。
2021-11-10 cs.AI cs.LG
Flexible Channel Dimensions for Differentiable Architecture Search
EPFL（洛桑联邦理工学院）
针对现有通道维度神经架构搜索依赖固定搜索空间的问题，提出带动态通道分配的可微搜索方法，在CIFAR-10上实现与现有方法性能相当的架构，同时提升搜索效率并降低内存需求，无需预设搜索空间。
2023-06-13 cs.AI cs.LG
An overview of differentiable particle filters for data-adaptive sequential Bayesian inference
University of Surrey（萨里大学）
本文综述了可微粒子滤波器的最新进展与应用，重点梳理其动态模型、测量模型、提议分布等关键组件的不同设计选择，这类方法用神经网络构建PF组件并梯度优化，可适配复杂高维序列推理任务。
2023-12-14 cs.AI cs.LG
Revisiting semi-supervised training objectives for differentiable particle filters
Computer Science Research Centre, University of Surrey（萨里大学计算机科学研究中心）
本文针对有标签数据稀缺问题，比较了两种可微分粒子滤波器半监督训练目标，并在两个模拟环境中验证其有效性。
2024-05-02 cs.LG stat.ML
Differentiable Interacting Multiple Model Particle Filtering
University of Surrey（萨里大学）；National Physical Laboratory（英国国家物理实验室）；University of Edinburgh（爱丁堡大学）；King’s College London（伦敦国王学院）
提出一种可微交互多模型粒子滤波算法，通过梯度下降学习行为跳变模型的高维参数，同时开发低方差梯度估计器，在理论与数值实验中均优于现有方法。
2024-12-18 cs.LG eess.SP stat.ML
How to Train Your Differentiable Filter
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Stanford University（斯坦福大学）
在许多机器人应用中，保持对系统状态的信念是至关重要的，它作为规划和决策的输入，并在任务执行期间提供反馈。贝叶斯滤波算法解决了这个状态估计问题，但是它们需要过程动态和传感器观测的模型以及这些模型的相应噪声特性。最近，多项研究表明，这些模型可以通过递归过滤算法的可微版本进行端到端训练来学习。在这项工作中，我们研究了可微滤波器（DF）在非结构化学习方法和手动调整的滤波算法上的优势，并为有兴趣应用这种可微滤波器的研究人员提供了实际指导。为此，我们实现了DF与四种不同的底层滤波算法，并在广泛的实验中比较它们。具体来说，我们（i）评估不同的实现选择和训练方法，（ii）研究在DF中学习复杂的不确定性模型的效果，（iii）评估通过DF进行端到端训练的效果，以及（iv）比较DF之间以及非结构化LSTM模型。
2021-06-10 cs.LG cs.RO
FBNetV2: Differentiable Neural Architecture Search for Spatial and Channel Dimensions
UC Berkeley（加州大学伯克利分校）；Facebook Inc.（脸书公司）
微分神经结构搜索（DNAS）在设计最先进、高效的神经网络方面取得了巨大成功。然而，与其他搜索方法相比，基于DART的DNAS的搜索空间很小，因为所有候选网络层必须在存储器中显式地实例化。为了解决这个瓶颈，我们提出了一种内存和计算效率高的DNAS变体：DMaskingNAS。该算法将搜索空间扩展到传统DNAS上的$10^{14}\times$，支持在空间和信道维度上的搜索，否则这些维度是非常昂贵的：输入分辨率和滤波器数量。我们提出了一个屏蔽机制的特征图重用，使内存和计算成本保持几乎恒定的搜索空间扩大。此外，我们采用有效的形状传播，以最大限度地提高每FLOP或每参数的准确性。与所有以前的架构相比，搜索到的FBNetV 2具有最先进的性能。DMaskingNAS的搜索成本最多可减少421 $\times$，与MobileNetV 3-Small相比，DMaskingNAS查找模型的准确性提高了0.9%，FLOPs减少了15%;与Efficient-B 0相比，DMaskingNAS查找模型的准确性相似，但FLOPs减少了20%。此外，我们的FBNetV 2在准确性上优于MobileNetV 3 2.6%，具有相同的模型大小。FBNetV 2模型在https://github.com/facebookresearch/mobile-vision上开源。
2020-04-12 cs.AI cs.CV cs.LG
Differentiable Attenuation Filters for Feedback Delay Networks
本文提出了一种基于反馈延迟网络的可微衰减滤波器设计方法，通过参数均衡器实现对频率依赖回声衰减的精细控制，提升了回声系统的性能并降低了计算成本。
2025-11-25 cs.LG cs.SD
Differentiable Particle Filtering via Entropy-Regularized Optimal Transport
Aalto University（阿尔托大学）；University of Oxford（牛津大学）
粒子滤波（PF）方法是一种用于在非线性状态空间模型中执行推理的既定程序。恢复是PF的关键成分，对于获得低方差似然和状态估计是必要的。然而，传统的恢复方法导致基于PF的损失函数关于模型和PF参数不可微。在变分推断的背景下，rescue也产生高方差梯度估计的PF为基础的证据下界。通过利用最优传输的思想，我们引入了一个原则性的可微粒子滤波器，并提供收敛结果。我们证明了这种新的方法在各种应用程序。
2021-06-30 cs.LG stat.CO stat.ML
End-To-End Semi-supervised Learning for Differentiable Particle Filters
University of Surrey（萨里大学）
将神经网络结合到粒子滤波器中的最新进展提供了在大规模现实世界应用中应用粒子滤波器所需的灵活性。在这个框架中的动态和测量模型是通过粒子滤波器的微分实现学习。过去在优化这种模型方面的努力通常需要了解真实状态，这可能是昂贵的，甚至在实践中无法获得。在本文中，为了减少对注释数据的需求，我们提出了一个端到端的学习目标的基础上最大化的伪似然函数，可以提高估计的状态时，大部分的真实状态是未知的。我们评估所提出的方法在机器人状态估计任务与模拟和真实世界的数据集的性能。
2021-03-28 cs.LG stat.ML
Differentiable Particle Filters: End-to-End Learning with Algorithmic Priors
Robotics and Biology Laboratory, Technische Universität Berlin, Germany（德国柏林工业大学机器人与生物实验室）
我们提出了可微粒子滤波器（DPFs）：一个可微的实现粒子滤波算法与可学习的运动和测量模型。由于DPF是端到端可微分的，因此我们可以通过优化端到端状态估计性能而不是代理目标（如模型精度）来有效地训练它们的模型。DPF对递归状态估计的结构进行编码，其中预测和测量更新对状态上的概率分布进行操作。该结构表示一种算法先验，其提高了状态估计问题中的学习性能，同时使学习模型具有可解释性。我们在模拟和真实数据上的实验表明，使用算法先验进行端到端学习具有很大的好处，例如，将出错率降低了约80%。我们的实验还表明，与长短期记忆网络不同，DPF以一种与策略无关的方式学习本地化，从而大大提高了泛化能力。源代码可在https://github.com/tu-rbo/differentiable-particle-filters上获得。
2018-05-30 cs.AI cs.LG cs.RO
Differentiable Particle Filtering without Modifying the Forward Pass
University of British Columbia（不列颠哥伦比亚大学）；Inverted AI；Mila
粒子滤波器与自动微分不兼容，这是由于存在离散的再分解步骤。虽然基于Fisher恒等式的得分函数的已知估计量可以使用粒子滤波器来计算，但到目前为止，它们需要手动实现。在本文中，我们表明，这样的估计可以使用自动微分计算，引入一个简单的修正粒子权重后。该校正利用停止梯度算子，并且不修改前向传递上的粒子滤波器操作，同时还便宜且易于计算。令人惊讶的是，在相同的校正下，自动微分也可以为后验期望的梯度产生良好的估计。因此，我们可以把我们的方法看作是使粒子滤波器可微的一般方法。我们还表明，它产生所需的估计二阶导数，以及如何扩展它，以进一步减少额外的计算费用的方差。
2021-10-19 cs.LG stat.ML
Towards Differentiable Resampling
Stanford（斯坦福大学）；Google AI（谷歌人工智能）；Robotics at Google（谷歌机器人）
在粒子滤波器中，基于样本的递归状态估计的一个关键组成部分是恢复。最近的工作探索了用于端到端学习的可微粒子过滤器。然而，在这些工作中，再分配仍然是一个挑战，因为它本质上是不可微的。我们通过用一个学习过的神经网络重采样器代替传统的重采样器来解决这个挑战。我们提出了一种新的网络架构，粒子Transformer，并训练它的粒子resception使用一个基于似然的损失函数的粒子集。结合到一个可微粒子滤波器，我们的模型可以端到端的优化与其他粒子滤波组件通过梯度下降。我们的研究结果表明，我们学习的重采样器优于传统的重采样技术的合成数据和模拟机器人定位任务。
2020-04-24 cs.LG cs.RO stat.ML
Auto-differentiable Ensemble Kalman Filters
University of Chicago（芝加哥大学）
数据同化是关于连续估计时间演变状态。这个任务，这在广泛的科学和工程应用中出现，是特别具有挑战性的状态时，是高维的状态空间动态是未知的。本文介绍了一个用于数据同化中动力系统学习的机器学习框架。我们的自微分集合卡尔曼滤波器（AD-EnKFs）将用于状态恢复的集合卡尔曼滤波器与用于学习动态的机器学习工具相结合。在这样做时，AD-EnKF利用集合卡尔曼滤波器缩放到高维状态的能力和自动微分的能力来训练动态的高维代理模型。使用Lorenz-96模型的数值结果表明，AD-EnKF优于使用期望最大化或粒子滤波器合并数据同化和机器学习的现有方法。此外，AD-EnKF易于实现，并且需要最少的调谐。
2021-07-19 cs.LG stat.CO stat.ML
Differentiable Systematic Resampling for Variational Sequential Monte Carlo
KTH Royal Institute of Technology（瑞典皇家理工学院）
针对粒子滤波器重采样步骤离散阻碍变分序列蒙特卡洛梯度学习的问题，提出可微系统重采样DSR，其计算开销低且性能相当或更优，可用于滤波与动力学学习。
2026-10-30 cs.LG eess.SP stat.ML
Differentiable All-pole Filters for Time-varying Audio Systems
Chin-Yun Yu Equal contribution. ,\, Christopher Mitcheltree ,\, Alistair Carson ,\, Stefan Bilbao ,\, Joshua D. Reiss ,\
本文提出一种可微时变全极点滤波器实现，使递归滤波器梯度能通过自身反向传播，从而突破自动微分框架限制，实现含极点滤波器的音频系统端到端训练，并在移相器、合成器和压缩器上验证了其训练效率与建模能力。
2024-10-19 cs.LG cs.SD eess.AS
Rethinking Differentiable Search for Mixed-Precision Neural Networks
UC San Diego（加州大学圣地亚哥分校）
低精度网络，权重和激活量化到低位宽，被广泛用于加速边缘设备上的推理。然而，目前的解决方案是统一的，使用相同的位宽的所有过滤器。这不能考虑不同滤波器的不同灵敏度，并且是次优的。混合精度网络通过根据各个滤波器的要求调整位宽来解决这个问题。在这项工作中，最优的混合精度网络搜索（MPS）的问题被认为是。为了克服其离散搜索空间和组合优化的困难，提出了一种新的可微搜索结构，通过利用MPS问题的独特性质来提高效率。由此产生的高效可微混合精度网络搜索（EdMIPS）方法可以有效地为多个流行网络找到最佳比特分配，并且可以在合理的时间内直接在ImageNet上搜索大型模型，例如Inception-V3，而无需代理任务。学习的混合精度网络明显优于其统一的同行。
2020-04-13 cs.CV cs.LG cs.NE
PF-GNN: Differentiable particle filtering based approximation of universal graph representations
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；PayPal Innovation Lab（PayPal创新实验室）
针对消息传递GNN表达能力受1-WL测试限制的问题，提出基于可微粒子滤波的PF-GNN，通过采样IR范式的着色搜索树近似通用图表示，端到端可微且仅线性增加耗时，在合成与真实数据集上性能优于主流GNN。
2024-01-31 cs.AI cs.LG
RegimeNAS: Regime-Aware Differentiable Architecture Search With Theoretical Guarantees for Financial Trading
Department of Computer Science Engineering PES University Bangalore, India（计算机科学工程系 印度班加罗尔 PES大学）
提出 RegimeNAS 框架，通过整合市场机制感知、贝叶斯搜索空间、动态神经模块和多目标损失函数，显著提升加密货币交易表现并加速收敛。
2025-08-15 cs.AI cs.LG
Differentiable Safe Controller Design through Control Barrier Functions
University of Pennsylvania（宾夕法尼亚大学）
基于学习的控制器，如神经网络（NN）控制器，可以表现出很高的经验性能，但缺乏正式的安全保证。为了解决这个问题，控制障碍函数（CBF）已被应用作为一个安全过滤器，以监测和修改基于学习的控制器的输出，以保证闭环系统的安全。然而，这种修改可能是短视的，具有不可预测的长期影响。在这项工作中，我们提出了一个安全的结构神经网络控制器，它采用可微CBF为基础的安全层，并研究安全的结构神经网络控制器在基于学习的控制性能。具体来说，两个配方的控制器进行比较：一个是基于投影和其他依赖于我们提出的集理论参数化。在数值实验中，这两种方法都证明了使用CBF作为单独的安全滤波器的闭环性能得到了改善。
2023-01-09 cs.LG cs.SY eess.SY
A Differentiable Framework for End-to-End Learning of Hybrid Structured Compression
Seoul National University（首尔国立大学）；AI Institute at Seoul National University（首尔国立大学人工智能研究所）
本文提出可微分框架 DF，将滤波器选择、秩选择与预算约束统一为单一解析形式，并通过 DML-S 和 DTL-S 实现端到端混合结构化压缩，实验证明其性能超越现有最先进方法。
2023-09-21 cs.AI cs.LG eess.IV
LEVDA: Latent Ensemble Variational Data Assimilation via Differentiable Dynamics
LEVDA通过可微神经动力学替代模型在低维潜在空间中实现高效数据同化，无需伴随代码或辅助编码器，提升同化精度与效率。
2026-02-23 cs.LG math.OC
Learning to be Smooth: An End-to-End Differentiable Particle Smoother
University of California, Irvine（加利福尼亚大学欧文分校）
本文提出端到端可微的“双滤波器”混合密度粒子平滑器，通过分层与重要性加权重采样实现跨长时序的低方差梯度传播，并在城市规模车辆定位中显著优于现有粒子滤波与搜索基线。
2025-02-14 cs.AI cs.LG cs.RO
Smooth Contextual Bandits: Bridging the Parametric and Non-differentiable Regret Regimes
Cornell University（康奈尔大学）
研究了一个非参数上下文强盗问题，其中期望报酬函数属于具有光滑参数$β$的Hölder类.我们展示了这是如何在两个极端之间进行插值的，这两个极端是以前孤立地研究的：不可微的土匪（$β\leq1$），通过在不同的上下文区域运行单独的非上下文土匪来实现速率最优遗憾，和参数响应土匪（满足$β=\infty$），由于无限的外推性，可以实现速率最优遗憾的最小或没有探索。我们开发了一种新的算法，仔细调整到所有的平滑设置，我们证明它的遗憾是率最优的，通过建立匹配的上限和下限，恢复现有的结果在两个极端。从这个意义上说，我们的工作弥合了现有文献之间的差距参数和不可微的上下文土匪问题和土匪算法之间，专门使用全球或本地信息，揭示了关键的相互作用的复杂性和遗憾的上下文土匪。
2020-09-11 cs.AI cs.LG math.OC
Differentiable and Stable Long-Range Tracking of Multiple Posterior Modes
University of California, Irvine（加利福尼亚大学欧文分校）
针对传统粒子滤波器依赖已知生成模型、现有判别式粒子滤波器梯度有偏或高方差的问题，提出基于连续混合密度的混合密度粒子滤波器，通过重要性采样梯度估计器实现无偏低方差梯度，在跟踪与机器人定位任务上提升了准确性与训练稳定性。
2024-04-12 cs.AI cs.LG cs.RO
Differentiable Mask for Pruning Convolutional and Recurrent Networks
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
剪枝是最有效的模型降阶技术之一。深度网络需要大量的计算，这些模型需要压缩才能在边缘设备上使用。大多数现有的修剪技术都集中在基于视觉的模型上，如卷积网络，而基于文本的模型仍在不断发展。多模态多任务学习的出现需要一种通用的方法，同时适用于视觉和文本架构。我们引入了一个\emph{differentiable mask}，诱导稀疏的各种粒度，以填补这一空白。我们成功地将我们的方法应用于修剪权重，滤波器，卷积架构的子网络以及递归网络的节点。
2020-04-29 cs.LG stat.ML
Probabilistic Energy Forecasting using Quantile Regressions based on a new Nearest Neighbors Quantile Filter
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
参数分位数回归是创建概率能源预测的有用工具。尽管如此，由于经典分位数回归是使用不可微的成本函数训练的，因此使用复杂的数据采掘技术（例如，人工神经网络）可能是复杂的。本文提出了一种方法，使用一个新的最近邻分位数过滤器，以获得独立的分位数回归所利用的数据采掘技术，没有不可微的成本函数。此后，使用2014年全球能源预测竞赛的数据集进行验证所提出的方法。结果表明，所提出的方法是能够解决类似的准确性，在类似的时间竞争的冠军的竞争任务，但需要一个强大得多的计算机。该属性可能与在线预测服务相关，对于该在线预测服务，需要使用不那么强大的机器来快速计算概率预测。
2019-03-18 cs.LG stat.ML
Fantastic Four: Differentiable Bounds on Singular Values of Convolution Layers
University of Maryland（马里兰大学）
在深度神经网络中，层的雅可比矩阵的谱范数限制了信号的范数在前向/后向传播期间改变的因子。谱范数正则化已被证明可以提高深度学习方法的泛化、鲁棒性和优化。计算卷积层的谱范数的现有方法要么依赖于计算效率高但缺乏保证的算法，要么理论上合理但计算昂贵。在这项工作中，我们获得了最好的两个世界推导{ \it four}可证明的上界的频谱范数的标准2D多通道卷积层。这些边界是可微的，并且可以在训练期间以可忽略的开销有效地计算。这些界限之一实际上是Miyato等人的流行的探试法（乘以取决于过滤器大小的常数因子）。这四个边界中的每一个都可以根据卷积滤波器实现最紧的间隙。因此，我们建议使用这四个边界的最小值作为卷积层的谱范数的紧的、可微的和有效的上界。我们表明，我们的谱界是一个有效的正则化，可以用来绑定的Lipschitz常数或曲率值（Hessian的特征值）的神经网络。通过在MNIST和CIFAR-10上的实验，我们证明了我们的谱界在提高深度网络的泛化能力和可证明的鲁棒性方面的有效性。
2021-06-12 cs.LG stat.ML
Differentiable Mapping Networks: Learning Structured Map Representations for Sparse Visual Localization
Google（谷歌）；National University of Singapore（新加坡国立大学）
映射和定位，最好是从少量的观察，是机器人的基本任务。我们通过将空间结构（可微映射）和端到端学习结合在一个新的神经网络架构中来解决这些任务：可微映射网络（DMN）。DMN构造了一个空间结构化的视图嵌入图，并使用它进行后续的视觉定位与粒子滤波。由于DMN架构是端到端可微的，因此我们可以使用梯度下降来联合学习地图表示和定位。我们将DMN应用于稀疏视觉定位，其中机器人需要在新的环境中相对于来自已知视点的少量图像进行定位。我们使用模拟环境和具有挑战性的现实世界街景数据集来评估DMN。我们发现，DMN学习有效的地图表示视觉定位。空间结构的好处随着较大的环境、用于映射的更多视点以及当训练数据稀缺时而增加。项目网址：http://sites.google.com/view/differentiable-mapping
2020-05-19 cs.CV cs.LG cs.RO
CWP: Instance complexity weighted channel-wise soft masks for network pruning
Ningxia University（宁夏大学）；Collaborative Innovation Center for Ningxia Big Data and Artificial Intelligence co-founded by Ningxia Municipality and Ministry of Education（宁夏大数据与人工智能省部共建协同创新中心）
现有的可微通道修剪方法通常在通道后附加缩放因子或掩码来修剪重要性较低的滤波器，并隐含地假设输入样本对滤波器重要性的贡献是均匀的。具体而言，实例复杂性对剪枝性能的影响尚未在静态网络剪枝中得到充分研究。本文提出了一种简单有效的基于实例复杂度加权过滤器重要性得分的可微网络剪枝方法CWP。我们定义实例复杂度相关的权重为每个实例，通过赋予更高的权重，硬实例，并衡量加权和的实例特定的软掩模模型的非均匀贡献的不同的输入，这鼓励硬实例占主导地位的修剪过程和模型的性能得到很好的保留。此外，我们引入了一个正则化最大化偏振的面具，这样一个甜蜜点可以很容易地找到识别过滤器修剪。对各种网络架构和数据集的性能评估表明，CWP在修剪大型网络方面优于现有技术。例如，CWP在CIFAR-10数据集上删除了64.11%的FLOP后，将ResNet 56的准确性提高了0.32%，并在ImageNet数据集上修剪了ResNet 50的87.75%的FLOP，仅损失了0.93%的Top-1准确性。
2022-10-11 cs.LG
Resampling Gradients Vanish in Differentiable Sequential Monte Carlo Samplers
University of Tübingen（蒂宾根大学）；IMPRS-IS（国际马克斯·普朗克智能系统研究学院）
针对可微分退火重要性采样（DAIS）有效样本量低、分布退化的问题，提出加入重采样步骤扩展DAIS，且经验与理论均表明无需对重采样步骤微分即可避免梯度方差问题。
2023-04-27 cs.LG stat.ML
Differentiable SLAM-net: Learning Particle SLAM for Visual Navigation
National University of Singapore（新加坡国立大学）
同时定位与地图构建（SLAM）对于许多下游应用（例如视觉机器人导航）来说仍然具有挑战性，因为快速转弯、无特征的墙壁和较差的相机质量。我们引入了可区分SLAM网络（SLAM网）以及导航架构，使平面机器人导航在以前看不见的室内环境。SLAM-net将基于粒子滤波器的SLAM算法编码在可微计算图中，通过SLAM算法反向传播学习面向任务的神经网络组件。因为它可以为最终目标联合优化所有模型组件，所以SLAM网络在具有挑战性的条件下学习鲁棒性。我们在Habitat平台上使用不同的真实世界RGB和RGB-D数据集进行实验。SLAM-net在噪声条件下的性能明显优于广泛适应的ORB-SLAM。我们的SLAM-net导航架构大幅提高了2020年人居挑战PointNav任务的最新水平（成功率为37%至64%）。项目网址：http://sites.google.com/view/slamnet
2021-05-19 cs.AI cs.CV cs.LG
Particle Filter Recurrent Neural Networks
National University of Singapore（新加坡国立大学）
循环神经网络（RNN）在序列数据的预测方面取得了巨大的成功。为了处理高度可变和嘈杂的现实世界数据，我们引入了粒子滤波循环神经网络（PF-RNN），这是一种新的RNN家族，它明确地模拟其内部结构中的不确定性：虽然RNN依赖于一个长的，确定性的潜在状态向量，但PF-RNN保持了一个潜在的状态分布，近似为一组粒子。为了有效学习，我们提供了一个完全可微的粒子滤波算法，该算法根据贝叶斯规则更新PF-RNN潜在状态分布。实验表明，所提出的PF-RNN在合成机器人定位数据集和10个真实世界序列预测数据集上的文本分类，股票价格预测等方面优于相应的标准门控RNN。
2019-12-01 cs.LG stat.ML
Beyond Vector Spaces: Compact Data Representation as Differentiable Weighted Graphs
Yandex；Skoltech（斯科尔科沃科学技术研究所）；Lomonosov Moscow State University（罗蒙诺索夫莫斯科国立大学）
学习有用的表示是现代机器学习成功的关键因素。目前，表示学习主要依赖于将数据嵌入到欧几里得空间中。然而，最近的工作表明，在某些领域的数据是更好地模拟非欧几里德度量空间，不适当的几何形状可能会导致性能较差。在本文中，我们的目标是消除嵌入空间几何所施加的归纳偏见。也就是说，我们建议将数据映射到更一般的非向量度量空间：具有最短路径距离的加权图。通过设计，这样的图可以用适当的边和权重配置来模拟任意几何形状。我们的主要贡献是PRODIGE：一种通过梯度下降学习端到端数据的加权图表示的方法。更大的通用性和更少的模型假设使PRODIGE比现有的基于嵌入的方法更强大。我们通过对各种任务的广泛实验，包括分类，压缩和协同过滤，证实了我们的方法的优越性。
2019-10-16 cs.LG stat.ML
Hidden State Approximation in Recurrent Neural Networks Using Continuous Particle Filtering
Singapore Management University（新加坡管理大学）
利用历史数据预测未来事件在现实世界中有很多应用，如股票价格预测、机器人定位等。在过去的几十年里，卷积长短期记忆（LSTM）网络在相关领域的序列数据方面取得了非凡的成功。然而，传统的循环神经网络（RNN）以确定性的方式保持隐藏状态。在本文中，我们使用粒子来近似潜态的分布，并展示它如何扩展成更复杂的形式，即，编码器-解码器机制与建议的连续可微计划，我们的模型是能够自适应地提取有价值的信息和更新的潜在状态根据贝叶斯规则。我们的实证研究表明，我们的方法在预测任务的有效性。
2022-12-18 cs.AI cs.LG
Parameter Learning and Change Detection Using a Particle Filter With Accelerated Adaptation
University of Technology Sydney（悉尼科技大学）
本文提出了一种粒子滤波器，它结合了遗传算法的启发元素，以实现加速适应的估计后验分布模型参数的变化。具体地，该滤波器被设计用于在线顺序滤波中的后续数据与基于直到当前时间点的数据的模型后验滤波不匹配的情况。所考虑的例子包括参数政权转移和随机波动。该过滤器适应政权转移非常迅速，并提供了一个明确的启发式区分政权转移和随机波动，即使该过滤器假设的模型动态表现出这些功能。
2018-06-14 cs.CE cs.LG cs.NE
Differentiable Efficient Operator Search
The University of Sydney（悉尼大学）；ByteDance（字节跳动）；Shanghai Jiao Tong University（上海交通大学）；University of California, Los Angeles（加州大学洛杉矶分校）
提出可微分高效算子搜索框架，统一解释多种token缩减算子，通过联合搜索缩减位置、保留数量和算子行为，在预算约束下优化多模态模型性能。
2026-06-03 cs.AI cs.LG
Differentiable Unsupervised Feature Selection based on a Gated Laplacian
Yale University（耶鲁大学）；Technion（以色列理工学院）；Hebrew University（希伯来大学）
科学观测可能由大量的变量（特征）组成。在无监督学习中，识别有意义特征的子集通常被忽略，尽管它有可能解开隐藏在周围空间中的清晰模式。在本文中，我们提出了一种无监督的特征选择的方法，我们证明了它的使用任务的聚类。我们提出了一个可微的损失函数，结合拉普拉斯得分，有利于低频功能，与门控机制的特征选择。我们改进了拉普拉斯得分，将其替换为在特征子集上计算的门控变量。该子集是使用伯努利变量的连续近似来获得的，伯努利变量的参数被训练以门控整个特征空间。我们从数学上激发了所提出的方法，并证明了在高噪声状态下，计算门控输入上的拉普拉斯算子而不是完整的特征集是至关重要的。使用几个现实世界的例子，所提出的方法的有效性和它的优势，目前的基线的实验演示。
2020-11-09 cs.LG stat.ML
Particle Filter Networks with Application to Visual Localization
NUS Graduate School for Integrative Sciences and Engineering（新加坡国立大学综合科学与工程研究生院）；National University of Singapore（新加坡国立大学）
粒子滤波是一种功能强大的方法，顺序状态估计，并发现在许多领域的应用，包括机器人定位，对象跟踪，在实践中应用粒子滤波等，一个关键的挑战是构建概率系统模型，特别是对于系统具有复杂的动态或丰富的感官输入，如摄像机图像。本文介绍了粒子滤波网络（PFnet），它编码的系统模型和粒子滤波算法在一个单一的神经网络。PF网络是完全可区分的，并从数据中进行端到端的训练。它不是学习通用系统模型，而是学习针对粒子滤波算法优化的模型。我们将PF-网应用于视觉定位任务，其中机器人必须在丰富的3-D世界中进行定位，仅使用示意性的2-D楼层地图。在仿真实验中，PF网络在各种传感器输入下的性能始终优于其他学习架构以及传统的基于模型的方法。此外，PF-net可以很好地推广到新的、看不见的环境。
2018-10-25 cs.AI cs.CV cs.LG
DiffMG: Differentiable Meta Graph Search for Heterogeneous Graph Neural Networks
Hong Kong University of Science and Technology（香港科技大学）；Paradigm Inc.（第四范式有限公司）；Tsinghua University（清华大学）
在本文中，我们提出了一个新的框架，自动利用任务相关的语义信息，这是编码在异构信息网络（HIN）。具体来说，我们搜索一个Meta图，它可以捕捉更复杂的语义关系比Meta路径，以确定图神经网络（GNN）如何传播消息沿不同类型的边缘。我们形式化的神经架构搜索（NAS）的框架内的问题，然后执行的搜索在一个可区分的方式。我们设计了一个表达搜索空间的形式，有向无环图（DAG）代表候选Meta图的HIN，我们提出了任务相关的类型约束过滤掉那些边缘类型沿消息传递没有影响的表示的节点是相关的下游任务。我们定义的搜索空间的大小是巨大的，所以我们进一步提出了一种新颖而有效的搜索算法，使总的搜索成本与训练一次单个GNN相当。与现有的流行NAS算法相比，我们提出的搜索算法提高了搜索效率。我们对不同的HIN和下游任务进行了广泛的实验来评估我们的方法，实验结果表明，我们的方法可以优于最先进的异构GNN，并且与那些可以隐式学习Meta路径的方法相比，也提高了效率。
2021-09-27 cs.LG cs.SI
A Scalable, Interpretable, Verifiable & Differentiable Logic Gate Convolutional Neural Network Architecture From Truth Tables
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）
我们提出了$\mathcal{T}$ Ruth $\mathcal{T}$ able net（$\mathcal{TT}$ net），一种新的卷积神经网络（CNN）架构，通过设计，解决了可解释性，形式化验证和逻辑门转换的开放挑战。$\mathcal{TT}$网络是使用CNN的过滤器构建的，这些过滤器相当于易处理的真值表，我们称之为学习真值表（LTT）块。LTT块的对偶形式允许使用梯度下降轻松训练真值表，并使这些CNN易于解释、验证和推断。具体而言，$\mathcal{TT}$网是一种深度CNN模型，在训练后转换之后，可以自动表示为布尔决策树的总和，或表示为析取/合取范式（DNF/CNF）公式的总和，或表示为紧凑的布尔逻辑电路。我们证明了$\mathcal{TT}$网在多个数据集上的有效性和可扩展性，与最先进的方法相比，具有与决策树相当的可解释性，快速完整/健全的形式化验证和可扩展的逻辑门表示。我们相信这项工作代表了使CNN在现实世界的关键应用中更加透明和值得信赖的一步。
2023-02-02 cs.AI cs.FL cs.LG
Newton-Flow Particle Filters based on Generalized Cramér Distance
Intelligent Sensor-Actuator-Systems Laboratory (ISAS), Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology (KIT)（智能传感器-执行器系统实验室（ISAS）、人机动力学与机器人研究所、卡尔斯鲁厄理工学院（KIT））
基于广义Cramér距离的牛顿流粒子滤波器，通过同伦连续方法高效更新粒子，实现高维问题的非退化递归滤波。
2025-11-23 cs.IT cs.LG cs.SY
Differentiable Outlier Detection Enable Robust Deep Multimodal Analysis
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
针对深度网络纯归纳式推理的局限及先验知识反向传播适配难题，提出融合显式知识图谱与可微OOD滤波层的端到端视觉-语言模型，在多下游任务上以更少样本和训练时间达到SOTA级性能。
2023-02-11 cs.AI cs.CL cs.CV
