Differentiable Particle Filtering via Entropy-Regularized Optimal Transport
Aalto University（阿尔托大学）；University of Oxford（牛津大学）
粒子滤波（PF）方法是一种用于在非线性状态空间模型中执行推理的既定程序。恢复是PF的关键成分，对于获得低方差似然和状态估计是必要的。然而，传统的恢复方法导致基于PF的损失函数关于模型和PF参数不可微。在变分推断的背景下，rescue也产生高方差梯度估计的PF为基础的证据下界。通过利用最优传输的思想，我们引入了一个原则性的可微粒子滤波器，并提供收敛结果。我们证明了这种新的方法在各种应用程序。
2021-06-30 cs.LG stat.CO stat.ML
Efficient Learning of the Parameters of Non-Linear Models using Differentiable Resampling in Particle Filters
University of Liverpool（利物浦大学）；Uppsala University（乌普萨拉大学）
已经有大量文献证明，粒子滤波器中的采样和重新采样步骤不能区分。引入了{ \itshape重新参数化技巧}，以允许将采样步骤重新公式化为可微函数。我们扩展了{ \itshape reparameterisation技巧}，以包括随机输入，从而限制在这一步之后的梯度计算的不连续性。知道先验和似然的梯度允许我们运行粒子马尔可夫链蒙特卡罗（p-MCMC），并在估计参数时使用无U形转弯采样器（NUTS）作为建议。我们比较了Metropolis调整的Langevin算法（MALA），哈密顿蒙特卡罗与不同的步骤和NUTS。我们考虑两个状态空间模型，并表明NUTS提高了混合的马尔可夫链，可以产生更准确的结果，在更少的计算时间。
2022-04-27 cs.LG stat.ML
Non-Differentiable Supervised Learning with Evolution Strategies and Hybrid Methods
DeepMind（深度思维）
在这项工作中，我们表明，演化策略（ES）是一个可行的方法学习大型监督模型的不可微参数。ES是黑盒优化算法，估计模型参数的分布，但他们只被用于相对较小的问题。我们表明，它是可能的规模ES更复杂的任务和模型与数以百万计的参数。虽然使用ES的可微参数是计算上不切实际的（虽然可能），我们表明，一个混合的方法是实际可行的情况下，该模型具有可微和不可微的参数。在这种方法中，我们使用标准的基于梯度的方法来学习可微权重，同时使用ES来学习不可微参数-在我们的情况下，权重的稀疏掩码。所提出的方法具有令人惊讶的竞争力，并且当在多个设备上并行化时，与使用梯度下降的训练相比，训练时间开销可以忽略不计。此外，该方法允许从第一个训练步骤开始训练稀疏模型，因此它们可以比使用需要首先训练密集模型的方法时大得多。我们给出了监督前馈模型（如MNIST和CIFAR-10分类）以及递归模型（如用于文本到语音的SparseWaveRNN）的结果和分析。
2019-06-07 cs.LG cs.NE stat.ML
Differentiable Particle Filters through Conditional Normalizing Flow
University of Surrey（萨里大学）
微分粒子滤波器提供了一种灵活的机制，通过从观测数据中学习，自适应地训练动态和测量模型。然而，大多数现有的可微粒子滤波器是在自举粒子滤波框架内，并未能纳入最新的观测信息，以构建更好的建议。在本文中，我们利用条件规范化流构造建议分布的可微粒子滤波器，丰富的分布族，建议分布可以表示。此外，规范化流被纳入动态模型的构造中，从而产生更具表达力的动态模型。我们证明了所提出的条件归一化流为基础的可微粒子滤波器在视觉跟踪任务的性能。
2021-11-10 cs.AI cs.LG
Towards Differentiable Resampling
Stanford（斯坦福大学）；Google AI（谷歌人工智能）；Robotics at Google（谷歌机器人）
在粒子滤波器中，基于样本的递归状态估计的一个关键组成部分是恢复。最近的工作探索了用于端到端学习的可微粒子过滤器。然而，在这些工作中，再分配仍然是一个挑战，因为它本质上是不可微的。我们通过用一个学习过的神经网络重采样器代替传统的重采样器来解决这个挑战。我们提出了一种新的网络架构，粒子Transformer，并训练它的粒子resception使用一个基于似然的损失函数的粒子集。结合到一个可微粒子滤波器，我们的模型可以端到端的优化与其他粒子滤波组件通过梯度下降。我们的研究结果表明，我们学习的重采样器优于传统的重采样技术的合成数据和模拟机器人定位任务。
2020-04-24 cs.LG cs.RO stat.ML
Auto-differentiable Ensemble Kalman Filters
University of Chicago（芝加哥大学）
数据同化是关于连续估计时间演变状态。这个任务，这在广泛的科学和工程应用中出现，是特别具有挑战性的状态时，是高维的状态空间动态是未知的。本文介绍了一个用于数据同化中动力系统学习的机器学习框架。我们的自微分集合卡尔曼滤波器（AD-EnKFs）将用于状态恢复的集合卡尔曼滤波器与用于学习动态的机器学习工具相结合。在这样做时，AD-EnKF利用集合卡尔曼滤波器缩放到高维状态的能力和自动微分的能力来训练动态的高维代理模型。使用Lorenz-96模型的数值结果表明，AD-EnKF优于使用期望最大化或粒子滤波器合并数据同化和机器学习的现有方法。此外，AD-EnKF易于实现，并且需要最少的调谐。
2021-07-19 cs.LG stat.CO stat.ML
Differentiable Particle Filters: End-to-End Learning with Algorithmic Priors
Robotics and Biology Laboratory, Technische Universität Berlin, Germany（德国柏林工业大学机器人与生物实验室）
我们提出了可微粒子滤波器（DPFs）：一个可微的实现粒子滤波算法与可学习的运动和测量模型。由于DPF是端到端可微分的，因此我们可以通过优化端到端状态估计性能而不是代理目标（如模型精度）来有效地训练它们的模型。DPF对递归状态估计的结构进行编码，其中预测和测量更新对状态上的概率分布进行操作。该结构表示一种算法先验，其提高了状态估计问题中的学习性能，同时使学习模型具有可解释性。我们在模拟和真实数据上的实验表明，使用算法先验进行端到端学习具有很大的好处，例如，将出错率降低了约80%。我们的实验还表明，与长短期记忆网络不同，DPF以一种与策略无关的方式学习本地化，从而大大提高了泛化能力。源代码可在https://github.com/tu-rbo/differentiable-particle-filters上获得。
2018-05-30 cs.AI cs.LG cs.RO
An overview of differentiable particle filters for data-adaptive sequential Bayesian inference
University of Surrey（萨里大学）
本文综述了可微粒子滤波器的最新进展与应用，重点梳理其动态模型、测量模型、提议分布等关键组件的不同设计选择，这类方法用神经网络构建PF组件并梯度优化，可适配复杂高维序列推理任务。
2023-12-14 cs.AI cs.LG
Normalizing Flow-based Differentiable Particle Filters
针对现有可微粒子滤波器受限于普通神经网络和预定义分布的问题，本文提出用条件归一化流构建动态、提议和测量模型，并给出理论性质与数值实验验证。
2025-01-03 cs.LG eess.SP
Differentiable Interacting Multiple Model Particle Filtering
University of Surrey（萨里大学）；National Physical Laboratory（英国国家物理实验室）；University of Edinburgh（爱丁堡大学）；King’s College London（伦敦国王学院）
提出一种可微交互多模型粒子滤波算法，通过梯度下降学习行为跳变模型的高维参数，同时开发低方差梯度估计器，在理论与数值实验中均优于现有方法。
2024-12-18 cs.LG eess.SP stat.ML
Learning Differentiable Particle Filter on the Fly
University of Surrey（萨里大学）
针对可微粒子滤波器现有离线监督训练存在部署延迟、易受分布偏移影响的问题，提出基于无监督损失的在线学习框架，在无真实状态的在线场景下通过滤波操作实现最大似然参数更新，仿真实验验证了其有效性。
2023-12-16 cs.LG
Differentiable Perturb-and-Parse: Semi-Supervised Parsing with a Structured Variational Autoencoder
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
用于句法分析的人工注释是昂贵的，并且大量资源仅可用于一小部分语言。我们提出的一个问题是，除了使用文本来获得更一般化的词汇特征（即超越词嵌入）之外，是否可以利用大量未标记的文本来改进句法分析器。为此，我们提出了一种新的潜在变量生成模型的半监督句法依存句法分析。由于精确推理是棘手的，我们引入了一个可微松弛获得近似样本和计算梯度相对于解析器参数。我们的方法（微分扰动和解析）依赖于可微的动态规划随机扰动的边缘分数。我们证明了我们的方法与英语，法语和瑞典语的实验的有效性。
2019-02-20 cs.CL cs.LG
How to Train Your Differentiable Filter
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；Stanford University（斯坦福大学）
在许多机器人应用中，保持对系统状态的信念是至关重要的，它作为规划和决策的输入，并在任务执行期间提供反馈。贝叶斯滤波算法解决了这个状态估计问题，但是它们需要过程动态和传感器观测的模型以及这些模型的相应噪声特性。最近，多项研究表明，这些模型可以通过递归过滤算法的可微版本进行端到端训练来学习。在这项工作中，我们研究了可微滤波器（DF）在非结构化学习方法和手动调整的滤波算法上的优势，并为有兴趣应用这种可微滤波器的研究人员提供了实际指导。为此，我们实现了DF与四种不同的底层滤波算法，并在广泛的实验中比较它们。具体来说，我们（i）评估不同的实现选择和训练方法，（ii）研究在DF中学习复杂的不确定性模型的效果，（iii）评估通过DF进行端到端训练的效果，以及（iv）比较DF之间以及非结构化LSTM模型。
2021-06-10 cs.LG cs.RO
Differentiable Attenuation Filters for Feedback Delay Networks
本文提出了一种基于反馈延迟网络的可微衰减滤波器设计方法，通过参数均衡器实现对频率依赖回声衰减的精细控制，提升了回声系统的性能并降低了计算成本。
2025-11-25 cs.LG cs.SD
Regime Learning for Differentiable Particle Filters
National Physical Laboratory（国家物理实验室）
针对系统在有限状态空间模型间切换且难以同时学习状态域与切换过程的问题，提出基于神经网络的状态域学习可微粒子滤波器（RLPF）及训练流程，在数值实验中表现出竞争力。
2024-06-12 cs.LG eess.SP
Monocular Differentiable Rendering for Self-Supervised 3D Object Detection
Preferred Networks, Inc（优选网络公司）；Toyota Research Institute - Advanced Development（丰田研究院高级开发部）；Toyota Research Institute（丰田研究院）
单目图像中三维目标检测是一个不适定问题，这是由于深度和尺度的投影纠缠。为了克服这种模糊性，我们提出了一种新的自我监督的方法，纹理的3D形状重建和姿势估计的刚性物体的帮助下，强大的形状先验和2D实例掩码。我们的方法预测的3D位置和网格的图像中的每个对象使用微分渲染和来自一个预先训练的单目深度估计网络的自监督的目标。我们使用KITTI三维目标检测数据集来评估该方法的准确性。实验表明，我们可以有效地使用嘈杂的单目深度和微分渲染作为替代昂贵的3D地面实况标签或激光雷达信息。
2020-09-30 cs.CV cs.LG
Semi-Supervised Learning using Differentiable Reasoning
VU University Amsterdam（阿姆斯特丹自由大学）
我们介绍微分推理（DR），一种新的半监督学习技术，它使用关系背景知识，受益于未标记的数据。我们将其应用到语义图像判读（SII）的任务，并表明背景知识提供了显着的改善。我们发现，有一个强大的，但有趣的不平衡之间的贡献更新的前件式（MP）和它的逻辑等价的前件式（MT）的学习过程，这表明我们的方法是非常敏感的现象称为乌鸦Parket。我们提出了一个解决方案来克服这种情况。
2019-08-13 cs.AI cs.LG cs.LO
Differentiable Bootstrap Particle Filters for Regime-Switching Models
University of Surrey（萨里大学）；University of Edinburgh（爱丁堡大学）
针对实际场景中状态动力学与测量值存在多模型切换的问题，提出一种面向体制切换状态空间模型的可微粒子滤波方法，可学习未知候选模型并跟踪状态后验，实验验证其性能优于同类竞争算法。
2023-05-03 cs.LG eess.SP
Differentiable Particle Filtering using Optimal Placement Resampling
1 Department of Control for Transportation；Vehicle Systems, Faculty of Transportation Engineering；Vehicle Engineering, Budapest University of Technology
本文提出了一种基于经验累积分布函数的可微重采样方法，用于解决传统粒子滤波中因非可微性导致的参数估计问题。
2024-02-26 cs.LG stat.CO
Learning state and proposal dynamics in state-space models using differentiable particle filters and neural networks
School of Mathematics, University of Edinburgh（爱丁堡大学数学学院）；Electrical and Computing Engineering, Rice University（莱斯大学电气与计算机工程学院）
提出StateMixNN方法，用神经网络学习粒子滤波的提议与转移分布，以对数似然训练，仅需观测序列，在非线性场景中显著提升隐藏状态恢复。
2025-03-26 cs.LG stat.CO stat.ML
PyDPF: A Python Package for Differentiable Particle Filtering
Max-Planck（马克斯·普朗克）；University of London（伦敦大学）
PyDPF是基于PyTorch的Python包，实现了统一API的可微分粒子滤波器，可复现相关实验，用于解决状态空间建模的常见挑战，便于算法使用与比较。
2026-10-07 cs.LG eess.SP
Differentiable Clustering with Perturbed Spanning Forests
ENS & INRIA（巴黎高等师范学校与法国国家信息与自动化研究所）；Google DeepMind（谷歌DeepMind）
本研究提出一种基于最小权生成森林随机扰动的可微聚类方法，可高效计算梯度并接入端到端训练，还设计了适配部分聚类数据的损失函数，在多数据集的监督与半监督任务中表现良好。
2023-11-06 cs.AI cs.LG stat.ML
Semi-supervised Network Embedding with Differentiable Deep Quantisation
Monash University（莫纳什大学）；University of Electronic Science and Technology of China（电子科技大学）
学习网络的准确低维嵌入是一项至关重要的任务，因为它有助于许多下游网络分析任务。对于大型网络，经过训练的嵌入通常需要大量的空间来存储，这使得存储和处理成为一个挑战。基于我们以前在半监督网络嵌入方面的工作，我们开发了d-SNEQ，这是一种用于网络嵌入的基于DNN的可微量化方法。d-SNEQ结合了秩损失以使学习的量化码具有丰富的高阶信息，并且能够大幅压缩训练嵌入的大小，从而减少存储占用并加快检索速度。我们还提出了一个新的评价指标，路径预测，公平和更直接地评估模型的性能上的高阶信息的保存。我们对四个具有不同特征的真实网络的评估表明，d-SNEQ在链接预测、路径预测、节点分类和节点推荐方面优于许多最先进的嵌入方法，同时具有更高的空间和时间效率。
2022-03-19 cs.LG cs.SI
Differentiable Systematic Resampling for Variational Sequential Monte Carlo
KTH Royal Institute of Technology（瑞典皇家理工学院）
针对粒子滤波器重采样步骤离散阻碍变分序列蒙特卡洛梯度学习的问题，提出可微系统重采样DSR，其计算开销低且性能相当或更优，可用于滤波与动力学学习。
2026-10-30 cs.LG eess.SP stat.ML
Binary Stochastic Filtering: a Method for Neural Network Size Minimization and Supervised Feature Selection
University of Chemistry and Technology（化学技术大学）
提出了二进制随机滤波（BSF）算法，用于特征选择和神经元修剪。该方法定义了过滤层，该过滤层对训练过程中涉及的信息量进行惩罚。该信息可以是前一层的输入数据或输出，其分别直接导致特征选择或神经元修剪，从而产生特征的\textit{ad hoc}子集或选择每层中神经元的最佳数目。过滤层随机传递或丢弃基于单个权重的特征，这些权重在训练过程中使用标准的反向传播算法进行调整。实验中实现了神经网络规模的成倍减小。此外，该方法能够选择最少数量的特征，超过文献参考的准确性/维数比。
2019-08-20 cs.LG stat.ML
Weakly Supervised Object Detection in Chest X-Rays with Differentiable ROI Proposal Networks and Soft ROI Pooling
针对胸部X射线疾病定位，提出带ROI注意力模块的弱监督ROI提议网络WSRPN，仅用图像标签实现端到端边界框提议与分类，性能优于现有方法。
2024-02-19 cs.CV cs.LG
Probabilistic Energy Forecasting using Quantile Regressions based on a new Nearest Neighbors Quantile Filter
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
参数分位数回归是创建概率能源预测的有用工具。尽管如此，由于经典分位数回归是使用不可微的成本函数训练的，因此使用复杂的数据采掘技术（例如，人工神经网络）可能是复杂的。本文提出了一种方法，使用一个新的最近邻分位数过滤器，以获得独立的分位数回归所利用的数据采掘技术，没有不可微的成本函数。此后，使用2014年全球能源预测竞赛的数据集进行验证所提出的方法。结果表明，所提出的方法是能够解决类似的准确性，在类似的时间竞争的冠军的竞争任务，但需要一个强大得多的计算机。该属性可能与在线预测服务相关，对于该在线预测服务，需要使用不那么强大的机器来快速计算概率预测。
2019-03-18 cs.LG stat.ML
Enhanced SMC$^2$: Leveraging Gradient Information from Differentiable Particle Filters Within Langevin Proposals
University of Liverpool（利物浦大学）
本研究提出在SMC$^2$的Langevin提议中利用CRN-PF的一阶梯度信息，有效解决了高维参数空间下随机游走提议的挑战，提高了参数估计准确性和有效样本量，并通过MPI并行化实现了51倍加速。
2024-07-24 cs.LG stat.AP stat.ML
Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning
School of Computer Science；Technology University of Science
本文探索改善NAS在长尾数据集上的搜索与训练性能，详细介绍了整合自监督学习与公平可微NAS的SSF-NAS方法，并在CIFAR10-LT数据集上验证了其有效性。
2024-06-19 cs.LG
Algorithmic Probability-guided Supervised Machine Learning on Non-differentiable Spaces
Facultad de Ciencias, Universidad Nacional Autónoma de México（墨西哥国立自治大学理学院）；Oxford Immune Algorithmics（牛津免疫算法公司）；Karolinska Institutet（卡罗林斯卡学院）；Algorithmic Nature Group, LABORES（算法自然小组，LABORES）
我们展示了如何将复杂性理论引入机器学习，以帮助将当前研究中明显不同的领域结合在一起。我们表明，这种新的方法需要更少的训练数据，更具有普遍性，因为它表现出更大的弹性随机攻击。我们研究了当使用由算法复杂性参数化的损失函数执行回归或分类时离散算法空间的形状，证明了微分的性质对于实现与使用可微分编程方法（例如深度学习）获得的结果类似的结果是不必要的。在这样做时，我们使用的例子，使这两种方法进行比较（小，给定的算法复杂性估计所需的计算能力）。我们发现并报告，（i）机器学习可以成功地在一个非光滑表面上使用算法的复杂性;（ii）参数的解决方案，可以找到使用算法概率分类器，建立一个桥梁之间的基本离散理论的可计算性和基本连续的数学理论的优化方法;（iii）可以定义和进行非光滑流形中的算法导向搜索技术的公式化;（iv）可以执行用于算法搜索以导航这些离散不可微空间的开发技术和数值方法;在（a）从数据观察识别生成规则的应用中;（b）与神经网络相比，对像素攻击更有弹性的图像分类问题的解决方案;（c）在连续ODE系统问题中存在噪声的情况下从小数据集中识别方程参数，（d）通过（1）网络拓扑，（2）底层布尔函数，以及（3）引入边的数目。
2019-10-08 cs.AI cs.LG stat.ML
Differentiable All-pole Filters for Time-varying Audio Systems
Chin-Yun Yu Equal contribution. ,\, Christopher Mitcheltree ,\, Alistair Carson ,\, Stefan Bilbao ,\, Joshua D. Reiss ,\
本文提出一种可微时变全极点滤波器实现，使递归滤波器梯度能通过自身反向传播，从而突破自动微分框架限制，实现含极点滤波器的音频系统端到端训练，并在移相器、合成器和压缩器上验证了其训练效率与建模能力。
2024-10-19 cs.LG cs.SD eess.AS
NeuMiss networks: differentiable programming for supervised learning with missing values
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS/IN2P3（法国国家科学研究中心/国家核物理与粒子物理研究所）；IJCLab（伊雷娜·约里奥-居里实验室）；Ecole Polytechnique（巴黎综合理工学院）；IP Paris（巴黎理工学院）；Mila（米拉）；McGill University（麦吉尔大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
缺失值的存在使得监督学习更具挑战性。事实上，以前的工作已经表明，即使响应是完整数据的线性函数，最佳预测器也是观察到的条目和缺失指标的复函数。因此，一致性方法的计算或样本复杂性取决于缺失模式的数量，其在维度数量上可以是指数级的。在这项工作中，我们推导出线性假设和各种缺失数据机制，包括随机缺失（MAR）和自屏蔽（Missing Not At Random）下的最佳预测的分析形式。基于Neumann级数近似的最优预测，我们提出了一个新的原则架构，命名为NeuMiss网络。它们的独创性和力量来自于使用一种新型的非线性：乘以缺失指标。我们提供了一个上限NeuMiss网络的贝叶斯风险，并表明他们有良好的预测精度与一些参数和独立的缺失数据模式的数量的计算复杂性。因此，它们可以很好地扩展到具有许多特征的问题，并且对于中等大小的样本仍然具有统计效率。此外，我们表明，相反的程序使用EM或插补，他们是强大的缺失数据机制，包括困难的MNAR设置，如自屏蔽。
2020-11-04 cs.AI cs.LG stat.ML
Differentiable Adaptive Kalman Filtering via Optimal Transport
Shanghai Research Institute for Intelligent Autonomous Systems（上海智能自主系统研究所）；Tongji University（同济大学）；School of Computer Science and Technology（计算机科学与技术学院）；Shanghai Jiaotong University（上海交通大学）；Shanghai Zhangjiang Institute of Mathematics（上海张江数学研究所）；East China Normal University（华东师范大学）
提出 OTAKNet，通过最优传输与单步预测测量似然建立联系，解决基于学习的自适应 Kalman 滤波中噪声统计漂移问题，实现无需标签的完全在线自适应。
2025-08-09 cs.LG eess.SP
Rethinking Differentiable Search for Mixed-Precision Neural Networks
UC San Diego（加州大学圣地亚哥分校）
低精度网络，权重和激活量化到低位宽，被广泛用于加速边缘设备上的推理。然而，目前的解决方案是统一的，使用相同的位宽的所有过滤器。这不能考虑不同滤波器的不同灵敏度，并且是次优的。混合精度网络通过根据各个滤波器的要求调整位宽来解决这个问题。在这项工作中，最优的混合精度网络搜索（MPS）的问题被认为是。为了克服其离散搜索空间和组合优化的困难，提出了一种新的可微搜索结构，通过利用MPS问题的独特性质来提高效率。由此产生的高效可微混合精度网络搜索（EdMIPS）方法可以有效地为多个流行网络找到最佳比特分配，并且可以在合理的时间内直接在ImageNet上搜索大型模型，例如Inception-V3，而无需代理任务。学习的混合精度网络明显优于其统一的同行。
2020-04-13 cs.CV cs.LG cs.NE
Self-Training with Differentiable Teacher
Georgia Institute of Technology（佐治亚理工学院）；Amazon（亚马逊）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
自我训练在各种半监督和弱监督学习任务中取得了巨大的成功。该方法可以被解释为教师-学生框架，其中教师生成伪标签，学生进行预测。两个模型交替更新。然而，这种简单的交替更新规则会导致训练不稳定。这是因为老师的一个小变化可能会导致学生的重大变化。为了解决这个问题，我们提出了DRIFT，可区分的自我训练的缩写，将师生视为Stackelberg游戏。在这个博弈中，领导者总是比追随者处于更有利的地位。在自我训练中，学生对预测性能做出贡献，教师通过生成伪标签来控制训练过程。因此，我们把学生当作领导者，把老师当作追随者。领导者通过承认追随者的策略来获得优势，其中涉及可微伪标签和可微样本权重。因此，领导者和追随者的互动可以有效地捕捉通过Stackelberg梯度，通过区分追随者的策略。半监督和弱监督分类以及命名实体识别任务的实验结果表明，我们的模型大大优于现有的方法。
2022-05-03 cs.CL cs.LG
Variational Marginal Particle Filters
Manning College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院）
状态空间模型的变分推断是一个困难的问题。最近的工作集中于从无偏的序贯蒙特卡罗估计量推导变分目标。我们发现，边缘粒子滤波器是从序贯蒙特卡罗通过应用Rao-Blackwellization操作，牺牲了减少方差和可微的轨迹信息。我们提出了变分边缘粒子滤波器（VMPF），这是一个可微的和重新参数化的变分滤波目标的SSM的基础上的无偏估计量。我们发现，VMPF有偏梯度提供更紧密的界限比以前的目标，和无偏的重新参数化梯度有时是有益的。
2022-03-14 cs.LG stat.ML
Learning to Identify Physical Parameters from Video Using Differentiable Physics
University of Siegen（锡根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
视频表示学习由于其在活动和场景预测或基于视觉的规划和控制中的应用，最近在计算机视觉中引起了关注。视频预测模型通常学习从输入帧编码并解码回图像的视频的潜在表示。即使以动作为条件，纯粹基于深度学习的架构通常也缺乏物理上可解释的潜在空间。在这项研究中，我们使用一个可微的物理引擎内的动作条件视频表示网络学习物理潜在的表示。我们提出了监督和自监督学习方法来训练我们的网络和识别物理特性。后者使用空间Transformers将物理状态解码回图像。在我们的实验中的模拟场景包括推动，滑动和碰撞的物体，我们还分析了物理属性的可观测性。在实验中，我们证明了我们的网络可以学习编码图像，并识别模拟场景中视频和动作序列的质量和摩擦等物理属性。我们评估我们的监督和自我监督的方法的准确性，并将其与直接从状态轨迹学习的系统辨识基线进行比较。我们还展示了我们的方法从输入图像和动作预测未来视频帧的能力。
2020-09-17 cs.CV cs.LG cs.RO
PF-GNN: Differentiable particle filtering based approximation of universal graph representations
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；PayPal Innovation Lab（PayPal创新实验室）
针对消息传递GNN表达能力受1-WL测试限制的问题，提出基于可微粒子滤波的PF-GNN，通过采样IR范式的着色搜索树近似通用图表示，端到端可微且仅线性增加耗时，在合成与真实数据集上性能优于主流GNN。
2024-01-31 cs.AI cs.LG
Amortized Synthesis of Constrained Configurations Using a Differentiable Surrogate
Princeton University（普林斯顿大学）
在设计、制造和控制问题中，我们经常面临综合的任务，在这个任务中，我们必须生成一个满足一组约束条件的对象或配置，同时最大化一个或多个目标函数。综合问题的典型特征是一个物理过程，在这个过程中，许多不同的实现方式可以实现目标。这种多对一映射对前馈合成的监督学习提出了挑战，因为可行设计的集合可能具有复杂的结构。此外，许多物理模拟的不可微性质阻止了有效的直接优化。我们解决这两个问题的两个阶段的神经网络架构，我们可以考虑作为一个自动编码器。我们首先学习解码器：一个近似多对一物理实现过程的可微代理。然后我们学习编码器，它从目标映射到设计，同时使用固定的解码器来评估实现的质量。我们评估两个案例研究的方法：挤出机路径规划增材制造和约束软体机器人逆运动学。我们比较我们的方法直接优化的设计，使用学习代理，和监督学习的综合问题。我们发现，我们的方法产生更高质量的解决方案比监督学习，同时具有竞争力的质量与直接优化，在一个大大降低了计算成本。
2021-11-05 cs.AI cs.LG cs.RO
Differentiable Safe Controller Design through Control Barrier Functions
University of Pennsylvania（宾夕法尼亚大学）
基于学习的控制器，如神经网络（NN）控制器，可以表现出很高的经验性能，但缺乏正式的安全保证。为了解决这个问题，控制障碍函数（CBF）已被应用作为一个安全过滤器，以监测和修改基于学习的控制器的输出，以保证闭环系统的安全。然而，这种修改可能是短视的，具有不可预测的长期影响。在这项工作中，我们提出了一个安全的结构神经网络控制器，它采用可微CBF为基础的安全层，并研究安全的结构神经网络控制器在基于学习的控制性能。具体来说，两个配方的控制器进行比较：一个是基于投影和其他依赖于我们提出的集理论参数化。在数值实验中，这两种方法都证明了使用CBF作为单独的安全滤波器的闭环性能得到了改善。
2023-01-09 cs.LG cs.SY eess.SY
MoSAR: Monocular Semi-Supervised Model for Avatar Reconstruction using Differentiable Shading
Ubisoft LaForge（育碧拉福格）；York University（约克大学）；Ecole de Technologie Supérieure（高等技术学院）
MoSAR提出半监督训练与可微着色，从单目图像重建可重照明的3D化身，并发布首个大规模内在面部属性数据集FFHQ-UV-Intrinsics。
2023-12-22 cs.CV cs.GR cs.LG
A Differentiable Framework for End-to-End Learning of Hybrid Structured Compression
Seoul National University（首尔国立大学）；AI Institute at Seoul National University（首尔国立大学人工智能研究所）
本文提出可微分框架 DF，将滤波器选择、秩选择与预算约束统一为单一解析形式，并通过 DML-S 和 DTL-S 实现端到端混合结构化压缩，实验证明其性能超越现有最先进方法。
2023-09-21 cs.AI cs.LG eess.IV
Optimizing transformations for contrastive learning in a differentiable framework
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院 LTCI）；Incepto Medical（Incepto医疗公司）；Sorbonne Université, CNRS, LIP6（索邦大学法国国家科学研究中心LIP6实验室）
提出基于可微变换网络的对比学习变换优化框架，无需生成模型即可保留分类相关信息，仅用10%标注数据便在脑部MRI和胸部X光任务上超过100%标签的全监督模型。
2022-07-27 cs.CV cs.LG
Analyzing Differentiable Fuzzy Logic Operators
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Civic AI Lab, Amsterdam（阿姆斯特丹公民人工智能实验室）
人工智能社区越来越多地将注意力放在结合符号和神经方法上，因为人们经常认为这些方法的优点和缺点是互补的。文献中的一个最近的趋势是采用来自模糊逻辑的算子的弱监督学习技术。特别地，这些使用在这样的逻辑中描述的先验背景知识来帮助从未标记和噪声数据训练神经网络。通过使用神经网络解释逻辑符号，可以将这种背景知识添加到常规损失函数中，从而使推理成为学习的一部分。我们研究，正式和经验，如何从模糊逻辑文学的逻辑运算符的大集合表现在可微学习设置。我们发现，许多这些运营商，包括一些最知名的，是非常不适合在这种情况下。进一步的发现涉及这些模糊逻辑中蕴涵的处理，并且显示出由蕴涵的前件和后件驱动的梯度之间的强烈不平衡。此外，我们引入了一个新的家庭的模糊影响（称为sigmoidal影响），以解决这一现象。最后，我们经验表明，它是可能的，使用可微模糊逻辑的半监督学习，并比较不同的运营商在实践中的行为。我们发现，为了在监督基线上实现最大的性能改进，我们必须求助于在学习中表现良好的逻辑运算符的非标准组合，但不再满足通常的逻辑定律。
2021-08-24 cs.AI cs.LG cs.LO
Learning to be Smooth: An End-to-End Differentiable Particle Smoother
University of California, Irvine（加利福尼亚大学欧文分校）
本文提出端到端可微的“双滤波器”混合密度粒子平滑器，通过分层与重要性加权重采样实现跨长时序的低方差梯度传播，并在城市规模车辆定位中显著优于现有粒子滤波与搜索基线。
2025-02-14 cs.AI cs.LG cs.RO
Filter Methods for Feature Selection in Supervised Machine Learning Applications -- Review and Benchmark
University of Bamberg（班贝格大学）
机器学习（ML）应用程序的数据量正在不断增长。随着数字化的不断进行，不仅观测的数量，特别是测量变量（特征）的数量也在增加。为预测建模选择最合适的特征是ML应用在商业和研究中取得成功的重要杠杆。独立于某个ML算法的特征选择方法（FSM）-所谓的过滤方法-已经被大量提出，但是对于研究人员和定量建模者来说，对于典型的ML问题选择适当的方法几乎没有指导。本文综合了大量的文献特征选择基准测试和广泛使用的R环境中的58种方法的性能进行评估。对于具体的指导，我们考虑了ML模型具有挑战性的四种典型数据集场景（噪声，冗余，不平衡数据和特征多于观察值的情况）。借鉴早期基准测试的经验，这些基准测试考虑了更少的FSM，我们根据四个标准（预测性能，选择的相关功能的数量，功能集的稳定性和运行时间）比较了方法的性能。我们发现依赖于随机森林方法的方法，双输入对称相关过滤器（DISR）和联合杂质过滤器（JIM）是给定数据集场景的性能良好的候选方法。
2021-11-23 cs.DB cs.LG stat.ML
Gradient-based Trajectory Optimization with Parallelized Differentiable Traffic Simulation
University of Maryland at College Park（马里兰大学学院公园分校）；Kitware（Kitware公司）
本文提出基于IDM的并行可微交通仿真器，支持实时仿真200万辆车，并通过梯度优化实现轨迹过滤、重建与预测，且在NGSIM和Waymo数据集上得到验证。
2025-02-18 cs.DC cs.LG cs.RO
A Novel Differentiable Loss Function for Unsupervised Graph Neural Networks in Graph Partitioning
针对无监督图神经网络求解图划分这一NP-hard问题时缺乏可微损失函数的痛点，提出新型可微损失函数及对应求解流水线，在割边与平衡指标上达到当前先进水平。
2023-12-11 cs.LG
Differentiable and Stable Long-Range Tracking of Multiple Posterior Modes
University of California, Irvine（加利福尼亚大学欧文分校）
针对传统粒子滤波器依赖已知生成模型、现有判别式粒子滤波器梯度有偏或高方差的问题，提出基于连续混合密度的混合密度粒子滤波器，通过重要性采样梯度估计器实现无偏低方差梯度，在跟踪与机器人定位任务上提升了准确性与训练稳定性。
2024-04-12 cs.AI cs.LG cs.RO
Towards Self-Adaptive Pseudo-Label Filtering for Semi-Supervised Learning
本文提出自适应伪标签过滤器SPF，通过在线混合模型建模置信度分布，使伪标签过滤随模型演化自动调整，无需人工调参，有效提升半监督学习在标签数据稀缺时的性能。
2023-09-18 cs.CV cs.LG
Towards High Fidelity Monocular Face Reconstruction with Rich Reflectance using Self-supervised Learning and Ray Tracing
InterDigital R&I（InterDigital研究与创研中心）；Max-Planck-Institute for Informatics（马克斯·普朗克信息学研究所）
在一般光照条件下，从单目图像中进行鲁棒的人脸重建是一个挑战。将深度神经网络编码器与可微分渲染相结合的方法为几何、照明和反射率的非常快速的单目重建开辟了道路。它们也可以以自我监督的方式进行训练，以提高鲁棒性和更好的泛化能力。然而，他们的可微光栅化的图像形成模型，以及底层场景参数化，限制了他们的朗伯面反射率和穷人的形状细节。最近，光线追踪被引入用于在经典的基于优化的框架内进行单眼面部重建，并且能够实现最先进的结果。然而，基于优化的方法本质上是缓慢的，缺乏鲁棒性。在本文中，我们建立在上述方法的工作，并提出了一种新的方法，大大提高了重建质量和鲁棒性，在一般场景。我们通过将CNN编码器与可微光线跟踪器相结合来实现这一点，这使我们能够基于更先进的个性化漫射和镜面反射，更复杂的照明模型和自阴影的合理表示来重建。这使得即使在照明困难的场景中，也可以在形状，外观和照明的重建质量方面取得巨大进步。一致的人脸属性重建，我们的方法导致实际应用，如重光照和自我阴影去除。与现有的方法相比，我们的结果表明该方法具有更高的准确性和有效性。
2021-11-22 cs.CV cs.LG
An Invitation to Deep Reinforcement Learning
University of Tübingen, Tübingen AI Center（图宾根大学，图宾根人工智能中心）
本文以监督学习为基础，通过将强化学习视为其泛化形式，面向具备基础知识的读者系统介绍深度强化学习，使其能够理解PPO等前沿算法。
2025-05-09 cs.AI cs.LG
Filter and evolve: progressive pseudo label refining for semi-supervised automatic speech recognition
The Hong Kong Polytechnic University（香港理工大学）；Peking University（北京大学）；KU Leuven（鲁汶大学）；Anhui University（安徽大学）；Northwestern University（西北大学）
使用伪标签对自监督预训练模型进行微调可以有效地提高语音识别性能。但是，低质量的伪标签会误导决策边界并降低性能。我们提出了一个简单而有效的策略来过滤低质量的伪标签，以缓解这个问题。具体来说，伪标签是在整个训练集上产生的，并通过从模型输出计算的平均概率得分进行过滤。随后，具有高概率分数的话语的最佳百分比被认为是具有可信标签的可靠训练数据。该模型迭代更新，以纠正不可靠的伪标签，以尽量减少噪声标签的影响。重复上述过程，直到不可靠的伪标记已被充分校正。LibriSpeech上的大量实验表明，这些过滤后的样本使改进后的模型能够产生更正确的预测，从而在各种实验设置下获得更好的ASR性能。
2022-10-28 cs.AI cs.LG cs.SD
Topological Feasibility Guarantees for Differentiable Predictive Control
Chalmers University of Technology（查尔姆斯理工大学）；Nanyang Technological University（南洋理工大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对可微预测控制（DPC）缺乏严格可行性保证的问题，通过拓扑分析建立其确定性可行性保证，提出结合控制障碍函数（CBFs）的自监督离线策略学习策略，仿真验证其约束违反量随样本规模增大趋近于零，为学习型控制的可行性保证提供新视角。
2026-08-12 cs.LG cs.SY eess.SY
