Emulating Non-Differentiable Metrics via Knowledge-Guided Learning: Introducing the Minkowski Image Loss
本文提出通过两种方法解决非可导函数问题，开发了闵可夫斯基图像损失，用于模拟降水场的积分几何度量，验证了其在EUMETNET OPERA数据集上的高精度，但发现严格Lipschitz正则化会限制局部对流纹理的恢复。
2026-04-13 cs.AI cs.LG
Differentiable Physics Simulations with Contacts: Do They Have Correct Gradients w.r.t. Position, Velocity and Control?
Siemens Technology（西门子科技）；Flatiron Institute（熨斗研究所）
近年来，越来越多的工作集中在可微物理模拟上，并产生了一系列开源项目，如Tiny Differentiable Simulator，Nimble Physics，diffTaichi，Brax，Warp，Dojo和DiffCoSim。通过使物理模拟端到端可区分，我们可以执行基于梯度的优化和学习任务。大多数可微模拟器考虑物体之间的碰撞和接触，但它们使用不同的接触模型来实现可微性。本文综述了四种可微接触形式-线性互补问题（LCP）、凸优化模型、柔顺模型和基于位置的动力学（PBD）。我们分析和比较这些模型计算的梯度，并表明梯度并不总是正确的。我们还展示了他们的能力，学习最优控制策略，通过比较学习的策略与最优策略的分析形式。重现实验结果的代码库可在https://github.com/DesmondZhong/diff_sim_grads上获得。
2022-07-08 cs.AI cs.LG cs.RO
Differentiable Greedy Submodular Maximization: Guarantees, Gradient Estimators, and Applications
Graduate School of Information Sciences and Technology（信息科学与技术研究生院）；The University of Tokyo（东京大学）
例如，随着灵敏度分析和端到端学习的发展，对可微优化算法的需求显著增加。在本文中，我们建立了一个理论上有保证的通用框架，使单调子模函数最大化的贪心算法可微。我们通过随机化对贪心算法进行了光滑化，并证明了在基数和$κ$ -可扩展系统约束的情况下，它几乎可以在期望中恢复原始的近似保证。我们还展示了如何有效地计算任何预期的输出相关量的无偏梯度估计。我们证明了我们的框架的实用性，通过实例化它的各种应用程序。
2020-06-12 cs.DS cs.LG
A Differentiable Point Process with Its Application to Spiking Neural Networks
IBM Research - Tokyo（IBM东京研究院）
研究了脉冲神经网络概率模型的学习算法。Jimenez Rezeland & Gerstner（2014）提出了一种随机变分推理算法，用于训练具有隐藏神经元的SNN。该算法使用得分函数梯度估计器来更新变分分布，其高方差常常阻碍整个学习算法。本文提出了一种替代的梯度估计SNNs的基础上的路径方向的梯度估计。主要的技术困难是缺乏一个通用的方法来区分一个实现的任意点过程，这是必要的，以获得路径方向的梯度估计。我们开发了一个可微点过程，这是本文的技术亮点，并将其应用于SNNs的路径方向梯度估计。我们通过数值模拟研究我们的梯度估计的有效性。
2021-06-03 cs.LG cs.NE stat.ML
Do Differentiable Simulators Give Better Policy Gradients?
Massachusetts Institute of Technology（麻省理工学院）
可微模拟器通过将随机目标的零阶梯度估计替换为基于一阶梯度的估计来保证强化学习的更快计算时间。然而，目前还不清楚是什么因素决定的性能的两个估计复杂的景观，涉及长期规划和控制的物理系统，尽管这个问题的实用程序的可微模拟器的关键相关性。我们表明，某些物理系统的特性，如刚度或不连续性，可能会损害一阶估计的有效性，并通过偏差和方差的镜头分析这种现象。我们还提出了一个$α$阶梯度估计，与$α\in [0,1]$，它正确地利用精确的梯度相结合的一阶估计的效率与零阶方法的鲁棒性。我们证明了传统的估计和优势的$α$阶估计的一些数值例子的陷阱。
2022-08-22 cs.AI cs.LG cs.RO
Approximating Gradients for Differentiable Quality Diversity in Reinforcement Learning
University of Southern California（南加州大学）；New York University（纽约大学）
考虑一下训练具有强大能力的代理人的问题。一种方法是生成代理策略的多样化集合。训练可以被视为一个质量多样性（QD）优化问题，在这里我们搜索一组在量化行为方面不同的性能策略。最近的工作表明，可微质量多样性（DQD）算法大大加快QD优化时，精确的梯度。然而，代理策略通常假设环境是不可区分的。为了将DQD算法应用于训练代理策略，我们必须近似性能和行为的梯度。我们提出了当前最先进的DQD算法的两个变体，它们通过强化学习（RL）中常见的近似方法计算梯度。我们评估我们的方法对四个模拟运动任务。一种变体在结合QD和RL方面实现了与当前最先进的结果相当的结果，而另一种变体在两个运动任务中执行重复。这些结果深入了解了当前DQD算法在必须近似梯度的领域中的局限性。源代码可在https://github.com/icaros-usc/dqd-rl上获得
2022-04-15 cs.AI cs.LG cs.NE
Differentiable Hybrid Traffic Simulation
University of Maryland, College Park（马里兰大学帕克分校）；NVIDIA（英伟达）
介绍了一种新的可微分混合交通模拟器，它采用宏观和微观模型的混合模型模拟交通，并可直接集成到神经网络中进行交通控制和流量优化。这是第一个可微分的宏观和混合模型的交通模拟器，可以计算跨时间步长和非均匀车道的交通状态的梯度。为了在混合框架中计算两种类型的交通模型之间的梯度流，我们提出了一种新的中间转换组件，该组件也以可区分的方式桥接车道。我们还表明，我们可以使用分析梯度来加速整个过程，提高可扩展性。由于这些梯度，我们的模拟器可以提供更有效和可扩展的解决方案，复杂的学习和控制问题，在交通工程比其他现有的算法。有关我们的项目，请参阅https://sites.google.com/umd.edu/diff-hybrid-traffic-sim。
2022-10-14 cs.GR cs.LG cs.MA
Rethinking Optimization with Differentiable Simulation from a Global Perspective
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）
微分模拟是一种很有前途的工具包，用于快速的基于梯度的策略优化和系统辨识。然而，现有的可微模拟方法在很大程度上解决了获得平滑梯度相对容易的情况，例如具有大部分平滑动态的系统。在这项工作中，我们研究了可微模拟提出的挑战，当它是不可行的期望，一个单一的下降达到全局最优，这往往是一个问题，在接触丰富的情况下。我们分析了包含刚体和可变形对象的各种场景的优化景观。在具有高度可变形物体和流体的动态环境中，可微分模拟器产生崎岖的景观，但在空间的某些部分具有有用的梯度。我们提出了一种方法，结合贝叶斯优化与半本地的“飞跃”，以获得一个全局搜索方法，可以有效地使用梯度，同时也保持了鲁棒性的性能，在区域噪声梯度。我们表明，我们的方法优于几个基于梯度和无梯度的基线上的一组广泛的仿真实验，并验证了该方法使用的实验与一个真正的机器人和变形。视频和补充材料可在https://tinyurl.com/globdiff上获得
2022-06-28 cs.LG cs.RO stat.ML
Differentiable Combinatorial Losses through Generalized Gradients of Linear Programs
Virginia Commonwealth University（弗吉尼亚联邦大学）
当样本具有内部结构时，我们经常会看到训练过程中优化的目标与推理过程中模型的目标之间的不匹配。例如，在序列到序列建模中，我们对高质量的翻译句子感兴趣，但训练通常在单词级别使用最大似然。自然的训练时间损失将涉及组合问题--基于动态规划的全局序列比对--但是组合问题的解决方案相对于其输入参数是不可微的，因此替代地使用可微损失。在这里，我们展示了如何执行梯度下降的组合优化算法，涉及连续的参数，例如边缘权重，并可以有效地表示为线性规划。我们证明梯度下降的有用性超过组合优化在序列到序列建模使用可微编码器-解码器架构与softmax或Gumbel-softmax，并在图像分类在弱监督设置，而不是正确的类为每张照片，只有组的照片标记正确，但无序的类集在训练过程中可用。
2020-10-02 cs.LG stat.ML
HPG-Diff: Hierarchical physics-guided diffusion with differentiable connectivity constraints for topology optimization
School of Mechanical Engineering, Beijing Institute of Technology（北京理工大学机械工程学院）；Computer Science and Engineering, University of New South Wales（新南威尔士大学计算机科学与工程学院）；College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Research Institute of Electrical Communication, Tohoku University（东北大学电气通信研究所）
研究针对深度生成模型用于拓扑优化缺乏物理引导的问题，提出HPG-Diff框架，通过分层物理引导策略和浮动材料抑制损失增强物理一致性，经定量评估和案例研究验证了该方法在降低误差和适应特定域方面的有效性。
2026-07-09 cs.CE cs.LG
Differentiable Simulation of Hard Contacts with Soft Gradients for Learning and Control
University of Tübingen（图宾根大学）；Masaryk University（马萨里克大学）
本文提出DiffMJX，通过结合自适应时间积分与惩罚模拟提升梯度精度，并引入接触距离（CFD）解决接触梯度消失问题，提高仿真与现实的匹配度。
2026-03-23 cs.LG cs.RO cs.SY
HESTIA: A Hessian-Guided Differentiable Quantization-Aware Training Framework for Extremely Low-Bit LLMs
School of Software and Microelectronics, Peking University, Beijing, China（软件与微电子学院，北京大学，北京，中国）；School of Computer Science, Peking University, Beijing, China（计算机科学学院，北京大学，北京，中国）
HESTIA通过Hessian引导的可微量化感知训练框架，实现极低比特LLMs的高效训练，提升模型性能。
2026-01-28 cs.AI cs.LG
Fast and Feature-Complete Differentiable Physics for Articulated Rigid Bodies with Contact
Stanford University（斯坦福大学）；Amazon（亚马逊）
我们提供了一个快速且功能完整的可微物理引擎Nimble（nimblephysics.org），它支持拉格朗日动力学和用于铰接刚体模拟的硬接触约束。我们的可微物理引擎提供了一套完整的功能，这些功能通常仅适用于机器人应用中常用的不可微物理模拟器。我们使用线性互补问题（LCP）精确地解决接触约束。我们提出了有效的和新的分析梯度通过LCP制定的非弹性接触，利用LCP解决方案的稀疏性。我们支持复杂的接触几何，和梯度近似连续时间的弹性碰撞。我们还介绍了一种新的方法来计算互补感知梯度，帮助下游优化任务避免在鞍点停滞。我们表明，在现有的物理引擎（DART）中实现这种组合能够在单个时间步计算分析雅可比矩阵时实现87倍的单核加速比，同时保留原始DART的所有表现力。
2021-06-22 cs.AI cs.LG cs.RO
Leveraging Intrinsic Gradient Information for Further Training of Differentiable Machine Learning Models
University of Bath（巴斯大学）
设计能够产生准确预测的模型是机器学习（ML）的基本目标。这项工作提出的方法表明，当目标变量（输出）相对于输入的导数可以从感兴趣的过程中提取时，例如，基于神经网络（NN）的代理模型，可以利用它们来进一步提高可微ML模型的准确性。本文概括了这一想法，并提供了实用的方法，可用于在各种应用中利用梯度信息（GI），包括：（1）提高生成对抗网络（GANs）的性能;（2）有效地调整NN模型复杂性;（3）正则化线性回归。数值结果表明，GI可以有效地增强ML模型与现有的数据集，证明了它的各种应用的价值。
2022-01-13 cs.LG stat.ML
Guiding Evolutionary Strategies by Differentiable Robot Simulators
Tinkoff
近年来，进化策略在机器人任务中被积极探索用于策略搜索，因为它们提供了强化学习算法的更简单的替代方案。然而，这类算法通常被认为是非常样本效率低下的。另一方面，人们对可微分机器人模拟器（DRS）的兴趣越来越大，因为它们可能只需要少数轨迹就可以找到成功的策略。但是，由此产生的梯度并不总是有用的一阶优化。在这项工作中，我们演示了如何DRS梯度可以与进化策略结合使用。初步结果表明，这种组合可以减少样本复杂性的进化策略的3倍-5倍，在模拟和现实世界。
2021-11-09 cs.AI cs.LG cs.NE
Does "Do Differentiable Simulators Give Better Policy Gradients?" Give Better Policy Gradients?
The University of Tokyo（东京大学）
本文探讨可微模拟器在策略梯度方法中的有效性，提出DDCG和IVW-H两种方法，通过切换估计器和控制方差提升鲁棒性与样本效率。
2026-10-27 cs.AI cs.LG cs.RO
Gradient-based Training of Slow Feature Analysis by Differentiable Approximate Whitening
Institute for Neural Computation（神经计算研究所）；Ruhr-Universität Bochum（波鸿鲁尔大学）
我们提出了功率慢特征分析，一种基于梯度的方法，从高维输入流中提取时间上慢的特征，该输入流在更快的时间尺度上变化，作为慢特征分析（SFA）的变体，允许任意可微架构的端到端训练，从而显着扩展了可有效用于慢特征提取的模型类别。我们提供的实验证据表明，PowerSFA是能够提取有意义的和信息丰富的低维特征的情况下（a）合成低维数据，（b）自我视觉数据，以及（c）一个一般的数据集，可以定义点之间的对称非时间相似性。
2019-07-18 cs.LG stat.ML
Quantifying the Benefit of Using Differentiable Learning over Tangent Kernels
Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；EPFL（洛桑联邦理工学院）
我们研究了在可微模型（如神经网络）上使用梯度下降学习与使用相应的正切核的相对能力。我们表明，在一定条件下，梯度下降实现小的错误，只有当相关的正切核方法实现了一个非平凡的优势，随机猜测（又名。弱学习），尽管即使当梯度下降可以实现任意高的精度时，该优点也可能非常小。补充这一点，我们表明，如果没有这些条件，梯度下降实际上可以学习小的错误，即使没有核方法，特别是使用正切核，可以实现一个非平凡的优势，随机猜测。
2021-03-01 cs.LG stat.ML
Differentiable Annealed Importance Sampling and the Perils of Gradient Noise
University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；Stanford University（斯坦福大学）
退火重要性抽样（AIS）和相关算法是边缘似然估计的高效工具，但由于使用Metropolis-Hastings校正步骤，因此无法完全微分。可微性是一个理想的属性，因为它允许使用基于梯度的方法优化边际似然作为目标的可能性。为此，我们提出了可微分AIS（DAIS），AIS的一个变体，通过放弃Metropolis-Hastings校正来确保可微分性。作为另一个优点，DAIS允许小批量梯度。我们提供了一个详细的收敛分析贝叶斯线性回归，超越了以前的分析，明确占采样没有达到平衡。使用这种分析，我们证明了DAIS是一致的，在全批量设置，并提供了一个次线性收敛速度。此外，出于从大规模数据集学习的问题，我们研究了DAIS的一个随机变体，它使用小批量梯度。令人惊讶的是，随机DAIS可以任意坏，由于最后一次收敛到后验和消除累积的随机误差的目标之间的根本不相容。这与其他设置形成鲜明对比，例如基于梯度的优化和Langevin动态，其中梯度噪声的影响可以通过采取较小的步骤来消除。这表明基于退火的随机梯度边际似然估计可能需要新的思路。
2021-10-26 cs.LG stat.ML
Backpropagating Through Simulation: Analytic Policy Gradients for Sample and Learning Efficient Differentiable Continuous Control
School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
提出解析策略梯度（APG）方法，利用可微环境动力学通过仿真反向传播计算精确梯度，在四个连续控制任务中与PPO对比，显著提升样本效率。
2026-06-23 cs.AI cs.LG
Diagonalisation SGD: Fast & Convergent SGD for Non-Differentiable Models via Reparameterisation and Smoothing
NTU Singapore（新加坡南洋理工大学）；Jane Street（简街资本）
本文提出对角化SGD，通过分段定义非可微函数并逐步提高平滑近似精度，在保证收敛到原始目标稳定点的同时实现低方差、快速稳定的优化。
2024-02-20 cs.AI cs.LG math.OC
Feature-Guided Diffusion for Non-Differentiable Inverse Rendering
Adobe Research（Adobe研究）
研究逆渲染问题，提出完全黑箱框架FIDE，通过特征引导，利用视觉Transformer提取特征训练扩散模型，结合CMA进化策略优化，在多种逆问题上验证，显著提升收敛速度并逃离局部最小值。
2026-07-21 cs.GR cs.LG
Differentiable Game Mechanics
University of Oxford（牛津大学）；DeepMind（深度思考（DeepMind））
深度学习建立在目标函数的梯度下降收敛到局部最小值的基本保证之上。不幸的是，这种保证在诸如生成对抗网络的设置中失败，这些设置表现出多个相互作用的损失。基于梯度的方法在游戏中的行为还没有得到很好的理解-随着对抗和多目标架构的激增，它变得越来越重要。在本文中，我们开发了新的工具来理解和控制的动态n-玩家微分游戏。关键的结果是将博弈雅可比矩阵分解为两个分量。第一，对称的组成部分，是有关潜在的游戏，减少到梯度下降的隐函数。第二，反对称部分，涉及到汉密尔顿游戏，一类新的游戏，遵守守恒定律类似于经典力学系统中的守恒定律。辛梯度调整（SGA），一种新的算法，用于寻找稳定的不动点微分游戏的分解动机。基本实验表明，SGA与最近提出的在GANs中寻找稳定不动点的算法相比具有竞争力-同时适用于更一般的情况，并具有保证。
2019-05-13 cs.GT cs.LG cs.MA
Efficient Differentiable Simulation of Articulated Bodies
University of Maryland, College Park（马里兰大学帕克分校）；Intel Labs（英特尔实验室）
我们提出了一种有效的可微模拟铰接机构的方法。这使得能够将关节式身体动力学集成到深度学习框架中，并对在关节式身体上操作的神经网络进行基于梯度的优化。我们利用空间代数和伴随方法导出了前向动力学的梯度。我们的方法比autodiff工具快一个数量级。通过在整个仿真过程中只保存初始状态，我们的方法将内存需求降低了两个数量级。我们证明了在各种应用程序中的铰接机构的有效微分动力学的效用。我们表明，强化学习与铰接系统可以使用我们的方法提供的梯度加速。在控制和逆问题的应用中，我们的工作使基于梯度的优化加速收敛超过一个数量级。
2021-09-16 cs.GR cs.LG cs.RO
Graph Guided Diffusion: Unified Guidance for Conditional Graph Generation
King Juan Carlos University（胡安·卡洛斯国王大学）；Rice University（莱斯大学）
提出GGDiff框架，将条件图生成视为随机控制问题，统一梯度、控制和零阶引导策略，实现预训练扩散模型在可微与不可微奖励下的零样本条件生成，在基序约束、公平性和链接预测任务中表现优异。
2025-05-26 cs.LG
DiffCloth: Differentiable Cloth Simulation with Dry Frictional Contact
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Tencent Lightspeed & Quantum Studios（腾讯光子工作室群）
织物仿真在计算机动画、服装设计、机器人辅助穿衣等领域有着广泛的应用。这项工作提出了一个微分布模拟器，其额外的梯度信息，有利于布相关的应用。我们的微分模拟器扩展了一个国家的最先进的布模拟器的基础上投影动力学（PD）和干摩擦接触。我们从以前的工作中汲取灵感，提出了一种快速和新颖的方法，用于在基于PD的干摩擦接触布料模拟中获得梯度。此外，我们进行了全面的分析和评估的有用性梯度接触丰富的布料模拟。最后，我们证明了我们的模拟器在一些下游应用程序，包括系统辨识，辅助敷料，闭环控制，逆设计，和实时到SIM传输的轨迹优化的功效。我们观察到大量的加速使用我们的梯度信息在解决这些应用程序中获得。
2022-07-17 cs.GR cs.LG
DiffTaichi: Differentiable Programming for Physical Simulation
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Adobe Research（奥多比研究院）；UC Berkeley（加州大学伯克利分校）
我们提出了DiffTaichi，一个新的微分程序设计语言量身定制的高性能微分物理模拟器。基于命令式程序设计语言，DiffTaichi使用保留算术强度和并行性的源代码转换生成模拟步骤的梯度。一个轻量级的磁带被用来记录整个模拟程序的结构和重放梯度内核在相反的顺序，端到端的反向传播。我们在10个不同的物理模拟器上展示了我们的语言在基于梯度的学习和优化任务中的性能和生产力。例如，用我们的语言编写的可微分弹性对象模拟器比手工设计的CUDA版本短4.2倍，但运行速度一样快，比TensorFlow实现快188倍。使用我们的可微程序，神经网络控制器通常仅在数十次迭代内优化。
2020-02-14 cs.GR cs.LG physics.comp-ph
iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients
Monash University（莫纳什大学）；University of Technology Sydney（悉尼科技大学）；University of Adelaide（阿德莱德大学）；Australian Institute for Machine Learning（澳大利亚机器学习研究所）
\textit{Differentiable ARchiTecture Search}（DARTS）由于其高效性和简单性，近年来已成为神经结构搜索（NAS）的主流。DARTS采用基于梯度的双层优化方法，在一个权值共享的超网中交替优化内部模型权值和外部结构参数。学习架构的可扩展性和质量面临的一个关键挑战是需要通过内环优化进行区分。虽然已经讨论了DARTS中的几个潜在致命因素，但体系结构梯度，也就是高梯度，受到较少的关注。本文基于隐函数定理解决了DARTS中的超梯度计算问题，使其只依赖于获得的内环优化解，而不依赖于优化路径。为了进一步降低计算量，我们对可微NAS构造了一个随机超梯度近似，并从理论上证明了该方法（iDARTS）的架构优化，会收敛到一个固定点在两个NAS基准搜索空间和普通NAS搜索空间上的综合实验验证了该方法的有效性。它导致架构的性能优于基线方法所学习到的架构，并且具有很大的裕度。
2021-06-21 cs.LG
DiffSim2Real: Deploying Quadrupedal Locomotion Policies Purely Trained in Differentiable Simulation
Robotic Systems Lab, ETH Zürich（苏黎世联邦理工学院机器人系统实验室）；Georgia Institute of Technology（佐治亚理工学院）；The AI Institute（人工智能研究所）；Institute for Research in Technology, ICAI School of Engineering, Comillas Pontifical University（科米利亚斯主教大学技术研究所（ICAI工程学院））
本文提出DiffSim2Real，利用可微分仿真器的解析梯度训练四足运动策略，并通过平滑接触模型兼顾梯度信息与物理精度，首次实现纯可微分仿真训练策略在真实四足机器人上的成功迁移。
2024-11-04 cs.LG cs.RO
Differentiable Analog Quantum Computing for Optimization and Control
Joint Center for Quantum Information and Computer Science, University of Maryland（马里兰大学量子信息与计算机科学联合中心）；University of Maryland（马里兰大学）
我们制定了第一个可微模拟量子计算框架，在模拟信号（脉冲）水平上进行了特定的参数化设计，以更好地利用近期量子器件通过变分方法。我们进一步提出了一种可扩展的方法来估计量子动力学的梯度，使用蒙特卡洛采样的前向传递，这导致了我们的框架中可扩展的基于梯度的训练的量子随机梯度下降算法。将我们的框架应用于量子优化和控制，我们观察到可微模拟量子计算相对于基于参数化数字量子线路的SOTA的显著优势。
2022-10-28 cs.LG quant-ph
Proximal boosting: aggregating weak learners to minimize non-differentiable losses
Université de Paris（巴黎大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
梯度提升是一种迭代组合弱学习器以产生复杂且准确的模型的预测方法。从优化的角度来看，梯度提升的学习过程模仿函数变量上的梯度下降。本文提出了建立在邻近点算法，当经验风险最小化是不可微的，为了引入一种新的助推方法，称为邻近助推。它附带了一个受[1]启发的同伴算法，称为残差邻近增强，旨在更好地控制近似误差。理论收敛性证明了这两个程序在不同的假设下的经验风险和优势，利用邻近的方法来提高模拟和真实世界的数据的数值实验说明。特别是，我们表现出一个有利的比较超过梯度提升的收敛速度和预测精度。
2022-11-29 cs.LG stat.ML
Surrogate-Based Differentiable Pipeline for Shape Optimization
Pasteur Labs（帕斯特实验室）
针对CAE工作流存在不可微组件、阻碍基于梯度的形状优化的问题，提出用固有可微的代理模型替换不可微组件，构建端到端可微流水线，无需可微求解器即可实现梯度优化。
2025-11-13 cs.AI cs.CE cs.LG
Algorithmic Probability-guided Supervised Machine Learning on Non-differentiable Spaces
Facultad de Ciencias, Universidad Nacional Autónoma de México（墨西哥国立自治大学理学院）；Oxford Immune Algorithmics（牛津免疫算法公司）；Karolinska Institutet（卡罗林斯卡学院）；Algorithmic Nature Group, LABORES（算法自然小组，LABORES）
我们展示了如何将复杂性理论引入机器学习，以帮助将当前研究中明显不同的领域结合在一起。我们表明，这种新的方法需要更少的训练数据，更具有普遍性，因为它表现出更大的弹性随机攻击。我们研究了当使用由算法复杂性参数化的损失函数执行回归或分类时离散算法空间的形状，证明了微分的性质对于实现与使用可微分编程方法（例如深度学习）获得的结果类似的结果是不必要的。在这样做时，我们使用的例子，使这两种方法进行比较（小，给定的算法复杂性估计所需的计算能力）。我们发现并报告，（i）机器学习可以成功地在一个非光滑表面上使用算法的复杂性;（ii）参数的解决方案，可以找到使用算法概率分类器，建立一个桥梁之间的基本离散理论的可计算性和基本连续的数学理论的优化方法;（iii）可以定义和进行非光滑流形中的算法导向搜索技术的公式化;（iv）可以执行用于算法搜索以导航这些离散不可微空间的开发技术和数值方法;在（a）从数据观察识别生成规则的应用中;（b）与神经网络相比，对像素攻击更有弹性的图像分类问题的解决方案;（c）在连续ODE系统问题中存在噪声的情况下从小数据集中识别方程参数，（d）通过（1）网络拓扑，（2）底层布尔函数，以及（3）引入边的数目。
2019-10-08 cs.AI cs.LG stat.ML
Resampling Gradients Vanish in Differentiable Sequential Monte Carlo Samplers
University of Tübingen（蒂宾根大学）；IMPRS-IS（国际马克斯·普朗克智能系统研究学院）
针对可微分退火重要性采样（DAIS）有效样本量低、分布退化的问题，提出加入重采样步骤扩展DAIS，且经验与理论均表明无需对重采样步骤微分即可避免梯度方差问题。
2023-04-27 cs.LG stat.ML
Gradient-based Trajectory Optimization with Parallelized Differentiable Traffic Simulation
University of Maryland at College Park（马里兰大学学院公园分校）；Kitware（Kitware公司）
本文提出基于IDM的并行可微交通仿真器，支持实时仿真200万辆车，并通过梯度优化实现轨迹过滤、重建与预测，且在NGSIM和Waymo数据集上得到验证。
2025-02-18 cs.DC cs.LG cs.RO
Mosaic: A Benchmark Suite for Differentiable Physics Solvers
提出Mosaic框架，标准化可微PDE求解器的梯度访问，通过14个求解器的评估揭示计算成本、雅可比条件数和结构兼容性的实际差异。
2026-11-10 cs.LG physics.comp-ph
TorchOpt: An Efficient Library for Differentiable Optimization
University of Edinburgh（爱丁堡大学）；University College London（伦敦大学学院）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；Institute for AI, Peking University（北京大学人工智能研究院）
近年来，各种可微优化算法蓬勃发展。这些算法表现出不同的执行模式，并且它们的执行需要超出单个CPU和GPU的大量计算资源。然而，现有的可微分优化库不能支持高效的算法开发和多CPU/GPU执行，使得可微分优化算法的开发通常繁琐且昂贵。本文介绍了TorchOpt，一个基于PyTorch的高效可微优化库。TorchOpt提供了一个统一的和富有表现力的可微优化编程抽象。这种抽象允许用户有效地声明和分析各种显式梯度、隐式梯度和零阶梯度的可微优化程序。TorchOpt还提供了一个高性能的分布式执行运行时。该运行时可以在CPU/GPU上完全并行化计算密集型微分操作（例如张量树展平），并自动将计算分发到分布式设备。实验结果表明，TorchOpt在8 GPU服务器上实现了$5.2\times$训练时间的加速。TorchOpt可在https://github.com/metaopt/torchopt/上获得。
2022-11-13 cs.AI cs.DC cs.LG
Simultaneous Multiple-Prompt Guided Generation Using Differentiable Optimal Transport
Google Brain（谷歌大脑）；Apple（苹果公司）
深度学习的最新进展，如强大的生成模型和联合文本图像嵌入，为计算创造力社区提供了新的工具，为艺术追求开辟了新的视角。通过从文本提示生成图像来操作的文本到图像合成方法提供了一个恰当的例子。这些图像是用一个潜向量生成的，该潜向量被逐步细化以符合文本提示。为此，在生成的图像内对补丁进行采样，并与公共文本图像嵌入空间中的文本提示进行比较;然后使用梯度下降更新潜在向量，以减少这些补丁和文本提示之间的平均距离。虽然这种方法为艺术家提供了足够的自由来定制图像的整体外观，但通过他们在生成模型中的选择，对简单标准（距离的平均值）的依赖通常会导致模式坍塌：整个图像被绘制为所有文本提示的平均值，从而失去了它们的多样性。为了解决这个问题，我们建议使用最佳运输（OT）文献中找到的匹配技术，从而产生能够忠实地反映多种多样的提示的图像。我们提供了大量的插图显示，OT避免了一些陷阱所产生的估计向量的平均距离，并证明了我们提出的方法在实验中，定性和定量表现更好的能力。
2022-04-18 cs.CV cs.GR cs.LG
Solving Non-Convex Non-Differentiable Min-Max Games using Proximal Gradient Method
University of Southern California（南加利福尼亚大学）
极小极大鞍点对策在机器学习和信号处理中有着广泛的应用。尽管它们具有广泛的适用性，但理论研究大多局限于特殊的凹凸结构。虽然最近的一些工作将这些结果推广到特殊的光滑非凸的情况下，我们的理解非光滑的情况下仍然是有限的。本文研究了当目标函数关于局中人的决策变量之一是（强）凸时的非光滑极大极小对策的特殊形式。我们证明了一个简单的多步近似梯度下降-上升算法收敛到$ε$ -一阶纳什均衡的最小-最大游戏的梯度评价是多项式的数量在$1/ε$。我们还将表明，我们的平稳性的概念是强于现有的文献中。最后，我们评估所提出的算法的性能，通过对抗攻击的LASSO估计。
2020-03-18 cs.GT cs.LG math.OC
ABPT: Amended Backpropagation through Time with Partially Differentiable Rewards
SEIEE Shanghai Jiao Tong University（上海交通大学电子信息学院）
针对四旋翼控制中部分可微奖励导致BPTT梯度偏差的问题，提出结合0步与N步回报、利用Q值函数值梯度的ABPT方法，辅以熵正则化等机制，在仿真与真实飞行任务中实现更快收敛和更高奖励。
2025-05-21 cs.AI cs.LG cs.RO
A Generalized Stacking for Implementing Ensembles of Gradient Boosting Machines
Peter the Great St.Petersburg Polytechnic University（圣彼得堡彼得大帝理工大学）
梯度提升机是求解回归问题的有力工具之一。针对其不足，提出了一种构造梯度提升模型集成的方法。该方法背后的主要思想是使用堆叠算法来学习第二级元模型，该第二级元模型可以被视为用于实现梯度提升模型的各种集合的模型。首先，梯度提升模型的线性回归被认为是在线性模型关于其系数（权重）可微的条件下的元模型的最简单实现。然后，它表明，所提出的方法可以简单地扩展到任意可微的组合模型，例如，神经网络是可微的，可以实现任意功能的梯度提升模型。各种数值例子说明了所提出的方法。
2020-10-12 cs.LG stat.ML
GeoPhy: Differentiable Phylogenetic Inference via Geometric Gradients of Tree Topologies
Waseda University（早稻田大学）；RIKEN AIP（理化学研究所人工智能研究中心）；AIST-Waseda CBBD-OIL（产业技术综合研究所-早稻田大学生物信息学与系统生物学联合研究中心）；Nippon Medical School（日本医科大学）
GeoPhy 提出一种基于连续几何空间中拓扑分布表示的可微系统发育推断方法，在不限制候选树拓扑的情况下实现变分推断，并在真实基准数据集上显著优于其他近似贝叶斯方法。
2023-12-01 cs.LG q-bio.PE stat.ML
Towards Differentiable Multilevel Optimization: A Gradient-Based Approach
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）
本文提出一种基于梯度的多层优化方法，通过分层分解全梯度和先进传播技术处理嵌套结构，扩展至n层场景，显著降低计算复杂度并提升精度与收敛速度，兼具理论保证与优越实证性能。
2024-10-15 cs.AI cs.LG
An Analysis of Measure-Valued Derivatives for Policy Gradients
Technische Universität Darmstadt（达姆施塔特工业大学）
由于更好的策略梯度技术的不断发展，机器人的强化学习方法越来越成功。精确（低方差）和准确（低偏差）的梯度估计器对于面对日益复杂的任务至关重要。传统的策略梯度算法使用似然比技巧，这是众所周知的无偏，但高方差估计。更现代的方法利用重新参数化技巧，它提供了较低的方差梯度估计，但需要可微的价值函数逼近。在这项工作中，我们研究了一种不同类型的随机梯度估计-测度值导数。该估计是无偏的，具有低方差，并可用于可微和不可微函数逼近。我们经验评估此估计在演员-评论家策略梯度设置，并表明它可以达到可比的性能与方法的基础上的似然比或重新参数化技巧，无论是在低维和高维的动作空间。通过这项工作，我们希望表明，测度值导数估计可以是一个有用的替代其他策略梯度估计。
2022-03-08 cs.LG
Differentiable Electricity-Market Clearing for Gradient-Based Planning
Macrocosm Inc.（宏宇宙公司）；Institute for New Economic Thinking, University of Oxford（牛津大学新经济思维研究所）
本文提出将电力市场出清视为可微分优化层，通过梯度优化实现数据中心负载的市场感知规划，在50MW负载分配任务中取得了良好效果。
2026-09-03 cs.CY cs.LG
Differentiable Simulation of Soft Multi-body Systems
University of Maryland, College Park（马里兰大学帕克分校）；Intel Labs（英特尔研究院）
提出了一种柔性铰接体的可微模拟方法。我们的工作使可微的物理动力学集成到基于梯度的管道。我们在投影动力学中发展了一种自顶向下的矩阵组装算法，并使用一种新的矩阵分裂策略导出了一个广义的软连续介质干摩擦模型。我们推导出一个可微的控制框架，由肌肉，关节力矩，或气动管驱动的软关节机构。实验表明，我们的设计使软体模拟更稳定，更真实的相比，其他框架。我们的方法加速了系统辨识问题的解决方案超过一个数量级，并使有效的基于梯度的学习与软体机器人的运动控制。
2022-05-03 cs.GR cs.LG cs.RO
An Empirical Analysis of Measure-Valued Derivatives for Policy Gradients
Technische Universität Darmstadt（达姆施塔特工业大学）；Honda Research Institute Europe（欧洲本田研究院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
由于更好的策略梯度技术的不断发展，机器人的强化学习方法越来越成功。精确（低方差）和准确（低偏差）的梯度估计器对于面对日益复杂的任务至关重要。传统的策略梯度算法使用似然比技巧，这是众所周知的无偏，但高方差估计。更现代的方法利用重新参数化技巧，它提供了较低的方差梯度估计，但需要可微的价值函数逼近。在这项工作中，我们研究了一种不同类型的随机梯度估计：测度值导数。该估计是无偏的，具有低方差，并可用于可微和不可微函数逼近。我们经验评估此估计在演员-评论家策略梯度设置，并表明它可以达到可比的性能与方法的基础上的似然比或重新参数化技巧，无论是在低维和高维的动作空间。
2021-07-20 cs.AI cs.LG
$\partial\mathbb{B}$ nets: learning discrete functions by gradient descent
本文提出$\partial\mathbb{B}$网络，一种可微神经网络，通过梯度下降学习离散布尔函数，采用软硬网络双方面设计，硬化无精度损失，兼具紧凑性和可解释性。
2023-05-12 cs.LG cs.NE
Adaptive Horizon Actor-Critic for Policy Learning in Contact-Rich Differentiable Simulation
Georgia Institute of Technology（佐治亚理工学院）；Stanford University（斯坦福大学）；Nvidia（英伟达）；University of Toronto（多伦多大学）
本文提出自适应时域Actor-Critic（AHAC）算法，通过调整基于模型的时域以避免刚性动力学，减少了一阶基于模型强化学习中的梯度误差，在运动任务中奖励提升40%且高效扩展至高维控制环境。
2024-06-03 cs.AI cs.LG
Optimization Methods for Interpretable Differentiable Decision Trees in Reinforcement Learning
Georgia Institute of Technology（佐治亚理工学院）；University of Toronto（多伦多大学）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）
决策树因其易用性和可解释性而在机器学习中无处不在。然而，这些模型通常不用于强化学习，因为它们不能通过随机梯度下降在线更新。我们克服了这一限制，允许在整个树，提高样本的复杂性，提供可解释的政策提取梯度更新。首先，我们包括政策梯度学习的需要，通过检查梯度下降的性质可微决策树的理论动机。其次，我们证明了我们的方法在所有领域都等同于或优于神经网络，并且可以在线学习离散的决策树，其平均奖励比批量训练的决策树高出7倍。第三，我们进行了一项用户研究，以量化决策树，规则列表和神经网络的可解释性与统计上显着的结果（$p < 0.001$）。
2020-06-25 cs.LG stat.ML
Guided evolutionary strategies: Augmenting random search with surrogate gradients
Google Research（谷歌研究院）
机器学习中的许多应用需要优化其真实梯度未知的函数，但是替代梯度信息（可能与真实梯度相关但不一定相同的方向）可用。当近似梯度比完整梯度更容易计算时（例如，在元学习或展开优化中），或者当真实梯度难以处理并被替代时（例如，在某些强化学习应用中，或者当使用合成梯度时），就会出现这种情况。我们提出了指导进化策略，最佳地使用代理梯度方向与随机搜索的方法。我们定义了一个搜索分布的进化策略，是拉长沿引导子空间跨越的代理梯度。这允许我们估计下降方向，然后可以将其传递给一阶优化器。我们分析和数值特征的权衡结果，从调整如何强烈的搜索分布是沿着引导子空间拉伸，我们用它来获得一个设置的超参数，以及在整个问题。最后，我们将我们的方法应用到示例问题中，证明了标准进化策略和一阶方法（直接遵循代理梯度）的改进。我们在https://github.com/brain-research/guided-evolutionary-strategies上提供了引导ES的演示
2019-06-10 cs.LG cs.NE stat.ML
Minimizing Surrogate Losses for Decision-Focused Learning using Differentiable Optimization
KU Leuven, Department of Computer Science, Belgium（比利时卢森堡大学计算机科学系）
针对决策聚焦学习中线性规划等优化问题的梯度几乎处处为零的问题，提出使用可微优化层并最小化代理损失，在减少训练时间的同时达到最优决策遗憾。
2025-08-25 cs.AI cs.LG
On the Numerical Reliability of Differentiable Physics-Based Optimization for Robotic Material Manipulation
Cardiff University（卡迪夫大学）；Hohai University（河海大学）
本研究通过MPM系统辨识基准，揭示可微物理优化在机器人材料操控中因GPU求和顺序、有限差分不可靠及目标定义差异导致的数值问题，并提出可复现累加与验证建议。
2026-09-29 cs.LG cs.RO
Fine-grained differentiable physics: a yarn-level model for fabrics
University of Leeds（利兹大学）；University of Edinburgh（爱丁堡大学）；Peking University（北京大学）
微分物理建模将物理模型与基于梯度的学习相结合，以提供模型的可解释性和数据效率。它已被用于学习动力学，解决逆问题和促进设计，并在其影响的开始。目前的成功主要集中在一般物理模型上，如刚体、可变形薄片等，假设相对简单的结构和力。它们的粒度本质上是粗糙的，因此无法模拟复杂的物理现象。细粒度模型仍有待开发，以将复杂的材料结构和力的相互作用与基于梯度的学习结合起来。根据这一动机，我们提出了一种新的可区分的织物模型，用于复合材料，如布，在那里我们深入到纱线的粒度和模型的单个纱线物理和纱线到纱线的相互作用。为此，我们提出了几个可微的力量，其对应的经验物理学是不可微的，以促进基于梯度的学习。这些力虽然作用在布上，但在各种物理系统中普遍存在。通过全面的评估和比较，我们展示了我们的模型在学习有意义的物理参数，将复杂的物理结构和异质材料，数据效率的学习，并在捕捉微妙的动态高保真的多功能性的可解释性。
2022-02-01 cs.LG
