lapanda: A Matrix-Free Differentiable Solver for Nonconvex Constrained Optimization Layers
Jilin University（吉林大学）；Kyoto University（京都大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
针对非凸约束优化层可微求解的挑战，提出无矩阵求解器lapanda，通过增广拉格朗日子问题和近端拟牛顿内层求解实现高效前向与后向，大幅降低计算和内存开销，并保持性能。
2026-09-29 cs.LG cs.SY eess.SY
Differentiable Forward and Backward Fixed-Point Iteration Layers
Seoul National University（首尔国立大学）；Hanyang University（汉阳大学）
最近，一些研究提出了在设计深度神经网络时利用某些类优化问题的方法，以编码常规层无法捕获的约束。然而，这些方法仍处于起步阶段，需要特殊的处理，如分析KKT条件，推导出反向传播公式。在本文中，我们提出了一种新的层公式，称为固定点迭代（FPI）层，便于在深度网络中使用更复杂的操作。反向FPI层也提出了反向传播，这是由经常性的反向传播（RBP）算法的动机。但与RBP相比，后向FPI层通过小的网络模块产生梯度，而无需显式计算雅可比矩阵。在实际应用中，前向和后向FPI层都可以被视为计算图中的节点。所提出的方法中的所有组件都是在高抽象级别上实现的，这允许在节点上进行有效的高阶微分。此外，我们提出了两种实用的方法，FPI_NN和FPI_GD，其中FPI的更新操作是一个小的神经网络模块和一个单一的梯度下降步骤的基础上学习的成本函数，分别。FPI_NN具有直观、简单、训练速度快的特点，而FPI_GD可用于最近研究的能量网络的有效训练。虽然RBP及其相关研究尚未应用于实际示例，但我们的实验表明，FPI层可以成功应用于现实世界的问题，如图像去噪，光流和多标签分类。
2020-06-15 cs.LG math.OC stat.ML
Differentiability in Unrolled Training of Neural Physics Simulators on Transient Dynamics
School of Computation, Information and Technology（计算、信息与技术学院）；Technical University Munich（慕尼黑工业大学）
本文分析了神经物理模拟器展开训练中可微性的影响，发现不可微但展开的训练在校正设置中能显著提升精度，且可微模型表现最佳，这促使在缺乏完全可微性时整合数值模拟器。
2024-10-10 cs.LG physics.comp-ph
DiffML: End-to-end Differentiable ML Pipelines
TU Darmstadt（达姆施塔特工业大学）；Software AG（软件AG）
在本文中，我们提出了我们对可区分的ML管道（称为DiffML）的愿景，以端到端的方式自动构建ML管道。这个想法是，DiffML不仅允许联合训练ML模型本身，还允许联合训练整个管道，包括数据预处理步骤，例如，数据清理、特征选择等。我们的核心思想是以可区分的方式制定所有流水线步骤，以便可以使用反向传播来训练整个流水线。然而，这是一个不平凡的问题，并开辟了许多新的研究问题。为了展示这一方向的可行性，我们展示了初始想法和一般原则，即如何将典型的预处理步骤（如数据清理，特征选择和数据集选择）制定为可区分的程序，并与ML模型共同学习。此外，我们还讨论了研究路线图和核心挑战，这些挑战必须系统地解决，以实现完全可区分的ML管道。
2022-07-05 cs.DB cs.LG
Tversky Neural Networks: Psychologically Plausible Deep Learning with Differentiable Tversky Similarity
Department of Computer Science, 353 Jane Stanford Way（计算机科学系）
本文提出一种可微的Tversky相似度参数化方法及Tversky投影层，通过实验证明其在图像和语言任务中优于线性层，为构建心理学合理且可解释的神经网络提供了新范式。
2025-10-12 cs.AI cs.CL cs.CV
BarrierNet: A Safety-Guaranteed Layer for Neural Networks
MIT（麻省理工学院）
本文介绍了可微高阶控制障碍函数（CBF），是端到端的训练与学习系统。CBF通常过于保守，同时保证安全。在这里，我们解决他们的保守性，软化他们的定义使用环境依赖性，而不失去安全保证，并将它们嵌入到可微二次规划。这些新颖的安全层被称为屏障网，可以与任何基于神经网络的控制器结合使用，并且可以通过梯度下降进行训练。BarrierNet允许神经控制器的安全约束适应不断变化的环境。我们评估他们的一系列控制问题，如交通合并和机器人导航在2D和3D空间，并证明其有效性相比，国家的最先进的方法。
2021-11-22 cs.LG cs.RO cs.SY
Differentiable Learning of Generalized Structured Matrices for Efficient Deep Neural Networks
University of Michigan（密歇根大学）
针对高效DNN权重矩阵结构难确定、现有结构化矩阵多为手工设计的问题，提出通用可微框架，通过近端梯度下降学习广义结构化矩阵参数，在图像和语言任务上实现更优的复杂度与性能平衡。
2024-03-08 cs.AI cs.CV cs.LG
Towards fully differentiable neural ocean model with Veros
Inria Paris（法国巴黎国家信息与自动化技术研究所）；IMT Atlantique（法国亚特兰大国立理工学院）；IGE（格勒诺布尔研究所）
本文提出基于Veros的可微分海洋模型，通过JAX框架实现自动微分，展示如何利用可微分编程进行端到端学习和参数校准。
2025-11-21 cs.LG
ReMoE: Fully Differentiable Mixture-of-Experts with ReLU Routing
Tsinghua University（清华大学）；Tsinghua-Bosch Joint ML Center（清华-博世联合机器学习中心）
针对传统TopK路由不可微导致性能受限的问题，提出全可微MoE架构ReMoE，以ReLU替代TopK+Softmax路由，实现高效动态计算分配，实验表明其在多种规模下优于传统MoE并具更优可扩展性。
2025-02-27 cs.LG
EBM-Fold: Fully-Differentiable Protein Folding Powered by Energy-based Models
Tencent AI Lab（腾讯人工智能实验室）；Peking University（北京大学）
从氨基酸序列准确预测蛋白质结构对于更好地理解蛋白质功能至关重要。这一领域的最新进展在很大程度上受益于更精确的残基间距离和方向预测，由深度神经网络提供动力。然而，结构优化过程仍然由传统工具主导，例如Rosetta，其中通过最小化预定义的统计能量函数（具有可选的基于预测的约束）来求解结构。这样的能量函数可能不是最佳的，在制定整个构象空间的蛋白质。在本文中，我们提出了一种完全可微的蛋白质结构优化方法，由数据驱动的生成网络指导。该网络以去噪的方式进行训练，试图从Ca原子之间的损坏的距离矩阵预测校正信号。一旦网络被很好地训练，基于Langevin动力学的采样被采用以从随机初始化逐渐优化结构。大量的实验表明，与传统的基于Rosetta的结构优化程序相比，我们的EBM折叠方法可以有效地产生高质量的诱饵。
2021-05-31 cs.LG
LMI-Net: Linear Matrix Inequality--Constrained Neural Networks via Differentiable Projection Layers
Laboratory for Information and Decision Systems (LIDS), Massachusetts Institute of Technology（麻省理工学院信息与决策系统实验室（LIDS））
本文提出LMI-Net，一种通过可微投影层强制满足线性矩阵不等式约束的神经网络，通过 Douglas-Rachford 分裂实现前向传播，并通过隐式微分支持高效反向传播，提升在分布偏移下的可行性。
2026-04-07 cs.LG
Fully differentiable model discovery
Université de Paris（巴黎大学）；INSERM U1284（法国国家健康与医学研究院U1284）；Center for Research and Interdisciplinarity (CRI)（跨学科研究中心）
模型发现的目的是自主地发现数据集下的微分方程。基于物理信息神经网络（PINN）的方法已经显示出很大的前景，但显式学习方程的完全可微模型仍然难以捉摸。在本文中，我们提出了这样一种方法，通过集成神经网络为基础的代理与稀疏贝叶斯学习（SBL）。这种组合产生了一个强大的模型发现算法，我们在各种数据集上展示了它。然后，我们确定与多任务学习的连接，并在此基础上构建物理信息规范化流程（PINF）。我们提出了一个使用PINF直接从单粒子数据学习密度模型的概念验证。我们的工作将PINN扩展到各种类型的神经网络架构，并将基于神经网络的代理连接到贝叶斯参数推断的丰富领域。
2021-10-05 cs.LG stat.ML
Differentiable Implicit Layers
Bosch Center for Artificial Intelligence（博世人工智能中心）；TU Darmstadt（达姆施塔特工业大学）
在本文中，我们介绍了一个有效的反向传播格式的无约束隐函数。这些函数由一组可学习的权重参数化，并且可以可选地依赖于某些输入;使它们非常适合作为神经网络中的可学习层。我们证明了我们的计划在不同的应用：（i）神经常微分方程与隐式欧拉方法，和（ii）系统辨识模型预测控制。
2020-11-16 cs.LG cs.NE
Understanding Global Loss Landscape of One-hidden-layer ReLU Networks, Part 1: Theory
Beijing University of Technology（北京工业大学）
对于一个隐藏层ReLU网络，我们证明了所有可微局部极小值在可微区域内都是全局的。我们给出了可微局部极小值的位置和损失，并表明这些局部极小值可以是孤立点或连续超平面，这取决于数据之间的相互作用，隐藏神经元的激活模式和网络大小。此外，我们还给出了鞍点和不可微局部极小点存在的充分必要条件，以及它们存在的位置。
2020-06-17 cs.LG stat.ML
Fully Differentiable dMRI Streamline Propagation in PyTorch
Vanderbilt University（范德比尔特大学）；Vanderbilt University Institute of Imaging Science（范德比尔特大学影像科学研究所）
针对现有dMRI纤维束成像方法不可微、难以集成到端到端深度学习框架的问题，本文基于PyTorch实现了全可微的流线传播器，性能匹配标准传播器，为可微纤维束成像与深度学习的融合奠定基础。
2025-11-17 cs.AI cs.LG eess.IV
Differentiable Robust LQR Layers
Bosch Center for Artificial Intelligence（博世人工智能中心）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对模型不确定性和随机动态下的强化学习和模仿学习，提出了一种可微鲁棒LQR层。鲁棒LQR层可以利用鲁棒最优控制和无模型学习的优点。它为控制系统的随机性和不确定性建模提供了一种新的归纳偏差。特别是，我们提出了一种有效的方法来区分通过一个强大的LQR优化程序重写为凸计划（即半定计划）的最坏情况下的成本。基于最近在神经网络层内部使用凸优化的工作，我们开发了一个完全可微层来优化这种最坏情况的成本，即我们计算性能度量相对于模型未知参数、模型不确定性和随机性参数的导数。我们证明了所提出的方法的模仿学习和近似动态规划上的随机和不确定的域。实验结果表明，该方法能够在不确定性情况下优化鲁棒策略，并且与不直接建模不确定性的现有方法相比，能够获得更好的性能。
2021-06-10 cs.LG cs.RO
Scalable GPU-Accelerated Euler Characteristic Curves: Optimization and Differentiable Learning for PyTorch
本文提出优化GPU内核与可微PyTorch层，实现欧拉特征曲线计算16-2000倍加速，支持端到端学习，并探讨下游应用与扩展。
2025-10-23 cs.LG
A fully-differentiable compressible high-order computational fluid dynamics solver
Technical University of Munich（慕尼黑工业大学）
流体流动在自然和工程学科中无处不在。由于多时空尺度上的非线性相互作用，流体的可靠计算一直是一个长期的挑战。可压缩的纳维-斯托克斯方程控制可压缩流动，并允许复杂的现象，如湍流和冲击。尽管在硬件和软件方面取得了巨大的进步，但捕获流体流动中的最小长度尺度仍然为现实生活中的应用引入了令人望而却步的计算成本。我们目前正在目睹一个范式转变，以机器学习支持的设计的数值方案作为一种手段，以解决上述问题。虽然先前的工作已经探索了一维或二维不可压缩流体流动的微分算法，我们提出了一个完全可微的三维框架，使用高阶最先进的数值方法计算可压缩流体流动。首先，我们通过计算经典的二维和三维测试用例，包括强冲击和过渡到湍流，证明了我们的求解器的效率。其次，更重要的是，我们的框架允许端到端的优化，以改善现有的数值计划内的计算流体动力学算法。特别是，我们使用神经网络来代替传统的数值通量函数。
2021-12-09 cs.LG physics.flu-dyn
Learning the exchange-correlation functional from nature with fully differentiable density functional theory
University of Oxford（牛津大学）；STFC Rutherford Appleton Laboratory（科学技术设施委员会卢瑟福·阿普尔顿实验室）
提高从头算模拟中分子性质的预测能力对于新材料的发现至关重要。尽管最近在利用机器学习方面取得了进展，但利用深度神经网络来改进量子化学建模仍然受到适当实验数据的稀缺性和异质性的严重限制。在这里，我们展示了如何训练神经网络，以取代交换相关功能在一个完全可微的三维Kohn-Sham密度泛函理论（DFT）框架可以大大提高模拟精度。仅使用双原子分子上的8个实验数据点，我们训练的交换相关网络可以提高104个分子的原子化能量的预测准确性，这些分子包含训练数据集中不存在的新键和原子。
2021-06-16 cs.LG physics.chem-ph physics.comp-ph
Neural Weighted A*: Learning Graph Costs and Heuristics with Differentiable Anytime A*
Politecnico di Milano（米兰理工大学）
最近，在机器学习研究中出现了将可微算法纳入深度学习架构的趋势，因为神经层和算法层的融合有利于处理组合数据，例如图上的最短路径。最近的作品与数据驱动的规划旨在学习成本函数或启发式函数，但不是两者兼而有之。我们提出了神经加权A*，一个可微的任何时候计划能够产生改进的表示平面地图的图形成本和成本。由于架构中集成了可微分A* 求解器，培训在原始图像上进行端到端，并对规划示例进行直接监督。更重要的是，用户可以使用单个实值参数在运行时权衡规划精度和效率。解的次优性被约束在一个线性范围内，该线性范围等于最优路径成本乘以权衡参数。我们通过测试神经加权A* 对几个基线，引入一个新的，基于瓷砖的导航数据集，实验证明了我们的说法的有效性。我们在规划准确性和效率方面优于类似的架构。
2021-08-02 cs.LG
Differentiable Euler Characteristic Transforms for Shape Classification
Helmholtz Munich（亥姆霍兹慕尼黑）；Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
针对ECT无法学习任务特定表示的问题，提出可微欧拉特征变换（DECT），实现端到端学习，在图和点云分类中性能与复杂模型相当，且拓扑表达能力等同复杂拓扑层。
2024-03-19 cs.LG
Differentiable Optimization Layers for Guaranteed Fairness in Deep Learning
Department of Statistics \& Data Science, University of California, Los Angeles, USA；Department of Mathematics, University of California, Los Angeles, USA；Max Planck Institute for Mathematics in the Sciences, Leipzig, Germany
本文提出了一种称为'公平性层'的可微优化层，该层可确保在神经网络中集成时满足所选的输出平等性概念，并介绍了一个在线对偶推理算法，为流式预测提供可证明的公平性保证，即使使用任意小的批量大小。
2026-05-16 cs.LG stat.CO stat.ML
Fantastic Four: Differentiable Bounds on Singular Values of Convolution Layers
University of Maryland（马里兰大学）
在深度神经网络中，层的雅可比矩阵的谱范数限制了信号的范数在前向/后向传播期间改变的因子。谱范数正则化已被证明可以提高深度学习方法的泛化、鲁棒性和优化。计算卷积层的谱范数的现有方法要么依赖于计算效率高但缺乏保证的算法，要么理论上合理但计算昂贵。在这项工作中，我们获得了最好的两个世界推导{ \it four}可证明的上界的频谱范数的标准2D多通道卷积层。这些边界是可微的，并且可以在训练期间以可忽略的开销有效地计算。这些界限之一实际上是Miyato等人的流行的探试法（乘以取决于过滤器大小的常数因子）。这四个边界中的每一个都可以根据卷积滤波器实现最紧的间隙。因此，我们建议使用这四个边界的最小值作为卷积层的谱范数的紧的、可微的和有效的上界。我们表明，我们的谱界是一个有效的正则化，可以用来绑定的Lipschitz常数或曲率值（Hessian的特征值）的神经网络。通过在MNIST和CIFAR-10上的实验，我们证明了我们的谱界在提高深度网络的泛化能力和可证明的鲁棒性方面的有效性。
2021-06-12 cs.LG stat.ML
DisjunctiveNet: Neural Symbolic Learning via Differentiable Convexified Optimization Layers
Davidson School of Chemical Engineering, Purdue University, West Lafayette, USA（帕克大学化学工程大卫逊学校）
针对数据稀疏且富含领域知识的场景，提出DisjunctiveNet框架，通过可微凸优化层将析取约束嵌入神经网络，实现硬约束满足与强预测性能。
2026-08-04 cs.LG math.OC
Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training
Princeton University（普林斯顿大学）；Meta AI
针对MoE模型路由网络不可微的问题，提出全可微分MoE架构Lory，通过因果分段路由和相似度批处理技术实现自回归语言模型预训练，性能优于同参数量稠密模型且具备领域专业化能力。
2024-08-19 cs.CL cs.LG
Differentiable Gaussianization Layers for Inverse Problems Regularized by Deep Generative Models
ExxonMobil Technology & Engineering Company（埃克森美孚技术与工程公司）
针对深度生成模型在反演中潜在张量偏离高斯分布导致低保真度的问题，提出可微数据相关层进行重新参数化和高斯化，在MRI等任务上实现最先进性能。
2024-07-29 cs.CV cs.LG
Tree-Preconditioned Differentiable Optimization and Axioms as Layers
Division of Physics, Mathematics and Astronomy (PMA), California Institute of Technology（物理、数学与天文系，加州理工学院）
本文提出了一种将公理结构嵌入神经网络的可微优化方法，通过树预条件共轭梯度求解器实现超线性收敛，解决以往难以处理的问题规模，并消除惩罚方法的结构过拟合问题。
2025-12-03 cs.AI cs.LG math.OC
Physarum Powered Differentiable Linear Programming Layers and Applications
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
考虑一个学习算法，它涉及到对优化例程的内部调用，例如广义特征值问题、锥规划问题或甚至排序。以有效且数值稳定的方式将这种方法集成为可训练深度神经网络（DNN）中的一个或多个层并不简单-例如，直到最近，才出现了特征分解和可微排序的策略。我们提出了一个有效的和可微的求解一般线性规划问题，可以在DNN作为一个层内的即插即用的方式使用。我们的开发灵感来自于黏菌（physarum）动态和最速下降等优化方案之间的一个迷人但未广泛使用的联系。我们描述了我们的发展，并显示了我们的求解器在视频分割任务和元学习少样本学习的使用。我们回顾了现有的结果，并提供了一个技术分析，描述其适用于我们的用例。我们的求解器在第一个任务上使用定制的投影梯度下降方法进行迭代，在第二个任务上优于可微CVXPY-SCS求解器。实验表明，我们的求解器收敛速度快，而不需要一个可行的初始点。我们的建议是很容易实现的，可以很容易地作为层，每当学习过程需要一个快速的近似解决方案的LP，在一个更大的网络。
2021-05-10 cs.CV cs.LG stat.ML
A fully differentiable framework for training proxy Exchange Correlation Functionals for periodic systems
Deep Forest Sciences（深林科学）
本文提出一种可微框架，用于训练周期系统中的代理交换关联函数，通过整合机器学习模型提升DFT计算效率，实验结果显示相对误差在5-10%范围内。
2026-02-17 cond-mat.mtrl-sci cs.AI cs.LG
Scalable Training of Continuous-Time Spiking Neural Networks with Differentiable Spike-Time Discretization
Research Center for Mathematical Engineering, Chiba Institute of Technology（千叶工业大学数学工程研究中心）；International Research Center for Neurointelligence (WPI-IRCN), The University of Tokyo（东京大学国际神经智能研究中心（WPI-IRCN））；NEC Corporation（日本电气公司）
研究连续时间脉冲神经网络训练受内存限制问题，提出基于可微脉冲时间离散化的内存高效训练框架及受同步发放链启发的时间正则化，降低内存消耗与训练时间，实现多层卷积SNNs在单GPU上训练。
2026-07-17 cs.LG
Differentiable Convex Optimization Layers in Neural Architectures: Foundations and Perspectives
Yale University（耶鲁大学）
本文综述了将凸优化问题作为可微层嵌入神经网络的方法，梳理其从二次规划到一般凸优化的发展，并结合数学证明与应用案例探讨其理论基础、当前能力与未来方向。
2024-12-30 cs.LG math.OC
Fully Differentiable Lagrangian Convolutional Neural Network for Physics-Informed Precipitation Nowcasting
Kempelen Institute of Intelligent Technologies（智能技术研究所）；Faculty of Information Technology, Brno University of Technology（信息科技学院，布拉格技术大学）
本文提出LUPIN模型，通过可微半拉格朗日外推与双U-Net结构，将物理信息融入降水临近预报，实现端到端GPU加速训练，并在极端事件中取得优于基准模型的效果。
2025-07-01 cs.AI cs.CV cs.LG
Fully Data-driven but Interpretable Human Behavioural Modelling with Differentiable Discrete Choice Model
Fujitsu Limited（富士通有限公司）
本文提出可微离散选择模型（Diff-DCM），通过可微编程实现完全数据驱动且可解释的复杂人类行为建模、预测与控制，仅需少量计算资源即可估计闭式效用函数并提供最优行为干预路径。
2025-07-15 cs.AI cs.HC cs.LG
Differentiable Distributionally Robust Optimization Layers
Shanghai Jiao Tong University（上海交通大学）；East China University of Science and Technology（华东理工大学）
针对分布鲁棒优化（DRO）难以作为层嵌入学习流水线的问题，提出带参数化二阶锥歧义集的通用混合整数可微DRO层，采用双视角方法与能量代理模型实现求导，验证了渐近收敛性，还构建了决策中心学习流水线并开展对比实验。
2024-06-24 cs.AI cs.LG cs.SY
A singular Riemannian Geometry Approach to Deep Neural Networks III. Piecewise Differentiable Layers and Random Walks on $n$-dimensional Classes
Università di Milano（米兰大学）；Gruppo Nazionale Calcolo Scientifico, INDAM（意大利国家数学物理应用研究所国家科学计算小组）；Università di Pavia（帕维亚大学）
本文扩展基于奇异黎曼度量的神经网络几何框架，使其适用于卷积、残差和递归网络及 ReLU 等不可微激活函数，并通过图像分类与热力学数值实验验证。
2024-04-09 cs.LG math.DG
DeepFlow: Two Convergent Differentiable Approaches for Pairwise Conditional Random Fields
INSERM（法国国家健康与医学研究院）；Université de Rennes（雷恩大学）
DeepFlow提出两种具可证收敛性的可微算法，用于成对条件随机场，实现图像与信号分类模型的空间正则化，经数学分析与模拟实验验证其性能差异。
2026-10-14 cs.LG
AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks
Zhejiang University（浙江大学）；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）；Tencent Data Platform（腾讯数据平台部）；Microsoft（微软）
生成对抗网络（GANs）被公式化为极大极小博弈问题，其中生成器试图通过对抗鉴别器的对抗学习来接近真实数据分布。问题固有的复杂性对提高生成网络的性能提出了挑战。在这项工作中，我们的目标是从网络架构的角度来促进模型学习，将自动架构搜索的最新进展纳入GANs。为此，我们为生成对抗网络提出了一个完全可区分的搜索框架，称为alphaGAN。搜索过程被形式化为求解一个双层minimax优化问题，其中外层目标是在发电机和内部网络参数的条件下寻求一个合适的网络结构，以达到纯纳什均衡，而内部网络参数是在传统的GAN损失下优化的。整个优化过程采用一阶优化方法，以完全可微的方式交替最小化两级目标，使体系结构搜索能够在巨大的搜索空间内完成。CIFAR-10和STL-10数据集上的大量实验表明，我们的算法可以获得高性能的架构，只有3-GPU小时，在一个单一的GPU在搜索空间组成的约2？1011种可能的配置。我们还提供了一个全面的分析搜索过程的行为和搜索架构的属性，这将有利于进一步研究生成模型的架构。预训练的模型和代码可在https://github.com/yuesongtian/AlphaGAN上获得。
2021-08-07 cs.CV cs.LG eess.IV
Layer- and Timestep-Adaptive Differentiable Token Compression Ratios for Efficient Diffusion Transformers
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（奥多比研究中心）
提出DiffCR，通过可微压缩比率在令牌、层和时间步上动态路由计算，提升扩散Transformer效率，实现质量与效率的优越权衡。
2025-03-27 cs.AI cs.CV cs.LG
Deep invariant networks with differentiable augmentation layers
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）
在机器学习中，设计对某些数据变换不变性的学习系统是至关重要的。从业者通常可以通过选择网络架构，例如使用卷积进行翻译，或使用数据增强，在训练模型上强制执行所需的不变性。然而，在网络中实施真正的不变性可能是困难的，并且数据不变性并不总是已知的。用于学习数据增强策略的最新方法需要保留的数据并且基于双层优化问题，该双层优化问题解决起来很复杂并且通常需要计算。在这项工作中，我们研究新的方法学习不变性仅从训练数据。使用直接在网络中构建的可学习增强层，我们证明了我们的方法是非常通用的。它可以包含任何类型的可微增强，并应用于计算机视觉之外的广泛的学习问题。我们提供的经验证据表明，我们的方法是更容易和更快的训练比现代自动数据增强技术的基础上双层优化，同时实现可比的结果。实验表明，虽然通过自动数据增强转移到模型的不变性受到模型表达能力的限制，但我们的方法产生的不变性对它不敏感。
2022-10-25 cs.AI cs.LG
Fast Differentiable SVD on GPU via Polar Decomposition
HSE University（高等经济大学）
本文提出基于极分解的GPU SVD流水线，利用Newton-Schulz迭代实现2倍加速，并推导数值稳定的反向传播以获得完全可微的SVD，开源于PyTorch和JAX。
2026-09-29 cs.LG cs.NA math.NA
Differentiable Trust Region Layers for Deep Reinforcement Learning
Bosch Center for Artificial Intelligence（博世人工智能中心）；University of Tübingen（蒂宾根大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
信赖域方法是强化学习中的一种流行工具，因为它们在连续和离散动作空间中产生鲁棒的策略更新。然而，在深度强化学习中实施这样的信任区域是困难的。因此，诸如信任域策略优化（TRPO）和近端策略优化（PPO）的许多方法是基于近似的。由于这些近似，它们违反了约束条件或无法在信赖域内找到最优解。此外，它们很难实施，往往缺乏足够的探索，并已被证明依赖于看似无关的实施选择。在这项工作中，我们提出了可微神经网络层，通过封闭形式的投影来执行深度高斯策略的信任区域。与现有的方法不同，这些层分别为每个状态形式化信任区域，并可以补充现有的强化学习算法。我们推导出基于Kullback-Leibler散度，Wasserstein L2距离和高斯分布的Frobenius范数的信赖域预测。我们的经验表明，这些投影层实现类似或更好的结果比现有的方法，同时几乎不可知的具体实施选择。该代码可在https://git.io/Jthb0上获得。
2021-03-09 cs.IT cs.LG math.IT
Crystal Generation using the Fully Differentiable Pipeline and Latent Space Optimization
Department of Mechanical Engineering and Engineering Science, University of North Carolina at Charlotte（机械工程与工程科学系，北卡罗来纳大学夏洛特分校）；Applied Quantum Chemistry Group, Poitiers University-CNRS（应用量子化学组，波尔多大学-CNRS）；Department of Computer Science, University of North Carolina at Charlotte（计算机科学系，北卡罗来纳大学夏洛特分校）；Electrification (BATT CAVE) Research Center, Charlotte, NC 28223, USA（electrification（BATT CAVE）研究中心，夏洛特，NC 28223，美国）
本研究提出一种结合全微分管道和潜在空间优化的晶体生成框架，通过可微SO(3)功率谱目标和双层松弛方法，提升复杂结构生成效率和成功率。
2026-01-11 cond-mat.mtrl-sci cs.AI cs.LG
UltraLIF: Fully Differentiable Spiking Neural Networks via Ultradiscretization and Max-Plus Algebra
Center for AI Research PH（人工智能研究哲学博士中心）
UltraLIF通过超离散化和最大-加法代数实现完全可微的脉冲神经网络，提升神经形态和时间数据集的性能。
2026-02-10 cs.AI cs.CV cs.LG
AutoNorm: Understanding Adaptive Normalization in Transformers through Differentiable Gating
KIIT（卡林加工业技术学院）
研究Transformer中归一化策略选择问题，通过实验发现不同任务中静态与自适应归一化的表现差异，提出AutoNorm-S训练策略，通过门控冻结计划减轻优化不稳定性，在多基准测试中取得良好性能。
2026-07-14 cs.LG
Open source Differentiable ODE Solving Infrastructure
Deep Forest Sciences（深林科学公司）
本研究将GPU加速、支持多数值方法且完全可微分的ODE求解器集成到开源DeepChem框架中，通过多场景实验验证其高精度（均方误差$10^{-4}$至$10^{-6}$）与大型系统可扩展性。
2024-11-29 cs.LG
JAX-FLUIDS: A fully-differentiable high-order computational fluid dynamics solver for compressible two-phase flows
Technical University of Munich（慕尼黑工业大学）
物理系统由偏微分方程（PDE）控制。纳维-斯托克斯方程描述流体流动，并且是具有复杂时空相互作用的非线性物理系统的代表。流体流动在自然界和工程应用中无处不在，其精确模拟对于深入了解这些过程至关重要。虽然偏微分方程通常用数值方法求解，但最近机器学习（ML）的成功表明，ML方法可以提供寻找偏微分方程解的新途径。ML越来越多地出现在计算流体动力学（CFD）中。然而，到目前为止，还没有一个通用的ML-CFD软件包，它提供1）强大的最先进的数值方法，2）ML与CFD的无缝混合，以及3）自动微分（AD）功能。AD对于ML-CFD研究尤其重要，因为它提供了梯度信息，并能够优化现有的和新的CFD模型。在这项工作中，我们提出了JAX-FLUIDS：一个全面的完全可微的CFD Python求解器，用于可压缩两相流。JAX-FLUIDS允许模拟复杂的流体动力学，包括三维湍流、压缩性效应和两相流等现象。完全用JAX编写，可以直接将现有的ML模型包含到建议的框架中。此外，JAX-FLUIDS支持端到端优化。即，ML模型可以通过整个CFD算法反向传播的梯度进行优化，因此不仅包含底层PDE的信息，还包含所应用的数值方法的信息。我们相信，像JAX-FLUIDS这样的Python包对于促进ML和CFD交叉领域的研究至关重要，并可能为可微分流体动力学时代铺平道路。
2022-03-25 cs.LG physics.flu-dyn
Differentiable Multiple Shooting Layers
The University of Tokyo（东京大学）；KAIST（韩国科学技术院）；RIKEN（理化学研究所）
我们详细介绍了一类新的隐式神经模型。利用微分方程的时间并行方法，多射击层（MSL）通过可并行的求根算法来求解初值问题。MSL广泛用作神经常微分方程（Neural ODE）的直接替代品，在函数求值（NFE）数量和挂钟推理时间方面提高了效率。我们开发了MSL的算法框架，从理论和计算的角度分析了不同的解决方案的选择方法。MSL在常微分方程和偏微分方程的长期最优控制中得到展示，并作为序列生成的潜在模型。最后，我们研究了通过应用MSL推理在神经控制微分方程（神经CDE）的时间序列分类的医疗数据。
2021-06-07 cs.LG math.DS math.OC
OptNet: Differentiable Optimization as a Layer in Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
本文介绍了OptNet，这是一种网络架构，它将优化问题（在这里，特别是以二次规划的形式）集成为更大的端到端可训练深度网络中的各个层。这些层对传统卷积层和全连接层通常无法捕获的隐藏状态之间的约束和复杂依赖关系进行编码。我们探索这样一个架构的基础：我们展示了如何从灵敏度分析，双层优化，隐式微分技术可以用来准确区分通过这些层和层参数;我们为这些层开发了一个高效的求解器，该求解器在原始对偶内点方法中利用基于GPU的快速批处理求解，并提供反向传播梯度，几乎没有额外的成本上的解决方案，我们强调这些方法在几个问题中的应用。在一个值得注意的例子中，该方法学习玩迷你数独（4x 4），只给出输入和输出游戏，没有关于游戏规则的先验信息;这突出了OptNet比其他神经架构更好地学习硬约束的能力。
2021-12-02 cs.AI cs.LG math.OC
A Differentiable Atari VCS:A Complex, Fully Known Ground Truth for Explainable AI
Pattern Recognition Lab, Friedrich-Alexander-University Erlangen-Nuremberg（模式识别实验室，弗里德里希-亚历山大-埃森纳赫大学）；Mannheim Center for Neuromodulation and Neuroprosthetics, Heidelberg University（曼海姆神经调制与神经假体中心，海德堡大学）
为解决可解释AI缺乏真实内部机理的问题，我们重新实现了Atari 2600 VCS作为两个端到端可微分的模拟器，验证了其与原始硬件的逐位一致性，并展示了基于梯度的XAI可行性。
2026-06-23 cs.AI cs.LG
Pixel Embedding: Fully Quantized Convolutional Neural Network with Differentiable Lookup Table
LeapMind Inc.（LeapMind公司）；Woven by Toyota, Inc.（丰田旗下Woven公司）；Mirai Hoshu K.K.（Mirai Hoshu株式会社）
提出像素嵌入方法，通过可微查找表将输入像素替换为低比特向量，实现完全量化神经网络，在ImageNet和CIFAR-100上显著降低量化误差并加速推理。
2024-07-23 cs.AI cs.CV cs.LG
DSA: More Efficient Budgeted Pruning via Differentiable Sparsity Allocation
Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
剪枝是指在资源约束下的剪枝问题。在预算修剪中，如何跨层分布资源（即，稀疏分配）是关键问题。传统的方法是通过离散地搜索分层剪枝率来解决这个问题，效率低下。在本文中，我们提出了微分稀疏分配（DSA），一个有效的端到端的预算修剪流。利用一种新的可微修剪过程，DSA发现逐层修剪率与基于梯度的优化。它在连续空间中分配稀疏性，这比基于离散评估和搜索的方法更有效。此外，DSA可以以从头修剪的方式工作，而传统的预算修剪方法应用于预训练的模型。在CIFAR-10和ImageNet上的实验结果表明，DSA可以获得优于当前迭代预算剪枝方法的性能，同时将整个剪枝过程的时间成本缩短至少1.5倍。
2020-07-20 cs.CV cs.LG stat.ML
RayLoc: Wireless Indoor Localization via Fully Differentiable Ray-tracing
Southern University of Science and Technology（南方科技大学）；Huawei Technologies Co., Ltd（华为技术有限公司）；Nanyang Technological University（南洋理工大学）
本文提出RayLoc，将无线室内定位重新表述为无线光线追踪的逆问题，利用全可微光线追踪模拟器对感知场景参数进行反向传播以实现精确定位，并通过高斯核卷积克服稀疏梯度和局部极小值挑战，性能优于传统基线且具备跨环境泛化能力。
2025-01-21 cs.AI cs.LG cs.NI
Differentiable Product Quantization for End-to-End Embedding Compression
Google Research（谷歌研究院）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
嵌入层通常用于将离散符号映射到反映其语义含义的连续嵌入向量。尽管它们有效，但嵌入层中的参数数量随着符号数量线性增加，并对内存和存储限制提出了严峻的挑战。在这项工作中，我们提出了一个通用的和端到端的可学习的压缩框架，称为微分产品量化（DPQ）。我们提出了DPQ的两个实例，它们利用不同的近似技术来实现端到端学习中的可微性。我们的方法可以很容易地作为任何现有嵌入层的替代方案。从经验上讲，DPQ在三种不同语言任务的10个数据集上提供了显著的压缩比（14-238 $\times$），性能成本可以忽略不计或没有。
2020-06-25 cs.AI cs.CL cs.LG
Convolution by Evolution: Differentiable Pattern Producing Networks
Google DeepMind（谷歌DeepMind）
在这项工作中，我们介绍了一个可微版本的组合模式生产网络，称为DPPN。与标准CPPN不同，DPPN的拓扑是演进的，但权重是学习的。拉马克算法结合了进化和学习，产生DPPN来重建图像。我们的主要结果是，DPPN可以进化/训练，将去噪自动编码器的权重从157684压缩到大约200个参数，同时实现与具有两个数量级以上参数的完全连接网络相当的重建精度。DPPN的正则化能力允许它重新发现（近似）嵌入在完全连接架构中的卷积网络架构。这种卷积架构是许多计算机视觉应用的当前技术水平，因此DPPN能够发现这种结构而不是必须通过设计来构建它是令人满意的。DPPN在MNIST上训练后在Omniglot数据集上测试时表现出更好的泛化能力，而不是直接编码的全连接自动编码器。因此，DPPN是整合学习和进化的新框架。
2016-06-08 cs.CV cs.LG cs.NE
