Automatic Differentiation of Algorithms for Machine Learning
National University of Ireland Maynooth(爱尔兰国立大学梅努斯分校)
自动微分--数字计算机程序的机械变换,以有效和准确地计算导数-可以追溯到计算机时代的起源。反向模式自动微分既先于又推广了机器学习中使用的误差的反向传播方法。尽管如此,包括机器学习在内的各个领域的从业者几乎没有受到自动微分的影响,并且很少使用可用的工具。在这里,我们回顾了自动微分技术,描述了它的两种主要模式,并解释了它如何使机器学习从业者受益。为了达到尽可能广泛的观众,我们的治疗假设只有小学微分,并不假设任何知识的线性代数。
2014-04-28 cs.LG cs.SC stat.ML
DrMAD: Distilling Reverse-Mode Automatic Differentiation for Optimizing Hyperparameters of Deep Neural Networks
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
众所周知,深度神经网络的性能对其超参数的设置很敏感。反向模式自动微分的最新进展允许用梯度优化超参数。计算这些梯度的标准方法涉及向前和向后的计算过程。然而,反向传递通常需要消耗无法承受的内存来存储所有中间变量,以准确地逆转正向训练过程。在这项工作中,我们提出了一种简单但有效的方法DrMAD,将向前传递的知识提取到一个捷径路径中,通过它我们近似地逆转了训练轨迹。在几个图像基准数据集上的实验表明,与最先进的优化超参数的方法相比,DrMAD至少快45倍,占用的内存少100倍,同时对其有效性的影响最小。据我们所知,DrMAD是第一次尝试自动调整深度神经网络的数千个超参数的研究。代码可以从https://github.com/bigaidream-projects/drmad下载
2016-04-06 cs.LG cs.NE
Conservative set valued fields, automatic differentiation, stochastic gradient method and deep learning
Toulouse School of Economics(图卢兹经济学院);Université Toulouse 1 Capitole(图卢兹第一大学);IRIT(图卢兹计算机研究所);Université de Toulouse(图卢兹大学);IRT Saint Exupery(圣埃克苏佩里技术研究院)
人工智能或数值分析中的现代问题需要具有灵活微积分的非光滑方法。我们引入广义导数称为保守领域,我们开发了一个演算,并提供代表性的公式。具有保守域的函数称为路径可微:凸、凹、Clarke正则和任何半代数Lipschitz连续函数都是路径可微的。我们的模型使用Whitney分层技术来处理半代数和可定义集,为非光滑自动微分预言机提供变分公式,例如深度学习中著名的反向传播算法。我们的微分模型被应用于建立非光滑随机梯度法的值的收敛性,因为它们在实践中实施。
2020-04-09 cs.AI cs.LG math.OC
A Step-by-step Introduction to the Implementation of Automatic Differentiation
National Taiwan University(台湾大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对自动微分教学难点,本文提供逐步实现简单自动微分系统的指南,梳理数学概念与实现细节并阐明动机,填补概念与实现之间的教学空白。
2024-12-17 cs.LG
Automatic Differentiation via Effects and Handlers: An Implementation in Frank
University of Edinburgh(爱丁堡大学)
自动微分(AD)算法是一类重要的基于导数的优化算法。我们表明,AD可以简单地实现效果和处理程序,这样做在弗兰克语言。通过考虑我们的实现如何在弗兰克的操作语义的行为,我们展示了我们的代码如何执行动态创建的程序在评估。
2021-01-20 cs.LG cs.PL
A mathematical model for automatic differentiation in machine learning
Toulouse School of Economics(图卢兹经济学院);Univ. Toulouse(图卢兹大学);IRIT, CNRS(法国国家科学研究中心信息与自动化研究所)
当今实现的自动微分不具有适应现代机器学习需求的简单数学模型。在这项工作中,我们阐明了在实践中实施的程序和分化的非光滑功能之间的关系。为此,我们提供了一个简单的功能,非光滑微积分类,并显示它们如何适用于随机逼近方法。我们还证明了由算法微分创建的人工临界点的问题,并展示了通常的方法如何以概率1避免这些点。
2020-10-29 cs.LG math.OC stat.ML
Source-to-Source Automatic Differentiation of OpenMP Parallel Loops
Argonne National Laboratory(阿贡国家实验室);Inria Sophia-Antipolis(法国国家信息与自动化研究所索菲亚-安提波利斯研究中心)
本文介绍了我们的工作,正确和有效的自动微分的正向和反向模式的OpenMP并行工作共享循环。自动微分是一种获取数值程序梯度的方法,在优化、不确定性量化和机器学习中具有重要意义。计算梯度的计算成本是实践中常见的瓶颈。对于使用OpenMP为多核CPU或GPU并行化的应用程序,还希望并行计算梯度。我们提出了一个框架的原因所产生的衍生代码的正确性,从我们证明我们的OpenMP扩展的差异化模型。我们实现了这个模型中的自动微分工具Tapenade和目前的测试情况下,区分我们的扩展分化过程。在正向和反向模式下生成的衍生程序的性能优于顺序,虽然我们的反向模式往往比输入程序的规模差。
2021-11-02 cs.LG cs.MS cs.PF
Automatic Differentiation for Complex Valued SVD
Tsinghua University(清华大学)
本文给出了复值奇异值分解(SVD)的反向传播公式。该公式是构成完整的复数自动微分(AD)基础结构的重要组成部分,也是理解和利用张量网络中AD的关键。
2019-11-06 cond-mat.stat-mech cond-mat.str-el cs.LG
Decomposing reverse-mode automatic differentiation
Google Research(谷歌研究院)
我们将反向模式自动微分分解为(正向模式)线性化,然后进行换位。这样做隔离了正向和反向模式AD之间的本质区别,并简化了它们的联合实现。特别地,一旦为源语言中的每个原语操作定义了前向模式AD规则,则只有线性原语需要附加的转置规则,以便达到完整的反向模式AD实现。这就是反向模式AD在JAX和Dex中的编写方式。
2021-05-20 cs.LG cs.PL
Functorial String Diagrams for Reverse-Mode Automatic Differentiation
Huawei Research Centre(华为研究中心);University of Birmingham(伯明翰大学);University College London(伦敦大学学院)
我们加强了演算的弦图monoidal类别的层次特征,以捕捉封闭monoidal(和carnival封闭)的结构。使用这种新的语法,我们制定了一个自动微分算法(应用)简单类型的λ演算的风格[Pearlmutter和Siskind 2008],我们证明了它的可靠性。为了给出AD算法的有效而有原则的实现,我们定义了一个声音和完整的表示层次字符串图作为一类层次超图,我们称之为超网。
2021-07-28 cs.LG cs.PL
Automatic Differentiation Variational Inference
Data Science Institute(数据科学研究所);Columbia University(哥伦比亚大学);Princeton University(普林斯顿大学)
概率建模是迭代的。科学家提出一个简单的模型,将其与她的数据相匹配,根据她的分析进行改进,然后重复。然而,将复杂的模型拟合到大数据是这个过程中的瓶颈。为新模型推导算法可能在数学和计算上都具有挑战性,这使得很难有效地循环这些步骤。为此,我们开发了自动微分变分推断(ADVI)。使用我们的方法,科学家只提供了一个概率模型和一个数据集,没有别的。ADVI自动推导出一个有效的变分推断算法,使科学家可以自由地改进和探索许多模型。ADVI支持广泛的模型类别-不需要共轭假设。我们研究了10种不同模型的ADVI,并将其应用于具有数百万观测值的数据集。ADVI被集成到Stan中,这是一个概率编程系统;它可以立即使用。
2016-03-02 cs.AI cs.LG stat.CO
Automatic differentiation of Sylvester, Lyapunov, and algebraic Riccati equations
University of Cambridge(剑桥大学)
西尔维斯特、李雅普诺夫和代数黎卡提方程是控制理论家的面包和黄油。它们用于计算无限时域Gramian,解决连续或离散时间的最优控制问题,以及设计观测器。虽然流行的数值计算框架(例如,scipy)为这些方程提供了有效的求解器,但是这些求解器在大多数自动微分库中仍然很大程度上缺失。在这里,我们推导出所有三种类型的方程的解的正向和反向模式导数,并展示了它们在逆控制问题上的应用。
2020-11-24 cs.LG cs.MS math.OC
Automatic Differentiation for Adjoint Stencil Loops
Imperial College London(帝国理工学院);Argonne National Laboratory(阿贡国家实验室)
在包括卷积神经网络、用于偏微分方程的结构化网格求解器和图像处理的计算中,血管造影环是常见的主题。Stenchmark循环很容易并行化,它们的快速执行是由编译器,库和特定领域的语言帮助的。反向模式自动微分,也称为算法微分、autodiff、伴随微分或反向传播,有时用于获得包含模板循环的程序的梯度。不幸的是,传统的自动微分导致存储器访问模式不是模板式的并且不容易并行化。在本文中,我们提出了一种新的组合的自动微分和循环变换,保留模板循环的结构和内存访问模式,同时计算完全一致的衍生物。生成的循环可以并行化,并以相同的方式优化性能,并使用与原始计算相同的工具。我们已经在Python工具PerforAD中实现了这项新技术,我们将与本文一起发布来自地震成像和计算流体动力学应用程序的测试用例。
2019-07-05 cs.DC cs.LG cs.PF
Automatic differentiation and the optimization of differential equation models in biology
本文阐述自动微分在优化微分方程模型轨迹中的应用,并指出该计算突破将推动生物学动态系统的理论与统计研究。
2022-10-11 cs.LG q-bio.QM
Automatic Differentiation for Inverse Problems with Applications in Quantum Transport
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对量子输运逆问题,研究提出神经求解器与量子透射边界模型可微仿真方法,分别用于设计连续透射特性和电流-电压特性。
2023-07-18 cs.CE cs.LG physics.comp-ph
Learning in Integer Latent Variable Models with Nested Automatic Differentiation
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Mount Holyoke College(曼荷莲学院)
我们开发了嵌套自动微分(AD)算法的精确推理和学习的整数潜变量模型。最近,Winner,Sujono和Sheldon展示了如何减少一类整数潜变量模型的边缘化,以评估包含多层嵌套高阶导数的概率母函数。我们贡献更快,更稳定的AD算法,这个具有挑战性的问题和一种新的算法来计算精确的梯度学习。这些贡献导致更快,更准确的学习算法,是第一个AD算法,其运行时间是多项式的嵌套层次的数量。
2018-06-08 cs.LG stat.ML
A Computational Comparison of Fourier Spectral Differentiation and Spatial Automatic Differentiation in Periodic Physics-Informed Neural Networks
Guangdong Technion–Israel Institute of Technology(广东以色列理工学院);Shandong University(山东大学)
该研究对比周期PINNs中傅里叶谱微分与空间AD的性能,发现前者在五种方程-框架设置中训练加速达2.90-18.52倍、内存降68.7%-94.1%,精度相当但需均匀空间网格。
2026-09-03 cs.LG
Jet Functors and Weil Algebras in Automatic Differentiation: A Geometric Analysis
The Climate and Environmental Research Institute NILU(气候与环境研究所NILU)
该研究提出基于射流函子和外尔代数的自动微分微分几何表述,统一前向/反向模式及高阶微分,通过JAX实现单次前向计算所有混合导数,成本线性,获精确稳定结果,证明几何抽象可提升计算微分系统效率与透明度。
2025-11-12 cs.LG math.DG stat.ML
Fixed-Point Automatic Differentiation of Forward--Backward Splitting Algorithms for Partly Smooth Functions
University of Tübingen(蒂宾根大学);Saarland University(萨尔大学)
针对光滑与部分光滑函数之和的参数化优化问题,研究正反向分裂定点迭代的自动微分,提出FPAD以降低反向模式内存开销并加快收敛,且在Lasso、Group Lasso和图像去噪中验证。
2024-10-24 cs.LG math.OC
Tangent: Automatic differentiation using source-code transformation for dynamically typed array programming
MILA(蒙特利尔学习算法研究所);Google Brain(谷歌大脑)
高效计算Python中表达的日益复杂的模型的一阶和高阶导数的需求已经强调或超过了可用工具的能力。在这项工作中,我们探索的技术领域的自动微分(AD),可以给研究人员的表达能力,性能和强大的可用性。这些包括源代码转换(SCT),灵活的梯度手术,有效的就地阵列操作,高阶导数以及正向和反向模式AD的混合。我们实现和展示这些想法的切线软件库的Python,第一个AD框架的动态语言,使用SCT。
2018-09-26 cs.LG cs.SE stat.ML
Collapsing Taylor Mode Automatic Differentiation
Vector Institute(向量研究院);Humboldt-Universität zu Berlin(柏林洪堡大学);Zuse Institute Berlin(柏林楚泽研究所);ETH Zurich(苏黎世联邦理工学院)
本文提出了一种通过重写计算图来坍缩导数的优化技术,用于加速泰勒模式自动微分在科学机器学习中的应用。
2025-11-24 cs.LG
Banded Matrix Operators for Gaussian Markov Models in the Automatic Differentiation Era
带状矩阵可用作若干模型中的精度矩阵,包括线性状态空间模型、某些高斯过程和高斯马尔可夫随机场。本文的目的是使现代推理方法(如变分推断或基于梯度的采样)可用于具有带状精度的高斯模型。我们表明,这可以通过为自动微分框架(如TensorFlow或PyTorch)配备一些专用于带状矩阵的线性代数运算符来有效地实现。本文研究了所需的运营商的算法方面,详细介绍了他们的反向模式的衍生物,并表明其复杂性是线性的观察。
2019-02-26 cs.LG stat.ML
Nesting Forward Automatic Differentiation for Memory-Efficient Deep Neural Network Training
Shanghai Jiao Tong University(上海交通大学);Shanghai Qi Zhi Institute(上海期智研究院);Alibaba Group(阿里巴巴集团);Microsoft Research(微软研究院);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
激活函数是一种逐元素的数学函数,在深度神经网络(DNN)中起着至关重要的作用。已经提出了许多新颖和复杂的激活函数来提高DNN的准确性,但在反向传播的训练过程中也消耗了大量的内存。在这项研究中,我们提出了嵌套的前向自动微分(Forward-AD),特别是用于记忆高效的DNN训练的逐元素激活函数。我们在两个广泛使用的深度学习框架TensorFlow和PyTorch中部署嵌套的Forward-AD,它们分别支持静态和动态计算图。我们的评估表明,嵌套的Forward-AD比基线模型减少了高达1.97倍的内存占用,在相同的内存减少率下,比重新计算的性能高出20%。
2022-09-22 cs.LG
A Common Interface for Automatic Differentiation
LVMT, ENPC, Institut Polytechnique de Paris, Univ Gustave Eiffel(巴黎高等路桥学院,巴黎理工学院,古斯塔夫·埃菲尔大学,LVMT实验室);BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所(BIFOLD));Machine Learning Group, Technical University of Berlin(柏林工业大学机器学习组)
针对含大量自定义代码的科学机器学习任务,研发出Julia包DifferentiationInterface.jl,为十余个自动微分后端提供通用接口,通过内置准备机制摊销计算以发挥各后端优势,支持稀疏性处理等功能且不增加用户负担。
2025-05-08 cs.LG cs.MS cs.NA
The limits of exactness: On the failure of automatic differentiation in physics-informed machine learning
本文指出自动微分虽能提供机器精度导数,但缺乏物理结构意识,导致数值精确却物理错误的导数,涵盖对流、扩散、守恒等广泛问题,并据此重新定位下一代PDE神经代理模型的构建方向。
2026-10-01 cs.LG
An automatic differentiation system for the age of differential privacy
Technical University of Munich(慕尼黑工业大学);Imperial College London(帝国理工学院);University of Oxford(牛津大学);OpenMined;IIIT Hyderabad(海得拉巴国际信息技术学院)
我们介绍了氚,一个基于自动微分的灵敏度分析框架的差异私有(DP)机器学习(ML)。在此设置中的最佳噪声校准需要有效的雅可比矩阵计算和L2灵敏度的严格界限。我们的框架实现了这些目标,依赖于一个功能分析为基础的敏感性跟踪方法,我们简要概述。这种方法与基于静态图的自动微分自然无缝地互操作,与以前的工作相比,它可以在编译时间上实现数量级的改进。此外,我们证明,优化整个计算图的灵敏度,一次产生实质上更严格的估计相比,区间界限传播技术的真实灵敏度。我们的工作自然适合DP的最新发展,如个人隐私会计,旨在提供改进的隐私效用权衡,并代表了一个步骤,可访问的机器学习工具与先进的隐私会计系统的集成。
2022-04-05 cs.CR cs.LG
A Brief Introduction to Automatic Differentiation for Machine Learning
University of California, Santa Cruz(加州大学圣克鲁兹分校)
特别是机器学习和神经网络模型已经改善了许多人工智能相关任务的最新性能。神经网络模型通常使用执行基于梯度的优化方法以将模型拟合到数据集的框架来实现。这些框架使用称为自动微分(AD)的计算导数的技术,其从模型设计者移除执行导数计算的负担。在本报告中,我们描述了AD,其动机和不同的实施方法。我们简要地描述了与AD相关的Java编程。最后,我们展示了使用Tensorflow和PyTorch实现的示例程序,这是两个常用的AD框架。
2021-10-14 cs.CL cs.LG cs.MS
Nonparametric Automatic Differentiation Variational Inference with Spline Approximation
University of Virginia(弗吉尼亚大学);George Mason University(乔治梅森大学)
针对经典ADVI依赖参数化方法难以适配复杂后验分布的问题,提出基于样条的非参数变分推理方法,推导重要性加权自编码器下界并证明渐近一致性,实验验证其在复杂后验近似和缺失数据生成模型上的有效性。
2024-03-10 cs.LG stat.ML
Automatic Differentiation of Optimization Algorithms with Time-Varying Updates
University of Tübingen(蒂宾根大学);Saarland University(萨尔大学)
本文针对时变更新优化算法研究自动微分,证明导数迭代的收敛速率保证,并通过近端梯度下降、FISTA及正则化回归实验验证。
2024-10-24 cs.LG math.OC
Automatic differentiation of nonsmooth iterative algorithms
Toulouse School of Economics, University of Toulouse Capitole(图卢兹经济学院,图卢兹第一大学);IRIT, CNRS, Université de Toulouse, ANITI(图卢兹信息学研究所,法国国家科学研究中心,图卢兹大学,图卢兹人工智能与自然智能研究所)
沿算法的微分,即,导数的背负式传播现在常规地用于微分编程中的微分迭代求解器。许多光滑问题的渐近性都很好理解,但不可微的情况下,几乎没有考虑。非光滑背负式自动微分(AD)是否存在限制对象?它是否有任何变化的意义,它能有效地用于机器学习吗?与经典导数有什么联系吗?所有这些问题都是在适当的非膨胀性条件下解决的保守衍生物的框架,这已被证明是有用的理解非光滑AD。对于非光滑piggyback迭代,我们将非光滑piggyback迭代的吸引子集刻画为一个保持在保守框架下的集值不动点。这有各种后果,特别是几乎处处收敛的经典衍生物。我们的结果被证明在参数凸优化问题的向前向后,道格拉斯-Rachford和交替方向的乘子算法以及重球方法。
2022-05-31 cs.LG math.OC
Automatic Functional Differentiation in JAX
Sea AI Lab
本研究为JAX扩展了高阶函数自动微分能力,通过泛化数组表示函数、设计原语算子及对应微分规则,实现了与传统函数语法一致的泛函微分,生成可直接调用的Python梯度函数,并通过应用验证了其有效性。
2024-01-28 cs.CL cs.LG cs.PL
Automatic differentiation in machine learning: a survey
University of Oxford(牛津大学);National University of Ireland Maynooth(爱尔兰国立大学梅努斯分校);Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学)
导数,主要是以梯度和海森的形式,在机器学习中无处不在。自动微分(AD),也称为算法微分或简称为“autodiff”,是一系列类似于反向传播但比反向传播更通用的技术,用于有效且准确地评估表示为计算机程序的数值函数的导数。AD是一个小而成熟的领域,其应用领域包括计算流体动力学,大气科学和工程设计优化。直到最近,机器学习和AD领域在很大程度上还没有意识到彼此,在某些情况下,它们独立地发现了彼此的结果。尽管它的相关性,通用AD已经从机器学习工具箱中消失,这种情况随着其在“动态计算图”和“可微编程”的名称下的持续采用而慢慢改变。我们调查了AD和机器学习的交叉点,涵盖了AD直接相关的应用程序,并解决了主要的实现技术。通过精确定义主要的微分技术及其相互关系,我们的目标是使“autodiff”,“自动微分“和“符号微分”的使用变得清晰,因为这些在机器学习设置中越来越多地遇到。
2018-02-05 cs.LG cs.SC stat.ML
Sparser, Better, Faster, Stronger: Sparsity Detection for Efficient Automatic Differentiation
BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);Technical University of Berlin(柏林工业大学);ENPC(巴黎高科路桥学校);Institut Polytechnique de Paris(巴黎综合理工学院);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学)
针对雅可比、海森矩阵计算成本过高的问题,本文提出基于运算符重载的稀疏性检测方案,突破自动稀疏微分的性能瓶颈,实现最高三个数量级的加速,让大规模矩阵计算在单次场景下也优于标准自动微分。
2025-06-11 cs.LG cs.MS
Replacing Automatic Differentiation by Sobolev Cubatures fastens Physics Informed Neural Nets and strengthens their Approximation Power
CASUS - Center for Advanced System Understanding(先进系统理解中心);Helmholtz-Zentrum Dresden-Rossendorf e.V. (HZDR)(亥姆霍兹德累斯顿罗森多夫研究中心)
我们提出了一类新的近似变分损失,适用于物理信息神经网络(PINNs)的训练。损失公式反映了偏微分方程及其弱公式的经典索伯列夫空间理论。损失计算依赖于高斯-勒让德立方的扩展,我们称之为Sobolev立方,取代自动微分(AD)。我们证明了运行时的复杂性训练所得到的Soblev-PINNs(SC-PINNs)是小于所需的PINNs依赖于AD上的一到两个数量级的速度的SC-PINNs的顶部证明,以实现更接近的解决方案的近似突出的正向和逆偏微分方程的问题比建立PINNs实现。
2022-11-23 cs.LG cs.NA math.NA
A Simple Differentiable Programming Language
Google Research(谷歌研究院)
自动微分在科学计算和现代机器学习中发挥着重要作用,通常在强大的编程系统的背景下。自动微分的各种具体化与数学导数概念的关系并不总是完全清楚的-有时会无意中出现差异。为了研究自动微分,在这样的编程环境中,我们定义了一个小的,但表现力程序设计语言,其中包括一个结构的反向模式分化。我们给这种语言的操作和指称语义。操作语义学采用了流行的实现技术,而指称语义采用了与实分析相似的区分概念。我们确定这些语义是一致的。
2020-02-01 cs.LG cs.PL
Automatic differentiation approach for reconstructing spectral functions with neural networks
Frankfurt Institute for Advanced Studies(法兰克福高等研究院);Xidian-FIAS International Joint Research Center(西电-法兰克福高等研究院国际联合研究中心);McGill University(麦吉尔大学);Stony Brook University(石溪大学)
由欧氏格林函数重构谱函数是物理学中一个重要的反问题。特定物理系统的先验知识通常为近似求解不适定问题提供必要的正则化方案。针对这一点,我们提出了一个自动微分框架作为一个通用的工具,从可观察的数据重建。采用神经网络表示光谱,以卡方为损失函数,采用后向自动微分法对参数进行无监督优化。在训练过程中,除了正定形式外,没有显式的物理先验嵌入神经网络。重建精度通过Kullback-Leibler(KL)散度和均方误差(MSE)在多个噪声水平进行评估。值得注意的是,自动微分框架和引入正则化的自由度是本方法的固有优势,并可能导致未来求解反问题的改进。
2021-12-12 cs.LG hep-lat physics.comp-ph
Randomized Automatic Differentiation
Princeton University(普林斯顿大学)
深度学习、变分推理和许多其他领域的成功都得益于反向模式自动微分(AD)的专门实现,以计算兆维目标的梯度。作为这些工具基础的AD技术被设计为计算精确到数值精度的梯度,但现代机器学习模型几乎总是使用随机梯度下降进行训练。为什么要在精确(小批量)梯度上花费计算和内存,而只将它们用于随机优化?我们开发了一个通用的框架和方法随机自动微分(RAD),它可以允许无偏梯度估计计算减少内存,以换取方差。我们研究的一般方法的局限性,并认为,我们必须利用问题的具体结构,以实现利益。我们开发RAD技术的各种简单的神经网络架构,并表明,对于一个固定的内存预算,RAD收敛在较少的迭代比使用一个小批量的前馈网络,并在一个类似的数量为经常性的网络。我们还表明,RAD可以应用于科学计算,并使用它来开发一个低记忆随机梯度法优化的线性反应扩散偏微分方程代表裂变反应堆的控制参数。
2021-03-13 cs.LG stat.ML
Optimized Sparse Matrix Operations for Reverse Mode Automatic Differentiation
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA Corporation(英伟达公司);Memorial University of Newfoundland(纽芬兰纪念大学)
本研究为PyTorch实现了基于CSR的稀疏矩阵封装,支持CUDA加速和自动微分,并在优化问题中展示了其性能优势。
2023-11-09 cs.LG cs.MS cs.NA
Automatic Laplace Collapsed Sampling: Scalable Marginalisation of Latent Parameters via Automatic Differentiation
Institute of Astronomy, University of Cambridge(剑桥大学天文学研究所);Kavli Institute for Cosmology, University of Cambridge(剑桥大学卡夫利宇宙学研究所)
本文提出ALCS框架,通过自动微分结合嵌套采样,高效稳健地进行贝叶斯模型中潜在参数的边缘化,支持高维场景下的证据计算,并展示自动微分在局部近似中的应用。
2026-03-27 astro-ph.IM cs.LG stat.ME
Optimizing Rank-based Metrics with Blackbox Differentiation
Max-Planck-Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Tübingen(蒂宾根大学);Università degli Studi di Firenze(佛罗伦萨大学)
针对排序指标不可微难以直接优化的问题,提出一种可结合小批量梯度下降的通用黑盒微分方法,解决优化不稳定与监督信号稀疏问题,在图像检索和目标检测任务上取得优异性能。
2020-03-18 cs.LG stat.ML
Super-efficiency of automatic differentiation for functions defined as a minimum
CNRS(法国国家科学研究中心);DMA(数学与应用数学研究所);Ecole Normale Supérieure - PSL University(巴黎高等师范学院-巴黎文理研究大学);INRIA(法国国家信息与自动化研究所);CEA(法国原子能和替代能源委员会);Université Paris-Saclay(巴黎萨克雷大学)
在最小最小优化或最大最小优化中,必须计算定义为最小值的函数的梯度。在大多数情况下,最小值没有封闭形式,并且通过迭代算法获得近似值。有两种常用的方法来估计函数的梯度:使用通过假设近似的精确性而获得的解析公式,或者通过算法自动微分。在本文中,我们研究了这些估计作为优化误差的函数的渐近误差。我们发现,自动估计的误差是接近的误差的平方分析估计,反映了超效率现象。自动估计器的收敛性很大程度上取决于算法雅可比矩阵的收敛性。我们分析它的梯度下降和随机梯度下降,并推导出在这些情况下的估计的收敛速度。我们的分析是支持玩具问题和Wasserstein重心计算的数值实验。最后,我们讨论了这些估计的计算复杂性,并给出了实际的指导方针,以选择它们之间。
2020-02-10 cs.LG stat.ML
Automatic differentiation in ML: Where we are and where we should be going
Mila(Mila(魁北克人工智能研究所));Google Brain(谷歌大脑)
我们回顾了机器学习(ML)中数组编程的自动微分(AD)的现状,包括用于AD的不同方法,如操作符重载(OO)和源转换(ST),基于图的程序中间表示和源语言。基于这些见解,我们引入了一个新的基于图的中间表示(IR),其目的是有效地支持数组编程的全通用AD。与ML框架中现有的XML编程表示不同,我们的IR自然支持函数调用,高阶函数和递归,使ML模型更容易实现。表示闭包的能力使我们能够使用ST执行AD而无需磁带,使生成的衍生(伴随)程序能够使用函数语言编译器的工具进行提前优化,并实现高阶导数。最后,我们介绍了一个名为Myia的概念证明编译器工具链,它使用Python的一个子集作为前端。
2019-01-02 cs.LG cs.PL stat.ML
Automatic differentiation for Riemannian optimization on low-rank matrix and tensor-train manifolds
Marchuk Institute of Numerical Mathematics of the Russian Academy of Sciences(俄罗斯科学院马尔丘克计算数学研究所);HSE University(高等经济学院);Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
在科学计算和机器学习应用中,矩阵和更一般的多维数组(张量)通常可以在低秩分解的帮助下近似。由于固定秩的矩阵和张量形成光滑的黎曼流形,所以寻找低秩近似的流行工具之一是使用黎曼优化。然而,在黎曼优化算法中需要的黎曼梯度和海森的有效实现在实践中可能是一个不平凡的任务。此外,在某些情况下,甚至没有解析公式。在本文中,我们建立在自动微分,并提出了一种方法,给定的实现的功能,以最小化,有效地计算黎曼梯度和矩阵之间的近似黎曼海森和给定的向量向量的矢量产品。
2021-10-23 cs.LG cs.MS cs.NA
Model-based Clustering using Automatic Differentiation: Confronting Misspecification and High-Dimensional Data
National University of Singapore(新加坡国立大学)
我们研究了两个实际上重要的情况下,基于模型的聚类使用高斯混合模型:(1)当有错误的规格和(2)在高维数据,在最近的进展,梯度下降(GD)的优化使用自动微分(AD)。我们的模拟研究表明,EM有更好的聚类性能,衡量调整后的兰德指数,相比GD的情况下,误指定,而在高维数据GD优于EM。我们观察到,EM和GD都有许多解决方案具有高可能性,但聚类解释较差。为了解决这个问题,我们设计了一个新的惩罚条款的基础上的库尔贝克-莱布勒散度对拟合组件之间的可能性。这种惩罚可能性的梯度的封闭形式表达式很难导出,但AD可以毫不费力地完成,说明了基于AD的优化的优点。扩展这种惩罚高维数据和模型选择进行了讨论。合成和真实数据集上的数值实验证明了使用所提出的惩罚似然方法进行聚类的有效性。
2020-07-08 cs.LG stat.CO stat.ML
Bringing PDEs to JAX with forward and reverse modes automatic differentiation
Aalto University(阿尔托大学);VTT Technical Research Centre of Finland(芬兰国家技术研究中心)
本文通过扩展JAX自动微分库并接入Firedrake有限元库,利用切线线性方程和伴随方程实现偏微分方程求解器的前向和反向模式自动微分,使其能与任意可微程序高效组合。
2023-08-31 cs.LG cs.MS cs.NA
asdex: Automatic Sparse Differentiation in JAX
BIFOLD – Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所);LVMT, ENPC, Institut Polytechnique de Paris, Univ Gustave Eiffel(法国国立路桥学校,巴黎理工学院,古斯塔夫·埃菲尔大学);Machine Learning Group, Technical University of Berlin(柏林工业大学机器学习组)
asdex是JAX生态系统中首个自动稀疏微分工具包,通过四步流程利用导数矩阵的稀疏性,减少AD过程数量,为相关组件提供稀疏替代实现。
2026-10-12 cs.LG cs.MS cs.NA
Derivative Computation in PINNs: Automatic Differentiation, Finite Differences and Beyond
AGH University of Krakow(克拉科夫AGH科技大学)
该研究对比PINNs中FD与AD的导数计算性能,发现FD精度相当且速度更快、内存占用更少,其随机变体在稳态问题上优于AD,还解决了含样本间依赖架构的逐样本导数计算问题。
2026-11-03 cs.LG cs.NA math.NA
A tutorial on automatic differentiation with complex numbers
Technical University of Denmark(丹麦技术大学)
针对复数自动微分相关文档匮乏的问题,本教程借助线性代数推导实现复数版雅可比向量积等,综述复数前向与反向模式自动微分,指导自定义梯度传播规则的实现。
2024-12-10 cs.LG cs.MS cs.NA
Automatic Differentiation from Scratch: How PyTorch Computes Gradients in Physics-Informed Neural Networks
CECA, Universidade Federal de Alagoas (UFAL)(塞阿拉,阿拉戈斯联邦大学)
研究PyTorch在物理信息神经网络中计算梯度的方式,借助1-3-3-1多层感知器和特定初值问题,追踪前向传播计算图、反向遍历及图中图机制,验证伴随值并联系相关框架与积,明确其计算梯度的完整流程。
2026-07-16 cs.LG cs.MS cs.NA
Combinatory Adjoints and Differentiation
DIKU, U. Copenhagen(哥本哈根大学DIKU);U. Edinburgh(爱丁堡大学)
我们开发了一种基于泛函分析中的分类结构的自动和符号微分的合成方法,其中导数是抽象向量上的线性函数,而不是仅限于标量,向量,矩阵或张量表示为多维数组。我们表明,符号和自动微分可以使用微分生成的线性函数表示Fréchet衍生物的基础上的规则,原始的,恒定的,线性和双线性函数,以及它们的顺序和并行组成。线性函数以组合域特定语言表示。最后,我们提供了一个演算符号计算伴随的衍生物,而不使用矩阵,这是太低效,使用高维空间。导数的最终符号表示保留了输入程序的数据-并行操作。组合微分和计算形式伴随的组合在行为上等价于反向模式的自动微分。特别是,它为矩阵效率太低而无法表示线性函数的优化提供了机会。
2022-07-02 cs.DC cs.LG cs.PL