Algorithmic differentiation of hyperbolic flow problems
我们感兴趣的是开发一个算法微分框架,用于计算标量切向量和双曲型偏微分方程系统的近似值。这种数值方法的主要困难是存在的冲击波,通过提出一个数值离散的微积分介绍Bressan和Marson [Rend. Sem等Mat.帕多瓦大学,94:79-94,1995]。给出了一维Burgers方程和Euler方程的数值结果。使用一个国家的最先进的计算流体动力学(CFD)的代码作为出发点的基本例程,需要三个修改,以应用所介绍的微积分。首先,修改CFD代码以求解用于激波位置的附加方程。第二,我们自定义激波位置的相应切线的计算。最后,通过微分算法对改进后的方法进行了改进。将引入的微积分应用于Burgers方程和Euler方程的问题,发现可以计算正确的灵敏度,而黑盒算法微分的应用失败。
2020-07-10 cs.MS cs.NA math.NA
A Benchmark of Selected Algorithmic Differentiation Tools on Some Problems in Computer Vision and Machine Learning
ETH Zurich(苏黎世联邦理工学院);CTU in Prague(捷克理工大学);Microsoft(微软)
数学微分(AD)允许仅给定目标函数的实现来精确计算导数。虽然有许多AD工具可用,但AD方法的正确和有效实现并不简单。现有的工具通常差异太大,无法支持通用的测试套件。在本文中,我们比较了15种计算导数的方法,包括11个自动微分工具,实现各种方法,并编写在各种语言(C++,F#,MATLAB,Julia和Python),两个符号微分工具,有限差分,和手派生计算。我们从计算机视觉和机器学习中研究三个目标函数。这些目标在很大程度上是简单的,因为不涉及迭代循环,并且条件语句被封装在诸如{ \tt abs}或{ \tt logsumexp}之类的函数中。然而,对于算法微分的成功来说,有效地处理这样的“简单”目标函数是很重要的,因为计算机视觉和机器学习中的许多问题都是这种形式。当然,我们的结果取决于程序员的技能和对工具的熟悉程度。然而,我们认为这篇论文提出了一个重要的数据点:一个熟练的程序员花了大约一个星期的时间来研究我们提出的每个工具。我们已经将我们的实现作为开源提供,以允许社区复制和更新这些基准。
2018-07-26 cs.CV cs.LG cs.MS
Computing Sparse Jacobians and Hessians Using Algorithmic Differentiation
随机科学模型和机器学习优化估计器具有大量变量;因此计算大型稀疏雅可比矩阵和海森矩阵是重要的。数学微分(AD)大大减少了获得这些矩阵的稀疏模式和值所需的编程工作。我们提出了向前,反向和子图的方法计算稀疏雅可比和海森。由于子图法是一种新的方法,本文对它进行了特别的介绍。当使用子图计算稀疏雅可比和海森时,着色和压缩步骤是不必要的。复杂性分析表明,对于某些问题,子图方法预计要快得多。我们比较C++运算符重载实现的方法在ADOL-C和CppAD软件包使用的一些MINPACK-2测试问题。实验的设置方式使它们易于在不同的硬件,不同的系统,不同的编译器,其他测试问题和其他AD包上运行。设置时间是记录图形、计算稀疏度、着色、压缩和优化图形的时间。如果每次评估都需要设置,则子图实现对于稀疏雅可比矩阵具有类似的运行时间,对于稀疏Hessian矩阵具有更快的运行时间。
2021-11-09 cs.DS cs.MS
Integrating Enzyme-generated functions into CoDiPack
本文针对运算符重载算法微分中自定义导数函数手动实现繁琐的问题,在 CoDiPack 中新增辅助机制,使其可在记录阶段自动集成 Enzyme 生成的导数函数,并通过合成基准验证了有效性。
2023-07-12 cs.MS
Algorithmic Differentiation of Linear Algebra Functions with Application in Optimum Experimental Design (Extended Version)
本文推导了矩形QR分解和对称矩阵特征值分解的高阶导数算法,并应用于最优实验设计中目标函数的梯度计算。
2010-02-19 cs.DS cs.MS cs.NA
Differentiation of the Cholesky decomposition
我们审查战略,区分矩阵为基础的计算,并推导出符号和算法的更新规则,区分表达式包含的Cholesky分解。我们推荐新的“阻塞”算法,基于区分LAPACK库中的Cholesky算法DPOTRF,它使用BLAS的“第3级”矩阵-矩阵运算,因此是高速缓存友好的,易于并行化。对于大型矩阵,所得到的算法是计算Cholesky导数的最快方法,并且比常用的算法快一个数量级。在某些计算环境中,对于小矩阵,符号导出的更新比基于差分Cholesky算法的更新更快。符号和算法方法可以结合起来,以获得最好的两个世界。
2016-02-24 cs.MS stat.CO
Forward-Mode Automatic Differentiation in Julia
我们提出了ForwardDiff,一个Julia包的前向模式自动微分(AD)具有竞争力的性能与低级语言,如C++。与最近在其他流行的高级语言(如Python和MATLAB)中开发的AD工具不同,ForwardDiff利用即时(JIT)编译来透明地重新编译AD未知的用户代码,从而有效支持高阶微分和使用自定义数字类型(包括复数)的微分。对于梯度和雅可比计算,ForwardDiff提供了一种矢量前向模式的变体,可以避免昂贵的堆分配,并比传统矢量模式更好地利用内存带宽。在我们的数值实验中,我们证明了对于非平凡的大尺寸,ForwardDiff的梯度计算可以比基于Python的autograd包的反向模式实现更快。我们还说明了如何在JuMP中有效地使用ForwardDiff,JuMP是一种用于优化的建模语言。根据我们的使用统计,GitHub上有41个独立的存储库依赖于ForwardDiff,用户来自不同的领域,如天文学,优化,有限元分析和统计。本文件是一个扩展摘要,已被接受在AD2016第7届国际药物分化会议上发表。
2016-07-26 cs.MS
Reverse-Mode Automatic Differentiation of Compiled Programs
用于算法微分(AD)的工具提供计算机实现的函数的精确衍生物,用于,例如,例如,在一个实施例中,优化和机器学习(ML)。然而,它们通常要求函数的源代码在一组有限的程序设计语言中可用。作为使AD可用于具有跨语言或闭源组件的代码库的一步,我们最近推出了前向模式AD工具Derivgrind。它使用Valgrind动态二进制插装框架将前向模式AD逻辑插入到编译程序的机器码中。这项工作扩展了Derivgrind,增加了记录实算术求值树的能力,从而使编译程序能够使用运算符重载风格的反向模式AD。我们保持了Derivgrind的正向模式报告的高水平的正确性,在一个广泛的测试套件中,由于同样的原因,同样的几个测试用例失败了。在运行时方面,该记录使编译后的64位基准程序的执行速度降低了约180倍。
2022-12-28 cs.MS
Forward-Mode Automatic Differentiation of Compiled Programs
本文提出Derivgrind工具,通过Valgrind框架在机器码层面为编译程序添加向前模式自动微分,无需完整源代码即可对跨语言或部分闭源软件求导,代价是运行时间增加30至75倍。
2023-07-07 cs.MS
Sparse Automatic Differentiation for Complex Networks of Differential-Algebraic Equations Using Abstract Elementary Algebra
United Technologies Research Center(联合技术研究中心);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室)
本文提出利用抽象初等代数实现稀疏雅可比矩阵计算,展示其在分布式内存环境下的并行化优势及计算成本与系统规模线性相关的特性。
2021-05-12 cs.MS
Dynamic Automatic Differentiation of GPU Broadcast Kernels
我们展示了如何正向模式自动微分(AD)可以采用较大的反向模式计算动态区分广播操作的GPU友好的方式。我们的技术充分利用了广播雅可比矩阵的固有稀疏结构,与纯反向模式方法不同,这种“混合模式”方法不需要向后传递广播操作的子图,从而避免了对用户创作的广播操作的几个反向模式特定可编程性限制的需要。最值得注意的是,这种方法允许广播融合的原始代码,尽管存在的数据相关的控制流。我们讨论了一个实验,其中我们的技术的Julia实现优于纯反向模式TensorFlow和Julia实现,用于在HM-LSTM单元更新计算中通过广播操作进行区分。
2018-10-24 cs.MS
Landau: language for dynamical systems with automatic differentiation
大多数用于确定动力系统自由变量的数值求解器依赖于系统状态的一阶导数w.r.t.自由变量。自由变量的数量可以相当大。获得这些导数的方法之一是将导数与动力学方程同时积分,最好使用自动微分技术。尽管存在许多自动微分工具,但是没有一个被发现是可扩展的并且可用于动态系统建模的实际目的。Landau是一种图灵不完全静态类型的领域特定语言,旨在填补这一空白。图灵不完备性提供了复杂的源代码分析能力,并因此提供了高度优化的编译代码。除此之外,该语言语法支持函数,编译时范围为循环,if/else分支结构,实变量和数组,以及手动放弃自动导数值预计可以忽略不计的计算的能力。尽管有合理的限制,语言是丰富的,足以表达和区分任何繁琐的纸方程几乎没有努力。
2019-05-24 cs.MS
Evaluating polynomials in several variables and their derivatives on a GPU computing processor
University of Illinois at Chicago(芝加哥伊利诺伊大学)
本文利用多精度算术和GPU加速,提出并实现了稀疏多元多项式的大规模并行评估与算法微分方法,以提高数值延续法求解多项式系统的精度。
2012-01-02 cs.MS cs.NA math.NA
DiffSharp: An AD Library for .NET Languages
National University of Ireland Maynooth(爱尔兰国立梅努斯大学);University of Oxford(牛津大学);Purdue University(普渡大学)
DiffSharp是一个用于.NET生态系统的算法微分或自动微分(AD)库,它是C#和F#语言的目标。该库的设计考虑到了机器学习应用程序,允许非常简洁地实现模型和优化例程。DiffSharp是在F#中实现的,它将正向和反向AD运算符公开为通用的可嵌套高阶函数,可用于任何.NET语言。它提供了高性能的线性代数基元-标量,向量和矩阵,正在进行张量的推广-所有AD运算符都完全支持,并且通过高度优化的OpenBLAS库使用BLAS/LAPACK后端。DiffSharp目前使用运算符重载,但我们正在使用F#的“代码引用”元编程功能开发该库的基于转换的版本。基于CUDA的GPU后端的工作也在进行中。
2016-11-10 cs.LG cs.MS
Building the Tangent and Adjoint codes of the Ocean General Circulation Model OPA with the Automatic Differentiation tool TAPENADE
海洋环流模式OPA是由巴黎第六大学LODYC小组开发的。OPA最近经历了一次重大的重写,迁移到FORTRAN 95,其伴随代码需要重建。对于早期版本,OPA的伴随是手工编写的,开发成本很高。我们使用自动微分工具TAPENADE来机械地构造OPA的切线和伴随码。我们验证的差异代码比较除差异,并与同卵双生子实验。我们应用国家的最先进的方法来提高伴随码的性能。特别是,我们实现了Griewank和Walther的二项式检查点算法,这给了我们一个最佳的时间和内存消耗之间的权衡。我们采用一种特殊的策略来区分来自隐式时间步进方案的迭代线性求解器
2007-11-29 cs.CE cs.MS