This paper reviews gradient-based techniques to solve bilevel optimization problems. Bilevel optimization is a general way to frame the learning of systems that are implicitly defined through a quantity that they minimize. This characterization can be applied to neural networks, optimizers, algorithmic solvers and even physical systems, and allows for greater modeling flexibility compared to an explicit definition of such systems. Here we focus on gradient-based approaches that solve such problems. We distinguish them in two categories: those rooted in implicit differentiation, and those that leverage the equilibrium propagation theorem. We present the mathematical foundations that are behind such methods, introduce the gradient-estimation algorithms in detail and compare the competitive advantages of the different approaches.
Local learning for stable backpropagation-free neural network training towards physical learning
Department of Materials Science and Engineering, Delft University of Technology（材料科学与工程系，代尔夫特理工大学）；Department of Precision and Microsystems Engineering, Delft University of Technology（精密与微系统工程系，代尔夫特理工大学）；Department of Intelligent Systems, Delft University of Technology（智能系统系，代尔夫特理工大学）
Toulouse School of Economics, University of Toulouse Capitole（图卢兹第一大学图卢兹经济学院）；IRIT（图卢兹计算机科学研究所）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；Institut Universitaire de France (IUF)（法国大学研究院）；Université Côte d’Azur（蔚蓝海岸大学）；Laboratoire J. A. Dieudonné（J. A. 迪厄多内实验室）
Sharper Analysis of Single-Loop Methods for Bilevel Optimization
School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）；School of Data Science, Fudan University（复旦大学数据科学学院）；SGIT AI Lab, State Grid Corporation of China（国家电网公司SGIT人工智能实验室）；Center for Intelligent Decision-Making and Machine Learning, School of Management, Xi’an Jiaotong University（西安交通大学管理学院智能决策与机器学习中心）
Improved Bilevel Model: Fast and Optimal Algorithm with Theoretical Guarantee
University of Pittsburgh（匹兹堡大学）；Nanjing University of Information Science & Technology（南京信息工程大学）；JD Finance America Corporation（京东金融美国公司）
由于许多机器学习问题的层次结构，二层规划近年来变得越来越重要，然而，其内部问题和外部问题之间的复杂关联使得其求解极具挑战性。虽然基于自动微分的几种直观算法已经被提出并在一些应用中取得了成功，但对于双层模型的最优求解却没有给予太多的关注。是否存在一个更好的提法仍然是一个悬而未决的问题。在本文中，我们提出了一种改进的双层模型，收敛速度更快，更好地相比，目前的配方。我们提供了两个任务的理论保证和评估结果：数据超清洗和超表示学习。实证结果表明，我们的模型优于目前的双层模型有很大的差距。\emph{This is a concurrent work with \citet{liu2020generic} and we submitted to ICML 2020. Now we put it on the arxiv for record.}
Implicit differentiation for fast hyperparameter selection in non-smooth convex learning
Université Paris-Saclay（巴黎萨克雷大学）；Inria（法国国家信息与自动化研究所）；CEA（法国原子能和替代能源委员会）；Université de Bourgogne（勃艮第大学）；Institut Mathématique de Bourgogne（勃艮第数学研究所）；Università degli Studi di Genova（热那亚大学）；Google Research（谷歌研究院）；CNRS（法国国家科学研究中心）；Université de Montpellier（蒙彼利埃大学）
On the complexity of nonsmooth automatic differentiation
Toulouse School of Economics（图卢兹经济学院）；Université de Toulouse（图卢兹大学）；Thales LAS France（法国泰勒斯激光系统公司）；IRIT, CNRS（法国国家科学研究中心信息与电信研究所）；Institut Universitaire de France (IUF)（法国大学研究院）
Conservative set valued fields, automatic differentiation, stochastic gradient method and deep learning
Toulouse School of Economics（图卢兹经济学院）；Université Toulouse 1 Capitole（图卢兹第一大学）；IRIT（图卢兹计算机研究所）；Université de Toulouse（图卢兹大学）；IRT Saint Exupery（圣埃克苏佩里技术研究院）
4D-Var using Hessian approximation and backpropagation applied to automatically-differentiable numerical and machine learning models
University of Colorado Boulder（科罗拉多大学博尔德分校）；Sofar Ocean（索法海洋公司）；Cooperative Institute for Research in Environmental Sciences at the University of Colorado Boulder（科罗拉多大学博尔德分校合作环境科学研究所）；Google Research（谷歌研究院）
Randomized Forward Mode of Automatic Differentiation For Optimization Algorithms
Division of Applied Mathematics, Brown University（布朗大学应用数学系）；Department of Mathematics, North Carolina State University（北卡罗来纳州立大学数学系）；Mathematical Institute for Data Science, Pohang University of Science and Technology (POSTECH)（浦项科技大学数据科学数学研究所）
SPO-VCS: An End-to-End Smart Predict-then-Optimize Framework with Alternating Differentiation Method for Relocation Problems in Large-Scale Vehicle Crowd Sensing
Civil and Environmental Engineering, The Hong Kong Polytechnic University（香港理工大学土木与环境工程学院）
Scaling up and Stabilizing Differentiable Planning with Implicit Differentiation
Khoury College of Computer Sciences, Northeastern University（东北大学Khoury计算机科学学院）；Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海期智研究院）
XConv: Low-memory stochastic backpropagation for convolutional layers
University of Central Florida（中央佛罗里达大学）；Rice University（里士满大学）；DevitoCodes Ltd（DevitoCodes有限公司）；Michigan State University（密歇根州立大学）；Georgia Institute of Technology（佐治亚理工学院）
Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State
Peking University（北京大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Center for Data Science, Academy for Advanced Interdisciplinary Studies, Peking University（北京大学前沿交叉学科研究院数据科学研究中心）；Pazhou Lab（琶洲实验室）
