Analysis of the Generalization Error: Empirical Risk Minimization over Deep Artificial Neural Networks Overcomes the Curse of Dimensionality in the Numerical Approximation of Black-Scholes Partial Differential Equations
University of Vienna（维也纳大学）；ETH Zürich（苏黎世联邦理工学院）；University of Münster（明斯特大学）
Julius Berner, Philipp Grohs, Arnulf Jentzen
发表信息：
SIAM Journal on Mathematics of Data Science 2(3), 2020, pp. 631-657
The development of new classification and regression algorithms based on empirical risk minimization (ERM) over deep neural network hypothesis classes, coined deep learning, revolutionized the area of artificial intelligence, machine learning, and data analysis. In particular, these methods have been applied to the numerical solution of high-dimensional partial differential equations with great success. Recent simulations indicate that deep learning-based algorithms are capable of overcoming the curse of dimensionality for the numerical solution of Kolmogorov equations, which are widely used in models from engineering, finance, and the natural sciences. The present paper considers under which conditions ERM over a deep neural network hypothesis class approximates the solution of a $d$-dimensional Kolmogorov equation with affine drift and diffusion coefficients and typical initial values arising from problems in computational finance up to error $\varepsilon$. We establish that, with high probability over draws of training samples, such an approximation can be achieved with both the size of the hypothesis class and the number of training samples scaling only polynomially in $d$ and $\varepsilon^{-1}$. It can be concluded that ERM over deep neural network hypothesis classes overcomes the curse of dimensionality for the numerical solution of linear Kolmogorov equations with affine coefficients.
A proof that artificial neural networks overcome the curse of dimensionality in the numerical approximation of Black-Scholes partial differential equations
University of Vienna（维也纳大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；ETH Zurich（苏黎世联邦理工学院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Münster（明斯特大学）
SCORE: A 1D Reparameterization Technique to Break Bayesian Optimization's Curse of Dimensionality
Laboratoire de Physique des Interfaces et des Couches Minces (LPICM)（界面与薄膜物理实验室（LPICM））；Ecole Polytechnique, Institut Polytechnique de Paris (IP Paris)（巴黎综合理工学院，巴黎理工学院（IP Paris））；Institut Photovoltaïque d’Île-de-France (IPVF)（法兰西岛光伏研究所（IPVF））
Breaking the curse of dimensionality in structured density estimation
Berlin Institute for the Foundations of Learning and Data (BIFOLD)（柏林学习与数据基础研究所（BIFOLD））；Technische Universität Berlin（柏林工业大学）；Nanyang Technological University（南洋理工大学）
Multilevel Picard approximations and deep neural networks with ReLU, leaky ReLU, and softplus activation overcome the curse of dimensionality when approximating semilinear parabolic partial differential equations in $L^p$-sense
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore（数学科学系，物理与数学科学学院，南洋理工大学，新加坡）；Faculty of Mathematics, Bielefeld University, Germany（数学学院，比勒菲尔德大学，德国）
Why and When Can Deep -- but Not Shallow -- Networks Avoid the Curse of Dimensionality: a Review
Center for Brains, Minds, and Machines（大脑、心智与机器研究中心）；McGovern Institute for Brain Research（麦戈文脑研究所）；Massachusetts Institute of Technology（麻省理工学院）；California Institute of Technology（加州理工学院）；Institute of Mathematical Sciences, Claremont Graduate University（克莱蒙特研究大学数学科学研究所）
A proof that deep artificial neural networks overcome the curse of dimensionality in the numerical approximation of Kolmogorov partial differential equations with constant diffusion and nonlinear drift coefficients
ETH Zurich（苏黎世联邦理工学院）
近年来，深度人工神经网络（DNN）已经成功地用于大量计算问题的数值模拟，包括例如对象和面部识别、自然语言处理、欺诈检测、计算广告以及偏微分方程（PDE）的数值逼近。这些数值模拟表明，DNN似乎具有基本的灵活性，以克服维数灾难的意义上说，用于描述DNN的实参数的数量最多多项式增长在规定的近似精度$ \varepsilon > 0 $的倒数和DNN的目的是近似在这样的计算问题的功能的尺寸$ d \in \mathbb{N}$。科学文献中也有大量关于人工神经网络的严格数学近似结果，但只有少数特殊情况下，文献中的结果可以严格证明DNN在高维函数近似中的成功。本文的主要贡献是揭示了DNN确实克服了具有常数扩散和非线性漂移系数的Kolmogorov偏微分方程的数值逼近中的维数灾难。我们证明了用于描述所采用的DNN的参数的数量在PDE维度$ d \in \mathbb{N}$和规定的近似精度$ \varepsilon > 0 $的倒数中最多多项式地增长。我们证明中的一个关键因素是，用于近似PDE解的人工神经网络确实是一个具有大量隐藏层的深度人工神经网络。
Overcoming the Curse of Dimensionality in Reinforcement Learning Through Approximate Factorization
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Edwardson School of Industrial Engineering, Purdue University（普渡大学爱德华森工业工程学院）；School of Science and Engineering, CUHK Shenzhen（香港中文大学（深圳）理工学院）；Computing & Mathematical Sciences Department, Caltech（加州理工学院计算与数学科学系）
Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
对抗性训练是一种流行的方法，使神经网络对对抗性扰动具有鲁棒性。在实践中，对抗训练导致低鲁棒训练损失。然而，对于为什么在自然条件下会发生这种情况，仍然缺乏严格的解释。最近，标准（非对抗性）监督训练的收敛理论由{ \em very overparametrized}网的各种团体开发。目前还不清楚如何将这些结果扩展到对抗训练，因为最小-最大目标。最近，Gao等人使用在线学习的工具朝着这个方向迈出了第一步，但是他们要求网络的宽度在输入维度$d$上为\emph{exponential}，并且具有不自然的激活函数。我们的工作证明了在自然假设和ReLU激活下，对于\emph{polynomial}宽度而不是指数宽度，收敛到低鲁棒训练损失。我们证明的关键要素是表明初始化附近的ReLU网络可以近似阶跃函数，这可能是独立的兴趣。
Regression with Comparisons: Escaping the Curse of Dimensionality with Ordinal Information
Machine Learning Department（机器学习系）；Department of Statistics and Data Science（统计与数据科学系）；Auton Lab, The Robotics Institute（奥顿实验室（机器人研究所））；Carnegie Mellon University（卡内基梅隆大学）
在监督学习中，我们通常利用完全标记的数据集来设计函数估计或预测的方法。在许多实际情况下，我们能够以较低的成本获得替代反馈。一个广泛的目标是了解有用的，并设计算法来利用，这种替代反馈。在本文中，我们考虑一个半监督回归设置，在那里我们获得额外的顺序（或比较）信息的未标记的样本。我们考虑不同质量的有序反馈，其中我们有一个完美的排序的样本，一个嘈杂的排序的样本或嘈杂的样本之间的成对比较。我们对这些类型的有序反馈在非参数和线性回归中的有用性进行了精确的量化，表明在许多情况下，可以用非常小的标记集准确地估计底层函数，实际上是\emph{escaping the curse of dimensionality}。我们还提出了下限，建立任务的基本限制，并表明我们的算法是最佳的各种设置。最后，我们提出了新的数据集，证明我们的算法的有效性和实用性，并研究其鲁棒性的各种来源的噪声和模型误指定的广泛的实验。
Tackling the Curse of Dimensionality in Fractional and Tempered Fractional PDEs with Physics-Informed Neural Networks
National University of Singapore（新加坡国立大学）；Worcester Polytechnic Institute（伍斯特理工学院）；Brown University（布朗大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
本文将 MC-fPINN 扩展为 MC-tfPINN，并用一维 Gaussian 求积替代 Monte Carlo 采样，在高达 100,000 维的分数阶与缓增分数阶 PDE 正、反问题中提升了精度和收敛速度。
Space-time deep neural network approximations for high-dimensional partial differential equations
Faculty of Mathematics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院数学学院）；Seminar for Applied Mathematics, Department of Mathematics, ETH Zurich（苏黎世联邦理工学院数学系应用数学研讨班）；Department for Applied Mathematics, University of Freiburg（弗莱堡大学应用数学系）
Breaking the Curse of Dimensionality in Multiagent State Space: A Unified Agent Permutation Framework
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）；Northwestern Polytechnical University（西北工业大学）
多智能体强化学习（MARL）中的状态空间随着智能体的数量呈指数增长。这种维数灾难导致了较差的可扩展性和低样本效率，抑制了MARL数十年。为了打破这一诅咒，我们提出了一个统一的代理置换框架，利用置换不变性（PI）和置换等变性（PE）的诱导偏差，以减少多智能体状态空间。我们的见解是，置换的实体在分解的多智能体状态空间的顺序不会改变的信息。具体来说，我们提出了两个新的实现：动态置换网络（DPN）和超策略网络（HPN）。其核心思想是构建独立的实体PI输入和PE输出网络模块，以端到端的方式连接实体分解的状态空间和动作空间。DPN通过两个独立的模块选择网络来实现这种连接，这两个网络一致地将相同的输入模块分配给相同的输入实体（保证PI），并将相同的输出模块分配给相同的实体相关输出（保证PE）。HPN用超网络代替DPN的模块选择网络，直接生成相应的模块权值，增强了模型的表示能力。在SMAC、Google Research Football和MPE上的大量实验表明，所提方法显著提高了现有MARL算法的性能和学习效率。值得注意的是，在SMAC中，我们在几乎所有的硬和超硬场景中实现了100%的胜率（以前从未实现过）。
