In this paper, we investigate the sample complexity of policy evaluation in infinite-horizon offline reinforcement learning (also known as the off-policy evaluation problem) with linear function approximation. We identify a hard regime $dγ^{2}>1$, where $d$ is the dimension of the feature vector and $γ$ is the discount rate. In this regime, for any $q\in[γ^{2},1]$, we can construct a hard instance such that the smallest eigenvalue of its feature covariance matrix is $q/d$ and it requires $Ω\left(\frac{d}{γ^{2}\left(q-γ^{2}\right)\varepsilon^{2}}\exp\left(Θ\left(dγ^{2}\right)\right)\right)$ samples to approximate the value function up to an additive error $\varepsilon$. Note that the lower bound of the sample complexity is exponential in $d$. If $q=γ^{2}$, even infinite data cannot suffice. Under the low distribution shift assumption, we show that there is an algorithm that needs at most $O\left(\max\left\{ \frac{\left\Vert θ^π\right\Vert _{2}^{4}}{\varepsilon^{4}}\log\frac{d}δ,\frac{1}{\varepsilon^{2}}\left(d+\log\frac{1}δ\right)\right\} \right)$ samples ($θ^π$ is the parameter of the policy in linear function approximation) and guarantees approximation to the value function up to an additive error of $\varepsilon$ with probability at least $1-δ$.
Overcoming the Curse of Dimensionality in Reinforcement Learning Through Approximate Factorization
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Edwardson School of Industrial Engineering, Purdue University（普渡大学爱德华森工业工程学院）；School of Science and Engineering, CUHK Shenzhen（香港中文大学（深圳）理工学院）；Computing & Mathematical Sciences Department, Caltech（加州理工学院计算与数学科学系）
Breaking the Curse of Dimensionality in Multiagent State Space: A Unified Agent Permutation Framework
College of Intelligence and Computing, Tianjin University（天津大学智能与计算学部）；Noah’s Ark Lab, Huawei（华为诺亚方舟实验室）；The Chinese University of Hong Kong（香港中文大学）；Northwestern Polytechnical University（西北工业大学）
多智能体强化学习（MARL）中的状态空间随着智能体的数量呈指数增长。这种维数灾难导致了较差的可扩展性和低样本效率，抑制了MARL数十年。为了打破这一诅咒，我们提出了一个统一的代理置换框架，利用置换不变性（PI）和置换等变性（PE）的诱导偏差，以减少多智能体状态空间。我们的见解是，置换的实体在分解的多智能体状态空间的顺序不会改变的信息。具体来说，我们提出了两个新的实现：动态置换网络（DPN）和超策略网络（HPN）。其核心思想是构建独立的实体PI输入和PE输出网络模块，以端到端的方式连接实体分解的状态空间和动作空间。DPN通过两个独立的模块选择网络来实现这种连接，这两个网络一致地将相同的输入模块分配给相同的输入实体（保证PI），并将相同的输出模块分配给相同的实体相关输出（保证PE）。HPN用超网络代替DPN的模块选择网络，直接生成相应的模块权值，增强了模型的表示能力。在SMAC、Google Research Football和MPE上的大量实验表明，所提方法显著提高了现有MARL算法的性能和学习效率。值得注意的是，在SMAC中，我们在几乎所有的硬和超硬场景中实现了100%的胜率（以前从未实现过）。
Breaking the curse of dimensionality in structured density estimation
Berlin Institute for the Foundations of Learning and Data (BIFOLD)（柏林学习与数据基础研究所（BIFOLD））；Technische Universität Berlin（柏林工业大学）；Nanyang Technological University（南洋理工大学）
Why and When Can Deep -- but Not Shallow -- Networks Avoid the Curse of Dimensionality: a Review
Center for Brains, Minds, and Machines（大脑、心智与机器研究中心）；McGovern Institute for Brain Research（麦戈文脑研究所）；Massachusetts Institute of Technology（麻省理工学院）；California Institute of Technology（加州理工学院）；Institute of Mathematical Sciences, Claremont Graduate University（克莱蒙特研究大学数学科学研究所）
SCORE: A 1D Reparameterization Technique to Break Bayesian Optimization's Curse of Dimensionality
Laboratoire de Physique des Interfaces et des Couches Minces (LPICM)（界面与薄膜物理实验室（LPICM））；Ecole Polytechnique, Institut Polytechnique de Paris (IP Paris)（巴黎综合理工学院，巴黎理工学院（IP Paris））；Institut Photovoltaïque d’Île-de-France (IPVF)（法兰西岛光伏研究所（IPVF））
Analysis of the Generalization Error: Empirical Risk Minimization over Deep Artificial Neural Networks Overcomes the Curse of Dimensionality in the Numerical Approximation of Black-Scholes Partial Differential Equations
University of Vienna（维也纳大学）；ETH Zürich（苏黎世联邦理工学院）；University of Münster（明斯特大学）
Over-parameterized Adversarial Training: An Analysis Overcoming the Curse of Dimensionality
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）
对抗性训练是一种流行的方法，使神经网络对对抗性扰动具有鲁棒性。在实践中，对抗训练导致低鲁棒训练损失。然而，对于为什么在自然条件下会发生这种情况，仍然缺乏严格的解释。最近，标准（非对抗性）监督训练的收敛理论由{ \em very overparametrized}网的各种团体开发。目前还不清楚如何将这些结果扩展到对抗训练，因为最小-最大目标。最近，Gao等人使用在线学习的工具朝着这个方向迈出了第一步，但是他们要求网络的宽度在输入维度$d$上为\emph{exponential}，并且具有不自然的激活函数。我们的工作证明了在自然假设和ReLU激活下，对于\emph{polynomial}宽度而不是指数宽度，收敛到低鲁棒训练损失。我们证明的关键要素是表明初始化附近的ReLU网络可以近似阶跃函数，这可能是独立的兴趣。
Regression with Comparisons: Escaping the Curse of Dimensionality with Ordinal Information
Machine Learning Department（机器学习系）；Department of Statistics and Data Science（统计与数据科学系）；Auton Lab, The Robotics Institute（奥顿实验室（机器人研究所））；Carnegie Mellon University（卡内基梅隆大学）
在监督学习中，我们通常利用完全标记的数据集来设计函数估计或预测的方法。在许多实际情况下，我们能够以较低的成本获得替代反馈。一个广泛的目标是了解有用的，并设计算法来利用，这种替代反馈。在本文中，我们考虑一个半监督回归设置，在那里我们获得额外的顺序（或比较）信息的未标记的样本。我们考虑不同质量的有序反馈，其中我们有一个完美的排序的样本，一个嘈杂的排序的样本或嘈杂的样本之间的成对比较。我们对这些类型的有序反馈在非参数和线性回归中的有用性进行了精确的量化，表明在许多情况下，可以用非常小的标记集准确地估计底层函数，实际上是\emph{escaping the curse of dimensionality}。我们还提出了下限，建立任务的基本限制，并表明我们的算法是最佳的各种设置。最后，我们提出了新的数据集，证明我们的算法的有效性和实用性，并研究其鲁棒性的各种来源的噪声和模型误指定的广泛的实验。
Multilevel Picard approximations and deep neural networks with ReLU, leaky ReLU, and softplus activation overcome the curse of dimensionality when approximating semilinear parabolic partial differential equations in $L^p$-sense
Division of Mathematical Sciences, School of Physical and Mathematical Sciences, Nanyang Technological University, Singapore（数学科学系，物理与数学科学学院，南洋理工大学，新加坡）；Faculty of Mathematics, Bielefeld University, Germany（数学学院，比勒菲尔德大学，德国）
A proof that deep artificial neural networks overcome the curse of dimensionality in the numerical approximation of Kolmogorov partial differential equations with constant diffusion and nonlinear drift coefficients
ETH Zurich（苏黎世联邦理工学院）
近年来，深度人工神经网络（DNN）已经成功地用于大量计算问题的数值模拟，包括例如对象和面部识别、自然语言处理、欺诈检测、计算广告以及偏微分方程（PDE）的数值逼近。这些数值模拟表明，DNN似乎具有基本的灵活性，以克服维数灾难的意义上说，用于描述DNN的实参数的数量最多多项式增长在规定的近似精度$ \varepsilon > 0 $的倒数和DNN的目的是近似在这样的计算问题的功能的尺寸$ d \in \mathbb{N}$。科学文献中也有大量关于人工神经网络的严格数学近似结果，但只有少数特殊情况下，文献中的结果可以严格证明DNN在高维函数近似中的成功。本文的主要贡献是揭示了DNN确实克服了具有常数扩散和非线性漂移系数的Kolmogorov偏微分方程的数值逼近中的维数灾难。我们证明了用于描述所采用的DNN的参数的数量在PDE维度$ d \in \mathbb{N}$和规定的近似精度$ \varepsilon > 0 $的倒数中最多多项式地增长。我们证明中的一个关键因素是，用于近似PDE解的人工神经网络确实是一个具有大量隐藏层的深度人工神经网络。
Transformers Can Overcome the Curse of Dimensionality: A Theoretical Study from an Approximation Perspective
School of Artificial Intelligence, Wuhan University（武汉大学人工智能学院）；Hubei Key Laboratory of Computational Science, Wuhan University（湖北省计算科学重点实验室）；Department of Mathematics, The Hong Kong University of Science and Technology（香港科技大学数学系）
