Although neural networks are routinely and successfully trained in practice using simple gradient-based methods, most existing theoretical results are negative, showing that learning such networks is difficult, in a worst-case sense over all data distributions. In this paper, we take a more nuanced view, and consider whether specific assumptions on the "niceness" of the input distribution, or "niceness" of the target function (e.g. in terms of smoothness, non-degeneracy, incoherence, random choice of parameters etc.), are sufficient to guarantee learnability using gradient-based methods. We provide evidence that neither class of assumptions alone is sufficient: On the one hand, for any member of a class of "nice" target functions, there are difficult input distributions. On the other hand, we identify a family of simple target functions, which are difficult to learn even if the input distribution is "nice". To prove our results, we develop some tools which may be of independent interest, such as extending Fourier-based hardness techniques developed in the context of statistical queries \cite{blum1994weakly}, from the Boolean cube to Euclidean space and to more general classes of functions.
Testing Stationarity Concepts for ReLU Networks: Hardness, Regularity, and Robust Algorithms
The Chinese University of Hong Kong(香港中文大学)
我们研究了具有ReLU激活函数的神经网络的经验损失的平稳性测试的计算问题。我们的贡献是:硬度:我们发现,检查一定的一阶近似平稳概念的分段线性函数是co-NP-hard。这意味着测试现代非光滑神经网络的某种平稳性概念通常在计算上是困难的。作为推论,我们证明了测试abs-正规形式的函数的所谓一阶极小性是co-NP-完全的,这是由Griewank和Walther(2019,SIAM J. Optim.,第29卷,第284页)。规律性:我们建立了一个充要条件的有效性的等式型次微分链式法则的Clarke,Fréchet,和限制次微分的经验损失的双层ReLU网络。这个新的条件是简单和有效的检查。鲁棒算法:我们引入了一种算法方案来测试Clarke和Fréchet次微分的近似平稳性。当测试点足够接近平稳点且满足一定条件时,我们的方案不会产生假阳性或假阴性误差。这是针对双层ReLU网络的第一个实用且强大的平稳性测试方法。
Revised Note on Learning Algorithms for Quadratic Assignment with Graph Neural Networks
INRIA(法国国家信息与自动化研究所);Ecole Normale Superieure(巴黎高等师范学院);Courant Institute, New York University(纽约大学柯朗研究所);Center for Data Science, New York University(纽约大学数据科学中心)
On the Cryptographic Hardness of Learning Single Periodic Neurons
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);Center for Data Science, New York University(纽约大学数据科学中心)
我们展示了一个简单的减少,这表明在存在噪声的情况下,在各向同性高斯分布上学习单个周期神经元的密码学硬度。更确切地说,我们的约简表明,在小噪声下学习这些函数的任何多项式时间算法(不一定是基于梯度的)都意味着解决最坏情况下的格问题的多项式时间量子算法,其硬度构成了基于格的密码学的基础。我们的核心硬函数族,这是很好地近似的单层神经网络,采取一般形式的一元周期函数应用于仿射投影的数据。这些函数已经出现在以前的开创性著作中,这些著作证明了它们对基于梯度(Shamir'18)和统计查询(SQ)算法(Song et al. '17)。我们表明,如果(多项式)小噪声添加到标签,学习这些功能的棘手性适用于所有多项式时间算法,超越基于梯度和SQ算法,在上述密码学假设。此外,我们证明了噪声的必要性,在硬度的结果,通过设计一个多项式时间的算法来学习某些家庭的这样的功能指数小对抗性噪声。我们提出的算法不是基于梯度或SQ算法,而是基于著名的Lenstra-Lenstra-Lovász(LLL)格基约简算法。此外,在没有噪声的情况下,该算法可以直接应用于解决CLWE检测(Bruna et al. '21)和具有$d+1$样本的最佳样本复杂度的相位恢复。在前一种情况下,这改进了在(Bruna et al. '21)。
Data-Efficient Indentation Size Effect Mitigation in Steels Using Machine Learning and a Physics-Constrained Neural Network
Center for Material Technologies(材料技术中心);Skolkovo Institute of Science and Technology(斯克尔科沃科学与技术研究所);Center for Petroleum Science and Engineering(石油科学与工程中心)
Optimality and NP-Hardness of Transformers in Learning Markovian Dynamical Functions
Department of Computer Science, Rensselaer Polytechnic Institute(拉特格斯理工学院计算机科学系);Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系);Mathematics of Computation, IBM Research(IBM研究院数学部)
Laboratoire de Recherche en Informatique(信息学研究实验室);INRIA(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Université Paris-Sud(巴黎南大学);Université Paris-Saclay(巴黎萨克雷大学);Departamento de Física Teórica, Universidad Complutense(康普顿斯大学理论物理系);Instituto de Biocomputación y Física de Sistemas Complejos (BIFI)(生物计算与复杂系统物理研究所(BIFI));Sorbonne Université(索邦大学);IBPS(巴黎生物物理研究所);Laboratoire de Biologie Computationnelle et Quantitative (LCQB)(计算与定量生物学实验室(LCQB));Institut des Sciences, du Calcul et des Données (ISCD)(计算与数据科学研究所(ISCD))
Fragmentation is Efficiently Learnable by Quantum Neural Networks
California Institute of Technology(加州理工学院);Institute for Quantum Information and Matter(量子信息与物质研究院);Walter Burke Institute for Theoretical Physics(沃尔特·伯克理论物理研究所)
Verifying Quantized Graph Neural Networks is PSPACE-complete
Technical University of Kaiserslautern(凯泽斯劳滕技术大学);ENS de Lyon, CNRS, Université Claude Bernard Lyon 1, Inria, LIP, UMR 5668(里昂高等师范学院、国家科学研究中心、克劳德·贝尔纳大学 Lyon 1、法国国家信息与自动化研究所、LIP、UMR 5668);Gran Sasso Science Institute (GSSI)(格兰·萨索科学研究所)