arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2402.08948cs.LGmath.AP
收藏

高斯输入下学习子空间稀疏多项式的平均场分析

Mean-Field Analysis for Learning Subspace-Sparse Polynomials with Gaussian Input

Massachusetts Institute of Technology(麻省理工学院);Duke University(杜克大学)

Ziang Chen, Rong Ge

AI总结:

本文针对标准高斯输入下的子空间稀疏多项式,分析两层神经网络 SGD 的平均场流,给出可学习性的必要条件并证明其近乎充分。

摘要:

在本工作中,我们研究使用随机梯度下降和两层神经网络学习子空间稀疏多项式的平均场流,其中输入分布为标准高斯分布,且输出仅取决于输入在低维子空间上的投影。我们建立了 SGD 可学习性的必要条件,该条件同时涉及目标函数的特征和激活函数的表达能力。此外,我们证明该条件几乎是充分的,即一个略强于必要条件的条件可以保证损失泛函指数衰减至零。

英文摘要:

In this work, we study the mean-field flow for learning subspace-sparse polynomials using stochastic gradient descent and two-layer neural networks, where the input distribution is standard Gaussian and the output only depends on the projection of the input onto a low-dimensional subspace. We establish a necessary condition for SGD-learnability, involving both the characteristics of the target function and the expressiveness of the activation function. In addition, we prove that the condition is almost sufficient, in the sense that a condition slightly stronger than the necessary condition can guarantee the exponential decay of the loss functional to zero.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑