arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2607.06290cs.LGmath.PRstat.ML
收藏

张量程序的定量高斯过程极限

Quantitative Gaussian-Process limits of Tensor Programs

Institute for Mathematical Statistics and Actuarial Sciences, University of Bern(伯尔尼大学数理统计与精算科学研究所);Department of Mathematics, University of Pisa(比萨大学数学系)

Andrea Agazzi, Eloy Mosig García, Dario Trevisan

AI总结:

研究随机神经网络无限宽度高斯过程极限,通过张量程序视角给出定量收敛理论,有明确有限宽度误差界,框架与架构无关,涵盖多种模型及权重共享方案。

摘要:

我们通过张量程序的视角研究随机神经网络的无限宽度高斯过程极限,并在瓦瑟斯坦距离上提供了定量收敛理论。我们的主要结果给出了明确的有限宽度误差界,其阶数为有限网络执行与其高斯过程极限之间宽度的平方根倒数。该框架与架构无关,涵盖前馈模型以及与循环和变压器型架构相关的权重共享方案。

英文摘要:

We study the infinite-width Gaussian-process limit of random neural networks through the lens of tensor programs, and we provide a quantitative convergence theory in Wasserstein distance. Our main result gives explicit finite-width error bounds, of order inverse square-root of the widths between finite-network executions and their Gaussian-process limits. The framework is architecture-agnostic and covers feed-forward models together with weight-sharing schemes relevant for recurrent and transformer-type architectures.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑