The Infinite Hierarchical Factor Regression Model
School of Computing, University of Utah(犹他大学计算学院)
我们提出了一个非参数贝叶斯因子回归模型,该模型考虑了因子数量的不确定性以及因子之间的关系。为了实现这一点,我们提出了一个稀疏的印度自助餐过程的变体,并将其与一个层次模型的因素,根据金曼的合并。我们将此模型应用于基因表达数据分析中的两个问题(因子分析和因子回归)。
2009-08-05 cs.LG stat.ML
Enhancing reliability in prediction intervals using point forecasters: Heteroscedastic Quantile Regression and Width-Adaptive Conformal Inference
Universidad Politécnica de Madrid(马德里理工大学);Escuela Técnica Superior de Ingenieros Industriales(高等工业工程学院);Laboratorio de Estadística(统计实验室)
针对时间序列预测区间构建难题,提出结合异方差分位数回归与宽度自适应共形推断的方法,兼顾理论覆盖率与宽度自适应,经合成及真实电价数据验证,在有效性、效率及实用性上表现优异。
2025-01-17 cs.LG stat.ME stat.ML
On the Parameterization of Second-Order Optimization Effective Towards the Infinite Width
Tokyo Institute of Technology(东京工业大学);Artificial Intelligence Research Center(人工智能研究中心);AIST(日本产业技术综合研究所)
本文提出一种面向无限宽度的二阶优化参数化方法,通过揭示超参数适当尺度,使K-FAC和Shampoo在宽网络中稳定促进特征学习并实现超参数跨宽度迁移。
2024-06-08 cs.LG
Bayes-optimal Learning of Deep Random Networks of Extensive-width
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
针对具有随机高斯权重的深度极宽非线性神经网络,本文推导了回归与分类任务的贝叶斯最优测试误差闭式表达式,发现最优正则化的岭回归与核回归可达最优,且在样本数增长快于维度时神经网络表现更优。
2023-06-21 cond-mat.dis-nn cs.LG stat.ML
The Future is Log-Gaussian: ResNets and Their Infinite-Depth-and-Width Limit at Initialization
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Guelph(圭尔夫大学)
理论结果表明,神经网络在无限宽极限下可以用高斯过程来逼近。然而,对于完全连接的网络,之前已经表明,对于任何固定的网络宽度$n$,随着网络深度$d$的增加,高斯近似变得更差。考虑到现代网络的深度,这就提出了一个问题,即像ResNet这样的现代架构在多大程度上被无限宽度的限制所捕获。为了提供更好的近似,我们研究了无限深度和宽度限制下的ReLU ResNet,其中深度和宽度都趋于无穷大,因为它们的比率$d/n$保持不变。与高斯无限宽极限相反,我们从理论上证明了网络在无限深宽极限的初始化时表现出对数高斯行为,参数取决于比率$d/n$。使用蒙特卡罗模拟,我们证明了即使是标准ResNet架构的基本属性也不能很好地被高斯极限捕获,但可以很好地被我们的对数高斯极限捕获。此外,我们的分析表明,ReLU ResNet在初始化时是低激活的:只有不到一半的ReLU被激活。此外,我们还计算了层间相关性,它具有指数增加网络输出方差的效果。基于我们的分析,我们引入了平衡ResNets,这是一种简单的架构修改,它消除了低激活和层间相关性,更适合理论分析。
2021-10-27 cs.LG stat.ML
Private Isotonic Regression
Google Research(谷歌研究院)
在本文中,我们考虑保序回归的差分私有(DP)算法的问题。对于偏序集$\mathcal{X}$和任何Lipschitz损失函数的保序回归的最一般问题,我们得到一个纯DP算法,给定$n$输入点,具有大约$\mathrm{width}(\mathcal{X}) \cdot \log|\mathcal{X}| / n$的预期超额经验风险,其中$\mathrm{width}(\mathcal{X})$是偏序集的宽度。相比之下,我们还获得了一个近似匹配的下限大致$(\mathrm{width}(\mathcal{X}) + \log |\mathcal{X}|) / n$,即使是近似DP算法。此外,我们表明,上述界基本上是最好的,可以得到不利用任何进一步的结构的偏序集。在一个特殊的情况下,一个全序集和$\ell_1$和$\ell_2^2$损失,我们的算法可以实现在近线性运行时间,我们还提供了扩展该算法的问题,私人保序回归的输出函数上的附加结构约束。
2022-10-27 cs.CR cs.LG stat.ML
Regularised Least-Squares Regression with Infinite-Dimensional Output Space
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen, Germany(德国图宾根)
这个简短的技术报告介绍了向量值再生核希尔伯特空间(RKHS)回归的一些学习理论结果,其中输入空间允许是非紧的,输出空间是(可能是无限维的)希尔伯特空间。我们的方法是基于非紧算子的谱理论的积分算子技术。我们特别强调在尽可能少的假设下获得结果;因此,我们只使用切比雪夫不等式,并没有努力获得最佳速率或常数。
2022-02-16 cs.LG stat.ML
Infinite Width Models That Work: Why Feature Learning Doesn't Matter as Much as You Think
Google DeepMind(谷歌DeepMind)
本文反驳无限宽 NTK 性能弱源于缺乏特征学习的观点,指出弱优化器才是关键,并提出基于类 ADAM 动态的无限宽极限以消除与有限模型的差距。
2024-10-23 cs.AI cs.LG
On the infinite width limit of neural networks with a standard parameterization
Google(谷歌)
目前有两种参数化用于导出对应于无限宽度神经网络的固定核,NTK(神经切线核)参数化和朴素标准参数化。然而,将这两种参数化外推到无限宽是有问题的。标准参数化导致发散的神经切线核,而NTK参数化未能捕获有限宽度网络的关键方面,例如:训练动态对相对层宽度的依赖性,权重和偏差的相对训练动态,以及整体学习率规模。在这里,我们提出了一种改进的标准参数化的外推,保留所有这些属性的宽度被带到无穷大,并产生一个定义良好的神经切线核。我们的实验表明,所得到的内核通常达到类似的精度从NTK参数化,但更好地对应于典型的有限宽度网络的参数化。此外,通过仔细调整宽度参数,改进的标准参数化内核可以优于NTK参数化的内核。我们在https://github.com/google/neural-tangents上发布了实现这种改进的标准参数化的代码,作为神经切线库的一部分。
2020-04-18 cs.LG stat.ML
Piecewise Linear Functions Representable with Infinite Width Shallow ReLU Neural Networks
Iowa State University(爱荷华州立大学)
本文通过测度映射方法证明:能用无限宽浅层ReLU神经网络表示的连续分段线性函数,必可用有限宽度浅层ReLU神经网络表示,从而证实了Ongie等人的猜想。
2023-07-25 cs.LG math.FA
Kernel Regression with Infinite-Width Neural Networks on Millions of Examples
Google Research(谷歌研究院);University of Cambridge(剑桥大学)
神经内核在不同的非标准数据模式上大大提高了性能,但需要更多的计算,这在以前将其应用限制在较小的数据集上。在这项工作中,我们通过在许多GPU上大规模并行计算来解决这个问题。我们将其与分布式预处理共轭梯度算法相结合,以实现大规模的核回归(即多达500万个示例)。使用这种方法,我们研究了CIFAR-5 m数据集的几个神经内核在多个数量级上的标度律。使用数据增强将原始CIFAR-10训练数据集扩展20倍,我们获得了91.2%的测试准确度(纯核方法的SotA)。此外,我们还在其他数据模式上探索神经内核,获得了与SotA方法竞争的蛋白质和小分子预测任务的结果。
2023-03-09 cs.CV cs.LG stat.ML
Time-adaptive infinite-dimensional Gaussian process regression on manifolds
本文提出基于经验贝叶斯方法的功能高斯过程回归新框架,利用流形上的紧致高斯测度和拉普拉斯-贝尔特里运算符的特征函数实现时间变化角谱的降维,通过截断方案提升回归性能。
2026-10-01 cs.LG stat.ML
Channel Estimation by Infinite Width Convolutional Networks
INSA Lyon(里昂国立应用科学学院);Inria(法国国家信息与自动化研究院)
本文提出基于无限宽卷积网络推导的卷积神经正切核(CNTK)进行OFDM信道估计,仅利用稀疏导频即可准确填补缺失信道响应,无需大型训练集,并在速度、精度和计算资源上显著优于深度学习方法。
2025-04-11 cs.LG
Learning curves for Gaussian process regression with power-law priors and targets
UCLA(加州大学洛杉矶分校);MPI MiS(马克斯·普朗克数学科学研究所)
在先验知识的本征谱和目标函数的本征展开系数服从幂律的假设下,刻画了高斯过程回归(GPR)学习曲线的幂律渐近性.在类似的假设下,我们利用GPR和核岭回归(KRR)之间的等价性来显示KRR的泛化误差。在神经网络GP核和神经切线核方面,无限宽神经网络可以与GPR相关,已知其在若干情况下具有幂律谱。因此,我们的方法可用于研究无限宽神经网络的泛化误差。我们提出玩具实验来证明这个理论。
2021-11-27 cs.LG
Dynamically Stable Infinite-Width Limits of Neural Classifiers
Neural Networks and Deep Learning lab.(神经网络与深度学习实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
最近的研究集中在两种不同的方法来研究神经网络训练在无限宽的限制(1)平均场(MF)和(2)常数神经切线核(NTK)近似。这两种方法具有不同的超参数随网络层宽度的缩放,因此,具有不同的无限宽度限制模型。我们提出了一个通用框架来研究神经模型的极限行为如何依赖于超参数随网络宽度的缩放。我们的框架允许我们导出现有MF和NTK限制的缩放,以及导致相应模型的动态稳定极限行为的其他缩放的不可计数的数量。然而,只有有限数量的不同的极限模型诱导这些缩放。每一个不同的极限模型对应于一个独特的组合,如有界的logits和切线内核在初始化或平稳的切线内核等属性。现有的MF和NTK极限模型,以及一个新的极限模型,满足有限宽度模型所表现出的大部分属性。我们还提出了一个新的初始化校正的平均场极限,满足上述所有性质,其相应的模型是一个简单的修改有限宽度模型。
2020-10-22 cs.LG stat.ML
Infinite-Width Limit of a Single Attention Layer: Analysis via Tensor Programs
The University of Tokyo(东京大学);National Institute of Advanced Industrial Science and Technology(国家工业科学与技术研究院);RIKEN Center for Advanced Intelligence Project(理化学研究所先进人工智能项目中心)
本文通过张量程序框架,推导了单个注意力层在无限宽度下的极限分布,证明其非高斯性,并验证了理论在有限宽度下的有效性。
2026-01-02 cs.LG stat.ML
How Infinitely Wide Neural Networks Can Benefit from Multi-task Learning -- an Exact Macroscopic Characterization
ETH Zurich(苏黎世联邦理工学院)
在实践中,多任务学习(通过学习任务之间共享的特征)是深度神经网络(NN)的基本属性。虽然NN的无限宽度限制可以为其泛化行为提供良好的直觉,但文献中众所周知的NN的无限宽度限制(例如,神经切线核)假设特定的设置,其中宽ReLU-NN表现得像具有固定核的浅高斯过程。因此,在这样的设置中,这些NN失去了在无限宽度限制下从多任务学习中受益的能力。相比之下,我们证明了使用参数的L2正则化来优化具有至少一个隐藏层的宽ReLU神经网络可以促进多任务学习,这是由于表示学习-也是在网络宽度趋于无穷大的限制范围内。我们提出了一个精确的定量表征这个无限的宽度限制在一个适当的函数空间,整齐地描述多任务学习。
2022-10-20 cs.LG stat.ML
Feature Learning in Infinite-Width Neural Networks
Microsoft Research AI(微软研究院人工智能部门);Microsoft Azure AI(微软Azure人工智能部门)
由于深度神经网络的宽度趋于无穷大,如果适当地参数化(例如NTK参数化),则深度神经网络在梯度下降下的行为可以变得简化和可预测(例如由神经切线核(NTK)给出)。然而,我们证明了神经网络的标准和NTK参数化不允许可以学习特征的无限宽度限制,这对于预训练和迁移学习(如BERT)至关重要。我们提出了简单的修改标准的参数化,以允许在极限特征学习。使用 * 张量程序 * 技术,我们推导出明确的公式,这样的限制。通过MAML在Omniglot上进行Word 2 Vec和少样本学习,这两个关键依赖于特征学习的规范任务,我们精确地计算了这些限制。我们发现它们的性能优于NTK基线和有限宽度网络,随着宽度的增加,后者接近无限宽度特征学习性能。更一般地说,我们对神经网络参数化的自然空间进行分类,该自然空间概括了标准、NTK和平均场参数化。我们表明:1)这个空间中的任何参数化要么允许特征学习,要么具有由内核梯度下降给出的无限宽度训练动态,但不是两者都有; 2)任何这样的无限宽度限制都可以使用张量程序技术计算。我们的实验代码可以在github.com/edwardjhu/TP4上找到。
2022-07-15 cond-mat.dis-nn cs.LG cs.NE
How do infinite width bounded norm networks look in function space?
Technion(以色列理工学院);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们考虑的问题是,具有无限数量单元(无限宽度)的ReLU网络可以捕获哪些函数,但是整个网络的欧几里得范数(系统中所有权重的平方和,除了每个单元的非正则化偏置项)是有界的;或者等价地,近似给定函数所需的最小范数是什么。对于函数$f : \mathbb R \rightarrow \mathbb R$和一个单一的隐藏层,我们表明,表示$f$的最小网络范数是$\max(\int |f''(x)| dx, |f'(-\infty) + f'(+\infty)|)$,因此,最小范数适合一个样本是由线性样条插值。
2019-02-13 cs.LG stat.ML
Training Integrable Parameterizations of Deep Neural Networks in the Infinite-Width Limit
为了从理论上理解经过训练的深度神经网络的行为,有必要研究梯度方法从随机初始化中诱导的动力学。然而,这些模型的非线性和组成结构使得这些动态难以分析。为了克服这些挑战,大宽度渐近最近成为一个富有成效的观点,并导致了对现实世界深度网络的实际见解。对于两层神经网络,通过这些渐近性可以理解,训练模型的性质根据初始随机权重的规模而发生根本性变化,范围从核机制(对于大的初始方差)到特征学习机制(对于小的初始方差)。对于更深的网络更多的制度是可能的,在本文中,我们详细研究了“小"初始化对应的“平均场”限制的神经网络,我们称之为可积参数化(IP)的具体选择。首先,我们证明了在标准i.i.d.零均值初始化,具有多于四层的神经网络的可积参数化在无限宽度极限中的静止点处开始,并且不发生学习。然后,我们提出了各种方法来避免这种琐碎的行为,并详细分析了由此产生的动态。特别是,这些方法之一,包括在使用大的初始学习率,我们表明,它相当于最近提出的最大更新参数化$μ$ P的修改。我们证实了我们的结果与数值实验上的图像分类任务,这也表明了强烈的差异,在行为之间的各种选择的激活函数,尚未捕获的理论。
2021-12-20 cs.LG
Neural Tangent Kernel Beyond the Infinite-Width Limit: Effects of Depth and Initialization
Ludwig-Maximilians-Universität München(慕尼黑路德维希-马克西米利安大学)
神经切线核(NTK)被广泛用于分析过参数化的神经网络,这是由于Jacot等人(2018)的著名结果:在无限宽度限制下,NTK在训练过程中是确定性的和恒定的。然而,这个结果不能解释深度网络的行为,因为如果深度和宽度同时趋于无穷大,它通常不成立。在本文中,我们研究了深度与宽度相当的全连接ReLU网络的NTK。我们证明了NTK的性质依赖于显着的深宽比和初始化时的参数分布。事实上,我们的结果表明了Poole等人(2016)中确定的超参数空间中三个阶段的重要性:有序,混沌和混沌边缘(EOC)。我们推导出的NTK分散在无限的深度和宽度的限制,在所有三个阶段的精确表达式,并得出结论,NTK的可变性随深度呈指数增长的EOC和在混乱的阶段,但不是在有序的阶段。我们还表明,深度网络的NTK在训练过程中可能仅在有序阶段保持不变,并讨论了NTK矩阵的结构在训练过程中如何变化。
2022-07-21 cs.AI cs.LG
Theory of Scaling Laws for In-Context Regression: Depth, Width, Context and Time
Center for Mathematical Sciences and Applications(数学科学与应用中心);John A. Paulson School of Engineering and Applied Sciences(约翰·A·保罗森工程与应用科学学院);Kempner Institute for the Study of Natural and Artificial Intelligence(自然与人工智能研究学院);Harvard University(哈佛大学)
该研究针对深度线性自注意力模型的线性回归上下文学习,分析三种设置下的缩放渐近行为,发现深度的作用依设置而异,提出同时依赖Transformer宽深的可解玩具模型,可预测最优形状与幂律关系。
2025-10-01 cond-mat.dis-nn cs.LG stat.ML
Random Neural Networks in the Infinite Width Limit as Gaussian Processes
Princeton University(普林斯顿大学)
本文给出了一个新的证明,即具有随机权重和偏差的全连接神经网络在输入维度、输出维度和深度保持固定而隐藏层宽度趋于无穷大的情况下收敛于高斯过程。与以前的工作不同,收敛只假设矩条件的权重分布和相当一般的非线性。
2021-07-04 cs.LG math.PR math.ST
Infinite-width limit of deep linear neural networks
ETH Zurich(苏黎世联邦理工学院)
研究了随机参数初始化的深度线性神经网络的无限宽极限。我们得到,当神经元的数量发散,训练动态收敛(在精确的意义上)的动态从一个无限宽的确定性线性神经网络的梯度下降。此外,即使权值保持随机,我们也得到了它们沿着训练动态的精确规律,并证明了线性预测器在神经元数量方面的定量收敛结果。最后,我们研究了无限宽线性神经网络的连续时间极限,并证明了神经网络的线性预测以指数速度收敛到风险的最小$\ell_2$范数极小化者。
2022-11-29 cs.LG math.OC stat.ML
An Infinite-Width Analysis on the Jacobian-Regularised Training of a Neural Network
KAIST(韩国科学技术院);School of Computing(计算机学院)
本文将深度神经网络的无限宽度分析扩展至雅可比矩阵,证明MLP及其雅可比在初始化时联合收敛至高斯过程,并揭示鲁棒训练下的演化由神经正切核变体决定的线性常微分方程描述,为雅可比正则化提供了理论洞察。
2024-08-22 cs.LG stat.ML
Infinite Width Limits of Self Supervised Neural Networks
Technical University of Munich(慕尼黑技术大学);IIT Madras(马德拉斯理工学院)
本文首次从理论上证明,在Barlow Twins自监督损失下训练的两层宽神经网络的NTK会随宽度趋于无穷而变为常数,从而为用经典核理论分析自监督宽网络提供依据,并进一步推导出泛化误差界。
2025-05-03 cs.LG
Stochastic Neural Networks with Infinite Width are Deterministic
The University of Tokyo(东京大学);Carnegie Mellon University(卡内基梅隆大学)
本文从理论上研究了随机神经网络这一神经网络的主要类型。我们证明了当一个优化的随机神经网络的宽度趋于无穷大时,它在训练集上的预测方差降为零。我们的理论证明了一个普遍的直觉,即在模型中加入随机性可以通过引入平均效应来帮助正则化模型。我们的理论可以相关的两个常见的例子是神经网络与辍学和贝叶斯潜变量模型在一个特殊的限制。因此,我们的结果有助于更好地理解随机性如何影响神经网络的学习,并可能为实际问题设计更好的架构。
2022-05-24 cs.LG stat.ML
Towards a General Theory of Infinite-Width Limits of Neural Classifiers
Neural Networks and Deep Learning lab.(神经网络与深度学习实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
在一般情况下,获得神经网络训练的理论保证似乎是一个困难的问题。最近的研究一直集中在研究这个问题的无限宽度的限制和两个不同的理论已经开发:一个平均场(MF)和一个常数核(NTK)极限理论。我们提出了一个总体框架,提供了这些看似不同的理论之间的联系。我们的框架开箱即用产生了一个离散时间MF的限制,这是以前没有探讨过的文献。我们证明了它的收敛定理,并表明,它提供了一个更合理的近似有限宽度的网络相比,NTK限制,如果学习率不是很小。此外,我们的框架提出了一个极限模型,既不符合MF极限,也不符合NTK极限。我们发现,对于具有两个以上隐藏层的网络,RMSProp训练具有非平凡的离散时间MF限制,但GD训练没有。总的来说,我们的框架表明,MF和NTK极限在近似有限大小的神经网络方面都有相当大的局限性,这表明需要为它们设计更准确的无限宽度近似。
2020-10-23 cs.LG stat.ML
An Overview of Uncertainty Quantification Methods for Infinite Neural Networks
John A. Paulson School of Engineering and Applied Sciences, Harvard University(哈佛大学约翰·A·保尔森工程与应用科学学院)
为了更好地理解大型神经网络的理论行为,一些研究分析了网络宽度趋于无穷大的情况。在这种情况下,随机初始化的效果和训练神经网络的过程可以用高斯过程和神经切线核等分析工具正式表示。在本文中,我们审查的方法来量化这种无限宽度神经网络的不确定性,并比较它们之间的关系高斯过程中的贝叶斯推理框架。我们利用几个等价的结果一路上获得精确的封闭形式的解决方案的预测不确定性。
2022-01-13 cs.LG
A Lower Bound for the Number of Linear Regions of Ternary ReLU Regression Neural Networks
Center for Data Science(数据科学中心);Waseda University(早稻田大学);Department of Applied Mathematics(应用数学系)
本文从线性区域数量角度分析了三进制神经网络的表达能力,证明其线性区域数随网络宽度多项式增长,深度指数增长,并通过调整网络结构获得与常规ReLU回归网络相当的下界。
2026-04-25 cs.AI cs.LG
Student-t processes as infinite-width limits of posterior Bayesian neural networks
Princeton University(普林斯顿大学);University of Torino(都灵大学);Collegio Carlo Alberto(卡洛阿尔贝托学院);University of Pisa(比萨大学)
本文证明在特定先验条件下,无限宽后验贝叶斯神经网络收敛于Student-t过程,并用Wasserstein度量刻画收敛速度,从而扩展了高斯过程近似理论。
2025-02-06 cs.LG math.PR stat.ML
The Neural Covariance SDE: Shaped Infinite Depth-and-Width Networks at Initialization
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Guelph(圭尔夫大学)
该研究针对无限宽度分析忽略层间微观波动的缺陷,在塑形无限深宽极限下研究神经网络初始化时的随机协方差矩阵,提出神经协方差SDE并验证其与有限网络分布吻合,还推导出范数爆炸与消失的充要条件。
2023-06-14 cs.LG stat.ML
Proportional infinite-width infinite-depth limit for deep linear neural networks
Politecnico di Milano(米兰理工大学);Università degli Studi di Parma(帕尔马大学)
本文研究深度线性神经网络在深度与宽度按固定比例同时趋于无穷时的极限分布,严格证明其收敛于非平凡的高斯混合,从而保留输出相关性,克服了传统无限宽高斯极限的描述能力不足问题。
2024-11-22 cond-mat.dis-nn cs.LG math.PR
Depth Separation in Norm-Bounded Infinite-Width Neural Networks
University of Chicago(芝加哥大学);Marquette University(马凯特大学);Weizmann Institute of Science(魏茨曼科学研究所);Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
本文研究无限宽度神经网络的深度分离,证明范数控制的 depth-3 ReLU 网络能以多项式样本复杂度学习某些函数,而 depth-2 网络无法以次指数样本复杂度学习,且反向结论不成立。
2024-02-13 cs.LG stat.ML
Neural Tangents: Fast and Easy Infinite Neural Networks in Python
Google Brain(谷歌大脑);University of Cambridge(剑桥大学)
Neural Tangents是一个用于研究无限宽度神经网络的库。它提供了一个高级API,用于指定复杂和分层的神经网络架构。然后,这些网络可以像往常一样在有限宽度或无限宽度限制下进行训练和评估。可以使用精确贝叶斯推断或通过神经切线内核使用梯度下降来分析地训练无限宽度网络。此外,Neural Tangents提供了在函数空间或权重空间中研究宽但有限网络的梯度下降训练动态的工具。整个库可以在CPU、GPU或TPU上运行。所有计算都可以自动分布在多个加速器上,设备数量接近线性扩展。Neural Tangents可在www.github.com/google/neural-tangents上获得。我们还提供了一个附带的互动Colab笔记本。
2019-12-05 cs.LG stat.ML
Flexible Infinite-Width Graph Convolutional Neural Networks
本文提出图卷积深度核机器,在无限宽度极限下通过引入控制旋钮保留表示学习能力,发现表示学习对异配节点分类任务性能提升显著,对同配任务提升较小。
2025-06-25 cs.LG stat.ML
Les Houches Lectures on Deep Learning at Large & Infinite Width
Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学);École polytechnique fédérale de Lausanne(洛桑联邦理工学院);Politecnico di Torino(都灵理工大学);Bocconi University(博科尼大学);UC Berkeley(加州大学伯克利分校)
本讲座聚焦深度神经网络的无限宽度极限与大宽度机制,探讨了随机网络性质、无限宽度下与线性模型及高斯过程的联系,以及有限宽度网络的微扰与非微扰处理。
2024-02-12 cs.AI cs.LG hep-th
A Numerical Investigation of the Minimum Width of a Neural Network
SkyView Academy(SkyView学院);University of Colorado Boulder(科罗拉多大学博尔德分校)
神经网络的宽度和深度是网络拓扑的基本方面。通用逼近定理提供了随着宽度或深度的增加,存在一个神经网络,它可以任意地逼近一个函数。这些定理假设的要求,如无限的数据,必须在实践中离散化。通过数值实验,我们试图测试Hanin在2017年建立的下限。
2019-10-25 cs.LG
Local Loss Optimization in the Infinite Width: Stable Parameterization of Predictive Coding Networks and Target Propagation
Science Tokyo(东京科学大学);AIST(国家信息与通信技术研究所)
该研究针对局部学习算法难稳定调参的问题,为预测编码和目标传播引入无限宽度下的最大更新参数化,验证了超参数跨宽度迁移性,并揭示了其区别于反向传播的独特性质。
2025-05-21 cs.LG cs.NE
On Infinite-Width Hypernetworks
School of Computer Science(计算机学院);Tel Aviv University(特拉维夫大学);Microsoft Research AI(微软研究院人工智能部门)
{ \em超网络}是产生任务特定{ \em主网络}权重的体系结构。在最近的文献中,超网络的一个值得注意的应用涉及学习输出函数表示。在这些场景中,超网络学习与浅MLP的权重相对应的表示,其通常对形状或图像信息进行编码。虽然这种表示在实践中取得了相当大的成功,但在标准架构的广泛制度中,它们仍然缺乏理论保证。在这项工作中,我们研究了广泛的过参数化超网络。我们表明,与典型的架构,无限宽超网络不保证收敛到一个全局极小值下梯度下降。我们进一步表明,凸性可以通过增加超网络输出的维数来实现,以表示宽MLP。在双重无限宽制度,我们确定这些架构的功能先验推导出相应的GP和NTK内核,后者我们称为{ \em超内核}。作为这项研究的一部分,我们通过推导标准全连接ReLU网络的高阶泰勒展开项的严格界限做出了数学贡献。
2021-02-22 cs.LG stat.ML
Online Infinite-Dimensional Regression: Learning Linear Operators
University of Michigan(密歇根大学)
本文研究无限维 Hilbert 空间间线性算子的在线平方损失回归,刻画 p-Schatten 范数有界类的可学习性,并证明算子范数有界类不可学及一致收敛与可学习性的分离。
2024-01-25 cs.LG stat.ML
Homotopy Relaxation Training Algorithms for Infinite-Width Two-Layer ReLU Neural Networks
The Pennsylvania State University(宾夕法尼亚州立大学);Amazon Prime Video(亚马逊Prime视频)
针对传统神经网络训练速度慢的问题,提出结合同伦激活函数与参数松弛的HRTA算法,经NTK分析与实验验证可显著提升收敛速度,具备拓展应用潜力。
2024-10-06 cs.LG math.OC
Contextual Online Decision Making with Infinite-Dimensional Functional Regression
Center for Computational Science and Engineering, MIT(麻省理工学院计算科学与工程中心);Institute for Data, Systems, and Society, MIT(麻省理工学院数据、系统与社会研究所);Department of Civil and Environmental Engineering, MIT(麻省理工学院土木与环境工程系);Department of EECS, MIT(麻省理工学院电气工程与计算机科学系)
本文提出了一个通用的可容许算法框架,通过高效的无限维函数回归预言机直接学习上下文累积分布函数,解决了不可数无限维回归导致的无限遗憾问题,并证明了其效用遗憾率受积分算子特征值衰减率控制。
2025-01-30 cs.LG stat.ML
Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit
Google Brain(谷歌大脑(Google Brain))
现代深度学习模型在许多数据模式的预测准确性方面取得了巨大成功。然而,他们的应用到许多现实世界的任务是限制了穷人的不确定性估计,如过度自信的分布外(OOD)数据和不优雅的失败下分布的转变。以前的基准测试已经发现,神经网络(NN)的集合通常是OOD数据的最佳校准模型。受此启发,我们利用最新的理论进展,其特征的功能空间前的合奏无限宽的神经网络作为一个高斯过程,称为神经网络高斯过程(NNGP)。我们使用带有softmax链接函数的NNGP来构建多类分类的概率模型,并对潜在高斯输出进行边缘化以从后验中采样。这使我们更好地理解了函数空间上的隐式先验NN,并允许直接比较NNGP及其有限宽度模拟的校准。我们还研究了以前的方法与NNGP分类的校准,将分类问题视为回归到一个热标签。在这种情况下,贝叶斯后验是精确的,我们比较了几个分类来生成类的分类分布。我们发现这些方法在分布偏移下得到了很好的校准。最后,我们考虑一个无限宽度的最终层与一个预先训练好的嵌入。这复制了迁移学习的重要实际用例,并允许扩展到更大的数据集。除了实现有竞争力的预测精度外,这种方法比其有限宽度模拟更好地校准。
2020-10-14 cs.LG stat.ML
On the Infinite Width and Depth Limits of Predictive Coding Networks
Brain Network Dynamics Unit, University of Oxford, UK(牛津大学脑网络动力学单位);UM6P College of Computing, Rabat, Morocco(拉巴特大学计算学院)
本文研究预测编码网络在无限宽度和深度极限下的参数化与梯度行为,证明其与反向传播等价的条件。
2026-08-11 cs.AI cs.LG cs.NE
Approximation power of random neural networks
本文研究了三种随机神经网络的逼近能力:(a)无限宽网络,权值服从任意分布;(b)有限宽网络,通过对前一个无限宽网络进行二次抽样得到;(c)有限宽网络,通过从标准高斯初始化开始,然后对权值加上一个极小的修正得到。主要的结果是一个完全量化的约束的速度近似的一般一般连续函数:在所有三种情况下,一个功能$f$可以近似的复杂性$\|f\|_1 (d/δ)^{\mathcal{O}(d)}$,其中$δ$取决于连续性属性的$f$和复杂性措施取决于权重大小和/或基数。一路上,各种辅助结果的开发:高斯密度与无限宽网络的精确构造,通过径向基函数的卷积近似的基本独立证明方案,无限宽网络的子采样率,以及校正网络的深度分离。
2019-10-18 cs.LG stat.ML
Phase diagram for two-layer ReLU neural networks at infinite-width limit
Shanghai Jiao Tong University(上海交通大学)
神经网络在不同超参数选择下的训练行为是神经网络研究中的一个重要问题。在这项工作中,受统计力学中的相图的启发,我们在无限宽度限制下绘制了双层ReLU神经网络的相图,以完整表征其动力学机制及其对与初始化相关的超参数的依赖性。通过实验和理论方法,我们确定了相图中的三个区域,即,线性区、临界区和凝聚区,根据输入权值随宽度的变化分别趋向于$0$、$O(1)$和$+\infty$。在线性状态下,NN训练动态近似线性,类似于具有指数损失衰减的随机特征模型。在凝聚制度,我们通过实验证明,活跃的神经元凝聚在几个离散的方向。临界区是两个区之间的边界,表现出中间非线性行为,平均场模型是一个典型的例子。总的来说,我们的双层ReLU NN的相图可以作为未来研究的地图,并且是对不同结构的NN的训练行为和隐式正则化进行更系统研究的第一步。
2020-10-13 cs.LG stat.ML
The Shaped Transformer: Attention Models in the Infinite Depth-and-Width Limit
ETH Zurich(苏黎世联邦理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Oxford(牛津大学)
本文提出 shaped Transformer,通过 Softmax 中心化、温度缩放和残差连接,在深宽同比例无限极限下用稳定 SDE 刻画协方差演化并避免秩退化。
2023-12-09 cs.LG stat.ML
The Graphon Limit Hypothesis: Understanding Neural Network Pruning via Infinite Width Analysis
University of Warwick(沃里克大学);CSIRO’s Data61(CSIRO数据61部门);CISPA Helmholtz Center for Information Security(信息安全海德堡研究中心)
本文提出基于 graphon 的无限宽度理论框架,用 Graphon NTK 刻画剪枝诱导的连接结构及其训练动态,解释不同剪枝方法在同等稀疏度下的可训练性差异。
2025-10-20 cs.AI cs.LG
Finite Versus Infinite Neural Networks: an Empirical Study
Google Brain(谷歌大脑)
我们进行了仔细的,彻底的,和大规模的实证研究之间的对应关系广泛的神经网络和核方法。通过这样做,我们解决了与无限宽神经网络的研究有关的各种悬而未决的问题。我们的实验结果包括:核方法优于完全连接的有限宽度网络,但不如卷积有限宽度网络;神经网络高斯过程(NNGP)核经常优于神经正切(NT)核;中心化和集成的有限网络具有降低的后验方差,并且表现得更类似于无限网络;权重衰减和使用大的学习率打破了有限和无限网络之间的对应关系; NTK参数化优于有限宽度网络的标准参数化;内核的对角正则化类似于早期停止;浮点精度将内核性能限制在临界数据集大小之外;正则化的ZCA白化提高了准确性;有限网络性能以双下降现象未捕获的方式非单调地依赖于宽度; CNN的等变性仅对远离核区域的窄网络有益。我们的实验还激发了一个改进的逐层缩放权重衰减,提高了有限宽度网络的泛化。最后,我们开发了使用NNGP和NT内核进行预测的改进的最佳实践,包括一种新的集成技术。使用这些最佳实践,我们实现了CIFAR-10分类的最先进的结果,对应于我们考虑的每个架构类的内核。
2020-09-08 cs.LG stat.ML
Empirical Phase Diagram for Three-layer Neural Networks with Infinite Width
Shanghai Jiao Tong University(上海交通大学);CMA-Shanghai(上海数学中心);Shanghai Center for Brain Science and Brain-Inspired Technology(上海脑科学与类脑研究中心)
大量研究表明,神经网络的动态特性与其参数的初始化密切相关。受具有无限宽度的双层ReLU NN的相图的启发(Luo等人,2021),我们朝着绘制具有无限宽度的三层ReLU NN的相图迈出了一步。首先,我们推导出三层ReLU NN的归一化梯度流,并获得两个关键的独立量来区分常见初始化方法的不同动力学状态。通过精心设计的实验和大量的计算成本,对于合成数据集和真实数据集,我们发现每一层的动力学也可以分为线性区域和凝聚区域,由临界区域分开。该准则是输入权重(隐神经元的输入权重包括从其输入层到隐神经元的权重和其偏置项)在训练期间随着宽度接近无穷大的相对变化,其分别趋向于$0$、$+\infty$和$O(1)$。此外,我们还证明了在深度NN的训练过程中,不同的层可以处于不同的动态状态。在凝聚的政权,我们也观察到凝聚的重量在孤立的方向与低复杂性。通过在三层条件下的实验,我们的相图提出了一个复杂的动力学制度,包括三种可能的制度,以及它们的混合物,深NN,并提供了一个指导研究在不同的初始化制度,这揭示了完全不同的动力学出现在一个深NN的不同层的可能性。
2022-10-19 cs.AI cs.LG
Embedded Ensembles: Infinite Width Limit and Operating Regimes
Skoltech(斯科尔科沃科技学院);Yandex(央捷科斯)
集成神经网络的一种高效记忆方法是通过单个参考网络在集成模型之间共享大部分权重。我们将这种策略称为嵌入式集成(EE);它的特定示例是BatchEnsembles和Monte-Carlo dropout Ensembles。本文对具有不同模型数量的嵌入式集合进行了系统的理论和实证分析。在理论上,我们使用基于神经切线核的方法来推导梯度下降动力学的宽网络极限。在这个限制,我们确定两个合奏制度-独立和集体-依赖于合奏模型的架构和初始化策略。我们证明了在独立制度的嵌入式合奏行为作为一个独立的模型合奏。我们证实了我们的理论预测与广泛的实验与有限的网络,并进一步研究经验的各种影响,如两个制度之间的过渡,缩放合奏性能与网络的宽度和模型的数量,以及性能的依赖性上的一些架构和超参数的选择。
2022-02-24 cs.LG stat.ML
Infinite-dimensional spherical-radial decomposition for probabilistic functions, with application to constrained optimal control and Gaussian process regression
Courant Institute School of Mathematics, Computing and Data Science(Courant学院数学、计算与数据科学系)
本文提出hiSRD方法,通过结合子空间SRD与蒙特卡罗方法,实现无限维概率函数估计,用于解决机会约束优化和高斯过程回归中的问题。
2026-03-20 cs.LG cs.NA math.NA
Asymptotics of Wide Convolutional Neural Networks
Google(谷歌)
广泛的神经网络已被证明是一个丰富的一类架构的理论和实践。由于观察到有限宽度卷积网络似乎优于无限宽度网络,我们研究了宽CNN和具有跳跃连接的网络的缩放定律。按照(Dyer & Gur-Ari,2019)的方法,我们提出了一个简单的图解方法来推导许多感兴趣的量的渐近宽度依赖性。这些缩放关系为宽卷积网络的训练动态提供了可解的描述。我们在广泛的架构中测试这些关系。特别是,我们发现,有限和无限宽度的模型之间的性能差异消失在一个确定的速度相对于模型的宽度。尽管如此,这种关系是一致的有限宽度的模型概括或更好或更差的比无限宽度的同行,我们提供的例子中的相对性能取决于优化的细节。
2020-08-19 cs.LG hep-th stat.ML