Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent
Technische Universität Darmstadt(达姆施塔特工业大学);Concordia University(康考迪亚大学)
该研究针对带全局平均池化层的过参数化卷积神经网络图像分类场景,分析梯度下降训练下的收敛特性,推导了其误分类风险与最优值差值的收敛速率界。
2024-05-13 cs.LG stat.ML
Neural Networks Trained to Solve Differential Equations Learn General Representations
University of Ontario Institute of Technology(安大略理工大学)
我们介绍了一种基于奇异向量典型相关分析(SVCCA)的技术,用于测量跨连续参数化任务集的神经网络层的一般性。我们说明了这种方法,通过研究一般性的神经网络训练解决参数化的边值问题的基础上的泊松偏微分方程。我们发现,第一个隐藏层是一般的,和更深的层依次更具体。接下来,我们验证了我们的方法对现有的技术,使用迁移学习实验测量层的一般性。我们发现这两种方法之间非常一致,并注意到我们的方法要快得多,特别是对于连续参数化问题。最后,我们将第一层的一般表示可视化,并将其解释为输入域上的广义坐标。
2018-06-29 cs.LG physics.comp-ph stat.ML
RepQ: Generalizing Quantization-Aware Training for Re-Parametrized Architectures
Huawei Technologies Co. Ltd.(华为技术有限公司)
针对重参数化与量化结合研究不足的问题,提出通用量化感知训练方法RepQ,基于重参数化层测试权重的可微函数形式实现训练,在多类模型上性能优于LSQ基线。
2023-11-09 cs.LG
Over-parametrized neural networks as under-determined linear systems
Cornell University(康奈尔大学)
本文将简单神经网络与欠定线性系联系起来,对神经网络研究中几个有趣的理论问题进行了全面的探讨。首先,我们强调,这是不足为奇的,这样的网络可以实现零训练损失。更具体地说,我们提供了单个隐藏层神经网络宽度的下界,使得仅训练最后一个线性层就足以达到零训练损失。我们的下界随着数据集大小的增长比现有的训练隐藏层权重的工作更慢。其次,我们证明了通常与ReLU激活函数相关的内核具有根本性的缺陷-存在简单的数据集,广泛研究的无偏模型不可能实现零训练损失,无论如何选择或训练参数。最后,我们对梯度下降的分析清楚地说明了某些矩阵的谱特性如何影响早期迭代和长期训练行为。我们提出了新的激活函数,避免了ReLU的陷阱,因为它们允许任何不同数据点集的零训练损失解决方案,并在实验中表现出良好的光谱特性。
2020-10-29 cs.LG cs.NA math.NA
Decoupling Feature Extraction and Classification Layers for Calibrated Neural Networks
Technical University of Denmark(丹麦技术大学);Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文提出通过解耦特征提取层与分类层的训练,并在分类阶段引入高斯先验和变分训练,在保持准确率的同时显著改善过度参数化深度神经网络的校准性能。
2024-05-06 cs.LG stat.ML
Element-wise Modulation of Random Matrices for Efficient Neural Layers
通过元素级调制随机矩阵,提出PRP层以高效减少全连接层的计算开销,同时保持模型精度。
2025-12-15 cs.LG
Differentiable Implicit Layers
Bosch Center for Artificial Intelligence(博世人工智能中心);TU Darmstadt(达姆施塔特工业大学)
在本文中,我们介绍了一个有效的反向传播格式的无约束隐函数。这些函数由一组可学习的权重参数化,并且可以可选地依赖于某些输入;使它们非常适合作为神经网络中的可学习层。我们证明了我们的计划在不同的应用:(i)神经常微分方程与隐式欧拉方法,和(ii)系统辨识模型预测控制。
2020-11-16 cs.LG cs.NE
Cost Function Dependent Barren Plateaus in Shallow Parametrized Quantum Circuits
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Theoretical Division, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室理论部);Center for Nonlinear Studies, Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室非线性研究中心)
变分量子算法(VQA)优化参数化量子线路$V(\vecθ)$的参数$\vecθ$以最小化成本函数$C$。虽然VQA可以使噪声量子计算机的实际应用成为可能,但它们仍然是具有未经证实的缩放的启发式方法。在这里,我们严格证明了两个结果,假设$V(\vecθ)$是一个交替的分层animals组成的块形成本地2-设计。我们的第一个结果表明,根据全局可观测量定义$C$会导致梯度指数消失(即,贫瘠的高原),即使$V(\vecθ)$很浅。因此,文献中的一些VQA必须修改其拟议成本。另一方面,我们的第二个结果指出,定义$C$与当地的可观导致在最坏的多项式消失梯度,只要深度$V(\vecθ)$是$\mathcal{O}(\log n)$。我们的研究结果建立了地方性和可训练性之间的联系。我们用高达100个量子比特的量子自动编码器实现的大规模模拟来说明这些想法。
2021-03-20 cs.LG quant-ph
Layerwise learning for quantum neural networks
Volkswagen Data:Lab(大众数据实验室);Ludwig Maximilian University(路德维希·马克西米利安大学);Leiden University(莱顿大学);Google Research(谷歌研究院);Volkswagen Group Machine Learning Research Lab(大众集团机器学习研究实验室);Eötvös Loránd University(厄特沃什·罗兰大学)
随着对量子电路学习在量子设备上的近期应用的关注增加,结合由参数化量子线路的成本函数景观提出的独特挑战,有效训练的策略变得越来越重要。为了改善这些挑战中的一些,我们研究了参数化量子线路的分层学习策略。电路深度在优化过程中逐渐增加,并且在每个训练步骤中仅更新参数的子集。我们表明,当考虑采样噪声时,这种策略可以帮助避免由于电路深度低,一步训练的参数数量少,以及与训练整个电路相比梯度幅度较大而导致的错误表面的贫瘠高原问题。这些特性使我们的算法更适合在嘈杂的中等规模量子设备上执行。我们展示了我们的方法对手写数字的图像分类任务,并表明,分层学习达到了8%的平均泛化误差相比,标准的学习计划,用于训练相同大小的量子线路。此外,与训练整个电路相比,达到较低测试误差的运行百分比最多高达40%,而整个电路在训练期间很容易进入平台期。
2020-06-26 cs.LG quant-ph
Rethinking Layer-wise Feature Amounts in Convolutional Neural Network Architectures
Goethe University(歌德大学);Frankfurt Institute for Advanced Studies(法兰克福高等研究院)
我们根据每层特征的相对数量来表征卷积神经网络。使用一个偏正态分布作为一个参数化的框架,我们调查的共同假设单调增加的功能计数与更高层次的架构设计。我们在MNIST、Fashion-MNIST和CIFAR-10图像分类基准上对具有VGG类型层的模型进行的评估提供了证据,促使我们重新思考我们的共同假设:有利于较大早期层的架构似乎会产生更好的准确性。
2018-12-14 cs.CV cs.LG stat.ML
The Generalization Error of the Minimum-norm Solutions for Over-parameterized Neural Networks
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
研究了随机特征模型、两层神经网络模型和残差网络模型三种过参数化机器学习模型的最小范数解的泛化性质。我们证明了,对于所有三个模型,最小范数解的推广误差与蒙特卡罗速率相当,直到一些对数项,只要模型充分过参数化。
2021-01-28 cs.LG math.ST stat.ML
The Quenching-Activation Behavior of the Gradient Descent Dynamics for Two-layer Neural Network Models
Princeton University(普林斯顿大学);Beijing Institute of Big Data Research(北京大数据研究院)
当目标函数可以用相对较少的神经元精确逼近时,针对不同的参数机制,对训练两层神经网络模型的梯度下降(GD)算法进行了数值和唯象研究.研究发现,对于Xavier初始化,在欠参数化状态下GD的动力学行为中存在两个不同的阶段:早期阶段,GD动力学紧密遵循相应的随机特征模型,并且神经元被有效地猝灭,随后是晚期阶段,其中神经元被分成两组:一组少数“激活的”神经元支配动力学,一组背景(或“淬灭的”)神经元支持持续的激活和去激活过程。这种类似神经网络的行为继续进入轻度过度参数化的状态,在那里它经历了向类似随机特征的行为的过渡。淬灭-激活过程似乎为“隐式正则化”提供了一个明确的机制。这与“平均场”缩放相关的动力学性质不同,在“平均场”缩放中,所有神经元平等参与,并且当网络参数改变时,似乎没有质的变化。
2020-06-25 cs.LG math.OC stat.ML
Data driven approximation of parametrized PDEs by Reduced Basis and Neural Networks
SCI-SB-SD, École Polytechnique Fédérale de Lausanne (EPFL), Station 8, 1015 Lausanne, Switzerland(SCI-SB-SD,瑞士联邦理工学院(洛桑联邦理工学院),8号站,1015洛桑,瑞士)
本文提出一种结合降阶基方法和神经网络的数据驱动方法,用于近似参数化偏微分方程,通过减少物理参数的计算成本来估计感兴趣的场,如材料样本的温度或流体的速度。
2019-06-29 cs.LG cs.NA math.NA
On the convergence of gradient descent for two layer neural networks
已经表明,梯度下降可以在过参数化的区域(神经网络的宽度远大于数据点的数量)中产生零训练损失。在这项工作中,结合一些现有的工作的思想,我们研究的梯度下降法训练两层神经网络逼近一些目标连续函数。通过使用一般的链接技术从概率论,我们表明,梯度下降可以产生指数收敛速度,而所需的神经网络的宽度是独立的训练数据的大小。这一结果也暗示了两层神经网络在没有维数灾难的情况下具有较强的逼近能力。
2019-11-04 cs.LG math.OC stat.ML
A random energy approach to deep learning
Central China Normal University(华中师范大学);The Abdus Salam International Centre for Theoretical Physics(阿卜杜勒·萨拉姆国际理论物理中心)
我们研究了一个由每层隐藏态的能级分布参数化的深度信念网络的通用集成。我们表明,在一个随机能量的方法,统计依赖性可以传播从可见到深层,只有当每一层都调整到接近临界点在学习过程中。因此,有效训练的学习机器的特征在于能级的广泛分布。对不同数据集上的深度信念网络和限制玻尔兹曼机的分析证实了这些结论。
2021-12-17 cond-mat.dis-nn cs.LG stat.ML
LaCoOT: Layer Collapse through Optimal Transport
LTCI, Télécom Paris, Institut Polytechnique de Paris(LTCI,Telecom Paris,巴黎高等理工学院);ENSAE, Institut Polytechnique de Paris(ENSAE,巴黎高等理工学院);MBZUAI, UAE(MBZUAI,阿联酋)
本文提出基于最优传输的LaCoOT方法,利用Max-Sliced Wasserstein距离正则化来最小化中间特征分布距离,从而完全移除深度神经网络的中间层,有效降低计算负担并实现更优的性能与深度权衡。
2025-07-15 cs.LG
A Priori Estimates of the Population Risk for Two-layer Neural Networks
Princeton University(普林斯顿大学);Beijing Institute of Big Data Research(北京大数据研究院)
建立了两层神经网络的人口风险的新估计。这些估计在误差率与蒙特卡罗误差率以相同方式缩放的意义上接近最优。当网络规模远大于数据集规模时,它们在过度参数化的情况下同样有效。这些新的估计是一个先验的性质,在这个意义上说,边界只取决于一些规范的基本功能,以适应,而不是在模型中的参数,与大多数现有的结果,这是一个后验的性质。使用这些先验估计,我们提供了一个角度来理解为什么双层神经网络比相关的核方法表现更好。
2020-02-20 cs.LG math.ST stat.ML
A Comparative Analysis of the Optimization and Generalization Property of Two-layer Neural Network and Random Feature Models Under Gradient Descent Dynamics
Princeton University(普林斯顿大学);Beijing Institute of Big Data Research(北京大数据研究院)
对两层神经网络模型在两层参数同时更新时的梯度下降动态进行了较全面的分析。一般的初始化方案,以及一般制度的网络宽度和训练数据大小被认为是。在过参数化的制度,它表明,梯度下降动态可以实现零训练损失指数快速,无论标签的质量。此外,证明了在整个训练过程中,由神经网络模型表示的函数一致地接近于核方法的函数。对于网络宽度和训练数据大小的一般值,在适当的再生核Hilbert空间中为目标函数建立了泛化误差的尖锐估计。
2020-02-21 cs.LG math.OC stat.ML
Variational Neural Networks
Aarhus University(奥胡斯大学);Tampere University(坦佩雷大学)
针对贝叶斯神经网络权重分布建模的局限,提出由均值和方差子层参数化高斯分布并逐层采样输出的变分神经网络,实验表明其不确定性质量优于多种单箱贝叶斯模型平均方法。
2023-01-30 cs.LG stat.ML
Phase diagram of Stochastic Gradient Descent in high-dimensional two-layer neural networks
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Universidade de São Paulo(圣保罗大学)
本文研究高维两层神经网络中过参数化与窄网络的SGD优化机制转变,基于统计物理的高维SGD确定性描述并加以拓展,分析了学习率、时间尺度、隐藏单元数的相互作用,给出严格收敛速率。
2023-06-14 cond-mat.dis-nn cs.LG stat.ML
Approximation Results for Gradient Descent trained Neural Networks
University of Central Florida(中佛罗里达大学)
本文研究了梯度流训练的全连接神经网络的逼近保证,通过神经正切核论证非凸倒数第二层实现收敛,揭示了连续误差范式下的欠参数化状态及过参数化导致的逼近率损失。
2023-09-09 cs.LG cs.NA math.NA
Beyond Linearization: On Quadratic and Higher-Order Approximation of Wide Neural Networks
Salesforce Research(Salesforce 研究(机构));Princeton University(普林斯顿大学)
最近的理论工作已经建立了过度参数化的神经网络和由神经切线核(NTK)控制的线性化模型之间的联系。NTK理论给出了具体的收敛性和推广性结果,但神经网络的经验性能超过了线性化模型,这表明NTK理论的不足。为了缩小这一差距,我们研究了过度参数化的神经网络的训练,这些网络超出了NTK机制,但仍然受到网络泰勒展开的影响。我们提出了\emph{randomizing}的思想,即神经网络,它允许神经网络摆脱其NTK并与二次模型耦合。我们表明,随机双层网络的优化景观是很好的,适合逃逸鞍算法。我们证明了这些随机网络的具体推广和表现力的结果,这导致样本的复杂性界(学习某些简单的功能),匹配NTK,可以另外更好地通过一个维度因子时,温和的分布假设。我们证明了我们的随机化技术可以系统地推广到二次以上的情况下,通过使用它来找到网络,耦合高阶项的泰勒级数。
2020-02-14 cs.LG math.OC stat.ML
Sparsity-aware generalization theory for deep neural networks
Johns Hopkins University(约翰斯·霍普金斯大学)
本文利用隐藏层激活的稀疏性建立深度ReLU网络泛化分析框架,揭示稀疏性与泛化性的权衡,并在过参数化模型中给出非空泛化界。
2023-07-04 cs.AI cs.LG
Optimization and Generalization of Shallow Neural Networks with Quadratic Activation Functions
Université Paris-Saclay(巴黎-萨克雷大学);CNRS(法国国家科学研究中心);CEA(法国原子能和替代能源委员会);Institut de physique théorique(理论物理研究所);Courant Institute, New York University(纽约大学柯朗研究所)
研究了具有二次激活函数的单隐层神经网络在过参数化条件下的优化动力学和泛化性能,其中层宽$m$大于输入维数$d$ .我们考虑一个教师-学生的情况下,教师具有相同的结构,学生与隐藏层的宽度较小$m^*\le m$。我们描述了经验损失景观是如何受到数据样本的数量$n$和教师网络的宽度$m^*$的影响。特别是,我们确定经验损失不存在虚假最小值的概率如何取决于$n$、$d$和$m^*$,从而建立神经网络原则上可以恢复教师的条件。我们还表明,在相同的条件下,梯度下降动态的经验损失收敛,并导致小的泛化误差,即它使恢复在实践中。最后,我们刻画了梯度下降在大样本极限下的时间收敛速度。这些结果得到了数值实验的证实。
2020-08-18 cs.LG stat.ML
Improving Graph Property Prediction with Generalized Readout Functions
针对图属性预测中消息传递神经网络Readout阶段信息损失问题,提出由β和p参数化、可退化为常见readout函数的广义全局池化层,替换现有最优架构的对应层后取得新的SOTA结果。
2024-05-19 cs.LG stat.ML
Port-Hamiltonian Approach to Neural Network Training
The University of Tokyo(东京大学);Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);University of Twente(特温特大学)
神经网络是离散的实体:细分为离散层,并通过权重进行参数化,权重通过差分方程进行迭代优化。最近的工作提出了网络的层输出不再量化,但常微分方程(ODE)的解决方案;然而,这些网络仍然通过离散方法(例如梯度下降)进行优化。在本文中,我们探索了一个不同的方向:即,我们提出了一个新的框架,学习中的参数本身是解决方案的常微分方程。通过将优化过程视为端口-哈密顿系统的演化,我们可以确保收敛到目标函数的最小值。数值实验表明了所提方法的有效性和可行性。
2019-09-06 cs.LG cs.NE cs.SY
A research framework for writing differentiable PDE discretizations in JAX
University College London(伦敦大学学院)
微分模拟器是一个新兴的概念,在几个领域的应用,从强化学习到最优控制。它们的显着特点是能够计算相对于输入参数的分析梯度。像神经网络一样,它是通过组成几个称为层的构建块来构建的,模拟通常需要计算运算符的输出,该运算符本身可以分解为链接在一起的基本单元。虽然神经网络的每一层都代表一个特定的离散运算,但同一个运算符可以有多种表示,这取决于所采用的离散化和需要解决的研究问题。在这里,我们提出了一个简单的设计模式来构建一个图书馆的可微运营商和离散化,通过表示运营商之间的映射家庭的连续函数,参数化的有限向量。我们演示了声学优化问题上的方法,其中亥姆霍兹方程离散使用傅立叶谱方法,和可微性证明使用梯度下降,以优化声透镜的声速。拟议的框架是开源的,可在\url{https://github.com/ucl-bug/jaxdf}上获得
2021-11-09 cs.LG physics.comp-ph
A Persistent-State Dataflow Accelerator for Memory-Bound Linear Attention Decode on FPGA
本文提出了一种FPGA加速器,通过持久存储递归状态将内存受限的线性注意力解码转换为计算受限,实现每token 63 μs的高效解码,比GPU快4.5倍,且能量效率提升60倍。
2026-03-06 cs.AR cs.LG
Soft Mode in the Dynamics of Over-realizable On-line Learning for Soft Committee Machines
Universität Leipzig(莱比锡大学);Max Planck Institute for Mathematics in the Sciences(马克斯·普朗克数学科学研究所)
通过随机梯度下降训练的过参数化深度神经网络成功地执行了许多具有实际意义的任务。过度参数化的一个方面是学生网络可能比数据生成过程具有更大的表现力。在学生-教师场景的上下文中,这对应于所谓的过度可实现的情况,其中学生网络具有比教师更多的隐藏单元。对于在线学习的两层软委员会机器在过可实现的情况下,我们发现,完美的学习方法发生在幂律的时尚,而不是指数,在可实现的情况下。如果教师和学生输出被适当地重新缩放,则所有学生节点学习并复制其中一个教师节点。
2021-04-29 cond-mat.dis-nn cs.LG
XL MIMO Extreme Learning Machines: Wave-Domain Inference with Stacked Metasurfaces
该研究提出配备堆叠智能超表面的XL MIMO系统结合ELM框架,实现波域两层神经网络推理,验证了其分类精度与数字模型相当,证明低复杂度波域神经计算可行。
2026-10-27 cs.ET cs.LG eess.SP
Characterization and upgrade of a quantum graph neural network for charged particle tracking
Department of Physics and Earth Science, University of Ferrara(费拉拉大学物理与地球科学系);INFN Ferrara(费拉拉国家研究所)
本文提出了一种量子图神经网络架构,用于高亮度下的带电粒子轨迹重建,通过结合经典和量子组件提升训练效率与性能。
2026-03-09 cs.LG hep-ex quant-ph
Assured Neural Network Architectures for Control and Identification of Nonlinear Systems
University of California, Irvine(加州大学欧文分校)
在本文中,我们考虑了自动设计整流线性单元(ReLU)神经网络(NN)架构(层数和每层神经元数量)的问题,并确保它被充分参数化以控制非线性系统;即控制系统以满足给定的形式规范。这与当前技术不同,当前技术不提供对结果架构的保证。此外,我们的方法只需要有限的知识的基础非线性系统和规范。我们只假设一个已知Lipschitz常数界的Lipschitz连续控制器可以满足该规范,具体的控制器不需要知道。从这个假设,我们绑定的仿射函数的数量需要构建一个连续分段仿射(CPWA)函数,可以近似任何满足规范的Lipschitz连续控制器。然后,我们连接这个CPWA的NN架构,使用作者最近的两级格(TLL)NN架构的结果; TLL架构被证明是参数化的CPWA函数中存在的仿射函数的数量,它实现。
2021-09-21 cs.LG cs.SY eess.SY
Predictive Statistics Shape Emergent World Representations of Grid Walkers
Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Leipzig University(莱比锡大学);ScaDS.AI
通过约束随机游走实验,发现解码器仅Transformer的第一注意力块提取预测充分统计量,后续层将其转化为预测几何,形成可读的世界模型,而循环网络未分离此阶段。
2026-06-05 cs.LG
Kolmogorov-Arnold Networks (KANs) for Time Series Analysis
Centre Tecnològic de Telecomunicacions de Catalunya (CTTC/CERCA)(西班牙加泰罗尼亚电信技术中心(CTTC/CERCA))
本文提出将Kolmogorov-Arnold网络应用于时间序列预测,利用自适应激活函数和样条参数化权重,在卫星流量预测中以更少参数超越MLP,并进行了消融研究。
2024-09-25 cs.AI cs.LG eess.SP
Implicit Regularization of Discrete Gradient Dynamics in Linear Neural Networks
Mila(米拉研究所);DIRO(蒙特利尔大学计算机与运筹学系);Université de Montréal(蒙特利尔大学);INRIA(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);PSL Research University(巴黎文理研究大学)
当优化过参数化模型时,例如深度神经网络,大量参数可以实现零训练误差。在这种情况下,优化算法及其相应超参数的选择引入了偏差,这将导致收敛到目标的特定最小值。因此,这种选择可以被认为是一种隐式正则化,用于训练过参数化模型。在这项工作中,我们通过研究具有最小平方损失的双层线性网络的训练的离散梯度动态来进一步推动这一想法。使用时间重新缩放,我们表明,与消失的初始化和一个足够小的步长,这种动态顺序学习的解决方案的降秩回归的秩逐渐增加。
2019-12-05 cs.LG math.OC stat.ML
The Nuclear Route: Sharp Asymptotics of ERM in Overparameterized Quadratic Networks
Statistical Physics of Computation Laboratory(计算物理学统计力学实验室);Information, Learning and Physics Laboratory(信息、学习与物理实验室)
该研究通过将过参数化二次网络的ERM问题转化为凸矩阵感知任务,揭示了低秩结构对容量控制的影响,并确定了目标函数宽度对可学习性的作用。
2026-02-02 cond-mat.dis-nn cs.IT cs.LG
Adaptive Contention Window Design using Deep Q-learning
Rice University(莱斯大学);US Army’s CCDC Army Research Laboratory(美国陆军CCDC陆军研究实验室)
研究了随机接入无线网络中的自适应竞争窗口设计问题。更确切地说,我们的目标是设计一个智能节点,可以动态地适应其最小CW(MCW)参数,以最大限度地提高网络级的效用既不知道其他节点的MCW,也不知道这些随时间的变化。为了实现这一目标,我们采用了强化学习(RL)框架,在该框架中,我们通过局部信道观察来规避系统知识的缺乏,并奖励导致高效用的行为。为了有效地学习这些首选动作,我们遵循深度Q学习方法,其中Q值函数使用多层感知进行参数化。特别是,我们实现了一个彩虹代理,它结合了基本的深度Q网络的几个经验改进。基于NS3模拟器的数值实验表明,建议的RL代理执行接近最佳和显着改善现有的学习和非学习为基础的替代品。
2020-11-18 cs.LG eess.SP
Understanding and Improving the Role of Projection Head in Self-Supervised Learning
Australian National University(澳大利亚国立大学);Amazon(亚马逊)
自监督学习(SSL)的目的是产生有用的特征表示,而无需访问任何人类标记的数据注释。由于最近基于对比学习的SSL方法的成功,如Simplified,这个问题已经得到了普及。目前大多数对比学习方法都是在骨干网络的末端附加一个参数化的投影头来优化InfoNCE目标,然后在训练后丢弃学习到的投影头。这就提出了一个根本性的问题:如果我们在训练后要丢弃一个可学习的投影头,为什么还需要它呢?在这项工作中,我们首先对SSL训练的行为进行了系统的研究,重点是投影头层的作用。通过将投影头制定为InfoNCE目标的参数组件而不是网络的一部分,我们提出了一种替代的优化方案,用于训练基于对比学习的SSL框架。我们对多个图像分类数据集的实验研究证明了所提出的方法在SSL文献中的替代品的有效性。
2022-12-22 cs.CV cs.LG
Two-Level Lattice Neural Network Architectures for Control of Nonlinear Systems
University of California, Irvine(加州大学欧文分校)
在本文中,我们考虑自动设计一个整流线性单元(ReLU)神经网络(NN)架构(层数和每层神经元的数量)的问题,并保证它是充分参数化的控制非线性系统。而目前最先进的技术是基于手工挑选的架构或基于启发式搜索找到这样的NN架构,我们的方法利用给定的系统模型来设计一个架构,因此,我们提供了一个保证,得到的NN架构足以实现一个控制器,满足可实现的规范。我们的方法利用了两个基本思想。首先,假设系统可以被一个未知的Lipschitz连续状态反馈控制器控制,且某些Lipschitz常数的上界由$K_\text{cont}$确定,我们限定了构造一个连续分段仿射(CPWA)函数所需的仿射函数的个数,该函数可以逼近未知的Lipschitz连续控制器.其次,我们利用作者最近的结果命名为两级格(TLL)NN架构,这是能够实现任何CPWA功能,只是从知识的仿射函数的数量,妥协CPWA功能的一种新的NN架构。
2020-12-18 cs.LG cs.SY eess.SY
Learning spectro-temporal representations of complex sounds with parameterized neural networks
Ecole des Hautes Etudes en Sciences Sociales(巴黎高等社会科学研究院);Centre National de la Recherche Scientifique(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);Ecole Normale Supérieure-Paris Sciences & Lettres University(巴黎文理研究大学高等师范学院);Ecole Normale Supérieure(巴黎高等师范学院);Institut national de la santé et de la recherche médicale(法国国家健康与医学研究院);Institut Mondor de Recherche Biomédicale(蒙多生物医学研究所);Neuratris(Neuratris研究所);Université Paris-Est Créteil(巴黎东克雷泰伊大学);Paris Sciences & Lettres University(巴黎文理研究大学);Facebook AI Research(脸书人工智能研究院)
深度学习模型已经成为听觉神经科学研究的潜在候选者,这要归功于它们最近在各种听觉任务上的成功。然而,这些模型通常缺乏可解释性,无法完全理解已执行的精确计算。在这里,我们提出了一个参数化的神经网络层,它基于Gabor内核(可学习的STRF)计算特定的频谱-时间调制,并且是完全可解释的。我们评估了该层在语音活动检测、说话人验证、城市声音分类和斑胸草雀呼叫类型分类方面的预测能力。我们发现,基于可学习的STRF的模型对于具有不同背线的所有任务都是一样的,并且获得了语音活动检测的最佳性能。由于这一层是完全可解释的,我们使用定量测量来描述所学习的频谱-时间调制的分布。滤波器适应于每项任务,主要集中在低时间和频谱调制。分析表明,在人类语音上学习的滤波器具有与在人类听觉皮层中直接测量的滤波器相似的谱-时间参数。最后,我们观察到任务以一种有意义的方式组织:人类发声任务彼此靠近,鸟类发声远离人类发声和城市声音任务。
2021-03-12 cs.LG cs.SD eess.AS
Principal Components Bias in Over-parameterized Linear Models, and its Manifestation in Deep Neural Networks
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);The School of Computer Science and Engineering(计算机科学与工程学院);Edmond and Lily Safra Center for Brain Sciences(埃德蒙和莉莉·萨弗拉脑科学中心)
本文通过分析过参数化线性模型,发现主成分偏差(PC-bias)使网络沿数据主成分方向更快收敛,并影响学习顺序,可解释早期停止的益处及随机标签下收敛慢的现象。
2022-06-08 cs.LG
Decision SincNet: Neurocognitive models of decision making that predict cognitive processes from neural signals
University of California, Irvine(加州大学欧文分校);University of California, San Diego(加州大学圣地亚哥分校);University of Amsterdam(阿姆斯特丹大学)
在心理学实验中,人们用选择-反应时间数据来观察人类的决策行为。这些数据的漂移扩散模型由维纳首次通过时间(WFPT)分布组成,并由认知参数:漂移率,边界分离和起点描述。这些估计的参数是神经科学家感兴趣的,因为它们可以映射到决策的认知过程的特征(如速度,谨慎和偏见),并与大脑活动有关。观察到的RT模式也反映了由神经动力学介导的从审判到审判的认知过程的可变性。我们采用了基于SincNet的浅层神经网络架构,以适应漂移扩散模型,使用EEG信号的每个实验试验。该模型由一个SincNet层,一个depressive空间卷积层和两个独立的FC层组成,它们并行预测每次试验的漂移率和边界。SincNet层对内核进行参数化,以便直接学习应用于EEG数据的带通滤波器的低截止频率和高截止频率,以预测漂移和边界参数。在训练过程中,模型参数进行了更新,最大限度地减少WFPT分布的负对数似然函数给定的审判RT。我们开发了单独的决策SincNet模型,为每个参与者执行两个替代的被迫选择任务。我们的研究结果表明,在训练和测试数据集中,漂移和边界的单次试验估计在预测RT方面优于中值估计,这表明我们的模型可以成功地使用EEG特征来估计有意义的单次试验扩散模型参数。此外,浅层SincNet架构识别了与证据积累和谨慎相关的信息处理的时间窗口以及反映每个参与者内这些过程的EEG频带。
2022-08-17 cs.LG q-bio.NC
Learning on a Razor's Edge: Identifiability and Singularity of Polynomial Neural Networks
Department of Mathematics, KTH Royal Institute of Technology(数学系,皇家理工学院)
研究以多项式为激活函数的MLP和CNN的函数空间(神经流形),证明MLP参数化几乎处处有限对一,CNN参数化一一对应,并刻画奇异性源于稀疏子网络,解释MLP的稀疏偏好。
2026-06-12 cs.LG math.AG
Randomized Neural Networks for Partial Differential Equation on Static and Evolving Surfaces
School of Mathematics and Statistics, Xi’an Jiaotong University, Xi’an, Shaanxi 710049, P.R. China(西安交通大学数学与统计学院);School of Mathematics and Statistics & State Key Laboratory of Multiphase Flow in Power Engineering, Xi’an Jiaotong University, Xi’an, Shaanxi 710049, China(西安交通大学数学与统计学院)
本文提出了一种随机神经网络方法,用于在静态和演变表面求解偏微分方程,通过随机生成隐藏层参数和最小二乘问题确定输出层系数,提高求解效率和精度。
2026-03-02 cs.LG cs.NA math.NA
Matrix and tensor decompositions for training binary neural networks
Samsung AI Center, Cambridge(三星人工智能中心剑桥)
本文旨在改进激活和权重均为二进制的二进制神经网络的训练。虽然用于神经网络二值化的现有方法独立地二值化每个滤波器,但是我们建议使用矩阵或张量分解来参数化每层的权重张量。然后,经由应用于重构权重的量化函数(例如,符号函数),使用该潜在参数化来执行二值化过程。我们的方法的一个关键特征是,虽然重建是二值化的,但在潜在因子分解空间中的计算是在实域中完成的。这有几个优点:(i)潜在因子分解在二值化之前强制滤波器的耦合,这显著地提高了训练模型的准确性。(ii)而在训练时,每个卷积层的二进制权重使用实值矩阵或张量分解来参数化,在推理期间,我们简单地使用重构的(二进制)权重。因此,我们的方法并没有牺牲任何优势的二进制网络方面的模型压缩和加速推理。作为进一步的贡献,而不是计算的二进制权重缩放因子分析,在以前的工作中,我们建议通过反向传播来学习他们的区别。最后,我们证明了我们的方法在测试具有挑战性的任务(a)人体姿势估计(超过4%的改进)和(b)ImageNet分类(高达5%的性能增益)时显着优于现有方法。
2019-04-16 cs.AI cs.CV cs.LG
Neural Tangent Kernels Motivate Graph Neural Networks with Cross-Covariance Graphs
University of Pennsylvania(宾夕法尼亚大学)
本研究通过神经正切核理论分析图神经网络中的对齐优化,证明最优图移位算子为输入输出数据的交叉协方差,实验验证其在多变量时间序列预测上优于仅用输入协方差的方法。
2023-10-16 cs.LG stat.ML
Convergence and Sample Complexity of SGD in GANs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
我们通过SGD提供了训练生成对抗网络(GANs)的理论收敛保证。我们考虑学习由1层生成器网络建模的目标分布,其中非线性激活函数$ϕ(\cdot)$由$d \times d$权重矩阵$\mathbf W_*$参数化,即,$f_*(\mathbf x) = ϕ(\mathbf W_* \mathbf x)$。我们的主要结果是,通过根据Goodfellow等人提出的随机梯度下降-上升迭代来训练生成器和鉴别器,产生接近$f_*$的目标分布的生成器分布。具体而言,我们可以使用$\tilde O(d^2/ε^2)$样本学习总变化距离$ε$内的目标分布,这是(近)信息理论上最优的。我们的研究结果适用于广泛的一类非线性激活函数$ϕ$,包括ReLU,并通过与截断统计和鉴别器网络的适当设计的连接。我们的方法依赖于一个双层优化框架,以表明香草SGDA的作品。
2020-12-01 cs.LG math.ST stat.TH
Speaker Recognition from Raw Waveform with SincNet
Mila(米拉研究所)
深度学习作为说话人识别的i向量的可行替代方案正在逐渐普及。最近,当直接由原始语音样本馈送时,卷积神经网络(CNN)已经获得了有希望的结果。后者的CNN不是采用标准的手工特征,而是从波形中学习低级语音表示,这可能使网络能够更好地捕捉重要的窄带扬声器特征,如音高和共振峰。正确的神经网络设计是实现这一目标的关键。本文提出了一种新的CNN架构,称为SincNet,它鼓励第一个卷积层发现更有意义的滤波器。SincNet基于参数化sinc函数,实现带通滤波器。与学习每个滤波器的所有元素的标准CNN相反,使用所提出的方法,仅从数据中直接学习低和高截止频率。这提供了一种非常紧凑和有效的方式来获得针对所需应用专门调谐的定制滤波器组。我们的实验,进行说话人识别和说话人验证任务,表明所提出的架构收敛速度更快,比标准的CNN的原始波形表现更好。
2019-08-09 cs.LG cs.SD eess.AS
Understanding Deep Neural Networks with Rectified Linear Units
Johns Hopkins University(约翰斯·霍普金斯大学)
在本文中,我们研究了可由具有整流线性单元(ReLU)的深度神经网络(DNN)表示的函数族。我们给出了一个算法来训练一个具有一个隐藏层的ReLU DNN,以 * 全局最优 *,在数据大小上具有运行时多项式,尽管在输入维度上是指数级的。此外,我们改进了已知的大小下限(从指数到超指数),以便通过较浅的ReLU网络来近似ReLU深度网络函数。我们的间隙定理顺利参数化家庭的“硬”功能,相反,在文献中已知的可数,离散的家庭。我们的缺口定理的一个示例结果如下:对于每个自然数$k$,存在一个可由具有$k^2$隐藏层和总大小$k^3$的ReLU DNN表示的函数,使得具有最多$k$隐藏层的任何ReLU DNN将至少需要$\frac{1}{2}k^{k+1}-1$总节点。最后,对于具有ReLU激活的$\mathbb{R}^n\to \mathbb{R}$ DNN家族,我们展示了仿射片段数量的新下界,该下界大于网络架构的某些区域中的先前构造,最明显的是,我们的下界通过明确构造一个 * 平滑参数化 * 的函数家族来证明。我们的构造利用了多面体理论中的地带性理论。
2018-02-28 cond-mat.dis-nn cs.AI cs.CC
Finite Sample Identification of Wide Shallow Neural Networks with Biases
Technical University of Munich(慕尼黑工业大学);Deeptech Consulting(深科技咨询公司);Institute of Science and Technology Austria (ISTA)(奥地利科学技术研究所(ISTA))
人工神经网络是依赖于通常编码为权重和偏置的有限数量的参数的函数。从输入输出对的有限样本中识别网络的参数通常被称为\emph{teacher-student model},并且该模型代表了用于理解训练和泛化的流行框架。即使在最坏的情况下,这个问题是NP完全的,一个快速增长的文献-在添加适当的分布假设-已经建立了有限样本识别的两层网络与一些神经元$m=\mathcal O(D)$,$D$的输入尺寸。对于范围$D<m<D^2$,问题变得更加困难,并且对于由偏差参数化的网络也知之甚少。本文填补了这一空白,提供了建设性的方法和有限样本识别这类更广泛的偏置浅网络的理论保证。我们的方法是基于一个两步的管道:首先,我们恢复的方向的权重,利用二阶信息,接下来,我们确定的迹象,通过适当的代数评估,我们通过经验风险最小化通过梯度下降恢复的偏见。数值结果证明了我们的方法的有效性。
2022-11-08 cs.LG stat.ML
Interpretable Convolutional Filters with SincNet
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
深度学习目前在更高水平的人工智能方面发挥着至关重要的作用。这种范式允许神经网络学习复杂和抽象的表示,这些表示是通过组合更简单的表示来逐步获得的。然而,当前神经架构自动发现的内部“黑盒”表示往往缺乏可解释性,这使得研究可解释的机器学习技术成为主要兴趣。本文总结了我们最近的努力,开发一个更可解释的神经模型直接处理语音从原始波形。特别是,我们提出了SincNet,一种新的卷积神经网络(CNN),鼓励第一层通过利用参数化sinc函数来发现更有意义的滤波器。与学习每个滤波器的所有元素的标准CNN相反,只有带通滤波器的低截止频率和高截止频率直接从数据中学习。这种电感偏置提供了一种非常紧凑的方式来获得定制的滤波器组前端,这只取决于一些具有明确物理意义的参数。我们在说话人和语音识别上进行的实验表明,所提出的架构收敛更快,性能更好,并且比标准CNN更具可解释性。
2019-08-09 cs.CL cs.LG cs.NE
Parsimonious Physics-Informed Random Projection Neural Networks for Initial-Value Problems of ODEs and index-1 DAEs
Scuola Superiore Meridionale(南方高等学院);Università degli Studi di Napoli Federico II(那不勒斯费德里科二世大学);Consiglio Nazionale delle Ricerche(意大利国家研究委员会)
本研究提出一种基于随机投影的简约物理信息神经网络,用于求解线性隐式ODE初值问题与指数1DAE,通过变步长、延拓法等优化,在7个基准问题上验证了其在高刚性/陡梯度场景下的精度优势与可比的计算成本。
2022-03-11 cs.LG cs.NA math.DS
Speech and Speaker Recognition from Raw Waveform with SincNet
Mila(米拉研究所)
深度神经网络可以学习复杂和抽象的表示,这些表示是通过组合较简单的表示逐步获得的。语音和说话人识别的最近趋势在于直接从原始音频样本开始发现这些表示。与标准的手工特征(如MFCC或FBANK)不同,原始波形可能有助于神经网络发现更好、更定制的表示。然而,高维原始输入可能会使训练更具挑战性。本文总结了我们最近的努力,开发一个神经架构,有效地处理语音从音频波形。特别是,我们提出了SincNet,一种新的卷积神经网络(CNN),鼓励第一层通过利用参数化sinc函数来发现有意义的滤波器。与学习每个滤波器的所有元素的标准CNN相反,只有带通滤波器的低截止频率和高截止频率直接从数据中学习。这种感应偏置提供了一种非常紧凑的方式来获得定制的前端,这只取决于一些具有明确物理意义的参数。我们在说话人和语音识别上进行的实验表明,与标准CNN相比,所提出的架构收敛更快,性能更好,计算效率更高。
2019-02-15 cs.CL cs.LG cs.SD
ORION: An Outcome-Driven LLM Advisor for RL-Based Multi-Domain 6G Slice Placement
ensIIE, SAMOVAR(南巴黎电信学院国际工业工程学院、萨莫瓦尔实验室);LIX, École polytechnique, Institut Polytechnique de Paris(利克实验室、巴黎综合理工学院、巴黎理工学院)
针对多域6G切片部署的NP难在线决策问题,提出结果驱动型LLM顾问ORION,其规划层的情景记忆可提升请求接纳率4.6-11.5个百分点。
2026-11-02 cs.AI cs.LG cs.MA