Global Prediction of COVID-19 Variant Emergence Using Dynamics-Informed Graph Neural Networks
University of Southern California(南加州大学);University of Virginia(弗吉尼亚大学)
本文提出一种变异株动力学信息图神经网络方法,通过推导跨区域变异株流行率动力学来预测新变异株的到达时间,性能优于PINNs等基线,并发布了覆盖87国和36个变异株的基准测试工具。
2024-12-27 cs.LG physics.soc-ph q-bio.PE
Node-Variant Graph Filters in Graph Neural Networks
Rice University(莱斯大学);University of California, Berkeley(加州大学伯克利分校)
图神经网络(GNN)已经成功地用于涉及图信号的无数应用中。理论研究结果表明,GNN使用非线性激活函数来创建低特征值频率内容,这些内容可以由后续的图形卷积滤波器以稳定的方式处理。然而,由非线性函数产生的频率成分的确切形状是未知的,并且不能学习。在这项工作中,我们使用节点变体图滤波器(NVGF)-这是能够创建频率的线性滤波器-作为研究频率创建在GNN中扮演的角色的一种手段。我们表明,通过用NVGF替换非线性激活函数,可以设计或学习频率创建机制。通过这样做,频率创建的作用与传统GNN的非线性性质分离。对图形信号处理问题进行了仿真,以查明频率创建的作用。
2022-03-04 cs.LG eess.SP
Predicting protein variants with equivariant graph neural networks
University of Cambridge(剑桥大学)
该研究针对蛋白质变体预测中结构与序列方法对比的空白,对比了EGNNs与序列方法识别潜力氨基酸突变的能力,发现结构方法训练数据更少但性能相当,且结合标记数据的趋势与序列预训练模型相似。
2023-07-24 cs.LG q-bio.BM
Mixture of Scope Experts at Test: Generalizing Deeper Graph Neural Networks with Shallow Variants
University of Southern California(南加州大学);DEVCOM ARL Army Research Office(DEVCOM ARL陆军研究办公室)
针对异质性图中深层GNN泛化偏好随节点同质性水平变化的问题,提出测试时范围专家混合(Moscat)方法,通过结合不同深度GNN的优势,在保持表达能力的同时显著提升多种GNN在广泛数据集上的准确率。
2025-11-12 cs.LG cs.SI
Graph Neural Networks: A Review of Methods and Applications
Tsinghua University(清华大学);Beijing University of Posts and Telecommunications(北京邮电大学);Tencent Incorporation(腾讯公司)
大量的学习任务需要处理图数据,而图数据中包含了丰富的元素间关系信息。建模物理系统,学习分子指纹,预测蛋白质界面和分类疾病需要一个模型从图形输入中学习。在其他领域,如从非结构化数据,如文本和图像的学习,推理提取的结构(如依赖树的句子和图像的场景图)是一个重要的研究课题,也需要图推理模型。图神经网络(Graph Neural Network,GNN)是一种通过图的节点之间的消息传递来捕获图的依赖关系的神经模型。近年来,诸如图卷积网络(GCN)、图注意力网络(GAT)、图递归网络(GRN)等GNN的变体在许多深度学习任务上表现出了突破性的性能。在这项调查中,我们提出了GNN模型的一般设计管道,并讨论了每个组件的变体,系统地对应用程序进行分类,并提出了未来研究的四个开放问题。
2021-10-06 cs.AI cs.LG stat.ML
How Powerful are Graph Neural Networks?
MIT(麻省理工学院);Stanford University(斯坦福大学)
图神经网络是一种有效的图的表示学习框架。GNN遵循邻域聚合方案,其中节点的表示向量通过递归聚合和变换其相邻节点的表示向量来计算。已经提出了许多GNN变体,并在节点和图分类任务上取得了最先进的结果。然而,尽管GNN彻底改变了图表示学习,但对其表示属性和局限性的理解有限。在这里,我们提出了一个理论框架,用于分析GNN捕获不同图结构的表达能力。我们的研究结果描述了流行的GNN变体(如图卷积网络和GraphSAGE)的区分能力,并表明它们无法学习区分某些简单的图结构。然后,我们开发了一个简单的架构,可以证明是最具表现力的GNN类,是一样强大的Weisfeiler-Lehman图同构测试。我们在一些图分类基准上实证验证了我们的理论研究结果,并证明我们的模型达到了最先进的性能。
2019-02-22 cs.CV cs.LG stat.ML
Stochastic Blockmodels meet Graph Neural Networks
Duke University(杜克大学);IIT Kanpur(印度理工学院坎普尔分校)
随机块模型(SBM)及其变体$e.g.$,混合隶属度和重叠随机块模型,是基于潜在变量的图的生成模型。他们已经被证明是成功的各种任务,如发现社区结构和链接预测的图形结构的数据。最近,图神经网络,$e.g.$,图卷积网络,也已经出现作为一个有前途的方法来学习强大的表示(嵌入)的图中的节点,通过利用图形属性,如局部性和不变性。在这项工作中,我们统一了这两个方向,开发一个\emph{sparse}变分自编码器的图形,保留了SBM的可解释性,同时也享有良好的预测性能的图形神经网络。此外,我们的框架还伴随着一个快速识别模型,该模型可以快速推断节点嵌入(这对于SBM及其变体的推断具有独立的意义)。虽然我们开发了一个特定类型的SBM,即\emph{overlapping}随机块模型的框架,所提出的框架可以很容易地适应其他类型的SBM。多个基准测试的实验结果表明,在学习可用于社区发现的可解释潜在结构的同时,在链接预测方面取得了令人鼓舞的结果。
2019-05-14 cs.LG cs.SI stat.ML
Hierarchical Model Selection for Graph Neural Netoworks
The University of Electro-Communications(电气通信大学)
图数据上的节点分类是一个主要问题,并且已经提出了各种图神经网络(GNN)。GNN的变体,如H2GCN和CPF,通过改进传统GNN的弱点,性能优于图卷积网络(GCN)。然而,在一些图数据中,这些GNN变体在节点分类任务中的表现不如其他GNN。这是因为H2GCN在具有高平均度的图数据上具有特征细化,并且CPF引起关于标签传播适合性的问题。因此,我们提出了一个分层模型选择框架(HMSF),通过分析每个图数据的指标来选择合适的GNN模型。在实验中,我们表明,我们的HMSF选择的模型实现了高性能的节点分类的各种类型的图数据。
2022-12-01 cs.LG
Automorphic Equivalence-aware Graph Neural Network
Tsinghua University(清华大学);Paradigm Inc.(第四范式公司);HKUST(香港科技大学)
区分图中节点的自守等价在许多科学领域中起着至关重要的作用,例如,计算生物学家和社会网络分析。然而,现有的图神经网络(GNNs)未能捕捉到这样一个重要的属性。为了使GNN意识到自守等价,我们首先引入了这个概念的本地化变体-自我中心自守等价(Ego-AE)。然后,我们设计了一个新的GNN变体,即,GRAPE,它使用可学习的AE感知聚合器来明确区分每个节点的邻居的自我AE与各种子图模板的帮助。虽然子图模板的设计可能是困难的,我们进一步提出了一个遗传算法,自动搜索他们从图形数据。此外,我们从理论上证明,GRAPE是表达在生成不同的表示与不同的自我AE功能的节点,这填补了现有的GNN变体的根本差距。最后,我们在八个真实世界的图数据上实证验证了我们的模型,包括社交网络,电子商务合作购买网络和引文网络,并表明它始终优于现有的GNN。源代码在https://github.com/tsinghua-fib-lab/GRAPE上公开。
2021-11-09 cs.AI cs.LG
A Practical Tutorial on Graph Neural Networks
ISOLABS;University of Southern California(南加州大学);Sun Yat-sen University(中山大学);The University of Western Australia(西澳大利亚大学)
图神经网络(GNN)最近在人工智能(AI)领域越来越受欢迎,这是由于其摄取相对非结构化的数据类型作为输入数据的独特能力。虽然GNN架构的一些元素在操作上与传统神经网络(和神经网络变体)在概念上类似,但其他元素表示偏离传统的深度学习技术。本教程通过整理和展示有关GNN最常见和性能变体的动机,概念,数学和应用的细节,向AI从业者展示GNN的强大功能和新颖性。重要的是,我们简明扼要地介绍了本教程,以及实际的例子,从而提供了一个关于GNN主题的实用和可访问的教程。
2021-12-25 cs.AI cs.LG cs.SI
An Energy-Based View of Graph Neural Networks
New York University(纽约大学)
图神经网络是处理图结构数据的神经网络的流行变体。在这项工作中,我们考虑将图神经网络与Grathwohl et al.(2019)的基于能量的观点相结合,目的是获得更强大的分类器。我们成功地实现了这个框架,提出了一种新的方法来确保在特征和邻接矩阵上生成,并根据标准的图卷积网络(GCN)架构(Kipf & Welling(2016))评估我们的方法。我们的方法在提高鲁棒性的同时获得了相当的判别性能,为基于能量的图神经网络的未来研究开辟了有前途的新方向。
2021-10-04 cs.LG
Enhance Information Propagation for Graph Neural Network by Heterogeneous Aggregations
Global Health Drug Discovery Institute(全球健康药物研发中心)
图神经网络是深度学习成功的延续。图形数据。已经提出了数十种不同的图神经网络变体,大多数遵循邻域聚合方案,其中节点特征通过从层到层聚合其相邻节点的特征来更新。尽管相关研究激增,但GNN的能力仍然无法与计算机视觉中的CNN和自然语言处理中的RNN相提并论。我们从信息传播的角度重新思考这个问题,并提出通过结合异构聚合来增强GNN层之间的信息传播。我们认为,随着更丰富的信息从浅层传播到深层,GNN制定的特征的区分能力可以从中受益。作为我们在这个方向上的第一次尝试,提出了一个新的通用GNN层配方,并在此基础上提出了一个新的GNN变体,称为HAG-Net。我们在许多图分类基准上实证验证了HAG-Net的有效性,并详细说明了所有的设计选项和标准。
2021-02-08 cs.AI cs.LG
Rethinking pooling in graph neural networks
Aalto University(阿尔托大学);Federal Institute of Ceará(塞阿拉联邦研究所);University of Manchester(曼彻斯特大学)
图池是无数图神经网络(GNN)架构的核心组件。作为传统CNN的继承,大多数方法将图池化作为聚类分配问题,将规则网格中的局部补丁的思想扩展到图。尽管这种设计选择得到了广泛的遵守,但没有任何工作严格评估其对GNN成功的影响。在本文中,我们建立在代表性GNN的基础上,并引入了挑战局部保持表示需求的变体,无论是在补图上使用随机化还是聚类。引人注目的是,我们的实验表明,使用这些变体不会导致性能的任何下降。为了理解这种现象,我们研究了卷积层和后续池化层之间的相互作用。我们表明,卷积发挥主导作用的学习表示。与普遍的看法相反,本地池并不负责GNN在相关和广泛使用的基准上的成功。
2020-10-22 cs.AI cs.CV cs.LG
ForecastNet: A Time-Variant Deep Feed-Forward Neural Network Architecture for Multi-Step-Ahead Time-Series Forecasting
Data61, CSIRO(澳大利亚联邦科学与工业研究组织Data61);Agriculture & Food, CSIRO(澳大利亚联邦科学与工业研究组织农业与食品部)
递归和卷积神经网络是深度学习文献中用于时间序列预测的最常见架构。这些网络通过在时间或空间上重复具有固定参数的一组固定架构来使用参数共享。其结果是,整个架构是时不变的(在空间域中的平移不变)或静止的。我们认为,时间不变性可以降低执行多步预测的能力,其中需要在一系列尺度和分辨率下对动态进行建模。我们提出了ForecastNet,它使用深度前馈架构来提供时变模型。ForecastNet的另一个新颖之处是交错输出,我们显示它有助于减轻消失的梯度。ForecastNet在几个数据集上的表现优于统计和深度学习基准模型。
2020-06-27 cs.LG stat.ML
Reward-Biased Maximum Likelihood Estimation for Neural Contextual Bandits
National Yang Ming Chiao Tung University(国立阳明交通大学)
奖励偏置最大似然估计(RBMLE)是自适应控制文献中解决探索-利用权衡的经典原理。本文研究了具有一般有界报酬函数的随机上下文强盗问题,提出了NeuralRBMLE算法,该算法在RBMLE原理的基础上,通过在对数似然函数中增加一个偏置项来加强探索。NeuralRBMLE利用了神经网络的表示能力,并直接在参数空间中对探索行为进行编码,而无需构建估计回报的置信区间。我们提出了NeuralRBMLE算法的两个变体:第一个变体通过梯度上升直接获得RBMLE估计,第二个变体通过近似将RBMLE简化为一个简单的索引策略。我们表明,这两种算法实现$\widetilde{\mathcal{O}}(\sqrt{T})$遗憾。通过大量的实验,我们证明了NeuralRBMLE算法在具有非线性奖励函数的真实数据集上实现了与最先进的方法相当或更好的经验遗憾。
2022-05-29 cs.LG stat.ML
Generalizing Graph Convolutional Neural Networks with Edge-Variant Recursions on Graphs
University of Pennsylvania(宾夕法尼亚大学)
本文通过边变图滤波器的视角对图卷积神经网络(GCNN)进行了综述。边变图滤波器是一个有限阶、线性和局部递归的算法,它允许每个节点在每次迭代中对其邻居的信息进行不同的加权。通过利用这种递归,我们制定了一个通用框架GCNN认为国家的最先进的解决方案作为特殊情况。该框架结果有助于i)理解每个解决方案的局部细节和参数数量之间的权衡,以及ii)为开发可以在顶点域中局部实现的无数新颖方法提供指导。这样的方法之一,在这里显示优越的性能w.r.t.图信号分类问题的当前替代方案。
2019-03-04 cs.LG eess.SP stat.ML
Deep Bayesian Recurrent Neural Networks for Somatic Variant Calling in Cancer
Cambridge Cancer Genomics(剑桥癌症基因组学公司);The University of Cambridge(剑桥大学)
新兴的精确肿瘤学领域依赖于肿瘤分子谱变化的准确定位,以提供个性化的靶向治疗。该领域的当前方法通常包括将下一代测序技术应用于肿瘤样品,然后鉴定DNA中的突变,称为体细胞变体。这些变体与测序错误的区分提出了经典的分类问题,传统上用贝叶斯统计来处理,最近用监督机器学习方法如神经网络来处理。虽然这些方法提供了更高的准确性,但经典的神经网络缺乏指示变异识别的置信度的能力。在本文中,我们探索了深度贝叶斯神经网络对下一代测序数据的性能,以及它们对体细胞变异调用进行概率估计的能力。除了与标准神经网络相比表现出类似的性能外,我们还证明了所得到的输出概率使这些模型更适合于这些模型在现实世界中可能遇到的不同和高度可变的测序数据集。我们的目标是为肿瘤学家提供算法,使模型的确定性更好地反映准确性,以改善临床应用。通过从点估计转移到可靠的置信区间,我们期望由此产生的临床和治疗决策更加稳健,并且更多地了解肿瘤分子谱的潜在现实。
2019-12-06 cs.LG q-bio.GN stat.ML
Safety and Robustness in Decision Making: Deep Bayesian Recurrent Neural Networks for Somatic Variant Calling in Cancer
Cambridge Cancer Genomics(剑桥癌症基因组学公司);The University of Cambridge(剑桥大学)
个体肿瘤的基因组图谱在为给定患者创建个性化癌症治疗策略时可以提供大量信息;这种做法被称为精确肿瘤学。这涉及肿瘤样本的下一代测序和随后的基因组畸变(如体细胞突变)鉴定,以提供靶向治疗的潜在候选者。从测序噪声和种系变异背景中识别这些畸变构成了经典的分类式问题。这在以前已经被许多不同的监督机器学习方法所讨论,包括深度学习神经网络。然而,到目前为止,这些神经网络还没有被定制为在突变呼叫中给出任何置信度的指示,这意味着肿瘤学家可能以低概率为真的突变为目标。为了解决这个问题,我们在这里提出了一个用于癌症变异识别的深度递归神经网络,与标准神经网络相比,它的性能没有下降。这种方法通过不同的先验知识实现了更大的灵活性,以避免对单个数据集的过度拟合。我们将把这种方法整合到肿瘤学家的软件中,以获得安全、可靠和统计上有信心的体细胞突变要求,从而进行精确的肿瘤治疗选择。
2019-12-04 cs.LG q-bio.GN stat.ML
Pathological spectra of the Fisher information metric and its variants in deep neural networks
Artificial Intelligence Research Center, National Institute of Advanced Industrial Science and Technology (AIST)(人工智能研究中心,国立先进工业科学技术研究所(AIST));National Institute of Advanced Industrial Science and Technology (AIST)(国立先进工业科学技术研究所(AIST));RIKEN Center for Brain Science (CBS)(理化学研究所脑科学中心(CBS))
费舍尔信息矩阵作为黎曼度量张量或损失函数的Hessian矩阵的一个分量,在统计学和机器学习中起着重要的作用。针对深度神经网络(DNN)中的神经网络及其变体,我们揭示了当网络具有随机权重且足够宽时,它们的特征尺度依赖于网络宽度、深度和样本量。本研究涵盖了两种广泛使用的FIM,用于线性输出的回归和softmax输出的分类。两种FIM都渐近地显示病理特征值谱,在这个意义上,少数特征值变成大的离群值,这取决于宽度或样本量,而其他的要小得多。这意味着参数空间或损失景观的局部形状在一些特定方向上非常尖锐,而在其他方向上几乎平坦。特别是,softmax输出分散了离群值,并使特征值密度的尾部从主体中扩散。我们还表明,病理光谱出现在其他变体的FIMs:一个是神经正切内核;另一个是一个度量的输入信号和特征空间,所产生的前馈信号传播。因此,我们提供了一个统一的视角,它将导致对大规模DNN中学习的更定量的理解。
2020-09-27 cond-mat.dis-nn cs.LG stat.ML
On Generalization Bounds of a Family of Recurrent Neural Networks
Georgia Tech(佐治亚理工学院);Princeton University(普林斯顿大学)
循环神经网络(RNN)已被广泛应用于序列数据分析。然而,由于其复杂的模型结构,其背后的理论在很大程度上仍然缺失。为了将理论和实践联系起来,我们研究了香草RNN及其变体的泛化特性,包括最小门控单元(MGU),长短期记忆(LSTM)和卷积(Conv)RNN。具体而言,我们的理论是建立在PAC学习框架下。广义界的权重矩阵的谱范数和参数的总数。我们还建立了细化的推广界与额外的范数假设,并得出这些界限之间的比较。我们注意到:(1)我们对vanilla RNN的泛化范围比现有的最佳结果要严格得多;(2)我们不知道现有文献中MGU,LSTM和Conv RNN的任何其他泛化范围;(3)我们证明了这些变体在泛化方面的优势。
2019-11-04 cs.LG stat.ML
Multi-variant COVID-19 model with heterogeneous transmission rates using deep neural networks
Middle Tennessee State University(中田纳西州立大学);King Fahd University of Petroleum and Minerals(法赫德国王石油与矿产大学)
自2021年以来,美国多个州均报告出现COVID-19变异株。在抗击COVID-19的过程中,研究在存在药物和非药物缓解措施的情况下每种变体随时间变化的传播率的异质性已变得至关重要。我们开发了一个易感-暴露-分离-分离的数学模型,以突出B.1.617.2 delta变体和原始SARS-CoV-2在传播方面的差异。讨论了模型适定性的理论结果。利用深度神经网络,并开发深度学习算法来学习每个变量的时变异构传输速率。在美国佛罗里达州、阿拉巴马州、田纳西州和密苏里州的COVID-19变体的数据驱动模拟中,使用误差指标显示了该模型算法的准确性。利用长短期记忆神经网络和自适应神经模糊推理系统对日常病例进行短期预测。
2022-05-13 cs.LG q-bio.PE
Spatio-Temporal Neural Network for Fitting and Forecasting COVID-19
School of Mathematical Sciences, Shanghai Jiao Tong University(上海交通大学数学科学学院);SJTU-Paristech Elite Institute of Technology, Shanghai Jiao Tong University(上海交通大学-巴黎高科精英理工学院);Institute for Data and Decision Analytics, Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳)数据与决策分析研究所);Normandie University(诺曼底大学);INSA Rouen(鲁恩国立应用科学学院);UNIROUEN(鲁昂大学);UNIHAVRE(勒阿弗尔大学);LITIS(信息处理与系统实验室)
我们建立了时空神经网络,即STNN,以预测2020年全球COVID-19疫情的蔓延。STNN的基本结构类似于递归神经网络(RNN),既包含时间数据,又包含空间特征。提出了两种改进的STNN结构,即增强空间状态STNN(STNN-A)和输入门STNN(STNN-I),保证了更高的可预测性和灵活性。可以使用随机梯度下降(SGD)算法及其改进的变体(例如,Adam、AdaGrad和RMSProp)。我们的STNN模型与几个经典的流行病预测模型,包括全连接神经网络(BPNN),递归神经网络(RNN),经典的曲线拟合模型,以及SEIR动力系统模型进行了比较。数值模拟表明,STNN模型优于许多其他提供更准确的拟合和预测,并通过处理空间和时间数据。
2021-03-22 cs.LG stat.ML
Deep neural networks with controlled variable selection for the identification of putative causal genetic variants
Stanford University(斯坦福大学)
深度神经网络(DNN)因其高预测精度已成功应用于许多科学问题,但由于其可解释性差,其在遗传研究中的应用仍然具有挑战性。在本文中,我们考虑了DNN中可扩展的,鲁棒的变量选择问题,用于识别基因组测序研究中假定的因果遗传变异。我们发现DNN中的特征选择具有明显的随机性,这可能会妨碍可解释性并产生误导性结果。我们提出了一个可解释的神经网络模型,稳定使用集成,控制变量选择遗传研究。所提出的方法的优点包括:(1)对遗传变体的非线性效应进行灵活建模以提高统计功效;(2)在输入层中进行多个仿制品以严格控制错误发现率;(3)分层以大幅减少权重参数和激活的数量以提高计算效率;(4)去随机化特征选择以稳定所识别的信号。我们在广泛的模拟研究中评估了所提出的方法,并将其应用于阿尔茨海默病遗传学的分析。我们表明,所提出的方法,与传统的线性和非线性方法相比,可以导致更多的发现。
2021-09-29 cs.LG stat.AP stat.CO
Semi-Blind Spatially-Variant Deconvolution in Optical Microscopy with Local Point Spread Function Estimation By Use Of Convolutional Neural Networks
Idiap Research Institute(伊迪亚普研究所);University of California, Santa Barbara(加州大学圣巴巴拉分校)
我们提出了一种半盲,空间变化的反卷积技术,旨在光学显微镜,结合了局部估计步骤的点扩散函数(PSF)和反卷积使用空间变化,正则化Richardson-Lucy算法。为了以计算上易于处理的方式找到局部PSF图,我们训练卷积神经网络来对合成模糊图像块执行光学参数模型的回归。我们反卷积合成和实验获得的数据,并实现了平均1.00 dB的图像信噪比的改善,相比其他反卷积算法。
2019-05-17 cs.CV cs.LG
Tensorial Recurrent Neural Networks for Longitudinal Data Analysis
The University of Sydney(悉尼大学)
传统的循环神经网络假设向量化数据作为输入。然而,现代科学技术中的许多数据都是以特定的结构出现的,例如张量时间序列数据。为了将循环神经网络应用于这种类型的数据,矢量化过程是必要的,而这种矢量化导致空间或纵向维度的精确信息的丢失。此外,这样的矢量化数据不是用于学习纵向数据的表示的最佳解决方案。在本文中,我们提出了一种新的变形张量神经网络,直接采取张量时间序列数据作为输入。我们称这种新的变体为张量递归神经网络(TRNN)。所提出的TRNN是基于张量Tucker分解。
2017-08-01 cs.CV cs.LG stat.ML
The Mean Dimension of Neural Networks -- What causes the interaction effects?
Bocconi University(博科尼大学)
Owen和Hoyt最近指出,有效维数提供了人工神经网络输入-输出映射的关键结构信息。沿着这条研究路线,这项工作提出了一个估计过程,允许从一个给定的数据集的平均尺寸的计算,而不从外部分布的restering。当特征是独立的时,设计产生总指数,当特征是相关的时,产生总指数的变体。我们证明了这个变体具有零独立性。通过合成数据集,我们分析了平均维度如何逐层演变,以及激活函数如何影响相互作用的大小。然后,我们使用平均维数来研究一些最广泛使用的图像识别卷积架构(LeNet,ResNet,DenseNet)。为了考虑像素相关性,我们建议在添加逆PCA层之后计算平均维度,该逆PCA层允许人们处理不相关的PCA变换特征,而无需重新训练神经网络。我们使用广义总指数来产生热图用于事后解释,并且我们采用PCA转换特征的平均维度来交叉比较人工神经网络结构。结果提供了一些关于跨架构的交互幅度差异的见解,以及关于平均维度在训练期间如何演变的指示。
2022-07-11 cs.LG stat.ML
Scalable Adaptive Stochastic Optimization Using Random Projections
Institute for Machine Learning, Department of Computer Science, ETH Zürich(苏黎世联邦理工学院计算机科学系机器学习研究所);Seminar for Statistics, Department of Mathematics, ETH Zürich(苏黎世联邦理工学院数学系统计研讨班);Disney Research, Zürich(迪士尼研究院苏黎世分院)
自适应随机梯度方法,如AdaGrad,特别是用于训练深度神经网络,已经变得流行起来。最常用和研究的变体保持一个对角矩阵近似的二阶信息,通过积累过去的梯度,用于调整步长自适应。在某些情况下,AdaGrad的全矩阵变体有望获得更好的性能,但在高维情况下,它在计算上不切实际。我们提出了Ada-LR和RadaGrad两个计算效率高的近似全矩阵AdaGrad的基础上随机降维。它们能够捕获特征之间的依赖关系,并实现与全矩阵AdaGrad相似的性能,但计算成本要小得多。我们发现,Ada-LR的遗憾是接近的遗憾,全矩阵AdaGrad可以有一个指数级较小的依赖比对角变量的尺寸。从经验上讲,我们表明,Ada-LR和RadaGrad执行类似的全矩阵AdaGrad。在训练卷积神经网络和递归神经网络的任务中,RadaGrad比对角AdaGrad实现了更快的收敛。
2016-11-21 cs.LG stat.ML
Training Quantised Neural Networks with STE Variants: the Additive Noise Annealing Algorithm
ETH Zürich(苏黎世联邦理工学院);Università di Trento(特伦托大学);Università di Bologna(博洛尼亚大学)
训练量化神经网络(QNN)是一个不可微的优化问题,因为权值和特征由分段常数函数输出。标准的解决方案是应用直通估计器(STE),在推理和梯度计算步骤中使用不同的函数。在文献中已经提出了几种STE变体,旨在最大限度地提高训练网络的任务精度。在本文中,我们分析了STE变体,并研究了它们对QNN训练的影响。我们首先观察到,大多数这样的变体可以建模为阶梯函数的随机调节,虽然这种直观的解释并不新鲜,我们严格的讨论推广到进一步的变体。然后,我们分析QNN混合不同的调节,发现一些适当的同步平滑的每一层地图是必要的,以保证逐点合成收敛到目标不连续函数。基于这些理论见解,我们提出了加性噪声退火(ANA),一种新的算法,训练QNN包括标准STE及其变种作为特殊情况。在CIFAR-10图像分类基准上测试ANA时,我们发现对任务准确性的主要影响不是由于规则的定性形状,而是根据理论结果,网络中使用的不同STE变体的适当同步。
2022-03-21 cs.CV cs.LG
Variants of RMSProp and Adagrad with Logarithmic Regret Bounds
Saarland University(萨尔大学);Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
自适应梯度方法最近已经变得非常流行,特别是因为它们已经被证明在深度神经网络的训练中是有用的。在本文中,我们在在线凸优化的背景下分析了最初用于训练深度神经网络的RMSProp,并显示了$\sqrt{T}$型遗憾边界。此外,我们提出了两个变种SC-Adagrad和SC-RMSProp,我们显示对数遗憾界强凸函数。最后,我们在实验中证明,这些新的变体在强凸函数的优化以及深度神经网络的训练中优于其他自适应梯度技术或随机梯度下降。
2017-11-28 cs.AI cs.CV cs.LG
Why flatness does and does not correlate with generalization for deep neural networks
University of Oxford(牛津大学);Hertford college(赫特福德学院)
损失景观的局部平坦性与深度神经网络(DNN)的更好泛化相关的直觉已经探索了几十年,产生了许多不同的平坦性度量。最近,这种与泛化的联系受到了质疑,因为许多平坦度的度量容易受到参数重新缩放的影响,参数重新缩放任意地改变它们的值而不改变神经网络的输出。在这里,我们表明,此外,一些流行的SGD的变体,如亚当和熵SGD,也可以打破平坦化的相关性。作为平坦度测量的替代方案,我们使用基于函数的图片,并建议使用初始化时贝叶斯先验的对数,$\log P(f)$,作为DNN在训练到零误差后收敛于函数$f$时的泛化预测。对于在测试集上给出零误差的函数,先验与贝叶斯后验成正比。对于图像分类的情况下,我们表明,$\log P(f)$是一个显着更强大的预测比平坦度的措施的推广。虽然局部平坦度测量在参数重新缩放下失败,但作为全局量的先验/后验在重新缩放下保持不变。此外,作为数据复杂性的函数,与泛化的相关性对于SGD的不同变体仍然很好。
2021-06-21 cs.LG stat.ML
Exploring the Back Alleys: Analysing The Robustness of Alternative Neural Network Architectures against Adversarial Attacks
ST Engineering Electronics-SUTD Cyber Security Laboratory(新科工程电子-新加坡科技设计大学网络安全实验室);Singapore University of Technology and Design(新加坡科技设计大学);Ben-Gurion University of the Negev(本-古里安大学);Deutsche Telekom Innovation Laboratories at Ben-Gurion University of the Negev(本-古里安大学德国电信创新实验室)
我们研究人工神经网络(ANN)的替代变体在多大程度上容易受到对抗攻击的影响。我们在三个不同的数据集上分析了原始图像空间中常规随机ANN和脉冲神经网络(SNN)的对抗鲁棒性。我们的实验表明,随机人工神经网络的变种几乎同样容易受到传统的人工神经网络时,面对简单的迭代梯度为基础的攻击,在白盒设置。然而,我们观察到,在黑盒设置,随机人工神经网络比传统的人工神经网络更强大,当面临边界攻击,可转移性和代理攻击。因此,我们提出了改进的攻击和防御机制的随机人工神经网络在黑盒设置。在执行基于代理的黑盒攻击时,可以采用随机模型作为代理,以观察对随机和确定性目标的更高攻击成功率。这种成功可以进一步提高我们提出的方差模仿(VM)代理训练方法,对随机目标。最后,采用防御者的角度来看,我们调查的可行性采用随机切换模型的混合物作为一个可行的硬化机制。我们观察到,这样的方案确实提供了部分硬化。
2020-03-11 cs.LG stat.ML
Predicting clinical significance of BRCA1 and BRCA2 single nucleotide substitution variants with unknown clinical significance using probabilistic neural network and deep neural network-stacked autoencoder
University of Zanjan(赞詹大学);Zanjan University of Medical Sciences(赞詹医科大学)
非同义单核苷酸多态性(Non-synonymous single nucleotide polymorphisms,nsSNPs)是发生在基因编码区的单核苷酸取代,导致蛋白质氨基酸序列改变的现象。研究表明,这些变化可能与疾病有关。因此,研究nsSNPs对蛋白质功能的影响将更深入地了解nsSNPs如何导致疾病。乳腺癌是妇女中最常见的癌症,每年造成最高的癌症死亡率。BRCA 1和BRCA 2是两个主要的肿瘤抑制基因,它们的突变可以增加患乳腺癌的风险。对于癌症的预测和检测,可以使用实验或计算方法,但是与计算方法相比,实验方法非常昂贵且耗时。计算机和计算方法已经使用了30多年。在此,我们试图预测BRCA 1和BRCA 2 nsSNPs的临床意义以及未知的临床意义。从NCBI数据库中检索到近500个具有已知临床意义的BRCA 1和BRCA 2 nsSNP。根据疏水性或亲水性及其在蛋白质二级结构中的作用,将它们分为6组,每组都有分数。数据以自动预测机制,概率神经网络(PNN)和深度神经网络堆叠自动编码器(DNN)可接受的形式准备。通过Jackknife交叉验证,我们表明使用PNN对BRCA 1和BRCA 2的预测准确率分别为87.97%和82.17%,而使用DNN的准确率分别为95.41%和92.80%。训练和测试PNN所需的总处理时间为0.9秒,DNN需要大约7个小时的训练,并且可以立即预测…
2018-05-06 cs.LG physics.comp-ph stat.ML
Physics-Informed Machine Learning for Transformer Condition Monitoring -- Part I: Basic Concepts, Neural Networks, and Variants
University of the Basque Country (UPV/EHU)(巴斯克大学)
本文提出利用神经网络和强化学习提升变压器状态监测的准确性与可靠性,探讨了CNN在多样化数据下的应用及NN在决策控制中的整合方法。
2025-12-20 cs.LG
Stochastic In-Face Frank-Wolfe Methods for Non-Convex Optimization and Sparse Neural Network Training
University of California, Berkeley(加州大学伯克利分校)
Frank-Wolfe方法及其扩展非常适合于提供具有理想结构属性(例如稀疏性或低秩结构)的解决方案。我们引入了一个新的变体的Frank-Wolfe方法,结合Frank-Wolfe步骤和最速下降步骤,以及一个新的修改的“Frank-Wolfe间隙”,以衡量在非凸的情况下收敛。我们进一步扩展这种方法,将在面方向保持结构化的解决方案,以及块坐标步骤,我们证明了计算保证修改后的Frank-Wolfe间隙的所有这些变体。我们特别受到这种方法的应用稀疏属性的神经网络的训练,我们将我们的块坐标方法的问题,$\ell_1$正则化神经网络的训练。我们提出了几个数值实验的结果,人工和真实的数据集证明我们的方法在训练稀疏神经网络的显着改进。
2019-06-09 cs.LG math.OC stat.ML
Training neural networks using Metropolis Monte Carlo and an adaptive variant
Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室);University of Ottawa(渥太华大学);Ghent University(根特大学);Vector Institute for Artificial Intelligence(向量人工智能研究所)
我们研究了零温度的大都会蒙特卡罗算法作为一种工具,通过最小化损失函数来训练神经网络。我们发现,正如理论上所预期的那样,其他作者的经验表明,大都会蒙特卡洛可以训练神经网络的准确性与梯度下降,如果不一定那么快。当神经网络的参数数量很大时,Metropolis算法不会自动失效。当一个神经网络的结构或神经元激活是强异质性时,它可能会失败,我们引入了一个自适应蒙特卡罗算法,aMC,以克服这些限制。蒙特卡罗方法的内在随机性和数值稳定性允许aMC训练深度神经网络和递归神经网络,其中梯度太小或太大而不允许通过梯度下降进行训练。蒙特卡罗方法为训练神经网络提供了基于梯度的方法的补充,允许访问一组不同的网络架构和原理。
2022-08-09 cond-mat.stat-mech cs.LG cs.NE
A VEST of the Pseudoinverse Learning Algorithm
Beijing Normal University(北京师范大学)
在本文中,我们简要回顾了伪逆学习(PIL)算法的基本方案,并提出了一些讨论的PIL,以及它的变种。PIL算法于1995年首次提出,是一种用于多层神经网络的非梯度下降和非迭代学习算法,与基于梯度下降的算法相比具有若干优点。对PIL算法提出了一些新的观点,并指出了神经网络学习任务在实际实现中的几个常见缺陷。此外,我们还证明了所谓的极限学习机是单隐层前馈神经网络的PIL算法的一个简单的变种。
2018-08-16 cs.AI cs.LG stat.ML
Why ReLU Units Sometimes Die: Analysis of Single-Unit Error Backpropagation in Neural Networks
Southern Methodist University(南卫理公会大学)
最近,机器学习中的神经网络在早期处理层中使用整流线性单元(ReLU)以获得更好的性能。训练这些结构有时会导致输出接近零的“死亡ReLU单元”。我们首先通过使用CIFAR-10数据集和两种流行的卷积神经网络架构的变体进行模拟来探索这种情况。我们的探索表明,输出激活概率Pr[y>0]在系统收敛时通常小于0.5,对于不采用跳跃连接的层,并且随着从输入层到输出层的进展,该激活概率趋于减小。使用一个由误差反向传播变体训练的单个ReLU单元的简化模型,然后我们进行统计收敛分析,以探索模型的进化行为。我们的分析描述了死亡ReLU单元的潜在较慢的收敛速度,无论权重如何初始化,这个问题都可能发生。
2018-12-14 cs.LG eess.SP stat.ML
N-ODE Transformer: A Depth-Adaptive Variant of the Transformer Using Neural Ordinary Differential Equations
Department of Applied Mathematics, University of Waterloo(滑铁卢大学应用数学系);University of Waterloo(滑铁卢大学)
我们使用神经常微分方程制定的Transformer,这是深度自适应的意义上说,一个依赖于输入的时间步数的常微分方程求解器的一个变种。我们提出的N-ODE Transformer的目标是研究其深度自适应性是否有助于克服Transformer在处理非局部效应方面的一些特定的已知理论限制。具体来说,我们考虑的简单问题,确定奇偶校验的二进制序列,标准的Transformer具有已知的限制,只能通过使用足够大的层数或注意头克服。然而,我们发现,深度自适应的N-ODE Transformer不提供一个补救措施的奇偶校验问题的固有的非本地性质,并提供解释为什么会这样。接下来,我们通过惩罚ODE轨迹的弧长来实现N-ODE Transformer的正则化,但发现这无法提高N-ODE Transformer在具有挑战性的奇偶性问题上的精度或效率。我们建议未来的研究途径的修改和扩展的N-ODE Transformer,可能会导致提高精度和效率的序列建模任务,如神经机器翻译。
2020-10-22 cs.CL cs.LG
Hyperpruning: Efficient Search through Pruned Variants of Recurrent Neural Networks Leveraging Lyapunov Spectrum
University of Washington(华盛顿大学)
本文提出基于 Lyapunov 谱距离的 LSH 框架,在无需完整训练的情况下早期预测剪枝 RNN 性能,并高效找到超过稠密模型准确率的剪枝变体。
2025-06-09 cs.LG
Towards High Performance, Portability, and Productivity: Lightweight Augmented Neural Networks for Performance Prediction
University of Southern California(南加州大学);US Army Research Lab-West(美国陆军研究实验室西部)
编写高性能代码需要在程序设计语言、编译器优化和硬件知识方面的大量专业知识。这通常会导致生产力和可移植性差,并且对于非程序员领域专家(如物理学家)来说不方便。更理想的是一种高级语言,其中领域专家简单地根据高级操作来指定工作负荷(例如,matrix-multiply(A,B)),并且编译器识别充分利用异构平台的最佳实现。为了创建同时支持生产力、可移植性和性能的编译器,关键在于预测工作负载中包含的主要操作(内核)的各种可用实现(变体)在各种硬件上的性能,以决定(a)应该为工作负载中的每个内核选择哪个变体,以及(b)变体应该在哪个硬件资源上运行。为了实现性能预测,我们提出了轻量级的增强神经网络的内核变体硬件的任意组合。一个关键的创新是利用内核的数学复杂性作为实现更高精度的特征。这些模型是紧凑的,以减少编译时和运行时的训练时间和快速推理。使用少于75个参数的模型,只有250个训练数据实例,我们能够获得3%的低MAPE,在48个内核变体硬件组合上显著优于传统的前馈神经网络。我们进一步证明,我们的变量选择方法可以用于Halide实现,以获得高达1.7倍的加速比Halide的自动调度。
2020-08-30 cs.LG cs.PF
A Bregman Proximal Viewpoint on Neural Operators
Université Jean Monnet Saint-Etienne(圣艾蒂安让·莫奈大学);Sapienza University of Rome(罗马智慧大学);IIT, Genova(热那亚意大利理工学院);UCL, London(伦敦大学学院)
该研究提出从Bregman正则化优化视角理解神经算子,构建了含逆激活算子的Bregman神经算子,实验证明其变体傅里叶神经算子可训练更深更准确的模型。
2026-10-14 cs.LG
Simplified Long Short-term Memory Recurrent Neural Networks: part I
Michigan State University(密歇根州立大学)
我们提出了标准长短期记忆(LSTM)循环神经网络的五种变体,通过均匀减少门控机制中的自适应参数块。为简单起见,我们将这些模型分别称为LSTM 1、LSTM 2、LSTM 3、LSTM 4和LSTM 5。这种参数减少的变体能够加速数据训练计算,并且更适合在受限的嵌入式平台上实现。我们在经典MNIST数据集上比较评估和验证了我们的五个变体模型,并证明这些变体模型与LSTM模型的标准实现相当,同时使用较少的参数。此外,我们观察到,在某些情况下,当使用ReLU非线性时,标准LSTM的准确性性能将在多个时期后下降;然而,相比之下,LSTM 3,LSTM 4和LSTM 5将保持其性能。
2017-07-14 cs.LG cs.NE
Revisiting Random Forests in a Comparative Evaluation of Graph Convolutional Neural Network Variants for Traffic Prediction
University of Toronto(多伦多大学)
本文系统比较了多种图卷积神经网络变体与随机森林在交通预测中的表现,发现随机森林虽不紧凑但性能可比甚至更优,呼吁未来GCNN研究必须纳入随机森林作为基准比较。
2023-05-30 cs.LG
Quantum-Inspired Hybrid Neural Networks for Neural Decoding: A Controlled Ablation Study of Learnable Quantum Sidecar Integration
Reichman University(赖赫曼大学);Dartmouth College(达特茅斯学院);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
本研究通过受控消融实验,探究将PQCs作为残差边载模块集成到ResNet-50中用于神经解码的效果,发现骨干梯度训练投影的量子边载模型可提升准确率,测量引导训练能改善表征几何,且未实现量子计算优势。
2026-08-25 cs.LG quant-ph
Individual Treatment Effect Estimation Through Controlled Neural Network Training in Two Stages
Amazon(亚马逊)
我们开发了一个Cause-Deep神经网络(CDNN)模型,该模型在两个阶段进行训练,以推断单个单元水平的因果影响估计。在没有任何治疗信息的情况下,仅使用阶段1中的治疗前特征,我们学习最能代表结果的协变量的编码。在$2^{nd}$阶段,我们通过引入治疗指标变量以及编码协变量,进一步寻求预测第1阶段的不明结局。我们证明,即使没有显式计算处理残差,我们的方法仍然满足所需的局部奈曼正交性,使其对滋扰参数的小扰动具有鲁棒性。此外,通过与表示学习方法建立联系,我们创建了一个框架,从该框架中可以导出我们算法的多个变体。我们在公开的数据集上进行了初步实验,以比较这些变体,并在选择我们的CDNN方法的最佳变体时获得指导。在三个基准数据集上对CDNN与最先进方法进行评估时,我们观察到CDNN具有很强的竞争力,并且通常会产生最准确的个体治疗效果估计。我们强调了CDNN在可扩展性方面的强大优势。
2022-01-21 cs.LG
Performance of Three Slim Variants of The Long Short-Term Memory (LSTM) Layer
Michigan State University(密歇根州立大学)
长短期记忆(LSTM)层是神经网络和机器学习领域的重要进步,可以实现有效的训练和令人印象深刻的推理性能。基于LSTM的神经网络已经成功地应用于各种应用,例如语音处理和语言翻译。LSTM层可以通过删除某些组件来简化,从而可能加快训练和运行时间,而性能变化有限。特别是,最近推出的变体,称为SLIM LSTM,在初步实验中显示出成功,以支持这一观点。在这里,我们使用标准LSTM和三个SLIM LSTM层对卷积加递归神经网络架构的验证准确性进行了计算分析。我们发现SLIM LSTM层的一些实现可能与我们考虑的架构的标准LSTM层一样好。
2019-01-02 cs.AI cs.LG cs.NE
Simplified Long Short-term Memory Recurrent Neural Networks: part III
Michigan State University(密歇根州立大学)
这是三部分工作的第三部分。在第一部分和第二部分中,我们提出了简化的长短期记忆(LSTM)循环神经网络(RNN)的八种变体。值得注意的是,快速计算,特别是在有限的计算资源,是在处理大的时间序列数据的一个重要因素。在这篇第三部分的论文中,我们提出并评估了两种新的LSTM模型变体,它们大大降低了计算负载,同时保持了与基本(标准)LSTM RNN相当的性能。在这些新的变体中,除了门控信号网络之外,我们还在单元存储器网络中施加(Hadamard)逐点状态乘法。
2017-07-14 cs.LG cs.NE
Learning to play the Chess Variant Crazyhouse above World Champion Level with Deep Neural Networks and Human Data
TU Darmstadt(达姆施塔特工业大学)
深度神经网络已成功应用于学习棋盘游戏围棋,国际象棋和将棋没有先验知识,利用强化学习。虽然从零开始的知识已经被证明会产生令人印象深刻的结果,但它与高计算成本有关,特别是对于复杂的游戏。在本文中,我们提出了CrazyAra,这是一个神经网络为基础的引擎单独训练的监督方式的国际象棋变种crazyhouse。Crazyhouse是一种分支因子比国际象棋更高的游戏,与AlphaGo相比,只有有限的低质量数据可用。因此,我们专注于在多个方面提高效率,同时依赖于低计算资源。这些改进包括神经网络设计和训练配置的修改,数据归一化步骤的引入和更有效的蒙特卡罗树搜索,具有较低的出错机会。经过1.5天的569,537场人类游戏训练,我们实现了60.4%的移动预测准确率。在开发过程中,CrazyAra的版本扮演专业的人类玩家。最值得注意的是,CrazyAra以4比1战胜了2017年疯狂屋世界冠军Justin Tan(又名LM Jann Lee),他比我们训练集中的平均球员高出400多个Elo。此外,我们还测试了CrazyAra在CPU上对2017年第二届Crazyhouse计算机锦标赛所有参赛者的比赛实力,战胜了13名参赛者中的12名。最后,对于CrazyAraFish,我们继续在生成的引擎游戏上训练我们的模型。在10场长时间的控制比赛中,CrazyAraFish赢得了三场比赛,并在十场比赛中取得了一场比赛…
2019-08-22 cs.AI cs.LG
URS: A Unified Neural Routing Solver for Cross-Problem Zero-Shot Generalization
School of Automation and Intelligent Manufacturing, Southern University of Science and Technology, Shenzhen, China(自动化与智能制造学院,南方科技大学,深圳,中国);Guangdong Provincial Key Laboratory of Fully Actuated System Control Theory and Technology, Southern University of Science and Technology, Shenzhen, China(广东省全驱动系统控制理论与技术重点实验室,南方科技大学,深圳,中国);College of Computer Science and Software Engineering, Shenzhen University, Shenzhen, China(计算机科学与软件工程学院,深圳大学,深圳,中国);Department of Computer Science, City University of Hong Kong, Hong Kong SAR, China(计算机科学系,香港城市大学,香港特别行政区,中国);School of Mathematics and Statistics, Xi'an Jiaotong University, Xi'an, China(数学与统计学学院,西安交通大学,西安,中国)
提出URS,一种统一神经路由求解器,通过统一数据表示和混合偏置模块,实现单个模型在110种车辆路径问题变体(含99种未见变体)上的零样本泛化,并支持高达7000节点的规模。
2026-08-12 cs.LG
Adaptive Learning Rate via Covariance Matrix Based Preconditioning for Deep Neural Networks
NTT Software Innovation Center(NTT软件创新中心)
RMSProp等自适应学习率算法广泛用于训练深度神经网络。RMSProp提供了有效的训练,因为它使用一阶梯度来近似基于Hessian的预处理。然而,由于一阶梯度包括由随机优化引起的噪声,因此近似可能不准确。在本文中,我们提出了一种新的自适应学习率算法称为SDProp。其核心思想是通过基于协方差矩阵的预处理来有效地处理噪声。对于各种神经网络,我们的方法是更有效和有效的RMSProp及其变种。
2017-09-28 cs.AI cs.LG stat.ML
Simplified Long Short-term Memory Recurrent Neural Networks: part II
Michigan State University(密歇根州立大学)
这是三部分工作的第二部分。在这里,我们通过进一步减少自适应参数,提出了简化的长短期记忆(LSTM)循环神经网络的第二组相互关联的五种变体。其中两个模型已被介绍在第一部分的这项工作。我们在基准MNIST数据集上评估和验证了我们的模型变体,并断言这些模型与基本LSTM模型相当,同时使用的参数数量逐渐减少。此外,我们观察到,在使用ReLU激活的情况下,当学习参数变得更大时,标准LSTM的测试准确性性能将在多个epoch之后下降。然而,所有新型号的变体都保持了它们的性能。
2017-07-14 cs.LG cs.NE
B-LSTM-MIONet: Bayesian LSTM-based Neural Operators for Learning the Response of Complex Dynamical Systems to Length-Variant Multiple Input Functions
Purdue University(普渡大学)
本文提出B-LSTM-MIONet,将LSTM与多输入深度神经算子结合以处理可变长度实时数据,并通过贝叶斯采样实现不确定性量化,提升含噪数据下的预测精度与可靠性。
2023-11-29 cs.LG cs.NA math.NA
Stable Neural Flows
the University of Tokyo(东京大学);Korean Advanced Institute of Science and Technology(韩国科学技术院);Imperial College London(帝国理工学院)
我们介绍了一个可证明稳定的变种神经常微分方程(神经ODE)的轨迹演变的能量泛函参数化的神经网络。稳定的神经流提供了一个隐式的保证渐近稳定的深度流,导致对输入扰动和低计算负担的数值求解器的鲁棒性。将学习过程转化为一个最优控制问题,并基于伴随灵敏度分析给出了一个近似解。我们进一步介绍了新的正则化设计,以减轻优化过程,加快收敛。所提出的模型类的非线性分类和函数逼近任务进行评估。
2020-03-18 cs.LG math.OC stat.ML
Data-Parallel Neural Network Training via Nonlinearly Preconditioned Trust-Region Method
Università della Svizzera Italiana(瑞士意大利语区大学);UniDistance Suisse(瑞士远程大学);Brown University(布朗大学)
本文提出一种基于数据并行非线性预条件信赖域策略(APTS)的深度神经网络训练方法,在MNIST和CIFAR-10上达到与SGD和Adam相当的精度,同时免去超参数调优。
2025-02-07 cs.LG cs.NA math.NA