Convolutional Normalizing Flows for Deep Gaussian Processes
Tencent(腾讯);National University of Singapore(新加坡国立大学);MIT(麻省理工学院)
深度高斯过程(DGP)是GP模型的分层组合,它成功地提高了单层模型的表达能力。然而,它是不可能执行精确的推理DGP,这激发了最近的发展变分推理为基础的方法。不幸的是,这些方法要么产生有偏见的后验信念,要么很难评估其收敛性。本文介绍了一种新的方法来指定灵活的,任意复杂的,可扩展的近似后验分布。后验分布是通过一个归一化流(NF),通过一系列可逆变换将一个简单的初始概率转换为一个更复杂的概率。此外,开发了一种新的卷积归一化流(CNF),以提高时间效率和捕获层之间的依赖性。实证评估表明,CNF DGP优于最先进的DGP近似方法。
2021-05-26 cs.LG
Graph Convolutional Gaussian Processes
Imperial College London(帝国理工学院)
我们提出了一种新的贝叶斯非参数方法来学习非欧域上的不变性关系。所得到的图卷积高斯过程可以应用于机器学习中的问题,其中输入观测是具有一般图上的域的函数。这些模型的结构允许高维输入,同时保持可表达性,如卷积神经网络的情况。我们目前的应用程序的图形卷积高斯过程的图像和三角形网格,证明其通用性和有效性,相比现有的方法,尽管相对简单的模型。
2019-05-14 cs.CV cs.LG stat.ML
LGD-GCN: Local and Global Disentangled Graph Convolutional Networks
University of Liverpool(利物浦大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
针对DisenGCN仅依赖局部信息导致性能与可解释性受限的问题,提出融合局部与全局信息的LGD-GCN,通过混合建模构建因子特定结构并引入多样性正则项,在节点分类任务上取得更优效果。
2023-12-14 cs.LG
Bayesian Image Classification with Deep Convolutional Gaussian Processes
在决策系统中,重要的是要有分类器,校准的不确定性,优化目标,可用于自动模型选择和培训。高斯过程(GP)提供了不确定性估计和边际似然目标,但它们的弱归纳偏差导致精度较差。这限制了它们在某些任务(例如图像分类)中的适用性。我们提出了一个对平移不敏感的卷积核,它放松了以前卷积GP施加的平移不变性约束。我们展示了如何使用边际似然来学习不敏感的程度。我们还将GP图像到图像的卷积映射重新表述为多输出GP,从而产生深度卷积GP。我们的实验表明,我们的新内核提高了单层和深层模型的性能。我们还证明了我们的完全贝叶斯方法在不确定性和边际似然估计方面优于基于丢弃的贝叶斯深度学习方法。
2020-03-04 cs.LG stat.ML
Calibrating Deep Convolutional Gaussian Processes
EURECOM(欧洲通信学院);University of New South Wales(新南威尔士大学);Columbia University(哥伦比亚大学)
卷积神经网络(CNN)在不确定性决策是基础的应用中的广泛采用,引起了人们对这些模型准确量化其预测中的不确定性的能力的极大关注。以前将CNN与高斯过程(GP)相结合的工作是在假设这些模型的预测概率经过良好校准的情况下开发的。在本文中,我们表明,事实上,目前CNN和GP的组合是错误的。我们提出了一种新的组合,大大优于以前的方法在这方面,同时实现最先进的图像分类任务的性能。
2018-05-26 cs.LG stat.ML
Interrelation of equivariant Gaussian processes and convolutional neural networks
Skobeltsyn Institute of Nuclear Physics, M.V. Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学斯科贝尔琴核物理研究所)
基于神经网络(NN)和高斯过程(GP)之间的关系,目前机器学习(ML)领域出现了相当有前途的新趋势,包括许多相关的子主题,例如,神经网络中的信号传播、神经网络学习曲线的理论推导、ML中的QFT方法等。卷积神经网络(CNN)的一个重要特征是它们关于输入数据的对称变换的等方差(一致性)。在这项工作中,我们建立了CNN等变的多通道限制与向量值神经元激活的二维欧几里德群和相应的独立引入的等变高斯过程(GP)之间的关系。
2022-09-17 cs.AI cs.LG
On the Global Self-attention Mechanism for Graph Convolutional Networks
Rutgers University - New Brunswick(罗格斯大学-新不伦瑞克分校);Department of Computer Science(计算机科学系)
将全局自注意力(GSA)机制应用于特征,在卷积神经网络(CNN)上取得了显著的成功。然而,尚不清楚图卷积网络(GCN)是否可以类似地受益于这种技术。在本文中,受CNN和GCN之间的相似性的启发,我们研究了全局自注意力机制对GCN的影响。我们发现,与直觉一致,GSA机制允许GCN捕获基于特征的顶点关系,而不管边连接;因此,GSA机制可以引入额外的表达能力的GCN。此外,我们分析了GSA机制对过拟合和过平滑问题的影响。我们证明了GSA机制可以缓解过度拟合和过度平滑的问题,基于最近的一些技术发展。在多个基准数据集上的实验表明,GSA增强的GCN具有更好的表达能力,并且不太明显的过拟合和过平滑问题,这证实了直觉和理论结果。
2020-10-21 cs.LG stat.ML
Deep Convolutional Networks as shallow Gaussian Processes
University of Cambridge(剑桥大学)
我们证明了在无限多个卷积滤波器的限制下,具有适当先验的(残差)卷积神经网络(CNN)的输出是一个高斯过程(GP),扩展了密集网络的类似结果。对于一个CNN,等价的核可以被精确地计算出来,并且与"深度核"不同,它的参数非常少:只有原始CNN的超参数。此外,我们表明,这个内核有两个属性,使它能够有效地计算;评估一对图像的内核的成本类似于通过原始CNN的单次前向传递,每层只有一个过滤器。相当于32层ResNet的内核在MNIST上获得了0.84%的分类错误,这是具有可比数量参数的GP的新记录。
2019-05-05 cs.LG stat.ML
Pulmonary Disease Classification Using Globally Correlated Maximum Likelihood: an Auxiliary Attention mechanism for Convolutional Neural Networks
卷积神经网络(CNN)现在被广泛用于分类和检测胸部X线照片中的肺部异常。CNN的两个互补的泛化特性,平移不变性和等变性,在检测与肺部疾病相关的明显异常时特别有用,无论它们在图像中的空间位置如何。然而,这些属性也伴随着在局部区域中检测到的异常的精确空间信息和全局相对位置的丢失。这些异常的全球相对位置可能有助于区分类似的情况,如COVID-19和病毒性肺炎。在这种情况下,需要一种全局注意力机制,而CNN在其传统架构中不支持这种机制,这些架构旨在通过平移不变性和等变性提供泛化。视觉Transformer提供了一种全局注意力机制,但缺乏平移不变性和等变性,需要更多的训练数据样本来匹配CNN的泛化。为了解决空间信息的丢失和特征之间的全局关系,同时保留CNN的归纳偏差,我们提出了一种新的技术,作为现有CNN架构的辅助注意力机制,以提取显着特征之间的全局相关性。
2021-09-01 cs.CV cs.LG
Rubik's Cube Operator: A Plug And Play Permutation Module for Better Arranging High Dimensional Industrial Data in Deep Convolutional Processes
卷积神经网络(CNN)从空间、时间和系统动力学的角度集成了分布式工业系统的数据记录,已被广泛应用于基于张量输入的工业数据处理。然而,与图像不同,基于工业数据的张量中的信息不一定是空间有序的。因此,直接应用CNN无效。为了解决这个问题,我们提出了一个即插即用模块,即Rubik's Cube Operator(RCO),在CNN处理之前,自适应地将基于工业数据的张量的数据组织排列为最优或次优的属性顺序,这些属性可以通过基于梯度的优化器与后续CNN一起更新。建议的RCO维护K个二进制和右随机置换矩阵,以置换基于张量的输入工业数据的K个轴的属性。提出了一种新的学习方法,利用Gumbel-Softmax对置换矩阵的元素进行重新参数化,并在任务特定的损失中加入软正则化损失,以保证置换数据的特征多样性。我们通过考虑两个代表性的学习任务,通过CNN处理工业数据,风力发电预测(WPP)和风速预测(WSP)从可再生能源领域验证了所提出的RCO的有效性。基于不同风电场采集的4个数据集进行了计算实验,结果表明,该RCO能显著提高基于CNN网络的性能。
2022-03-24 cs.LG
Predicting Global Variations in Outdoor PM2.5 Concentrations using Satellite Images and Deep Convolutional Neural Networks
McGill University(麦吉尔大学);Element AI(Element AI公司)
在这里,我们提出了一种新的方法,估计全球变化的室外PM $_{2.5}$浓度使用卫星图像结合地面测量和深度卷积神经网络。具体而言,新的深度学习模型在全球PM $_{2.5}$浓度范围($<$ 1-436 $μ$ g/m $^3$)上进行了训练,使用了与世界卫生组织提供的地面PM $_{2.5}$测量值配对的大型卫星图像数据库。最终的模型选择是基于对卷积基础的知名架构的系统评估,包括InceptionV 3,Xception和VGG 16。Xception架构表现最好,最终全局模型在不相交测试集中的均方根误差(RMSE)值为13.01 $μ$ g/m $^3$(R $^2$ =0.75)。我们新的全球模型(称为IMAGE-PM $_{2.5}$)的预测性能与全球疾病负担研究中使用的当前最先进的模型相似,但仅依赖于卫星图像作为输入。因此,IMAGE-PM $_{2.5}$模型为估算长期平均PM $_{2.5}$浓度的全球变化提供了一种快速、具有成本效益的方法,对于没有地面监测数据或详细排放清单的地区可能特别有用。IMAGE-PM $_{2.5}$模型可用作全球暴露估计的独立方法,或纳入更复杂的分层模型结构。
2019-06-01 cs.LG eess.IV
Convolutional Conditional Neural Processes
University of Cambridge(剑桥大学);Invenia Labs(因维尼亚实验室);Microsoft Research(微软研究院)
我们介绍卷积条件神经过程(ConvCNP),这是神经过程家族的新成员,它对数据中的平移等方差进行建模。平移等方差是一个重要的归纳偏差的许多学习问题,包括时间序列建模,空间数据和图像。该模型将数据集嵌入到无限维函数空间中,而不是有限维向量空间。为了形式化这一概念,我们扩展了集合的神经表示理论,以包括函数表示,并证明任何反等变嵌入都可以使用卷积深集表示。我们在几种环境中评估了ConvCNP,证明与现有的NP相比,它们实现了最先进的性能。我们证明,在翻译等方差建设使zero-shot推广具有挑战性的,域外的任务。
2020-06-25 cs.LG stat.ML
Graph Convolutional Gaussian Processes For Link Prediction
Department of Computer Science and Technology, University of Cambridge(剑桥大学计算机科学与技术系)
链接预测旨在揭示图中缺失的边。我们通过高斯过程来解决这个任务,该过程使用简化的图卷积进行变换,以更好地利用域的归纳偏差。为了将高斯过程模型扩展到大型图,我们引入了一种变分诱导点方法,该方法将伪输入放置在图结构域上。我们评估了我们的模型上八个大图与多达数千个节点和报告一致的改进,现有的高斯过程模型以及竞争力的性能相比,最先进的图神经网络方法。
2020-02-11 cs.LG stat.ML
Exploring Convolutional Neural Processes for Weather Downscaling
ETH Zürich(苏黎世联邦理工学院)
该项目研究卷积条件神经过程用于将ERA5-Land每日最高气温从约11公里分辨率降尺度到瑞士约1公里分辨率,基于特定架构改进,最佳模型效果良好,还做了消融研究,指出关键挑战。
2026-07-07 cs.LG
Convex Relaxations of Convolutional Neural Nets
Stanford University(斯坦福大学)
我们提出了一个隐藏层的卷积神经网络的凸松弛输出权重是固定的。对于凸激活函数,如整流线性单元,松弛是凸二阶锥规划,可以非常有效地解决。我们证明了放松恢复种植模型假设下的全局最小值,从高斯分布给出足够多的训练样本。我们还确定了一个相变现象,在恢复全球最低的放松。
2018-12-31 cs.LG stat.ML
Convolutional conditional neural processes for local climate downscaling
University of Cambridge(剑桥大学);British Antarctic Survey(英国南极调查局);The Alan Turing Institute(艾伦·图灵研究所)
提出了一个新的模型,用于多站点的温度和降水的统计降尺度使用卷积条件神经过程(convCNPs)。ConvCNP是最近开发的一类模型,允许将深度学习技术应用于离网时空数据。该模型与现有的降尺度方法相比具有显著的优点,因为训练的模型可以用于在任意位置集合处生成多站点预测,而不管训练数据的可用性。convCNP模型表现出优于现有的降尺度技术在欧洲的集成的温度和降水采取的价值相互比较项目。该模型还优于使用高斯过程在看不见的位置插入单站点降尺度模型的方法。重要的是,在极端降水事件的代表性方面有了实质性的改善。这些结果表明,convCNP是一个强大的降尺度模型,适用于生成局部预测用于气候影响研究,并激励进一步研究深度学习技术在统计降尺度的应用。
2021-01-20 cs.LG physics.ao-ph
GP-ConvCNP: Better Generalization for Convolutional Conditional Neural Processes on Time Series Data
German Cancer Research Center(德国癌症研究中心)
神经过程(Neural Processes,NP)是一系列条件生成模型,它们能够对函数上的分布进行建模,从而允许它们在测试时以多个上下文点为条件进行预测。最近加入这个家族的卷积条件神经过程(ConvCNP)在性能上比现有技术有了显着的改进,但我们发现它们在应用于时间序列数据时有时很难推广。特别是,它们对分布偏移不稳健,并且无法将观察到的模式外推到未来。通过将高斯过程纳入模型,我们能够弥补这一点,同时提高分布内的性能。作为一个额外的好处,高斯过程重新引入了从模型中采样的可能性,这是NP家族其他成员的一个关键特征。
2021-06-11 cs.AI cs.LG stat.ML
Convolutional Conditional Neural Processes
University of Cambridge(剑桥大学);Christ’s College(基督学院)
本研究针对神经过程的效率、依赖建模与灵活性问题,提出ConvNPs、GNPs、AR CNPs三类改进模型及组合式软件抽象,推动神经过程在多领域的应用。
2024-08-18 cs.LG stat.ML
Graph Convolutional Neural Networks with Diverse Negative Samples via Decomposed Determinant Point Processes
Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学);Australian Catholic University(澳大利亚天主教大学)
本文提出基于行列式点过程(DPP)质量-多样性分解的图卷积网络方法,通过结合图结构和节点表示获取多样化负样本,并采用基于最短路径的方法提升计算效率,有效提高了节点分类性能并缓解过平滑问题。
2023-09-06 cs.LG
Deep Gaussian Processes with Convolutional Kernels
Indian Institute of Technology, Hyderabad(印度理工学院海得拉巴分校);Amazon Research(亚马逊研究院)
深度高斯过程(DGP)为标准参数深度学习模型提供了贝叶斯非参数替代方案。DGP是通过堆叠多个GP而形成的,从而导致函数的良好正则化组合。贝叶斯框架为模型提供了有吸引力的属性,例如隐式容量控制和预测不确定性,同时也使其与卷积结构相结合具有挑战性。这阻碍了DGP在计算机视觉任务中的应用,这是深度参数模型(即CNN)取得突破的领域。DGP中使用的标准内核(如径向基函数(RBF))不足以处理原始图像中的像素变化。在本文中,我们在最近的卷积GP的基础上开发了卷积DGP(CDGP)模型,该模型通过使用卷积核有效地捕获图像级特征,从而开辟了将DGP应用于计算机视觉任务的途径。我们的模型学习局部空间影响,并在多类图像分类上优于基于强GP的基线。我们还考虑了卷积核在图像块上的各种构造,分析了计算权衡,并为卷积DGP模型提供了一个有效的框架。在MNIST、矩形图像、CIFAR10和Caltech101等图像数据上的实验结果表明了所提方法的有效性。
2018-06-05 cs.AI cs.LG stat.ML
Classifying Variable-Length Audio Files with All-Convolutional Networks and Masked Global Pooling
Institute for Signal Processing, University of Luebeck(吕贝克大学信号处理研究所);Graduate School for Computing in Medicine and Life Sciences, University of Luebeck(吕贝克大学医学与生命科学计算研究生院)
在DCASE-2016竞赛中,我们训练了一个具有掩码全局池的深度全卷积神经网络,用于声学场景分类的单标签分类和国内音频标记的多标签分类。我们的网络在声学场景识别的四重交叉验证上实现了84.5%的平均准确率,而提供的基线为72.5%,国内音频标记的平均相等出错率为0.17,而基线为0.21。因此,该网络将基线分别提高了17%和19%。该网络仅由卷积层和一个全局池化层组成,卷积层用于从短时傅立叶变换中提取特征,全局池化层用于组合这些特征。特别地,除了全连接输出层之外,它既不具有全连接层,也不具有丢弃层。
2016-07-11 cs.LG cs.MM cs.NE
Convolutional Neural Processes for Inpainting Satellite Images
Imperial College London(伦敦帝国理工学院)
卫星图像的广泛可用性使研究人员能够对疾病动态等复杂系统进行建模。然而,由于测量缺陷,许多卫星图像有缺失值,这使得它们在没有数据填补的情况下无法使用。例如,LANDSAT 7号卫星的扫描线校正器在2003年发生故障,造成约20%的数据丢失。修复涉及基于已知像素预测丢失的内容,这是图像处理中的一个老问题,通常基于偏微分方程或插值方法,但最近的深度学习方法已经显示出希望。然而,其中许多方法并没有明确考虑到卫星图像固有的时空结构。在这项工作中,我们将卫星图像修补作为一个自然的元学习问题,并建议使用卷积神经过程(ConvNP),其中我们将每个卫星图像作为自己的任务或2D回归问题。我们表明ConvNP可以在LANDSAT 7卫星图像的扫描线修复问题上优于经典方法和最先进的深度学习修复模型,并在各种分布图像上进行评估。
2022-05-24 cs.CV cs.LG
Intensity-free Convolutional Temporal Point Process: Incorporating Local and Global Event Contexts
University of Electronic Science and Technology of China(电子科技大学)
针对现有时间点过程(TPP)模型忽略局部事件上下文的问题,提出结合连续时间卷积编码器与RNN的新框架,融合局部与全局上下文,提升了事件预测准确率。
2023-06-24 cs.AI cs.LG cs.SI
Workpiece Image-based Tool Wear Classification in Blanking Processes Using Deep Convolutional Neural Networks
Technical University of Darmstadt(达姆施塔特工业大学)
针对冲裁工艺中刀具磨损影响产品质量、易引发停机的问题,本研究提出用冲裁工件图像作为深度卷积神经网络输入来分类刀具磨损状态,实现了高预测准确率,为该类工艺的磨损监测提供了新路径。
2021-07-26 cs.LG eess.IV stat.ML
Infinitely Wide Graph Convolutional Networks: Semi-supervised Learning via Gaussian Processes
Inception Institute of Artificial Intelligence(初创人工智能研究所);Aalborg University(奥尔堡大学)
图卷积神经网络~(GCNs)在基于图的半监督分类中取得了很好的效果,但对其理论性质的研究还很少。最近,几种深度神经网络,例如,本文证明了具有无限隐单元的全连通和卷积神经网络与高斯过程GP是等价的。为了利用GCN的强大的表征能力和GP的巨大表达能力,我们研究了无限宽GCN的类似性质。更具体地说,我们提出了一个基于GCN ~(GPGC)的GP回归模型,用于基于图的半监督学习。在这个过程中,我们制定的核矩阵计算的GPGC的迭代解析形式。最后,我们推导出一个条件分布的未观察到的节点的标签的基础上的图形结构,标签的观察到的节点,和所有节点的特征矩阵。我们进行了大量的实验来评估GPGC的半监督分类性能,并证明它在所有数据集上都明显优于其他最先进的方法,同时效率很高。
2020-02-26 cs.CV cs.LG stat.ML
Multi-GCN: Graph Convolutional Networks for Multi-View Networks, with Applications to Global Poverty
University of California, Berkeley(加州大学伯克利分校)
随着移动电话网络在发展中国家的迅速扩张,大规模图形机器学习在全球贫困研究中突然变得重要起来。最近的应用范围从人道主义反应和贫困估计到城市规划和流行病遏制。然而,这些应用中使用的绝大多数计算工具和算法都没有考虑到社交网络的多视图性质:人们以无数方式相关,但大多数图学习模型将关系视为二元关系。在本文中,我们开发了一种基于图的卷积网络,用于在多视图网络上学习。我们表明,这种方法优于国家的最先进的半监督学习算法在三个不同的预测任务,使用手机数据集从三个不同的发展中国家。我们还表明,虽然专为贫困研究而设计,但该算法在多视图网络上的更广泛的学习任务(包括引文网络中的节点标记)上的性能也优于现有的基准。
2019-01-31 cs.LG cs.SI stat.ML
Score-CDM: Score-Weighted Convolutional Diffusion Model for Multivariate Time Series Imputation
Central South University(中南大学);Aalborg University(奥尔堡大学);The Hong Kong Polytechnic University(香港理工大学);National University of Defense Technology(国防科技大学)
针对多元时间序列插补中局部与全局时间特征难以自适应权衡的问题,提出分数加权卷积扩散模型Score-CDM,通过分数图与自适应感受野模块平衡特征,在三个真实数据集上验证了有效性。
2024-05-21 cs.LG
Learning the Representations of Moist Convection with Convolutional Neural Networks
National Taiwan University(台湾大学)
大气湿对流由于其物理过程的复杂性以及不同时空尺度下过程之间的相互作用,一直是大气环流模式中最具挑战性的研究课题之一。本研究提出了一种新的方法来预测湿对流对环境的影响,使用卷积神经网络。在考虑灰色区域分辨率中相邻网格之间物理场梯度的帮助下,与其他机器学习模型预测的效果相比,卷积神经网络预测的潮湿对流的效果更真实。结果还表明,本文提出的方法有可能取代传统的积云参数化方法。
2019-05-23 cs.LG physics.ao-ph
Multi-Task Gaussian Processes and Dilated Convolutional Networks for Reconstruction of Reproductive Hormonal Dynamics
Columbia University(哥伦比亚大学);New York University(纽约大学);University of Colorado(科罗拉多大学)
我们提出了一个端到端的统计框架,用于个性化,准确和微创的女性生殖激素模式建模。重建和预测激素动力学的演变是一项具有挑战性的任务,但对于改善对月经周期的一般理解和对潜在健康问题的个性化检测至关重要。我们的目标是推断和预测随着时间的推移个体激素的每日水平,同时适应务实和微创的测量设置。为此,我们的方法结合了概率生成模型的强大功能(即,多任务高斯过程)与神经网络的灵活性(即,扩张的卷积架构)来学习复杂的时间映射。为了用尽可能少的数据实现精确的激素水平重建,我们提出了一种在有限的采样预算下实现最佳重建精度的采样机制。我们的研究结果表明,我们提出的激素动态建模框架的有效性,因为它提供了准确的预测性能在不同的现实采样预算和优于基线方法。
2019-08-27 cs.LG stat.AP stat.ML
Ionospheric activity prediction using convolutional recurrent neural networks
ONERA, The French Aerospace Lab(法国航空航天实验室(ONERA));Irfu, CEA(法国原子能和替代能源委员会(CEA)萨克雷核研究中心(Irfu));Université Paris-Saclay(巴黎萨克雷大学);BCG (The Boston Consulting Group)(波士顿咨询集团(BCG))
电离层电磁活动是卫星通信、全球导航卫星系统(GNSS)和其他重要空间应用质量的一个主要因素。能够在全球范围内预测总电子含量(TEC)将能够更好地预测潜在的性能下降。一些研究已经提出了能够预测局部TEC的模型,但大多数都不能在全球范围内预测。由于大量的记录,过去的TEC地图公开,我们提出了一种基于深度神经网络(DNN)的方法来预测一系列的全球TEC地图连续的输入序列的TEC地图,而不引入任何先验知识以外的地球自转周期。通过结合几个国家的最先进的架构,所提出的方法是有竞争力的TEC预测与以前的作品,同时预测全球的TEC。
2018-11-06 cs.CV cs.LG
Global Attention based Graph Convolutional Neural Networks for Improved Materials Property Prediction
University of South Carolina(南卡罗来纳大学);Guizhou University(贵州大学)
机器学习(ML)方法在探索和开发新材料方面越来越受欢迎。更具体地说,图神经网络(GNN)已被应用于预测材料性能。在这项工作中,我们开发了一种新的模型,GATGNN,用于预测无机材料性能的基础上,由多个图形注意层(GAT)和一个全局注意层的图形神经网络。通过GAT层的应用,我们的模型可以有效地学习每个原子的局部邻域内的原子之间共享的复杂键。随后,全局注意力层提供无机晶体材料中每个原子的权重系数,这些权重系数用于显著改善我们的模型的性能。值得注意的是,随着我们的GATGNN模型的发展,我们表明我们的方法能够超越以前模型的预测,并提供对材料结晶的深入了解。
2020-03-11 cond-mat.mtrl-sci cs.LG physics.comp-ph
Geometrical aspects of lattice gauge equivariant convolutional neural networks
Chalmers University of Technology(查尔姆斯理工大学);TU Wien(维也纳工业大学)
格点规范等变卷积神经网络(L-CNN)是一种卷积神经网络的框架,可以应用于非阿贝尔格点规范理论,而不违反规范对称性。我们演示了L-CNN如何配备全局组等方差。这使我们能够扩展的配方是等变的,不仅在翻译,但在全球晶格对称性,如旋转和反射。此外,我们提供了一个几何公式的L-CNN,并显示如何在L-CNN卷积出现作为一个特殊的情况下规范等变神经网络SU($N$)的主丛。
2023-03-20 cs.LG hep-lat stat.ML
Non-Parametric Variational Inference with Graph Convolutional Networks for Gaussian Processes
Tufts University(塔夫茨大学)
当处理大数据集时,具有非高斯噪声的GP模型的推断在计算上昂贵。许多最近的推理方法近似后验分布与一个更简单的分布定义在少数诱导点。只有当数据点与这些诱导点具有强相关性时,推断才是准确的。在本文中,我们考虑的推理问题在不同的方向:GP函数值的后验大多是相关的短距离。我们构造了一个变分分布,使得对数据点的推断仅考虑其邻域。通过这种构造,变分下界是高度可分解的,因此我们可以用非常小的批量运行随机优化。然后,我们训练图卷积网络作为一个可重用的模型,以确定每个数据点的变分参数。模型重用大大减少了优化中所需的参数数量和迭代次数。所提出的方法显着加快了推理,往往比以前的方法得到更准确的结果。
2018-09-08 cs.AI cs.LG stat.ML
ContextNet: Improving Convolutional Neural Networks for Automatic Speech Recognition with Global Context
Google Inc.(谷歌公司)
卷积神经网络(CNN)在端到端语音识别方面已经显示出有希望的结果,尽管在性能上仍然落后于其他最先进的方法。在本文中,我们研究如何弥合这一差距,并超越一种新的CNN-RNN-transducer架构,我们称之为ContextNet。ContextNet具有完全卷积编码器,通过添加挤压和激励模块将全局上下文信息纳入卷积层。此外,我们提出了一个简单的缩放方法,缩放的ContextNet的宽度,实现良好的计算和准确性之间的权衡。我们证明,在广泛使用的LibriSpeech基准测试中,ContextNet在没有外部语言模型(LM)的情况下实现了2.1%/4.6%的单词错误率(WER),LM为1.9%/4.1%,在干净/嘈杂的LibriSpeech测试集上只有10 M参数时为2.9%/7.0%。相比之下,之前发布的最佳系统在LM参数下为2.0%/4.6%,在20 M参数下为3.9%/11.3%。所提出的ContextNet模型的优越性也在一个更大的内部数据集上得到了验证。
2020-05-16 cs.CL cs.LG cs.SD
Holographic Global Convolutional Networks for Long-Range Prediction Tasks in Malware Detection
University of Maryland, Baltimore County(马里兰大学巴尔的摩郡分校);Booz Allen Hamilton(博兹艾伦汉密尔顿公司);Laboratory for Physical Sciences(物理科学实验室)
针对恶意软件检测的长程预测问题,提出全局全息卷积网络(HGConv),利用HRR特性进行特征编解码,无需复杂核计算,在多个基准上达到SOTA且具有对数线性复杂度的高效扩展性。
2024-03-23 cs.AI cs.CR cs.LG
Time Series Forecasting via Semi-Asymmetric Convolutional Architecture with Global Atrous Sliding Window
Peking University(北京大学)
本文提出的方法是为了解决时间序列预测问题。虽然一些设计精巧的模型取得了很好的预测效果,但如何提取更多有用的信息并做出准确的预测仍然是一个悬而未决的问题。大多数现代模型只关注短期信息,这对于需要捕捉长期信息特征的时间序列预测等问题来说是致命的。因此,这项工作的主要关注点是进一步挖掘时间序列中包含的局部和全局信息之间的关系,以产生更精确的预测。在本文中,令人满意地实现这一目的,我们做了三个主要的贡献,实验验证具有性能优势。首先,原始时间序列被转换成差分序列作为输入到所提出的模型。其次,在预测模型中引入全局atrous滑动窗口,引入模糊时间序列的概念,将相关的全局信息与一定时间段内的时态数据相关联,并利用中心双向atrous算法捕获潜在的相关特征,保证捕获数据的有效性和一致性。第三,设计了广泛使用的非对称卷积的变体,称为半非对称卷积,以更灵活地提取相邻元素之间的关系以及相应的关联全局特征,并且在垂直和水平方向上具有可调的卷积范围。本文提出的模型在大多数时间序列数据集上与竞争对手的现代模型相比达到了最先进的水平。
2023-01-31 cs.AI cs.LG
What Makes Convolutional Models Great on Long Sequence Modeling?
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Princeton University(普林斯顿大学);Microsoft Research(微软研究院)
卷积模型在多个领域得到了广泛的应用。然而,大多数现有模型仅使用局部卷积,使得模型无法有效地处理长程依赖。注意力通过聚集全局信息克服了这个问题,但也使计算复杂性与序列长度成二次方。最近,Gu等人[2021]受状态空间模型的启发,提出了一种称为S4的模型。S4可以有效地实现为一个全局卷积模型,其内核大小等于输入序列长度。S4可以建模比Transformers长得多的序列,并在几个远程任务上实现了SoTA的显著增益。尽管S4在经验上取得了成功,但它也参与其中。它需要复杂的参数化和初始化方案。因此,S4不太直观,也很难使用。在这里,我们的目标是揭开S4的神秘面纱,并提取有助于S4作为全局卷积模型取得成功的基本原则。我们专注于卷积核的结构,并确定S4所享有的两个关键但直观的原则,这些原则足以构成有效的全局卷积模型:1)卷积核的参数化需要有效,因为参数的数量应该随序列长度呈次线性扩展。2)核需要满足衰减结构,即与较近的邻居卷积的权重大于较远的邻居。基于这两个原则,我们提出了一个简单而有效的卷积模型,称为结构化全局卷积(SGConv)。SGConv在几个任务上表现出强大的经验性能:1)由于速度更快,SGConv在长距离竞技场和语音命令数据集上超过了S4。2)当将SGConv插入标准语言和视觉模型时,它显示出提高效率和性能的潜力。
2022-10-17 cs.AI cs.CV cs.LG
An Entropy-guided Reinforced Partial Convolutional Network for Zero-Shot Learning
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);University of California San Diego(加州大学圣迭戈分校);RMIT University(皇家墨尔本理工大学)
零样本学习(Zero-Shot Learning,简称ZRL)旨在通过语义相关性将学习到的知识从观察到的类转移到看不见的类。一个有前途的策略是学习一个全局-局部表示,它将全局信息与额外的局部信息(即,输入的小部分/区域)。然而,现有的方法发现地方的基础上明确的功能,而不深入的内在属性和区域之间的关系。在这项工作中,我们提出了一种新的熵引导的增强部分卷积网络(ERPCNet),它提取和聚合的地方逐步基于语义相关性和视觉相关性没有人类注释的区域。ERPCNet使用增强的部分卷积和熵指导;它不仅动态地发现全局合作的位置,而且收敛速度更快,以实现策略梯度优化。我们在四个基准数据集上进行了广泛的实验,通过与ZSL和广义零样本学习(GZSL)设置下的最先进方法进行比较来证明ERPCNet的性能。我们还表明ERPCNet是时间效率和可解释的可视化分析。
2021-11-03 cs.CV cs.LG
Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks
Peking University(北京大学);Momenta
滤波器修剪是加速和压缩卷积神经网络(CNN)的最有效方法之一。在这项工作中,我们提出了一种称为Gate Decorator的全局过滤器修剪算法,该算法通过将其输出乘以通道缩放因子(即门)来转换香草CNN模块。当比例因子设置为零时,相当于删除相应的滤波器。我们使用泰勒展开来估计由将比例因子设置为零引起的损失函数的变化,并将该估计用于全局滤波器重要性排名。然后我们通过删除那些不重要的过滤器来修剪网络。修剪后,我们将所有的缩放因子合并到其原始模块中,因此没有引入特殊的操作或结构。此外,我们提出了一个迭代修剪框架称为滴答,以提高修剪精度。大量的实验证明了我们的方法的有效性。例如,我们在ResNet-56上实现了最先进的剪枝率,减少了70%的FLOP,而没有明显的准确性损失。对于ImageNet上的ResNet-50,我们的修剪模型具有40%的FLOP减少,在top-1准确度方面优于基线模型0.31%。使用各种数据集,包括CIFAR-10,CIFAR-100,CUB-200,ImageNet ILSVRC-12和PASCAL VOC 2011。代码可在github.com/youzhonghui/gate-decorator-pruning上获得
2019-09-18 cs.CV cs.LG eess.IV
A Gaussian Process perspective on Convolutional Neural Networks
Dipartimento di Matematica, Università di Bologna(博洛尼亚大学数学系)
在本文中,我们将众所周知的卷积神经网络投射到高斯过程的角度。通过这种方式,我们希望对卷积网络的性能有更多的了解,特别是了解在什么情况下它们往往表现良好,以及在网络中隐含了什么假设。虽然对于全连接网络,收敛到高斯过程的特性已经被广泛研究,但对于卷积网络的输出接近多元正态分布的情况知之甚少。
2019-01-09 cs.LG stat.ML
Analysis of the rate of convergence of an over-parametrized convolutional neural network image classifier learned by gradient descent
Technische Universität Darmstadt(达姆施塔特工业大学);Concordia University(康考迪亚大学)
该研究针对带全局平均池化层的过参数化卷积神经网络图像分类场景,分析梯度下降训练下的收敛特性,推导了其误分类风险与最优值差值的收敛速率界。
2024-05-13 cs.LG stat.ML
Central limit theorems for the outputs of fully convolutional neural networks with time series input
本文研究全卷积神经网络在时间序列输入下的输出分布,证明在短程依赖线性过程中,使用全局平均池化层的输出渐近正态,且随观测时间序列长度趋于无穷时极限成立,提出改进的全局加权池化方法。
2026-03-31 cs.LG stat.ME
Improving data-driven global weather prediction using deep convolutional neural networks on a cubed sphere
University of Washington(华盛顿大学);Microsoft Research(微软研究院)
我们提出了一个显着改进的数据驱动的全球天气预报框架,使用深度卷积神经网络(CNN)来预测全球网格上的几个基本大气变量。该框架的新发展包括离线体积保守映射到立方体球体网格,对CNN架构的改进,以及预测序列中多个步骤的损失函数的最小化。立方体球体重新映射最小化在其上执行卷积操作的立方体面上的失真,并且为CNN中的填充提供自然边界条件。我们改进的模型产生的天气预报是无限稳定的,并产生现实的天气类型在几个星期或更长的提前时间。对于中短期预报,我们的模型显着优于持久性,气候学和粗分辨率动力数值天气预报(NWP)模式。毫不奇怪,我们的预测比高分辨率的最先进的业务NWP系统更差。我们的数据驱动模型能够学习从几个输入大气状态变量预测复杂的地面温度模式。在年度时间尺度上,我们的模型产生了一个现实的季节性周期,仅由大气层顶太阳强迫的规定变化驱动。虽然目前它的准确性低于业务天气预报模型,但我们的数据驱动的CNN执行速度比这些模型快得多,这表明机器学习可能被证明是大型集合预报的宝贵工具。
2020-03-15 cs.LG physics.ao-ph stat.ML
A Novel Global Spatial Attention Mechanism in Convolutional Neural Network for Medical Image Classification
The Hong Kong Polytechnic University(香港理工大学);The University of Tokyo(东京大学)
空间注意力已经被引入到卷积神经网络(CNN)中,以提高其在包括图像分类在内的视觉任务中的性能和可解释性。空间注意力的本质是学习一个权重图,它代表了同一层或通道内激活的相对重要性。所有现有的注意力机制都是局部注意力,因为权重图是图像特定的。然而,在医学领域中,存在所有图像应当共享相同权重图的情况,因为图像集合记录与相同对象相关的相同种类的症状,从而共享相同的结构内容。因此,在本文中,我们提出了一种新的CNN全局空间注意力机制,主要用于医学图像分类。全局权重图由重要像素和不重要像素之间的决策边界实例化。我们提出了一种用二元分类器来实现决策边界的方法,在二元分类器中,每一个像素点上所有图像的亮度都是该像素点的特征。二进制分类被集成到图像分类CNN中,并且将与CNN一起被优化。在两个医学图像数据集和一个面部表情数据集上的实验表明,使用所提出的注意力,不仅可以提高GoogleNet,VGG,ResNet和DenseNet这四个强大的CNN的性能,而且可以获得有意义的关注区域,这有利于理解某个领域的图像内容。
2020-07-31 cs.CV cs.LG eess.IV
Multi-Resolution Fully Convolutional Neural Networks for Monaural Audio Source Separation
University of Surrey(萨里大学)
在具有卷积层的深度神经网络中,每一层通常具有固定大小/单一分辨率的感受野(RF)。具有大RF的卷积层从输入特征捕获全局信息,而具有小RF大小的层从输入特征捕获具有高分辨率的局部细节。在这项工作中,我们引入了新的深度多分辨率全卷积神经网络(MR-FCNN),其中每一层都有不同的RF大小来提取多分辨率特征,这些特征从其输入特征中捕获全局和局部细节信息。所提出的MR-FCNN被应用于从许多音频源的混合中分离目标音频源。实验结果表明,与前馈深度神经网络(DNN)和单分辨率深度全卷积神经网络(FCNN)相比,使用MR-FCNN在音频声源分离问题上提高了性能。
2017-10-28 cs.CV cs.LG cs.SD
Convolutional Neural Networks for Global Human Settlements Mapping from Sentinel-2 Satellite Imagery
European Commission, Joint Research Centre (JRC)(欧洲委员会联合研究中心);Arhs Developments S.A(Arhs开发公司);Engineering S.p.a(工程股份公司)
空间上连贯一致的最新人类住区地图对于处理与城市化和可持续性有关的政策至关重要,特别是在世界日益城市化的时代。哥白尼地球观测计划的Sentinel-2开放和免费数据的可用性为全球范围内的人类住区测绘提供了新的机会。本文提出了一种深度学习-的框架,用于从Sentinel-2图像的全球复合图像中以10 m的空间分辨率全自动提取建筑物区域。所提出的模型的核心特征是大小为5x 5像素的图像块,足以描述来自哨兵-2图像的建成区,以及总数为1,448的轻量级拓扑结构,578个可训练参数和4个2D卷积层和2个平面层。在全球Sentinel-2图像合成上部署该模型,提供了关于2018参考年建成区的最详细和最完整的地图报告。使用覆盖世界各地277个站点的建筑物足迹的独立参考数据集对结果进行验证,建立了由所提出的框架和模型鲁棒性产生的建筑层的可靠性。
2020-10-29 cs.CV cs.LG eess.IV
Improving Branch Prediction By Modeling Global History with Convolutional Neural Networks
Intel Corporation(英特尔公司)
CPU分支预测已经碰壁--现有技术在99%的静态分支上达到了近乎完美的准确性,但仍然存在的错误预测隐藏了主要的性能提升。在一份配套报告中,我们发现预测错误的主要来源是一些系统性难以预测的分支(H2 P),例如SPECint 2017中每个SimPoint阶段只有10条静态指令。这些错误预测所造成的机会损失对CPU来说是很重要的:英特尔SkyLake上的每周期执行次数(IPC)为14.0%,当流水线扩展到四倍时,IPC为37.4%,与处理技术的收益相当。然而,高达80%的这种上升是最知名的分支预测器无法达到的,即使提供了指数级更多的资源。需要新的方法,而机器学习(ML)提供了一系列强大的预测器。越来越多的工作表明,ML模型可以在微架构中部署,以在运行时优化硬件,并且是通过培训客户应用程序来定制硅后CPU的一种方式。我们使用卷积神经网络(CNN)开发了这种用于分支预测的场景,以提高H2 Ps的准确性。逐步地,我们(1)将CNN映射到现有分支预测器使用的全局历史数据;(2)展示CNN如何在SPEC 2017中改进H2 P预测;(3)使2位CNN推理适应当前分支预测单元的约束;以及(4)建立CNN辅助预测器可在不同输入上跨应用执行重用,使我们能够分摊离线训练并部署ML模式匹配来改善IPC。
2019-06-20 cs.DC cs.LG
Inferred global dense residue transition graphs from primary structure sequences enable protein interaction prediction via directed graph convolutional neural networks
Division of Computer Science Texas Woman’s University(计算机科学系德克萨斯女子大学);Department of Computer Science The University of Texas Rio Grande Valley(计算机科学系德克萨斯大学里奥格兰德谷分校)
提出ProtGram-DirectGCN框架,利用全局推断的n-gram图和有向图卷积神经网络进行蛋白质相互作用预测,在有限数据下保持强劲性能。
2025-10-15 cs.AI cs.LG
Post-processing Multi-Model Medium-Term Precipitation Forecasts Using Convolutional Neural Networks
Radboud University(拉德堡德大学);KNMI(荷兰皇家气象研究所)
本研究的目的是改善后处理的降水预报使用卷积神经网络(CNN)。与在气象后处理中采用机器学习时通常进行的逐像素后处理预测不同,输入预测图像被组合并使用全卷积神经网络转换为概率输出预测图像。CNN并没有优于正则化逻辑回归。此外,还进行了消融分析。将来自全球低分辨率天气模型和区域高分辨率天气模型的输入预报相结合,可以提高其中任何一个的性能。
2021-05-14 cs.LG physics.ao-ph
Environmental Sensor Placement with Convolutional Gaussian Neural Processes
British Antarctic Survey(英国南极调查局)
本文提出用卷积高斯神经过程(ConvGNP)解决环境传感器布置问题,通过学习南极气温异常的非平稳性,优于GP基线,实现更具信息量的传感器布置。
2023-05-15 cs.LG stat.ML
Local and non-local dependency learning and emergence of rule-like representations in speech data by Deep Convolutional Generative Adversarial Networks
University of California, Berkeley(加州大学伯克利分校)
本文认为,对语音数据中的局部和非局部依赖性训练GANs,可以深入了解深度神经网络如何离散化连续数据,以及如何在深度卷积架构中出现类似符号的基于规则的形态学过程。语音的获取最近被建模为潜在空间与Begueland(2020 b; arXiv:2006.03965)中的GANs生成的数据之间的依赖关系,Begueland对简单的局部音素分布的学习进行了建模。我们扩展这种方法来测试学习本地和非本地的语音过程,包括近似的形态过程。我们进一步将模型的输出与行为实验的结果并行,在该实验中,人类受试者在用于训练GAN网络的数据上进行训练。得出四个主要结论:(i)即使在人工语法学习实验的相对小的数据集上训练,网络也为语音获取的计算模型提供有用的信息;(ii)本地过程比非本地过程更容易学习,这与人类主体的行为数据和世界语言的类型学相匹配。本文还提出了(iii)如何通过在不同的训练步骤中保持潜在空间不变来积极观察网络的学习进度,并探索训练步骤对学习表征的影响。最后,本文表明,(iv)网络学习编码的前缀与一个单一的潜在变量的存在;通过插入这个变量,我们可以积极观察非本地语音过程的操作。所提出的用于检索学习表示的技术对我们理解GANs如何离散连续语音数据具有普遍意义,并建议将训练数据中的规则式概括表示为网络潜在空间中变量之间的相互作用。
2021-07-28 cs.CL cs.LG
Globally Optimal Gradient Descent for a ConvNet with Gaussian Inputs
深度学习模型通常使用梯度下降成功训练,尽管底层非凸优化问题的最坏情况困难。关键问题是在什么条件下可以证明优化会成功。这里我们提供了一个强有力的结果。我们考虑一个神经网络,它有一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构,我们表明,学习是NP完全的一般情况下,但当输入分布是高斯,梯度下降收敛到全局最优的多项式时间。据我们所知,这是在具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优性保证。
2017-02-26 cs.LG math.OC stat.ML
RecNets: Channel-wise Recurrent Convolutional Neural Networks
School of ECE, NTUA(希腊国家技术大学电气与计算机工程学院)
在本文中,我们介绍了逐层递归卷积神经网络(RecNets),这是一系列新颖的,紧凑的神经网络架构,用于受递归神经网络(RNN)启发的计算机视觉任务。RecNets建立在逐行递归卷积(CRC)层之上,这是一种新型的卷积层,它将输入通道分成不相交的段,并以递归的方式处理它们。通过这种方式,我们模拟了广泛而紧凑的模型,因为通过RNN公式的参数共享,参数的数量大大减少了。CIFAR-10和CIFAR-100图像分类任务的实验结果表明,与其他紧凑的最先进的架构相比,RecNets具有更好的尺寸精度权衡。
2020-03-19 cs.LG stat.ML
Discovering Operational Patterns Using Image-Based Convolutional Clustering and Composite Evaluation: A Case Study in Foundry Melting Processes
SDU Center for Energy Informatics, The Maersk Mc-Kinney Moller Institute, Faculty of Engineering, University of Southern Denmark(南丹麦大学工程学院马士基麦克-金尼·穆勒研究所SDU能源信息学中心)
针对工业时间序列数据无监督模式发现的挑战,提出基于图像的卷积聚类与复合评估框架,通过灰度矩阵转换、混合聚类优化和多指标评估,在铸造熔炼案例中识别出可解释操作模式并优于现有方法。
2025-11-17 cs.AI cs.LG