Graphon Pooling in Graph Neural Networks
Univ. of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNNs)已被有效地用于不同的应用中,包括处理由图建模的不规则结构上的信号。依靠使用平移不变图滤波器,GNN将卷积操作扩展到图形。然而,池化和采样的操作仍然没有明确定义,并且文献中提出的方法要么以不保留其谱特性的方式修改图结构,要么需要定义用于选择保留哪些节点的策略。在这项工作中,我们提出了一种新的策略,用于使用图子对GNN进行池化和采样,该策略保留了图的谱特性。为此,我们将GNN中的图形层视为收敛到图子的图形序列的元素。通过这种方式,当将信号从一个层映射到另一个层时,我们在节点标记中没有模糊性,并且频谱表示在整个层中是一致的。我们在合成和真实世界的数值实验中评估了这一策略,在实验中我们表明,图子池化GNN不太容易过拟合,并改进了其他池化技术,特别是当层之间的降维率很大时。
2020-03-03 cs.LG stat.ML
Scalable Implicit Graphon Learning
Rice University(Rice大学)
提出SIGL方法,结合隐式神经表示和图神经网络,实现任意分辨率下的连续图论学习,解决现有方法的固定分辨率和扩展性问题,并在合成与真实图上表现更优。
2025-05-21 cs.LG stat.ML
Implicit Graphon Neural Representation
Halıcıoğlu Data Science Institute(哈利哲奥卢数据科学研究所);University of California San Diego(加州大学圣地亚哥分校)
本文提出隐式图子神经网络表示(IGNR),利用神经网络直接对graphons进行建模,支持任意分辨率表示和任意大小图生成,并通过Gromov-Wasserstein距离处理未对齐图数据,在graphon学习、图表示学习和图生成任务中表现优异。
2023-03-30 cs.LG
Graph and graphon neural network stability
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)是一种学习架构,它依赖于图结构的知识来生成大规模网络数据的有意义的表示。因此,GNN的稳定性很重要,因为在现实世界的场景中,通常存在与图形相关的不确定性。我们使用称为graphons的内核对象来分析GNN的稳定性。图子既是收敛图序列的极限,也是确定图和随机图的生成模型。基于图子信号处理理论,我们定义了图子神经网络,并分析了它们对图子扰动的稳定性。然后,我们通过将图子神经网络解释为从原始和扰动图子实例化的确定性和随机图上的GNN的生成模型来扩展这种分析。我们观察到,GNNs是稳定的graphon扰动的稳定性界,随着图的大小逐渐减少。这种渐进行为在电影推荐实验中得到进一步证明。
2021-04-26 cs.LG eess.SP
A Note on Graphon-Signal Analysis of Graph Neural Networks
Faculty of Mathematics, Technion – IIT(数学学院,技术ion – IIT)
本文针对图神经网络图信号分析中的不足,提出四项扩展:多维信号、带读出MPNN的Lipschitz连续性、鲁棒性泛化界及非对称图信号分析,提升实用性与泛化性能。
2026-10-14 cs.LG
Training Graph Neural Networks by Graphon Estimation
University of Notre Dame(圣母大学)
在这项工作中,我们提出了训练一个图神经网络,通过从底层网络数据获得的图子估计restering。更具体地说,首先获得底层网络的图子或链路概率矩阵,从该图子或链路概率矩阵中将对新网络进行重新采样并在每层的训练过程中使用。由于由恢复引起的不确定性,它有助于减轻图神经网络(GNN)模型中众所周知的过度平滑问题。我们的框架是通用的,计算效率高,概念简单。我们的方法的另一个吸引人的特点是,它需要在训练过程中最小的额外调整。大量的数值结果表明,我们的方法是有竞争力的,在许多情况下优于其他过度平滑减少GNN训练方法。
2021-09-04 cs.LG cs.SI
A graphon-signal analysis of graph neural networks
Technion – Israel Institute of Technology(以色列理工学院)
本文将图幂分析扩展为图幂信号分析,提出图幂信号割距并证明MPNN在该度量空间上Lipschitz连续,从而得到泛化界与子采样稳定性。
2023-12-08 cs.LG
Graphon based Clustering and Testing of Networks: Algorithms and Theory
Technical University of Munich(慕尼黑工业大学);IMPRS-IS, University of Tübingen(图宾根大学);University of Tübingen(图宾根大学)
网络值数据在广泛的应用中会遇到,并且由于其复杂的结构和缺乏顶点对应而在学习中提出了挑战。这类问题的典型例子包括蛋白质结构和社交网络的分类或分组。各种方法,从图核到图神经网络,已经被提出,在图分类问题中取得了一些成功。然而,大多数方法都有有限的理论依据,它们的适用性超出分类仍然没有探索。在这项工作中,我们提出了聚类多个图的方法,没有顶点对应关系,这是最近的文献估计图-对应于无限顶点极限的图的对称函数的启发。我们提出了一种新的基于排序和平滑图子估计的图距离。使用所提出的图距离,我们提出了两个聚类算法,并表明他们达到国家的最先进的结果。我们证明了这两种算法的统计一致性Lipschitz假设下的图度。我们进一步研究了所提出的距离的适用性图两个样本测试问题。
2021-11-07 cs.LG stat.ML
Fine-tuning Graph Neural Networks by Preserving Graph Generative Patterns
Zhejiang University(浙江大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);FinVolution Group(信也科技)
针对预训练与下游图结构差异导致微调效果受限的问题,提出G-Tuning方法,通过保留下游图生成模式(图on基近似)微调GNN,在域内和域外迁移实验中分别平均提升0.5%和2.6%。
2023-12-21 cs.AI cs.LG stat.ML
Zero-Shot Size Transfer for Neural ODEs on Sparse Random Graphs: Graphon Limits and Adjoint Convergence
University of California, Santa Barbara(加州大学圣塔芭芭拉分校)
针对稀疏随机图上的图神经微分方程,理论证明了零样本尺寸迁移原则,建立了前向与伴随系统的收敛率,并验证了离散-优化与优化-离散训练的一致性。
2026-06-26 cs.AI cs.LG cs.NA
Graph Neural Tangent Kernel: Convergence on Large Graphs
Simons Institute for the Theory of Computing(西蒙斯计算理论研究所)
本文借助graphon定义graphon神经网络与graphon NTK,证明GNTK及其谱随图规模增大收敛,并通过节点回归与分类实验验证中等规模GNTK可推断大规模GNN学习动态。
2023-05-31 cs.LG math.ST stat.AP
Graphon Pooling for Reducing Dimensionality of Signals and Convolutional Operators on Graphs
University of Pennsylvania(宾夕法尼亚大学)
本研究基于graphon理论提出三种图池化方法,实现图信号与卷积算子降维,证明其收敛性与谱结构继承性,实验显示在大降维比例下性能更优,且能减少过拟合、降低计算成本。
2023-08-23 cs.LG
Stable and Transferable Hyper-Graph Neural Networks
University of Pennsylvania(宾夕法尼亚大学);Duke University(杜克大学)
我们介绍了一种架构,通过图神经网络(GNNs),我们称之为超图扩展神经网络(HENN),超图信号处理模型的稳定性和可转移性误差的第一界支持的信号处理。为此,我们提供了一个框架,用于通过谱相似性来限制GNN在任意图上的稳定性和可转移性误差。通过界定两个图移位算子(GSOs)之间的差异,在半正定意义上,通过其特征值谱,我们表明,这种错误只取决于GNN的性质和GSOs的谱相似性的大小。此外,我们还表明,假设图是彼此的小扰动,或者图是随机的并且从同一分布绘制或从同一图子采样,则可以使用我们的方法恢复现有的可传递性结果。因此,GNN和我们的HENN(使用归一化拉普拉斯算子作为图移位算子进行训练)都将随着图变得越来越大而变得越来越稳定和可转移。实验结果说明了在HENN中考虑多种图形表示的重要性,并显示了其优越的性能时,需要的可移植性。
2022-12-12 cs.LG
Limits, approximation and size transferability for GNNs on sparse graphs via graphops
MIT(麻省理工学院)
本文基于 graphops 算子极限理论分析 GNN 对不同尺寸图的可迁移性与逼近误差,给出统一适用于稠密图和稀疏图的定量界。
2023-06-07 cs.LG cs.SI
A Topological Characterization of Graph Neural Networks via Stochastic Block Model Embeddings on the n-Sphere
KnotTheory.ai Inc.(KnotTheory.ai 公司);Dept. of Mathematics, Emporia State University(恩波利亚州立大学数学系)
提出将消息传递神经网络诱导的随机块模型映射到单位n-球面的拓扑框架,用于比较训练后的图神经网络,并实现无需重新训练的迁移学习候选检索。
2026-05-29 cs.AI cs.LG
Learning by Transference: Training Graph Neural Networks on Growing Graphs
University of Pennsylvania(宾夕法尼亚大学)
图神经网络(GNN)使用图卷积来利用网络不变性并从网络数据中学习有意义的特征表示。然而,在大规模图卷积招致高计算成本,导致可扩展性的限制。利用图子-图的极限对象-在本文中,我们考虑学习图子神经网络(WNN)-GNN的极限对象-通过在从图子采样的图上训练GNN的问题。在光滑条件下,我们证明了:(i)GNN和WNN上的学习步骤之间的预期距离随着图的大小渐近减小,以及(ii)当在一系列增长图上训练时,梯度下降遵循WNN的学习方向。受这些结果的启发,我们提出了一种新的算法来学习大规模图上的GNN,从中等数量的节点开始,在训练过程中逐渐增加图的大小。该算法进一步基准上的分散控制的问题,在那里它保留了相当的性能,其大规模的对应,以减少计算成本。
2022-06-27 cs.LG eess.SP
G-Mixup: Graph Data Augmentation for Graph Classification
Texas A&M University(德州农工大学);University of Georgia(佐治亚大学);Rice University(莱斯大学)
本工作开发了\emph{mixup for graph data}。Mixup通过在两个随机样本之间插入特征和标签,在提高神经网络的泛化能力和鲁棒性方面显示出优越性。传统上,Mixup可以处理规则的、网格状的和欧几里得的数据,如图像或表格数据。然而,直接采用Mixup来增强图数据是具有挑战性的,因为不同的图通常:1)具有不同数量的节点; 2)不容易对齐;以及3)在非欧几里德空间中具有独特的类型学。为此,我们提出了$\mathcal{G}$ -Mixup,通过内插生成器(即,graphon)的不同类别的图。具体来说,我们首先使用同一类中的图来估计图子。然后,而不是直接操作图,我们插值不同类的图子在欧氏空间中得到混合图子,其中合成图是通过采样的基础上的混合图子生成。大量的实验表明,$\mathcal{G}$ -Mixup大大提高了GNN的泛化能力和鲁棒性。
2022-02-16 cs.AI cs.LG
Training Graph Neural Networks on Growing Stochastic Graphs
University of Pennsylvania(宾夕法尼亚大学);Simons-Berkeley Institute(西蒙斯-伯克利研究所)
图神经网络(GNN)依赖于图卷积来利用网络数据中有意义的模式。基于矩阵乘法,卷积产生高计算成本,导致实践中的可扩展性限制。为了克服这些限制,所提出的方法依赖于在较少数量的节点中训练GNN,然后将GNN转移到更大的图中。尽管这些方法能够限制具有不同节点数量的GNN的输出之间的差异,但它们不能保证在非常大的图上获得最佳GNN。在本文中,我们建议通过利用一系列增长图的极限对象graphon来学习非常大的图上的GNN。我们建议在训练时增加图的大小,并且我们表明我们所提出的方法--通过迁移学习--收敛到图子数据上的一阶稳定点的邻域。数值实验验证了我们提出的方法。
2022-10-27 cs.LG
Graph neural networks and non-commuting operators
Universidad Católica del Uruguay(乌拉圭天主教大学);Johns Hopkins University(约翰斯·霍普金斯大学)
本研究提出图元组神经网络(GtNN)以处理多个非交换图算子,通过图元组极限理论证明了其普适可迁移性,并推导了确保稳定性的训练程序。
2024-11-06 cs.AI cs.LG stat.ML
Fine-grained Expressivity of Graph Neural Networks
RWTH Aachen University(亚琛工业大学);Technion - Israel Institute of Technology(以色列理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
本文将1-WL与MPNN扩展到graphon,建立最细可分拓扑、通用逼近及树距离等价刻画,并通过随机初始化MPNN实验验证其细粒度表达能力。
2023-11-02 cs.DM cs.LG cs.NE
When to Pre-Train Graph Neural Networks? From Data Generation Perspective!
Zhejiang University(浙江大学);Fudan University(复旦大学);Emory University(埃默里大学);Soochow University(苏州大学);Finvolution Group(信也科技集团)
该研究针对图预训练负迁移及“何时预训练”的问题,从数据生成视角提出通用框架W2PGNN,量化预训练可行性,可明确适用范围、辅助选数据,兼具理论与实证支撑。
2023-06-08 cs.LG
Learning Graphon Autoencoders for Generative Graph Modeling
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Tencent AI Lab(腾讯人工智能实验室)
图子是一种非参数模型,它可以生成任意大小的图,并且可以很容易地从图中导出。基于此模型,我们提出了一个新的算法框架称为\textit{graphon autoencoder},建立一个可解释和可扩展的图生成模型。该框架将观察到的图作为函数空间中的诱导图子,并通过聚合切布雪夫图子过滤器的编码器导出其潜在表示。线性图子分解模型作为解码器,利用潜在表示来重建诱导图子(以及相应的观察图)。我们开发了一个有效的学习算法来学习编码器和解码器,最小化模型和数据分布之间的Wasserstein距离。该算法以不同图子条件下的图分布的KL散度为基础距离,得到了一个奖励增强的极大似然估计。图子自动编码器提供了一种新的图形表示和生成方法,具有良好的通用性和可移植性。
2021-05-29 cs.LG cs.SI stat.ML
Convergence of Invariant Graph Networks
University of California San Diego(加州大学圣地亚哥分校)
虽然图神经网络的表达能力和过平滑等理论性质近年来得到了广泛的研究,但其收敛性是一个相对较新的研究方向。在本文中,我们研究了一个强大的GNN,不变图网络(IGN)的收敛性从图子采样的图。我们首先证明了一般$k$ -IGN(顺序$k$)的线性层的稳定性的基础上的线性等变层的一种新的解释。在此基础上,我们证明了$k$在\citet{ruiz2020graphon}模型下的收敛性,其中我们访问边权重,但对图子输入测量收敛误差。在\citet{keriven2020convergence}的更自然(更具有挑战性)的设置下,其中只能访问根据边缘概率采样的0-1邻接矩阵,我们首先给出了一个否定的结果,即任何IGN的收敛都是不可能的。然后,我们得到收敛的一个子集的IGN,表示为IGN小,边缘概率估计后。我们证明了IGN-small仍然包含足够丰富的函数类,可以任意很好地近似谱GNNs。最后,我们在各种图子模型上进行实验,以验证我们的说法。
2022-12-21 cs.LG
Thermodynamic Transferability in Coarse-Grained Force Fields using Graph Neural Networks
研究提出基于图卷积神经网络HIP-NN-TS的高度自动化训练流程构建粗粒化力场,解决了传统力匹配方法在热力学条件间可转移性受限的问题,实现了高精度且强可转移性的力场构建。
2024-11-18 cs.LG physics.chem-ph
Size-Transferability of Graph Transformers with Convolutional Positional Encodings
Department of Electrical and Systems Engineering(电气与系统工程系);University of Pennsylvania(宾夕法尼亚大学);University of California San Diego(圣地亚哥大学)
通过图神经网络位置编码建立图Transformer与流形神经网络的联系,证明其在小图上训练后可泛化到大图,并在标准基准和实际地形最短路径估计任务中验证可扩展性。
2026-10-16 cs.LG
Statistical Guarantees for Link Prediction using Graph Neural Networks
Harvard University(哈佛大学);Stanford University(斯坦福大学)
本文提出线性GNN架构(LG-GNN),为图生成模型生成的图上的链接预测提供统计保证,包括均方误差界和高概率边检测能力,并验证于真实和合成数据。
2024-02-07 cs.LG cs.SI math.ST
On Transferring Transferability: Towards a Theory for Size Generalization
Department of Computing and Mathematical Sciences, Caltech(加州理工学院计算与数学科学系);Department of Applied Mathematics and Statistics and the Mathematical Institute for Data Science, Johns Hopkins University(约翰霍普金斯大学应用数学与统计学系及数据科学数学研究所)
本文提出了一种通用框架,用于研究不同维度间的转移性,并通过理论分析和实验验证了大小泛化的能力。
2026-02-11 cs.LG math.RT math.ST
A Spectral Framework for Graph Neural Operators: Convergence Guarantees and Tradeoffs
Applied Mathematics and Statistics(应用数学与统计学);Johns Hopkins University(约翰霍普金斯大学)
本文提出统一谱框架,分析图神经算子在无正则性、全局Lipschitz连续和分段Lipschitz连续假设下的收敛率与权衡。
2026-05-24 cs.LG eess.SP stat.ML
The Graphon Limit Hypothesis: Understanding Neural Network Pruning via Infinite Width Analysis
University of Warwick(沃里克大学);CSIRO’s Data61(CSIRO数据61部门);CISPA Helmholtz Center for Information Security(信息安全海德堡研究中心)
本文提出基于 graphon 的无限宽度理论框架,用 Graphon NTK 刻画剪枝诱导的连接结构及其训练动态,解释不同剪枝方法在同等稀疏度下的可训练性差异。
2025-10-20 cs.AI cs.LG
Equivariant Neural Operator Learning with Graphon Convolution
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出结合系数学习与残差算子层的SE(3)等变通用架构InfGCN,利用连续graphon和离散图结构捕获几何信息,在大规模电子密度数据集上显著优于现有SOTA。
2023-11-17 cs.LG
Searching for Stage-wise Neural Graphs In the Limit
Baidu Research(百度研究院)
搜索空间是神经结构搜索的关键考虑因素。最近,Xie等人(2019)发现,从相同分布随机生成的网络表现相似,这表明我们应该搜索随机图分布而不是图。我们提出图子作为一个新的搜索空间。图子是图的柯西序列的极限和无标度概率分布,从图子可以画出不同节点数的图。通过利用图子空间的属性和相关的切割距离度量,我们开发了理论上有动机的技术,这些技术可以搜索和扩展在小数据集上发现的小容量阶段式图,以获得可以处理ImageNet的大容量图。缩放的逐阶段图的性能优于DenseNet和随机连接的Watts-Strogatz网络,表明图子理论在NAS应用中的优势。
2019-12-30 cs.LG
Sequential Transfer Machine Learning in Networks: Measuring the Impact of Data and Neural Net Similarity on Transferability
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
在面临类似预测任务的独立实体网络中,迁移机器学习能够使用分布式数据集重用和改进神经网络,而不会暴露原始数据。随着业务网络中数据集数量的增长,并不是每个神经网络传输都是成功的,需要指标来衡量其对目标性能的影响-其可传输性。我们对一个独特的真实用例进行了实证研究,该用例由六家不同餐馆的销售数据组成。我们在这些餐厅销售数据中训练和传输神经网络,并测量它们的可移植性。此外,我们计算潜在的指标的基础上的数据,数据预测和神经网络相似性的新度量的分歧的可转移性。我们得到显着的负相关关系之间的转移性和测试指标。我们的研究结果允许根据这些指标选择传输路径,这提高了模型性能,同时需要更少的模型传输。
2020-03-29 cs.LG stat.ML
Pruning at Initialisation through the lens of Graphon Limit: Convergence, Expressivity, and Generalisation
University of Warwick(沃里克大学)
本文通过图本理论分析初始化剪枝方法,揭示稀疏网络的拓扑结构和理论机制,推导出通用逼近定理和泛化界。
2026-02-06 cs.LG
A Generative Model of Complex Networks Using Graphons and Neural Inverse Operators
University of Southern California(南加州大学);AWS AI(AWS人工智能)
该研究提出一种基于多重分形阶梯图和神经逆算子的生成图模型,在函数空间统一机制可解释性与摊销推理,实现零样本迁移和单观测网络推断,并提升脑状态追踪敏感性。
2026-10-05 cs.LG
Generalization Bounds for Message Passing Networks on Mixture of Graphons
Ludwig-Maximilians-Universität München(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Technion - Israel Institute of Technology(以色列理工学院)
本文针对图元混合模型上的消息传递神经网络,在稀疏、扰动和伯努利边等更现实条件下推导了泛化界,证明只要图足够大,复杂度高于训练集规模的 MPNN 仍能有效泛化。
2024-04-04 cs.LG
On the Transferability of Representations in Neural Networks Between Datasets and Tasks
RMIT University(皇家墨尔本理工大学)
深度网络由多层分层分布式表示组成,倾向于在初始层学习低级特征,并向最终层过渡到高级特征。诸如迁移学习、多任务学习和持续学习之类的范例利用这种通用分层分布式表示的概念来跨数据集和任务共享知识。在这里,我们研究了深度网络中表示在几个数据集和任务中的逐层可转移性,并注意到一些有趣的经验观察。
2018-11-29 cs.LG stat.ML
Transferability of Spectral Graph Convolutional Neural Networks
Ludwig Maximilian University of Munich(慕尼黑路德维希-马克西米利安大学);Università della Svizzera italiana(瑞士意大利语区大学);University of Tromsø(特罗姆瑟大学);Imperial College London(伦敦帝国理工学院);Twitter(推特)
本文主要研究谱图卷积神经网络(ConvNets),其中滤波器被定义为图的频域中的逐元素乘法。在机器学习设置中,数据集由许多不同图上定义的信号组成,经过训练的ConvNet应该泛化到训练集中看不到的图上的信号。因此,在图之间传输ConvNets很重要。可转移性是一种泛化能力,可以粗略地定义如下:如果两个图描述相同的现象,那么单个过滤器或ConvNet应该对两个图产生类似的影响。本文旨在揭穿常见的误解,光谱滤波器是不可转让的。我们证明了,如果两个图离散化相同的“连续”空间,那么谱滤波器或ConvNet在两个图上具有近似相同的影响。我们的分析比标准分析更宽松。可转移性通常被描述为过滤器对小图扰动和顶点重新索引的鲁棒性。我们的分析也占大图扰动。我们证明图之间的可转移性,可以有完全不同的尺寸和拓扑结构,只需要两个图离散化相同的底层空间在某种通用意义上。
2021-06-12 cs.LG stat.ML
A Few Moments Please: Scalable Graphon Learning via Moment Matching
Rice University(里士大学);King Juan Carlos University(胡安卡洛斯国王大学)
本文提出一种基于矩匹配和隐式神经表示的可扩展 graphon 估计方法,避免潜在变量建模与 Gromov-Wasserstein 优化,并引入 MomentMixup 数据增强,在多个基准上取得领先性能。
2025-06-04 cs.LG
Efficient and Transferable Adversarial Examples from Bayesian Neural Networks
University of Luxembourg(卢森堡大学);University of California Berkeley(加州大学伯克利分校)
提高黑盒规避攻击的可转移性的一种既定方法是在基于集合的代理上制作对抗性示例,以增加多样性。我们认为,可转让性是从根本上与不确定性。基于最先进的贝叶斯深度学习技术,我们提出了一种新的方法,通过从神经网络权重的后验分布中近似采样来有效地构建代理,该后验分布代表了对每个参数值的信念。我们在ImageNet、CIFAR-10和MNIST上的大量实验表明,我们的方法在架构内和架构间的可移植性方面显著提高了四种最先进攻击的成功率(高达83.2个百分点)。在ImageNet上,我们的方法可以达到94%的成功率,同时将训练计算从11.6 exaflops减少到2.4 exaflops,与独立训练的DNN集合相比。我们的香草替代品实现了87.5%的时间比三个测试时间的技术,专为此目的而设计的可转移性。我们的工作表明,训练代理人的方法被忽视了,尽管它是基于转移的攻击的一个重要因素。因此,我们是第一个审查几种培训方法在提高可转移性方面的有效性的机构。我们提供了新的方向,以更好地理解可转移性现象,并为未来的工作提供了一个简单但强大的基线。
2022-06-18 cs.LG stat.ML
Towards Understanding the Transferability of Deep Representations
University of California, Berkeley(加利福尼亚大学伯克利分校)
在广泛的数据集上训练的深度神经网络表现出令人印象深刻的可移植性。深度特征似乎是通用的,因为它们适用于许多数据集和任务。这种特性在现实世界的应用中普遍使用。在大型数据集上预训练的神经网络,如ImageNet,如果微调到较小的目标数据集,可以显着提高泛化能力并加速训练。尽管它的普遍性,很少有人致力于揭示深特征表示的可转移性的原因。本文试图从改进的泛化、优化和可移植性的可行性等角度来理解可移植性。我们证明了1)转移模型倾向于找到更平坦的最小值,因为当转移到类似的目标数据集时,它们的权重矩阵保持接近预训练参数的原始平坦区域; 2)转移表示使损失景观更有利,改进了Lipschitzness,这大大加速和稳定了训练。这种改进在很大程度上归因于这样一个事实,即在预训练参数中抑制了梯度的主分量,从而稳定了反向传播中梯度的大小。3)可移植性的可行性与输入和标签的相似性有关。一个令人惊讶的发现是,可行性也受到训练阶段的影响,因为可转移性首先在训练期间增加,然后下降。我们进一步提供了一个理论分析来验证我们的观察。
2019-09-26 cs.LG stat.ML
Transferability of Winning Lottery Tickets in Neural Network Differential Equation Solvers
本研究将中奖彩票假说扩展到哈密顿神经网络微分方程求解器,发现彩票可在不同系统间迁移,且迁移准确性受积分时间影响,并用重整化群理论分析系统普适性。
2023-06-16 cs.LG
Parameter Transfer Unit for Deep Neural Networks
Hong Kong University of Science and Technology(香港科技大学)
在大规模数据库上训练的深度神经网络中的参数可以跨多个域泛化,这被称为“可转移性”。不幸的是,可转移性通常被定义为离散状态,并且它因域和网络结构而异。现有的工作通常是抽象地应用参数共享或微调,并没有原则性的方法来学习参数传递策略。为了解决这个问题,本文提出了一种参数传递单元(PTU)。PTU从源和目标域网络中学习细粒度的非线性激活组合,并包含手工制作的离散传输状态。在PTU中,可转移性由两个门控制,这两个门是人工神经元,可以从数据中学习。PTU是一个通用且灵活的模块,可用于CNN和RNN。实验进行了各种网络架构和多个传输域对。结果表明PTU的有效性,因为它优于启发式参数共享和微调在大多数设置。
2018-04-23 cs.LG stat.ML
TOP: Backdoor Detection in Neural Networks via Transferability of Perturbation
Perspecta Labs(珀斯佩克特实验室)
深度神经网络(DNN)容易受到“后门”中毒攻击,其中对手将秘密触发器植入到正常运行的模型中。在不访问训练数据或示例触发器的情况下检测训练模型中的后门是一个重要的开放问题。在本文中,我们确定了这些模型的一个有趣的属性:对抗性扰动从图像到图像的传输更容易中毒模型比干净的模型。这适用于各种模型和触发器类型,包括不能从干净数据线性分离的触发器。我们使用此功能来检测TrojAI基准测试中的中毒模型以及其他模型。
2021-03-18 cs.LG
Transferability of coVariance Neural Networks and Application to Interpretable Brain Age Prediction using Anatomical Features
University of Pennsylvania(宾夕法尼亚大学);University of Rochester(罗切斯特大学)
该研究从理论上证明协方差神经网络(VNNs)在协方差矩阵收敛的数据集间具有性能可迁移性,并将其应用于脑年龄预测,发现VNNs能为阿尔茨海默病的脑年龄差距提供解剖学可解释性,且可通过跨数据集交叉验证结论。
2023-05-04 cs.LG stat.AP stat.ML
TREND: Transferability based Robust ENsemble Design
Purdue University(普渡大学)
深度学习模型在许多领域都具有最先进的性能,但它们对对抗性示例的脆弱性对其在实际环境中的普遍部署构成了威胁。此外,在一个分类器上生成的对抗性输入已经被证明可以转移到在类似数据上训练的其他分类器,这使得即使模型参数没有向对手透露,攻击也是可能的。这种可转移性尚未得到系统的研究,导致我们对神经网络对抗性输入的鲁棒性的理解存在差距。在这项工作中,我们研究了网络结构,初始化,优化器,输入,权重和激活量化对对抗样本可转移性的影响。我们还研究了不同的攻击对可转移性的影响。我们的实验表明,可转移性显着阻碍输入量化和源和目标之间的架构不匹配,是不受初始化,但优化器的选择是至关重要的。我们观察到,可转移性是依赖于架构的重量和激活量化模型。为了量化可转移性,我们使用简单的度量,并展示了该度量在设计一种方法来构建具有改进的对抗鲁棒性的集合时的实用性。当攻击集成时,我们观察到单个集成成员模型的“梯度支配”阻碍了现有的攻击。为了解决这个问题,我们提出了一种新的最先进的合奏攻击。我们将所提出的攻击与现有的攻击技术进行比较,以显示其有效性。最后,我们证明了由精心选择的不同网络组成的集合比单个网络具有更好的对抗鲁棒性。
2021-03-30 cs.LG stat.ML
High-Robustness, Low-Transferability Fingerprinting of Neural Networks
Northeastern University(东北大学);Boston University(波士顿大学);IBM Research(IBM研究院)
本文提出了用于有效指纹识别深度神经网络的特征示例,其特征在于对基础模型的高鲁棒性,以及对无关联模型的低可移植性。这是第一个同时考虑鲁棒性和可转移性来生成真实指纹的工作,而目前的方法缺乏实际的假设,可能会产生很大的假阳性率。为了在鲁棒性和可移植性之间实现更好的权衡,我们提出了三种特征示例:香草C示例,RC示例和LTRC示例,以从原始基础模型中获得指纹。为了公平地描述鲁棒性和可转移性之间的权衡,我们提出了Uniform Score,一个衡量鲁棒性和可转移性之间差异的综合指标,它也可以作为虚警问题的指标。
2021-05-14 cs.AI cs.CR cs.CV
Improving Transferability of Deep Neural Networks
IBM Research AI(IBM研究院AI);Kennesaw State University(肯尼索州立大学)
从少量标记数据中学习是深度学习领域的一个挑战。这目前通过迁移学习来解决,其中人们将小数据集学习为来自较大源数据集的迁移任务。迁移学习可以提供更高的精度,如果超参数和源数据集选择良好。其中一个重要参数是神经网络各层的学习率。我们通过在ImageNet 22 k和Oxford Flowers数据集上的实验表明,通过适当选择学习率,可以获得127%范围内的准确性提高。我们还表明,数据集的图像/标签参数可以用于确定层的最佳学习率,以获得最佳的整体准确性。我们还验证了这种方法的一个样本的真实世界的图像分类任务从公共视觉识别API。
2018-07-30 cs.CV cs.LG stat.ML
Disrupting Adversarial Transferability in Deep Neural Networks
Rensselaer Polytechnic Institute(伦斯勒理工学院)
对抗攻击的可转移性在深度学习中得到了广泛的认可。先前的工作通过识别常见的对抗子空间和决策边界之间的相关性来部分解释可转移性,但除此之外知之甚少。我们提出,看似不同的模型之间的可转移性是由于不同网络提取的特征集之间的高度线性相关性。换句话说,在参数空间中距离遥远的相同任务上训练的两个模型可能以相同的方式提取特征,只是在潜在空间之间进行了平凡的仿射变换。此外,我们还展示了如何应用特征相关性损失,即在潜在空间中对提取的特征进行去相关,可以减少模型之间对抗攻击的可转移性,这表明模型以语义不同的方式完成任务。最后,我们提出了一种双颈自动编码器(DNA),它利用这种特征相关性损失来创建两种有意义的不同编码的输入信息,降低了可传输性。
2023-02-22 cs.AI cs.CR cs.LG
Similarity of Neural Architectures using Adversarial Attack Transferability
School of Integrated Technology, Yonsei University(延世大学整合技术学院);BK21 Graduate Program in Intelligent Semiconductor Technology, Yonsei University(延世大学BK21智能半导体技术研究生项目);NAVER AI Lab(NAVER人工智能实验室)
本文提出基于对抗攻击迁移性的神经架构相似性度量SAT,对69个ImageNet分类器进行大规模分析,发现模型多样性可提升集成与蒸馏性能,强调开发多样化架构的必要性。
2024-07-17 cs.CV cs.LG
On the Transferability of Adversarial Attacksagainst Neural Text Classifier
School of Computer Science, Fudan University(复旦大学计算机学院);Shanghai Key Laboratory of Intelligent Information Processing(上海市智能信息处理重点实验室);Department of Computer Science, University of California, Los Angeles(加利福尼亚大学洛杉矶分校计算机科学系)
深度神经网络容易受到对抗攻击的攻击,其中对输入的小扰动会改变模型预测。在许多情况下,故意为一个模型制作的恶意输入可以欺骗另一个模型。在本文中,我们提出了第一个研究,系统地研究了文本分类模型的对抗性示例的可移植性,并探讨了各种因素,包括网络架构,标记化方案,词嵌入和模型容量,如何影响对抗性示例的可移植性。基于这些研究,我们提出了一个遗传算法,以找到一个集成的模型,可以用来诱导对抗性的例子,愚弄几乎所有现有的模型。这种对抗性的例子反映了学习过程的缺陷和训练集中的数据偏差。最后,我们从这些对抗性示例中推导出可用于模型诊断的单词替换规则。
2021-09-22 cs.CL cs.LG
Transferability of Neural Network Clinical De-identification Systems
George Mason University(乔治梅森大学);University of Washington(华盛顿大学);Virginia Commonwealth University(弗吉尼亚联邦大学)
目的:神经网络去识别化研究主要集中在个体数据集上。这些研究假设有足够数量的人类注释数据可用于训练模型,这些模型可以推广到相应的测试数据。然而,在现实世界的情况下,研究人员通常只有有限的或没有内部训练数据。现有系统和外部数据可以帮助启动对内部数据的去识别化;然而,利用现有系统和外部数据的最有效方式尚不清楚。本文研究了最先进的神经临床去识别系统NeuroNER在各种数据集上的可移植性,当它在架构上被修改为领域泛化时,以及当它在策略上被训练为领域转移时。方法和材料:我们进行了一项比较研究的NeuroNER的可转移性,使用四个临床笔记语料库,从两个机构的多种笔记类型。我们修改了NeuroNER架构,以集成两种类型的领域泛化方法。我们使用三种培训策略对每个架构进行了评估。我们测量了:来自外部源的可转移性;跨笔记类型的可转移性;当域内训练数据可用时外部源数据的贡献;以及跨机构的可转移性。结果和结论:来自单一外部来源的可转移性产生不一致的结果。使用额外的外部来源始终产生约80%的F1评分。微调出现作为一个占主导地位的转移策略,有或没有领域泛化。我们还发现,即使在域内训练数据可用的情况下,外部源也是有用的。机构之间的可转移性因票据类型和注释标签而异,但导致性能提高。
2021-08-17 cs.CL cs.CR cs.LG
Early Transferability of Adversarial Examples in Deep Neural Networks
Weizmann Institute of Science(魏茨曼科学研究所)
本文将描述和分析一种新的现象,我们称之为“早期可转让性”。其本质是,即使在训练的极早期阶段,对抗性扰动也会在不同的网络之间转移。事实上,我们可以用两个不同的独立随机权重选择来初始化两个网络,并在训练的每一步之后测量它们的对抗扰动之间的角度。我们发现,在最初的几个训练步骤(通常只使用一小部分可用的训练数据)之后,这两个对抗方向已经开始相互对齐,尽管由于训练的早期阶段,两个网络的准确性还没有从最初的坏值开始提高。本文的目的是提出这种现象的实验,并提出合理的解释,它的一些属性。
2022-06-09 cs.CR cs.LG
Unleashing the power of Neural Collapse for Transferability Estimation
Anhui University(安徽大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Science and Technology of China(中国科学技术大学)
该研究发现预训练模型的神经坍缩程度与微调后性能强相关,提出包含方差坍缩项和类公平性项的FaCe方法用于可迁移性估计,在多类任务上取得SOTA性能。
2023-10-09 cs.CV cs.LG
On the Adversarial Transferability of ConvMixer Models
Tokyo Metropolitan University(东京都立大学);National Institute of Informatics (NII)(国立信息学研究所)
众所周知,深度神经网络(DNN)容易受到对抗性示例(AE)的影响。此外,AE具有对抗性可转移性,这意味着为源模型生成的AE可以以非平凡的概率欺骗另一个黑盒模型(目标模型)。在本文中,我们首次研究了包括ConvMixer(一个各向同性网络)在内的模型之间的对抗可转移性。为了客观地验证模型的可移植性,采用一种称为AutoAttack的基准攻击方法对模型的鲁棒性进行了评估。在一个图像分类实验中,ConvMixer被证实是弱对抗转移。
2022-09-19 cs.LG