Force-directed graph embedding with hops distance
Purdue University(普渡大学);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
提出一种基于跳跃距离和牛顿第二定律的力导向图嵌入方法,通过模拟节点间的吸引与排斥力保留图拓扑特征,在多项图分析任务中表现出与先进无监督技术相当的竞争力。
2023-09-11 cs.LG
Graph Neural Network Causal Explanation via Neural Causal Models
Illinois Institute of Technology(伊利诺伊理工大学)
针对现有图神经网络解释器多基于关联易产生虚假相关的问题,提出基于神经因果模型的GNN因果解释器,通过构建定制化神经因果模型计算因果效应以识别因果子图,性能显著优于现有方法。
2024-07-12 cs.AI cs.LG stat.ML
Recovering Barabási-Albert Parameters of Graphs through Disentanglement
ETH Zurich(苏黎世联邦理工学院)
经典的图建模方法,如Erdés Rényi(ER)随机图或Barabási-Albert(BA)图,这里称为程式化模型,旨在以可解释的方式再现真实世界图的属性。虽然有用,但使用程式化模型生成图需要领域知识和迭代试错模拟。Stoehr等人(2019)通过使用以解纠缠为重点的深度自动编码框架(更具体地说,$β$ -变分自编码器($β$ -VAE))从图形数据中学习生成过程来解决这些问题。虽然他们通过模型的潜变量成功地恢复了ER图的生成参数,但由于其过度简化的解码器,他们的模型在顺序生成的图(如BA图)上表现不佳。我们专注于恢复BA图的生成参数,通过更换其$β$ -VAE解码器与一个顺序。我们首先使用图神经网络(GNN)和随机森林回归器以监督方式学习生成BA参数,通过最小化真实生成参数和潜在变量之间的平方损失。接下来,我们训练一个$β$ -VAE模型,将第一阶段的GNN编码器与具有定制损耗的基于LSTM的解码器相结合。
2021-05-04 cs.LG cs.SI stat.ML
Graph Neural Networks for Small Graph and Giant Network Representation Learning: An Overview
Information Fusion and Mining Laboratory(信息融合与挖掘实验室)
图神经网络是专门针对图数据的表示学习任务而引入的一组神经网络模型。图神经网络已被证明是有效的捕捉网络结构信息,学习的表示可以实现节点和图分类任务的最先进的性能。除了不同的应用场景外,图神经网络模型的体系结构也很大程度上取决于所研究的图类型。研究中研究的图形数据通常可以分为两种主要类型,即,小图与巨型网络,它们在大小,实例数量和标签注释方面彼此差异很大。已经引入了几种不同类型的图神经网络模型,用于从这种不同类型的图中学习表示。本文针对这两种不同类型的图数据,将介绍近年来推出的图神经网络。更具体地说,本文介绍的图神经网络包括IsoNN、SDBN、LF&ER、GCN、GAT、DifNN、GNL、GraphSage和seGEN。在这些图神经网络模型中,IsoNN,SDBN和LF&ER最初是针对小图提出的,其余的最初是针对巨网络提出的。读者在阅读本教程时,也可以参考这些论文以获取详细信息。
2019-08-01 cs.LG cs.NE stat.ML
Residual or Gate? Towards Deeper Graph Neural Networks for Inductive Graph Representation Learning
Carnegie Mellon University(卡内基梅隆大学)
本文研究了用图神经网络进行节点表示学习的问题。我们提出了一个图神经网络类命名为递归图神经网络(RGNN),解决了现有方法的缺点。通过使用递归单元来捕获跨层的长期依赖性,我们的方法可以成功地识别递归邻域扩展过程中的重要信息。在我们的实验中,我们证明了我们的模型类在三个基准测试中获得了最先进的结果:Pubmed,Reddit和PPI网络数据集。我们的深入分析还表明,结合递归单元是一种简单而有效的方法来防止图中的噪声信息,从而实现更深的图神经网络。
2019-08-26 cs.LG cs.SI stat.ML
Geodesic Graph Neural Network for Efficient Graph Representation Learning
Washington University in St. Louis(圣路易斯华盛顿大学);Peking University(北京大学)
图神经网络(GNN)最近已被应用于图学习任务,并取得了最先进的(SOTA)结果。然而,许多有竞争力的方法通过子图提取和自定义标记多次运行GNN,以捕获普通GNN难以学习的信息。这样的操作是耗时的,并且不能扩展到大型图。在本文中,我们提出了一个高效的GNN框架,称为Geodesic GNN(GDGNN),它只需要运行一次GNN,并将节点之间的条件关系注入到模型中,而无需标记。该策略有效地减少了子图方法的运行时间。具体来说,我们将两个节点之间的最短路径视为它们周围邻域的空间图上下文。最短路径上节点的GNN嵌入用于生成测地线表示。在测地线表示的条件下,GDGNN可以生成节点,链接和图形表示,这些表示比普通GNN携带更丰富的结构信息。我们从理论上证明了GDGNN比普通GNN更强大。我们目前的实验结果表明,GDGNN在各种图学习任务上与SOTA GNN模型相比具有很强的竞争力,同时花费的时间明显更少。
2023-02-12 cs.LG
Graph External Attention Enhanced Transformer
Shanxi University(山西大学);School of Computer and Information Technology, Shanxi University(山西大学计算机与信息技术学院)
针对现有图Transformer忽略图间相关性的问题,提出图外部注意力(GEA)机制及GEAET架构,整合局部结构与全局交互,在基准数据集上取得最先进性能。
2024-06-03 cs.LG
ViGText: Deepfake Image Detection with Vision-Language Model Explanations and Graph Neural Networks
New Jersey Institute of Technology(新泽西理工学院);Old Dominion University(旧 Dominion 大学)
ViGText结合视觉-语言模型解释和图神经网络,提升深度伪造检测的泛化能力和鲁棒性。
2026-02-20 cs.AI cs.CV cs.LG
Customized Watermarking for Deep Neural Networks via Label Distribution Perturbation
National Tsing Hua University(国立清华大学)
随着机器学习的应用价值越来越高,深度神经网络(DNN)的知识产权(IP)问题越来越受到关注。通过分析,现有的DNN水印方法大多能够抵抗微调和剪枝攻击,但不能抵抗蒸馏攻击。为了解决这些问题,我们提出了一种新的DNN水印框架,统一软标签扰动(USP),具有与要加水印的模型配对的检测器,以及定制软标签扰动(CSP),通过将扰动添加到模型输出概率分布来嵌入水印。实验结果表明,我们的方法可以抵抗所有的水印去除攻击,并优于蒸馏攻击。此外,我们也有一个很好的权衡之间的主要任务和水印,实现了98.68%的水印准确率,而只影响主要任务的准确率为0.59%。
2022-08-10 cs.CR cs.LG
GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks
South China University of Technology(华南理工大学);University of Hong Kong(香港大学);PAZHOU LAB(琶洲实验室);Guangdong Key Lab of Communication and Computer Network(广东省通信与计算机网络重点实验室)
针对时空预测模型集成扩展难的问题,提出含定制化模块的时空掩码自编码器与自适应掩码策略的GPT-ST预训练框架,可提升下游基准性能,实验验证有效且代码开源。
2023-11-07 cs.AI cs.CY cs.LG
CBNN: 3-Party Secure Framework for Customized Binary Neural Networks Inference
School of Software Engineering, East China Normal University(华东师范大学软件工程学院)
本文提出CBNN,一个面向高效BNN推理的三方安全计算框架,通过知识蒸馏和可分离卷积将标准BNN转换为MPC友好的定制化BNN,并优化线性和非线性操作协议,在保障安全性的同时维持了模型高性能。
2024-12-21 cs.CR cs.LG
Spatio-Temporal Graph Neural Networks: A Survey
Queen Mary University of London(伦敦玛丽女王大学);American University of Beirut(贝鲁特美国大学)
图神经网络在过去的几年里获得了巨大的兴趣。这些强大的算法将深度学习模型扩展到非欧几里德空间,并能够在包括推荐系统和社交网络在内的各种应用中实现最先进的性能。然而,这种性能是基于静态图结构的假设,当数据随时间变化时,这限制了图神经网络的性能。时空图神经网络是考虑时间因素的图神经网络的扩展。最近,提出了各种时空图神经网络算法,并在几个时间依赖的应用中实现了优于其他深度学习算法的性能。本调查讨论了与时空图神经网络相关的有趣主题,包括算法,应用和开放挑战。
2023-02-11 cs.LG
EH-DNAS: End-to-End Hardware-aware Differentiable Neural Architecture Search
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
在硬件感知的可区分神经架构搜索(DNAS)中,计算硬件度量的梯度以执行架构搜索是具有挑战性的。现有的作品依赖于线性近似与有限的支持定制的硬件加速器。在这项工作中,我们提出了端到端硬件感知DNAS(EH-DNAS),端到端硬件基准测试的无缝集成,以及完全自动化的DNAS,以在各种平台上提供硬件高效的深度神经网络,包括边缘GPU,边缘TPU,移动CPU和定制加速器。给定一个期望的硬件平台,我们建议学习一个可微模型预测端到端的硬件性能的神经网络架构的DNAS。我们还推出了E2 E-Perf,这是一款用于定制加速器的端到端硬件基准测试工具。在CIFAR 10和ImageNet上的实验表明,EH-DNAS在保持分类精度的前提下,在自定义加速器上平均提高了$1.4\times$,在现有硬件处理器上平均提高了$1.6\times$。
2021-11-24 cs.LG
Improving Subgraph Recognition with Variational Graph Information Bottleneck
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology, CAS(中国科学院脑科学与智能技术卓越创新中心)
子图识别的目的是发现一个压缩的子结构的图,是最丰富的图形属性。它可以通过优化图信息瓶颈(GIB)与互信息估计制定。然而,GIB由于其固有的优化过程而遭受训练不稳定和退化结果。为了解决这些问题,我们重新制定的子图识别问题分为两个步骤:图扰动和子图选择,导致一个新的变分图信息瓶颈(VGIB)框架。VGIB首先采用噪声注入来调制从输入图到扰动图的信息流。然后,扰动图被鼓励是信息的图形属性。VGIB进一步通过滤除扰动图中的噪声来获得期望的子图。与定制的噪声之前,为每个输入,VGIB目标被赋予了一个易于处理的变分上限,从而导致优越的经验性能以及理论属性。对图的解释、图神经网络的可解释性和图的分类进行了大量的实验,结果表明VGIB比现有的方法找到了更好的子图。代码可在https://github.com/Samyu0304/VGIB获得
2022-04-04 cs.AI cs.LG
Graph Neural Networks for Forecasting Multivariate Realized Volatility with Spillover Effects
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
本文提出利用定制图神经网络建模股票间溢出效应以预测多元已实现波动率,发现引入非线性溢出效应和使用准似然损失能显著提升短期预测精度与模型性能。
2023-08-01 cs.LG q-fin.RM q-fin.ST
Graphs Unveiled: Graph Neural Networks and Graph Generation
University of Miskolc(米什科尔茨大学)
本文是一篇关于图神经网络(GNNs)的全面综述,探讨了其在各领域的应用,并介绍了图生成这一前沿领域。
2024-03-18 cs.AI cs.LG
Anomaly-resistant Graph Neural Networks via Neural Architecture Search
通常,图神经网络(GNN)一直使用消息传递方法来聚合和汇总关于邻居的信息以表达它们的信息。尽管如此,以前的研究表明,图神经网络的性能变得脆弱时,有异常节点的邻居,由于这种消息传递方法。在本文中,受神经结构搜索方法的启发,我们提出了一种算法,识别异常节点,并自动排除他们的信息聚合。在各种真实世界数据集上的实验表明,我们提出的基于神经结构搜索的抗异常图神经网络(NASAR-GNN)实际上是有效的。
2021-12-19 cs.AI cs.LG
Sampling and Recovery of Graph Signals based on Graph Neural Networks
Mitsubishi Electric Research Laboratories (MERL)(三菱电机研究实验室(MERL));Shanghai Jiao Tong University(上海交通大学)
我们提出了可解释的图神经网络的采样和恢复的图形信号,分别。为了进行信息测量,我们提出了一个新的图神经采样模块,其目的是选择那些最大限度地表达其相应邻域的顶点。这种表现力可以通过经由图神经网络估计的顶点特征和邻域特征之间的互信息来量化。为了从采样测量中重建原始图信号,我们提出了一个基于算法展开技术的图神经恢复模块。与以前的分析采样和恢复相比,所提出的方法能够灵活地学习各种图形信号模型的数据,通过利用神经网络的学习能力;与以前的基于神经网络的采样和恢复相比,所提出的方法是通过利用特定的图形属性设计的,并提供可解释性。我们进一步设计了一个新的多尺度图神经网络,它是一个可训练的多尺度图滤波器组,可以处理各种与图相关的学习任务。多尺度网络利用所提出的图神经采样和恢复模块来实现图的多尺度表示。在实验中,我们说明了所提出的图神经采样和恢复模块的效果,并发现该模块可以灵活地适应各种图结构和图信号。在基于主动采样的半监督学习任务中,图神经采样模块在Cora数据集上将分类精度提高了10%以上。我们进一步验证了建议的多尺度图神经网络上的几个标准数据集的顶点和图形分类。结果表明,我们的方法一贯提高分类精度。
2020-11-03 cs.LG cs.SI eess.SP
On-Meter Graph Machine Learning: A Case Study of PV Power Forecasting for Grid Edge Intelligence
Sun Yat-sen University, Guangzhou, China(中山大学,广州,中国)
本文研究了图神经网络在微电网边缘智能电表中用于预测光伏功率的方法,介绍了ONNX和ONNX Runtime技术,并通过实际数据集评估了GCN和GraphSAGE模型的性能。
2026-04-10 cs.AI cs.LG cs.SY
Net2: A Graph Attention Network Method Customized for Pre-Placement Net Length Estimation
Duke University(杜克大学);ARM Inc.(ARM公司);Texas A&M University(得克萨斯农工大学)
净长度是一个关键的代理指标,用于优化标准数字设计流程各个阶段的时序和功耗。然而,大部分的净长度信息是不可用的,直到单元布局,因此,它是一个重大的挑战,明确考虑净长度优化布局之前的设计阶段,如逻辑综合。这项工作解决了这一挑战,提出了一个图形注意力网络的方法与定制,称为Net2,估计个人的网络长度之前,细胞放置。它的精度为导向的版本Net2a实现了约15%的精度比以前的几个作品在识别长网和长关键路线。它的快速版本Net2f比布局快1000多倍,同时在各种准确性指标方面仍然优于以前的作品和其他神经网络技术。
2020-11-27 cs.AR cs.LG
FastONN -- Python based open-source GPU implementation for Operational Neural Networks
操作神经网络(Operational Neural Networks,ONNs)是近年来提出的一种用于网格结构数据的特殊的人工神经网络。它们使异构非线性操作能够推广广泛采用的基于卷积的神经元模型。这项工作介绍了一个快速的GPU启用库训练业务神经网络,FastONN,这是基于一种新的矢量化制定的操作神经元。利用反向传播的自动反向模式微分,FastONN通过引入新的算子集和自定义梯度流来提高灵活性。此外,捆绑的辅助模块提供了跨不同数据分区和自定义指标的性能跟踪和检查点接口。
2020-06-03 cs.LG cs.NE
Amalgamating Filtered Knowledge: Learning Task-customized Student from Multi-task Teachers
Zhejiang University(浙江大学);Stevens Institute of Technology(史蒂文斯理工学院);Alibaba Group(阿里巴巴集团)
许多训练有素的卷积神经网络(CNN)模型现在已经被开发人员在线发布,以便轻松复制。在本文中,我们将这种预先训练的网络视为教师,并探索如何使用处理不同任务的多个教师来学习目标学生网络以完成定制任务。我们假设没有人类标记的注释可用,每个教师模型可以是单任务或多任务网络,其中前者是后者的退化情况。学生模型根据定制的任务,学习从多个教师过滤的相关知识,并最终掌握所有教师的完整或子集的专业知识。为此,我们采用了分层的训练策略,将学生要学习的网络块与相应的教师纠缠在一起。正如几个基准测试所证明的那样,学习的学生网络取得了非常有希望的结果,甚至在定制任务上超过了教师。
2019-05-28 cs.LG
COP: Customized Deep Model Compression via Regularized Correlation-Based Filter-Level Pruning
Zhejiang University(浙江大学);Fabu Inc.(法布公司);Alibaba-Zhejiang University Joint Institute of Frontier Technologies(阿里巴巴-浙江大学前沿技术联合研究院);GAC R&D Center(广汽研究院)
神经网络压缩使有效但笨重的深度卷积神经网络(CNN)能够部署在资源受限的场景中。大多数最先进的方法修剪过滤器的过滤器级别根据过滤器的“重要性”的模型。尽管他们的成功,我们注意到他们遭受至少两个以下问题:1)过滤器之间的冗余没有考虑,因为重要性是独立评估。2)跨层过滤器比较是无法实现的,因为重要性是在每个层内局部定义的。因此,我们必须手动指定逐层修剪比率。3)它们容易产生次优解,因为它们忽略了减少参数和减少计算成本之间的不平等。减少网络中不同位置的相同数量的参数可以减少不同的计算成本。为了解决上述问题,我们提出了一种新的算法COP(correlation-based pruning),它可以有效地检测冗余滤波器。我们通过全局标准化启用跨层滤波器比较。我们增加了参数数量和计算成本正则化条款的重要性,这使得用户能够定制的压缩,根据自己的喜好(更小或更快)。大量的实验表明,COP明显优于其他算法。该代码在https://github.com/ZJULearning/COP上发布。
2019-06-25 cs.CV cs.LG
Orthogonalized SGD and Nested Architectures for Anytime Neural Networks
University of Chicago(芝加哥大学)
我们提出了一种新的SGD变体,用于训练支持随时行为的网络架构:这种网络随着时间的推移产生一系列越来越准确的输出。这些网络的有效架构设计集中在重用内部状态;子网络必须产生与即时预测以及后续网络阶段的细化相关的表示。我们考虑传统的分支网络以及一类新的递归嵌套网络。我们的新优化器,归一化SGD,在训练多任务网络时动态地重新平衡特定于任务的梯度。在随时架构的上下文中,该优化器将来自较晚输出的梯度投影到参数子空间上,该参数子空间不会干扰来自较早输出的梯度。实验表明,使用归一化SGD进行训练可以显著提高任意时刻网络的泛化精度。
2020-08-15 cs.LG stat.ML
Dynamic Cell Structure via Recursive-Recurrent Neural Networks
Weinberg College of Arts and Sciences, Northwestern University(西北大学温伯格文理学院);Northwestern University(西北大学)
在循环设置中,神经架构搜索的传统方法为所有数据样本和时间步长找到并固定通用模型。我们提出了一种新的算法,可以动态搜索的递归神经网络模型中的细胞的结构。基于递归和递归神经网络的组合,我们的算法能够为每个数据样本和时间步长构建定制的细胞结构,允许比现有模型更有效的架构搜索。在三个常见数据集上的实验表明,该算法发现了高性能的细胞结构,并在语言建模和情感分析方面取得了比GRU结构更好的预测精度。
2019-05-25 cs.LG cs.NE stat.ML
Accelerator-aware Neural Network Design using AutoML
Google Inc.(谷歌公司)
虽然神经网络硬件加速器提供了大量的原始计算吞吐量,但部署在其上的模型必须针对底层硬件架构进行协同设计,以获得最佳的系统性能。我们提出了一类使用硬件感知神经架构搜索设计的计算机视觉模型,并定制为在Edge TPU上运行,Edge TPU是Google的低功耗边缘设备神经网络硬件加速器。对于Coral设备中的Edge TPU,这些模型可以实现实时图像分类性能,同时实现通常只有在数据中心运行的大型计算繁重模型才能看到的准确性。在Pixel 4的Edge TPU上,这些模型比现有的SoTA移动模型提高了准确性-延迟权衡。
2020-03-05 cs.LG eess.SP stat.ML
mFI-PSO: A Flexible and Effective Method in Adversarial Image Generation for Deep Neural Networks
New York University(纽约大学);Central South University(中南大学);The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);East China Normal University(华东师范大学)
深度神经网络(DNN)在图像分类方面取得了巨大成功,但在对图像进行小扰动的情况下,很容易受到对抗攻击的攻击。为了改进DNN的对抗图像生成,我们开发了一种称为mFI-PSO的新方法,该方法利用基于流形的一阶影响度量来进行脆弱图像和像素选择,并利用粒子群优化来实现各种目标函数。因此,我们的mFI-PSO可以有效地设计对抗图像,并在扰动像素的数量,误分类概率和目标错误类上提供灵活的自定义选项。实验表明,我们的mFI-PSO在对抗攻击的灵活性和有效性,其吸引力的优势,一些流行的方法。
2022-05-08 cs.LG stat.ML
Rethinking Numerical Representations for Deep Neural Networks
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
随着深度学习的计算需求不断增加,研究DNN模型权重和激活的数值表示和精度对计算效率的影响至关重要。在这项工作中,我们探索了非传统的窄精度浮点表示,因为它涉及到推理的准确性和效率,以指导未来DNN平台的改进设计。我们表明,在生产级DNN(包括GoogLeNet和VGG)上使用这些自定义数字表示的推理实现了7.6倍的平均加速,相对于使用单精度浮点表示最复杂硬件的最先进基线平台,推理精度下降不到1%。为了方便使用这种定制的精度,我们还提出了一种新的技术,大大减少了所需的时间来获得最佳的精度配置。
2018-08-07 cs.LG stat.ML
Measuring Model Complexity of Neural Networks with Curve Activation Functions
Simon Fraser University(西蒙弗雷泽大学);Microsoft Research(微软研究院)
度量深度神经网络的模型复杂度是一个基础问题。现有的关于模型复杂性的文献主要集中在具有分段线性激活函数的神经网络上。具有一般曲线激活函数的神经网络的模型复杂性是一个悬而未决的问题。为了应对这一挑战,本文首先提出了线性近似神经网络(简称LANN),这是一种分段线性框架,用于近似具有曲线激活函数的给定深度模型。LANN为每个神经元的激活函数构造单独的分段线性逼近,并最小化线性区域的数量以满足所需的逼近度。然后,我们分析了由LANN形成的线性区域的数量的上界,并推导出基于上界的复杂性度量。为了检验复杂性度量的有用性,我们通过实验探索了神经网络的训练过程并检测过拟合。我们的研究结果表明,过拟合的发生与训练过程中模型复杂度的增加呈正相关。我们发现$L^1$和$L^2$正则化抑制了模型复杂度的增加。最后,我们提出了两种方法来防止过拟合直接约束模型的复杂性,即神经元修剪和定制的$L^1$正则化。
2020-06-16 cs.LG stat.ML
Speech and Speaker Recognition from Raw Waveform with SincNet
Mila(米拉研究所)
深度神经网络可以学习复杂和抽象的表示,这些表示是通过组合较简单的表示逐步获得的。语音和说话人识别的最近趋势在于直接从原始音频样本开始发现这些表示。与标准的手工特征(如MFCC或FBANK)不同,原始波形可能有助于神经网络发现更好、更定制的表示。然而,高维原始输入可能会使训练更具挑战性。本文总结了我们最近的努力,开发一个神经架构,有效地处理语音从音频波形。特别是,我们提出了SincNet,一种新的卷积神经网络(CNN),鼓励第一层通过利用参数化sinc函数来发现有意义的滤波器。与学习每个滤波器的所有元素的标准CNN相反,只有带通滤波器的低截止频率和高截止频率直接从数据中学习。这种感应偏置提供了一种非常紧凑的方式来获得定制的前端,这只取决于一些具有明确物理意义的参数。我们在说话人和语音识别上进行的实验表明,与标准CNN相比,所提出的架构收敛更快,性能更好,计算效率更高。
2019-02-15 cs.CL cs.LG cs.SD
Technology prediction of a 3D model using Neural Network
Institute of Computing Science, Poznan University of Technology(计算机科学研究所,波兹南技术大学)
针对传统生产时长估算方法在动态定制生产环境中效果不佳的问题,提出一种数据驱动方法,通过将3D模型渲染为2D图像并结合受生成查询网络启发的神经网络预测制造工序及时长,平均绝对误差低于3秒,助力多品类产品生产规划。
2025-09-04 cs.LG
FedSelect: Personalized Federated Learning with Customized Selection of Parameters for Fine-Tuning
Lapis Labs(拉皮斯实验室);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Bar-Ilan University(巴伊兰大学)
本文提出FedSelect,一种借鉴彩票假设迭代子网络发现的个性化联邦学习算法,通过增量扩展个性化子网络并全局聚合其余参数,在数据异质性和分布偏移下优于现有PFL方法。
2024-04-03 cs.AI cs.LG
Towards Optimal Customized Architecture for Heterogeneous Federated Learning with Contrastive Cloud-Edge Model Decoupling
Southwestern University of Finance and Economics(西南财经大学);Beijing University of Posts and Telecommunications(北京邮电大学);City University of Hong Kong(香港城市大学)
针对异构联邦学习中的非独立同分布数据与通信开销问题,提出 FedCMD 云边模型解耦框架,利用 Wasserstein 距离动态选择个性化层并加权聚合,在十个基准上优于九种现有方法。
2024-03-04 cs.AI cs.LG
A comprehensive theoretical framework for the optimization of neural networks classification performance with respect to weighted metrics
University of Padova(帕多瓦大学);University of Genova(热那亚大学)
本文针对神经网络训练中损失函数最小化与加权分类分数最大化之间的差异,提出一个完整理论框架,将加权分类指标形式化并构建相应损失函数以优化目标指标,且涵盖多种成熟方法。
2023-05-22 cs.LG cs.NA math.NA
AbsoluteNet: A Deep Learning Neural Network to Classify Cerebral Hemodynamic Responses of Auditory Processing
1 Department of Electrical Engineering, Computer, \& Biomedical Engineering, University of Rhode Island RI, USA 2 Multimodal Functional Brain Imaging Research Lab at St. Jude Children's Research Hospital, TN, USA 3 Miner School of Computer;Information Sciences at University of massachusetts Lowell, MA, USA
AbsoluteNet利用时空卷积和定制激活函数,在fNIRS听觉事件相关响应二分类中达到87.0%准确率,优于现有模型,验证了深度学习解码血流动力学响应的有效性。
2025-10-08 cs.LG cs.SD eess.AS
Deep Unsupervised Learning for Generalized Assignment Problems: A Case-Study of User-Association in Wireless Networks
Lassonde School of Engineering at York University(约克大学拉松德工程学院);Thompson Rivers University(汤普森河大学)
在无线通信领域中存在着许多资源分配问题,这些问题可以用广义分配问题(GAP)来表示。GAP是线性和分配问题(LSAP)的一种一般形式,由于等式和不等式约束的存在,其求解更具挑战性。我们提出了一种新的深度无监督学习(DUL)方法,以节省时间的方式解决GAP。更具体地说,我们提出了一种新的方法,便于训练深度神经网络(DNN)使用定制的损失函数。这种定制的损失函数构成了目标函数和对应于等式和不等式约束的惩罚项。此外,我们建议在DNN的输出处使用Softmax激活函数以及张量分裂,这简化了定制的损失函数并保证满足等式约束。作为一个案例研究,我们考虑了一个典型的用户关联问题在无线网络中,制定它作为GAP,并因此解决它使用我们提出的DUL方法。数值结果表明,所提出的DUL方法提供了接近最优的结果,显着降低时间复杂度。
2021-03-26 cs.LG eess.SP
Development of a Vertex Finding Algorithm using Recurrent Neural Network
Kyushu University(九州大学);The University of Tokyo(东京大学);Osaka University(大阪大学);Osaka City University(大阪市立大学)
深度学习是一种快速发展的技术,有可能显着提高对撞机实验的物理范围。在这项研究中,我们开发了一种新的算法的顶点寻找未来的轻子对撞机,如国际直线对撞机。我们部署两个网络;一个是简单的全连接层,用于从轨迹对中寻找顶点种子,另一个是定制的循环神经网络,其具有注意机制和编码器-解码器结构,用于将轨迹与顶点种子相关联。的顶点查找器的性能进行了比较,与标准的迭代学习控制重建算法。
2022-11-19 cs.LG hep-ex physics.data-an
Ultra-low latency recurrent neural network inference on FPGAs for physics applications with hls4ml
University of Washington(华盛顿大学);Massachusetts Institute of Technology(麻省理工学院);SLAC National Accelerator Laboratory(SLAC国家加速器实验室);European Organization for Nuclear Research (CERN)(欧洲核子研究组织(CERN))
循环神经网络已被证明是高能物理中许多任务的有效架构,因此已被广泛采用。然而,由于在现场可编程门阵列(FPGA)上实现循环架构的困难,它们在低延迟环境中的使用受到限制。在本文中,我们提出了两种类型的循环神经网络层的实现--长短期记忆和门控循环单元--在hls 4 ml框架内。我们证明,我们的实现是能够产生有效的设计小型和大型模型,并可以定制,以满足特定的设计要求的推理机和FPGA资源。我们展示了多个神经网络的性能和综合设计,其中许多是专门为欧洲核子研究中心大型强子对撞机的喷气识别任务而训练的。
2022-07-01 cs.LG hep-ex physics.ins-det
Stochastic Optimization of Plain Convolutional Neural Networks with Simple methods
Pace University(佩斯大学)
卷积神经网络在许多视觉模式分类问题中已经取得了最好的精度。然而,由于捕获这种表示所需的模型容量,它们通常对过拟合过于敏感,因此需要适当的正则化才能很好地泛化。在本文中,我们提出了一种正则化技术的组合,它们共同作用以获得更好的性能,我们构建了普通的CNN,然后我们使用了数据增强,dropout和定制的早期停止函数,我们通过在五个著名的数据集MNIST,CIFAR10,CIFAR100,SVHN,STL 10上应用模型来测试和评估这些技术,我们实现了三个最先进的(MNIST,SVHN,STL 10)和其他两个数据集上的非常高的准确性。
2020-01-24 cs.CV cs.LG
PotatoPestNet: A CTInceptionV3-RS-Based Neural Network for Accurate Identification of Potato Pests
Northumbria University, UK(诺森比亚大学)
针对八类马铃薯害虫识别,本文提出 PotatoPestNet,比较多种定制迁移学习模型并结合增强、正则化与随机搜索调优,CTInceptionV3 取得 91% 的综合最优性能。
2023-07-15 cs.CV cs.LG
Distributed creation of Machine learning agents for Blockchain analysis
National School of Mathematics and Natural Sciences(国家数学与自然科学学院);Comrade Cooperative(Comrade合作社)
创建高效的深度神经网络涉及对拓扑和超参数的重复手动优化。这种人为干预大大抑制了这一过程。最近的出版物提出了各种神经架构搜索(NAS)算法,自动化这项工作。我们已经将一种具有网络态射和贝叶斯优化的自定义NAS算法应用于加密货币预测问题,其结果与我们最好的手动设计模型相当。这与其他团队的发现一致,而几个已知的实验表明,如果有足够的计算能力,NAS算法可以超越人类设计的最先进的神经网络模型。在本文中,我们提出了一种区块链网络协议,该协议激励独立的计算节点运行NAS算法,并为特定任务竞争寻找更好的神经网络模型。如果实现,这样的网络可以成为机器学习模型的自主和自我改进的来源,大大促进和民主化许多行业的人工智能能力。
2019-09-06 cs.CR cs.DC cs.LG
Graph Structure of Neural Networks
Stanford University(斯坦福大学);Facebook AI Research(Facebook人工智能研究院)
神经网络通常表示为神经元之间的连接图。然而,尽管它们被广泛使用,但目前对神经网络的图结构与其预测性能之间的关系了解甚少。在这里,我们系统地研究了神经网络的图结构如何影响其预测性能。为此,我们开发了一种新的基于图的表示神经网络称为关系图,其中神经网络计算层对应于沿图结构的消息交换轮。使用这种表示,我们表明:(1)关系图的“甜蜜点”导致神经网络具有显着提高的预测性能;(2)神经网络的性能近似是其关系图的聚类系数和平均路径长度的平滑函数;(3)我们的研究结果在许多不同的任务和数据集上是一致的;(4)甜蜜点可以有效地识别;(5)表现最好的神经网络具有与真实生物神经网络惊人相似的图形结构。我们的工作为神经网络结构的设计和对神经网络的理解开辟了新的方向。
2020-08-27 cs.CV cs.LG cs.SI
RecSSD: Near Data Processing for Solid State Drive Based Recommendation Inference
Harvard University(哈佛大学);Facebook(脸书)
神经个性化推荐模型用于各种数据中心应用,包括搜索、社交媒体和娱乐。最先进的模型包括具有数十亿个参数的大型嵌入表,这些参数需要大的存储容量。不幸的是,基于DRAM的大而快的存储器征收高的基础设施成本。传统的基于SSD的存储解决方案提供了一个数量级的更大容量,但具有更差的读取延迟和带宽,从而降低了推理性能。RecSSD是一种基于近数据处理的SSD存储系统,专为神经推荐推理而定制,与使用COTS SSD相比,在八个行业代表性模型上将端到端模型推理延迟减少了2倍。
2021-01-29 cs.AR cs.LG
GradINN: Gradient Informed Neural Network
Politecnico di Torino(都灵理工大学);Dumarey Automotive Italia S.p.A.(杜马雷汽车意大利股份公司)
本文提出GradINN方法,利用辅助网络表达梯度先验并通过定制损失函数约束目标网络,在控制方程未知的低数据场景下高效逼近物理系统,实验验证其在多类问题上的优越性。
2024-09-03 cs.AI cs.LG
Classifying Relations via Long Short Term Memory Networks along Shortest Dependency Path
Software Institute, Peking University(北京大学软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
关系分类是自然语言处理领域的一个重要研究方向。在本文中,我们提出了SDP-LSTM,这是一种新型的神经网络,用于对句子中两个实体的关系进行分类。我们的神经架构利用了两个实体之间的最短依赖路径(SDP);多通道递归神经网络,具有长短期记忆(LSTM)单元,沿着SDP拾取异构信息。我们提出的模型有几个明显的特点:(1)最短的依赖路径保留最相关的信息(关系分类),同时消除句子中的无关词。(2)多通道LSTM网络允许在依赖路径上从异构源进行有效的信息集成。(3)定制的丢弃策略使神经网络规则化以减轻过拟合。我们在SemEval 2010关系分类任务上测试了我们的模型,并获得了83.7%的$F_1$分数,高于文献中的竞争方法。
2015-08-15 cs.CL cs.LG
eXtended Physics Informed Neural Network Method for Fracture Mechanics Problems
Department of Civil and Environmental Engineering, Shiraz University, Shiraz, Iran(土木与环境工程系,谢尔兹大学,谢尔兹,伊朗)
本文提出 X-PINN 框架解决断裂介质多裂纹问题,借鉴 XFEM 丰富神经网络解空间以捕捉不连续性与奇异性,采用能量损失函数、定制积分与区域分解,并用不同网络分别建模标准与增强解,数值实验验证了其有效性与稳健性。
2025-06-07 cs.LG cs.NA math.NA
QGAN-based data augmentation for hybrid quantum-classical neural networks
Beijing University of Posts and Telecommunications(北京邮电大学)
针对量子机器学习中的数据稀缺问题,提出将QGAN与HQCNN结合的数据增强框架,包含通用与定制化策略,实验证明其以更少参数优于传统方法并提升了模型性能。
2025-05-30 cs.LG quant-ph
Accurate Detection of Paroxysmal Atrial Fibrillation with Certified-GAN and Neural Architecture Search
Tarbiat Modares University(塔比亚特·莫达雷斯大学);Shiraz University of Medical Science(设拉子医科大学);Mälardalen University(梅拉达伦大学);Halmstad University(哈尔姆斯塔德大学)
本文提出了一种新的机器学习框架,用于检测阵发性房颤(PxAF),这是心电图(ECG)的一种病理特征,可能导致心脏病发作等致命疾病。为了增强学习过程,该框架在数据准备和分类器优化阶段涉及生成对抗网络(GAN)以及神经架构搜索(NAS)。创新性地调用GAN以通过以认证的方式产生PxAF类的合成ECG来克服训练数据的类不平衡。经认证的GAN的效果在统计学上得到验证。NAS不使用通用分类器,而是自动设计为PxAF分类任务定制的高度准确的卷积神经网络架构。实验结果表明,该框架的准确率高达99%,不仅将最新技术提高了5.1%,而且将两种广泛接受的基线方法ResNet-18和Auto-Sklearn的分类性能提高了2.2%和6.1%。
2023-01-17 cs.LG eess.SP
Neural Graph Machines: Learning Neural Networks Using Graphs
University of Cambridge(剑桥大学);Google Research(谷歌研究院)
标签传播是一种强大而灵活的图上的半监督学习技术。另一方面,神经网络在许多监督学习任务中有着良好的记录。在这项工作中,我们提出了一个训练框架与图形正则化的目标,即“神经图机”,可以结合神经网络和标签传播的力量。这项工作概括了以前关于神经网络的图增强训练的文献,使其能够应用于多种神经架构(前馈NN,CNN和LSTM RNN)和各种图形。新的目标允许神经网络通过以下方式来利用标记和未标记的数据:(a)允许网络像在监督设置中一样使用标记数据进行训练,(b)使网络偏向于学习图上相邻节点的类似隐藏表示,与标签传播相同。具有所提出的目标的这样的架构可以使用随机梯度下降来有效地训练,并且可以扩展到大型图,其运行时间在边的数量上是线性的。所提出的联合训练方法令人信服地优于许多现有的方法在广泛的任务(多标签分类的社会图,新闻分类,文档分类和语义意图分类),多种形式的图形输入(包括图形与和没有节点级功能),并使用不同类型的神经网络。
2017-03-14 cs.LG cs.NE
SNNAX -- Spiking Neural Networks in JAX
Peter-Grünberg Institute(彼得·格伦伯格研究所);FZ Jülich(于利希研究中心);RWTH Aachen(亚琛工业大学)
提出基于JAX的SNN模拟与训练框架SNNAX,兼具PyTorch的直观性与JAX的执行速度,支持灵活自动微分与即时编译,并通过多基准测试验证了其性能与易用性。
2025-01-27 cs.LG cs.NE
Optimizing Convolutional Neural Networks for Chronic Obstructive Pulmonary Disease Detection in Clinical Computed Tomography Imaging
Technical University of Munich(慕尼黑工业大学);Munich Institute of Biomedical Engineering(慕尼黑生物医学工程研究所);Klinikum rechts der Isar(伊萨尔河右岸医院);Institute for Advanced Study, Technical University of Munich(慕尼黑工业大学高等研究院)
本研究通过比较手动调整与自动化窗口设置优化(WSO),利用CNN优化基于CT图像的COPD检测,发现将CT数据调整至肺气肿窗口设置范围可提升DenseNet模型的检测性能。
2024-12-24 cs.CV cs.LG eess.IV
R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis
Snap Inc.(Snap公司);Northeastern University(东北大学);Google(谷歌)
近年来神经辐射场(NeRF)的研究表明,利用神经网络来表示复杂场景具有令人鼓舞的潜力。NeRF的一个主要缺点是其令人望而却步的推理时间:渲染单个像素需要查询NeRF网络数百次。为了解决这个问题,现有的努力主要试图减少所需的采样点的数量。然而,迭代采样的问题仍然存在。另一方面,神经光场(NeLF)在新的视图合成中提供了比NeRF更直接的表示-像素的渲染相当于一个单一的前向传递,而无需光线行进。在这项工作中,我们提出了一个深度残差MLP网络(88层)来有效地学习光场。我们证明了成功学习这样一个深度NeLF网络的关键是要有足够的数据,为此我们通过数据蒸馏从预先训练的NeRF模型中转移知识。在合成场景和真实场景上的大量实验表明,该方法优于其他同类算法。在合成场景中,我们实现了26- 35倍的FLOPs减少(每相机光线)和28- 31倍的运行时加速,同时提供比NeRF更好的(1.4-2.8 dB平均PSNR改善)渲染质量,而无需任何定制的并行要求。
2022-07-23 cs.AI cs.CV cs.GR