Graph Neural Networks in TensorFlow and Keras with Spektral
Università della Svizzera italiana(瑞士意大利语大学);Politecnico di Milano(米兰理工大学)
在本文中,我们介绍了Spektral,这是一个开源Python库,用于使用TensorFlow和Keras应用程序编程接口构建图神经网络。Spektral实现了大量用于图上深度学习的方法,包括消息传递和池化操作符,以及用于处理图和加载流行基准数据集的实用程序。该库的目的是提供创建图神经网络的基本构建块,重点关注Keras所基于的用户友好性和快速原型设计的指导原则。因此,Spektral适合绝对的初学者和深度学习专家。在这项工作中,我们提出了一个概述的Spektral的功能和报告的性能的方法实现的库中的节点分类,图分类,图回归的情况下。
2020-06-22 cs.LG stat.ML
Programming multi-level quantum gates in disordered computing reservoirs via machine learning and TensorFlow
University Sapienza(萨皮恩扎大学);National Research Council (ISC-CNR)(国家研究委员会(复杂系统研究所));University of Twente(特文特大学);Heriot-Watt University(赫瑞-瓦特大学)
新型机器学习计算工具为量子信息系统开辟了新的前景。在这里,我们采用开源编程库TensorFlow来设计多级量子门,包括由随机酉矩阵表示的计算库。在光学中,储存器是无序介质或多模光纤。我们表明,可训练的运营商在输入和读出,使一个实现多级门。我们研究了各种量子门,包括算法的缩放特性与水库的大小。尽管最初的低斜率学习阶段,TensorFlow是一个非常通用的资源,用于设计具有复杂介质的门,包括使用具有量化调制水平的空间光调制器的不同模型。
2019-10-03 cs.LG physics.optics quant-ph
Support Vector Machine Implementation on MPI-CUDA and Tensorflow Framework
Ain Shams University(艾因沙姆斯大学)
本文比较了支持向量机在MPI-CUDA和TensorFlow框架上的并行实现,发现MPI-CUDA实现加速更高,而TensorFlow实现提供跨平台解决方案以减少开发时间。
2023-11-25 cs.DC cs.LG
TensorSCONE: A Secure TensorFlow Framework using Intel SGX
TU Dresden(德累斯顿工业大学);Scontain UG(Scontain有限责任公司);The University of Edinburgh(爱丁堡大学)
机器学习已成为现代数据驱动的在线服务的关键组成部分。通常,机器学习技术的训练阶段需要处理可能包含客户的私有和敏感信息的大规模数据集。由于现代在线服务依赖于云计算来存储和处理敏感数据,因此这带来了重大的安全风险。在不可信的计算基础设施中,安全性正成为一个最重要的问题,因为客户需要信任第三方云提供商。不幸的是,这种信任在过去曾多次遭到破坏。为了克服云中潜在的安全风险,我们回答了以下研究问题:如何在不受信任的基础设施中安全执行机器学习计算?为了实现这一目标,我们提出了一种基于可信执行环境(TEE)(特别是英特尔SGX)的硬件辅助方法,以便在私有和敏感数据集上安全执行机器学习计算。更具体地说,我们提出了一个通用的和安全的机器学习框架的基础上Tensorflow,它使现有的应用程序的商品不可信的基础设施上的安全执行。特别是,我们通过将TensorFlow与SCONE(一个基于英特尔SGX的屏蔽执行框架)集成,从头构建了名为TensorSCONE的系统。这项工作的主要挑战是在构建安全的TensorFlow系统的背景下克服英特尔SGX的架构限制。我们的评估表明,我们实现了合理的性能开销,同时提供了较强的安全性能与低TCB。
2019-02-12 cs.CR cs.DC cs.LG
AutoGraph: Imperative-style Coding with Graph-based Performance
Google Brain(谷歌大脑);Purdue University(普渡大学)
在易于编写的机器学习代码与可扩展或快速执行的机器学习代码之间存在可感知的权衡。在机器学习中,像Autograd和PyTorch这样的命令式风格库很容易编写,但解释开销很高,并且不容易在生产或移动环境中部署。像TensorFlow和Theano这样基于图的库受益于整个程序优化,可以广泛部署,但使表达复杂模型变得更加繁琐。我们描述了如何通过源代码转换在Python中使用阶段式编程,在这两种库设计模式之间提供一个中点,从而获得两者的好处。一个关键的见解是通过动态分派将所有依赖于类型的决策延迟到运行时。我们在AutoGraph中实例化了这些原则,AutoGraph是一个改进TensorFlow库编程体验的软件系统,并展示了与原生TensorFlow图相比在性能上没有损失的可用性改进。我们还证明了我们的系统是后端不可知的,并展示了针对TensorFlow图中没有的特征的替代IR。
2019-03-26 cs.LG cs.PL stat.ML
Native Fortran Implementation of TensorFlow-Trained Deep and Bayesian Neural Networks
North Carolina State University(北卡罗来纳州立大学);University of Tennessee(田纳西大学);Oak Ridge National Laboratory(橡树岭国家实验室)
针对核工程领域Fortran代码与TensorFlow训练的ML模型不兼容问题,提出无需依赖外部工具的原生Fortran框架实现DNNs和BNNs,经测试获显著加速且成功集成到CTF代码,支持核应用中ML方法研究。
2025-02-07 cs.AI cs.LG
Training Neural Machine Translation (NMT) Models using Tensor Train Decomposition on TensorFlow (T3F)
我们使用t3 f库在TensorFlow神经机器翻译(NMT)模型中实现了一个Tensor训练层。我们使用学习率$\in \{0.0004,0.0008,0.0012\}$、最大秩$\in \{2,4,8,16\}$和一系列核心维度对IWITHEN英语-越南语'15和WMT德语-英语'16数据集进行训练。我们与我们的基准测试运行获得的目标BLEU测试得分24.0进行比较。对于IWITHEN英语-越南语培训,我们分别使用学习率为0.0012的核心维度$(2, 2, 256) \times (2, 2, 512)$和等级分布$(1,4,4,1)$和$(1,4,16,1)$获得了24.0/21.9和24.2/21.9的BLEU测试/开发分数。这两次运行分别使用了基准测试运行的113%和397%的触发器。我们发现,调查的参数,更高的学习率和更多的“矩形”的核心尺寸一般产生更高的BLEU分数。对于WMT德语-英语数据集,我们使用学习率为0.0012的核心维度$(4, 4, 128) \times (4, 4, 256)$和秩分布$(1,2,2,1)$获得了24.0/23.8的BLEU分数。我们讨论了潜在的未来优化和应用张量训练分解到其他NMT模型。
2019-11-05 cs.CL cs.LG stat.ML
Reproducibility, energy efficiency and performance of pseudorandom number generators in machine learning: a comparative study of python, numpy, tensorflow, and pytorch implementations
CNRS(法国国家科学研究中心);Clermont Auvergne INP(克莱蒙奥弗涅国立高等学院);Université Clermont Auvergne(克莱蒙奥弗涅大学);Mines St-Etienne(圣埃蒂安国立矿业学校)
本研究比较了Python、NumPy、TensorFlow和PyTorch中主流伪随机数生成器(PRNGs)在可复现性、能效与性能上的表现,发现其时间与能耗接近C实现,统计质量可比,但跨平台数值可复现性未能实现。
2024-02-10 cs.LG cs.MS
TensorFlow Quantum: A Software Framework for Quantum Machine Learning
Google Quantum AI(谷歌量子人工智能);University of Waterloo(滑铁卢大学);Google(谷歌);Caltech(加州理工学院)
我们介绍TensorFlow Quantum(TFQ),这是一个开源库,用于经典或量子数据的混合量子-经典模型的快速原型制作。该框架为TensorFlow下的判别和生成量子模型的设计和训练提供了高级抽象,并支持高性能量子线路模拟器。我们提供了一个概述的软件架构和构建模块,通过几个例子,并回顾混合量子经典神经网络的理论。我们说明TFQ功能通过几个基本的应用程序,包括监督学习的量子分类,量子控制,模拟嘈杂的量子线路,量子近似优化。此外,我们展示了如何应用TFQ来解决高级量子学习任务,包括元学习,分层学习,哈密顿学习,采样热态,变分量子本征求解器,量子相变分类,生成对抗网络和强化学习。我们希望这个框架为量子计算和机器学习研究社区提供必要的工具,以探索自然和人工量子系统的模型,并最终发现可能产生量子优势的新量子算法。
2021-08-26 cond-mat.dis-nn cs.LG cs.PL
TensorFlow Lite Micro: Embedded Machine Learning on TinyML Systems
Google(谷歌);Harvard University(哈佛大学)
嵌入式设备上的深度学习推理是一个新兴的领域,有着无数的应用,因为微型嵌入式设备无处不在。但我们必须克服重大挑战,才能从这一机会中获益。嵌入式处理器是严重的资源约束。它们最接近的移动对手在计算能力、内存可用性和功耗方面表现出至少100 - 1,000倍的差异。因此,机器学习(ML)模型和相关的ML推理框架不仅必须有效地执行,而且还必须在几个字节的内存中运行。此外,嵌入式设备的生态系统非常分散。为了最大限度地提高效率,系统供应商通常会省略许多主流系统中常见的功能,包括动态内存分配和虚拟内存,这些功能允许跨平台的互操作性。硬件有多种风格(例如,指令集架构和FPU支持,或缺乏支持)。我们介绍TensorFlow Lite Micro(TF Micro),这是一个开源ML推理框架,用于在嵌入式系统上运行深度学习模型。TF Micro解决了嵌入式系统资源限制和碎片化挑战带来的效率要求,这些挑战使得跨平台互操作性几乎不可能实现。该框架采用了独特的基于解释器的方法,在克服这些挑战的同时提供了灵活性。本文解释了TF Micro背后的设计决策,并描述了其实施细节。此外,我们提出了一个评估,以证明其低资源需求和最小的运行时性能开销。
2021-03-13 cs.AI cs.LG
Poseidon: An Efficient Communication Architecture for Distributed Deep Learning on GPU Clusters
Carnegie Mellon University(卡内基梅隆大学);Petuum Inc.(Petuum公司)
深度学习模型可能需要数周的时间在一台配备GPU的机器上进行训练,因此需要将DL训练扩展到GPU集群。然而,当前的分布式DL实现由于网络上的大量参数同步而可伸缩性差,因为GPU的高吞吐量允许每单位时间比CPU处理更多的数据批次,从而导致更频繁的网络同步。我们提出了Poseidon,一个有效的通信架构,用于GPU上的分布式DL。Poseidon利用DL程序中的分层模型结构来重叠通信和计算,减少突发网络通信。此外,Poseidon使用混合通信方案,根据层属性和机器数量优化同步每个层所需的字节数。我们通过将Poseidon插入Caffe和TensorFlow来证明Poseidon适用于不同的DL框架。我们展示了Poseidon使Caffe和TensorFlow能够在16台单GPU机器上实现15.5倍的速度提升,即使带宽有限(10 GbE)和具有挑战性的VGG 19 - 22 K网络用于图像分类。此外,Poseidon支持的TensorFlow在Inception-V3上使用32台单GPU机器实现了31.5倍的速度提升,比开源TensorFlow(20倍速度提升)提高了50%。
2017-06-11 cs.CV cs.DC cs.LG
TF-Replicator: Distributed Machine Learning for Researchers
DeepMind(深度思维)
我们描述了TF-Replicator,这是一个为DeepMind研究人员设计的分布式机器学习框架,并作为TensorFlow的抽象实现。TF-Replicator简化了数据并行和模型并行研究代码的编写。使用同步或异步训练方案,可以毫不费力地将相同的模型部署到不同的集群架构(即一台或多台包含CPU、GPU或TPU加速器的机器)。为了证明TF-Replicator的通用性和可扩展性,我们实现并测试了三个非常不同的模型:(1)用于ImageNet分类的ResNet-50,(2)用于类条件ImageNet图像生成的SN-GAN,以及(3)用于连续控制的D4 PG强化学习代理。我们的研究结果表明,强大的可扩展性的性能,而不需要任何分布式系统的专业知识的用户。TF-Replicator编程模型将作为TensorFlow 2.0的一部分开源(参见https://github.com/tensorflow/community/pull/25)。
2019-02-01 cs.AI cs.DC cs.LG
Next-Step Conditioned Deep Convolutional Neural Networks Improve Protein Secondary Structure Prediction
Google Brain(谷歌大脑)
最近开发的深度学习技术显著提高了各种语音和图像识别系统的准确性。在本文中,我们将展示如何调整其中的一些技术来创建一个新的链式卷积架构,并进行下一步调节,以提高蛋白质序列预测问题的性能。我们通过展示其提高八类二级结构预测性能的能力来探索其价值。我们首先通过适应为视觉任务开发的卷积神经网络的最新进展来建立最先进的基线。该模型在CB 513基准数据集上实现了每个氨基酸70.0%的准确率,而无需使用标准的性能提升技术,如集成或多任务学习。然后,我们使用一种新的链式预测方法来改进这种最先进的结果,该方法将二级结构预测作为下一步预测问题。该序列模型在CB 513上使用单个模型实现了70.3%的Q8准确度;这些模型的集成在相同的测试集上产生了71.4%的Q8准确度,改进了先前八类二级结构问题的整体技术水平。我们的模型使用TensorFlow实现,这是一个开源的机器学习软件库,可在TensorFlow.org上获得;我们的目标是将这些实验的代码作为TensorFlow存储库的一部分发布。
2017-02-13 cs.LG q-bio.BM
Distributed deep learning on edge-devices: feasibility via adaptive compression
Technicolor(特艺集团);Inria Rennes(法国国家信息与自动化研究所雷恩中心);Technicolor Rennes(特艺集团雷恩)
大部分数据采掘和分析服务使用现代机器学习技术,例如深度学习。深度学习的最新成果是以密集使用计算资源为代价的。主要框架(例如,TensorFlow)在GPU上或在数据中心的高端服务器上执行。另一方面,可能有空闲CPU周期的个人设备激增;这可以使服务在用户家中运行,嵌入机器学习操作。在本文中,我们提出了以下问题:尽管学习任务会导致流量,但在WAN连接的设备上进行分布式深度学习计算是否可行?我们表明,这样的设置会带来一些重要的挑战,最值得注意的是入口流量,托管最新模型的服务器必须维持。为了减少这种压力,我们提出了adaComp,一种新的算法,用于压缩工人更新到服务器上的模型。适用于基于随机梯度下降的方法,它结合了有效的梯度选择和学习率调制。然后,我们使用将TensorFlow嵌入Linux容器的仿真器平台,实验和测量压缩、设备异构性和可靠性对学习模型准确性的影响。我们报告了由工作者发送到服务器的数据总量减少了两个数量级(例如,191-MNIST数据集上卷积网络的倍数减少),同时保持模型准确性。
2017-11-06 cs.LG