A Tour of TensorFlow
Technische Universität München（慕尼黑工业大学）
深度学习是采用深度神经网络架构的人工智能的一个分支，其显著地推进了计算机视觉、语音识别、自然语言处理和其他领域的最新技术水平。2015年11月，Google发布了$\textit{TensorFlow}$，这是一个开源深度学习软件库，用于定义、训练和部署机器学习模型。在本文中，我们回顾了TensorFlow，并将其置于现代深度学习概念和软件的背景下。我们讨论了它的基本计算范式和分布式执行模型，它的编程接口以及伴随的可视化工具包。然后，我们在定性和定量的基础上将TensorFlow与Theano、Torch或Caffe等替代库进行比较，最后对学术界和工业界观察到的TensorFlow用例进行评论。
2016-10-01 cs.LG
tensorflow-riemopt: A Library for Optimization on Riemannian Manifolds
Microsoft（微软）
tensorflow-riemopt是一个用于在流形上进行优化的Python库，支持TensorFlow中的几何机器学习应用。
2025-12-17 cs.CG cs.LG cs.MS
Mesh-TensorFlow: Deep Learning for Supercomputers
Google Brain（谷歌大脑）
批量拆分（数据并行）是主要的分布式深度神经网络（DNN）训练策略，由于其普遍适用性和对单程序多数据（SPMD）编程的适应性。然而，批量拆分存在一些问题，包括无法训练非常大的模型（由于内存限制），高延迟和小批量时的低效率。所有这些都可以通过更一般的分布策略（模型并行）来解决。不幸的是，有效的模型并行算法往往是复杂的发现，描述和实现，特别是在大型集群。我们介绍Mesh-TensorFlow，一种用于指定分布式张量计算的通用语言。数据并行性可以被视为沿着“批处理”维度拆分张量和操作，在Mesh-TensorFlow中，用户可以指定任何张量维度在处理器的多维网格的任何维度上拆分。Mesh-TensorFlow图编译成SPMD程序，该程序由并行操作和集合通信原语（如Allreduce）组成。我们使用Mesh-TensorFlow来实现Transformer序列到序列模型的高效数据并行、模型并行版本。使用多达512个核心的TPU网格，我们训练具有多达50亿个参数的Transformer模型，超越了WMT'14英法翻译任务和10亿字语言建模基准的最新成果。Mesh-Tensorflow可在https://github.com/tensorflow/mesh上获得。
2018-11-05 cs.DC cs.LG stat.ML
TensorFlow Distributions
Google（谷歌）；Columbia University（哥伦比亚大学）
TensorFlow Distributions库实现了概率论的愿景，适用于端到端可微计算的现代深度学习范式。基于两个基本抽象，它为概率计算提供了灵活的构建块。分布为生成样本和计算统计量提供了快速、数值稳定的方法，例如，对数密度双射器提供了可组合的卷跟踪转换和自动缓存。这些一起使得能够模块化地构建高维分布和转换，这在以前的库中是不可能的（例如，pixelCNN、自回归流和可逆残差网络）。它们是像Edward这样的深度概率编程系统背后的主力，并在基于深度网络组件的概率模型中实现快速黑盒推理。TensorFlow Distributions已被证明是Google和更广泛的深度学习社区中TensorFlow工具包的重要组成部分。
2017-11-28 cs.AI cs.LG cs.PL
Swift for TensorFlow: A portable, flexible platform for deep learning
Google Research, Brain（谷歌研究院大脑团队）
Swift for TensorFlow是一个深度学习平台，可从移动设备扩展到数据中心的硬件加速器集群。它将语言集成的自动微分系统和多个Tensor实现结合在一个面向可变值语义的现代提前编译语言中。由此产生的平台已通过在30多个深度学习模型中的使用得到验证，并已在数据中心和移动应用程序中使用。
2021-02-26 cs.DC cs.LG
QR and LQ Decomposition Matrix Backpropagation Algorithms for Square, Wide, and Deep -- Real or Complex -- Matrices and Their Software Implementation
AI SpaceTime（AI时空）；Amazon（亚马逊）
本文提出了矩阵$A_{m, n}$的QR分解的矩阵反向传播算法，这些矩阵可以是正方形（m = n）、宽（m < n）或深（m > n）的，秩为$k = min(m, n)$。此外，我们得到新的矩阵反向传播结果的枢轴（满秩）QR分解和深输入矩阵的LQ分解。可微QR分解提供了一种数值稳定，计算效率高的方法来解决机器学习和计算机视觉中经常遇到的最小二乘问题。其他用例，如图学习和网络压缩，在文章中列出。流行的深度学习框架（PyTorch，TensorFlow，MXNet）的软件实现包含了深度学习社区中通用的方法。此外，这篇文章帮助从业者理解矩阵反向传播方法作为更大的计算图的一部分。
2020-12-11 cs.LG cs.MS cs.NA
A Comparative Survey of PyTorch vs TensorFlow for Deep Learning: Usability, Performance, and Deployment Trade-offs
Department of Software Engineering Alfaisal University, Riyadh, Saudi Arabia Email
本文比较了PyTorch与TensorFlow在可用性、性能和部署上的权衡，指出PyTorch以灵活简单见长，TensorFlow生态更成熟，为选型提供参考。
2025-08-06 cs.AI cs.LG
Deep Learning-based ECG Classification on Raspberry PI using a Tensorflow Lite Model based on PTB-XL Dataset
University of Manitoba（曼尼托巴大学）
自COVID-19疫情以来，由于需求增加，医疗保健领域的物联网设备数量预计将大幅增加。深度学习和物联网设备正在被用于监测身体生命体征，并在临床和非临床环境中自动检测异常。目前的大多数技术都需要将原始数据传输到远程服务器，这对于资源受限的物联网设备和嵌入式系统来说效率低下。此外，由于缺乏广泛的开放公共数据库，开发用于ECG分类的机器学习模型具有挑战性。在某种程度上，为了克服这一挑战，使用了PTB-XL数据集。在这项工作中，我们开发了将部署在Raspberry Pi上的机器学习模型。我们使用两个分类类对我们的TensorFlow模型进行了评估。我们还对相应的TensorFlow Lite FlatBuffers进行了评估，以证明其最低的运行时要求，同时保持可接受的准确性。
2022-08-25 cs.LG eess.SP
Deploying deep learning in OpenFOAM with TensorFlow
Argonne National Laboratory（阿贡国家实验室）；Irish Centre for High-End Computing（爱尔兰高端计算中心）
我们概述了OpenFOAM中数据科学模块的开发，该模块允许在现场部署经过训练的深度学习架构，用于通用预测任务。该模块使用TensorFlow C API构建，并作为可在运行时链接的应用程序集成到OpenFOAM中。值得注意的是，我们的公式排除了与神经网络架构类型相关的任何限制（即，卷积的、全连接的等等）。这使得复杂的神经架构的实际CFD问题的潜在研究。此外，拟议的模块概述了一条通往计算流体动力学和机器学习的开源、统一和透明框架的道路。
2020-12-01 cs.LG physics.comp-ph physics.data-an
SciANN: A Keras/Tensorflow wrapper for scientific computations and physics-informed deep learning using artificial neural networks
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们介绍了SciANN，这是一个使用人工神经网络进行科学计算和物理深度学习的Python包。SciANN使用广泛使用的深度学习包Tensorflow和Keras来构建深度神经网络和优化模型，从而继承了Keras的许多功能，例如批量优化和模型重用以进行迁移学习。SciANN旨在使用物理信息神经网络（PINN）架构抽象神经网络结构，用于科学计算和偏微分方程（PDE）的求解和发现，从而提供设置复杂函数形式的灵活性。我们举例说明，在一系列的例子中，该框架可用于曲线拟合的离散数据，并在强和弱形式的偏微分方程的解决方案和发现。我们总结了SciANN目前可用的功能，并概述了正在进行的和未来的发展。
2020-09-16 cs.LG cs.MS cs.OH
Efficient Computation of Hessian Matrices in TensorFlow
University of Bergen（卑尔根大学）
Hessian矩阵在优化、图像处理和统计学等领域有着重要的应用。在本文中，我们重点关注在使用Python脚本语言和TensorFlow库的深度学习背景下有效计算Hessian矩阵的实际方面。我们定义了一个通用的前馈神经网络模型，并展示了如何有效地计算两个量：成本函数的精确Hessian矩阵，和成本函数的近似Hessian矩阵，被称为外积矩阵（OPG）。此外，由于深度学习中的参数（权重和偏差）的数量通常非常大，我们展示了如何通过基于近似特征分解的有效实现来降低二次空间复杂度。
2021-04-07 cs.LG
GRecX: An Efficient and Unified Benchmark for GNN-based Recommendation
Hefei University of Technology（合肥工业大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）
在本文中，我们介绍了GRecX，这是一个开源的TensorFlow框架，用于以高效和统一的方式对基于GNN的推荐模型进行基准测试。GRecX包含用于构建基于GNN的推荐基准的核心库，以及流行的基于GNN的推荐模型的实现。核心库为构建高效和统一的基准测试提供了必要的组件，包括Fastcraft（高效度量计算库），VectorSearch（用于密集向量的高效相似性搜索库），BatchEval（高效小批量评估库）和DataManager（统一数据集管理库）。特别是，为了提供一个统一的基准，公平比较不同的复杂的GNN为基础的推荐模型，我们设计了一个新的度量GRMF-X，并将其集成到快速组件。基于TensorFlow GNN库tf_geometric，GRecX精心实现了各种流行的基于GNN的推荐模型。我们仔细地实现这些基线模型，以重现文献中报道的性能，我们的实现通常更有效和友好。总之，GRecX使用户能够以有效和统一的方式训练和基准测试基于GNN的推荐基线。我们用GRecX进行了实验，实验结果表明，GRecX允许我们以高效和统一的方式训练和基准测试基于GNN的推荐基线。GRecX的源代码可在https://github.com/maenzhier/GRecX上获得。
2022-02-22 cs.IR cs.LG
Fault Injectors for TensorFlow: Evaluation of the Impact of Random Hardware Faults on Deep CNNs
Technische Universität Dresden（德累斯顿工业大学）；University of Stuttgart（斯图加特大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；Bosch (China) Investment Ltd.（博世（中国）投资有限公司）
如今，深度学习（DL）几乎可以增强每个工业部门，包括安全关键领域。下一代安全标准将为基于DL的应用程序定义适当的验证技术，并提出适当的容错机制。基于DL的应用程序与任何其他软件一样，容易受到常见的随机硬件故障（如发生在RAM和CPU寄存器中的位翻转）的影响。此类故障可能导致静默数据损坏。因此，至关重要的是开发方法和工具，以帮助评估如何DL组件下存在这样的故障。在本文中，我们分别针对TensorFlow 1和TensorFlow 2介绍了两个新的故障注入（FI）框架InjectTF和InjectTF 2。这两个框架都可以在GitHub上使用，并允许将随机故障可配置地注入神经网络（NN）。为了证明框架的可行性，我们还提出了使用两个图像集对四个基于VGG的卷积神经网络进行FI实验的结果。结果表明，在特定的数学运算和NN层的输出中的随机位翻转如何影响分类精度。这些结果有助于确定最关键的操作和层，比较功能相似的神经网络的可靠性特征，并引入选择性的容错机制。
2020-12-13 cs.LG
deepspat: An R package for modeling nonstationary spatial and spatio-temporal Gaussian and extremes data through deep deformations
Research School of Finance, Actuarial Studies and Statistics, Australian National University（澳大利亚国立大学金融、精算与统计研究学院）；Statistics Program, CEMSE Division, King Abdullah University of Science and Technology（阿卜杜拉国王科技大学CEMSE学部统计学项目）；School of Mathematics and Applied Statistics, University of Wollongong（伍伦贡大学数学与应用统计学院）
deepspat通过深度变形方法实现非平稳空间和时空数据的建模与预测，适用于高斯和极值数据。
2025-12-09 stat.CO stat.ME
An Open-source Tool for Hyperspectral Image Augmentation in Tensorflow
Washington University in St. Louis（圣路易斯华盛顿大学）
卫星图像可用于从天气预报到土地勘测等多种应用。计算机视觉系统的迅速发展可以为卫星数据的利用开辟新的前景，因为卫星数据具有丰富的海量数据。然而，当前最先进的计算机视觉系统主要迎合主要涉及自然图像的应用。这些图像虽然有用，但除了具有更多的光谱通道外，还表现出与卫星图像不同的分布。这允许仅在等同于自然图像的光谱通道的子集中使用预训练的深度学习模型，从而丢弃来自其他光谱通道的有价值的信息。这就要求开展研究工作，优化卫星图像的深度学习模型，以便能够评估其在遥感领域的效用。Tensorflow工具允许对深度学习模型进行快速原型设计和测试，但其内置图像生成器的设计最多可处理四个光谱通道。本文介绍了一个开源工具，该工具允许在Tensorflow中实现高光谱图像的图像增强。鉴于Tensorflow的可访问性和易用性，该工具将为许多研究人员提供实现、测试和部署用于遥感应用的深度学习模型的方法。
2020-07-09 cs.CV cs.LG eess.IV
TF-Coder: Program Synthesis for Tensor Manipulations
Google Brain（谷歌大脑）
深度学习的成功和流行正在上升，部分原因是强大的深度学习框架，如TensorFlow和PyTorch，使开发深度学习模型变得更容易。然而，这些库也有陡峭的学习曲线，因为在这些框架中编程与传统的显式循环和条件命令式编程完全不同。在这项工作中，我们提出了一个名为TF-Coder的工具，用于在TensorFlow中通过示例进行编程。TF-Coder使用自下而上的加权枚举搜索，对等价表达式进行基于值的修剪，以及灵活的基于类型和值的过滤，以确保表达式符合TensorFlow库提出的各种要求。我们通过训练模型，根据输入和输出张量的特征以及任务的自然语言描述来预测TensorFlow操作，从而在搜索过程中优先考虑相关操作。TF-Coder在5分钟内解决了70个真实任务中的63个，有时与经验丰富的人类程序员相比，可以在更短的时间内找到更简单的解决方案。
2022-04-07 cs.LG cs.PL stat.ML
hyper-sinh: An Accurate and Reliable Function from Shallow to Deep Learning in TensorFlow and Keras
Coventry University（考文垂大学）；University of Auckland（奥克兰大学）；Warshel Institute for Computational Biology（瓦谢尔计算生物学研究所）；The Chinese University of Hong Kong, Shenzhen (CUHK-SZ)（香港中文大学（深圳））；Centro Studi Eteropoiesi（埃特罗波耶西研究中心）
本文介绍了“hyper-sinh”，这是m-arcsinh激活函数的一种变体，适用于基于深度学习（DL）的监督学习算法，如卷积神经网络（CNN）。因此，在开源Python库TensorFlow和Keras中开发的hyper-sinh被描述和验证为浅层和深层神经网络的准确和可靠的激活函数。讨论了Keras提供的五个（N = 5）基准数据集上图像和文本分类任务的准确性和可靠性的改进。实验结果表明，通过这种新功能获得的浅层和深层神经网络的整体竞争性分类性能。该函数相对于金标准激活函数进行评估，证明其整体竞争力的准确性和可靠性的图像和文本分类。
2020-11-15 cs.AI cs.CL cs.CV
Deep Learning and Machine Learning, Advancing Big Data Analytics and Management: Tensorflow Pretrained Models
Georgia Institute of Technology（佐治亚理工学院）；Indiana University（印第安纳大学）；Kyoto University（京都大学）；Rutgers University（罗格斯大学）；Purdue University（普渡大学）；Emory University（埃默里大学）；Sichuan University（四川大学）；Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；National Taiwan Normal University（台湾师范大学）
本文探究TensorFlow预训练模型在深度学习中的应用，对比迁移学习相关方法并提供实操资源，助力不同水平用户高效解决深度学习任务。
2025-11-19 cs.AI cs.LG
TensorFlow with user friendly Graphical Framework for object detection API
University of Tasmania（塔斯马尼亚大学）
TensorFlow是一个用于深度学习的开源框架，包含语音分析，自然语言处理和计算机视觉的应用程序编程接口（API）。特别是，计算机视觉领域的TensorFlow对象检测API已广泛应用于农业，工程和医学技术，但对于信息技术（IT）领域的业余爱好者和初学者来说，通过命令行界面（CLI）和代码使用框架的门槛仍然很高。因此，我们的目标是为TensorFlow上的对象检测API开发一个用户友好的图形框架，称为TensorFlow图形框架（TF-GraF）。TF-GraF在服务器端根据用户账户提供独立的虚拟环境，在客户端无需CLI即可执行数据预处理、训练和评估。此外，还可以通过TF-GraF进行超参数设置、实时观察训练过程、测试图像的对象可视化以及测试数据的度量评估。特别是，TF-GraF通过GUI环境支持SSD，Faster-RCNN，RFCN和Mask-RCNN的灵活模型选择，包括卷积神经网络（inceptions和ResNets）。因此，TF-GraF允许任何人，即使以前没有任何深度学习框架的知识，也可以设计，训练和部署机器智能模型，而无需编码。由于TF-GraF负责设置和配置，因此任何人都可以在其项目中使用深度学习技术，而无需花费时间安装复杂的软件和环境。
2020-06-11 cs.CV cs.LG eess.IV
Regression with Deep Learning for Sensor Performance Optimization
Boise State University（博伊西州立大学）；ON Semiconductor（安森美半导体）
具有至少两个隐藏层的神经网络称为深度网络。人工智能和计算机编程的最新发展导致了Tensorflow，Keras，NumPy等工具的开发，使建模和从数据中得出结论变得更容易。在这项工作中，我们通过Keras和Tensorflow实现的深度学习重新处理非线性回归。特别是，我们使用深度学习来参数化工业传感器的输入和输出之间的非线性多变量关系，旨在基于选定的关键指标优化传感器性能。
2021-03-27 cs.LG eess.SP stat.ML
TFLMS: Large Model Support in TensorFlow by Graph Rewriting
IBM Research - Tokyo（IBM东京研究院）
虽然GPU等加速器的内存有限，但深度神经网络正变得越来越大，无法适应加速器的内存限制。我们提出了一种方法来解决这个问题，重写的计算图的神经网络，其中交换出和交换在操作插入临时存储在CPU内存中的中间结果。特别是，我们首先修改了计算图的概念，定义了一个具体的语义图中的变量。然后，我们正式展示了如何从现有的图形中导出换出和换入操作，并提出了优化图形的规则。为了实现我们的方法，我们在TensorFlow中开发了一个名为TFLMS的模块。TFLMS在TensorFlow存储库中以拉取请求的形式发布，用于为TensorFlow社区做出贡献。使用TFLMS，我们能够分别以4.7倍和2倍的批量大小训练ResNet-50和3DUnet。特别是，我们能够使用大小为$192^3$的图像来训练3DUNet进行图像分割，在没有TFLMS的情况下，仅通过将图像划分为更小的图像来完成图像分割，这影响了准确性。
2019-10-02 cs.AI cs.LG stat.ML
Poseidon: An Efficient Communication Architecture for Distributed Deep Learning on GPU Clusters
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）
深度学习模型可能需要数周的时间在一台配备GPU的机器上进行训练，因此需要将DL训练扩展到GPU集群。然而，当前的分布式DL实现由于网络上的大量参数同步而可伸缩性差，因为GPU的高吞吐量允许每单位时间比CPU处理更多的数据批次，从而导致更频繁的网络同步。我们提出了Poseidon，一个有效的通信架构，用于GPU上的分布式DL。Poseidon利用DL程序中的分层模型结构来重叠通信和计算，减少突发网络通信。此外，Poseidon使用混合通信方案，根据层属性和机器数量优化同步每个层所需的字节数。我们通过将Poseidon插入Caffe和TensorFlow来证明Poseidon适用于不同的DL框架。我们展示了Poseidon使Caffe和TensorFlow能够在16台单GPU机器上实现15.5倍的速度提升，即使带宽有限（10 GbE）和具有挑战性的VGG 19 - 22 K网络用于图像分类。此外，Poseidon支持的TensorFlow在Inception-V3上使用32台单GPU机器实现了31.5倍的速度提升，比开源TensorFlow（20倍速度提升）提高了50%。
2017-06-11 cs.CV cs.DC cs.LG
Native Fortran Implementation of TensorFlow-Trained Deep and Bayesian Neural Networks
North Carolina State University（北卡罗来纳州立大学）；University of Tennessee（田纳西大学）；Oak Ridge National Laboratory（橡树岭国家实验室）
针对核工程领域Fortran代码与TensorFlow训练的ML模型不兼容问题，提出无需依赖外部工具的原生Fortran框架实现DNNs和BNNs，经测试获显著加速且成功集成到CTF代码，支持核应用中ML方法研究。
2025-02-07 cs.AI cs.LG
Silent Bugs in Deep Learning Frameworks: An Empirical Study of Keras and TensorFlow
Polytechnique Montreal（蒙特利尔理工学院）
本研究首次实证调查Keras与TensorFlow中的静默缺陷，通过分析1168个问题识别出77个可复现缺陷，分类并评估其影响，提出防护指南。
2023-09-01 cs.LG cs.SE
Automatic Tuning of Tensorflow's CPU Backend using Gradient-Free Optimization Algorithms
Intel Corporation（英特尔公司）；Intel Labs（英特尔实验室）
现代深度学习（DL）应用程序是使用DL库和框架（如TensorFlow和PyTorch）构建的。这些框架具有复杂的参数，并且对它们进行调整以获得良好的训练和推理性能对于典型用户（例如DL开发人员和数据科学家）来说具有挑战性。手动调优需要深入了解DL框架的用户可控参数以及底层硬件。这是一个缓慢而繁琐的过程，并且通常会提供次优的解决方案。在本文中，我们把调整DL框架的参数，以提高训练和推理性能的问题作为一个黑盒优化问题。然后，我们研究贝叶斯优化（BO）、遗传算法（GA）和Nelder-Mead单纯形（NMS）的适用性和有效性，以调整TensorFlow CPU后端的参数。虽然先前的工作已经研究了使用Nelder-Mead单纯形类似的问题，它没有提供其他更流行的算法的适用性的见解。为此，我们对所有三种算法在各种DL模型上调优TensorFlow的CPU后端进行了系统的比较分析。我们的研究结果表明，贝叶斯优化在大多数模型上表现最好。然而，在有些情况下，它并不能提供最佳结果。
2021-09-13 cs.AI cs.DC cs.LG
DynamicEmbedding: Extending TensorFlow for Colossal-Scale Applications
Google（谷歌）
当今具有稀疏特征的深度学习模型的局限性之一源于其输入的预定义性质，这需要在训练之前定义字典。在本文中，我们提出了一个理论和工作系统的设计，消除了这一限制，并表明，由此产生的模型能够更好地执行和有效地运行在一个更大的规模。具体来说，我们通过将模型的内容从其形式中分离出来，分别处理架构演化和内存增长来实现这一点。为了有效地处理模型增长，我们提出了一种新的神经元模型，称为DynamicCell，从自由能原理[15]中汲取灵感，引入了释放非消化能量的反应概念，其中还包括基于梯度下降的方法作为其特例。我们通过在TensorFlow中引入一个新的服务器来实现DynamicCell，以接管涉及模型增长的大部分工作。因此，它使任何现有的深度学习模型能够有效地处理任意数量的不同稀疏特征（例如，搜索查询），并不断增长，而无需重新定义模型。最值得注意的是，我们的一个模型已经在生产中可靠地运行了一年多，能够为Google Smart Campaigns的广告客户推荐高质量的关键字，并根据一个具有挑战性的指标实现了显着的准确性提升-证据表明数据驱动的自我进化系统可能会超过传统的基于规则的方法的性能。
2020-04-17 cs.AI cs.LG
TensorFlow Lite Micro: Embedded Machine Learning on TinyML Systems
Google（谷歌）；Harvard University（哈佛大学）
嵌入式设备上的深度学习推理是一个新兴的领域，有着无数的应用，因为微型嵌入式设备无处不在。但我们必须克服重大挑战，才能从这一机会中获益。嵌入式处理器是严重的资源约束。它们最接近的移动对手在计算能力、内存可用性和功耗方面表现出至少100 - 1,000倍的差异。因此，机器学习（ML）模型和相关的ML推理框架不仅必须有效地执行，而且还必须在几个字节的内存中运行。此外，嵌入式设备的生态系统非常分散。为了最大限度地提高效率，系统供应商通常会省略许多主流系统中常见的功能，包括动态内存分配和虚拟内存，这些功能允许跨平台的互操作性。硬件有多种风格（例如，指令集架构和FPU支持，或缺乏支持）。我们介绍TensorFlow Lite Micro（TF Micro），这是一个开源ML推理框架，用于在嵌入式系统上运行深度学习模型。TF Micro解决了嵌入式系统资源限制和碎片化挑战带来的效率要求，这些挑战使得跨平台互操作性几乎不可能实现。该框架采用了独特的基于解释器的方法，在克服这些挑战的同时提供了灵活性。本文解释了TF Micro背后的设计决策，并描述了其实施细节。此外，我们提出了一个评估，以证明其低资源需求和最小的运行时性能开销。
2021-03-13 cs.AI cs.LG
Recursive Function Definitions in Static Dataflow Graphs and their Implementation in TensorFlow
Columbia University（哥伦比亚大学）；Harokopio University of Athens（雅典哈罗科皮奥大学）；University of Athens（雅典大学）
本文提出在 TensorFlow 等静态数据流系统中支持递归函数的方法，通过两个数据流操作和 tagging 机制将递归定义转为可分布式高效执行的静态图，并验证其与自动微分兼容。
2024-10-26 cs.LG cs.PL
Next-Step Conditioned Deep Convolutional Neural Networks Improve Protein Secondary Structure Prediction
Google Brain（谷歌大脑）
最近开发的深度学习技术显著提高了各种语音和图像识别系统的准确性。在本文中，我们将展示如何调整其中的一些技术来创建一个新的链式卷积架构，并进行下一步调节，以提高蛋白质序列预测问题的性能。我们通过展示其提高八类二级结构预测性能的能力来探索其价值。我们首先通过适应为视觉任务开发的卷积神经网络的最新进展来建立最先进的基线。该模型在CB 513基准数据集上实现了每个氨基酸70.0%的准确率，而无需使用标准的性能提升技术，如集成或多任务学习。然后，我们使用一种新的链式预测方法来改进这种最先进的结果，该方法将二级结构预测作为下一步预测问题。该序列模型在CB 513上使用单个模型实现了70.3%的Q8准确度;这些模型的集成在相同的测试集上产生了71.4%的Q8准确度，改进了先前八类二级结构问题的整体技术水平。我们的模型使用TensorFlow实现，这是一个开源的机器学习软件库，可在TensorFlow.org上获得;我们的目标是将这些实验的代码作为TensorFlow存储库的一部分发布。
2017-02-13 cs.LG q-bio.BM
Improving the Expressiveness of Deep Learning Frameworks with Recursion
Seoul National University（首尔国立大学）
递归神经网络已被研究人员广泛用于处理具有递归或层次结构化数据的应用。然而，嵌入式控制流深度学习框架，如TensorFlow、Theano、Caffe2和MXNet，由于缺乏对递归的支持，无法有效地表示和执行这样的神经网络。在本文中，我们添加递归到现有框架的编程模型，通过补充他们的设计与递归执行的递归图以及递归定义的额外API。与迭代实现不同，迭代实现只能理解递归数据结构中每个节点的拓扑索引，我们的递归实现能够利用节点之间的递归关系，以实现基于并行计算的高效执行。我们在TensorFlow上实现了一个递归神经网络模型，并对各种递归神经网络模型进行了评估，结果表明，我们的递归实现不仅比其他实现更好地传达了递归神经网络的递归性质，而且更有效地使用给定的资源来减少训练和推理时间。
2018-09-04 cs.AI cs.CL cs.LG
Deep Probabilistic Programming
Columbia University（哥伦比亚大学）；Adobe Research（Adobe研究院）；Google Research（谷歌研究院）；Google Brain（谷歌大脑）
我们建议爱德华，图灵完备的概率编程语言。Edward定义了两种组合表示-随机变量和推理。通过将推理视为一等公民，与建模相提并论，我们证明了概率编程可以像传统的深度学习一样灵活和计算效率高。为了灵活性，Edward使用各种可组合的推理方法，从点估计到变分推断，再到MCMC，很容易拟合同一模型。此外，Edward可以重用建模表示作为推理的一部分，促进丰富的变分模型和生成对抗网络的设计。为了提高效率，Edward被集成到TensorFlow中，比现有的概率系统提供了显著的加速。例如，我们在一个基准测试逻辑斯谛回归任务上显示，Edward至少比Stan快35倍，比PyMC 3快6倍。此外，Edward没有运行时开销：它和手写的TensorFlow一样快。
2017-03-07 cs.AI cs.LG cs.PL
Democratizing AI: A Comparative Study in Deep Learning Efficiency and Future Trends in Computational Processing
North South University（南北大学）；Pennsylvania State University（宾夕法尼亚州立大学）；United International University（联合国际大学）；King Fahd University of Petroleum and Minerals (KFUPM)（法赫德国王石油矿产大学）
本文通过比较四种深度学习模型在CPU和GPU上的训练效率，发现GPU能带来11至246倍的加速，同时分析了GPU内存使用趋势及未来需求，强调共享GPU资源对推动研究创新的重要性。
2026-04-02 cs.AI cs.DC cs.LG
A Survey on Uncertainty Toolkits for Deep Learning
University of Bonn（波恩大学）；Fraunhofer IAIS（弗劳恩霍夫智能分析与信息系统研究所）
深度学习（DL）的成功促进了统一框架（如tensorflow或pytorch）的创建，因为这是由它们的创建所驱动的。具有共同的构建块有助于交换，例如，模型或概念，并使发展更容易复制。尽管如此，对深度学习模型的稳健和可靠的评估和评价往往被证明是具有挑战性的。这与其日益增长的安全相关性不一致，最近在“值得信赖的ML”领域达到了高潮。我们认为，除其他外，进一步统一评价和保障方法的工具包，即，小型和专门的框架衍生物，可能会对可信度和可重复性问题产生积极影响。为此，我们提出了第一个调查工具包的不确定性估计（UE）在DL，UE形成了评估模型可靠性的基石。我们调查了11个工具包的建模和评估功能，提供了三个最有前途的深入比较，即Pyro，Tensorflow概率和不确定性量化360。前两个框架提供了很大程度的灵活性和与各自框架的无缝集成，最后一个框架的方法范围更大。
2022-05-02 cs.LG
Using Python for Model Inference in Deep Learning
Facebook AI Research（Facebook AI研究院）
Python已经成为训练深度神经网络的事实上的语言，它将大量的科学计算库与用于张量计算的高效库（如PyTorch或TensorFlow）相结合。然而，当模型用于推理时，它们通常从Python中提取为TensorFlow图或TorchScript程序，以满足性能和打包约束。提取过程可能很耗时，阻碍了快速原型制作。我们将展示如何在Python中执行推理时满足这些性能和打包约束。特别是，我们提出了一种在单个过程中使用多个Python解释器来实现可扩展推理的方法，并为包含原生Python代码和数据的模型描述了一种新的容器格式。这种方法通过消除模型提取步骤简化了模型部署过程，并且更容易集成现有的性能增强Python库。我们在Github上的一套流行的PyTorch模型上评估了我们的设计，展示了如何将它们打包到我们的推理格式中，并将它们的性能与TorchScript进行了比较。对于更大的模型，我们打包的Python模型与TorchScript执行相同，对于有一些Python开销的较小模型，我们的多解释器方法确保推理仍然是可扩展的。
2021-04-01 cs.LG
Distributed deep learning on edge-devices: feasibility via adaptive compression
Technicolor（特艺集团）；Inria Rennes（法国国家信息与自动化研究所雷恩中心）；Technicolor Rennes（特艺集团雷恩）
大部分数据采掘和分析服务使用现代机器学习技术，例如深度学习。深度学习的最新成果是以密集使用计算资源为代价的。主要框架（例如，TensorFlow）在GPU上或在数据中心的高端服务器上执行。另一方面，可能有空闲CPU周期的个人设备激增;这可以使服务在用户家中运行，嵌入机器学习操作。在本文中，我们提出了以下问题：尽管学习任务会导致流量，但在WAN连接的设备上进行分布式深度学习计算是否可行？我们表明，这样的设置会带来一些重要的挑战，最值得注意的是入口流量，托管最新模型的服务器必须维持。为了减少这种压力，我们提出了adaComp，一种新的算法，用于压缩工人更新到服务器上的模型。适用于基于随机梯度下降的方法，它结合了有效的梯度选择和学习率调制。然后，我们使用将TensorFlow嵌入Linux容器的仿真器平台，实验和测量压缩、设备异构性和可靠性对学习模型准确性的影响。我们报告了由工作者发送到服务器的数据总量减少了两个数量级（例如，191-MNIST数据集上卷积网络的倍数减少），同时保持模型准确性。
2017-11-06 cs.LG
RPC Considered Harmful: Fast Distributed Deep Learning on RDMA
Microsoft Research（微软研究院）
深度学习作为一种重要的新的资源密集型工作负载出现，并已成功应用于计算机视觉、语音、自然语言处理等领域。分布式深度学习正成为应对不断增长的数据和模型规模的必要手段。其计算的典型特征是一个简单的张量数据抽象来建模多维矩阵，一个数据流图来建模计算，以及相对频繁的同步迭代执行，从而使其与Map/Reduce风格的分布式大数据计算有很大的不同。RPC通常用作通信原语，已被流行的深度学习框架所采用，例如使用gRPC的TensorFlow。我们证明了RPC对于分布式深度学习计算是次优的，特别是在支持RDMA的网络上。张量抽象和数据流图与RDMA网络相结合，提供了减少不必要开销的机会（例如，存储器拷贝）而不牺牲可编程性和通用性。特别是，从数据访问的角度来看，远程机器被抽象为RDMA通道上的“设备”，具有用于分配、读取和写入内存区域的简单内存接口。我们的图分析器同时查看数据流图和张量，以使用此接口优化内存分配和远程数据访问。结果是，与TensorFlow中的标准gRPC相比，代表性深度学习基准测试的速度提高了25倍，即使是针对RDMA优化的RPC实现也提高了169%，从而在训练过程中实现了更快的收敛。
2018-05-22 cs.DC cs.LG
CosmoFlow: Using Deep Learning to Learn the Universe at Scale
Intel Corporation（英特尔公司）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）；Cray Inc.（克雷公司）；U.C. Berkeley（加州大学伯克利分校）；Carnegie Mellon University（卡内基梅隆大学）；Flatiron Institute（熨斗研究所）
深度学习是一种很有前途的工具，可以用来确定描述我们宇宙的物理模型。为了处理这个问题的巨大计算成本，我们提出了CosmoFlow：一个基于TensorFlow框架的高度可扩展的深度学习应用程序。CosmoFlow使用3D卷积和池基元的高效实现，以及对许多元素操作的线程化改进，来提高英特尔（C）至强融核（TM）处理器上的训练性能。我们还利用Cray PE机器学习插件来有效地扩展到多个节点。我们在8192个Cori节点上展示了完全同步的数据并行训练，并行效率为77%，实现了3.5 Pflop/s的持续性能。据我们所知，这是TensorFlow框架在超级计算机规模上的第一个大规模科学应用，具有完全同步的训练。这些增强使我们能够处理大的三维暗物质分布，并以前所未有的精度预测宇宙学参数$Ω_M$，$σ_8$和n $_s$。
2018-11-09 astro-ph.CO astro-ph.IM cs.LG
Softmax Optimizations for Intel Xeon Processor-based Platforms
Intel Corporation（英特尔公司）；Baidu（百度）
Softmax是机器学习中常用的归一化方法。像Transformer或BERT这样的深度学习解决方案大量使用softmax函数，因此值得对其性能进行优化。本文介绍了我们的优化方法及其应用于softmax的结果。通过介绍这种方法，我们希望增加对CPU深度学习优化的兴趣。我们相信，这里提出的优化过程可以转移到其他深度学习框架，如TensorFlow或PyTorch。
2019-05-27 cs.LG cs.MS
Dopamine: A Research Framework for Deep Reinforcement Learning
Google Brain（谷歌大脑）
深度强化学习（deep RL）研究近年来有了显著增长。现在有许多软件产品为基准测试提供了稳定、全面的实现。与此同时，最近的深度RL研究在目标上变得更加多样化。在本文中，我们介绍了多巴胺，这是一种新的深度RL研究框架，旨在支持一些多样性。Dopamine是开源的，基于TensorFlow，并提供一些最先进的深度RL代理的紧凑和可靠的实现。我们通过对深度RL研究中不同研究目标的分类来补充这一产品。虽然绝不是详尽无遗的，但我们的分析突出了该领域研究的异质性，以及像我们这样的框架的价值。
2018-12-14 cs.AI cs.LG
Fault Localization for Buggy Deep Learning Framework Conversions in Image Recognition
University of Edinburgh（爱丁堡大学）；University of Glasgow（格拉斯哥大学）
本文针对深度学习框架转换易出错的问题，提出了一种基于转换工具、参数、超参数和图表示四阶段分析的故障定位与修复方法，并在 Apache TVM 上成功检测并修复了 InceptionV3 模型转换中的精度误差，将转换错误降至零。
2024-03-25 cs.CV cs.LG cs.SE
Ivy: Templated Deep Learning for Inter-Framework Portability
Imperial College London（伦敦帝国理工学院）；University of Oxford（牛津大学）
我们介绍Ivy，一个模板化的深度学习（DL）框架，它抽象了现有的DL框架。Ivy统一了这些框架的核心功能，以展示一致的调用签名、语法和输入输出行为。新的与框架无关的高级函数和类，可以与特定于框架的代码一起使用，然后可以实现为统一的低级Ivy函数的组合。Ivy目前支持TensorFlow、PyTorch、MXNet、Jax和NumPy。我们还发布了四个pure-Ivy库，用于机械、3D视觉、机器人和可区分环境。通过我们的评估，我们表明Ivy可以显着减少代码行，在大多数情况下运行时开销小于1%。我们欢迎开发人员加入Ivy社区，在Ivy中编写自己的函数、层和库，最大限度地扩大他们的受众，并通过框架间代码库帮助加速DL研究。更多信息可以在https://ivy-dl.org上找到。
2021-04-05 cs.AI cs.CV cs.LG
