TensorNetwork on TensorFlow: A Spin Chain Application Using Tree Tensor Networks
Perimeter Institute for Theoretical Physics（圆周理论物理研究所）；Alphabet (Google) X（Alphabet（谷歌）X）
TensorNetwork是一个开源库，用于在TensorFlow中实现张量网络算法。我们描述了一个树张量网络（TTN）算法，用于近似的基态的周期性量子自旋链（1D）或薄环面（2D）上的晶格模型，并实现该算法使用TensorNetwork。我们使用一个标准的能量最小化过程中的TTN anomaly键尺寸$χ$，计算成本的规模为$O(χ^4)$。使用键维数$χ\in [32,256]$，我们比较了CPU与GPU的使用，并观察到使用GPU和TensorNetwork库的显著计算速度提升，高达$100$的一个因素。
2019-05-03 cond-mat.str-el cs.LG hep-th
Democratizing AI: A Comparative Study in Deep Learning Efficiency and Future Trends in Computational Processing
North South University（南北大学）；Pennsylvania State University（宾夕法尼亚州立大学）；United International University（联合国际大学）；King Fahd University of Petroleum and Minerals (KFUPM)（法赫德国王石油矿产大学）
本文通过比较四种深度学习模型在CPU和GPU上的训练效率，发现GPU能带来11至246倍的加速，同时分析了GPU内存使用趋势及未来需求，强调共享GPU资源对推动研究创新的重要性。
2026-04-02 cs.AI cs.DC cs.LG
Toward Reproducible Cross-Backend Compatibility for Deep Learning: A Configuration-First Framework with Three-Tier Verification
Department of Computer Science Dalhousie University（计算机科学系达勒豪西大学）
本文提出一个配置优先框架，通过YAML解耦实验与代码，并采用三层验证协议（672项检查）系统量化与缓解深度学习在CPU、GPU及编译运行时上的跨后端漂移，实现可复现的可靠部署。
2025-08-29 cs.AI cs.LG
Comparative Analysis of CPU and GPU Profiling for Deep Learning Models
Louisiana State University（路易斯安那州立大学）
本文使用 PyTorch 追踪并比较深度神经网络训练时 CPU 与 GPU 的时间和内存分配，证明 GPU 更适合复杂深度网络，但对简单网络提升有限。
2023-12-09 cs.DC cs.LG
Collage: Seamless Integration of Deep Learning Backends with Automatic Placement
Carnegie Mellon University（卡内基梅隆大学）；OctoML；Praxis Pioneering；Amazon Web Services（亚马逊云科技）
对高效、高性能部署深度学习（DL）应用的强烈需求推动了丰富的DL生态系统的快速发展。为了跟上这种快速发展，现代DL框架必须有效地集成各种优化的张量代数库和运行时作为其后端，并使用这些后端生成最快的可执行文件。然而，当前的DL框架需要大量的人工工作和专业知识来集成每个新的后端，而无法释放其全部潜力。鉴于深度学习生态系统的快速发展特性，这种手动方法通常会减缓跨不同层的持续创新;它阻碍了硬件供应商快速部署其尖端库，DL框架开发人员必须反复调整其手工编码的规则以适应新版本的库，机器学习从业者需要等待新技术的集成，并且经常遇到不满意的性能。在本文中，我们提出拼贴，DL框架，提供DL后端的无缝集成。Collage提供了一个富有表现力的后端注册接口，允许用户精确地指定各种后端的功能。通过利用可用后端的规范，Collage自动搜索针对给定工作负载和执行环境的优化后端放置策略。我们的评估显示，Collage在NVIDIA的RTX 2070 GPU、V100 GPU和英特尔的Xeon 8259 CL CPU上的表现，平均分别超过了每种硬件的现有最佳框架$1.26\times$、$1.43\times$和$1.40\times$。Collage已经开源并部署在Apache TVM中。
2022-10-28 cs.AI cs.LG
Unifying Data, Model and Hybrid Parallelism in Deep Learning via Tensor Tiling
New York University（纽约大学）
深度学习系统已成为许多领域的重要工具，但不断增加的模型大小意味着必须加速训练以保持此类系统的实用性。目前的系统，如Tensorflow和MXNet，专注于一种特定的并行化策略，即数据并行，它需要大的训练批量才能扩展。我们将寻找最佳并行化策略的问题转化为寻找最佳平铺的问题，以最少的总体通信来划分张量。我们提出了一个算法，可以找到最佳的平铺。我们的并行化解决方案是数据并行和模型并行的混合。我们构建了一个可执行自动并行化的NetBeans系统。基于它找到的最佳平铺，CubeBean自动将现有深度学习系统前端捕获的串行CubeBean图转换为并行CubeBean图。我们的评估表明，对于AlexNet和VGG，CubeBean比纯数据并行快1.5倍-4倍。我们在一个新的系统中展示了这种自动平铺，该系统可以作为Tensorflow，MXNet和其他系统的后端。
2018-05-10 cs.DC cs.LG
Fault Injectors for TensorFlow: Evaluation of the Impact of Random Hardware Faults on Deep CNNs
Technische Universität Dresden（德累斯顿工业大学）；University of Stuttgart（斯图加特大学）；Robert Bosch GmbH（罗伯特·博世有限公司）；Bosch (China) Investment Ltd.（博世（中国）投资有限公司）
如今，深度学习（DL）几乎可以增强每个工业部门，包括安全关键领域。下一代安全标准将为基于DL的应用程序定义适当的验证技术，并提出适当的容错机制。基于DL的应用程序与任何其他软件一样，容易受到常见的随机硬件故障（如发生在RAM和CPU寄存器中的位翻转）的影响。此类故障可能导致静默数据损坏。因此，至关重要的是开发方法和工具，以帮助评估如何DL组件下存在这样的故障。在本文中，我们分别针对TensorFlow 1和TensorFlow 2介绍了两个新的故障注入（FI）框架InjectTF和InjectTF 2。这两个框架都可以在GitHub上使用，并允许将随机故障可配置地注入神经网络（NN）。为了证明框架的可行性，我们还提出了使用两个图像集对四个基于VGG的卷积神经网络进行FI实验的结果。结果表明，在特定的数学运算和NN层的输出中的随机位翻转如何影响分类精度。这些结果有助于确定最关键的操作和层，比较功能相似的神经网络的可靠性特征，并引入选择性的容错机制。
2020-12-13 cs.LG
Reinforcement Learning through Asynchronous Advantage Actor-Critic on a GPU
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）
我们介绍了异步优势演员-评论家（A3 C）算法的混合CPU/GPU版本，该算法是目前用于各种游戏任务的强化学习中最先进的方法。我们分析了它的计算特性，并专注于利用GPU的计算能力的关键方面。我们介绍了一个系统的队列和动态调度策略，可能有助于其他异步算法。我们基于TensorFlow的A3 C混合CPU/GPU版本与CPU实现相比实现了显著的速度提升;我们在https://github.com/NVlabs/GA3C上向其他研究人员公开提供。
2017-03-02 cs.LG
Poseidon: An Efficient Communication Architecture for Distributed Deep Learning on GPU Clusters
Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）
深度学习模型可能需要数周的时间在一台配备GPU的机器上进行训练，因此需要将DL训练扩展到GPU集群。然而，当前的分布式DL实现由于网络上的大量参数同步而可伸缩性差，因为GPU的高吞吐量允许每单位时间比CPU处理更多的数据批次，从而导致更频繁的网络同步。我们提出了Poseidon，一个有效的通信架构，用于GPU上的分布式DL。Poseidon利用DL程序中的分层模型结构来重叠通信和计算，减少突发网络通信。此外，Poseidon使用混合通信方案，根据层属性和机器数量优化同步每个层所需的字节数。我们通过将Poseidon插入Caffe和TensorFlow来证明Poseidon适用于不同的DL框架。我们展示了Poseidon使Caffe和TensorFlow能够在16台单GPU机器上实现15.5倍的速度提升，即使带宽有限（10 GbE）和具有挑战性的VGG 19 - 22 K网络用于图像分类。此外，Poseidon支持的TensorFlow在Inception-V3上使用32台单GPU机器实现了31.5倍的速度提升，比开源TensorFlow（20倍速度提升）提高了50%。
2017-06-11 cs.CV cs.DC cs.LG
Eliminating Vendor Lock-In in Quantum Machine Learning via Framework-Agnostic Neural Networks
Intrinsic Lab, Centre for Sensors, Instrumentation and Cyber-Physical System Engineering (SeNSE), Indian Institute of Technology Delhi（印度理工学院德里分校传感器、仪器与信息物理系统工程中心（SeNSE）内部实验室）
本文提出一种框架无关的量子神经网络架构，通过统一计算图、硬件抽象层和多框架导出管道，解决量子机器学习框架碎片化问题，实现跨框架的兼容性和高效性。
2026-04-06 cs.ET cs.LG quant-ph
Enabling On-Device Smartphone GPU based Training: Lessons Learned
University of Cambridge（剑桥大学）；University of Southampton（南安普顿大学）
深度学习（DL）在许多移动应用中表现出令人印象深刻的性能。大多数现有的工作都集中在减少在资源受限的移动设备上运行深度神经网络（DNN）推理的计算和资源开销。然而，DNN操作的另一个方面，即在智能手机GPU上的训练（向前和向后传递），到目前为止很少受到关注。为此，我们进行了初步分析，以研究使用移动GPU在智能手机上进行设备上培训的可行性。我们首先采用开源移动DL框架（MNN）及其OpenCL后端在GPU上运行计算内核。接下来，我们观察到CPU上的训练比GPU上的训练快得多，并确定了与此观察相关的两个可能的瓶颈：（i）计算和（ii）内存瓶颈。为了解决计算瓶颈，我们优化了OpenCL后端的内核，在Snapdragon 8系列处理器上的CPU（15-30 GFLOPs）上显示出2倍的改进（40-70 GFLOPs）。然而，我们发现完整的DNN训练在GPU上仍然比在CPU上慢得多，这表明内存瓶颈在GPU性能低于CPU方面起着重要作用。由于带宽较低，数据移动几乎占用了91%的训练时间。最后，根据我们调查过程中的发现和失败，我们提出了限制和未来方向的实际指导方针。
2022-02-21 cs.AR cs.LG
Intel nGraph: An Intermediate Representation, Compiler, and Executor for Deep Learning
Intel（英特尔）
深度学习（DL）社区每年都会发布许多新颖的拓扑。在每个新拓扑上实现高性能仍然具有挑战性，因为每个拓扑都需要一定程度的手动工作。框架和硬件平台的激增使这个问题变得更加复杂。当前的方法，我们称之为“直接优化”，需要在每个框架内进行深入的更改，以提高每个硬件后端（CPU，GPU，FPGA，ASIC）的训练性能，并需要$\mathcal{O}(fp)$的努力;其中$f$是框架的数量，$p$是平台的数量。虽然针对深度学习原语的优化内核是通过英特尔深度神经网络数学内核库（MKL-DNN）等库提供的，但仍有几种受编译器启发的方法可以进一步优化性能。基于我们创建neon（GPU上的快速深度学习库）的经验，我们开发了英特尔nGraph，这是一个即将开源的C++库，可简化跨框架和硬件平台实现优化的深度学习性能。最初支持的框架包括TensorFlow，MXNet和Intel neon框架。最初的后端是英特尔架构CPU（CPU）、英特尔（R）神经网络神经网络处理器（R）（NNP）和NVIDIA GPU。当前支持的编译器优化包括高效的存储管理和数据布局抽象。在本文中，我们描述了我们的整体架构及其核心组件。在未来，我们设想将nGraph API支持扩展到更广泛的框架，硬件（包括FPGA和ASIC）和编译器优化（训练与推理优化，通过有效的子图分区进行多节点和多设备扩展，以及特定于硬件的复合操作）。
2018-01-30 cs.DC cs.LG
PockEngine: Sparse and Efficient Fine-tuning in a Pocket
MIT（麻省理工学院）；UCSD（加州大学圣迭戈分校）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）；NVIDIA（英伟达）
PockEngine提出面向边缘设备的稀疏高效微调引擎，通过稀疏反向传播、编译优先策略和训练图优化，在保持模型质量的同时实现最高15倍加速和5.6倍内存节省，并支持在Jetson AGX Orin上以550 tokens/s微调LLaMav2-7B。
2023-10-26 cs.LG
Softmax Optimizations for Intel Xeon Processor-based Platforms
Intel Corporation（英特尔公司）；Baidu（百度）
Softmax是机器学习中常用的归一化方法。像Transformer或BERT这样的深度学习解决方案大量使用softmax函数，因此值得对其性能进行优化。本文介绍了我们的优化方法及其应用于softmax的结果。通过介绍这种方法，我们希望增加对CPU深度学习优化的兴趣。我们相信，这里提出的优化过程可以转移到其他深度学习框架，如TensorFlow或PyTorch。
2019-05-27 cs.LG cs.MS
SLIDE : In Defense of Smart Algorithms over Hardware Acceleration for Large-Scale Deep Learning Systems
Rice University（莱斯大学）；Intel Corporation（英特尔公司）
深度学习（DL）算法是现代机器学习系统的中心焦点。随着数据量的不断增长，训练具有数亿参数的大型神经网络以保持足够的容量来存储这些数据量并获得最先进的精度已经成为惯例。为了避免与大型模型和数据相关的昂贵计算，社区越来越多地投资于用于模型训练的专用硬件。然而，专门的硬件是昂贵的，很难推广到众多的任务。算法方面的进展未能证明其相对于NVIDIA-V100 GPU等强大硬件的直接优势。本文提供了一个例外。我们提出了SLIDE（Sub-LInear深度学习引擎），它独特地将智能随机算法与多核并行和工作负载优化相结合。仅使用CPU，SLIDE就大大减少了训练和推理过程中的计算量，优于在最佳GPU上优化的Tensorflow（TF）实现。我们对具有大型全连接架构的行业规模推荐数据集进行的评估表明，在任何给定的精度水平下，在44核CPU上使用SLIDE进行训练的速度都比在Tesla V100上使用TF训练的相同网络快3.5倍以上（1小时对3.5小时）。在相同的CPU硬件上，SLIDE比TF快10倍以上。我们提供代码和脚本的可重复性。
2020-03-01 cs.DC cs.LG
Quantizing deep convolutional networks for efficient inference: A whitepaper
Google（谷歌）
我们提出了一个概述的技术量化卷积神经网络的推理与整数权重和激活。对于各种各样的CNN架构，权重的每通道量化和激活的每层量化到8位精度后训练产生在浮点网络的2%内的分类准确度。通过将权重量化为8位，即使不支持8位算法，也可以将模型大小减少4倍。这可以通过简单的后训练量化权重来实现。我们在CPU和DSP上对量化网络的浮点数进行了基准测试，并观察到量化实现与CPU上的浮点数相比的2倍-3倍的加速比。在具有固定点SIMD功能的专用处理器上，如采用HVX的Qualcomm QDSP，可以观察到高达10倍的速度提升。量化感知训练可以提供进一步的改进，在8位精度下将浮点差距缩小到1%。量化感知训练还允许将权重的精度降低到4位，精度损失范围从2%到10%，对于较小的网络，精度损失更高。我们介绍了TensorFlow和TensorFlowLite中用于量化卷积网络的工具，并回顾了量化感知训练的最佳实践，以获得量化权重和激活的高精度。我们建议将权重的每通道量化和激活的每层量化作为硬件加速和内核优化的首选量化方案。我们还建议，未来的处理器和硬件加速器优化推理支持精度为4，8和16位。
2018-06-21 cs.CV cs.LG stat.ML
Benchmarking State-of-the-Art Deep Learning Software Tools
Hong Kong Baptist University（香港浸会大学）
深度学习已被证明是一种成功的机器学习方法，可用于各种任务，其普及导致了众多开源深度学习软件工具。训练深度网络通常是一个非常耗时的过程。为了解决深度学习中的计算挑战，许多工具利用多核CPU和众核GPU等硬件功能来缩短训练时间。然而，在不同的硬件平台上训练不同类型的深度网络时，不同的工具表现出不同的功能和运行性能，这使得最终用户很难选择合适的软件和硬件。在本文中，我们的目标是对最先进的GPU加速的深度学习软件工具进行比较研究，包括Caffe，CNTK，MXNet，TensorFlow和Torch。我们首先在两个CPU平台和三个GPU平台上使用三种流行的神经网络对这些工具的运行性能进行基准测试。然后，我们在多个GPU上对一些分布式版本进行基准测试。我们的贡献是双重的。首先，对于深度学习工具的最终用户，我们的基准测试结果可以作为选择适当硬件平台和软件工具的指南。其次，对于深度学习工具的软件开发人员，我们的深入分析指出了未来进一步优化运行性能的可能方向。
2017-02-17 cs.DC cs.LG
RL-Scope: Cross-Stack Profiling for Deep Reinforcement Learning Workloads
Vector Institute（矢量研究院）；University of Toronto（多伦多大学）；Harvard（哈佛大学）
深度强化学习（RL）在机器人、数据中心管理和其他应用方面取得了突破性的进展。不幸的是，人们对RL工作负载中的系统级瓶颈知之甚少;我们观察到RL工作负载中的基本结构差异，这使得它们本质上比监督学习（SL）更少受GPU约束。为了解释RL工作负载中的训练时间，我们提出了RL-Scope，这是一个跨堆栈分析器，它将低级CPU/GPU资源使用情况限制在高级算法操作范围内，并通过纠正分析开销提供准确的见解。使用RL-Scope，我们调查了其主要维度的RL工作负载，包括ML后端，RL算法和模拟器。对于ML后端，我们解释了等效PyTorch和TensorFlow算法实现之间运行时的$2.3\times$差异，并确定了源于过度抽象算法实现的瓶颈。对于RL算法和模拟器，我们表明，对政策的算法至少$3.5\times$更多的模拟约束比关闭政策的算法。最后，我们分析了一个扩展的工作负载，并证明了常用工具报告的GPU利用率指标大大提高了GPU的使用率，而RL-Scope报告的是真正的GPU绑定时间。RL-Scope是一个开源工具，可在https://github.com/UofT-EcoSystem/rlscope上获得。
2021-03-04 cs.LG cs.SE
Neko: a Library for Exploring Neuromorphic Learning Rules
University of Chicago（芝加哥大学）；Virginia Tech（弗吉尼亚理工大学）；Argonne National Laboratory（阿贡国家实验室）
类脑计算领域正处于积极探索的时期。虽然已经开发了许多工具来模拟神经元动力学或将深度网络转换为尖峰模型，但用于学习规则的通用软件库仍然没有得到充分开发。这部分是由于设计新学习规则的努力具有多样性和挑战性，从编码方法到梯度近似，从模仿贝叶斯大脑的群体方法到部署在忆阻器交叉杆上的受限学习算法。为了解决这一差距，我们提出了Neko，一个模块化的，可扩展的库，重点是帮助设计新的学习算法。我们在三个典型案例中展示了Neko的实用性：在线本地学习，概率学习和模拟设备上学习。我们的研究结果表明，Neko可以复制最先进的算法，并在一种情况下，导致在准确性和速度显着优于。此外，它还提供包括梯度比较在内的工具，可以帮助开发新的算法变体。Neko是一个开源Python库，支持PyTorch和TensorFlow后端。
2021-08-13 cs.AI cs.LG cs.NE
Optimizing Data Collection in Deep Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
众所周知，强化学习（RL）工作负载需要很长的训练时间，因为在运行时从模拟器收集了大量的样本。不幸的是，集群扩展方法仍然昂贵，并且模拟器的常用CPU实现在GPU计算之间来回切换时会产生很高的开销。我们探索了两种优化方法，通过提高GPU利用率来提高RL数据汇集效率：（1）GPU矢量化：在GPU上并行化模拟以提高硬件并行性，以及（2）模拟器内核融合：融合多个模拟步骤以在单个GPU中运行内核启动以降低全局内存带宽需求。我们发现，GPU矢量化可以实现高达$1024\times$加速比常用的CPU模拟器。我们分析了不同实现的性能，并表明对于一个简单的模拟器，GPU矢量化的ML编译器实现（XLA）通过减少重复Python到DL后端API调用的CPU开销，通过$13.4\times$优于DNN框架（PyTorch）。我们发现，模拟器内核融合加速与一个简单的模拟器$11.3\times$和增加高达$1024\times$作为模拟器的复杂性增加方面的内存带宽的要求。我们表明，从模拟器内核融合的加速是正交的，并与GPU矢量化相结合，导致乘法加速。
2022-07-15 cs.LG
LIFT: Reinforcement Learning in Computer Systems by Learning From Demonstrations
University of Cambridge（剑桥大学）；Helmut Schmidt University（赫尔穆特·施密特大学）；Baqend
强化学习方法长期以来一直吸引着数据管理社区，因为它们能够从原始系统性能中学习控制动态行为。最近将深度神经网络与强化学习相结合的成功引发了人们对这一领域的新兴趣。然而，由于大量的训练数据需求、算法不稳定以及缺乏标准工具，实际的解决方案仍然难以捉摸。在这项工作中，我们介绍了LIFT，这是一个端到端的软件栈，用于将深度强化学习应用于数据管理任务。虽然以前的工作经常探索模拟中的应用，但LIFT的中心是利用人类的专业知识从演示中学习，从而减少在线培训时间。我们进一步介绍了TensorForce，这是一个用于应用深度强化学习的TensorFlow库，为常见的RL算法提供了统一的声明式接口，从而为LIFT提供了后端。我们展示了两个案例研究中的数据库复合索引和流处理中的资源管理的LIFT的效用。结果显示，从演示初始化的LIFT控制器可以在延迟指标和空间使用方面超过人类基线和人工智能高达70%。
2018-08-23 cs.LG stat.ML
