TensorNetwork on TensorFlow: A Spin Chain Application Using Tree Tensor Networks
Perimeter Institute for Theoretical Physics(圆周理论物理研究所);Alphabet (Google) X(Alphabet(谷歌)X)
TensorNetwork是一个开源库,用于在TensorFlow中实现张量网络算法。我们描述了一个树张量网络(TTN)算法,用于近似的基态的周期性量子自旋链(1D)或薄环面(2D)上的晶格模型,并实现该算法使用TensorNetwork。我们使用一个标准的能量最小化过程中的TTN anomaly键尺寸$χ$,计算成本的规模为$O(χ^4)$。使用键维数$χ\in [32,256]$,我们比较了CPU与GPU的使用,并观察到使用GPU和TensorNetwork库的显著计算速度提升,高达$100$的一个因素。
2019-05-03 cond-mat.str-el cs.LG hep-th
KHNNs: hypercomplex neural networks computations via Keras using TensorFlow and PyTorch
Faculty of Mathematics and Computer Science, University of Warmia and Mazury in Olsztyn(数学与计算机科学学院,沃姆扎-马祖里大学);Faculty of Computer Science and Telecommunications, Cracow University of Technology(计算机科学与电信学院,克拉科夫技术大学)
针对超复数神经网络缺乏通用框架的问题,提出了与Keras集成的库KHNNs,支持TensorFlow和PyTorch,提供Dense和1D/2D/3D卷积层,提升特定应用性能。
2024-06-29 cs.AI cs.LG cs.NE
A Tour of TensorFlow
Technische Universität München(慕尼黑工业大学)
深度学习是采用深度神经网络架构的人工智能的一个分支,其显著地推进了计算机视觉、语音识别、自然语言处理和其他领域的最新技术水平。2015年11月,Google发布了$\textit{TensorFlow}$,这是一个开源深度学习软件库,用于定义、训练和部署机器学习模型。在本文中,我们回顾了TensorFlow,并将其置于现代深度学习概念和软件的背景下。我们讨论了它的基本计算范式和分布式执行模型,它的编程接口以及伴随的可视化工具包。然后,我们在定性和定量的基础上将TensorFlow与Theano、Torch或Caffe等替代库进行比较,最后对学术界和工业界观察到的TensorFlow用例进行评论。
2016-10-01 cs.LG
LightSeq: A High Performance Inference Library for Transformers
ByteDance AI Lab(字节跳动人工智能实验室)
Transformer、BERT及其变体在自然语言处理中取得了巨大的成功。由于Transformer模型体积庞大,因此为这些模型提供服务对于实际工业应用来说是一个挑战。在本文中,我们提出了LightSeq,一个高效的推理库模型的Transformer家庭。LightSeq包括一系列GPU优化技术,以简化神经层的计算并减少内存占用。LightSeq可以轻松导入使用PyTorch和Tensorflow训练的模型。在机器翻译基准测试上的实验结果表明,与TensorFlow相比,LightSeq实现了高达14倍的加速,与FasterTransformer(一种并发CUDA实现)相比,LightSeq实现了1.4倍的加速。该代码可在https://github.com/bytedance/lightseq上获得。
2021-04-22 cs.LG cs.MS
TensorX: Extensible API for Neural Network Model Design and Deployment
Universidade de Lisboa(里斯本大学);Faculdade de Ciências(理学院)
TensorX是一个Python库,用于在TensorFlow中对复杂的神经网络模型进行原型设计、设计和部署。特别强调的是易用性、性能和API一致性。它的目标是提供高级组件,如神经网络层,这些层实际上是有状态函数,易于组合和重用。它的架构允许表达在研究或工业环境中构建神经网络模型时常见的模式。它继承了其他几个深度学习库的思想,使其易于使用最先进模型中常见的组件。该库设计将函数式递归计算图与面向对象的神经网络构建块混合在一起。TensorX将Python的动态特性与TensorFlow的高性能GPU支持的操作相结合。该库具有最小的核心依赖(TensorFlow和NumPy),并在Apache License 2.0许可下分发,鼓励其在学术和商业环境中使用。完整的文档、源代码和二进制文件可以在https://tensorx.org/中找到。
2021-01-02 cs.LG
TF-GNN: Graph Neural Networks in TensorFlow
Google Core ML(谷歌核心机器学习部);Google Research(谷歌研究院);DeepMind(深度思维);EPFL(洛桑联邦理工学院)
论文介绍开源可扩展库 TF-GNN,说明其异构图数据模型、Keras 消息传递 API、图采样与分布式训练能力,以支持 TensorFlow 图学习研究和生产应用。
2023-07-23 cs.LG cs.NE cs.SI
ZhuSuan: A Library for Bayesian Deep Learning
Tsinghua University(清华大学);University of Toronto(多伦多大学)
在本文中,我们介绍了用于贝叶斯深度学习的Python概率编程库ZhuSuan,它结合了贝叶斯方法和深度学习的互补优势。ZhuSuan基于Tensorflow构建。与现有的深度学习库主要针对确定性神经网络和监督任务而设计不同,ZhuSuan的特点是它深深植根于贝叶斯推断,从而支持各种概率模型,包括传统的分层贝叶斯模型和最近的深度生成模型。我们使用运行的例子来说明竹算上的概率规划,包括贝叶斯逻辑斯谛回归,变分自动编码器,深度sigmoid信念网络和贝叶斯递归神经网络。
2017-09-18 cs.AI cs.LG cs.NE
TF-Coder: Program Synthesis for Tensor Manipulations
Google Brain(谷歌大脑)
深度学习的成功和流行正在上升,部分原因是强大的深度学习框架,如TensorFlow和PyTorch,使开发深度学习模型变得更容易。然而,这些库也有陡峭的学习曲线,因为在这些框架中编程与传统的显式循环和条件命令式编程完全不同。在这项工作中,我们提出了一个名为TF-Coder的工具,用于在TensorFlow中通过示例进行编程。TF-Coder使用自下而上的加权枚举搜索,对等价表达式进行基于值的修剪,以及灵活的基于类型和值的过滤,以确保表达式符合TensorFlow库提出的各种要求。我们通过训练模型,根据输入和输出张量的特征以及任务的自然语言描述来预测TensorFlow操作,从而在搜索过程中优先考虑相关操作。TF-Coder在5分钟内解决了70个真实任务中的63个,有时与经验丰富的人类程序员相比,可以在更短的时间内找到更简单的解决方案。
2022-04-07 cs.LG cs.PL stat.ML
Training Neural Machine Translation (NMT) Models using Tensor Train Decomposition on TensorFlow (T3F)
我们使用t3 f库在TensorFlow神经机器翻译(NMT)模型中实现了一个Tensor训练层。我们使用学习率$\in \{0.0004,0.0008,0.0012\}$、最大秩$\in \{2,4,8,16\}$和一系列核心维度对IWITHEN英语-越南语'15和WMT德语-英语'16数据集进行训练。我们与我们的基准测试运行获得的目标BLEU测试得分24.0进行比较。对于IWITHEN英语-越南语培训,我们分别使用学习率为0.0012的核心维度$(2, 2, 256) \times (2, 2, 512)$和等级分布$(1,4,4,1)$和$(1,4,16,1)$获得了24.0/21.9和24.2/21.9的BLEU测试/开发分数。这两次运行分别使用了基准测试运行的113%和397%的触发器。我们发现,调查的参数,更高的学习率和更多的“矩形”的核心尺寸一般产生更高的BLEU分数。对于WMT德语-英语数据集,我们使用学习率为0.0012的核心维度$(4, 4, 128) \times (4, 4, 256)$和秩分布$(1,2,2,1)$获得了24.0/23.8的BLEU分数。我们讨论了潜在的未来优化和应用张量训练分解到其他NMT模型。
2019-11-05 cs.CL cs.LG stat.ML
SPFlow: An Easy and Extensible Library for Deep Probabilistic Learning using Sum-Product Networks
TU Darmstadt(达姆施塔特工业大学);Max-Planck-Institute(马克斯-普朗克研究所);University of Cambridge(剑桥大学);University of Waterloo(滑铁卢大学);University of Bari “Aldo Moro”(巴里大学“阿尔多·莫罗”)
我们介绍SPFlow,这是一个开源Python库,为称为和积网络(SPN)的深度和易处理的概率模型提供了一个简单的推理,学习和操作例程接口。该库允许人们从数据和通过域特定语言(DSL)快速创建SPN。它有效地实现了几个概率推理例程,如计算边际,条件和(近似)最可能的解释(MPE)以及采样以及用于序列化,绘制和结构统计的工具。此外,在文献中提出的许多学习SPN的结构和参数的算法在SPFlow中很容易获得。此外,SPFlow具有极强的可扩展性和可定制性,允许用户通过将自定义代码注入到轻量级的面向函数的API框架中来快速提取新的推理和学习例程。这在SPFlow中是通过保持图结构的内部Python表示来实现的,该表示还可以将SPN实际编译为TensorFlow图、C、CUDA或FPGA自定义代码,从而显著加快计算速度。
2019-01-11 cs.LG stat.ML
JSDoop and TensorFlow.js: Volunteer Distributed Web Browser-Based Neural Network Training
Universidad de Málaga(马拉加大学)
2019年,全球约57%的人口拥有宽带接入互联网。此外,还有59亿移动宽带用户,即,1.3订阅每个用户。因此,世界各地的用户拥有巨大的互联计算能力。此外,据估计,互联网用户每天上网的时间超过六个半小时。但是,尽管有大量的时间,这些资源在一天的大部分时间里都是闲置的。因此,利用它们提供了一个有趣的机会。在这项研究中,我们介绍了JSDoop,一个原型实现,以利用这个机会。特别是,我们提出了一个志愿者基于Web浏览器的高性能计算库。JSdoop将问题划分为多个任务,并使用不同的队列来分配计算。然后,志愿者访问问题的网页,并开始在他们的Web浏览器中处理任务。我们使用我们的提案和TensorFlow.js进行了概念验证,以训练预测文本的递归神经网络。我们在一个计算机集群中测试了它,有多达32名志愿者。实验结果表明,在分布式浏览器环境下训练神经网络是可行的、准确的,具有很高的可扩展性,是一个值得研究的领域。
2019-10-12 cs.DC cs.LG cs.NI
Comparing neural network training performance between Elixir and Python
UTFPR(巴拉那联邦技术大学)
由于有大量专注于机器学习市场的库,如TensorFlow、NumPy、Pandas、Keras等,Python已经成为主要的程序设计语言之一。2021年2月,José Valim和Sean Moriarity发布了Numerical Elixir(Nx)库的第一个版本,这是一个用Elixir编写的张量运算库。Nx的目标是使该语言成为GPU密集型操作的良好选择。这项工作的目的是比较Python和Elixir在使用MNIST和CIFAR-10数据集训练卷积神经网络(CNN)方面的结果,得出的结论是Python取得了总体上更好的结果,Elixir已经是一个可行的替代方案。
2022-10-25 cs.LG cs.PL
TensorFlow Estimators: Managing Simplicity vs. Flexibility in High-Level Machine Learning Frameworks
Google, Inc.(谷歌公司);Uptake Technologies, Inc.(Uptake技术公司)
我们提出了一个框架,用于指定,训练,评估和部署机器学习模型。我们的重点是简化从业者的尖端机器学习,以便将这些技术投入生产。认识到深度学习领域的快速发展,我们没有尝试在特定领域语言(DSL)或类似的配置语言中捕获所有可能的模型架构的设计空间。我们允许用户编写代码来定义他们的模型,但提供了抽象,指导开发人员以有利于生产化的方式编写模型。我们还提供了一个统一的Estimate接口,使得独立于模型实现编写下游基础设施(例如分布式训练,超参数调优)成为可能。我们通过提供不同抽象级别的API来平衡灵活性和简单性的竞争需求,使通用模型架构开箱即用,同时提供旨在加速模型架构实验的实用程序库。为了使开箱即用的模型在广泛的问题中灵活可用,这些固定估计器不仅在传统的超参数上进行参数化,而且还使用特征列进行参数化,特征列是一种描述如何解释输入数据的声明性规范。我们讨论了在研究和生产环境中使用该框架的经验,并展示了对代码健康、可维护性和开发速度的影响。
2017-08-08 cs.DC cs.LG
Seven Myths in Machine Learning Research
我们提出了机器学习研究中普遍认为正确的七个神话,大约在2019年2月。这是www.example.com上博客文章的存档副本https://crazyoscarchang.github.io/2019/02/16/seven-myths-in-machine-learning-research/神话1:误解2:图像数据集代表在野外发现的真实图像误解3:机器学习研究人员不使用测试集进行验证误解4:每个数据点都用于训练神经网络误解5:我们需要(批量)归一化来训练非常深的残差网络误解6:注意$>$卷积误解7:显着图是解释神经网络的可靠方法
2019-02-22 cs.LG stat.ML
DeepThin: A Self-Compressing Library for Deep Neural Networks
Intel(英特尔);UC Davis(加州大学戴维斯分校)
随着业界将越来越大和复杂的神经网络部署到移动设备,这些设备的存储器和计算资源面临更大的压力。深度压缩,或深度神经网络权重矩阵的压缩,是一种为此类场景拉伸资源的技术。现有的压缩方法不能有效地压缩小于其原始大小的1-2%的模型。我们开发了一种新的压缩技术DeepThin,建立在低秩因子分解领域的现有研究基础上。我们确定和打破人为的限制强加的低秩近似相结合的秩分解与整形过程中,增加了非线性的近似函数。我们将DeepThin部署为与TensorFlow集成的插件库,使用户能够以不同的粒度无缝压缩模型。我们在两个最先进的声学模型TFKaldi和DeepSpeech上评估了DeepThin,并将其与以前的压缩工作(修剪,HashNet和Rank Factorization),经验极限研究方法和手动调整模型进行了比较。对于TFKaldi,我们的DeepThin网络在几乎所有测试的压缩率下都显示出比竞争方法更好的单词出错率(WER),比秩因子分解平均相对改进60%,比修剪平均相对改进57%,比手动调整的相同大小的网络平均相对改进23%,比计算昂贵的HashedNets平均相对改进6%。对于DeepSpeech,DeepThin压缩网络的测试损失比所有其他压缩方法都要好,比秩分解好28%,比修剪好27%,比手动调整的相同大小的网络好20%,比哈希网络好12%。DeepThin还提供推理性能优势,范围…
2018-02-20 cs.LG stat.ML
KerasCV and KerasNLP: Vision and Language Power-Ups
Google LLC(谷歌公司)
本文介绍 KerasCV 和 KerasNLP 两个 Keras 领域包,通过模块化分层设计为视觉和语言任务提供预训练模型与高效预处理,支持 JAX、TensorFlow 和 PyTorch,旨在提升实验效率与易用性。
2024-06-05 cs.AI cs.CV cs.LG
Next-Step Conditioned Deep Convolutional Neural Networks Improve Protein Secondary Structure Prediction
Google Brain(谷歌大脑)
最近开发的深度学习技术显著提高了各种语音和图像识别系统的准确性。在本文中,我们将展示如何调整其中的一些技术来创建一个新的链式卷积架构,并进行下一步调节,以提高蛋白质序列预测问题的性能。我们通过展示其提高八类二级结构预测性能的能力来探索其价值。我们首先通过适应为视觉任务开发的卷积神经网络的最新进展来建立最先进的基线。该模型在CB 513基准数据集上实现了每个氨基酸70.0%的准确率,而无需使用标准的性能提升技术,如集成或多任务学习。然后,我们使用一种新的链式预测方法来改进这种最先进的结果,该方法将二级结构预测作为下一步预测问题。该序列模型在CB 513上使用单个模型实现了70.3%的Q8准确度;这些模型的集成在相同的测试集上产生了71.4%的Q8准确度,改进了先前八类二级结构问题的整体技术水平。我们的模型使用TensorFlow实现,这是一个开源的机器学习软件库,可在TensorFlow.org上获得;我们的目标是将这些实验的代码作为TensorFlow存储库的一部分发布。
2017-02-13 cs.LG q-bio.BM
Spyx: A Library for Just-In-Time Compiled Optimization of Spiking Neural Networks
University of Cambridge(剑桥大学);University of Sussex(萨塞克斯大学)
针对脉冲神经网络难以利用现代加速器并行能力的问题,本文提出基于 JAX 的轻量级库 Spyx,通过 vRAM 数据预暂存和全面 JIT 编译实现统一底层执行,从而在 GPU/TPU 上提升训练性能与灵活性。
2024-02-29 cs.LG cs.NE
How Attentive are Graph Attention Networks?
Technion(以色列理工学院);Carnegie Mellon University(卡内基梅隆大学);Language Technologies Institute(语言技术研究所)
图注意力网络(GAT)是最受欢迎的GNN架构之一,被认为是使用图进行表示学习的最先进架构。在GAT中,每个节点都关注其邻居,并将其自己的表示作为查询。然而,在本文中,我们表明,GAT计算一种非常有限的注意力:排名的注意力分数是无条件的查询节点。我们正式定义这种有限的注意力为静态注意力,并将其与严格更具表现力的动态注意力区分开来。由于GAT使用静态注意力机制,有简单的图形问题,GAT不能表示:在一个受控的问题,我们表明,静态注意力阻碍GAT甚至拟合的训练数据。为了消除这一限制,我们引入了一个简单的修复修改操作的顺序,并提出GATv2:一个动态的图形注意力的变种,是严格的表达比GAT。我们进行了广泛的评估,并表明GATv2在11 OGB和其他基准测试中优于GAT,同时我们匹配它们的参数成本。我们的代码可在https://github.com/tech-srl/how_attentive_are_gats上获得。GATv2作为PyTorch Geometric库、Deep Graph库和TensorFlow GNN库的一部分提供。
2022-01-31 cs.LG
NeuRaLaTeX: A machine learning library written in pure LaTeX
University of York(约克大学)
本文提出首个完全用纯 LaTeX 编写的深度学习库 NeuRaLaTeX,支持在文档编译时训练网络并生成实验图表,并在新提出的 WIL 和 SCOMISCOP 两个指标上达到 SOTA。
2025-04-02 cs.LG
Akid: A Library for Neural Network Research and Production from a Dataism Approach
Chinese University of Hong Kong(香港中文大学)
神经网络是一种革命性但不成熟的技术,它正在快速发展,并严重依赖于数据。为了从最新的发展和新获得的数据中受益,我们希望研究和生产之间的差距尽可能小。另一方面,与传统的机器学习模型不同,神经网络不仅仅是另一种统计模型,而是一种自然处理引擎--大脑的模型。在这项工作中,我们描述了一个神经网络库命名为{ \texttt akid}。它在Tensorflow对信号(抽象为张量)进行抽象的基础上,为自然界中的实体(抽象为块)提供了更高层次的抽象,表征了自然界中所有实体以某种方式处理输入和发出的数据主义观察。它包括一个完整的软件栈,提供抽象,让研究人员专注于研究而不是实现,同时开发的程序也可以在分布式环境中无缝投入生产,并为生产做好准备。在应用程序堆栈的顶层,它为神经网络应用程序提供了开箱即用的工具。在底层,akid提供了一个编程范例,让用户可以轻松地构建自定义模型。分布式计算栈处理并发性和通信,因此允许模型被训练或部署到单个GPU、多个GPU或分布式环境,而不影响模型在编程范式栈中的指定方式。最后,分布式部署栈处理如何部署分布式计算,从而将研究原型环境与实际生产环境解耦,并且能够动态分配计算资源,从而可以分离开发(Devs)和操作(Ops)。有关文档,请参阅http://akid.readthedocs.io/en/latest/。
2017-01-03 cs.DC cs.LG
Probabilistic Deep Learning with Probabilistic Neural Networks and Deep Probabilistic Models
IBM(国际商业机器公司)
概率深度学习是考虑不确定性的深度学习,包括模型不确定性和数据不确定性。它基于概率模型和深度神经网络的使用。我们区分了概率深度学习的两种方法:概率神经网络和深度概率模型。前者采用深度神经网络,其利用概率层来表示和处理不确定性;后者使用概率模型,其包含深度神经网络组件,这些组件捕获随机变量之间的复杂非线性随机关系。我们讨论了每种方法的一些主要例子,包括贝叶斯神经网络和混合密度网络(概率神经网络),以及变分自编码器,深度高斯过程和深度混合效应模型(深度概率模型)。TensorFlow Probability是一个用于概率建模和推理的库,可用于概率深度学习的两种方法。我们包括它的代码示例用于说明。
2021-06-09 cs.LG stat.ML
Deep Learning for Quantile Regression under Right Censoring: DeepQuantreg
University of Pittsburgh(匹兹堡大学)
神经网络或深度学习的计算预测算法最近在统计学以及图像识别和自然语言处理中引起了广泛关注。特别是在删失生存数据的统计应用中,用于优化的损失函数主要基于Cox模型及其变体的部分似然,以利用现有的神经网络库,如Keras,它是基于开源的TensorFlow库构建的。本文提出了一种新的神经网络应用于生存数据的右截尾分位数回归,它是由估计的截尾分布在检查函数中的逆调整。这项工作的主要目的是表明,与现有的分位数回归方法(如传统的线性分位数回归和具有总变差正则化的非参数分位数回归)相比,深度学习方法可以足够灵活,更准确地预测非线性模式,强调该方法对删失生存数据的实用性。进行了模拟研究,以生成非线性删失生存数据,并在预测精度方面将深度学习方法与现有的分位数回归方法进行比较。所提出的方法说明了两个公开的乳腺癌数据集的基因签名。该方法已内置在一个软件包中,可在\url{https://github.com/yicjia/DeepQuantreg}上免费获得。
2021-04-12 cs.LG stat.AP stat.ML
Complex-Valued vs. Real-Valued Neural Networks for Classification Perspectives: An Example on Non-Circular Data
ONERA(法国国家航空航天研究中心)
本文的贡献是双重的。首先,我们展示了复值神经网络(CVNN)对复值数据集分类任务的潜在兴趣。为了突出这一论断,我们研究了一个复值数据的例子,其中实部和虚部通过非圆特性在统计上是相关的。在这种情况下,完全连接的前馈CVNN的性能进行比较,对一个实值等效模型。结果表明,CVNN表现更好的各种体系结构和数据结构。与实值神经网络(RVNN)相比,CVNN的准确性在统计学上具有更高的平均值和中位数以及更低的方差。此外,如果不使用正则化技术,CVNN表现出较低的过拟合。第二个贡献是使用Tensorflow作为后端发布了一个Python库(Barrachina 2019),该库支持CVNN的实现和训练,希望能够激励对该领域的进一步研究。
2021-04-13 cs.LG stat.ML
RoseNNa: A performant, portable library for neural network inference with application to computational fluid dynamics
Georgia Institute of Technology(佐治亚理工学院)
本文提出轻量级非侵入式 RoseNNa 库,可将训练好的 MLP/LSTM 模型转为带 C/Fortran API 的高性能 Fortran 代码,便于嵌入 CFD 等 PDE 求解器,推理速度最高较 PyTorch/libtorch 提升约10倍。
2023-07-30 cs.LG physics.flu-dyn
Demystifying Differentiable Programming: Shift/Reset the Penultimate Backpropagator
Purdue University(普渡大学)
在过去的十年里,深度学习在计算机视觉、机器翻译和游戏玩法方面取得了巨大的成功。这一成功在关键方面依赖于梯度下降优化和通过反向传播观察到的误差来学习神经网络参数的能力。然而,神经网络架构变得越来越复杂和多样化,这激发了对更一般形式的可微编程的新兴追求,其中任意参数化计算可以通过梯度下降来训练。在本文中,我们重新审视自动微分(AD)技术,特别是旨在揭开AD的反向模式形式,推广反向传播神经网络。我们发现了反向模式AD和定界延续之间的紧密联系,它允许纯粹通过运算符重载实现反向模式AD,而无需任何辅助数据结构。我们进一步展示了AD的这种公式化如何与多阶段编程(staging)有效地结合,从而实现一种高效的实现,该实现结合了基于显式具体化计算图的深度学习框架的性能优势(例如,TensorFlow)与纯库方法的表现力(例如,PyTorch)。
2019-08-29 cs.LG stat.ML
PyOD 2: A Python Library for Outlier Detection with LLM-powered Model Selection
University of Southern California(南加州大学);University of Maryland(马里兰大学);Florida State University(佛罗里达州立大学)
PyOD 2 通过集成 12 个深度学习模型到统一 PyTorch 框架,并引入基于大语言模型的自动化模型选择流水线,解决了原库覆盖不足、实现分散和无自动选择的问题,提供 45 种算法,简化异常检测工作流。
2024-12-11 cs.AI cs.CL cs.LG
PowerAI DDL
IBM Research(IBM研究院)
随着深度神经网络变得越来越复杂,输入数据集变得越来越大,将深度神经网络训练到所需的精度可能需要几天甚至几周的时间。因此,大规模的分布式深度学习是一种关键能力,因为它有可能将训练时间从数周减少到数小时。在本文中,我们提出了一个软硬件协同优化的分布式深度学习系统,可以实现近线性扩展到数百个GPU。核心算法是一个多环通信模式,提供了一个很好的折衷之间的延迟和带宽,并适应各种系统配置。为了方便使用,通信算法被实现为一个库。该库已集成到Tensorflow、Caffe和Torch中。我们训练Resnet-101在Imagenet 22 K上使用64个IBM Power8 S822 LC服务器(256个GPU)在大约7个小时内达到33.8%的验证准确度。微软的ADAM和谷歌的DistBelief结果没有达到Imagenet 22 K的30%验证准确率。与Facebook AI Research最近关于256 GPU训练的论文相比,我们使用了不同的通信算法,我们的软件和硬件组合系统为Resnet-50提供了更好的通信开销。一个支持PowerAI的Torch版本使用64台IBM Power8 S822 LC服务器(256个GPU),在50分钟内完成了Resnet 50上1 K课程的90次训练。
2017-08-07 cs.AI cs.DC cs.LG
Convolutional Neural Networks for Real-Time Localization and Classification in Feedback Digital Microscopy
Universität Leipzig(莱比锡大学)
我们提出了一种自适应单次卷积神经网络(YOLOv 2),用于光学显微镜中颗粒的实时定位和分类。与以前的作品相比,我们专注于系统的实时检测能力,允许在反馈控制的帮助下操纵大型异构系综中的微观物体。该网络能够定位和分类数百个微观物体,即使在非常低的信噪比的图像大到416 x416像素的推理时间约为10毫秒。我们展示了实时检测性能,通过操纵激光诱导自热泳推进的活性粒子。为了使我们的框架随时可供他人使用,我们提供了所有的脚本和源代码。该网络使用TensorFlow后端在Python/Keras中实现。为实时推理提供了一个支持GPU的C语言库。
2020-04-10 cond-mat.soft cs.LG eess.IV
GradVis: Visualization and Second Order Analysis of Optimization Surfaces during the Training of Deep Neural Networks
Fraunhofer ITWM(弗劳恩霍夫信息技术与数学研究所);TU Kaiserslautern(凯泽斯劳滕工业大学);Fraunhofer Center Machine Learning(弗劳恩霍夫机器学习中心);Offenburg University(奥芬堡应用技术大学)
目前用于深度神经网络的训练方法归结为非常高维和非凸优化问题,这些问题通常由广泛的随机梯度下降方法来解决。虽然这些方法往往在实践中起作用,但在理论上对收敛和泛化保证等关键方面的理解仍然存在许多差距,这是由优化表面(损失景观)的属性引起的。为了获得更深入的见解,一些最近的出版物提出了可视化和分析优化表面的方法。然而,这些方法的计算成本非常高,几乎不可能在更大的网络上使用它们。在本文中,我们介绍了GradVis Lens,这是一个开源库,用于在Tensorflow和PyTorch中高效、可扩展地可视化和分析深度神经网络损失情况。引入更有效的数学公式和新的并行化方案,GradVis允许绘制优化表面和轨迹的2D和3D投影,以及大型网络的高分辨率二阶梯度信息。
2019-09-27 cs.LG stat.ML
SequenceLayers: Sequence Processing and Streaming Neural Networks Made Easy
Google(谷歌);DeepMind(深度思维)
本研究提出SequenceLayers序列建模神经网络层API与库,通过定义显式状态表示与step方法实现模型逐层/逐步执行兼容,支持流式处理、减少常见bug,可跨深度学习库实现,简化生产级模型构建并保障正确性。
2025-07-31 cs.CL cs.LG cs.PL
ANIRA: An Architecture for Neural Network Inference in Real-Time Audio Applications
针对现有神经网络推理工具难以满足实时音频需求的问题,提出跨平台库anira,通过解耦推理与音频回调缓解实时性违规,经基准测试验证不同模型适配的最优推理引擎。
2025-06-14 cs.AI cs.LG cs.SD
ALWANN: Automatic Layer-Wise Approximation of Deep Neural Network Accelerators without Retraining
Brno University of Technology(布尔诺理工大学);Technische Universität Wien (TU Wien)(维也纳技术大学)
最先进的方法采用近似计算来降低DNN硬件的能耗。近似DNN随后需要大量的重新训练,以从使用近似运算造成的准确性损失中恢复过来。然而,复杂DNN的再训练不能很好地扩展。在本文中,我们证明了可以将有效的近似引入DNN加速器的计算路径中,同时可以完全避免重新训练。ALWANN为定制的低功耗加速器提供高度优化的DNN实现,其中计算单元的数量低于DNN层的数量。首先,一个经过完全训练的DNN被转换为在卷积层中使用8位权重和8位乘法器进行操作。然后从近似乘法器库中为每个计算元件选择合适的近似乘法器,使得(i)一个近似乘法器服务于若干层,以及(ii)总分类误差和能量消耗最小化。包括乘数选择问题的优化是通过多目标优化NSGA-II算法解决的。为了完全避免DNN的计算昂贵的再训练,这通常是用来提高分类精度,我们提出了一个简单的权重更新方案,补偿采用近似乘法器引入的不准确性。所提出的方法进行评估的DNN加速器与近似乘法器从开源的“EvoApprox”库的两个架构。我们报告说,所提出的方法节省了ResNet-50卷积层乘法所需的30%的能量,而准确度仅下降了0.6%。所提出的技术和近似层可作为TensorFlow的开源扩展在https://github.com/ehw-fit/tf-approximate上获得。
2019-07-25 cs.LG cs.NE
deepregression: a Flexible Neural Network Framework for Semi-Structured Deep Distributional Regression
LMU Munich(慕尼黑大学);Helmholtz AI(亥姆霍兹人工智能研究所);ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学);Humboldt-Universität zu Berlin(柏林洪堡大学);Helmholtz Zentrum Munich(慕尼黑亥姆霍兹中心);Flatiron Institute(弗莱提荣研究所)
在本文中,我们描述了半结构化深度分布回归的实现,这是一个基于加性回归模型和深度网络组合的学习条件分布的灵活框架。我们的实现包括(1)基于深度学习库\pkg{TensorFlow}的模块化神经网络构建系统,用于融合各种统计和深度学习方法,(2)允许不同子网络的可解释组合的正交化单元,以及(3)建立此类模型所需的预处理步骤。该软件包允许通过公式界面以用户友好的方式定义模型,该公式界面受到\pkg{mgcv}等经典统计模型框架的启发。该软件包的模块化设计和功能为复杂统计模型的可扩展估计以及深度学习和统计方法的组合提供了独特的资源。这允许最先进的预测性能,同时保留经典统计模型不可或缺的可解释性。
2022-03-10 cs.LG stat.CO stat.ML
LB-CNN: An Open Source Framework for Fast Training of Light Binary Convolutional Neural Networks using Chainer and Cupy
University “Politehnica” of Bucharest(布加勒斯特理工大学)
轻二进制卷积神经网络(LB-CNN)在如许多工业应用中所需的低能量计算平台中实现时特别有用。在这里,介绍了一个优化紧凑型LB-CNN的框架,并评估了其有效性。该框架免费提供,可以在免费访问的云平台上运行,因此不需要重大投资。优化后的模型以标准化的.h5格式保存,可用作专用工具的输入,以便进一步部署到特定技术中,从而实现各种智能图像传感器的快速开发。加速我们模型优化的主要因素,特别是二进制卷积核的选择,是Chainer/Cupy机器学习库,它为训练输出层作为极端学习机器提供了显著的加速。包括使用Keras/Tensorflow对输出层进行额外训练,因为它可以提高准确性。广泛使用的数据集,包括MNIST,GTSRB,ORL,VGG的结果显示精度和复杂性之间的很好的折衷。特别是,对于人脸识别问题,精心优化的LB-CNN模型提供了高达100%的准确率。这种TinyML解决方案非常适合需要低能耗图像识别的工业应用。
2021-06-25 cs.CV cs.LG eess.IV
A Framework for Semi-Automatic Precision and Accuracy Analysis for Fast and Rigorous Deep Learning
University of Alaska Anchorage(阿拉斯加安克雷奇大学);Université de Nantes(南特大学);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室)
深度神经网络(DNN)是一种性能要求极高的应用。浮点(FP)和自定义类浮点运算满足了这种需求。虽然需要速度,但DNN中的推理似乎不需要精度。许多论文通过实验观察到DNN可以在几乎低得可笑的精度下成功运行。本文的目的是双重的:首先,从理论上阐明为什么DNN的FP精度在低FP精度的情况下仍然很高。我们观察到,卷积步骤中相对准确性的损失被激活层恢复,这些激活层是非常良好的。我们给出了DNN中精度和准确性之间的联系的解释。其次,本文提出了一个用于深度学习推理阶段的半自动FP错误分析的软件框架。与常见的Tensorflow/Keras模型兼容,它利用简单的Python/C++库将神经网络转换为C++代码,以分析网络对精度的需求。这种严格的分析基于区间和仿射算法来计算DNN的绝对和相对误差范围。我们用几个例子来展示我们的工具。
2020-02-10 cs.LG
Deep Learning with Gaussian Differential Privacy
University of Pennsylvania(宾夕法尼亚大学)
深度学习模型通常在包含敏感信息的数据集上进行训练,例如个人的购物交易,个人联系人和医疗记录。因此,一个越来越重要的工作路线已经寻求训练受隐私约束的神经网络,这些隐私约束由差分隐私或其基于发散的松弛指定。然而,这些隐私定义在处理某些重要的原语(组合和子采样)时存在弱点,从而对训练神经网络进行松散或复杂的隐私分析。在本文中,我们考虑了最近提出的隐私定义\textit{$f$-differential privacy} [18],用于训练神经网络的精细隐私分析。利用$f$ -差分隐私在处理组合和子采样方面的吸引人的特性,本文推导了用于训练深度神经网络的随机梯度下降和Adam的隐私保证的分析易处理的表达式,而不需要像[3]那样开发复杂的技术。我们的研究结果表明,$f$ -差分隐私框架允许一种新的隐私分析,它改进了先前的分析~[3],这反过来又建议调整神经网络的某些参数,以获得更好的预测精度,而不违反隐私预算。这些理论推导的改进证实了我们的实验中的一系列任务,在图像分类,文本分类和推荐系统。用于计算这些实验的隐私成本的Python代码可以在\texttt{TensorFlow Privacy}库中公开获得。
2020-07-22 cs.CR cs.LG stat.ML
TinyDefectNet: Highly Compact Deep Neural Network Architecture for High-Throughput Manufacturing Visual Quality Inspection
University of Waterloo(滑铁卢大学);DarwinAI
制造过程中的一个关键方面是对制造的部件进行缺陷和瑕疵的目视质量检查。人工视觉检测可能非常耗时和费力,并且是一个重要的瓶颈,特别是对于高通量制造场景。鉴于深度学习领域的重大进展,自动视觉质量检测可以在制造过程中高效可靠地检测缺陷和瑕疵。然而,深度学习驱动的视觉检测方法通常需要大量的计算资源,从而限制了吞吐量,并成为实现智能工厂的广泛采用的瓶颈。在这项研究中,我们研究了利用机器驱动的设计探索方法来创建TinyDefectNet,这是一种高度紧凑的深度卷积网络架构,专为高吞吐量制造视觉质量检测而设计。TinyDefectNet仅包含约427K个参数,计算复杂性约为97M FLOP,但在NEU缺陷基准数据集上实现了最先进的表面缺陷检测任务检测精度。因此,TinyDefectNet可以在52倍的$\times$低架构复杂度和11倍的低计算复杂性下实现相同水平的检测性能。此外,TinyDefectNet部署在AMD EPYC 7R32上,使用原生Tensorflow环境实现了7.6倍的吞吐量,使用AMD ZenDNN加速器库实现了9倍的吞吐量。最后,解释性驱动的性能验证策略进行,以确保正确的决策行为是由TinyDefectNet展示,以提高其使用的操作员和检查员的信任。
2021-11-29 cs.AI cs.CV cs.LG
Neural Network Quantization with AI Model Efficiency Toolkit (AIMET)
Qualcomm AI Research(高通人工智能研究院)
虽然神经网络已经在许多机器学习应用中推进了前沿,但它们通常具有很高的计算成本。降低神经网络推理的功耗和延迟对于将现代网络集成到具有严格功耗和计算要求的边缘设备至关重要。神经网络量化是实现这些节省的最有效方法之一,但是它引起的额外噪声可能导致精度降低。在本白皮书中,我们概述了使用AI模型效率工具包(AIMET)的神经网络量化。AIMET是一个最先进的量化和压缩算法库,旨在减轻模型优化所需的工作,从而推动更广泛的AI生态系统实现低延迟和节能推理。AIMET为用户提供了模拟和优化PyTorch和TensorFlow模型的能力。具体地,对于量化,AIMET包括各种训练后量化(PTQ,参见第4章)和量化意识培训(QAT,参见第5章)保证8位定点推理接近浮点精度的技术。我们通过涵盖PTQ和QAT工作流程,代码示例和实用技巧,提供了通过AIMET进行量化的实用指南,使用户能够使用AIMET高效地对模型进行建模,并获得低位整数推理的好处。
2022-01-20 cs.AI cs.AR cs.LG
LTC-SE: Expanding the Potential of Liquid Time-Constant Neural Networks for Scalable AI and Embedded Systems
Karabuk University(卡拉布克大学);Gesellschaft für Wissenschaftliche Datenverarbeitung mbH Göttingen(哥廷根科学数据处理协会);Lebanese American University(黎巴嫩美国大学)
本文提出LTC-SE,对液态时间常数神经网络进行改进,统一LIF、CTRNN、NODE和定制GRU,提升灵活性、兼容性与代码组织性,以适配嵌入式系统并扩展其在机器人、因果分析和时间序列预测等任务中的应用。
2023-04-18 cs.AI cs.LG cs.NE
Convolutional Neural Networks for Speech Controlled Prosthetic Hands
语音识别是人工智能的关键主题之一,因为它是人类最常见的交流形式之一。在过去的几十年里,研究人员已经开发了许多语音控制假手,利用传统的语音识别系统,使用神经网络和隐马尔可夫模型的组合。通用图形处理单元(GPGPU)的最新进展使智能设备能够实时运行深度神经网络。因此,现有技术的语音识别系统已经从复合子系统优化的范例迅速转变为端到端优化的范例。然而,低功耗的嵌入式GPGPU不能实时运行这些语音识别系统。在本文中,我们展示了深度卷积神经网络(CNN)的开发,用于在NVIDIA Jetson TX2开发工具包上实时运行的假手语音控制。首先,该设备捕获语音并将其转换为2D特征(如频谱图)。CNN接收2D特征并对手势进行分类。最后,将手势类发送到假手运动控制系统。整个系统是用Python和Keras编写的,Keras是一个深度学习库,有一个TensorFlow后端。我们在CNN上的实验表明,从语音命令中输出手势(文本输出)的准确率为91%,运行时间为2ms,可用于实时控制假手。
2019-10-03 cs.HC cs.LG cs.RO