Dragonfly: a modular deep reinforcement learning library
MINES Paristech(巴黎矿业学院);PSL - Research University(巴黎文理研究大学)
本文介绍模块化深度强化学习库Dragonfly,通过JSON序列化支持模块替换与参数扫描,并面向CPU密集型数值模拟环境,在常用基准上表现出具有竞争力的性能。
2025-07-28 cs.LG
Pixyz: a Python library for developing deep generative models
The University of Tokyo(东京大学);Hiroshima University(广岛大学)
本文提出Python库Pixyz,通过三个API和记忆化技术简洁高效地实现深度生成模型,实验表明其训练速度优于现有概率编程语言。
2023-09-21 cs.LG
DLOPT: Deep Learning Optimization Library
Universidad de Málaga(马拉加大学)
深度学习超参数优化是一项艰巨的任务。找到合适的网络配置是成功的关键,但大多数时候这项工作都是粗略完成的。在这项工作中,我们引入了一个新的库来解决这个问题,深度学习优化库:DLOPT。我们简要描述了它的架构,并提出了一组使用示例。这是一个在GNU GPL v3许可下开发的开源项目,可在https://github.com/acamero/dlopt上免费获得
2018-07-10 cs.LG cs.NE stat.ML
Tianshou: a Highly Modularized Deep Reinforcement Learning Library
Tsinghua University(清华大学);Wandercraft;Ant Group(蚂蚁集团)
在本文中,我们介绍了Tianshou,这是一个高度模块化的Python库,用于深度强化学习(DRL),使用PyTorch作为后端。天寿打算通过提供灵活可靠的DRL算法基础设施来促进研究。它通过统一的界面支持20多种经典算法的在线和离线训练。为了方便相关研究和证明天寿的可靠性,我们发布了天寿的MuJoCo环境基准测试,涵盖了八种具有最先进性能的经典算法。我们在https://github.com/thu-ml/tianshou/上开源了天寿。
2022-08-10 cs.LG
DIG: A Turnkey Library for Diving into Graph Deep Learning Research
Texas A&M University(得克萨斯农工大学);Department of Computer Science and Engineering(计算机科学与工程系)
虽然存在几个用于图上的深度学习的库,但它们旨在实现图深度学习的基本操作。在研究社区中,使用现有库实现和基准测试各种高级任务仍然是痛苦和耗时的。为了促进图深度学习研究,我们引入了DIG:Dive into Graphs,这是一个交钥匙库,为更高级别的面向研究的图深度学习任务提供了统一的测试平台。目前,我们考虑图生成,图上的自监督学习,图神经网络的可解释性,以及3D图上的深度学习。对于每个方向,我们提供统一的数据接口,通用算法和评估指标的实现。总而言之,DIG是一个可扩展的,开源的和交钥匙的库,供研究人员开发新方法,并使用广泛使用的数据集和评估指标轻松地与常见基线进行比较。源代码可在https://github.com/divelab/DIG上获得。
2021-10-09 cs.LG
DeepThin: A Self-Compressing Library for Deep Neural Networks
Intel(英特尔);UC Davis(加州大学戴维斯分校)
随着业界将越来越大和复杂的神经网络部署到移动设备,这些设备的存储器和计算资源面临更大的压力。深度压缩,或深度神经网络权重矩阵的压缩,是一种为此类场景拉伸资源的技术。现有的压缩方法不能有效地压缩小于其原始大小的1-2%的模型。我们开发了一种新的压缩技术DeepThin,建立在低秩因子分解领域的现有研究基础上。我们确定和打破人为的限制强加的低秩近似相结合的秩分解与整形过程中,增加了非线性的近似函数。我们将DeepThin部署为与TensorFlow集成的插件库,使用户能够以不同的粒度无缝压缩模型。我们在两个最先进的声学模型TFKaldi和DeepSpeech上评估了DeepThin,并将其与以前的压缩工作(修剪,HashNet和Rank Factorization),经验极限研究方法和手动调整模型进行了比较。对于TFKaldi,我们的DeepThin网络在几乎所有测试的压缩率下都显示出比竞争方法更好的单词出错率(WER),比秩因子分解平均相对改进60%,比修剪平均相对改进57%,比手动调整的相同大小的网络平均相对改进23%,比计算昂贵的HashedNets平均相对改进6%。对于DeepSpeech,DeepThin压缩网络的测试损失比所有其他压缩方法都要好,比秩分解好28%,比修剪好27%,比手动调整的相同大小的网络好20%,比哈希网络好12%。DeepThin还提供推理性能优势,范围…
2018-02-20 cs.LG stat.ML
Fortuna: A Library for Uncertainty Quantification in Deep Learning
AWS(亚马逊云科技);Amazon(亚马逊公司);New York University(纽约大学)
我们介绍了一个开源库,用于深度学习中的不确定性量化。Corona支持一系列校准技术,例如可应用于任何经过训练的神经网络以生成可靠的不确定性估计的共形预测,以及可应用于从头开始训练的基于Flax的深度神经网络以提高不确定性量化和准确性的可扩展贝叶斯推理方法。通过为先进的不确定性量化方法提供一个连贯的框架,Rifa简化了基准测试的过程,并帮助从业者构建强大的人工智能系统。
2023-02-08 cs.LG stat.ML
Avalanche: A PyTorch Library for Deep Continual Learning
University of Pisa(比萨大学);University of Bologna(博洛尼亚大学);Scuola Normale Superiore(比萨高等师范学校);University of St. Gallen(圣加仑大学)
持续学习是从非平稳数据流中学习的问题,这是随着时间的推移深度神经网络可持续和有效训练的基本问题。不幸的是,深度学习库只提供用于离线训练的原语,假设模型的架构和数据是固定的。Avalanche是一个由ContinualAI非营利组织维护的开源库,它通过为动态架构、数据流以及增量训练和评估方法提供一流的支持来扩展PyTorch。Avalanche提供了大量预定义的基准测试和训练算法,易于扩展和模块化,同时支持广泛的持续学习场景。文档可在\url{https://avalanche.continualai.org}上获得。
2023-02-02 cs.LG
d3rlpy: An Offline Deep Reinforcement Learning Library
Keio University(庆应义塾大学);Sony AI(索尼AI)
在本文中,我们介绍了d3rlpy,一个开源的离线深度强化学习(RL)库。d3rlpy支持一组离线深度RL算法,以及通过完整文档的即插即用API的离线策略在线算法。为了解决可重复性问题,我们使用D4RL和Atari 2600数据集进行了大规模基准测试,以确保实现质量,并提供实验脚本和完整的结果表。d3rlpy源代码可以在GitHub上找到:\url{https://github.com/takuseno/d3rlpy}。
2022-12-03 cs.AI cs.LG
PyTorchVideo: A Deep Learning Library for Video Understanding
Facebook AI
我们介绍PyTorchVideo,这是一个开源深度学习库,为各种视频理解任务提供了丰富的模块化,高效和可重复的组件,包括分类,检测,自监督学习和低级处理。该库涵盖了一整套视频理解工具,包括多模式数据加载、转换和模型,可再现最先进的性能。PyTorchVideo还支持硬件加速,可以在移动设备上实现实时推理。该库基于PyTorch,可用于任何训练框架;例如PyTorchLightning,PySlowFast或Classy Vision。PyTorchVideo可在https://pytorchvideo.org/上获得
2021-11-18 cs.CV cs.LG
Deep Fast Machine Learning Utils: A Python Library for Streamlined Machine Learning Prototyping
University of Jyväskylä(于韦斯屈莱大学);Finnish Artificial Intelligence Research Network(芬兰人工智能研究网络)
针对机器学习研究应用中原型构建、特征选择等步骤耗时的问题,推出兼容主流框架的DFMLU Python库,提供模型搜索、特征选择等工具,附示例以简化ML原型开发。
2024-09-14 cs.LG
Anomalib: A Deep Learning Library for Anomaly Detection
Intel(英特尔)
本文介绍了anomalib,一个新的库,用于无监督的异常检测和定位。考虑到可重复性和模块化,这个开源库提供了文献中的算法和一套工具,通过即插即用的方法设计自定义异常检测算法。Anomalib包括最先进的异常检测算法,在基准测试中达到最高性能,并且可以现成使用。此外,该库还提供了用于设计定制算法的组件,这些算法可以针对特定需求进行定制。其他工具,包括实验跟踪器,可视化器和超参数优化器,使设计和实现异常检测模型变得简单。该库还支持OpenVINO模型优化和量化,以实现实时部署。总的来说,anomalib是一个广泛的库,用于设计、实现和部署从数据到边缘的无监督异常检测模型。
2022-02-16 cs.CV cs.LG
RL-X: A Deep Reinforcement Learning Library (not only) for RoboCup
Hochschule Offenburg(奥芬堡应用技术大学)
本文提出了深度强化学习库RL-X,其提供灵活易扩展的代码库与独立单目录算法,基于JAX实现,在RoboCup 3D联赛及经典基准中相比Stable-Baselines3最高达4.5倍加速。
2023-10-20 cs.LG cs.RO
Deep Graph Library Optimizations for Intel(R) x86 Architecture
Intel Corporation(英特尔公司)
深度图库(DGL)被设计为一种工具,通过支持图形的核心抽象,包括流行的图神经网络(GNN),实现从图中进行结构学习。DGL包含CPU和GPU的所有核心图形操作的实现。在本文中,我们特别关注CPU实现,并使用最新版本的DGL(0.4.3)在一组GNN应用程序中进行性能分析,优化和结果。在7个应用程序中,我们实现了比基准CPU实现快11.5倍-13倍的速度。
2020-07-13 cs.DC cs.LG
McTorch, a manifold optimization library for deep learning
Microsoft(微软);The University of Electro-Communications(电气通信大学)
在本文中,我们介绍了McTorch,这是一个用于深度学习的流形优化库,它扩展了PyTorch。它旨在为希望在深度学习应用程序中使用多种约束的用户降低障碍,即,当参数被约束为位于流形上时。这些约束包括流行的正交性和秩约束,并且最近已在深度学习的许多应用中使用。McTorch遵循PyTorch的架构,并简化了流形定义和优化器,即,一旦添加了新的歧管,它就可以与任何现有的优化器一起使用,反之亦然。McTorch可在https://github.com/mctorch上获得。
2018-10-04 cs.AI cs.LG stat.ML
GPflux: A Library for Deep Gaussian Processes
University of Cambridge(剑桥大学);Secondmind;Imperial College London(伦敦帝国理工学院);University College London(伦敦大学学院)
我们介绍GPflux,这是一个用于贝叶斯深度学习的Python库,重点关注深度高斯过程(DGP)。实现DGP是一项具有挑战性的工作,因为在处理多元高斯分布和复杂的指数簿记时会出现各种数学上的微妙之处。到目前为止,还没有积极维护,开源和可扩展的图书馆,以支持这一领域的研究活动。GPflux旨在通过提供一个具有最先进的DGP算法的库来填补这一空白,以及用于实现新颖的贝叶斯和基于GP的分层模型和推理方案的构建块。GPflux与Keras深度学习生态系统兼容并构建在Keras深度学习生态系统之上。这使从业者能够利用深度学习社区的工具来构建和训练定制的贝叶斯模型,并在一个连贯的框架中创建由贝叶斯和标准神经网络层组成的分层模型。GPflux的大部分GP对象和操作都依赖于GPflow,这使得它成为一个高效、模块化和可扩展的库,同时具有精简的代码库。
2021-04-12 cs.LG stat.ML
DLL: A Blazing Fast Deep Neural Network Library
HES-SO, University of Applied Science of Western Switzerland University of Fribourg, Switzerland(瑞士西部应用科学与艺术大学(HES-SO)、弗里堡大学)
深度学习库(DLL)是一个用于机器学习的新库,它具有深度神经网络,专注于速度。它支持前馈神经网络,如全连接人工神经网络(ANN)和卷积神经网络(CNN)。它还非常全面地支持受限玻尔兹曼机(RBM)和卷积RBM。我们这项工作的主要动机是提出和评估新的软件工程策略,有可能加快训练和推理的运行时间。这些策略大多独立于底层的深度学习算法。在三个不同的数据集和四个不同的神经网络模型上,我们将DLL与五个流行的深度学习框架进行了比较。实验表明,该框架在CPU和GPU上的速度明显提高。在分类性能方面,报告了与其他框架类似的准确性。
2018-04-11 cs.CV cs.LG stat.ML
TensorLayer: A Versatile Library for Efficient Deep Learning Development
Imperial College London(帝国理工学院)
深度学习在计算机视觉、自然语言处理和多媒体等领域取得了重大进展。开发深度学习系统是艰巨而复杂的,因为它涉及到构建神经网络架构,管理训练/训练模型,调整优化过程,预处理和组织数据等。TensorLayer是一个多功能的Python库,旨在帮助研究人员和工程师高效地开发深度学习系统。它为神经网络、模型和数据管理以及并行工作流机制提供了丰富的抽象。在提高效率的同时,TensorLayer还保持了性能和可扩展性。TensorLayer于2016年9月在GitHub上发布,帮助学术界和工业界人士开发深度学习的实际应用。
2017-08-03 cs.DC cs.LG stat.ML
DomiKnowS: A Library for Integration of Symbolic Domain Knowledge in Deep Learning
Michigan State University(密歇根州立大学);Sichuan University(四川大学);Florida Institute for Human and Machine Cognition(佛罗里达人类与机器认知研究所)
我们展示了一个用于在深度学习架构中集成领域知识的库。使用这个库,数据的结构通过图形声明以符号形式表示,并且可以将输出或潜在变量的逻辑约束无缝添加到深度模型中。领域知识可以明确定义,这提高了模型的可解释性,以及在低数据状态下的性能和泛化能力。已经引入了几种用于符号和子符号模型的这种集成的方法;然而,没有库来促进以通用方式进行这种集成的编程,同时可以使用各种底层算法。我们的图书馆旨在简化编程,这样的集成在训练和推理阶段,同时分离的知识表示从学习算法。我们展示了各种NLP基准任务及其他。该框架可在Github(https://github.com/HLR/DomiKnowS)上公开获取。
2021-08-27 cs.AI cs.CL cs.LG
DeepProtein: Deep Learning Library and Benchmark for Protein Sequence Learning
Department of Computer Science ETH Zurich(计算机科学系 雪绒花大学);National Key Laboratory for Novel Software Technology, School of Computer Science Nanjing University(新型软件技术国家重点实验室 计算机科学学院 南京大学)
本研究推出面向蛋白质相关任务的深度学习库DeepProtein与配套基准,提出基于Prot-T5微调的DeepProt-T5系列模型,在多项蛋白质任务上取得优异性能,库易用且支持可复现。
2025-04-06 cs.AI cs.LG q-bio.QM
PyTorch Tabular: A Framework for Deep Learning with Tabular Data
尽管深度学习在文本和图像等模式中表现出不合理的有效性,但在表格数据中,无论是在流行度还是性能方面,它都一直落后于梯度提升。但最近有专门为表格数据创建的更新模型,这正在推动性能栏。但普及仍然是一个挑战,因为没有像Sci-Kit Learn这样简单易用的深度学习库。PyTorch Tabular是一个新的深度学习库,它使使用深度学习和表格数据变得简单快捷。它是一个构建在PyTorch和PyTorch Lightning之上的库,直接在Pandas框架上工作。许多SOTA模型(如NODE和TabNet)已经在库中集成并实现了统一的API。PyTorch Tabular旨在为研究人员提供轻松的可扩展性,为从业人员提供简单的操作,并在工业部署中保持稳健。
2021-04-28 cs.LG
ZhuSuan: A Library for Bayesian Deep Learning
Tsinghua University(清华大学);University of Toronto(多伦多大学)
在本文中,我们介绍了用于贝叶斯深度学习的Python概率编程库ZhuSuan,它结合了贝叶斯方法和深度学习的互补优势。ZhuSuan基于Tensorflow构建。与现有的深度学习库主要针对确定性神经网络和监督任务而设计不同,ZhuSuan的特点是它深深植根于贝叶斯推断,从而支持各种概率模型,包括传统的分层贝叶斯模型和最近的深度生成模型。我们使用运行的例子来说明竹算上的概率规划,包括贝叶斯逻辑斯谛回归,变分自动编码器,深度sigmoid信念网络和贝叶斯递归神经网络。
2017-09-18 cs.AI cs.LG cs.NE
BayesDLL: Bayesian Deep Learning Library
Samsung AI Center Cambridge(三星剑桥人工智能中心);University of Edinburgh(爱丁堡大学)
BayesDLL 是一个面向 PyTorch 的大规模贝叶斯神经网络库,支持 ViTs 等大型模型,无需修改骨干网络代码,并支持预训练权重作为先验均值,便于对基础模型进行贝叶斯推断。
2023-09-22 cs.LG stat.ML
ChainerRL: A Deep Reinforcement Learning Library
Preferred Networks;The University of Tokyo(东京大学)
在本文中,我们介绍了ChainerRL,这是一个使用Python和Chainer深度学习框架构建的开源深度强化学习(DRL)库。ChainerRL实现了一套全面的DRL算法和技术,这些算法和技术来自该领域最先进的研究。为了促进可重复的研究,并出于教学目的,ChainerRL提供了与原始论文的实验设置密切相关的脚本,并为几种算法复制了已发布的基准测试结果。最后,ChainerRL提供了一个可视化工具,可以对经过训练的代理进行定性检查。ChainerRL源代码可以在GitHub上找到:https://github.com/chainer/chainerrl。
2021-04-12 cs.AI cs.LG stat.ML
MCTensor: A High-Precision Deep Learning Library with Multi-Component Floating-Point
Cornell University(康奈尔大学)
在本文中,我们介绍了MCTensor,一个基于PyTorch的库,为DL训练提供通用和高精度的算法。MCTensor的使用方式与PyTorch Tensor相同:我们使用相同的PyTorch接口为MCTensor实现多个基本的矩阵级计算运算符和NN模块。我们的算法实现了高精度计算,并且还受益于经过高度优化的PyTorch浮点算法。我们针对一系列任务评估了MCTensor算法与PyTorch本地算法的对比,其中使用float16的MCTensor模型将匹配或优于具有float32或float64精度的PyTorch模型。
2022-08-29 cs.LG cs.MS
Continual Inference: A Library for Efficient Online Inference with Deep Neural Networks in PyTorch
Aarhus University(奥胡斯大学)
本文介绍了Continual Inference,一个在PyTorch中实现CINs的Python库,专为在线和批处理场景的高效推理设计,并提供了全面的实践指南、最佳实践和代码示例。
2022-04-07 cs.AI cs.LG
DLGA-PDE: Discovery of PDEs with incomplete candidate library via combination of deep learning and genetic algorithm
College of Engineering, Peking University(北京大学工学院);School of Environmental Science and Engineering, Southern University of Science and Technology(南方科技大学环境科学与工程学院);Peng Cheng Laboratory(鹏城实验室)
数据驱动的方法是近年来发展起来的发现物理问题的偏微分方程(PDE)。然而,对于这些方法,通常需要PDE中的潜在术语的完整候选库。为了克服这一局限性,我们提出了一种结合深度学习和遗传算法的新框架,称为DLGA-PDE,用于发现PDE。在所提出的框架中,利用物理问题的可用数据训练的深度神经网络来生成元数据并计算导数,然后采用遗传算法来发现潜在的PDE。由于遗传算法具有变异和交叉等优点,DLGA-PDE可以处理不完整的候选库。所提出的DLGA-PDE的Korteweg-de Vries(KdV)方程,Burgers方程,波动方程,和Chaffee-Infante方程,分别进行测试的发现,概念验证。即使在存在噪声和有限数据的情况下,也可以在不需要完整候选库的情况下获得令人满意的结果。
2020-01-21 cs.LG cs.NE
HypLL: The Hyperbolic Learning Library
University of Amsterdam(阿姆斯特丹大学);Lightly(Lightly公司)
针对当前缺乏易用的双曲深度学习开源库的问题,本文推出基于PyTorch构建、注重易用性的HypLL双曲学习库,整合领域研究进展,助力该开放研究方向的推广。
2023-12-19 cs.AI cs.LG
FastEstimator: A Deep Learning Library for Fast Prototyping and Productization
GE Healthcare(通用电气医疗集团);GE Research(通用电气研究院)
随着最先进的深度学习模型的复杂性逐月增加,实现、解释和可追溯性成为世界各地人工智能从业者面临的越来越繁重的挑战。为了阻止这一趋势,已经出现了几个人工智能框架,但是该领域的稳步发展已经开始测试它们的灵活性,表现力和易用性的界限。为了解决这些问题,我们为研究和行业引入了一个非常灵活的高级开源深度学习框架。我们介绍FastEstimate。
2019-11-18 cs.CV cs.LG
Tonic: A Deep Reinforcement Learning Library for Fast Prototyping and Benchmarking
Imperial College London(伦敦帝国理工学院)
深度强化学习在过去几年中一直是机器学习发展最快的领域之一,许多库已经开源以支持研究。然而,大多数代码库具有陡峭的学习曲线或有限的灵活性,无法满足基础研究中快速原型的需求。本文介绍了Tonic,这是一个Python库,允许研究人员快速实现新想法并通过提供以下功能来衡量其重要性:1)通用可配置模块2)几个基线代理:使用这些模块构建的A2C、TRPO、PPO、MPO、DDPG、D4PG、TD3和SAC 3)支持TensorFlow 2和PyTorch 4)支持OpenAI Gym的连续控制环境,DeepMind Control Suite和PyBullet 5)脚本以可重复的方式进行实验,绘制结果,并与经过训练的代理一起玩6)提供的代理在70个连续控制任务上的基准。评估是在公平的条件下进行的,具有相同的种子,训练和测试循环,同时共享一般的改进,如非终端超时和观察归一化。最后,为了演示Tonic如何简化实验,实现并评估了一种名为TD4的新型代理。
2021-05-19 cs.LG
ChemicalX: A Deep Learning Library for Drug Pair Scoring
AstraZeneca(阿斯利康);Harvard Medical School(哈佛医学院);Vanderbilt University(范德堡大学)
在本文中,我们介绍了ChemicalX,这是一个基于PyTorch的深度学习库,旨在提供一系列最先进的模型来解决药物对评分任务。该库的主要目标是使机器学习研究人员和从业者能够在简化的框架中访问深度药物对评分模型。ChemicalX的设计重用了PyTorch生态系统中现有的高级模型训练实用程序,几何深度学习和深度化学层。我们的系统为最终用户提供了神经网络层、自定义配对评分架构、数据加载器和批处理迭代器。我们通过示例代码片段和案例研究来展示这些功能,以突出ChemicalX的特性。一系列关于真实世界药物相互作用、多种药物副作用和组合协同作用预测任务的实验表明,ChemicalX中可用的模型在解决配对评分任务方面是有效的。最后,我们证明了ChemicalX可用于在大型药物对数据集上对训练和评分机器学习模型,这些数据集在商品硬件上具有数十万种化合物。
2022-05-26 cs.AI cs.LG
MIOpen: An Open Source Library For Deep Learning Primitives
AMD Inc.(超威半导体公司(AMD))
深度学习已经成为商业词汇中的一个常见词。近年来,深度学习取得了前所未有的成功,这可以归因于:丰富的数据、GPU提供的庞大计算能力的可用性,以及研究人员和行业对开源理念的采用。深度神经网络可以分解为一系列不同的运算符。MIOpen是AMD面向GPU的开源深度学习原语库,提供了此类运算符的高度优化实现,使研究人员免受内部实现细节的影响,从而加快了发现时间。本文介绍了MIOpen,并提供了有关该库的内部工作原理和支持的功能的详细信息。MIOpen在多个方面进行创新,例如实施融合以优化内存带宽和GPU启动开销,提供自动调整基础设施以克服问题配置的大设计空间,以及实施不同算法以优化不同滤波器和输入大小的卷积。MIOpen是第一个公开支持bfloat16数据类型的卷积库之一,允许在较低精度下进行有效训练,而不会损失准确性。
2019-09-30 cs.LG stat.ML
torchmil: A PyTorch-based library for deep Multiple Instance Learning
a Department of Computer Science and Artificial Intelligence, University of Granada, Spain(计算机科学与人工智能系,格拉纳达大学);b Research Centre for Information and Communications Technologies, University of Granada, Spain(信息与通信技术研究中心,格拉纳达大学);c Department of Statistics and Operations Research, University of Granada, Spain(统计与运筹学系,格拉纳达大学);d Institute of Mathematics (IMAG), University of Granada, Spain(数学研究所(IMAG),格拉纳达大学)
torchmil是一个基于PyTorch的开源库,提供统一模块化框架、标准化数据格式和基准数据集,以加速深度多示例学习研究并降低使用门槛。
2025-09-09 cs.LG
cuDNN: Efficient Primitives for Deep Learning
NVIDIA(英伟达);Baidu Research(百度研究院);UC Berkeley(加州大学伯克利分校)
我们提出了一个深度学习原语的高效实现库。深度学习工作负载是计算密集型的,优化其内核是困难和耗时的。随着并行架构的发展,内核必须重新优化,这使得随着时间的推移维护代码库变得困难。在HPC社区中,类似的问题已经通过诸如基本线性代数子例程(BLAS)之类的库得到了解决。然而,没有类似的深度学习库。如果没有这样的库,在并行处理器上实现深度学习工作负载的研究人员必须创建和优化他们自己的主要计算内核的实现,并且随着新的并行处理器的出现,必须重复这项工作。为了解决这个问题,我们创建了一个类似于BLAS的库,并为深度学习工作负载优化了例程。我们的实现包含GPU的例程,尽管与BLAS库类似,这些例程可以在其他平台上实现。该库易于集成到现有框架中,并提供优化的性能和内存使用。例如,将cuDNN集成到卷积网络的流行框架Caffe中,在标准模型上将性能提高了36%,同时还减少了内存消耗。
2014-12-18 cs.LG cs.MS cs.NE
Deep Graph Library: A Graph-Centric, Highly-Performant Package for Graph Neural Networks
AWS Shanghai AI Lab(AWS上海人工智能实验室);New York University(纽约大学);Amazon Web Services(亚马逊云科技);NYU Shanghai(上海纽约大学)
推进新兴的深度图学习领域的研究需要新的工具来支持图上的张量计算。在本文中,我们介绍了深度图库(DGL)的设计原理和实现。DGL将GNN的计算模式提炼为几个适用于广泛并行化的广义稀疏张量运算。通过提倡图作为中央编程抽象,DGL可以透明地执行优化。通过谨慎地采用与框架无关的设计,DGL允许用户轻松地跨多个深度学习框架移植和利用现有组件。我们的评估表明,在各种基准测试中,DGL在速度和内存消耗方面明显优于其他流行的面向GNN的框架,并且对于小规模工作负载的开销很小。
2020-08-25 cs.LG stat.ML
TorchDEQ: A Library for Deep Equilibrium Models
CMU(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
本文提出基于PyTorch的TorchDEQ库,统一深度均衡模型的定义、训练与推理,并构建DEQ Zoo,在十个数据集上显著提升六个隐式模型的性能、训练稳定性与效率。
2023-10-28 cs.LG
Cooper: A Library for Constrained Optimization in Deep Learning
Mila(米拉研究所);Université de Montréal(蒙特利尔大学)
Cooper 是一个开源库,通过实现多种基于拉格朗日的一阶更新方案,将约束优化算法与 PyTorch 的自动微分及深度学习架构无缝结合,适用于深度学习及一般非凸连续约束优化问题。
2025-04-01 cs.LG cs.MS
M3d-CAM: A PyTorch library to generate 3D data attention maps for medical deep learning
Technical university of Darmstadt(达姆施塔特工业大学);Universitätsklinikum Frankfurt(法兰克福大学医院)
M3 d-CAM是一个易于使用的库,用于生成基于CNN的PyTorch模型的注意力地图,提高了人类模型预测的可解释性。注意力地图可以使用多种方法生成,如Guided Backpropagation,Grad-CAM,Guided Grad-CAM和Grad-CAM++。这些注意力图可视化了输入数据中在某个层对模型预测影响最大的区域。此外,M3 d-CAM支持2D和3D数据用于分类和分割任务。一个关键的特性是在大多数情况下,只需要一行代码就可以为模型生成注意力地图,使M3 d-CAM基本上即插即用。
2020-07-01 cs.CV cs.LG
XuanCe: A Comprehensive and Unified Deep Reinforcement Learning Library
Anhui University(安徽大学);Peng Cheng Laboratory(鹏城实验室);Southeast University(东南大学);Tongji University(同济大学);Tianjin University(天津大学)
XuanCe是一个兼容PyTorch、TensorFlow和MindSpore的全面统一深度强化学习库,提供超40种算法,支持多硬件与操作系统,在MuJoCo、Atari等基准上表现优异。
2023-12-25 cs.AI cs.DL cs.LG
Memory-Efficient Policy Libraries with Low-Rank Adaptation in Reinforcement Learning
研究将参数高效微调方法(如LoRA)迁移至机器人强化学习,通过PPO算法微调基线模型构建多任务策略库,实现内存占用降低20-160倍,存储节省90-95%,且成功率无显著差异。
2026-06-25 cs.LG cs.RO
Deep Fast Vision: A Python Library for Accelerated Deep Transfer Learning Vision Prototyping
University of Jyväskylä(于韦斯屈莱大学);Finnish Artificial Intelligence Research Network(芬兰人工智能研究网络)
本文提出Python库Deep Fast Vision,通过嵌套字典定义简化深度学习视觉流程,降低使用门槛,促进迁移学习在图像分类等任务中的普及。
2023-11-10 cs.CV cs.LG eess.IV
Enabling Embedded Inference Engine with ARM Compute Library: A Case Study
当您需要在低成本嵌入式SoC上启用深度学习时,是移植现有的深度学习框架更好,还是应该从头开始构建一个?在本文中,我们分享了我们的实际经验,建立一个嵌入式推理机使用ARM计算库(ACL)。结果表明,与传统的智慧,简单的模型,它需要更少的开发时间从头开始构建一个推理引擎相比,移植现有的框架。此外,通过利用ACL,我们成功构建了一个推理引擎,其性能比TensorFlow高出25%。我们的结论是,在嵌入式设备上,我们很可能会使用非常简单的深度学习模型进行推理,并且使用开发良好的构建块(如ACL),从头开始构建引擎可能在性能和开发时间方面都更好。
2017-04-14 cs.LG
Kaolin: A PyTorch Library for Accelerating 3D Deep Learning Research
NVIDIA(英伟达);Mila(米拉研究所);McGill University(麦吉尔大学);Vector Institute(向量研究所);University of Toronto(多伦多大学);Université de Montréal(蒙特利尔大学)
我们介绍了Kaolin,一个旨在加速3D深度学习研究的PyTorch库。Kaolin提供了用于深度学习系统的可微分3D模块的有效实现。通过加载和预处理几个流行的3D数据集的功能,以及操纵网格、点云、带符号距离函数和体素网格的本地函数,Kaolin减少了编写浪费的样板代码的需要。Kaolin将几个不同的图形模块打包在一起,包括渲染、照明、着色和视图扭曲。高岭土还支持一系列损失函数和评估指标,用于无缝评估,并提供可视化功能以呈现3D结果。重要的是,我们策划了一个全面的模型动物园,包括许多最先进的3D深度学习架构,作为未来研究工作的起点。Kaolin作为开源软件可在https://github.com/NVIDIAGameWorks/kaolin/上获得。
2019-11-13 cs.CV cs.LG cs.RO
CORL: Research-oriented Deep Offline Reinforcement Learning Library
Tinkoff
CORL 是一个面向研究的深度离线强化学习开源库,通过单文件实现、实验跟踪和 D4RL 基准测试,为离线及离线到在线算法提供可靠、透明且易于分析的实现与评估工具。
2023-10-26 cs.AI cs.LG
SPFlow: An Easy and Extensible Library for Deep Probabilistic Learning using Sum-Product Networks
TU Darmstadt(达姆施塔特工业大学);Max-Planck-Institute(马克斯-普朗克研究所);University of Cambridge(剑桥大学);University of Waterloo(滑铁卢大学);University of Bari “Aldo Moro”(巴里大学“阿尔多·莫罗”)
我们介绍SPFlow,这是一个开源Python库,为称为和积网络(SPN)的深度和易处理的概率模型提供了一个简单的推理,学习和操作例程接口。该库允许人们从数据和通过域特定语言(DSL)快速创建SPN。它有效地实现了几个概率推理例程,如计算边际,条件和(近似)最可能的解释(MPE)以及采样以及用于序列化,绘制和结构统计的工具。此外,在文献中提出的许多学习SPN的结构和参数的算法在SPFlow中很容易获得。此外,SPFlow具有极强的可扩展性和可定制性,允许用户通过将自定义代码注入到轻量级的面向函数的API框架中来快速提取新的推理和学习例程。这在SPFlow中是通过保持图结构的内部Python表示来实现的,该表示还可以将SPN实际编译为TensorFlow图、C、CUDA或FPGA自定义代码,从而显著加快计算速度。
2019-01-11 cs.LG stat.ML
Torchbearer: A Model Fitting Library for PyTorch
University of Southampton(南安普顿大学)
我们介绍torchbearer,一个pytorch的模型拟合库,面向从事深度学习或可微编程的研究人员。torchbearer库提供了一个高级度量和回调API,可用于广泛的应用程序。我们还包括一系列内置的回调,可用于:模型持久化,学习率衰减,日志记录,数据可视化等。丰富的文档包括深度学习和动态规划问题的示例库,可以在http://torchbearer.readthedocs.io上找到。该代码根据MIT许可证进行许可,可在https://github.com/ecs-vlc/torchbearer上获得。
2018-09-10 cs.AI cs.CV cs.LG
Deeptime: a Python library for machine learning dynamical models from time series data
Freie Universität Berlin(柏林自由大学);University of Washington(华盛顿大学);Princeton University(普林斯顿大学);University of Surrey(萨里大学);Tongji University(同济大学)
时间序列数据的生成和分析与从经济学到流体力学的许多定量领域有关。在物理科学中,诸如亚稳态和相干集、缓慢弛豫过程、集体变量主导的过渡路径或概率流的流形和通道等结构对于理解和表征系统的动力学、热力学和机械性质非常重要。Deeptime是一个通用Python库,提供各种工具来估计基于时间序列数据的动态模型,包括传统的线性学习方法,如马尔可夫状态模型(MSM),隐马尔可夫模型和Koopman模型,以及内核和深度学习方法,如VAMPnets和深度MSM。该库在很大程度上与scikit-learn兼容,为这些不同的模型提供了一系列估计类,但与scikit-learn相反,它还提供了深度模型类,例如在MSM的情况下,它提供了多种分析方法来计算有趣的热力学,动力学和动力学量,例如自由能,弛豫时间和过渡路径。该库设计为易于使用,但也易于维护和可扩展的代码。本文介绍了deeptime软件的主要特点和结构。
2021-12-11 cs.LG math-ph math.DS
FusionBench: A Unified Library and Comprehensive Benchmark for Deep Model Fusion
School of Computer Science, National Engineering Research Center for Multimedia Software and Hubei Key Laboratory of Multimedia and Network Communication Engineering, Wuhan University, Wuhan, China(计算机学院、多媒体软件国家工程研究中心、多媒体与网络通信工程湖北省重点实验室、武汉大学);Shenzhen Campus of Sun Yat-sen University, China(中山大学深圳校区);Beijing Institute of Technology, Beijing, China(北京理工大学);Nanyang Technological University, Singapore(南洋理工大学)
FusionBench 是首个用于深度模型融合的统一库和基准,提供多种任务和设置以评估融合方法的有效性和鲁棒性。
2025-12-04 cs.AI cs.CL cs.LG
DeepXDE: A deep learning library for solving differential equations
Brown University(布朗大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
深度学习在不同的应用中取得了显著的成功;然而,它在求解偏微分方程(PDE)中的应用只是最近才出现的。在这里,我们提出了一个物理信息神经网络(PINN)的概述,它使用自动微分将PDE嵌入神经网络的损失。PINN算法简单,可以应用于不同类型的偏微分方程,包括积分微分方程,分数阶偏微分方程和随机偏微分方程。此外,从实现的角度来看,PINN解决逆问题一样容易向前的问题。我们提出了一种新的基于残差的自适应细化(RAR)方法来提高PINN的训练效率。出于教学的原因,我们比较PINN算法的标准有限元法。我们还为PINN提供了一个Python库DeepXDE,它既可以作为课堂上使用的教育工具,也可以作为解决计算科学和工程问题的研究工具。具体来说,DeepXDE可以解决给定初始和边界条件的正问题,以及给定一些额外测量的逆问题。DeepXDE支持基于构造性立体几何技术的复杂几何域,并使用户代码紧凑,与数学公式非常相似。我们介绍了DeepXDE的使用方法及其可定制性,并通过五个不同的示例展示了PINN的功能和DeepXDE的用户友好性。更广泛地说,DeepXDE有助于新兴科学机器学习领域的更快速发展。
2020-02-14 cs.LG physics.comp-ph stat.ML
SenseFi: A Library and Benchmark on Deep-Learning-Empowered WiFi Human Sensing
Nanyang Technological University(南洋理工大学);University of Edinburgh(爱丁堡大学);Institute for Infocomm Research(信息通信研究院);Agency for Science, Technology and Research(新加坡科技研究局)
WiFi传感近年来发展迅速。在传播模型和深度学习方法的支持下,实现了许多具有挑战性的应用,例如基于WiFi的人类活动识别和手势识别。然而,与视觉识别和自然语言处理的深度学习相比,还没有足够全面的公共基准。在本文中,我们回顾了深度学习使WiFi传感的最新进展,然后提出了一个基准,SenseFi,研究各种深度学习模型的WiFi传感的有效性。这些先进的模型进行了比较,在不同的传感任务,WiFi平台,识别精度,模型大小,计算复杂性,功能的可移植性和适应性的无监督学习。也被视为基于深度学习的WiFi感知的教程,从CSI硬件平台开始到感知算法。广泛的实验为我们提供了深度模型设计,学习策略技能和现实世界应用培训技术的经验。据我们所知,这是第一个在WiFi传感研究中使用开源库进行深度学习的基准测试。基准代码可在https://github.com/xyanchen/WiFi-CSI-Sensing-Benchmark上获得。
2023-02-17 cs.AI cs.LG eess.SP
DeepChem Equivariant: SE(3)-Equivariant Support in an Open-Source Molecular Machine Learning Library
Deep Forest Sciences(深林科学)
本文扩展开源库 DEEPCHEM,提供开箱即用的 SE(3)-等变模型、完整训练流程与工具,降低分子机器学习应用门槛。
2025-10-19 cs.LG
QuadraLib: A Performant Quadratic Neural Network Library for Architecture Optimization and Design Exploration
George Mason University(乔治梅森大学);University at Buffalo(布法罗大学)
深度神经网络(DNN)的巨大成功是由多个复杂的DNN库高度促进的。相反,尽管一些工作已经证明二次深度神经元网络(QDNN)比一阶DNN显示出更好的非线性和学习能力,但它们的神经元设计从理论性能到实际部署都存在一定的缺陷。在本文中,我们首先提出了一种新的QDNN神经元架构设计,并进一步开发了QDNN库QuadraLib,为QDNN提供架构优化和设计探索。大量的实验表明,我们的设计具有良好的性能,在多个学习任务的预测精度和计算消耗。
2022-04-01 cs.CV cs.LG
FinRL: A Deep Reinforcement Learning Library for Automated Stock Trading in Quantitative Finance
Columbia University(哥伦比亚大学);AI4Finance LLC.(AI4Finance有限责任公司);Ion Media Networks(Ion媒体网络公司);Imperial College(帝国理工学院);New York University (Shanghai)(上海纽约大学)
由于深度强化学习(DRL)已被公认为量化金融中的有效方法,因此获得实践经验对初学者很有吸引力。然而,要训练一个实用的日间行车灯交易代理,决定在哪里交易,以什么价格,什么数量,涉及到容易出错和艰苦的开发和调试。在本文中,我们介绍了一个DRL库FinRL,方便初学者暴露自己的量化金融,并制定自己的股票交易策略。除了易于复制的教程外,FinRL库还允许用户简化自己的开发,并轻松与现有方案进行比较。在FinRL中,虚拟环境配置有股票市场数据集,交易代理使用神经网络进行训练,并通过交易表现进行广泛的回测分析。此外,它还包括重要的交易约束,如交易成本,市场流动性和投资者的风险厌恶程度。FinRL的特点是完整性,实践教程和可重复性,有利于初学者:(i)在多个级别的时间粒度,FinRL模拟各种股票市场的交易环境,包括纳斯达克100,道琼斯工业平均指数,标准普尔500,恒生指数,上证50指数和沪深300指数;(ii)FinRL以模块化结构的分层架构组织,提供微调的最先进的DRL算法(DQN,DDPG,PPO,SAC,A2 C,TD 3等),FinRL提供了常用的奖励函数和标准的评估基线,以减轻调试工作量并提高可重复性;(iii)具有高度可扩展性,FinRL保留了一套完整的用户导入接口。此外,我们还结合了三个应用程序演示,即单一股票交易,多个股票交易和投资组合分配。FinRL库将在Github上提供,…
2022-03-02 cs.LG q-fin.TR
PolyScientist: Automatic Loop Transformations Combined with Microkernels for Optimization of Deep Learning Primitives
Intel Labs(英特尔实验室);IIT Hyderabad(印度理工学院海得拉巴分校)
深度学习训练和推理的核心是计算密集型原语,例如形成深度神经网络构建块的卷积。研究人员采取了两种不同的方法来创建深度学习内核的高性能实现,即1)以英特尔MKL-DNN为例的CPU库开发,2)以TensorFlow XLA编译器为代表的自动编译。这两种方法都有各自的缺点:即使定制的库可以提供非常好的性能,但库的开发成本和时间可能很高。内核的自动编译是有吸引力的,但在实践中,到目前为止,自动生成的实现在性能上落后于专家编码的内核几个数量级。在本文中,我们开发了一种混合解决方案来开发深度学习内核,实现了两全其美:专家编码的微内核用于内核的最内层循环,我们使用先进的多面体技术来自动调整外部循环的性能。我们设计了一种新的基于多面体模型的数据重用算法来优化内核的外循环。通过对一类重要的深度学习原语(即卷积)进行实验评估,我们证明了我们开发的方法可达到与英特尔MKL-DNN(一种手工编码的深度学习库)相同的性能水平。
2020-02-06 cs.LG cs.PL