XuanCe: A Comprehensive and Unified Deep Reinforcement Learning Library
Anhui University（安徽大学）；Peng Cheng Laboratory（鹏城实验室）；Southeast University（东南大学）；Tongji University（同济大学）；Tianjin University（天津大学）
XuanCe是一个兼容PyTorch、TensorFlow和MindSpore的全面统一深度强化学习库，提供超40种算法，支持多硬件与操作系统，在MuJoCo、Atari等基准上表现优异。
2023-12-25 cs.AI cs.DL cs.LG
torchtune: PyTorch native post-training library
PyTorch；Meta；Stanford（斯坦福）；Meta-FAIR
本文介绍了torchtune，一种基于PyTorch的后训练库，旨在简化大语言模型的后训练生命周期，提供高效的微调、实验和部署流程，通过模块化和可扩展性提升性能和灵活性。
2026-05-20 cs.AI cs.LG
Torchbearer: A Model Fitting Library for PyTorch
University of Southampton（南安普顿大学）
我们介绍torchbearer，一个pytorch的模型拟合库，面向从事深度学习或可微编程的研究人员。torchbearer库提供了一个高级度量和回调API，可用于广泛的应用程序。我们还包括一系列内置的回调，可用于：模型持久化，学习率衰减，日志记录，数据可视化等。丰富的文档包括深度学习和动态规划问题的示例库，可以在http://torchbearer.readthedocs.io上找到。该代码根据MIT许可证进行许可，可在https://github.com/ecs-vlc/torchbearer上获得。
2018-09-10 cs.AI cs.CV cs.LG
TorchNTK: A Library for Calculation of Neural Tangent Kernels of PyTorch Models
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of California San Diego（加州大学圣迭戈分校）；Rutgers University - New Brunswick（罗格斯大学新布朗斯维克分校）
我们引入了torchNTK，一个Python库来计算PyTorch框架中神经网络模型的经验神经切线核（NTK）。我们提供了一个有效的方法来计算多层感知器的NTK。我们将显式差分实现与自动差分实现进行了比较，后者的好处是将库的实用性扩展到PyTorch支持的任何架构，例如卷积网络。该库的一个特点是，我们将用户暴露给分层NTK组件，并表明在某些情况下，分层计算是更有效的内存。我们进行了初步的实验，以展示软件的用例和探测NTK。
2022-05-24 cs.LG
HAT-CL: A Hard-Attention-to-the-Task PyTorch Library for Continual Learning
The University of Chicago（芝加哥大学）
本文提出HAT-CL，一个用户友好的PyTorch库，重新设计HAT机制，自动化梯度操作，简化模块转换，集成TIMM，并引入新型掩码技术，以缓解持续学习中的灾难性遗忘。
2024-02-04 cs.AI cs.LG
MBRL-Lib: A Modular Library for Model-based Reinforcement Learning
Facebook AI Research（Facebook AI研究院）；University of California, Berkeley（加州大学伯克利分校）
基于模型的强化学习是一个引人注目的框架，用于与世界交互的代理的数据高效学习。这个算法家族有许多子组件，需要仔细选择和调整。因此，研究人员进入该领域并将其部署在现实任务中的入口栏可能令人望而生畏。在本文中，我们提出了MBRL-Lib --一个基于PyTorch的连续状态-动作空间中基于基于模型的强化学习的机器学习库。MBRL-Lib是为研究人员和非专家用户设计的一个平台，研究人员可以轻松地开发，调试和比较新算法，而非专家用户可以降低部署最先进算法的门槛。MBRL-Lib在https://github.com/facebookresearch/mbrl-lib上是开源的。
2021-04-20 cs.AI cs.SY eess.SY
Captum: A unified and generic model interpretability library for PyTorch
Facebook AI（Facebook 人工智能研究院）
在本文中，我们为PyTorch引入了一个新颖的，统一的，开源的模型可解释性库[12]。该库包含许多基于梯度和扰动的归因算法的通用实现，也称为特征、神经元和层重要性算法，以及这些算法的一组评估指标。它可以用于分类和非分类模型，包括建立在神经网络（NN）上的图结构模型。在本文中，我们给出了一个高层次的概述支持的属性算法，并显示如何执行内存效率和可扩展的计算。我们强调，图书馆的三个主要特点是多模态，可扩展性和易用性。多模态支持不同模态的输入，例如图像、文本、音频或视频。可扩展性允许添加新的算法和功能。该库还旨在易于理解和使用。此外，我们还介绍了一个名为Captum Insights的交互式可视化工具，该工具构建在Captum库之上，允许基于样本的模型调试和使用特征重要性度量的可视化。
2020-09-16 cs.AI cs.LG stat.ML
Tonic: A Deep Reinforcement Learning Library for Fast Prototyping and Benchmarking
Imperial College London（伦敦帝国理工学院）
深度强化学习在过去几年中一直是机器学习发展最快的领域之一，许多库已经开源以支持研究。然而，大多数代码库具有陡峭的学习曲线或有限的灵活性，无法满足基础研究中快速原型的需求。本文介绍了Tonic，这是一个Python库，允许研究人员快速实现新想法并通过提供以下功能来衡量其重要性：1）通用可配置模块2）几个基线代理：使用这些模块构建的A2C、TRPO、PPO、MPO、DDPG、D4PG、TD3和SAC 3）支持TensorFlow 2和PyTorch 4）支持OpenAI Gym的连续控制环境，DeepMind Control Suite和PyBullet 5）脚本以可重复的方式进行实验，绘制结果，并与经过训练的代理一起玩6）提供的代理在70个连续控制任务上的基准。评估是在公平的条件下进行的，具有相同的种子，训练和测试循环，同时共享一般的改进，如非终端超时和观察归一化。最后，为了演示Tonic如何简化实验，实现并评估了一种名为TD4的新型代理。
2021-05-19 cs.LG
KD-Lib: A PyTorch library for Knowledge Distillation, Pruning and Quantization
近年来，神经网络的规模不断增长，导致了大量关于压缩技术的研究，以减轻这种大规模的缺点。这些研究工作大多可以分为三大类：知识蒸馏、剪枝和量化。虽然在这一领域已经有了稳定的研究，但所提出的技术的采用和商业使用并没有以这样的速度取得进展。我们提出了KD-Lib，一个基于PyTorch的开源库，它包含了来自多个抽象层之上的三个家族的算法的最先进的模块化实现。KD-Lib是模型和算法不可知的，扩展了对使用Optuna和Tensorboard进行日志记录和监控的超参数调优的支持。该库可以在https://github.com/SforAiDl/KD_Lib上找到。
2020-11-30 cs.LG
PyTorch Tabular: A Framework for Deep Learning with Tabular Data
尽管深度学习在文本和图像等模式中表现出不合理的有效性，但在表格数据中，无论是在流行度还是性能方面，它都一直落后于梯度提升。但最近有专门为表格数据创建的更新模型，这正在推动性能栏。但普及仍然是一个挑战，因为没有像Sci-Kit Learn这样简单易用的深度学习库。PyTorch Tabular是一个新的深度学习库，它使使用深度学习和表格数据变得简单快捷。它是一个构建在PyTorch和PyTorch Lightning之上的库，直接在Pandas框架上工作。许多SOTA模型（如NODE和TabNet）已经在库中集成并实现了统一的API。PyTorch Tabular旨在为研究人员提供轻松的可扩展性，为从业人员提供简单的操作，并在工业部署中保持稳健。
2021-04-28 cs.LG
MCTensor: A High-Precision Deep Learning Library with Multi-Component Floating-Point
Cornell University（康奈尔大学）
在本文中，我们介绍了MCTensor，一个基于PyTorch的库，为DL训练提供通用和高精度的算法。MCTensor的使用方式与PyTorch Tensor相同：我们使用相同的PyTorch接口为MCTensor实现多个基本的矩阵级计算运算符和NN模块。我们的算法实现了高精度计算，并且还受益于经过高度优化的PyTorch浮点算法。我们针对一系列任务评估了MCTensor算法与PyTorch本地算法的对比，其中使用float16的MCTensor模型将匹配或优于具有float32或float64精度的PyTorch模型。
2022-08-29 cs.LG cs.MS
SequeL: A Continual Learning Library in PyTorch and JAX
EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
本文提出同时支持 PyTorch 与 JAX 的开源持续学习库 SequeL，通过统一接口集成正则化、回放及混合算法，提升模块化、可复现性与可扩展性。
2023-04-21 cs.LG
DeepRobust: A PyTorch Library for Adversarial Attacks and Defenses
Michigan State University（密歇根州立大学）
DeepRobust是一个PyTorch对抗学习库，旨在构建一个全面且易于使用的平台来促进这一研究领域。目前包含图像域10余种攻击算法和8种防御算法，图域9种攻击算法和4种防御算法，多种深度学习架构下。在本手册中，我们介绍了DeepRobust的主要内容，并提供了详细的说明。该库不断更新，可以在https://github.com/DSE-MSU/DeepRobust上找到。
2020-05-13 cs.CR cs.LG stat.ML
torchsom: The Reference PyTorch Library for Self-Organizing Maps
Centre de Mathématiques Appliquées, Ecole Polytechnique（应用数学中心，巴黎政治学院）；Manufacture Française des Pneumatiques Michelin（米其林轮胎法国制造）
torchsom是用于自组织映射的参考PyTorch库，具有降维、聚类和数据可视化特性，依赖PyTorch后端，通过GPU加速训练，遵循scikit-learn API，便于使用和扩展，测试覆盖率达90%，开源且有文档。
2026-07-24 cs.LG stat.ML
Avalanche: A PyTorch Library for Deep Continual Learning
University of Pisa（比萨大学）；University of Bologna（博洛尼亚大学）；Scuola Normale Superiore（比萨高等师范学校）；University of St. Gallen（圣加仑大学）
持续学习是从非平稳数据流中学习的问题，这是随着时间的推移深度神经网络可持续和有效训练的基本问题。不幸的是，深度学习库只提供用于离线训练的原语，假设模型的架构和数据是固定的。Avalanche是一个由ContinualAI非营利组织维护的开源库，它通过为动态架构、数据流以及增量训练和评估方法提供一流的支持来扩展PyTorch。Avalanche提供了大量预定义的基准测试和训练算法，易于扩展和模块化，同时支持广泛的持续学习场景。文档可在\url{https://avalanche.continualai.org}上获得。
2023-02-02 cs.LG
torchgfn: A PyTorch GFlowNet library
MBZUAI（穆罕默德·本·拉希德智能研究院）
本文提出torchgfn库，通过模块化架构实现环境、神经网络模块和训练目标的可替换性，简化了GFlowNet的研究与实验流程。
2026-03-20 cs.LG
Torchattacks: A PyTorch Repository for Adversarial Attacks
Seoul National University（首尔大学）
Torchattacks是一个PyTorch库，包含对抗攻击，用于生成对抗示例并验证深度学习模型的鲁棒性。代码可以在https://github.com/Harry24k/adversarial-attacks-pytorch上找到。
2021-02-19 cs.AI cs.CR cs.LG
JaxAHT: A JAX-Based Library for Ad Hoc Teamwork
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）；Sony AI（索尼人工智能）
JaxAHT是基于JAX的开源库，通过硬件加速和并行化统一AHT研究流程，实现约95倍加速，并提供多领域评估队友套件及基准研究，发现无算法普遍最优，建模在角色型场景中有效。
2026-10-14 cs.AI
Torchmeta: A Meta-Learning library for PyTorch
Université de Montréal（蒙特利尔大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）；Concordia University（康考迪亚大学）；Mila
在文献中不断引入标准化的基准有助于加速元学习研究的最新进展。它们提供了一种在不同算法之间进行公平比较的方法，并且广泛的可用数据集允许完全控制这种评估的复杂性。然而，对于大多数在线可用的代码，数据管道通常特定于一个数据集，并且在另一个数据集上进行测试需要大量的返工。我们介绍了Torchmeta，一个构建在PyTorch之上的库，通过为Few-Shot分类和回归中的大多数标准基准提供数据加载器，可以在多个数据集上无缝和一致地评估元学习算法，并提供新的元数据集抽象。它还为PyTorch提供了一些扩展，以简化与元学习算法兼容的模型的开发。代码可以在这里找到：https://github.com/tristandeleu/pytorch-meta
2019-09-14 cs.LG stat.ML
PyTorch Adapt
Cornell Tech（康奈尔科技校区）；University of Copenhagen（哥本哈根大学）；Meta AI
PyTorch Adapt是一个用于领域自适应的库，这是一种机器学习算法，可以重新利用现有模型在新领域中工作。它是一个功能齐全的工具包，允许用户在几行代码中创建完整的训练/测试管道。它也是模块化的，因此用户可以只导入他们需要的部分，而不必担心被锁定在框架中。这个库的一个定义特性是它的可定制性。特别是，复杂的训练算法可以很容易地修改和组合，这要归功于一个可组合的、惰性评估的钩子系统。在本技术报告中，我们详细解释了这些功能和库的整体设计。代码可在https://www.github.com/KevinMusgrave/pytorch-adapt上获得
2022-11-28 cs.LG
M3d-CAM: A PyTorch library to generate 3D data attention maps for medical deep learning
Technical university of Darmstadt（达姆施塔特工业大学）；Universitätsklinikum Frankfurt（法兰克福大学医院）
M3 d-CAM是一个易于使用的库，用于生成基于CNN的PyTorch模型的注意力地图，提高了人类模型预测的可解释性。注意力地图可以使用多种方法生成，如Guided Backpropagation，Grad-CAM，Guided Grad-CAM和Grad-CAM++。这些注意力图可视化了输入数据中在某个层对模型预测影响最大的区域。此外，M3 d-CAM支持2D和3D数据用于分类和分割任务。一个关键的特性是在大多数情况下，只需要一行代码就可以为模型生成注意力地图，使M3 d-CAM基本上即插即用。
2020-07-01 cs.CV cs.LG
Torch Geometric Pool: the PyTorch library for pooling in Graph Neural Networks
UiT the Arctic University of Norway（UiT北极大学）；Università della Svizzera italiana（瑞士大学）；NORCE Norwegian Research Centre AS（NORCE挪威研究中心）
Torch Geometric Pool 提供统一接口和20种层级池化方法，支持批量和非批量模式，简化了图神经网络中池化方法的比较与复用。
2026-04-20 cs.LG
EvoTorch: Scalable Evolutionary Computation in Python
NNAISENSE
针对现代高维优化问题对可扩展进化算法实现的需求，本文提出基于PyTorch的进化计算库EvoTorch，支持GPU加速与高度并行化，允许用户使用熟悉的API定义优化问题。
2023-05-21 cs.AI cs.NE
TAGTorch: A PyTorch Library for Geometry, Topology, and Symmetry-Aware Machine Learning
Pacific Northwest National Laboratory（西北太平洋国家实验室）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）；University of Washington（华盛顿大学）
针对几何拓扑对称感知机器学习软件生态碎片化问题，推出基于PyTorch的开源库TAGTorch，统一相关工具并阐述其设计架构与未来开发重点。
2026-08-03 cs.LG
PyTorch Geometric High Order: A Unified Library for High Order Graph Neural Network
Institute for Artificial Intelligence（人工智能研究院）；Peking University（北京大学）
本文提出统一高阶图神经网络库 PyGHO，通过标准化节点元组数据结构、数据处理工具和灵活算子简化 HOGNN 实现，在真实任务中实现最高 50% 加速并将代码量减少一个数量级。
2023-11-28 cs.LG
Opacus: User-Friendly Differential Privacy Library in PyTorch
Meta AI
我们介绍Opacus，这是一个免费的开源PyTorch库，用于训练具有差分隐私的深度学习模型（托管在opacus.ai）。Opacus旨在实现简单性、灵活性和速度。它提供了一个简单且用户友好的API，并使机器学习从业者能够通过在代码中添加两行代码来使训练管道私有化。它支持各种各样的层，包括多头注意力、卷积、LSTM、GRU（和通用RNN）和嵌入，开箱即用，并提供支持其他用户定义层的方法。Opacus计算每个样本的批量梯度，与传统的“微批量”方法相比，提供了更高的效率。在本文中，我们介绍了Opacus，详细介绍了推动其实现的原理和独特功能，并将其与其他具有差分隐私的训练模型框架以及标准PyTorch进行了比较。
2022-08-22 cs.CR cs.LG
FasterAI: A Lightweight Library for Creating Sparse Neural Networks
University of Mons（蒙斯大学）；IP Paris（巴黎理工学院）
FasterAI是一个基于PyTorch的库，旨在促进深度神经网络压缩技术的利用，如稀疏化，修剪，知识蒸馏或正则化。该库旨在实现快速实施和实验。更具体地说，压缩技术正在利用fastai和Pytorch Lightning等库的回调系统来带来用户友好的高级API。FasterAI的主要资产是其轻量级，但功能强大，使用简单。事实上，由于它是以非常细粒度的方式开发的，用户可以通过使用不同的参数组合来创建数千个独特的实验。在本文中，我们重点介绍FasterAI的稀疏化功能，它代表了库的核心。在FasterAI中执行神经网络的稀疏化只需要在传统的训练循环中添加一行代码，但允许执行最先进的技术，如彩票假设实验
2022-07-03 cs.AI cs.LG
torchmil: A PyTorch-based library for deep Multiple Instance Learning
a Department of Computer Science and Artificial Intelligence, University of Granada, Spain（计算机科学与人工智能系，格拉纳达大学）；b Research Centre for Information and Communications Technologies, University of Granada, Spain（信息与通信技术研究中心，格拉纳达大学）；c Department of Statistics and Operations Research, University of Granada, Spain（统计与运筹学系，格拉纳达大学）；d Institute of Mathematics (IMAG), University of Granada, Spain（数学研究所（IMAG），格拉纳达大学）
torchmil是一个基于PyTorch的开源库，提供统一模块化框架、标准化数据格式和基准数据集，以加速深度多示例学习研究并降低使用门槛。
2025-09-09 cs.LG
pyvene: A Library for Understanding and Improving PyTorch Models via Interventions
Stanford University（斯坦福大学）；Pr(Ai)R Group（Pr(Ai)R集团）
本研究推出开源Python库pyvene，支持对多种PyTorch模块进行可定制的静态或含可训练参数的干预，提供统一可扩展框架用于神经模型干预与模型共享，可应用于模型编辑、可解释性等AI领域。
2024-03-12 cs.CL cs.LG
Variational Learning with Disentanglement-PyTorch
University of British Columbia（不列颠哥伦比亚大学）
解纠缠表示的无监督学习是机器学习中的一个公开问题。开发Disentanglement-PyTorch库是为了促进新变分算法的研究、实现和测试。在这个模块化库中，神经架构，潜在空间的维度和训练算法完全解耦，允许跨变分方法进行独立和一致的实验。该库处理训练调度、日志记录以及重建和潜在空间遍历的可视化。它还根据各种解纠缠指标评估编码。到目前为止，该库包括以下无监督算法VAE，Beta-VAE，Factor-VAE，DIP-I-VAE，DIP-II-VAE，Info-VAE和Beta-TCVAE的实现，以及CVAE和IFCVAE等条件方法。该库与AICrowd上举办的NeurIPS 2019年解开挑战赛兼容，并在挑战赛的第一和第二阶段均获得第三名。
2019-12-11 cs.LG stat.ML
PyTorch: An Imperative Style, High-Performance Deep Learning Library
University of Warsaw（华沙大学）；Facebook AI Research（Facebook人工智能研究实验室）；Google（谷歌公司）；NVIDIA（英伟达公司）；Orobix（奥罗比克斯公司）；Oxford University（牛津大学）；Xamla（Xamla公司）；Nabla（纳布拉公司）；Twitter（推特公司）
深度学习框架通常关注可用性或速度，但不是两者兼而有之。PyTorch是一个机器学习库，它表明这两个目标实际上是兼容的：它提供了一种命令式和Pythonic编程风格，支持代码作为模型，使调试变得容易，并与其他流行的科学计算库保持一致，同时保持高效并支持GPU等硬件加速器。在本文中，我们详细介绍了推动PyTorch实现的原则，以及它们如何反映在其架构中。我们强调PyTorch的每个方面都是一个常规的Python程序，完全由用户控制。我们还解释了如何仔细和务实的实现其运行时的关键组件，使他们能够一起工作，以实现令人信服的性能。我们在几个常见的基准测试中展示了各个子系统的效率以及PyTorch的整体速度。
2019-12-03 cs.LG cs.MS stat.ML
PyRetri: A PyTorch-based Library for Unsupervised Image Retrieval by Deep Convolutional Neural Networks
Megvii Technology（旷视科技）；Nanjing University of Science and Technology（南京理工大学）；Alibaba Group（阿里巴巴集团）
尽管将深度学习方法应用于基于内容的图像检索领域取得了重大进展，但还没有一个软件库以统一的方式涵盖这些方法。为了填补这一空白，我们引入了PyRetri，这是一个基于深度学习的无监督图像检索的开源库。该库将检索过程封装在几个阶段中，并为每个阶段提供涵盖各种主要方法的功能。其设计思想是为基于深度学习的图像检索研究提供一个统一的平台，具有较高的可用性和可扩展性。据我们所知，这是第一个通过深度学习进行无监督图像检索的开源库。
2020-08-05 cs.CV cs.IR cs.LG
Fast Graph Representation Learning with PyTorch Geometric
TU Dortmund University（多特蒙德工业大学）
我们介绍PyTorch Geometric，这是一个基于PyTorch构建的用于对不规则结构的输入数据（如图形、点云和流形）进行深度学习的库。除了一般的图数据结构和处理方法，它还包含了各种最近发表的方法，从关系学习和3D数据处理的领域。PyTorch Geometric通过利用稀疏GPU加速、提供专用CUDA内核以及为不同大小的输入示例引入高效的小批量处理来实现高数据吞吐量。在这项工作中，我们详细介绍了库，并进行了全面的比较研究，在同质的评估方案的实施方法。
2019-04-25 cs.LG stat.ML
McTorch, a manifold optimization library for deep learning
Microsoft（微软）；The University of Electro-Communications（电气通信大学）
在本文中，我们介绍了McTorch，这是一个用于深度学习的流形优化库，它扩展了PyTorch。它旨在为希望在深度学习应用程序中使用多种约束的用户降低障碍，即，当参数被约束为位于流形上时。这些约束包括流行的正交性和秩约束，并且最近已在深度学习的许多应用中使用。McTorch遵循PyTorch的架构，并简化了流形定义和优化器，即，一旦添加了新的歧管，它就可以与任何现有的优化器一起使用，反之亦然。McTorch可在https://github.com/mctorch上获得。
2018-10-04 cs.AI cs.LG stat.ML
ASDL: A Unified Interface for Gradient Preconditioning in PyTorch
ETH Zurich（苏黎世联邦理工学院）；Tokyo Institute of Technology（东京工业大学）
针对深度学习梯度预条件处理方法实现复杂、性能不一致的问题，提出PyTorch扩展库ASDL，提供即插即用统一接口，支持多种方法的结构化比较。
2023-05-08 cs.LG
Kaolin: A PyTorch Library for Accelerating 3D Deep Learning Research
NVIDIA（英伟达）；Mila（米拉研究所）；McGill University（麦吉尔大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）；Université de Montréal（蒙特利尔大学）
我们介绍了Kaolin，一个旨在加速3D深度学习研究的PyTorch库。Kaolin提供了用于深度学习系统的可微分3D模块的有效实现。通过加载和预处理几个流行的3D数据集的功能，以及操纵网格、点云、带符号距离函数和体素网格的本地函数，Kaolin减少了编写浪费的样板代码的需要。Kaolin将几个不同的图形模块打包在一起，包括渲染、照明、着色和视图扭曲。高岭土还支持一系列损失函数和评估指标，用于无缝评估，并提供可视化功能以呈现3D结果。重要的是，我们策划了一个全面的模型动物园，包括许多最先进的3D深度学习架构，作为未来研究工作的起点。Kaolin作为开源软件可在https://github.com/NVIDIAGameWorks/kaolin/上获得。
2019-11-13 cs.CV cs.LG cs.RO
A PyTorch Library of Turing-Complete Neural Networks
本文提出一个PyTorch库，通过图灵机描述编译神经网络及权重，生成可精确模拟指定机器的模型。实现两种架构：基于Wei等人（2021）的Transformer和基于Siegelmann和Sontag（1995）的循环网络，展示ReLU网络实现布尔电路及硬注意力实现磁带位置查找。
2026-05-03 cs.LG
EagerPy: Writing Code That Works Natively with PyTorch, TensorFlow, JAX, and NumPy
Tübingen AI Center, University of Tübingen（蒂宾根人工智能中心，蒂宾根大学）；International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究学院）；Bernstein Center for Computational Neuroscience Tübingen（伯恩斯坦计算神经科学中心（蒂宾根））
PintererPy是一个Python框架，可以让你编写自动与PyTorch、TensorFlow、JAX和NumPy原生配合使用的代码。库开发人员不再需要在只支持其中一个框架或为每个框架重新实现库和处理代码重复之间进行选择。这些库的用户可以更容易地切换框架，而不会被特定的第三方库锁定。除了多框架支持之外，PintererPy还为任何框架带来了全面的类型注释和对方法链的一致支持。最新的文档可以在https://eagerpy.jonasrauber.de上在线获得，代码可以在GitHub上找到https://github.com/jonasrauber/eagerpy。
2020-08-10 cs.LG cs.MS stat.ML
iSpLib: A Library for Accelerating Graph Neural Networks using Auto-tuned Sparse Operations
Indiana University Bloomington（印第安纳大学伯明顿分校）
提出基于PyTorch的C++库iSpLib，通过自动调优稀疏操作和启用缓存的反向传播加速GNN训练，仅需两行代码即可集成，在CPU上实现高达27倍训练加速。
2024-03-21 cs.DC cs.LG cs.PF
ChemicalX: A Deep Learning Library for Drug Pair Scoring
AstraZeneca（阿斯利康）；Harvard Medical School（哈佛医学院）；Vanderbilt University（范德堡大学）
在本文中，我们介绍了ChemicalX，这是一个基于PyTorch的深度学习库，旨在提供一系列最先进的模型来解决药物对评分任务。该库的主要目标是使机器学习研究人员和从业者能够在简化的框架中访问深度药物对评分模型。ChemicalX的设计重用了PyTorch生态系统中现有的高级模型训练实用程序，几何深度学习和深度化学层。我们的系统为最终用户提供了神经网络层、自定义配对评分架构、数据加载器和批处理迭代器。我们通过示例代码片段和案例研究来展示这些功能，以突出ChemicalX的特性。一系列关于真实世界药物相互作用、多种药物副作用和组合协同作用预测任务的实验表明，ChemicalX中可用的模型在解决配对评分任务方面是有效的。最后，我们证明了ChemicalX可用于在大型药物对数据集上对训练和评分机器学习模型，这些数据集在商品硬件上具有数十万种化合物。
2022-05-26 cs.AI cs.LG
PyTorch Geometric Temporal: Spatiotemporal Signal Processing with Neural Machine Learning Models
AstraZeneca（阿斯利康）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；École Polytechnique（巴黎综合理工学院）；Ernst-Abbe University for Applied Sciences（恩斯特·阿贝应用科学大学）；IT University of Copenhagen（哥本哈根信息技术大学）；Central European University（中欧大学）；ELKH SZTAKI（匈牙利科学院计算机科学与控制研究所）；Tryolabs；Pedal Me；The University of Edinburgh（爱丁堡大学）
我们提出了PyTorch Geometric Temporal，这是一个深度学习框架，结合了最先进的机器学习算法，用于神经时空信号处理。该库的主要目标是在一个统一的易于使用的框架中为研究人员和机器学习从业者提供时态几何深度学习。PyTorch Geometric Temporal是在PyTorch生态系统中现有库的基础上创建的，简化了神经网络层定义，用于数据挖掘的时态快照生成器，以及集成的基准数据集。这些功能说明了一个教程般的案例研究。实验证明了在库中实现的模型对现实世界问题的预测性能，如流行病学预测，乘车需求预测和网络流量管理。我们的运行时的敏感性分析表明，该框架可以潜在地操作具有丰富的时间特征和空间结构的网络规模的数据集。
2021-06-10 cs.AI cs.LG cs.SI
LibMOON: A Gradient-based MultiObjective OptimizatioN Library in PyTorch
CityUHK（香港城市大学）；HKBU（香港浸会大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
针对现有 MOPs 基准库依赖零阶进化算法且无法扩展至大规模模型的问题，本文提出首个支持最先进基于梯度方法的多目标优化库 LibMOON，提供公平基准并开源。
2024-10-11 cs.LG cs.MS math.OC
Scorch: A Library for Sparse Deep Learning
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
针对现有深度学习框架稀疏操作支持不足的问题，提出可无缝集成到PyTorch的稀疏计算库Scorch，通过编译器栈自动优化与适配运行时，在CPU推理任务上实现1.05-5.78倍于PyTorch Sparse的速度提升，助力稀疏架构探索。
2024-06-20 cs.AI cs.LG cs.MS
PyEPO: A PyTorch-based End-to-End Predict-then-Optimize Library for Linear and Integer Programming
Department of Mechanical and Industrial Engineering, University of Toronto（机械与工业工程系，多伦多大学）
PyEPO是一种基于PyTorch的端到端预测-然后优化库，用于线性和整数规划，提供用户友好的接口和先进的算法，通过实验比较不同方法并讨论未来研究的启示。
2026-04-17 cs.LG math.OC
FlashPDE: A Drop-In Fused Triton Operator Library for Neural PDE Solvers
School of Mathematical Sciences, Beijing Normal University（北京师范大学数学科学学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
研究针对物理信息神经网络求解偏微分方程时的局限，提出FlashPDE库，用可微Triton内核取代PyTorch有限差分执行，集成多种功能。实验表明其能大幅减少内存使用和内核启动次数，实现加速，为PDE求解与GPU计算搭建高效执行层。
2026-07-27 cs.LG cs.MS
MiniTensor: A Lightweight, High-Performance Tensor Operations Library
Independent Researcher（独立研究者）
MiniTensor是一个轻量且高性能的张量操作库，结合Python API和Rust引擎，提供高效的张量运算和微分功能，包大小远小于主流框架。
2026-01-27 cs.AI cs.LG cs.MS
SoftDTW-CUDA-Torch: Memory-Efficient GPU-Accelerated Soft Dynamic Time Warping for PyTorch
The Faculty of Computer and Information Science Ben-Gurion University of the Negev（计算机与信息科学学院贝京大学）
SoftDTW-CUDA-Torch通过GPU加速实现高效的软动态时间规整，解决内存消耗和数值稳定性问题，支持任意序列长度和PyTorch自动求导。
2026-02-19 cs.LG
UncertaintyPlayground: A Fast and Simplified Python Library for Uncertainty Estimation
University of Lausanne（洛桑大学）
本文介绍了基于PyTorch和GPyTorch的Python库UncertaintyPlayground，通过SVGPRs和MDN实现监督学习中的快速不确定性估计与预测区间可视化，并提供跨平台持续集成与完善文档。
2023-10-23 cs.LG stat.ML
TyXe: Pyro-based Bayesian neural nets for Pytorch
University College London（伦敦大学学院）；Facebook（脸书）
我们介绍Typhoon，一个建立在Pytorch和Pyro之上的贝叶斯神经网络库。我们的主要设计原则是干净地分离架构，先验，推理和可能性规范，允许灵活的工作流程，用户可以快速地将这些组件组合起来。与现有的包相比，Typhoon不实现任何层类，而是依赖于通用Pytorch代码中定义的架构。然后，Typhoon为规范先验、变分指导、推理技术和层选择提供模块化选择，以用于指定架构的贝叶斯处理。减少方差的采样技巧，如局部重新参数化或flipout，作为效果处理程序实现，可以独立于其他规范应用。我们展示了Typhoon的易用性，可以从各种库中探索流行模型的贝叶斯版本：使用纯Pytorch神经网络的玩具回归;使用Torchvision ResNets的大规模图像分类;基于DGL的图形神经网络;以及基于Pytorch 3D构建的神经辐射场。最后，我们提供了方便的变分持续学习的抽象。在所有情况下，从确定性到贝叶斯神经网络的变化都对现有代码进行了最小的修改，为广泛的研究人员和实践者提供了实际的不确定性估计技术。该库可在https://github.com/TyXe-BDL/TyXe上查阅。
2021-10-01 cs.LG stat.ML
Nerva: a Truly Sparse Implementation of Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）
本文介绍了C++开发的快速神经网络库Nerva，通过利用Intel MKL的稀疏矩阵操作支持稀疏性并消除二值掩码需求，在保持与PyTorch同等精度的同时显著减少训练时间和内存使用，在高稀疏度下大幅提升运行效率。
2024-07-24 cs.LG
torchgpipe: On-the-fly Pipeline Parallelism for Training Giant Models
Kakao Brain；UNIST（蔚山科学技术院）
我们在PyTorch中设计并实现了一个现成的库，用于执行GPipe提出的检查点的微批处理流水线并行（Huang et al.，2019年）。特别是，我们开发了一组设计组件，以在PyTorch的运行定义和渴望执行环境中实现流水线并行梯度计算。我们表明，每个组件是必要的，以充分受益于流水线并行在这样的环境中，并证明了图书馆的效率，通过将其应用到各种网络架构，包括AmoebaNet-D和U-Net。我们的图书馆可以在https://github.com/kakaobrain/torchgpipe上找到。
2020-04-21 cs.DC cs.LG
PyTorch Geometric Signed Directed: A Software Package on Graph Neural Networks for Signed and Directed Graphs
University of Oxford（牛津大学）；Michigan State University（密歇根州立大学）；Southwest University（西南大学）；Isomorphic Labs（同构实验室）；The Alan Turing Institute（艾伦·图灵研究所）
本文提出 PyGSD 软件包，为带符号与有向图提供统一的 GNN 模型、数据、评估指标和损失函数，并通过实验为方法选择提供指导。
2023-11-23 cs.AI cs.LG cs.SI
HypLL: The Hyperbolic Learning Library
University of Amsterdam（阿姆斯特丹大学）；Lightly（Lightly公司）
针对当前缺乏易用的双曲深度学习开源库的问题，本文推出基于PyTorch构建、注重易用性的HypLL双曲学习库，整合领域研究进展，助力该开放研究方向的推广。
2023-12-19 cs.AI cs.LG
PyTorch Frame: A Modular Framework for Multi-Modal Tabular Learning
Kumo AI（库莫人工智能公司）；Stanford University（斯坦福大学）
PyTorch Frame是一个基于PyTorch的模块化框架，用于多模态表格深度学习，通过数据结构和模型抽象简化建模，并支持集成外部基础模型及与PyTorch Geometric集成，实现关系数据库的端到端学习。
2024-12-15 cs.DB cs.LG stat.ML
