Structured Model Pruning of Convolutional Networks on Tensor Processing Units
Google（谷歌）
卷积神经网络的部署通常受到高计算和存储要求的阻碍。结构化模型修剪是一种很有前途的方法，以减轻这些要求。以VGG-16模型为例，我们测量了张量处理单元（TPU）上各种结构化模型修剪方法和数据集（CIFAR-10和ImageNet）的准确性-效率权衡。为了衡量模型的实际性能，我们为TensorFlow 2开发了一个结构化的模型修剪库，以就地修改模型（而不是添加掩码层）。我们表明，结构化模型修剪可以显着提高TPU上的模型内存使用率和速度，而不会损失准确性，特别是对于小数据集（例如，CIFAR-10）。
2021-07-21 cs.AR cs.LG
Avalanche: A PyTorch Library for Deep Continual Learning
University of Pisa（比萨大学）；University of Bologna（博洛尼亚大学）；Scuola Normale Superiore（比萨高等师范学校）；University of St. Gallen（圣加仑大学）
持续学习是从非平稳数据流中学习的问题，这是随着时间的推移深度神经网络可持续和有效训练的基本问题。不幸的是，深度学习库只提供用于离线训练的原语，假设模型的架构和数据是固定的。Avalanche是一个由ContinualAI非营利组织维护的开源库，它通过为动态架构、数据流以及增量训练和评估方法提供一流的支持来扩展PyTorch。Avalanche提供了大量预定义的基准测试和训练算法，易于扩展和模块化，同时支持广泛的持续学习场景。文档可在\url{https://avalanche.continualai.org}上获得。
2023-02-02 cs.LG
LightSeq: A High Performance Inference Library for Transformers
ByteDance AI Lab（字节跳动人工智能实验室）
Transformer、BERT及其变体在自然语言处理中取得了巨大的成功。由于Transformer模型体积庞大，因此为这些模型提供服务对于实际工业应用来说是一个挑战。在本文中，我们提出了LightSeq，一个高效的推理库模型的Transformer家庭。LightSeq包括一系列GPU优化技术，以简化神经层的计算并减少内存占用。LightSeq可以轻松导入使用PyTorch和Tensorflow训练的模型。在机器翻译基准测试上的实验结果表明，与TensorFlow相比，LightSeq实现了高达14倍的加速，与FasterTransformer（一种并发CUDA实现）相比，LightSeq实现了1.4倍的加速。该代码可在https://github.com/bytedance/lightseq上获得。
2021-04-22 cs.LG cs.MS
SequeL: A Continual Learning Library in PyTorch and JAX
EPFL（洛桑联邦理工学院）；University of Geneva（日内瓦大学）
本文提出同时支持 PyTorch 与 JAX 的开源持续学习库 SequeL，通过统一接口集成正则化、回放及混合算法，提升模块化、可复现性与可扩展性。
2023-04-21 cs.LG
torchgfn: A PyTorch GFlowNet library
MBZUAI（穆罕默德·本·拉希德智能研究院）
本文提出torchgfn库，通过模块化架构实现环境、神经网络模块和训练目标的可替换性，简化了GFlowNet的研究与实验流程。
2026-03-20 cs.LG
PyTorch Adapt
Cornell Tech（康奈尔科技校区）；University of Copenhagen（哥本哈根大学）；Meta AI
PyTorch Adapt是一个用于领域自适应的库，这是一种机器学习算法，可以重新利用现有模型在新领域中工作。它是一个功能齐全的工具包，允许用户在几行代码中创建完整的训练/测试管道。它也是模块化的，因此用户可以只导入他们需要的部分，而不必担心被锁定在框架中。这个库的一个定义特性是它的可定制性。特别是，复杂的训练算法可以很容易地修改和组合，这要归功于一个可组合的、惰性评估的钩子系统。在本技术报告中，我们详细解释了这些功能和库的整体设计。代码可在https://www.github.com/KevinMusgrave/pytorch-adapt上获得
2022-11-28 cs.LG
Torch Geometric Pool: the PyTorch library for pooling in Graph Neural Networks
UiT the Arctic University of Norway（UiT北极大学）；Università della Svizzera italiana（瑞士大学）；NORCE Norwegian Research Centre AS（NORCE挪威研究中心）
Torch Geometric Pool 提供统一接口和20种层级池化方法，支持批量和非批量模式，简化了图神经网络中池化方法的比较与复用。
2026-04-20 cs.LG
TAGTorch: A PyTorch Library for Geometry, Topology, and Symmetry-Aware Machine Learning
Pacific Northwest National Laboratory（西北太平洋国家实验室）；University of Texas at El Paso（德克萨斯大学埃尔帕索分校）；University of Washington（华盛顿大学）
针对几何拓扑对称感知机器学习软件生态碎片化问题，推出基于PyTorch的开源库TAGTorch，统一相关工具并阐述其设计架构与未来开发重点。
2026-08-03 cs.LG
PyTorch Geometric High Order: A Unified Library for High Order Graph Neural Network
Institute for Artificial Intelligence（人工智能研究院）；Peking University（北京大学）
本文提出统一高阶图神经网络库 PyGHO，通过标准化节点元组数据结构、数据处理工具和灵活算子简化 HOGNN 实现，在真实任务中实现最高 50% 加速并将代码量减少一个数量级。
2023-11-28 cs.LG
PyTorch, Explain! A Python library for Logic Explained Networks
University of Cambridge（剑桥大学）；Universita’ di Siena（锡耶纳大学）
“PyTorch，解释一下！“是一个Python模块，集成了各种最先进的方法，以提供来自神经网络的逻辑解释。该软件包的重点是将这些方法带给非专业人士。它具有最小的依赖性，并且在Apache 2.0许可证下分发，允许学术和商业使用。源代码和文档可以从github仓库下载：https://github.com/pietrobarbiero/pytorch_explain。
2021-07-23 cs.AI cs.LG
torchmil: A PyTorch-based library for deep Multiple Instance Learning
a Department of Computer Science and Artificial Intelligence, University of Granada, Spain（计算机科学与人工智能系，格拉纳达大学）；b Research Centre for Information and Communications Technologies, University of Granada, Spain（信息与通信技术研究中心，格拉纳达大学）；c Department of Statistics and Operations Research, University of Granada, Spain（统计与运筹学系，格拉纳达大学）；d Institute of Mathematics (IMAG), University of Granada, Spain（数学研究所（IMAG），格拉纳达大学）
torchmil是一个基于PyTorch的开源库，提供统一模块化框架、标准化数据格式和基准数据集，以加速深度多示例学习研究并降低使用门槛。
2025-09-09 cs.LG
MCTensor: A High-Precision Deep Learning Library with Multi-Component Floating-Point
Cornell University（康奈尔大学）
在本文中，我们介绍了MCTensor，一个基于PyTorch的库，为DL训练提供通用和高精度的算法。MCTensor的使用方式与PyTorch Tensor相同：我们使用相同的PyTorch接口为MCTensor实现多个基本的矩阵级计算运算符和NN模块。我们的算法实现了高精度计算，并且还受益于经过高度优化的PyTorch浮点算法。我们针对一系列任务评估了MCTensor算法与PyTorch本地算法的对比，其中使用float16的MCTensor模型将匹配或优于具有float32或float64精度的PyTorch模型。
2022-08-29 cs.LG cs.MS
torchsom: The Reference PyTorch Library for Self-Organizing Maps
Centre de Mathématiques Appliquées, Ecole Polytechnique（应用数学中心，巴黎政治学院）；Manufacture Française des Pneumatiques Michelin（米其林轮胎法国制造）
torchsom是用于自组织映射的参考PyTorch库，具有降维、聚类和数据可视化特性，依赖PyTorch后端，通过GPU加速训练，遵循scikit-learn API，便于使用和扩展，测试覆盖率达90%，开源且有文档。
2026-07-24 cs.LG stat.ML
Neko: a Library for Exploring Neuromorphic Learning Rules
University of Chicago（芝加哥大学）；Virginia Tech（弗吉尼亚理工大学）；Argonne National Laboratory（阿贡国家实验室）
类脑计算领域正处于积极探索的时期。虽然已经开发了许多工具来模拟神经元动力学或将深度网络转换为尖峰模型，但用于学习规则的通用软件库仍然没有得到充分开发。这部分是由于设计新学习规则的努力具有多样性和挑战性，从编码方法到梯度近似，从模仿贝叶斯大脑的群体方法到部署在忆阻器交叉杆上的受限学习算法。为了解决这一差距，我们提出了Neko，一个模块化的，可扩展的库，重点是帮助设计新的学习算法。我们在三个典型案例中展示了Neko的实用性：在线本地学习，概率学习和模拟设备上学习。我们的研究结果表明，Neko可以复制最先进的算法，并在一种情况下，导致在准确性和速度显着优于。此外，它还提供包括梯度比较在内的工具，可以帮助开发新的算法变体。Neko是一个开源Python库，支持PyTorch和TensorFlow后端。
2021-08-13 cs.AI cs.LG cs.NE
ASDL: A Unified Interface for Gradient Preconditioning in PyTorch
ETH Zurich（苏黎世联邦理工学院）；Tokyo Institute of Technology（东京工业大学）
针对深度学习梯度预条件处理方法实现复杂、性能不一致的问题，提出PyTorch扩展库ASDL，提供即插即用统一接口，支持多种方法的结构化比较。
2023-05-08 cs.LG
DeepRobust: A PyTorch Library for Adversarial Attacks and Defenses
Michigan State University（密歇根州立大学）
DeepRobust是一个PyTorch对抗学习库，旨在构建一个全面且易于使用的平台来促进这一研究领域。目前包含图像域10余种攻击算法和8种防御算法，图域9种攻击算法和4种防御算法，多种深度学习架构下。在本手册中，我们介绍了DeepRobust的主要内容，并提供了详细的说明。该库不断更新，可以在https://github.com/DSE-MSU/DeepRobust上找到。
2020-05-13 cs.CR cs.LG stat.ML
Torchmeta: A Meta-Learning library for PyTorch
Université de Montréal（蒙特利尔大学）；Friedrich-Alexander-Universität Erlangen-Nürnberg（弗里德里希-亚历山大-埃尔兰根-纽伦堡大学）；Concordia University（康考迪亚大学）；Mila
在文献中不断引入标准化的基准有助于加速元学习研究的最新进展。它们提供了一种在不同算法之间进行公平比较的方法，并且广泛的可用数据集允许完全控制这种评估的复杂性。然而，对于大多数在线可用的代码，数据管道通常特定于一个数据集，并且在另一个数据集上进行测试需要大量的返工。我们介绍了Torchmeta，一个构建在PyTorch之上的库，通过为Few-Shot分类和回归中的大多数标准基准提供数据加载器，可以在多个数据集上无缝和一致地评估元学习算法，并提供新的元数据集抽象。它还为PyTorch提供了一些扩展，以简化与元学习算法兼容的模型的开发。代码可以在这里找到：https://github.com/tristandeleu/pytorch-meta
2019-09-14 cs.LG stat.ML
A PyTorch Library of Turing-Complete Neural Networks
本文提出一个PyTorch库，通过图灵机描述编译神经网络及权重，生成可精确模拟指定机器的模型。实现两种架构：基于Wei等人（2021）的Transformer和基于Siegelmann和Sontag（1995）的循环网络，展示ReLU网络实现布尔电路及硬注意力实现磁带位置查找。
2026-05-03 cs.LG
M3d-CAM: A PyTorch library to generate 3D data attention maps for medical deep learning
Technical university of Darmstadt（达姆施塔特工业大学）；Universitätsklinikum Frankfurt（法兰克福大学医院）
M3 d-CAM是一个易于使用的库，用于生成基于CNN的PyTorch模型的注意力地图，提高了人类模型预测的可解释性。注意力地图可以使用多种方法生成，如Guided Backpropagation，Grad-CAM，Guided Grad-CAM和Grad-CAM++。这些注意力图可视化了输入数据中在某个层对模型预测影响最大的区域。此外，M3 d-CAM支持2D和3D数据用于分类和分割任务。一个关键的特性是在大多数情况下，只需要一行代码就可以为模型生成注意力地图，使M3 d-CAM基本上即插即用。
2020-07-01 cs.CV cs.LG
TorchRL: A data-driven decision-making library for PyTorch
Universitat Pompeu Fabra（庞培法布拉大学）；Acellera（Acellera公司）；University of Cambridge（剑桥大学）；Meta AI；ICREA（加泰罗尼亚研究与高级研究院）；PyTorch Team, Meta（Meta PyTorch团队）
为解决 PyTorch 缺乏原生决策控制库的问题，提出通用控制库 TorchRL，通过引入灵活原语 TensorDict 简化强化学习算法开发，实验证明其具备高可靠性、灵活性与计算效率，并在 GitHub 开源以促进社区协作。
2023-11-27 cs.AI cs.LG
Torchbearer: A Model Fitting Library for PyTorch
University of Southampton（南安普顿大学）
我们介绍torchbearer，一个pytorch的模型拟合库，面向从事深度学习或可微编程的研究人员。torchbearer库提供了一个高级度量和回调API，可用于广泛的应用程序。我们还包括一系列内置的回调，可用于：模型持久化，学习率衰减，日志记录，数据可视化等。丰富的文档包括深度学习和动态规划问题的示例库，可以在http://torchbearer.readthedocs.io上找到。该代码根据MIT许可证进行许可，可在https://github.com/ecs-vlc/torchbearer上获得。
2018-09-10 cs.AI cs.CV cs.LG
Opacus: User-Friendly Differential Privacy Library in PyTorch
Meta AI
我们介绍Opacus，这是一个免费的开源PyTorch库，用于训练具有差分隐私的深度学习模型（托管在opacus.ai）。Opacus旨在实现简单性、灵活性和速度。它提供了一个简单且用户友好的API，并使机器学习从业者能够通过在代码中添加两行代码来使训练管道私有化。它支持各种各样的层，包括多头注意力、卷积、LSTM、GRU（和通用RNN）和嵌入，开箱即用，并提供支持其他用户定义层的方法。Opacus计算每个样本的批量梯度，与传统的“微批量”方法相比，提供了更高的效率。在本文中，我们介绍了Opacus，详细介绍了推动其实现的原理和独特功能，并将其与其他具有差分隐私的训练模型框架以及标准PyTorch进行了比较。
2022-08-22 cs.CR cs.LG
Variational Learning with Disentanglement-PyTorch
University of British Columbia（不列颠哥伦比亚大学）
解纠缠表示的无监督学习是机器学习中的一个公开问题。开发Disentanglement-PyTorch库是为了促进新变分算法的研究、实现和测试。在这个模块化库中，神经架构，潜在空间的维度和训练算法完全解耦，允许跨变分方法进行独立和一致的实验。该库处理训练调度、日志记录以及重建和潜在空间遍历的可视化。它还根据各种解纠缠指标评估编码。到目前为止，该库包括以下无监督算法VAE，Beta-VAE，Factor-VAE，DIP-I-VAE，DIP-II-VAE，Info-VAE和Beta-TCVAE的实现，以及CVAE和IFCVAE等条件方法。该库与AICrowd上举办的NeurIPS 2019年解开挑战赛兼容，并在挑战赛的第一和第二阶段均获得第三名。
2019-12-11 cs.LG stat.ML
pyvene: A Library for Understanding and Improving PyTorch Models via Interventions
Stanford University（斯坦福大学）；Pr(Ai)R Group（Pr(Ai)R集团）
本研究推出开源Python库pyvene，支持对多种PyTorch模块进行可定制的静态或含可训练参数的干预，提供统一可扩展框架用于神经模型干预与模型共享，可应用于模型编辑、可解释性等AI领域。
2024-03-12 cs.CL cs.LG
PyTorch: An Imperative Style, High-Performance Deep Learning Library
University of Warsaw（华沙大学）；Facebook AI Research（Facebook人工智能研究实验室）；Google（谷歌公司）；NVIDIA（英伟达公司）；Orobix（奥罗比克斯公司）；Oxford University（牛津大学）；Xamla（Xamla公司）；Nabla（纳布拉公司）；Twitter（推特公司）
深度学习框架通常关注可用性或速度，但不是两者兼而有之。PyTorch是一个机器学习库，它表明这两个目标实际上是兼容的：它提供了一种命令式和Pythonic编程风格，支持代码作为模型，使调试变得容易，并与其他流行的科学计算库保持一致，同时保持高效并支持GPU等硬件加速器。在本文中，我们详细介绍了推动PyTorch实现的原则，以及它们如何反映在其架构中。我们强调PyTorch的每个方面都是一个常规的Python程序，完全由用户控制。我们还解释了如何仔细和务实的实现其运行时的关键组件，使他们能够一起工作，以实现令人信服的性能。我们在几个常见的基准测试中展示了各个子系统的效率以及PyTorch的整体速度。
2019-12-03 cs.LG cs.MS stat.ML
torchtune: PyTorch native post-training library
PyTorch；Meta；Stanford（斯坦福）；Meta-FAIR
本文介绍了torchtune，一种基于PyTorch的后训练库，旨在简化大语言模型的后训练生命周期，提供高效的微调、实验和部署流程，通过模块化和可扩展性提升性能和灵活性。
2026-05-20 cs.AI cs.LG
Fast Graph Representation Learning with PyTorch Geometric
TU Dortmund University（多特蒙德工业大学）
我们介绍PyTorch Geometric，这是一个基于PyTorch构建的用于对不规则结构的输入数据（如图形、点云和流形）进行深度学习的库。除了一般的图数据结构和处理方法，它还包含了各种最近发表的方法，从关系学习和3D数据处理的领域。PyTorch Geometric通过利用稀疏GPU加速、提供专用CUDA内核以及为不同大小的输入示例引入高效的小批量处理来实现高数据吞吐量。在这项工作中，我们详细介绍了库，并进行了全面的比较研究，在同质的评估方案的实施方法。
2019-04-25 cs.LG stat.ML
Captum: A unified and generic model interpretability library for PyTorch
Facebook AI（Facebook 人工智能研究院）
在本文中，我们为PyTorch引入了一个新颖的，统一的，开源的模型可解释性库[12]。该库包含许多基于梯度和扰动的归因算法的通用实现，也称为特征、神经元和层重要性算法，以及这些算法的一组评估指标。它可以用于分类和非分类模型，包括建立在神经网络（NN）上的图结构模型。在本文中，我们给出了一个高层次的概述支持的属性算法，并显示如何执行内存效率和可扩展的计算。我们强调，图书馆的三个主要特点是多模态，可扩展性和易用性。多模态支持不同模态的输入，例如图像、文本、音频或视频。可扩展性允许添加新的算法和功能。该库还旨在易于理解和使用。此外，我们还介绍了一个名为Captum Insights的交互式可视化工具，该工具构建在Captum库之上，允许基于样本的模型调试和使用特征重要性度量的可视化。
2020-09-16 cs.AI cs.LG stat.ML
SoftDTW-CUDA-Torch: Memory-Efficient GPU-Accelerated Soft Dynamic Time Warping for PyTorch
The Faculty of Computer and Information Science Ben-Gurion University of the Negev（计算机与信息科学学院贝京大学）
SoftDTW-CUDA-Torch通过GPU加速实现高效的软动态时间规整，解决内存消耗和数值稳定性问题，支持任意序列长度和PyTorch自动求导。
2026-02-19 cs.LG
HAT-CL: A Hard-Attention-to-the-Task PyTorch Library for Continual Learning
The University of Chicago（芝加哥大学）
本文提出HAT-CL，一个用户友好的PyTorch库，重新设计HAT机制，自动化梯度操作，简化模块转换，集成TIMM，并引入新型掩码技术，以缓解持续学习中的灾难性遗忘。
2024-02-04 cs.AI cs.LG
EagerPy: Writing Code That Works Natively with PyTorch, TensorFlow, JAX, and NumPy
Tübingen AI Center, University of Tübingen（蒂宾根人工智能中心，蒂宾根大学）；International Max Planck Research School for Intelligent Systems（国际马克斯·普朗克智能系统研究学院）；Bernstein Center for Computational Neuroscience Tübingen（伯恩斯坦计算神经科学中心（蒂宾根））
PintererPy是一个Python框架，可以让你编写自动与PyTorch、TensorFlow、JAX和NumPy原生配合使用的代码。库开发人员不再需要在只支持其中一个框架或为每个框架重新实现库和处理代码重复之间进行选择。这些库的用户可以更容易地切换框架，而不会被特定的第三方库锁定。除了多框架支持之外，PintererPy还为任何框架带来了全面的类型注释和对方法链的一致支持。最新的文档可以在https://eagerpy.jonasrauber.de上在线获得，代码可以在GitHub上找到https://github.com/jonasrauber/eagerpy。
2020-08-10 cs.LG cs.MS stat.ML
LibMOON: A Gradient-based MultiObjective OptimizatioN Library in PyTorch
CityUHK（香港城市大学）；HKBU（香港浸会大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）
针对现有 MOPs 基准库依赖零阶进化算法且无法扩展至大规模模型的问题，本文提出首个支持最先进基于梯度方法的多目标优化库 LibMOON，提供公平基准并开源。
2024-10-11 cs.LG cs.MS math.OC
PyRetri: A PyTorch-based Library for Unsupervised Image Retrieval by Deep Convolutional Neural Networks
Megvii Technology（旷视科技）；Nanjing University of Science and Technology（南京理工大学）；Alibaba Group（阿里巴巴集团）
尽管将深度学习方法应用于基于内容的图像检索领域取得了重大进展，但还没有一个软件库以统一的方式涵盖这些方法。为了填补这一空白，我们引入了PyRetri，这是一个基于深度学习的无监督图像检索的开源库。该库将检索过程封装在几个阶段中，并为每个阶段提供涵盖各种主要方法的功能。其设计思想是为基于深度学习的图像检索研究提供一个统一的平台，具有较高的可用性和可扩展性。据我们所知，这是第一个通过深度学习进行无监督图像检索的开源库。
2020-08-05 cs.CV cs.IR cs.LG
Torchattacks: A PyTorch Repository for Adversarial Attacks
Seoul National University（首尔大学）
Torchattacks是一个PyTorch库，包含对抗攻击，用于生成对抗示例并验证深度学习模型的鲁棒性。代码可以在https://github.com/Harry24k/adversarial-attacks-pytorch上找到。
2021-02-19 cs.AI cs.CR cs.LG
TyXe: Pyro-based Bayesian neural nets for Pytorch
University College London（伦敦大学学院）；Facebook（脸书）
我们介绍Typhoon，一个建立在Pytorch和Pyro之上的贝叶斯神经网络库。我们的主要设计原则是干净地分离架构，先验，推理和可能性规范，允许灵活的工作流程，用户可以快速地将这些组件组合起来。与现有的包相比，Typhoon不实现任何层类，而是依赖于通用Pytorch代码中定义的架构。然后，Typhoon为规范先验、变分指导、推理技术和层选择提供模块化选择，以用于指定架构的贝叶斯处理。减少方差的采样技巧，如局部重新参数化或flipout，作为效果处理程序实现，可以独立于其他规范应用。我们展示了Typhoon的易用性，可以从各种库中探索流行模型的贝叶斯版本：使用纯Pytorch神经网络的玩具回归;使用Torchvision ResNets的大规模图像分类;基于DGL的图形神经网络;以及基于Pytorch 3D构建的神经辐射场。最后，我们提供了方便的变分持续学习的抽象。在所有情况下，从确定性到贝叶斯神经网络的变化都对现有代码进行了最小的修改，为广泛的研究人员和实践者提供了实际的不确定性估计技术。该库可在https://github.com/TyXe-BDL/TyXe上查阅。
2021-10-01 cs.LG stat.ML
Kaolin: A PyTorch Library for Accelerating 3D Deep Learning Research
NVIDIA（英伟达）；Mila（米拉研究所）；McGill University（麦吉尔大学）；Vector Institute（向量研究所）；University of Toronto（多伦多大学）；Université de Montréal（蒙特利尔大学）
我们介绍了Kaolin，一个旨在加速3D深度学习研究的PyTorch库。Kaolin提供了用于深度学习系统的可微分3D模块的有效实现。通过加载和预处理几个流行的3D数据集的功能，以及操纵网格、点云、带符号距离函数和体素网格的本地函数，Kaolin减少了编写浪费的样板代码的需要。Kaolin将几个不同的图形模块打包在一起，包括渲染、照明、着色和视图扭曲。高岭土还支持一系列损失函数和评估指标，用于无缝评估，并提供可视化功能以呈现3D结果。重要的是，我们策划了一个全面的模型动物园，包括许多最先进的3D深度学习架构，作为未来研究工作的起点。Kaolin作为开源软件可在https://github.com/NVIDIAGameWorks/kaolin/上获得。
2019-11-13 cs.CV cs.LG cs.RO
iSpLib: A Library for Accelerating Graph Neural Networks using Auto-tuned Sparse Operations
Indiana University Bloomington（印第安纳大学伯明顿分校）
提出基于PyTorch的C++库iSpLib，通过自动调优稀疏操作和启用缓存的反向传播加速GNN训练，仅需两行代码即可集成，在CPU上实现高达27倍训练加速。
2024-03-21 cs.DC cs.LG cs.PF
Nerva: a Truly Sparse Implementation of Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）
本文介绍了C++开发的快速神经网络库Nerva，通过利用Intel MKL的稀疏矩阵操作支持稀疏性并消除二值掩码需求，在保持与PyTorch同等精度的同时显著减少训练时间和内存使用，在高稀疏度下大幅提升运行效率。
2024-07-24 cs.LG
PyEPO: A PyTorch-based End-to-End Predict-then-Optimize Library for Linear and Integer Programming
Department of Mechanical and Industrial Engineering, University of Toronto（机械与工业工程系，多伦多大学）
PyEPO是一种基于PyTorch的端到端预测-然后优化库，用于线性和整数规划，提供用户友好的接口和先进的算法，通过实验比较不同方法并讨论未来研究的启示。
2026-04-17 cs.LG math.OC
FlashPDE: A Drop-In Fused Triton Operator Library for Neural PDE Solvers
School of Mathematical Sciences, Beijing Normal University（北京师范大学数学科学学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
研究针对物理信息神经网络求解偏微分方程时的局限，提出FlashPDE库，用可微Triton内核取代PyTorch有限差分执行，集成多种功能。实验表明其能大幅减少内存使用和内核启动次数，实现加速，为PDE求解与GPU计算搭建高效执行层。
2026-07-27 cs.LG cs.MS
PyTorch Geometric Temporal: Spatiotemporal Signal Processing with Neural Machine Learning Models
AstraZeneca（阿斯利康）；University of Cambridge（剑桥大学）；University of Oxford（牛津大学）；École Polytechnique（巴黎综合理工学院）；Ernst-Abbe University for Applied Sciences（恩斯特·阿贝应用科学大学）；IT University of Copenhagen（哥本哈根信息技术大学）；Central European University（中欧大学）；ELKH SZTAKI（匈牙利科学院计算机科学与控制研究所）；Tryolabs；Pedal Me；The University of Edinburgh（爱丁堡大学）
我们提出了PyTorch Geometric Temporal，这是一个深度学习框架，结合了最先进的机器学习算法，用于神经时空信号处理。该库的主要目标是在一个统一的易于使用的框架中为研究人员和机器学习从业者提供时态几何深度学习。PyTorch Geometric Temporal是在PyTorch生态系统中现有库的基础上创建的，简化了神经网络层定义，用于数据挖掘的时态快照生成器，以及集成的基准数据集。这些功能说明了一个教程般的案例研究。实验证明了在库中实现的模型对现实世界问题的预测性能，如流行病学预测，乘车需求预测和网络流量管理。我们的运行时的敏感性分析表明，该框架可以潜在地操作具有丰富的时间特征和空间结构的网络规模的数据集。
2021-06-10 cs.AI cs.LG cs.SI
UncertaintyPlayground: A Fast and Simplified Python Library for Uncertainty Estimation
University of Lausanne（洛桑大学）
本文介绍了基于PyTorch和GPyTorch的Python库UncertaintyPlayground，通过SVGPRs和MDN实现监督学习中的快速不确定性估计与预测区间可视化，并提供跨平台持续集成与完善文档。
2023-10-23 cs.LG stat.ML
McTorch, a manifold optimization library for deep learning
Microsoft（微软）；The University of Electro-Communications（电气通信大学）
在本文中，我们介绍了McTorch，这是一个用于深度学习的流形优化库，它扩展了PyTorch。它旨在为希望在深度学习应用程序中使用多种约束的用户降低障碍，即，当参数被约束为位于流形上时。这些约束包括流行的正交性和秩约束，并且最近已在深度学习的许多应用中使用。McTorch遵循PyTorch的架构，并简化了流形定义和优化器，即，一旦添加了新的歧管，它就可以与任何现有的优化器一起使用，反之亦然。McTorch可在https://github.com/mctorch上获得。
2018-10-04 cs.AI cs.LG stat.ML
Tianshou: a Highly Modularized Deep Reinforcement Learning Library
Tsinghua University（清华大学）；Wandercraft；Ant Group（蚂蚁集团）
在本文中，我们介绍了Tianshou，这是一个高度模块化的Python库，用于深度强化学习（DRL），使用PyTorch作为后端。天寿打算通过提供灵活可靠的DRL算法基础设施来促进研究。它通过统一的界面支持20多种经典算法的在线和离线训练。为了方便相关研究和证明天寿的可靠性，我们发布了天寿的MuJoCo环境基准测试，涵盖了八种具有最先进性能的经典算法。我们在https://github.com/thu-ml/tianshou/上开源了天寿。
2022-08-10 cs.LG
Scorch: A Library for Sparse Deep Learning
Stanford University（斯坦福大学）；KTH Royal Institute of Technology（瑞典皇家理工学院）
针对现有深度学习框架稀疏操作支持不足的问题，提出可无缝集成到PyTorch的稀疏计算库Scorch，通过编译器栈自动优化与适配运行时，在CPU推理任务上实现1.05-5.78倍于PyTorch Sparse的速度提升，助力稀疏架构探索。
2024-06-20 cs.AI cs.LG cs.MS
torchgpipe: On-the-fly Pipeline Parallelism for Training Giant Models
Kakao Brain；UNIST（蔚山科学技术院）
我们在PyTorch中设计并实现了一个现成的库，用于执行GPipe提出的检查点的微批处理流水线并行（Huang et al.，2019年）。特别是，我们开发了一组设计组件，以在PyTorch的运行定义和渴望执行环境中实现流水线并行梯度计算。我们表明，每个组件是必要的，以充分受益于流水线并行在这样的环境中，并证明了图书馆的效率，通过将其应用到各种网络架构，包括AmoebaNet-D和U-Net。我们的图书馆可以在https://github.com/kakaobrain/torchgpipe上找到。
2020-04-21 cs.DC cs.LG
TorchRadon: Fast Differentiable Routines for Computed Tomography
Università di Pisa（比萨大学）
这项工作提出了TorchRadon -一个开源的CUDA库，其中包含一组可微的例程，用于解决计算机断层扫描（CT）重建问题。该库旨在帮助研究CT问题的研究人员将深度学习和基于模型的方法结合起来。该包是作为PyTorch扩展开发的，可以无缝集成到现有的深度学习训练代码中。与现有的Astra Radon相比，TorchRadon的速度快了125倍。TorchRadon实现的运算符允许使用PyTorch backward（）计算梯度，因此可以很容易地插入到现有的神经网络架构中。由于其速度和GPU支持，TorchRadon也可以有效地用作实现迭代算法的快速后端。本文介绍了该库的主要功能，与现有库的结果进行比较，并提供了使用的例子。
2020-09-29 cs.CV cs.LG eess.IV
ChemicalX: A Deep Learning Library for Drug Pair Scoring
AstraZeneca（阿斯利康）；Harvard Medical School（哈佛医学院）；Vanderbilt University（范德堡大学）
在本文中，我们介绍了ChemicalX，这是一个基于PyTorch的深度学习库，旨在提供一系列最先进的模型来解决药物对评分任务。该库的主要目标是使机器学习研究人员和从业者能够在简化的框架中访问深度药物对评分模型。ChemicalX的设计重用了PyTorch生态系统中现有的高级模型训练实用程序，几何深度学习和深度化学层。我们的系统为最终用户提供了神经网络层、自定义配对评分架构、数据加载器和批处理迭代器。我们通过示例代码片段和案例研究来展示这些功能，以突出ChemicalX的特性。一系列关于真实世界药物相互作用、多种药物副作用和组合协同作用预测任务的实验表明，ChemicalX中可用的模型在解决配对评分任务方面是有效的。最后，我们证明了ChemicalX可用于在大型药物对数据集上对训练和评分机器学习模型，这些数据集在商品硬件上具有数十万种化合物。
2022-05-26 cs.AI cs.LG
MiniTensor: A Lightweight, High-Performance Tensor Operations Library
Independent Researcher（独立研究者）
MiniTensor是一个轻量且高性能的张量操作库，结合Python API和Rust引擎，提供高效的张量运算和微分功能，包大小远小于主流框架。
2026-01-27 cs.AI cs.LG cs.MS
SaLinA: Sequential Learning of Agents
Facebook（脸书）
SaLinA是一个简单的库，可以轻松实现复杂的顺序学习模型，包括强化学习算法。它是作为PyTorch的扩展构建的：使用\SALINA{}编码的算法可以在几分钟内被PyTorch用户理解并轻松修改。此外，SaLinA在训练和测试时自然地与多个CPU和GPU一起工作，因此非常适合大规模训练用例。与现有的RL库相比，SaLinA的采用成本非常低，并且可以捕获各种设置（基于模型的RL，批量RL，分层RL，多代理RL等）。但是SaLinA不仅针对RL实践者，它还旨在为任何深度学习程序员提供顺序学习功能。
2021-10-15 cs.AI cs.LG
LeetDecoding: A PyTorch Library for Exponentially Decaying Causal Linear Attention with CUDA Implementations
Hong Kong Baptist University（香港浸会大学）；East China Normal University（华东师范大学）；Southern University of Science and Technology（南方科技大学）
针对指数衰减因果线性注意力缺乏统一复杂度认识、方法汇集与 GPU 实现的问题，本文提出 PyTorch 库 LeetDecoding，提供可便捷集成、基准测试与评估的计算例程和 CUDA 推理支持。
2025-01-05 cs.CL cs.LG cs.MS
TorchDIVA: An Extensible Computational Model of Speech Production built on an Open-Source Machine Learning Library
Arizona State University（亚利桑那州立大学）
DIVA模型是一种言语运动控制的计算模型，它将负责言语产生的大脑区域的模拟与人类声道的模型相结合。该模型目前在Matlab Simulink中实现;然而，这并不理想，因为大多数语音技术研究的开发都是在Python中完成的。这意味着Python生态系统中有大量的机器学习工具可以免费使用，但这些工具无法轻松与DIVA集成。我们介绍TorchDIVA，这是使用PyTorch张量在Python中完全重建的DIVA。DIVA源代码直接从Matlab转换为Python，内置的Simulink信号块从头开始实现。实施后，每个模块的准确性进行了评估，通过系统的逐块验证。TorchDIVA模型所产生的输出与原始DIVA模型的输出非常匹配，两者之间的差异可以忽略不计。我们还提出了一个例子的TorchDIVA作为一个研究平台的可扩展性。TorchDIVA中的语音质量增强是通过与现有的PyTorch生成声码器DiffWave集成实现的。修改后的DiffWave梅尔频谱上采样器在人类语音波形上进行训练，并以TorchDIVA语音产生为条件。结果表明，与基线相比，DiffWave增强的输出中的语音质量指标有所改善。这种增强在原始的Matlab实现中是很难或不可能实现的。这一概念验证证明了TorchDIVA将为研究社区带来的价值。研究人员可以在以下网址下载新的实现：https://github.com/skin…
2022-10-17 cs.LG cs.SD eess.AS
rlpyt: A Research Code Base for Deep Reinforcement Learning in PyTorch
University of California, Berkeley（加州大学伯克利分校）
自从最近出现用于游戏和模拟机器人控制的深度强化学习以来，大量新算法蓬勃发展。大多数是无模型算法，可以分为三个家族：深度Q学习，策略梯度和Q值策略梯度。这些都是沿着不同的研究方向发展的，因此很少有代码库（如果有的话）包含所有三种类型。然而，这些算法共享一个共同的深度强化学习机制的很大深度。我们很高兴分享rlpyt，它在一个单一的存储库中，在一个共享的、优化的基础设施之上实现了所有三个算法家族。它包含使用PyTorch（一个领先的深度学习库）在Python中实现的许多常见深度RL算法的模块化实现。rlpyt被设计为一个高吞吐量的代码库，用于深度RL中的中小规模研究。本白皮书总结了它的功能、实现的算法以及与以前工作的关系，最后给出了详细的实现和使用说明。rlpyt可在https://github.com/astooke/rlpyt上获得。
2019-09-24 cs.AI cs.LG
JaxPruner: A concise library for sparsity research
Ohio State University（俄亥俄州立大学）；Google Research（谷歌研究院）
该研究推出基于JAX的开源剪枝与稀疏训练库JaxPruner，采用统一API、兼容Optax，可低开销实现主流稀疏算法，已在四个代码库验证集成便捷性并提供基准基线。
2023-12-19 cs.LG cs.SE
