PyLightcurve-torch: a transit modelling package for deep learning applications in PyTorch
University College London(伦敦大学学院)
我们提出了一个新的开源Python包,基于PyLightcurve和PyTorch,专为高效计算和自动区分系外行星凌日而量身定制。实现的类和函数是完全矢量化的,原生GPU兼容,并且相对于恒星和行星参数是可微分的。这使得PyLightcurve-torch适用于传统的过境前向计算,但也扩展了可能的应用范围,其中推理和优化算法需要访问物理模型的梯度。这一努力旨在促进深度学习在系外行星研究中的应用,其动机是不断增加的恒星光变曲线数据以及各种改进检测和表征技术的激励措施。
2020-12-28 astro-ph.EP astro-ph.IM cs.LG
PiShield: A PyTorch Package for Learning with Requirements
University of Oxford(牛津大学);Vienna University of Technology(维也纳技术大学)
针对深度学习模型输出常难满足安全约束的问题,提出首个可将约束整合进神经网络拓扑的PyTorch包PiShield,支持推理/训练阶段按需整合约束且保证合规,并探索了三个应用场景。
2024-05-14 cs.AI cs.LG cs.LO
RcTorch: a PyTorch Reservoir Computing Package with Automated Hyper-Parameter Optimization
John A. Paulson School of Engineering and Applied Sciences(约翰·A·保尔森工程与应用科学学院);Harvard University(哈佛大学)
水库计算机(RC)是所有神经网络中训练最快的,特别是与其他递归神经网络相比。RC具有这一优势,同时仍然非常好地处理顺序数据。然而,RC采用落后于其他神经网络模型,因为该模型的超参数(HP)的敏感性。一个现代统一的软件包,自动调整这些参数是从文献中失踪。手动调整这些数字是非常困难的,并且传统网格搜索方法的成本随着所考虑的HP的数量呈指数级增长,从而阻碍了RC的使用并且限制了可以设计的RC模型的复杂性。我们通过引入RcTorch来解决这些问题,RcTorch是一个基于PyTorch的RC神经网络包,具有自动HP调优功能。在这里,我们证明了实用程序的RcTorch使用它来预测复杂的动态驱动摆受到不同的力量。这项工作包括编码示例。示例Python编译器笔记本可以在GitHub存储库https://github.com/blindedjoy/RcTorch上找到,文档可以在https://rctorch.readthedocs.io/上找到。
2022-07-12 cs.LG cs.NE physics.app-ph
gfnx: Fast and Scalable Library for Generative Flow Networks in JAX
École Polytechnique(巴黎政治学院);HSE University(俄罗斯高等经济大学);Constructor University(Constructor大学)
gfnx是基于JAX的生成流网络快速可扩展库,提供多种环境和度量标准,显著提升训练和评估效率。
2025-11-20 cs.LG
TorchDCM: A Unified PyTorch-Native Package for Discrete Choice Modeling
Tsinghua University(清华大学);Zhejiang University(浙江大学)
TorchDCM是基于PyTorch的开源离散选择建模软件包,覆盖Biogeme和Apollo的主要功能,在合成与真实数据实验中速度远超同类工具,为相关建模提供可扩展可复现的基础。
2026-08-21 cs.LG stat.ML
LeetDecoding: A PyTorch Library for Exponentially Decaying Causal Linear Attention with CUDA Implementations
Hong Kong Baptist University(香港浸会大学);East China Normal University(华东师范大学);Southern University of Science and Technology(南方科技大学)
针对指数衰减因果线性注意力缺乏统一复杂度认识、方法汇集与 GPU 实现的问题,本文提出 PyTorch 库 LeetDecoding,提供可便捷集成、基准测试与评估的计算例程和 CUDA 推理支持。
2025-01-05 cs.CL cs.LG cs.MS
Torch-Choice: A PyTorch Package for Large-Scale Choice Modeling with Python
Stanford University(斯坦福大学)
本文介绍基于PyTorch的开源选择建模库torch-choice,其通过ChoiceDataset高效管理数据、支持多项与嵌套Logit模型及GPU加速,并在大规模数据上展现出优于R中mlogit的计算效率和可扩展性。
2025-06-03 cs.LG cs.MS econ.EM
PyTorch Geometric Signed Directed: A Software Package on Graph Neural Networks for Signed and Directed Graphs
University of Oxford(牛津大学);Michigan State University(密歇根州立大学);Southwest University(西南大学);Isomorphic Labs(同构实验室);The Alan Turing Institute(艾伦·图灵研究所)
本文提出 PyGSD 软件包,为带符号与有向图提供统一的 GNN 模型、数据、评估指标和损失函数,并通过实验为方法选择提供指导。
2023-11-23 cs.AI cs.LG cs.SI
Geoopt: Riemannian Optimization in PyTorch
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);HSE University(高等经济学院)
Geoopt是一个面向研究的模块化开源包,用于PyTorch中的黎曼优化。Geoopt的核心是一个标准的流形接口,允许通用的优化算法的实施。Geoopt支持基本的黎曼SGD以及自适应优化算法。Geoopt还为支持的流形提供了几种算法和算术方法,这些算法和算术方法允许组成可以与现有模型集成的几何感知神经网络层。
2020-07-17 cs.CG cs.LG
HetSeq: Distributed GPU Training on Heterogeneous Infrastructure
University of Notre Dame(圣母大学)
像PyTorch和Tensorflow这样的现代深度学习系统能够在分布式基础设施上训练具有数十亿(或数万亿)参数的巨大模型。这些系统要求内部节点具有相同的内存容量和计算性能。不幸的是,大多数组织,尤其是大学,都采用零敲碎打的方法来购买计算机系统,从而导致异构的基础设施,无法用于计算大型模型。目前的工作描述了HetSeq,一个软件包改编自流行的PyTorch包,提供了在异构基础设施上训练大型神经网络模型的能力。使用Transformer翻译和BERT语言模型的实验表明,HetSeq可在异构系统上扩展。HetSeq可以很容易地扩展到其他模型,如图像分类。包含支持文档的软件包可在https://github.com/yifding/hetseq上公开获取。
2020-09-25 cs.DC cs.LG
TorchBeast: A PyTorch Platform for Distributed RL
Facebook AI Research(Facebook人工智能研究院);University of Oxford(牛津大学);Imperial College London(帝国理工学院);University College London(伦敦大学学院)
TorchBeast是PyTorch中用于强化学习(RL)研究的平台。它实现了流行的IMPALA算法的一个版本,用于RL代理的快速,异步,并行训练。此外,TorchBeast将简单性作为明确的设计目标:我们提供了纯Python实现(“MonoBeast”)以及多机器高性能版本(“PolyBeast”)。在后者中,部分实现是用C++编写的,但与机器学习有关的所有部分都使用PyTorch保存在简单的Python中,并使用OpenAI Gym接口提供环境。这使研究人员能够使用TorchBeast进行可扩展的RL研究,而无需Python和PyTorch之外的任何编程知识。在本文中,我们描述了TorchBeast的设计原理和实现,并证明它与Atari上的IMPALA不相上下。TorchBeast在Apache 2.0许可下作为开源软件包发布,可在\url{https://github.com/facebookresearch/torchbeast}上获得。
2019-10-08 cs.LG stat.ML
PyTorch Distributed: Experiences on Accelerating Data Parallel Training
Facebook AI;University of Warsaw(华沙大学)
本文介绍了PyTorch分布式数据并行模块的设计、实现和评估。PyTorch是一个广泛采用的科学计算包,用于深度学习研究和应用。深度学习的最新进展证明了大型数据集和大型模型的价值,这需要将模型训练扩展到更多计算资源的能力。数据并行由于其简单的原理和广泛的适用性而成为分布式训练的流行解决方案。通常,分布式数据并行技术在每个计算资源上复制模型以独立地生成梯度,然后在每次迭代时传递这些梯度以保持模型副本一致。尽管该技术在概念上很简单,但计算和通信之间的微妙依赖关系使得优化分布式训练效率变得非常重要。从v1.5开始,PyTorch原生地提供了几种技术来加速分布式数据并行,包括分级梯度,重叠计算与通信,以及跳过梯度同步。评估表明,在适当配置时,PyTorch分布式数据并行模块使用256个GPU实现了接近线性的可扩展性。
2020-06-28 cs.DC cs.LG
Kaolin: A PyTorch Library for Accelerating 3D Deep Learning Research
NVIDIA(英伟达);Mila(米拉研究所);McGill University(麦吉尔大学);Vector Institute(向量研究所);University of Toronto(多伦多大学);Université de Montréal(蒙特利尔大学)
我们介绍了Kaolin,一个旨在加速3D深度学习研究的PyTorch库。Kaolin提供了用于深度学习系统的可微分3D模块的有效实现。通过加载和预处理几个流行的3D数据集的功能,以及操纵网格、点云、带符号距离函数和体素网格的本地函数,Kaolin减少了编写浪费的样板代码的需要。Kaolin将几个不同的图形模块打包在一起,包括渲染、照明、着色和视图扭曲。高岭土还支持一系列损失函数和评估指标,用于无缝评估,并提供可视化功能以呈现3D结果。重要的是,我们策划了一个全面的模型动物园,包括许多最先进的3D深度学习架构,作为未来研究工作的起点。Kaolin作为开源软件可在https://github.com/NVIDIAGameWorks/kaolin/上获得。
2019-11-13 cs.CV cs.LG cs.RO
TorchAudio: Building Blocks for Audio and Speech Processing
Meta AI
本文档描述了TorchAudio 0.10版本:音频和语音处理领域中机器学习应用的构建块。TorchAudio的目标是通过提供现成的构建模块,为研究人员和工程师加速机器学习应用程序的开发和部署。构建块设计为GPU兼容、自动区分和生产就绪。TorchAudio可以从Python包索引存储库轻松安装,源代码可以在BSD-2条款许可证(截至2021年9月)下在www.example.com上公开获取。在本文档中,我们概述了TorchAudio的设计原理、功能和基准测试。我们还对几种音频和语音操作和模型的实现进行了基准测试。我们通过基准测试验证了我们的各种操作和模型的实现是有效的,并且与其他公开可用的实现类似。
2022-02-16 cs.SD eess.AS
MLPGradientFlow: going with the flow of multilayer perceptrons (and finding minima fast and accurately)
MLPconvenentFlow是数值求解梯度流微分方程$\dot θ= -\nabla \mathcal L(θ; \mathcal D)$的软件包,其中$θ$是多层感知器的参数,$\mathcal D$是某个数据集,而$\nabla \mathcal L$是损失函数的梯度。我们数值计算表明,自适应的一阶或高阶积分方法的基础上龙格库塔计划有更好的精度和收敛速度比梯度下降与亚当优化。然而,我们发现牛顿的方法和近似BFGS更好地找到固定点(局部和全局最小值的$\mathcal L$)有效和准确。对于小型网络和数据集,梯度的计算速度通常比pytorch快,Hessian的计算速度至少快$5\times$。此外,该软件包还提供了一个师生设置的积分器,该积分器具有无偏的两层网络,该网络在无限数据的限制下使用标准高斯输入进行训练。该代码可在https://github.com/jbrea/MLPGradientFlow.jl上访问。
2023-01-25 cs.LG
MLMOD: Machine Learning Methods for Data-Driven Modeling in LAMMPS
University of California Santa Barbara(加州大学圣巴巴拉分校)
MLMOD是一个软件包,将神经网络等机器学习方法整合到LAMMPS微观力学和分子动力学模拟中,用于学习系统动力学、相互作用及特征的数据驱动模型。
2023-10-21 cond-mat.mes-hall cond-mat.soft cs.LG
A Comprehensive Guide to Combining R and Python code for Data Science, Machine Learning and Reinforcement Learning
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文介绍如何通过R的reticulate包结合R与Python,利用Python的机器学习库和R的统计功能,提升数据科学、机器学习和强化学习项目的开发效率。
2024-07-19 cs.LG cs.PL
pyWATTS: Python Workflow Automation Tool for Time Series
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
时间序列数据是各种应用的基础,从金融市场到能源系统。由于其重要性,用于时间序列分析的工具和方法的数量和复杂性不断增加。然而,由于API不明确和缺乏文档,研究人员很难将其整合到他们的研究项目中并复制结果。此外,在时间序列分析中,存在许多重复性的任务,这些任务通常在每个项目中重新执行,不必要地花费时间。为了解决这些问题,我们提出了\texttt{pyWATTS},一个开源的基于Python的包,是一个非顺序的工作流自动化工具的时间序列数据的分析。pyWATTS包括具有明确定义的接口的模块,以实现新方法或现有方法的无缝集成,子流水线以轻松再现重复性任务,加载和保存功能以简单地复制结果,以及对关键Python机器学习库(如scikit-learn,PyTorch和Keras)的本地支持。
2021-06-18 cs.LG