Scalable GPU-Accelerated Euler Characteristic Curves: Optimization and Differentiable Learning for PyTorch
本文提出优化GPU内核与可微PyTorch层，实现欧拉特征曲线计算16-2000倍加速，支持端到端学习，并探讨下游应用与扩展。
2025-10-23 cs.LG
DRTriton: Large-Scale Synthetic Data Driven Reinforcement Learning for Triton Kernel Generation
Texas A&M University（德克萨斯大学）
提出DRTriton框架，通过合成数据生成、课程强化学习和测试时搜索，训练LLM将PyTorch程序转换为优化的Triton内核，在KernelBench Level 2任务中超越GPT-5.2和Claude-Sonnet-4.5。
2026-05-26 cs.CL cs.LG
Pruning Binarized Neural Networks: A Dedicated Framework and Globally Weighted Algorithms
Polytechnique Montreal（蒙特利尔理工学院）
本文针对二值化神经网络剪枝适配问题，提出基于PyTorch的专用框架及全局加权剪枝算法，在VGG11二值化模型上实现70%剪枝率且准确率不变，优于现有最优结果。
2026-08-28 cs.LG
Efficient Neural Network Deployment for Microcontroller
Stanford University（斯坦福大学）
神经网络的边缘计算变得越来越重要，特别是对于低功耗应用和离线设备。TensorFlow Lite和PyTorch Mobile就是为此而发布的。但它们主要支持移动设备，而不是微控制器级别。微控制器支持现在是一个新兴领域。有许多方法可以减少网络大小和计算负载，例如修剪、二值化和层操作（即运算符重新排序）。本文将探索和推广用于微控制器的卷积神经网络部署，并提出两种新的优化方案，以节省内存并提高2D卷积和全连接层的计算效率。第一个是就地最大池化，如果步幅大于或等于池化内核大小。第二个优化是在层之间使用乒乓缓冲区，以显著降低内存消耗。内存节省和性能将与为ARM Cortex-M CPU开发的CMSIS-NN框架进行比较。最终目的是开发一个使用PyTorch模型的工具，该模型具有经过训练的网络权重，它可以变成C/C++中的优化推理引擎（正向传递），用于低内存（字节级）和有限的计算能力微控制器。
2020-07-02 cs.AR cs.LG
FlashPDE: A Drop-In Fused Triton Operator Library for Neural PDE Solvers
School of Mathematical Sciences, Beijing Normal University（北京师范大学数学科学学院）；Beijing University of Posts and Telecommunications（北京邮电大学）
研究针对物理信息神经网络求解偏微分方程时的局限，提出FlashPDE库，用可微Triton内核取代PyTorch有限差分执行，集成多种功能。实验表明其能大幅减少内存使用和内核启动次数，实现加速，为PDE求解与GPU计算搭建高效执行层。
2026-07-27 cs.LG cs.MS
SoftDTW-CUDA-Torch: Memory-Efficient GPU-Accelerated Soft Dynamic Time Warping for PyTorch
The Faculty of Computer and Information Science Ben-Gurion University of the Negev（计算机与信息科学学院贝京大学）
SoftDTW-CUDA-Torch通过GPU加速实现高效的软动态时间规整，解决内存消耗和数值稳定性问题，支持任意序列长度和PyTorch自动求导。
2026-02-19 cs.LG
Benchmarking the Linear Algebra Awareness of TensorFlow and PyTorch
RWTH Aachen University（亚琛工业大学）；Umeå Universitet（于默奥大学）
在机器学习中普遍存在的线性代数运算形成了主要的性能瓶颈。高性能计算社区在开发特定于体系结构的优化内核方面投入了大量精力，例如BLAS和LAPACK库提供的内核，以加速线性代数运算。然而，最终用户逐渐不太可能经历直接使用所述内核的容易出错和耗时的过程;相反，诸如TensorFlow（TF）和PyTorch（PyT）之类的框架，它们促进了机器学习应用程序的开发，变得越来越流行。虽然这些框架与BLAS和LAPACK相关联，但尚不清楚它们是否利用线性代数知识来加速计算。出于这个原因，在本文中，我们开发了基准来研究TF和PyT的线性代数优化能力。我们的分析表明，一些线性代数优化仍然缺失;例如，通过应用分配律减少标量运算的数量，以及自动识别矩阵链的最佳括号化。在这项工作中，我们专注于TF和PyT中的线性代数计算;我们都暴露了性能增强的机会，以使框架的开发人员受益，并为最终用户提供如何实现性能增益的指导。
2022-02-20 cs.LG cs.MS cs.PF
KernelBench: Can LLMs Write Efficient GPU Kernels?
Stanford University（斯坦福大学）；Princeton University（普林斯顿大学）
针对编写高效GPU核函数的挑战，提出开源基准KernelBench评估LLMs生成能力，引入fast_p指标，实验显示前沿模型表现最佳但仅20%案例匹配PyTorch基线，迭代反馈可改善结果但基准难度随阈值提升而增加。
2025-02-14 cs.AI cs.LG cs.PF
AutoKernel: Autonomous GPU Kernel Optimization via Iterative Agent-Driven Search
RightNow AI
本文提出AutoKernel框架，通过智能体驱动的迭代搜索优化PyTorch模型的GPU内核，通过自动化测试验证确保性能提升，实测在NVIDIA H100上多个任务中均取得显著性能优势。
2026-03-22 cs.LG cs.PF
Nerva: a Truly Sparse Implementation of Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）
本文介绍了C++开发的快速神经网络库Nerva，通过利用Intel MKL的稀疏矩阵操作支持稀疏性并消除二值掩码需求，在保持与PyTorch同等精度的同时显著减少训练时间和内存使用，在高稀疏度下大幅提升运行效率。
2024-07-24 cs.LG
KernelOPT: Dispatch-Aware Agentic Search for GPU Kernel Optimization
Red Hat（红帽公司）
KernelOPT提出多智能体系统，通过保留库调用并优化Triton子内核，结合四门验证级联，在250个KernelBench问题上实现最高1.40倍加速。
2026-10-07 cs.AI cs.DC cs.LG
Dispatch-Aware Ragged Attention for Pruned Vision Transformers
College of Engineering（工程学院）；Al Ain University（阿恩大学）
本文提出一种轻量双向Triton注意力核，解决视觉变换器剪枝后调度开销瓶颈，提升推理效率。
2026-05-12 cs.AI cs.LG
Faithful and Efficient Explanations for Neural Networks via Neural Tangent Kernel Surrogate Models
Pacific Northwest National Laboratory（太平洋西北国家实验室）；University of California, San Diego（加利福尼亚大学圣迭戈分校）；Courant Institute, NYU（纽约大学柯朗研究所）；Rutgers University（罗格斯大学）；University of Washington（华盛顿大学）；University of Texas, El Paso（德克萨斯大学埃尔帕索分校）
本研究结合可解释AI的代理建模与核函数应用两大趋势，提出新型近似经验神经切线核及两种随机投影变体，验证了其作为神经网络代理模型的有效性，迹NTK性能最优，并配套开源了PyTorch计算工具。
2024-03-11 cs.LG
pySigLib -- Fast Signature-Based Computations on CPU and GPU
Department of Mathematics Imperial College London（数学系帝国理工学院伦敦）
针对序列数据签名方法扩展性不足的问题，提出高性能Python库pySigLib，在CPU和GPU上优化签名及签名核计算，兼容PyTorch自动微分，并引入新微分方案以极低运行时间提供准确梯度。
2025-09-12 cs.LG cs.MS stat.ML
RFFNet: Large-Scale Interpretable Kernel Methods via Random Fourier Features
Federal University of São Carlos（圣卡洛斯联邦大学）；Universidade de São Paulo（圣保罗大学）；Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo（圣保罗大学数学与计算机科学学院）
针对现有可扩展核方法无法消除无关特征影响的问题，该研究为ARD核设计随机傅里叶特征并提出RFFNet，通过一阶随机优化学习核相关性，兼具低内存、低误差和高可解释性，还提供了符合scikit-learn API的PyTorch库与复现代码。
2024-04-12 cs.LG stat.ML
KernelBenchX: A Comprehensive Benchmark for Evaluating LLM-Generated GPU Kernels
本文提出KernelBenchX基准测试，通过176个任务的分类评估，揭示LLM生成GPU内核在正确性和硬件效率上的表现，发现任务结构比方法设计更重要，迭代优化提升正确性但不改善性能，正确性不等于效率，量化问题仍未解决。
2026-05-11 cs.LG cs.PF
Optimizing Data Collection in Deep Reinforcement Learning
University of Toronto（多伦多大学）；Vector Institute（向量研究所）
众所周知，强化学习（RL）工作负载需要很长的训练时间，因为在运行时从模拟器收集了大量的样本。不幸的是，集群扩展方法仍然昂贵，并且模拟器的常用CPU实现在GPU计算之间来回切换时会产生很高的开销。我们探索了两种优化方法，通过提高GPU利用率来提高RL数据汇集效率：（1）GPU矢量化：在GPU上并行化模拟以提高硬件并行性，以及（2）模拟器内核融合：融合多个模拟步骤以在单个GPU中运行内核启动以降低全局内存带宽需求。我们发现，GPU矢量化可以实现高达$1024\times$加速比常用的CPU模拟器。我们分析了不同实现的性能，并表明对于一个简单的模拟器，GPU矢量化的ML编译器实现（XLA）通过减少重复Python到DL后端API调用的CPU开销，通过$13.4\times$优于DNN框架（PyTorch）。我们发现，模拟器内核融合加速与一个简单的模拟器$11.3\times$和增加高达$1024\times$作为模拟器的复杂性增加方面的内存带宽的要求。我们表明，从模拟器内核融合的加速是正交的，并与GPU矢量化相结合，导致乘法加速。
2022-07-15 cs.LG
Silent Failures Beyond the 32-Bit Index Range: A Differential Characterization of Large-Tensor Matrix Multiplication in PyTorch's MPS Backend
Meijo University（名城大学）
本报告发现 PyTorch MPS 后端在张量元素数超过 $2^{32}$ 时进行批量矩阵乘法会静默返回错误结果，并总结了错误规则及防护措施。
2026-09-24 cs.DC cs.LG
Using Logic Programming and Kernel-Grouping for Improving Interpretability of Convolutional Neural Networks
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
提出神经符号框架NeSyFOLD-G，通过核分组算法和RBML算法FOLD-SE-M将CNN最后一层转化为可解释的逻辑规则集，显著减小规则集规模并提升模型可解释性。
2023-10-19 cs.CV cs.LG
Low-Rank Frequency Convolution and Noise-Range Augmentation for Real-Time Pitch Estimation on Edge Devices
Columbia University（哥伦比亚大学）；Recognition Technologies, Inc.（识别技术公司）
针对边缘设备音高估计的约束，将频率卷积网络分解为低秩形式，参数减少35.9%且精度不降，并引入噪声范围增强，同时开发了高效C内核，显著提升推理速度。
2026-09-22 cs.LG cs.SD eess.AS
Question Type Classification Methods Comparison
Stanford University（斯坦福大学）
本文对问题分类任务的最新方法进行了比较研究：Logistic回归，卷积神经网络（CNN），长短期记忆网络（LSTM）和准递归神经网络（QRNN）。所有模型都使用预先训练的GLoVe词嵌入，并在人类标记的数据上进行训练。使用CNN模型实现最佳精度，该模型具有五个卷积层和并行堆叠的各种内核大小，然后是一个完全连接的层。该模型在TREC 10测试集上达到了90.7%的准确率。本文中的所有模型架构都是在PyTorch上从头开始开发的，在少数情况下基于可靠的开源实现。
2020-01-03 cs.AI cs.CL cs.LG
DF-GNN: Dynamic Fusion Framework for Attention Graph Neural Networks on GPUs
Shanghai Jiao Tong University（上海交通大学）；Amazon Web Services（亚马逊网络服务）
针对注意力图神经网络在GPU上训练效率低的问题，本文提出动态内核融合框架DF-GNN，通过动态双层线程调度解决数据移动、启动开销和负载不均衡问题，实现最高7倍加速。
2024-11-25 cs.LG cs.PF
Transactional Python for Durable Machine Learning: Vision, Challenges, and Feasibility
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出事务性 Python 愿景，通过非侵入式对象级监控提供持久性、原子性、可复制性和时间版本化（DART），无需修改代码，开销仅为 1.5%–15.6%。
2023-05-15 cs.DB cs.LG cs.PL
LAB: Learnable Activation Binarizer for Binary Neural Networks
TU Delft（代尔夫特理工大学）；Shell Global Solutions International B.V.（壳牌全球解决方案国际有限公司）
二进制神经网络（BNN）因将耗电量大的深度学习引入边缘设备而受到极大关注。这个领域的传统智慧是使用sign（）来二进制化特征图。我们论证并说明了sign（）是一个唯一性瓶颈，限制了整个网络的信息传播。为了缓解这个问题，我们建议取消sign（），用一个可学习的激活二进制化器（LAB）代替它，允许网络每层学习一个细粒度的二进制化内核-而不是全局阈值。LAB是一种新型通用模块，可以无缝集成到现有架构中。为了证实这一点，我们将其插入到四个开创性的BNN中，并以可容忍的延迟和复杂性增加为代价，显示出相当大的性能提升。最后，我们围绕LAB构建了一个端到端的BNN（称为LAB-BNN），并证明它在ImageNet上实现了与最先进水平相当的竞争性能。
2022-10-25 cs.AI cs.CV cs.LG
On Efficient Scaling of GNNs via IO-Aware Layers Implementations
HSE University（俄罗斯高等经济大学）；ITMO University（ITMO大学）
针对GNN中稀疏不规则内存访问瓶颈，提出三种GPU内核族（SpMM卷积、归约聚合、注意力层）以减少数据移动并提升局部性，在真实图上实现高达8.5倍加速和76倍内存降低。
2026-05-29 cs.AI cs.LG
SparAMX: Accelerating Compressed LLMs Token Generation on AMX-powered CPUs
Cornell University（康奈尔大学）；Intel Labs（英特尔实验室）
针对大语言模型推理解码阶段的内存受限问题，提出SparAMX方法，利用Intel CPU的AMX扩展与非结构化稀疏性优化线性层和注意力计算，在不损失准确性的情况下，实现PyTorch中压缩LLMs token生成延迟降低1.14-1.42倍，提升CPU运行LLMs的效率。
2025-02-18 cs.AI cs.AR cs.LG
Attention at the Theoretical Minimum: A Mathematics of Arrays Framework for Memory-Optimal Transformer Kernels
University at Albany（奥尔巴尼大学）；Université Paris-Est Créteil（巴黎东大学克雷泰伊分校）
提出基于数组数学（MoA）的缩放点积注意力重表述，通过代数构造消除所有中间数组，实现O(n dk + n dv)数据移动，相比标准实现O(n^2 + n dk + n dv)显著降低内存流量，并验证了数值精度。
2026-06-05 cs.AI cs.LG cs.PF
DanLing NestedTensor: Composable Multi-Ragged Tensors for Deep Learning
DanLing Team（丹灵团队）
提出DanLing NestedTensor张量抽象，将多参差结构内建于张量本身，支持广播、变换和归约，在A100上实现2.74-3.39倍加速，峰值分配从38.08降至5.41 GiB。
2026-09-28 cs.AI cs.LG cs.PF
HUGE2: a Highly Untangled Generative-model Engine for Edge-computing
University of California（加利福尼亚大学）
生成模型作为深度学习的一个重要研究方向，近年来得到了广泛的研究。深度学习模型的两个研究分支，生成网络（GANs，VAE）和语义分割，高度依赖于上采样操作，特别是转置卷积和扩张卷积。然而，这两种类型的卷积在输入特征图或内核中分别插入零方面本质上不同于标准卷积。这种独特的性质严重降低了现有深度学习引擎或框架的性能，例如Darknet，Tensorflow和PyTorch，它们主要是为标准卷积开发的。深度学习领域的另一个趋势是将模型部署到边缘/嵌入式设备上，其中内存资源是稀缺的。在这项工作中，我们提出了一个用于边缘计算的高度解纠缠生成模型引擎或HUGE 2，用于通过分解内核并通过执行基本矩阵乘法解开这些较小的卷积来加速边缘计算平台上的这两个特殊卷积。我们提出的方法使用更小的内存占用，因此更少的内存访问，和数据访问模式也大大增加了缓存中已经获取的数据的可重用性，从而增加了缓存的本地化。我们的引擎在嵌入式CPU上实现了近5倍的加速，在嵌入式GPU上实现了约10倍的加速，并减少了50%以上的内存访问。
2021-05-08 cs.CV cs.LG eess.IV
Slapo: A Schedule Language for Progressive Optimization of Large Deep Learning Model Training
Cornell University（康奈尔大学）；Boson AI, Inc（玻色人工智能公司）；Amazon Web Services（亚马逊云服务）
提出调度语言Slapo，将PyTorch模型执行与定义解耦，通过高级原语渐进式优化训练，提升吞吐量达2.92倍（单机）和1.41倍（多机）。
2023-12-23 cs.LG
Nimble: Lightweight and Parallel GPU Task Scheduling for Deep Learning
Seoul National University（首尔国立大学）
深度学习（DL）框架利用GPU来提高DL推理和训练的速度。理想情况下，DL框架应该能够充分利用GPU的计算能力，使得运行时间取决于分配给GPU的计算量。然而，我们观察到，在调度GPU任务时，现有的DL框架存在效率低下的问题，例如较大的调度开销和不必要的串行执行。为此，我们提出了Nimble，这是一个DL执行引擎，可以以最小的调度开销并行运行GPU任务。Nimble引入了一种称为提前（AoT）调度的新技术。这里，调度过程在执行GPU内核之前完成，从而在运行时间期间去除大部分调度开销。此外，Nimble通过在单个GPU中利用多个GPU流来自动并行执行GPU任务。对各种神经网络的评估表明，与PyTorch相比，Nimble的推理和训练速度分别提高了22.34 $\times$和3.61 $\times$。此外，Nimble的性能比最先进的推理系统TensorRT和TVM分别高出2.81 $\times$和1.70 $\times$。
2020-12-04 cs.DC cs.LG
PDE-based Group Equivariant Convolutional Neural Networks
Eindhoven University of Technology（埃因霍温理工大学）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一个基于偏微分方程的框架，推广组等变卷积神经网络（G-CNN）。在这个框架中，网络层被视为一组PDE求解器，其中几何上有意义的PDE系数成为层的可训练权重。在齐次空间上制定我们的偏微分方程允许这些网络设计有内置的对称性，例如除了CNN的标准平移等方差之外的旋转。在设计中包含所有所需的对称性消除了通过诸如数据增强之类的昂贵技术来包含它们的需要。我们将在一般的齐次空间设置中讨论我们基于PDE的G-CNN（PDE-G-CNN），同时还将讨论我们感兴趣的主要情况的细节：旋转平移等方差。我们解决了PDE的利益相结合的线性群卷积和非线性形态群卷积与分析核近似，我们支持正式定理。我们的内核近似允许快速通过GPU实现偏微分方程求解器，我们以PyTorch的LieTorch扩展的形式在本文中发布了我们的实现，可在https://gitlab.com/bsmetsjr/lietorch上获取。就像线性卷积一样，形态卷积由我们在PDE-G-CNN中训练的内核指定。在PDE-G-CNN中，我们不使用非线性，如最大/最小池和ReLU，因为它们已经被形态卷积所包含。我们提出了一组实验来证明所提出的PDE-G-CNN在提高基于深度学习的成像应用的性能方面的优势，其参数远少于传统CNN。
2022-05-30 cs.CV cs.LG math.DG
FeCaffe: FPGA-enabled Caffe with OpenCL for Deep Learning Training and Inference on Intel Stratix 10
Intel Corporation（英特尔公司）
近年来，深度学习和卷积神经网络（CNN）在学术和工业领域变得越来越受欢迎和重要，因为与传统方法相比，它们能够提供更好的准确性，并在分类，检测和识别领域产生更好的结果。目前，市场上有许多流行的深度学习开发框架，如Caffe，TensorFlow，Pytorch，大多数框架原生支持CPU，默认情况下将GPU视为主线加速器。FPGA设备被视为潜在的异构平台，仍然不能为流行框架中的CNN开发提供全面的支持，特别是对训练阶段。在本文中，我们首先提出了FeCaffe，即FPGA使能的Caffe，一种基于Caffe的分层软硬件设计方法，使FPGA能够支持主线深度学习开发特性，例如使用Caffe进行训练和推理。此外，本文还以经典的CNN网络为例，给出了FeCaffe的一些性能测试，并对内核执行时间进行了详细分析。最后，从FPGA内核设计、系统流水线、网络架构、用例应用、异构平台等方面提出了FeCaffe性能和效率的优化方向。实验结果表明，FeCaffe能够在CNN网络训练和推理过程中分别支持几乎所有的功能，具有高度的设计灵活性、可扩展性和可重用性，可用于深度学习开发。与之前的研究相比，我们的架构可以支持更多的网络和训练设置，当前配置可以分别为LeNet实现6.4倍和8.4倍的向前和向后平均执行时间改进。
2019-11-18 cs.DC cs.LG
Accelerating Machine Learning Systems via Category Theory: Applications to Spherical Attention for Gene Regulatory Networks
Laboratory for Information and Decision Systems, Massachusetts Institute of Technology（信息与决策系统实验室，麻省理工学院）；SyntheticGestalt（SyntheticGestalt公司）；School of Informatics, Nagoya University（信息学院，名古屋大学）
本文利用基于范畴论的神经电路图推导面向基因调控网络的 spherical attention 与 FlashSign 内核，在 A100 上媲美 FlashAttention，性能达 PyTorch 的 3.6 倍。
2025-05-14 cs.LG math.CT q-bio.MN
