GPU Memory Prediction for Multimodal Model Training
Korea University(韩国大学);KT Corporation(KT公司)
本文提出了一种用于多模态模型训练的GPU内存预测框架,通过分解模型结构和分析训练行为,实现了高精度的内存预测。
2025-11-26 cs.AI cs.DC cs.LG
LCT: Losslessly Compressed Tensors with GPU friendly execution for Training
University of Cambridge(剑桥大学);University of Oxford(牛津大学)
本研究提出GPU友好的无损压缩张量框架LCT,利用浮点数据冗余压缩训练用张量,在NanoGPT和Qwen3-4B上实现内存节省,同时控制时间开销,支持更大上下文长度。
2026-10-16 cs.LG
vDNN: Virtualized Deep Neural Networks for Scalable, Memory-Efficient Neural Network Design
NVIDIA(英伟达)
使用最广泛的机器学习框架需要用户仔细调整其内存使用,以便深度神经网络(DNN)适合GPU的DRAM容量。这种限制阻碍了研究人员研究不同机器学习算法的灵活性,迫使他们要么使用不太理想的网络架构,要么在多个GPU上并行处理。我们提出了一个运行时内存管理器,虚拟化DNN的内存使用,使GPU和CPU内存可以同时用于训练更大的DNN。我们的虚拟化DNN(vDNN)将AlexNet的平均GPU内存使用量减少了89%,OverFeat减少了91%,GoogLeNet减少了95%,这大大降低了DNN的内存需求。在VGG-16上进行的类似实验,VGG-16是迄今为止最深和内存饥饿的DNN之一,证明了我们的建议的内存效率。vDNN使批量大小为256(需要28 GB内存)的VGG-16能够在包含12 GB内存的单个NVIDIA Titan X GPU卡上进行训练,与具有足够内存容纳整个DNN的假设Oracle GPU相比,性能损失18%。
2016-07-28 cs.DC cs.LG cs.NE
Compressing the Backward Pass of Large-Scale Neural Architectures by Structured Activation Pruning
Heidelberg University(海德堡大学)
本文提出基于BSR格式和幅值准则的结构化激活剪枝方法,并设计高效GPU块稀疏算子,在ResMLP图像分类训练中实现最高32%的内存降低且保持准确率。
2023-11-29 cs.LG cs.PF
maxDNN: An Efficient Convolution Kernel for Deep Learning with Maxwell GPUs
eBay Research Labs(eBay研究实验室)
本文介绍了maxDNN,这是一种用于深度学习的计算效率高的卷积内核,采用NVIDIA Maxwell GPU。maxDNN在典型的深度学习网络架构上达到96.3%的计算效率。该设计将cuda-convnet 2的思想与Maxas SGEMM汇编代码相结合。我们只讨论了网络的前向传播(FPROP)操作,但我们相信这里使用的相同技术对后向传播(BPROP)也有效。
2015-01-30 cs.DC cs.LG cs.NE
Meganeura: Portable GPU Training and Inference through Vulkan and Metal
该研究提出Meganeura编译器,通过Vulkan和Metal实现消费级GPU上的便携式训练与推理,在多数场景下性能接近或优于PyTorch,且编译速度更快、二进制文件更小,可支持跨平台部署。
2026-08-04 cs.DC cs.LG cs.PL
ESSAM: A Novel Competitive Evolution Strategies Approach to Reinforcement Learning for Memory Efficient LLMs Fine-Tuning
Xi’an Jiaotong University(西安交通大学);SGIT AI Lab(SGIT人工智能实验室)
本文提出ESSAM,结合进化策略的零阶搜索与SAM提升泛化能力,实现低内存高精度的LLM微调,实验显示其在GSM8K任务中表现优异,内存使用显著降低。
2026-05-08 cs.AI cs.LG
Tri-Accel: Curvature-Aware Precision-Adaptive and Memory-Elastic Optimization for Efficient GPU Usage
Arizona State University(亚利桑那州立大学)
针对深度神经网络训练的GPU显存与计算瓶颈,提出统一优化框架Tri-Accel,协同三种自适应加速策略,在多个数据集与模型上实现训练效率、显存占用与精度的同步提升,且无需手动调参,适配多样计算环境。
2025-08-30 cs.AI cs.LG
A Contract-Grade Verifier for LLM-Generated GPU Kernels, and a Native Blackwell Backward for the Gated-Linear-Recurrence Family
E3A Healthcare(E3A医疗公司)
本文提出契约级GPU内核验证器,发现公开系统接受的2638个机器生成内核中39.5%存在无法修复的错误,还构建了GDN族的原生Blackwell反向传播算法,指出现有内核生成正确性信号被高估。
2026-08-19 cs.AR cs.DC cs.LG
HG-Caffe: Mobile and Embedded Neural Network GPU (OpenCL) Inference Engine with FP16 Supporting
The University of Hong Kong(香港大学)
深度学习和移动系统芯片领域的突破性进展正在从根本上改变我们使用智能手机的方式。然而,由于移动CPU的计算开销和电池的严重消耗,深度神经网络推理对于边缘AI设备来说仍然是一项具有挑战性的任务。在本文中,我们提出了一个名为HG-Caffe的深度神经网络推理引擎,它支持半精度的GPU。与原始实现相比,HG-Caffe通过GPU提供了高达20倍的加速。除了加速之外,峰值内存使用率也降低到约80%。有了HG-Caffe,更多创新和迷人的移动应用程序将成为现实。
2019-01-03 cs.LG
DropBP: Accelerating Fine-Tuning of Large Language Models by Dropping Backward Propagation
Seoul National University(首尔大学);NAVER Cloud(NAVER云)
DropBP通过在反向传播中随机丢弃层并基于层敏感性分配丢弃率,降低计算和内存成本,同时保持精度,可与PEFT结合,显著加速LLM微调。
2025-02-28 cs.CL cs.LG
XGBoost: Scalable GPU Accelerated Learning
H2O.ai;University of Waikato(怀卡托大学);Nvidia Corporation(英伟达公司)
我们描述了在XGBoost库(https://github.com/dmlc/xgboost)中实现的多GPU梯度提升算法。我们的算法允许在多GPU系统上进行快速,可扩展的训练,具有XGBoost库的所有功能。我们采用数据压缩技术,以尽量减少稀缺的GPU内存的使用,同时仍然允许高效的实施。使用我们的算法,我们可以在三分钟内在公开的云计算实例上处理1.15亿个训练实例。该算法使用端到端GPU并行性实现,预测,梯度计算,特征量化,决策树构造和评估阶段都在设备上计算。
2018-06-29 cs.LG stat.ML
SuperNeurons: Dynamic GPU Memory Management for Training Deep Neural Networks
Brown University(布朗大学);Univ. of Electr. Sci. & Tech. of China(电子科技大学);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Pacific Northwest National Laboratory(太平洋西北国家实验室);Massachusetts Institute of Technology(麻省理工学院)
在神经架构中进行更深入和更广泛的研究可以提高准确性,而有限的GPU DRAM对网络设计领域造成了不必要的限制。深度学习(DL)从业者要么需要更改为不太理想的网络架构,要么需要在多GPU上对网络进行非平凡的剖析。这些分散了深度学习从业者的注意力,使他们无法专注于最初的机器学习任务。我们提出了SuperNeurons:一个动态的GPU内存调度运行时,使网络训练远远超出GPU DRAM的能力。SuperNeurons具有3种内存优化,\textit{Liveness Analysis},\textit{Unified Tensor Pool}和\textit{Cost-Aware Recomputation},它们一起有效地将网络范围内的内存使用峰值降低到层间的最大内存使用。我们还解决了这些内存节省技术的性能问题。在GPU DRAM有限的情况下,SuperNeurons不仅为训练提供必要的内存,而且还动态分配用于卷积运算的内存,以实现高性能。对Caffe、Torch、MXNet和TensorFlow的评估表明,SuperNeurons比当前的网络至少训练了3.2432个更深的网络,具有领先的性能。特别是,SuperNeurons可以在12 GB K40 c上训练具有$10^4$基本网络层的ResNet 2500。
2018-01-13 cs.DC cs.LG
BackLink: Supervised Local Training with Backward Links
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University of California, Irvine(加州大学欧文分校)
在反向传播(BP)算法的支持下,深度神经网络在解决各种认知任务方面占据了主导地位。标准BP算法中的训练模式受限,需要进行端到端的错误传播,造成大量的内存开销,阻碍了模型的并行化。现有的局部训练方法旨在通过完全切断模块之间的反向路径并隔离其梯度来解决训练障碍,以减少内存开销并加速训练过程。这些方法防止错误在模块之间流动,从而防止信息交换,导致性能低下。本文提出了一种新的局部训练算法BackLink,它引入了模块间的向后依赖,允许错误在模块之间流动。该算法有助于信息随着网络向后流动。为了保持本地训练的计算优势,BackLink限制了模块内的错误传播长度。在各种深度卷积神经网络中进行的大量实验表明,与其他方法相比,我们的方法始终提高了局部训练算法的分类性能。例如,在具有16个局部模块的ResNet 32中,我们的方法在CIFAR 10上的准确率分别超过传统的贪婪局部训练方法4.00%和最近的工作1.83%。计算成本的分析表明,在GPU内存成本和多个GPU上的运行时间方面产生的开销很小。与标准BP算法相比,该算法在ResNet 110上的内存开销减少了79%,仿真运行时间减少了52%.因此,我们的方法可以为提高训练算法的效率和生物相容性创造新的机会。
2022-05-14 cs.AI cs.LG
NeuroFlux: Memory-Efficient CNN Training Using Adaptive Local Learning
University of St Andrews(圣安德鲁斯大学)
针对资源受限设备上CNN训练的GPU内存瓶颈,提出NeuroFlux,通过自适应辅助网络、分块自适应批量和激活缓存实现局部学习,显著加速并减少模型参数。
2024-03-04 cs.LG
TinyTNAS: GPU-Free, Time-Bound, Hardware-Aware Neural Architecture Search for TinyML Time Series Classification
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
本文提出TinyTNAS,一种面向TinyML时间序列分类的无GPU、时间限制的硬件感知多目标神经架构搜索工具,在CPU上10分钟内即可搜索出在RAM、FLASH、MAC和延迟上大幅降低且保持高精度的最优模型。
2024-08-29 cs.LG
FlashBoB: I/O-Efficient Exact Backward-over-Backward for Softmax Attention
George Mason University(乔治梅森大学)
FlashBoB 提出一种 I/O 高效的精确反向-反向传播算法,利用 softmax 二阶反向的仿射结构,避免 N×N 中间张量,将序列长度扩展到 262K,比 FlashBack 快 6.3 倍。
2026-10-23 cs.AI cs.LG
SoftDTW-CUDA-Torch: Memory-Efficient GPU-Accelerated Soft Dynamic Time Warping for PyTorch
The Faculty of Computer and Information Science Ben-Gurion University of the Negev(计算机与信息科学学院贝京大学)
SoftDTW-CUDA-Torch通过GPU加速实现高效的软动态时间规整,解决内存消耗和数值稳定性问题,支持任意序列长度和PyTorch自动求导。
2026-02-19 cs.LG
RADARS: Memory Efficient Reinforcement Learning Aided Differentiable Neural Architecture Search
University of Notre Dame(圣母大学);George Mason University(乔治梅森大学)
可微分神经结构搜索(DNAS)以其自动生成高级神经网络的能力而闻名。然而,当搜索空间扩展时,基于DNAS的方法遭受存储器使用爆炸,这可能阻止它们在甚至先进的GPU平台上成功运行。另一方面,基于强化学习(RL)的方法虽然具有存储效率,但非常耗时。结合这两种方法的优点,本文提出了RADARS,一个可扩展的RL辅助DNAS框架,可以探索大搜索空间在一个快速和内存效率的方式。RADARS迭代地应用RL来修剪不期望的架构候选,并识别有希望的子空间来执行DNAS。使用具有12 GB GPU内存的工作站进行的实验表明,在CIFAR-10和ImageNet数据集上,与最先进的基于RL的方法相比,RADARS可以实现高达3.41%的准确性,搜索时间减少2.5倍,而两个DNAS基线由于过多的内存使用或搜索时间而无法完成。据作者所知,这是第一个可以处理具有有限内存使用的大搜索空间的DNAS框架。
2021-09-13 cs.LG
RL-Scope: Cross-Stack Profiling for Deep Reinforcement Learning Workloads
Vector Institute(矢量研究院);University of Toronto(多伦多大学);Harvard(哈佛大学)
深度强化学习(RL)在机器人、数据中心管理和其他应用方面取得了突破性的进展。不幸的是,人们对RL工作负载中的系统级瓶颈知之甚少;我们观察到RL工作负载中的基本结构差异,这使得它们本质上比监督学习(SL)更少受GPU约束。为了解释RL工作负载中的训练时间,我们提出了RL-Scope,这是一个跨堆栈分析器,它将低级CPU/GPU资源使用情况限制在高级算法操作范围内,并通过纠正分析开销提供准确的见解。使用RL-Scope,我们调查了其主要维度的RL工作负载,包括ML后端,RL算法和模拟器。对于ML后端,我们解释了等效PyTorch和TensorFlow算法实现之间运行时的$2.3\times$差异,并确定了源于过度抽象算法实现的瓶颈。对于RL算法和模拟器,我们表明,对政策的算法至少$3.5\times$更多的模拟约束比关闭政策的算法。最后,我们分析了一个扩展的工作负载,并证明了常用工具报告的GPU利用率指标大大提高了GPU的使用率,而RL-Scope报告的是真正的GPU绑定时间。RL-Scope是一个开源工具,可在https://github.com/UofT-EcoSystem/rlscope上获得。
2021-03-04 cs.LG cs.SE
Elixir: Train a Large Language Model on a Small GPU Cluster
HPC-AI Technology Inc.(HPC-AI科技公司);National University of Singapore(新加坡国立大学)
本文提出 Elixir 方案,通过运行前模型剖析自动选择内存划分与卸载的最优组合,在小型 GPU 集群上高效训练大语言模型,并在 GPT-2 上实现最高 3.4 倍加速。
2023-05-31 cs.AI cs.DC cs.LG
Benchmarking Resource Usage for Efficient Distributed Deep Learning
MIT(麻省理工学院);Northeastern University(东北大学)
深度学习(DL)工作流程需要不断增加的计算和能源预算,以实现超大收益。神经结构搜索、超参数扫描和快速原型设计消耗了大量资源,这可能会阻止资源受限的研究人员进行大型模型实验,并带来相当大的环境影响。因此,了解不同的深度神经网络(DNN)和训练如何利用不断增加的计算和能源资源变得至关重要-特别是跨不同领域和应用程序的专用计算密集型模型。在本文中,我们进行了3,400多个实验,在多达424个图形处理单元(GPU)上训练了一系列代表各种领域/任务的深度网络-自然语言处理,计算机视觉和化学。在训练过程中,我们的实验系统地改变了计算资源特性和节能机制,例如功率利用率和GPU时钟速率限制,以捕获和说明每个代表性模型在各种资源和能量约束机制下表现出的不同权衡和缩放行为。我们拟合幂律模型,描述训练时间如何与可用的计算资源和能量约束相匹配。我们预计,这些发现将有助于通知和指导高性能计算提供商优化资源利用率,通过选择性地降低不同深度学习任务/工作流程的能耗,同时对培训的影响最小。
2022-01-28 cs.DC cs.LG
FineServe: Precision-Aware KV Slab and Two-Level Scheduling for Heterogeneous Precision LLM Serving
Cloud Research Team, Samsung SDS(三星SDS云研究团队)
针对量化LLM服务中的内存碎片化和资源调度低效问题,提出混合精度推理框架FineServe,通过精度感知的KV Slab内存管理和两级调度机制,显著提升了SLO达成率与生成吞吐量。
2025-09-15 cs.DC cs.LG
Enabling On-Device Smartphone GPU based Training: Lessons Learned
University of Cambridge(剑桥大学);University of Southampton(南安普顿大学)
深度学习(DL)在许多移动应用中表现出令人印象深刻的性能。大多数现有的工作都集中在减少在资源受限的移动设备上运行深度神经网络(DNN)推理的计算和资源开销。然而,DNN操作的另一个方面,即在智能手机GPU上的训练(向前和向后传递),到目前为止很少受到关注。为此,我们进行了初步分析,以研究使用移动GPU在智能手机上进行设备上培训的可行性。我们首先采用开源移动DL框架(MNN)及其OpenCL后端在GPU上运行计算内核。接下来,我们观察到CPU上的训练比GPU上的训练快得多,并确定了与此观察相关的两个可能的瓶颈:(i)计算和(ii)内存瓶颈。为了解决计算瓶颈,我们优化了OpenCL后端的内核,在Snapdragon 8系列处理器上的CPU(15-30 GFLOPs)上显示出2倍的改进(40-70 GFLOPs)。然而,我们发现完整的DNN训练在GPU上仍然比在CPU上慢得多,这表明内存瓶颈在GPU性能低于CPU方面起着重要作用。由于带宽较低,数据移动几乎占用了91%的训练时间。最后,根据我们调查过程中的发现和失败,我们提出了限制和未来方向的实际指导方针。
2022-02-21 cs.AR cs.LG
Breadth-First Pipeline Parallelism
ServiceNow Research(ServiceNow研究院)
本文提出广度优先流水线并行训练调度方法,通过结合高GPU利用率、小批量与全分片数据并行,在520亿参数模型上相比Megatron-LM实现最高43%的训练吞吐量提升。
2023-07-06 cs.AI cs.CL cs.DC
Estudio de la eficiencia en la escalabilidad de GPUs para el entrenamiento de Inteligencia Artificial
Dpto. de Ciencias Matemáticas e Informática, Universidad de las Islas Baleares(数学与信息学系,巴利阿里大学)
针对大规模GPU训练深度学习模型效率偏低的问题,本文通过分析MLPerf Training v4.1在四类工作负载上的耗时,找到了可平衡训练速度与效率的GPU配置盈亏平衡点。
2025-09-03 cs.AI cs.LG cs.PF
Structurally Sparsified Backward Propagation for Faster Long Short-Term Memory Training
University of California, Santa Barbara(加州大学圣巴巴拉分校);NVIDIA(英伟达);POSTECH(浦项科技大学)
利用稀疏性使硬件系统能够更快、更节能地运行神经网络。然而,大多数现有的以稀疏性为中心的优化技术仅加速神经网络的前向传递,并且通常需要具有迭代修剪和再训练的甚至更长的训练过程。我们观察到,在LSTM单元的门的梯度中人为地诱导稀疏性对训练质量几乎没有影响。此外,我们可以在门梯度中强制执行结构化稀疏性,使LSTM向后传递的速度比最先进的密集方法快45%,比现代GPU上最先进的稀疏化方法快168%。虽然结构化稀疏化方法会影响模型的准确性,但这种性能差距可以通过混合我们的稀疏训练方法和标准的密集训练方法来消除。实验结果表明,该混合方法可以在更短的时间内达到可比的结果比使用纯粹的密集训练。
2018-06-01 cs.CL cs.LG stat.ML
SonicMoE: Accelerating MoE with IO and Tile-aware Optimizations
本文提出SonicMoE算法,通过减少激活缓存和设计GPU内核,提升MoE模型的计算效率和内存利用率,实现45%的内存节省和1.86倍的计算吞吐量提升。
2026-03-26 cs.AI cs.LG
A deep solver for backward stochastic Volterra integral equations
Department of Economics, University of Verona(威尼斯大学经济系);Department of Mathematics, University College London(伦敦大学学院数学系)
本文提出首个 BSVIE 及完全耦合正倒向变体的单阶段深度学习求解器,证明非渐近误差界,并通过实验展示其在 500 维问题中的可扩展性与处理耦合系统的通用性。
2025-10-20 cs.LG cs.NA math.NA
Zeus: Understanding and Optimizing GPU Energy Consumption of DNN Training
University of Michigan(密歇根大学)
训练深度神经网络(DNN)每年都变得越来越资源和能源密集。不幸的是,现有的工作主要集中在优化DNN训练,以更快地完成,通常没有考虑对能源效率的影响。在本文中,我们观察到,提高训练性能的常见做法往往会导致能源使用效率低下。更重要的是,我们证明,有一个权衡之间的能源消耗和性能优化。为此,我们提出了Zeus,一个优化框架,通过自动为重复的DNN训练作业找到最佳的作业和GPU级配置来导航这种权衡。Zeus使用在线探索开发方法与即时能源分析相结合,避免了昂贵的离线测量,同时适应数据随时间的漂移。我们的评估表明,对于不同的工作负载,Zeus可以将DNN训练的能源效率提高15.3%-75.8%。
2022-09-29 cs.AI cs.DC cs.LG
Compressing DMA Engine: Leveraging Activation Sparsity for Training Deep Neural Networks
NVIDIA(英伟达)
流行的深度学习框架要求用户微调其内存使用,以便深度神经网络(DNN)的训练数据适合GPU物理内存。之前的工作试图通过虚拟化DNN的内存使用来解决这个限制,使CPU和GPU内存都能用于内存分配。尽管有其优点,但当从CPU存储器来回复制数据所需的时间高于执行DNN前向和后向传播所需的计算的延迟时,虚拟化存储器可能会导致显著的性能开销。我们引入了一种基于“压缩DMA引擎”(cDMA)的高性能虚拟化策略,该策略可大幅减少CPU端分配的数据结构的大小。cDMA引擎通过利用卸载数据中固有的稀疏性提供平均2.6倍(最大13.8倍)的压缩比,将虚拟化DNN的性能平均提高32%(最大61%)。
2017-05-03 cs.AR cs.LG
Efficient Scaling of Dynamic Graph Neural Networks
IBM Research, India(IBM印度研究院);University of Utah(犹他大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of Tokyo(东京大学)
我们提出了分布式算法训练动态图神经网络(GNN)的大规模图跨越多节点,多GPU系统。据我们所知,这是第一次对动态GNN进行缩放研究。我们设计了减少GPU内存使用的机制,并确定了两个执行时间瓶颈:CPU-GPU数据传输和通信量。利用动态图的性质,我们设计了一个基于图差异的策略,以显着减少传输时间。我们开发了一个简单,但有效的数据分配技术,通信量保持固定和线性的输入大小,对于任何数量的GPU。我们在128个GPU的系统上使用十亿大小的图进行的实验表明:(i)分布方案在128个GPU上实现了高达30倍的加速;(ii)图差技术将传输时间减少了4.1倍,总执行时间减少了40%
2021-09-16 cs.DC cs.LG
StreamKL: Fast and Memory-Efficient KL Divergence for Boosting Attention Distillation
Shanghai Jiao Tong University(上海交通大学);Huawei(华为);Fudan University(复旦大学)
提出StreamKL,首个融合GPU原语,通过在线公式和逐块重计算将注意力蒸馏的内存和IO成本从O(N_QN_K)降至O(1),实现高达43倍前向和14倍反向加速。
2026-06-19 cs.AI cs.LG
Efficient Neural Network Training via Forward and Backward Propagation Sparsification
Hong Kong University of Science and Technology(香港科技大学);Tsinghua University(清华大学);Google Research(谷歌研究院)
稀疏训练是加快深度神经网络训练速度和节省内存使用的自然想法,特别是因为大型现代神经网络明显过度参数化。然而,大多数现有的方法在实践中不能实现这一目标,因为基于链规则的梯度(w.r.t.结构参数)估计至少在反向传播步骤中需要密集计算。本文通过提出一种有效的稀疏训练方法来解决这个问题,该方法具有完全稀疏的向前和向后传递。我们首先制定的训练过程中作为一个连续的全局稀疏约束下的最小化问题。然后,我们将优化过程分为两个步骤,对应的权重更新和结构参数更新。对于前一步,我们使用传统的链规则,它可以通过利用稀疏结构稀疏。对于后一步,而不是在现有的方法中使用基于链规则的梯度估计,我们提出了一个方差减少的策略梯度估计,它只需要两个前向通过没有向后传播,从而实现完全稀疏的训练。我们证明了我们的梯度估计的方差是有界的。在真实世界数据集上的大量实验结果表明,与以前的方法相比,我们的算法在加速训练过程方面更有效,快了一个数量级。
2021-11-10 cs.AI cs.CV cs.LG
A Practical Two-Stage Framework for GPU Resource and Power Prediction in Heterogeneous HPC Systems
Boston University(波士顿大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文提出一种两阶段框架,利用Slurm日志和DCGM数据预测HPC应用的GPU功率和内存利用率,实现更高效的调度和动态电源管理。
2026-04-02 cs.DC cs.LG cs.PF
Attentions Under the Microscope: A Comparative Study of Resource Utilization for Variants of Self-Attention
Boston University Metropolitan College(波士顿大学 metropolitan college);Duy Tan University(杜益大学);Chulalongkorn University(朱拉隆功大学)
研究大语言模型和视觉语言模型中注意力机制瓶颈,通过在训练GPT-2架构时对八种注意力机制进行基准测试,发现优化内核实现的机制能源效率最佳,强调能源感知基准测试对注意力设计的重要性及对选择高效机制的指导意义。
2026-07-21 cs.AI cs.LG cs.NE
Assessing the Role of Random Forests in Medical Image Segmentation
University of Augsburg(奥格斯堡大学);University Hospital Augsburg(奥格斯堡大学医院)
神经网络代表了一个研究领域,它可以在使用GPU的医学图像分割领域中快速取得非常好的结果。一种可能的方法来实现良好的结果没有GPU是随机森林。为此,将两种随机森林方法与最先进的深度卷积神经网络进行了比较。为了进行比较,使用了PhC-C2 DH-U373和视网膜成像数据集。评测结果表明,深度卷积神经网络取得了最佳效果。然而,随机森林方法之一也实现了类似的高性能。我们的研究结果表明,随机森林方法是深度卷积神经网络的一个很好的替代方案,因此,允许在没有GPU的情况下使用医学图像分割。
2021-03-30 cs.CV cs.LG eess.IV