SparseRT: Accelerating Unstructured Sparsity on GPUs for Deep Learning Inference
Massachusetts Institute of Technology(麻省理工学院)
近年来,在深度神经网络修剪和压缩方面有一系列的研究。早期的方法单独修剪权重。然而,在现代硬件(如GPU)上很难利用由此产生的非结构化稀疏模式。因此,在权重中施加稀疏结构的修剪策略变得更加流行。然而,这些结构化修剪方法通常导致比非结构化修剪更高的准确性损失。在本文中,我们介绍了SparseRT,这是一个代码生成器,它利用非结构化稀疏性来加速GPU上深度学习推理中的稀疏线性代数运算。对于1x 1卷积和全连接层,当在深度学习中对数百个测试用例进行评估时,我们证明了在90%稀疏度下等效密集计算的加速比为3.4倍,在95%稀疏度下为5.4倍的几何平均值。对于稀疏3x 3卷积,我们在ResNet-50中的用例中显示了超过5倍的加速。
2020-08-26 cs.LG stat.ML
Heterogeneous Acceleration Pipeline for Recommendation System Training
The University of British Columbia(不列颠哥伦比亚大学);Georgia Institute of Technology(佐治亚理工学院)
本文提出异构加速流水线 Hotline,通过数据与模型感知调度,将流行与非流行 embedding 分别置于 GPU 和 CPU 执行,相比 Intel 优化的 CPU-GPU DLRM 基准将端到端训练时间减少 2.2 倍。
2024-04-28 cs.AI cs.AR cs.LG
maxDNN: An Efficient Convolution Kernel for Deep Learning with Maxwell GPUs
eBay Research Labs(eBay研究实验室)
本文介绍了maxDNN,这是一种用于深度学习的计算效率高的卷积内核,采用NVIDIA Maxwell GPU。maxDNN在典型的深度学习网络架构上达到96.3%的计算效率。该设计将cuda-convnet 2的思想与Maxas SGEMM汇编代码相结合。我们只讨论了网络的前向传播(FPROP)操作,但我们相信这里使用的相同技术对后向传播(BPROP)也有效。
2015-01-30 cs.DC cs.LG cs.NE
Accelerating Communication in Deep Learning Recommendation Model Training with Dual-Level Adaptive Lossy Compression
Indiana University(印第安纳大学);Meta;University of Rochester(罗切斯特大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文针对DLRM训练中全对全通信瓶颈,提出基于误差有界有损压缩的双层自适应方法,在表级和迭代级动态调整误差界,并针对GPU优化压缩器,最终实现1.38倍训练加速且精度损失极小。
2024-10-01 cs.DC cs.LG
Optimizing Memory Efficiency for Deep Convolutional Neural Networks on GPUs
North Carolina State University(北卡罗来纳州立大学);NEC Labs America(NEC美国实验室)
利用大型数据集,深度卷积神经网络(CNN)实现了最先进的识别精度。然而,由于大量的计算和存储器操作,它们需要大量的执行时间。GPU的大规模并行计算能力使其成为加速CNN的理想平台之一,并且已经开发了许多基于GPU的CNN库。虽然现有的工作主要集中在CNN的计算效率,CNN的内存效率在很大程度上被忽视。然而,CNN具有复杂的数据结构,并且它们的存储器行为可以对性能产生重大影响。在这项工作中,我们研究了各种CNN层的内存效率,并揭示了数据布局和内存访问模式的性能影响。实验表明,我们提出的优化对单层和各种网络的普遍效果,单层高达27.9倍,整个网络高达5.6倍。
2016-10-12 cs.DC cs.LG cs.NE
Characterizing Concurrency Mechanisms for NVIDIA GPUs under Deep Learning Workloads
Worcester Polytechnic Institute(伍斯特理工学院)
我们研究了NVIDIA新的Ampere GPU微架构在深度学习训练和推理工作负载下可用的并发机制的性能。与以前的研究,把GPU作为一个黑盒子,我们研究调度在微架构的水平。我们发现,缺乏细粒度的抢占机制,强大的任务优先级选项,竞争意识线程块放置策略限制了NVIDIA的并发机制的有效性。总之,深度学习工作负载的顺序性及其波动的资源需求和内核运行时,使得在当前NVIDIA硬件上执行此类工作负载,同时保持一致的高利用率和较低的可预测周转时间变得困难。
2021-10-01 cs.AR cs.DC cs.LG
Handwritten Digit Recognition with a Committee of Deep Neural Nets on GPUs
Dalle Molle Institute for Artificial Intelligence(达莱·莫勒人工智能研究所);University of Lugano(卢加诺大学);University of Applied Sciences of Southern Switzerland(瑞士南部应用科学大学)
自1998年以来,竞争激烈的MNIST手写数字识别基准有着悠久的破纪录历史。其他人最近的实质性改进可以追溯到7年前(出错率0.4%)。最近,我们能够显着改善这一结果,使用图形卡大大加快了简单但深度MLP的训练速度,达到了0.35%,优于之前所有更复杂的方法。在这里,我们报告了另一个重大改进:使用MLP委员会获得了0.31%。
2011-03-23 cs.AI cs.CV cs.LG
Benanza: Automatic $μ$Benchmark Generation to Compute "Lower-bound" Latency and Inform Optimizations of Deep Learning Models on GPUs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
随着深度学习(DL)模型越来越多地用于延迟敏感型应用,人们对改善其响应时间的兴趣也越来越大。这种改进的一个重要途径是分析这些模型的执行情况,并描述其性能,以确定可能的优化机会。然而,目前的分析工具缺乏高度期望的能力,以表征理想的性能,确定低效率的来源,并量化潜在的优化的好处。这些缺陷导致缓慢的表征/优化周期,无法跟上引入新DL模型的快速步伐。我们提出了Benanza,这是一个可持续和可扩展的基准测试和分析设计,可以加快GPU上DL模型的表征/优化周期。Benanza由四个主要组件组成:一个模型处理器,它将模型解析为内部表示;一个可配置的基准生成器,它在给定一组模型的情况下自动生成微基准;一个基准结果数据库;以及一个分析器,它使用基准数据计算DL模型的“下限”延迟,并通知模型执行的优化。“下限”延迟度量估计GPU系统上的理想模型执行,并作为识别框架或系统库中优化机会的基础。我们使用Benanza在从Kepler到最新的Turing的7个GPU上评估了MXNet,ONNX和PyTorch中的30个ONNX模型,并确定了并行层执行,cuDNN卷积算法选择,框架效率低下,层融合和使用Tensor Cores的优化。
2020-02-19 cs.DC cs.LG cs.PF
HetCCL: Efficient LLM Training on Heterogeneous Vendor GPUs
snu-cse(首尔国立大学计算机科学与工程系);snu-ds(首尔国立大学数据科学研究院);moreh(Moreh公司);samsung(三星研究)
HetCCL通过统一异构GPU的集体通信库,实现跨供应商的高效训练,提升异构环境下的大语言模型训练性能。
2026-11-16 cs.DC cs.LG
Adaptive Elastic Training for Sparse Deep Learning on Heterogeneous Multi-GPU Servers
University of California Merced(加州大学默塞德分校);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
受极端多标签分类应用的启发,我们考虑在多GPU服务器中的稀疏数据上训练深度学习模型。训练批次中非零特征数量的变化和固有的GPU异构性结合起来限制了准确性并增加了收敛时间。我们使用自适应SGD来解决这些挑战,自适应SGD是一种用于异构多GPU的自适应弹性模型平均随机梯度下降算法,其特征在于动态调度,自适应批量大小缩放和归一化模型合并。不是静态地将批划分到GPU,而是基于相对处理速度来路由批。批量大小缩放将较大的批量分配给速度较快的GPU,较小的批量分配给速度较慢的GPU,目标是达到一个稳定状态,在这个状态下,所有GPU执行相同数量的模型更新。归一化模型合并基于分配的批次为每个GPU计算最佳权重,使得组合的模型实现更好的准确性。我们的实验表明,自适应SGD在时间准确性方面优于四种最先进的解决方案,并且可以随GPU数量的增加而扩展。
2021-10-13 cs.DC cs.LG
A Frequency-aware Software Cache for Large Recommendation System Embeddings
HPC-AI Technology Inc.(HPC-AI科技公司);School of Computer Science, Wuhan University(武汉大学计算机学院);National University of Singapore(新加坡国立大学)
深度学习推荐模型(DLRM)在互联网企业中得到了广泛应用。DLRM的嵌入表太大,无法完全容纳在GPU内存中。我们提出了一种基于GPU的软件缓存方法,通过利用目标数据集的id频率统计信息来动态管理CPU和GPU内存空间中的嵌入表。我们提出的软件缓存是有效的训练整个DLRM在GPU上同步更新的方式。它还可以扩展到多个GPU,并结合广泛使用的混合并行训练方法。评估我们的原型系统表明,我们可以在GPU中仅保留1.5%的嵌入参数,以获得良好的端到端训练速度。
2022-08-08 cs.AI cs.DC cs.IR
An Analysis of Collocation on GPUs for Deep Learning Training
IT University of Copenhagen(哥本哈根信息技术大学)
本文在 A100 上对比 MIG、MPS 与多进程协同定位,分析不同模型组合下的深度学习训练性能,发现 MPS 对单用户最灵活高效。
2023-04-24 cs.DC cs.LG
CROSSBOW: Scaling Deep Learning with Small Batch Sizes on Multi-GPU Servers
Imperial College London(帝国理工学院);Microsoft Research(微软研究院);Humboldt-Universität zu Berlin(柏林洪堡大学)
深度学习模型在具有许多GPU的服务器上训练,并且训练必须随着GPU的数量而扩展。TensorFlow和Caffe 2等系统使用并行同步随机梯度下降来训练模型:它们一次处理一批训练数据,在GPU之间进行分区,并对产生的部分梯度进行平均,以获得更新的全局模型。为了充分利用所有GPU,系统必须增加批量大小,这会阻碍统计效率。用户调整超参数,如学习率,以补偿这一点,这是复杂的和特定于模型的。我们描述了CROSSBOW,这是一种用于训练深度学习模型的新的单服务器多GPU系统,使用户能够自由选择他们喜欢的批量大小-无论多么小-同时扩展到多个GPU。CROSSBOW使用许多并行模型副本,并通过一种新的同步训练方法避免了统计效率的降低。我们引入SMA,模型平均的同步变体,其中副本独立地探索解空间与梯度下降,但调整其搜索同步的基础上的全局一致的平均模型的轨迹。CROSSBOW通过在每个GPU上训练多个模型副本,自动调整副本数量以最大化吞吐量,从而在小批量的情况下实现高硬件效率。我们的实验表明,与TensorFlow相比,CROSSBOW将深度学习模型在8 GPU服务器上的训练时间缩短了1.3- 4倍。
2019-01-08 cs.DC cs.LG
Characterizing and Understanding HGNN Training on GPUs
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本研究针对 HGNN 训练耗时成本高的问题,对单 GPU 与多 GPU 分布式两种主流训练场景做深入量化分析,揭示性能瓶颈及成因,从软硬件层面给出优化指导,助力提升 HGNN 训练效率。
2024-10-29 cs.AI cs.AR cs.LG
DeepRec: An Open-source Toolkit for Deep Learning based Recommendation
University of New South Wales(新南威尔士大学);Nanyang Technological University(南洋理工大学);Zhengzhou Univeristy(郑州大学)
近年来,基于深度学习的推荐系统得到了广泛的研究。然而,每年提出的大量模型对研究人员和从业人员来说都是一个巨大的挑战,他们需要复制结果以进行进一步的比较。虽然部分论文提供了源代码,但它们采用了不同的程序设计语言或不同的深度学习包,这也提高了理解这些想法的难度。为了缓解这个问题,我们发布了开源项目:\textbf{DeepRec}。在这个工具包中,我们使用Python和广泛使用的深度学习包- Tensorflow实现了许多基于深度学习的推荐算法。三个主要的推荐场景:评级预测,前N推荐(项目排名)和顺序推荐。同时,DeepRec保持了良好的模块化和可扩展性,可以轻松地将新模型纳入框架。它在GNU通用公共许可证的条款下发布。源代码可以在github上找到:\url{https://github.com/cheungdaven/DeepRec}
2019-05-25 cs.IR cs.LG
Practical recommendations for gradient-based training of deep architectures
与人工神经网络相关的学习算法,特别是用于深度学习的学习算法,似乎涉及许多花里胡哨的东西,称为超参数。本章是一个实用指南,对一些最常用的超参数提出了建议,特别是在基于反向传播梯度和基于梯度的优化的学习算法的背景下。它还讨论了如何处理这样一个事实,即当允许调整多个超参数时,可以获得更有趣的结果。总的来说,它描述了用于成功有效地训练和调试大规模且通常是深度多层神经网络的实践要素。最后,它提出了一些关于在更深层次的架构中观察到的训练困难的开放性问题。
2012-09-16 cs.LG
Theano-MPI: a Theano-based Distributed Training Framework
University of Guelph(圭尔夫大学);SHARCNET, Compute Canada(加拿大计算公司SHARCNET)
我们开发了一个可扩展和可扩展的训练框架,可以在集群中的节点上利用GPU,并基于数据并行加速深度学习模型的训练。同步和异步训练都在我们的框架中实现,其中GPU之间的参数交换基于CUDA感知的MPI。在本报告中,我们分析了框架的收敛性和能力,以减少AlexNet和GoogLeNet的同步训练从2个GPU扩展到8个GPU时的训练时间。此外,我们探索新的方法来减少由交换参数引起的通信开销。最后,我们将该框架作为开源发布,以便进一步研究分布式深度学习
2016-05-26 cs.DC cs.LG
Use of Deep Learning in Modern Recommendation System: A Summary of Recent Works
Contata Solutions LLC(Contata Solutions有限责任公司)
随着互联网上数字信息量的指数级增长,在线商店、在线音乐、视频和图像库、搜索引擎和推荐系统已经成为在短时间内找到相关信息的最方便的方式。近年来,深度学习的进展在语音识别、图像处理和自然语言处理领域获得了极大的关注。与此同时,最近的一些研究已经表明了深度学习在推荐系统和信息检索领域的实用性。在这篇简短的综述中,我们将介绍使用各种深度学习技术变体在推荐领域取得的最新进展。我们将综述分为三个部分:协作系统、基于内容的系统和混合系统。该综述还讨论了深度学习集成推荐系统对几个应用领域的贡献。本文最后讨论了深度学习在各个领域的推荐系统中的影响,以及深度学习是否比传统的推荐系统有任何显着的改进。最后,我们还提供了未来的研究方向,这是可能的基础上使用的深度学习在推荐系统的当前状态。
2017-12-20 cs.IR cs.LG
Deep Learning Recommendation Model for Personalization and Recommendation Systems
Northwestern University(西北大学);Harvard University(哈佛大学);Facebook(脸书)
随着深度学习的出现,基于神经网络的推荐模型已经成为处理个性化和推荐任务的重要工具。这些网络与其他深度学习网络有很大的不同,因为它们需要处理分类特征,并且没有得到很好的研究或理解。在本文中,我们开发了一个最先进的深度学习推荐模型(DLRM),并在PyTorch和Caffe2框架中实现了它。此外,我们设计了一个专门的并行化方案,利用嵌入表上的模型并行来减轻内存限制,同时利用数据并行从全连接层向外扩展计算。我们将DLRM与现有的推荐模型进行了比较,并描述了其在Big Basin AI平台上的性能,证明了其作为未来算法实验和系统协同设计基准的有用性。
2019-05-31 cs.IR cs.LG
Biased Local SGD for Efficient Deep Learning on Heterogeneous Systems
Inha University(延世大学);Mondrian AI(蒙德里安人工智能)
本研究提出有偏局部SGD方法,通过引入数据采样和模型聚合的偏差,提升异构系统中深度学习的训练效率,实现比同步SGD更快的训练速度和相近的准确性。
2026-02-23 cs.LG
Estudio de la eficiencia en la escalabilidad de GPUs para el entrenamiento de Inteligencia Artificial
Dpto. de Ciencias Matemáticas e Informática, Universidad de las Islas Baleares(数学与信息学系,巴利阿里大学)
针对大规模GPU训练深度学习模型效率偏低的问题,本文通过分析MLPerf Training v4.1在四类工作负载上的耗时,找到了可平衡训练速度与效率的GPU配置盈亏平衡点。
2025-09-03 cs.AI cs.LG cs.PF
Deep Adaptive Interest Network: Personalized Recommendation with Context-Aware Learning
University of Science and Technology of China(中国科学技术大学);University of Houston(休斯顿大学);University of Southern California(南加州大学);University of Tokyo(东京大学)
本文提出深度自适应兴趣网络(DAIN),通过动态建模用户兴趣并结合上下文感知学习机制,利用深度学习技术实时捕捉兴趣变化并整合上下文信息优化推荐结果,实验证明其在性能与计算效率上均表现出色。
2024-12-24 cs.IR cs.LG
Hierarchical Roofline Performance Analysis for Deep Learning Applications
NVIDIA Corporation(英伟达公司);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
本文介绍了一种实用的方法,用于收集在NVIDIA GPU上进行分层Roofline分析所需的性能数据。它讨论了Empirical Roofline Toolkit的扩展,以更广泛地支持一系列数据精度和Tensor Core支持,并介绍了一种基于Nsight Compute的方法来准确收集应用程序性能信息。这种方法允许在NVIDIA GPU上的整个存储层次结构中进行Roofline分析的自动机器表征和应用程序表征,并通过用于气候图像分割的复杂深度学习应用程序进行验证。我们使用两个版本的代码,分别在TensorFlow和PyTorch中,来展示这种方法的使用和有效性。我们重点介绍了应用程序如何利用GPU上的计算和内存功能,以及两种深度学习框架中的实现和性能差异。
2020-11-25 cs.DC cs.LG cs.PF
A Survey on Deep Learning Based Point-Of-Interest (POI) Recommendations
Bangladesh University of Engineering and Technology (BUET)(孟加拉国工程技术大学(BUET))
基于位置的社交网络(LBSN)使用户能够通过分享他们的签到、意见、照片和评论来与朋友和熟人进行社交。LBSN产生的大量数据开辟了一条新的研究途径,催生了一个新的推荐系统子领域,称为兴趣点(POI)推荐。POI推荐技术本质上利用用户的历史签到和其他多模态信息(诸如POI属性和友谊网络)来推荐适合于用户的下一组POI。大量早期的工作都集中在传统的机器学习技术上,使用数据集中手工制作的特征。随着最近深度学习研究的激增,我们已经目睹了利用不同的深度学习范例的各种各样的POI推荐工作。这些技术在问题表述、提出的技术、使用的数据集和特征等方面存在很大差异。据我们所知,这项工作是对所有主要的基于深度学习的POI推荐工作的第一次全面调查。我们的工作分类和批判性地分析了最近的POI推荐工作的基础上不同的深度学习范式和其他相关功能。这篇评论可以被认为是POI推荐领域的研究人员或从业人员的食谱。
2020-11-20 cs.IR cs.LG
Neptune: Advanced ML Operator Fusion for Locality and Parallelism on GPUs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
Neptune通过引入新的运算融合方法,有效融合复杂减少运算,提升深度学习性能,其在多个基准测试中表现出优于现有编译器的效率。
2026-04-20 cs.LG cs.PL
A Deep Hybrid Model for Recommendation Systems
Istanbul Technical University(伊斯坦布尔理工大学)
从电子商务到社交网站,推荐一直是一个长期存在的问题。目前的研究大多集中在传统的推荐方法上,如基于内容的推荐或协同过滤,而对混合推荐系统的研究相对较少。由于深度学习在包括计算机视觉和自然语言处理在内的不同领域取得的最新进展,深度学习在推荐系统中也受到了广泛关注。有几项研究利用用户和项目的ID嵌入来实现深度神经网络的协同过滤。然而,这样的研究并没有利用输入的其他分类或连续特征。在本文中,我们提出了一种新的深度神经网络架构,它不仅包括ID嵌入,而且还包括辅助信息,如职位发布和职位推荐系统的候选人的功能,这是一个互惠推荐系统。在一个工作站点数据集上的实验结果表明,该方法比利用ID嵌入的深度学习模型提高了推荐结果。
2020-09-21 cs.AI cs.LG stat.ML
Omnivore: An Optimizer for Multi-device Deep Learning on CPUs and GPUs
Stanford University(斯坦福大学);ETH Zurich(苏黎世联邦理工学院)
我们研究了多设备深度学习系统中影响训练时间的因素。给定卷积神经网络的规格,我们的目标是最小化在商品CPU和GPU集群上训练此模型的时间。我们首先关注单节点设置,并表明通过使用标准的并行和数据并行技术,吞吐量可以提高至少5.5倍,超过最先进的CPU系统。这确保了端到端训练速度与设备的吞吐量成正比,而不管其底层硬件如何,从而允许将群集中的每个节点视为黑盒。我们的第二个贡献是在多设备环境中影响端到端训练时间的权衡的理论和实证研究。我们确定的异步并行化的程度作为一个关键因素,影响硬件和统计效率。我们可以看到,可以把它看作是引入了动量项。我们的研究结果意味着,调整动量是关键的异步并行配置,并建议尚未完全调整公布的结果可能会报告次优性能的一些配置。对于我们的第三个贡献,我们使用我们的新的理解系统和优化动态之间的相互作用,提供一个有效的超参数优化器。我们的优化器包含一个预测模型,用于预测收敛的总时间,并选择资源分配以最小化该时间。我们证明了最流行的分布式深度学习系统在我们的权衡空间内,但没有在空间内优化。通过这种优化,我们的原型运行速度比最快的最先进系统快1.9倍到12倍。
2016-10-19 cs.DC cs.LG
Solving Cold-Start Problem in Large-scale Recommendation Engines: A Deep Learning Approach
University of Rochester(罗切斯特大学);University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);CareerBuilder
协同过滤(CF)因其高效、准确和可扩展性而被广泛应用于大规模推荐引擎中。然而,在实践中,基于CF的推荐引擎在进行推荐之前需要用户和项目之间的交互,这使得尚未暴露给最终用户的新项目不适合进行交互。这就是所谓的冷启动问题。在本文中,我们介绍了一种新的方法,采用深度学习来解决这个问题,在任何CF为基础的推荐引擎。所提出的技术的最重要的特点之一是,它可以应用于任何现有的CF基于推荐引擎,而不改变CF核心的事实。我们成功地应用这种技术,以克服项目冷启动问题,在凯业必达的CF推荐引擎。我们的实验表明,所提出的技术是非常有效的解决冷启动问题,同时保持高精度的CF建议。
2016-11-16 cs.IR cs.LG
Efficient Embedding of MPI Collectives in MXNET DAGs for scaling Deep Learning
IBM T J Watson Research Center(IBM托马斯·J·沃森研究中心)
高性能计算基础设施(如GPU和CPU集群)的可用性推动了分布式学习系统的发展。深度学习框架将神经网络表示为DAG,并在GPU等计算资源上执行这些DAG。在本文中,我们提出了有效的设计嵌入MPI集体操作到数据并行DAG。不正确的设计很容易导致死锁或程序崩溃。特别是,我们展示了三种设计:漏斗,并发通信和依赖链使用MPI集体与DAG。这些设计通过允许与其他任务的并发执行来自动地实现计算与通信的重叠。我们直接将这些设计实现到MXNET的KVStore API中。这使我们能够直接利用其余的基础设施。使用ImageNet和CIFAR数据集,我们展示了我们设计的潜力。特别是,我们的设计可扩展到256个GPU,ImageNet 1K数据集的历元时间低至50秒。
2018-02-20 cs.DC cs.LG
Fast Camera Image Denoising on Mobile GPUs with Deep Learning, Mobile AI 2021 Challenge: Report
图像去噪是手机照片处理中最关键的问题之一。虽然已经为这项任务提出了许多解决方案,但它们通常使用合成数据,并且在移动设备上运行时计算成本太高。为了解决这个问题,我们引入了第一个移动AI挑战,其目标是开发一个端到端的基于深度学习的图像去噪解决方案,该解决方案可以在智能手机GPU上展示高效率。为此,参与者提供了一个新的大规模数据集,由在野外捕获的噪声-干净图像对组成。所有型号的运行时都在三星Exynos 2100芯片组上进行了评估,该芯片组具有强大的Mali GPU,能够加速浮点和量化神经网络。所提出的解决方案与任何移动GPU完全兼容,能够在40-80 ms内处理480 p分辨率的图像,同时实现高保真效果。本文提供了在挑战中开发的所有模型的详细描述。
2021-05-17 cs.CV cs.LG eess.IV
ChainerMN: Scalable Distributed Deep Learning Framework
Preferred Networks, Inc.(Preferred Networks 公司)
深度学习之所以能够在各个领域取得突破,关键之一就是利用了以GPU为核心的高计算能力。通过分布式处理实现进一步的计算能力的使用不仅对于使深度学习更大更快,而且对于解决未解决的挑战至关重要。我们提出了ChainerMN的设计,实现和评估,我们开发的分布式深度学习框架。我们证明了ChainerMN可以将ResNet-50模型的学习过程扩展到ImageNet数据集,高达128个GPU,并行效率为90%。
2017-10-31 cs.DC cs.LG cs.NE
Experiments on Parallel Training of Deep Neural Network using Model Averaging
International Computer Science Institute(国际计算机科学研究所);University of California, Berkeley(加州大学伯克利分校);Nanyang Technological University(南洋理工大学)
在这项工作中,我们将模型平均应用于深度神经网络(DNN)的并行训练。以模型平均化的方式进行模型化。数据被分区并分发到不同的节点以进行本地模型更新,并且每隔几个小批进行跨节点的模型平均。我们使用多个GPU进行数据并行化,并使用消息传递接口(MPI)进行节点之间的通信,这使我们能够频繁地执行模型平均,而不会在通信上浪费太多时间。研究了自然梯度随机梯度下降(NG-SGD)和受限玻尔兹曼机(RBM)预训练在模型平均框架下并行训练的有效性,并根据不同的学习率调度、平均频率和小批量大小探索了最佳设置。结果表明,NG-SGD和RBM预训练有利于基于参数平均的模型训练。在300 h Switchboard数据集上,使用16个GPU实现了9.3倍的加速,使用32个GPU实现了17倍的加速,解码精度损失有限。
2018-07-01 cs.LG cs.NE
Integrating User and Item Reviews in Deep Cooperative Neural Networks for Movie Recommendation
University of Patras(帕特雷大学)
用户评价包括在线平台上的大量信息。这种信息源被大多数现有的推荐系统所忽视,尽管它有可能缓解稀疏性问题并提高建议的质量。这项工作提出了一个深度模型,用于从评论文本中同时学习项目属性和用户行为。深度合作神经网络(DeepCoNN)是由两个并行的神经网络在其最后一层连接而成的建议模型。其中一个网络专注于从用户提交的评论中学习用户行为,而另一个网络则从用户评论中学习物品属性。在顶部,添加了一个共享层来连接这两个网络。与因子分解机器方法类似,共享层允许为人和事物获取的潜在因子彼此交互。根据实验结果,在许多数据集上,DeepCoNN超过了所有基线推荐系统。
2022-06-22 cs.IR cs.LG
A Simple Deep Personalized Recommendation System
Vrbo, part of Expedia Group(Vrbo,亿客行集团旗下品牌)
推荐系统是在双边度假租赁市场中匹配列表和旅行者的关键工具。这样的系统需要高容量来从大规模的隐式信号中提取用户对项目的偏好。为了学习这些偏好,我们提出了一个简单的深度个性化推荐系统来计算旅行者的条件嵌入。我们的方法结合了监督结构中的列表嵌入,以构建短期历史背景,从而为旅行者提供个性化建议。部署在生产环境中,这种方法计算效率高,可扩展,并允许我们捕获非线性依赖关系。我们的离线评估表明,使用深度平均网络创建的旅行者嵌入可以将下游转化预测模型的精度提高7%,优于更复杂的在线购物体验个性化基准方法。
2019-08-06 cs.IR cs.LG
A GPU-specialized Inference Parameter Server for Large-Scale Deep Recommendation Models
NVIDIA(英伟达)
推荐系统对于各种现代应用程序和Web服务至关重要,例如新闻提要,社交网络,电子商务,搜索等。为了实现峰值预测精度,现代推荐模型将深度学习与TB级嵌入表相结合,以获得底层数据的细粒度表示。传统的推理服务架构需要将整个模型部署到独立的服务器上,这在如此大规模的情况下是不可行的。在本文中,我们提供的见解有趣和具有挑战性的推理域的在线推荐系统。我们提出了HugeCTR分层参数服务器(HPS),一个行业领先的分布式推荐推理框架,它结合了一个高性能的GPU嵌入式缓存与分层存储架构,以实现低延迟检索嵌入在线模型推理任务。除此之外,HPS还具有(1)冗余分层存储系统,(2)新型高带宽缓存,可加速NVIDIA GPU上的并行嵌入查找,(3)在线培训支持以及(4)轻量级API,可轻松集成到现有的大规模推荐工作流程中。为了证明其能力,我们使用综合工程和公共数据集进行了广泛的研究。我们表明,我们的HPS可以显着减少端到端的推理延迟,实现5~ 62倍的加速(取决于批量大小)CPU基线实现流行的推荐模型。通过多GPU并行部署,HPS还可以大大提高推理QPS。
2022-10-17 cs.AI cs.DC cs.IR
Deep Exploration for Recommendation Systems
Meta AI;Stanford University(斯坦福大学)
本文将推荐系统建模为序贯决策问题,针对稀疏奖励下难以获取有效延迟反馈的挑战,提出深度探索方法,并在高保真工业级模拟器实验中证实其相较现有算法取得巨大改进。
2023-07-30 cs.AI cs.IR cs.LG
Knowledge-guided Deep Reinforcement Learning for Interactive Recommendation
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学)
交互式推荐旨在从项目和用户之间的动态交互中学习,以实现响应性和准确性。强化学习在应对动态环境方面具有先天优势,因此在交互式推荐研究中引起了越来越多的关注。受知识感知推荐的启发,本文提出了知识引导的深度强化学习(KGRL),利用强化学习和知识图谱的优势进行交互式推荐。该模型是在演员-评论家网络框架上实现的。它维护一个本地知识网络来指导决策,并采用注意力机制来捕获项目之间的长期语义。我们在模拟的在线环境中使用六个公开的真实世界数据集进行了全面的实验,并证明了我们的模型优于几种最先进的方法。
2020-04-17 cs.IR cs.LG stat.ML
The complementarity of a diverse range of deep learning features extracted from video content for video recommendation
University of Pretoria(比勒陀利亚大学);MultiChoice Group(MultiChoice 集团)
随着流媒体的普及,许多视频流媒体服务不断购买新的视频内容,以从中挖掘潜在的利润。因此,必须很好地处理新添加的内容以推荐给合适的用户。在本文中,我们通过探索各种深度学习功能提供视频推荐的潜力来解决新项目冷启动问题。所研究的深度学习特征包括从视频内容捕获视觉外观、音频和运动信息的特征。我们还探讨了不同的融合方法,以评估如何以及这些功能模态可以结合起来,充分利用它们所捕获的互补信息。在真实世界的视频数据集上进行的电影推荐实验表明,深度学习特征的性能优于手工制作的特征。特别是,使用深度学习音频特征和以动作为中心的深度学习特征生成的推荐优于MFCC和最先进的iDT特征。此外,将各种深度学习功能与手工制作的功能和文本元数据相结合,与仅结合前者相比,在推荐方面产生了显着的改进。
2022-01-01 cs.IR cs.LG cs.MM
A Deep Framework for Cross-Domain and Cross-System Recommendations
Macquarie University(麦考瑞大学);Ant Financial Services Group(蚂蚁集团)
跨域推荐(CDR)和跨系统推荐(CSR)是解决推荐系统中长期存在的数据稀疏问题的两个有前途的解决方案。他们利用相对丰富的信息,例如,评级,以提高目标域或系统中的推荐准确性。因此,找到跨领域或系统的潜在因素的准确映射对于提高推荐准确性至关重要。然而,这是一个非常具有挑战性的任务,因为源和目标域或系统的潜在因素之间的复杂关系。为此,在本文中,我们提出了一个基于矩阵分解(MF)模型和完全连接的深度神经网络(DNN)的跨域和跨系统推荐的深度框架,称为DCDCSR。具体而言,DCDCSR首先采用MF模型来生成用户和项目潜在因素,然后采用DNN来映射跨域或系统的潜在因素。更重要的是,我们考虑了不同领域或系统中单个用户和项目的评级稀疏度,并使用它们来指导DNN训练过程,以便更有效地利用评级数据。在三个真实数据集上进行的大量实验表明,DCDCSR框架在推荐准确性方面优于最先进的CDR和CSR方法。
2020-09-14 cs.AI cs.LG
DARec: Deep Domain Adaptation for Cross-Domain Recommendation via Transferring Rating Patterns
University of New South Wales(新南威尔士大学)
跨领域推荐一直是推荐系统研究的热点之一。最近,已经提出了各种深度模型来跨领域转移学习的知识,但是它们中的大多数集中于从辅助内容中提取抽象的可转移特征,例如,图像和评论文本,而评级矩阵本身的模式很少被触及。在这项工作中,受领域自适应概念的启发,我们提出了一个深度领域自适应模型(DARec),该模型能够从评级矩阵{ \em only}中提取和传输模式,而不依赖于任何辅助信息。我们在公共数据集上实证证明,我们的方法在几种最先进的跨域推荐模型中达到了最佳性能。
2019-05-26 cs.IR cs.LG stat.ML
Deep Learning for Sequential Recommendation: Algorithms, Influential Factors, and Evaluations
Shanghai University of Finance and Economics(上海财经大学);Northeastern University(东北大学)
在顺序推荐领域,基于深度学习(DL)的方法在过去几年中受到了很多关注,并超过了基于马尔可夫链和基于因子分解的传统模型。然而,很少有系统的研究,特别是关于如何设计一个有效的DL模型的顺序推荐。因此,本文针对上述问题,重点研究了基于DL的顺序推荐系统。具体来说,我们说明了顺序推荐的概念,提出了一个现有的算法分类的三种类型的行为序列,总结了影响基于DL的模型的性能的关键因素,并进行相应的评估,以证明这些因素的影响。我们通过系统地概述这一领域的未来方向和挑战来结束这一调查。
2020-10-10 cs.IR cs.LG
Deep Variational Autoencoder with Shallow Parallel Path for Top-N Recommendation (VASP)
Czech Technical University in Prague(布拉格捷克理工大学)
最近推出的EASE算法提出了一种简单而优雅的方法,如何解决top-N推荐任务。在本文中,我们引入神经EASE,以进一步提高该算法的性能,结合现代神经网络的训练技术。此外,在recsys社区中,利用变分自编码器(VAE)来完成这项任务的兴趣越来越大。我们引入了深度自动编码器FLVAE,它受益于多个非线性层,没有信息瓶颈,同时不会对身份过度拟合。我们展示了如何与Neural EASE并行学习FLVAE,并在MovieLens 20 M数据集上实现最先进的性能,并在Netflix Prize数据集上获得有竞争力的结果。
2021-02-10 cs.LG cs.NE
Joint Group Profiling and Recommendation via Deep Neural Network-based Multi-Task Learning
Université de technologie de Compiègne(贡比涅技术大学);CNRS(法国国家科学研究中心);Heudiasyc (Heuristics and Diagnosis of Complex Systems)(启发式与复杂系统诊断实验室)
本文提出一种基于深度神经网络多任务学习的联合群体画像与推荐框架,通过共享表示和注意力机制提升群体推荐准确性,并在真实数据集上验证其优于基线模型。
2025-03-05 cs.AI cs.IR cs.LG
A Large-Scale Deep Architecture for Personalized Grocery Basket Recommendations
Walmart Labs(沃尔玛实验室)
随着越来越多的消费者通过Amazon Fresh、Instacart和WalmartGrocery等平台进行在线杂货购物,迫切需要在整个客户旅程中提供相关建议。在本文中,我们介绍了一个生产内篮杂货推荐系统,RTT2Vec,它产生实时个性化的产品推荐,以补充用户当前的杂货篮。我们对我们的系统进行了广泛的离线评估,并证明了预测指标比基线最先进的篮内推荐模型提高了9.4%。我们还提出了一种近似推理技术,比精确推理方法快11.6倍。在生产中,我们的系统增加了平均购物篮大小,改进了产品发现,并使用户能够更快地结账
2020-02-13 cs.IR cs.LG stat.ML
Addressing Item-Cold Start Problem in Recommendation Systems using Model Based Approach and Deep Learning
Ss. Cyril and Methodius University(圣基里尔和麦托迪大学)
传统的推荐系统依赖于过去的使用数据来生成新的推荐。这些方法无法为新用户和系统中的项目生成合理的推荐,因为缺少有关他们过去交互的信息。在本文中,我们提出了一个解决方案,成功地解决项目冷启动问题,使用基于模型的方法和深度学习的最新进展。特别地,我们使用潜在因素模型进行推荐,当无法从使用数据中获得潜在因素时,使用卷积神经网络从项目的描述中预测潜在因素。通过对可用使用数据应用矩阵因式分解获得的潜在因子被用作地面实况以训练卷积神经网络。为了创建新项的潜在因子表示,卷积神经网络使用它们的文本描述。实验结果表明,所提出的方法显着优于几个基线估计。
2017-06-18 cs.IR cs.LG stat.ML
DeepFair: Deep Learning for Improving Fairness in Recommender Systems
Universidad Politécnica de Madrid(马德里理工大学)
推荐系统中缺乏偏见管理导致少数群体收到不公平的推荐。此外,公平与精确之间的权衡使得很难获得同时符合这两项标准的建议。在这里,我们提出了一种基于深度学习的协同过滤算法,该算法在不知道用户的人口统计信息的情况下,提供了公平性和准确性之间的最佳平衡的推荐。实验结果表明,它是可能的,使公平的建议,而不会失去一个显着比例的准确性。
2020-06-09 cs.AI cs.LG stat.ML
DKN: Deep Knowledge-Aware Network for News Recommendation
Shanghai Jiao Tong University(上海交通大学);Microsoft Research Asia(微软亚洲研究院)
在线新闻推荐系统旨在解决新闻信息爆炸的问题,为用户提供个性化的推荐。一般来说,新闻语言是高度浓缩的,充满了知识实体和常识。然而,现有的方法是不知道这样的外部知识,不能完全发现新闻之间的潜在知识级的联系。因此,为用户推荐的结果仅限于简单的模式,并且不能合理地扩展。此外,新闻推荐还面临着新闻的高时效性和用户兴趣的动态多样性的挑战。为了解决上述问题,在本文中,我们提出了一个深度知识感知网络(DKN),将知识图表示纳入新闻推荐。DKN是一个基于内容的深度推荐框架,用于预测点击率。DKN的关键组件是一个多通道和词实体对齐的知识感知卷积神经网络(KCNN),它融合了新闻的语义级和知识级表示。KCNN将单词和实体视为多个通道,并在卷积过程中显式保持它们的对齐关系。此外,为了满足用户的不同兴趣,我们还设计了一个关注模块DKN动态聚合用户的历史相对于当前候选新闻。通过在一个真实的在线新闻平台上进行的大量实验,我们证明了DKN在最先进的深度推荐模型上取得了巨大的进步。我们还验证了DKN中知识使用的有效性。
2018-01-30 cs.LG stat.ML
DDTCDR: Deep Dual Transfer Cross Domain Recommendation
New York University(纽约大学)
跨领域推荐系统在帮助消费者从不同的类别中识别最满意的商品方面越来越有价值。然而,以前提出的跨领域模型没有考虑用户和项目之间的双向潜在关系。此外,它们不显式地对用户和项目特征的信息进行建模,而仅利用用户评级信息进行推荐。为了解决这些问题,在本文中,我们提出了一种新的方法,跨域建议的基础上的双重学习机制,在两个相关的域之间的信息传输,在迭代的方式,直到学习过程稳定。我们开发了一种新的潜在的正交映射提取用户的偏好在多个领域,同时保持用户之间的关系在不同的潜在空间。结合自动编码器方法提取特征信息的潜在本质,提出了深度双传输跨域推荐(DDTCDR)模型,在各个领域提供推荐。我们在包含电影,书籍和音乐项目三个领域的大型数据集上测试了所提出的方法,并证明它始终显着优于几种最先进的基线和经典的迁移学习方法。
2019-10-11 cs.IR cs.LG
Deep Content-User Embedding Model for Music Recommendation
KAIST(韩国科学技术院);NAVER corp.(NAVER公司)
最近,基于深度学习的推荐系统已经被积极地探索以使用混合方法来解决冷启动问题。然而,大多数以前的研究提出了一种混合模型,其中协同过滤和基于内容的过滤模块是独立训练的。端到端方法将不同的模态数据作为输入并联合训练模型可以提供更好的优化,但尚未得到充分的探索。在这项工作中,我们提出了深度内容用户嵌入模型,一个简单而直观的架构,结合了用户项交互和音乐音频内容。我们评估模型上的音乐推荐和音乐自动标记任务。结果表明,该模型显着优于以前的工作。我们还讨论了各种方向,以进一步改善所提出的模型。
2018-07-18 cs.IR cs.LG cs.MM
Deep reinforcement learning for search, recommendation, and online advertising: a survey
Michigan State University(密歇根州立大学)
搜索、推荐和在线广告是网络上最重要的三种信息提供机制。这些信息搜索技术通过在适当的时间和地点向用户推荐个性化的对象(信息或服务)来满足用户的信息需求,在缓解信息过载问题方面起着至关重要的作用。随着深度强化学习(DRL)的发展,人们对基于DRL的信息搜索技术的研究兴趣越来越大。这些基于DRL的技术具有两个关键优点-(1)它们能够根据用户的实时反馈持续更新信息搜索策略,以及(2)它们可以最大化来自用户的预期累积长期奖励,其中奖励根据信息搜索应用具有不同的定义,例如点击率、收入、用户满意度和参与度。本文从方法论到应用,概述了搜索、推荐和在线广告的深度强化学习,回顾了代表性算法,并讨论了一些有吸引力的研究方向。
2020-01-17 cs.IR cs.LG
DeepInterestGR: Mining Deep Multi-Interest Using Multi-Modal LLMs for Generative Recommendation
Southeast University(东南大学)
提出DeepInterestGR框架,通过多LLM兴趣挖掘、奖励标记深度兴趣和兴趣增强物品离散化,解决生成式推荐中的浅层兴趣问题,在三个Amazon数据集上显著提升推荐性能。
2026-10-30 cs.CV cs.CY cs.LG
MenuAI: Restaurant Food Recommendation System via a Transformer-based Deep Learning Model
Imperial College London(伦敦帝国理工学院)
食物推荐系统已被证明是一种有效的技术,为饮食选择提供指导,这对患有慢性疾病的患者尤为重要。与其他多媒体推荐(如书籍和电影)不同,食物推荐任务高度依赖于当前的上下文,因为用户的食物偏好可以随着时间的推移而高度动态变化。例如,人们倾向于在一天的早些时候吃更多的卡路里,在晚餐时吃得少一点。然而,仍然有有限的研究工作,试图结合当前的背景和营养知识的食物推荐。因此,本文提出了一种新的餐厅食物推荐系统,根据用户的特殊营养需求推荐食物菜肴。我们提出的系统利用光学字符识别(OCR)技术和基于transformer的深度学习模型,学习排序(LTR)模型,进行食品推荐。给定菜单的单个RGB图像,系统然后能够根据输入的搜索关键字(例如,卡路里、蛋白质水平)。由于Transformer的特性,我们的系统还可以对看不见的菜肴进行排名。在一个自构造的菜单数据集MenuRank上进行了全面的实验来验证我们的方法。实验结果表明,LTR模型在食品推荐方面具有很大的潜力,其推荐准确率在77.2%~ 99.5%之间。
2022-10-15 cs.IR cs.LG
Optimizing Performance of Recurrent Neural Networks on GPUs
NVIDIA(英伟达);University of Oxford(牛津大学);Google DeepMind(谷歌DeepMind)
随着循环神经网络变得越来越大、越来越深,单个网络的训练时间也会增加到几周甚至几个月。因此,有一个显着的动机,以提高这些网络的性能和可扩展性。虽然GPU已经成为训练和部署递归模型的首选硬件,但所采用的实现通常只使用这些架构的基本优化。在这篇文章中,我们演示了通过暴露网络内操作之间的并行性,可以在一个简单的实现上实现跨网络大小范围的数量级加速。我们描述了NVIDIA cuDNN第五版中包含的三个优化阶段:首先优化单个单元,其次优化单个层,第三优化整个网络。
2016-04-07 cs.LG cs.NE
Deep Attention Q-Network for Personalized Treatment Recommendation
Georgia Institute of Technology(佐治亚理工学院)
本文提出深度注意力Q网络,在深度强化学习框架中引入Transformer整合患者历史观察数据,用于个性化治疗推荐,并在脓毒症和急性低血压真实数据上验证其优于现有最优模型。
2023-07-04 cs.AI cs.LG