DAK: Direct-Access-Enabled GPU Memory Offloading with Optimal Efficiency for LLM Inference
Cornell University（康奈尔大学）
本文提出DAK框架，通过直接访问远程内存优化GPU内存卸载，提升系统带宽效率，实验显示在NVLink-C2C和PCIe系统中性能提升达3倍和1.8倍。
2026-04-28 cs.DC
Evaluating OpenMP Offloading for Intra-node Multi-GPU Programming across NVIDIA, AMD, and Intel Architectures: A 3D Heat Transfer Case Study
Rudolfovo-Science and Technology Centre Novo mesto（鲁多尔沃夫诺沃梅斯托科学与技术中心）；Faculty of Mechanical Engineering, University of Ljubljana（卢布尔雅那大学机械工程学院）；Department of Computer Science, FSTM, University of Luxembourg（卢森堡大学科学技术学院计算机科学系）
本研究以3D热传导为例，对比分析OpenMP Offloading在三类GPU上的性能，发现其多GPU实现较单GPU可获2倍、4倍左右性能提升。
2026-09-16 cs.DC
Study of Automatic Offloading Method in Mixed Offloading Destination Environment
近年来，除了诸如GPU、FPGA或多核CPU的小核CPU之外的异构硬件的利用率正在增加。然而，当使用异构硬件时，诸如OpenMP、CUDA和OpenCL等技术技能的障碍很高。在此基础上，我提出了环境适应软件，根据要放置的硬件，可以自动转换，配置和高性能操作一次编写的代码。然而，包括现有的技术，还没有研究适当地和自动地卸载混合卸载目标环境，如GPU、FPGA和多核CPU。本文作为环境自适应软件的一个新元素，研究了在GPU、FPGA和多核CPU混合卸载环境下，应用程序的合理自动卸载方法。我评估所提出的方法在多个应用程序的有效性。
2021-07-10 cs.DC
The benefits and challenges of explicit memory management in OpenMP Target GPU offloading
University of California San Diego（加州大学圣迭戈分校）
本文指出OpenMP Target Offload的半自动缓冲区同步功能存在正确性、性能等缺陷，说明OpenMP原生支持的缓冲区局部性显式处理可避免多数此类问题，但也有自身不足。
2026-08-18 cs.DC
Deep Reinforcement Learning for Online Latency Aware Workload Offloading in Mobile Edge Computing
由于物联网（IoT）设备的资源受限特征，将任务从IoT设备卸载到附近的移动边缘计算（MEC）服务器不仅可以节省IoT设备的能量，而且还可以减少执行任务的响应时间。然而，由于MEC服务器的有限计算资源，将任务卸载到最近的MEC服务器可能不是最佳解决方案。因此，联合优化卸载决策和资源管理至关重要，但仍有待探索。这里，卸载决策指的是在哪里卸载任务，并且资源管理意味着MEC服务器中有多少计算资源被分配给任务。通过考虑任务在通信队列和计算队列中的等待时间，（这被大多数现有的工作所忽略）以及任务优先级，我们提出了\ul{D} eep reinforcement l \ul{E} arning based offloading de \ul{C} Vision and r \ul{E} source manageme \ul{NT}（DECENT）算法，该方法利用优势参与者评价方法来优化卸载决策，并为每个到达的任务实时计算资源分配。时间，使得可以最小化累积加权响应时间。DECENT的性能通过不同的实验证明。
2022-10-29 cs.DC
DMRO:A Deep Meta Reinforcement Learning-based Task Offloading Framework for Edge-Cloud Computing
随着移动数据的不断增长和对计算能力的前所未有的需求，资源受限的边缘设备无法有效满足物联网（IoT）应用和深度神经网络（DNN）计算的要求。边缘卸载作为一种分布式计算范式，将复杂的任务从物联网设备迁移到边缘云服务器，可以突破物联网设备的资源限制，减轻计算负担，提高任务处理效率。然而，最优卸载决策问题是NP难问题，传统的优化方法难以有效地获得结果。此外，现有的深度学习方法还存在一些缺点，例如，学习速度慢，环境变化时原有网络参数失效。为了应对这些挑战，我们提出了一种基于深度Meta强化学习的卸载（DMRO）算法，该算法将多个并行DNN与Q学习相结合，以做出细粒度的卸载决策。通过聚合深度学习的感知能力、强化学习的决策能力和元学习的快速环境学习能力，可以快速灵活地从物联网环境中获取最优卸载策略。仿真结果表明，与Deep Q-学习算法相比，该算法具有明显的性能提升，即使在时变的物联网环境中，也能实时做出卸载决策，具有较强的可移植性。
2020-08-23 cs.DC eess.SP
Process migration-based computational offloading framework for IoT-supported mobile edge/cloud computing
移动设备已成为物联网（IoT）不可或缺的组成部分。然而，这些设备在处理能力、电池功率和存储空间方面具有资源约束，从而阻碍了通常需要宽带宽、严格的响应时间、长电池寿命和重计算能力的计算密集型应用的执行。移动云计算和移动边缘计算（MEC）是可以使用卸载算法来满足上述要求的新兴技术。本文分析了边缘网络中依赖于平台的原生应用程序对计算卸载的影响，提出了一个轻量级的基于进程迁移的计算卸载框架。所提出的框架不需要边缘服务器上的应用程序二进制文件，因此可以无缝迁移本地应用程序。建议的框架进行评估，使用实验测试平台。数值结果表明，该框架节省了近44%的执行时间和84%的能源消耗。因此，所提出的框架显示了MEC中资源密集型物联网应用程序处理的巨大潜力。
2019-09-24 cs.DC cs.NI
Taming GPU Underutilization via Static Partitioning and Fine-grained CPU Offloading
KTH Royal Institute of Technology（皇家理工学院）；William & Mary（威廉与玛丽学院）
本文通过静态分区和细粒度CPU卸载技术，减少GPU资源空置，提升系统吞吐量和能效，同时解决多实例GPU在HPC工作负载中的性能干扰问题。
2026-04-09 cs.DC
Distributed OpenMP Offloading of OpenMC on Intel GPU MAX Accelerators
本研究基于前期GPU适配基础，通过分布式OpenMP卸载将OpenMC蒙特卡罗代码扩展适配至Intel Data Center Max 1100 GPU，基准测试显示其相较第四代至强CPU实现显著加速，计算负载越高优势越明显。
2024-03-12 cs.DC
Blockchain-Enhanced Offloading in Mobile Edge Computing: A Systematic Review and Survey of Current Trends and Future Directions
本文针对移动边缘计算卸载的隐私安全问题，综述了基于区块链的安全卸载方法，梳理核心概念、按算法分类并对比相关技术、工具与指标，为该领域研究提供系统参考。
2024-03-09 cs.DC
AQUA: Network-Accelerated Memory Offloading for LLMs in Scale-Up GPU Domains
针对云托管LLM推理时GPU显存不足、请求突发下响应性差且页交换开销高的问题，提出GPU显存管理框架Aqua，通过网络加速内存卸载降低页交换开销，实验验证其响应性和吞吐量较现有方案分别提升20倍和4倍。
2025-02-21 cs.DC
Power Reduction of Automatic Heterogeneous Device Offloading
近年来，除了诸如GPU、FPGA或多核CPU的小核CPU之外的异构硬件的利用率正在增加。然而，当使用异构硬件时，CUDA等技术技能的障碍很高。在此基础上，我提出了环境自适应软件，使自动转换，配置，高性能和低功耗操作的一次编写的代码，根据硬件放置。到目前为止，我还验证了自动GPU和FPGA卸载的性能改进。在本文中，我通过确认自动卸载后的功率利用率来验证具有环境适应性的低功率操作。我比较了现有应用程序在自动卸载后的瓦特 * 秒与仅CPU处理的情况。
2021-08-20 cs.DC
Hierarchical Fog-Cloud Computing for IoT Systems: A Computation Offloading Game
雾计算在网络边缘提供低延迟计算服务，是新兴物联网（IoT）系统的推动者。在本文中，我们研究了雾计算资源的物联网用户在一个分层的计算范式，包括雾和远程云计算服务的分配。我们制定了一个计算卸载游戏来模拟物联网用户之间的竞争，并有效地分配雾节点的有限处理能力。每个用户的目标是最大化其自身的体验质量（QoE），这反映了其在计算能量和延迟的减少方面对使用计算服务的满意度。利用潜在的博弈方法，我们证明了一个纯纳什均衡的存在性，并提供了一个上限的无政府代价。由于达到均衡的时间复杂度随着用户数量的增加而呈指数级增加，因此我们进一步提出了一种接近最优的资源分配机制，并证明了在具有$N$ IoT用户的系统中，它可以在$O(N/ε)$时间内实现$ε$ -纳什均衡。通过数值研究，我们评估用户的QoE以及均衡效率。我们的研究结果表明，通过利用所提出的机制，更多的用户受益于计算服务相比，现有的卸载机制。我们进一步表明，我们提出的机制显着降低了计算延迟，并为延迟敏感的物联网应用提供低延迟雾计算服务。
2017-10-17 cs.DC cs.GT cs.NI
GPU-Augmented OLAP Execution Engine: GPU Offloading
Independent Researcher Daegu, Republic of Korea
本文提出一种GPU增强的OLAP执行引擎，通过风险感知门控机制选择性卸载高影响原语以提升执行效率。
2025-12-24 cs.AR cs.DB cs.DC
FedAdapt: Adaptive Offloading for IoT Devices in Federated Learning
University of St Andrews（圣安德鲁斯大学）；Queen’s University Belfast（贝尔法斯特女王大学）；Rakuten Mobile（乐天移动）
在物联网设备上应用联邦学习（FL）是必要的，因为它们产生了大量的数据，并且越来越多地关注数据隐私。然而，需要解决三个挑战以使FL高效：（i）在具有有限计算能力的设备上执行，（ii）考虑由于设备的计算异构性而导致的掉队者，以及（iii）适应不断变化的网络带宽。本文介绍了FedAdapt，这是一个自适应卸载FL框架，可以缓解上述挑战。FedAdapt通过利用深度神经网络（DNN）到服务器的层卸载来加速计算受限设备中的本地训练。此外，FedAdapt采用基于强化学习的优化和聚类，自适应地识别DNN的哪些层应该为每个单独的设备卸载到服务器上，以应对计算异构性和不断变化的网络带宽的挑战。在实验室测试平台上进行了实验研究，结果表明，通过将DNN从设备卸载到服务器，FedAdapt将典型物联网设备的训练时间减少了一半以上，与经典FL相比，极端落后者的训练时间和整体训练时间可以减少高达57%。此外，随着网络带宽的变化，与经典FL相比，FedAdapt可以将训练时间减少多达40%，而不会牺牲准确性。
2022-05-18 cs.DC cs.LG
Execution Timing Control for Deterministic Task Offloading in the IoT-Edge-Cloud Continuum
Networked Systems Lab, Universidad Miguel Hernandez de Elche（埃尔切米格尔·埃尔南德斯大学网络系统实验室）
该研究针对物联网-边缘-云连续体中任务卸载的拥塞与资源利用问题，提出联合确定任务执行位置与时序的控制策略，显著提升了任务满意度并降低了资源消耗与执行时间。
2026-08-04 cs.DC cs.NI
HongTu: Scalable Full-Graph GNN Training on Multiple GPUs (via communication-optimized CPU data offloading)
提出可扩展全图GNN训练系统HongTu，通过CPU数据卸载、去重通信和成本模型引导的图重组技术，在多GPU上支持十亿规模图训练，显著降低通信开销并实现大幅加速。
2023-11-25 cs.DC
Distributed Computation Offloading of an application from mobile/IoT device to cloud
在新型冠状病毒疫情下，使用移动设备连接互联网的用户数量增加。人们在那里做的每一个任务使用手机[16]。这些设备是电池供电的，并且具有有限的计算能力。它们的计算能力可以通过计算卸载来增强，其中所需的计算将在云上的第三方服务器而不是设备本身上完成。云提供了几乎无限的计算和存储。我们提出，通过利用应用程序调用层次结构中的并行性，我们可以减少非并行部分的执行时间，并在VM崩溃的情况下最大限度地减少数据重发。我们确定应用程序中相互独立的函数调用路径，并以分布式方式在单独的VM上调度它们中的每一个。无论这些独立的路径合并在哪里，我们都会将其折叠为单个VM，并且每当路径再次分叉时，我们都会调度多个VM。如果任何单个VM出现故障，将创建另一个副本。然而，只有与崩溃的VM相关联的代码和数据需要从客户端设备重新传输。在人脸重组和蒙太奇应用程序的情况下，我们减少执行时间分别为27.5%和43.43%。然而，如果两个VM中的任何一个崩溃，则重新发送的数据将是已经卸载到相应VM的应用程序的一部分，这取决于它们具有的并行度水平，这在重新发送的情况下节省了移动电池。我们还将讨论针对一个作业使用多个VM与针对同一作业使用单个VM的能耗效果。
2023-02-05 cs.DC
Proposal of Automatic Offloading Method in Mixed Offloading Destination Environment
针对异构硬件使用技术门槛高且现有技术无法在GPU、FPGA、众核CPU混合环境下自动合理卸载应用的问题，提出了作为环境自适应软件新要素的混合目标环境自动卸载方法。
2024-09-13 cs.DC
SPPO:Efficient Long-sequence LLM Training via Adaptive Sequence Pipeline Parallel Offloading
针对长序列 LLM 训练的显存与资源瓶颈，提出 SPPO 框架，通过自适应卸载、两级激活管理和启发式流水线调度，仅用 128 张 A100 完成 7B 模型、4M token 训练，吞吐量最高提升 3.38 倍。
2025-03-13 cs.DC
Green-aware Mobile Edge Computing for IoT: Challenges, Solutions and Future Directions
物联网（IoT）技术的发展使互联智能设备和移动应用程序快速增长。然而，由于有限的资源和有限的电池容量，在利用智能设备时存在瓶颈。移动边缘计算（MEC）提供了一个有吸引力的范例来应对这一挑战。在这项工作中，我们专注于物联网的MEC应用，并通过在云和边缘之间卸载工作负载来实现节能目标。在这方面，我们首先确定MEC中与能源相关的挑战。然后，我们提出了一个绿色意识的框架MEC解决能源相关的挑战，并提供了一个通用的模型制定的绿色MEC。我们还讨论了一些最先进的工作负载卸载方法，以实现绿色物联网，并从全面的角度对它们进行比较。最后，对MEC节能的未来研究方向进行了展望。
2020-09-08 cs.DC
A Blockchain-Based Distributed Computational Resource Trading Strategy for Internet of Things Considering Multiple Preferences
基于边缘计算的计算任务卸载可以解决传统基于云的物联网系统的性能瓶颈。为了进一步优化计算效率和资源分配，已经提出了协作卸载，以实现从边缘设备到物联网终端设备的卸载。然而，仍然缺乏鼓励参与者接替他人任务的激励机制。针对这种情况，本文提出了一种分布式计算资源交易策略，解决物联网用户的多个偏好。与大多数现有的作品，我们的交易策略的目标综合考虑了不同的满意度与任务延迟，能源消耗，价格和用户声誉的请求者和合作者。系统设计使用区块链来增强分散性，安全性和自动化。与基于经典双向拍卖匹配机制的交易方法相比，该交易策略具有更多的任务卸载和执行，交易结果对信誉良好的合作者更友好。
2023-01-04 cs.DC
Prediction based computation offloading and resource allocation for multi-access ISAC enabled IoT system
针对高移动性物联网中移动设备资源受限问题，提出基于预测的ISAC系统计算卸载与资源分配框架，通过提取轨迹和速度等数据属性进行分配决策，其ClusterMan软件包在预测中实现了97%的准确率。
2024-06-28 cs.DC cs.ET cs.NI
Practical offloading for fine-tuning LLM on commodity GPU via learned sparse projectors
Carnegie Mellon University（卡内基梅隆大学）；Peking University（北京大学）
本文提出LSP-Offload框架，通过学习稀疏投影器减少通信开销并设计逐层调度，使消费级GPU能以接近原生速度微调十亿级参数LLM，相比现有卸载方法端到端时间减少33.1%-62.5%。
2025-02-09 cs.AI cs.DC
Automatic BLAS Offloading on Unified Memory Architecture: A Study on NVIDIA Grace-Hopper
针对代码移植GPU需大量工作且现有自动卸载工具因数据传输成本高不实用的问题，本研究利用NVIDIA Grace-Hopper的统一内存架构，提出无需代码更改或重新编译的自动BLAS卸载工具，在量子化学/物理代码测试中获显著性能收益。
2025-04-15 cs.DC
ChunkFlow: Communication-Aware Chunked Prefetching for Layerwise Offloading in Distributed Diffusion Transformer Inference
University of California, Merced（加州大学梅尔德分校）；University of Chicago（芝加哥大学）；Yotta Labs（Yotta实验室）
ChunkFlow通过通信感知分块预取优化分层卸载，减少GPU内存占用并提升推理效率，在不同工作负载下实现内存与延迟的可调平衡。
2026-05-11 cs.DC cs.LG
Cost-Efficient LLM Serving in the Cloud: VM Selection with KV Cache Offloading
Sogang University（西江大学）；ETRI（韩国电子通信研究院）
针对云环境LLM推理的高GPU成本问题，提出InferSave框架，通过基于SLO和工作负载优化KV缓存卸载、CTCF校准性能差异来推荐低成本VM实例，实验显示在线场景成本效率提升73.7%，离线场景节省20.19%成本。
2025-04-16 cs.DC cs.LG
Unified schemes for directive-based GPU offloading
针对OpenACC和OpenMP target在GPU卸载中的互补优缺点，开发仅含头文件的库Solomon，统一两者接口并提供三种符号以降低学习和实现成本，支持多厂商GPU，已开源且在N体模拟等场景验证。
2024-11-28 astro-ph.IM cs.DC cs.PF
DiOMP-Offloading: Toward Portable Distributed Heterogeneous OpenMP
针对传统HPC混合编程模型在分布式GPU内存管理与可移植性上的不足，提出分布式OpenMP框架DiOMP，融合OpenMP目标卸载与PGAS模型，实验证明其在多类异构平台上具备更优性能、可扩展性与可编程性。
2025-06-03 cs.DC
Decentralized Network Topology Design for Task Offloading in Mobile Edge Computing
针对移动边缘计算中网络拓扑优化不足的问题，提出一种联合考虑拓扑设计与任务分配的去中心化网络拓扑设计策略DNTD-TO，通过构建三层网络结构生成最优任务分配，显著提升了计算效率。
2024-11-12 cs.DC cs.NI
PIPO: Pipelined Offloading for Efficient Inference on Consumer Devices
School of Computer Science, Nanjing University, China（南京大学计算机科学学院）
针对大语言模型在消费级设备部署中内存不足、卸载推理GPU利用率低的问题，提出PIPO流水线卸载框架，通过细粒度流水线与优化传输计算提升并发调度效率，实验验证其可大幅提升GPU利用率与推理吞吐量。
2025-06-13 cs.AI cs.DC cs.LG
ZenFlow: Enabling Stall-Free Offloading for LLM Training
University of Virginia（弗吉尼亚大学）；University of California, Merced（加州大学梅尔塞德斯分校）；Argonne National Laboratory（阿贡国家实验室）；Snowflake AI Research（Snowflake人工智能研究）
ZenFlow通过异步更新和梯度选择，优先处理重要参数，解耦GPU与CPU更新，实现无停滞卸载训练，获得高达5倍加速并减少85%以上GPU停滞。
2026-10-16 cs.DC cs.LG
Offloading Execution from Edge to Cloud: a Dynamic Node-RED Based Approach
雾计算支持在终端设备中生成的数据直接在网络边缘存储、处理和操作的用例，但计算可以通过边缘到云连续体卸载到更强大的实例。这种卸载机制在现代多用途物联网网关的情况下尤其需要，其中需求和操作条件在部署之间可能会有很大变化。为了促进网关的开发和运营，我们直接实施卸载，作为嵌入在软件堆栈中的物联网快速原型过程的一部分，基于Node-RED。我们评估实施的方法，使用图像处理的例子，并比较各种卸载策略的基础上，资源消耗和其他系统指标，突出处理需求和服务水平达到的差异。
2018-10-26 cs.DC cs.NI cs.PF
Energy Savings by Task Offloading to a Fog Considering Radio Front-End Characteristics
雾计算可用于从电池供电的物联网（IoT）设备卸载计算密集型任务。虽然它减少了物联网设备中计算所需的能量，但它使用能量与雾进行通信。本文分析了何时使用雾计算比本地计算更节能。详细的能量消耗模型建立在内置的两种情况下的能量消耗和功率放大器（PA）引入的失真之间的关系的焦点设置。数值结果表明，任务卸载到雾是最节能的短，宽带链路。
2021-04-26 cs.DC cs.NI eess.SP
Proposal of Automatic Offloading for Function Blocks of Applications
当使用CPU以外的异构硬件时，OpenCL等技术技能的障碍很高。在此基础上，我提出了环境自适应软件，可以根据要放置的硬件自动转换，配置和高性能操作一次编写的代码。部分卸载到GPU之前是自动化的。在本文中，我提出并评估了一种自动提取方法，适当的卸载目标循环语句的源代码作为卸载到FPGA的第一步。我评估所提出的方法在多个应用程序的有效性。
2020-04-21 cs.DC
DAOP: Data-Aware Offloading and Predictive Pre-Calculation for Efficient MoE Inference
School of Computing, National University of Singapore（计算学院，新加坡国立大学）
本文针对MoE模型在内存受限设备部署中因GPU内存有限导致的频繁数据传输抵消速度优势的问题，提出DAOP推理引擎，通过动态分配专家、选择性预计算等优化，性能优于传统方法且保持精度。
2026-08-24 cs.DC cs.LG
TriMoE: Augmenting GPU with AMX-Enabled CPU and DIMM-NDP for High-Throughput MoE Inference via Offloading
SKLP, Institute of Computing Technology, Chinese Academy of Sciences, Beijing, China（SKLP，计算技术研究所，中国科学院，北京）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京）
TriMoE通过结合AMX启用的CPU和DIMM-NDP，优化MoE推理的计算单元分配，提升高吞吐量性能。
2026-03-01 cs.AI cs.AR cs.DC
Cost-Efficient LLM Training with Lifetime-Aware Tensor Offloading via GPUDirect Storage
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IBM Research（IBM研究院）
本文提出 TERAIO 框架，依据张量生命周期分析生成卸载与预取计划，并通过 GPUDirect Storage 在 GPU 和 SSD 间直接迁移，以低成本扩展 GPU 显存，显著提升 LLM 训练性能。
2025-06-06 cs.AI cs.DC cs.LG
GriNNder: Breaking the Memory Capacity Wall in Full-Graph GNN Training with Storage Offloading
Seoul National University（首尔大学）
GriNNder通过结构化存储卸载框架，利用NVMe SSD的高容量和带宽，实现有限内存下的全图GNN训练，实验显示其在单GPU上实现了9.78倍的加速和与分布式系统相当的吞吐量。
2026-05-12 cs.DC
Towards Multi-Model LLM Schedulers: Empirical Insights into Offloading and Preemption
Sapienza University of Rome（罗马大学）
本文通过实证研究探讨了不同LLM在不同硬件平台上的行为，重点分析了层卸载和抢占对性能的影响，揭示了卸载和抢占对解码吞吐量的非线性影响以及其在不同模型和硬件平台上的差异，为设计高效的多模型LLM服务系统提供了指导。
2026-05-19 cs.AI cs.DC
MLP-Offload: Multi-Level, Multi-Path Offloading for LLM Pre-training to Break the GPU Memory Wall
Argonne National Laboratory（阿贡国家实验室）；Rochester Institute of Technology（罗切斯特理工学院）
针对大语言模型预训练中GPU内存不足、现有卸载技术I/O开销大的问题，提出MLP-Offload多级多路径卸载引擎，通过跨层高效卸载优化器状态缓解I/O瓶颈，280B参数模型下迭代速度达前沿方案的2.5倍。
2025-09-02 cs.AI cs.DC cs.LG
Joint Optimization of Offloading, Batching and DVFS for Multiuser Co-Inference
本研究针对多用户边缘-设备协同推理场景，提出联合DVFS、卸载和批处理策略J-DOB，在满足硬延迟约束下最小化总能耗，实验显示相比本地计算能耗降低高达51.30%。
2025-04-20 cs.DC
NEO: Saving GPU Memory Crisis with CPU Offloading for Online LLM Inference
Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）；UC Davis（加州大学戴维斯分校）；Harvard University（哈佛大学）
针对在线LLM推理中GPU内存不足限制批大小与吞吐量的问题，提出NEO系统通过CPU卸载部分注意力计算与KV缓存，结合非对称流水线与负载感知调度，在多场景下显著提升推理吞吐量。
2024-11-02 cs.AI cs.DC cs.LG
Proposal of Automatic FPGA Offloading for Applications Loop Statements
近年来，随着摩尔定律的预测变慢，除了CPU之外，诸如FPGA的能量有效的硬件的利用率正在增加。然而，当使用CPU以外的异构硬件时，OpenCL等技术技能的障碍很高。在此基础上，我提出了环境自适应软件，可以根据要放置的硬件自动转换，配置和高性能操作一次编写的代码。部分卸载到GPU之前是自动化的。在本文中，我提出并评估了一种自动提取方法，适当的卸载目标循环语句的源代码作为卸载到FPGA的第一步。我使用现有的应用程序评估所提出的方法的有效性。
2020-04-18 cs.DC
Evaluation of Automatic FPGA Offloading for Loop Statements of Applications
近年来，随着摩尔定律的预测变慢，除了CPU之外，诸如FPGA的能量有效的硬件的利用率正在增加。然而，当使用CPU以外的异构硬件时，OpenCL等技术技能的障碍很高。在此基础上，我提出了环境自适应软件，可以根据要放置的硬件自动转换，配置和高性能操作一次编写的代码。部分卸载到GPU之前是自动化的。在本文中，我提出并评估了一种自动提取方法，适当的卸载目标循环语句的源代码作为卸载到FPGA的第一步。我使用现有的应用程序评估所提出的方法的有效性。
2020-02-21 cs.DC
DALI: A Workload-Aware Offloading Framework for Efficient MoE Inference on Local PCs
Institute of Automation, CAS（中国科学院自动化研究所）；School of Future Technology, University of Chinese Academy of Sciences（中国科学院大学未来技术学院）；Shanghai Jiao Tong University（上海交通大学）；AiRiA
DALI通过动态分配和残差预取技术，提升本地PC上MoE推理效率，实现显著加速。
2026-02-03 cs.DC cs.LG
An Auction-Based Mechanism for Optimal Task Allocation and Resource Aware Containerization
GALGOTIAS COLLEGE OF ENGINEERING AND TECHNOLOGY（加尔戈蒂亚斯工程与技术学院）
本文提出AUC-RAC机制，通过基于拍卖的投标过程优化IoT设备中本地服务器的任务分配与资源管理。
2026-02-12 cs.DC cs.NI
RAGDoll: Efficient Offloading-based Online RAG System on a Single GPU
针对消费级平台部署RAG的资源限制，提出RAGDoll系统，通过解耦检索与生成为并行流水线，结合内存放置与动态批调度，实现最高3.6倍平均延迟加速。
2025-04-17 cs.DC cs.OS
Infrastructure de Services Cloud FaaS sur noeuds IoT
在本文中，我们将介绍PyCloudIoT云基础设施。PyCloudIoT使用FaaS云计算模型，在具有资源受限节点而不是强大数据中心的集群上卸载数值计算。该基础设施旨在利用物联网节点的未使用资源-已经部署在网络边缘-以减少用户请求的延迟。这种额外的计算必须在没有显著能耗的情况下完成-物联网节点由电池供电。-- Dans cet article，nous décrivons l'infrastructure cloud PyCloudIoT. PyCloudIoT s'appuie sur un modèle de云计算FaaS pour du calcul numérique déporté vers une ferme de calcul composée de noeuds à capacités restreintes au lieu d'un punctre powissant. Cette infrastructure vise à tirer profit des resources inutilisées déployées sur næuds IoT sans augmenter significativement reductions d'ésommation d'énergie et，en même temps，à rapprocher ces resource…
2020-09-05 cs.DC
Portability and Scalability of OpenMP Offloading on State-of-the-art Accelerators
本研究评估了OpenMP卸载在Intel Ponte Vecchio Max 1100和NVIDIA A100上的可移植性与可扩展性，发现v4.5覆盖完整，但更高版本支持不足，两者性能相当，PVC1100因内存更大可扩展至更大问题规模。
2023-05-14 cs.DC
Study of Resource Amount Configuration for Automatic Application Offloading
近年来，除了诸如GPU、FPGA或多核CPU的小核CPU之外的异构硬件的利用率正在增加。然而，当使用异构硬件时，诸如OpenMP、CUDA和OpenCL等技术技能的障碍很高。在此基础上，我提出了环境适应软件，根据要放置的硬件，可以自动转换，配置和高性能操作一次编写的代码。然而，尽管到目前为止已经研究了根据迁移目的地环境的代码转换，但是还没有研究适当地设置资源量。本文作为环境自适应软件的一个新元素，为了使应用程序能够以高性价比运行，研究了一种优化CPU资源量和卸载设备的方法。
2020-11-20 cs.DC
Memory Layouts for GPU-Data Transfer Buffering in SPH
Durham University（杜伦大学）；The University of Manchester（曼彻斯特大学）；Leiden University（莱顿大学）
针对GPU计算速度提升而数据传输成为瓶颈的问题，提出分裂结构数组（split array-of-struct）内存布局策略，将粒子结构按内核访问模式和属性类型拆分，使数据打包时间减少20%-40%，GPU卸载总时间降低12%-25%。
2026-06-24 cs.DC cs.MS cs.PF
Progressive Neural Compression for Adaptive Image Offloading under Timing Constraints
Washington University in St. Louis（圣路易斯华盛顿大学）
本文提出渐进式神经压缩（PNC），通过多目标无速率自编码器按推理重要性排序特征，在可变带宽和时序约束下自适应传输图像特征，从而最大化边缘服务器上图像分类的推理性能。
2023-10-08 cs.CV cs.DC cs.LG
Automated Tensor Scheduling for Hybrid CPU-GPU LLM Inference on Consumer Devices
School of Computer Science, Nanjing University（南京大学计算机科学学院）
研究在消费级设备运行大语言模型时因模型权重超GPU内存需卸载推理的问题，提出ATSInfer系统，通过结合静态张量放置与负载感知动态传输及异步协调，在代表性平台评估，相比现有系统显著提升吞吐量、利用率等，改善本地大语言模型部署体验。
2026-07-15 cs.AI cs.DC cs.LG
