Cost-Driven Offloading for DNN-based Applications over Cloud, Edge and End Devices
目前，深度神经网络（DNN）在各种应用中取得了巨大的成功。在云中对DNN的传统部署可能在将输入数据从终端设备传输到云中时引起极其严重的延迟。为了解决这个问题，采用由云、边缘和终端设备组成的混合计算环境，通过将云中的较大层（更多数据量）与边缘和终端设备处的较小层（更少数据量）相结合来卸载DNN层。混合计算环境中的一个关键问题是如何在完成具有截止期约束的卸载层的同时最小化系统成本。为了减少数据传输和分层执行带来的系统开销，提出了一种基于遗传算法（GA）算子的自适应离散粒子群优化（PSO）算法。这种方法考虑了DNN分区的特性以及云、边缘和终端设备上的层卸载。采用遗传算法的变异算子和交叉算子来避免粒子群算法的早熟收敛，通过增强粒子群算法的种群多样性，显著降低了系统代价。将所提出的卸载策略与基准解决方案进行比较，结果表明，相对于基准，我们的策略可以有效地降低基于DNN的应用程序在云，边缘和终端设备上的卸载成本。
2019-07-31 cs.DC eess.SP
Enhancing Secrecy Energy Efficiency in RIS-Aided Aerial Mobile Edge Computing Networks: A Deep Reinforcement Learning Approach
针对地面用户任务卸载的地面窃听安全问题，提出RIS辅助的UAV-MEC方案，通过深度强化学习联合优化多变量以提升保密能效，兼顾能耗与任务时效，数值验证了方案的安全防护与节能效果。
2025-05-16 cs.CR cs.DC cs.SY
SPPO:Efficient Long-sequence LLM Training via Adaptive Sequence Pipeline Parallel Offloading
针对长序列 LLM 训练的显存与资源瓶颈，提出 SPPO 框架，通过自适应卸载、两级激活管理和启发式流水线调度，仅用 128 张 A100 完成 7B 模型、4M token 训练，吞吐量最高提升 3.38 倍。
2025-03-13 cs.DC
Joint Multi-User DNN Partitioning and Computational Resource Allocation for Collaborative Edge Intelligence
Sun Yat-sen University（中山大学）
移动边缘计算（MEC）已成为一种有前途的支持架构，为网络边缘提供各种资源，从而为边缘智能服务提供支持，为大规模移动和物联网（IoT）设备提供AI功能。在边缘服务器的帮助下，用户设备（UE）能够运行基于深度神经网络（DNN）的AI应用，其通常是资源消耗和计算密集型的，使得单个UE几乎不能实时的靠自己负担。然而，每个单独的边缘服务器中的资源通常是有限的。因此，任何涉及边缘服务器的资源优化本质上都是一个资源受限的优化问题，需要在这样的现实环境中解决。出于这一观察，我们研究了DNN分区（一种新兴的DNN卸载方案）在现实的多用户资源约束条件下的优化问题，这在以前的作品中很少考虑。尽管解决方案空间非常大，但我们揭示了联合多UE DNN划分和计算资源分配的这个特定优化问题的几个属性。我们提出了一种称为迭代交替优化（IAO）的算法，可以在多项式时间内获得最优解。此外，我们提出了严格的理论分析，我们的算法的时间复杂度和性能下的实际估计误差。此外，我们建立了一个原型，实现了我们的框架，并进行了广泛的实验，使用现实的DNN模型，其结果证明了其有效性和效率。
2020-07-15 cs.DC cs.LG cs.NI
QoS-SLA-Aware Adaptive Genetic Algorithm for Multi-Request Offloading in Integrated Edge-Cloud Computing in Internet of Vehicles
United Arab Emirates University（阿联酋大学）
车载自组织网络车联网是一项新兴技术，可实现智能城市应用的开发，重点是改善交通安全、交通效率和整体驾驶体验。这些应用程序有严格的要求，详见服务水平协议。由于车辆具有有限的计算和存储能力，因此应用请求被卸载到集成的边缘云计算系统上。现有的卸载解决方案集中于在执行时间方面优化应用的服务质量（QoS），并且遵守单个SLA约束。他们没有考虑重叠多请求处理的影响，也没有考虑车辆速度变化的影响。提出了一种新的人工智能QoS-SLA-aware自适应遗传算法（QoS-SLA-AGA）来优化异构边缘云计算系统中多请求卸载的应用程序执行时间，该算法考虑了处理多请求重叠和动态车辆速度的影响。建议的遗传算法集成了一个自适应的惩罚函数来同化SLA的延迟，处理时间，截止日期，CPU和内存的要求的约束。数值实验和分析比较我们的QoS-SLA-AGA随机卸载，和基线基于遗传的方法。结果表明，QoS-SLA-AGA执行请求的速度平均比随机卸载方法快1.22倍，SLA违规减少59.9%。相比之下，基于基因的基线方法将请求的性能提高了1.14倍，SLA违规增加了19.8%。
2022-03-01 cs.AI cs.DC cs.NA
Digital Twinning of a Pressurized Water Reactor Startup Operation and Partial Computational Offloading in In-network Computing-Assisted Multiaccess Edge Computing
Chonnam National University（全南大学）；Institute for Energy Technology（能源技术研究所）
针对核电厂数字孪生中复杂人为行动表示及部分计算卸载延迟问题，提出两阶段方法：用概率图模型捕获人为行动，并将卸载问题建模为多用户博弈，设计去中心化算法优化卸载决策与资源分配，仿真验证有效性。
2024-06-24 cs.AI cs.DC cs.NI
Elixir: Train a Large Language Model on a Small GPU Cluster
HPC-AI Technology Inc.（HPC-AI科技公司）；National University of Singapore（新加坡国立大学）
本文提出 Elixir 方案，通过运行前模型剖析自动选择内存划分与卸载的最优组合，在小型 GPU 集群上高效训练大语言模型，并在 GPT-2 上实现最高 3.4 倍加速。
2023-05-31 cs.AI cs.DC cs.LG
Reconfigurable Intelligent Computational Surfaces for MEC-Assisted Autonomous Driving Networks: Design Optimization and Analysis
本文提出在MEC辅助自动驾驶网络中部署可重构智能计算表面RICS，通过联合优化任务卸载比例、频谱共享及RICS反射折射矩阵，在提升V2I卸载可靠性的同时抑制V2V干扰，仿真显示安全系数提升近34%、V2V速率提升约60%。
2024-07-01 cs.DC eess.SP
CoEdge: Cooperative DNN Inference with Adaptive Workload Partitioning over Heterogeneous Edge Devices
Sun Yat-sen University（中山大学）；University of Nevada, Reno（内华达大学里诺分校）；Arizona State University（亚利桑那州立大学）
人工智能的最新进展已经推动了网络边缘的智能应用，例如灵巧家庭、智能工厂和智能城市。为了在资源受限的边缘设备上部署计算密集型深度神经网络（DNN），传统方法依赖于将工作负载卸载到远程云或在本地优化终端设备的计算。然而，云辅助的方法受到不可靠和延迟显著的广域网，和本地计算方法受到限制的计算能力。协同执行机制为实现高性能边缘智能提供了一种新的范式，近年来引起了越来越多的研究兴趣。在本文中，我们提出了CoEdge，这是一个分布式DNN计算系统，可以在异构边缘设备上协调协作DNN推理。CoEdge利用边缘的可用计算和通信资源，并根据设备的计算能力和网络条件动态划分DNN推理工作负载。基于实际原型的实验结果表明，CoEdge算法在推理延迟接近的情况下，比现有算法具有更好的节能效果，对4种广泛采用的CNN模型，其能耗降低幅度可达25.5%~66.9%.
2020-12-06 cs.CV cs.DC cs.NI
RapidMoE: Exploiting Cross-Asymmetry via Adaptive Residual Offloading for Large-Scale MoE Inference
Tsinghua University（清华大学）；BNRist（北京信息科学与技术国家研究中心）
针对大规模MoE在异构平台上的部署难题，RapidMoE利用跨不对称性，通过残差分割实现比特级卸载，并采用统一多级重要性仲裁，在解码和预填充阶段分别获得高达3.5倍和2.1倍的加速。
2026-10-02 cs.DC
Multi-user Co-inference with Batch Processing Capable Edge Server
Tsinghua University（清华大学）；Hitachi (China) Research & Development Cooperation（日立（中国）研发有限公司）
图形处理单元（GPU）可以通过批处理提高深度神经网络推理吞吐量，其中多个任务被并发处理。我们专注于新的场景，能源受限的移动设备卸载推理任务的边缘服务器与GPU。将推理任务划分为多个子任务，以实现更细粒度的卸载和调度，并研究了推理延迟约束下的用户能耗最小化问题.为了处理并发批处理引入的耦合卸载和调度，我们首先考虑具有恒定边缘推理延迟和相同延迟约束的离线问题。证明了独立优化每个用户的卸载策略和将所有相同的子任务聚合在一批中是最优的，从而启发了独立划分和相同子任务聚合（IP-SSA）算法。此外，最优分组（OG）算法提出了最优分组任务时的延迟约束是不同的。最后，当未来的任务到达无法精确预测，一个深度确定性策略梯度（DDPG）代理被训练调用OG。实验结果表明，在离线环境下，IP-SSA协议最多可降低94.9%的用户能耗，而在在线环境下，DDPG-OG协议的能耗最多可降低8.92%.
2022-06-03 cs.DC cs.IT cs.LG
Reconfigurable Intelligent Computational Surfaces for MEC-Assisted Autonomous Driving Networks
针对MEC辅助自动驾驶网络中V2I链路因频谱复用受干扰导致任务卸载中断的问题，提出部署RICS实现反射链路与干扰消除，通过联合优化交替近似求解，有效提升自动驾驶安全性。
2024-02-01 cs.DC eess.SP
ThreadShift: Transparent Thread-Level Offloading on Transient Cloud Resources Using MPKs
EPFL（洛桑联邦理工学院）
ThreadShift利用MPK实现线程级透明卸载，支持细粒度检查点，在瞬时云资源上降低成本达56%，检查点速度比CRIU快三个数量级。
2026-09-29 cs.DC cs.OS
Self-adaptive Multi-Access Edge Architectures: A Robotics Case
University of Southern Denmark（丹麦南部大学）
本文提出一种自适应计算系统，用于混合人类-机器人环境，通过神经网络预测人类移动行为，提升移动机器人路径规划并确保安全，采用边缘计算系统优化处理效率。
2026-04-15 cs.DC cs.RO cs.SE
Optimized Partitioning and Priority Assignment of Real-Time Applications on Heterogeneous Platforms with Hardware Acceleration
硬件加速器，例如基于GPU和FPGA的硬件加速器，为高效并行化功能提供了绝佳的机会。最近，现代嵌入式平台开始配备此类加速器，从而为新兴的高度计算密集型工作负载（如下一代自动驾驶系统所需的工作负载）提供了令人信服的选择。除了对计算效率的需求之外，这种工作负载通常还具有实时的【形】要求，需要满足这些要求以保证系统的安全和正确行为。为此，本文提出了一个整体的框架，以帮助设计师分区实时的【形】应用程序在异构平台上的硬件加速器。该模型的灵感来自博世在WATERS 2019挑战赛中提出的先进驾驶辅助系统的现实设置，进一步推广到更广泛的异构架构。所得到的分析被线性化并用于编码优化问题，该优化问题共同（i）保证时序约束，（ii）找到合适的任务到核心的映射，（iii）为每个任务分配优先级，以及（iv）选择要加速的计算，在加速器提供的较小的最坏情况执行时间与同步和排队延迟之间寻求最方便的折衷。
2022-04-19 cs.DC
Edge Intelligence: On-Demand Deep Learning Model Co-Inference with Device-Edge Synergy
School of Data and Computer Science（数据与计算机科学学院）；Sun Yat-sen University（中山大学）
作为机器学习的骨干技术，深度神经网络（DNN）已迅速上升到聚光灯下。然而，在资源受限的移动设备上运行DNN绝不是微不足道的，因为它会带来高性能和能量开销。而将DNN卸载到云上执行会遭受不可预测的性能，这是由于不受控制的长广域网延迟。为了应对这些挑战，在本文中，我们提出了Edgent，这是一个具有设备边缘协同作用的协作和按需DNN协同推理框架。Edgent追求两个设计旋钮：（1）DNN分区，自适应地在设备和边缘之间划分DNN计算，以便利用邻近的混合计算资源进行实时DNN推理。(2)DNN合理调整大小，通过在适当的中间DNN层提前退出来加速DNN推理，以进一步减少计算延迟。基于Raspberry Pi的原型实现和广泛评估证明了Edgent在实现按需低延迟边缘智能方面的有效性。
2018-12-27 cs.AI cs.CV cs.DC
Distributed Convolutional Neural Network Training on Mobile and Edge Clusters
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对边缘端分布式CNN训练研究不足、现有方案依赖中心服务器的问题，提出一种完全基于移动边缘设备、通过分块融合与层分组实现的分布式训练方法，在Pi3集群上可实现2-15倍加速、最高8倍内存降低且无损精度。
2024-09-11 cs.DC cs.LG
Radiant: Large-scale 3D Gaussian Rendering based on Hierarchical Framework
School of Automation, Beijing Institute of Technology（北京理工大学自动化学院）；School of Cyber Science and Technology, Sun Yat-sen University（中山大学网络空间安全学院）；Nanyang Technological University（南洋理工大学）
针对传统分布式3DGS框架忽视真实环境计算通信挑战、部署受限且有隐私风险的问题，提出基于异构环境区域划分与工作负载分配、含模型聚合算法的分层3DGS算法Radiant，可提升重建质量并降低端到端延迟。
2024-12-07 cs.CV cs.DC
