Neural Network Inference on Mobile SoCs
National University of Singapore（新加坡国立大学）
移动机器学习（ML）应用的需求不断增长，需要更强大的片上计算资源。移动设备配备了异构多处理器片上系统（SoC），可以处理卷积神经网络（CNN）推理等ML工作负载。移动SoC在芯片上容纳了几种不同类型的ML功能组件，例如CPU，GPU和加速器。这些不同的组件能够独立地执行推理，但具有非常不同的功率性能特征。在这篇文章中，我们提供了一个定量评估的推理能力的不同组件的移动SoC。我们还提出了各自的功率性能行为背后的见解。最后，我们探索的性能限制的移动SoC协同从事所有组件并发。我们观察到，移动SoC提供了高达2倍的改进与并行推理时，其所有组件都参与，而不是只参与一个组件。
2020-01-22 cs.DC cs.LG stat.ML
JointDNN: An Efficient Training and Inference Engine for Intelligent Mobile Cloud Computing Services
University of Southern California（南加利福尼亚大学）
深度学习模型被部署在许多移动智能应用中。智能个人助理、自动驾驶汽车和灵巧家庭服务等端侧服务通常采用移动设备上的简单本地模型或云上的复杂远程模型。然而，最近的研究表明，在移动设备和云之间划分DNN计算可以增加延迟和能源效率。在本文中，我们提出了一个有效的，自适应的，实用的引擎，JointDNN，用于移动终端和云之间的协同计算DNN在推理和训练阶段。JointDNN不仅为移动端提供了一种节能和高效的DNN查询方法，而且与仅使用云的方法相比，通过减少其工作负载和通信量，使云服务器受益。给定DNN架构，我们研究了在移动终端上处理某些层和在云服务器上处理某些层的效率。我们在层粒度上为DNN中的前向和后向传播提供了优化配方，可以适应移动电池限制和云服务器负载约束以及服务质量。与现状方法相比，JointDNN在查询DNN的延迟和移动能耗方面分别减少了18倍和32倍。
2020-02-04 cs.AI cs.DC cs.LG
PriMask: Cascadable and Collusion-Resilient Data Masking for Mobile Cloud Inference
Nanyang Technological University（南洋理工大学）
移动云卸载对于基于大规模深度模型的推理任务是必不可少的。然而，将隐私丰富的推理数据传输到云端会引起担忧。本文提出了一种称为PriMask的系统的设计，在该系统中，移动终端使用一个秘密的小规模神经网络称为MaskNet的数据屏蔽传输前。PriMask显著削弱了云恢复数据或提取某些私有属性的能力。MaskNet是可扩展的，因为移动设备可以无缝地选择加入或退出其使用，而无需对云的推理服务进行任何修改。此外，移动设备使用不同的MaskNet，使得云和一些移动设备之间的勾结不会削弱对其他移动设备的保护。我们设计了一种{ \em分裂对抗学习}方法来训练一个神经网络，该网络在运行时间快速（在两秒内）生成一个新的MaskNet。我们将PriMask应用于三种具有不同模态和复杂性的移动传感应用，即，人类活动识别、城市环境人群感知和驾驶员行为识别。结果显示PriMask在所有三种应用中的有效性。
2022-11-12 cs.CR cs.DC cs.LG
AdaOper: Energy-efficient and Responsive Concurrent DNN Inference on Mobile Devices
本文提出 AdaOper 并发 DNN 推理系统，通过运行时能耗剖析动态调整算子划分，在移动异构处理器上兼顾能效与响应性，实验显示能耗降低 16.88%。
2024-04-30 cs.DC
On-Device Neural Net Inference with Mobile GPUs
Google Research（谷歌研究院）
移动电话的机器学习模型的设备上推断由于其较低的延迟和增加的隐私性而被期望。然而，由于有限的计算能力、热约束和能耗，仅在移动CPU上运行这样的计算密集型任务可能是困难的。应用程序开发人员和研究人员已经开始利用硬件加速器来克服这些挑战。最近，设备制造商正在将神经处理单元添加到高端手机中，用于设备上的推理，但这些仅占手持设备的一小部分。在本文中，我们介绍了如何利用移动GPU（几乎每部手机上无处不在的硬件加速器）为Android和iOS设备实时运行深度神经网络的推理。通过描述我们的架构，我们还讨论了如何设计移动GPU友好的网络。我们最先进的移动GPU推理引擎已集成到开源项目TensorFlow Lite中，并可在https://tensorflow.org/lite上公开获取。
2019-07-03 cs.CV cs.DC cs.LG
ShadowTutor: Distributed Partial Distillation for Mobile Video DNN Inference
随着深度神经网络（DNN）最近在视频计算机视觉任务上的成功，对源自移动设备的视频执行DNN推理具有实际意义。因此，先前的方法开发了将图像的DNN推理计算卸载到云服务器以管理移动设备的资源约束的方法。然而，当涉及到视频数据时，每帧的通信信息消耗过多的网络带宽，并使整个系统容易受到不利网络条件（例如拥塞）的影响。因此，在这项工作中，我们试图利用视频流的相邻帧之间的时间相干性来减轻网络压力。也就是说，我们提出了ShadowTutor，一个分布式视频DNN推理框架，通过间歇性的知识蒸馏减少了网络传输的数量到学生模型。此外，我们只更新学生参数的一个子集，我们称之为部分蒸馏，以减少每次网络传输的数据大小。具体地，服务器运行大型且通用的教师模型，而移动终端仅运行极小但专业化的学生模型。在稀疏选择的关键帧上，服务器通过以教师的响应为目标来部分地训练学生模型，并将更新的部分发送到移动终端。我们调查的有效性ShadowTutor与高清视频语义分割。评估表明，网络数据传输平均减少了95%。此外，系统的吞吐量提高了三倍以上，并显示出对网络带宽变化的鲁棒性。
2020-06-05 cs.DC
SMEPilot: Characterizing and Optimizing LLM Inference with Scalable Matrix Extensions
IPADS, Shanghai Jiao Tong University（上海交通大学IPADS）
针对CPU矩阵扩展单元与核心在LLM推理中的不匹配，提出SMEPilot引擎，通过基于屋顶线的表征指导算子执行选择，实现SME与CPU协同工作，端到端性能提升达3.94倍。
2026-06-16 cs.AI cs.DC cs.PF
PICO: Pipeline Inference Framework for Versatile CNNs on Diverse Mobile Devices
本文提出PICO流水线协作框架，通过通用图划分和多对多映射算法解决异构移动设备上CNN推理的调度与通信难题，显著提升吞吐量。
2024-03-25 cs.DC
Characterizing Communication Patterns in Distributed Large Language Model Inference
本文通过性能剖析与预测模型分析分布式大语言模型推理中的通信模式，揭示张量并行、流水线并行及组合方案的性能权衡，为生产部署中的并行化策略选择提供指导。
2025-07-18 cs.DC
Fast and Energy-Efficient CNN Inference on IoT Devices
University of California, Davis（加州大学戴维斯分校）
卷积神经网络（CNN）在各种机器学习任务中表现出卓越的性能。随着配备传感器的物联网（IoT）设备渗透到现代生活的各个方面，在资源受限的设备上运行CNN推理（一种计算密集型应用）变得越来越重要。我们提出了一种在移动SoC平台上快速节能的CNN推理技术，该平台预计将成为物联网领域的主要参与者。我们提出了针对移动GPU的CNN推理的高效并行化技术，并探索了潜在的权衡。在三种不同的移动设备上运行Squeezenet的实验证实了我们的方法的有效性。如需进一步研究，请参阅GitHub页面上的项目存储库：https://github.com/mtmd/Mobile_ConvNet
2016-11-22 cs.DC cs.LG
PhoneBit: Efficient GPU-Accelerated Binary Neural Network Inference Engine for Mobile Phones
Sun Yat-sen University（中山大学）；Notheastern University（东北大学）；Peng Cheng Laboratory（鹏城实验室）
在过去的几年里，深度神经网络（DNN）在计算机视觉和其他领域取得了巨大成功。然而，由于DNN的高计算复杂性，性能和功率约束使得在移动设备上部署DNN仍然具有挑战性。二进制神经网络（BNN）已被证明是一个有前途的解决方案，以实现这一目标，通过使用逐位操作，以取代大多数算术运算。目前，BNN的现有GPU加速实现仅针对桌面平台。由于架构差异，仅仅将这些实现移植到移动设备会产生次优性能，或者在某些情况下是不可能的。在本文中，我们提出了PhoneBit，一个GPU加速的BNN推理引擎，用于基于Android的移动设备，充分利用移动GPU上BNN的计算能力。PhoneBit提供了一组操作员级别的优化，包括本地友好的数据布局，带矢量化的位打包和层集成，以实现高效的二进制卷积。我们还为PhoneBit提供了详细的实现和并行优化，以最佳地利用移动GPU的内存带宽和计算能力。我们评估PhoneBit与AlexNet，YOLOv2 Tiny和VGG16与他们的二进制版本。我们的实验结果表明，PhoneBit可以实现显着的加速比和能源效率相比，国家的最先进的移动设备的框架。
2019-12-05 cs.CL cs.DC
Perseus: Characterizing Performance and Cost of Multi-Tenant Serving for CNN Models
Worcester Polytechnic Institute（伍斯特理工学院）
深度学习模型越来越多地用于终端用户应用程序，支持面部识别等新功能和Web搜索等传统功能。为了适应高推理吞吐量，通常将单个预训练的卷积神经网络（CNN）托管在具有诸如图形处理单元（GPU）之类的硬件加速器的专用基于云的服务器中。然而，GPU可能比传统的中央处理单元（CPU）服务器贵几个数量级。面对动态工作负载，这些资源也可能未得到充分利用，这可能导致服务成本膨胀。缓解这个问题的一个潜在方法是允许托管模型共享底层资源，我们称之为多租户推理服务。其中一个关键的挑战是最大限度地提高资源效率的多租户服务给定的硬件具有不同的特点，具有独特的响应时间服务水平协议（SLA）的模型，和动态推理工作负载。在本文中，我们提出了珀尔修斯，一个测量框架，为理解多租户模型服务的性能和成本权衡提供了基础。我们在一个名为Nvidia TensorRT Inference Server的流行云推理服务器上用Python实现了Perseus。利用Perseus，我们评估了服务各种模型的推理吞吐量和成本，并证明多租户模型服务可以降低高达12%的成本。
2020-03-30 cs.DC cs.LG cs.PF
Distributed Inference on Mobile Edge and Cloud: An Early Exit based Clustering Approach
IIT Bombay（印度理工学院孟买分校）
针对深度神经网络在资源受限设备部署难的问题，提出基于早退出策略的分布式推理方法DIMEE，兼顾卸载成本与准确率，在GLUE数据集上实现推理成本大降且准确率损失极小。
2024-10-06 cs.AI cs.DC cs.LG
Optimizing Multi-DNN Inference on Mobile Devices through Heterogeneous Processor Co-Execution
School of Computer Science and Technology, Anhui University of Technology（安徽工业大学计算机科学与技术学院）；Department of Computer and Systems Sciences, Stockholm University（斯德哥尔摩大学计算机与系统科学系）；Institute of Computer Science, University of Tartu（塔尔图大学计算机科学研究所）；IISER Berhampur（印度科学教育与研究学院贝尔汉布尔分校）；College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院）；Computer Science School, Peking University（北京大学计算机学院）
提出ADMS策略，通过离线最优子图划分与处理器状态感知动态调度，在移动异构处理器上协同执行多DNN，实现延迟降低4.04倍。
2025-03-27 cs.AI cs.DC
Accelerating Mobile Inference through Fine-Grained CPU-GPU Co-Execution
University of Southern California（南加州大学）
本文提出利用细粒度CPU-GPU协同执行机制，通过轻量级同步机制和机器学习模型提升移动设备推理速度，实现线性层和卷积层的加速效果
2026-02-18 cs.DC cs.LG cs.PF
Characterizing and Understanding GCNs on GPU
图卷积神经网络（GCN）在图结构数据分析方面已经取得了最先进的性能。与传统的神经网络一样，GCN的训练和推理都是通过GPU来加速的。因此，表征和理解GCN在GPU上的执行模式对于软件和硬件优化都很重要。不幸的是，据我们所知，GPU上没有GCN工作负载的详细表征工作。在本文中，我们在推理阶段描述GCN工作负载，并在NVIDIA V100 GPU上探索GCN模型。给出了表征和探索，我们提出了几个有用的指导方针，软件优化和硬件优化的GCN在GPU上的有效执行。
2020-01-28 cs.DC
Distributed Inference on Mobile Edge and Cloud: A Data-Cartography based Clustering Approach
IIT Bombay（印度理工学院孟买分校）
本文提出基于数据制图的分布式推理方法\our{}，通过评估样本复杂度在移动、边缘和云端分配计算任务，在GLUE数据集上降低超43%推理成本且准确率下降不足0.5%。
2024-12-21 cs.AI cs.DC
AutoScale: Optimizing Energy Efficiency of End-to-End Edge Inference under Stochastic Variance
Arizona State University（亚利桑那州立大学）；Facebook AI（脸书人工智能）
深度学习推理越来越多地在边缘运行。随着编程和系统堆栈支持变得成熟，它可以在移动系统中实现加速机会，其中系统性能包络随着过多的可编程协处理器而扩展。因此，为移动用户设计的智能服务可以选择在移动系统上的CPU或任何协处理器上运行推理，或者利用连接的系统，例如云或附近的本地连接系统。通过这样做，服务可以扩展性能并提高边缘移动系统的能效。这就产生了一个新的挑战--决定推理何时应该运行在哪里。这种执行缩放决策随着移动云执行的随机性而变得更加复杂，其中无线网络的信号强度变化和资源干扰可以显著影响实时推理性能和系统能量效率。为了在边缘实现准确、节能的深度学习推理，本文提出了AutoScale。AutoScale是一个自适应的轻量级执行缩放引擎，基于定制设计的强化学习算法构建。它通过考虑神经网络和协作云边缘执行环境中可用系统的特性，同时适应随机运行时方差，不断学习和选择最节能的推理执行目标。考虑到现实的执行场景，真实的系统实现和评估表明，DNN边缘推理的能效比基线移动CPU和云卸载平均提高了9.8和1.6倍，同时满足实时性能和准确性要求。
2020-05-06 cs.DC cs.LG
LinguaLinked: A Distributed Large Language Model Inference System for Mobile Devices
University of California Irvine（加州大学欧文分校）；VMware Research（威睿研究）
本文提出移动端分布式大语言模型推理系统 LinguaLinked，通过优化模型分段分配、数据传输和运行时负载均衡，在保护隐私的同时实现跨设备高效推理，并取得显著加速效果。
2023-12-01 cs.DC cs.LG cs.NI
AGO: Boosting Mobile AI Inference Performance by Removing Constraints on Graph Optimization
Nanjing University（南京大学）
传统的深度学习编译器依赖于算法来生成子图，这对图优化施加了额外的约束，例如，每个子图最多只能包含一个复数算子。在本文中，我们提出了AGO，这是一个用于任意结构的图优化的框架，通过消除这些约束来提高深度模型的推理性能。为了给复杂的子图创造新的优化机会，我们提出了密集的算子融合，它可以有效地将多个复杂的算子缝合在一起，以获得更好的性能。此外，我们设计了一个图划分方案，允许任意结构的每个子图，同时保证所有生成的子图之间的无环属性。此外，为了使复杂的子图上的高效性能调优，我们设计了一种新的分而治之的调优机制来编排不同的系统组件。通过在各种神经网络和移动设备上的广泛实验，我们表明，与最先进的深度编译器相比，我们的系统可以将推理性能提高高达3.3倍。
2022-12-02 cs.CL cs.DC cs.LG
To Compress, or Not to Compress: Characterizing Deep Learning Model Compression for Embedded Inference
Northwest University（西北大学）；Shaanxi Normal University（陕西师范大学）；Peking University（北京大学）；National University of Defense Technology（国防科技大学）；Lancaster University（兰卡斯特大学）
深度神经网络（DNN）的最新进展使其对嵌入式系统具有吸引力。然而，DNN可能需要很长时间才能在资源受限的计算设备上进行推断。模型压缩技术可以解决嵌入式设备上深度推理的计算问题。这种技术非常有吸引力，因为它不依赖于专用硬件，也不依赖于由于隐私问题或高延迟而通常不可行的计算卸载。然而，目前还不清楚模型压缩技术如何在各种DNN上执行。为了设计高效的嵌入式深度学习解决方案，我们需要了解它们的行为。这项工作开发了一种定量方法来表征模型压缩技术的代表性嵌入式深度学习架构，NVIDIA Jetson Tx2。我们进行了广泛的实验，考虑从图像分类和自然语言处理域的11个有影响力的神经网络架构。我们的实验表明，如何两个主流的压缩技术，数据量化和修剪，执行这些网络架构和压缩技术的影响模型的存储大小，推理时间，能耗和性能指标。我们证明了有机会在嵌入式系统上实现快速的深度推理，但必须仔细选择压缩设置。我们的结果提供了有关何时以及如何应用模型压缩技术的见解，以及设计高效嵌入式深度学习系统的指南。
2018-10-21 cs.DC cs.LG cs.PF
MLPerf Mobile Inference Benchmark
Harvard University（哈佛大学）；MLCommons；Google（谷歌）；Intel（英特尔）；MediaTek（联发科）；Qualcomm（高通）；Samsung（三星）；Cruise；ENS Paris-Saclay（巴黎萨克雷高等师范学院）；ARM；Microsoft（微软）
本文介绍了第一个行业标准开源机器学习（ML）基准测试，允许对具有不同AI芯片和软件堆栈的移动设备进行性能和准确性评估。该基准测试借鉴了领先的移动SoC供应商、ML框架提供商和模型生产商的专业知识。它包括一套使用标准数据集、质量指标和运行规则运行的模型。我们描述了这个特定于领域的ML基准的设计和实现。目前的基准测试版本是一个移动应用程序，用于不同的计算机视觉和自然语言处理任务。该基准测试还支持非智能手机设备，如笔记本电脑和移动PC。前两轮的基准测试结果揭示了底层移动机器学习系统堆栈的巨大复杂性，强调了移动机器学习性能分析的透明度。结果还表明，整个ML堆栈中的步幅都提高了性能。在六个月内，离线吞吐量提高了3倍，而延迟减少了12倍。ML是一个不断发展的领域，具有不断变化的用例，模型，数据集和质量目标。MLPerf Mobile将发展并作为一个开源社区框架，以指导移动AI的研究和创新。
2022-04-06 cs.DC cs.LG
EdgeFlow: Fast Cold Starts for LLMs on Mobile Devices
College of Computer Science and Artificial Intelligence, Fudan University（复旦大学计算机科学技术学院）；Duke Kunshan University（杜克昆山大学）
本文提出EdgeFlow框架，通过自适应调整LLM参数精度，减少移动设备上LLM冷启动延迟，实验表明其比现有框架提升4.07倍。
2026-04-10 cs.DC cs.OS
Fast Latent Variable Models for Inference and Visualization on Mobile Devices
Carnegie Mellon University（卡内基梅隆大学）
在这个项目中，我们概述了Vedalia，这是一个高性能的分布式网络，用于在Amazon评论可视化的背景下对潜在变量模型进行推理。我们引入了一个新的模型，RLDA，它扩展了潜在狄利克雷分配（LDA）[Blei等人，2003]，通过结合在线评论中可用的辅助数据来改进建模，同时保持与预先存在的快速采样技术（例如[Yao et al.，2009; Li等人，#2014a;，实现高质量发展。该网络的设计使得使用Chital系统将计算有效地卸载到客户端设备[Robinson & Li，2015]，从而改善响应时间并降低服务器成本。由此产生的系统能够快速计算大量的专用潜变量模型，同时需要最少的服务器资源。
2015-10-23 cs.CL cs.DC cs.IR
Characterizing Parallelism Strategies in LLM Inference: Fundamental Compute-Communication Trade-offs
Dell Technologies Inc.（戴尔科技公司）
本文提出统一解析框架，建模TP、PP和HB下分布式LLM推理的延迟分解，揭示计算-通信权衡，指导并行策略选择。
2026-10-06 cs.AI cs.DC cs.LG
High Efficiency Inference Accelerating Algorithm for NOMA-based Mobile Edge Computing
本文针对NOMA-MEC中的模型拆分推理，提出联合优化模型拆分、子信道和功率分配的高效加速算法，并引入Li-GD降低复杂度，实现延迟与能耗的权衡。
2023-12-26 cs.AI cs.DC
Characterizing and Optimizing LLM Inference Workloads on CPU-GPU Coupled Architectures
Carnegie Mellon University（卡内基梅隆大学）；Samsung Semiconductor, Inc.（三星半导体公司）
本文研究了CPU-GPU耦合架构上大语言模型推理工作负载的性能特性，揭示了GH200在大批次时的性能优势及CPU瓶颈，并提出通过内核融合优化低批次延迟的方法。
2025-04-16 cs.AI cs.AR cs.DC
Time-Aware Publish/Subscribe for Networks of Mobile Devices
智能移动设备越来越普遍，并且是用户生成的内容的主要来源，并且当前的通信基础设施未能跟上对这种内容的狂热共享的不断增长的需求。为了缓解这一问题并充分利用网络边缘当前可用的资源量，移动边缘范例开始出现。然而，由于缺乏足够的通信和交互抽象，应用程序开发人员仍然难以在边缘挖掘这种潜力。因此，我们提出了一个高级抽象，开发人员可以很容易地利用它来设计专注于数据传播的移动边缘应用程序。在本文中，我们提出了百里香，一种新的扩展的主题为基础的，时间感知的发布/订阅系统的移动设备的网络。在Thyme中，时间是第一阶维度。每个订阅都有一个相关的时间范围，开始和结束于未来、现在或过去。要使过去的版本可用，需要持久存储订阅和发布。我们提出了百里香的设计，并使用模拟评估，讨论和表征最适合其使用的场景。
2017-12-31 cs.DC
Systolic Tensor Array: An Efficient Structured-Sparse GEMM Accelerator for Mobile CNN Inference
Arm ML Research Lab（Arm机器学习研究实验室）
移动设备上的卷积神经网络（CNN）推理需要低精度（INT 8）通用矩阵乘法（GEMM）的高效硬件加速。脉动阵列（SA）是一种处理元件（PE）的流水线2D阵列，具有非常高效的本地数据移动，非常适合加速GEMM，并在工业中广泛部署。在这项工作中，我们描述了两个显着的改进，传统的SA架构，专门优化CNN推理。首先，我们将传统的标量PE推广到Tensor-PE，这产生了一系列新的Syrup Tensor Array（STA）微架构。STA系列提高了PE内操作数重用和数据路径效率，与使用INT 8操作数的等吞吐量传统SA相比，电路面积和功耗分别减少了2.08倍和1.36倍。其次，我们扩展这个设计，以支持一种新的块稀疏数据格式称为密度绑定块（DBB）。当处理经过专门训练的DBB稀疏模型时，该变体（STA-DBB）在面积和功率方面分别实现了比SA基线高3.14倍和1.97倍的改进，同时保持与密集模型的完全向后兼容。
2020-05-16 cs.AR cs.DC cs.LG
MNN: A Universal and Efficient Inference Engine
Alibaba Group（阿里巴巴集团）
近年来，在移动设备上部署深度学习模型受到越来越多的关注。然而，在设备上设计一个高效的推理引擎面临着模型兼容性、设备多样性和资源限制的巨大挑战。为了应对这些挑战，我们提出了移动神经网络（MNN），一个通用的和高效的推理引擎，适合移动应用。MNN的贡献包括：（1）提出了一种称为预推理的机制来管理运行时优化;（2）对操作符进行彻底的内核优化以实现最佳的计算性能;（3）引入后端抽象模块来实现混合调度并保持引擎的轻量级。大量的基准测试实验表明，MNN与其他流行的轻量级深度学习框架相比表现良好。MNN可在https://github.com/alibaba/MNN上向公众提供。
2020-02-27 cs.CV cs.DC cs.LG
Graft: Efficient Inference Serving for Hybrid Deep Learning with SLO Guarantees via DNN Re-alignment
针对混合深度学习中 DNN 划分片段非均匀导致服务器服务低效的问题，Graft 通过 DNN 重对齐、细粒度 GPU 共享及片段合并分组算法，在保证延迟 SLO 的同时将资源效率最高提升 70%。
2023-12-17 cs.DC
Multi-Agentic AI for Fairness-Aware and Accelerated Multi-modal Large Model Inference in Real-world Mobile Edge Networks
Smart Internet Lab, Department of Electrical and Electronic Engineering, University of Bristol（布里斯托大学电子与电气工程系智能互联网实验室）
本文提出多智能体AI框架，通过优化提示路由和模型部署，实现移动边缘网络中多模态大模型推理的低延迟与高公平性。
2026-10-27 cs.AI cs.DC cs.SY
Salted Inference: Enhancing Privacy while Maintaining Efficiency of Split Inference in Mobile Computing
Nokia Bell Labs（诺基亚贝尔实验室）
针对分割推理中云端可见 DNN 输出导致的隐私问题，本文提出 Salted DNNs，让边缘端控制输出语义，并在图像与传感器数据上保持接近标准 DNN 的准确率和效率。
2024-01-19 cs.DC cs.LG
A Scene-aware Models Adaptation Scheme for Cross-scene Online Inference on Mobile Devices
Department of Computer Science and Engineering, Shanghai Jiao Tong University（计算机科学与工程系，上海交通大学）；Huawei Cloud（华为云）；School of Computer Science and Technology, Donghua University（计算机科学与技术学院，东华大学）
本文提出Anole方案，通过自适应选择场景特定DNN模型提升移动设备上跨场景在线推理的准确性、速度和能耗效率。
2025-12-05 cs.AI cs.CV cs.DC
Enhancing Predictive Maintenance in Mining Mobile Machinery through a TinyML-enabled Hierarchical Inference Network
本文提出ESN-PdM分层推理框架，利用TinyML在边缘设备、网关和云端动态调整推理位置，平衡准确率、延迟与能耗，实现采矿机械可靠的实时预测性维护与异常检测。
2024-11-16 cs.DC cs.LG cs.MA
BigMoMo: Efficient Inference of Large-Scale MoE with Speculative Decoding on Mobile Devices
School of Computer Science, Peking University（北京大学计算机学院）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学系）；School of Artificial Intelligence, Tianjin University（天津大学人工智能学院）
BigMoMo利用投机解码的多令牌验证窗口解耦专家移动与单令牌执行，通过剪枝、专家重组织和批量加载，在移动设备上实现MoE模型平均4.83倍解码加速，支持30B参数模型。
2026-09-15 cs.AR cs.DC
DVFS for Small Language Model Inference on Mobile Edge Devices
City University of Hong Kong（香港城市大学）
本文提出DVFSLM，一种针对移动边缘设备上小语言模型推理的DVFS设计，通过工作负载感知估计器和运行时调控器，在满足延迟截止时间的同时降低每令牌能耗，实验显示能效和QoS显著提升。
2026-09-15 cs.AR cs.DC
CloudEye: A New Paradigm of Video Analysis System for Mobile Visual Scenarios
Tsinghua University（清华大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
针对移动视觉场景资源受限与边缘云延迟问题，本文提出由快速推理、特征挖掘和质量编码模块组成的 CloudEye 系统，实现带宽、速度与精度的显著提升。
2024-10-24 cs.CV cs.DC
LLM Inference at the Edge: Mobile, NPU, and GPU Performance Efficiency Trade-offs Under Sustained Load
Conscious Engines
研究评估了在持续负载下不同设备上大语言模型的性能效率，发现移动端受热管理限制，专用硬件受电池和内存带宽限制，展示了不同平台的推理表现和能效差异。
2026-06-07 cs.DC cs.LG
Identity-Aware Attribute Recognition via Real-Time Distributed Inference in Mobile Edge Clouds
The Key Laboratory for Ubiquitous Network and Service Software of Liaoning Province, School of Software, Dalian University of Technology（大连理工大学软件学院，辽宁省泛在网络与服务软件重点实验室）；School of Software, Dalian University of Technology（大连理工大学软件学院）；The Key Laboratory for Ubiquitous Network and Service Software of Liaoning Province, International School of Information Science and Engineering, Dalian University of Technology（大连理工大学国际信息与软件学院，辽宁省泛在网络与服务软件重点实验室）；The Hubei Engineering Research Center on Big Data Security, School of Cyber Science and Engineering, Huazhong University of Science and Technology（华中科技大学网络空间安全学院，湖北省大数据安全工程研究中心）
随着深度学习技术的发展，通过在云计算中心执行计算密集型的深度神经网络，属性识别和人员重新识别（re-ID）得到了广泛的关注和不断的改进。然而，数据中心部署不能满足属性识别和人员重新ID的实时的【形】要求，这是由于回程网络的禁止性延迟和从相机到数据中心的大量数据传输。因此，一个可行的解决方案是在相机附近采用移动边缘云（MEC），并实现分布式推理。在本文中，我们设计了新的模型，行人属性识别与重新ID在MEC启用摄像机监控系统。我们还研究了分布式推理的问题，在MEC使能的相机网络。为此，我们首先提出了一种新的推理框架与一组分布式模块，通过联合考虑属性识别和人的重新ID。然后，我们设计了一个基于学习的算法，建议分布式推理框架的模块的分布，考虑动态MEC启用相机网络的不确定性。最后，我们评估所提出的算法的性能与真实的数据集和系统实现在一个真正的测试平台的模拟。实验结果表明，与现有方法相比，该算法的属性识别和身份识别准确率分别达到92.9%和96.6%，推理延迟降低了40.6%。
2020-08-12 cs.CV cs.DC cs.MM
Not Just Privacy: Improving Performance of Private Deep Learning in Mobile Cloud
National University of Defense Technology（国防科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Facebook Inc.（脸书公司）；Tsinghua University（清华大学）
对设备上深度学习服务的日益增长的需求要求以高效的方式在具有有限容量的移动设备上部署深度神经网络（DNN）。基于云的解决方案是在移动设备上实现深度学习应用的一种有前途的方法，其中DNN的大部分被卸载到云。然而，将数据泄露到云端会导致潜在的隐私风险。为了从云数据中心中受益而不存在隐私风险，我们设计、评估和实现了一个基于云的框架ARDEN，该框架将DNN划分为移动设备和云数据中心。简单的数据转换在移动终端上进行，而资源消耗的训练和复杂的推理则依赖于云数据中心。为了保护敏感信息，引入了一种轻量级的隐私保护机制，该机制由任意数据无效和随机噪声添加组成，提供了强隐私保护。给出了严格的隐私预算分析。尽管如此，对原始数据的私有扰动不可避免地对云侧的进一步推理的性能产生负面影响。为了减轻这种影响，我们提出了一种噪声训练方法来增强云端网络对扰动数据的鲁棒性。通过精心设计，ARDEN不仅可以保护隐私，而且还可以提高推理性能。为了验证所提出的ARDEN，一系列的实验的基础上，三个图像数据集和一个真正的移动应用程序进行。实验结果证明了ARDEN的有效性。最后，我们在一个演示系统上实现了ARDEN，验证了其实用性。
2019-01-05 cs.AI cs.DC cs.LG
Auto-tuning Neural Network Quantization Framework for Collaborative Inference Between the Cloud and Edge
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
近年来，深度神经网络（DNN）在移动智能应用中得到了广泛的应用。DNN的推理通常在云中执行。然而，它导致了通过无线网络传输数据的大量开销。在本文中，我们展示了云边协同推理与量化的优势。通过分析DNN各层的特点，提出了一种用于协同推理的自调整神经网络量化框架。我们使用ImageNet数据集研究了最先进的DNN的混合精度协作推理的有效性。实验结果表明，我们的框架可以产生合理的网络分区，减少移动设备上的存储与微小的损失的准确性。
2018-12-16 cs.AI cs.CV cs.DC
