Energy Predictive Models for Convolutional Neural Networks on Mobile Platforms
The University of Manchester（曼彻斯特大学）
在移动和嵌入式平台上部署深度学习模型时，能源使用是一个关键问题。目前的研究开发了基于应用级特征的能源预测模型，为研究人员提供了一种估计其深度学习模型能耗的方法。这些信息对于构建能够有效利用硬件资源的资源感知模型非常有用。然而，以前的预测建模工作提供了很少的洞察力，在最终的预测模型的准确性和模型的复杂性的功能选择所涉及的权衡。为了解决这个问题，我们提供了一个全面的分析，建立基于回归的预测模型的深度学习在移动设备上，根据从SyNERGY框架收集的经验测量。我们的预测建模策略是基于文献中使用的两种类型的预测模型：个别层和层类型。我们对预测模型的分析表明，与使用以前方法采用的更复杂特征的预测模型相比，简单的层类型特征实现了卷积层预测的模型复杂度低4到32倍，具有类似的准确性。为了获得推理阶段的总体能量估计，我们使用OpenBLAS，Eigen和CuDNN等软件后端，在Jetson TX 1和Snapdragon 820上使用12个代表性卷积神经网络（ConvNets）为全连接和池化层构建层型预测模型。我们获得了76%到85%之间的准确度和1的模型复杂度，用于跨不同硬件-软件组合的测试ConvNets的整体能量预测。
2020-04-10 cs.LG cs.PF
Group-Shared Low-Rank Approximation for Mobile-Efficient Pointwise Convolutions in Large-Kernel CNNs
Northwestern Polytechnical University（西北工业大学）；Nanchang University（南昌大学）；China Mobile Chengdu Institute of Research and Development（中国移动成都研究院）；Hong Kong University of Science and Technology（香港科技大学）；Institute of AI for Industries, Chinese Academy of Sciences（中国科学院人工智能产业研究院）；University of Electronic Science and Technology of China（电子科技大学）
针对大核CNN中逐点卷积占比过高导致边缘部署瓶颈的问题，提出通道组共享低秩近似方法，在保持性能的同时降低存储成本，实现大核CNN的边缘高效部署。
2026-08-28 cs.LG
STAP: A Shuffle-Tokenized App Predictor with Ultra Long Context for Vocabulary-Free Mobile App Prediction
School of Nuclear Science and Technology, University of Science and Technology of China（科学技术大学核科学与技术学院）；Department of Statistics and Finance, University of Science and Technology of China（科学技术大学统计与金融系）
提出STAP模型，通过洗牌机制将应用身份替换为虚拟索引，并利用超长上下文处理行为序列，实现无固定词汇表的跨数据集零样本移动应用预测。
2026-05-28 cs.LG
Memory Efficient 3D U-Net with Reversible Mobile Inverted Bottlenecks for Brain Tumor Segmentation
Cerebras Systems
我们建议将内存节省技术与传统的U-Net架构相结合，以增加脑肿瘤分割（BraTS）挑战模型的复杂性。BraTS挑战包括将240 x240 x155 x4输入图像3D分割为一组肿瘤类别。由于体积大，需要3D卷积层，因此该任务非常占用内存。为了解决这个问题，以前的方法使用较小的裁剪图像，同时限制模型的深度和宽度。我们的3D U-Net使用MobileNetV 2，MnasNet和最近的EfficientNet架构中定义的移动反向瓶颈块的可逆版本，以在训练期间节省激活内存。使用可逆层使模型能够在给定该层输出的情况下重新计算输入激活，通过消除在前向传递期间存储激活的需要来节省内存。反向残差瓶颈块使用轻量级的dependency可分离卷积，通过将卷积分解为逐点卷积和dependency卷积来减少计算。此外，该块通过在输入和输出线性1x 1卷积之间放置中间扩展层来反转传统的瓶颈块，从而减少通道总数。给定固定的内存预算，通过这些内存节省技术，我们能够训练高达3倍大的图像体积，深度增加25%的模型，或者通道数量高达2倍的模型。
2021-04-21 cs.CV cs.LG eess.IV
Distributed Convolutional Neural Network Training on Mobile and Edge Clusters
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
针对边缘端分布式CNN训练研究不足、现有方案依赖中心服务器的问题，提出一种完全基于移动边缘设备、通过分块融合与层分组实现的分布式训练方法，在Pi3集群上可实现2-15倍加速、最高8倍内存降低且无损精度。
2024-09-11 cs.DC cs.LG
RT3D: Achieving Real-Time Execution of 3D Convolutional Neural Networks on Mobile Devices
William & Mary（威廉玛丽学院）；Northeastern University（东北大学）；North Carolina State University（北卡罗来纳州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
移动设备正在成为深度学习任务的重要载体，因为它们配备了强大的高端移动CPU和GPU。然而，除了高推理精度之外，执行以实时的【形】性能为目标的3D卷积神经网络（CNN）仍然是一项具有挑战性的任务。原因是更复杂的模型结构和更高的模型维度压倒了移动设备上可用的计算/存储资源。一种自然的方法可能是转向深度学习权重修剪技术。然而，将现有的2D CNN权重修剪方法直接推广到3D CNN对于充分利用移动并行性同时实现高推理精度来说并不理想。本文提出了RT 3D，一个3D CNN的模型压缩和移动加速框架，无缝集成了神经网络权重修剪和编译器代码生成技术。我们提出并研究了两种结构化稀疏方案，即，vanilla结构稀疏性和内核组结构（KGS）稀疏性是移动加速友好的。vanilla sparsity删除了整个内核组，而KGS sparsity是一种更细粒度的结构化稀疏，具有更高的灵活性，同时充分利用设备上的并行性。我们提出了一个重新加权的正则化修剪算法来实现所提出的稀疏计划。由于稀疏性的推理时间加速接近整个模型FLOP（浮点运算）的修剪率。与当前支持3D CNN的移动框架相比，RT 3D在端到端推理时间上的加速高达29.1 $\times$，准确率损失为1%-1.5%。当在手机上执行代表性的C3 D和R（2+1）D模型时，16个视频帧的端到端推断时间可以在150 ms内。这是第一次在现成的移动设备上实现3…
2021-01-03 cs.CV cs.LG cs.NE
Efficient Low-Latency Speech Enhancement with Mobile Audio Streaming Networks
Samsung R\&D Institute Poland
我们提出了移动音频流网络（MASnet）的有效的低延迟语音增强，这是特别适合于移动设备和其他应用程序的计算能力是一个限制。MASnet处理线性尺度频谱图，将连续的噪声帧转换为复值比率掩模，然后将其应用于相应的噪声帧。MASnet可以在低延迟增量推理模式下运行，该模式与逐层批处理模式的复杂性相匹配。与类似的全卷积架构相比，MASnet结合了去卷积和逐点卷积，大大减少了每秒融合乘法累加运算（FMA/s），但代价是SNR有所降低。
2020-08-17 cs.LG cs.SD eess.AS
Ultra Power-Efficient CNN Domain Specific Accelerator with 9.3TOPS/Watt for Mobile and Embedded Applications
Gyrfalcon Technology Inc.
近年来，卷积神经网络（CNN）显著提高了计算机视觉性能。目前，使用CNN算法的应用主要部署在通用硬件上，例如CPU、GPU或FPGA。然而，对于移动和嵌入式应用，功耗、速度、精度、内存占用和芯片尺寸都应该考虑在内。CNN的域特定架构（DSA）是CNN部署和实施的有效和实用的解决方案。我们设计并生产了一款28 nm二维CNN-DSA加速器，具有9.3TOPS/W的超节能性能，所有处理都在内部存储器中完成，而不是外部DRAM。它对224 x224 RGB图像输入进行分类，速度超过140 fps，峰值功耗低于300 mW，精度可与VGG基准相当。CNN-DSA加速器可重新配置，以支持各种层大小和层类型的CNN模型系数，包括卷积、深度卷积、捷径连接、最大池化和ReLU。此外，为了更好地支持各种应用场景的实际部署，特别是低端移动和嵌入式平台和MCU，（微控制器单元），我们还设计了算法，通过减少对外部加速器计算资源的依赖，包括在加速器内实现全连接（FC）层以及压缩从CNN-DSA加速器中提取的特征。我们的CNN-DSA加速器在移动和嵌入式系统上的现场演示展示了其在现实世界中广泛应用的能力。
2018-04-30 cs.CV cs.LG stat.ML
MovePose: A High-performance Human Pose Estimation Algorithm on Mobile and Edge Devices
Cornell（康奈尔大学）
本文提出轻量级卷积神经网络 MovePose，通过引入反卷积、大核卷积和坐标分类方法，在移动与边缘设备上实现了高精度与实时的人体姿态估计。
2024-07-24 cs.CV cs.LG
Accelerating Depthwise Separable Convolutions on Ultra-Low-Power Devices
Politecnico di Torino（都灵理工大学）
针对深度可分离卷积在超低功耗设备上部署难的问题，通过融合深度核与逐点核、组合数据布局减少内存传输，在GreenWaves GAP8 SoC上实现了最高11.40%的延迟降低和52.97%的激活数据移动量减少。
2024-06-18 cs.DC cs.LG
Lightweight Image Enhancement Network for Mobile Devices Using Self-Feature Extraction and Dense Modulation
Samsung Research（三星研究院）
基于卷积神经网络（CNN）的图像增强方法，如超分辨率和细节增强，取得了显著的效果。然而，大量的操作，包括卷积和参数在网络中的成本高的计算能力和需要巨大的内存资源，这限制了应用与设备上的要求。轻量级图像增强网络应该从低分辨率输入图像中恢复细节、纹理和结构信息，同时保持其保真度。为了解决这些问题，提出了一种轻量级的图像增强网络。该网络包括自特征提取模块，该模块从低质量图像本身产生调制参数，并将其提供给网络中的特征调制。此外，密集调制块提出了建议的网络，它使用密集连接的级联功能应用在调制层的单元块。实验结果表明，在定量和定性评估方面，现有的方法有更好的性能。
2022-05-02 cs.LG eess.IV
Learning-based Bias Correction for Ultra-wideband Localization of Resource-constrained Mobile Robots
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（Vector人工智能研究所）
准确的室内定位是许多机器人应用的关键技术，从仓库管理到监控任务。超宽带（UWB）测距是一种很有前途的解决方案，与诸如同时定位与地图构建的替代的最先进的方法相比，其低成本、重量轻并且计算上便宜，使得其特别适合于资源受限的空中机器人。然而，许多商业上可用的超宽带无线电提供不准确的、有偏差的距离测量。在这篇文章中，我们提出了一个偏差校正框架兼容双向测距和到达时间差超宽带定位。我们的方法包括两个步骤：（i）统计离群值拒绝和（ii）基于学习的偏差校正。这种方法是可扩展的，并且足够节俭，可以部署在纳米四轴飞行器的微控制器上。以前的研究主要集中在双向测距偏差校正，并没有实现闭环，也没有使用资源受限的机器人。实验结果表明，使用我们的方法，定位误差减少了~18.5%和48%（TWR和TDoA，分别），和四轴飞行器可以准确地跟踪轨迹与位置信息仅从UWB。
2020-03-20 cs.LG cs.RO cs.SY
An In-Memory Analog Computing Co-Processor for Energy-Efficient CNN Inference on Mobile Devices
University of South Carolina（南卡罗来纳大学）；Lehigh University（理海大学）
在本文中，我们开发了一个在内存中的模拟计算（IMAC）架构实现突触行为和激活函数内的非易失性存储器阵列。利用自旋轨道力矩磁阻随机存取存储器（SOT-MRAM）器件来实现S形神经元以及二值化突触。首先，它示出了所提出的IMAC架构可以用来实现一个多层感知器（MLP）分类器实现数量级的性能改善相比，以前的混合信号和数字实现。其次，提出了一种异构混合信号和混合精度的CPU-IMAC架构，用于移动处理器上的卷积神经网络（CNN）推理，其中IMAC被设计为实现全连接（FC）层的协处理器，而卷积层在CPU中执行。架构级的分析模型被开发来评估CPU-IMAC架构的性能和能耗。仿真结果显示，6.5%和10%的能源节省为CPU-IMAC为基础的实现LeNet和VGG CNN模型，MNIST和CIFAR-10模式识别任务，分别。
2021-05-24 cs.AR cs.LG
Learning-based Bias Correction for Time Difference of Arrival Ultra-wideband Localization of Resource-constrained Mobile Robots
Institute for Aerospace Studies, University of Toronto（多伦多大学航空航天研究所）；Vector Institute for Artificial Intelligence（矢量人工智能研究院）
准确的室内定位是许多机器人应用的关键技术，从仓库管理到监控任务。基于超宽带（UWB）到达时间差（TDOA）的定位是一种很有前途的轻量级、低成本解决方案，可以扩展到大量设备，使其特别适合于资源受限的多机器人应用。然而，标准的，商用UWB无线电的定位精度往往是不够的，由于显着的测量偏差和离群值。在这封信中，我们解决这些问题，提出了一个强大的UWB TDOA定位框架，包括（i）基于学习的偏差校正和（ii）基于M估计的鲁棒滤波处理离群值。我们的方法的关键特性是，（i）学习的偏见推广到不同的UWB锚设置和（ii）该方法是计算效率足够的资源受限的硬件上运行。我们在Crazyflie纳米四轴飞行器上展示了我们的方法。实验结果表明，所提出的定位框架，仅依赖于板载IMU和UWB，提供了一个平均的42.08%的定位误差减少（在三个不同的锚设置）相比，基线方法没有偏置补偿。{We还示出了使用我们的UWB TDOA定位方法的四轴飞行器上的自主轨迹跟踪。
2021-03-02 cs.LG cs.RO
An affordable hardware-aware neural architecture search for deploying convolutional neural networks on ultra-low-power computing platforms
University of Genoa（热那亚大学）；Scuola Superiore Sant’Anna（圣安娜高等研究学院）
提出一种轻量级硬件感知神经架构搜索方法，生成可在超低功耗微控制器上运行的微型CNN，在保持分类精度的同时降低搜索成本。
2026-06-16 cs.AI cs.LG
MobiRNN: Efficient Recurrent Neural Network Execution on Mobile GPU
Stony Brook University（石溪大学）
在本文中，我们探索了在移动设备上本地运行循环神经网络（RNN）模型的优化方法。RNN模型广泛用于自然语言处理、机器翻译和其他任务。然而，使用RNN模型的现有移动应用程序在云上这样做。为了解决隐私和效率问题，我们展示了RNN模型如何在移动设备上本地运行。将深度学习模型移植到移动设备的现有工作集中在卷积神经网络（CNN）上，不能直接应用于RNN模型。作为回应，我们提出了一个移动特定的优化框架，专门为移动GPU实现GPU卸载。使用RNN模型进行活动识别的评估表明，RNN确实显着降低了在手机上运行RNN模型的延迟。
2017-06-03 cs.DC cs.LG cs.NE
WaveletNet: Logarithmic Scale Efficient Convolutional Neural Networks for Edge Devices
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种用于边缘设备的微尺度高效卷积神经网络架构，称为WaveletNet。我们的模型是基于著名的depressive卷积，并在两个新的层，我们在这项工作中介绍：小波卷积和depressive快速小波变换。通过打破通道维度的对称性并应用快速算法，WaveletNet将卷积块的复杂性缩小了O（logD/D）因子，其中D是通道数。在CIFAR-10和ImageNet分类上的实验显示，与MobileNetV 2等最先进的模型相比，WaveletNet具有更优越的性能。
2018-11-28 cs.CV cs.LG stat.ML
PCONV: The Missing but Desirable Sparsity in DNN Weight Pruning for Real-time Execution on Mobile Devices
Northeastern University（东北大学）；College of William and Mary（威廉与玛丽学院）；DiDi AI Labs（滴滴人工智能实验室）；Syracuse University（雪城大学）；Tsinghua University（清华大学）
深度神经网络（DNN）上的模型压缩技术已被广泛认为是在各种平台上实现加速的有效方法，而DNN权重修剪是一种直接有效的方法。目前有两种主流的剪枝方法，代表了两个极端的剪枝规则：非结构化的，细粒度的剪枝可以实现高稀疏性和准确性，但不是硬件友好的;结构化的，粗粒度的剪枝利用硬件有效的结构在剪枝，但遭受准确性下降时，剪枝率高。在本文中，我们介绍PCONV，包括一个新的稀疏维，-细粒度修剪模式内的粗粒度结构。PCONV包括两种类型的稀疏性，稀疏卷积模式（SCP），其从卷积内核修剪生成，以及连接稀疏性，其从卷积间核修剪生成。本质上，SCP由于其特殊的视觉特性而提高了准确性，并且连接稀疏性提高了修剪率，同时保持了过滤器计算的平衡工作量。为了部署PCONV，我们开发了一个新的编译器辅助DNN推理框架，并在实时的【形】执行PCONV模型，而不会影响精度，这在以前的工作中无法实现。我们的实验结果表明，PCONV优于三种最先进的端到端DNN框架，TensorFlow-Lite，TVM和Alibaba Mobile神经网络，加速分别高达39.2倍，11.4倍和6.3倍，并且没有准确性损失。移动设备可以在大规模DNN上实现实时的【形】推理。
2020-03-04 cs.CV cs.DC cs.LG
MobileDepth: Efficient Monocular Depth Prediction on Mobile Devices
Queen Mary, University of London（伦敦大学玛丽皇后学院）
深度预测对于计算机视觉和机器人系统上的许多有用应用是基本的。在手机上，通过精确的深度预测可以提高增强现实、自动对焦等应用的性能。在这项工作中，提出了一种用于深度预测的高效全卷积网络架构，该架构使用RegNetY 06作为编码器，并使用分裂-级联混洗块作为解码器。同时，提供了数据增强、超参数和损失函数的适当组合，以有效地训练轻量级网络。此外，已经开发了一个Android应用程序，该应用程序可以加载CNN模型，以通过从移动相机捕获的单目图像来预测深度图，并评估模型的平均延迟和每秒帧。因此，该网络在NYU Depth v2数据集上实现了82.7%的δ1精度，同时在ARM A76 CPU上只有62 ms的延迟，因此它可以实时预测移动相机的深度图。
2020-11-20 cs.CV cs.LG eess.IV
Towards Real-Time Automatic Portrait Matting on Mobile Devices
Hyperconnect
我们解决了移动设备上自动人像抠图的问题。该模型的目的是在移动设备上实现实时的【形】推理，模型性能的退化最小。我们的模型MMNet基于具有线性瓶颈块的多分支扩张卷积，性能优于最先进的模型，并且速度快了几个数量级。该模型可以在小米Mi 5设备上加速四次以达到30 FPS，梯度误差适度增加。在相同的条件下，我们的模型具有数量级较少的参数，并且比Mobile DeepLabv3更快，同时保持相当的性能。附带的实现可以在\url{https://github.com/hyperconnect/MMNet}中找到。
2019-04-08 cs.AI cs.CV cs.LG
