Mobile-GS: Real-time Gaussian Splatting for Mobile Devices
Mobile-GS通过深度感知无序渲染和神经视图依赖增强策略，实现在移动设备上的高效实时高斯点云分裂，同时减少计算和存储需求，保持高质量渲染。
2026-03-12 cs.CV
Facial Masks and Soft-Biometrics: Leveraging Face Recognition CNNs for Age and Gender Prediction on Mobile Ocular Images
Halmstad University（哈尔姆斯塔德大学）；University of Balearic Islands（巴利阿里群岛大学）
我们解决了使用智能手机拍摄的自拍眼部图像来估计年龄和性别的问题。由于强制使用口罩，部分面部遮挡已成为一个问题。此外，流动设备的使用激增，疫情进一步加快了向数字服务的迁移。然而，相关任务（例如身份或表情识别）中的现有技术解决方案采用大型卷积神经网络，由于硬件限制和可下载应用程序的大小限制，其在移动设备中的使用是不可行的。为了解决这个问题，我们调整了在ImageNet挑战赛中提出的两个现有的轻量级CNN，以及为移动人脸识别提出的两个额外的架构。由于使用自拍图像进行软生物特征预测的数据集有限，我们通过使用在ImageNet上预训练的网络来抵消过度拟合。此外，一些网络还被进一步预训练用于人脸识别，对于人脸识别，非常大的训练数据库是可用的。由于这两个任务采用相似的输入数据，我们假设，这种策略可以是有益的软生物特征估计。对所采用的架构进行了不同预训练的效果的全面研究，结果表明，在大多数情况下，在对网络进行微调以进行人脸识别后，可以获得更好的准确性。
2021-05-04 cs.CV
Faster than Fast: Accelerating Oriented FAST Feature Detection on Low-end Embedded GPUs
Dalian University of Technology（大连理工大学）；Nanjing University（南京大学）；Institute of Science Tokyo（东京科学大学）
针对 ORB-SLAM 中 Oriented FAST 占约一半耗时的问题，本文在低端嵌入式 GPU 上用二进制编码和可分离 Harris 检测优化特征提取，Jetson TX2 上较 OpenCV 平均加速超 7.3 倍。
2025-06-08 cs.CV
Binary-decomposed DCNN for accelerating computation and compressing model without retraining
Chubu University（中部大学）；Denso IT Laboratory（电装IT实验室）
最近的趋势表明，识别准确性的提高甚至更加深刻。深度卷积神经网络（DCNN）的推理过程具有大量参数，需要大量计算，并且可能非常慢。大量的参数也需要大量的内存。这导致计算时间越来越长，模型尺寸越来越大。为了实现包含DCNN的移动和其他低性能设备，必须压缩模型大小并加速计算。为此，本文提出了二进制分解的DCNN，它解决了这些问题，而无需重新训练。我们的方法在现有的网络模型中用二进制内积计算代替实值内积计算，以加速推理计算并减小模型大小，而无需重新训练。二进制计算可以使用逻辑运算符（如XOR和AND）以及位计数来高速完成。在使用AlexNet与ImageNet分类任务的测试中，速度提高了1.79倍，模型压缩了约80%，出错率的增加限制在1.20%。使用VGG-16，速度提高了2.07倍，模型大小减少了81%，误差仅增加了2.16%。
2017-09-14 cs.CV
Real-Time Image Demoireing on Mobile Devices
Xiamen University（厦门大学）；VIVO AI Lab（维沃人工智能实验室）；Pengcheng Lab（鹏城实验室）
在拍摄数字屏幕照片时，经常出现莫尔图案，大大降低了图像质量。尽管CNN在图像解码方面取得了进展，但现有网络的设计很繁重，给移动设备带来了冗余的计算负担。在本文中，我们推出了第一个研究加速demoireing网络，并提出了一个动态demoireing加速方法（DDA）的实时的【形】部署在移动设备上。我们的刺激来源于一个简单而普遍的事实，即莫尔图案往往不平衡地分布在整个图像中。因此，在非莫尔区域上浪费了过多的计算。因此，我们重新分配计算成本的图像补丁的复杂性成比例。为了实现这一目标，我们衡量一个图像补丁的复杂性，通过设计一个新的莫尔先验，同时考虑色彩和频率信息的莫尔图案。然后，我们使用较大的网络恢复具有较高复杂度的图像块，并将具有较低复杂度的图像块分配给较小的网络以减轻计算负担。最后，我们训练所有的网络在一个参数共享的超网范式，以避免额外的参数负担。在几个基准上的大量实验证明了我们提出的DDA的有效性。此外，在搭载Snapdragon 8 Gen 1芯片的VIVO X80 Pro智能手机上进行的加速测试表明，该方法可以大大缩短推理时间，从而实现移动设备上的实时的【形】图像演示。源代码和模型发布于https://github.com/zyxxmu/DDA
2023-02-04 cs.CV
Real-Time Quantized Image Super-Resolution on Mobile NPUs, Mobile AI 2021 Challenge: Report
Synaptics（新思科技）
图像超分辨率是计算机视觉中最受欢迎的问题之一，在移动设备中有着重要的应用。虽然针对这一任务提出了许多解决方案，但即使是常见的智能手机AI硬件，它们通常也没有进行优化，更不用说通常只支持INT 8推理的受限智能电视平台了。为了解决这个问题，我们引入了第一个移动AI挑战，其目标是开发一个端到端的基于深度学习的图像超分辨率解决方案，可以在移动或边缘NPU上展示实时性能。为此，向参与者提供了DIV 2K数据集和训练的量化模型，以进行有效的3X图像放大。所有模型的运行时间都在Synaptics VS 680智能家居板上进行了评估，该板具有能够加速量化神经网络的专用NPU。所提出的解决方案与所有主要的移动AI加速器完全兼容，能够在40-60 ms内重建全高清图像，同时实现高保真结果。本文提供了在挑战中开发的所有模型的详细描述。
2021-05-17 cs.CV cs.LG eess.IV
Towards Real-Time Gaussian Splatting: Accelerating 3DGS through Photometric SLAM
Faculty of Systems Design Engineering, University of Waterloo（滑铁卢大学系统设计工程学院）
本文提出将3DGS与直接稀疏里程计（DSO）这一单目光度SLAM系统集成，利用DSO点云输出替代传统运动恢复结构方法，显著缩短高质量渲染所需的训练时间，从而推动3DGS集成SLAM系统在移动硬件上实现实时运行。
2024-08-07 cs.CV cs.RO
Fast Camera Image Denoising on Mobile GPUs with Deep Learning, Mobile AI 2021 Challenge: Report
图像去噪是手机照片处理中最关键的问题之一。虽然已经为这项任务提出了许多解决方案，但它们通常使用合成数据，并且在移动设备上运行时计算成本太高。为了解决这个问题，我们引入了第一个移动AI挑战，其目标是开发一个端到端的基于深度学习的图像去噪解决方案，该解决方案可以在智能手机GPU上展示高效率。为此，参与者提供了一个新的大规模数据集，由在野外捕获的噪声-干净图像对组成。所有型号的运行时都在三星Exynos 2100芯片组上进行了评估，该芯片组具有强大的Mali GPU，能够加速浮点和量化神经网络。所提出的解决方案与任何移动GPU完全兼容，能够在40-80 ms内处理480 p分辨率的图像，同时实现高保真效果。本文提供了在挑战中开发的所有模型的详细描述。
2021-05-17 cs.CV cs.LG eess.IV
Power Efficient Video Super-Resolution on Mobile NPUs with Deep Learning, Mobile AI & AIM 2022 challenge: Report
视频超分辨率是移动设备上最受欢迎的任务之一，被广泛用于低比特率和低分辨率视频流的自动改进。虽然已经针对该问题提出了许多解决方案，但它们通常对计算要求很高，在移动设备上表现出低FPS速率和功率效率。在这次移动AI挑战中，我们解决了这个问题，并建议参与者为移动NPU设计一个端到端的实时视频超分辨率解决方案，以实现低能耗。向参与者提供包含用于4X视频放大任务的视频序列的REDS训练数据集。所有型号的运行时间和电源效率都在强大的联发科技9000平台上进行了评估，该平台具有能够加速浮点和量化神经网络的专用AI处理单元。所有提出的解决方案都与上述NPU完全兼容，表现出高达500 FPS的速率和0.2 [瓦/ 30 FPS]的功耗。本文提供了在挑战中开发的所有模型的详细描述。
2022-11-07 cs.CV eess.IV
Learned Smartphone ISP on Mobile NPUs with Deep Learning, Mobile AI 2021 Challenge: Report
MediaTek（联发科）
随着移动相机的质量开始在现代智能手机中发挥至关重要的作用，现在越来越多的关注用于改善移动照片的各种感知方面的ISP算法。在这项移动人工智能挑战中，目标是开发一个端到端的基于深度学习的图像信号处理（ISP）管道，可以取代传统的手工ISP，并在智能手机NPU上实现近乎实时的性能。为此，参与者提供了一个新的学习ISP数据集，包括使用Sony IMX 586 Quad Bayer移动传感器和专业1.02亿像素中画幅相机捕获的RAW-RGB图像对。所有模型的运行时间都在联发科技1000+平台上进行了评估，该平台配备了能够加速浮点和量化神经网络的专用AI处理单元。所提出的解决方案与上述NPU完全兼容，能够在60-100毫秒内处理全高清照片，同时实现高保真效果。本文提供了在这一挑战中开发的所有模型的详细描述。
2021-05-17 cs.CV cs.LG eess.IV
Real-Time Video Super-Resolution on Smartphones with Deep Learning, Mobile AI 2021 Challenge: Report
随着视频通信和流媒体服务的兴起，视频超分辨率已经成为移动相关的最重要的问题之一。虽然已经针对该任务提出了许多解决方案，但是它们中的大多数在计算上太昂贵而不能在具有有限硬件资源的便携式设备上运行。为了解决这个问题，我们引入了第一个移动AI挑战，其目标是开发一个端到端的基于深度学习的视频超分辨率解决方案，可以在移动GPU上实现实时性能。参与者获得了REDS数据集，并训练他们的模型进行有效的4X视频放大。所有型号的运行时间都在OPPO Find X2智能手机上进行了评估，该智能手机配备了能够在Adreno GPU上加速浮点网络的Snapdragon 865 SoC。所提出的解决方案与任何移动GPU完全兼容，可以将视频升级到高达80 FPS的高清分辨率，同时展示高保真效果。本文提供了在挑战中开发的所有模型的详细描述。
2021-05-17 cs.CV cs.LG eess.IV
MCUNet: Tiny Deep Learning on IoT Devices
MIT（麻省理工学院）；National Taiwan University（台湾大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
基于微控制器单元（MCU）的微型物联网设备上的机器学习很有吸引力，但也很有挑战性：微控制器的内存甚至比手机小2-3个数量级。我们提出MCUNet，一个框架，共同设计的高效神经架构（TinyNAS）和轻量级推理引擎（TinyEngine），使微控制器上的ImageNet规模的推理。TinyNAS采用两阶段神经架构搜索方法，首先优化搜索空间以适应资源约束，然后在优化的搜索空间中专门化网络架构。TinyNAS可以在低搜索成本下自动处理各种约束（即设备，延迟，能源，内存）。TinyNAS与TinyEngine共同设计，TinyEngine是一个内存高效的推理库，可以扩展搜索空间并适合更大的模型。TinyEngine根据整体网络拓扑而不是分层优化来调整内存调度，与TF-Lite Micro和CMSIS-NN相比，内存使用量减少了4.8倍，推理速度加快了1.7- 3.3倍。MCUNet是第一个在现成的商业微控制器上实现ImageNet top1精度>70%的产品，与量化的MobileNetV 2和ResNet-18相比，使用的SRAM和Flash减少了3.5倍。在视觉和音频唤醒词任务上，MCUNet实现了最先进的准确性，运行速度比MobileNetV 2和基于ProxylessNAS的解决方案快2.4- 3.4倍，峰值SRAM小3.7- 4.1倍。我们的研究表明，物联网设备上始终在线的微型机器…
2020-11-19 cs.CV
DPU or GPU for Accelerating Neural Networks Inference -- Why not both? Split CNN Inference
The University of Manchester（曼彻斯特大学）
本文提出了一种将 CNN 推断任务分割到 DPU 和 GPU 上的方法，以降低延迟。通过在 DPU 处理初始层，GPU 处理剩余层，结合 GNN 分割索引预测方法，实现了比单一 DPU 或 GPU 更高的效率提升。
2026-06-03 cs.AR cs.CV
Qwen-UI-Agent Technical Report: Toward Next-Generation Real-World Centric Foundation GUI Agents
Alibaba Group（阿里巴巴集团）
本研究推出以真实世界为中心的基础GUI智能体Qwen-UI-Agent，结合多环境与数据飞轮等机制，在移动端基准达最优，在多类任务上表现具竞争力。
2026-07-31 cs.AI cs.CV
Edge AI: On-Demand Accelerating Deep Neural Network Inference via Edge Computing
Sun Yat-sen University（中山大学）
深度神经网络（DNN）作为5G时代人工智能（AI）应用的关键技术，迅速引起了广泛关注。然而，由于有限的计算资源，在移动设备上运行计算密集型的基于DNN的任务具有挑战性。更糟糕的是，传统的云辅助DNN推理受到显著的广域网延迟的严重阻碍，导致实时性能差以及用户体验质量低。为了应对这些挑战，在本文中，我们提出了Edgent，这是一个通过设备边缘协同作用利用边缘计算进行DNN协作推理的框架。Edgent利用了两个设计旋钮：（1）DNN分区，自适应地在设备和边缘之间划分计算，以协调强大的云资源和近端边缘资源进行实时DNN推理;（2）DNN合理调整，通过在适当的中间DNN层进行早期退出推理，进一步减少计算延迟。此外，考虑到实际部署中潜在的网络波动，Edgentis适当地设计以专门用于静态和动态网络环境。具体而言，在带宽变化缓慢的静态环境中，Edgent借助基于回归的预测模型得出最佳配置，而在带宽变化剧烈的动态环境中，Edgent通过在线变化点检测算法将当前带宽状态映射到最佳配置，从而生成最佳执行计划。我们基于Raspberry Pi和桌面PC实现了Edgent原型，广泛的实验评估证明了Edgent在实现按需低延迟边缘智能方面的有效性。
2019-10-04 cs.CV cs.DC cs.LG
MMEdge: Accelerating On-device Multimodal Inference via Pipelined Sensing and Encoding
Hong Kong University of Science and Technology（香港科技大学）
MMEdge提出一种基于流水线传感和编码的设备端多模态推理框架，通过细粒度传感和编码单元实现增量计算，结合轻量级时间聚合模块和自适应配置优化器，降低延迟并保持高精度。
2026-03-29 cs.AI cs.CV cs.LG
FermiNets: Learning generative machines to generate efficient neural networks via generative synthesis
Waterloo Artificial Intelligence Institute（滑铁卢人工智能研究所）；University of Waterloo（滑铁卢大学）；DarwinAI Corp.（达尔文人工智能公司）
深度学习展现出的巨大潜力往往被架构和计算复杂性所抵消，这使得广泛部署成为移动和其他消费设备等边缘场景的挑战。为了应对这一挑战，我们探索了以下想法：我们能否学习生成机器来自动生成具有高效网络架构的深度神经网络？在这项研究中，我们引入了生成合成的思想，这是建立在生成器-查询器对之间复杂的相互作用上的，生成器-查询器对协同工作，以获得洞察力，并学习生成最能满足操作要求的高效深度神经网络。最有趣的是，一旦通过生成合成学习了一个生成器，它就可以用来生成不仅仅是一个，而是大量不同的、独特的、满足操作要求的高效深度神经网络。图像分类、语义分割和目标检测任务的实验结果说明了生成合成在生成自动生成高效深度神经网络的生成器方面的功效（我们称之为费米网）具有更高的模型效率和更低的计算成本（比几个测试过的最先进的网络效率高出10倍以上，乘法累加运算更少），以及更高的能源效率（在Nvidia Tegra X2移动处理器上，每焦耳消耗的图像推理性能提高> 4倍）。因此，生成合成可以是一种强大的通用方法，用于加速和改进设备上边缘场景的深度神经网络的构建。
2018-11-13 cs.AI cs.CV cs.NE
Distribution-sensitive Information Retention for Accurate Binary Neural Network
Beihang University（北京航空航天大学）
模型二值化是压缩神经网络和加速其推理过程的有效方法。然而，1位模型和32位模型之间仍然存在显著的性能差距。实验结果表明，二值化在前向传播和后向传播过程中造成了较大的信息损失。提出了一种新的分布式敏感信息保持网络（DIR-Net），它通过改进内部传播和引入外部表示来保持前向和后向传播中的信息。DIR-Net主要依靠三个技术贡献：（1）信息最大化二值化（IMB）：通过权值平衡和标准化，同时最小化权值/激活的信息损失和二值化误差;（2）分布敏感两阶段估计（DTE）：通过分布敏感软逼近，结合更新能力和精确梯度，保留梯度信息;（3）Representation-align Binarization-aware Distillation（RBD）：通过在全精度和二值化网络之间提取表示来保留表示信息。DIR网络从统一信息的角度研究了BNN的前向和后向过程，从而为网络二值化机制提供了新的见解。我们的DIR网络中的三种技术是通用的和有效的，可以应用于各种结构，以改善BNN。对图像分类和目标检测任务的综合实验表明，我们的DIR-Net在主流和紧凑的架构下，如ResNet，VGG，EfficientNet，DARTS和MobileNet，始终优于最先进的二值化方法。此外，我们在现实世界的资源有限的设备上进行我们的DIR网络，实现了11.1倍的存储节省和5.4倍的加速。
2022-09-23 cs.CV
Learning a Wavelet-like Auto-Encoder to Accelerate Deep Neural Networks
School of Data and Computer Science, Sun Yat-sen University（中山大学数据与计算机学院）；SenseTime Group Limited（商汤集团有限公司）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；School of Computer Science and Information Security, Guilin University of Electronic Technology（桂林电子科技大学计算机与信息安全学院）；Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算学系）
加速深度神经网络（DNN）已经吸引了越来越多的关注，因为它可以使广泛的应用受益，例如，使计算资源有限的移动系统拥有强大的视觉识别能力。实现这一目标的实际策略通常依赖于两个阶段的过程：在经过训练的DNN上操作（例如，用张量分解近似卷积滤波器）和微调修正的网络，导致难以平衡加速和保持识别性能之间的权衡。在这项工作中，针对神经网络加速的一般和全面的方式，我们开发了一个小波样自动编码器（WAE），分解原始输入图像到两个低分辨率通道（子图像），并将WAE到分类神经网络的联合训练。特别地，两个分解的声道被编码以携带低频信息（例如，成像轮廓）和高频（例如，图像细节或噪声），并且使得能够通过解码处理来重构原始输入图像。然后，我们将低频通道馈送到标准分类网络（如VGG或ResNet）中，并使用一个非常轻量级的网络与高频通道融合以获得分类结果。与现有的DNN加速解决方案相比，我们的框架具有以下优点：i）它可以容忍任何现有的卷积神经网络进行分类，而无需修改其结构; ii）WAE提供了一种可解释的方法来保留输入图像的主要成分进行分类。
2017-12-20 cs.CV
One Basis to Animate Them All: Gaussian Blendshape Distillation for Real-Time Avatars
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；MWS AI（MWS AI公司）
针对3D高斯化身实时动画的神经推理瓶颈，提出GALA蒸馏方法，用线性混合近似动画，显著降低CPU成本并保持质量，支持移动端60fps。
2026-10-02 cs.AI cs.CV cs.HC
UCP: Uniform Channel Pruning for Deep Convolutional Neural Networks Compression and Acceleration
School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院）；Engineering Research Center of Safety Critical Industrial Measurement and Control Technology, Ministry of Education, Hefei University of Technology（合肥工业大学安全关键工业测量与控制技术教育部工程研究中心）
为了将深度CNN应用于移动终端和便携式设备，许多学者最近致力于压缩和加速深度卷积神经网络。在此基础上，我们提出了一种新的均匀信道修剪（UCP）方法来修剪深度CNN，并使用修改的挤压和激励块（MSEB）来衡量卷积层中信道的重要性。不重要的通道，包括与它们相关的卷积核，直接被修剪，这大大降低了存储成本和计算次数。ResNet中有两种类型的残差块。对于存在瓶颈的ResNet，我们使用传统CNN的修剪方法来修剪块中间的3x 3卷积层。对于具有基本残差块的ResNet，我们提出了一种在同一阶段一致地修剪所有残差块的方法，以确保紧凑的网络结构在维度上是正确的。考虑到网络在剪枝后会丢失大量的信息，而且剪枝幅度越大，丢失的信息就越多，所以我们没有选择微调，而是从头开始重新训练，以恢复剪枝后网络的准确性。最后，在CIFAR-10、CIFAR-100和ILSVRC-2012图像分类器上进行了图像分类的实验验证。结果表明，当剪枝率较小时，从头训练后的紧致网络的性能优于原始网络。即使当修剪幅度较大时，也可以保持或略微降低精度。在CIFAR-100上，当将参数和FLOP分别减少到82%和62%时，VGG-19的准确度在重新训练后甚至提高了0.54%。
2020-10-03 cs.AI cs.CV
