Steadiface: Real-Time Face-Centric Stabilization on Mobile Phones
Google Inc.（谷歌公司）
我们提出了Steadiface，一种新实时的【形】以面部为中心的视频稳定方法，同时消除手抖，并保持主体的头部稳定。我们使用CNN来估计面部标志，并使用它们来优化稳定的头部中心。然后，我们制定了一个优化问题，以找到一个虚拟相机的姿态，将面部定位到稳定的头部中心，同时保持跨帧的平滑旋转和平移过渡。我们在现场测试视频上测试了所提出的方法，并表明它稳定了头部运动和背景。它是强大的大头部姿势，遮挡，面部外观变化，和不同种类的相机运动。通过与替代方法进行比较，我们表明我们的方法在自拍视频稳定方面取得了进步。整个过程在现代移动电话上非常有效地运行（8.1毫秒/帧）。
2019-05-03 cs.CV
Facial Masks and Soft-Biometrics: Leveraging Face Recognition CNNs for Age and Gender Prediction on Mobile Ocular Images
Halmstad University（哈尔姆斯塔德大学）；University of Balearic Islands（巴利阿里群岛大学）
我们解决了使用智能手机拍摄的自拍眼部图像来估计年龄和性别的问题。由于强制使用口罩，部分面部遮挡已成为一个问题。此外，流动设备的使用激增，疫情进一步加快了向数字服务的迁移。然而，相关任务（例如身份或表情识别）中的现有技术解决方案采用大型卷积神经网络，由于硬件限制和可下载应用程序的大小限制，其在移动设备中的使用是不可行的。为了解决这个问题，我们调整了在ImageNet挑战赛中提出的两个现有的轻量级CNN，以及为移动人脸识别提出的两个额外的架构。由于使用自拍图像进行软生物特征预测的数据集有限，我们通过使用在ImageNet上预训练的网络来抵消过度拟合。此外，一些网络还被进一步预训练用于人脸识别，对于人脸识别，非常大的训练数据库是可用的。由于这两个任务采用相似的输入数据，我们假设，这种策略可以是有益的软生物特征估计。对所采用的架构进行了不同预训练的效果的全面研究，结果表明，在大多数情况下，在对网络进行微调以进行人脸识别后，可以获得更好的准确性。
2021-05-04 cs.CV
Partial Face Detection in the Mobile Domain
University of Maryland（马里兰大学）
通用的人脸检测算法在移动领域中表现不佳，因为存在大量的遮挡和部分可见的人脸。一个很有前途的技术来处理部分人脸的挑战是设计基于面部片段的人脸检测器。本文讨论了两种不同的基于人脸分割的人脸检测方法，即基于建议的检测和端到端回归检测。遵循第一种方法的方法依赖于生成包含面部片段信息的面部提议。遵循这种方法的三个检测器，即本文讨论的基于面部片段的面部检测器（FSFD），SegFace和DeepSegFace，基于从面部片段中学习的特征对每个建议进行二进制分类。然而，建议生成的过程需要单独处理，这可能非常耗时，并且考虑到主动身份验证问题的性质，这并不是真正必要的。因此，提出了一种新的算法，基于深度回归的用户图像检测器（DRUID），它从分类转移到回归范式，从而避免了对建议生成的需要。DRUID具有独特的网络架构，具有定制的损失函数，通过利用新颖的数据增强方案使用相对少量的数据进行训练，并且速度很快，因为它在单次通过中输出面部的边界框及其片段。基于人脸分割的人脸检测方法，尤其是DRUID方法，在两个移动人脸数据集上的查准率-查全率和ROC曲线方面，表现出了优于其他现有人脸检测方法的性能。
2017-04-07 cs.CV
Migrating Face Swap to Mobile Devices: A lightweight Framework and A Supervised Training Solution
iQIYI Inc（爱奇艺公司）；Nanjing University（南京大学）
现有的人脸交换方法严重依赖于大规模网络的足够容量来生成视觉上合理的结果，这限制了其在资源受限平台上的应用。在这项工作中，我们提出了MobileFSGAN，一种新的轻量级GAN的人脸交换，可以运行在移动设备上，参数少得多，同时实现有竞争力的性能。设计了一个轻量级的编解码器结构，专门用于图像合成任务，它只有10.2MB，可以在移动设备上以实时速度运行。为了解决训练这样一个小网络的不稳定性，我们利用面部属性编辑技术构建了FSTriplets数据集。FSTriplets提供源-目标-结果训练三元组，产生像素级标签，从而首次使训练过程受到监督。我们还设计了多尺度梯度损失，以实现高效的反向传播，从而实现更快更好的收敛。实验结果表明，我们的模型达到了与最先进的方法相当的性能，同时显着减少了网络参数的数量。代码和数据集已经发布。
2022-04-13 cs.CV
FaceLiVT: Face Recognition using Linear Vision Transformer with Structural Reparameterization For Mobile Device
Department of Electro-Optics Engineering, National Formosa University, Taiwan（国立FORMOSA大学光电工程系）；Department of Electrical Engineering, National Taipei University, Taiwan（国立台北大学电机工程系）；Department of Electrical Engineering, University of Muhammadiyah Malang, Indonesia（穆罕默迪亚大学Malang分校电子工程系）；College of Artificial Intelligence and Green Energy, National Yang Ming Chiao Tung University, Taiwan（阳明交通大学人工智能与再生能源学院）
FaceLiVT通过结合结构重参数化的线性视觉变换器和多头线性注意力机制，实现了在移动设备上高效且准确的人脸识别
2025-06-12 cs.CV
RSTAM: An Effective Black-Box Impersonation Attack on Face Recognition using a Mobile and Compact Printer
Nanjing University（南京大学）
得益于深度神经网络的发展，人脸识别近年来取得了长足的进步，但最近发现，深度神经网络容易受到对抗性样本的影响。这意味着基于深度神经网络的人脸识别模型或系统也容易受到对抗性样本的影响。然而，现有的攻击人脸识别模型或系统的方法可以有效地完成白盒攻击，而不是黑盒模仿攻击，物理攻击，或方便的攻击，特别是对商业人脸识别系统。在本文中，我们提出了一种新的方法来攻击人脸识别模型或系统，称为RSTAM，它可以使用移动和紧凑的打印机打印的对抗性面具进行有效的黑盒模仿攻击。首先，RSTAM通过我们提出的随机相似性转换策略增强了对抗面具的可转移性。此外，我们提出了一种随机元优化策略，用于集成多个预训练的人脸模型，以生成更通用的对抗面具。最后，我们在CelebA-HQ，LFW，Makeup Transfer（MT）和CASIA-FaceV 5数据集上进行了实验。攻击的性能也在最先进的商业人脸识别系统上进行了评估：Face++，百度，阿里云，腾讯和微软。大量的实验表明，RSTAM可以有效地执行黑盒模仿攻击的人脸识别模型或系统。
2022-06-25 cs.CV
MobileI2V: Fast and High-Resolution Image-to-Video on Mobile Devices
Huazhong University of Science and Technology（华中科技大学）
MobileI2V通过轻量级扩散模型和优化策略，在移动设备上实现快速高分辨率图像到视频生成，生成速度提升10倍，质量与现有模型相当。
2025-11-26 cs.CV
MobileFaceNets: Efficient CNNs for Accurate Real-Time Face Verification on Mobile Devices
Beijing Jiaotong University（北京交通大学）
我们提出了一类非常高效的CNN模型MobileFaceNets，它使用不到100万个参数，专门为移动和嵌入式设备上的高精度实时的【形】人脸验证量身定制。我们首先对常见的移动网络进行人脸验证的弱点进行了简单分析。我们专门设计的MobileFaceNets已经很好地克服了这一弱点。在相同的实验条件下，我们的MobileFaceNets实现了显著优越的准确性，以及超过MobileNetV 2的2倍的实际加速。在经过改进的MS-Celeb-1 M上的ArcFace损失训练后，我们的4.0MB大小的单个MobileFaceNet在LFW上达到99.55%的准确率，在MegaFace上达到92.59%的TAR@FAR1e-6，这甚至可以与数百MB大小的最先进的大型CNN模型相媲美。最快的MobileFaceNets在手机上的实际推理时间为18毫秒。对于人脸验证，MobileFaceNets比以前最先进的移动CNN实现了显着提高的效率。
2018-06-15 cs.CV cs.LG
MobileViCLIP: An Efficient Video-Text Model for Mobile Devices
State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学）；MyBank, Ant Group（蚂蚁集团MyBank）；Shanghai AI Lab（上海AI实验室）
本文提出面向移动设备的高效视频-文本模型MobileViCLIP，通过将时间结构重参数化引入图像-文本模型并基于大规模数据集训练，在实现远超现有模型的移动端推理速度的同时，保持了强大的零样本分类与检索能力。
2025-08-10 cs.CV
Structured Bayesian Compression for Deep models in mobile enabled devices for connected healthcare
Xidian University（西安电子科技大学）；Temple University（天普大学）；University of Idaho（爱达荷大学）
深度模型，通常是深度神经网络，具有数百万个参数，可以准确地分析医疗数据，但方法非常耗时。然而，能源成本效益和计算效率对于开发和部署移动设备的先决条件非常重要，这是互联医疗的主流趋势。
2019-02-13 cs.CV
Enhancing Mobile Privacy and Security: A Face Skin Patch-Based Anti-Spoofing Approach
China Merchants Bank（招商银行）
本文针对人脸防欺骗中隐私泄露和加解密耗时问题，提出基于纯面部皮肤块图像的防欺骗算法，无需加解密，并在多个公开数据集上验证了其在准确性和速度上的优势。
2023-08-09 cs.CV
Accelerating Proposal Generation Network for \\Fast Face Detection on Mobile Devices
University of Southern California（南加州大学）；Samsung Research America（三星美国研究院）
人脸检测是近几十年来被广泛研究的问题。近年来，深度神经网络已经取得了显著的进步，然而，由于其有限的计算能力和内存，直接将这些技术应用于移动设备仍然具有挑战性。在这项工作中，我们提出了一个实时人脸检测的建议生成加速框架。更具体地说，我们采用了流行的级联卷积神经网络（CNN）作为基础，然后在基本框架上应用我们的加速方法来加快模型推理时间。我们的动机是观察到，这个框架的计算瓶颈来自建议生成阶段，其中密集图像金字塔的每个级别都必须通过网络。在这项工作中，我们通过利用全局和局部面部特征（即，全局面部和面部部分）。在公共基准测试WIDER-face和FDDB上的实验结果表明，与现有技术相比，该方法具有令人满意的性能和更快的速度。%的可比精度与最先进的速度更快。
2019-04-27 cs.CV
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
Megvii Inc (Face++)（旷视科技（Face++））
我们介绍了一种名为ShuffleNet的计算效率极高的CNN架构，它是专门为计算能力非常有限的移动设备设计的（例如，10-150 MFLOP）。新架构采用了两种新的操作，逐点群卷积和通道混洗，大大降低了计算成本，同时保持精度。ImageNet分类和MS COCO目标检测的实验证明了ShuffleNet优于其他结构的性能，例如，在40 MFLOP的计算预算下，比最近的MobileNet on ImageNet分类任务具有更低的top-1错误（绝对7.8%）。在基于ARM的移动终端上，ShuffleNet实现了比AlexNet快13倍的实际加速，同时保持了相当的准确性。
2017-12-07 cs.CV
MobileDiffusion: Instant Text-to-Image Generation on Mobile Devices
Google（谷歌）
本文提出高效文生图扩散模型 MobileDiffusion，通过架构精简、蒸馏与 diffusion-GAN 微调实现 8 步及 1 步推理，在移动端 512×512 图像生成上达到亚秒级速度。
2024-06-12 cs.CV
Compact CNN Models for On-device Ocular-based User Recognition in Mobile Devices
School of Computing（计算机学院）；Wichita State University（威奇托州立大学）
许多研究已经证明了深度学习卷积神经网络（CNN）模型在移动设备中基于眼睛的用户识别中的有效性。然而，这些高性能网络具有巨大的空间和计算复杂性，因为涉及数百万个参数和计算。这些要求使得将深度学习模型部署到资源受限的移动设备具有挑战性。为此，只有少数研究的基础上的知识蒸馏和补丁为基础的模型已被提出，以获得紧凑的大小CNN模型的眼识别在移动环境中。为了进一步推进最新技术水平，本研究首次评估了五种神经网络修剪方法，并将其与用于设备上CNN推理和使用眼部图像的移动用户验证的知识蒸馏方法进行了比较。对VISOB和UPFR-Periocular数据集进行的独立于受试者的分析表明，使用ResNet 50作为基础模型，在8的压缩率下，基于分层幅度的修剪对于基于移动眼的认证是有效的。此外，与知识蒸馏的比较表明，在验证准确性和实时推理方面，知识蒸馏的功效优于修剪方法，该实时推理以五种移动设备（即iPhone 6、iPhone X、iPhone XR、iPad Air 2和iPad第7代）上的深度特征提取时间来衡量。
2021-10-11 cs.CV
Joint Estimation of Age and Gender from Unconstrained Face Images using Lightweight Multi-task CNN for Mobile Applications
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）
基于无约束图像的自动年龄和性别分类已经成为移动设备上的基本技术。在有限的计算能力下，如何开发一个健壮的系统成为一个具有挑战性的任务。在本文中，我们提出了一种高效的卷积神经网络（CNN），称为轻量级多任务CNN，用于同时进行年龄和性别分类。轻量级多任务CNN使用深度可分离卷积来减少模型大小并节省推理时间。在公开的Adience数据集上，年龄和性别分类的准确性优于基线多任务CNN方法。
2018-06-06 cs.CV
Specular- and Diffuse-reflection-based Face Spoofing Detection for Mobile Devices
NEC Biometrics Research Laboratories（NEC生物识别研究实验室）；NEC Corporation（NEC公司）
鉴于对生物特征认证系统的需求不断增长，防止面部欺骗攻击是面部识别系统安全部署的关键问题。在这里，我们提出了一个高效的人脸呈现攻击检测（PAD）算法，需要最少的硬件和只有一个小的数据库，使其适合于资源受限的设备，如手机。利用一个单目可见光摄像头，该算法采取了两个面部照片，一个闪光灯，另一个没有闪光灯。所提出的$SpecDiff$描述符通过利用两种类型的反射来构造：（i）来自虹膜区域的镜面反射，其具有取决于活性的特定强度分布，以及（ii）来自表示对象面部的3D结构的整个面部区域的漫反射。使用$SpecDiff$描述符训练的分类器在内部数据库和公开可用的NUAA、Replay-Attack和SiW数据库上的性能优于其他基于闪存的PAD算法。此外，所提出的算法实现了统计上显著更好的准确性，一个端到端，深度神经网络分类器，而大约六倍的执行速度。该代码可在https://github.com/Akinori-F-Ebihara/SpecDiff-spoofing-detector上公开获取。
2020-12-16 cs.CV
MobileARLoc: On-device Robust Absolute Localisation for Pervasive Markerless Mobile AR
The Hong Kong University of Science and Technology（香港科技大学）
MobileARLoc提出一种结合绝对位姿回归器与VIO反馈循环的设备端框架，在无标记移动AR中实现误差减半和80毫秒快速推理。
2024-02-04 cs.CV
Aurora Guard: Reliable Face Anti-Spoofing via Mobile Lighting System
Tencent YouTu Lab（腾讯优图实验室）；Xiamen University（厦门大学）
移动端的人脸认证已经广泛应用于各种场景。尽管先进的人脸认证/验证系统对眨眼和微妙的面部表情等变化的可靠性越来越高，但针对纸质照片或数字视频的高分辨率渲染重放的反欺骗仍然是一个悬而未决的问题。在本文中，我们提出了一个简单而有效的人脸反欺骗系统，称为极光后卫（AG）。该系统首先通过光线反射分析提取正常线索，然后采用端到端可训练的多任务卷积神经网络（CNN）精确恢复主体的内在深度和材质图以辅助活性分类，并在回归分支中采用轻型CAPTCHA检查机制以进一步提高系统的可靠性。在公开的Replay-Attack和CASIA数据集上的实验证明了该方法的优点。我们还在一个包含12，000个真实和多样化欺骗样本的大规模数据集上进行了广泛的实验，这进一步验证了我们的方法在野外的泛化能力。
2021-02-01 cs.CV
3D Face Reconstruction with Region Based Best Fit Blending Using Mobile Phone for Virtual Reality Based Social Media
University of Tartu（塔尔图大学）；Hasan Kalyoncu University（哈桑·卡尔永库大学）
虚拟现实（VR）的使用呈指数级增长，因此许多研究人员已经开始致力于开发新的基于VR的社交媒体。为此目的，重要的是具有看起来像他们的用户的化身，以便由可访问的设备（诸如移动电话）容易地生成。在本文中，我们提出了一种新的方法来重建一个3D人脸模型与手机摄像头图像或视频数据捕获。该方法更侧重于模型的形状比纹理，以使人脸可识别。我们检测到68个面部特征点，并使用它们将人脸分成四个区域。对于每个区域，找到最佳拟合模型，并进一步变形组合以找到每个区域的最佳拟合模型。然后将这些组合并进一步变形，以恢复原始的面部比例。我们还提出了一种纹理生成方法，其中上述特征点用于生成纹理的结果模型
2017-12-12 cs.CV
MobileVidFactory: Automatic Diffusion-Based Social Media Video Generation for Mobile Devices from Text
University of Electronic Science and Technology of China（电子科技大学）；Microsoft Research（微软研究院）；University of Rochester（罗切斯特大学）；National Taiwan University（国立台湾大学）
提出MobileVidFactory系统，利用预训练图像扩散模型生成移动端竖屏视频，支持文本到视频、背景音检索匹配及屏幕文本与语音定制。
2023-07-31 cs.CV
AdaEnlight: Energy-aware Low-light Video Stream Enhancement on Mobile Devices
Northwestern Polytechnical University（西北工业大学）；City University of Hong Kong（香港城市大学）
摄像头嵌入式设备的普及和深度学习的进步刺激了各种智能移动视频应用。这些应用程序通常需要在设备上处理视频流，以提供实时、高质量的服务，从而保护隐私和鲁棒性。然而，这些应用程序的性能受到原始视频流的限制，这些视频流往往是在昏暗的光线下用无处不在的移动平台的小孔径相机拍摄的。尽管有广泛的低光视频增强解决方案，但由于其复杂的模型和对能量预算等系统动态的忽视，它们不适合部署到移动设备上。在本文中，我们提出了AdaEnlight，移动设备上的能量感知低光视频流增强系统。它实现了具有竞争力的视觉质量的实时视频增强，同时允许运行时行为适应平台施加的动态能量预算。我们报告了在不同数据集、场景和平台上的广泛实验，并证明了AdaEnlight与最先进的低光图像和视频增强解决方案相比的优越性。
2022-11-30 cs.CV
Towards Real-time Video Compressive Sensing on Mobile Devices
Zhejiang University（浙江大学）；Westlake University（西湖大学）；University of Electronic Science and Technology of China（电子科技大学）
针对移动设备难以实时运行视频SCI重建算法的问题，提出MobileSCI方法，通过U型2D卷积架构、高效特征混合模块与定制知识蒸馏，在iPhone 15上实现35 FPS的实时高质量重建。
2024-08-14 cs.CV
Mobile-O: Unified Multimodal Understanding and Generation on Mobile Device
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carnegie Mellon University（卡内基梅隆大学）；Linköping University（利尔贝里大学）
Mobile-O是一款在移动设备上实现统一多模态理解和生成的高效模型，通过紧凑架构和创新训练方法，在性能和速度上均优于现有模型。
2026-02-24 cs.CV
Uncalibrated Deflectometry with a Mobile Device on Extended Specular Surfaces
Northwestern University（西北大学）
我们介绍了一个系统和方法的三维测量扩展镜面高表面正常的变化。我们的系统仅由一个移动手持设备组成，并利用屏幕和前置摄像头进行基于偏折测量的表面测量。我们展示了高质量的测量，而无需离线校准程序。此外，我们开发了一种多视图技术，以补偿小屏幕的移动终端，使大表面可以密集地重建在其整体。这项工作是开发自校准偏转测量程序的第一步，该程序能够在野外对镜面物体进行3D表面测量，并且用户几乎没有技术成像经验。
2019-07-24 cs.CV
A Framework for Event-based Computer Vision on a Mobile Device
我们提出了第一个公开可用的Android框架，将数据从事件摄像机直接传输到手机。如今的移动设备处理的工作负载比以往任何时候都要广泛，它们集成了越来越多的传感器，使设备更智能，更用户友好和更安全。传统的摄像机在这些任务中发挥着核心作用，但它们不能连续记录，因为记录的冗余信息量处理起来成本很高。另一方面，生物灵感的事件相机只记录视觉场景中的变化，并显示出有前途的低功耗应用，特别适合移动任务，如人脸检测，手势识别或凝视跟踪。我们的原型设备是将这种事件摄像机嵌入电池供电的手持设备的第一步。移动框架使我们能够实时流式传输事件，并为移动电话上的始终在线和按需传感提供了可能性。为了将异步事件相机输出与同步冯诺依曼硬件联系起来，我们研究了缓冲事件和批量处理事件如何使移动应用程序受益。我们评估我们的框架在延迟和吞吐量方面，并显示计算机视觉任务的例子，涉及事件的事件和预先训练的神经网络方法的手势识别，孔径鲁棒的光流和灰度图像重建的事件。代码可在https://github.com/neuromorphic-paris/frog上获得
2022-05-13 cs.CV
Privacy Preserving Face Retrieval in the Cloud for Mobile Users
Beijing Electronic Science and Technology Institute（北京电子科技学院）；Chinese Academy of Sciences（中国科学院）
最近，云存储和处理已被广泛采用。一个家庭或一个团队中的移动用户可以自动将他们的照片备份到相同的共享云存储空间。由第三方训练和提供的强大的面部检测器可以用于从云存储服务器检索包含特定人群的照片集合。然而，移动用户的隐私可能会泄露给云服务器提供商。同时，人脸检测器的版权也应该受到保护。因此，在本文中，我们提出了一个协议的隐私保护人脸检索在云中的移动用户，同时保护用户的照片和人脸检测器。云服务器只提供存储和计算资源，不能学习用户照片和人脸检测器的任何内容。我们在几个家庭和类中测试我们的协议。实验结果表明，我们的协议可以成功地从云服务器检索正确的照片，并保护用户的照片和人脸检测器。
2017-08-09 cs.CR cs.CV
Adaptation of MobileNetV2 for Face Detection on Ultra-Low Power Platform
CSEM（瑞士电子与微技术中心）；EPFL（洛桑联邦理工学院）
设计在边缘硬件上运行的深度神经网络（DNN）仍然是一个挑战。标准设计已被社区采用，以促进神经网络模型的部署。然而，没有太多的重点放在适应网络拓扑结构，以适应硬件的限制。在本文中，我们采用了移动硬件平台MobileNetV2最广泛使用的架构之一，并研究了改变其拓扑结构和应用后训练量化的影响。我们讨论的适应和部署的模型上的嵌入式硬件平台的人脸检测的影响。
2022-08-23 cs.CV cs.LG
GPU-based Image Analysis on Mobile Devices
AUT University（奥克兰理工大学）
随着移动技术的快速发展，许多移动设备能够利用其嵌入式相机捕获高质量的图像和视频。本文研究了所得到的图像的实时处理技术，特别是在设备上利用图形处理单元。讨论了移动设备上图像处理的问题和局限性，并通过Canny边缘检测的可编程着色器实现来测量一系列设备上的图形处理单元的性能。
2011-12-14 cs.CV cs.GR
SeesawFaceNets: sparse and robust face verification model for mobile platform
DiDiChuxing（滴滴出行）
深度卷积神经网络（DCNN）是计算机视觉相关任务中使用最广泛的解决方案，其中最重要的应用场景之一是人脸验证。由于其高精度的性能，深度人脸验证模型的推理阶段发生在云平台上通过互联网在大多数实际场景中起着关键作用。然而，存在两个关键问题：首先，个人隐私可能没有得到很好的保护，因为他们必须将个人照片和其他私人信息上传到在线云后端。其次，无论是训练还是推断阶段都是耗时的，并且延迟可能会影响客户体验，特别是当互联网链路速度不太稳定或在移动接收不太好的偏远地区时，而且在建筑物和其他建筑物可能阻挡移动信号的城市中。因此，设计具有低内存需求和计算成本的轻量级网络是移动平台上人脸验证最实用的解决方案之一。在本文中，一种新的移动网络名为SeesawFaceNets，一个简单而有效的模型，提出了高效地部署移动设备的人脸识别。密集的实验结果表明，我们提出的模型SeesawFaceNets优于基线MobileFaceNets，只有{ \bf 66\%}（146 M VS 221 M MAds）计算成本，更小的批量大小和更少的训练步骤，和SeesawFaceNets实现了与其他SOTA模型相当的性能，例如仅具有{ \bf 54.2\%}的mobiface（1.3 M VS 2.4 M）参数和{ \bf 31.6\%}（146 M VS 462 M MAdds）计算成本，它最终也在所有5个上市的公共验证数据集上…
2019-12-01 cs.CV cs.LG
Face Mask Assistant: Detection of Face Mask Service Stage Based on Mobile Phone
East China Normal University（华东师范大学）；University of Guelph（圭尔夫大学）
2019冠状病毒病（COVID-19）自2019年12月大规模爆发以来，已蔓延至全球各地，给全世界造成了巨大损失。无论是确诊病例还是死亡病例，都达到了一个比较恐怖的数字。引起COVID-19的冠状病毒2型综合征（SARS-CoV-2）可通过呼吸道飞沫传播。从源头上遏制其传播，戴口罩是一种便捷有效的措施。在大多数情况下，人们使用口罩的频率很高，但时间很短。针对目前口罩检测中不知道口罩属于哪个服务阶段的问题，提出了一种基于手机的口罩检测系统。我们首先从人脸微照片的灰度共生矩阵中提取四个特征。其次，利用KNN算法实现了一个三结果检测系统。验证实验结果表明，我们的系统可以达到82.87%（标准偏差=8.5%）的测试数据集的准确率。在未来的工作中，我们计划将检测对象扩展到更多的掩码类型。这项工作表明，所提出的移动显微镜系统可以作为正在使用的口罩的助手，这可能在抗击COVID-19方面发挥积极作用。
2020-10-09 cs.CV cs.LG
A Novel Nudity Detection Algorithm for Web and Mobile Application Development
Chittagong University of Engineering and Technology（吉大港工程技术大学）
在我们目前的Web和移动应用开发运行时，裸体图像内容检测是非常重要的。本文提出了一种适用于Web和移动应用开发的运行时裸体检测方法。我们使用两个参数来检测图像的裸体内容。一个是皮肤像素数，另一个是人脸区域。使用基于RGB、HSV颜色空间的肤色模型检测图像中的皮肤像素。Google vision api用于检测人脸区域。通过皮肤区域和面部区域的百分比来识别图像是否裸体。该算法的成功之处在于检测皮肤区域和人脸区域。皮肤检测算法可以以较低的假阳性率准确地检测到95%的皮肤，而google vision api的web和移动应用程序可以在不到1秒的时间内准确地检测到99%的人脸。从实验分析中可以看出，该算法可以准确地检测出95%以上的裸露图像。
2020-06-28 cs.CV cs.MM
Design of a Mobile Face Recognition System for Visually Impaired Persons
The University of the South Pacific（南太平洋大学）；Software Foundation（软件基金会）
据估计，全球有2.85亿人视力受损。这些人大多数生活在发展中国家，属于老年人口。视力受损者面临的最困难的任务之一是识别人。虽然自然地，话音识别是一种常见的识别方法，但它是一个直观而困难的过程。移动设备计算能力的提高促使人们开发能够帮助视力受损者的应用程序。随着移动设备的出现，这些人可以通过基于计算机视觉技术的智能软件获得额外的识别方法。在本文中，我们提出了一个设计和实现的人脸检测和识别系统的视障人士通过使用移动计算。该移动系统由基于服务器的支持系统提供协助。该系统在一个定制的视频数据库上进行了测试。实验结果表明，在适当的条件下，人脸检测和人脸识别的准确率较高。该系统的挑战在于更好的识别技术，以应对照明和天气方面的困难情况。
2015-06-03 cs.CV cs.CY cs.HC
Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception
Beijing Jiaotong University（北京交通大学）；Alibaba Group（阿里巴巴集团）
本研究提出具备视觉感知的自主多模态移动设备智能体Mobile-Agent，以视觉为核心实现跨环境适配，无需系统定制，并构建Mobile-Eval基准验证其高准确率与完成率，代码模型将开源。
2024-04-18 cs.CL cs.CV
Towards Protecting Face Embeddings in Mobile Face Verification Scenarios
Idiap Research Institute（Idiap研究所）
本文提出PolyProtect方法，通过用户特定多项式映射保护移动人脸验证中的嵌入，在完全知情攻击者威胁下实现准确性与不可逆性的平衡，并确保模板不可关联。
2022-01-27 cs.CR cs.CV
ELSR: Extreme Low-Power Super Resolution Network For Mobile Devices
Xiaomi Inc.（小米公司）
随着移动设备的普及，例如，智能手机和可穿戴设备中，更轻更快的机型对于视频超分辨率的应用至关重要。然而，大多数先前的轻量级模型倾向于集中于减少桌面GPU上的模型推理的延迟，这在当前的移动设备中可能不是节能的。在本文中，我们提出了极低功耗超分辨率（ELSR）网络，它只消耗少量的能量在移动设备。采用预训练和微调方法来提高极小模型的性能。大量的实验表明，我们的方法实现了恢复质量和功耗之间的良好平衡。最终，我们在目标联发科QM 9000平台上获得了90.9的竞争分数，PSNR为27.34 dB，功率为0.09 W/30 FPS，在Mobile AI & AIM 2022实时视频超分辨率挑战赛中排名第一。
2022-08-31 cs.CV eess.IV
MobileCodec: Neural Inter-frame Video Compression on Mobile Devices
Qualcomm AI Research（高通人工智能研究院）
由于深度网络的计算复杂性和功率受限的移动硬件，在移动设备上实现神经视频编解码器的潜力是一项巨大的技术挑战。我们充分利用高通公司的技术和创新，填补了从基于神经网络的编解码器模拟（运行于壁式工作站上）到在采用Snapdragon技术的移动终端上实时运行的空白，从而证明了这一技术的实际可行性。我们展示了有史以来第一个在商用手机上运行的帧间神经视频解码器，实时解码高清视频，同时保持低比特率和高视觉质量。
2022-07-18 cs.CV cs.MM eess.IV
MobilePortrait: Real-Time One-Shot Neural Head Avatars on Mobile Devices
ByteDance Inc.（字节跳动公司）
MobilePortrait 提出一种轻量级单样本神经头部化身方法，通过混合关键点表示与预计算视觉特征降低计算复杂度，在移动设备上以不到十分之一的计算量实现超100 FPS的实时视频和音频驱动动画。
2025-04-08 cs.AI cs.CV
Deploying Image Deblurring across Mobile Devices: A Perspective of Quality and Latency
MediaTek Inc.（联发科公司）
近年来，图像增强和恢复已经成为移动设备上的重要应用，例如超分辨率和图像去模糊。然而，大多数最先进的网络呈现出极高的计算复杂性。这使得它们难以以可接受的延迟部署在移动设备上。而且，当部署到不同的移动设备时，由于移动设备上的深度学习加速器的差异和限制，存在较大的延迟变化。在本文中，我们对便携式网络架构进行了搜索，以在移动设备上实现更好的质量-延迟权衡。我们进一步提出了广泛使用的网络优化图像去模糊任务的有效性。本文提供了全面的实验和比较，以揭示对延迟和图像质量的深入分析。通过以上工作，我们展示了在深度学习加速器的加速下，图像去模糊应用在移动设备上的成功部署。据我们所知，这是第一篇解决跨移动设备的图像去模糊任务的所有部署问题的论文。本文提供了实用的部署指南，并被NTIRE 2020智能手机赛道图像去模糊挑战赛冠军团队采用。
2020-04-27 cs.CV eess.IV
Face Deblurring using Dual Camera Fusion on Mobile Phones
Google（谷歌）
快速移动的物体的运动模糊是摄影中的一个长期问题，并且由于有限的光收集效率，特别是在低光条件下，在移动电话上非常常见。虽然近年来我们在图像去模糊方面取得了很大的进展，但大多数方法都需要大量的计算能力，并且在处理具有严重局部运动的高分辨率照片时存在局限性。为此，我们开发了一种新的基于双摄像头融合技术的手机人脸去模糊系统。该系统检测对象运动以动态地启用参考相机，超广角相机通常在最近的高端手机上提供，并捕捉一个辅助照片与更快的快门设置。虽然主镜头是低噪但模糊的，但参考镜头是尖锐但嘈杂的。我们学习ML模型来对齐和融合这两张照片，并输出一张没有运动模糊的清晰照片。我们的算法在Google Pixel 6上高效运行，每次拍摄需要463 ms的开销。我们的实验证明了我们的系统对替代单图像，多帧，面部特定的，视频去模糊算法以及商业产品的优势和鲁棒性。据我们所知，我们的工作是第一个面部运动去模糊的移动解决方案，在不同的运动和照明条件下，在数千张图像上可靠而稳健地工作。
2022-07-23 cs.CV cs.GR
MobileBrick: Building LEGO for 3D Reconstruction on Mobile Devices
University of Oxford（牛津大学）；Apple（苹果公司）
高质量的3D地面实况形状对于3D对象重建评估至关重要。然而，在现实中很难创建物体的复制品，即使是3D扫描仪生成的3D重建也会产生导致评估偏差的伪影。为了解决这个问题，我们介绍了一种新的多视图RGBD数据集捕获使用移动终端，其中包括高度精确的3D地面实况注释为153个对象模型具有不同的3D结构集。我们通过利用具有已知几何形状的乐高模型作为图像捕获的3D结构，在不依赖高端3D扫描仪的情况下获得精确的3D地面真实形状。由在移动终端上捕获的高分辨率RGB图像和低分辨率深度图提供的独特数据模式，当与精确的3D几何注释相结合时，为高保真3D重建的未来研究提供了独特的机会。此外，我们评估了一系列的三维重建算法的建议数据集。项目页面：www.example.com
2023-03-09 cs.CV cs.LG
Accurate and Robust Eye Contact Detection During Everyday Mobile Device Interactions
Institute for Visualisation and Interactive Systems, University of Stuttgart（斯图加特大学可视化与交互系统研究所）
人类注意力的量化是移动人机交互（HCI）中若干任务的关键，例如预测用户可中断性、估计用户界面内容的可中断性或测量用户参与度。以前的研究移动注意行为的工作需要特殊用途的眼动追踪设备或限制用户的移动性。我们提出了一种新的方法来感测和分析视觉注意力在移动设备上的日常互动。我们证明了我们的方法的能力，最近吸引了越来越多的研究兴趣，在移动HCI的目光接触检测的样本任务。我们的方法建立在一个国家的最先进的方法，无监督的目光接触检测，并将其扩展到解决特定的移动交互场景的挑战。通过对两个当前数据集的评估，我们证明了在移动设备，用户或环境条件下的目光接触检测的显着性能改进。此外，我们还讨论了我们的方法如何能够计算额外的注意力指标，这是第一次，使来自不同领域的研究人员能够在野外移动交互过程中研究和量化注意力分配。
2019-07-25 cs.CV cs.HC
Secure voice based authentication for mobile devices: Vaulted Voice Verification
Securics Inc（Securics公司）；University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校）；Harvard University（哈佛大学）
随着生物识别技术的使用变得越来越广泛，由生物识别技术的使用引起的隐私问题变得越来越明显。随着移动设备的使用增长，将生物特征识别实现到这样的设备中的期望也增长。绝大多数正在使用的移动设备是移动电话。虽然正在努力将不同类型的生物识别技术应用到移动电话中，例如基于照片的生物识别技术，但语音是更自然的选择。语音作为生物识别的想法已经存在很长时间了。使用语音作为标识符的主要问题之一是语音的不稳定性。我们已经开发了一个解决这些不稳定性并保护隐私的协议。本文描述了一种新的协议，允许用户使用语音在移动/远程设备上进行身份验证，而不会损害他们的隐私。我们首先讨论\vv协议，这是最近在研究文献中介绍，然后描述其局限性。然后，我们介绍了一种新的适应和扩展的拱形验证协议的语音，被称为$V^3$。接下来，我们展示了一个性能评估，然后结束与安全性和未来工作的讨论。
2012-11-30 cs.CR cs.CV
MobilePoser: Real-Time Full-Body Pose Estimation and 3D Human Translation from IMUs in Mobile Consumer Devices
University of Chicago（芝加哥大学）；Northwestern University（西北大学）
针对移动消费设备中低保真IMU导致的全身姿态估计问题，提出MobilePoser系统，利用设备中已有IMU子集实时估计全身姿态与全局平移，结合多阶段神经网络与物理优化器，实现高精度与实时性能，适用于多种应用场景。
2025-04-16 cs.CV cs.HC
Securing Interactive Sessions Using Mobile Device through Visual Channel and Visual Inspection
National University of Singapore（新加坡国立大学）
从显示器到设备的摄像头建立的通信信道被称为可视信道，它有助于保护密钥交换协议。在本文中，我们研究了如何利用视觉信道可以由网络终端和移动终端，以共同验证信息在一个交互式会话，以及如何这样的信息可以共同呈现在一个用户友好的方式，考虑到移动终端只能捕获和显示一个小的区域，用户可能只想认证的选择性区域的利益。受Kiosk计算和多因素认证应用的启发，我们考虑了三种安全模型：（1）移动终端是可信的，（2）终端或移动终端中至多有一个是不诚实的，（3）终端和设备都是不诚实的，但它们不合谋或通信。我们给出了两个协议，并在上述模型下进行了研究。我们指出了一种形式的重放攻击，使一些其他简单的实现繁琐的使用。为了提高用户友好性，我们提出了一个解决方案，使用嵌入到二维条形码的视觉线索，并结合“增强现实“的框架，通过视觉检查，易于验证。我们给出了一个概念验证的实现，以表明我们的方案在实践中是可行的。
2010-07-08 cs.CR cs.CV
Lightweight network towards real-time image denoising on mobile devices
Alibaba Group（阿里巴巴集团）；Shanghai Jiao Tong University（上海交通大学）
本文针对移动端图像去噪延迟问题，识别内存访问成本和NPU不兼容操作等真实瓶颈，提出轻量级网络MFDNet，并设计MFA注意力模块和RepConv重参数化模块，在SIDD和DND基准上以实时延迟取得最先进性能。
2023-05-25 cs.CV eess.IV
A Study on Inference Latency for Vision Transformers on Mobile Devices
University of Southern California（南加州大学）
本文研究了移动设备上视觉变换器的推理延迟，通过比较CNNs和开发数据集，揭示影响因素并实现延迟预测。
2026-02-18 cs.CV cs.LG cs.PF
Towards Real-Time Automatic Portrait Matting on Mobile Devices
Hyperconnect
我们解决了移动设备上自动人像抠图的问题。该模型的目的是在移动设备上实现实时的【形】推理，模型性能的退化最小。我们的模型MMNet基于具有线性瓶颈块的多分支扩张卷积，性能优于最先进的模型，并且速度快了几个数量级。该模型可以在小米Mi 5设备上加速四次以达到30 FPS，梯度误差适度增加。在相同的条件下，我们的模型具有数量级较少的参数，并且比Mobile DeepLabv3更快，同时保持相当的性能。附带的实现可以在\url{https://github.com/hyperconnect/MMNet}中找到。
2019-04-08 cs.AI cs.CV cs.LG
On-Device Neural Net Inference with Mobile GPUs
Google Research（谷歌研究院）
移动电话的机器学习模型的设备上推断由于其较低的延迟和增加的隐私性而被期望。然而，由于有限的计算能力、热约束和能耗，仅在移动CPU上运行这样的计算密集型任务可能是困难的。应用程序开发人员和研究人员已经开始利用硬件加速器来克服这些挑战。最近，设备制造商正在将神经处理单元添加到高端手机中，用于设备上的推理，但这些仅占手持设备的一小部分。在本文中，我们介绍了如何利用移动GPU（几乎每部手机上无处不在的硬件加速器）为Android和iOS设备实时运行深度神经网络的推理。通过描述我们的架构，我们还讨论了如何设计移动GPU友好的网络。我们最先进的移动GPU推理引擎已集成到开源项目TensorFlow Lite中，并可在https://tensorflow.org/lite上公开获取。
2019-07-03 cs.CV cs.DC cs.LG
