MobileFaceNets: Efficient CNNs for Accurate Real-Time Face Verification on Mobile Devices
Beijing Jiaotong University(北京交通大学)
我们提出了一类非常高效的CNN模型MobileFaceNets,它使用不到100万个参数,专门为移动和嵌入式设备上的高精度实时的【形】人脸验证量身定制。我们首先对常见的移动网络进行人脸验证的弱点进行了简单分析。我们专门设计的MobileFaceNets已经很好地克服了这一弱点。在相同的实验条件下,我们的MobileFaceNets实现了显著优越的准确性,以及超过MobileNetV 2的2倍的实际加速。在经过改进的MS-Celeb-1 M上的ArcFace损失训练后,我们的4.0MB大小的单个MobileFaceNet在LFW上达到99.55%的准确率,在MegaFace上达到92.59%的TAR@FAR1e-6,这甚至可以与数百MB大小的最先进的大型CNN模型相媲美。最快的MobileFaceNets在手机上的实际推理时间为18毫秒。对于人脸验证,MobileFaceNets比以前最先进的移动CNN实现了显着提高的效率。
2018-06-15 cs.CV cs.LG
MobileBrick: Building LEGO for 3D Reconstruction on Mobile Devices
University of Oxford(牛津大学);Apple(苹果公司)
高质量的3D地面实况形状对于3D对象重建评估至关重要。然而,在现实中很难创建物体的复制品,即使是3D扫描仪生成的3D重建也会产生导致评估偏差的伪影。为了解决这个问题,我们介绍了一种新的多视图RGBD数据集捕获使用移动终端,其中包括高度精确的3D地面实况注释为153个对象模型具有不同的3D结构集。我们通过利用具有已知几何形状的乐高模型作为图像捕获的3D结构,在不依赖高端3D扫描仪的情况下获得精确的3D地面真实形状。由在移动终端上捕获的高分辨率RGB图像和低分辨率深度图提供的独特数据模式,当与精确的3D几何注释相结合时,为高保真3D重建的未来研究提供了独特的机会。此外,我们评估了一系列的三维重建算法的建议数据集。项目页面:www.example.com
2023-03-09 cs.CV cs.LG
Deep Feature-based Face Detection on Mobile Devices
Center for Automation Research, University of Maryland(马里兰大学自动化研究中心);Rutgers University(罗格斯大学)
我们提出了一种基于深度特征的人脸检测器,用于移动设备检测前置摄像头采集的用户人脸。所提出的方法是能够检测图像中的极端姿态和光照变化,以及部分人脸。为移动设备开发基于深度特征的算法的主要挑战是移动平台的约束性质以及此类设备上支持CUDA的GPU的不可用性。我们的实现考虑到了移动设备前置摄像头捕获的图像的特殊性,并利用移动设备中没有基于CUDA的帧的GPU来应对这些挑战。
2016-02-16 cs.CV
DeepTeeth: A Teeth-photo Based Human Authentication System for Mobile and Hand-held Devices
Birla Institute of Technology and Science Pilani(皮拉尼比尔拉理工学院)
本文提出了牙齿照片,一种新的生物识别模式,用于移动和手持设备上的人体认证。使用安装在移动终端上的摄像头,借助具有特定标记的移动应用程序获取生物特征样本,以记录牙齿区域。然后使用标记提取感兴趣区域(RoI),并使用对比度限制自适应直方图均衡(CLAHE)增强所获得的样本,以获得更好的视觉清晰度。我们提出了一个深度学习架构和新的正则化方案,以获得高分辨率的嵌入小尺寸的ROI。提出的自定义损失函数能够实现$75\times 75$大小的微小RoI的完美分类。该模型是端到端和Few-Shot的,因此在时间和能量要求方面非常有效。该系统可以以多种方式使用,包括设备解锁和安全认证。据我们所知,这是第一个基于牙齿照片的移动终端身份认证的工作。实验已经进行了内部牙齿照片数据库使用我们的应用程序收集。该数据库向公众开放。结果表明,该系统具有良好的精度.
2021-07-28 cs.CV cs.LG
OODIn: An Optimised On-Device Inference Framework for Heterogeneous Mobile Devices
Samsung AI Center(三星人工智能中心);National Technical University of Athens(雅典国立技术大学)
深度学习(DL)领域的根本性进展使各种推理任务具有前所未有的准确性。因此,跨移动平台部署DL模型对于支持下一代智能应用程序的开发和广泛可用性至关重要。然而,DL模型的广泛和优化部署目前受到移动设备的巨大系统异构性、不同DL模型的不同计算成本以及DL应用中性能需求的可变性的阻碍。本文提出了OODIn,一个框架,优化部署的DL应用程序在异构移动设备。OODIn包括新颖的DL专用软件架构以及用于对DL应用进行建模的分析框架,其:(1)通过高度参数化的多层设计来抵消设备资源和DL模型中的可变性;以及(2)通过为DL推理应用程序设计的多目标公式对模型级和系统级参数进行原则性优化,以便使部署适应用户指定的性能要求和设备能力。定量评估表明,所提出的框架始终优于异构设备的现状设计,并提供高达4.3倍和3.5倍的性能增益分别超过高度优化的平台和模型感知设计,同时有效地适应执行资源可用性的动态变化。
2021-06-08 cs.CV cs.LG
GPU-based Image Analysis on Mobile Devices
AUT University(奥克兰理工大学)
随着移动技术的快速发展,许多移动设备能够利用其嵌入式相机捕获高质量的图像和视频。本文研究了所得到的图像的实时处理技术,特别是在设备上利用图形处理单元。讨论了移动设备上图像处理的问题和局限性,并通过Canny边缘检测的可编程着色器实现来测量一系列设备上的图形处理单元的性能。
2011-12-14 cs.CV cs.GR
A Study on Inference Latency for Vision Transformers on Mobile Devices
University of Southern California(南加州大学)
本文研究了移动设备上视觉变换器的推理延迟,通过比较CNNs和开发数据集,揭示影响因素并实现延迟预测。
2026-02-18 cs.CV cs.LG cs.PF
On-Device Neural Net Inference with Mobile GPUs
Google Research(谷歌研究院)
移动电话的机器学习模型的设备上推断由于其较低的延迟和增加的隐私性而被期望。然而,由于有限的计算能力、热约束和能耗,仅在移动CPU上运行这样的计算密集型任务可能是困难的。应用程序开发人员和研究人员已经开始利用硬件加速器来克服这些挑战。最近,设备制造商正在将神经处理单元添加到高端手机中,用于设备上的推理,但这些仅占手持设备的一小部分。在本文中,我们介绍了如何利用移动GPU(几乎每部手机上无处不在的硬件加速器)为Android和iOS设备实时运行深度神经网络的推理。通过描述我们的架构,我们还讨论了如何设计移动GPU友好的网络。我们最先进的移动GPU推理引擎已集成到开源项目TensorFlow Lite中,并可在https://tensorflow.org/lite上公开获取。
2019-07-03 cs.CV cs.DC cs.LG
MobileViCLIP: An Efficient Video-Text Model for Mobile Devices
State Key Laboratory for Novel Software Technology, Nanjing University(新型软件技术国家重点实验室,南京大学);MyBank, Ant Group(蚂蚁集团MyBank);Shanghai AI Lab(上海AI实验室)
本文提出面向移动设备的高效视频-文本模型MobileViCLIP,通过将时间结构重参数化引入图像-文本模型并基于大规模数据集训练,在实现远超现有模型的移动端推理速度的同时,保持了强大的零样本分类与检索能力。
2025-08-10 cs.CV
MobileCodec: Neural Inter-frame Video Compression on Mobile Devices
Qualcomm AI Research(高通人工智能研究院)
由于深度网络的计算复杂性和功率受限的移动硬件,在移动设备上实现神经视频编解码器的潜力是一项巨大的技术挑战。我们充分利用高通公司的技术和创新,填补了从基于神经网络的编解码器模拟(运行于壁式工作站上)到在采用Snapdragon技术的移动终端上实时运行的空白,从而证明了这一技术的实际可行性。我们展示了有史以来第一个在商用手机上运行的帧间神经视频解码器,实时解码高清视频,同时保持低比特率和高视觉质量。
2022-07-18 cs.CV cs.MM eess.IV
Structured Bayesian Compression for Deep models in mobile enabled devices for connected healthcare
Xidian University(西安电子科技大学);Temple University(天普大学);University of Idaho(爱达荷大学)
深度模型,通常是深度神经网络,具有数百万个参数,可以准确地分析医疗数据,但方法非常耗时。然而,能源成本效益和计算效率对于开发和部署移动设备的先决条件非常重要,这是互联医疗的主流趋势。
2019-02-13 cs.CV
Cloud-based or On-device: An Empirical Study of Mobile Deep Inference
Worcester Polytechnic Institute(伍斯特理工学院)
现代移动应用正显著受益于深度学习的进步,例如,实现实时图像识别和会话系统。给定一个经过训练的深度学习模型,应用程序通常需要基于输入数据执行一系列矩阵运算,以推断可能的输出值。由于计算复杂性和大小限制,这些训练模型通常托管在云中。为了利用这些基于云的模型,移动应用程序必须通过网络发送输入数据。虽然基于云的深度学习可以为移动应用提供合理的响应时间,但它限制了用例场景,例如移动应用需要具有网络访问权限。通过移动特定的深度学习优化,现在可以使用设备上的推理。然而,由于移动硬件(如GPU和内存大小)与桌面硬件相比非常有限,因此了解这种新的设备上深度学习推理架构的可行性非常重要。在本文中,我们使用我们开发的基准Android应用程序对三个卷积神经网络(CNN)的推理性能进行了实证评估。我们的测量和分析表明,与基于云的推理相比,设备上的推理可能会花费高达两个数量级的响应时间和能量,并且加载模型和计算概率是设备上深度推理的两个性能瓶颈。
2018-04-15 cs.CV cs.LG cs.PF
MobileDenseNet: A new approach to object detection on mobile devices
Iran University of Science and Technology(伊朗科学技术大学);IPM Institute For Research In Fundamental Sciences(IPM基础科学研究所)
目标检测问题解决在过去几年中得到了很大的发展。在存在硬件限制的情况下,需要更轻的模型,并且需要为移动设备定制模型。在本文中,我们将评估在创建解决这些问题的算法时使用的方法。本文的主要目标是在保持速度和实时效率的同时提高最先进算法的准确性。单阶段目标检测中最重要的问题涉及小目标和不准确的定位。作为解决方案,我们创建了一个新的网络,名为MobileDenseNet,适用于嵌入式系统。我们还为移动设备开发了一款光颈FCPNLite,有助于检测小物体。我们的研究表明,很少有论文引用了嵌入式系统中的瓶颈。我们的网络与其他网络的不同之处在于我们使用了连接功能。对网络头部的一个小而显著的改变在不增加速度或限制参数的情况下放大了准确性。简而言之,我们对具有挑战性的CoCo和Pascal VOC数据集的关注度分别为24.8%和76.8%,高于迄今为止其他最先进系统的记录。我们的网络能够提高准确性,同时保持移动设备上的实时效率。我们计算了Pixel 3(Snapdragon 845)的运行速度为22.8 fps。这项研究的源代码可在https://github.com/hajizadeh/MobileDenseNet上获得。
2022-07-22 cs.CV cs.LG cs.NE
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
Megvii Inc (Face++)(旷视科技(Face++))
我们介绍了一种名为ShuffleNet的计算效率极高的CNN架构,它是专门为计算能力非常有限的移动设备设计的(例如,10-150 MFLOP)。新架构采用了两种新的操作,逐点群卷积和通道混洗,大大降低了计算成本,同时保持精度。ImageNet分类和MS COCO目标检测的实验证明了ShuffleNet优于其他结构的性能,例如,在40 MFLOP的计算预算下,比最近的MobileNet on ImageNet分类任务具有更低的top-1错误(绝对7.8%)。在基于ARM的移动终端上,ShuffleNet实现了比AlexNet快13倍的实际加速,同时保持了相当的准确性。
2017-12-07 cs.CV
Training and Profiling a Pediatric Emotion Recognition Classifier on Mobile Devices
Lynbrook High School(林布鲁克高中);Stanford University(斯坦福大学)
在移动设备上实现自动化情绪识别可以为那些难以识别情绪的人提供一种可访问的诊断和治疗工具,包括患有自闭症等发育行为状况的儿童。虽然最近在构建更准确的情感分类器方面取得了进展,但现有模型在计算上过于昂贵,无法部署在移动设备上。在这项研究中,我们优化和分析了为边缘设备上的推理而设计的各种机器学习模型,并且能够匹配先前儿童情绪识别的最新结果。我们的最佳模型是在ImageNet上预训练的MobileNet-V2网络,在CAFE上实现了65.11%的平衡准确率和64.19%的F1分数,同时在Motorola Moto G6手机上实现了45毫秒的推理延迟。这一平衡精度仅比CAFE的当前技术水平低1.79%,CAFE使用的模型包含26.62倍的参数,即使在完全优化的情况下也无法在Moto G6上运行。这项工作验证了通过专门的设计和优化技术,机器学习模型可以变得足够轻巧,可以部署在移动设备上,并且仍然可以在困难的图像分类任务中实现高精度。
2021-08-22 cs.CV cs.LG cs.PF
Compact CNN Models for On-device Ocular-based User Recognition in Mobile Devices
School of Computing(计算机学院);Wichita State University(威奇托州立大学)
许多研究已经证明了深度学习卷积神经网络(CNN)模型在移动设备中基于眼睛的用户识别中的有效性。然而,这些高性能网络具有巨大的空间和计算复杂性,因为涉及数百万个参数和计算。这些要求使得将深度学习模型部署到资源受限的移动设备具有挑战性。为此,只有少数研究的基础上的知识蒸馏和补丁为基础的模型已被提出,以获得紧凑的大小CNN模型的眼识别在移动环境中。为了进一步推进最新技术水平,本研究首次评估了五种神经网络修剪方法,并将其与用于设备上CNN推理和使用眼部图像的移动用户验证的知识蒸馏方法进行了比较。对VISOB和UPFR-Periocular数据集进行的独立于受试者的分析表明,使用ResNet 50作为基础模型,在8的压缩率下,基于分层幅度的修剪对于基于移动眼的认证是有效的。此外,与知识蒸馏的比较表明,在验证准确性和实时推理方面,知识蒸馏的功效优于修剪方法,该实时推理以五种移动设备(即iPhone 6、iPhone X、iPhone XR、iPad Air 2和iPad第7代)上的深度特征提取时间来衡量。
2021-10-11 cs.CV
Mobile-Agent: Autonomous Multi-Modal Mobile Device Agent with Visual Perception
Beijing Jiaotong University(北京交通大学);Alibaba Group(阿里巴巴集团)
本研究提出具备视觉感知的自主多模态移动设备智能体Mobile-Agent,以视觉为核心实现跨环境适配,无需系统定制,并构建Mobile-Eval基准验证其高准确率与完成率,代码模型将开源。
2024-04-18 cs.CL cs.CV
MobileARLoc: On-device Robust Absolute Localisation for Pervasive Markerless Mobile AR
The Hong Kong University of Science and Technology(香港科技大学)
MobileARLoc提出一种结合绝对位姿回归器与VIO反馈循环的设备端框架,在无标记移动AR中实现误差减半和80毫秒快速推理。
2024-02-04 cs.CV
ELSR: Extreme Low-Power Super Resolution Network For Mobile Devices
Xiaomi Inc.(小米公司)
随着移动设备的普及,例如,智能手机和可穿戴设备中,更轻更快的机型对于视频超分辨率的应用至关重要。然而,大多数先前的轻量级模型倾向于集中于减少桌面GPU上的模型推理的延迟,这在当前的移动设备中可能不是节能的。在本文中,我们提出了极低功耗超分辨率(ELSR)网络,它只消耗少量的能量在移动设备。采用预训练和微调方法来提高极小模型的性能。大量的实验表明,我们的方法实现了恢复质量和功耗之间的良好平衡。最终,我们在目标联发科QM 9000平台上获得了90.9的竞争分数,PSNR为27.34 dB,功率为0.09 W/30 FPS,在Mobile AI & AIM 2022实时视频超分辨率挑战赛中排名第一。
2022-08-31 cs.CV eess.IV
Deploying Image Deblurring across Mobile Devices: A Perspective of Quality and Latency
MediaTek Inc.(联发科公司)
近年来,图像增强和恢复已经成为移动设备上的重要应用,例如超分辨率和图像去模糊。然而,大多数最先进的网络呈现出极高的计算复杂性。这使得它们难以以可接受的延迟部署在移动设备上。而且,当部署到不同的移动设备时,由于移动设备上的深度学习加速器的差异和限制,存在较大的延迟变化。在本文中,我们对便携式网络架构进行了搜索,以在移动设备上实现更好的质量-延迟权衡。我们进一步提出了广泛使用的网络优化图像去模糊任务的有效性。本文提供了全面的实验和比较,以揭示对延迟和图像质量的深入分析。通过以上工作,我们展示了在深度学习加速器的加速下,图像去模糊应用在移动设备上的成功部署。据我们所知,这是第一篇解决跨移动设备的图像去模糊任务的所有部署问题的论文。本文提供了实用的部署指南,并被NTIRE 2020智能手机赛道图像去模糊挑战赛冠军团队采用。
2020-04-27 cs.CV eess.IV
AdaEnlight: Energy-aware Low-light Video Stream Enhancement on Mobile Devices
Northwestern Polytechnical University(西北工业大学);City University of Hong Kong(香港城市大学)
摄像头嵌入式设备的普及和深度学习的进步刺激了各种智能移动视频应用。这些应用程序通常需要在设备上处理视频流,以提供实时、高质量的服务,从而保护隐私和鲁棒性。然而,这些应用程序的性能受到原始视频流的限制,这些视频流往往是在昏暗的光线下用无处不在的移动平台的小孔径相机拍摄的。尽管有广泛的低光视频增强解决方案,但由于其复杂的模型和对能量预算等系统动态的忽视,它们不适合部署到移动设备上。在本文中,我们提出了AdaEnlight,移动设备上的能量感知低光视频流增强系统。它实现了具有竞争力的视觉质量的实时视频增强,同时允许运行时行为适应平台施加的动态能量预算。我们报告了在不同数据集、场景和平台上的广泛实验,并证明了AdaEnlight与最先进的低光图像和视频增强解决方案相比的优越性。
2022-11-30 cs.CV
Towards Real-time Video Compressive Sensing on Mobile Devices
Zhejiang University(浙江大学);Westlake University(西湖大学);University of Electronic Science and Technology of China(电子科技大学)
针对移动设备难以实时运行视频SCI重建算法的问题,提出MobileSCI方法,通过U型2D卷积架构、高效特征混合模块与定制知识蒸馏,在iPhone 15上实现35 FPS的实时高质量重建。
2024-08-14 cs.CV
Uncalibrated Deflectometry with a Mobile Device on Extended Specular Surfaces
Northwestern University(西北大学)
我们介绍了一个系统和方法的三维测量扩展镜面高表面正常的变化。我们的系统仅由一个移动手持设备组成,并利用屏幕和前置摄像头进行基于偏折测量的表面测量。我们展示了高质量的测量,而无需离线校准程序。此外,我们开发了一种多视图技术,以补偿小屏幕的移动终端,使大表面可以密集地重建在其整体。这项工作是开发自校准偏转测量程序的第一步,该程序能够在野外对镜面物体进行3D表面测量,并且用户几乎没有技术成像经验。
2019-07-24 cs.CV
A Framework for Event-based Computer Vision on a Mobile Device
我们提出了第一个公开可用的Android框架,将数据从事件摄像机直接传输到手机。如今的移动设备处理的工作负载比以往任何时候都要广泛,它们集成了越来越多的传感器,使设备更智能,更用户友好和更安全。传统的摄像机在这些任务中发挥着核心作用,但它们不能连续记录,因为记录的冗余信息量处理起来成本很高。另一方面,生物灵感的事件相机只记录视觉场景中的变化,并显示出有前途的低功耗应用,特别适合移动任务,如人脸检测,手势识别或凝视跟踪。我们的原型设备是将这种事件摄像机嵌入电池供电的手持设备的第一步。移动框架使我们能够实时流式传输事件,并为移动电话上的始终在线和按需传感提供了可能性。为了将异步事件相机输出与同步冯诺依曼硬件联系起来,我们研究了缓冲事件和批量处理事件如何使移动应用程序受益。我们评估我们的框架在延迟和吞吐量方面,并显示计算机视觉任务的例子,涉及事件的事件和预先训练的神经网络方法的手势识别,孔径鲁棒的光流和灰度图像重建的事件。代码可在https://github.com/neuromorphic-paris/frog上获得
2022-05-13 cs.CV
Accurate and Robust Eye Contact Detection During Everyday Mobile Device Interactions
Institute for Visualisation and Interactive Systems, University of Stuttgart(斯图加特大学可视化与交互系统研究所)
人类注意力的量化是移动人机交互(HCI)中若干任务的关键,例如预测用户可中断性、估计用户界面内容的可中断性或测量用户参与度。以前的研究移动注意行为的工作需要特殊用途的眼动追踪设备或限制用户的移动性。我们提出了一种新的方法来感测和分析视觉注意力在移动设备上的日常互动。我们证明了我们的方法的能力,最近吸引了越来越多的研究兴趣,在移动HCI的目光接触检测的样本任务。我们的方法建立在一个国家的最先进的方法,无监督的目光接触检测,并将其扩展到解决特定的移动交互场景的挑战。通过对两个当前数据集的评估,我们证明了在移动设备,用户或环境条件下的目光接触检测的显着性能改进。此外,我们还讨论了我们的方法如何能够计算额外的注意力指标,这是第一次,使来自不同领域的研究人员能够在野外移动交互过程中研究和量化注意力分配。
2019-07-25 cs.CV cs.HC
MobileVLM : A Fast, Strong and Open Vision Language Assistant for Mobile Devices
Meituan Inc.(美团);Zhejiang University(浙江大学);Dalian University of Technology(大连理工大学)
本文提出面向移动设备的多模态视觉语言模型MobileVLM,融合1.4B/2.7B语言模型、CLIP视觉模型及高效投影器,在保持与大模型相当性能的同时实现端侧最先进推理速度。
2023-12-30 cs.CV
MnasFPN: Learning Latency-aware Pyramid Architecture for Object Detection on Mobile Devices
Google Research(谷歌研究院)
尽管在资源受限的环境中视觉任务的架构搜索取得了巨大的成功,但设备上目标检测架构的设计大多是手动的。少数自动搜索工作要么集中在非移动友好的搜索空间,要么不受设备延迟的指导。我们提出了MnasFPN,一个移动友好的搜索空间的检测头,并将其与延迟感知架构搜索,以产生高效的目标检测模型。当与MobileNetV 2主体配对时,学习的MnasFPN头在Pixel上以类似的延迟比MobileNetV 3 +SSDLite高出1.8 mAP。它也比NAS-FPNLite精确1.0 mAP,速度快10%。消融研究表明,大部分的性能增益来自创新的搜索空间。进一步的探索揭示了搜索空间设计和搜索算法之间的有趣耦合,并且MnasFPN搜索空间的复杂性可能处于局部最优。
2020-07-30 cs.CV
Secure voice based authentication for mobile devices: Vaulted Voice Verification
Securics Inc(Securics公司);University of Colorado Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校);Harvard University(哈佛大学)
随着生物识别技术的使用变得越来越广泛,由生物识别技术的使用引起的隐私问题变得越来越明显。随着移动设备的使用增长,将生物特征识别实现到这样的设备中的期望也增长。绝大多数正在使用的移动设备是移动电话。虽然正在努力将不同类型的生物识别技术应用到移动电话中,例如基于照片的生物识别技术,但语音是更自然的选择。语音作为生物识别的想法已经存在很长时间了。使用语音作为标识符的主要问题之一是语音的不稳定性。我们已经开发了一个解决这些不稳定性并保护隐私的协议。本文描述了一种新的协议,允许用户使用语音在移动/远程设备上进行身份验证,而不会损害他们的隐私。我们首先讨论\vv协议,这是最近在研究文献中介绍,然后描述其局限性。然后,我们介绍了一种新的适应和扩展的拱形验证协议的语音,被称为$V^3$。接下来,我们展示了一个性能评估,然后结束与安全性和未来工作的讨论。
2012-11-30 cs.CR cs.CV
MobilePoser: Real-Time Full-Body Pose Estimation and 3D Human Translation from IMUs in Mobile Consumer Devices
University of Chicago(芝加哥大学);Northwestern University(西北大学)
针对移动消费设备中低保真IMU导致的全身姿态估计问题,提出MobilePoser系统,利用设备中已有IMU子集实时估计全身姿态与全局平移,结合多阶段神经网络与物理优化器,实现高精度与实时性能,适用于多种应用场景。
2025-04-16 cs.CV cs.HC
Securing Interactive Sessions Using Mobile Device through Visual Channel and Visual Inspection
National University of Singapore(新加坡国立大学)
从显示器到设备的摄像头建立的通信信道被称为可视信道,它有助于保护密钥交换协议。在本文中,我们研究了如何利用视觉信道可以由网络终端和移动终端,以共同验证信息在一个交互式会话,以及如何这样的信息可以共同呈现在一个用户友好的方式,考虑到移动终端只能捕获和显示一个小的区域,用户可能只想认证的选择性区域的利益。受Kiosk计算和多因素认证应用的启发,我们考虑了三种安全模型:(1)移动终端是可信的,(2)终端或移动终端中至多有一个是不诚实的,(3)终端和设备都是不诚实的,但它们不合谋或通信。我们给出了两个协议,并在上述模型下进行了研究。我们指出了一种形式的重放攻击,使一些其他简单的实现繁琐的使用。为了提高用户友好性,我们提出了一个解决方案,使用嵌入到二维条形码的视觉线索,并结合“增强现实“的框架,通过视觉检查,易于验证。我们给出了一个概念验证的实现,以表明我们的方案在实践中是可行的。
2010-07-08 cs.CR cs.CV
Lightweight network towards real-time image denoising on mobile devices
Alibaba Group(阿里巴巴集团);Shanghai Jiao Tong University(上海交通大学)
本文针对移动端图像去噪延迟问题,识别内存访问成本和NPU不兼容操作等真实瓶颈,提出轻量级网络MFDNet,并设计MFA注意力模块和RepConv重参数化模块,在SIDD和DND基准上以实时延迟取得最先进性能。
2023-05-25 cs.CV eess.IV
Real-Time Visual Place Recognition for Personal Localization on a Mobile Device
Poznań University of Technology(波兹南理工大学)
提出了一种基于视觉位置识别的移动终端室内个人定位方法。我们在智能手机上实现了两种最先进的算法,它们代表了两种不同的视觉位置识别方法:FAB-MAP使用单个图像识别位置,ABLE-M利用图像序列。这些算法在不同结构的环境中进行评估,重点是使用移动终端相机时经常遇到的问题。从这次评估中得出的结论是指导设计的FastABLE系统,这是基于ABLE-M算法,但介绍了重大修改的概念,图像匹配。这些改进从根本上减少了处理时间并提高了可扩展性,使得可以利用移动终端的有限计算能力在长图像序列中定位用户。在实时的【形】个人定位方面,所得到的位置识别系统与ABLE-M和FAB-MAP解决方案相比都是有利的。
2017-04-27 cs.CV cs.RO
Towards Around-Device Interaction using Corneal Imaging
Coburg University(科堡大学)
设备周围交互技术旨在使用移动和可穿戴设备上的各种感测模态来扩展输入空间。在本文中,我们提出了我们的工作,扩大使用面向设备为中心的摄像头,捕捉在人眼的反射移动设备的输入区域。由于目前的移动设备缺乏高分辨率的前置摄像头,我们研究了基于高分辨率摄像头的角膜反射成像的设备周围交互的可行性。我们提出了一个工作流程,技术原型和评估,包括从高分辨率到低分辨率成像仪的迁移路径。我们的研究表明,在最佳条件下,在移动电话附近的空间传感分辨率为5厘米是可能的。
2017-09-04 cs.CV cs.HC
Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration
Beijing Jiaotong University(北京交通大学);Alibaba Group(阿里巴巴集团)
针对移动设备操作任务中的导航挑战,提出多智能体架构Mobile-Agent-v2,通过规划、决策和反思三个智能体及记忆单元,显著提升了任务完成率。
2024-06-03 cs.CL cs.CV