Anchors Based Method for Fingertips Position Estimation from a Monocular RGB Image using Deep Neural Network
在虚拟、增强和混合现实中,手势的使用越来越流行,以减少虚拟和现实世界之间的差异。指尖的精确位置对于无缝体验至关重要。大部分的研究工作是基于使用深度信息的指尖位置的估计。然而,大多数使用RGB图像进行指尖检测的工作仅限于单个手指。由于各种因素,从单个RGB图像中检测多个指尖是非常具有挑战性的。在本文中,我们提出了一种基于深度神经网络(DNN)的方法来估计指尖位置。我们将这种方法命名为基于锚点的指尖位置估计(ABFPE),它是一个两步的过程。通过计算指尖与最近锚点的位置差,使用回归来估计指尖位置。所提出的框架执行最好的手检测结果的依赖有限。在我们对SCUT-Ego-Gesture数据集的实验中,我们在分辨率为$640 \times 480$的视频帧上实现了2.3552像素的指尖检测误差,并且大约$92.98\%$的测试图像具有5像素的平均像素误差。
2020-05-14 cs.CV cs.HC eess.IV
Fingertip Detection and Tracking for Recognition of Air-Writing in Videos
National Institute of Technology Durgapur(杜尔加布尔国家技术学院);Indian Institute of Technology Bhubaneswar(布巴内斯瓦尔印度理工学院);Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
空气书写是在没有任何手持设备的帮助下,使用手指或手的运动在自由空间中书写字符或单词的过程。在这项工作中,我们解决了使用网络摄像头视频作为输入的半空中手指书写的问题。尽管最近在目标检测和跟踪方面取得了进展,但指尖的准确且鲁棒的检测和跟踪仍然是一项具有挑战性的任务,这主要是由于指尖的尺寸小。此外,由于缺乏任何标准的划界准则,空中手指书写的初始化和终止也具有挑战性。为了解决这些问题,我们提出了一种新的书写手姿态检测算法,用于使用Faster R-CNN框架进行空气书写的初始化,以进行准确的手检测,然后进行手分割,最后根据手的几何特性计算抬起的手指的数量。此外,我们提出了一个强大的指尖检测和跟踪方法,使用一个新的签名函数称为距离加权曲率熵。最后,基于指尖速度的终止准则被用作标记空气书写手势完成的标志。实验表明,所提出的指尖检测和跟踪算法的优越性,在国家的最先进的方法,平均精度为73.1%,同时实现实时性能在18.5 fps,这是至关重要的条件,空气书写。字符识别实验给出了一个平均准确率为96.11%,使用建议的空气书写系统,这是一个结果,这是现有的手写字符识别系统。
2018-09-09 cs.CV
Tracking of Fingertips and Centres of Palm using KINECT
手势是一种流行的交互或控制机器的方式,它已经在许多应用中实现。手的几何形状是这样的,它是很难在虚拟环境中构建和控制关节,但功能和自由度鼓励研究人员作出一个手一样的仪器。本文提出了一种新的方法,指尖检测和手掌中心检测清楚地为双手使用MS KINECT在3D输入图像。KINECT通过提供前景物体的深度信息来帮助我们。利用深度矢量对手部进行分割,利用距离变换对逆图像进行手掌中心检测。该结果将用于将输入馈送到机器人手以模仿人手操作。
2013-04-17 cs.CV
Hand Pointing Detection Using Live Histogram Template of Forehead Skin
Ryerson University(瑞尔森大学);The University of Isfahan(伊斯法罕大学)
手指向检测在诸如虚拟现实和灵巧家庭中的控制设备的许多领域中具有多种应用。本文提出了一种新的方法来检测指向矢量在二维空间的房间。在背景减除之后,检测面部和前额。在第二步中,计算前额皮肤在HSV空间中的H-S平面直方图。利用这些用户皮肤直方图模板,采用反投影方法,检测出用户皮肤区域。利用Freeman链码算法提取手部轮廓。下一步是找到指尖。在凸包和轮廓的凸缺陷中可以找到手轮廓中的作为指尖候选的点。提出了一种基于轮廓上的特征点及其相互关系的指尖定位方法。我们的方法从一个普通的网络摄像头与94%TP和85%TN的实时视频中检测手指向矢量。
2014-07-18 cs.CV
Tipiano: Cascaded Piano Hand Motion Synthesis via Fingertip Priors
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Seoul National University(首尔大学)
本文提出Tipiano框架,利用钢琴运动的自然层级结构,通过指尖定位、轨迹细化、手腕估计和姿态合成四个阶段,实现高精度自然的钢琴手部运动合成,实验表明其性能优于扩散模型。
2026-04-06 cs.AI cs.CV
Two-Stream Binocular Network: Accurate Near Field Finger Detection Based On Binocular Images
Tsinghua University(清华大学)
指尖检测在人机交互中起着重要的作用。以前的作品将双目图像转换为深度图像。然后,基于深度的手姿态估计方法被用来预测指尖的三维位置。与以往的工作不同,我们提出了一个新的框架,命名为双流双目网络(TSBnet),直接从双目图像中检测指尖。TSBnet首先为左右图像的低级别特征共享卷积层。然后分别提取双流卷积网络的高层特征。此外,我们增加了一个新的层:双目距离测量层,以提高我们的模型的性能。为了验证我们的方案,我们建立了一个双目图像数据集,包含约117k对图像的训练集和10k对图像的测试集。我们的方法在我们的测试集上实现了10.9mm的平均误差,比以前的工作高出5.9mm(相对35.1%)。
2018-04-26 cs.CV
TipSegNet: Fingertip Segmentation in Contactless Fingerprint Imaging
Austrian Institute of Technology(奥地利技术研究所);TU Wien(维也纳技术大学);Center for Artificial Intelligence and Machine Learning (CAIML)(人工智能与机器学习中心(CAIML))
针对非接触式指纹识别中复杂背景下的指尖分割问题,提出融合 ResNeXt-101 与 FPN 的 TipSegNet,并通过数据增强实现 mIoU 0.987、准确率 0.999 的先进性能。
2025-01-09 cs.CV cs.LG
Double-Dot Network for Antipodal Grasp Detection
Beihang University(北京航空航天大学);Geometry Robotics(几何机器人公司)
本文提出了一种新的深度学习方法来进行对足抓取检测,称为双点网络(DD-Net)。它遵循最近的无锚点目标检测框架,该框架不依赖于经验预设的锚点,从而允许对看不见的对象进行更普遍和灵活的预测。具体而言,与广泛使用的5维矩形不同,夹持器配置被定义为一对指尖。一个有效的CNN架构被引入到本地化这样的指尖,并与辅助中心的细化的帮助下,它准确和鲁棒地推断把握候选人。此外,我们设计了一个专门的损失函数来衡量抓取的质量,相比于目标检测中采用的边界框的IoU分数,它更符合抓取检测任务。模拟和机器人实验都得到了执行,并达到了最先进的精度,表明DD-Net在处理看不见的物体方面优于同行。
2021-08-03 cs.CV cs.LG cs.RO
PressureVision++: Estimating Fingertip Pressure from Diverse RGB Images
Georgia Institute of Technology(佐治亚理工学院);Meta Reality Labs(Meta现实实验室)
提出一种仅需RGB相机和配合参与者即可捕获多样化数据的新方法,通过引导施压提示作为弱标签监督模型,构建了51人参与的新数据集,其PressureVision++网络超越人类标注者和先前工作,并成功应用于混合现实触敏界面。
2024-01-03 cs.CV
Simultaneous prediction of hand gestures, handedness, and hand keypoints using thermal images
Clarkson University(克拉克森大学)
手势检测是计算机视觉中一个被广泛研究的领域,在各种形式的人机交互中有着广泛的应用。在这项工作中,我们提出了一种技术,同时手势分类,用手检测,和手的关键点定位使用红外摄像机捕获的热数据。我们的方法使用了一种新的深度多任务学习架构,该架构包括共享的编码器解码器层,后面是三个专门用于每个任务的分支。我们在由24个用户数据组成的内部数据集上对我们的模型进行了广泛的实验验证。结果证实,手势分类、用手习惯检测和指尖定位的准确率高于98%,手腕点定位的准确率高于91%。
2023-03-02 cs.AI cs.CV
Object recognition for robotics from tactile time series data utilising different neural network architectures
ETH Zurich(苏黎世联邦理工学院);Nottingham Trent University(诺丁汉特伦特大学);Ulster University(阿尔斯特大学)
机器人需要利用抓取物体的高质量信息与物理环境进行交互。触觉数据因此可以用于补充视觉模态。本文研究了使用卷积神经网络(CNN)和长短期记忆(LSTM)神经网络架构对时空触觉抓取数据进行对象分类。此外,我们在相同的物理设置中使用来自两种不同指尖传感器(即BioTac SP和WTS-FT)的数据对这些方法进行了比较,从而可以对相同触觉对象分类数据集的方法和传感器进行现实的比较。此外,我们提出了一种方法来创建更多的训练样本从记录的数据。结果表明,所提出的方法提高了最大精度从82.4%(BioTac SP指尖)和90.7%(WTS-FT指尖)与完整的时间序列数据的传感器类型约94%。
2021-09-09 cs.CV cs.RO
Interactive Hand Pose Estimation: Boosting accuracy in localizing extended finger joints
Tsinghua University(清华大学)
准确的三维手势估计在人机交互中起着重要的作用。在人机界面的实际应用中,手指的伸展关节,特别是相应的指尖,比其他关节重要得多。我们提出了一种新的方法来细化伸出手指关节位置后,获得粗略的手姿态估计。它首先检测哪些手指正在伸出,然后基于随机森林,某些联合的相邻像素投票为其新位置。该算法在两个公共数据集上进行了测试:MSRA15和ICVL。在伸出手指的细化阶段之后,预测的HMI手指关节位置的误差显著减小。所有指尖的平均误差减少约5mm(相对超过20%)。伸展指尖位置更加精确,在MSRA 15中减少了10.51mm(相对41.4%)。
2018-07-25 cs.CV cs.HC
A novel processing pipeline for optical multi-touch surfaces
Bauhaus-Universität Weimar(魏玛包豪斯大学)
在这篇论文中,提出了一种新的光学多点触摸设备上的触摸检测方法,该方法利用摄像头图像不仅可以显示实际的触摸点,还可以显示屏幕上方的物体,如用户的手或手臂。触摸处理依赖于最大稳定极值区域算法,用于在相机图像中找到用户的指尖。所生成的极值区域的层次结构用作指尖到手的凝聚聚类的起点。此外,提出了一种启发式方法,如果手的所有五个手指都与触摸表面接触,则该启发式方法支持单个手指的识别以及左手和右手之间的区分。评估证实,该系统是鲁棒的检测误差所造成的非均匀照明和可靠地分配触摸点的基础上隐式跟踪的上下文信息的个人的手。高效的多线程实现实时处理来自多个用户的双手输入。
2013-01-08 cs.CV
Fingers' Angle Calculation using Level-Set Method
The University of Iowa(爱荷华大学);CEERI/CSIR(中央电子工程研究所/科学与工业研究理事会);Don Bosco University(唐博斯科大学);TU Kaiserslautern(凯泽斯劳滕工业大学)
在当前时代,在人机交互中使用自然通信是已知的和良好安装的思想。手势识别和基于手势的应用已经在全世界的人们中获得了显著的普及。它有许多应用,从安全到娱乐。这些应用通常是实时的应用,并且需要与机器进行快速、准确的通信。另一方面,基于手势的通信具有很少的限制,也像在基于视觉的技术中不提供弯曲手指信息。本文提出了一种新的指尖检测和双手弯曲手指角度计算方法。之前已使用基于传感器的手套/设备进行了角度计算。这项研究是在自然计算的背景下进行的,用于计算角度,而不使用任何有线设备,颜色,标记或任何设备。感兴趣区域的预处理和分割分别在HSV颜色空间和二进制格式中执行。指尖检测使用水平集方法和角度计算使用几何分析。该技术不需要系统进行训练来执行任务。
2014-06-13 cs.CV
Real-Time Tactile Grasp Force Sensing Using Fingernail Imaging via Deep Neural Networks
本文介绍了一种新的方法,实时的【形】估计三维触觉力的人的指尖通过视觉只。所介绍的方法是完全基于单目视觉,不需要任何物理力传感器。因此,它是可扩展的,非侵入性的,并且很容易与其他感知系统融合,例如身体姿势估计,使其成为需要力感测的HRI应用的理想选择。所介绍的方法包括三个主要模块:手指跟踪的检测和跟踪的每个单独的手指,图像对齐保存图像中的空间信息,和力模型估计的3D力从着色图案的图像。该模型已通过实验实现,结果显示沿所有三个方向的最大RMS误差为8.4%(对于整个力水平范围)。估计精度与文献中的离线模型(如EigneNail)相当,而该模型能够以每秒30帧的速度进行力估计。
2021-10-14 cs.CV cs.RO
In-Hand Object Rotation via Rapid Motor Adaptation
UC Berkeley(加州大学伯克利分校);Meta AI
广义手操作一直是机器人技术中一个尚未解决的难题。作为实现这一宏伟目标的一小步,我们演示了如何设计和学习一个简单的自适应控制器,仅使用指尖实现在手对象旋转。该控制器完全在模拟中仅对圆柱形物体进行训练,然后-无需任何微调-可以直接部署到真实的机器人手上,以旋转z轴上具有不同大小,形状和重量的数十个物体。这是通过控制器仅使用本体感受历史来快速在线适应对象属性来实现的。此外,通过强化学习训练控制策略,自然和稳定的手指步态自动出现。代码和更多视频可在https://haozhi.io/hora上获得
2022-10-10 cs.AI cs.CV cs.LG
Empirical Evaluation of Multi-Modal Touch Detection in Over-the-Shoulder Video Surveillance
本文评估了一种多模态触摸检测框架,用于从肩后视频中重建移动键盘按键事件,但实验表明在非受控场景下无法可靠重建击键。
2026-06-28 cs.CR cs.CV
General In-Hand Object Rotation with Vision and Touch
UC Berkeley(加州大学伯克利分校);Meta AI;CMU(卡内基梅隆大学);TU Dresden(德累斯顿工业大学);The Centre for Tactile Internet with Human-in-the-Loop (CeTI)(以人为中心的触觉互联网中心(CeTI))
本文提出 RotateIt 系统,结合仿真训练、知识蒸馏与视触觉 transformer 融合视觉、触觉和本体感受,实现手中物体多轴旋转并显著优于以往方法。
2023-09-28 cs.AI cs.CV cs.LG
GestARLite: An On-Device Pointing Finger Based Gestural Interface for Smartphones and Video See-Through Head-Mounts
TCS Research(塔塔咨询服务研究院)
手势在混合现实(MR)应用中形成了直观的交互方式。然而,准确的手势识别只能通过最先进的深度学习模型或使用昂贵的传感器来实现。尽管这些深度学习模型具有鲁棒性,但它们通常在计算上是昂贵的,并且在设备上获得实时性能仍然是一个挑战。为此,我们提出了一种新的轻量级手势识别框架,适用于可穿戴设备的第一人称视图。这些模型在GPU机器上进行训练,并移植到Android智能手机上,以便与Google Cardboard和VR Box等可穿戴设备一起使用。所提出的手势识别框架由最先进的深度学习模型级联驱动:用于手部定位的MobileNetV 2,我们的自定义指尖回归架构,以及用于手势分类的Bi-LSTM模型。我们在我们的EgoGestAR数据集上广泛评估了框架。整个框架在移动设备上实时工作,并在EgoGestAR视频数据集上实现了80%的分类准确率,平均延迟仅为0.12 s。
2019-04-19 cs.CV
Real-time 3D Object Detection using Feature Map Flow
Moscow Institute of Physics and Technology(莫斯科物理技术学院)
在本文中,我们提出了一种实时的【形】3D检测方法,考虑从深度神经模型推理的不同时间步长(命名为特征图流,FMF)的时空特征图聚合。所提出的方法提高了基于3D检测中心的基线的质量,并在nuScenes和Waymo基准测试中提供实时的【形】性能。代码可在https://github.com/YoushaaMurhij/FMFNet上获得
2021-06-26 cs.AI cs.CV
Online interpretation of numeric sign language using 2-d skeletal model
MCKV Institute of Engineering(MCKV工程学院)
手势是人类交流的自然方式之一。由手势产生的符号可以具有基本含义,并且具有叠加在符号的基本含义之上的附加信息。手语是一个重要的例子,沟通手势是高度结构化的,并在世界各地被广泛接受为聋哑人的沟通媒介。本文提出了一种在线识别方案,用于解释由10个基本手形符号组成的标准数字手语。网络摄像头用于捕获实时的手运动作为系统的输入。手势的基本含义是通过分析手的形状,从输入数据帧中提取的,考虑其方向,运动和位置是固定的。对输入的手形进行处理,以识别手掌结构、指尖及其相对位置以及伸出的拇指的存在。从所获取的形状信息生成二维骨架模型以表示并随后解释手势的基本含义。
2014-10-15 cs.CV
Monocular 3D Hand Pose Estimation with Implicit Camera Alignment
Department of Electrical and Computer Engineering, University of Thessaly(电气与计算机工程系,塞萨利大学)
本文提出一种基于2D关键点输入的3D手部姿态估计优化流程,通过关键点对齐和指尖损失实现隐式相机对齐,无需已知相机参数,在EgoDexter和Dexter+Object基准上取得与最先进方法相当的性能。
2025-07-16 cs.CV cs.GR cs.LG
Efficient Palm-Line Segmentation with U-Net Context Fusion Module
Sun* Inc(太阳星公司);Le Quy Don Technical University(黎贵敦技术大学)
世界各地的许多文化都认为,看手相可以用来预测一个人的未来生活。手相学使用手的特征,如手掌线,手形或指尖位置。然而,目前对掌纹线检测的研究还比较少,大多采用传统的图像处理技术。在大多数真实世界的场景中,图像通常不是处于良好状态,导致这些方法严重性能不佳。在本文中,我们提出了一种算法,从一个人的手的图像中提取原则的手掌线。我们的方法应用了深度学习网络(DNN)来提高性能。这个问题的另一个挑战是缺乏训练数据。为了解决这个问题,我们从头开始手工制作了一个数据集。从这个数据集,我们比较了现成的方法与我们的性能。此外,基于UNet分割神经网络架构和注意力机制的知识,我们提出了一个高效的架构来检测手掌线。我们提出了上下文融合模块来捕获最重要的上下文特征,旨在提高分割精度。实验结果表明,该方法在相同数据集上的最高F1得分为99.42%,mIoU为0.584,优于其他方法。
2021-02-24 cs.CV cs.LG
Frame-Synchronous Hand Gesture Detection by Projected Winding Order
针对手绕长轴旋转的同步检测,提出基于投影卷绕序的过零判据,无需训练数据,在240个近失序列中实现95%检测率、平均误差6.7毫秒。
2026-09-15 cs.CV cs.GR cs.HC
Visual Concept Detection and Real Time Object Detection
LIACS Media Lab(LIACS媒体实验室)
在10类视觉概念检测问题上实现并尝试了词袋模型。实验结果表明,“DURF+ERT+SVM”算法在检测性能和计算效率上均优于“SIFT+ERT+SVM”算法。此外,结合DURF和SIFT的结果,甚至更好的检测性能。本文还对饮料罐等简单目标进行了SIFT和RANSAC的实时目标检测实验,取得了较好的效果。
2011-04-04 cs.CV
Strawberry Detection using Mixed Training on Simulated and Real Data
Monash University(莫纳什大学)
本文展示了模拟图像如何在农业领域的目标检测任务中发挥作用,在农业领域,标记数据可能稀缺且收集成本高。我们考虑在真实图像中的草莓检测中使用真实和模拟数据的混合数据集进行训练。我们的研究结果表明,使用模拟数据集增强的真实数据集导致精度略高。
2020-08-24 cs.CV