Fingertip Detection and Tracking for Recognition of Air-Writing in Videos
National Institute of Technology Durgapur(杜尔加布尔国家技术学院);Indian Institute of Technology Bhubaneswar(布巴内斯瓦尔印度理工学院);Indian Institute of Technology Roorkee(鲁尔基印度理工学院)
空气书写是在没有任何手持设备的帮助下,使用手指或手的运动在自由空间中书写字符或单词的过程。在这项工作中,我们解决了使用网络摄像头视频作为输入的半空中手指书写的问题。尽管最近在目标检测和跟踪方面取得了进展,但指尖的准确且鲁棒的检测和跟踪仍然是一项具有挑战性的任务,这主要是由于指尖的尺寸小。此外,由于缺乏任何标准的划界准则,空中手指书写的初始化和终止也具有挑战性。为了解决这些问题,我们提出了一种新的书写手姿态检测算法,用于使用Faster R-CNN框架进行空气书写的初始化,以进行准确的手检测,然后进行手分割,最后根据手的几何特性计算抬起的手指的数量。此外,我们提出了一个强大的指尖检测和跟踪方法,使用一个新的签名函数称为距离加权曲率熵。最后,基于指尖速度的终止准则被用作标记空气书写手势完成的标志。实验表明,所提出的指尖检测和跟踪算法的优越性,在国家的最先进的方法,平均精度为73.1%,同时实现实时性能在18.5 fps,这是至关重要的条件,空气书写。字符识别实验给出了一个平均准确率为96.11%,使用建议的空气书写系统,这是一个结果,这是现有的手写字符识别系统。
2018-09-09 cs.CV
Rule Of Thumb: Deep derotation for improved fingertip detection
我们研究了一种新的全局方向回归方法,使用深度卷积神经网络的关节对象。这与平面内图像去旋转方案DeROT相结合,以解决深度图像中每帧指尖检测的问题。该方法降低了学习的复杂性,这是通过使用两个不同的国家的最先进的学习为基础的手姿态估计方法应用于指尖检测的空间中的关节姿势。与基线执行情况相比,分类工作有了重大改进。我们的框架不涉及任何跟踪,运动学约束或明确的先验模型的铰接对象的手。为了支持我们的方法,我们还描述了一种新的管道,用于对深度相机成像的对象进行高精度磁性注释和标记。
2015-07-21 cs.CV
Hand Pointing Detection Using Live Histogram Template of Forehead Skin
Ryerson University(瑞尔森大学);The University of Isfahan(伊斯法罕大学)
手指向检测在诸如虚拟现实和灵巧家庭中的控制设备的许多领域中具有多种应用。本文提出了一种新的方法来检测指向矢量在二维空间的房间。在背景减除之后,检测面部和前额。在第二步中,计算前额皮肤在HSV空间中的H-S平面直方图。利用这些用户皮肤直方图模板,采用反投影方法,检测出用户皮肤区域。利用Freeman链码算法提取手部轮廓。下一步是找到指尖。在凸包和轮廓的凸缺陷中可以找到手轮廓中的作为指尖候选的点。提出了一种基于轮廓上的特征点及其相互关系的指尖定位方法。我们的方法从一个普通的网络摄像头与94%TP和85%TN的实时视频中检测手指向矢量。
2014-07-18 cs.CV
Tipiano: Cascaded Piano Hand Motion Synthesis via Fingertip Priors
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST));Seoul National University(首尔大学)
本文提出Tipiano框架,利用钢琴运动的自然层级结构,通过指尖定位、轨迹细化、手腕估计和姿态合成四个阶段,实现高精度自然的钢琴手部运动合成,实验表明其性能优于扩散模型。
2026-04-06 cs.AI cs.CV
Anchors Based Method for Fingertips Position Estimation from a Monocular RGB Image using Deep Neural Network
在虚拟、增强和混合现实中,手势的使用越来越流行,以减少虚拟和现实世界之间的差异。指尖的精确位置对于无缝体验至关重要。大部分的研究工作是基于使用深度信息的指尖位置的估计。然而,大多数使用RGB图像进行指尖检测的工作仅限于单个手指。由于各种因素,从单个RGB图像中检测多个指尖是非常具有挑战性的。在本文中,我们提出了一种基于深度神经网络(DNN)的方法来估计指尖位置。我们将这种方法命名为基于锚点的指尖位置估计(ABFPE),它是一个两步的过程。通过计算指尖与最近锚点的位置差,使用回归来估计指尖位置。所提出的框架执行最好的手检测结果的依赖有限。在我们对SCUT-Ego-Gesture数据集的实验中,我们在分辨率为$640 \times 480$的视频帧上实现了2.3552像素的指尖检测误差,并且大约$92.98\%$的测试图像具有5像素的平均像素误差。
2020-05-14 cs.CV cs.HC eess.IV
An Efficient Real Time Method of Fingertip Detection
Central Electronics Engineering Research Institute (CEERI)(中央电子工程研究所);Council of Scientific and Industrial Research (CSIR)(科学与工业研究委员会);Tezpur University(提斯浦尔大学);BITS, Pilani(皮拉尼比尔拉理工学院)
指尖检测在很多领域都有着广泛的应用,目前在人机交互领域中应用非常广泛。本文提出了一种新的时间效率的方法,将导致指尖检测后裁剪输入图像的不相关部分。使用基于HSV颜色空间的皮肤过滤器和基于手部图像直方图完成的手部裁剪来生成输入图像的二值轮廓。裁剪后的图像将用于计算指尖。
2011-08-02 cs.AI cs.CV cs.MM
PressureVision++: Estimating Fingertip Pressure from Diverse RGB Images
Georgia Institute of Technology(佐治亚理工学院);Meta Reality Labs(Meta现实实验室)
提出一种仅需RGB相机和配合参与者即可捕获多样化数据的新方法,通过引导施压提示作为弱标签监督模型,构建了51人参与的新数据集,其PressureVision++网络超越人类标注者和先前工作,并成功应用于混合现实触敏界面。
2024-01-03 cs.CV
Interactive Hand Pose Estimation: Boosting accuracy in localizing extended finger joints
Tsinghua University(清华大学)
准确的三维手势估计在人机交互中起着重要的作用。在人机界面的实际应用中,手指的伸展关节,特别是相应的指尖,比其他关节重要得多。我们提出了一种新的方法来细化伸出手指关节位置后,获得粗略的手姿态估计。它首先检测哪些手指正在伸出,然后基于随机森林,某些联合的相邻像素投票为其新位置。该算法在两个公共数据集上进行了测试:MSRA15和ICVL。在伸出手指的细化阶段之后,预测的HMI手指关节位置的误差显著减小。所有指尖的平均误差减少约5mm(相对超过20%)。伸展指尖位置更加精确,在MSRA 15中减少了10.51mm(相对41.4%)。
2018-07-25 cs.CV cs.HC
Two-Stream Binocular Network: Accurate Near Field Finger Detection Based On Binocular Images
Tsinghua University(清华大学)
指尖检测在人机交互中起着重要的作用。以前的作品将双目图像转换为深度图像。然后,基于深度的手姿态估计方法被用来预测指尖的三维位置。与以往的工作不同,我们提出了一个新的框架,命名为双流双目网络(TSBnet),直接从双目图像中检测指尖。TSBnet首先为左右图像的低级别特征共享卷积层。然后分别提取双流卷积网络的高层特征。此外,我们增加了一个新的层:双目距离测量层,以提高我们的模型的性能。为了验证我们的方案,我们建立了一个双目图像数据集,包含约117k对图像的训练集和10k对图像的测试集。我们的方法在我们的测试集上实现了10.9mm的平均误差,比以前的工作高出5.9mm(相对35.1%)。
2018-04-26 cs.CV
A novel processing pipeline for optical multi-touch surfaces
Bauhaus-Universität Weimar(魏玛包豪斯大学)
在这篇论文中,提出了一种新的光学多点触摸设备上的触摸检测方法,该方法利用摄像头图像不仅可以显示实际的触摸点,还可以显示屏幕上方的物体,如用户的手或手臂。触摸处理依赖于最大稳定极值区域算法,用于在相机图像中找到用户的指尖。所生成的极值区域的层次结构用作指尖到手的凝聚聚类的起点。此外,提出了一种启发式方法,如果手的所有五个手指都与触摸表面接触,则该启发式方法支持单个手指的识别以及左手和右手之间的区分。评估证实,该系统是鲁棒的检测误差所造成的非均匀照明和可靠地分配触摸点的基础上隐式跟踪的上下文信息的个人的手。高效的多线程实现实时处理来自多个用户的双手输入。
2013-01-08 cs.CV
Estimating Fingertip Forces, Torques, and Local Curvatures from Fingernail Images
Volkswagen Group(大众汽车集团);Umeå University(于默奥大学)
灵巧操作的研究为人类的感觉运动控制提供了重要的见解,也为机器人手的操作策略提供了灵感。以前的工作集中在实验环境的限制。在这里,我们描述了一种方法,使用指甲及其周围的皮肤的变形和颜色分布,估计指尖的力,扭矩和接触表面曲率为各种对象,包括接触表面的形状和材料和对象的重量。所提出的方法规避了与传感器化物体、手套或固定接触表面类型相关的限制。此外,与以前的单手指估计在实验环境中相比,我们扩展的方法,多手指的力估计,这可以用于应用程序,如人类抓握分析。使用了四种算法,c.q.,高斯过程(GP)、卷积神经网络(CNN)、具有快速丢弃的神经网络(NN-FD)和具有快速丢弃的递归神经网络(RNN-FD),以对从图像到对应标签的映射进行建模。结果进一步表明,该方法具有较高的预测力,扭矩和接触表面的准确性。
2019-09-09 cs.CV cs.LG cs.RO
TipSegNet: Fingertip Segmentation in Contactless Fingerprint Imaging
Austrian Institute of Technology(奥地利技术研究所);TU Wien(维也纳技术大学);Center for Artificial Intelligence and Machine Learning (CAIML)(人工智能与机器学习中心(CAIML))
针对非接触式指纹识别中复杂背景下的指尖分割问题,提出融合 ResNeXt-101 与 FPN 的 TipSegNet,并通过数据增强实现 mIoU 0.987、准确率 0.999 的先进性能。
2025-01-09 cs.CV cs.LG
Fingers' Angle Calculation using Level-Set Method
The University of Iowa(爱荷华大学);CEERI/CSIR(中央电子工程研究所/科学与工业研究理事会);Don Bosco University(唐博斯科大学);TU Kaiserslautern(凯泽斯劳滕工业大学)
在当前时代,在人机交互中使用自然通信是已知的和良好安装的思想。手势识别和基于手势的应用已经在全世界的人们中获得了显著的普及。它有许多应用,从安全到娱乐。这些应用通常是实时的应用,并且需要与机器进行快速、准确的通信。另一方面,基于手势的通信具有很少的限制,也像在基于视觉的技术中不提供弯曲手指信息。本文提出了一种新的指尖检测和双手弯曲手指角度计算方法。之前已使用基于传感器的手套/设备进行了角度计算。这项研究是在自然计算的背景下进行的,用于计算角度,而不使用任何有线设备,颜色,标记或任何设备。感兴趣区域的预处理和分割分别在HSV颜色空间和二进制格式中执行。指尖检测使用水平集方法和角度计算使用几何分析。该技术不需要系统进行训练来执行任务。
2014-06-13 cs.CV
Generative Model-Based Loss to the Rescue: A Method to Overcome Annotation Errors for Depth-Based Hand Pose Estimation
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
我们建议使用一个基于模型的生成损失训练的手姿势估计器的深度图像的基础上的体积手模型。这种额外的损失允许训练手部姿势估计器,该估计器准确地推断整个21个手部关键点的集合,同时仅对6个易于注释的关键点(指尖和手腕)使用监督。我们表明,我们的部分监督的方法实现的结果是可比的完全监督的方法,执行清晰度的一致性。此外,我们第一次证明了这种方法可以用于对具有错误注释的数据集进行训练,即具有显著测量误差的“地面实况”,同时获得比给定的“地面实况”更好地解释深度图像的预测。
2021-05-30 cs.CV
Simultaneous prediction of hand gestures, handedness, and hand keypoints using thermal images
Clarkson University(克拉克森大学)
手势检测是计算机视觉中一个被广泛研究的领域,在各种形式的人机交互中有着广泛的应用。在这项工作中,我们提出了一种技术,同时手势分类,用手检测,和手的关键点定位使用红外摄像机捕获的热数据。我们的方法使用了一种新的深度多任务学习架构,该架构包括共享的编码器解码器层,后面是三个专门用于每个任务的分支。我们在由24个用户数据组成的内部数据集上对我们的模型进行了广泛的实验验证。结果证实,手势分类、用手习惯检测和指尖定位的准确率高于98%,手腕点定位的准确率高于91%。
2023-03-02 cs.AI cs.CV
Synthetic Video Generation for Robust Hand Gesture Recognition in Augmented Reality Applications
Carnegie Mellon University(卡内基梅隆大学);IIIT Delhi(德里印度理工学院);TCS Research(塔塔咨询服务公司研究院)
手势是增强现实和虚拟现实(AR/VR)应用中的自然交互手段。最近,人们越来越关注消除精确手势识别对复杂传感器设置的依赖,这些传感器设置存在于昂贵的专有设备中,例如Microsoft HoloLens,Daqri和Meta Glasses。大多数这样的解决方案要么依赖于多模态传感器数据,要么依赖于深度神经网络,后者可以从大量的标记数据中受益匪浅。数据集是任何基于深度学习的研究的组成部分。它们是这一领域取得重大进展的主要原因,无论是在为这些模型的训练提供足够的数据方面,还是在为竞争算法提供基准方面。然而,为手势识别等复杂任务生成足够的标记数据变得越来越困难。这项工作的目标是引入一个框架,能够生成具有标记的手限界框和指尖,可以帮助在AR/VR应用中的手势识别的设计,训练和基准测试模型的照片逼真的视频。我们证明了我们的框架在生成具有不同背景的视频的有效性。
2019-12-06 cs.CV
Online interpretation of numeric sign language using 2-d skeletal model
MCKV Institute of Engineering(MCKV工程学院)
手势是人类交流的自然方式之一。由手势产生的符号可以具有基本含义,并且具有叠加在符号的基本含义之上的附加信息。手语是一个重要的例子,沟通手势是高度结构化的,并在世界各地被广泛接受为聋哑人的沟通媒介。本文提出了一种在线识别方案,用于解释由10个基本手形符号组成的标准数字手语。网络摄像头用于捕获实时的手运动作为系统的输入。手势的基本含义是通过分析手的形状,从输入数据帧中提取的,考虑其方向,运动和位置是固定的。对输入的手形进行处理,以识别手掌结构、指尖及其相对位置以及伸出的拇指的存在。从所获取的形状信息生成二维骨架模型以表示并随后解释手势的基本含义。
2014-10-15 cs.CV
Intelligent Approaches to interact with Machines using Hand Gesture Recognition in Natural way: A Survey
BITS, Pilani(皮拉尼伯拉理工学院);CEERI(中央电子工程研究所);Tezpur University(提斯浦尔大学)
手势识别是工程师、科学家和生物信息学的主要研究领域之一。HGR是人机交互的自然方式,今天学术界和工业界的许多研究人员正在研究不同的应用程序,使交互更加简单,自然和方便,而无需佩戴任何额外的设备。HGR可以应用于从游戏控制到视觉机器人控制,从虚拟现实到灵巧家庭系统。在本文中,我们讨论了在手势识别领域所做的工作,重点是智能方法,包括软计算为基础的方法,如人工神经网络,模糊逻辑,遗传算法等,在图像的预处理方法分割和手图像的建设也考虑到了研究。在基于外观的建模中,大多数研究人员使用指尖进行手部检测。最后对不同研究者的结果进行了比较。
2013-03-10 cs.CV cs.HC
GestARLite: An On-Device Pointing Finger Based Gestural Interface for Smartphones and Video See-Through Head-Mounts
TCS Research(塔塔咨询服务研究院)
手势在混合现实(MR)应用中形成了直观的交互方式。然而,准确的手势识别只能通过最先进的深度学习模型或使用昂贵的传感器来实现。尽管这些深度学习模型具有鲁棒性,但它们通常在计算上是昂贵的,并且在设备上获得实时性能仍然是一个挑战。为此,我们提出了一种新的轻量级手势识别框架,适用于可穿戴设备的第一人称视图。这些模型在GPU机器上进行训练,并移植到Android智能手机上,以便与Google Cardboard和VR Box等可穿戴设备一起使用。所提出的手势识别框架由最先进的深度学习模型级联驱动:用于手部定位的MobileNetV 2,我们的自定义指尖回归架构,以及用于手势分类的Bi-LSTM模型。我们在我们的EgoGestAR数据集上广泛评估了框架。整个框架在移动设备上实时工作,并在EgoGestAR视频数据集上实现了80%的分类准确率,平均延迟仅为0.12 s。
2019-04-19 cs.CV
Double-Dot Network for Antipodal Grasp Detection
Beihang University(北京航空航天大学);Geometry Robotics(几何机器人公司)
本文提出了一种新的深度学习方法来进行对足抓取检测,称为双点网络(DD-Net)。它遵循最近的无锚点目标检测框架,该框架不依赖于经验预设的锚点,从而允许对看不见的对象进行更普遍和灵活的预测。具体而言,与广泛使用的5维矩形不同,夹持器配置被定义为一对指尖。一个有效的CNN架构被引入到本地化这样的指尖,并与辅助中心的细化的帮助下,它准确和鲁棒地推断把握候选人。此外,我们设计了一个专门的损失函数来衡量抓取的质量,相比于目标检测中采用的边界框的IoU分数,它更符合抓取检测任务。模拟和机器人实验都得到了执行,并达到了最先进的精度,表明DD-Net在处理看不见的物体方面优于同行。
2021-08-03 cs.CV cs.LG cs.RO
General In-Hand Object Rotation with Vision and Touch
UC Berkeley(加州大学伯克利分校);Meta AI;CMU(卡内基梅隆大学);TU Dresden(德累斯顿工业大学);The Centre for Tactile Internet with Human-in-the-Loop (CeTI)(以人为中心的触觉互联网中心(CeTI))
本文提出 RotateIt 系统,结合仿真训练、知识蒸馏与视触觉 transformer 融合视觉、触觉和本体感受,实现手中物体多轴旋转并显著优于以往方法。
2023-09-28 cs.AI cs.CV cs.LG
Monocular 3D Hand Pose Estimation with Implicit Camera Alignment
Department of Electrical and Computer Engineering, University of Thessaly(电气与计算机工程系,塞萨利大学)
本文提出一种基于2D关键点输入的3D手部姿态估计优化流程,通过关键点对齐和指尖损失实现隐式相机对齐,无需已知相机参数,在EgoDexter和Dexter+Object基准上取得与最先进方法相当的性能。
2025-07-16 cs.CV cs.GR cs.LG
EgoTactile: Learning Grasp Pressure for Everyday Objects from Egocentric Video
University of Science and Technology of China(中国科学技术大学)
提出EgoTactile基准和条件扩散框架EgoPressureDiff,从自我中心视频估计全手抓取压力,解决视觉-物理歧义,实现鲁棒迁移。
2026-06-08 cs.AI cs.CV
Efficient Palm-Line Segmentation with U-Net Context Fusion Module
Sun* Inc(太阳星公司);Le Quy Don Technical University(黎贵敦技术大学)
世界各地的许多文化都认为,看手相可以用来预测一个人的未来生活。手相学使用手的特征,如手掌线,手形或指尖位置。然而,目前对掌纹线检测的研究还比较少,大多采用传统的图像处理技术。在大多数真实世界的场景中,图像通常不是处于良好状态,导致这些方法严重性能不佳。在本文中,我们提出了一种算法,从一个人的手的图像中提取原则的手掌线。我们的方法应用了深度学习网络(DNN)来提高性能。这个问题的另一个挑战是缺乏训练数据。为了解决这个问题,我们从头开始手工制作了一个数据集。从这个数据集,我们比较了现成的方法与我们的性能。此外,基于UNet分割神经网络架构和注意力机制的知识,我们提出了一个高效的架构来检测手掌线。我们提出了上下文融合模块来捕获最重要的上下文特征,旨在提高分割精度。实验结果表明,该方法在相同数据集上的最高F1得分为99.42%,mIoU为0.584,优于其他方法。
2021-02-24 cs.CV cs.LG