arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

不用AI分类器也能抓准翻手瞬间:240段干扰动作零误报

作者:arXivDaily编辑部 arXiv 2609.13269 cs · cs.CV · cs.GR · cs.HC · cs.LG

论文导读

独立研究者提出一种几何手势检测法,把张开手掌绕长轴翻转写成单个标量的过零事件,无需分类器、训练数据或用户校准。带精确真值的实验中,它检出95%的翻转,对240段相似干扰动作零误报,并把时刻定位到平均6.7毫秒;方法只适用于这一类动作且依赖上游关键点。

控制手势和同步手势不是一回事

普通手势识别按帧分类:看到“张手”就执行命令,晚几帧通常没人察觉。但若手掌翻转要触发画面切换、滤镜或声音节拍,输出必须对齐动作真正发生的瞬间。把连续动作标成一个时间区间,无法回答究竟是哪一刻完成翻面。

论文图:系统检测到当前事件后回溯缓冲帧,定位实际发生翻转的时刻。

论文针对一种明确动作:张开的手绕自身长轴旋转。与其训练模型识别正面、侧面和背面,作者从手腕两侧掌缘与外侧指关节的二维投影关系出发,直接寻找几何符号变化。

手掌侧对镜头时,数值必然过零

方法计算归一化二维叉积s。论文证明它可写成k(θ)cos(θ),且有效范围内k的绝对值始终大于零。因此,当手掌恰好侧对摄像头时,s等于零;翻转前后,符号分别对应朝向摄像头的不同掌面。

论文图:关键点投影形成有符号几何量,手掌侧向时三角形面积归零并触发事件。

检测器只需监控一个连续数值的过零,而不是给每帧贴类别。代数形式还带来对图像镜像、手部尺度和左右手的天然不变性。精确时刻可在相邻采样之间插值,所以定位精度有机会细于相机帧间隔。

近似动作专门用来测试误触发

在带精确真值的数据集中,判据检测到95%的真实翻转;240段近失序列没有假阳性。每次翻转的平均定位误差为6.7毫秒,约为手部观测间隔的六分之一;若只报告包围事件的采样帧,误差为23.0毫秒。

论文图:关键点、过零检测、时间轴缓冲与视觉效果渲染组成实时流水线。

论文还讨论双手四指尖形成窗口、在窗口内重绘画面的交互,并给出双手交叉时仍有效的覆盖判据。参数从噪声统计推导,而非靠人工观看后调阈值。不过整套系统仍依赖关键点检测质量,遮挡、模糊和手未完全张开都可能影响输入。

零误报对应论文收集的240段近失序列,不代表任意现实动作都不会误触发。

下一步是扩展更多可证明手势

浏览器特效、乐器交互和无障碍界面都需要低延迟同步。几何法计算小、可解释,也无需为每位用户采数据。它目前只解决张开手掌长轴翻转,不能替代通用手势识别。更有价值的方向,是继续寻找其他动作的连续不变量,并把“精确几何触发”和“AI理解复杂意图”组合成两级系统。

参考资料

https://arxiv.org/abs/2609.13269

https://arxiv.org/html/2609.13269

https://amey-thakur.github.io/GESTURE-FX/