魔法一样隔空在屏幕写字,捏起手指就能实现!

新闻 人工智能
这是一个用来写写画画的手部跟踪程序,开发者将它命名为YoHa(Your Hand Tracking)。

 本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

空中画符的中二技能,谁不想拥有呢?

不如捏一只万能的AI来当魔法画笔吧。

这是一个用来写写画画的手部跟踪程序,开发者将它命名为YoHaYour Hand Tracking)。

这个程序基于TensorFlow.js实现了实时识别功能,能达到不卡顿、无延迟的效果。

捏起手指就可以变成画笔,清空画布也只需握拳就能办到。

魔法一样隔空在屏幕写字,捏起手指就能实现!在线可玩

用YoHa给自己画特效的效果这么好,难怪可以获得555颗星。

这只AI怎么玩?

这款手势识别程序已经开源,开发者Benjamin大方地提供给了所有人使用“魔法”的机会。

既可以安装在自己的电脑上来玩,一行代码就能轻松实现。

npm install @handtracking.io/yoha

也可以在线试玩,直接用网页下载模型写写画画。

魔法一样隔空在屏幕写字,捏起手指就能实现!在线可玩

虽然YoHa目前只能对捏手指和握拳两个指令动作做出功能响应,但是因为有TensorFlow.js加持,它的性能可一点都不低。

21个手部关节定位,左右手方向检测,手部姿势检测等都可以实时实现。

魔法一样隔空在屏幕写字,捏起手指就能实现!在线可玩

来看看“买家秀”是不是也一样秀。

魔法一样隔空在屏幕写字,捏起手指就能实现!在线可玩

原来成为不了法师只是因为符文画太丑

如此好玩的AI背后,究竟是什么原理呢?

YoHa模型使用TensorFlow.js深度学习框架来进行从头训练,开发过程包含了训练步骤和推理步骤两大部分。

它的模型训练阶段利用了自定义神经网络,以自定义数据集作为训练数据,而在线实时推理则用到了TensorFlow.js推理框架。

不过,因为TensorFlow.js规模的限制,比起电脑,YoHa在移动设备上的表现较差。

另外,YoHa的本地运行速度也比在线试玩快很多,果然驯服AI还是得先带回家里养。

手势识别有什么用?

YoHa的开发者Benjamin提到,制作这个项目一开始是为了增加网络的互动性:

“现有的解决方案没有我想要的,所以我给自己创建了新的解决方案”

不愧是动手能力强的大佬,没有自己想要的,那就自己造一个。

手势识别这么火,干脆多开发一些玩法,添加更丰富的功能让VR/AR更好玩。

针对之前提到的YoHa性能缺陷,Benjamin也给玩家提供了高性能备选方案:通用手势识别模型MediaPipe。

如果高端玩家对性能有更高追求,可以在这个经典模型基础上进行功能扩展。

比如不久前以MediaPipe为基础开发的类似项目air-drawing,在玩法上和YoHa稍有不同。

魔法一样隔空在屏幕写字,捏起手指就能实现!在线可玩

感兴趣的话,自己去驯服一只AI来写字画画吧。

GitHub地址:
https://github.com/handtracking-io/yoha
试玩地址:
https://handtracking.io/draw_demo/
https://loicmagne.github.io/air-drawing/

 

 

责任编辑:张燕妮 来源: 量子位
相关推荐

2013-12-17 10:34:54

WindowsiOSOS X

2012-03-07 17:24:10

戴尔咨询

2011-02-28 10:38:13

Windows 8

2012-12-20 10:17:32

IT运维

2022-08-23 14:08:46

安全研究

2009-06-12 15:26:02

2015-08-25 09:52:36

云计算云计算产业云计算政策

2013-01-11 18:10:56

软件

2014-06-05 11:25:10

2023-04-05 14:19:07

FlinkRedisNoSQL

2021-04-13 22:30:17

SpringBoot日志微服务

2011-12-08 11:26:01

CSDN博客

2013-12-24 14:57:22

android模拟器

2017-05-25 15:02:46

联宇益通SD-WAN

2015-10-19 12:33:01

华三/新IT

2022-02-21 09:10:52

AI模型渲染

2016-05-09 18:40:26

VIP客户缉拿

2013-12-17 09:02:03

Python调试

2013-12-31 09:19:23

Python调试

2023-05-23 13:59:41

RustPython程序
点赞
收藏

51CTO技术栈公众号