1、基于视觉的手势识别专利技术综述摘 要:基于视觉的手势识别系统能够使操作者徒手以更加自然的方式进行人机交互,无需设备费用,且操作方便,是手势识别未来的发展趋势。本文从专利的角度出发,分析了该项技术专利申请的年代、地域分布情况以及技术发展路线。关键词:视觉手势;识别;交互;专利一、引言人机交互是手势识别成功应用的一个重要领域,其在对机器人的控制、汽车驾驶、操纵图形对象等场景中都有丰富的应用。最初的手势识别主要是利用机器设备的直接检测来获取人手与各个关节的空间信息,其典型代表设备如数据手套等。外部设备的介入虽使得手势识别的准确度和稳定性得以提高,但却掩盖了手势自然的表达方式,为此,基于视觉的手势识别
2、方式应运而生。基于视觉的手势识别系统,相比于穿戴设备手势识别系统,其能够使操作者徒手以更加自然的方式进行人机交互,这种方法不但不需要花费高昂的设备费用,而且在操作时也更加方便,是手势识别未来的发展趋势。二、专利技术发展状况分析(一)专利申请量趋势及地域分布如图 1 所示,早在 20 世纪 90 年代就出现了视觉手势识别的专利申请,而中国国内最早的关于视觉手势识别的专利申请则出现于 2000 年。总体看来国内外关于视觉手势识别的专利申请数量大致呈现增长趋势:在 1997-2007 年期间,全球专利申请量呈现较平稳的状态,其中,在 2003-2006 年期间有所下降,其原因可能是受到手势采集设备和
3、计算机视觉发展的限制;自 2008 年之后进入迅猛增长期,在 2016 年专利申请量达到 545 件(注:由于专利公开需要 18 个月的时间,2017-2018 年期间提出的部分专利申请尚未公布,因此虽然检索到的 2017-2018 年期间的专利申请数量相较于 2016 年有所减少,但不能说明专利申请数量在下降);与此同时,中国的专利申请数量与全球趋势大致相同,在 2000-2009年处于较平稳的状态,自 2010 年之后进入迅猛增长期,在 2016 年专利申请量达到 315件。从图 1 的发展趋势看来,基于视觉的手势识别在未来几年仍然会处于快速發展期。图 2 为全球范围内视觉手势识别的专利申
4、请量地域分布情况,从图中可以看出,专利申请量较多的国家为中国、美国、日本和韩国。结合图 1 和 2 可以看出,虽然中国在视觉手势识别方面的发展较晚,但发展迅速,一方面是因为中国经济的迅速发展,国内各企业和研发机构的科研力度加大,专利申请的数量也随之大幅上升;另一方面则是因为国内各企业和研发机构的专利意识加强,积极申请专利以保护各种新技术。(二)专利技术发展路线基于视觉的手势识别技术的发展是一个从二维到三维的过程。早期的手势识别是基于二维彩色图像的识别技术,就是指通过普通摄像头拍出场景后,得到二维的静态图像,然后再通过计算机图形算法进行图像中内容的识别。随着摄像头和传感器技术的发展,可以捕捉到手
5、势的深度信息,三维的手势识别技术就可以识别各种手型、手势和动作。随着这个发展脉络,基于视觉的手势识别的关键技术也发生了变化,如图 3 所示。二维手型识别,也称静态二维手势识别,只能识别出几个静态的手势动作,比如握拳或者五指张开。这种技术只能识别手势的状态,而不能感知手势的持续变化,采用的是模板匹配技术,基于徒手表观特征(例如肤色)对图像进行手势分割,利用通过计算机视觉算法分析图像,和预设的图像模型进行比对,从而理解手势的含义。因此,二维手型识别技术只可以识别预设好的状态,拓展性差、控制感较弱,用户只能实现最基础的人机交互功能。二维手势识别,仍停留在二维的层面上,比起二维手型识别,不仅可以识别手
6、型,还可以识别一些简单的二维手势动作,比如对着摄像头挥挥手等。二维手势识别拥有了动态的特征,可追踪手势的运动,进而识别将手势和手部运动结合在一起的复杂动作。这种技术在硬件要求上和二维手型识别并无区别,但得益于更加先进的计算机视觉算法,基于手部的运动信息进行手势分割,可以获得更加丰富的人机交互内容。三维手势识别,相较于二维手势识别,其增加了一个 Z 轴的信息,可识别各种手型、手势和动作。这种包含一定深度信息的手势识别,需要特别的硬件来实现,常见的有通过传感器和光学摄像头来完成。发展至今,主要有 3 种硬件实现方式:结构光,即通过激光的折射以及算法计算出物体的位置和深度信息,进而复原整个三维空间;飞行时间,对目标场景发射连续的光脉冲,然后用传感器接收从物体返回的光,通过探测光脉冲的飞行时间得到目标物体的深度信息;多角成像,使用两个或者两个以上的摄像头同时采集图像,通过比对不同摄像头在同一时刻获得的图像的差别,使用算法来计算深度信息。三、结语本文结合国内外专利申请的状态对基于视觉的手势识别技术的发展历程进行了回顾,由最初只能通过简单的模板匹配识别二维的手型,发展到基于三维手势的交互方式。在未来的几年内,基于视觉的手势识别将更加丰富于人们的生活,带来无限的便利。作者简介:王晨霞(1990-),女,籍贯:浙江嘉兴,职称和学历:研究实习员,工学硕士,研究方向或专业:人机交互领域专利审查。