基本信息
- 项目名称：
- 基于手势识别的多媒体交互系统
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- 本作品为了改变计算机传统的交互方式，获得用户更丰富的交互意图，而使用摄像头捕捉手势，然后控制计算机。让人可以用一种新的交互方式与计算机沟通，使得计算机更人性化，从而更贴近于人的生活习惯。 本系统可用于多媒体技术的演示、娱乐和教学。还可移植于iphone、ipad等产品。使掌上数码生活更加丰富多彩。
- 详细介绍：
- 基于手势识别的多媒体交互系统分为两大模块：手势识别模块和多媒体控制模块。首先将使用者的手势从视频流中通过帧分离的方式截取出来，然后对手势特征参数进行分析，最后根据特征参数对手势进行分类并产生描述信息以驱动多媒体模块。多媒体控制模块则根据手势识别后传送的描述信息，调用多媒体美观大方地展示相应功能。 本作品主要优点包括： （1）取代传统的输入设备（键盘、鼠标）来完成对多媒体的相关操作，从而实现人机交互的功能。 （2）不同于传统红外传感器只能获取单一信息，本系统选用摄像头可捕捉多个手势，能满足更多不同的需求。 （3）结合基于多媒体的演示模块,能更加灵活自由地加载所需信息，自主性更强，可展示产品众多，形象生动,系统应用领域广泛。 （4）识别率高，普遍性高。识别率平均在95%以上，普遍适用于多数人群。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- ♦作品设计、发明的目的： 本作品用摄像头捕捉手势，然后控制计算机。让人可以用一种新的交互方式与计算机沟通，使得计算机更人性化，从而更贴近于人的生活习惯。 ♦作品设计基本思路： 系统由两大模块构成：手势识别模块和多媒体控制模块。首先将使用者的手势从视频流中截取出来，然后对手势特征参数进行分析，最后根据特征参数对手势进行分类并产生描述信息以驱动多媒体模块。多媒体控制模块则根据手势识别后传送的描述信息，调用多媒体美观大方地展示相应功能。 ♦本作品的创新点和特色主要包括： （1）取代传统的输入设备来完成对多媒体的相关操作。 （2）不同于传统红外传感器只能获取单一信息，本系统选用摄像头可捕捉多个手势，能满足更多需求。 （3）结合基于多媒体的演示模块,能更加灵活加载所需信息，自主性强，可展示产品众多,系统应用领域广泛。 ♦技术关键： 其中关键部分是手势信息的检测和识别，手势信息的检测采用图像处理方法并对背景进行自适应学习，手势识别采用决策树的方法，通过分析手势几何特征和统计肤色值范围来判定手势类型。 ♦主要技术指标： （1）系统准确性： 准确性在光照充足条件下达到95%以上。本系统定义的5种手势，其识别率分别为：左选择手势94.1%，右选择手势96.3%，确定手势98.1%，退出手势95.5%，锁定手势96.9%。 （2）系统反馈时间： 系统反馈时间小于0.03秒。 （3）系统普遍性： 对于正常人，系统普遍适用，不存在个体差异。
科学性、先进性
- ♦科学性： （1）使用设备普通、简便：使用具有500万像素的普通摄像头作为采集单元，在合适的视野和景深范围内对手势检测和识别，检测过程采用非接触方式，手势识别检测率高。 （2）算法实时性和稳定性较强：基于图像处理算法实现手势的检测识别。在对手势图像进行处理后，采用分割技术从图像帧中取得手势区域，从而实现手势特征参数的提取，然后对肤色特征和手的表观特征进行判断识别，最后依据不同的提取结果分类驱动目标功能。 （3）不同于传统的交互方式并融合多媒体界面：本作品通过摄像头理解用户的手势并做出操作，使人们摆脱了传统的键盘鼠标。本作品采用基于视觉的手势识别技术，并与多媒体应用相结合，界面美观大方，给用户以视觉冲击。 ♦先进性： （1）用手势取代鼠标和键盘实现人机交互。 （2）能自由的往前台加载信息，自主性更强。 （3）不同于传统红外传感器只能获取单一信息，该作品选用摄像头可捕捉多个手势能满足更多需求。 （4）可展示产品众多，应用领域广泛。
获奖情况及鉴定结果
- 西南科技大学挑战杯学校比赛一等奖
作品所处阶段
- 实验室阶段
技术转让方式
- 非专利技术转让
作品可展示的形式
- 现场演示 图片 录像 样品
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- ♦作品技术特点： (1)作品基于手势识别自主开发了人机交互多媒体系统。利用普通摄像头采集用户手势，将其传输给计算机处理后，本系统根据所捕捉的画面进行相应处理，最后驱动多媒体。 (2)作品的设计和开发全部由学生自主完成，并结合实际需求，进行了多媒体融合的创新，经过归纳总结，找出了当下对于裸手识别相对稳定的识别方案和算法。 ♦作品优势： (1)完全不同于传统的鼠标和键盘的交互方式，使用计算机通过摄像头理解人们的手势并做出相应的反应，使人们摆脱了传统的键盘鼠标。 (2)生产成本低。 ♦作品使用范围： (1)可用于多媒体技术的演示、娱乐和教学。 (2)可移植于iphone、ipad等产品。 ♦市场分析及经济效益预测： (1)可应用于手机和平板电脑方面。不仅适用于国内的多媒体研究开发企业，还适用于很多其他领域、行业和公司，如手语识别、基于动作识别的游戏开发等。 (2)作品硬件设备成本低，生产所需投资较少，一旦软件技术成熟，可立即生产投入市场，适用于多数消费者。
同类课题研究水平概述
- ♦国外手势识别领域研究现状： （1）2003年12月，美国密歇根州的Cybernet系统公司开发出一套名为手势风暴的系统，是公司针对天气预报节目开发的，主持人可以通过简单的手势来控制预报的进程； （2）美国加州圣何塞的Canesta公司在2004年末推出一种新的设备，它可以使个人数字助理(PDA)具备手势识别功能。该设备会通过PDA内部透镜在桌面等平面上投射出键盘的影像。与此同时，它还会向该“键盘”的上方区域射出一束红外光。通过检测红外光脉冲从离开发射器、经用户手指反弹后最终回到PDA内传感器的时间，该设备可以精确感知用户手指在任意时刻的位置。光脉冲的来回程时间对应于特定的距离，根据这些不同的距离可以得出手指在键盘上位置的三维图像，这样PDA就可以准确地采集用户在虚拟键盘上的操作信息。 ♦国内手势识别领域研究现状： （1）在我国，哈尔滨工业大学的高文、吴江琴等人给出了ANN与HMM的混合方法作为手势的训练识别方法，将ANN—HMM混合方法应用于有18个传感器的CyberGlove型号数据手套的中国手势识别系统中，孤立词识别率为90%，简单语句级识别率为92%。接下来高文等又选取CyberGlove型号数据手套做输入设备，采用DGMM(Dynamic Gaussian Mixture Model)作为系统的识别技术，可识别中国手势字典中的274个词条，识别率为98.2%。 （2）清华大学祝远新、徐光祐等给出了一种基于视觉的动态孤立手势识别技术，借助于图像运动的变阶参数模型和鲁棒回归分析，提出一种基于运动分割的图像运动估计方法，基于图像运动参数，构造了两种表现变化模型分别作为手势的表现特征，利用最大最小优化算法来创建手势参考模板，并利用基于模板的分类技术进行识别，对12种手势的识别率超过90%；在进一步研究中，他们又给出了有关连续动态手势的识别，融合手势运动信息和皮肤颜色信息，进行复杂背景下的手势分割，通过结合手势的时序信息、运动表现及形状表现，提出动态手势的时空表现模型，并提出基于颜色、运动以及形状等多模式信息的分层融合策略抽取时空表观模型的参数。最后，提出动态时空规整算法用于手势识别，对12种手势，平均识别率高达97%。
