主办单位: 共青团中央   中国科协   教育部   中国社会科学院   全国学联  

承办单位: 贵州大学     

基本信息

项目名称:
基于激光投影及颜色识别的新型人机交互方式
小类:
信息技术
简介:
随着科学技术的发展,出现了各种先进的人机交互方式。本发明提供一种基于颜色识别的人机交互方式,通过摄像头识别戴在手指上的彩色指套,根据各种特征手势作为设备如计算机的输入。同时,引入一种成本较低的激光投影仪,构建虚拟场景,使人机交互的应用背景更加丰富多彩。
详细介绍:
本系统提供一种基于颜色识别的人机交互方式,采用佩戴彩色指套的方式,在颜色识别辅助的基础上做图像识别,通过左手右手共四个彩色指套,经图像处理,产生等同于鼠标和键盘事件的效果,即提供了一种通过手势方式的鼠标键盘控制方式,并能通过手指动作放大缩小图片,达到类似手机的多点触控效果。控制了鼠标之后,使用者就比较可能根据自己的需要对系统的功能进行自定义的拓展。同时,制作便携式的小型激光投影器,可以构建虚拟场景,引入更加丰富的人机交互背景,使得上述的人机交互方式更加有实际意义。本系统的成本较为低廉,主要在于摄像头及小型的激光投影仪,具有较好的市场推广价值。 作品有四种演示功能: 1、 彩色指套多点触控系统。通过图像处理识别手指动作,可由右手单手完成鼠标左键、移动等动作,左右手配合还可放大缩小图片,达到类似电容式触摸屏的多点触控效果,且可以非接触。 2、 通过激光笔控制鼠标。通过摄像头捕捉屏幕边框及激光笔的光点在屏幕上的位置,将光点位置设定为鼠标的位置,即实现一种激光笔控制鼠标的方法。 3、 虚拟场景一:当右手摆出手表的手势时,摄像头捕捉到此动作,将令激光投影器产生时钟的图像,在其上面能看到正确的时间。 4、 虚拟场景二:模拟了一个打地鼠游戏。激光投影产生一幅打地鼠的游戏图像,人可以用手或其它工具进行打地鼠游戏。 创新点:(1)制作了一种基于动态扫描的激光投影器,用来构建虚拟场景,提供更加丰富的人机交互背景;(2)系统中,彩色指套的使用,使得图像处理变得简单一些,但指套的使用并不麻烦。(3)较好的扩展性,在基于本系统的交互方式基础上可以根据需要增加应用背景。

作品图片

  • 基于激光投影及颜色识别的新型人机交互方式
  • 基于激光投影及颜色识别的新型人机交互方式
  • 基于激光投影及颜色识别的新型人机交互方式
  • 基于激光投影及颜色识别的新型人机交互方式
  • 基于激光投影及颜色识别的新型人机交互方式

作品专业信息

设计、发明的目的和基本思路、创新点、技术关键和主要技术指标

本系统以PC机为演示载体,有如下四种演示功能: 1、 彩色指套多点触控系统。此模式下摄像头对着人的手部,通过识别手指上的彩色指套及手部,判别出对应的鼠标键盘动作如:左键、右键、滚轮、移动等,作为新型的鼠标键盘控制方式。达到的效果类似于手机电容触摸屏的多点触控效果,但可以非接触。 2、 通过激光笔控制鼠标。此模式下摄像头对着电脑屏幕(实际推广中可以是其它,如投影仪的屏幕),通过捕捉屏幕边框及激光笔的光点在屏幕上的位置,将光点位置设定为鼠标的位置,即实现一种激光笔控制鼠标的交互方法。 3、 虚拟场景一:当右手的拇指和食指在左手手腕处摆出手表的手势时,摄像头捕捉到此动作,将发出控制信号,令激光投影器产生时钟的图像,在其上面能看到正确的时间。 4、 虚拟场景二:模拟了一个打地鼠游戏。激光投影产生一个幅打地鼠的游戏图像,人可以用手或其它工具进行打地鼠游戏。 创新点:(1)制作了一种基于动态扫描的激光投影器,用来构建虚拟场景,提供更加丰富的人机交互背景;(2)系统中,彩色指套的使用,使得图像处理变得简单一些,但指套的使用并不麻烦。(3)较好的扩展性,在基于本系统的交互方式基础上可以根据需要增加应用背景。 技术关键:(1)在颜色辅助的基础上通过图像处理识别手势动作;(2)小型激光投影仪的制作;(3)PC机上鼠标等与操作系统相关的资源的运用。 技术指标:摄像头采集图像祯数;手部动作识别率;激光投影器分辨率及保真度;产品成本。

科学性、先进性

1、目前的人机交互方式主要有键盘、鼠标以及触摸屏等,触摸屏上较先进的有多点触控技术,但都是接触式的。近年来也出现了一些基于图像处理的非接触式人机交互方式,但存在识别率偏低的缺点,更重要的是一般对特定的系统有为其量身定做的交互方式,较难进行拓展,可适用性不强。 2、本系统采用彩色指套进行颜色识别作为辅助手段,在一定程度上降低了图像处理的难度,并提高了准确率。通过图像处理后将其外部特征动作转变为我们所熟悉的PC机鼠标、键盘事件,之后可以根据用户需要来做各种控制。 3、本系统制作了便携式的小型激光投影器,可以构建虚拟场景,引入更加丰富的人机交互背景,使得上述的人机交互方式更加有实际意义。同时,系统成本较为低廉,主要在于摄像头及小型的激光投影仪,具有较好的市场推广价值。

获奖情况及鉴定结果

作品所处阶段

实验室阶段

技术转让方式

作品可展示的形式

样品

使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测

使用说明: 进入系统界面后,有四项演示功能供选择:1、基于颜色识别的多点触控系统,通过手指动作达到等同于鼠标键盘的控制效果。2、激光控制鼠标功能。此模式下,将激光笔的光点位置设置为鼠标位置,可作为电子教鞭及游戏交互的手段。3、虚拟时钟功能。当做出特定的手部动作时,激光投影器将产生时钟的虚拟场景。4、虚拟打地鼠游戏。激光投影器产生打地鼠游戏的界面,可以用手或其它工具进行打地鼠游戏。 前两项功能主要与PC机相关,后两项与激光投影器相关,但都运用了图像处理技术。 本产品优势、适用范围及推广: 本系统可扩展性强,通过基于颜色识别的多点触控技术,达到等同于鼠标及键盘等的控制作用,可根据用户需要进行功能扩展。同时,加入自制的激光投影器,可以构建虚拟场景,使得人机交互的应用背景更加丰富,更有实际意义。 同时,本系统成本较为低廉,只需要简单的摄像头及激光投影器即可实现功能,且由于上文所述的可扩展性强的优点,适用于各种用户,有很好的推广前景。

同类课题研究水平概述

当前国内外较大部分场合依然传统的人机交互方式,如键盘、鼠标、触摸屏等。但已有一些类似的人机交互产品的研发,如基于图像处理或加速度传感器的手势识别等,但这些产品都有较大的局限性,因为只适应于特定的应用背景和软件环境,例如对于某一款电脑游戏有其特定的手势,都是为特定的系统量身定制的,开放性较差,用户很难甚至没有办法对其进行拓展。 同时,目前基于手势等的图像识别多数容易受背景、光线等的影响,需要进行一定的调试,这给使用者带来一定的不便。 本系统采用彩色指套的方式,在颜色识别辅助的基础上,便于做图像识别,通过左手右手共四个彩色指套,经图像处理,产生等同于鼠标和键盘事件的效果,即提供了一种通过手势方式的鼠标键盘控制方式。控制了鼠标之后,使用者就比较可能根据自己的需要对系统的功能进行自定义的拓展。同时,制作便携式的小型激光投影器,可以构建虚拟场景,引入更加丰富的人机交互背景,使得上述的人机交互方式更加有实际意义。本系统的成本较为低廉,主要在于摄像头及小型的激光投影仪,具有较好的市场推广价值。
建议反馈 返回顶部