基本信息
- 项目名称：
- 基于视觉的多目标人机交互的研究与应用
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作A类
- 简介：
- 本项目使用市面上常见的 usb 摄像头设备设计了 一套手部跟踪和手势分析的方法 ， 并实现了初步的识别交互系统 。 通过两个 usb 摄像头设备 ，该系统实时采集图像数据 ， 并从中分离出手部图像进行分析，且使用过程无需佩戴手套或其他标记增强局部特征。
- 详细介绍：
- 本项目旨在设计搭建一套软件系统，通过使用市面上常见的摄像头设备作为载体，使用非触摸式的方法，采集分析用户手势从而进行相关软件操作，同时该系统将支持双手操作，甚至多用户的同时操作，以提供更加贴近自然的人机交互体验。本系统将利用视觉分析的方法进行手势的识别，从而实现用户通过手势对计算机和电子设备的操作；同时本系统还将实现多用户的同时操作，这大大方便了人和机器的交互。其中基于视觉的手势采集分析算法包括图像采集后的处理和分割、以及在多摄像头条件下三维位置数据的计算和手势识别的算法等各方面的改进与创新；同时利用多个摄像头进行图像采集分析，使用多摄像头的冗余数据进行数据修复，提高识别精度和分析效果，以克服一般视觉处理方面失误率较高的问题。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 本项目旨在设计搭建一套软件系统，通过使用市面上常见的摄像头设备作为载体， 使用非触摸式的方法，采集分析用户手势从而进行相关软件操作，同时该系统将支 持双手操作，甚至多用户的同时操作，以提供更加贴近自然的人机交互体验。本系统将利用视觉分析的方法进行手势的识别，从而实现用户通过手势对计算机和电子设备的操作；同时本系统还将实现多用户的同时操作，这大大方便了人和机器的交互。其中基于视觉的手势采集分析算法包括图像采集后的处理和分割、以及在多摄像头条件下三维位置数据的计算和手势识别的算法等各方面的改进与创新；同时利用多个摄像头进行图像采集分析，使用多摄像头的冗余数据进行数据修复，提高识 别精度和分析效果，以克服一般视觉处理方面失误率较高的问题。
科学性、先进性
- 1. 项目提出了利用视觉处理技术的一种新的人机交互的方法。在这种方法中我们可以直接使用双手对计算机进行交互操作，在使用者角度上，该方法更符合人类的工具使用习惯，并能提供更为丰富的交互体验。 2. 在采集分析方法上，本项目利用多个摄像头进行图像采集分析，使用多摄像头的冗余数据进行数据修复，提高识别精度和分析效果，以克服一般视觉处理方面失误率较高的问题。 3. 同时，项目系统支持多用户多手势的同时操作。在使用过程中，系统将支持双手操作，甚至是多用户多目标的同时操作。为用户提供一种多人实时互动的更为丰富的人机交互体验。 4. 本项目计划设计一套新的软件交互接口，以支持多目标操作应用软件的开发。在目前，大多数操作系统的操作都是基于传统鼠标键盘事件驱动的，这给多用户同时操作造成一定的障碍。项目创新性地设计一套支持多用户多目标同时操作的中间接口，从而降低多目标操作应软件开发的难度。 5. 本项目也在寻求改善摄像头手势采集设备的新方法，使之在更为复杂的环境条件下能支持系统的使用。
获奖情况及鉴定结果
- 1. 华南理工大学软件文化节之软件设计大赛(第二名) 2. 广东省学生创新计划(立项成功) 3. 国家大学生创新计划(立项成功)
作品所处阶段
- 实验阶段
技术转让方式
- 无
作品可展示的形式
- 软件系统，演示视频。
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 本系统将利用视觉分析的方法进行手势的识别，从而实现用户通过手势对计算机和电子设备的操作；同时本系统还将实现多用户的同时操作，这大大方便了人和机器的交互。 本项目的成果还可直接用在交互式电子白板和各类交互式电子展台上。目前电子白板和电子展台主要是利用触摸式或红外线感应式等，因而在搭建平台及使用过程中，有成本较高，且不易安装，设备易于损坏的问题。利用本项目的成果只需要在投影仪处安装几个普通摄像头即可使用，如在教室中的投影仪加装摄像头就可以实现交互式电子白板的功能。
同类课题研究水平概述
- 在人机交互的研究方面： 目前，市场上已经出现了许多使用触摸屏的多点触摸操作技术，即Multi-Touch。Multi-Touch，顾名思义是多点触摸技术，可以允许用户在屏幕的多个位置同时输入，与传统的鼠标键盘的输入方式相比，这种技术是一种完全不同的人机交互方式。这种技术最突出的特点是多个用户可以同时与机器交互，每个用户可以用多个手指操作屏幕，更重要的是系统还可以识别手指的姿态。而多点触摸技术在移动设备上较为成功的应用有iphone手机。 而微软在近年推出的平面电脑surface，则是采用了多点触摸操作的另一实现形式，基于红外摄像头的背面散射光多点触摸（Near-DI）。设备使用了一块毛玻璃，Piexlglas Glass接受投影画面，同时通过手指触摸玻璃时产生红外光散射来采集手指操作，原理图见图一。同时，国外开源组织NUI Group（）在使用毛玻璃作为前端载体的多点触摸技术已做了很多研究，包括微软设备使用的背面散射光多点触摸（Near-DI）技术，该小组提供了5种不同的多点触摸软硬件平台搭建方案。 但就目前而言，微软的surface平台售价高达数万美元，而NUI Group所提供的解决方案同样成本高昂，且搭建调试过程复杂。所以，如何提供一种更造价低廉的，且易于在现有设备上安装使用多手势交互系统成为一个值得探索的课题。
