基本信息
- 项目名称：
- 基于单摄像机视线跟踪技术的眼控人机交互系统
- 来源：
- 第十一届“挑战杯”国赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- 视线跟踪技术是未来智能人机接口的关键技术之一，在工业控制、机器人学和临床医学上有着广泛的应用前景。本项目基于角膜反射原理，提出了一种单摄像机视线跟踪方法，实现了对人眼视线方向的识别与跟踪；提出了一种眨眼检测算法和在人脸图像序列中判别眼睛睁、闭状态的方法，可应用于视疲劳监视及眼控鼠标；搭建了基于单摄像机视线跟踪技术的人机交互系统，开发了几款人机交互眼控游戏。
- 详细介绍：
- 人机交互技术已成为计算机科学研究的一个越来越重要的领域，与之相关的技术中视线跟踪技术倍受该研究领域的重视，是未来智能人机接口的关键技术之一。 本项目采用的是角膜反射原理：近红外光源发出的光在用户眼睛角膜上形成高亮度反射点（普尔钦斑点）作为参考点；当眼球转动注视屏幕上不同位置时，由于眼球近似为球体，光斑不动，瞳孔相对光斑发生偏移；利用瞳孔中心和光斑的位置关系确定视线方向。对视线跟踪技术的光学采集系统进行了研究，设计了一种实时跟踪眼睛与调光、变焦、聚焦相结合的 CCD 摄像机自动调节系统。在不同外部环境光强及用户不同使用位置情况下，摄像机可由大视场下的头肩图像通过自动调节，实时跟踪眼睛并捕获到小视场下的眼睛清晰图像，避免了人工调节的繁琐并提高了调节的准确性。提出了一种单摄像机视线跟踪方法，利用三个光斑和瞳孔中心的位置关系计算视线方向，校准参数随用户头部位置不同而自动选择；对眼睛图像中瞳孔定位算法进行了研究，提出了一种眼睛红外图像中瞳孔椭圆边缘及中心的亚像素定位算法，能够精确地确定瞳孔中心位置，提出的方法减少了系统在使用过程中对用户头部的限制，提高了系统的精确度、可靠性及便利性。提出了一种眨眼检测算法和在人脸图像序列中判别眼睛睁、闭状态的方法，提出的算法检测正确率高，可应用于视疲劳监视及眼控鼠标。 在上述技术的基础上，搭建了基于单摄像机视线跟踪技术的人机交互系统，开发了几款人机交互眼控游戏。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 眼睛是人类从周围世界中获取信息的重要器官，也是反映人的心理活动的窗口。将视线应用于人机交互可带来直接性、自然性和双向性等优点。眼注视是一种非常好的能使人机对话变得简便、自然的候选输入通道，将人的眼睛作为输入媒介，通过眼睛盯视对外部设备进行控制可以实现多任务操作，在一些工业控制、机器人学和临床医学上有着广泛的发展前景。 系统采用角膜反射原理。近红外光源发出的光在用户眼睛角膜上形成高亮度反射点（普尔钦斑点），作为参考点；当眼球转动注视屏幕上不同位置时，由于眼球近似为球体，光斑不动，瞳孔相对光斑发生偏移；利用瞳孔中心和光斑的位置关系确定视线方向。 创新点： 1.提出了一种单摄像机视线跟踪方法，利用三个光斑和瞳孔中心的位置关系计算视线方向，校准参数随用户头部位置不同而自动选择，减少了对用户头部的限制。 2.设计了一种实时跟踪眼睛的CCD摄像机自动调节系统，可实时跟踪眼睛并捕获到清晰图像，避免了人工调节的繁琐，提高了调节的准确性。 3.设计了视线跟踪及眼睛状态检测的相关算法，提高了系统的精确度及可靠性。 4.开发了适于视线跟踪技术的眼控人机交互平台。 技术关键：用户头部运动情况下，视线方向的检测方法。 主要技术指标：系统中，用户坐在计算机前，头部（面向计算机屏幕）正常情况下距离屏幕50-100 cm；水平移动处于40cm 区域内。眼睛转动范围基本上水平、垂直方向在30度视角内。
科学性、先进性
- 项目设计了实时跟踪眼睛的CCD摄像机自动调节系统，可实时跟踪眼睛并捕获到清晰图像，避免了人工调节的繁琐，提高了调节的准确性。项目设计了一种眼睛红外图像中瞳孔椭圆边缘及中心的亚像素定位算法，提高了系统定位的精确度。提出了一种眨眼检测算法和在人脸图像序列中判别眼睛睁、闭状态的方法，可应用于视疲劳监视及眼控鼠标。项目提出了一种单摄像机视线跟踪方法，配合摄像机自动调节系统，建立了一种能对环境光强变化、用户头部位置变化自动适应的视线跟踪方法，实现了头动情况下的视线跟踪，减少了对用户头部的限制。
获奖情况及鉴定结果
- 无
作品所处阶段
- 处于实验室阶段。正在进行基于DSP(DM642)的程序移植工作，实现作品小型化，满足多种应用。
技术转让方式
- 待专利获批后，独家转让。
作品可展示的形式
- 实物展示（现场演示人机交互的眼控游戏等程序）。
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 视线跟踪技术早期主要应用于心理学研究、助残等领域，后来才被应用于图像压缩及人机交互和可用性工程。视线在人机交互中应用的精髓不在于用来独立地利用其指点功能，而是与其它通道相结合提供空间的或其它的约束信息，消除在单通道输入时存在的歧义。视线跟踪在人机交互领域有着广阔的应用前景。 视线跟踪技术还可以在医学或驾驶等其他领域广泛应用。另外视线跟踪技术的一个诱人的应用领域就是虚拟现实和游戏，一方面使人与计算机间的交互与现实世界中的交互方式趋于一致，更为简单、自然、高效；另一方面又提高计算机图形、图像、动画的绘制、渲染速度。近来，国际上一些公司与科研机构正致力于眼控鼠标、眼控游戏的开发与研究，眼控游戏是在基于视线跟踪技术的人机交互系统上实现的。在游戏过程中，人的四肢被解放出来，通过眼控实现人机交流可以让游戏过程更具有享受性，并且可以满足瘫痪病人或四肢麻痹、残疾病人的游戏需求。
同类课题研究水平概述
- 视线跟踪技术是未来智能人机接口的关键技术之一，在工业控制、机器人学和临床医学上有着广泛的应用前景。基于角膜反射原理和图像处理的视线跟踪技术，具有非侵入的优点，近年来取得了较快进展。但该技术在用户头部不动情况下可获得较高精度，但对头动敏感。为减少对用户的限制，Sugioka使用超声技术测得CCD和人眼之间的距离，Ebisawa增加两个摄像机来获得眼睛的三维空间坐标。这不仅增加了系统复杂性，且系统精度受位置测量精度的局限。日本静冈大学工学系海老泽嘉伸教授发明了“瞳孔鼠标”。布拉格捷克技术大学的研究人员推出一款可用眼睛控制电脑的廉价操作系统MEMREC。2008年3月日本的研究人员称已经开发出了名为“Kome Kami Switch”或“Temple Switch” 的装置，它可通过眨眼实现对iPod播放器的控制。近来来自的报道称，英国蒙特福德大学的一项研究计划正开发软件帮助运动障碍患者使用视觉追踪系统体验3D电脑游戏，例如魔兽世界。国内在视线跟踪技术方面起步比较晚，但是我国的有关专家也进行了这方面的探索。近几年，南京航空航天大学基于角膜反射-瞳孔中心的视线跟踪技术,构建了头部静止台架式和头部自由运动头盔式两套视线跟踪硬件框架,并开发了与之配套的软件系统。上海大学实现了一种具有多种信息感知与反馈功能的多通道自然人机交互系统。 为提高算法速度和精度，目前视线跟踪算法普遍采用了阈值技术和椭圆拟合算法，但由于眼睛图像固有的噪声干扰，特征阈值确定困难，椭圆拟合算法不稳定。本作品主要针对上述问题，提出了一种能对环境光强变化、用户头部位置变化自动适应的视线跟踪方法，改进了阈值提取、特征检测、椭圆拟合等算法，实现了高精度视线跟踪。
