基本信息
- 项目名称：
- 视线跟踪人机交互技术及残疾人辅助系统
- 来源：
- 第十一届“挑战杯”国赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- ●全新人机交互方式 ●创新模式识别算法，准确高效地提取眼动生物信息 ●开发基于视线跟踪的残疾人辅助系统,改善信息社会残疾人生活质量，促进构建和谐社会 ●广泛的应用前景
- 详细介绍：
- ●全新人机交互方式 通过基于图像处理的非接触式视线跟踪，结合红外角膜反射原理和创新模式识别算法，实现全新的眼动控制人机交互方式。 ●创新模式识别算法，准确高效地提取眼动生物信息 1. 申请发明专利2项： A. 基于视线跟踪的残疾人辅助系统，申请号200810030010.4 B. 基于多元信息融合的驾驶员疲劳检测装置（融合视线跟踪技术），申请号200910038613.3 2. 业内高度关注： A.2008年英特尔全球嵌入式与通信技术教育峰会特邀参展品（美国亚利桑那） B.2008深圳高新科技技术交易会参展品 C.2009英特尔信息技术峰会(IDF2009)特邀参展品（北京） D.2009年第七届中国国际软件和信息服务交易会参展品 ●广泛的应用前景： 1.计算机输入设备，如眼控鼠标、基于眼动状态的信息输入方法，眼控虚拟现实设备； 2.军事领域，如基于注视方向的新型自动瞄准系统； 3.安全辅助驾驶，通过监测驾驶员视线方向及眼睛闭合等精神与生理特征，预防危险驾驶行为。 4.助残领域，改善信息社会残疾人生活质量，促进构建和谐社会； ●基于视线跟踪的残疾人辅助系统，实现以下功能： 1.使用眼睛自如地控制轮椅，提高残疾人自理水平和生活质量； 2.用眼睛实现人机互动，播放多媒体、游戏娱乐等，满足残疾人精神生活需要； 3.用眼睛完成信息输入，提供全新的信息输入通道; 4.用眼睛完成网站的登陆和查阅电子文档，眼控其翻页和内容的滚动等操作； 5.利用眼睛控制娱乐游戏，满足残忍人的生活娱乐需要； 6.实现眼动控制的电话呼叫功能，加强残疾人与外界的交流。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 视线跟踪技术在军事、驾驶、游戏等领域有巨大前景，对提高我国人机交互、无人驾驶等高新技术领域有重要意义。同时，全球有6.5亿残疾人，因此残疾人是一个不可忽视的群体，经过分析，眼动的低认知负荷非常适合于助残应用，因此我们开发基于视线跟踪的残疾人辅助系统，帮助他们更好自理生活。 ●基本思路： 研究人眼注视选择，得知其感知机理，实现对设备控制。视线跟踪：提取眼动生物特征信息，通过模式识别、眼球建模等计算注视点，最后映射到其注视目标，实现控制系统功能。 ●创新点：①全新人机交互方式（视线跟踪技术） ②创新模式识别算法，准确高效地提取眼动生物信息 ③基于2D-DCT特征的EHMM人眼状态算法，实现对人眼闭合状态的准确判别 ④应用前景广泛：计算机输入设备，如眼控鼠标、基于眼动输入方法；军事领域，基于注视方向的新型自动瞄准系统；安全辅助驾驶、助残等 ●技术关键：①人眼区域定位算法 ②人眼闭合状态检测算法 ③基于新型普尔钦斑点的视线跟踪算法 ④基于LINUX的软件系统架构 ●主要技术指标： ①人眼区域定位准确率达93% ②人眼状态识别检测准确率达95% ③系统的实时性和实用性，在各种环境下快速、准确进行视线跟踪，速度达15帧/秒。 ④系统可移植性，可移植到任何嵌入式设备。
科学性、先进性
- （1）全新的人机交互方式 视线跟踪技术必将在信息技术产业产生巨大影响，其应用必将遍及各领域，取代鼠标、键盘、触摸屏等旧式输入方式，成为新一代核心交互技术。 （2）采用改进的普尔钦斑点法提取眼动信息 研究新型普尔钦斑点法，采用普尔钦斑点矩形，通过几何约束、Hough变换等图像处理方法，准确定位瞳孔中心和四个参考点的相对位置，克服眼球反射的不规则性，准确提取眼动的生物特征信息，保证视线跟踪眼动数据的准确性。 （3）眼动信息模型到眼睛注视方向的映射关系模型 在构建眼动特征信息到注视方向的映射模型中，综合考虑人眼注视的机理，完成视场与眼动信息的匹配工作,，解决视场与瞳孔坐标系之间的映射关系问题，构建非接触式的视线跟踪系统，完善人眼注视方向识别技术自由度低与实用性不强的缺陷。 （4）受业内人士密切关注 曾受邀到美国进行展示、参加2008深圳高新科技技术交易会、2009 intel信息技术峰会等，其作为人机交互技术的革命性突破，具有前瞻性、创新性。
获奖情况及鉴定结果
- A.参加2008英特尔嵌入式设计竞赛获得该比赛最高荣誉奖“英特尔杯”(教育部高等教育司与工业和信息化部人事教育司) B.2009年英特尔全球嵌入式与通信技术教育峰会特邀参展品（地点：美国亚利桑那） C.2008深圳高新科技技术交易会参展品(主办单位：商务部、科学技术部、信息产业部等单位) D.2009英特尔信息技术峰会(IDF2009)特邀参展品(地点：北京) E.2009年科技活动周开幕式大学生创新创业成果展（教育部） F.2009年XX省大学生挑战杯特等奖（共青团XX省委员会、 XX省科学技术协会、XX省教育厅、XX省学生联合会） G.2009年第七届中国国际软件和信息服务交易会参展品
作品所处阶段
- 本作品处于中试阶段
技术转让方式
- 专利转让、技术合作
作品可展示的形式
- 实物、现场演示、样品
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- ●技术特点和优势 ①全新人机交互方式，结合红外角膜反射原理和创新模式识别算法，实现视线跟踪--全新的眼动控制人机交互方式 ②创新模式识别算法，准确高效地提取眼动生物信息，如人眼定位算法、眼睛闭合判别算法 ③非接触式的视线跟踪技术，克服接触式视线跟踪的缺陷 ●适用范围：①计算机输入设备，眼动输入法、眼控鼠标等 ②军事领域，基于注视方向的新型自动瞄准系统 ③安全辅助驾驶，通过监测驾驶员视线方向及眼睛闭合等精神与生理特征，预防危险驾驶行为 ④助残领域，基于视线跟踪的残疾人辅助系统 ●市场分析和经济效益预测 此技术具有前瞻性和创新性，潜在市场非常大，除了应用在残疾人辅助系统上，还必将应用于其他领域，应用层面涉及各行各业，如果视线跟踪技术真正的应用到眼控鼠标、安全辅助驾驶等能持续增长的大众化产业上，我们可以预见其必能为相关的企业带来巨大的经济效益。
同类课题研究水平概述
- ●视线跟踪概述： 世界各国将人机交互作为重点研究，美国总统信息技术顾问委员会的“21世纪的信息技术报告”中将其列为新世纪 4 项重点发展的信息技术。我国国家自然科学基金会、973计划、863计划，均将人机交互技术列为予以重点关注项目。视线跟踪作为人机交互的分支，是其重要突破点，必将带来人机交互技术革命性的发展。 视线跟踪技术还处于起步阶段，国外的研究比较先进，主要应用于军事和心理学， 但由于各方面技术的不成熟性，目前还未达到实用化阶段，成功、有效益的实用性项目非常少，所以我们希望利用先进检测算法、模型等，实现视线跟踪普及与应用，而残疾人辅助系统就是其中的应用。 ●国外研究现状 近年来，基于瞳孔—角膜反射向量法和图像处理的视线跟踪技术，具有非侵入的优点，近年来取得了较快进。 Hutchinson利用近红外光源光线在眼睛角膜反射产生的光斑和瞳孔中心的位置关系来确定视线方向，但系统未考虑头影； A.sugioka考虑头动影响，使用超声技术测得CCD和人眼之间的距离，系统精度受测量距离精度影响，而且成本高，难以应用于实际。澳大利亚Seei公司研究的facelab采用瞳孔-角膜反射向量法，在真实世界条件下进行实时分析完全自然的行为，包括头部动作，眼睑运动和凝视方向，使视线跟踪成为现实，但是此设备价格昂贵、系统复杂，不易于普及使用。 ●国内研究现状 国内对人眼注视方向识别的研究开始比较晚，且缺乏对基于眼动的人眼生物特征的研究，缺乏对眼动机理和模型的研究，缺乏对人眼注视方向识别技术的理论研究，对自由空间的人眼注视方向识别的理论研究水平与国外差距很大。中国科学院的张名魁和孙复川采用红外电视法，通过红外发传感器来分析角膜与巩膜反射红外光线变化来测量眼动，由于红外电视法对传感器精度和稳定性有很高要求、容易受外界光线干扰，其数据的准确性难以得到保证，所以红外电视法基本在人眼注视方向识别上消失，还有其他的国内研究方法都普遍存在很大的缺陷。 综上所述人眼注视方向识别技术的研究涉及到图像处理、计算机视觉、模式识别等多个交叉领域，理论上极具挑战性，有效的解决人眼注视方向识别中的注视点生物特征提取、生物特征解析等问题，完善自由空间的人眼注视方向识别理论，其研究成果必将在新一代人机交互技术中有广泛的应用前景。
