基本信息
- 项目名称：
- 基于移动终端的汉语手语识别技术研究
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 自然科学类学术论文
- 简介：
- 基于视觉的手语识别技术是多模式人机交互技术的重要研究方向。本文基于图像边缘梯度方向角直方图和图像轮廓填充多特征匹配技术，实现了移动环境下的小词汇量静态手语识别。 仿真实验表明：该方法对图像亮度、缩放、平移、旋转具有不变性, 而且该方法计算简单、快速,可以用于手语识别系统。更重要的是，本文提出的基于视觉和移动终端的方法具有使用方便，灵活的特点，在移动环境下具有一定的普适意义。
- 详细介绍：
- 基于视觉的手语识别技术是多模式人机交互技术的重要研究方向。本文基于图像边缘梯度方向角直方图和图像轮廓填充多特征匹配技术，实现了移动环境下的小词汇量静态手语识别。首先提取手语手势图像的边缘及边缘轮廓，获得边缘图像的梯度方向角直方图和轮廓填充图形，并根据这两个特征参数对待测手语手势图像与标准手语手势图像进行相关分析，选取其中具有最大相关性的标准手势图像做为匹配目标。本文采用26个英文字母的手势作为手语词库，并在移动终端上初步实现了该手语识别系统。 仿真实验表明：该方法对图像亮度、缩放、平移、旋转具有不变性, 而且该方法计算简单、快速,可以用于手语识别系统。更重要的是，本文提出的基于视觉和移动终端（Android手机操作系统平台下）的手语识别方法不同于以往基于数据手套的的手语识别方法，具有使用方便，灵活的特点，在移动环境下具有一定的普适意义。因此，本文所做工作是移动环境下的手语识别技术的一次有益尝试。
作品专业信息
撰写目的和基本思路
- 随着科技的发展，移动终端将逐步发展为主要的通信工具，伴随着每一个人的日常生活。同时，该技术的研究有助于改善聋哑人的生活学习和工作条件，为他们提供更好的服务。 文中使用图像边缘梯度方向角直方图和图像轮廓填充图形作为手语手势的特征参数进行静态手语识别。然后使用Matlab Builder for Java将Matlab仿真下的结果转换成手机识别的语言，并移植到移动终端。
科学性、先进性及独特之处
- 科学性以及先进性：文中的创新点是结合采用归一化边缘梯度方向角直方图和图像边缘轮廓图形两个特征参数进行静态手语识别。 该方法对图像亮度、缩放、平移、旋转具有不变性, 而且该方法计算简单、快速,可以用于手语识别系统。 独特性：本文的另一个创新点是基于移动终端的手语识别。充分利用了3G手机的极高的数据传输速率的特点，以及支持多媒体通信的优势，因而该技术具有潜在的巨大的现实意义。
应用价值和现实意义
- 由于移动终端（如手机）使用的普遍性及方便性，将手语识别系统移植到手机环境下将更方便快捷的服务于聋哑人的生活，因此其具有广泛的现实意义。 手语的研究不仅有助于改善和提高聋哑人的生活学习和工作条件，为他们提供更好的服务。同时也可以应用于计算机辅助哑语教学、电视节目双语播放、电影制作中的特技处理、动画的制作、医疗研究、游戏娱乐等诸多方面。因此，手语的研究是一个非常有意义的课题。
学术论文摘要
- 基于视觉的手语识别技术是多模式人机交互技术的重要研究方向。本文基于图像边缘梯度方向角直方图和图像轮廓填充多特征匹配技术，实现了移动环境下的小词汇量静态手语识别。首先提取手语手势图像的边缘及边缘轮廓，获得边缘图像的梯度方向角直方图和轮廓填充图形，并根据这两个特征参数对待测手语手势图像与标准手语手势图像进行相关分析，选取其中具有最大相关性的标准手势图像做为匹配目标。本文采用26个英文字母的手势作为手语词库，并在移动终端上初步实现了该手语识别系统。 仿真实验表明：该方法对图像亮度、缩放、平移、旋转具有不变性, 而且该方法计算简单、快速,可以用于手语识别系统。更重要的是，本文提出的基于视觉和移动终端（Android手机操作系统平台下）的手语识别方法不同于以往基于数据手套的的手语识别方法，具有使用方便，灵活的特点，在移动环境下具有一定的普适意义。因此，本文所做工作是移动环境下的手语识别技术的一次有益尝试。
获奖情况
- 暂无
鉴定结果
- 暂无
参考文献
- [1] 刘信,江朝晖,冯焕清。 基于方向直方图的手语识别方法研究[J]。 计算机仿真,May 2009, 26(5):244-247。 [2] 郭彩龙。 中国静态手语识别的研究[C],硕士论文, 西安建筑科技大学, 2009。 [3] 张良国, 高文, 陈熙霖等。 面向中等词汇量的中国手语视觉识别系统[J]。 计算机研究与发展, 2006, 43(3):476-482。 [4] 胡友树。手势识别技术综述[J]。 中国科技信息, 2005(2):42。 [5] 翟俊海，赵文秀，王熙照。 图像特征提取研究[J]，河北大学，Jan，2009。 [6] 李文趋。 Java与Matlab混合编程在图像处理中的应用[J]，华侨大学计算机与科学技术学院，2009. 。 [7] Von Agris U, Zieren J, Canzler U, etal. Recent developments in visual sign language recognition[J]. Universal Access in the Information Society, 2008, 6(4):323-362. [8] Yiqiang Chen, Wen Gao, Changshui Yang, Dalong Jiang. Multi-ModelBehavior Synchronizing Prosody Model in Sign Language Synthesis.Chinese Journal of Computers, 2006: No.05.
同类课题研究水平概述
- 最早的手语自动识别的尝试开始于20 世纪80 年代末。根据手语输入设备的不同, 分为采用视觉和数据手套两种方法。基于视觉的手语识别如Charaphayan 和Marble 研究了一种用图像处理的方法来识别31 个美国手语词， 可以正确识别出其中的27 个。Starner 等对40 个词构成的具有很强语法约束的短小语句进行识别, 识别率为99. 2%。基于数据手套的手语识别有: Takahashi 和Kishino 用一只VPL 数据手套识别46 个日本手指字母, 可正确识别出其中的30 个。Liang 等对连续的我国台湾手语识别进行了研究, 他们设定时变得手形参数变化的值来确定手势流中手语词的开始和结束, 在250 个手语词组成的词汇集上, 他们取得了80. 4%的识别率。 近年来, 基于统计隐马尔科夫模型(HMM) 的方法一直是手语识别研究的主流方法。目前的手语识别系统也通常采用HMM, 包括离散隐马尔科夫模型(DHMM) 和连续隐马尔科夫模型(CHMM) 作为训练模型。美国的Cui和Weng研究了最具区分性特征(MDF) 和最具表达性特征(MEF) 的不同, 采用模板匹配的方法, 实现了一个可以识别26个手势的系统,识别率为93% 。德国的Kirsti Grobel等利用HMM 方法实现了可识别262 个孤立手语词的识别系统, 识别率为91.3% ，采用DGMM(Dynamic Gaus-sian Mixture Model) 方法, 孤立词的识别率为90%左右, 句子的识别率为95.2%。 这些算法在手语识别上取得一些成绩，但都比较复杂, 计算量大,执行时间较长。本文提出的正是基于移动终端（手机操作系统）下的手语识别，研究基于视觉的静态手语识别方法。在对26个字母的手势的测验中，19张手语手势可以识别为最相似目标，5张手语手势可以识别为次相似目标，2张手语手势不可以识别，识别率为92.31% 。与以往的手语识别方法相比较，这种方法更加的方便，简单。 据国外媒体报道，美国华盛顿大学的工程师正在测试一款名为MobileASL的工具，这款工具能利用运动感知技术去识别美国手语，并通过手机发送图像。这是目前唯一可查的研究手语识别技术在移动终端应用的项目。
