基本信息
- 项目名称：
- 基于人机交互技术的四旋翼飞行器控制系统
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作A类
- 简介：
- 本作品实现的是一种通过手势控制四旋翼飞行机器人的方法，相比传统飞行器控制方式更为简单直观，可进行较复杂的控制。系统通过深度摄像机捕获操纵者的手的深度图像，经计算机分析处理后得到手势信息并生成与之对应的控制信号通过无线通信装置发送给飞行器执行，以此实现从操纵者手的运动状态到四旋翼飞行机器人的运动状态的映射，完成移动和抓取的任务。
- 详细介绍：
- 为了实现一种相对简单和人性化的飞行器控制，我们确定了以人机交互技术为基础的控制模式。在本系统中表现为根据操纵者的手在深度摄像机视场中的位置和动作来控制四旋翼飞行器在环境红外摄像头视场内完成诸如移位和抓取的任务。 整个控制系统由两部分构成，即由环境红外摄像头、四旋翼飞行器、计算机组成的室内飞行控制部分和以深度摄像机、计算机组成的手势识别部分。室内飞行控制系统用于对四旋翼飞行器进行空间定位，手势识别系统用于捕获手势控制信息，最终计算机通过一些算法使手和四旋翼飞行器在两个空间中的动作对应起来，从而将两个部分联系在一起，共同实现通过手势控制飞行器的构想。 其中环境红外摄头安装在飞行器工作平面的正上方，用以拍摄飞行器表面上用红外发射二极管制作的红外标记点。摄像头前加置红外滤光片，使得它可以将无关的背景可见光过滤掉，并使发射器发出的红外光通过，这使得后面的图像处理大为简化。 关于四旋翼飞行器的飞行姿态控制以及机体机械机构目前国内外有很多模型公司有了非常好的解决方案。上文国外研究机构对于四旋翼飞行器的研究大多为直接使用模型公司现成的四旋翼飞行器。故考虑到时间问题和研究内容的重复性，我们选择了PARROT公司的AR.DRONE飞行器。我们在AR.DRONE飞行器上装有两个红外发射器，用于红外摄像头对四旋翼飞行器的位置捕捉和自旋角捕捉。AR.DRONE飞行器本体底端带有一个超声波高度计和一个直立式60帧每秒的CMOS摄像头；超声波高度计的收发频率为40KHz，用于进行高度数据捕捉；摄像头的解析度为176*144，用于进行对地面特征点的捕捉。AR.DRONE飞行器的机载ARM9 RISC 32位处理器会对记载惯性陀螺仪、加速计、高度数据和地面特征点数据进行处理，并控制四路无刷电机进行飞行位置和自旋角的微校准。 计算机主要对来自环境红外摄像头传来的视频流、深度摄像机的深度图像进行处理并发送控制指令给四旋翼飞行器。四旋翼飞行器上红外标记点由高分辨率USB摄像机捕捉到60fps/s的视频流后，经过OpenCV图像处理得到视野中飞行器的坐标以及偏航角度。 我们使用的深度摄像机是微软在2010年6月14日为XBOX360游戏机开发的体感周边外设-Kinect。通过Kinect，可以得到视野内物体的深度图像，在Kinect捕获到具有深度的视频流后并不能得到人体姿态的几何信息。需要应用本田技术研究所Youding Zhu, Kikuo Fujimura研究员提出的应用贝叶斯框架对深度图像中人体姿态的追踪方法从Kinect的深度视频流中提取人体的姿态，进而得到人体手部的坐标。 将人体手部的坐标作为期望坐标，四旋翼飞行器坐标作为初始值，两者坐标差为误差，利用PID控制方法，使四旋翼飞行器抵达期望坐标，这样就完成了本系统的功能。
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 作品设计、发明的目的： 简化相对复杂的传统飞行器控制方式，建立一种简单直观可操作性强的控制模式。 基本思路： 系统通过深度摄像头捕获操纵者的手的深度图像，经计算机分析处理后得到手势信息并生成与之对应的控制信号通过无线通信装置发送给飞行器执行，以此实现从操纵者手的运动状态到四旋翼飞行机器人的运动状态的映射，完成移动和抓取的任务。 创新点： 1、相比传统飞行器控制方式本控制方法更为简单直观易操作-操纵者的手所在的空间位置和手势分别直接对应了四旋翼飞行器所在空间位置和机载机械手的捏合动作。 2、本作品的控制对象是当下国际上十分流行的四旋翼飞行器，人机交互的渠道则是微软公司推出仅仅半年的Kinect。这两者皆为各自领域的前沿成果，而将两者结合起来构成基于人机交互的智能飞行器控制系统则是本项目最大的创新点。 关键技术： 1. 手势识别 2. 飞行器的空间位置控制 主要技术指标： 整机重量 <620g 空间位置控制稳态误差 <1cm 空间位置控制响应时间 <1000ms 空间位置控制超 <7cm 手势识别精度 >1mm 手势控制延时 <1500ms 飞行时间 <15min
科学性、先进性
- 本项目的主要研究的四旋翼飞行器由于结构的对称性，在操纵性和机械机构方面具有很多潜在的优势。对角线旋翼的旋转方向相同，相邻旋翼旋转方向相反，旋翼的扭矩会自动平衡，减少了传统飞行器使用尾翼用来平衡旋翼扭矩浪费的能量。另外，由于四旋翼机的旋翼更小，转速更高，因而其效率更高;小旋翼也可以减少旋翼碰撞周围建筑物的概率，飞行更加安全。 我们利用微软推出仅仅半年的Kinect深度摄像机来进行图像捕捉以完成人机交互，其相比于其他的机器视觉途径具有我们的优势在于：第一，Kinect使用的结构光技术可以仅用单一外部设备即可获取三维空间的深度图像，由此我们便可较为方便的获取人体各部分肢体的图像，进一步便可计算得到人体骨架的各个坐标。相比于其他的三维空间机器视觉，我们使用方法的外部设备更加简单廉价，并且能够极大程度的减少运算复杂程度，减轻上位机的负担。第二，Kinect采用的是1280×960的数字CMOS摄像头，其图像质量能够满足我们高精度坐标控制的要求，为四旋翼飞行器的高难度定位操作提供了硬件条件。
获奖情况及鉴定结果
- 无
作品所处阶段
- 中试阶段
技术转让方式
- 洽谈
作品可展示的形式
- 本项目能够以实物的形式进行现场演示，并且可以通过图片和录像的形式进行简要阐述。
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 本项目的使用方法：操作者在深度摄像头覆盖空间内改变手掌位置可操作四旋翼飞行器在环境红外摄像头覆盖空间内的对应位置进行位移；四旋翼飞行器在抓取目标上方悬停，操纵者用带有全向反光布的手指做出抓取动作以操控机载机械手抓取物体，然后移动手至目标位置做出撒手动作完成运输任务。 本项目的技术特点及优势在于四旋翼飞行器硬件平台自由度多，飞行状态灵活，载重能力强，稳定性高，故更适合在狭小空间内进行特殊作业。此外，相比常规通过专业遥控器的飞行器操纵方式，本作品采用的视觉人机交互技术提供了是一种更人性化的操作模式。操纵者只需面对深度摄像头做一些特定手势即可操作四旋翼飞行器进行相应的操作，这就简化了需要大量经验的飞行器操控。 本四旋翼飞行控制系统可广泛用于实验室的辅助操作，例如高危任务的完成或者简单重复性动作，因此在工程实验领域内将广受欢迎。将本四旋翼飞行控制系统产品化可降低简单重复性操作的劳动成本，减小高危操作的危险性，给工程实验领域带来直接经济效益。
同类课题研究水平概述
- 目前国外四旋翼无人直升机的研究工作主要集中在以下三个方面:基于惯导的自主飞行、基于视觉系统的自主飞行和自主飞行器系统。典型代表有瑞士苏黎世联邦工业大学的OS4、澳大利亚国立大学的X4、宾夕法尼亚大学的HMX4、美国麻省理工大学的RANGE、斯坦福的Mesicopter等等[1]。国内的研究现状主要集中在几所高校之中。例如国防科技大学、南京航空航天大学、西北工业大学、中国空空导弹研究院、电子科技集团、第二十七研究所、吉林大学、北京科技大学和哈尔滨工业大学等等。大多数的研究方向是理论分析和计算机仿真，以及控制算法。 目前商业化比较成功的四旋翼无人飞行器有加拿大 RC Toys公司的遥控航模Draganflyer，有很多研究单位的四旋翼机都是在它或者它的改进系统上进行开发的。 [1] A.Tayebi，S.MeGilvray. Attitude stabilization of a four-rotor aerial robot[J].43rd Conference on Decision and Control.2005:1216-1221
