基本信息
- 项目名称：
- 生物式双目立体全方位视觉传感器的设计及应用
- 来源：
- 第十一届“挑战杯”国赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作A类
- 简介：
- 本项目针对这些典型的视觉“病态”计算问题，对摄像机标定、立体匹配、三维重构等技术进行了研究。首先，采用平均角分辨率和二次折反射成像技术设计了一种新的ODVS，然后将两个对称的ODVS进行背靠背连接，实现了360°*360°视觉范围的双目立体视觉装置。再者，建立空间统一的高斯球面坐标系，实现计算模型的简化，并利用双目立体ODVS的特性，简化了摄像机标定、特征点的匹配等繁琐的步骤。
- 详细介绍：
- 视觉检测技术具有大量程、非接触、速度快、系统柔性好、精度高等优点，可广泛应用在物体的三维测量与立体图像重构等领域。对于立体视觉检测方法而言，立体匹配是立体视觉检测最为关键的问题，但是至今为止仍未找到一种通用快速的立体匹配算法，在摄像机标定、特征提取和立体图像匹配方面还存在着一些难以解决的问题。本项目针对这些典型的视觉“病态”计算问题，设计了一种新型的双目立体全方位视觉传感器（Binocular Stereo Omni-Directional Vision Sensor，BSODVS），利用二次折反射的成像原理设计折反射镜面，利用4阶Runge-Kutta算法求得了镜面曲面的数字解，通过组合镜头的设计方法将ODVS与广角镜头集成在一起来消除原有ODVS的固有死角，最后将两个相同参数的具有平均角分辨率的ODVS以背靠背的方式合成为一个双目立体ODVS。在视频数据采集、信息加工及表达上均采用高斯球坐标方式，避免了目前在三维测量与立体图像重构时多次坐标转换。利用两个具有相同参数的ODVS能方便地对齐特征点的方位角来实现快速的立体图像匹配，简化了摄像机标定、特征点的匹配等繁琐的步骤。实验结果表明，该传感装置能简化立体视觉测量计算的复杂性、容易实现立体图像匹配。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 设计目的： 研制一种360°*360°视觉范围且又无死角的双目立体全方位视觉传感器，并利用双目视觉范围实现空间距离检测。 基本思路： 1.设计一种具有平均角分辨率的无死角全方位视觉传感器 2.在结构设计上，将两个ODVS进行背靠背连接 3.实现图像展开、极线对齐、立体匹配算法等处理 4.在双目视觉重叠区域，实现空间距离检测 技术关键： ①折反射镜面设计②平均角分辨率设计③双目立体全方位视觉传感器设计④双目视觉范围内，实现空间距离检测 主要技术指标： ①水平和垂直视觉范围达到360°*360°；②双目视觉重叠区域为立体视觉范围，立体视觉范围为60°*360°③自动测量距离，在0.2米~5.0米范围内测距，测量精度较高，测量误差在2%以内。在5.0米~50.0米范围内，随着测量距离的增加，误差越大； ④实时获取双目立体视频图像，并实时进行柱状展开；⑤手动和自动进行极线匹配，极线匹配的精度在一个像素内。 项目创新点： 1.折反射技术，实现装置小型化、微型化； 2.平均角分辨率，为高斯球面坐标建立和三维立体重构提供技术支持； 3.双目立体全方位视觉传感器设计，实时获取360°*360°全方位立体视频图像； 4.不再需要繁琐的摄像机标定，立体匹配快速稳定； 5.在双目视觉范围内，实现空间距离检测功能。
科学性、先进性
- 1. 研制一种360°*360°视觉范围且又无死角的双目立体全方位视觉传感器，并利用双目视觉范围实现空间距离检测。 现有技术存在的问题：①需要很多摄像头才能获得360°*360°全球视频图像，并存在标定、数据融合等问题； 2.在双目结构上，使得上下ODVS在同一轴线上，任何极线面都通过轴线，为快速立体图像匹配提供了良好的基础；实现一种快速立体图像匹配的算法，使立体匹配的视差搜索由二维降为一维内的1/3。现有技术存在的问题：①立体视频技术在标定、匹配及重构方面的基础性问题还没有很好解决，属于“病态计算”问题； 3.采用统一的高斯球面坐标；简化了摄像机标定、匹配过程中欧氏空间与高斯空间之间的多次转化，为实时快速运算提供了技术基础，同时所获得的立体视图更具有立体感、沉浸感，计算景物的空间位置更加方便。 现有技术存在的问题：①在标定、匹配过程中的欧氏与高斯空间之间多次转化，实时性差，浪费资源；②以物为中心的重构方式不具有沉浸感、同时知觉和融合力。
获奖情况及鉴定结果
- 发表论文： 1.成员.全球面无死角的全方位视觉传感器的设计[J]. 高技术通信, 2009, 19(6):51-56 2.无死角的全方位视觉传感器的设计[J].仪器仪表学报, 2009, 30(5):916-920. 3.成员.Kind of Stereovision Measurement Device Based on Binocular Omni-Directional Vision Sensor[A]. Proc of the 3rd International Conference on Sensing Technology[C]. Taiwan: IEEE Press, 2008.135-141. 4.成员.Design of Omni-Directional Vision Sensors without dead angle [A]. Proc of the 3rd International Conference on Sensing Technology[C]. Taiwan: IEEE Press, 2008.446-451. 5.成员.宽动态全方位视觉传感器[J].安防科技,2008,9:3～6. 6.成员. 环境友好型全方位监控装置[J]. 安防科技, 2008, 6:3～6. 受资助情况： 2008年该项目被浙江省科技厅确立为“省新苗人才计划”项目并获基金资助，项目编号：2008R40G2020014。 获奖情况： 2009年6月，在浙江省举行的第十一届“挑战杯”大学生课外学术科技作品竞赛中获二等奖。 2008年12月，在本校举行的第二十届“运河杯”大学生课外科技作品竞赛中获本科生组特等奖。
作品所处阶段
- 中试阶段
技术转让方式
- 合作生产或者技术转让
作品可展示的形式
- 实物、产品、模型、现场演示、图片、样品
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 作品特点和优势： 开发出双目立体全方位视觉传感器实验室产品，解决目前计算机视觉在图像获取手段上的瓶颈问题。申请国家发明专利一项、投A类以上刊物论文两篇。 ①实时获取360°*360°全方位立体视频图像。②不再需要繁琐的摄像机标定工作、特征提取十分方便、能实现快速的立体图像匹配。③平均角分辨率设计。④采用折反射技术，不存在固定焦距的问题，在任何区域范围内图像的清晰度是一样的。⑤在双目视觉区域，实现空间距离检测。 该作品的适应范围及推广前景： 实时双目立体视觉技术是不断创新和发展的技术，在目标识别、虚拟现实、机器人导航等方面有着广泛的应用前景。 市场分析和经济效益预测： 传感技术是一切信息技术的源头，如果通过本项目的研究能解决好360°*360°全方位立体视觉的传感，将对机器人定位与导航、障碍物检测以及三维场景感知等场合乃至我们日常生活等各方面产生重大影响，具有良好的社会效益和经济效益前景。
同类课题研究水平概述
- 近年来，国内外科研院所对计算机视觉领域涉及的摄像机标定、立体匹配、三维重构等技术做了许多深入的研究。下面简要介绍一下相关方面的研究状况。国外研究现状 麻省理工学院提出了一种新的用于智能交通工具的传感器融合方式，由雷达系统提供目标深度的大致范围，利用立体视觉提供粗略的目标深度信息，结合改进的图像分割算法，能够在高速环境下对视频图像中的目标位置进行分割，而传统的目标分割算法难以在高速实时环境中得到令人满意的结果。 华盛顿大学与微软公司合作为火星卫星“探测者”号研制了宽基线立体视觉系统，使“探测者”号能够在火星上对其即将跨越的几千米内的地形进行精确的定位和导航。系统使用同一个摄像机在“探测者”的不同位置上拍摄图像对，拍摄间距越大，基线越宽，能观测到越远的地貌。系统采用非线性优化得到两次拍摄图像时摄像机的相对准确的位置，利用鲁棒性强的最大似然概率法结合高效的立体搜索进行图像匹配，得到亚像素精度的视差，并根据此视差计算图像对中各点的三维坐标。相比传统的体视系统，能够更精确地绘制“探测者”号周围的地貌和以更高的精度观测到更远的地形。 上述研究工作基本上采用了两个CCD摄像头作为立体视觉的获取手段，因此存在着视觉范围有限，在实际应用中视觉的主动性和有选择性相矛盾的问题十分突出。 国内研究现状 浙江大学利用透视成像原理，采用双目体视方法实现了对多自由度机械装置的动态、精确位姿检测，仅需从两幅对应图像中抽取必要的特征点的三维坐标即可。该方法信息量少，处理速度快，尤其适于动态情况。与手眼系统相比，被测物的运动对摄像机没有影响，且不需知道被测物的运动先验知识和限制条件，有利于提高检测精度。 哈工大采用异构双目活动视觉系统实现了全自主足球机器人导航。将一个固定摄像机和一个可以水平旋转的摄像机，分别安装在机器人的顶部和中下部，可以同时监视不同方位视点，体现出比人类视觉优越的一面。通过合理的资源分配及协调机制，使机器人在视野范围、测距精度及处理速度方面达到最佳匹配。双目协调技术可使机器人同时捕捉多个有效目标，观测相同目标时通过数据融合，也可提高测量精度。在实际比赛中其他传感器失效的情况下，仅仅依靠双目协调仍然可以实现全自主足球机器人导航。
