基本信息
- 项目名称：
- 全景图像拼接和视频监控系统
- 来源：
- 第十二届“挑战杯”省赛作品
- 小类：
- 信息技术
- 大类：
- 科技发明制作B类
- 简介：
- 传统的图像仅反映某一局部视角的场景，已很难满足用户的需求。相反，图像拼接技术在宇宙空间探测、遥感测量、医学图像处理、军事等方面都有广泛的应用，并在一定程度上改变了人们的生活。基于此，本项目分别开发了全景图像拼接软件和全景视频监控系统。
- 详细介绍：
- 全景图像拼接软件： (1)基于Windows 平台的图像拼接软件Panorama Synth实现了多幅复杂位置关系图像的全自动拼接，并且克服了亮度差异和运动物体的影响。 (2)基于Windows Phone 7平台的图像拼接软件Pano Maker，可以高效地对数张序列图像进行拼接。 全景视频监控： 本项目开发的全景视频监控系统实现了多通道视频的实时拼接，可用于交通路口、超市、车站等公共场所，在一定程度上克服了传统视频监控技术成本高、视野局限的不足。
作品图片
作品专业信息
设计、发明的目的和基本思路、创新点、技术关键和主要技术指标
- 全景图像生成：针对拍摄的不同图像，通过图像预处理，采取特征点匹配策略找出两幅图像之间的变化关系，然后根据坐标变化关系，将两幅图像变换到同一个坐标系中，最后通过融合技术得到一幅完整的全景图。针对多图像全景图生成技术中，我们提出了基于图论的思想，很好的解决了多图像的空间位置自动排序，进而实现了多幅图像的全景图像生成。 全景视频监控：为了满足监控的实时性与精确性，我们将全景视频监控分为初始化和正常监控两个部分。初始化部分，通过图像匹配确定了摄像头的空间位置关系，并引入最优化思想确定了两幅图像的拼接缝隙位置；正常监控阶段，根据初始化阶段确定的参数，只需针对每帧视频信息进行快速融合方案，进而实现实时精确的全景视频监控。 创新点： 全景图像生成： 1) 实现多幅图像全自动全景图生成。 2) 实现了windows phone 7手机平台上的全景图融合技术； 3) 解决了全景图像拼接中的运动物体影响。 全景视频监控： 1) 初始化阶段可以确定多通道摄像头的精确位置关系。 2) 融合速度较快，一般pc每秒处理20帧图像，单帧全景融合时间为37~47ms。 3) 融合方案采用动态加权和最优拼接缝结合，对远近物体都有很好的全景效果。 4) 正在尝试将其推广到车载后视辅助系统中。
科学性、先进性
- 传统的监控技术采用多个摄像头和显示器分割技术，大大的浪费了监控资源，带来了很大的经济和人员成本。全景视频监控可以解决上述问题，通过实时的将多个窗口的视频内容拼接成一个完整的全景视频，并且解决运动物体的影响，大大降低了监控成本。 全景视频技术不仅仅可以很好的使用到交通、超市、车站、公司等等的监控中，而且可以移植到车载系统中。目前项目正在尝试将其应用到车载后视辅助系统，通过双摄像头全景视频，为司机驾驶提供安全保障。
获奖情况及鉴定结果
- 1)基于pc平台的Panorama Synth全景图像生成软件，星火杯软件学院特等奖。 2)基于windows phone 7平台的全景图像生成及图像增强项目，是微软首批开发者项目。 3)《多通道全景视频快速融合技术》证实查新。 4）《全景图像生成中复杂位置图像排序和融合技术》证实查新。 5）与西安唐视数码科技有限公司展开合作。
作品所处阶段
- 中试阶段
技术转让方式
- 专利
作品可展示的形式
- ■实物、产品 ■现场演示 ■图片 ■录像
使用说明,技术特点和优势,适应范围,推广前景的技术性说明,市场分析,经济效益预测
- 全景图像生成：适用电脑和wp7手机平台左右序列、上下序列以及复杂位置全景图像生成。全景图拼接技术在宇宙空间探测，遥感测量，医学图像处理，军事，海地探测都有广泛的应用，渗透到社会生活的每一个角落，商业上通过全景图来展示汽车、产品、旅游景点、楼盘、数字城市等。 全景视频生成：适用公共和安全场所如车站、超市、学校、公司以及交通十字路口和事故多发路段，进行全方位的实时监控;且正在试验将其应用到车载后视辅助系统中，为司机驾驶提供一种安全后视方案；
同类课题研究水平概述
- 国内外学者针对图像拼接应用问题进行了大量研究。1992年，英国剑桥大学的Brown L G首度总结了图像拼接的主要理论及其在各个领域的应用。但其研究的图像拼接技术仅仅着眼于医学图像和遥感图像等传统应用领域。随着计算机图形学的发展，图像拼接技术在虚拟现实、视频压缩与编码和图像超分辨率复原等新领域中得到了广泛应用。 全景图像拼接技术一直是计算机视觉和图像处理的研究热点，该技术已经被广泛的应用到宇宙空间探测、军事侦查、商业领域（展示汽车，楼盘，旅游景点等）以及医学领域等应用领域。在该项技术日趋完善的进程当中，仍然遗留下来一些需要解决的关键问题，比如：现有图像拼接算法只能针对静态图片或简单的平行、旋转序列图片进行图像拼接；拍摄视差、运动物体会很大程度上影响全景图的生成；算法复杂度也成为了将图像拼接软件移植到嵌入式平台的一个瓶颈。目前，在很多应用领域里出现了不少图像拼接软件，其中最具代表性的是Photoshop和Autostitch， 此外部分型号的佳能相机也可以实现序列图像拼接。 然而，几乎目前所有的全景图像拼接技术都只是针对静态图片或简单的平行、旋转序列图片进行拼接，且算法较繁琐，处理代价相对较高昂。针对特殊情况如拍摄时产生的视差、拍摄序列的混乱、图像中出现运动物体等情况，尚没有很好的解决方案。而且图像排序都是通过人工排序，以特定的序列输入电脑生成全景图，但是对于复杂的图像位置关系，人工排序就显得笨拙，复杂。目前针对序列图像，各种基于特征匹配、相位相关法、像素灰度差最小化的方法都相继提出，但是算法同样需要大量的人工干预，才能对混乱的图像实现有效的排序。 项目通过深入研究图像匹配，并且结合图论相关知识，实现了较好的排序算法，并且优化融合算法实现了高质量和高效率的全景图像。 传统的监控方案，一般都是通过：安装多个普通摄像头，通过显示器分割来实现对不同视角的场景监控或者安装全景摄像头来采集宽视野的场景信息，由于其成本代价和监控效果都很不理想。因此项目将全景视频拼接技术应用在全景视频监控中，以较低的代价实现了更好的监控监控方案。此外项目也正在实验将全景视频技术应用到车载后视辅助系统中，解决现有车载系统后视系统在安全和代价上的问题。
